JP2004279187A - 形状計測方法 - Google Patents
形状計測方法 Download PDFInfo
- Publication number
- JP2004279187A JP2004279187A JP2003070313A JP2003070313A JP2004279187A JP 2004279187 A JP2004279187 A JP 2004279187A JP 2003070313 A JP2003070313 A JP 2003070313A JP 2003070313 A JP2003070313 A JP 2003070313A JP 2004279187 A JP2004279187 A JP 2004279187A
- Authority
- JP
- Japan
- Prior art keywords
- target object
- simultaneous equations
- surface gradient
- equation
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
Abstract
【課題】拡散、鏡面反射を含む一般の表面反射特性をもつ対象物体に対し、画像の明るさ変化の影響を受けずに、安定に対象物体の表面勾配を求める方法を提供する。
【解決手段】複数の異なる方向から照明を照射した時の対象物体の画像を複数撮像し、得られた画像における同一座標の画素の輝度と照明の照射方向から、対象物体の表面勾配を計測する方式において、既知の反射モデルを用いて構成された、画像の輝度と表面勾配の関係を表すX個の連立方程式について、新たに、輝度比をとる形のX−1個の連立方程式に変換し、このX−1個の方程式の最小2乗誤差が最小になる様に、対象物体の表面勾配を計算する。
【選択図】 図3
【解決手段】複数の異なる方向から照明を照射した時の対象物体の画像を複数撮像し、得られた画像における同一座標の画素の輝度と照明の照射方向から、対象物体の表面勾配を計測する方式において、既知の反射モデルを用いて構成された、画像の輝度と表面勾配の関係を表すX個の連立方程式について、新たに、輝度比をとる形のX−1個の連立方程式に変換し、このX−1個の方程式の最小2乗誤差が最小になる様に、対象物体の表面勾配を計算する。
【選択図】 図3
Description
【0001】
【発明の属する技術分野】
この発明は、形状計測方法に関するものであり、特に、基板に実装された電子部品のモールド部分、はんだ付け部分等の形状計測に関するものである。
【0002】
【従来の技術】
従来から被写体に対する光源の位置つまり照射方向を変えて撮像を行うことにより、同じ被写体について複数の原画像を取得し、取得された複数の原画像から被写体の3次元データ(表面勾配、高さなどの3次元情報)を求める方法、いわゆる照度差ステレオ法が提案されており、その例として、光源による照射方向を変えて被写体を撮像することにより複数の原画像を取得し、各原画像のデータによって画像行列を生成し、当該画像行列に因子分解を適用して被写体における面の向きを抽出し、抽出した面の向きに基づいて被写体の3次元データを生成する3次元データ生成方法であって、被写体を撮像する際に、立体チャートの表面の反射率の比及び面の向きが既知である少なくとも3つの面を被写体とともに撮像し、3つの面の反射率及び面の向きを用いて被写体の面の向きを絶対的な座標系に変換するものなどが開示されている(特許文献1参照)。
【0003】
【特許文献1】
特開2001−74417号公報
【0004】
【発明が解決しようとする課題】
しかしながら、従来の照度差ステレオ法を用いた発明は、物体表面が拡散反射特性をもつ場合しか考慮していない。また、撮像系の輝度ゲインや、絞りの変化などによる画像の輝度変化に対して計測結果が不安定であるという課題がある。
【0005】
この発明は、上記の問題点を解決するためになされたものであり、拡散、鏡面反射を含む、一般の表面反射特性をもつ対象物体に対して、画像の明るさ変化の影響を受けずに安定して対象物体の表面勾配を求めることができる照度差ステレオの一手法である形状計測方法を提供することを目的とするものである。
【0006】
【課題を解決するための手段】
この発明に係る形状計測方法は、複数の異なる方向から照明を照射した時の対象物体の画像を複数撮像し、得られた画像における同一座標の画素の輝度と照明の照射方向から対象物体の表面勾配を計測する形状計測方法において、表面反射モデルから導かれる画像の輝度と表面勾配の関係を表すX個の連立方程式を作成し、作成された連立方程式を輝度比をとる形のX−1個の連立方程式に変換し、このX−1個の連立方程式の最小2乗誤差が最小になる様に対象物体の表面勾配を計算することを特徴とするものである。
【0007】
【発明の実施の形態】
実施の形態1.
図1は、この発明の実施の形態1による形状計測方法を説明するための図である。図1では、対象物体107を見下ろす形で、撮像手段であるCCDカメラ101が配置されている。照明手段102a〜102cで構成される照明手段103は、図2に示すように、対象物体107に斜めの角度をもって光を照射する。図示している照明手段103は102a〜102cの3つであり、それぞれの高さが同じである様に記述したが、配置する照明の数は3つ以上であってもかまわないし、配置する高さが異なってもかまわない。特に、本実施の形態1では、基本的に照明の数は4つ以上とする。本実施の形態1では、制御手段104によって各照明手段103の点灯制御を行い、それぞれが点灯した時の画像をCCDカメラ101によって撮像され、それらの画像から、画像処理手段105が対象物体107の形状(表面勾配)の計測を行い、計測結果を出力する。
【0008】
図2は、本実施の形態1における座標系と記号の説明を示す。対象物体107を座標原点に設定し、撮像手段であるCCDカメラ101の撮像面がz軸方向に垂直になる様に座標系を設定する。なお、図2ではCCDカメラ101の撮像面のみ図示し、CCDカメラ101は省略されている。対象物体107の表面勾配を表面の単位法線ベクトルnで表現することとし、
n=(p、q、r)
とする。nは単位ベクトルなので、p2+q2+r2=1となる。
【0009】
次に、照明に関するベクトルと行列に関して説明する。照明手段103を構成する照明手段102a〜102cについて、それぞれの照射方向の単位ベクトルをm1、m2、m3とする。ベクトルで表現する際は、ベクトルの方向を、光が照射される向きと逆方向にとり、原点から照明手段102a、照明手段102b、照明手段102cに向かう方向にとることにする。今後、照明方向ベクトル(単位ベクトル)を一般的に指す場合は、mで表すことにする。
【0010】
図3は、本実施の形態1による形状計測方法のフローを説明するフローチャートである。まず、制御手段104により、照明手段103のうちの1つの方向の照明手段を選択して照明する(ステップS1)。次に、画像処理手段105で制御される撮像手段101が、ステップS1で照明された対象物体107の画像を撮像する(ステップS2)。次に、別の照明手段を選択し、X枚の異なる方向の画像が撮像できるまで撮像を繰り返す(ステップS3)。ここで、X≧4とする。X枚の異なる方向の画像が撮像できると、画像処理手段105によって、X枚の画像の同一座標(i、j)の点について、それぞれ法線ベクトルn(i、j)、すなわち対象物体107の表面勾配を計算する(ステップS4)。
【0011】
ここで、ステップS4の内部動作の簡単な説明は次の様になる。X枚の画像の同一座標(i、j)の輝度について、それぞれ、拡散反射と鏡面反射を同時に考慮できる表面反射モデルから導かれる画像の輝度と表面勾配の関係を表す方程式をX本連立させる(ステップS4a)。この方程式は次式(1)に示される。
【0012】
【数1】
【0013】
なお、Ik(i,j):スカラー値で、画像kの座標(i,j)の輝度(計測値)
E(i,j):d次元ベクトルで、対象物体の座標(i,j)の表面反射パラメータをまとめたベクトル(既知)
n(i,j):3次元ベクトルで対象物体の座標(i,j)の単位法線ベクトル(未知)
||n(i,j)||=1
ここで、||a||はベクトルaの大きさ(ノルム)
である。
【0014】
次に、その方程式を輝度比をとる形に変形した次式(2)に示す(X−1)本の連立方程式を生成する(ステップS4b)。
【0015】
【数2】
【0016】
その連立方程式を次式(3)の条件で解き最小2乗誤差解として法線ベクトルを求める(ステップS4c)。
【0017】
【数3】
【0018】
最後に、次式(4)に従って法線ベクトルが単位ベクトルとなる様に大きさを正規化する(ステップS4d)。
【0019】
【数4】
【0020】
この処理を対象物体107上の各座標(i、j)に対して行い、対象物体107上のすべての座標点において単位法線ベクトルn(i、j)が計算できれば終了とする(ステップS4e)。
【0021】
以下では、上記のフローをさらに詳細に説明する。ステップS1〜S3までは前に説明した通りであるので、ステップS4以下について説明する。ステップS4以下では、異なる方向の照明から得られたX枚の画像を用いて、対象物体107の表面の法線ベクトルを表面上の各点毎に計算する。まず、画像輝度の方程式を作成する際に、表面反射モデルとして、拡散反射と鏡面反射を同時に考慮できるモデルを仮定する。本実施の形態1ではPhongモデルを採用する。
【0022】
Phongモデルでは、物体の反射光(画像輝度)は、次式(5)に示すように拡散反射成分と鏡面反射成分の和で表現される。
I=C{(1−k)(n、m)+k(v、m’)l} (5)
この式(5)が、物体の各点で成立するとする。ここで、
I: 物体の反射光量(画像の輝度)
n: 物体の法線ベクトル(3次元単位ベクトル)
m: 照明の方向ベクトル(3次元単位ベクトル)
m’: 照明光の正反射方向のベクトル(3次元単位ベクトル)
m’=2(n、m)n−m
v: カメラ方向ベクトル(3次元単位ベクトル)
図2の座標系で、v=(0,0,1)
C:Phongモデルにおける反射パラメータ1
k:Phongモデルにおける反射パラメータ2(0≦k≦1)
l:Phongモデルにおける反射パラメータ3(0≦l)
(a、b):ベクトルaとベクトルbの内積
である。
【0023】
この式(5)の示すところは、Phongモデルでは、拡散反射成分は、物体の法線方向と照明方向の内積で与えられ、鏡面反射成分は、視線方向(カメラ方向)と照明の正反射方向の内積のl乗で与えられるということである。lは鏡面反射成分のピーク幅(鋭さ)を表し、値が大きければ輝度の変化が大きくなる。また、物体の拡散反射成分と鏡面反射成分の含有比は、(1−k):kであり、Cはそのゲインを示す。このC、k、lの3つのスカラー量がPhongモデルの表面反射パラメータである。
【0024】
なお、Phongモデルの代わりに形の良く似たBlinnモデルを用いても良い。Blinnモデルは、
I=C{(l−k)(n、m)+k(n、h)l} (6)
であり、ここで、
h:ハーフベクトル(3次元単位ベクトル)
h=(m+v)/‖m+v‖
である。Phongモデルと記号が同じものは同じ意味である。
【0025】
以下では、Phongモデルを仮定し、このパラメータの値が既知であるとする。Phongモデルでは、表面反射パラメータは、C、k、lの3つであるが、別の表面反射モデルを用いた場合は、表面反射パラメータの数は3つとは限らないため、一般に表面反射パラメータ数をdとして、表面反射パラメータをd次元ベクトルEであらわすことにする。すなわち、
E=(e1、 e2、・・・、ed)
である。Phongモデルの場合、d=3で、
E=(C、k、l)
となる。
【0026】
同様に、画像輝度の方程式も一般化しておく。輝度をIとし、画像の輝度を出力とする関数をfとすると、画像輝度の方程式は次の様になる。
I=f(E、n、m) (7)
ここで、Eは表面反射パラメータベクトル、nは対象物体の単位法線ベクトル、mは単位照明方向ベクトルとなる。
【0027】
Phongモデルでは、E=(C、k、l)であり、
となる。
【0028】
ここで、対象物体の各点(各座標)の単位法線ベクトルを求めるため、座標(i、j)の法線ベクトルをn(i、j)、表面反射パラメータベクトルをE(i、j)とする。また、k番目の照明を用いて得られた画像の(i、j)座標の輝度をIk(i、j)とする。異なる照明方向からの照明で得られるX枚の画像の座標(i、j)で得られる輝度の方程式を、各照明毎に並べると、次式(8)となる。
【0029】
【数5】
【0030】
ここで、f(E、n、mk)を、fk(E、n)と表記した。ステップS4の内部処理であるステップS4aでは、これらX本の方程式を作成する。
【0031】
次に、同じく、ステップS4の内部処理であるステップS4bでは、画像の輝度比をとるように式(8)を変換し、式(9)を得る。すなわち、次式(9)に示す新たな方程式を作成する。
【0032】
【数6】
【0033】
この方程式では輝度の絶対値の情報がなくなり、式(8)と全く異なる方程式になっている。また、輝度の絶対値情報がなくなった分、連立式の数はX本からX−1本になっている。また、式(9)は、次式(10)と等価である。
【0034】
【数7】
【0035】
ステップS4bでは、式(10)を作成すると言ってもよい。
【0036】
次に、同じくステップS4の内部処理であるステップS4cでは、式(10)の連立方程式を解く。画像の輝度であるIk(i、j)は、計測値として既知であり、仮定によりE(i、j)も既知である。従って、連立方程式である式(10)から、対象物体の単位法線ベクトルn(i、j)を解くことになる。今回の実施の形態1では、X≧4であるので、式(10)の連立方程式の式の本数は3本以上となる。一方、未知数である法線ベクトルの要素数は3であるので、数学的に解けることになる。しかしながら、画像の輝度は計測値であるので誤差を含むこと、式の数が求めたい未知数よりも多い場合があるということから、厳密解ではなく最小2乗解を求めることにする。この最小2乗解の尺度は、式(10)各右辺の値をできるだけ0に近づける様にするというものであり、定式化すると、次式(11)となる。
【0037】
【数8】
【0038】
ステップS4cでは、こういった優決定系(方程式の数が未知数の数より多い)の場合の最小2乗解を得るために、例えば、数値計算法の1つであるGaussの反復法(Gauss−Newton法)や、修正版である改訂Gauss反復法などを用いて、高速に法線ベクトルnを計算する。
【0039】
ステップS4dでは、ステップS4cで得られた法線ベクトルnを、大きさが1になるように正規化して、対象物体の座標(i、j)における単位法線ベクトルを得る。すなわち、ステップS4cで得られた法線ベクトルnを、その大きさである‖n‖で割って新しいnとする。ここで‖n‖はベクトルnのノルムを示す。
【0040】
このステップS4を対象物体上の各座標(i、j)に対して行い、対象物体上のすべての座標点において単位法線ベクトルn(i、j)が計算できれば終了とする。
【0041】
従って、実施の形態1によれば、このように形状計測方法を、輝度比を元に対象物体の法線ベクトルを計算するようにしたため、画像の明るさ変化に対して頑強な計測を行うことができる。例えばカメラのレンズの絞りを若干変化させただけで画像の輝度は変わってしまう。この場合、既知の反射パラメータを用いる従来の方法では法線ベクトルの計算結果に狂いが生じる。この発明では、画像の輝度比を用いるために、画像の輝度自体が変わっても、各画像間での輝度比が変わらなければ影響を全く受けない。撮像手段であるCCDカメラの画像出力回路のゲインを変更する場合も画像の輝度が変化するために、同様の効果を奏する。
【0042】
また、従来の照度差ステレオ法では、対象物体の表面が拡散反射特性を持つ場合についてしか考慮されていなかった。この発明の計測方法においては、鏡面成分を含む、一般的な表面反射特性を有する物体に対しても表面勾配が計算できるという効果を有する。
【0043】
実施の形態2.
別の実施の形態として、図4に示す計測フローを用いてこの発明の形状計測方法を実施することができる。この実施の形態2では、基本的に照明の数は3つ以上とする。ステップS1〜S4aまでは、実施の形態1と同じであるので説明を省略する。実施の形態2のステップS4b’では、実施の形態1のステップS4bに、もう一つの条件式である、
‖n(i、j)‖=1
を追加する。これは、nが単位ベクトルであるという要請である。まとめると、ステップS4b’では、式(9)の代わりに、以下の式(9’)を作成する。
【0044】
【数9】
【0045】
前述したものと同様に、この式(9’)は、次式(10’)と等価である。
【0046】
【数10】
【0047】
同様に、ステップS4b’では、式(10’)を作成すると言ってもよい。
【0048】
次に、ステップS4c’では、式(10’)の連立方程式を解く。実施の形態2では、X≧3であり、式(10)の連立方程式の式の本数は、追加した(‖n(i、j)‖―1=0)の条件式を含めて3本以上となるため、数学的に解けることになる。実施の形態1と同様の理由で、厳密解ではなく最小2乗解を求めるが、この最小2乗解の尺度は、式(11)と若干異なる。定式化すると、次式(11’)となる。
【0049】
【数11】
【0050】
ここで、αはあらかじめ指定した重み係数である。αを導入した理由は、Ikfk+1(E、n)−Ik+1fk(E、n)という値と‖n‖−1という値の単位が異なること(Ikfk+1(E、n)は輝度の2乗の単位であり、‖n‖−1は無単位である)、nを単位ベクトルにする要請の重みを自由に変えられることである。
【0051】
式(11’)の場合の最小2乗解を得る場合にも実施の形態1と同様に、例えば、数値計算法の1つであるGaussの反復法(Gauss−Newton法)や、修正版である改訂Gauss反復法などを用いて、高速に法線ベクトルnを計算することができる。この様に法線ベクトルnの大きさを1に近づける様に計算しても、厳密には1にならないため、ステップS4dとして、求めた法線ベクトルnの大きさを正規化して、対象物体の座標(i、j)における単位法線ベクトルを得る。
【0052】
ステップS4a、ステップS4b’、ステップS4c’、ステップS4dで構成される処理を対象物体上の各座標(i、j)に対して行い、対象物体上のすべての座標点において単位法線ベクトルn(i、j)が計算できれば終了とする。
【0053】
従って、実施の形態2によれば、‖n‖−1=0という条件を追加して計算するようにしたため、実施の形態1で得られる効果に加えて、照明手段の数が少ない(3つ)の場合でも形状計測を行うことが可能になるという効果がある。また、最小2乗計算を行う際にnが単位ベクトルであることを考慮して計算するため、得られるnの値の信頼性が向上するという効果がある。
【0054】
【発明の効果】
以上のように、この発明によれば、対象物体に対して各方向から照明を照射した時の対象物体の画像を複数撮像し、得られた画像における同一座標の画素の輝度と照明の照射方向から、対象物体の表面勾配を計測する方法において、既知の反射モデルを用いて構成された、画像の輝度と表面勾配の関係を表すX個の連立方程式について、新たに、輝度比をとる形のX−1個の連立方程式に変換し、このX−1個の方程式の最小2乗誤差が最小になる様に、対象物体の表面勾配を計算するようにしたため、拡散、鏡面反射を含む、一般の表面反射特性をもつ対象物体に対して、画像の明るさ変化の影響を受けずに対象物体の表面勾配を求めることができる。
【図面の簡単な説明】
【図1】この発明による形状計測方法を説明するための図である。
【図2】この発明における座標系と記号の説明をするための図である。
【図3】この発明の実施の形態1による計測フローを説明するための図である。
【図4】この発明の実施の形態2による計測フローを説明するための図である。
【符号の説明】
101 撮像手段、102a〜102c 照明手段、103 照明手段、104 制御手段、105 画像処理手段、106 計測結果、107 計測対象物体。
【発明の属する技術分野】
この発明は、形状計測方法に関するものであり、特に、基板に実装された電子部品のモールド部分、はんだ付け部分等の形状計測に関するものである。
【0002】
【従来の技術】
従来から被写体に対する光源の位置つまり照射方向を変えて撮像を行うことにより、同じ被写体について複数の原画像を取得し、取得された複数の原画像から被写体の3次元データ(表面勾配、高さなどの3次元情報)を求める方法、いわゆる照度差ステレオ法が提案されており、その例として、光源による照射方向を変えて被写体を撮像することにより複数の原画像を取得し、各原画像のデータによって画像行列を生成し、当該画像行列に因子分解を適用して被写体における面の向きを抽出し、抽出した面の向きに基づいて被写体の3次元データを生成する3次元データ生成方法であって、被写体を撮像する際に、立体チャートの表面の反射率の比及び面の向きが既知である少なくとも3つの面を被写体とともに撮像し、3つの面の反射率及び面の向きを用いて被写体の面の向きを絶対的な座標系に変換するものなどが開示されている(特許文献1参照)。
【0003】
【特許文献1】
特開2001−74417号公報
【0004】
【発明が解決しようとする課題】
しかしながら、従来の照度差ステレオ法を用いた発明は、物体表面が拡散反射特性をもつ場合しか考慮していない。また、撮像系の輝度ゲインや、絞りの変化などによる画像の輝度変化に対して計測結果が不安定であるという課題がある。
【0005】
この発明は、上記の問題点を解決するためになされたものであり、拡散、鏡面反射を含む、一般の表面反射特性をもつ対象物体に対して、画像の明るさ変化の影響を受けずに安定して対象物体の表面勾配を求めることができる照度差ステレオの一手法である形状計測方法を提供することを目的とするものである。
【0006】
【課題を解決するための手段】
この発明に係る形状計測方法は、複数の異なる方向から照明を照射した時の対象物体の画像を複数撮像し、得られた画像における同一座標の画素の輝度と照明の照射方向から対象物体の表面勾配を計測する形状計測方法において、表面反射モデルから導かれる画像の輝度と表面勾配の関係を表すX個の連立方程式を作成し、作成された連立方程式を輝度比をとる形のX−1個の連立方程式に変換し、このX−1個の連立方程式の最小2乗誤差が最小になる様に対象物体の表面勾配を計算することを特徴とするものである。
【0007】
【発明の実施の形態】
実施の形態1.
図1は、この発明の実施の形態1による形状計測方法を説明するための図である。図1では、対象物体107を見下ろす形で、撮像手段であるCCDカメラ101が配置されている。照明手段102a〜102cで構成される照明手段103は、図2に示すように、対象物体107に斜めの角度をもって光を照射する。図示している照明手段103は102a〜102cの3つであり、それぞれの高さが同じである様に記述したが、配置する照明の数は3つ以上であってもかまわないし、配置する高さが異なってもかまわない。特に、本実施の形態1では、基本的に照明の数は4つ以上とする。本実施の形態1では、制御手段104によって各照明手段103の点灯制御を行い、それぞれが点灯した時の画像をCCDカメラ101によって撮像され、それらの画像から、画像処理手段105が対象物体107の形状(表面勾配)の計測を行い、計測結果を出力する。
【0008】
図2は、本実施の形態1における座標系と記号の説明を示す。対象物体107を座標原点に設定し、撮像手段であるCCDカメラ101の撮像面がz軸方向に垂直になる様に座標系を設定する。なお、図2ではCCDカメラ101の撮像面のみ図示し、CCDカメラ101は省略されている。対象物体107の表面勾配を表面の単位法線ベクトルnで表現することとし、
n=(p、q、r)
とする。nは単位ベクトルなので、p2+q2+r2=1となる。
【0009】
次に、照明に関するベクトルと行列に関して説明する。照明手段103を構成する照明手段102a〜102cについて、それぞれの照射方向の単位ベクトルをm1、m2、m3とする。ベクトルで表現する際は、ベクトルの方向を、光が照射される向きと逆方向にとり、原点から照明手段102a、照明手段102b、照明手段102cに向かう方向にとることにする。今後、照明方向ベクトル(単位ベクトル)を一般的に指す場合は、mで表すことにする。
【0010】
図3は、本実施の形態1による形状計測方法のフローを説明するフローチャートである。まず、制御手段104により、照明手段103のうちの1つの方向の照明手段を選択して照明する(ステップS1)。次に、画像処理手段105で制御される撮像手段101が、ステップS1で照明された対象物体107の画像を撮像する(ステップS2)。次に、別の照明手段を選択し、X枚の異なる方向の画像が撮像できるまで撮像を繰り返す(ステップS3)。ここで、X≧4とする。X枚の異なる方向の画像が撮像できると、画像処理手段105によって、X枚の画像の同一座標(i、j)の点について、それぞれ法線ベクトルn(i、j)、すなわち対象物体107の表面勾配を計算する(ステップS4)。
【0011】
ここで、ステップS4の内部動作の簡単な説明は次の様になる。X枚の画像の同一座標(i、j)の輝度について、それぞれ、拡散反射と鏡面反射を同時に考慮できる表面反射モデルから導かれる画像の輝度と表面勾配の関係を表す方程式をX本連立させる(ステップS4a)。この方程式は次式(1)に示される。
【0012】
【数1】
【0013】
なお、Ik(i,j):スカラー値で、画像kの座標(i,j)の輝度(計測値)
E(i,j):d次元ベクトルで、対象物体の座標(i,j)の表面反射パラメータをまとめたベクトル(既知)
n(i,j):3次元ベクトルで対象物体の座標(i,j)の単位法線ベクトル(未知)
||n(i,j)||=1
ここで、||a||はベクトルaの大きさ(ノルム)
である。
【0014】
次に、その方程式を輝度比をとる形に変形した次式(2)に示す(X−1)本の連立方程式を生成する(ステップS4b)。
【0015】
【数2】
【0016】
その連立方程式を次式(3)の条件で解き最小2乗誤差解として法線ベクトルを求める(ステップS4c)。
【0017】
【数3】
【0018】
最後に、次式(4)に従って法線ベクトルが単位ベクトルとなる様に大きさを正規化する(ステップS4d)。
【0019】
【数4】
【0020】
この処理を対象物体107上の各座標(i、j)に対して行い、対象物体107上のすべての座標点において単位法線ベクトルn(i、j)が計算できれば終了とする(ステップS4e)。
【0021】
以下では、上記のフローをさらに詳細に説明する。ステップS1〜S3までは前に説明した通りであるので、ステップS4以下について説明する。ステップS4以下では、異なる方向の照明から得られたX枚の画像を用いて、対象物体107の表面の法線ベクトルを表面上の各点毎に計算する。まず、画像輝度の方程式を作成する際に、表面反射モデルとして、拡散反射と鏡面反射を同時に考慮できるモデルを仮定する。本実施の形態1ではPhongモデルを採用する。
【0022】
Phongモデルでは、物体の反射光(画像輝度)は、次式(5)に示すように拡散反射成分と鏡面反射成分の和で表現される。
I=C{(1−k)(n、m)+k(v、m’)l} (5)
この式(5)が、物体の各点で成立するとする。ここで、
I: 物体の反射光量(画像の輝度)
n: 物体の法線ベクトル(3次元単位ベクトル)
m: 照明の方向ベクトル(3次元単位ベクトル)
m’: 照明光の正反射方向のベクトル(3次元単位ベクトル)
m’=2(n、m)n−m
v: カメラ方向ベクトル(3次元単位ベクトル)
図2の座標系で、v=(0,0,1)
C:Phongモデルにおける反射パラメータ1
k:Phongモデルにおける反射パラメータ2(0≦k≦1)
l:Phongモデルにおける反射パラメータ3(0≦l)
(a、b):ベクトルaとベクトルbの内積
である。
【0023】
この式(5)の示すところは、Phongモデルでは、拡散反射成分は、物体の法線方向と照明方向の内積で与えられ、鏡面反射成分は、視線方向(カメラ方向)と照明の正反射方向の内積のl乗で与えられるということである。lは鏡面反射成分のピーク幅(鋭さ)を表し、値が大きければ輝度の変化が大きくなる。また、物体の拡散反射成分と鏡面反射成分の含有比は、(1−k):kであり、Cはそのゲインを示す。このC、k、lの3つのスカラー量がPhongモデルの表面反射パラメータである。
【0024】
なお、Phongモデルの代わりに形の良く似たBlinnモデルを用いても良い。Blinnモデルは、
I=C{(l−k)(n、m)+k(n、h)l} (6)
であり、ここで、
h:ハーフベクトル(3次元単位ベクトル)
h=(m+v)/‖m+v‖
である。Phongモデルと記号が同じものは同じ意味である。
【0025】
以下では、Phongモデルを仮定し、このパラメータの値が既知であるとする。Phongモデルでは、表面反射パラメータは、C、k、lの3つであるが、別の表面反射モデルを用いた場合は、表面反射パラメータの数は3つとは限らないため、一般に表面反射パラメータ数をdとして、表面反射パラメータをd次元ベクトルEであらわすことにする。すなわち、
E=(e1、 e2、・・・、ed)
である。Phongモデルの場合、d=3で、
E=(C、k、l)
となる。
【0026】
同様に、画像輝度の方程式も一般化しておく。輝度をIとし、画像の輝度を出力とする関数をfとすると、画像輝度の方程式は次の様になる。
I=f(E、n、m) (7)
ここで、Eは表面反射パラメータベクトル、nは対象物体の単位法線ベクトル、mは単位照明方向ベクトルとなる。
【0027】
Phongモデルでは、E=(C、k、l)であり、
となる。
【0028】
ここで、対象物体の各点(各座標)の単位法線ベクトルを求めるため、座標(i、j)の法線ベクトルをn(i、j)、表面反射パラメータベクトルをE(i、j)とする。また、k番目の照明を用いて得られた画像の(i、j)座標の輝度をIk(i、j)とする。異なる照明方向からの照明で得られるX枚の画像の座標(i、j)で得られる輝度の方程式を、各照明毎に並べると、次式(8)となる。
【0029】
【数5】
【0030】
ここで、f(E、n、mk)を、fk(E、n)と表記した。ステップS4の内部処理であるステップS4aでは、これらX本の方程式を作成する。
【0031】
次に、同じく、ステップS4の内部処理であるステップS4bでは、画像の輝度比をとるように式(8)を変換し、式(9)を得る。すなわち、次式(9)に示す新たな方程式を作成する。
【0032】
【数6】
【0033】
この方程式では輝度の絶対値の情報がなくなり、式(8)と全く異なる方程式になっている。また、輝度の絶対値情報がなくなった分、連立式の数はX本からX−1本になっている。また、式(9)は、次式(10)と等価である。
【0034】
【数7】
【0035】
ステップS4bでは、式(10)を作成すると言ってもよい。
【0036】
次に、同じくステップS4の内部処理であるステップS4cでは、式(10)の連立方程式を解く。画像の輝度であるIk(i、j)は、計測値として既知であり、仮定によりE(i、j)も既知である。従って、連立方程式である式(10)から、対象物体の単位法線ベクトルn(i、j)を解くことになる。今回の実施の形態1では、X≧4であるので、式(10)の連立方程式の式の本数は3本以上となる。一方、未知数である法線ベクトルの要素数は3であるので、数学的に解けることになる。しかしながら、画像の輝度は計測値であるので誤差を含むこと、式の数が求めたい未知数よりも多い場合があるということから、厳密解ではなく最小2乗解を求めることにする。この最小2乗解の尺度は、式(10)各右辺の値をできるだけ0に近づける様にするというものであり、定式化すると、次式(11)となる。
【0037】
【数8】
【0038】
ステップS4cでは、こういった優決定系(方程式の数が未知数の数より多い)の場合の最小2乗解を得るために、例えば、数値計算法の1つであるGaussの反復法(Gauss−Newton法)や、修正版である改訂Gauss反復法などを用いて、高速に法線ベクトルnを計算する。
【0039】
ステップS4dでは、ステップS4cで得られた法線ベクトルnを、大きさが1になるように正規化して、対象物体の座標(i、j)における単位法線ベクトルを得る。すなわち、ステップS4cで得られた法線ベクトルnを、その大きさである‖n‖で割って新しいnとする。ここで‖n‖はベクトルnのノルムを示す。
【0040】
このステップS4を対象物体上の各座標(i、j)に対して行い、対象物体上のすべての座標点において単位法線ベクトルn(i、j)が計算できれば終了とする。
【0041】
従って、実施の形態1によれば、このように形状計測方法を、輝度比を元に対象物体の法線ベクトルを計算するようにしたため、画像の明るさ変化に対して頑強な計測を行うことができる。例えばカメラのレンズの絞りを若干変化させただけで画像の輝度は変わってしまう。この場合、既知の反射パラメータを用いる従来の方法では法線ベクトルの計算結果に狂いが生じる。この発明では、画像の輝度比を用いるために、画像の輝度自体が変わっても、各画像間での輝度比が変わらなければ影響を全く受けない。撮像手段であるCCDカメラの画像出力回路のゲインを変更する場合も画像の輝度が変化するために、同様の効果を奏する。
【0042】
また、従来の照度差ステレオ法では、対象物体の表面が拡散反射特性を持つ場合についてしか考慮されていなかった。この発明の計測方法においては、鏡面成分を含む、一般的な表面反射特性を有する物体に対しても表面勾配が計算できるという効果を有する。
【0043】
実施の形態2.
別の実施の形態として、図4に示す計測フローを用いてこの発明の形状計測方法を実施することができる。この実施の形態2では、基本的に照明の数は3つ以上とする。ステップS1〜S4aまでは、実施の形態1と同じであるので説明を省略する。実施の形態2のステップS4b’では、実施の形態1のステップS4bに、もう一つの条件式である、
‖n(i、j)‖=1
を追加する。これは、nが単位ベクトルであるという要請である。まとめると、ステップS4b’では、式(9)の代わりに、以下の式(9’)を作成する。
【0044】
【数9】
【0045】
前述したものと同様に、この式(9’)は、次式(10’)と等価である。
【0046】
【数10】
【0047】
同様に、ステップS4b’では、式(10’)を作成すると言ってもよい。
【0048】
次に、ステップS4c’では、式(10’)の連立方程式を解く。実施の形態2では、X≧3であり、式(10)の連立方程式の式の本数は、追加した(‖n(i、j)‖―1=0)の条件式を含めて3本以上となるため、数学的に解けることになる。実施の形態1と同様の理由で、厳密解ではなく最小2乗解を求めるが、この最小2乗解の尺度は、式(11)と若干異なる。定式化すると、次式(11’)となる。
【0049】
【数11】
【0050】
ここで、αはあらかじめ指定した重み係数である。αを導入した理由は、Ikfk+1(E、n)−Ik+1fk(E、n)という値と‖n‖−1という値の単位が異なること(Ikfk+1(E、n)は輝度の2乗の単位であり、‖n‖−1は無単位である)、nを単位ベクトルにする要請の重みを自由に変えられることである。
【0051】
式(11’)の場合の最小2乗解を得る場合にも実施の形態1と同様に、例えば、数値計算法の1つであるGaussの反復法(Gauss−Newton法)や、修正版である改訂Gauss反復法などを用いて、高速に法線ベクトルnを計算することができる。この様に法線ベクトルnの大きさを1に近づける様に計算しても、厳密には1にならないため、ステップS4dとして、求めた法線ベクトルnの大きさを正規化して、対象物体の座標(i、j)における単位法線ベクトルを得る。
【0052】
ステップS4a、ステップS4b’、ステップS4c’、ステップS4dで構成される処理を対象物体上の各座標(i、j)に対して行い、対象物体上のすべての座標点において単位法線ベクトルn(i、j)が計算できれば終了とする。
【0053】
従って、実施の形態2によれば、‖n‖−1=0という条件を追加して計算するようにしたため、実施の形態1で得られる効果に加えて、照明手段の数が少ない(3つ)の場合でも形状計測を行うことが可能になるという効果がある。また、最小2乗計算を行う際にnが単位ベクトルであることを考慮して計算するため、得られるnの値の信頼性が向上するという効果がある。
【0054】
【発明の効果】
以上のように、この発明によれば、対象物体に対して各方向から照明を照射した時の対象物体の画像を複数撮像し、得られた画像における同一座標の画素の輝度と照明の照射方向から、対象物体の表面勾配を計測する方法において、既知の反射モデルを用いて構成された、画像の輝度と表面勾配の関係を表すX個の連立方程式について、新たに、輝度比をとる形のX−1個の連立方程式に変換し、このX−1個の方程式の最小2乗誤差が最小になる様に、対象物体の表面勾配を計算するようにしたため、拡散、鏡面反射を含む、一般の表面反射特性をもつ対象物体に対して、画像の明るさ変化の影響を受けずに対象物体の表面勾配を求めることができる。
【図面の簡単な説明】
【図1】この発明による形状計測方法を説明するための図である。
【図2】この発明における座標系と記号の説明をするための図である。
【図3】この発明の実施の形態1による計測フローを説明するための図である。
【図4】この発明の実施の形態2による計測フローを説明するための図である。
【符号の説明】
101 撮像手段、102a〜102c 照明手段、103 照明手段、104 制御手段、105 画像処理手段、106 計測結果、107 計測対象物体。
Claims (2)
- 複数の異なる方向から照明を照射した時の対象物体の画像を複数撮像し、得られた画像における同一座標の画素の輝度と照明の照射方向から対象物体の表面勾配を計測する形状計測方法において、
表面反射モデルから導かれる画像の輝度と表面勾配の関係を表すX個の連立方程式を作成し、
作成された連立方程式を輝度比をとる形のX−1個の連立方程式に変換し、
このX−1個の連立方程式の最小2乗誤差が最小になる様に対象物体の表面勾配を計算する
ことを特徴とする形状計測方法。 - 請求項1に記載の形状計測方法において、
前記X−1個の連立方程式に表面勾配を示す方向ベクトルの大きさが1であることを示す1個の方程式を追加して、全部でX個の連立方程式の最小2乗誤差が最小になる様に対象物体の表面勾配を計算する
ことを特徴とする形状計測方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003070313A JP2004279187A (ja) | 2003-03-14 | 2003-03-14 | 形状計測方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003070313A JP2004279187A (ja) | 2003-03-14 | 2003-03-14 | 形状計測方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2004279187A true JP2004279187A (ja) | 2004-10-07 |
Family
ID=33287095
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003070313A Pending JP2004279187A (ja) | 2003-03-14 | 2003-03-14 | 形状計測方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2004279187A (ja) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010256275A (ja) * | 2009-04-28 | 2010-11-11 | Visco Technologies Corp | 形状検査装置および形状検査プログラム |
JP2011203241A (ja) * | 2010-03-25 | 2011-10-13 | Mitsubishi Electric Research Laboratories Inc | 低密度の反射対応から鏡面物体の表面を再構築するための方法 |
JP2013054011A (ja) * | 2011-09-06 | 2013-03-21 | Nippon Hoso Kyokai <Nhk> | 面法線計測装置、面法線計測システム及び面法線計測プログラム |
US8718321B2 (en) | 2006-08-16 | 2014-05-06 | Cortexica Vision Systems Limited | Method of image processing |
JP2015232481A (ja) * | 2014-06-09 | 2015-12-24 | 株式会社キーエンス | 検査装置、検査方法およびプログラム |
CN114322842A (zh) * | 2021-12-09 | 2022-04-12 | 中国石油大学(华东) | 一种基于改进Phong模型的高反光零件测量方法及系统 |
JP7160428B1 (ja) * | 2021-05-21 | 2022-10-25 | 株式会社レイマック | 非接触血管解析方法 |
-
2003
- 2003-03-14 JP JP2003070313A patent/JP2004279187A/ja active Pending
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8718321B2 (en) | 2006-08-16 | 2014-05-06 | Cortexica Vision Systems Limited | Method of image processing |
US9424486B2 (en) | 2006-08-16 | 2016-08-23 | Cortexica Vision Systems Limited | Method of image processing |
JP2010256275A (ja) * | 2009-04-28 | 2010-11-11 | Visco Technologies Corp | 形状検査装置および形状検査プログラム |
JP2011203241A (ja) * | 2010-03-25 | 2011-10-13 | Mitsubishi Electric Research Laboratories Inc | 低密度の反射対応から鏡面物体の表面を再構築するための方法 |
JP2013054011A (ja) * | 2011-09-06 | 2013-03-21 | Nippon Hoso Kyokai <Nhk> | 面法線計測装置、面法線計測システム及び面法線計測プログラム |
JP2015232481A (ja) * | 2014-06-09 | 2015-12-24 | 株式会社キーエンス | 検査装置、検査方法およびプログラム |
JP7160428B1 (ja) * | 2021-05-21 | 2022-10-25 | 株式会社レイマック | 非接触血管解析方法 |
CN114322842A (zh) * | 2021-12-09 | 2022-04-12 | 中国石油大学(华东) | 一种基于改进Phong模型的高反光零件测量方法及系统 |
CN114322842B (zh) * | 2021-12-09 | 2023-08-18 | 中国石油大学(华东) | 一种基于改进Phong模型的高反光零件测量方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Gardner et al. | Deep parametric indoor lighting estimation | |
Wang et al. | Estimation of multiple directional light sources for synthesis of augmented reality images | |
CN106228507B (zh) | 一种基于光场的深度图像处理方法 | |
Sato et al. | Object shape and reflectance modeling from observation | |
Goldman et al. | Shape and spatially-varying brdfs from photometric stereo | |
US7200262B2 (en) | 3-dimensional image processing method, 3-dimensional image processing device, and 3-dimensional image processing system | |
KR100681320B1 (ko) | 헬름홀츠 교환조건으로부터 유도되는 편미분 방정식의레벨셋 풀이 방법을 이용한 물체의 3차원 형상 모델링 방법 | |
US20100296724A1 (en) | Method and System for Estimating 3D Pose of Specular Objects | |
US20200057831A1 (en) | Real-time generation of synthetic data from multi-shot structured light sensors for three-dimensional object pose estimation | |
Meilland et al. | A unified rolling shutter and motion blur model for 3D visual registration | |
WO2019228144A1 (zh) | 图像处理方法和装置 | |
WO2020075252A1 (ja) | 情報処理装置、プログラム及び情報処理方法 | |
Pintus et al. | State‐of‐the‐art in Multi‐Light Image Collections for surface visualization and analysis | |
Ciortan et al. | A practical reflectance transformation imaging pipeline for surface characterization in cultural heritage | |
EP3561776A1 (en) | Method and apparatus for processing a 3d scene | |
JP2004279187A (ja) | 形状計測方法 | |
KR20060065800A (ko) | 헬름홀츠 스테레오를 이용한 깊이 불연속선을 지니는물체의 3차원 형상 획득 장치 및 그 방법 | |
JP2004252603A (ja) | 三次元データ処理方法 | |
JP5441752B2 (ja) | 環境内の3d物体の3d姿勢を推定する方法及び装置 | |
Hammer et al. | Virtual whitening of fossils using polynomial texture mapping | |
JPH04130587A (ja) | 3次元画像評価装置 | |
JP2006031595A (ja) | 画像処理装置 | |
JP2007165995A (ja) | 画像生成装置、画像生成方法および画像生成プログラム | |
Porral et al. | Iso photographic rendering | |
Wang et al. | Estimation of multiple directional illuminants from a single image |