JP2010071782A - Three-dimensional measurement apparatus and method thereof - Google Patents
Three-dimensional measurement apparatus and method thereof Download PDFInfo
- Publication number
- JP2010071782A JP2010071782A JP2008239114A JP2008239114A JP2010071782A JP 2010071782 A JP2010071782 A JP 2010071782A JP 2008239114 A JP2008239114 A JP 2008239114A JP 2008239114 A JP2008239114 A JP 2008239114A JP 2010071782 A JP2010071782 A JP 2010071782A
- Authority
- JP
- Japan
- Prior art keywords
- dimensional
- cameras
- images
- normal
- corresponding pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/245—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures using a plurality of fixed, simultaneously operating transducers
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
Description
本発明は、計測対象物、特に鏡面の計測対象物の3次元形状を計測する技術に関する。 The present invention relates to a technique for measuring a three-dimensional shape of a measurement object, particularly a specular measurement object.
3次元計測(3角測量)は、図12に示すように、異なる撮像角度の複数のカメラで撮影した画像から、画素の対応関係を調べ、視差を算出することで距離を計測する技術である。通常は、対応する画素を調べる際に輝度値を特徴量として用いている。 As shown in FIG. 12, three-dimensional measurement (triangulation) is a technique for measuring a distance by examining the correspondence between pixels from images taken by a plurality of cameras having different imaging angles and calculating parallax. . Normally, the luminance value is used as the feature amount when examining the corresponding pixel.
ここで、計測対象物が鏡面物体である場合、画像に撮影される輝度値は、物体表面そのものの特徴量を表すものではなく、周囲の物体の映り込みによって決定される。したがって、図13に示すように、鏡面物体を2つのカメラ101,102で撮影したとき、光源L1からの発光が反射する物体表面の位置は異なる場所となる。これらの点を対応する画素として3次元測量すると、実際には図中の点L2の箇所を計測していることになり、誤差が生じてしまう。この誤差は、カメラの撮像角度の差が大きくなるほど大きくなる。また、カメラの特性の違いによる誤差も発生する。
Here, when the measurement target is a specular object, the luminance value captured in the image does not represent the feature amount of the object surface itself, but is determined by the reflection of surrounding objects. Therefore, as shown in FIG. 13, when a specular object is photographed by the two
カメラの位置や特性の違いによる誤差の影響を排除するために、照度差ステレオによって法線マップを求め、この法線マップから領域分割を行い、領域ごとに平均法線を用いて対応付けを行うことで3次元測量を行う技術が知られている(特許文献1)。
しかしながら、上記のような従来技術の場合には、下記のような問題が生じていた。 However, in the case of the prior art as described above, the following problems have occurred.
輝度値を特徴量として従来の3次元測量法を鏡面物体に適用した場合は、複数カメラの特性の違いやカメラ配置によって撮像画像の輝度値に影響を及ぼすため、画素対応付けに誤差をもたらしてしまう。測定対象の表面が鏡面の場合には、この影響が大きくなる。 When the conventional three-dimensional surveying method is applied to a specular object using the brightness value as a feature value, the brightness value of the captured image is affected by the difference in characteristics of the multiple cameras and the camera arrangement, which causes an error in pixel matching. End up. When the surface of the measurement target is a mirror surface, this influence becomes large.
特許文献1に記載の方法では、法線という測定対象に固有な情報に着目しているため、カメラの配置や特性の違いによる誤差を少なくすることができるが、領域分割を行うことによる誤差が生じる。特に、球などの滑らかな連続面を有する測定対象に対しては、領域分割によって面分解能が粗く、角張った3次元形状としてしか計測することができない。また、対応付けをとる際に、カメラの輻輳角を小さくし、複数カメラ間で同一の座標系を有するものとみなしているので、輻輳角を大きくすると法線座標系の相違により対応付けの精度が低下してしまう。
In the method described in
本発明は上記実情に鑑みてなされたものであって、その目的とするところは、カメラの位置や特性の違いによる影響を受けず、かつ、精度良く鏡面物体の3次元形状を測定可能な技術を提供することにある。 The present invention has been made in view of the above circumstances, and the object of the present invention is a technique that can accurately measure the three-dimensional shape of a specular object without being affected by differences in camera position and characteristics. Is to provide.
上記目的を達成するために本発明に係る3次元計測装置は、鏡面物体である計測対象物の3次元形状を計測する3次元計測装置であって、複数のカメラと、前記複数のカメラによって撮影された画像のそれぞれから、前記計測対象物の表面の物理特徴を取得する特徴取得手段と、前記物理特徴を用いて、前記複数のカメラによって撮影された画像間で対応する画素を探索する対応画素探索手段と、対応する画素間の視差に基づいて、3次元測量
を行う測量手段と、を備えることを特徴とする。
In order to achieve the above object, a three-dimensional measurement apparatus according to the present invention is a three-dimensional measurement apparatus that measures a three-dimensional shape of a measurement object that is a specular object, and is photographed by a plurality of cameras and the plurality of cameras. A feature acquisition unit that acquires a physical feature of the surface of the measurement object from each of the images obtained, and a corresponding pixel that searches for a corresponding pixel among images captured by the plurality of cameras using the physical feature Search means and surveying means for performing three-dimensional surveying based on the parallax between corresponding pixels are provided.
鏡面物体の表面に映り込む輝度情報を利用して画素対応をとるときに誤差が生じるのは、輝度情報が鏡面物体の表面そのものの特徴ではなく、周囲の照明などの条件によって変化する情報だからである。そこで、本発明では、鏡面物体の表面の物理特徴を取得し、この特徴を利用して画素対応をとることで、カメラの位置や姿勢による影響を受けずに、高精度なマッチングを可能とし、したがって、計測対象物の3次元形状を精度良く測定することが可能となる。 An error occurs when pixel correspondence is achieved using luminance information reflected on the surface of a specular object because luminance information is not a feature of the surface of the specular object itself, but information that changes depending on conditions such as ambient lighting. is there. Therefore, in the present invention, by acquiring the physical characteristics of the surface of the specular object and taking the pixel correspondence using this characteristic, high-precision matching is possible without being affected by the position and orientation of the camera, Therefore, it is possible to accurately measure the three-dimensional shape of the measurement object.
上記のような、計測対象物の表面の物理特徴として、表面の法線の向きを利用することが好ましい。また、法線以外にも、計測対象物表面の分光特性や反射特性を利用しても良い。これらの物理特徴は、いずれも計測対象物に固有の情報であるため、カメラの位置や姿勢による影響を受けない。 As the physical characteristics of the surface of the measurement object as described above, it is preferable to use the direction of the surface normal. In addition to the normal line, spectral characteristics and reflection characteristics of the surface of the measurement object may be used. Since these physical features are information unique to the measurement object, they are not affected by the position and orientation of the camera.
本発明において、複数のカメラによって撮影される画像の座標系を、変換パラメータを用いて共通の座標系に変換する座標変換手段をさらに有することが好適である。この場合、前記対応画素探索手段は、座標変換手段によって共通の座標系に変換された法線の向きを利用して、画像間で対応する画素を探索する。 In the present invention, it is preferable to further include coordinate conversion means for converting a coordinate system of images taken by a plurality of cameras into a common coordinate system using a conversion parameter. In this case, the corresponding pixel search means searches for a corresponding pixel between the images using the direction of the normal line converted into the common coordinate system by the coordinate conversion means.
複数の撮影画像間で座標系を統一する座標変換処理を施してからマッチングを行うことで、カメラ間の輻輳角を大きくしてもマッチングの精度が低下しない。したがって、カメラの配置をより柔軟に決定することが可能となる。 By performing the matching after performing coordinate transformation processing that unifies the coordinate system among a plurality of captured images, the matching accuracy does not decrease even if the convergence angle between the cameras is increased. Therefore, the arrangement of the cameras can be determined more flexibly.
なお、上記の座標変換手段における変換パラメータは、あらかじめ行われたカメラキャリブレーション(較正)によって得られたパラメータから抽出することが好適である。 Note that the conversion parameters in the coordinate conversion means are preferably extracted from parameters obtained by camera calibration (calibration) performed in advance.
また、本発明における対応画素探索手段は、着目する画素を含む所定の広さの領域における物理特徴を比較して、画像間で対応する画素を探索することが好ましい。周囲の物理特徴まで含めて比較を行うことで、より精度の良いマッチングを行うことが可能となる。 In addition, it is preferable that the corresponding pixel search unit in the present invention searches for a corresponding pixel between images by comparing physical features in a predetermined area including the pixel of interest. By performing comparison including the surrounding physical features, more accurate matching can be performed.
なお、本発明は、上記手段の少なくとも一部を有する3次元計測装置として捉えることができる。また、本発明は、上記処理の少なくとも一部を含む3次元計測方法、または、かかる方法を実現するためのプログラムとして捉えることもできる。上記手段および処理の各々は可能な限り互いに組み合わせて本発明を構成することができる。 Note that the present invention can be understood as a three-dimensional measuring apparatus having at least a part of the above means. The present invention can also be understood as a three-dimensional measurement method including at least a part of the above processing, or a program for realizing such a method. Each of the above means and processes can be combined with each other as much as possible to constitute the present invention.
本発明によれば、カメラの位置や特性の違いによる影響を受けず、かつ、精度良く鏡面物体の3次元形状を測定することが可能となる。 According to the present invention, it is possible to accurately measure the three-dimensional shape of a specular object without being affected by the difference in camera position and characteristics.
以下に図面を参照して、この発明の好適な実施の形態を例示的に詳しく説明する。 Exemplary embodiments of the present invention will be described in detail below with reference to the drawings.
(第1の実施形態)
〈全体概要〉
図1は本実施形態に係る3次元計測装置の概要を示す図である。図2は、本実施形態に係る3次元計測装置の機能ブロックを示す図である。図1に示すように、ステージ5に配置された計測対象物4を、2つのカメラ1,2によって撮影する。計測対象物4には、異なる方向から3つの照明装置3a〜cによって白色光が照射されており、これらの照明装置3a〜cを順次照射して、カメラ1,2はそれぞれ3枚の画像を撮影する。撮影された画像はコンピュータ6に取り込まれ、画像処理されて3次元計測が行われる。
(First embodiment)
<Overview>
FIG. 1 is a diagram showing an outline of a three-dimensional measuring apparatus according to this embodiment. FIG. 2 is a diagram illustrating functional blocks of the three-dimensional measurement apparatus according to the present embodiment. As shown in FIG. 1, the
コンピュータ6は、CPUがプログラムを実行することで、図2に示すように、表面形状算出部7、座標変換部8、対応点算出部9および三角測量部10として機能する。なお、これらの各機能部の一部または全部は、専用のハードウェアによって実現されても構わない。
The
〈構成〉
[カメラ配置]
図3は、カメラの配置を説明する図である。図3に示すように、カメラ1は鉛直方向から計測対象物4を撮影し、カメラ2は鉛直方向から40度ずれた方向から計測対象物4を撮影する。
<Constitution>
[Camera layout]
FIG. 3 is a diagram for explaining the arrangement of the cameras. As shown in FIG. 3, the
[照明配置]
図4は、照明装置3a〜3cの配置を説明する図である。図4(A)は、鉛直方向から見た図であり、照明装置3a〜3cの方位角配置を示す図である。図4(B)は横方向から見た図であり、照明装置3a〜3cの天頂角配置を示す図である。図に示すように、3つの照明装置3a〜3cは、方位角が互いに120度ずつ異なる方向から、また、天頂角が40度の方向から、計測対象物に光を照射する。
[Lighting arrangement]
FIG. 4 is a diagram illustrating the arrangement of the
なお、ここで説明したカメラ1,2および照明装置3a〜3cの配置は、一具体例にすぎず、必ずしもこのような配置にする必要はない。例えば、照明装置の方位角を均等にしなくても良い。また、カメラと照明装置の天頂角を同じにしているが、異ならせても構わない。
The arrangement of the
[表面形状(法線)算出]
表面形状算出部7は、カメラ1,2によって撮影されたそれぞれ3枚の画像から、計測対象物の各位置における法線の向きを算出する機能部である。表面形状算出部7の、より詳細な機能ブロック図を図5に示す。図に示すように、表面形状算出部7は、画像入力部71,法線−輝度テーブル72および法線算出部73を有する。
[Surface shape (normal) calculation]
The surface
画像入力部71は、カメラ1,2が撮影した画像の入力を受け付ける機能部である。画像入力部71は、カメラ1,2からアナログデータを受信する場合にはキャプチャボードなどによってデジタルデータに変換する。また、画像入力部71は、USB端子やIEEE1394端子などによってデジタルデータの画像を受信しても良い。この他にも、LANケーブルを介したり、ポータブルな記憶媒体から画像を読み込むような構成を採用しても構わない。
The
法線−輝度テーブル72は、法線の向きと、3つの照明装置3a〜3cを順次点灯し撮影した画像における輝度値との対応関係を記憶している記憶部である。なお、この法線−輝度テーブル72は、カメラごとに用意されるものであり、本実施形態ではカメラ1,2に対応して2つの法線−輝度テーブルが用いられる。
The normal line-luminance table 72 is a storage unit that stores a correspondence relationship between the direction of the normal line and the luminance values in images captured by sequentially lighting the three
この法線−輝度テーブル72の作成方法を、図6を参照して説明する。まず、表面形状が既知の物体を対象として、照明装置3a〜3cを順次点灯して3枚の画像10a〜10cを撮影する。このとき、球体はあらゆる方向の法線を有していることと、各位置における法線の向きを計算によって容易に算出することができるので、球体を対象とすることが好適である。また、法線−輝度テーブルを作成するために使用する対象と実際に法線を算出する計測対象の反射特性が、同一かつ一定であることが必要である。
A method of creating the normal-luminance table 72 will be described with reference to FIG. First, the
そして、テーブル作成用画像10a〜10cの各位置について、法線の向き(天頂角θ
と方位角φ)と、各画像での輝度値(La,Lb,Lc)とを取得し、これらを対応付けて記憶する。撮影画像中の全ての点で法線の向きと輝度値の組み合わせを対応付けることで、全ての法線の向きについて法線の向きと輝度値の組み合わせを記憶した法線−輝度テーブル72が作成できる。
For each position of the
And the azimuth angle φ) and the luminance values (La, Lb, Lc) in each image are acquired and stored in association with each other. By associating the direction of the normal and the combination of the luminance value with all the points in the photographed image, the normal-luminance table 72 storing the combination of the direction of the normal and the luminance value can be created for all the directions of the normal. .
法線算出部73は、図7に示すように、照明装置3a〜3cを順次点灯して撮影された3枚の画像11a〜11cから、計測対象物4の各位置における法線の向きを算出する。より具体的には、法線算出部73は、入力された3枚の画像11a〜11cから各位置における輝度値の組み合わせを取得し、画像を撮影したカメラに対応する法線−輝度テーブル72を参照して、その位置における法線の向きを決定する。
As shown in FIG. 7, the normal
[座標変換処理]
座標変換部8は、座標変換処理によってカメラ1,2によって撮影された画像から算出された法線の向きを、統一された座標系で表す。カメラ1,2によって撮影された画像から取得された法線の向きは、それぞれのカメラ座標系で表されているので、そのままで比較すると誤差が生じる。特に、カメラの撮像方向の違いが大きいとこの誤差が大きくなる。
[Coordinate transformation processing]
The coordinate
本実施形態では、斜め上方から撮影するカメラ2の画像から取得された法線の向きを、カメラ1の座標系に変換することで、座標系の統一を行う。ただし、カメラ1の画像から取得された法線の向きをカメラ2の座標系に変換して座標系を統一しても良いし、カメラ1,2の画像から取得された法線の向きを別の座標系に変換することで座標系を統一しても良い。
In this embodiment, the coordinate system is unified by converting the direction of the normal line acquired from the image of the
本実施形態でのカメラモデルを正射影としたとき、図8に示すように、ワールド座標系(X,Y,Z)をカメラ1の座標系(xa,ya,za)に変換する回転行列をR1、ワールド座標系(X,Y,Z)をカメラの2の座標系(xb,yb,zb)に変換する回転行列をR2とすると、カメラ2の座標系をカメラ1の座標系に変換する回転行列R21はR21=R2 −1・R1となる。
When the camera model in the present embodiment that a positive projection, as shown in FIG. 8, to convert the world coordinate system (X, Y, Z) of the
また、あらかじめ行われるカメラキャリブレーションにおいて、次のようなキャリブレーションパラメータが得られる。 Further, the following calibration parameters are obtained in the camera calibration performed in advance.
一般に、回転行列Rは、次のように表される。 In general, the rotation matrix R is expressed as follows.
数式1における、pa11,pa12,pa13,pa21,pa22,pa23は、回転行列R1における、R1_11,R1_12,R1_13,R1_21,R1_22,R1_23にそれぞれ等しいので、連立方程式を解くことでカメラの回転角度α、β、γを求めることができ、したがって回転行列R1を得ることができる。カメラ2についても同様に、回転行列R2を得ることができる。そして、カメラ2の座標系をカメラ1の座標系に変換する回転行列R21をR2 −1・R1によって求めることができる。
In Equation 1, p a11, p a12, p a13, p a21, p a22, p a23 is the rotation matrix R 1, R 1_11, R 1_12 , R 1_13, R 1_21, R 1_22, as each equal to R 1_23 By solving the simultaneous equations, the rotation angles α, β, γ of the camera can be obtained, and therefore the rotation matrix R 1 can be obtained. Similarly, the rotation matrix R 2 can be obtained for the
[対応点探索処理]
対応点算出部9は、座標系が統一された2つの法線画像から、対応する画素を算出する。この処理は、カメラ1の法線画像内の着目画素における法線と同じ向きの法線を、カメラ2の法線画像中から求めることで行われる。対応点算出部9が行う処理を、図9のフローチャートを参照しながら説明する。
[Corresponding point search processing]
The corresponding
まず、対応点算出部9は、座標系が統一された2つの法線画像A,Bを取得する(S1)。ここで、カメラ1の画像から取得された法線画像Aは、表面形状算出部7から得られたものをそのまま利用し、カメラ2の画像から得られた法線画像Bについては、座標変換部8でカメラ1の座標系に変換されたものを利用する。
First, the corresponding
次に、一方の法線画像(ここでは法線画像Aとする)内の任意の画素を注目点(注目画素)として選択する(S2)。そして、他方の法線画像(ここでは法線画像B)のエピポーラライン上から、対比点を選択する(S3)。 Next, an arbitrary pixel in one normal image (here, normal image A) is selected as a target point (target pixel) (S2). Then, a contrast point is selected from the epipolar line of the other normal image (here, normal image B) (S3).
そして、類似度評価関数によって、法線画像Aの注目点と、法線画像Bの対比点との間の類似度を算出する(S4)。ここで、1点における法線の向きを比較すると誤判定が生じるおそれがあるので、注目点および対比点の周囲の画素における法線の向きも利用して類似度を算出する。図10(A)に、類似度の算出に利用される探索ウィンドウの例を示す。ここでは、注目点を中心に5画素×5画素の領域を探索ウィンドウとしている。 Then, the similarity between the attention point of the normal image A and the contrast point of the normal image B is calculated by the similarity evaluation function (S4). Here, since there is a possibility that erroneous determination may occur when the normal directions at one point are compared, the similarity is calculated using the normal directions at pixels around the attention point and the contrast point. FIG. 10A shows an example of a search window used for calculating the similarity. Here, an area of 5 pixels × 5 pixels centering on the point of interest is used as a search window.
注目点と対比点との類似度は、この探索ウィンドウ内全体での法線の向きの一致率に基づいて算出する。より具体的には、以下の式により、探索ウィンドウ内の各点において法線画像A,B間で法線ベクトルの内積を算出し、その和に基づいて類似度を算出する(図10(B)参照)。 The similarity between the attention point and the contrast point is calculated based on the coincidence ratio of the normal directions in the entire search window. More specifically, the inner product of the normal vectors is calculated between the normal images A and B at each point in the search window by the following formula, and the similarity is calculated based on the sum (FIG. 10 (B )reference).
対応点はエピポーラライン上にあるので、この類似度の算出は、エピポーラライン上の画素について実行される。したがって、1つの点について類似度を算出した後、エピポーラライン上の全ての点について類似度算出処理を実行したか判定し、まだ類似度を算出していない点があれば、ステップS3に戻って類似度算出を行う(S5)。 Since the corresponding point is on the epipolar line, the calculation of the similarity is performed for pixels on the epipolar line. Therefore, after calculating the similarity for one point, it is determined whether the similarity calculation processing has been executed for all the points on the epipolar line. If there is a point for which the similarity is not yet calculated, the process returns to step S3. Similarity calculation is performed (S5).
エピポーラライン上の全ての点について類似度を算出したら、その中から最も類似度が高い点を求め、その点を法線画像Aの注目点に対応する法線画像Bにおける対応点と判断する(S6)。 When the similarity is calculated for all points on the epipolar line, the point having the highest similarity is obtained from the points, and the point is determined as the corresponding point in the normal image B corresponding to the attention point of the normal image A ( S6).
上記の処理は、3角測量をおこなう法線画像Aの点全てについて行うので、全ての点について処理済みであるか判定し、まだ処理をしていない点があれば、ステップS2に戻ってその点に対応する対応点を探索する(S7)。 Since the above processing is performed for all the points of the normal image A for performing the triangulation, it is determined whether all the points have been processed, and if there are points that have not been processed yet, the process returns to step S2 A corresponding point corresponding to the point is searched (S7).
[三角測量]
以上のようにして、2つの画像における対応点が求められたら、三角測量部10によって計測対象物4の各位置について、奥行き情報(距離)を算出する。この処理は公知の技術であるので詳しい説明は省略する。
[Triangulation]
As described above, when the corresponding points in the two images are obtained, the
〈実施形態の作用・効果〉
本実施形態に係る3次元計測装置では、計測対象物の物理特徴である法線の向きを利用して、2つの画像間での対応点を探索しているので、カメラの特性や配置の違いによる影響を受けずに3次元計測が可能となる。従来のような物理表面の色(輝度値)に基づく対応点探索処理では対象表面が鏡面である場合には誤差が大きくなり、精度の良い3次元計測が困難であるが、本実施形態による方法を使えば鏡面物体であっても精度良く3次元計測を行うことが可能となる。
<Operation and effect of the embodiment>
In the three-dimensional measurement apparatus according to the present embodiment, the corresponding points between the two images are searched using the direction of the normal, which is a physical feature of the measurement object. 3D measurement is possible without being affected by the above. In the conventional corresponding point search processing based on the color (luminance value) of the physical surface, when the target surface is a mirror surface, an error becomes large and accurate three-dimensional measurement is difficult. If it is used, even if it is a mirror surface object, it will become possible to perform three-dimensional measurement with sufficient accuracy.
また、複数のカメラ間で異なる座標系を、カメラキャリブレーションで得られたキャリブレーションパラメータから抽出された変換パラメータを利用して共通座標系に変換してから対応点を探索するため、カメラの輻輳角を大きくしても対応付けの精度が低下せず、精度の良い3次元測定が可能となる。 In addition, since the coordinate system that is different among multiple cameras is converted into a common coordinate system using the conversion parameters extracted from the calibration parameters obtained by camera calibration, the corresponding points are searched for, so the camera congestion Even if the angle is increased, the matching accuracy does not decrease, and accurate three-dimensional measurement is possible.
(変形例1)
上記の実施形態では、カメラ2の撮影画像から法線−輝度テーブルを参照して法線の向きを算出した後、座標変換によって法線画像の座標系をカメラ1の座標系に合わせる処理を実行している。しかしながら、最終的に座標系の統一が取れればその他の方法によっても構わない。例えば、カメラ2に対応する法線−輝度テーブルに格納される法線のデータに対して、カメラ2の座標系をカメラ1の座標系に合わせる変換処理を施しても良い。このようにすれば、カメラ2の画像に対する表面形状算出部7による法線の向きの算出結果が、カメラ1の座標系で表されたものとなる。
(Modification 1)
In the embodiment described above, the normal direction is calculated from the captured image of the
(変形例2)
上記の実施形態では、白色光を照射する3つの照明装置3a〜3cを利用し、これらを順次点灯して画像を撮影し、3枚の画像から法線の向きを算出している。しかしながら、画像を撮影して法線の向きを取得する方法であれば、任意の方法を採用することができる
。例えば、3つの照明装置の発光色をそれぞれR,G,Bの3色とし、これらを同時に照射して、各成分光の強度を取得することで、1回の撮影のみで上記と同様の効果を得ることができる。
(Modification 2)
In the above-described embodiment, the three
(第2の実施形態)
第1の実施形態では、計測対象表面の物理特徴として法線の向きを利用したが、本実施形態では対象の分光特性を利用して、ステレオ画像間の対応点を探索する。
(Second Embodiment)
In the first embodiment, the normal direction is used as the physical feature of the measurement target surface. However, in this embodiment, the corresponding points between the stereo images are searched using the spectral characteristics of the target.
計測対象表面の分光特性を計測するためには、分光特性の異なる光源を同じ位置から計測対象に逐次照射する。これは例えば、図11に示すように、白色光源の前に場所(角度)によって分光特性が異なるカラーフィルタを設け、このフィルタを回転することで実現できる。このような照明装置を利用してカラーカメラで対象を観測し、最も値が高くなる輝度値を計測することで画素ごとの簡易的な分光特性を算出することができる。 In order to measure the spectral characteristics of the measurement target surface, light sources having different spectral characteristics are sequentially irradiated onto the measurement target from the same position. For example, as shown in FIG. 11, a color filter having different spectral characteristics depending on the location (angle) is provided in front of the white light source, and this filter can be rotated. A simple spectral characteristic for each pixel can be calculated by observing an object with a color camera using such an illumination device and measuring a luminance value having the highest value.
そして、複数のカメラで得られた画素ごとの分光特性マップを用いて対応付けを行う。以降の処理は第1の実施形態と同様である。 And it matches using the spectral characteristic map for every pixel obtained with the some camera. The subsequent processing is the same as in the first embodiment.
(第3の実施形態)
本実施形態では、計測対象表面の物理特徴として反射特性を利用して、ステレオ画像間の対応点を探索する。
(Third embodiment)
In the present embodiment, the corresponding point between the stereo images is searched using the reflection characteristic as the physical characteristic of the measurement target surface.
計測対象表面の反射特性を計測するためには、異なる方向から光を照射する複数の光源を配置し、これらの光源を順次点灯しながらカメラで撮影を行う。また、第1の実施形態と同様に、球体など形状が既知であり、かつ、反射特性も既知であるサンプルを用意する。ここでは、反射特性が異なる複数のサンプルを利用し、それぞれのサンプルに対して各光源下での輝度値を事例データとして保有する。 In order to measure the reflection characteristics of the surface to be measured, a plurality of light sources that irradiate light from different directions are arranged, and shooting is performed with a camera while sequentially turning on these light sources. Similarly to the first embodiment, a sample having a known shape such as a sphere and a known reflection characteristic is prepared. Here, a plurality of samples having different reflection characteristics are used, and the luminance value under each light source is stored as case data for each sample.
計測対象に対しても同様に、複数の光源を順次点灯し、各光源下における輝度値の組み合わせを取得する。この輝度値の組み合わせて、事例データとし比較して画素ごとに該当する反射特性を算出する。 Similarly, a plurality of light sources are sequentially turned on for the measurement target, and a combination of luminance values under each light source is acquired. The combination of the brightness values is compared as case data, and the reflection characteristic corresponding to each pixel is calculated.
複数のカメラで得られた画素ごとの反射特性マップを用いて、これら複数のカメラで撮影された画像間における画素の対応付けを行う。以降の処理は、第1の実施形態と同様である。 Using the reflection characteristic maps for each pixel obtained by a plurality of cameras, the pixels are associated between images captured by the plurality of cameras. Subsequent processing is the same as in the first embodiment.
1,2 カメラ
3a,3b,3c 照明装置
4 計測対象物
6 コンピュータ
7 表面形状算出部
71 画像入力部
72 法線−輝度テーブル
73 法線算出部
8 座標変換部
9 対応点算出部
10 三角測量部
DESCRIPTION OF
Claims (10)
複数のカメラと、
前記複数のカメラによって撮影された画像のそれぞれから、前記計測対象物の表面の物理特徴を取得する特徴取得手段と、
前記物理特徴を用いて、前記複数のカメラによって撮影された画像間で対応する画素を探索する対応画素探索手段と、
対応する画素間の視差に基づいて、3次元測量を行う測量手段と、
を備えることを特徴とする3次元計測装置。 A three-dimensional measurement device that measures a three-dimensional shape of a measurement object that is a specular object,
Multiple cameras,
Feature acquisition means for acquiring the physical characteristics of the surface of the measurement object from each of the images taken by the plurality of cameras;
Corresponding pixel search means for searching for corresponding pixels between images captured by the plurality of cameras using the physical features;
Surveying means for performing three-dimensional surveying based on the parallax between corresponding pixels;
A three-dimensional measuring apparatus comprising:
ことを特徴とする請求項1に記載の3次元計測装置。 The three-dimensional measurement apparatus according to claim 1, wherein the physical feature of the surface of the measurement object acquired by the feature acquisition unit is a direction of a normal of the surface.
前記対応画素探索手段は、座標変換手段によって共通の座標系に変換された法線の向きを利用して、画像間で対応する画素を探索する
ことを特徴とする請求項2に記載の3次元計測装置。 Coordinate conversion means for converting the coordinate system of images taken by a plurality of cameras into a common coordinate system using conversion parameters,
3. The three-dimensional image according to claim 2, wherein the corresponding pixel search unit searches for a corresponding pixel between images by using a direction of a normal line converted into a common coordinate system by the coordinate conversion unit. Measuring device.
ことを特徴とする請求項3に記載の3次元計測装置。 The three-dimensional measurement apparatus according to claim 3, wherein the conversion parameter in the coordinate conversion unit is extracted from a parameter obtained by camera calibration performed in advance.
ことを特徴とする請求項1〜4のいずれかに記載の3次元計測装置。 The said corresponding pixel search means compares the physical characteristics in the area | region of the predetermined area containing the pixel of interest, and searches for the corresponding pixel between images. 3D measuring device.
複数のカメラによって撮影された画像のそれぞれから、前記計測対象物の表面の物理特徴を取得する特徴取得工程と、
前記物理特徴を用いて、前記複数のカメラによって撮影された画像間で対応する画素を探索する対応画素探索工程と、
対応する画素間の視差に基づいて、3次元測量を行う測量工程と、
を含むことを特徴とする3次元計測方法。 A three-dimensional measurement method for measuring a three-dimensional shape of a measurement object that is a specular object,
A feature acquisition step of acquiring a physical feature of the surface of the measurement object from each of images taken by a plurality of cameras;
A corresponding pixel search step of searching for a corresponding pixel between images taken by the plurality of cameras using the physical feature;
A surveying step for performing a three-dimensional survey based on the parallax between corresponding pixels;
A three-dimensional measurement method comprising:
ことを特徴とする請求項6に記載の3次元計測方法。 The three-dimensional measurement method according to claim 6, wherein the physical feature of the surface of the measurement object acquired in the feature acquisition step is a direction of a normal of the surface.
前記対応画素探索工程では、座標変換工程において共通の座標系に変換された法線の向きを利用して、画像間で対応する画素を探索する
ことを特徴とする請求項7に記載の3次元計測方法。 A coordinate conversion step of converting a coordinate system of images captured by a plurality of cameras into a common coordinate system using a conversion parameter;
8. The three-dimensional image according to claim 7, wherein, in the corresponding pixel search step, a corresponding pixel is searched between images using the direction of the normal line converted into a common coordinate system in the coordinate conversion step. Measurement method.
ことを特徴とする請求項8に記載の3次元計測方法。 The three-dimensional measurement method according to claim 8, wherein the conversion parameter used in the coordinate conversion step is extracted from a parameter obtained by camera calibration performed in advance.
ことを特徴とする請求項6〜9のいずれかに記載の3次元計測方法。 The said corresponding pixel search process compares the physical characteristics in the area | region of the predetermined area containing the pixel of interest, and searches for a corresponding pixel between images. 3D measurement method.
Priority Applications (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008239114A JP2010071782A (en) | 2008-09-18 | 2008-09-18 | Three-dimensional measurement apparatus and method thereof |
KR1020117007085A KR101194936B1 (en) | 2008-09-18 | 2009-09-17 | Three-dimensional measurement apparatus and method thereof |
PCT/JP2009/066272 WO2010032792A1 (en) | 2008-09-18 | 2009-09-17 | Three-dimensional measurement apparatus and method thereof |
CN200980136902.5A CN102159917A (en) | 2008-09-18 | 2009-09-17 | Three-dimensional measurement apparatus and method thereof |
EP09814636A EP2339292A1 (en) | 2008-09-18 | 2009-09-17 | Three-dimensional measurement apparatus and method thereof |
US13/119,824 US20110228052A1 (en) | 2008-09-18 | 2009-09-17 | Three-dimensional measurement apparatus and method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008239114A JP2010071782A (en) | 2008-09-18 | 2008-09-18 | Three-dimensional measurement apparatus and method thereof |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2010071782A true JP2010071782A (en) | 2010-04-02 |
Family
ID=42039614
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008239114A Pending JP2010071782A (en) | 2008-09-18 | 2008-09-18 | Three-dimensional measurement apparatus and method thereof |
Country Status (6)
Country | Link |
---|---|
US (1) | US20110228052A1 (en) |
EP (1) | EP2339292A1 (en) |
JP (1) | JP2010071782A (en) |
KR (1) | KR101194936B1 (en) |
CN (1) | CN102159917A (en) |
WO (1) | WO2010032792A1 (en) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20110128139A (en) * | 2010-05-20 | 2011-11-28 | 다이이치지쯔교 비스위루 가부시키가이샤 | Appearance inspection apparatus |
JP2012141758A (en) * | 2010-12-28 | 2012-07-26 | Toshiba Corp | Three-dimensional data processing device, method and program |
EP2618135A1 (en) | 2012-01-17 | 2013-07-24 | Omron Corporation | Method for registering inspection standard for soldering inspection and board inspection apparatus thereby |
CN103261836A (en) * | 2010-10-08 | 2013-08-21 | 欧姆龙株式会社 | Shape measuring apparatus and shape measuring method |
JP2016008954A (en) * | 2014-06-26 | 2016-01-18 | 株式会社豊田中央研究所 | Object shape estimation apparatus and program |
DE112011104727B4 (en) * | 2011-01-17 | 2016-07-14 | Omron Corporation | A board inspection apparatus, a board inspection system, and a screen display method for inspecting a board inspection result |
JP2017076033A (en) * | 2015-10-14 | 2017-04-20 | キヤノン株式会社 | Processor, processing system, imaging apparatus, processing method, program, and recording medium |
US10210628B2 (en) | 2014-03-03 | 2019-02-19 | Mitsubishi Electric Corporation | Position measurement apparatus for measuring position of object having reflective surface in the three-dimensional space |
DE112020006804T5 (en) | 2020-02-27 | 2022-12-29 | Omron Corporation | X-RAY INSPECTION SYSTEM, X-RAY INSPECTION PROCEDURE AND PROGRAM |
Families Citing this family (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8687046B2 (en) * | 2009-11-06 | 2014-04-01 | Sony Corporation | Three-dimensional (3D) video for two-dimensional (2D) video messenger applications |
JP5423544B2 (en) * | 2010-04-02 | 2014-02-19 | セイコーエプソン株式会社 | Optical position detector |
JP5423542B2 (en) * | 2010-04-02 | 2014-02-19 | セイコーエプソン株式会社 | Optical position detector |
JP5423545B2 (en) * | 2010-04-02 | 2014-02-19 | セイコーエプソン株式会社 | Optical position detector |
JP5423543B2 (en) * | 2010-04-02 | 2014-02-19 | セイコーエプソン株式会社 | Optical position detector |
JP5832278B2 (en) * | 2011-12-26 | 2015-12-16 | 三菱重工業株式会社 | Calibration method for camera measurement system |
US10289895B2 (en) | 2014-10-21 | 2019-05-14 | Isra Surface Vision Gmbh | Method and device for determining a three-dimensional distortion |
DE102014115331A1 (en) * | 2014-10-21 | 2016-04-21 | Isra Surface Vision Gmbh | Method and device for determining a three-dimensional distortion |
WO2016169589A1 (en) * | 2015-04-21 | 2016-10-27 | Carl Zeiss Industrielle Messtechnik Gmbh | Method and device for determining actual dimensional properties of a measured object |
US20160378137A1 (en) * | 2015-06-26 | 2016-12-29 | Intel Corporation | Electronic device with combinable image input devices |
WO2017052590A1 (en) | 2015-09-25 | 2017-03-30 | Intel Corporation | Hinge for an electronic device |
CN106524909B (en) * | 2016-10-20 | 2020-10-16 | 北京旷视科技有限公司 | Three-dimensional image acquisition method and device |
JP6848385B2 (en) * | 2016-11-18 | 2021-03-24 | オムロン株式会社 | 3D shape measuring device |
US20190096057A1 (en) * | 2017-05-11 | 2019-03-28 | Jacob Nathaniel Allen | Object inspection system and method for inspecting an object |
CN111492198B (en) * | 2017-12-20 | 2022-05-03 | 索尼公司 | Object shape measuring apparatus and method, and program |
WO2020080758A1 (en) * | 2018-10-15 | 2020-04-23 | 주식회사 고영테크놀러지 | Device and method for inspection, and recording medium in which command is recorded |
JP6858415B2 (en) * | 2019-01-11 | 2021-04-14 | 学校法人福岡工業大学 | Sea level measurement system, sea level measurement method and sea level measurement program |
DE102020002357A1 (en) * | 2019-04-19 | 2020-10-22 | Mitutoyo Corporation | MEASURING APPARATUS FOR A THREE-DIMENSIONAL GEOMETRY AND MEASURING METHOD FOR A THREE-DIMENSIONAL GEOMETRY |
CN111915666A (en) * | 2019-05-07 | 2020-11-10 | 顺丰科技有限公司 | Volume measurement method and device based on mobile terminal |
JP7242431B2 (en) * | 2019-05-31 | 2023-03-20 | 公益財団法人かずさDna研究所 | Three-dimensional measuring device, three-dimensional measuring method and three-dimensional measuring program |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS61198015A (en) * | 1984-11-14 | 1986-09-02 | Agency Of Ind Science & Technol | Distance measuring method based on illuminance difference stereo method of two sets, and its device |
JPH04143606A (en) * | 1990-10-04 | 1992-05-18 | Kobe Steel Ltd | Apparatus for detecting shape |
JP2007114168A (en) * | 2005-10-17 | 2007-05-10 | Applied Vision Systems Corp | Image processing method, device, and program |
JP2007322162A (en) * | 2006-05-30 | 2007-12-13 | 3D Media Co Ltd | Three-dimensional shape measuring apparatus and three-dimensional shape measuring method |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6282314A (en) * | 1985-10-08 | 1987-04-15 | Hitachi Ltd | Stereo measurement system for difference in light intensity |
US20020024517A1 (en) * | 2000-07-14 | 2002-02-28 | Komatsu Ltd. | Apparatus and method for three-dimensional image production and presenting real objects in virtual three-dimensional space |
-
2008
- 2008-09-18 JP JP2008239114A patent/JP2010071782A/en active Pending
-
2009
- 2009-09-17 KR KR1020117007085A patent/KR101194936B1/en not_active IP Right Cessation
- 2009-09-17 CN CN200980136902.5A patent/CN102159917A/en active Pending
- 2009-09-17 US US13/119,824 patent/US20110228052A1/en not_active Abandoned
- 2009-09-17 WO PCT/JP2009/066272 patent/WO2010032792A1/en active Application Filing
- 2009-09-17 EP EP09814636A patent/EP2339292A1/en not_active Withdrawn
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS61198015A (en) * | 1984-11-14 | 1986-09-02 | Agency Of Ind Science & Technol | Distance measuring method based on illuminance difference stereo method of two sets, and its device |
JPH04143606A (en) * | 1990-10-04 | 1992-05-18 | Kobe Steel Ltd | Apparatus for detecting shape |
JP2007114168A (en) * | 2005-10-17 | 2007-05-10 | Applied Vision Systems Corp | Image processing method, device, and program |
JP2007322162A (en) * | 2006-05-30 | 2007-12-13 | 3D Media Co Ltd | Three-dimensional shape measuring apparatus and three-dimensional shape measuring method |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20110128139A (en) * | 2010-05-20 | 2011-11-28 | 다이이치지쯔교 비스위루 가부시키가이샤 | Appearance inspection apparatus |
KR102030543B1 (en) * | 2010-05-20 | 2019-10-10 | 다이이치지쯔교 비스위루 가부시키가이샤 | Appearance inspection apparatus |
KR101915498B1 (en) * | 2010-05-20 | 2018-11-06 | 다이이치지쯔교 비스위루 가부시키가이샤 | Appearance inspection apparatus |
CN103261836A (en) * | 2010-10-08 | 2013-08-21 | 欧姆龙株式会社 | Shape measuring apparatus and shape measuring method |
JP2013543591A (en) * | 2010-10-08 | 2013-12-05 | オムロン株式会社 | Shape measuring apparatus and shape measuring method |
CN103261836B (en) * | 2010-10-08 | 2017-03-08 | 欧姆龙株式会社 | Shape measuring apparatus and form measuring method |
JP2012141758A (en) * | 2010-12-28 | 2012-07-26 | Toshiba Corp | Three-dimensional data processing device, method and program |
DE112011104727B4 (en) * | 2011-01-17 | 2016-07-14 | Omron Corporation | A board inspection apparatus, a board inspection system, and a screen display method for inspecting a board inspection result |
EP2618135A1 (en) | 2012-01-17 | 2013-07-24 | Omron Corporation | Method for registering inspection standard for soldering inspection and board inspection apparatus thereby |
US10210628B2 (en) | 2014-03-03 | 2019-02-19 | Mitsubishi Electric Corporation | Position measurement apparatus for measuring position of object having reflective surface in the three-dimensional space |
JP2016008954A (en) * | 2014-06-26 | 2016-01-18 | 株式会社豊田中央研究所 | Object shape estimation apparatus and program |
JP2017076033A (en) * | 2015-10-14 | 2017-04-20 | キヤノン株式会社 | Processor, processing system, imaging apparatus, processing method, program, and recording medium |
DE112020006804T5 (en) | 2020-02-27 | 2022-12-29 | Omron Corporation | X-RAY INSPECTION SYSTEM, X-RAY INSPECTION PROCEDURE AND PROGRAM |
Also Published As
Publication number | Publication date |
---|---|
EP2339292A1 (en) | 2011-06-29 |
WO2010032792A1 (en) | 2010-03-25 |
CN102159917A (en) | 2011-08-17 |
KR20110059631A (en) | 2011-06-02 |
US20110228052A1 (en) | 2011-09-22 |
KR101194936B1 (en) | 2012-10-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2010071782A (en) | Three-dimensional measurement apparatus and method thereof | |
US20180262737A1 (en) | Scan colorization with an uncalibrated camera | |
US8326022B2 (en) | Stereoscopic measurement system and method | |
WO2014002849A1 (en) | Three-dimensional measurement method, apparatus, and system, and image processing device | |
US9449378B2 (en) | System and method for processing stereoscopic vehicle information | |
JP7300948B2 (en) | Survey data processing device, survey data processing method, program for survey data processing | |
EP3382645B1 (en) | Method for generation of a 3d model based on structure from motion and photometric stereo of 2d sparse images | |
JP2012058076A (en) | Three-dimensional measurement device and three-dimensional measurement method | |
US10552984B2 (en) | Capture device calibration methods and systems | |
US9286506B2 (en) | Stereoscopic measurement system and method | |
CN107271445B (en) | Defect detection method and device | |
JP2020008502A (en) | Depth acquisition device by polarization stereo camera, and method of the same | |
JP2022177166A (en) | Inspection method, program, and inspection system | |
JP2008275366A (en) | Stereoscopic 3-d measurement system | |
JP2015206654A (en) | Information processing apparatus, information processing method, and program | |
JP3221384B2 (en) | 3D coordinate measuring device | |
AU2009249003B2 (en) | Stereoscopic measurement system and method | |
JP2019022147A (en) | Light source direction estimation device | |
KR20150119770A (en) | Method for measuring 3-dimensional cordinates with a camera and apparatus thereof | |
EP3688407B1 (en) | Light projection systems | |
AU2009249001B2 (en) | Stereoscopic measurement system and method | |
JP2009187412A (en) | Marker detecting and identifying device and program thereof | |
JP2016223980A (en) | Information processing apparatus, information processing method, and program | |
JP3915753B2 (en) | Image detection device | |
AU2013292286A1 (en) | System and method for processing stereoscopic vehicle information |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110216 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120619 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20121016 |