JP2001264033A - Three-dimensional shape-measuring apparatus and its method, three-dimensional modeling device and its method, and program providing medium - Google Patents

Three-dimensional shape-measuring apparatus and its method, three-dimensional modeling device and its method, and program providing medium

Info

Publication number
JP2001264033A
JP2001264033A JP2000075733A JP2000075733A JP2001264033A JP 2001264033 A JP2001264033 A JP 2001264033A JP 2000075733 A JP2000075733 A JP 2000075733A JP 2000075733 A JP2000075733 A JP 2000075733A JP 2001264033 A JP2001264033 A JP 2001264033A
Authority
JP
Japan
Prior art keywords
image
projection pattern
distance
step
based
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2000075733A
Other languages
Japanese (ja)
Inventor
Takayuki Ashigahara
Ikoku Go
Kazunori Hayashi
Teruyuki Ushiro
偉国 呉
輝行 後
和慶 林
隆之 芦ヶ原
Original Assignee
Sony Corp
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, ソニー株式会社 filed Critical Sony Corp
Priority to JP2000075733A priority Critical patent/JP2001264033A/en
Publication of JP2001264033A publication Critical patent/JP2001264033A/en
Application status is Pending legal-status Critical

Links

Abstract

PROBLEM TO BE SOLVED: To provide a three-dimensional shape measuring apparatus, capable of producing a distance image with high accuracy by simultaneously capturing a texture image and a light projection pattern image for distance measurement, in a stereoscopically imaging method. SOLUTION: A light projection pattern is irradiated with infrared rays, or the like, having wavelengths which are different from those of visible rays. The texture image with visible rays and a light projection pattern image with infrared rays, or the like, are captured simultaneously by a standard camera and a reference camera. A mismatching area is detected in a distance image obtained from the pattern images. By using the images captured simultaneously with infrared rays, a distant image having a partial area corresponding to the mismatching area is produced, and it is substituted for the mismatching area in the distance image based on the pattern images, thereby producing a more accurate distance image.

Description

【発明の詳細な説明】 DETAILED DESCRIPTION OF THE INVENTION

【0001】 [0001]

【発明の属する技術分野】本発明は、三次元形状計測装置とその方法、三次元モデリング装置とその方法、およびプログラム提供媒体に関する。 The present invention relates to the three-dimensional shape measuring apparatus and method, the three-dimensional modeling apparatus and method, and a program providing medium. 特に三次元空間上である距離範囲に存在する物体を複数の異なる位置から撮影した画像を用いて被写体表面の三次元形状を計測する場合に用いられる好適な三次元形状計測装置とその方法、 Suitable three-dimensional shape measuring apparatus and method to be used when measuring the three-dimensional shape of the object surface, especially by using an image obtained by photographing the object existing in the distance range is the three-dimensional space from a plurality of different positions,
三次元モデリング装置とその方法、およびプログラム提供媒体に関する。 3D modeling apparatus and method, and a program providing medium.

【0002】 [0002]

【従来の技術】物体の三次元形状を求める従来手法として、大きく分けて能動的手法(アクティブ手法)と受動的手法(パッシブ手法)がある。 As a conventional method of obtaining the three-dimensional shape of the Related Art objects, there is an active approach roughly (active technique) and passive techniques (passive technique). 能動的手法としては、光を投射して、その光が反射して帰ってくるまでの時間を測定することで各測定対象物体までの距離を求める方法や、測定対象にスリット状のパターン光をあてて測定対象に投影されたパターン光の形状を調べることによって三次元形状を計測する光切断法といった方法がある。 The active approach, by projecting light, and a method for determining the distance to each measured object by the light to measure the time until coming back after being reflected, the slit-like light pattern to be measured there are methods such as light-section method for measuring a three-dimensional shape by examining the shape of the projected pattern of light to the object to be measured against.

【0003】また、受動的手法として代表的なものは、 [0003] In addition, a typical thing as a passive approach,
三角測量の原理を利用したステレオ画像法であり、これは2台以上のカメラを使って、その画像間の対応点を見つけることで視差を求め、距離を計測する方法である。 A stereo image method using the principle of triangulation, which uses two or more cameras, is a method that obtains a parallax by finding corresponding points between images, to measure the distance.
ステレオ画像法については、例えば、金出、中原、奥富「マルチベースラインステレオ法による三次元計測」、 For stereo imaging, for example, Kanade, Nakahara, Okutomi "three-dimensional measurement by multi-baseline stereo method",
画像ラボ、pp53−57に記載されている。 Image Lab, are described in Pp53-57.

【0004】ステレオ画像法について、その原理を簡単に説明する。 [0004] The stereo image method will be described the principle easily. ステレオ画像法は複数のカメラを用いて2 Stereo imaging by using a plurality of cameras 2
つ以上の方向(異なる視線方向)から同一対象物を撮影して得られる複数の画像における画素同士を対応づけることで測定対象物の三次元空間における位置を求めようとするものである。 One or more directions (different viewing direction) from those to be obtained a position in three-dimensional space of the measuring object by associating between pixels in a plurality of images obtained by photographing the same object. 例えば基準カメラと参照カメラにより異なる方向から同一対象物を撮影して、それぞれの画像内の測定対象物の距離を三角測量の原理により測定する。 For example, from different directions by the reference camera and the reference camera by photographing a same object, the distance of the measuring object in each image is measured by the principle of triangulation.

【0005】図1は、ステレオ画像法の原理を説明する図である。 [0005] Figure 1 is a diagram for explaining the principle of stereo imaging. 基準カメラ(Camera 1)と参照カメラ(Camera 2)は異なる方向から同一対象物を撮影する。 Reference camera (Camera 1) and the reference camera (Camera 2) to shoot the same object from different directions. 基準カメラによって撮影された画像中の「m "M in taken image by the reference camera
b」というポイントの奥行きを求めることを考える。 Given that determine the depth of the point of b ".

【0006】基準カメラによる撮影画像中のポイント「mb」に見える物体は、奥行き方向の位置(p1,p [0006] The object that appears to point "mb" in the image captured by the reference camera, the position of the depth direction (p1, p
2,p3)によって、異なる方向から同一物体を撮影している参照カメラによって撮影された画像において、 By 2, p3), in the image captured by the reference camera photographing the same object from different directions,
「m1」、「m2」、「m3」のようにある直線上に展開されることになる。 "M1", "m2", is to be deployed on a straight line that is as "m3". この直線をエピポーラライン(E This straight line epipolar line (E
pipolar line)Lpと呼ぶ。 Referred to as the pipolar line) Lp.

【0007】基準カメラにおけるポイント「mb」の位置は、参照カメラによる画像中では「エピポーラ・ライン」と呼ばれる直線上に現れる。 [0007] the position of the point "mb" in reference camera appears on a straight line called "epipolar line" by a reference camera in the image. 撮像対象となる点P The point P to be imaged
(P1,P2,P3を含む直線上に存在する点)は、基準カメラの視線上に存在する限り、奥行きすなわち基準カメラとの距離の大小に拘らず、基準画像上では同じ観察点「mb」に現れる。 (P1, P2, points existing on a straight line including P3), so long as present on the reference camera line of sight, regardless of the magnitude of the distance between the depth or reference camera, the same observation point on the reference image "mb" It appears to. これに対し、参照カメラによる撮影画像上における点Pは、エピポーラ・ライン上に基準カメラと観察点Pとの距離の大小に応じた位置にあらわれる。 In contrast, a point P on the image captured by the reference camera, appears at a position corresponding to the magnitude of the distance between the reference camera on the epipolar line and the observation point P.

【0008】図1には、エピポーラ・ラインと、参照画像中における観察点「mb」の対応を図解している。 [0008] FIG. 1 illustrates the epipolar line, the correspondence of the observation point in the reference image "mb". 同図に示すように、観察点Pの位置がP1,P2,P3へと変化するに従って、参照画像中の観察点は「m1」、 As shown in the figure, according to the position of the observation point P is changed to P1, P2, P3, the observation point in the reference image "m1",
「m2」、「m3」へとシフトする。 "M2", to shift to "m3".

【0009】以上の幾何光学的性質を利用して、基準画像上の観察点「mb」との対応点をエピポーラ・ライン上で探索することにより、点Pの距離を同定することができる。 [0009] Using the geometric optical properties described above, the corresponding point of the observation point on the reference image "mb" by searching on the epipolar line, it is possible to identify the distance between the point P. これが「ステレオ画像法」の基本的原理である。 This is the basic principle of "stereo image method". このような方法で画面上のすべての画素についての三次元情報を取得する。 Acquiring three-dimensional information for all the pixels on the screen in this way. 取得した三次元情報は画素ごとに対応した画素属性データとして使用することが可能となる。 Obtained three-dimensional information makes it possible to use as the pixel attribute data corresponding to each pixel.

【0010】上述のステレオ画像法は1台の基準カメラと1台の参照カメラとを用いた構成としたが、参照カメラを複数用いたマルチベースラインステレオ(Mult [0010] While the above stereo imaging has a configuration which uses a reference camera one and one reference camera, multi-baseline stereo with a plurality of reference cameras (Mult
iBaseline Stereo)法によって評価値を求めて、該評価値に基づいて画素ごとの三次元情報を取得するように構成してもよい。 iBaseline Stereo) seeking evaluation value by methods, may be configured to obtain three-dimensional information for each pixel based on the evaluation value. マルチベースラインステレオ画像法は、1つの基準カメラと複数の参照カメラによって撮影される画像を用い、複数の参照カメラ画像それぞれについて基準カメラ画像との相関を表す評価値を求め、それぞれの評価値を加算し、その加算値を最終的な評価値とするものである。 Multi-baseline stereo image method, a picture taken by one of the base camera and a plurality of the reference camera, obtains an evaluation value representing a correlation between the reference camera image for each of the plurality of the reference camera image, the respective evaluation values summed, in which the addition value becomes a final evaluation value. このマルチベースラインステレオ画像法の詳細は、例えば「複数の基線長を利用したステレオマッチング」、電子情報通信学会論文誌D Details of this multi-baseline stereo imaging, for example, "stereo matching using a plurality of base length", IEICE Transactions D
−IIVol. -IIVol. J75−D−II No. J75-D-II No. 8 pp. 8 pp. 1
317−1327 1992年8月、に記載されている。 317-1327 August 1992, which is incorporated herein by reference.

【0011】上述のように、ステレオ画像法は、複数のカメラを用いて2つ以上の方向(異なる視線方向)から同一対象物を撮影して得られる複数の画像における画素同士を対応づけること、すなわち「対応点付け」を実施することで測定対象物の三次元空間における位置を求めようとするものである。 [0011] As described above, the stereo imaging is to associate the pixels with each other in a plurality of images obtained by photographing the same object from two or more directions (different line-of-sight direction) using a plurality of cameras, that is intended to be obtained a position in three-dimensional space of the measuring object by performing a "corresponding point with".

【0012】従来、よく使われている「対応点付け」の手法は、Pixel-basedマッチング、Area-basedマッチングとFeature-basedマッチングに大別される。 [0012] The approach of the past, is well used "corresponding point with" is, Pixel-based matching, is roughly divided into Area-based matching and Feature-based matching. Pixel-bas Pixel-bas
edマッチングとは、一方の画像における点の対応を、他方の画像でそのまま探索する方法である(C.Lawrence Z The ed matching, the corresponding points in one image, a method of searching it in the other image (C.Lawrence Z
itnick and Jon A. Webb: Multi-baseline Stereo Usin itnick and Jon A. Webb: Multi-baseline Stereo Usin
g Surface Extraction, Technical Report, CMU-CS-96- g Surface Extraction, Technical Report, CMU-CS-96-
196, (1996)参照)。 196, (1996)).

【0013】Area-basedマッチングとは、一方の画像における点の対応を、他方の画像で探す時、その点の周りの局所的な画像パターンを用いて探索する方法である(奥富、金出: 複数の基線長を利用したステレオマッチング、電子情報通信学会論文誌D-II、Vol.J75-D-II, [0013] The Area-based matching, correspondence of points in one image, when the search for the other image is a method of searching using a local image pattern around the point (Okutomi, Kanade: stereo matching using a plurality of base length, IEICE D-II, Vol.J75-D-II,
No.8, pp.1317-1327, (1992)、横山、三輪、芦ヶ原、小柳津、林、後: Stereo Camera System and Its Applic No.8, pp.1317-1327, (1992), Yokoyama, Miwa, AshikeHara, Oyaizu, Hayashi, after: Stereo Camera System and Its Applic
ation、 SRF'97、(1997)、金出、木村: ビデオレート・ステレオマシン、日本ロボット学会誌、Vol.13, N ation, SRF'97, (1997), Kanade, Kimura: video-rate stereo machine, Journal of the Robotics Society of Japan, Vol.13, N
o.3, pp.322〜326, (1995)、金出、蚊野、木村、川村、 o.3, pp.322~326, (1995), Kanade, Kano, Kimura, Kawamura,
吉田、織田: ビデオレートステレオマシンの開発、日本ロボット学会誌、Vol.15, No.2, pp.261〜267, (199 Yoshida, Oda: the development of video-rate stereo machine, Journal of the Robotics Society of Japan, Vol.15, No.2, pp.261~267, (199
7)、山口、高地、井口: 適応ウィンドウ法を用いた石像計測のためのステレオ対応付け、人文科学とコンピュータ、Vol.32, No.10, pp.55〜60, (1996)、横矢: 最近の信号処理総合特集号 コンピュータビジョンの最近の話題、システム/制御/情報、Vol.38, No.8, pp.436 7), Yamaguchi, highlands, Iguchi: stereo association for the stone statue measurement using an adaptive window method, Computers and the Humanities, Vol.32, No.10, pp.55~60, (1996), Yokoya: recently recent topics, system / control / information of the signal processing integrated Special issue on computer vision, Vol.38, No.8, pp.436
〜441, (1994)参照)。 ~441, (1994)).

【0014】Feature-basedマッチングとは、画像から濃淡エッジなどの特徴を抽出し、画像間の特徴だけを用いて対応付けを行う方法である(HHBaker and TOBi [0014] The Feature-based matching, extracting features, such as density edge from an image, a method of performing mapping using only features between images (HHBaker and TOBi
nford: Depth from edge and intensity based stereo, nford: Depth from edge and intensity based stereo,
In Proc. IJCAI'81, (1981)、石山、角保、河井、植芝、富田: セグメントベーストステレオにおける対応候補探索、信学技報、Vol.96, No.136, (1997)、WEL . In Proc IJCAI'81, (1981), Ishiyama, SumiTamotsu, Kawai, Ueshiba, Tomita: corresponding candidate search in the segment-Based Stereo IEICE, Vol.96, No.136, (1997), WEL
Grimson: Computationalexperiments with a feature b Grimson: Computationalexperiments with a feature b
ased stereo algorithm, IEEE Trans. PAMI, Vol.7, N ased stereo algorithm, IEEE Trans. PAMI, Vol.7, N
o.1, pp.17〜34, (1985))。 o.1, pp.17~34, (1985)).

【0015】上述の各種の方法により、ステレオ画像法における対応点付け処理が行なわれる。 [0015] The method described above for the various, corresponding point with processing in the stereo imaging is performed. しかしながら、 However,
白い壁や人間の顔などの特徴(濃淡、形状、色等)のほとんどない対象に対しては、上述のいずれの方法を使用しても、3次元形状を計測するために必要となる対応点付け処理が困難となる。 For almost no object features, such as a white wall or a human face (shading, shape, color, etc.), using any of the methods described above, required to measure the three-dimensional shape corresponding points with processing becomes difficult. これが、ステレオ画像法による処理における一つの大きな課題となっている。 This has been one major challenge in the treatment by the stereo imaging.

【0016】白い壁や人間の顔などの特徴(濃淡、形状、色等)のほとんどない対象に対しての対応付け処理をより正確に行なうため、チェッカや周波数変調された正弦波などの周期的なパターンを投光することによって、マルチベースラインステレオシステムによる画像マッチングのエラーを低減する手法が、いくつか開示されている(SBKang, JAWebb, CLZitnick and T.Kana The white walls and features, such as a human face (shading, shape, color, etc.) for performing the correlation processing on little target more precisely, periodically, such as checkers or frequency modulated sine wave by projecting the a pattern, a method of reducing the error of the image matching by the multi-baseline stereo systems are disclosed several (SBKang, JAWebb, CLZitnick and T.Kana
de: A Multibaseline Stereo System with Active Illu de: A Multibaseline Stereo System with Active Illu
mination and Real-time Image Acquisition, ProcIEEE mination and Real-time Image Acquisition, ProcIEEE
Int Conf. Comput. Vis., Vol.5, pp.88〜93, (199 Int Conf. Comput. Vis., Vol.5, pp.88~93, (199
5)、M.Noguchi and SKNayar: Microscopic Shape fro 5), M.Noguchi and SKNayar: Microscopic Shape fro
m Focus Using Active Illumination, Proc Int. Conf. m Focus Using Active Illumination, Proc Int. Conf.
Pattern Recogn., Vol.12, No.Vol 1, pp.147〜152, Pattern Recogn., Vol.12, No.Vol 1, pp.147~152,
(1994)参照)。 (1994)).

【0017】 [0017]

【発明が解決しようとする課題】しかしながら、上述した従来手法では、対応付け処理におけるエラー、すなわちミスマッチングの完全な除去を達成することはできなかった。 [SUMMARY OF THE INVENTION However, in the conventional method described above, it has not been possible to achieve error in correspondence processing, namely the complete removal of mismatching. また、上述の周波数変調された周期的なパターンを投光して対応付け処理を実行する構成は、複数台(3台以上)のカメラを用いるマルチベースラインステレオマシンにおいては、ミスマッチング領域減少に対して効果があるが、2台のカメラを用いる2眼ステレオ視に対しては、生成される模様が周期的であるために類似する模様同士の対応付けにエラーが発生する可能性があり、必ずしも有効とはならないという欠点がある。 The configuration for executing processing associated with projecting the frequency modulated periodic pattern described above, in the multi-baseline stereo machine using a camera plurality (three or more), the mismatching area decreases it is effective against, but for the binocular stereoscopic vision using two cameras, there is a possibility that an error occurs in association pattern between the pattern to be generated is similar to a periodic, there is a drawback that not always effective.

【0018】その他の手法として、空間コード法と呼ばれる3次元計測法があるが、空間コード法は、被測定対象物に対して、(1)規則正しいパターン光を投光しなければならないこと、(2)投光系とカメラとの位置関係が厳密に保持しなければ距離計測ができないこと、(3)必ず複数の規則正しいパターンを投光しなければ、距離画像が得られないこと、(4)コードパターンを精密に投光する必要があること等、様々な制約があるので、投光装置の複雑化、計測処理の煩雑さ等、多くの欠点がある。 [0018] Other techniques, there is a three-dimensional measurement method called spatial code method, the spatial code method, to the measurement object, it must be projected light (1) regular pattern of light, ( 2) the positional relationship between the light projecting system and the camera may not be able to distance measurement to be strictly held, (3) if not always projecting a plurality of regular pattern, the distance image can not be obtained, (4) like it is necessary to precisely project a code pattern, since there are various restrictions, complexity of the light projecting device, complexity, etc. of the measurement process, a number of disadvantages.

【0019】本発明は、このような課題を解決するためになされた三次元形状計測装置とその方法、および、これを応用した三次元モデリング装置とその方法を提供するものであり、テクスチャ画像と投光パターン画像を同期的に取り込む構成を実現したものである。 The present invention, three-dimensional shape measuring apparatus and method has been proposed in order to solve such problems, and is intended to provide a three-dimensional modeling apparatus and method of applying it, and texture image is obtained by realizing synchronously captures constituting the projection pattern image.

【0020】すなわち、ステレオ画像法においてテクスチャ画像と距離計測用の投光パターン画像を同時に別々の波長光で照射し、同時に別々に取り込むことを可能としたものである。 [0020] That is, by irradiating a projection pattern image texture images and the distance for measurement simultaneously in separate wavelength light in the stereo imaging is obtained by allowing the incorporation simultaneously separately. 具体的には、例えばテクスチャ画像を可視光で、距離計測用の投光パターン画像を赤外光で取り込むような撮影機構を構成して、テクスチャ画像と投光パターン画像を1回の撮影処理で同時に撮り込む三次元(3D)形状計測装置を実現するものである。 Specifically, the texture image with visible light, a projection pattern image for distance measurement constitutes the imaging mechanism to capture infrared light, the texture image and projection pattern image in one shooting process dimensional Komu taken simultaneously realizes a (3D) shape measuring apparatus.

【0021】 [0021]

【課題を解決するための手段】本発明は、上記課題を参酌してなされたものであり、その第1の側面は、測定対象を異なる方向から撮影した画像を用いて前記測定対象の三次元形状を計測する三次元形状計測装置において、 The present invention SUMMARY OF THE INVENTION, which has been made in consideration of the above problems, a first aspect of the three-dimensional of the measurement target by using an image obtained by photographing the measuring object from different directions in the three-dimensional shape measuring apparatus for measuring a shape,
可視光とは異なる波長の光を用いて投光パターンを前記測定対象に照射する投光パターン照射手段と、前記投光パターン照射手段によって投光パターンの照射された投光パターン画像と、可視光によって観察されるテクスチャ画像の2つの画像を画像分離手段によって分離して同期した投光パターン画像とテクスチャ画像とを個別に撮り込む基準カメラと、前記投光パターン照射手段によって投光パターンの照射された投光パターン画像と、可視光によって観察されるテクスチャ画像の2つの画像を画像分離手段によって分離して同期した投光パターン画像とテクスチャ画像とを、前記基準カメラと異なる方向から、かつ前記基準カメラと同期したタイミングで撮り込む参照カメラと、前記基準カメラおよび参照カメラによって撮り込まれた A projection pattern irradiation means for irradiating light projection pattern on the measurement target using a light of a wavelength different from visible light, a light projecting pattern image irradiation light projection pattern by the projection pattern irradiation means, visible light a reference camera and a projection pattern image and the texture image Komu taking the individual synchronized separated by the image separating means two images of a texture image to be observed by the irradiation of the light projection pattern by the projection pattern irradiation means and a projection pattern image, and a projection pattern image and the texture image in synchronism separated by the image separating means two images of a texture image to be observed with visible light, from different directions the reference camera, and the reference a reference camera Komu taken with camera synchronized timing, was incorporated taken by the base camera and the reference camera 光パターン画像に基づく距離画像、 Distance image based on the light pattern image,
および前記基準カメラおよび参照カメラによって撮り込まれたテクスチャ画像に基づく距離画像を生成する距離画像生成手段と、前記距離画像生成手段の生成した投光パターン画像に基づく距離画像中のミスマッチング領域を検出するミスマッチング領域検出手段と、前記ミスマッチング領域検出手段の検出したミスマッチング領域を含む部分領域の距離画像をテクスチャ画像に基づく距離画像に置換する置換手段と、を有することを特徴とする三次元形状計測装置にある。 And a range image generating means for generating a distance image based on the reference camera and was incorporated taken by the reference camera texture image, detects a mismatch region in the distance in the image based on the projection pattern image generated by the distance image generation unit three-dimensional to the mismatching area detecting means for a replacement means for replacing the distance image of the partial area including the detected mismatching area of ​​the mismatching area detecting unit to a distance image based on the texture image, characterized in that it has a in the shape measuring apparatus.

【0022】さらに、本発明の三次元形状計測装置において、前記投光パターン照射手段の照射する投光パターンは赤外光による投光パターンであることを特徴とする。 Furthermore, in the three-dimensional shape measuring apparatus of the present invention, projection pattern of irradiation of the projection pattern illumination means characterized in that it is a projection pattern by infrared light.

【0023】さらに、本発明の三次元形状計測装置において、前記投光パターン照射手段の照射する投光パターンは非周期的投光パターンであることを特徴とする。 Furthermore, in the three-dimensional shape measuring apparatus of the present invention, projection pattern of irradiation of the projection pattern illumination means characterized in that it is a non-periodic projection pattern.

【0024】さらに、本発明の三次元形状計測装置において、前記画像分離手段は、分光器、および該分光器によって分離された経路上に配置された特定波長の光をカットするフィルタを含む構成を有することを特徴とする。 Furthermore, in the three-dimensional shape measuring apparatus of the present invention, the image separation means, spectrometer, and a configuration including a filter for cutting light of a specific wavelength disposed on separated paths by spectroscope characterized in that it has.

【0025】さらに、本発明の三次元形状計測装置において、前記ミスマッチング領域検出手段は、距離画像中の隣接画素の画素値の差分と予め定めた閾値とを比較し、該閾値より差分の小さい画素同士に同一ラベルを付与するラベリング処理を実行し、同一ラベル領域に囲まれた異なるラベルの付与された小領域をミスマッチング領域として検出する処理を実行する構成であることを特徴とする。 Furthermore, in the three-dimensional shape measuring apparatus of the present invention, the mismatch area detection unit compares the difference in pixel values ​​of adjacent pixels in the distance image and a predetermined threshold value, a smaller difference than the threshold value run the labeling process of giving the same label to pixels each other, characterized in that it is configured to perform a process of detecting a different assigned small regions of the label enclosed in the same label area as mismatching area.

【0026】さらに、本発明の三次元形状計測装置において、前記距離画像生成手段は、前記投光パターン画像に基づく距離画像中のミスマッチング領域を含む部分領域についてのみ前記テクスチャ画像に基づく距離画像を生成することを特徴とする。 Furthermore, in the three-dimensional shape measuring apparatus of the present invention, the distance image generating means, a distance image based on the texture image only for a partial region including a mismatching area in the distance in the image based on the projection pattern image generated and characterized in that.

【0027】さらに、本発明の三次元形状計測装置において、前記置換手段は、テクスチャ画像に基づく距離画像と、投光パターンに基づく距離画像の対応画素値を比較してテクスチャ画像に基づく距離画像の信頼性判定を実行し、信頼性の確認されたテクスチャ画像に基づく距離画像を投光パターンに基づく距離画像に対する置換データとして適用する構成を有することを特徴とする。 Furthermore, in the three-dimensional shape measuring apparatus of the present invention, it said replacement means includes a distance image based on the texture image, the range image based on the texture image by comparing the corresponding pixel values ​​of the range image based on the projection pattern run the reliability determination, and having a structure to be applied as replacement data a distance image based on the reliability of the identified texture image for distance image based on the projection pattern.

【0028】さらに、本発明の三次元形状計測装置は、 Furthermore, the three-dimensional shape measuring apparatus of the present invention,
複数の基準カメラと参照カメラの組を有し、前記距離画像生成手段は、前記基準カメラと参照カメラの各々の組によって撮り込まれた投光パターン画像に基づく複数の距離画像、および前記基準カメラと参照カメラの各々の組によって撮り込まれたテクスチャ画像に基づいて複数の距離画像を生成する構成を有することを特徴とする。 Has a plurality of sets of base camera and the reference camera, the distance image generating means, a plurality of range images based on the projection pattern image incorporated taken by each set of the reference camera and the reference camera, and the reference camera referred to based on the camera each set by taking incorporated texture image between and having a configuration for generating a plurality of distance images.

【0029】さらに、本発明の三次元形状計測装置は、 Furthermore, the three-dimensional shape measuring apparatus of the present invention,
複数の基準カメラと参照カメラの組を有するとともに、 And has a plurality of sets of base camera and the reference camera,
複数の投光パターン照射手段を有し、該複数の投光パターン照射手段の各々は、可視光と異なり、かつ他の投光パターン照射手段とも異なる固有の波長の光を用いて投光パターンを前記測定対象に照射する構成を有し、前記複数の基準カメラと参照カメラの組の各々の組は、それぞれ異なる波長の光に基づく投光パターン画像をテクスチャ画像と分離して撮り込み、前記距離画像生成手段は、前記基準カメラと参照カメラの各々の組によって撮り込まれた投光パターン画像に基づく複数の距離画像、 A plurality of projection pattern irradiation means, each of the projection pattern irradiation means and the plurality of, unlike visible light, and other light projection patterns using light having different specific wavelengths and projection pattern irradiation means the has a configuration for irradiating the measurement target, the plurality of reference cameras and each set of the set of reference cameras, narrowing takes projecting pattern image based on the light of the different wavelengths separated from the texture image, the distance image generating means, a plurality of range images based on the projection pattern image incorporated taken by each set of the reference camera and the reference camera,
および前記基準カメラと参照カメラの各々の組によって撮り込まれたテクスチャ画像に基づいて複数の距離画像を生成する構成を有することを特徴とする。 And characterized by having a configuration for generating a plurality of range images based on the reference camera and the reference camera each set by taking incorporated texture image.

【0030】さらに、本発明の第2の側面は、測定対象を異なる方向から撮影した画像を用いて前記測定対象の三次元形状を計測する三次元形状計測方法において、可視光とは異なる波長の光を用いて投光パターンを前記測定対象に照射する投光パターン照射ステップと、前記投光パターンの照射された投光パターン画像と、可視光によって観察されるテクスチャ画像の2つの画像を画像分離手段によって分離して同期した投光パターン画像とテクスチャ画像を基準カメラによって個別に撮り込むとともに、前記基準カメラと異なる方向から、かつ前記基準カメラと同期したタイミングで参照カメラによって同期した投光パターン画像とテクスチャ画像を個別に撮り込む画像撮り込みステップと、前記基準カメラおよび参照カメラによって撮 Furthermore, a second aspect of the present invention is a three-dimensional shape measuring method using an image obtained by photographing the measuring object from different directions to measure the three-dimensional shape of the measurement target, a wavelength different from visible light a projection pattern irradiation step of irradiating the projection pattern on the measurement target using a light, a projection pattern image emitted of the projection pattern, the image separating two images of the texture image to be observed by visible light with Komu taken in individually by separate and synchronized projection pattern image and the texture image reference camera by means, projection pattern image from different directions the reference camera, and synchronized by the reference camera at a timing synchronized with the reference camera and step uptake image texture image Komu taking the individual and, shooting by the base camera and the reference camera 込まれた投光パターン画像に基づいて距離画像を生成する第1距離画像生成ステップと、前記第1距離画像生成ステップにおいて生成した投光パターン画像に基づく距離画像中のミスマッチング領域を検出するミスマッチング領域検出ステップと、前記ミスマッチング領域検出ステップの検出したミスマッチング領域を含む部分領域の距離画像を前記テクスチャ画像に基づいて生成する第2距離画像生成ステップと、前記第1 Miss detecting the first distance image generation step of generating a distance image based on the filled-in projection pattern image, the mismatching area of ​​the distance in the image based on the projection pattern image generated in the first distance image generating step a matching area detection step, a second distance image generating step of generating based on the distance image of the partial area including the detected mismatching area of ​​the mismatching area detection step in the texture image, the first
距離画像生成ステップにおいて生成された投光パターン画像に基づく距離画像のミスマッチング領域を含む部分領域について、前記第2距離画像生成ステップにおいて生成された部分領域についてのテクスチャ画像に基づく距離画像に置換する置換ステップと、を有することを特徴とする三次元形状計測方法にある。 For partial region including a mismatching area in the distance image based on the generated projection pattern image in the distance image generation step, replacing the distance image based on the texture image for the generated partial area in the second distance image generating step in three-dimensional shape measuring method characterized by comprising: a replacement step.

【0031】さらに、本発明の三次元形状計測方法において、前記投光パターン照射手段の照射する投光パターンは赤外光による非周期的投光パターンであることを特徴とする。 Furthermore, in the three-dimensional shape measuring method of the present invention, projection pattern of irradiation of the projection pattern illumination means characterized in that it is a non-periodic light projection pattern by infrared light.

【0032】さらに、本発明の三次元形状計測方法において、前記ミスマッチング領域検出ステップは、距離画像中の隣接画素の画素値の差分と予め定めた閾値とを比較し、該閾値より差分の小さい画素同士に同一ラベルを付与するラベリング処理ステップと、同一ラベル領域に囲まれた異なるラベルの付与された小領域をミスマッチング領域として検出する検出ステップとを含むことを特徴とする。 Furthermore, in the three-dimensional shape measuring method of the present invention, the mismatching area detecting step compares the difference between the pixel values ​​of the adjacent pixels in the distance image and a predetermined threshold value, a smaller difference than the threshold value characterized in that it comprises a detection step of detecting a labeling processing step of applying the same label to the pixels to each other, the different assigned small regions of the label enclosed in the same label area as mismatching area.

【0033】さらに、本発明の三次元形状計測方法において、前記置換ステップは、テクスチャ画像に基づく距離画像と、投光パターンに基づく距離画像の対応画素値を比較してテクスチャ画像に基づく距離画像の信頼性判定を実行し、信頼性の確認されたテクスチャ画像に基づく距離画像を投光パターンに基づく距離画像に対する置換データとして適用することを特徴とする。 Furthermore, in the three-dimensional shape measuring method of the present invention, said replacement step includes a distance image based on the texture image, the range image based on the texture image by comparing the corresponding pixel values ​​of the range image based on the projection pattern run the reliability determination, and characterized by applying a distance image based on the reliability of the identified texture image as replacement data for the range image based on the projection pattern.

【0034】さらに、本発明の第3の側面は、測定対象を異なる方向から撮影した画像を用いて前記測定対象の三次元形状を計測する三次元形状計測方法において、可視光とは異なる波長の光を用いて投光パターンを前記測定対象に照射する投光パターン照射ステップと、前記投光パターンの照射された投光パターン画像と、可視光によって観察されるテクスチャ画像の2つの画像を画像分離手段によって分離して同期した投光パターン画像とテクスチャ画像を基準カメラによって個別に撮り込むとともに、前記基準カメラと異なる方向から、かつ前記基準カメラと同期したタイミングで参照カメラによって同期した投光パターン画像とテクスチャ画像を個別に撮り込む画像撮り込みステップと、前記基準カメラおよび参照カメラによって撮 Furthermore, a third aspect of the present invention is a three-dimensional shape measuring method using an image obtained by photographing the measuring object from different directions to measure the three-dimensional shape of the measurement target, a wavelength different from visible light a projection pattern irradiation step of irradiating the projection pattern on the measurement target using a light, a projection pattern image emitted of the projection pattern, the image separating two images of the texture image to be observed by visible light with Komu taken in individually by separate and synchronized projection pattern image and the texture image reference camera by means, projection pattern image from different directions the reference camera, and synchronized by the reference camera at a timing synchronized with the reference camera and step uptake image texture image Komu taking the individual and, shooting by the base camera and the reference camera 込まれた投光パターン画像に基づく距離画像を第1距離画像として、前記基準カメラおよび参照カメラによって撮り込まれたテクスチャ画像に基づく距離画像を第2距離画像として並列に生成する複数距離画像並列生成ステップと、前記複数距離画像並列生成ステップにおいて生成した第1距離画像または第2距離画像の少なくともいずれか一方の距離画像中のミスマッチング領域を検出するミスマッチング領域検出ステップと、前記ミスマッチング領域検出ステップの検出した一方の距離画像中のミスマッチング領域を含む部分領域の距離画像を他方の距離画像に置換する置換ステップと、 A distance image based on the filled-in projection pattern image as the first distance image, multiple range images in parallel generation for generating in parallel a distance image based on the taken incorporated texture images by the base camera and the reference camera as the second distance image a step, a mismatching area detection step of detecting a mismatch region in at least in one of the distance image of the plurality distance first distance image and the second distance image generated in the image parallel generation step, the mismatching area detection a replacing step of replacing the distance image of the partial area including a mismatching area of ​​the detected in one of the distance image of step to the other of the distance image,
を有することを特徴とする三次元形状計測方法にある。 In three-dimensional shape measuring method characterized by having a.

【0035】さらに、本発明の三次元形状計測方法において、前記投光パターン照射手段の照射する投光パターンは赤外光による非周期的投光パターンであることを特徴とする。 Furthermore, in the three-dimensional shape measuring method of the present invention, projection pattern of irradiation of the projection pattern illumination means characterized in that it is a non-periodic light projection pattern by infrared light.

【0036】さらに、本発明の三次元形状計測方法において、前記ミスマッチング領域検出ステップは、距離画像中の隣接画素の画素値の差分と予め定めた閾値とを比較し、該閾値より差分の小さい画素同士に同一ラベルを付与するラベリング処理ステップと、同一ラベル領域に囲まれた異なるラベルの付与された小領域をミスマッチング領域として検出する検出ステップとを含むことを特徴とする。 Furthermore, in the three-dimensional shape measuring method of the present invention, the mismatching area detecting step compares the difference between the pixel values ​​of the adjacent pixels in the distance image and a predetermined threshold value, a smaller difference than the threshold value characterized in that it comprises a detection step of detecting a labeling processing step of applying the same label to the pixels to each other, the different assigned small regions of the label enclosed in the same label area as mismatching area.

【0037】さらに、本発明の三次元形状計測方法において、前記置換ステップは、テクスチャ画像に基づく距離画像と、投光パターンに基づく距離画像の対応画素値を比較してテクスチャ画像に基づく距離画像の信頼性判定を実行し、信頼性の確認されたテクスチャ画像に基づく距離画像を投光パターンに基づく距離画像に対する置換データとして適用することを特徴とする。 Furthermore, in the three-dimensional shape measuring method of the present invention, said replacement step includes a distance image based on the texture image, the range image based on the texture image by comparing the corresponding pixel values ​​of the range image based on the projection pattern run the reliability determination, and characterized by applying a distance image based on the reliability of the identified texture image as replacement data for the range image based on the projection pattern.

【0038】さらに、本発明の第4の側面は、測定対象を異なる方向から撮影した画像を用いて前記測定対象の三次元形状を計測し、三次元モデリングを行なう三次元モデリング装置において、可視光とは異なる波長の光を用いて投光パターンを前記測定対象に照射する投光パターン照射手段と、前記投光パターン照射手段によって投光パターンの照射された投光パターン画像と、可視光によって観察されるテクスチャ画像の2つの画像を画像分離手段によって分離して同期した投光パターン画像とテクスチャ画像とを個別に撮り込む基準カメラと、前記投光パターン照射手段によって投光パターンの照射された投光パターン画像と、可視光によって観察されるテクスチャ画像の2つの画像を画像分離手段によって分離して同期した投光パタ [0038] Furthermore, a fourth aspect of the present invention, a three-dimensional shape of the measurement target is measured by using an image obtained by photographing the measuring object from different directions, in the three-dimensional modeling apparatus that performs three-dimensional modeling, the visible light a projection pattern image emitted light projecting pattern light projection pattern irradiation means for irradiating light projection pattern on the measurement target, by the projection pattern irradiation means using light of a wavelength different from that of the observation with visible light a reference camera and a projection pattern image and the texture image Komu taking the individual synchronized separated by the image separating means two images of a texture image to be, projected irradiated the projection pattern by the projection pattern irradiation means an optical pattern image, light projection pattern synchronized separated by the image separating means two images of a texture image to be observed by visible light ン画像とテクスチャ画像とを、前記基準カメラと異なる方向から、かつ前記基準カメラと同期したタイミングで撮り込む参照カメラと、前記基準カメラおよび参照カメラによって撮り込まれた投光パターン画像に基づく距離画像、および前記基準カメラおよび参照カメラによって撮り込まれたテクスチャ画像に基づく距離画像を生成する距離画像生成手段と、前記距離画像生成手段の生成した投光パターン画像に基づく距離画像中のミスマッチング領域を検出するミスマッチング領域検出手段と、前記ミスマッチング領域検出手段の検出したミスマッチング領域を含む部分領域の距離画像をテクスチャ画像に基づく距離画像に置換する置換手段と、 An emission image and the texture image, from a different direction as the reference camera, and the the reference camera Komu taken at a timing synchronized with the reference camera, the reference camera and based on the projection pattern image interleaved taken by the reference camera distance image , and a distance image generating means for generating a distance image based on the reference camera and was incorporated taken by the reference camera texture image, the mismatching area of ​​the distance in the image based on the projection pattern image generated by the distance image generation unit a mismatching area detection means for detecting a replacement means for replacing the distance image of the partial area including the detected mismatching area of ​​the mismatching area detecting unit to a distance image based on the texture image,
前記置換手段によって置換され生成された投光パターン画像に基づく距離画像とテクスチャ画像に基づく距離画像の合成距離画像、および前記基準カメラによって撮り込まれたテクスチャ画像に基づいて三次元形状データを生成する三次元形状データ生成手段と、を有することを特徴とする三次元モデリング装置にある。 Generating a three-dimensional shape data based on the composite range image, and texture images interleaved taken by the reference camera distance image based on the distance image and the texture image based on projection pattern image generated is replaced by said replacement means in the three-dimensional modeling apparatus characterized by having a three-dimensional shape data generating means.

【0039】さらに、本発明の第5の側面は、測定対象を異なる方向から撮影した画像を用いて前記測定対象の三次元形状を計測し、三次元モデリングを行なう三次元モデリング方法において、可視光とは異なる波長の光を用いて投光パターンを前記測定対象に照射する投光パターン照射ステップと、前記投光パターンの照射された投光パターン画像と、可視光によって観察されるテクスチャ画像の2つの画像を画像分離手段によって分離して同期した投光パターン画像とテクスチャ画像を基準カメラによって個別に撮り込むとともに、前記基準カメラと異なる方向から、かつ前記基準カメラと同期したタイミングで参照カメラによって同期した投光パターン画像とテクスチャ画像を個別に撮り込む画像撮り込みステップと、前記基準カメラ [0039] Furthermore, a fifth aspect of the present invention, a three-dimensional shape of the measurement target is measured by using an image obtained by photographing the measuring object from different directions, in a three-dimensional modeling method for performing three-dimensional modeling, the visible light 2 of different light projection pattern irradiation step of irradiating the projection pattern on the measurement target using a light of a wavelength, a light projecting pattern image irradiation of the projection pattern, texture image observed by visible light and with Komu taken to separate the projection pattern image and the texture image by the reference camera One of the images is synchronized separated by the image separating means, said reference camera from different directions, and synchronized by said reference camera synchronized with the reference camera with a timing a step of projection pattern image and the texture image uptake image Komu taking the individual who, the reference camera よび参照カメラによって撮り込まれた投光パターン画像に基づく距離画像を生成する第1 First generating a distance image based on the projection pattern image interleaved taken by a preliminary reference camera
距離画像生成ステップと、前記第1距離画像生成ステップにおいて生成した投光パターン画像に基づく距離画像中のミスマッチング領域を検出するミスマッチング領域検出ステップと、前記ミスマッチング領域検出ステップの検出したミスマッチング領域を含む部分領域の距離画像を前記テクスチャ画像に基づいて生成する第2距離画像生成ステップと、前記第1距離画像生成ステップにおいて生成された投光パターン画像に基づく距離画像のミスマッチング領域を含む部分領域について、前記第2距離画像生成ステップにおいて生成された部分領域についてのテクスチャ画像に基づく距離画像に置換する置換ステップと、前記置換ステップによって置換され生成された投光パターン画像に基づく距離画像とテクスチャ画像に基づく距離画像の A distance image generating step, a mismatching area detection step of detecting a mismatch region in the distance in the image based on the projection pattern image generated in the first distance image generating step, the detected mismatching of the mismatching area detection step including a second distance image generating step of generating based on the distance image of the partial area including a region in the texture image, the mismatching area of ​​the distance image based on the projection pattern image generated in the first distance image generating step for partial region, and replacing step of replacing the distance image based on the texture image for the partial regions generated in the second distance image generating step, a distance image based on the projection pattern image generated is replaced by said replacement step of the distance image based on the texture image 合成距離画像、および前記基準カメラによって撮り込まれたテクスチャ画像に基づいて三次元形状データを生成する三次元形状データ生成ステップと、を有することを特徴とする三次元モデリング方法にある。 Synthetic distance image, and the three-dimensional modeling method and having a a three-dimensional shape data generating step of generating a three-dimensional shape data based on the take incorporated texture image by the reference camera.

【0040】さらに、本発明の第6の側面は、測定対象を異なる方向から撮影した画像を用いて前記測定対象の三次元形状を計測し、三次元モデリングを行なう三次元モデリング方法において、可視光とは異なる波長の光を用いて投光パターンを前記測定対象に照射する投光パターン照射ステップと、前記投光パターンの照射された投光パターン画像と、可視光によって観察されるテクスチャ画像の2つの画像を画像分離手段によって分離して同期した投光パターン画像とテクスチャ画像を基準カメラによって個別に撮り込むとともに、前記基準カメラと異なる方向から、かつ前記基準カメラと同期したタイミングで参照カメラによって同期した投光パターン画像とテクスチャ画像を個別に撮り込む画像撮り込みステップと、前記基準カメラ [0040] Further, a sixth aspect of the present invention, a three-dimensional shape of the measurement target is measured by using an image obtained by photographing the measuring object from different directions, in a three-dimensional modeling method for performing three-dimensional modeling, the visible light 2 of different light projection pattern irradiation step of irradiating the projection pattern on the measurement target using a light of a wavelength, a light projecting pattern image irradiation of the projection pattern, texture image observed by visible light and with Komu taken to separate the projection pattern image and the texture image by the reference camera One of the images is synchronized separated by the image separating means, said reference camera from different directions, and synchronized by said reference camera synchronized with the reference camera with a timing a step of projection pattern image and the texture image uptake image Komu taking the individual who, the reference camera よび参照カメラによって撮り込まれた投光パターン画像に基づく距離画像を第1距離画像として、前記基準カメラおよび参照カメラによって撮り込まれたテクスチャ画像に基づく距離画像を第2距離画像として並列に生成する複数距離画像並列生成ステップと、前記複数距離画像並列生成ステップにおいて生成した第1距離画像または第2距離画像の少なくともいずれか一方の距離画像中のミスマッチング領域を検出するミスマッチング領域検出ステップと、前記ミスマッチング領域検出ステップの検出した一方の距離画像中のミスマッチング領域を含む部分領域の距離画像を他方の距離画像に置換する置換ステップと、前記置換ステップによって置換され生成された投光パターン画像に基づく距離画像とテクスチャ画像に基づく距離画像の合成 A distance image based on the projection pattern image interleaved taken by a preliminary reference camera as the first distance image, to generate in parallel a distance image based on the reference camera and was incorporated taken by the reference camera texture image as a second range image a plurality range image parallel generation step, a mismatching area detection step of detecting a mismatch region in at least in one of the distance image of the plurality distance first distance image and the second distance image generated in the image parallel generation step, a replacing step of replacing the distance image of the partial area including a mismatching area of ​​the detected in one of the distance image of the mismatching area detection step to the other of the range image, projection pattern image generated is replaced by said replacement step synthesis of the distance image based on the distance image and the texture image based on 離画像、および前記基準カメラによって撮り込まれたテクスチャ画像に基づいて三次元形状データを生成する三次元形状データ生成ステップと、を有することを特徴とする三次元モデリング方法にある。 Away images, and the 3D modeling method characterized by having a three-dimensional shape data generating step of generating a three-dimensional shape data based on the texture image interleaved taken by the reference camera.

【0041】さらに、本発明の第7の側面は、測定対象を異なる方向から撮影した画像を用いて前記測定対象の三次元形状を計測する三次元形状計測を実行するための処理をコンピュータ・システム上で実行せしめるコンピュータ・プログラムを有形的に提供するプログラム提供媒体であって、前記コンピュータ・プログラムは、可視光とは異なる波長の光を用いて投光パターンを前記測定対象に照射する投光パターン照射ステップと、前記投光パターンの照射された投光パターン画像と、可視光によって観察されるテクスチャ画像の2つの画像を画像分離手段によって分離して同期した投光パターン画像とテクスチャ画像を基準カメラによって個別に撮り込むとともに、前記基準カメラと異なる方向から、かつ前記基準カメラと同期したタ [0041] Furthermore, a seventh aspect of the present invention, the process computer system used to perform the three-dimensional shape measurement for measuring a three-dimensional shape of the measurement object by using an image obtained by photographing the measuring object from different directions the computer program allowed to run on a program providing medium for providing tangibly, the computer program, projection pattern that irradiates light projection pattern on the measurement target using a light of a wavelength different from visible light an irradiation step, wherein a projection pattern image emitted light projecting pattern, projection pattern image and the reference camera texture images synchronized separated by the image separating means two images of a texture image to be observed by visible light with Komu taken in individually by, data from different directions the reference camera, and synchronized with the reference camera ミングで参照カメラによって同期した投光パターン画像とテクスチャ画像を個別に撮り込む画像撮り込みステップと、前記基準カメラおよび参照カメラによって撮り込まれた投光パターン画像に基づく距離画像を生成する第1距離画像生成ステップと、前記第 First distance to produce the steps uptake image Komu take projection pattern image and the texture image that is synchronized by the reference camera timing in the individual, the distance image based on the projection pattern image interleaved taken by the base camera and the reference camera an image generating step, the second
1距離画像生成ステップにおいて生成した投光パターン画像に基づく距離画像中のミスマッチング領域を検出するミスマッチング領域検出ステップと、前記ミスマッチング領域検出ステップの検出したミスマッチング領域を含む部分領域の距離画像を前記テクスチャ画像に基づいて生成する第2距離画像生成ステップと、前記第1距離画像生成ステップにおいて生成された投光パターン画像に基づく距離画像のミスマッチング領域を含む部分領域について、前記第2距離画像生成ステップにおいて生成された部分領域についてのテクスチャ画像に基づく距離画像に置換する置換ステップと、を有することを特徴とするプログラム提供媒体にある。 First distance image and the mismatching area detection step of detecting a mismatch region in the distance in the image based on the projection pattern image generated in the generation step, a distance image of the partial area including the detected mismatching area of ​​the mismatching area detection step wherein the second distance image generating step of generating, based on the texture image, the partial area including a mismatching area in the range image based on the projection pattern image generated in the first distance image generating step, said second distance in program providing medium characterized by having a substitution step of replacing the distance image based on the texture image for the generated partial area in the image generation step.

【0042】本発明の第7の側面に係るプログラム提供媒体は、例えば、様々なプログラム・コードを実行可能な汎用コンピュータ・システムに対して、コンピュータ・プログラムをコンピュータ可読な形式で提供する媒体である。 The program providing medium according to the seventh aspect of the present invention, for example, is a medium to be provided to perform general purpose computer system, the computer program in a computer-readable format to various program codes . 媒体は、CDやFD、MOなどの記憶媒体、あるいは、ネットワークなどの伝送媒体など、その形態は特に限定されない。 Media, CD or FD, a storage medium such as MO or, like transmission medium such as a network, the form thereof is not particularly limited.

【0043】このようなプログラム提供媒体は、コンピュータ・システム上で所定のコンピュータ・プログラムの機能を実現するための、コンピュータ・プログラムと提供媒体との構造上又は機能上の協働的関係を定義したものである。 [0043] Such program providing medium, for realizing the function of a predetermined computer program on a computer system, defining the structural or functional in cooperative relationship between the providing medium and the computer program it is intended. 換言すれば、該提供媒体を介してコンピュータ・プログラムをコンピュータ・システムにインストールすることによって、コンピュータ・システム上では協働的作用が発揮され、本発明の他の側面と同様の作用効果を得ることができるのである。 In other words, by installing the computer program to the computer system via the providing medium, cooperative actions on the computer system is exhibited, to obtain the same effect as other aspects of the present invention but they can.

【0044】本発明のさらに他の目的、特徴や利点は、 [0044] Other objects, features, and advantages of the present invention,
後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。 It will become apparent from the following detailed description based on embodiments of the invention and the accompanying drawings described below.

【0045】 [0045]

【発明の実施の形態】[三次元形状計測装置−実施例1]本発明を適用した三次元形状計測装置の構成例を図2に示す。 DETAILED DESCRIPTION OF THE INVENTION - an example of the configuration of the three-dimensional shape measuring apparatus to which the three-dimensional shape measuring device Embodiment 1] The present invention is illustrated in FIG. 本発明の三次元形状計測装置は、先に説明したステレオ画像法を適用して計測対象の三次元形状を計測するものであり、立体形状を持つ、例えば人の顔等の被測定対象物に対して角度の異なる位置に配置した2つのカメラ、いわゆる基準カメラと参照カメラを用いて像を撮り込み、これら2つのカメラの撮影する画像に基づいて図1で説明したステレオ画像法に基づいて被測定対象物の表面形状を計測するものである。 Three-dimensional shape measuring apparatus of the present invention is to measure the three-dimensional shape of the measurement object by applying the stereo image method described above, having a three-dimensional shape, the object to be measured such as, for example, a human face It is based on two cameras, incorporation an image using the reference camera and the so-called reference camera, a stereo image method described in FIG. 1 on the basis of a captured image of the two cameras arranged at different positions of angles for it is to measure the surface shape of the measuring object.

【0046】本発明の三次元形状計測装置の投光パターン照射手段220は、例えば赤外光のような、いわゆる太陽光、蛍光灯、白熱灯等の可視光とは異なる波長の光によって被測定対象物200に対して照射する投光パターン照射手段220として構成され、照射する投光パターンは一様乱数や正規乱数に基づく非周期的投光パターンとすることが望ましい。 The projection pattern irradiation means 220 of the three-dimensional shape measuring apparatus of the present invention, such as for example infrared light, so-called sunlight, fluorescent light, to be measured by the light of a different wavelength from the visible light incandescent, etc. is configured as a projection pattern irradiation means 220 for irradiating the object 200, projection pattern to be irradiated is desirably a non-periodic projection pattern based on uniform random numbers and normal random number.

【0047】投光パターン照射手段220で計測対象2 The measured projection pattern irradiation means 220 target 2
00に対して投光される非周期投光パターンは、例えばドットのサイズ、線の長さ、太さ、位置、濃度等に周期性を持たないパターンであり、例えば図3(a)、 Aperiodic projection pattern being projected light to 00, for example, the dot size, line length, thickness, position, a pattern having no periodicity in a concentration such, for example, FIG. 3 (a),
(b)に示すようなパターンが用いられる。 (B) the pattern as shown in used. これらの非周期的パターンは、予めスライド等に形成し、スライドを介して可視光とは異なる波長の光、例えば赤外光を照射することによって得ることができる。 These non-periodic pattern is previously formed on the slide or the like, it can be obtained by irradiating different wavelengths of light, for example, infrared light and visible light through the slide. このような非周期パターンを計測対象200の表面に形成し、これを撮像することにより、距離画像生成時の基準カメラと参照カメラの撮像データの対応付けを容易にすることができる。 Such non-periodic pattern is formed on the surface of the measurement object 200, by imaging this, the correspondence of the imaging data of the base camera and the reference camera at a distance image generation can be facilitated.

【0048】投光パターン照射手段220の具体的構成例を図4に示す。 [0048] A specific configuration example of a projection pattern irradiation means 220 in FIG. 図4は赤外LED照明を用いた投光パターン照射手段の例である。 Figure 4 is an example of a projection pattern irradiation means using the infrared LED lighting. 複数のLEDが配列されたLEDアレイ401から発光された赤外光は、光拡散板402を介することによって照明むらの軽減がなされる。 Infrared light emitted from the LED array 401 in which a plurality of LED are arranged, reduction in illumination unevenness is made by passing through the light diffusion plate 402. さらに、集光レンズ403を介してスライド40 Furthermore, the slide 40 via the condenser lens 403
4、投光レンズ405を介して計測対象410に照射される。 4, is irradiated onto the target object 410 via a projection lens 405.

【0049】スライド404は、非周期的パターンが記録されたスライドである。 The slide 404 is a slide aperiodic pattern is recorded. 上述のようにドットのサイズ、線の長さ、太さ、位置、濃度等に周期性がない、いわゆる非周期的な投光パターン、例えば図3(a)、 Dot size as described above, the line length, thickness, position, there is no periodicity in such concentration, so-called non-periodic projection pattern, for example, FIG. 3 (a),
(b)に示すようなパターンが記録されたスライドである。 (B) pattern as shown in is a slide that has been recorded.

【0050】LEDアレイ401は、発光駆動回路40 The LED array 401, the light emission drive circuit 40
7によって発光され、発光駆動回路407は、シャッター同期回路408によって、図2に示す基準カメラ20 Emitted by 7, the light emission drive circuit 407, by the shutter synchronization circuit 408, a reference camera 20 shown in FIG. 2
1、参照カメラ202による画像撮り込みのタイミングすなわちシャッター・タイミングと同期するように制御される。 1, by reference camera 202 is controlled so as to synchronize with the timing ie shutter timing of the uptake image.

【0051】なお、赤外光によって非周期パターンを計測対象に照射する本発明の構成では、所定時間継続したパターン照射が可能となり、フラッシュ光によるパターン画像撮り込み構成よりも照明むらが減少する。 [0051] In the configuration of the present invention for irradiating a non-periodic pattern onto the target object by infrared light, it is possible to continue the pattern irradiated predetermined time, the illumination unevenness is reduced than configuration uptake pattern image by the flash light. 本発明の構成では赤外光を用いることで可視光による画像(テクスチャ画像)との区別を可能としたので、投光パターン画像(赤外光)とテクスチャ画像(可視光)との画像撮り込みにおいてシャッタースピードを切り換える必要がなく、測定対象全体に対して均一な強度の非周期パターンを形成することができ、基準カメラ、参照カメラによる投光パターン画像の撮り込みが可能となる。 Since the configuration of the present invention made it possible to distinguish the image (texture image) by visible light by using infrared light, incorporation image light projecting pattern image (infrared light) and a texture image (visible light) there is no need to switch the shutter speed at, it is possible to form a non-periodic pattern of uniform intensity for the entire measurement object, reference camera, it is possible incorporation of the projection pattern image by the reference camera. 従って正確な距離画像の生成が可能となる。 Thus generation of accurate distance image can be.

【0052】図2に戻って、本発明の三次元形状計測装置の構成について説明を続ける。 [0052] Returning to FIG. 2, continued explanation of the structure of the three-dimensional shape measuring apparatus of the present invention. 基準カメラ201と参照カメラ202は、計測対象200に対して異なる視線方向に配置されて、各視線方向の画像を撮影する。 Reference camera 202 with a reference camera 201 is disposed in a different viewing direction with respect to the measurement target 200, captures an image of each viewing direction. 基準カメラ201、参照カメラ202によって撮影される画像は、同期したタイミングで撮り込まれる。 Reference camera 201, an image to be captured by the reference camera 202 is incorporated taken with synchronized timing. 基準カメラ201、参照カメラ202から撮り込まれた画像はそれぞれA/D変換部を介してフレームメモリ203〜20 Reference camera 201, was incorporated taken from reference camera 202 image frame memory 203 to 20, respectively, via the A / D converter
6に格納される。 It is stored in the 6.

【0053】基準カメラ201と、参照カメラ202には各々2つのフレームメモリに異なる画像データが取り込まれる。 [0053] The reference camera 201, image data different each two frame memories in the reference camera 202 is captured. すなわち、一方に赤外光による投光パターン画像、他方に可視光によるテクスチャ画像が取り込まれる。 That is, projection pattern image by infrared light, the texture image by visible light on the other are incorporated in one. この構成について、図5を用いて詳細に説明する。 This configuration will be described in detail with reference to FIG.

【0054】図5は、基準カメラ201および参照カメラ202の各々が一回の撮像タイミングで各々2つの画像取り込みを実現する構成を示すブロック図である。 [0054] Figure 5, each of the reference camera 201 and the reference camera 202 is a block diagram showing the configuration for realizing each two image capture in a single image capturing timing.

【0055】計測対象200に基準カメラのレンズ50 [0055] of the reference camera to the measurement target 200 lens 50
1および参照カメラのレンズ507がそれぞれ異なる方向から向けられ、投光パターン照射手段220から、可視光とは異なる波長の光、ここでは赤外光によるパターンが計測対象に投光照射される。 Directed 1 and the reference camera lens 507 from different directions, from the projection pattern irradiation means 220, light of a different wavelength than the visible light, wherein the pattern by infrared light is projected irradiation onto the target object. 本発明の三次元形状計測装置における投光パターン照射手段220の照射する光の波長は、テクスチャ画像撮り込みに使用される可視光と異なる波長、すなわち、投光パターン画像をテクスチャ画像と分離して撮り込むことが可能となる波長であればよいが、ここでは、赤外光を使用したものとして説明する。 The wavelength of the irradiated light of the projection pattern irradiation means 220 in the three-dimensional shape measuring apparatus of the present invention, the visible light wavelength different from that used in the uptake texture image, i.e., to separate the projection pattern image and the texture image may be a wavelength it becomes possible way to push take, but here is described as using infrared light.

【0056】計測対象200は、上述の赤外光パターンを照射した像として撮影される他、太陽光、蛍光灯、白熱灯等のいわゆる環境光によって可視像の撮影が可能な環境に置かれる。 [0056] measurement target 200 is placed in addition to being photographed as an image obtained by irradiating an infrared light pattern described above, sunlight, fluorescent lamps, in which can be taken of the visible image environment by the so-called ambient light incandescent, etc. . 基準カメラレンズ501、および参照カメラレンズ507によって同期したタイミングで撮り込まれた画像は、それぞれの分光器502、508を介して2つの光路に分割され、可視光カットフィルタ50 Reference camera lens 501, and the reference camera lens 507 images incorporated taken at a timing synchronized with the is divided two to the light path through the respective spectrometer 502,508, the visible light cut filter 50
3、509が設置された光路では、可視光カットフィルタ503、509によって可視光がカットされ、投光パターン照射手段220によって投光照射された赤外光照射パターンに基づく投光パターン画像520,523が撮り込まれる。 The 3,509 optical path is installed, the visible light is cut by the visible light cut filter 503, 509, projecting the pattern image based on the infrared light irradiation pattern emitted light projection by projection pattern irradiation means 220 520,523 It is incorporated take.

【0057】すなわち、投光パターン画像1,520 [0057] In other words, the light projection pattern image 1,520
は、投光パターン照射手段220の照射した赤外光の投光パターンの照射された計測対象を基準カメラレンズ5 A reference camera lens illuminated measurement object of the irradiated projection pattern of infrared light projection pattern irradiation means 220 5
01によって撮り込んだ画像であり、投光パターン画像2,523は、投光パターン照射手段220の照射した赤外光の投光パターンの照射された計測対象を参照カメラレンズ507によって撮り込んだ画像である。 Is an image crowded taken by 01, projection pattern image 2,523 are elaborate take illuminated measurement object of the irradiated projection pattern of infrared light projection pattern irradiation means 220 by reference camera lens 507 images it is.

【0058】一方、赤外光カットフィルタ505,51 [0058] On the other hand, the infrared light cut filter 505,51
1の設置された各光路では、赤外光カットフィルタ50 In 1 the optical path disposed of, the infrared light cut filter 50
5、511によって赤外光がカットされ、太陽光、蛍光灯、白熱灯等のいわゆる環境光によって計測対象200 5,511 infrared light is cut by, sunlight, fluorescent light, measured by the so-called ambient light incandescent lamp or the like object 200
を観察した可視像がそれぞれのCCD素子506,51 Visible image obtained by observing the respective CCD elements 506,51
2に撮り込まれる。 It is incorporated into the 2.

【0059】すなわち、テクスチャ画像1,521は、 [0059] In other words, the texture image 1,521 is,
太陽光、蛍光灯、白熱灯等のいわゆる環境光の照射された計測対象を基準カメラレンズ501によって撮り込んだ画像であり、テクスチャ画像2,522は、太陽光、 Sunlight, fluorescent light, so-called environmental light illuminated measurement object images elaborate taken by the reference camera lens 501 of the incandescent lamp or the like, the texture image 2,522 are sunlight,
蛍光灯、白熱灯等のいわゆる環境光の照射された計測対象を参照カメラレンズ507によって撮り込んだ画像である。 Fluorescent lamp, an image crowded taken by the reference camera lens 507 illuminated measurement target of the so-called ambient light incandescent lamp.

【0060】画像対応付け&距離画像生成手段530 [0060] image association and distance image generating means 530
は、2つの投光パターン画像520,523に基づいてステレオ画像法を用いて画像の対応付け及び距離画像の生成を実行する。 Executes the generation of correspondence and distance image of the image by using a stereo imaging based on two projection pattern images 520,523. また、画像対応付け&距離画像生成手段531は、2つのテクスチャ画像521,522に基づいてステレオ画像法を用いて画像の対応付け及び距離画像の生成を実行する。 Further, the image correlating and distance image generation unit 531 performs the generation of correspondence and distance image of the image by using a stereo imaging based on two texture images 521 and 522. なお、後段で説明するが、画像対応付け&距離画像生成手段531による2つのテクスチャ画像521,522に基づく距離画像の生成処理は、画像対応付け&距離画像生成手段530による投光パターン画像520,523に基づいて生成された距離画像の補完処理として実行されればよく、必ずしも撮り込み画像のすべての画素領域について距離画像を生成する必要はない。 As will be described later, the image correlating and distance image generation process of two range images based on the texture image 521 and 522 by the generating means 531, the image correlating and distance projection pattern image 520 by the image generating means 530, only to be executed as a complementary processing of the generated distance image on the basis of 523, it is not always necessary to generate all of the distance image for a pixel area of ​​the uptake image.

【0061】画像対応付け&距離画像生成手段530, [0061] the image correlating and distance image generation unit 530,
531における処理、およびその後の処理について、図2に戻って説明する。 Processing at 531, and the subsequent processing, referring back to FIG.

【0062】図2におけるフレームメモリ1a,203 [0062] The frame memory 1a in FIG. 2, 203
には、基準カメラ201によって撮り込まれた投光パターン画像、フレームメモリ1b,204には基準カメラ201によって撮り込まれたテクスチャ画像、フレームメモリ2a,205には、参照カメラ202によって撮り込まれた投光パターン画像、フレームメモリ2b,2 , The projection pattern image was incorporated taken by the reference camera 201, a frame memory 1b, 204 texture images was incorporated taken by the reference camera 201 to the frame memory 2a, 205 were incorporated taken by the reference camera 202 projection pattern image, the frame memory 2b, 2
06には参照カメラ202によって撮り込まれたテクスチャ画像が格納される。 06 texture images interleaved taken by the reference camera 202 is stored in the.

【0063】画像間対応付け手段A,207は、フレームメモリ1a,203とフレームメモリ2a,205の基準カメラ及び参照カメラ各々の投光パターン画像間の対応付け処理を行なう。 [0063] The inter-image associating unit A, 207 performs an association process between the frame memory 1a, 203 a frame memory 2a, 205 base camera and the reference camera each projection pattern image. すなわち、基準カメラ201の撮影した画像の各画素に対する参照カメラ202の撮影した参照画像の画素の対応付け処理を行ない、基準画像に対する参照画像の視差データを距離画像生成手段A, In other words, performs mapping processing of the pixels of the captured reference image of a reference camera 202 for each pixel of the captured image of the reference camera 201, the parallax data of the reference image to the reference image distance image generation unit A,
209に出力する。 And outputs it to 209.

【0064】投光パターン照射手段220の照射する投光パターンは、先に説明したように非周期的なパターンであり、各カメラによって撮影した画像の対応付けが比較的容易に行われる。 [0064] projection pattern of irradiation of the projection pattern irradiation means 220 is a non-periodic pattern as described earlier, the association of the image taken by each camera can be relatively easily carried out. ただし、投光パターン照射手段2 However, the light projection pattern irradiation means 2
20は一方向からの光(赤外光)照射であるので、投光パターン照射手段220と計測対象200およびカメラの位置関係から、照射光の正反射光をカメラがとらえる場合があり、この場合には画素値の飽和が発生して対応付け処理ができない領域が発生することがある。 20 because it is light (infrared light) irradiated from one direction, from the measurement object 200 and the camera position relationship between the projection pattern irradiation means 220, the camera might capture the specular reflection light of the irradiation light, in this case there is a region that can not be processed association with saturated pixel value is generated is generated in the. また、 Also,
計測対象200の表面形状によって投光パターンに部分的な周期性が発生する場合もあり、このような領域では正確な距離画像が生成されない場合がある。 The surface shape of the measurement object 200 might also partial periodicity in projection pattern is generated, in such a region may not be generated accurate distance image.

【0065】本発明の三次元形状計測装置では、このような領域、すなわち投光パターン画像に基づいて距離画像が正確に生成されない領域を検出して、その領域についてフレームメモリ1b,204と、フレームメモリ2 [0065] In the three-dimensional shape measuring apparatus of the present invention, such a region, that is, it detects a region distance image can not be generated accurately on the basis of the projection pattern image, a frame memory 1b, 204 for that region, the frame memory 2
b,206に格納されているテクスチャ画像に基づく距離画像を生成して補完処理を行ない正確な距離画像を出力するものである。 b, 206 generates a distance image based on the texture image stored in performs complementary processing and outputs an accurate distance image.

【0066】図2に示す距離画像生成手段209は、まず、画像間対応付け手段A,207から入力される赤外光非周期パターン投光に基づく投光パターン基準画像と投光パターン参照画像の各画素の視差データを用いて距離画像を生成する。 [0066] The distance image generating means 209 shown in FIG. 2, first, the image between the associating unit A, 207 is input from the based on the infrared light aperiodic pattern projection projecting pattern reference image and the projection pattern reference image generating a distance image by using parallax data for each pixel. 距離画像は、基準カメラ201が撮影した計測対象画像の各画素について、基準カメラ20 Distance image for each pixel of the measurement target image reference camera 201 is photographed, reference camera 20
1と計測対象200との距離を反映させた画像である。 1 is an image that reflects the distance between the measurement target 200.
距離画像生成手段209によって生成された距離画像は画像メモリ210に出力保持される。 Distance image distance image generated by the generating means 209 are output held in the image memory 210.

【0067】ミスマッチング領域検出手段211は、画像メモリ210から投光パターン画像に基づく距離画像を読み出してラベリングによるミスマッチング領域検出処理を実行する。 [0067] mismatching area detection unit 211 performs a mismatching area detection processing by the labeling from the image memory 210 reads out the range image based on the projection pattern image. ラベリングによるミスマッチング領域検出処理については後段で詳細に説明する。 For mismatching area detection processing by the labeling will be described in detail later.

【0068】ミスマッチング領域検出手段211の検出したミスマッチング領域の画素位置情報は、距離画像生成手段209、置換手段212に出力される。 [0068] miss detected pixel position information of the mismatched regions of the matching region detecting means 211, distance image generation unit 209, is output to the substitution device 212.

【0069】距離画像生成手段209は、ミスマッチング領域の検出したミスマッチング画素領域を含む部分領域ついて、画像間対応付け手段B,208の対応付け処理データに基づいて距離画像を生成する。 [0069] The distance image generating means 209, with a partial region including the detected mismatching pixel region mismatching area, and generates a distance image based on the correspondence processing data of an image between correlating means B, 208.

【0070】フレームメモリ1b,204、フレームメモリ2b,206は、基準カメラ201と参照カメラ2 [0070] The frame memory 1b, 204, the frame memory 2b, 206 is the reference camera 201 and the reference camera 2
02が可視光に基づいて撮影した画像、すなわちテクスチャ画像を格納しており、画像間対応付け手段B,20 02 has stored images, i.e. the texture images taken on the basis of the visible light, the image between the correlating means B, 20
8は、2つのテクスチャ画像に基づいて視差データを生成し、距離画像生成手段209は、2つのテクスチャ画像に基づいて、上述のミスマッチング画素領域を含む部分領域の距離画像を生成する。 8 generates parallax data based on the two texture images, distance image generation unit 209, based on the two texture image to generate a distance image of the partial region including the mismatching pixel area described above.

【0071】2つのテクスチャ画像に基づいて生成されたミスマッチング画素領域を含む部分領域の距離画像は、置換手段212を介して画像メモリ210に出力され、投光パターンに基づく距離画像におけるミスマッチング領域が、テクスチャ画像に基づいて生成された距離画像に置換される。 [0071] Two of the distance image of the partial region including the mismatching pixel area that is generated based on the texture image is output to the image memory 210 through the replacement unit 212, the mismatching area in the distance image based on the projection pattern but it is replaced to the distance image generated based on the texture image. ミスマッチング領域は、具体的には、例えば正反射領域において発生する。 Mismatching area, specifically, occurring for example in the specular reflection region.

【0072】なお、置換手段212は、ミスマッチング領域検出手段211が検出したミスマッチング領域の周辺の画素値における距離画像(投光パターン画像に基づく距離画像)と、新たに生成したテクスチャ画像に基づく部分領域の距離データとの連続性を判定した上で、その整合性を確保して各画素の距離画像データの置換を実行して画像メモリ210に出力する。 [0072] Incidentally, substitution means 212, a distance image in the pixel values ​​near the mismatching area mismatching area detecting unit 211 detects (distance image based on the projection pattern image), based on the newly generated texture images after having determined the continuity of the distance data of the partial area, and outputs the image memory 210 by executing the substitution of the distance image data of each pixel to ensure its integrity.

【0073】置換手段212は、テクスチャ画像に基づいて生成した部分的な距離画像におけるミスマッチング領域の周囲の画素値(距離データ)と、先に投光パターン画像に基づいて生成した距離画像の対応画素の画素値との差を予め設定した閾値と比較して、その差が閾値より小さいときに、テクスチャ画像に基づく距離画像を置換データとして使用可能と判定して置換処理を行なう。 [0073] substitution means 212, the pixel value of the surrounding mismatching area in the resulting partial distance image based on the texture image and (distance data) corresponding distance image generated based on the previously projected pattern image compared with the threshold set in advance the difference between the pixel value of the pixel, when the difference is smaller than the threshold value, a determination is made to replacement processing and enable a range image based on the texture image as replacement data.
その差が閾値より大きい場合は、ミスマッチング領域として認識した領域は、測定対象に実在する極端な凹凸部である可能性もあり、この場合は、その部分の置換処理は行なわない。 If the difference is larger than the threshold value, the area recognized as the mismatching area, there is a possibility an extreme uneven part existing in a measurement target, in this case does not perform replacement processing of the part.

【0074】各カメラによって撮影される投光パターン画像とテクスチャ画像は、同一の撮り込み画像に基づくものであるため、投光パターン画像に基づく距離画像と、テクスチャ画像に基づく距離画像とは、各画素が基本的に対応するものとなり、置換手段212によって容易に置換処理を実行することができる。 [0074] projection pattern image and the texture image to be captured by each camera, since they are based on the same uptake image, and a distance image based on the projection pattern image, the distance image based on the texture image, each pixel becomes corresponds basically can be performed easily substituted processed by substitution means 212.

【0075】画像メモリ210に格納された距離画像は、投光パターン画像に基づく距離画像中のミスマッチング領域をテクスチャ画像に基づく距離画像によって置換した合成画像となり、より正確な距離画像として出力手段213を介して出力される。 [0075] Image distance image is stored in the memory 210 becomes a composite image that was replaced by the distance image based on the mismatching area of ​​the distance in the image based on the projection pattern image in the texture image, output means 213 as a more precise range image It is output via the.

【0076】なお、図2に示す構成の各ブロックにおける処理、およびブロック間データ転送制御等は、図示しない制御手段によって制御され、所定のメモリ、例えばRAM,ROM等の半導体メモリ、磁気ディスク、光ディスク等の記憶媒体に記録された制御プログラムによって制御することができる。 [0076] The processing in each block of the configuration shown in FIG. 2, and the block data transfer control, etc., are controlled by a control means (not shown), a predetermined memory such state RAM, solid state memory such as a ROM, a magnetic disk, an optical disk it can be controlled by a control program recorded in a storage medium like. また、図示しない入力手段によってユーザがコマンド、パラメータ等を入力して各制御態様を変更することが可能である。 It is also possible to the user by the input means (not shown) commands, to change each control mode to input parameters, and the like.

【0077】また、図2においては、画像間対応付け手段A,207と画像間対応付け手段B,208とを別ブロックとして示してあるが、これらは1つの処理ブロックとして構成してもよく、フレームメモリ1a,203 [0077] Further, in FIG. 2, the inter-image correlating means A, 207 and the inter-image correlating means B, 208 are shown as separate blocks, it may be configured as one processing block, frame memory 1a, 203
とフレームメモリ2a,205の画像間対応付け処理の後、必要に応じてフレームメモリ1b,204とフレームメモリ2b,206の画像間対応付け処理を、同一の処理ブロックにおいてシリアルに実行するようにしてもよい。 Frame after inter-image memory 2a, 205 of the associating process, inter-image correspondence processing of the frame memory 1b, 204 and the frame memory 2b, 206 if necessary, be executed serially in the same processing block as the it may be.

【0078】図6は、本発明の三次元形状計測装置を用いて三次元形状を計測する方法を説明したフローチャートである。 [0078] Figure 6 is a flowchart for explaining a method of measuring a three-dimensional shape by using a three-dimensional shape measuring apparatus of the present invention. 以下、図6のフロー中の各ステップについて説明する。 Hereinafter, each step will be described in the flow of FIG.

【0079】ステップ601では、基準カメラによって撮像された投光パターン画像1と、参照カメラによって撮像された投光パターン画像2に基づいて距離画像D1 [0079] At step 601, a projection pattern image 1 captured by the reference camera, based on the projection pattern image 2 captured by the reference camera distance image D1
(i,j)が算出される。 (I, j) is calculated. この距離画像の算出は、図2 The calculation of the distance image is 2
における画像対応付け手段A,207の生成する視差データに基づいて距離画像生成手段209が生成するものである。 In which the distance image generation unit 209 is generated based on the parallax data generated by the image correlating unit A, 207 in.

【0080】次に、ステップ602において、投光パターン画像に基づいて生成された距離画像中のミスマッチング領域の検出が実行される。 Next, in step 602, the detection of mismatching area in the distance image generated based on the projection pattern image is performed. ミスマッチング領域の検出処理について、図7、図8を用いて説明する。 The detection process of the mismatching area, FIG. 7 will be described with reference to FIG.

【0081】図7は、ミスマッチングの検出処理の概略を示すものであり、ステップ701において2つのカメラ、すなわち基準カメラ、参照カメラによって異なる視点方向からの画像を取り込み、ステップ702において距離画像を生成し、ステップ703において距離画像のラベリング処理を実行し、その結果得られるラベリング画像704に基づいて、ステップ705においてミスマッチング領域を検出する。 [0081] FIG. 7 shows an outline of detection processing of mismatching two cameras in step 701, i.e., capture an image from a reference camera, different viewing direction by the reference camera, generates a distance image in step 702 and executes a labeling process of the distance image in step 703, based on the labeling image 704 obtained as a result of detecting a mismatch region in step 705.

【0082】図7に示すステップ703におけるラベリング処理の詳細処理フローを図8に示す。 [0082] The detailed processing flow of the labeling process at step 703 shown in FIG. 7 is shown in FIG. まず、図8のステップ801において、図2に示すミスマッチング領域検出手段211は、画像メモリ210から距離画像D First, in step 801 of FIG. 8, mismatching region detection unit 211 shown in FIG. 2, the distance image D from the image memory 210
1を読み出す。 Reading one.

【0083】ステップ802において、ミスマッチング領域検出手段211は、ラベリング処理を開始する座標を設定するための初期化処理として、ラベリング未処理画素数kを初期化し、ミスマッチング領域検出手段21 [0083] In step 802, the mismatching area detecting unit 211, as an initialization process for setting the coordinates for starting the labeling process, and initializes the number of labeling unprocessed pixel k, mismatching area detection means 21
1は、内蔵する座標記憶用バッファx[k],y[k] 1, built-in coordinate storing buffer x [k], y [k]
を初期化する。 The initialize.

【0084】ステップ803において、ミスマッチング領域検出手段211は、距離画像D1の中の計測対象(被写体)に対応する部分の任意の位置座標を注目画素の座標(i,j)として設定する。 [0084] In step 803, the mismatching area detecting unit 211 sets an arbitrary position coordinates of the corresponding portion to the target object (subject) in the distance image D1 as the coordinates of the pixel of interest (i, j).

【0085】ステップ804において、ミスマッチング領域検出手段211は、距離画像D1の注目画素の画素値g(i,j)を抽出する。 [0085] In step 804, the mismatching area detection unit 211 extracts the pixel value of the target pixel of the distance image D1 g (i, j). 画素値g(i,j)は、画素(i,j)の距離値を示している。 Pixel value g (i, j) is the distance value of the pixel (i, j).

【0086】次に、ステップ805において、ミスマッチング領域検出手段211は、注目画素(i,j)に隣接する画素の内の1つの未処理画素の画素値g(i+ Next, in step 805, the mismatching area detecting means 211, target pixel (i, j) pixel value of one unprocessed pixel among the pixels adjacent to the g (i +
m,j+n)(ただしm,n=−1,0,1)を抽出する。 m, j + n) (provided that m, n = -1,0,1 a) extracting.

【0087】ステップ806において、ミスマッチング領域検出手段211は、注目する画素(i,j)の画素値g(i,j)が、ラベル値L0であるか否かを判定し、さらに注目する画素の画素値g(i,j)と隣接する画素の画素値g(i+m,j+n)の差の絶対値が所定の閾値より小さいか否かを判定する。 [0087] In step 806, the mismatching area detecting unit 211, a pixel in which the pixel value g (i, j) of the pixel of interest (i, j) is then determined whether the label value L0, further interest determines the pixel value g (i, j) pixel values ​​of pixels adjacent to the g (i + m, j + n) absolute value of the difference of whether or not smaller than a predetermined threshold value.

【0088】この閾値との比較により、画素(i,j) [0088] By comparison with this threshold value pixel (i, j)
と隣接画素(i+m,j+n)の連続性が判定される。 Continuity of the adjacent pixels (i + m, j + n) is determined to be.
すなわち画素(i,j)と隣接画素(i+m,j+n) That pixel (i, j) and the adjacent pixels (i + m, j + n)
の画素値、g(i,j)とg(i+m,j+n)との差分が閾値より小さければその2つの画素は連続する領域にあると判定され、閾値より大であれば不連続の領域であると判定する。 Pixel values, g (i, j) and g (i + m, j + n) is the two pixels if the difference is smaller than the threshold value of is determined to be region continuous, discontinuous regions if larger than the threshold value and it determines that there is.

【0089】注目する画素の画素値g(i,j)がL0 [0089] The pixel value g (i, j) of the pixel of interest is L0
でなく、かつ、隣接する画素の画素値g(i+m.j+ Not, and the pixel value g of the adjacent pixels (i + m.j +
n)が画素値g(i,j)に対して連続していると判定された場合ステップ807に進む。 If n) is determined to be continuous to the pixel value g (i, j) the process proceeds to step 807.

【0090】ステップ807において、ミスマッチング領域検出手段211は、ラベリング未処理画素数kを1 [0090] In step 807, the mismatching area detecting unit 211, a number of labeling unprocessed pixel k 1
だけインクリメントし、隣接する画素のx座標i+mを座標記憶用バッファx[k]に記憶し、y座標j+nを座標記憶用バッファy[k]に記憶する。 Incremented and stores the x coordinate i + m adjacent pixels in the coordinate storing buffer x [k], stores the y coordinate j + n in the coordinate storing buffer y [k].

【0091】ステップ808において、ミスマッチング領域検出手段211は、注目する画素に隣接する8つの全ての画素に対してステップ805,806の処理を施したか否かを判定し、隣接する画素にステップ805, [0091] In step 808, the mismatching area detection unit 211 determines whether or not subjected to a process of step 805 and 806 with respect to all eight pixels adjacent to the pixel of interest, step to the adjacent pixel 805 ,
806の処理を施していないものが存在すると判定した場合、ステップ805に戻り、それ以降の処理を繰り返す。 If the 806 ones not subjected handling of determined to be present, the process returns to step 805 to repeat the process. その後、ステップ808で、隣接する8つの全ての画素に対してステップ805,806の処理を施したと判定された場合、ステップ809に進む。 Thereafter, in step 808, if it is determined that performing the processing of steps 805 and 806 with respect to all eight neighboring pixels, the process proceeds to step 809.

【0092】ステップ809において、ミスマッチング領域検出手段211は、注目画素の画素値g(i,j) [0092] In step 809, the mismatching area detecting means 211, pixel value g of the target pixel (i, j)
をラベル値L0に置換する。 Replacing the label value L0. ここで、ラベル値L0は、 Here, the label value L0 is,
距離画像D1の測定対象(被写体)に対応する部分の画素に対して付されるものである。 A distance measurement target image D1 (the subject) is intended to be subjected to the pixel of the portion corresponding.

【0093】ステップ810において、ミスマッチング領域検出手段211は、ラベリング未処理画素数kが0 [0093] In step 810, the mismatching area detecting unit 211, the number of labeling unprocessed pixel k is 0
であるか否かを判定し、ラベリング未処理画素数kが0 Determining whether a number of labeling unprocessed pixel k is 0
ではないと判定した場合、ステップ811に進む。 When it is determined not to be, the process proceeds to step 811.

【0094】ステップ811において、ミスマッチング領域検出手段211は、座標記憶用バッファx[k]に記憶されている値を注目画素のx座標とし、座標記憶用バッファy[k]に記憶されている値を注目画素のy座標とする。 [0094] In step 811, the mismatching area detecting unit 211, the value stored in the coordinate storing buffer x [k] and x-coordinate of the pixel of interest, stored in the coordinate storing buffer y [k] a value of the y coordinate of the pixel of interest. これにより、先ほどまでの注目画素に隣接し、かつ画素値が連続する画素が新たな注目画素とされる。 Thus, adjacent to the pixel of interest to earlier, and a pixel having a pixel value continuous is a new pixel of interest. その後、ミスマッチング領域検出手段211は、ラベリング未処理画素数kを1だけインクリメントしてステップ804に戻る。 Then, mismatching area detection unit 211 returns to step 804 and increments the number of labeling unprocessed pixel k by one.

【0095】その後、ステップ810において、ラベリング未処理画素数kが0であると判定されるまで、ステップ804以降の処理が繰り返され、ラベリング未処理画素数kが0であると判定された場合、ステップ812 [0095] Thereafter, in step 810, until the number of labeling unprocessed pixel k is determined to be 0, the processes in and after step 804 are repeated, if the number of labeling unprocessed pixel k is determined to be 0, step 812
に進む。 Proceed to. ステップ812において、ミスマッチング領域検出手段211は、距離画像D1の画素で画素値がラベル値L0に置換されていない画素の画素値をミスマッチング領域であることを示すラベル値L1に置換する。 In step 812, the mismatching area detecting unit 211, the pixel value at a pixel of the distance image D1 replaces the label value L1 indicating a mismatching area pixel value of the pixel which is not substituted with the label value L0.

【0096】上述のようなラベリング処理が終了すると、距離画像D1において距離データが所定の閾値以下の差分を有する連続領域には同一のラベルが付与され、 [0096] When the labeling processing described above is completed, the distance data in the distance image D1 is the same label is assigned to the contiguous regions with the following differences a predetermined threshold value,
例えば図7のラベリング画像704が得られる。 For example labeling image 704 of FIG. 7 can be obtained.

【0097】ミスマッチング領域検出手段211は、同一ラベルが付与された画素に囲まれていて、かつ周囲と異なるラベルが付与された小さな孤立領域が存在するか否かを上記のラベル値にしたがって判定する。 [0097] mismatching area detection unit 211 is surrounded by the pixels to which the same label is assigned, and determines whether the small isolated area label different from the ambient is applied is present in accordance with the above label value to. 図7のラベリング画像704では、領域B,C,Dがこれらの条件に該当し、この領域B,C,Dをミスマッチング領域であると判定(ステップ705)する。 In labeling image 704 in FIG. 7, area B, C, D are applicable to these conditions, this region B determination, C, as a mismatching area D (step 705).

【0098】図6に戻って、さらに説明を続ける。 [0098] Referring back to FIG. 6, it continued further explanation. ステップ602において、図7,8のフローに従ってミスマッチング領域の検出が終了すると、ステップ603において、ミスマッチング領域が検出されたか否かが判定され、ミスマッチング領域が検出されなかった場合は、投光パターン画像のみから距離画像の生成処理(ステップ610)が行なわれる。 In step 602, the detection of mismatching area in accordance with the flow of FIG. 7 and 8 ends, in Step 603, whether or not mismatching area is detected is determined, if the mismatching area is not detected, the light projecting generation processing of the range image from only the pattern image (step 610) is performed.

【0099】ステップ603において、ミスマッチング領域が検出された場合は、ステップ604,605において、計算領域設定処理が行なわれる。 [0099] In step 603, if the mismatching area is detected in step 604 and 605, calculation area setting processing is performed. この計算領域設定処理は、テクスチャ画像を用いた距離画像の生成処理を行なう部分領域を設定する処理であり、ステップ60 The calculation region setting process is a process of setting a partial area to be a process of generating a distance image using the texture images, step 60
2で検出されたミスマッチング領域を含む座標領域がテクスチャ画像を用いた距離画像の生成処理を行なう部分領域として設定される。 Coordinate region including the mismatching area detected by 2 is set as a partial area to be a process of generating a distance image using the texture images.

【0100】次に、ステップ606において、ステップ604,605において設定された計算領域における距離画像がD2(i,j)として算出される。 Next, in step 606, the distance image in the calculation region set at step 604 and 605 is calculated as D2 (i, j). これらは、 They are,
図2におけるフレームメモリ1b,204に格納された基準カメラが撮影したテクスチャ画像と、フレームメモリ2b,206に格納された参照カメラが撮影したテクスチャ画像とに基づいて画像間対応付け手段B,208 A texture image in which the reference camera shot stored in the frame memory 1b, 204 in FIG. 2, the frame memory 2b, 206 between images correlating means based on the stored texture image reference camera is photographed B, 208
がステレオ画像法に基づく対応付け処理を実行し視差データを生成して、さらに距離画像生成手段209が視差データに基づく距離画像を生成する処理である。 There generates a correspondence processing is executed parallax data based on the stereo image method, further the distance image generation unit 209 is a processing of generating a distance image based on the parallax data. なお、 It should be noted that,
これらの処理は、ステップ604,605において設定された部分領域、すなわちミスマッチング領域を含む画素領域についてのみ行われる。 These processes, set subregion in step 604 and 605, i.e. applied only to the pixel region including the mismatching area.

【0101】ステップ606において、テクスチャ画像を用いた部分領域の距離画像が生成されると、ステップ607に進み、生成された距離画像の信頼性の判定処理がなされる。 [0102] In step 606, if the distance image of the partial region using the texture image is generated, the process proceeds to step 607, the reliability of the determination processing of the generated distance image is made. この信頼性判定処理は、テクスチャ画像に基づいて生成された距離画像と、既に投光パターン画像に基づいて生成されている距離画像との整合性を判定することによって行われる。 The reliability determination process is performed by determining the integrity of the distance image generated based on the texture image, the range image that has already been generated based on the projection pattern image. 具体的には、例えば、ミスマッチング領域の周囲画素について、テクスチャ画像に基づいて生成された距離画像の画素値と、投光パターン画像に基づいて生成された距離画像の画素値、これら2つの画素値データの比較によって行われ、これらが大きく離れているときは、テクスチャ画像に基づいて生成した距離画像の信頼性は否定(ステップ608においてN Specifically, for example, the surrounding pixels mismatching area, and the pixel value of the generated range image based on the texture image, the pixel value of the generated range image based on the projection pattern image, two pixels made by comparing the value data, when they are far apart, the reliability of the distance image generated based on the texture image in negative (step 608 N
o)され、置換処理を中止する。 o) is, to stop the replacement process.

【0102】具体的には、図2に示す置換手段212 [0102] Specifically, a substituted unit shown in FIG. 2 212
が、テクスチャ画像に基づいて生成した部分的な距離画像におけるミスマッチング領域の周囲の画素値(距離データ)と、先に投光パターン画像に基づいて生成した距離画像の対応画素の画素値との差分を算出し、これを予め設定した閾値と比較して、差が閾値より小さいときテクスチャ画像に基づく距離画像による置換処理を行なう。 Of but a pixel value of the surrounding mismatching area in the resulting partial distance image based on the texture image and (distance data), the pixel value of the corresponding pixel of the distance image generated based on the previously projected pattern image calculating a difference, as compared to this preset threshold value, the replacement process by the distance image based on the texture image when the difference is smaller than the threshold value. 差が閾値より大きい場合は、ミスマッチング領域として認識した領域は、測定対象に実在する極端な凹凸部である可能性があり、置換処理は行なわない。 If the difference is larger than the threshold value, the area recognized as the mismatching area are likely to be extremely uneven part existing in a measurement target is not performed replacement process.

【0103】テクスチャ画像に基づいて生成された距離画像に信頼性がある(ステップ608の判定がYes) [0103] the distance image generated based on the texture image is reliable (Yes determination at step 608)
と判定された場合には、ステップ609において、テクスチャ画像に基づいて生成された距離画像D2(i, And when it is determined in step 609, the distance image D2 (i generated based on the texture image,
j)を投光パターン画像に基づいて生成された距離画像D1(i,j)に適用する。 Applying a j) in the distance image D1 generated based on the projection pattern image (i, j). すなわち、ミスマッチング領域の距離画像をテクスチャ画像に基づいて生成された距離画像D2(i,j)に置き換える。 In other words, replaced with distance is generated based on the distance image mismatching area in the texture image image D2 (i, j).

【0104】投光パターン画像に基づいて生成された距離画像D1(i,j)について、そのミスマッチング領域をテクスチャ画像に基づいて生成された距離画像D2 [0104] The distance is generated based on the projection pattern image image D1 (i, j), the distance image is generated based on the mismatching area in the texture image D2
(i,j)で置き換えた合成画像が、最終的距離画像として生成(ステップ610)され、出力される。 (I, j) composite image was replaced with, as a final distance image is generated (step 610), is output.

【0105】図9に本発明の三次元形状計測装置において、基準カメラと参照カメラの撮影する投光パターン画像と、テクスチャ画像の例を示す。 [0105] shown in the three-dimensional shape measuring apparatus of the present invention in FIG. 9, a projection pattern image to be photographed of the base camera and the reference camera, an example of a texture image.

【0106】図9(a)が基準カメラの撮影した投光パターン画像、図9(b)が参照カメラの撮影した投光パターン画像、図9(c)が基準カメラの撮影したテクスチャ画像、図9(d)が参照カメラの撮影したテクスチャ画像である。 [0106] Figure 9 (a) captured projection pattern image of the reference camera, and FIG. 9 (b) is photographed projection pattern image of the reference camera, FIG. 9 (c) is the reference camera captured texture image of FIG. 9 (d) is captured texture image of a reference camera. 図9(a),(b)は、図面上では明確に示されないが、図9上段に示す非周期パターンが赤外光によって照射され、計測対象に非周期パターンが映し出される。 Figure 9 (a), (b) is not clearly shown in the drawing, a non-periodic pattern shown in the upper part 9 is irradiated by infrared light, non-periodic pattern is projected onto the target object. これが各カメラによって撮り込まれる。 This is incorporated taken by each camera. 図9 Figure 9
(c),(d)は、非周期パターンは撮影されることなく、太陽光、蛍光灯、白熱灯の可視光によって観察した状態で計測対象が撮影されたものである。 (C), (d), without non-periodic pattern is captured, sunlight, in which the fluorescent lamp, the measurement object in a state as observed by visible light in incandescent lamps were taken.

【0107】図9の(a),(b)には、図に示すような正反射領域が発生し、これらの部分において正確な距離画像の生成が困難になる。 [0107] in FIG. 9 (a), the (b), occurs specular reflection region as shown in FIG., The generation of accurate distance image in these portions becomes difficult. すなわちこの正反射領域は照射パターンの取得ができず、画素の対応付けが困難となり前述のミスマッチング領域となる可能性が高い部分である。 That this specular reflection region can not acquire the irradiation pattern, a correspondence is difficult likely portion to be a mismatch region of that pixel. 本発明の三次元形状計測装置においては、これらの部分を図9(c)、(d)のテクスチャ画像に基づく距離画像で置換することにより正確な距離画像を得る。 In the three-dimensional shape measuring apparatus of the present invention, these partial FIG. 9 (c), the obtain accurate distance image by replacing a distance image based on the texture image of (d).

【0108】図10に、投光パターン画像に基づく距離画像と、テクスチャ画像に基づく距離画像と、最終的な出力画像の例を示す。 [0108] Figure 10 shows a distance image based on the projection pattern image, and the distance image based on the texture image, an example of the final output image. 図10において、各距離画像は、 10, each range image,
それぞれ色(濃淡)によって距離の差異を示している。 It shows the difference in distance by color (gray), respectively.
なお、図10では置換領域の説明のための模式的な距離画像を示しているものであり、実際の距離画像とは異なっている。 Incidentally, which shows a schematic distance image for explaining the replacement region in FIG. 10 is different from the actual distance image.

【0109】図10において、左上の図が投光パターンに基づく距離画像であり、ミスマッチング領域が測定対象のほぼ正面の領域に形成され、誤った距離値が距離画像上に示されている。 [0109] In FIG. 10, the upper left figure is a distance image based on the projection pattern, mismatching region is formed in substantially the front of the area to be measured is shown on the wrong distance value range image. 図10右上は、テクスチャ画像に基づく距離画像であり、図の測定対象の右側面にミスマッチング領域が存在するものの、測定対象の正面には、 Figure 10 top right is a distance image based on the texture image, although there is a mismatching area on the right side of the measurement target figure in front of the object to be measured,
ミスマッチング領域はなく、これらの領域の距離画像を置換領域として設定することにより、図10下の出力距離画像が得られる。 Mismatching area not, by setting the distance image of the area as a replacement area, an output distance image below 10 is obtained. 図10下の距離画像にはミスマッチング領域は存在せず、正確な距離画像としての出力が得られる Mismatching area is not present in Figure 10 under the range image is obtained output as an accurate distance image

【0110】なお、上述の例では、1つの基準カメラと参照カメラとの組を有する例を中心として説明したが、 [0110] In the example described above, description was made about an example having a set of one of the base camera and the reference camera,
複数の基準カメラと参照カメラの組を有する構成として、距離画像生成手段が、基準カメラと参照カメラの各々の組によって撮り込まれた投光パターン画像に基づく複数の距離画像を生成し、さらに基準カメラと参照カメラの各々の組によって撮り込まれたテクスチャ画像に基づいて複数の距離画像を生成する構成しとして、複数の距離画像、例えば様々な視点からの距離画像を生成する構成としてもよい。 A structure having a plurality of sets of base camera and the reference camera, the distance image generation unit generates a plurality of range images based on the projection pattern image interleaved taken by each of the pair of the base camera and the reference camera, further reference as configured to generate a plurality of range images based on texture images interleaved taken by each of the set of camera and the reference camera, the plurality of range images, for example, may be configured to generate a distance image from various viewpoints.

【0111】さらに、複数の基準カメラと参照カメラの組を有するとともに、複数の投光パターン照射手段を構成し、複数の投光パターン照射手段の各々が、可視光と異なり、かつ他の投光パターン照射手段とも異なる固有の波長の光を用いて投光パターンを測定対象に照射する構成として、複数の基準カメラと参照カメラの組の各々の組が、それぞれ異なる波長の光に基づく投光パターン画像をテクスチャ画像と分離して撮り込み、距離画像生成手段が、基準カメラと参照カメラの各々の組によって撮り込まれた投光パターン画像に基づく複数の距離画像を斎整するとともに、基準カメラと参照カメラの各々の組によって撮り込まれたテクスチャ画像に基づいて複数の距離画像を生成する構成としてもよい。 [0111] Further, with having a plurality of sets of base camera and the reference camera, it constitutes a plurality of projection pattern irradiation means, each of the plurality of projection pattern irradiation means, unlike visible light, and other light projecting a configuration for irradiating the light projection pattern on the measurement target using a light of different specific wavelengths and pattern irradiation means, projecting a plurality of reference camera and the reference camera each set of pairs is based on light of different wavelengths patterns image uptake separately from the texture image, the distance image generating means, a plurality of range images based on the projection pattern image incorporated taken by a set of each of the base camera and the reference camera as well as HitoshiSei, the reference camera based on the interleaved taken by each of the reference camera set texture image may be configured to generate a plurality of range images.

【0112】このように、本発明の三次元形状計測装置と三次元形状計測方法によれば、可視光でのテクスチャ画像と、赤外光による非周期的投光パターン画像を同時に撮り込むことが可能となり、非周期的投光パターン画像によって得られる距離画像にミスマッチング領域が発生した場合であっても、可視光での同時撮り込み画像を用いてミスマッチング領域に対応する部分領域の距離画像を生成して、これを投光パターン画像に基づく距離画像中のミスマッチング領域に置換することが可能となり、より正確な距離画像を得ることが可能となる。 [0112] Thus, according to the three-dimensional shape measuring apparatus and the three-dimensional shape measuring method of the present invention, that the texture image in the visible light, Komu take aperiodic projection pattern image by infrared light at the same time possible and would, even if the mismatching area to a distance image obtained by the non-periodic projection pattern image is generated, the distance image of the partial region corresponding to the mismatching area using simultaneous incorporation image in the visible light to generate, which makes it possible to replace the mismatched region of the distance in the image based on the projection pattern image, it is possible to obtain a more accurate distance image.

【0113】また、本発明の三次元形状計測装置と三次元形状計測方法によれば、可視光でのテクスチャ画像と、赤外光による非周期的投光パターン画像は、時間的ずれが全くなく同時に撮り込むことが可能であるので、 [0113] Further, according to the three-dimensional shape measuring apparatus and the three-dimensional shape measuring method of the present invention, a texture image in the visible, non-periodic projection pattern image by infrared light, it is without any time lag since it is possible to Komu taken at the same time,
距離画像の画素同士の対応付けが正確に行われ、置換処理が容易に実行できる。 Correspondence between the pixels of the distance image is performed accurately, the replacement process can be easily performed.

【0114】また、本発明の三次元形状計測装置と三次元形状計測方法によれば、非周期的投光パターン画像は赤外光による照射によって行われ、従来のフラッシュ使用によるパターン照射と異なり、パターン画像撮り込み時間(シャッター開放時間)を長く設定することが可能となり、安定した画像の撮り込みが可能となる。 [0114] Further, according to the three-dimensional shape measuring apparatus and the three-dimensional shape measuring method of the present invention, non-periodic projection pattern image is performed by irradiation with infrared light, unlike the pattern illumination by the conventional flash use, it is possible to set a longer time uptake pattern image (shutter open time), it is possible to incorporation of stable image.

【0115】[三次元形状計測装置−実施例2]上述の実施例で説明した図2の構成は、可視光でのテクスチャ画像と、赤外光による非周期的投光パターン画像を同時に撮り込み、まず、赤外光による非周期的投光パターン画像に基づいて、距離画像を生成して、その距離画像からミスマッチング領域を検出した後、その領域についてのみ、テクスチャ画像に基づく距離画像を生成して、生成した部分領域の距離画像を置換領域として使用する構成であったが、可視光でのテクスチャ画像と、赤外光による非周期的投光パターン画像の両者に基づく距離画像生成処理を並行して実行し、これら2つの距離画像から選択的に距離画像を選定して出力する構成を実施例2として説明する。 [0115] - configuration of [three-dimensional shape measuring device Embodiment 2] FIG. 2 described in the above embodiment, a texture image in the visible light, incorporation of non-periodic projection pattern image by infrared light at the same time first, based on the non-periodic projection pattern image by infrared light, the distance image to generate, after detecting the mismatching area from the range image, for that region only, generates a distance image based on the texture image and, although the distance image generated partial area was configured to use as a replacement area, and the texture image in the visible light, the distance image generation process based on both of the non-periodic projection pattern image by infrared light in parallel run, illustrating the selectively chosen and outputs constituting a distance image from these two range images as a second embodiment.

【0116】図11に実施例2の三次元形状計測装置のブロック図を示す。 [0116] shows a block diagram of a three-dimensional shape measuring apparatus of the embodiment 2 in FIG. 11. 図11に示す構成では、図2に示す実施例1の構成と異なり、距離画像生成手段が2つ、画像メモリが2つ構成され、距離画像生成手段A,110 In the configuration shown in FIG. 11, unlike the configuration of the first embodiment shown in FIG. 2, the distance image two generating means, the image memory is two configurations, distance image generation unit A, 110
1は、フレームメモリ1a,203とフレームメモリ2 1, frame memories 1a, 203 a frame memory 2
a,205に格納された投光パターン画像に基づく距離画像を生成し、距離画像生成手段B,1102は、フレームメモリ1b,204とフレームメモリ2b,206 Generating a distance image based on the projection pattern image stored in a, 205, the distance image generation unit B, 1102 is a frame memory 1b, 204 and the frame memory 2b, 206
に格納されたテクスチャ画像に基づく距離画像を生成する。 Generating a distance image based on the stored texture images. これら2つの距離画像生成手段はすべての領域についての距離画像を生成する。 These two distances image generating means for generating a distance image for all regions.

【0117】生成された距離画像は、それぞれ画像メモリA,1103と画像メモリB,1104に格納される。 [0117] The generated distance image are respectively stored in the image memory A, 1103 and the image memory B, 1104.

【0118】ミスマッチング領域検出手段は、それぞれの画像メモリに格納された距離画像についてのミスマッチング領域を検出し、いずれかの領域にミスマッチング領域が存在する場合は、領域データを選択手段1106 [0118] mismatching area detecting means, when detecting a mismatch region in the distance image stored in each image memory, there is a mismatching area any area, the selection area data unit 1106
に出力し、選択手段は、その領域については、他方のメモリに格納された距離画像に置き換えを実行し、最終的に合成した距離画像を出力手段1107を介して出力する。 And it outputs the selecting means, for the region, performs replacement on the distance image stored in the other memory, eventually synthesized distance image through the output unit 1107 to output.

【0119】本実施例の構成によれば、2つの距離画像が並列に生成され、ミスマッチング領域が検出された場合、他方の距離画像への置き換え処理が即座に実行できるので、処理の高速化が可能となる。 [0119] According to the present embodiment, two distance image is generated in parallel, if the mismatching area is detected, the replacement process to the other of the distance image can be performed in real speed of processing it is possible. また、ミスマッチング領域検出手段1105、または選択手段1106において、2つの距離画像の各画素値の比較処理が実行可能となるので各距離画像中の誤った画素値を有する領域抽出が容易となる。 Further, in the mismatching area detecting unit 1105, or selection means 1106, the comparison process of the pixel values ​​of the two range images can be executed region extraction with an incorrect pixel value in each range image is facilitated.

【0120】[三次元モデリング装置]次に本発明の三次元形状計測装置を用いた三次元モデリング装置および三次元モデリング方法について説明する。 [0120] [Three-dimensional modeling apparatus] then the three-dimensional modeling apparatus and the three-dimensional modeling method using a three-dimensional shape measuring apparatus of the present invention will be described.

【0121】本発明の三次元モデリング装置の構成ブロック図を図12に、処理フローを図13に示す。 [0121] The block diagram of a three-dimensional modeling apparatus of the present invention in FIG. 12 shows a processing flow in FIG. 13. 図12 Figure 12
に示すように距離画像の生成手段は、実施例1で説明した手法と同一の手法であり、投光パターン画像に基づく距離画像をテクスチャ画像に基づく距離画像を用いて補完を実行し、出力距離画像を生成する。 Generating means of the distance image as shown in is the same procedure to that described in Example 1, a distance image based on the projection pattern image running complemented using the distance image based on the texture image, the output distance to generate an image.

【0122】図12示す三次元(3D)形状データ生成手段1201は、出力距離画像と、フレームメモリ1 [0122] Figure 12 shows a three-dimensional (3D) shape data generating unit 1201, an output distance image, the frame memory 1
b,204に格納されたテクスチャ画像データを受領し、距離画像にテクスチャ画像データを貼り合わせる処理を実行し、さらに、計測対象の配置された空間のキャリブレーションパラメータに基づいて、xyz空間上の3D形状データを生成する。 b, 204 have been received the texture image data stored in, executes the process of bonding a texture image data of the distance image, further, on the basis of the calibration parameters of the arrangement spaces of the measurement object, 3D on xyz space to generate the shape data. 生成された3D形状データはテクスチャ画像とともに表示される。 The generated 3D shape data is displayed together with the texture image.

【0123】図13は、図12示す三次元(3D)形状データ生成手段1201における三次元モデリング装置の処理フローを示すものであり、まず、三次元(3D) [0123] Figure 13 shows the processing flow of the 3D modeling apparatus in three-dimensional (3D) shape data generating means 1201 for 12 shows, first, three-dimensional (3D)
形状データ生成手段1201は、投光パターン画像に基づく距離画像をテクスチャ画像に基づく距離画像を用いて補完処理を行なった距離画像D(i,j)を入力(ステップ1301)し、さらに基準カメラによって撮り込まれたテクスチャ画像を入力(ステップ1302)する。 Shape data generation unit 1201, an input distance image D was subjected to supplementation processing using the distance image based distance image based on the projection pattern image into a texture image (i, j) (step 1301), by further reference camera input texture image incorporated taken (step 1302).

【0124】さらに、ステップ1303において、三次元(3D)形状データ生成手段1201は、入力した距離画像にテクスチャ画像データを貼り合わせる処理を実行する。 [0124] Further, in step 1303, three-dimensional (3D) shape data generating unit 1201 executes the process of bonding a texture image data of the distance image input. さらに、ステップ1304において、計測対象の配置された空間のキャリブレーションパラメータを入力し、xyz空間上の3D形状データを生成(ステップ1305)する。 Further, in step 1304, and enter the calibration parameters of the arrangement spaces of the measurement object, the 3D shape data of the xyz space to generate (step 1305). さらにステップ1306において3D In addition 3D in step 1306
形状データとテクスチャを表示する。 To display the shape data and texture.

【0125】本発明の三次元モデリング装置は、従来の1つの投光パターンに基づく距離画像によって生成される三次元画像ではなく、同時に撮り込まれるテクスチャ画像に基づいてミスマッチング領域を補完した距離画像に基づいて生成される三次元画像であるので、誤った距離画像に基づいて不正確な三次元画像が生成されることがなく、より高精度な三次元(3D)表示が可能となる。 [0125] 3D modeling device of the present invention is not a three-dimensional image produced by the conventional range image based on one of the projection pattern, distance image complemented mismatching area based on the texture image to be incorporated taken simultaneously since a three-dimensional image generated based on, without inaccurate three-dimensional image is generated based on erroneous range image, thereby enabling more accurate three-dimensional (3D) display.

【0126】なお、前述の実施例2で説明した投光パターン画像に基づく距離画像とテクスチャ画像に基づく距離画像とを並列処理によって生成する態様の三次元形状計測装置を適用して三次元モデリング装置を構成してもよい。 [0126] Incidentally, the foregoing embodiment is applied to three-dimensional modeling apparatus a three-dimensional shape measuring apparatus according to one embodiment generated by parallel processing and a distance image based on the distance image and the texture image based on projection pattern image described in 2 it may be configured.

【0127】以上、特定の実施例を参照しながら、本発明について詳解してきた。 [0127] above with reference to specific embodiments, the present invention has been described in detail. しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施例の修正や代用を成し得ることは自明である。 However, it is obvious that those skilled in the art without departing from the scope of the present invention can make modifications and substitutions of the embodiment. すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。 In other words, the foregoing discloses the present invention in the form of illustration and should not be construed as limiting. 上記実施例では、投光パターンの照射を赤外光によるものを中心として説明したが、本発明の三次元形状計測装置とその方法、三次元モデリング装置とその方法では、可視光で撮り込まれるテクスチャ画像と異なる画像として投光パターン画像を同時撮り込み可能とする構成であればよく、投光パターンの照射は、赤外光に限らず、可視光と異なる波長を用い、これをテクスチャ画像と異なる画像として撮り込み可能な構成、例えば特定のフィルタ手段によって投光パターン画像のみ、またはテクスチャ画像のみを撮り込むことを可能とした構成であればよい。 In the above embodiment, although the irradiation of the projection pattern above description has been made in due infrared light, the three-dimensional shape measuring apparatus and method, the three-dimensional modeling apparatus and the method of the present invention, are incorporated taken with visible light may have a configuration that allows uptake simultaneously the projection pattern image as a texture image and a different image, the irradiation of the projection pattern is not limited to infrared light, with a wavelength different from the visible light, which a texture image possible incorporation as different image configuration, for example if possible and the arrangement that Komu take only projection pattern image only or texture image, the specific filter unit. 本発明の要旨を判断するためには、冒頭に記載した特許請求の範囲の欄を参酌すべきである。 In order to determine the scope of the invention it should be referred to the appended claims set forth at the outset.

【0128】 [0128]

【発明の効果】以上詳記したように、本発明によれば、 As described above in detail, according to the present invention, according to the present invention,
可視光でのテクスチャ画像と、赤外光等、可視光とは異なる波長を有する光による投光パターン画像を同時に撮り込むことが可能となり、投光パターン画像によって得られる距離画像にミスマッチング領域が発生した場合であっても、可視光での同時撮り込み画像を用いてミスマッチング領域に対応する部分領域の距離画像を生成して、これを投光パターン画像に基づく距離画像中のミスマッチング領域に置換することが可能となり、より正確な距離画像を得ることが可能となる。 And texture image in the visible light, infrared light or the like, it is possible to Komu take projection pattern image simultaneously with light having a wavelength different from visible light, is mismatching area to a distance image obtained by the projection pattern image even if that occurs, and generates a distance image of simultaneous shooting narrowing portion region corresponding to the mismatching area by using an image in the visible light, mismatching area of ​​the distance in the image based on the projection pattern image which it is possible to replace, it becomes possible to obtain a more accurate distance image.

【0129】また、本発明によれば、赤外光等の可視光とは異なる波長を有する光による投光パターン画像は、 [0129] Further, according to the present invention, projection pattern image by light having a wavelength different from visible light such as infrared light,
非周期パターンであるので、対応付け処理におけるミスマッチング領域の減少が図れ、距離画像の画素同士の対応付けがより正確に行われる。 Since a non-periodic pattern, Hakare reduction of mismatching region in correspondence processing, correspondence between pixels of the distance image is more accurately performed.

【0130】また、本発明によれば、可視光でのテクスチャ画像と、赤外光等の可視光とは異なる波長を有する光による投光パターン画像は、時間的ずれが全くなく同時に撮り込むことが可能であるので、距離画像の画素同士の対応付けが正確に行われ、置換処理が容易に実行できる。 [0130] Further, according to the present invention, a texture image in the visible light, infrared ray projecting pattern image by light having a wavelength different from visible light of the light, etc., that the time lag Komu taken simultaneously without any since it is possible, the correspondence between pixels of the distance image is performed accurately, the replacement process can be easily performed.

【0131】また、本発明によれば、投光パターン画像は、例えば赤外光による照射によって行われ、従来のフラッシュ使用によるパターン照射と異なり、パターン画像撮り込み時間(シャッター開放時間)を長く設定することが可能となり、安定した画像の撮り込みが可能となる。 [0131] Further, according to the present invention, projection pattern image is performed, for example, by irradiation with infrared light, unlike the pattern illumination by the conventional flash used, longer set time uptake pattern image (shutter open time) it becomes possible to, it is possible to incorporation of stable image.

【図面の簡単な説明】 BRIEF DESCRIPTION OF THE DRAWINGS

【図1】本発明において使用される三次元情報取得構成として適用可能なステレオ画像法について説明した図である。 Is a diagram explaining applicable stereo imaging as a three-dimensional information acquisition arrangement used in the present invention; FIG.

【図2】本発明の三次元形状計測装置の一実施例の構成を示すブロック図である。 Is a block diagram showing the structure of an embodiment of a three-dimensional shape measuring apparatus of the present invention; FIG.

【図3】本発明における投光パターン照射手段において用いられる非周期投光パターンの例を示す図である。 It is a diagram illustrating an example of a non-periodic projection pattern used in the projection pattern irradiation means in the invention; FIG.

【図4】本発明における投光パターン照射手段の構成例を示す図である。 It is a diagram illustrating a configuration example of a projection pattern irradiation means in the present invention; FIG.

【図5】本発明の基準カメラ、および参照カメラによる投光パターン画像とテクスチャ画像との撮り込み構成を示す図である。 Is a diagram illustrating a shooting narrowing configuration of the projection pattern image and the texture image by the reference camera and the reference camera, of the present invention; FIG.

【図6】本発明の三次元形状計測装置における距離画像生成処理のフローチャートを示す図である。 6 is a diagram showing a flowchart of the distance image generating process in the three-dimensional shape measuring apparatus of the present invention.

【図7】本発明の三次元形状計測装置におけるミスマッチング領域の検出処理フローを示す図である。 7 is a diagram illustrating a detection process flow of the mismatching area in the three-dimensional shape measuring apparatus of the present invention.

【図8】本発明の三次元形状計測装置における距離画像に基づくラベリング処理の処理フローを示す図である。 8 is a diagram depicting a processing flow of the labeling process based on the distance image in the three-dimensional shape measuring apparatus of the present invention.

【図9】本発明の三次元形状計測装置における基準カメラと参照カメラの撮り込む投光パターン画像およびテクスチャ画像の例を示す図である。 9 is a diagram showing an example of a projection pattern image and the texture image Komu taken of the base camera and the reference camera in the three-dimensional shape measuring apparatus of the present invention.

【図10】本発明の三次元形状計測装置における投光パターン画像およびテクスチャ画像に基づく距離画像と出力する距離画像の対応を説明する図である。 10 is a diagram explaining the correspondence of the distance image to be outputted as the distance image based on the projection pattern image and the texture image in the three-dimensional shape measuring apparatus of the present invention.

【図11】本発明の三次元形状計測装置の第2実施例の構成を示すブロック図である。 11 is a block diagram showing a configuration of a second embodiment of the three-dimensional shape measuring apparatus of the present invention.

【図12】本発明の三次元モデリング装置の構成を示すブロック図である。 12 is a block diagram showing a configuration of a three-dimensional modeling apparatus of the present invention.

【図13】本発明の三次元モデリング装置の処理フローを示す図である。 13 is a diagram depicting a processing flow of the three-dimensional modeling apparatus of the present invention.

【符号の説明】 DESCRIPTION OF SYMBOLS

201…基準カメラ 202…参照カメラ 203〜206…フレームメモリ 207、208…画像間対応付け手段 209…距離画像生成手段 210…画像メモリ 211…ミスマッチング領域検出手段 212…置換手段 213…出力手段 220…投光パターン照射手段 401…LEDアレイ 402…光拡散板 403…集光レンズ 404…スライド 405…投光レンズ 407…発光駆動回路 408…シャッター同期回路 501…基準カメラレンズ 502,508…分光器 503,509…可視光カットフィルタ 504,510…CCD素子 505,511…赤外光カットフィルタ 506,512…CCD素子 507…参照カメラレンズ 1101,1102…距離画像生成手段 1103,1104…画像メモリ 1105…ミスマッ 201 ... base camera 202 ... reference camera 203-206 ... frame memories 207, 208 ... image between correlating means 209 ... distance image generation unit 210 ... image memory 211 ... mismatching area detecting unit 212 ... replacer 213 ... output unit 220 ... projection pattern irradiation means 401 ... LED array 402 ... light diffusion plate 403 ... condenser lens 404 ... slide 405 ... projection lens 407 ... the light emission drive circuit 408 ... shutter synchronization circuit 501 ... reference camera lens 502, 508 ... spectrometer 503, 509 ... visible light cut filter 504,510 ... CCD device 505,511 ... infrared cut filter 506 and 512 ... CCD element 507 ... reference camera lens 1101, 1102 ... distance image generating unit 1103 and 1104 ... image memory 1105 ... Misuma' ング領域検出手段 1106…選択手段 1107…出力手段 1201…三次元(3D)形状データ生成手段 1202…表示手段 Ring region detection unit 1106 ... selection unit 1107 ... output unit 1201 ... three-dimensional (3D) shape data generating unit 1202 ... display means

フロントページの続き (72)発明者 芦ヶ原 隆之 東京都品川区東五反田1丁目14番10号 株 式会社ソニー木原研究所内 (72)発明者 林 和慶 東京都品川区東五反田1丁目14番10号 株 式会社ソニー木原研究所内 Fターム(参考) 2F065 AA04 AA53 BB05 BB28 BB29 CC16 FF05 GG07 GG18 GG21 HH07 JJ03 JJ05 JJ26 LL26 LL30 LL67 QQ03 QQ08 QQ21 QQ24 QQ38 RR05 2F112 AA07 AA09 CA08 DA21 DA28 EA00 FA03 FA07 FA21 FA38 FA39 Of the front page Continued (72) inventor AshikeHara Takayuki Shinagawa-ku, Tokyo Higashi Gotanda 1-chome 14th No. 10 Co., Ltd., Sony Kihara the laboratory (72) inventor forest Kazuyoshi Shinagawa-ku, Tokyo Higashi Gotanda 1-chome 14th No. 10 Co., Ltd., Sony Kihara Institute in the F-term (reference) 2F065 AA04 AA53 BB05 BB28 BB29 CC16 FF05 GG07 GG18 GG21 HH07 JJ03 JJ05 JJ26 LL26 LL30 LL67 QQ03 QQ08 QQ21 QQ24 QQ38 RR05 2F112 AA07 AA09 CA08 DA21 DA28 EA00 FA03 FA07 FA21 FA38 FA39

Claims (21)

    【特許請求の範囲】 [The claims]
  1. 【請求項1】測定対象を異なる方向から撮影した画像を用いて前記測定対象の三次元形状を計測する三次元形状計測装置において、 可視光とは異なる波長の光を用いて投光パターンを前記測定対象に照射する投光パターン照射手段と、 前記投光パターン照射手段によって投光パターンの照射された投光パターン画像と、可視光によって観察されるテクスチャ画像の2つの画像を画像分離手段によって分離して同期した投光パターン画像とテクスチャ画像とを個別に撮り込む基準カメラと、 前記投光パターン照射手段によって投光パターンの照射された投光パターン画像と、可視光によって観察されるテクスチャ画像の2つの画像を画像分離手段によって分離して同期した投光パターン画像とテクスチャ画像とを、前記基準カメラと異なる方 1. A three-dimensional shape measuring apparatus for measuring a three-dimensional shape of the measurement object by using an image obtained by photographing the measuring object from different directions, the light projection pattern by using light having a different wavelength from the visible light separating the projection pattern irradiation means for irradiating the measurement target, a projection pattern image emitted the projection pattern by the projection pattern irradiation means, the two images of the texture image to be observed by the visible light image separating means a reference camera and a projection pattern image and the texture image Komu taking the individual synchronized with the projection pattern image emitted the projection pattern by the projection pattern irradiation means, a texture image to be observed by visible light a projection pattern image and the texture image in synchronism separated by the image separating means two images, different people said reference camera から、かつ前記基準カメラと同期したタイミングで撮り込む参照カメラと、 前記基準カメラおよび参照カメラによって撮り込まれた投光パターン画像に基づく距離画像、および前記基準カメラおよび参照カメラによって撮り込まれたテクスチャ画像に基づく距離画像を生成する距離画像生成手段と、 前記距離画像生成手段の生成した投光パターン画像に基づく距離画像中のミスマッチング領域を検出するミスマッチング領域検出手段と、 前記ミスマッチング領域検出手段の検出したミスマッチング領域を含む部分領域の距離画像をテクスチャ画像に基づく距離画像に置換する置換手段と、 を有することを特徴とする三次元形状計測装置。 From and a reference camera Komu taken at a timing synchronized with the reference camera, was incorporated taken by the reference camera and based on the projection pattern image interleaved taken by the reference camera distance image, and the reference camera and the reference camera texture a distance image generating means for generating a distance image based on the image, and mismatching area detection means for detecting a mismatch region in the distance in the image based on the projection pattern image generated by the distance image generation unit, the mismatching area detection detected three-dimensional shape measuring apparatus comprising: the replacement means for replacing the distance image of the partial area at a distance image based on the texture image, the containing mismatching area means.
  2. 【請求項2】前記投光パターン照射手段の照射する投光パターンは赤外光による投光パターンであることを特徴とする請求項1に記載の三次元形状計測装置。 2. A projection pattern of irradiation of the projection pattern illumination means three-dimensional shape measuring apparatus according to claim 1, characterized in that the projection pattern by infrared light.
  3. 【請求項3】前記投光パターン照射手段の照射する投光パターンは非周期的投光パターンであることを特徴とする請求項1に記載の三次元形状計測装置。 3. A three-dimensional shape measuring apparatus according to claim 1, wherein the projection pattern for irradiation of the projection pattern irradiation means is a non-periodic projection pattern.
  4. 【請求項4】前記画像分離手段は、分光器、および該分光器によって分離された経路上に配置された特定波長の光をカットするフィルタを含む構成を有することを特徴とする請求項1に記載の三次元形状計測装置。 Wherein said image separating means, spectrometer, and to claim 1, characterized in that it comprises a structure including a filter for cutting light of a specific wavelength disposed on separated paths by spectroscope three-dimensional shape measuring apparatus according.
  5. 【請求項5】前記ミスマッチング領域検出手段は、距離画像中の隣接画素の画素値の差分と予め定めた閾値とを比較し、該閾値より差分の小さい画素同士に同一ラベルを付与するラベリング処理を実行し、同一ラベル領域に囲まれた異なるラベルの付与された小領域をミスマッチング領域として検出する処理を実行する構成であることを特徴とする請求項1に記載の三次元形状計測装置。 Wherein said mismatch area detection means, labeling processing for comparing the distance determined in advance and the difference between the pixel values ​​of adjacent pixels in the image threshold, to impart the same label to the small pixels to the difference from the threshold value is executed, three-dimensional shape measuring apparatus according to claim 1, characterized in that is configured to perform processing for detecting the different assigned small regions of the label enclosed in the same label area as mismatching area.
  6. 【請求項6】前記距離画像生成手段は、前記投光パターン画像に基づく距離画像中のミスマッチング領域を含む部分領域についてのみ前記テクスチャ画像に基づく距離画像を生成することを特徴とする請求項1に記載の三次元形状計測装置。 Wherein said distance image generating means, according to claim 1, wherein generating a distance image based on the texture image only for a partial region including a mismatching area in the distance in the image based on the projection pattern image three-dimensional shape measuring apparatus according to.
  7. 【請求項7】前記置換手段は、テクスチャ画像に基づく距離画像と、投光パターンに基づく距離画像の対応画素値を比較してテクスチャ画像に基づく距離画像の信頼性判定を実行し、信頼性の確認されたテクスチャ画像に基づく距離画像を投光パターンに基づく距離画像に対する置換データとして適用する構成を有することを特徴とする請求項1に記載の三次元形状計測装置。 Wherein said substituting means comprises: a distance image based on the texture image, and comparing corresponding pixel values ​​of the range image based on the projection pattern running reliability determination of the distance image based on the texture image, the reliability three-dimensional shape measuring apparatus according to claim 1, characterized in that it has a structure to be applied as replacement data a distance image based on the confirmation texture image for distance image based on the projection pattern.
  8. 【請求項8】複数の基準カメラと参照カメラの組を有し、 前記距離画像生成手段は、前記基準カメラと参照カメラの各々の組によって撮り込まれた投光パターン画像に基づく複数の距離画像、および前記基準カメラと参照カメラの各々の組によって撮り込まれたテクスチャ画像に基づいて複数の距離画像を生成する構成を有することを特徴とする請求項1に記載の三次元形状計測装置。 8. have a set of a plurality of the base camera and the reference camera, the distance image generating means, a plurality of range images based on the projection pattern image incorporated taken by each set of the reference camera and the reference camera , and three-dimensional shape measuring apparatus according to claim 1, characterized in that it has a configuration for generating a plurality of range images based on the reference camera and the reference camera each texture image incorporated taken by a set of.
  9. 【請求項9】複数の基準カメラと参照カメラの組を有するとともに、 複数の投光パターン照射手段を有し、該複数の投光パターン照射手段の各々は、可視光と異なり、かつ他の投光パターン照射手段とも異なる固有の波長の光を用いて投光パターンを前記測定対象に照射する構成を有し、 前記複数の基準カメラと参照カメラの組の各々の組は、 With 9. has a set of a plurality of the base camera and the reference camera, having a plurality of projection pattern irradiation means, each of the projection pattern irradiation means and the plurality of, unlike visible light, and the other projection has a configuration for irradiating the projection pattern on the measurement target using a unique wavelength of light that varies the light pattern irradiation means, each set of the set of reference cameras and the plurality of reference cameras,
    それぞれ異なる波長の光に基づく投光パターン画像をテクスチャ画像と分離して撮り込み、 前記距離画像生成手段は、前記基準カメラと参照カメラの各々の組によって撮り込まれた投光パターン画像に基づく複数の距離画像、および前記基準カメラと参照カメラの各々の組によって撮り込まれたテクスチャ画像に基づいて複数の距離画像を生成する構成を有することを特徴とする請求項1に記載の三次元形状計測装置。 The projected pattern images based on light of different wavelengths uptake separated from the texture image, the range image generating means, a plurality based on the projection pattern image incorporated taken by each set of the reference camera and the reference camera three-dimensional shape measuring according to claim 1, characterized in that it has a configuration for generating a plurality of distance images distance image, and on the basis of the reference camera and the reference camera each set by taking incorporated texture image of apparatus.
  10. 【請求項10】測定対象を異なる方向から撮影した画像を用いて前記測定対象の三次元形状を計測する三次元形状計測方法において、 可視光とは異なる波長の光を用いて投光パターンを前記測定対象に照射する投光パターン照射ステップと、 前記投光パターンの照射された投光パターン画像と、可視光によって観察されるテクスチャ画像の2つの画像を画像分離手段によって分離して同期した投光パターン画像とテクスチャ画像を基準カメラによって個別に撮り込むとともに、前記基準カメラと異なる方向から、かつ前記基準カメラと同期したタイミングで参照カメラによって同期した投光パターン画像とテクスチャ画像を個別に撮り込む画像撮り込みステップと、 前記基準カメラおよび参照カメラによって撮り込まれた投光パターン画像 10. A three-dimensional shape measuring method of the measurement object by using the images taken from different directions to measure the three-dimensional shape of the measurement target, said projection pattern using light of a wavelength different from visible light a projection pattern irradiation step of irradiating a measurement target, a projection pattern image emitted of the projection pattern, projecting synchronized separated by the image separating means two images of a texture image to be observed by visible light with Komu take the individual pattern image and the texture image by the reference camera, an image Komu taken from different directions the reference camera, and a separate projection pattern image and the texture image that is synchronized by the reference camera at a timing synchronized with the reference camera a step uptake, projection pattern image interleaved taken by the base camera and the reference camera 基づいて距離画像を生成する第1距離画像生成ステップと、 前記第1距離画像生成ステップにおいて生成した投光パターン画像に基づく距離画像中のミスマッチング領域を検出するミスマッチング領域検出ステップと、 前記ミスマッチング領域検出ステップの検出したミスマッチング領域を含む部分領域の距離画像を前記テクスチャ画像に基づいて生成する第2距離画像生成ステップと、 前記第1距離画像生成ステップにおいて生成された投光パターン画像に基づく距離画像のミスマッチング領域を含む部分領域について、前記第2距離画像生成ステップにおいて生成された部分領域についてのテクスチャ画像に基づく距離画像に置換する置換ステップと、 を有することを特徴とする三次元形状計測方法。 A first distance image generation step of generating a distance image based, a mismatching area detection step of detecting a mismatch region in the distance in the image based on the projection pattern image generated in the first distance image generating step, the errors a second distance image generating step of generating based on the distance image of the partial area including the detected mismatching area of ​​the matching area detection step in the texture image, the projection pattern image generated in the first distance image generating step for partial region including a mismatching area in the distance image based, three and having and a replacing step of replacing the distance image based on the texture image for the generated partial area in the second distance image generating step D shape measurement method.
  11. 【請求項11】前記投光パターン照射ステップにおいて照射する投光パターンは赤外光による非周期的投光パターンであることを特徴とする請求項10に記載の三次元形状計測方法。 11. projection pattern to be irradiated in the projection pattern irradiation step three-dimensional shape measuring method according to claim 10, characterized in that the non-periodic projection pattern by infrared light.
  12. 【請求項12】前記ミスマッチング領域検出ステップは、 距離画像中の隣接画素の画素値の差分と予め定めた閾値とを比較し、該閾値より差分の小さい画素同士に同一ラベルを付与するラベリング処理ステップと、 同一ラベル領域に囲まれた異なるラベルの付与された小領域をミスマッチング領域として検出する検出ステップと、 を含むことを特徴とする請求項10に記載の三次元形状計測方法。 12. The mismatching area detecting step compares the distance difference between the pixel values ​​of the adjacent pixels in the image and a predetermined threshold value, the labeling process of giving the same label to the small pixels to the difference from the threshold value step a, three-dimensional shape measuring method according to claim 10 in which the steps of detecting a different assigned small regions of the label enclosed in the same label area as mismatching area, characterized in that it comprises for.
  13. 【請求項13】前記置換ステップは、テクスチャ画像に基づく距離画像と、投光パターンに基づく距離画像の対応画素値を比較してテクスチャ画像に基づく距離画像の信頼性判定を実行し、信頼性の確認されたテクスチャ画像に基づく距離画像を投光パターンに基づく距離画像に対する置換データとして適用することを特徴とする請求項10に記載の三次元形状計測方法。 Wherein said replacing step includes a distance image based on the texture image, and comparing corresponding pixel values ​​of the range image based on the projection pattern running reliability determination of the distance image based on the texture image, the reliability three-dimensional shape measuring method according to claim 10, wherein applying the replacement data a distance image based on the confirmation texture image for distance image based on the projection pattern.
  14. 【請求項14】測定対象を異なる方向から撮影した画像を用いて前記測定対象の三次元形状を計測する三次元形状計測方法において、 可視光とは異なる波長の光を用いて投光パターンを前記測定対象に照射する投光パターン照射ステップと、 前記投光パターンの照射された投光パターン画像と、可視光によって観察されるテクスチャ画像の2つの画像を画像分離手段によって分離して同期した投光パターン画像とテクスチャ画像を基準カメラによって個別に撮り込むとともに、前記基準カメラと異なる方向から、かつ前記基準カメラと同期したタイミングで参照カメラによって同期した投光パターン画像とテクスチャ画像を個別に撮り込む画像撮り込みステップと、 前記基準カメラおよび参照カメラによって撮り込まれた投光パターン画像 14. A three-dimensional shape measuring method of the measurement object by using the images taken from different directions to measure the three-dimensional shape of the measurement target, said projection pattern using light of a wavelength different from visible light a projection pattern irradiation step of irradiating a measurement target, a projection pattern image emitted of the projection pattern, projecting synchronized separated by the image separating means two images of a texture image to be observed by visible light with Komu take the individual pattern image and the texture image by the reference camera, an image Komu taken from different directions the reference camera, and a separate projection pattern image and the texture image that is synchronized by the reference camera at a timing synchronized with the reference camera a step uptake, projection pattern image interleaved taken by the base camera and the reference camera 基づく距離画像を第1距離画像として、前記基準カメラおよび参照カメラによって撮り込まれたテクスチャ画像に基づく距離画像を第2距離画像として並列に生成する複数距離画像並列生成ステップと、 前記複数距離画像並列生成ステップにおいて生成した第 A distance image based on the first distance image, and a plurality distance image parallel generation step of generating in parallel a distance image based on the reference camera and was incorporated taken by the reference camera texture image as the second distance image, the plurality distance image parallel the generated in the generation step
    1距離画像または第2距離画像の少なくともいずれか一方の距離画像中のミスマッチング領域を検出するミスマッチング領域検出ステップと、 前記ミスマッチング領域検出ステップの検出した一方の距離画像中のミスマッチング領域を含む部分領域の距離画像を他方の距離画像に置換する置換ステップと、 を有することを特徴とする三次元形状計測方法。 A mismatching area detection step of detecting the first distance image or mismatching area at least in one of the distance image of the second distance image, the mismatching area of ​​the detected in one of the distance image of the mismatching area detection step three-dimensional shape measuring method characterized by comprising: a replacement step of replacing the distance image of the partial region to the other of a distance image including, a.
  15. 【請求項15】前記投光パターン照射ステップにおいて照射する投光パターンは赤外光による非周期的投光パターンであることを特徴とする請求項14に記載の三次元形状計測方法。 15. The three-dimensional shape measuring method according to claim 14, wherein the projection pattern to be irradiated in the projection pattern irradiation step is non-periodic projection pattern by infrared light.
  16. 【請求項16】前記ミスマッチング領域検出ステップは、 距離画像中の隣接画素の画素値の差分と予め定めた閾値とを比較し、該閾値より差分の小さい画素同士に同一ラベルを付与するラベリング処理ステップと、 同一ラベル領域に囲まれた異なるラベルの付与された小領域をミスマッチング領域として検出する検出ステップと、 を含むことを特徴とする請求項14に記載の三次元形状計測方法。 16. The mismatching area detecting step compares the distance difference between the pixel values ​​of the adjacent pixels in the image and a predetermined threshold value, the labeling process of giving the same label to the small pixels to the difference from the threshold value step a, three-dimensional shape measuring method according to claim 14 in which the steps of detecting a different assigned small regions of the label enclosed in the same label area as mismatching area, characterized in that it comprises for.
  17. 【請求項17】前記置換ステップは、テクスチャ画像に基づく距離画像と、投光パターンに基づく距離画像の対応画素値を比較してテクスチャ画像に基づく距離画像の信頼性判定を実行し、信頼性の確認されたテクスチャ画像に基づく距離画像を投光パターンに基づく距離画像に対する置換データとして適用することを特徴とする請求項14に記載の三次元形状計測方法。 17. The replacement step includes a distance image based on the texture image, and comparing corresponding pixel values ​​of the range image based on the projection pattern running reliability determination of the distance image based on the texture image, the reliability three-dimensional shape measuring method according to claim 14, wherein applying the replacement data a distance image based on the confirmation texture image for distance image based on the projection pattern.
  18. 【請求項18】測定対象を異なる方向から撮影した画像を用いて前記測定対象の三次元形状を計測し、三次元モデリングを行なう三次元モデリング装置において、 可視光とは異なる波長の光を用いて投光パターンを前記測定対象に照射する投光パターン照射手段と、 前記投光パターン照射手段によって投光パターンの照射された投光パターン画像と、可視光によって観察されるテクスチャ画像の2つの画像を画像分離手段によって分離して同期した投光パターン画像とテクスチャ画像とを個別に撮り込む基準カメラと、 前記投光パターン照射手段によって投光パターンの照射された投光パターン画像と、可視光によって観察されるテクスチャ画像の2つの画像を画像分離手段によって分離して同期した投光パターン画像とテクスチャ画像と 18. measuring a three-dimensional shape of the measurement object by using an image obtained by photographing the measuring object from different directions, in the three-dimensional modeling apparatus that performs three-dimensional modeling, using light having a different wavelength from the visible light a projection pattern irradiation means for irradiating light projection pattern on the measurement target, a projection pattern image emitted the projection pattern by the projection pattern irradiation means, the two images of the texture image to be observed by visible light a reference camera Komu take in individually and projection pattern image and the texture image in synchronism separated by the image separating means, a light projecting pattern image irradiation light projection pattern by the projection pattern irradiation means, the observation with visible light a projection pattern image and the texture image in synchronism separated by the image separating means two images of a texture image to be 、前記基準カメラと異なる方向から、かつ前記基準カメラと同期したタイミングで撮り込む参照カメラと、 前記基準カメラおよび参照カメラによって撮り込まれた投光パターン画像に基づく距離画像、および前記基準カメラおよび参照カメラによって撮り込まれたテクスチャ画像に基づく距離画像を生成する距離画像生成手段と、 前記距離画像生成手段の生成した投光パターン画像に基づく距離画像中のミスマッチング領域を検出するミスマッチング領域検出手段と、 前記ミスマッチング領域検出手段の検出したミスマッチング領域を含む部分領域の距離画像をテクスチャ画像に基づく距離画像に置換する置換手段と、 前記置換手段によって置換され生成された投光パターン画像に基づく距離画像とテクスチャ画像に基づく距離画像の合 , From said reference camera and different directions, and a reference camera Komu taken at a timing synchronized with the reference camera, the reference camera and based on the projection pattern image interleaved taken by the reference camera distance image, and the reference cameras and the reference a distance image generating means for generating a distance image based on the texture image interleaved taken by the camera, mismatching area detection means for detecting a mismatch region in the distance in the image based on the projection pattern image generated by the distance image generation unit When a replacement means for replacing the distance image of the partial area including the detected mismatching area of ​​the mismatching area detecting unit to a distance image based on the texture image, based on the projection pattern image generated is replaced by said replacement means if the distance image based on the distance image and the texture image 距離画像、および前記基準カメラによって撮り込まれたテクスチャ画像に基づいて三次元形状データを生成する三次元形状データ生成手段と、 を有することを特徴とする三次元モデリング装置。 Distance image, and three-dimensional modeling apparatus characterized by having a three-dimensional shape data generating means for generating three-dimensional shape data based on the take incorporated texture image by the reference camera.
  19. 【請求項19】測定対象を異なる方向から撮影した画像を用いて前記測定対象の三次元形状を計測し、三次元モデリングを行なう三次元モデリング方法において、 可視光とは異なる波長の光を用いて投光パターンを前記測定対象に照射する投光パターン照射ステップと、 前記投光パターンの照射された投光パターン画像と、可視光によって観察されるテクスチャ画像の2つの画像を画像分離手段によって分離して同期した投光パターン画像とテクスチャ画像を基準カメラによって個別に撮り込むとともに、前記基準カメラと異なる方向から、かつ前記基準カメラと同期したタイミングで参照カメラによって同期した投光パターン画像とテクスチャ画像を個別に撮り込む画像撮り込みステップと、 前記基準カメラおよび参照カメラによって撮 19. measuring a three-dimensional shape of the measurement object by using an image obtained by photographing the measuring object from different directions, in a three-dimensional modeling method for performing three-dimensional modeling, using light having a different wavelength from the visible light a projection pattern irradiation step of irradiating the projection pattern on the measurement target, a projection pattern image emitted of the projection pattern to separate the two images of the texture image to be observed by the visible light image separating means with Komu taken in individually by synchronized projection pattern image and the texture image reference camera Te, from different directions the reference camera, and the projection pattern image and the texture image that is synchronized by the reference camera at a timing synchronized with the reference camera and step uptake image Komu taken into separate, shooting by the base camera and the reference camera 込まれた投光パターン画像に基づく距離画像を生成する第1距離画像生成ステップと、 前記第1距離画像生成ステップにおいて生成した投光パターン画像に基づく距離画像中のミスマッチング領域を検出するミスマッチング領域検出ステップと、 前記ミスマッチング領域検出ステップの検出したミスマッチング領域を含む部分領域の距離画像を前記テクスチャ画像に基づいて生成する第2距離画像生成ステップと、 前記第1距離画像生成ステップにおいて生成された投光パターン画像に基づく距離画像のミスマッチング領域を含む部分領域について、前記第2距離画像生成ステップにおいて生成された部分領域についてのテクスチャ画像に基づく距離画像に置換する置換ステップと、 前記置換ステップによって置換され生成された投光パタ Mismatching of detecting the first distance image generating step of generating a distance image based on the filled-in projection pattern image, the mismatching area of ​​the distance in the image based on the projection pattern image generated in the first distance image generating step an area detection step, a second distance image generating step of generating based on the distance image of the partial area including the detected mismatching area of ​​the mismatching area detection step in the texture image, generated in the first distance image generating step for partial region including a mismatching area in the distance image based on the projection pattern image, a replacing step of replacing the distance image based on the texture image for the generated partial area in the second distance image generating step, the substituent light projection pattern generated is replaced by a step ーン画像に基づく距離画像とテクスチャ画像に基づく距離画像の合成距離画像、および前記基準カメラによって撮り込まれたテクスチャ画像に基づいて三次元形状データを生成する三次元形状データ生成ステップと、 を有することを特徴とする三次元モデリング方法。 A synthetic range image of the range image based on the distance image and the texture image based on over down image, and a three-dimensional shape data generating step of generating a three-dimensional shape data based on the take incorporated texture image by the reference camera three-dimensional modeling method, characterized in that.
  20. 【請求項20】測定対象を異なる方向から撮影した画像を用いて前記測定対象の三次元形状を計測し、三次元モデリングを行なう三次元モデリング方法において、 可視光とは異なる波長の光を用いて投光パターンを前記測定対象に照射する投光パターン照射ステップと、 前記投光パターンの照射された投光パターン画像と、可視光によって観察されるテクスチャ画像の2つの画像を画像分離手段によって分離して同期した投光パターン画像とテクスチャ画像を基準カメラによって個別に撮り込むとともに、前記基準カメラと異なる方向から、かつ前記基準カメラと同期したタイミングで参照カメラによって同期した投光パターン画像とテクスチャ画像を個別に撮り込む画像撮り込みステップと、 前記基準カメラおよび参照カメラによって撮 20. measuring a three-dimensional shape of the measurement object by using an image obtained by photographing the measuring object from different directions, in a three-dimensional modeling method for performing three-dimensional modeling, using light having a different wavelength from the visible light a projection pattern irradiation step of irradiating the projection pattern on the measurement target, a projection pattern image emitted of the projection pattern to separate the two images of the texture image to be observed by the visible light image separating means with Komu taken in individually by synchronized projection pattern image and the texture image reference camera Te, from different directions the reference camera, and the projection pattern image and the texture image that is synchronized by the reference camera at a timing synchronized with the reference camera and step uptake image Komu taken into separate, shooting by the base camera and the reference camera 込まれた投光パターン画像に基づく距離画像を第1距離画像として、前記基準カメラおよび参照カメラによって撮り込まれたテクスチャ画像に基づく距離画像を第2距離画像として並列に生成する複数距離画像並列生成ステップと、 前記複数距離画像並列生成ステップにおいて生成した第 A distance image based on the filled-in projection pattern image as the first distance image, multiple range images in parallel generation for generating in parallel a distance image based on the taken incorporated texture images by the base camera and the reference camera as the second distance image a step, first generated in the plurality distance image parallel generation step
    1距離画像または第2距離画像の少なくともいずれか一方の距離画像中のミスマッチング領域を検出するミスマッチング領域検出ステップと、 前記ミスマッチング領域検出ステップの検出した一方の距離画像中のミスマッチング領域を含む部分領域の距離画像を他方の距離画像に置換する置換ステップと、 前記置換ステップによって置換され生成された投光パターン画像に基づく距離画像とテクスチャ画像に基づく距離画像の合成距離画像、および前記基準カメラによって撮り込まれたテクスチャ画像に基づいて三次元形状データを生成する三次元形状データ生成ステップと、 を有することを特徴とする三次元モデリング方法。 A mismatching area detection step of detecting the first distance image or mismatching area at least in one of the distance image of the second distance image, the mismatching area of ​​the detected in one of the distance image of the mismatching area detection step a replacing step of replacing the distance image of the partial region to the other of a distance image including the synthetic distance image of the range image based on the distance image and the texture image based on projection pattern image generated is replaced by the replacing step, and the reference 3D modeling method characterized by having a three-dimensional shape data generating step of generating a three-dimensional shape data based on the take incorporated texture image by the camera.
  21. 【請求項21】測定対象を異なる方向から撮影した画像を用いて前記測定対象の三次元形状を計測する三次元形状計測を実行するための処理をコンピュータ・システム上で実行せしめるコンピュータ・プログラムを有形的に提供するプログラム提供媒体であって、前記コンピュータ・プログラムは、 可視光とは異なる波長の光を用いて投光パターンを前記測定対象に照射する投光パターン照射ステップと、 前記投光パターンの照射された投光パターン画像と、可視光によって観察されるテクスチャ画像の2つの画像を画像分離手段によって分離して同期した投光パターン画像とテクスチャ画像を基準カメラによって個別に撮り込むとともに、前記基準カメラと異なる方向から、かつ前記基準カメラと同期したタイミングで参照カメラによっ 21. tangible computer program allowed to execute the processing for executing the three-dimensional shape measurement for measuring a three-dimensional shape of the measurement object by using an image obtained by photographing the measuring object from different directions on a computer system a program providing medium for providing to the computer program, a projection pattern irradiation step of irradiating the projection pattern on the measurement target using a light of a wavelength different from visible light, the projection pattern a projection pattern image emitted, with Komu taken in individually by separated synchronized projection pattern image and the texture image reference camera by the image separating means two images of a texture image to be observed with visible light, the reference from the camera and different direction and by the reference camera at a timing synchronized with the reference camera 同期した投光パターン画像とテクスチャ画像を個別に撮り込む画像撮り込みステップと、 前記基準カメラおよび参照カメラによって撮り込まれた投光パターン画像に基づく距離画像を生成する第1距離画像生成ステップと、 前記第1距離画像生成ステップにおいて生成した投光パターン画像に基づく距離画像中のミスマッチング領域を検出するミスマッチング領域検出ステップと、 前記ミスマッチング領域検出ステップの検出したミスマッチング領域を含む部分領域の距離画像を前記テクスチャ画像に基づいて生成する第2距離画像生成ステップと、 前記第1距離画像生成ステップにおいて生成された投光パターン画像に基づく距離画像のミスマッチング領域を含む部分領域について、前記第2距離画像生成ステップにおいて生成された部 Synchronized with the step of projection pattern image and the texture image uptake image Komu taking the individual has, the first distance image generating step of generating a distance image based on the projection pattern image interleaved taken by the base camera and the reference camera, a mismatching area detection step of detecting a mismatch region in the distance in the image based on the projection pattern image generated in the first distance image generating step, the partial area including the detected mismatching area of ​​the mismatching area detection step a second distance image generating step of generating based on the distance image in the texture image, the partial area including a mismatching area in the range image based on the projection pattern image generated in the first distance image generating step, the second parts generated in second distance image generating step 領域についてのテクスチャ画像に基づく距離画像に置換する置換ステップと、 を有することを特徴とするプログラム提供媒体。 Program providing medium characterized by having a substitution step of replacing the distance image based on the texture image of the region.
JP2000075733A 2000-03-17 2000-03-17 Three-dimensional shape-measuring apparatus and its method, three-dimensional modeling device and its method, and program providing medium Pending JP2001264033A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000075733A JP2001264033A (en) 2000-03-17 2000-03-17 Three-dimensional shape-measuring apparatus and its method, three-dimensional modeling device and its method, and program providing medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000075733A JP2001264033A (en) 2000-03-17 2000-03-17 Three-dimensional shape-measuring apparatus and its method, three-dimensional modeling device and its method, and program providing medium

Publications (1)

Publication Number Publication Date
JP2001264033A true JP2001264033A (en) 2001-09-26

Family

ID=18593577

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000075733A Pending JP2001264033A (en) 2000-03-17 2000-03-17 Three-dimensional shape-measuring apparatus and its method, three-dimensional modeling device and its method, and program providing medium

Country Status (1)

Country Link
JP (1) JP2001264033A (en)

Cited By (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002170100A (en) * 2000-11-30 2002-06-14 Olympus Optical Co Ltd Inter-image correspondence searching device and inter- image correspondence searching method
WO2007129563A1 (en) * 2006-05-09 2007-11-15 Panasonic Corporation Range finder with image selecting function for finding range
JP2010133751A (en) * 2008-12-02 2010-06-17 Topcon Corp Shape measuring device and program
US7911496B2 (en) 2006-11-02 2011-03-22 Fujifilm Corporation Method of generating range images and apparatus therefor
US8434874B2 (en) 2006-05-30 2013-05-07 Panasonic Corporation Pattern projection light source and compound-eye distance measurement apparatus
JP2013544449A (en) * 2010-09-08 2013-12-12 マイクロソフト コーポレーション Depth camera based on structured light and stereopsis
CN103477186A (en) * 2011-04-07 2013-12-25 松下电器产业株式会社 Stereoscopic imaging device
JP2015019346A (en) * 2013-06-12 2015-01-29 日本放送協会 Parallax image generator
JP2016080535A (en) * 2014-10-17 2016-05-16 株式会社リコー Pattern irradiation device and system
JP2016183889A (en) * 2015-03-26 2016-10-20 日産自動車株式会社 Self-position calculation device and self-position calculation method
US9774789B2 (en) 2013-03-08 2017-09-26 Fotonation Cayman Limited Systems and methods for high dynamic range imaging using array cameras
US9774831B2 (en) 2013-02-24 2017-09-26 Fotonation Cayman Limited Thin form factor computational array cameras and modular array cameras
US9787911B2 (en) 2013-03-14 2017-10-10 Fotonation Cayman Limited Systems and methods for photometric normalization in array cameras
US9794476B2 (en) 2011-09-19 2017-10-17 Fotonation Cayman Limited Systems and methods for controlling aliasing in images captured by an array camera for use in super resolution processing using pixel apertures
US9800859B2 (en) 2013-03-15 2017-10-24 Fotonation Cayman Limited Systems and methods for estimating depth using stereo array cameras
US9800856B2 (en) 2013-03-13 2017-10-24 Fotonation Cayman Limited Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies
US9807382B2 (en) 2012-06-28 2017-10-31 Fotonation Cayman Limited Systems and methods for detecting defective camera arrays and optic arrays
US9813616B2 (en) 2012-08-23 2017-11-07 Fotonation Cayman Limited Feature based high resolution motion estimation from low resolution images captured using an array source
US9813617B2 (en) 2013-11-26 2017-11-07 Fotonation Cayman Limited Array camera configurations incorporating constituent array cameras and constituent cameras
US9811753B2 (en) 2011-09-28 2017-11-07 Fotonation Cayman Limited Systems and methods for encoding light field image files
US9858673B2 (en) 2012-08-21 2018-01-02 Fotonation Cayman Limited Systems and methods for estimating depth and visibility from a reference viewpoint for pixels in a set of images captured from different viewpoints
US9866739B2 (en) 2011-05-11 2018-01-09 Fotonation Cayman Limited Systems and methods for transmitting and receiving array camera image data
US9888194B2 (en) 2013-03-13 2018-02-06 Fotonation Cayman Limited Array camera architecture implementing quantum film image sensors
US9898856B2 (en) 2013-09-27 2018-02-20 Fotonation Cayman Limited Systems and methods for depth-assisted perspective distortion correction
US9924092B2 (en) 2013-11-07 2018-03-20 Fotonation Cayman Limited Array cameras incorporating independently aligned lens stacks
US9936148B2 (en) 2010-05-12 2018-04-03 Fotonation Cayman Limited Imager array interfaces
US9942474B2 (en) 2015-04-17 2018-04-10 Fotonation Cayman Limited Systems and methods for performing high speed video capture and depth estimation using array cameras
US9955070B2 (en) 2013-03-15 2018-04-24 Fotonation Cayman Limited Systems and methods for synthesizing high resolution images using image deconvolution based on motion and depth information
JP2018511796A (en) * 2015-03-30 2018-04-26 エックス デベロップメント エルエルシー Visual light, and the imager for detecting a pattern to be projected in the infrared
US9986224B2 (en) 2013-03-10 2018-05-29 Fotonation Cayman Limited System and methods for calibration of an array camera
US10009538B2 (en) 2013-02-21 2018-06-26 Fotonation Cayman Limited Systems and methods for generating compressed light field representation data using captured light fields, array geometry, and parallax information
US10027901B2 (en) 2008-05-20 2018-07-17 Fotonation Cayman Limited Systems and methods for generating depth maps using a camera arrays incorporating monochrome and color cameras
US10091405B2 (en) 2013-03-14 2018-10-02 Fotonation Cayman Limited Systems and methods for reducing motion blur in images or video in ultra low light with array cameras
US10089740B2 (en) 2014-03-07 2018-10-02 Fotonation Limited System and methods for depth regularization and semiautomatic interactive matting using RGB-D images
US10122993B2 (en) 2013-03-15 2018-11-06 Fotonation Limited Autofocus system for a conventional camera that uses depth information from an array camera
US10119808B2 (en) 2013-11-18 2018-11-06 Fotonation Limited Systems and methods for estimating depth from projected texture using camera arrays
US10127682B2 (en) 2013-03-13 2018-11-13 Fotonation Limited System and methods for calibration of an array camera
US10142560B2 (en) 2008-05-20 2018-11-27 Fotonation Limited Capturing and processing of images including occlusions focused on an image sensor by a lens stack array
US10182216B2 (en) 2013-03-15 2019-01-15 Fotonation Limited Extended color processing on pelican array cameras
US10250871B2 (en) 2014-09-29 2019-04-02 Fotonation Limited Systems and methods for dynamic calibration of array cameras
US10261219B2 (en) 2012-06-30 2019-04-16 Fotonation Limited Systems and methods for manufacturing camera modules using active alignment of lens stack arrays and sensors
US10306120B2 (en) 2009-11-20 2019-05-28 Fotonation Limited Capturing and processing of images captured by camera arrays incorporating cameras with telephoto and conventional lenses to generate depth maps
US10311649B2 (en) 2017-09-01 2019-06-04 Fotonation Limited Systems and method for performing depth based image editing

Cited By (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002170100A (en) * 2000-11-30 2002-06-14 Olympus Optical Co Ltd Inter-image correspondence searching device and inter- image correspondence searching method
WO2007129563A1 (en) * 2006-05-09 2007-11-15 Panasonic Corporation Range finder with image selecting function for finding range
US8434874B2 (en) 2006-05-30 2013-05-07 Panasonic Corporation Pattern projection light source and compound-eye distance measurement apparatus
US7911496B2 (en) 2006-11-02 2011-03-22 Fujifilm Corporation Method of generating range images and apparatus therefor
US10142560B2 (en) 2008-05-20 2018-11-27 Fotonation Limited Capturing and processing of images including occlusions focused on an image sensor by a lens stack array
US10027901B2 (en) 2008-05-20 2018-07-17 Fotonation Cayman Limited Systems and methods for generating depth maps using a camera arrays incorporating monochrome and color cameras
JP2010133751A (en) * 2008-12-02 2010-06-17 Topcon Corp Shape measuring device and program
US10306120B2 (en) 2009-11-20 2019-05-28 Fotonation Limited Capturing and processing of images captured by camera arrays incorporating cameras with telephoto and conventional lenses to generate depth maps
US9936148B2 (en) 2010-05-12 2018-04-03 Fotonation Cayman Limited Imager array interfaces
JP2013544449A (en) * 2010-09-08 2013-12-12 マイクロソフト コーポレーション Depth camera based on structured light and stereopsis
EP2614405A4 (en) * 2010-09-08 2017-01-11 Microsoft Technology Licensing, LLC Depth camera based on structured light and stereo vision
US9807369B2 (en) 2011-04-07 2017-10-31 Panasonic Intellectual Property Management Co., Ltd. 3D imaging apparatus
CN103477186A (en) * 2011-04-07 2013-12-25 松下电器产业株式会社 Stereoscopic imaging device
US10218889B2 (en) 2011-05-11 2019-02-26 Fotonation Limited Systems and methods for transmitting and receiving array camera image data
US9866739B2 (en) 2011-05-11 2018-01-09 Fotonation Cayman Limited Systems and methods for transmitting and receiving array camera image data
US9794476B2 (en) 2011-09-19 2017-10-17 Fotonation Cayman Limited Systems and methods for controlling aliasing in images captured by an array camera for use in super resolution processing using pixel apertures
US10275676B2 (en) 2011-09-28 2019-04-30 Fotonation Limited Systems and methods for encoding image files containing depth maps stored as metadata
US9811753B2 (en) 2011-09-28 2017-11-07 Fotonation Cayman Limited Systems and methods for encoding light field image files
US20180197035A1 (en) 2011-09-28 2018-07-12 Fotonation Cayman Limited Systems and Methods for Encoding Image Files Containing Depth Maps Stored as Metadata
US10019816B2 (en) 2011-09-28 2018-07-10 Fotonation Cayman Limited Systems and methods for decoding image files containing depth maps stored as metadata
US9864921B2 (en) 2011-09-28 2018-01-09 Fotonation Cayman Limited Systems and methods for encoding image files containing depth maps stored as metadata
US9807382B2 (en) 2012-06-28 2017-10-31 Fotonation Cayman Limited Systems and methods for detecting defective camera arrays and optic arrays
US10261219B2 (en) 2012-06-30 2019-04-16 Fotonation Limited Systems and methods for manufacturing camera modules using active alignment of lens stack arrays and sensors
US9858673B2 (en) 2012-08-21 2018-01-02 Fotonation Cayman Limited Systems and methods for estimating depth and visibility from a reference viewpoint for pixels in a set of images captured from different viewpoints
US9813616B2 (en) 2012-08-23 2017-11-07 Fotonation Cayman Limited Feature based high resolution motion estimation from low resolution images captured using an array source
US10009538B2 (en) 2013-02-21 2018-06-26 Fotonation Cayman Limited Systems and methods for generating compressed light field representation data using captured light fields, array geometry, and parallax information
US9774831B2 (en) 2013-02-24 2017-09-26 Fotonation Cayman Limited Thin form factor computational array cameras and modular array cameras
US9774789B2 (en) 2013-03-08 2017-09-26 Fotonation Cayman Limited Systems and methods for high dynamic range imaging using array cameras
US9917998B2 (en) 2013-03-08 2018-03-13 Fotonation Cayman Limited Systems and methods for measuring scene information while capturing images using array cameras
US10225543B2 (en) 2013-03-10 2019-03-05 Fotonation Limited System and methods for calibration of an array camera
US9986224B2 (en) 2013-03-10 2018-05-29 Fotonation Cayman Limited System and methods for calibration of an array camera
US10127682B2 (en) 2013-03-13 2018-11-13 Fotonation Limited System and methods for calibration of an array camera
US9888194B2 (en) 2013-03-13 2018-02-06 Fotonation Cayman Limited Array camera architecture implementing quantum film image sensors
US9800856B2 (en) 2013-03-13 2017-10-24 Fotonation Cayman Limited Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies
US10091405B2 (en) 2013-03-14 2018-10-02 Fotonation Cayman Limited Systems and methods for reducing motion blur in images or video in ultra low light with array cameras
US9787911B2 (en) 2013-03-14 2017-10-10 Fotonation Cayman Limited Systems and methods for photometric normalization in array cameras
US9955070B2 (en) 2013-03-15 2018-04-24 Fotonation Cayman Limited Systems and methods for synthesizing high resolution images using image deconvolution based on motion and depth information
US9800859B2 (en) 2013-03-15 2017-10-24 Fotonation Cayman Limited Systems and methods for estimating depth using stereo array cameras
US10182216B2 (en) 2013-03-15 2019-01-15 Fotonation Limited Extended color processing on pelican array cameras
US10122993B2 (en) 2013-03-15 2018-11-06 Fotonation Limited Autofocus system for a conventional camera that uses depth information from an array camera
JP2015019346A (en) * 2013-06-12 2015-01-29 日本放送協会 Parallax image generator
US9898856B2 (en) 2013-09-27 2018-02-20 Fotonation Cayman Limited Systems and methods for depth-assisted perspective distortion correction
US9924092B2 (en) 2013-11-07 2018-03-20 Fotonation Cayman Limited Array cameras incorporating independently aligned lens stacks
US10119808B2 (en) 2013-11-18 2018-11-06 Fotonation Limited Systems and methods for estimating depth from projected texture using camera arrays
US9813617B2 (en) 2013-11-26 2017-11-07 Fotonation Cayman Limited Array camera configurations incorporating constituent array cameras and constituent cameras
US10089740B2 (en) 2014-03-07 2018-10-02 Fotonation Limited System and methods for depth regularization and semiautomatic interactive matting using RGB-D images
US10250871B2 (en) 2014-09-29 2019-04-02 Fotonation Limited Systems and methods for dynamic calibration of array cameras
JP2016080535A (en) * 2014-10-17 2016-05-16 株式会社リコー Pattern irradiation device and system
JP2016183889A (en) * 2015-03-26 2016-10-20 日産自動車株式会社 Self-position calculation device and self-position calculation method
JP2018511796A (en) * 2015-03-30 2018-04-26 エックス デベロップメント エルエルシー Visual light, and the imager for detecting a pattern to be projected in the infrared
US9942474B2 (en) 2015-04-17 2018-04-10 Fotonation Cayman Limited Systems and methods for performing high speed video capture and depth estimation using array cameras
US10311649B2 (en) 2017-09-01 2019-06-04 Fotonation Limited Systems and method for performing depth based image editing

Similar Documents

Publication Publication Date Title
KR101608848B1 (en) System and method for generating a multi-dimensional image
US9704249B2 (en) Method and system for object reconstruction
US7075625B2 (en) Range finder and method
EP2024707B1 (en) Scanner system and method for scanning
Zhang et al. High-resolution, real-time 3D absolute coordinate measurement based on a phase-shifting method
US7194112B2 (en) Three dimensional spatial panorama formation with a range imaging system
US20030091226A1 (en) Method and apparatus for three-dimensional scene modeling and reconstruction
US9928420B2 (en) Depth imaging system based on stereo vision and infrared radiation
US6252623B1 (en) Three dimensional imaging system
US6549288B1 (en) Structured-light, triangulation-based three-dimensional digitizer
JP3884321B2 (en) Three-dimensional information acquisition device, the projected pattern in the three-dimensional information acquisition, and three-dimensional information acquisition method
CN102760234B (en) Depth image acquiring device, system and method
US8867793B2 (en) Scene analysis using image and range data
Pages et al. Optimised De Bruijn patterns for one-shot shape acquisition
JP4915859B2 (en) Object distance deriving device
WO2009150799A1 (en) Image processing device, image processing method, and program
US20030067537A1 (en) System and method for three-dimensional data acquisition
US7970177B2 (en) Enhancing stereo depth measurements with projected texture
JP5631025B2 (en) The information processing apparatus, the processing method and program
US5003166A (en) Multidimensional range mapping with pattern projection and cross correlation
JP2874710B2 (en) Three-dimensional position measurement device
Hall-Holt et al. Stripe boundary codes for real-time structured-light range scanning of moving objects
Zhang et al. Rapid shape acquisition using color structured light and multi-pass dynamic programming
JP4290733B2 (en) 3-dimensional shape measuring method and apparatus
JP4473136B2 (en) Obtaining a three-dimensional image by active stereo techniques using locally unique pattern