JP2001194114A - Image processing apparatus and method and program providing medium - Google Patents

Image processing apparatus and method and program providing medium

Info

Publication number
JP2001194114A
JP2001194114A JP2000010127A JP2000010127A JP2001194114A JP 2001194114 A JP2001194114 A JP 2001194114A JP 2000010127 A JP2000010127 A JP 2000010127A JP 2000010127 A JP2000010127 A JP 2000010127A JP 2001194114 A JP2001194114 A JP 2001194114A
Authority
JP
Japan
Prior art keywords
image
pixel
camera
data
patterned
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2000010127A
Other languages
Japanese (ja)
Inventor
Takayuki Ashigahara
隆之 芦ヶ原
Original Assignee
Sony Corp
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, ソニー株式会社 filed Critical Sony Corp
Priority to JP2000010127A priority Critical patent/JP2001194114A/en
Publication of JP2001194114A publication Critical patent/JP2001194114A/en
Application status is Pending legal-status Critical

Links

Abstract

PROBLEM TO BE SOLVED: To provide an image processing apparatus and method capable of taking, at the same time, an image of a pattern for creating a map image and an image of a texture from which the pattern is removed. SOLUTION: An image pickup element for photographing the subject of measurement has arranged therein two filters having different characteristics and corresponding to each pixel. The subject of measurement is irradiated with infrared patterned light, and infrared light cutting filters are arranged on about half of the pixels of the image pickup element taking images for measurement, while visible light cutting filters are arranged on the remaining half of the pixels. The patterned light is not taken into the pixels on which the infrared light cutting filters are arranged, and these pixels are used for the image of the texture. The patterned light is taken into the pixels on which the visible light cutting filters are arranged, and the map image is produced using the image produced by those pixels. The image of the texture and the patterned image can be taken at the same time and a three-dimensional image of high accuracy is produced.

Description

【発明の詳細な説明】 DETAILED DESCRIPTION OF THE INVENTION

【0001】 [0001]

【発明の属する技術分野】本発明は、物体の三次元形状を求め、距離画像を生成する画像処理装置および画像処理方法、並びにプログラム提供媒体に関する。 BACKGROUND OF THE INVENTION The present invention obtains a three-dimensional object shape, the image processing apparatus and image processing method for generating a distance image, and a program providing medium. 特に三次元空間上である距離範囲に存在する物体を複数の異なる位置から撮影した画像を用いて被写体表面の三次元形状を計測して距離画像を生成するステレオ画像法において好適な画像処理装置および画像処理方法、並びにプログラム提供媒体に関する。 Suitable image processing apparatus and the stereo imaging for generating a distance image by measuring the three-dimensional shape of the object surface, especially by using an image obtained by photographing the object existing in the distance range is the three-dimensional space from a plurality of different positions image processing method, and a program providing medium.

【0002】 [0002]

【従来の技術】物体の三次元形状を求める従来手法として、大きく分けて能動的手法(アクティブ手法)と受動的手法(パッシブ手法)がある。 As a conventional method of obtaining the three-dimensional shape of the Related Art objects, there is an active approach roughly (active technique) and passive techniques (passive technique). 能動的手法としては、 The active approach,
光を投射して、その光が反射して帰ってくるまでの時間を測定することで各計測対象物体までの距離を求める方法や、計測対象にスリット状のパターン光をあてて計測対象に投影されたパターン光の形状を調べることによって三次元形状を計測する光切断法といった方法がある。 And projecting light, and a method for determining the distance to each measurement object by the light to measure the time until coming back after being reflected, projected onto the target object by applying a slit-like light pattern onto the target object there are methods such as light-section method for measuring a three-dimensional shape by examining the pattern light shape.

【0003】また、受動的手法として代表的なものは、 [0003] In addition, a typical thing as a passive approach,
三角測量の原理を利用したステレオ法であり、これは2 A stereo method using the principle of triangulation, which is 2
台以上のカメラを使って、その画像間での各画素の対応点を見つけることで、その位置関係(視差)を求め、計測対象までの距離を計測する方法である。 Using the platform or more cameras, the to find the corresponding point of each pixel between images, the positional relationship (parallax) calculated, a method for measuring the distance to the measurement object.

【0004】ステレオ法について、その原理を簡単に説明する。 [0004] For the stereo method will be described the principle easily. ステレオ法は複数のカメラを用いて2つ以上の視点(異なる視線方向)から同一対象物を撮影して得られる複数の画像における画素同士を対応づけることで計測対象物の三次元空間における位置を求めようとするものである。 The stereo method is a position in three-dimensional space of two or more viewpoints (different line-of-sight direction) measurement object by associating between pixels in a plurality of images obtained by photographing the same object from a plurality of cameras it is intended to be obtained. 例えば基準カメラと検出カメラにより異なる視点から同一対象物を撮影して、それぞれの画像内の計測対象物の距離を三角測量の原理により測定する。 For example, capturing the same object from different viewpoints by the reference camera and the detection camera, the distance of the measurement object in each image is measured by the principle of triangulation.

【0005】図1は、ステレオ法の原理を説明する図である。 [0005] Figure 1 is a diagram for explaining the principle of the stereo method. 基準カメラ(Camera1)と検出カメラ(C Reference camera (Camera1) and the detection camera (C
amera 2)は異なる視点から同一対象物を撮影する。 amera 2) to shoot the same object from different points of view. 基準カメラによって撮影された画像中の「mb」というポイントの奥行きを求めることを考える。 The base camera consider the determination of the depth of the point of "mb" in captured images.

【0006】基準カメラによる撮影画像中のポイント「mb」に見える物体は、異なる視点から同一物体を撮影している検出カメラによって撮影された画像において、「m1」、「m2」、「m3」のようにある直線上に展開されることになる。 [0006] the object visible to the point "mb" in the photographed image by the reference camera, the image captured by the detection camera photographing the same object from different perspectives, "m1", "m2", the "m3" as it will be deployed on a straight line in the. この直線をエピポーラライン(Epipolar line)Lpと呼ぶ。 This straight line is called the epipolar line (Epipolar line) Lp.

【0007】基準カメラにおけるポイント「mb」の位置は、検出カメラによる画像中では「エピポーラ・ライン」と呼ばれる直線上に現れる。 [0007] the position of the point "mb" in reference camera appears on a straight line called "epipolar line" in the image in the detection cameras. 撮像対象となる点P The point P to be imaged
(P1,P2,P3を含む直線上に存在する点)は、基準カメラの視線上に存在する限り、奥行きすなわち基準カメラとの距離の大小に拘らず、基準画像上では同じ観察点「mb」に現れる。 (P1, P2, points existing on a straight line including P3), so long as present on the reference camera line of sight, regardless of the magnitude of the distance between the depth or reference camera, the same observation point on the reference image "mb" It appears to. これに対し、検出カメラによる撮影画像上における点Pは、エピポーラ・ライン上に基準カメラと観察点Pとの距離の大小に応じた位置にあらわれる。 In contrast, a point P on the image captured by the detection camera, appears at a position corresponding to the magnitude of the distance between the reference camera on the epipolar line and the observation point P.

【0008】図1には、エピポーラ・ラインと、検出カメラ画像中における観察点「mb」の対応を図解している。 [0008] Figure 1 illustrates the epipolar line, the corresponding observation point in the detection camera image "mb". 同図に示すように、観察点Pの位置がP1,P2, As shown in the figure, the position of the observation point P is P1, P2,
P3へと変化するに従って、検出カメラ画像中の観察点は「m1」、「m2」、「m3」へとシフトする。 Accordingly changed to P3, the observation point in the detection camera image is shifted to "m1", "m2", "m3".

【0009】以上の幾何光学的性質を利用して、観察点「mb」をエピポーラ・ライン上で探索することにより、点Pの距離を同定することができる。 [0009] Using the geometric optical properties described above, the observation point to "mb" by searching on the epipolar line, it is possible to identify the distance of the point P. これが「ステレオ法」の基本的原理である。 This is the basic principle of "stereo method". このような方法で画面上のすべての画素についての三次元情報を取得する。 Acquiring three-dimensional information for all the pixels on the screen in this way. 取得した三次元情報は画素ごとに対応した画素属性データとして使用することが可能となる。 Obtained three-dimensional information makes it possible to use as the pixel attribute data corresponding to each pixel.

【0010】上述のステレオ画像法は1台の基準カメラと1台の検出カメラとを用いた構成としたが、検出カメラを複数用いたマルチベースラインステレオ(Mult [0010] While the above stereo imaging has a configuration which uses a reference camera one and one detection cameras, multi-baseline stereo with a plurality of detection cameras (Mult
iBaseline Stereo)法によって評価値を求めて、該評価値に基づいて画素ごとの三次元情報を取得するように構成してもよい。 iBaseline Stereo) seeking evaluation value by methods, may be configured to obtain three-dimensional information for each pixel based on the evaluation value. マルチベースラインステレオ画像法は、1つの基準カメラと複数の検出カメラによって撮影される画像を用い、複数の検出カメラ画像それぞれについて基準カメラ画像との相関を表す評価値を求め、それぞれの評価値を加算し、その加算値を最終的な評価値とするものである。 Multi-baseline stereo image method, a picture taken by one of the base camera and a plurality of the detection camera, obtains an evaluation value representing a correlation between the reference camera image for each of the plurality of the detection camera image, the respective evaluation values summed, in which the addition value becomes a final evaluation value. このマルチベースラインステレオ画像法の詳細は、例えば「複数の基線長を利用したステレオマッチング」、電子情報通信学会論文誌D Details of this multi-baseline stereo imaging, for example, "stereo matching using a plurality of base length", IEICE Transactions D
−11Vol. -11Vol. J75−D−II No. J75-D-II No. 8 pp. 8 pp. 1
317−1327 1992年8月、に記載されている。 317-1327 August 1992, which is incorporated herein by reference.

【0011】上述のように、ステレオ法は、複数のカメラを用いて2つ以上の視点(異なる視線方向)から同一対象物を撮影して得られる複数の画像における画素同士を対応づけること、すなわち「対応点付け(マッチング)」を実施することで計測対象物の三次元空間における位置を求めようとするものである。 [0011] As described above, the stereo method, it associating between pixels in a plurality of images obtained by photographing the same object from two or more viewpoints using a plurality of cameras (different viewing direction), i.e. it is intended to find the position in three-dimensional space of the measurement object by carrying out the "corresponding point with (matching)".

【0012】従来から、よく使われている「対応点付け」の手法は、Pixel−basedマッチング、A [0012] from the past, have been commonly used technique of "corresponding point with" is, Pixel-based matching, A
rea−basedマッチングとFeature−ba rea-based matching and Feature-ba
sedマッチングに大別される。 It is roughly divided into sed matching. Pixel−base Pixel-base
dマッチングとは、一方の画像における点の対応を、他方の画像でそのまま探索する方法である(C.Lawr The d matching, the corresponding points in one image, a method of searching as the other image (C.Lawr
ence Zitnick and Jon A. ence Zitnick and Jon A. W
ebb: Multi−baseline Stere ebb: Multi-baseline Stere
o Using Surface Extractio o Using Surface Extractio
n, Technical Report, CMU− n, Technical Report, CMU-
CS−96−196, (1996)参照)。 CS-96-196, (1996) see).

【0013】Area−basedマッチングとは、一方の画像における点の対応を、他方の画像で探す時、その点の周りの局所的な画像パターンを用いて探索する方法である(奥富、金出: 複数の基線長を利用したステレオマッチング、電子情報通信学会論文誌D−II、V [0013] The Area-based matching, correspondence of points in one image, when the search for the other image is a method of searching using a local image pattern around the point (Okutomi, Kanade: stereo matching using a plurality of base length, IEICE D-II, V
ol. ol. J75−DII, No. J75-DII, No. 8, pp. 8, pp. 1317 1317
−1327, (1992)、横山、三輪、芦ヶ原、小柳津、林、後: Stereo Camera Sys -1327, (1992), Yokoyama, Miwa, AshikeHara, Oyaizu, Hayashi, after: Stereo Camera Sys
tem and Its Application、 tem and Its Application,
SRF'97、(1997)、金出、木村: ビデオレート・ステレオマシン、日本ロボット学会誌、Vol. SRF'97, (1997), Kanade, Kimura: video-rate stereo machine, Journal of the Robotics Society of Japan, Vol.
13, No. 13, No. 3, pp. 3, pp. 322〜326, (19 322-326, (19
95)、金出、蚊野、木村、川村、吉田、織田: ビデオレートステレオマシンの開発、日本ロボット学会誌、 95), Kanade, Kano, Kimura, Kawamura, Yoshida, Oda: the development of video-rate stereo machine, Journal of the Robotics Society of Japan,
Vol. Vol. 15, No. 15, No. 2, pp. 2, pp. 261〜267, 261-267,
(1997)、山口、高地、井口: 適応ウィンドウ法を用いた石像計測のためのステレオ対応付け、人文科学とコンピュータ、Vol. (1997), Yamaguchi, highlands, Iguchi: stereo association for the stone statue measurement using an adaptive window method, Computers and the Humanities, Vol. 32, No. 32, No. 10, p 10, p
p. p. 55〜60, (1996)、横矢: 最近の信号処理総合特集号 コンピュータビジョンの最近の話題、 55-60, (1996), Yokoya: Recent Topics of recent signal processing integrated Special Issue on Computer Vision,
システム/制御/情報、Vol. System / control / information, Vol. 38, No. 38, No. 8, 8,
pp. pp. 436〜441, (1994)参照)。 436-441, (1994)).

【0014】Feature−basedマッチングとは、画像から濃淡エッジなどの特徴を抽出し、画像間の特徴だけを用いて対応付けを行う方法である(H.H. [0014] The Feature-based matching, extracting features, such as density edge from an image, a method of performing mapping using only features between images (H. H.
Baker and T. Baker and T. O. O. Binford: De Binford: De
pth from edgeand intensit pth from edgeand intensit
y based stereo, In Proc. y based stereo, In Proc.
IJCAI'81, (1981)、石山、角保、河井、植芝、富田: セグメントベーストステレオにおける対応候補探索、信学技報、Vol. IJCAI'81, (1981), Ishiyama, SumiTamotsu, Kawai, Ueshiba, Tomita: corresponding candidate search in the segment-Based stereo, IEICE Technical Report, Vol. 96,No. 96, No. 13 13
6, (1997)、W. 6, (1997), W. E. E. L. L. Grimson: Grimson:
Computational experiments Computational experiments
with a feature based ste with a feature based ste
reo algorithm, IEEE Tran reo algorithm, IEEE Tran
s. s. PAMI, Vol. PAMI, Vol. 7, No. 7, No. 1, pp. 1, pp.
17〜34, (1985))。 17-34, (1985)).

【0015】上記の各手法の特徴を整理すると、次のようになる。 [0015] To summarize the characteristics of each method described above, it is as follows. (1)Pixel−basedマッチングとArea− (1) Pixel-based matching and Area-
basedマッチングは各々の画素に対して、対応点を探索するので、求められた距離画像は密である。 based matching for each of the pixels, so searching for a corresponding point, the distance obtained image is dense. 一方、 on the other hand,
Feature−basedマッチングは、特徴点だけに対して、対応付けを行うので、得られた距離画像は疎である。 Description feature-based matching, only for characteristic points, since the correspondence, acquired distance image is sparse.

【0016】(2)Area−basedマッチングは、一種の相関演算を行うため、Pixel−base [0016] (2) Area-based matching, for performing correlation operation of a kind, Pixel-base
dマッチングとFeature−basedマッチングに比べて、計算コストがかかるが、アルゴリズムの高速化によって、必ずしも解決できない問題ではない。 Compared to d matching and Feature-based matching, the calculation costly, the faster algorithms, not not always solve the problem.

【0017】(3)Pixel−basedマッチングは、画素間の対応付けだけを行うため、計算速度がかなり速いが、左右カメラ間の特性の違いによって、画素間の濃淡値を用いる対応付けが容易ではない。 [0017] (3) Pixel-based matching, for performing only correspondence between pixels, the calculation speed is quite fast, the difference in characteristics between the left and right cameras, is easy correspondence using gray values ​​between pixels Absent.

【0018】上述の特徴から、一般的に、高精度で対象の3次元形状(または奥行き)を画素毎に求めるための手法としてArea−basedマッチングは有効であり、よく使われている。 [0018] From the above features, in general, Area-based matching the three-dimensional shape of the target with high accuracy (or depth) as a method for determining for each pixel is valid, it is commonly used.

【0019】一般的なArea−basedマッチングによるステレオ視の対応点の求め方について図2を用いて説明する。 [0019] The method of obtaining the corresponding points of the stereo vision by General Area-based matching will be described with reference to FIG. 図2(a)は、基準カメラの観測画像であり、図2(b)は検出カメラによる観測画像である。 2 (a) is an observation image of the reference camera, FIG. 2 (b) is an observation image by the detection camera. 基準カメラによる観測画像上の点mbの周辺の小領域Wをテンプレートとして、検出カメラ画像のエピポーラライン上の数点における画像相関値を求める。 The small area W near the mb points on the observation image by the reference camera as a template to obtain the image correlation values ​​at several points on the epipolar line of the detection camera image. この図に示す例の場合は、距離分解能はm1〜m6の6点で、この距離番号1〜6が例えば撮影した基準カメラから1m、2 For the example shown in this figure, the distance resolution is 6 points m1 to m6, 1 m, 2 from the reference camera distance number 1-6 is for example photographed
m、3m、4m、5m、6mの距離に対応しているとする。 m, 3m, 4m, 5m, and corresponds to the distance 6m to.

【0020】各点の画像相関値は、例えば以下に示す式(1)を用いて求める評価値を用いることができる。 The image correlation values ​​of each point can be used evaluation value determined, for example using Equation (1) below. なお、以下に示す式中のI(x)は基準カメラで撮影した基準画像における輝度値、I'(x')は検出カメラで撮影した検出カメラ画像の輝度値を示している。 Incidentally, I in the equation shown below (x) luminance value in the reference image captured by the reference camera, I '(x') indicates the luminance values ​​of the detection camera image captured by the detection camera.

【0021】 [0021]

【数1】 [Number 1]

【0022】上記式を用いて得られる図2のm1〜m6 [0022] in FIG. 2 is obtained by using the above equation m1~m6
の6点での評価値中、最も低いところを対応点とする。 During the evaluation value of 6 points, to the place where the lowest and the corresponding point.
これを示したのが図2の下段のグラフである。 The This is shown in the lower graph of Figure 2. 図2の例の場合は、m3の位置、すなわちカメラから3mの位置を距離データとする。 For example in FIG. 2, the position of m3, that is, the position of 3m and distance data from the camera. なお、さらにサンプリングデータ間の補間処理を実行してサンプルデータ以外の部分において最も低い点を求めることも可能である。 It is also possible to determine the lowest point in yet a portion other than the sample data by performing an interpolation process between the sampling data. この補間処理を行なった場合、図2のグラフのm3とm4の間にある点が最小の評価値であり、この場合、計測対象はカメラから約3.3mの距離であるとされる。 When making this interpolation process, a m3 and minimum evaluation value is point between m4 in the graph of FIG. 2, in this case, the measurement object is to be a distance of about 3.3m from the camera. なお、エピポーラライン、およびエピポーラライン上の位置と物体との距離との関係は、予めキャリブレーションによって求めておく。 Incidentally, the epipolar line, and the relationship between the distance between the position and the object on epipolar lines, previously obtained in advance by calibration. 例えば基準カメラ画像上のすべての画素に対して、各距離に応じた検出カメラ画像上の対応点の座標をテーブルにして保持しておく。 For example for all the pixels on the reference camera image, it holds and coordinates a table of corresponding points on the detection camera image corresponding to each distance.

【0023】このように、基準カメラ画像と検出カメラ画像とのマッチング処理を各測定点の画素について繰り返し実行することにより、全ての画素に対する三次元形状データを得ることができる。 [0023] Thus, the matching process between the reference camera image and the detection camera image by repeatedly executing the pixels of each measurement point, it is possible to obtain a three-dimensional shape data for all pixels.

【0024】 [0024]

【発明が解決しようとする課題】しかしながら、実際には、基準カメラ画像と検出カメラ画像から全ての画素の対応付け処理を正確に行なうことは困難である。 [SUMMARY OF THE INVENTION However, in practice, it is difficult to accurately perform the correspondence processing for all the pixels from the reference camera image and the detection camera image. 白い壁や人間の顔などの特徴(濃淡、形状、色等)のほとんどない対象におけるマッチング処理においては、対応付けが困難になるからである。 Features such as a white wall or a human face (shading, shape, color, etc.) in the matching process in little subject is because correspondence becomes difficult.

【0025】画像間の対応点は、各画素の周辺の小領域の画像を用いて探索されるので物体表面に模様のなく、 The corresponding points between images, no pattern on the object surface because it is searched by using the image of the small area around each pixel,
基準カメラと検出カメラで撮り込んだ画像の各画素の輝度値に変化の少ない場合は対応点を求めるのが困難になる。 If little change in the luminance value of each pixel of the image that crowded taken with reference camera and the detection camera becomes difficult to determine the corresponding points. これを解決する方法として非周期的なランダムパターンを計測対象に照射してパターンとともに計測対象を撮り込む方法がある。 This was irradiated as a method for solving non-periodic random pattern onto the target object is a method Komu take with measurement target pattern. このパターン照射方法によれば、 According to this pattern irradiation method,
ランダムパターンのついた画像を撮り込んでパターンに基づく画像間の対応付け処理をすることができる。 Crowded take pictures with a random pattern can be a correspondence processing between an image based on the pattern. このように、距離画像の生成には、ランダムパターンを照射した画像を用いることが有効である。 Thus, the generated distance image, it is effective to use an image obtained by irradiating a random pattern.

【0026】一方、上述の手法によって求められた三次元形状(たとえばポリゴン)に実際の測定対象の色(テクスチャと呼ばれる)を貼り付けるためには、計測対象である物体を例えば可視光で撮影した画像が必要となる。 On the other hand, to paste the actual measured color in a three-dimensional shape obtained by the above method (e.g., a polygon) (referred to as texture) were taken of the object to be measured for example with visible light image is required. しかし、上述のランダムパターンを照射して得られる画像は、物体表面にランダムパターンが投影されており、物体本来の色あるいは模様とは異なるパターンが付与されているので、距離画像生成用の撮影画像そのものを物体の色として扱うことはできない。 However, an image obtained by irradiating the random pattern of the above is a random pattern is projected onto the object surface, the different patterns are applied to the object original color or pattern, photographic images for the distance image generation It can not be treated as a color of an object to itself.

【0027】物体の本来の色、すなわちテクスチャ画像を得るための手法としては、例えばランダムパターンの投影された物体を撮り込んで得られるパターン付き画像に画像処理を施してパターンを消去する方法があるが、 The original color of the object, namely as a method for obtaining the texture image, for example, a method of erasing the pattern by applying an image processing to obtain the patterned image crowded taking the projected object random pattern But,
この画像処理は煩雑であり、また、完全に物体の色を再現することは困難である。 This image processing is complicated, and it is difficult to completely reproduce the color of an object.

【0028】本発明は、上述の従来技術の問題点に鑑みてなされたものであり、上述のような画像処理を施すことなく、テクスチャ画像を得ることを可能とした画像処理装置および画像処理方法、並びにプログラム提供媒体を提供するものである。 [0028] The present invention has been made in view of the problems of the prior art described above, the image processing without performing the above-described image processing apparatus and image processing method which enables to obtain a texture image , as well as to provide a program providing medium.

【0029】 [0029]

【課題を解決するための手段】本発明は、上記課題を参酌してなされたものであり、その第1の側面は、計測対象にパターン光を照射してパターン光を投影した画像に基づいて計測対象の距離データを生成する画像処理装置において、計測対象にパターン光を投影するパターン投光手段と、計測対象の画像を画素単位で撮り込み、各画素毎に画像の輝度データを格納する撮像素子と、前記撮像素子を構成する複数画素の一部画素において前記パターン光を投影したパターン付き画像を撮り込み、前記撮像素子を構成する他の画素において前記パターン光を取り除いたテクスチャ画像を撮り込むように構成した光学フィルタと、前記撮像素子に格納された画像データを、 Means for Solving the Problems The present invention has been made in consideration of the above problems, a first aspect is based on the image obtained by projecting the pattern light is irradiated with pattern light onto the target object an image processing apparatus for generating distance data of the measurement object, the imaging for storing the pattern projecting means for projecting a pattern light onto the target object, uptake images of the measurement object in pixel units, the luminance data of the image for each pixel Komu take the element, in some pixels of a plurality of pixels constituting the image pickup element uptake a patterned image projected with the pattern light, a texture image obtained by removing the pattern light in the other pixels constituting the image sensor an optical filter configured to, the image data stored in the image pickup device,
前記パターン付き画像を撮り込んだパターン画像撮り込み画素データと、前記テクスチャ画像を撮り込んだテクスチャ画像撮り込み画素データとに分離して出力するデータ選択手段と、前記データ選択手段において分離出力された前記パターン付き画像に基づいて前記計測対象の距離データを算出する距離画像生成手段と、を有することを特徴とする画像処理装置にある。 And pixel data uptake pattern image crowded taking the patterned image, and data selection means and outputting the separated and the texture image crowded take pixel data incorporation texture image, separated output in the data selection means in the image processing apparatus characterized by having the distance image generating means for calculating the distance data of the measurement target on the basis of the patterned images.

【0030】さらに、本発明の画像処理装置の一実施態様において、前記光学フィルタは、前記撮像素子においてパターン付き画像を撮り込む画素と、テクスチャ画像を撮り込む画素各々に対応させて異なる光透過特性を有する光学フィルタを配置した構成であることを特徴とする。 Furthermore, in an embodiment of the image processing apparatus of the present invention, the optical filter includes a pixel Komu take a patterned image in the imaging device, the light transmission characteristics different in correspondence with the respective pixels Komu take texture image characterized in that it is a configuration of arranging an optical filter having a.

【0031】さらに、本発明の画像処理装置の一実施態様において、前記光学フィルタは、異なる2つの波長帯域の光をカットする2つの異なる種類の帯域カットフィルタを前記撮像素子のパターン付き画像撮り込み画素と、テクスチャ画像撮り込み画素の各々に対応させて配置したことを特徴とする。 Furthermore, in an embodiment of the image processing apparatus of the present invention, the optical filter, incorporation of two different types of band-cut filter which cuts light of two different wavelength bands patterned image of the imaging device a pixel, characterized by being arranged to correspond to each pixel uptake texture image.

【0032】さらに、本発明の画像処理装置の一実施態様において、前記光学フィルタは、前記撮像素子のパターン付き画像撮り込み画素と、テクスチャ画像撮り込み画素の各々に対応させてそれぞれ異なる光透過特性を有する異なる種類の光学フィルタを配置した構成であり、 Furthermore, in an embodiment of the image processing apparatus of the present invention, the optical filter includes a pixel incorporation patterned image of the imaging element, different light transmission characteristics in correspondence with each pixel uptake texture image a configuration of arranging the different types of optical filters having,
前記光学フィルタの少なくとも一方を偏光板によって構成したことを特徴とする。 Characterized by being constituted by at least one polarizing plate of the optical filter.

【0033】さらに、本発明の画像処理装置の一実施態様において、前記光学フィルタは、前記撮像素子のパターン付き画像撮り込み画素と、テクスチャ画像撮り込み画素の各々に対応させてそれぞれ異なる光透過特性を有する異なる種類の光学フィルタを配置した構成であり、 Furthermore, in an embodiment of the image processing apparatus of the present invention, the optical filter includes a pixel incorporation patterned image of the imaging element, different light transmission characteristics in correspondence with each pixel uptake texture image a configuration of arranging the different types of optical filters having,
前記光学フィルタの少なくとも一方が光強度を低減させる光強度低減フィルタによって構成したことを特徴とする。 Wherein at least one optical filter is characterized by being configured by the light intensity reduction filter for reducing the light intensity.

【0034】さらに、本発明の画像処理装置の一実施態様において、前記パターン投光手段は、赤外光によるパターン光を前記計測対象に投影する構成を有し、前記光学フィルタは、前記撮像素子におけるテクスチャ画像を撮り込む画素に対応して赤外光カットフィルタを配置した構成を有することを特徴とする。 Furthermore, in an embodiment of the image processing apparatus of the present invention, the pattern projecting means has a structure for projecting a pattern light by the infrared light to the measurement target, the optical filter, the image sensor It characterized by having a configuration that corresponds to the pixel Komu take a texture image to place the infrared light cut filter in.

【0035】さらに、本発明の画像処理装置の一実施態様において、前記光学フィルタは、前記撮像素子におけるパターン付き画像を撮り込む画素に対応して可視光カットフィルタを配置した構成を有することを特徴とする。 Furthermore, in an embodiment of the image processing apparatus of the present invention, the optical filter is characterized by having a configuration of arranging the visible light cut filter so as to correspond to the pixel Komu take a patterned image in the imaging element to.

【0036】さらに、本発明の画像処理装置の一実施態様において、前記光学フィルタは、前記撮像素子のパターン付き画像撮り込み画素と、テクスチャ画像撮り込み画素の各々に対応させてそれぞれ異なる光透過特性を有する異なる種類の光学フィルタを配置した構成であり、 Furthermore, in an embodiment of the image processing apparatus of the present invention, the optical filter includes a pixel incorporation patterned image of the imaging element, different light transmission characteristics in correspondence with each pixel uptake texture image a configuration of arranging the different types of optical filters having,
前記撮像素子の隣接画素において異なる光学フィルタが配置光学フィルタを配置した構成を有することを特徴とする。 And having a structure in which optical filters having different in adjacent pixels of the image pickup element is arranged placed optical filters.

【0037】さらに、本発明の画像処理装置の一実施態様において、前記光学フィルタは、前記撮像素子のパターン付き画像撮り込み画素と、テクスチャ画像撮り込み画素の各々に対応させてそれぞれ異なる光透過特性を有する異なる種類の光学フィルタを配置した構成であり、 Furthermore, in an embodiment of the image processing apparatus of the present invention, the optical filter includes a pixel incorporation patterned image of the imaging element, different light transmission characteristics in correspondence with each pixel uptake texture image a configuration of arranging the different types of optical filters having,
前記撮像素子を構成する画素数の約1/2をパターン付き画像撮り込み画素とし、残り約1/2の画素をテクスチャ画像撮り込み画素とするように異なる光学フィルタを配置した構成を有することを特徴とする。 About half of the number of pixels constituting the image pickup device and the pixel incorporation patterned image, in that it has a structure of arranging the different optical filters so that the pixel incorporation texture image remaining about 1/2 of the pixel and features.

【0038】さらに、本発明の画像処理装置の一実施態様において、前記画像処理装置は、計測対象を異なる方向から撮影した画像を用いて前記計測対象の三次元形状を計測しステレオ法を適用して距離画像を生成する画像処理装置であり、前記計測対象の画像を撮り込む第1カメラと、前記第1カメラと異なる方向から前記計測対象の画像を撮り込む第2カメラと、前記第1カメラによって撮り込まれた第1画像と、前記第2カメラによって撮り込まれた第2画像との画像間対応付け処理により視差データを生成して、該視差データに基づいて距離画像を生成する距離画像生成手段とを有し、前記第1カメラ、 [0038] Further, in an embodiment of the image processing apparatus of the present invention, the image processing apparatus, the three-dimensional shape of the measurement target by applying the measured stereo method using an image obtained by photographing the measurement target from different directions generating a distance image Te is an image processing apparatus, a first camera Komu takes an image of the measurement object, and the first second camera camera from different directions Komu take an image of the measurement object, wherein the first camera and it generates parallax data by the inter-image correspondence processing between the first image incorporated taking a second image interleaved taken by the second camera by a distance image to generate a distance image based on the parallax data and a generation unit, the first camera,
および前記第2カメラの少なくとも一方は、前記計測対象の画像を画素単位で撮り込み、各画素毎に画像の輝度データを格納する撮像素子と、前記撮像素子を構成する複数画素の一部画素において前記パターン光を投影したパターン付き画像を撮り込み、前記撮像素子を構成する他の画素において前記パターン光を取り除いたテクスチャ画像を撮り込むように構成した光学フィルタとを有した構成であることを特徴とする。 And at least one of the second camera, uptake images of the measurement target in pixel units, and an imaging device for storing the luminance data of the image for each pixel, in some pixels of a plurality of pixels constituting the image sensor characterized in that said pattern light incorporation a patterned image projected, a structure having an optical filter constituted so as to go take a texture image obtained by removing the pattern light in the other pixels constituting the image sensor to.

【0039】さらに、本発明の第2の側面は、計測対象にパターン光を照射してパターン光を投影した画像に基づいて計測対象の距離データを生成する画像処理方法において、計測対象を撮像素子によって撮り込むステップであり、前記撮像素子を構成する複数画素の一部画素においてパターン光を投影したパターン付き画像を撮り込み、前記撮像素子を構成する他の画素において前記パターン光を取り除いたテクスチャ画像を撮り込む画像撮り込みステップと、前記撮像素子に格納された画像データを、前記パターン付き画像を撮り込んだパターン画像撮り込み画素データと、前記テクスチャ画像を撮り込んだテクスチャ画像撮り込み画素データとに分離して出力する画像データ分離ステップと、前記画像データ分離ステップにおいて分離 [0039] Further, a second aspect of the present invention is an image processing method for generating distance data of the measurement object based on the image obtained by projecting a pattern light is irradiated with pattern light onto the target object, the target object image sensor Komu taken by a step, the incorporation of the patterned image projected pattern light in some pixels of a plurality of pixels constituting the imaging device, the texture image obtained by removing the pattern light in the other pixels constituting the image sensor and step uptake image Komu take, the image data stored in the image sensor, the pixel data uptake pattern image crowded taking the patterned image, the pixel data incorporation texture image crowded take the texture image an image data separating step for separating output, separated in the image data separation steps 力された前記パターン付き画像に基づいて前記計測対象の距離データを算出する距離画像生成ステップと、を有することを特徴とする画像処理方法にある。 In the image processing method characterized by comprising: a distance image generation step of calculating the distance data of the measurement target on the basis of the force has been the patterned image.

【0040】さらに、本発明の画像処理方法の一実施態様において、前記光学フィルタは、前記撮像素子においてパターン付き画像を撮り込む画素と、テクスチャ画像を撮り込む画素各々に対応させて異なる光透過特性を有する光学フィルタを配置した構成であり、前記画像撮り込みステップは、異なる光透過特性を有する光学フィルタを介してパターン付き画像とテクスチャ画像とを同時に撮り込むことを特徴とする。 [0040] In the embodiment of the image processing method of the present invention, the optical filter includes a pixel Komu take a patterned image in the imaging device, the light transmission characteristics different in correspondence with the respective pixels Komu take texture image a configuration of arranging an optical filter having a step incorporation the image is characterized by Komu take simultaneously the patterned image and the texture image through the optical filters having different light transmission characteristics.

【0041】さらに、本発明の画像処理方法の一実施態様は、計測対象を異なる方向から撮影した画像を用いて前記計測対象の三次元形状を計測しステレオ法を適用して距離画像を生成する画像処理方法であり、計測対象の画像を第1カメラと、前記第1カメラと異なる方向に配置した第2カメラによって同時に撮り込む画像撮り込みステップであり、前記第1カメラおよび前記第2カメラに構成された撮像素子を構成する複数画素の一部画素においてパターン光を投影したパターン付き画像を撮り込み、前記撮像素子を構成する他の画素において前記パターン光を取り除いたテクスチャ画像を、それぞれ各カメラにおいて撮り込む画像撮り込みステップと、前記第1 [0041] Further, an embodiment of the image processing method of the present invention, the three-dimensional shape of the measurement target is measured to generate a distance image by applying the stereo method using an image obtained by photographing the measurement target from different directions an image processing method, and a first camera image of the measurement object, a step uptake image Komu taken simultaneously by the second camera arranged in a direction different from the first camera, the first camera and the second camera in some pixels of a plurality of pixels constituting the configured imaging device incorporation a patterned image projected pattern light, a texture image obtained by removing the pattern light in the other pixels constituting the image pickup device, each of the camera and step uptake image Komu taken in, said first
カメラおよび第2カメラの撮像素子に格納された画像データについて、前記パターン付き画像を撮り込んだパターン画像撮り込み画素データと、前記テクスチャ画像を撮り込んだテクスチャ画像撮り込み画素データとに分離して出力する画像データ分離ステップと、前記画像データ分離ステップにおいて分離出力された前記第1カメラの撮り込んだ第1パターン付き画像と、前記第2カメラの撮り込んだ第2パターン付き画像とに基づいて前記計測対象の距離データを算出する距離画像生成ステップと、を有することを特徴とする。 The image data stored in the camera and the imaging device of the second camera, said a patterned pixel data image uptake pattern image crowded take, and separated into the pixel data incorporation texture image crowded take texture image an image data separating step of outputting, the image and the first patterned image crowded taken separated output of the first camera in a data separation step, based on the second patterned images crowded taken of the second camera and having a distance image generation step of calculating the distance data of the measurement target.

【0042】さらに、本発明の第3の側面は、計測対象にパターン光を照射してパターン光を投影した画像に基づいて計測対象の距離データを生成する画像処理をコンピュータ・システム上で実行せしめるコンピュータ・プログラムを提供するプログラム提供媒体であって、前記コンピュータ・プログラムは、計測対象を撮像素子によって撮り込むステップであり、前記撮像素子を構成する複数画素の一部画素においてパターン光を投影したパターン付き画像を撮り込み、前記撮像素子を構成する他の画素において前記パターン光を取り除いたテクスチャ画像を撮り込む画像撮り込みステップと、前記撮像素子に格納された画像データを、前記パターン付き画像を撮り込んだパターン画像撮り込み画素データと、前記テクスチャ画像を撮り込 [0042] Furthermore, a third aspect of the present invention, allowed to execute image processing for generating distance data of the measurement object based on the image obtained by projecting a pattern light is irradiated with pattern light onto the target object on a computer system pattern a program providing medium for providing a computer program, said computer program is a step Komu take the target object by the image pickup element, the projection of the pattern light in some pixels of a plurality of pixels constituting the image sensor per uptake images, the steps uptake image Komu taking a texture image obtained by removing the pattern light in the other pixels constituting the image pickup device, the image data stored in the imaging element, taking the patterned image and the pixel data uptake pattern image's crowded, write take the texture image だテクスチャ画像撮り込み画素データとに分離して出力する画像データ分離ステップと、前記画像データ分離ステップにおいて分離出力された前記パターン付き画像に基づいて前記計測対象の距離データを算出する距離画像生成ステップと、を有することを特徴とするプログラム提供媒体にある。 An image data separating step for separating and outputting the pixel data incorporation texture image I, distance image generation step of calculating the distance data of the measurement target on the basis of the separation outputted the patterned image in said image data separating step If, in the program providing medium, characterized in that it comprises a.

【0043】本発明の第3の側面に係るプログラム提供媒体は、例えば、様々なプログラム・コードを実行可能な汎用コンピュータ・システムに対して、コンピュータ・プログラムをコンピュータ可読な形式で提供する媒体である。 The third program providing medium according to the aspect of the invention, for example, is a medium to be provided to perform general purpose computer system, the computer program in a computer-readable format to various program codes . 媒体は、CDやFD、MOなどの記憶媒体、あるいは、ネットワークなどの伝送媒体など、その形態は特に限定されない。 Media, CD or FD, a storage medium such as MO or, like transmission medium such as a network, the form thereof is not particularly limited.

【0044】このようなプログラム提供媒体は、コンピュータ・システム上で所定のコンピュータ・プログラムの機能を実現するための、コンピュータ・プログラムと提供媒体との構造上又は機能上の協働的関係を定義したものである。 [0044] Such program providing medium, for realizing the function of a predetermined computer program on a computer system, defining the structural or functional in cooperative relationship between the providing medium and the computer program it is intended. 換言すれば、該提供媒体を介してコンピュータ・プログラムをコンピュータ・システムにインストールすることによって、コンピュータ・システム上では協働的作用が発揮され、本発明の他の側面と同様の作用効果を得ることができるのである。 In other words, by installing the computer program to the computer system via the providing medium, cooperative actions on the computer system is exhibited, to obtain the same effect as other aspects of the present invention but they can.

【0045】本発明のさらに他の目的、特徴や利点は、 [0045] Other objects, features, and advantages of the present invention,
後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。 It will become apparent from the following detailed description based on embodiments of the invention and the accompanying drawings described below.

【0046】 [0046]

【発明の実施の形態】まず、図3に本発明の画像処理装置の構成ブロック図を示す。 DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS First, a block diagram showing the configuration of an image processing apparatus of the present invention in FIG. 図3は、画像パターンの投光によって計測対象の三次元形状または距離画像の計測を行なう装置である。 Figure 3 is a device for performing the measurement of the three-dimensional shape or distance image of the measurement object by projection of the image pattern. 例えば投光用画像パターン生成装置によって、ランダムテクスチャ(例えば二値または濃淡のランダム点群)からなる画像パターンを生成し、これを投光器によって計測対象に投光する。 For example the projection image pattern generation device to generate an image pattern composed of a random texture (e.g. binary or random point group of colors), which is projected onto the target object by the projector. 上述したように計測対象にランダムテクスチャを投光することにより、計測対象が白い壁や人間の顔などの特徴(濃淡、形状、色等)のほとんどない対象である場合も、画像間のマッチング処理がより正確に実行できる。 By projecting a random texture to the target object as described above, characteristics such as the measurement target is a white wall or a human face (shading, shape, color, etc.) be a little subject, matching processing between images There can be performed more accurately.

【0047】図3に示す画像処理装置の概要について説明する。 The outline of the image processing apparatus shown in FIG. 3 will be described. 画像処理装置は、先に説明したステレオ法を適用して計測対象の三次元形状を計測するものであり、立体形状を持つ、例えば人の顔等の被計測対象物に対して角度の異なる位置に配置した2つのカメラ、いわゆる基準カメラと検出カメラを用いて画像を撮り込み、これら2つのカメラの撮影する画像に基づいて図1で説明したステレオ法に基づいて被計測対象物の表面形状を計測するものである。 The image processing apparatus is for measuring the three-dimensional shape of the measurement object by applying the stereo method described above, having a three-dimensional shape, for example angles different positions with respect to the measured object such as a face of a human two cameras arranged to, incorporation of the image using the detection camera called reference camera, the surface shape of the measurement object based on the stereo method explained in FIG. 1 on the basis of a captured image of the two cameras it is intended to measure.

【0048】ランダムパターンは、投光パターン照射手段311によって照射される。 The random pattern is illuminated by projection pattern irradiation means 311. この投光パターンは一様乱数や正規乱数に基づく非周期的投光パターンである。 The projection pattern is aperiodic projection pattern based on uniform random numbers and normal random number.
投光されるパターンは例えば非周期投光パターンであり、例えばドットのサイズ、線の長さ、太さ、位置、濃度等に周期性を持たないパターンである。 Pattern projected is a non-periodic projection pattern example, such dot size, line length, thickness, position, a pattern having no periodicity in density or the like.

【0049】非周期的パターンは例えば予めスライド等に形成され、本実施例では赤外光をスライドを介して照射することによって計測対象に対してパターンを投影する。 The aperiodic pattern is formed in advance, for example a slide or the like, in this embodiment projects the pattern with respect to the measurement object by irradiation via the slide infrared light. あるいは、透過型液晶表示素子等を用いて動的にランダムパターンを生成して、これを赤外光を用いて投影してもよい。 Alternatively, dynamically generates a random pattern using a transmission type liquid crystal display element or the like, which may be projected using infrared light. 計測対象300の表面に形成された非周期パターンを計測対象とともに撮像することにより、距離画像生成時の基準カメラと検出カメラの撮像データの対応付けを容易にすることができる。 By imaging the non-periodic pattern formed on the surface of the measurement object 300 with the target object, distance image generation time reference camera and the correspondence of the imaging data of the detection camera can be facilitated.

【0050】なお、図3の構成のように計測対象300 [0050] The measurement object 300 as in the configuration of FIG. 3
にランダムテクスチャ投光パターンを照射するのは、計測対象が例えば壁、人の顔等のように表面の各部を区別する特徴が少なく、基準カメラ画像と検出カメラ画像の画像間対応付けが困難である場合に、撮影画像にランダムパターンを付与して画像間対応付け処理を実行しやすくするためのものである。 Random texture to irradiate the projection pattern, the measurement object, for example, walls, small features distinguish each portion of the surface as such a human face, is difficult between images correspondence of the reference camera image and the detection camera image in some cases, it is provided to facilitate run between image by applying a random pattern associating process to the photographed image. 照射するパターンは、画像間対応付け処理を実行可能とするパターンであればよく、 Pattern to be irradiated may be any pattern that can execute the inter-image correspondence processing,
計測対象自体が特徴的な構成を持つ場合には、簡単なパターン構成としてもよい。 When the measurement object itself has a characteristic structure may be a simple pattern configuration.

【0051】カメラ1,301とカメラ2,302は、 The camera 1,301 and the camera 2,302 is,
計測対象300に対して異なる視線方向に配置されて、 Are arranged at different viewing direction with respect to the measurement target 300,
各視線方向の画像、すなわちランダムパターンの投影された計測対象300を撮影する。 Each viewing direction of the image, that is, taking a projected measurement target 300 of a random pattern. 一方が基準カメラ、他方が検出カメラに対応する。 One reference camera and the other corresponding to the detected camera. 各カメラによって撮影される画像は、同期したタイミングで撮り込まれる。 Images taken by each camera is incorporated taken with synchronized timing. カメラ1,301から撮り込まれた画像は、パターンの付加された画像であるパターン付き画像1,303と、パターンの付加されていない計測対象300の本来の色を反映したテクスチャ画像1,304に分離されて撮り込まれる。 Images incorporated taken from the camera 1 and 301 has a patterned image 1,303 is added image pattern, the texture image 1,304 reflecting the original color of the measurement object 300 is not added in pattern is incorporated take are separated. この分離方法については、図4を用いて、後段で説明する。 This separation method, with reference to FIG. 4 will be described later. 一方カメラ2,302から撮り込まれた画像も、パターンの付加された画像であるパターン付き画像2,305と、パターンの付加されていない計測対象3 Meanwhile even images incorporated taken from the camera 2,302, and patterned images 2,305 is added image pattern, the measurement object 3 is not added in pattern
00の本来の色を反映したテクスチャ画像2,306に分離されて撮り込まれる。 00 is separated into the original texture image 2,306 reflecting the color is incorporated take.

【0052】画像間対応付け手段307は、カメラ1, [0052] The inter-image associating unit 307, the camera 1,
301によって撮り込まれたパターン付き画像1,30 Patterned was incorporated taken by 301 image 1,30
3と、カメラ2,302によって撮り込まれたパターン付き画像2,305を入力して各投光パターン画像間の対応付け処理を行なう。 3 and inputs the patterned images 2,305 was incorporated taken by the camera 2,302 to associate processing between the projection pattern image. すなわち、カメラ1,301の撮影した画像の各画素に対するカメラ2,302の撮影した検出画像の画素の対応付け処理を行ない、基準画像に対する検出画像の視差データを距離画像生成手段30 That performs photographed correspondence processing of the pixels of the detection image of the camera 2,302 for each pixel of the captured image of the camera 1 and 301, the distance image generating means parallax data of the detected image relative to the reference image 30
8に出力する。 And outputs it to the 8. 画像間対応付け手段307における画像間の対応付け処理においては、各画像の補正値等を設定したキャリブレーションパラメータを用いて行われる。 In correspondence processing between images in the image between the associating means 307 is performed using the calibration parameter set the correction value of each image.

【0053】投光パターン照射手段311の照射する投光パターンは、先に説明したように非周期的なパターンであり、各カメラによって撮影した画像の対応付けが比較的容易に行われる。 [0053] projection pattern of irradiation of the projection pattern irradiation means 311 is a non-periodic pattern as described earlier, the association of the image taken by each camera can be relatively easily carried out. 距離画像生成手段308は、画像間対応付け手段307の生成した視差データに基づいて距離画像を生成する。 Distance image generating means 308 generates a distance image based on the generated parallax data of the image between the associating means 307.

【0054】なお、図3に示す構成の各ブロックにおける処理、およびブロック間データ転送制御等は、図示しない制御手段によって制御され、所定のメモリ、例えばRAM,ROM等の半導体メモリ、磁気ディスク、光ディスク等の記憶媒体に記録された制御プログラムによって制御することができる。 [0054] The processing in each block of the configuration shown in FIG. 3, and the block data transfer control, etc., are controlled by a control means (not shown), a predetermined memory such state RAM, solid state memory such as a ROM, a magnetic disk, an optical disk it can be controlled by a control program recorded in a storage medium like. また、図示しない入力手段によってユーザがコマンド、パラメータ等を入力して各制御態様を変更することが可能である。 It is also possible to the user by the input means (not shown) commands, to change each control mode to input parameters, and the like.

【0055】図3の画像処理装置は、パターン光を付与した計測対象パターン付き画像と、パターン光が取り除かれた計測対象テクスチャ画像を同時に撮り込むことが可能な装置である。 [0055] The image processing apparatus of FIG. 3, a measurement target pattern with the image obtained by applying a pattern light is a device capable Komu take the target object texture image pattern light is removed at the same time. 本構成によれば、パターン光を付与した計測対象に基づく高精度な距離画像と、パターン光が取り除かれた計測対象画像であるテクスチャ画像が同時に得られるので、これら両画像に基づいて高精度な三次元画像を容易に得ることができる。 According to this configuration, a high-precision distance image based on the measurement target that impart a pattern light, since the texture image is obtained simultaneously to be measured image pattern light is removed, high precision on the basis of these two images it is possible to obtain a three-dimensional image easily. すなわち、従来のパターン付与画像からパターンを取り除く画像処理が不要になる。 That is, the image processing of removing the pattern from the conventional patterning images becomes unnecessary.

【0056】図4に、本発明の画像処理装置におけるカメラ部、すなわち図3におけるカメラ1,301とカメラ2,302の内部構成を示す。 [0056] Figure 4, the camera unit in the image processing apparatus of the present invention, i.e., showing the internal configuration of the camera 1,301 and the camera 2,302 in FIG. 計測対象の撮影画像はレンズ401を介して撮像素子402において撮像される。 Captured image of the target object is captured by the image capturing device 402 via the lens 401. 撮像素子402は、例えばCCD(Charged Image sensor 402 is, for example CCD (Charged
coupled device)、あるいはCMOS coupled device), or a CMOS
(Complementary metal oxid (Complementary metal oxid
e semiconductor)であり、各画素において光電変換により光が電荷に変換される素子によって構成される。 An e Semiconductor), constituted by an element which light is converted into charges by the photoelectric conversion in each pixel.

【0057】撮像素子402の前面、すなわちレンズ4 [0057] front of the image pickup device 402, i.e. the lens 4
01側には、光学フィルタ403が撮像素子402の各画素に対応して形成されている。 01 side, the optical filter 403 is formed corresponding to each pixel of the image sensor 402. すなわち、撮像素子4 That is, the imaging element 4
02は、光学フィルタ403を介して撮影画像を撮り込む構成となっている。 02 has a configuration Komu take a photographed image through the optical filter 403. 光学フィルタ403は、2つの種類のフィルタ、光学フィルタAと光学フィルタBを各画素毎に対応付けた構成を持つ。 The optical filter 403 has two types of filters, the configuration that associates each pixel of the optical filter A and the optical filter B. 例えば光学フィルタAは可視光カットフィルタであり、光学フィルタBは赤外光カットフイルタである。 For example, the optical filter A is a visible light cut filter, an optical filter B is an infrared light cut filter.

【0058】図5に光学フィルタ403の例を2つ示す。 [0058] shows two examples of the optical filter 403 in FIG. 5. 図5(1)、(2)において、1つの四角形が撮像素子402の1画素に対応する。 Figure 5 (1), (2), one square corresponds to one pixel of the imaging element 402. 図5(1)の例は、隣合う画素が異なるフィルタを持つように構成した例である。 Example 5 (1), the adjacent pixel is an example which is configured to have different filter. また、図5(2)は、4画素を1組として同一フィルタを対応させた例である。 Further, FIG. 5 (2) is an example showing the correspondence of the same filter four pixels as one set. なお、これらの図は、光学フィルタ403の配列の一部を示すものであり、実際は、撮像素子402の全画素に対応して、図5に示す配列と同様のパターンが配置されているものである。 Note that these figures are showing a portion of an array of optical filter 403, in fact, corresponding to all the pixels of the image pickup device 402, in which the same pattern as the arrangement shown in FIG. 5 is located is there.

【0059】さらに、光学フィルタ403の異なる例を2つ図6に示す。 [0059] Further, it shows different examples of the optical filter 403 into two Fig. 図6(3)、(4)において、1つの枠が撮像素子402の1画素に対応する。 6 (3), (4), one frame corresponds to one pixel of the imaging element 402. 図6(3)の例は、列方向に同一フィルタを配列し隣り合う列における画素が異なるフィルタを持つように構成した例である。 Example of FIG. 6 (3), the pixels in adjacent rows are arranged the same filter in the column direction is an example configured to have different filter. また、図6(4)は、行方向に同一フィルタを配列し隣り合う行における画素が異なるフィルタを持つように構成した例である。 6 (4), the pixels in adjacent rows are arranged the same filter in the row direction is an example configured to have different filter.

【0060】図5または図6に示すような光学フィルタ403を介して撮像素子402に撮り込まれた画像は、 [0060] Figure 5 or images incorporated into the imaging element 402 via the optical filter 403, as shown in Figure 6,
図4に示す読み出し部404によって読み出される。 Read by the reading unit 404 shown in FIG. 読み出し部404は、撮像素子402の各画素の電荷を電圧に変換して読み出し、A/D変換部405に出力する。 Reading unit 404 reads and converts the charge of each pixel of the image pickup element 402 into a voltage, and outputs to the A / D converter 405. A/D変換部は各画素の電圧信号を、各画素の輝度を示すデジタルデータに変換して、フレームメモリ40 A / D conversion unit to a voltage signal of each pixel is converted into digital data indicating the brightness of each pixel, a frame memory 40
6に格納する。 And stores it in the 6.

【0061】フレームメモリ406に格納された輝度データは、各画素ごとに順次、輝度データ選択部407に出力され、光学フィルタAが対応づけられた画素の輝度データと、光学フィルタBが対応づけられた画素の輝度データを分離してそれぞれ出力する。 [0061] luminance data stored in the frame memory 406 sequentially for each pixel, is output to the luminance data selection unit 407, and the luminance data of the pixel optical filter A is associated, the optical filter B is associated and it outputs each separated luminance data of pixels. 輝度データ選択部407は、図5に示す光学フィルタ403の構成データを有し、この構成データに基づいて各画素の位置データを保持して、各画素の輝度データを分離して出力する。 Luminance data selection unit 407 has a configuration data of the optical filter 403 shown in FIG. 5, holds the position data of each pixel based on the configuration data, and outputs the separated luminance data of each pixel.

【0062】分離出力された輝度データの例を図7に示す。 [0062] An example of a separation output luminance data in Fig. 図7は、図5(1)の光学フィルタを用いた場合に得られる分離された出力データを示したものである。 Figure 7 shows the output data separated obtained when using the optical filter of FIG. 5 (1).

【0063】図7(1)は、光学フィルタA(可視光カットフィルタ)が対応付けられた画素の輝度データを集積したデータである。 [0063] FIG. 7 (1) is a data obtained by integrating the luminance data of the pixel optical filter A (visible light cut filter) is associated. 各画素中(A)が示されている部分が輝度データを有する画素であり、(−)が示されている部分は輝度データを持たない画素である。 Portion of each pixel (A) is shown a pixel having a luminance data, (-) part is shown is a pixel having no luminance data. (A)が示されている画素は光学フィルタA(可視光カットフィルタ)によってフィルタリングされた画像に基づく輝度データを有する。 Pixel (A) is shown having a luminance data based on the filtered image by the optical filter A (visible light cut filter). すなわち赤外光によって照射されたパターン光を撮り込んだ画像であるパターン付き画像が図7(1)の(A)部分に撮り込まれている。 That patterned image is incorporated into the (A) portion of FIG. 7 (1) is an image crowded take pattern light irradiated by the infrared light.

【0064】一方、図7(2)は、光学フィルタB(赤外光カットフィルタ)が対応付けられた画素の輝度データを集積したデータである。 [0064] On the other hand, FIG. 7 (2) is a data obtained by integrating the luminance data of the pixel optical filter B (infrared cut filter) is associated. 各画素中(B)が示されている部分が輝度データを有する画素であり、(−)が示されている部分は輝度データを持たない画素である。 Portion of each pixel (B) is shown a pixel having a luminance data, (-) part is shown is a pixel having no luminance data.
(B)が示されている画素は光学フィルタB(赤外光カットフィルタ)によってフィルタリングされた画像に基づく輝度データを有する。 Pixels (B) are shown having a luminance data based on the filtered image by the optical filter B (infrared cut filter). すなわち赤外光によって照射されたパターンはフィルタBによってカットされ、計測対象の本来の色データを反映したテクスチャ画像を撮り込んだ画像であるテクスチャ画像が図7(2)の(B) That infrared patterns emitted by the light is cut by the filter B, the texture image is the original image crowded take texture image reflecting the color data of the measurement target 7 of (2) (B)
の部分に撮り込まれている。 It has been incorporated take of the part.

【0065】図4に示す輝度データ選択部407は、この図7に示す2つの分離画素データをそれぞれ出力する。 [0065] luminance data selection unit 407 shown in FIG. 4 outputs two split pixel data shown in FIG. 7, respectively. 図4に示す構成は、図3に示す少なくともカメラ1 Configuration shown in Figure 4, at least the camera shown in FIG. 3 1
に構成されており、図7(1)に示す輝度データがパターン付き画像1,303として出力され、図7(2)に示す輝度データがテクスチャ画像1,304として出力されることになる。 Is configured in the luminance data shown in FIG. 7 (1) is output as a patterned image 1,303, so that the luminance data shown in FIG. 7 (2) is output as the texture image 1,304.

【0066】一方、カメラ2,302はカメラ1と同様の構成として距離画像生成用のパターン付き画像とテクスチャ画像を得る構成としてもよく、あるいは距離画像生成用のパターン付き画像のみを得る構成としてもよい。 [0066] On the other hand, the camera 2,302 even in a configuration to obtain at best, or only the distance patterned image for image generation as a configuration obtaining the patterned image and the texture image for distance image generated as the same structure as the camera 1 good.

【0067】カメラ2,302をカメラ1と同様、距離画像生成用のパターン付き画像とテクスチャ画像を得る構成とした場合は、図7(1)に示すと同様の輝度データをパターン付き画像2,305として出力し、図7 [0067] Similarly the camera 2,302 camera 1, the distance image when the obtained constituting the patterned image and the texture image for generating, 7 (1) to the patterned image 2 Similar luminance data when shown, output as 305, FIG. 7
(2)に示すと同様の輝度データをテクスチャ画像2, Texture image 2 Similar luminance data to that shown in (2),
306として出力する。 And outputs it as a 306. カメラ2,302によって撮り込まれたパターン付き画像2,305は距離画像生成用データとして画像間対応付け手段307に出力され、カメラ2,302によって撮り込まれたテクスチャ画像2,306は、カメラ1,301によって撮り込まれたテクスチャ画像1,304の補間用データとして用いることができる。 Patterned images 2,305 that was incorporated taken by the camera 2,302 will be output to the inter-image correlation means 307 as a distance image generation data, texture image 2,306 that was incorporated taken by the camera 2,302, the camera 1 it can be used as interpolation data of the texture images 1,304 was incorporated taken by 301.

【0068】なお、テクスチャ画像はカメラ1,301 [0068] In addition, the texture image camera 1,301
によって撮り込まれており、カメラ2,306によってテクスチャ画像を撮り込む必要がない場合は、カメラ2 Are incorporated taken by, when there is no need Komu take texture image by the camera 2,306, camera 2
は距離画像を生成するためのパターン付き画像のみを得る構成としてもよい。 May be configured to obtain only patterned image for generating a distance image. その場合は、カメラ2,302は図4に示す2つの種類の光学フィルタを画素毎に対応させた構成を持つ必要がなく、可視光カットフィルタを撮像素子の全画素に対応付けた構成とすることができる。 In that case, the camera 2,302 will not need to have a configuration corresponding to each pixel of two types of optical filter shown in FIG. 4, a configuration that associates the visible light cut filter to all pixels of the imaging device be able to.

【0069】図3に示す画像間対応付け手段307は、 [0069] The inter-image associating unit 307 shown in FIG. 3,
カメラ1,301によって撮り込まれたパターン付き画像1,303と、カメラ2,302によって撮り込まれたパターン付き画像2,305を入力する。 A patterned image 1,303 which incorporated a taken by the camera 1 and 301, and inputs a patterned image 2,305 was incorporated taken by the camera 2,302. これらのパターン付き画像は、図7(1)に示す画像データであり、全画素についてのデータを保有するものではないが、画像間対応付け手段307における画像間対応付け処理は、これらの画素データのみに基づいて行なうことが可能である。 These patterned image is image data shown in FIG. 7 (1), but not to hold data for all pixels, the correspondence processing between images in the image between the associating means 307, the pixel data it is possible to carry out based on only. なお、必要であれば、輝度データを持たない画素について、周辺画素の輝度データに基づく補間処理を実行してもよい。 Incidentally, if necessary, for a pixel having no luminance data, it may perform the interpolation processing based on the luminance data of the surrounding pixels. あるいは、輝度データのない画素について、隣接のX軸方向、あるいはY軸方向にシフトした輝度データを使用することも可能である。 Alternatively, for the pixel having no luminance data, it is also possible to use the luminance data that is shifted in the X axis direction or Y-axis direction, the adjacent. この処理を行なうと、画像間対応付け処理において1画素ずれた異なった点を対応点とする可能性があるが、画像全体をマクロ的に観察する場合には、このミクロ的な誤差は問題とならない。 Doing this process, the different points shifted by one pixel in correspondence processing between images might be a corresponding point, but when observing the entire image macroscopically, this microscopic errors and problems not not.

【0070】また、カメラ1,301によって得られるテクスチャ画像1,304についても、距離画像生成用画像と同様、図7(2)に示すように、全画素についてのデータを保有するものとはならないが、これらの画素データに基づいて得られる画像をテクスチャ画像としてもマクロ的には問題となることはない。 [0070] Moreover, the texture image 1,304 obtained by the camera 1 and 301 as well, similar to the range image generating images, as shown in FIG. 7 (2), not intended to retain data for all pixels but it does not become a problem in macro image obtained based on the pixel data as a texture image. 必要であれば、 If necessary,
データを持たない画素について、周辺画素のデータに基づく補間処理を実行してもよい。 For pixels having no data, it may perform interpolation processing based on data of surrounding pixels. また、カメラ2,30 In addition, the camera 2,30
2から得られるテクスチャ画像2,306を用いて補間処理を行なってもよい。 The texture image 2,306 obtained from 2 may perform interpolation using.

【0071】なお、図4に示す構成は、カメラ部構成として説明したが、これらの構成のすべての構成要素をカメラ内の構成とする必要はなく、例えばフレームメモリ406、輝度データ選択部407等の構成をカメラ外に構成してカメラからデータ転送を行なうようにしてもよい。 [0071] Note that the structure shown in FIG. 4 has been described as a camera unit configured, all of the components of these configurations is not necessary to adopt a configuration in the camera, for example, a frame memory 406, luminance data selection unit 407, etc. the structure may be a camera configured outside the camera to perform data transfer. また、フレームメモリ406を介さずにA/D変換部405から直接輝度データを輝度データ選択部407 The luminance data selection unit 407 luminance data directly from the A / D converter 405 without passing through the frame memory 406
に出力する構成としてもよい。 It may be configured to output to. この構成例を図8に示す。 It shows this configuration example in FIG.

【0072】次に、本発明の画像処理装置を使用した具体的な画像処理例を図9を用いて説明する。 Next, a specific image processing example using the image processing apparatus of the present invention will be described with reference to FIG. 図9において、計測対象901はカップであり、計測対象901に対してパターン投光手段900から赤外光を用いてランダムパターンが照射される。 9, the measurement target 901 is a cup, a random pattern is irradiated from the pattern projecting means 900 with respect to the measurement object 901 using the infrared light. このパターンは、画像間対応付け手段による画像間対応付け処理を精度よく実行可能とするためのパターンであり、例えば非周期的なパターンからなるランダムドットパターンが用いられる。 This pattern, the inter-image correlation processing by the image between correlating means is a pattern for a high accuracy can be executed, a random dot pattern is used for example made of a non-periodic pattern.

【0073】カメラ1,902と、カメラ2,903によってパターンの照射された計測対象901の画像を異なる方向から撮り込む。 [0073] The camera 1,902, Komu takes an image of the illuminated measurement target 901 of the pattern from different directions by the camera 2,903. カメラ1,902と、カメラ2,903は、それぞれ位置が固定されており、距離を求めるために必要なパラメータはキャリブレーションによって予め算出されている。 A camera 1,902, camera 2,903 are respectively located is fixed, parameters necessary for determining the distance is calculated in advance by calibration.

【0074】カメラ1,902と、カメラ2,903 [0074] The camera 1,902, camera 2,903
は、図5で説明したように、2つの異なる光学フィルタA,Bが画素毎に対応付けられた撮像素子を有するものであり、赤外光カットフィルタと可視光カットフィルタとが画素毎に対応付けられたフィルタを介して画像を撮り込む。 , As described in FIG. 5, two different optical filters A, B is one having an image sensor associated with each pixel, corresponding to each pixel and an infrared light cut filter and the visible light cut filter Komu take images through a filter attached. なお、光学フィルタA,Bの組合わせは、可視光カットフィルタと赤外光カットフィルタとに限らない。 The optical filter A, the combination of B is not limited to the visible light cut filter and infrared cut filter.

【0075】例えば、光学フィルタAとして赤外光のみを通過させ可視光のみならず例えば紫外線等の他の波長の光もカットする帯域カットフィルタを用いてパターン画像を撮り込み、光学フィルタBとして赤外光カットフィルタを用いてテクスチャ画像を撮り込む構成としてもよい。 [0075] For example, incorporation of pattern images by using other band cut filter light also cut wavelength such as infrared only allowed to pass through light visible light not only for example ultraviolet rays as optical filters A, red as an optical filter B it may take Komu constituting a texture image using external light cut filter. あるいは、光学フィルタBとして赤外光カットフィルタを用いてテクスチャ画像を撮り込み、光学フィルタAの部分にはフィルタを取り付けない構成としてパターン画像を撮り込む構成としてもよい。 Alternatively, incorporation of the texture image by using an infrared light cut filter as the optical filter B, may be configured Komu taken pattern image as a structure without attaching a filter to a portion of the optical filter A.

【0076】このような構成とすることにより、カメラ1,902から、照射パターンの取り除かれたテクスチャ画像1,904と、照射パターン付き画像1,906 [0076] With such a configuration, the camera 1,902, and texture image 1,904 was cleared of the irradiation pattern, the irradiation patterned images 1,906
が撮り込まれ、カメラ2,903から、照射パターンの取り除かれたテクスチャ画像2,905と、照射パターン付き画像2,907が撮り込まれる。 Is incorporated taken, the camera 2,903, and texture image 2,905 was cleared of the irradiation pattern, is incorporated subject is irradiated patterned images 2,907.

【0077】距離画像生成部908は、カメラ1,90 [0077] The distance image generation unit 908, a camera 1,90
2の撮影した照射パターン付き画像1,906と、カメラ2,903の撮影した照射パターン付き画像2,90 And 2 of the captured irradiated patterned images 1,906, irradiation patterned image captured in the camera 2,903 2,90
7を入力して、予め実行されたキャリブレーションによって算出済みのパラメータを用いて画像間対応付け処理を実行して視差データを取得し距離画像を生成する。 7 to input, by executing the inter-image correspondence processing for generating the acquired distance image parallax data by using the parameters already determined by the previously executed calibration. 距離画像生成部908は、計測対象901にランダムパターンが投影された画像を用いて画像間対応付け処理を実行できるので、高精度な距離画像909を生成することが可能となる。 Distance image generating unit 908, it is possible to perform the inter-image correspondence processing using images random pattern is projected onto the target object 901, it is possible to generate an accurate distance image 909.

【0078】また、パターンの投影されていないテクスチャ画像は、カメラ1,902の撮影したテクスチャ画像1,904と、カメラ2,903の撮影したテクスチャ画像2,905がパターン付き画像と同時に撮り込まれる。 [0078] In addition, the texture image that has not been projected pattern, and texture image 1,904, photographed by camera 1,902, texture image 2,905, photographed by camera 2,903 is incorporated to take at the same time as the pattern with image . 距離画像生成部908において生成された距離画像データとテクスチャ画像1,904により高精度な三次元画像データを生成することが可能となる。 The distance image generation unit distance image data generated in 908 and the texture image 1,904 is possible to generate an accurate three-dimensional image data. なお、カメラ1,902の撮影したテクスチャ画像1,904について、カメラ2,903の撮影したテクスチャ画像2,905を用いて補間処理を実行してもよい。 Note that the captured texture image 1,904 were camera 1,902, the texture image 2,905 captured camera 2,903 may perform an interpolation process using.

【0079】図10に本発明の画像処理装置における距離画像生成処理フローを示す。 [0079] showing the distance image generating process flow in the image processing apparatus of the present invention in FIG. 10. 図10のフローの各ステップについて説明する。 It will be described the steps of the flow of FIG. 10.

【0080】ステップS1001は、計測対象である物体に赤外光パターンを照射し、異なる方向に設置したカメラ1,カメラ2によって同時に計測対象の像を撮り込むステップである。 [0080] Step S1001 is irradiated with infrared light pattern on the object to be measured, a camera 1 is installed in a different direction, Komu taking simultaneously image of the measurement target by the camera 2 steps.

【0081】ステップS1002は、カメラ1からテクスチャ画像1と、パタン付き画像1を取得し、カメラ2 [0081] Step S1002 is acquired from the camera 1 and the texture image 1, the pattern with image 1, camera 2
からテクスチャ画像2と、パタン付き画像2を取得するステップである。 A texture image 2 from a step of acquiring a pattern image with 2. これは、先に説明した図4、または図8に示す構成によって実行されるステップである。 This is a step that is executed by the configuration shown in FIG. 4 or FIG. 8, described above.

【0082】ステップS1003は距離画像生成部において、カメラ1の撮影した照射パターン付き画像1と、 [0082] In step S1003 the distance image generation unit, a radiation patterned image 1 taken in the camera 1,
カメラ2の撮影した照射パターン付き画像2を入力して、キャリブレーション・パラメータを用いて画像間対応付け処理を実行して視差データを取得し距離画像を生成するステップである。 Enter the irradiation pattern with image 2, photographed by the camera 2, a step of generating the acquired distance image parallax data by executing the inter-image correspondence processing using the calibration parameter.

【0083】なお、上述の実施例においては、パターン照射光を赤外光を用いて計測対象に照射して、カメラのフィルタとして赤外光カットフィルタを設けた構成により、パターンを取り除いたテクスチャ画像を撮り込む構成について説明したが、例えばパターン照射光を紫外光を用いて計測対象に照射して、カメラのフィルタとして紫外光カットフィルタを用いて、紫外光カットフィルタを対応させた画素の撮り込み画像に基づいてテクスチャ画像を得る構成としてもよい。 [0083] In the above embodiment, the pattern irradiation light is irradiated onto the target object using the infrared light, the configuration in which the infrared light cut filter as a camera filter, texture image obtained by removing the pattern configuration has been described Komu take, for example, the pattern irradiation light is irradiated onto the target object by using ultraviolet light, using a UV light cut filter as a camera filter, incorporation of a pixel is made to correspond to the ultraviolet light cut filter it may be configured to obtain the texture image based on the image.

【0084】さらに、赤外光、紫外光のように波長帯域によって可視光と分離する手法のみならず、例えば、パターン照射を一定の偏波光として照射する構成とするとともに、撮像素子に設ける光学フィルタに偏光板を適用して、偏光板を通過した画素部分にはパターン光を入力させない構成としてもよい。 [0084] Furthermore, infrared light, not only technique for separating the visible light wavelength band as ultraviolet light, for example, with a configuration for irradiating the pattern irradiation as a constant polarized light, an optical filter provided in the imaging device by applying a polarizing plate may be configured not to enter a pattern light to a pixel portion which has passed through the polarizing plate.

【0085】あるいは、パターン光を光強度(輝度)の弱い照射光によって計測対象に照射する構成とするとともに、撮像素子に光強度を低減させる光強度低減フィルタを設けることにより、フィルタを通過した画素部分にはパターン光を入力させない、あるいはパターン光を目立たなくする構成としてもよい。 [0085] Alternatively, with a configuration for irradiating the measurement target pattern light by a weak irradiation light of the light intensity (brightness), by providing a light intensity reducing filter for reducing the light intensity on the image sensor, pixels that pass the filter not input pattern light in part, or may be configured to obscure the pattern light.

【0086】このように、パターン光を照射する光特性に応じて撮像素子のフィルタ構成をパターン光入力画素と、パターン光非入力画素との組合わせ構成とし、パターン付き画像とテクスチャ画像とを同時に撮り込み、これら2つの種類の画像データを各画像データを取り込んだ画素に応じて分離し、パターン光を撮り込んだ画素データを距離画像生成用画像として用い、パターン光を撮り込まない画素データをテクスチャ画像として用いることで、従来のようなパターン光が写し込まれた画像からパターンを取り除くといった煩雑な画像処理が不要となる。 [0086] Thus, the pattern light input pixel filter configuration of an imaging device in accordance with the light characteristic of irradiating the pattern light, a combination structure of the pattern light non-input pixel, the patterned image and the texture image at the same time taken narrowing, these two types of image data separated in accordance with the pixel captured each image data, using the pixel data elaborate taking pattern light as a distance image generation image, the pixel data not incorporated take pattern light by using as a texture image, complicated image processing such as conventional like pattern light is imprinted image removing pattern becomes unnecessary.

【0087】なお、上述の実施例では、画像撮り込みを行なうカメラを2台として、2つの投光パターン画像から距離画像を求める構成について説明したが、さらに3 [0087] In the above embodiment, the two cameras to perform incorporation image has been described for the case where obtaining a distance image from the two projection pattern image, further 3
台以上のカメラを用いたマルチベースラインステレオシステムにおいて本発明を適用することも可能である。 It is also possible to apply the present invention in a multi-baseline stereo system using a trapezoidal or more cameras. さらに、本発明の構成は上述したステレオ法に基づく距離計測のみならず、パターン光を投影することによって距離計測を行なう光切断法や、空間コード(2次元コード化パターン)法による距離計測においても応用可能である。 Furthermore, the configuration of the present invention not only the distance measurement based on the stereo method as described above, and light-section method for performing distance measurement by projecting a pattern light, even in the distance measurement by the spatial encoding (2-dimensional code pattern) method it is applicable.

【0088】以上、特定の実施例を参照しながら、本発明について詳解してきた。 [0088] above with reference to specific embodiments, the present invention has been described in detail. しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施例の修正や代用を成し得ることは自明である。 However, it is obvious that those skilled in the art without departing from the scope of the present invention can make modifications and substitutions of the embodiment. すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。 In other words, the foregoing discloses the present invention in the form of illustration and should not be construed as limiting. また、上述の実施例を適宜組み合わせて構成したものも、本発明の範囲に含まれるものであり、本発明の要旨を判断するためには、冒頭に記載した特許請求の範囲の欄を参酌すべきである。 Also, those formed by combining the above-described embodiments as appropriate, which are included in the scope of the present invention, in order to determine the gist of the present invention, be referred to the appended claims set forth at the outset it should.

【0089】 [0089]

【発明の効果】以上、詳記したように、本発明の画像処理装置および画像処理方法によれば、距離画像を生成する計測対象を撮影する撮像素子に2つの異なる画像を撮り込むためのフィルタを設け、撮像素子の一部の画素をパターン光入力画素とし、他の画素をパターン光非入力画素とする構成としたので、距離画像生成用のパターン画像と、パターンの取り除かれたテクスチャ画像の2つの画像を同時に撮り込むことが可能となり、パターン画像を用いた高精度な距離画像が生成可能となるとともに、生成した距離画像に基づく距離データとテクスチャ画像に基づいて容易に高精度な三次元画像データを生成することが可能となる。 Effect of the Invention] As has been Shoki, according to the image processing apparatus and image processing method of the present invention, a filter for Komu take two different images on the imaging element for photographing the measurement target to generate a distance image the provided, as part of the pattern light input pixel a pixel of the image sensor, since a configuration in which the pattern light non-input pixel other pixel, the distance image for the generation of the pattern image, the removed texture image of the pattern it is possible to Komu take two images simultaneously, with high precision the distance image can be generated using a pattern image, easily accurate three-dimensional based on the distance data and the texture image based on the generated distance image it becomes possible to generate image data.

【図面の簡単な説明】 BRIEF DESCRIPTION OF THE DRAWINGS

【図1】本発明において使用される三次元情報取得構成として適用可能なステレオ法について説明した図である。 1 is a diagram explaining applicable stereo method as a three-dimensional information acquisition arrangement used in the present invention.

【図2】ステレオ法を適用した距離画像生成において行われる画像間対応付け処理について説明する図である。 2 is a diagram for associating process is described between the images is performed in the distance image generated according to the stereo method.

【図3】本発明の画像処理装置の構成を示す図である。 3 is a diagram showing a configuration of an image processing apparatus of the present invention.

【図4】本発明の画像処理装置におけるカメラ部の構成を示す図である。 It is a diagram showing a configuration of a camera unit in the image processing apparatus of the present invention; FIG.

【図5】本発明の画像処理装置において適用される光学フィルタの構成例(その1)を示す図である。 [5] Configuration Example of the optical filter to be applied in the image processing apparatus of the present invention is a diagram showing a (first).

【図6】本発明の画像処理装置において適用される光学フィルタの構成例(その2)を示す図である。 Configuration example of an optical filter to be applied in the image processing apparatus of the present invention; FIG illustrates (part 2).

【図7】本発明の画像処理装置において得られるパターン付き画像と、テクスチャ画像のデータ取得画素構成について説明する図である。 A patterned image obtained in the image processing apparatus of the present invention; FIG diagrams for explaining data acquisition pixel structure of the texture image.

【図8】本発明の画像処理装置におけるカメラ部の構成(例2)を示す図である。 8 is a diagram showing a configuration of a camera section (Example 2) in the image processing apparatus of the present invention.

【図9】本発明の画像処理装置における画像処理の具体的実施例を説明する図である。 It is a schematic diagram illustrating a specific example of the image processing in the image processing apparatus of the present invention; FIG.

【図10】本発明の画像処理装置における像撮り込みおよび距離画像生成処理フローを説明する図である。 It is a diagram illustrating an image taken narrowing and the distance image generating process flow in the image processing apparatus of the present invention; FIG.

【符号の説明】 DESCRIPTION OF SYMBOLS

300 計測対象 301 カメラ1 302 カメラ2 303 パターン付き画像1 304 テクスチャ画像1 305 パターン付き画像2 306 テクスチャ画像2 307 画像間対応付け手段 308 距離画像生成手段 311 投光パターン照射手段 401 レンズ 402 撮像素子 403 光学フィルタ 404 読み出し部 405 A/D変換部 406 輝度データ選択部 900 投光パターン照射手段 901 計測対象 902 カメラ1 903 カメラ2 904 テクスチャ画像1 905 テクスチャ画像2 906 パターン付き画像1 907 パターン付き画像2 908 距離画像生成部 909 距離画像 300 measuring target 301 camera 1 302 Camera 2 303 patterned image 1 304 texture image 1 305 patterned image 2 306 texture image 2 307 between images correlating means 308 distance image generation unit 311 projection pattern irradiation means 401 lens 402 image sensor 403 The optical filter 404 reading section 405 A / D conversion unit 406 luminance data selection unit 900 projection pattern irradiation means 901 measuring target 902 camera 1 903 camera 2 904 texture image 1 905 texture image 2 906 patterned image 1 907 patterned image 2 908 distance image generating unit 909 distance image

フロントページの続き Fターム(参考) 2F065 AA04 AA06 AA53 FF05 FF49 HH00 HH07 LL22 LL24 LL26 LL32 QQ03 QQ24 QQ25 QQ31 2H059 AA10 AA18 CA01 5B057 BA02 BA15 CA08 CA12 CA16 CB08 CB13 CB16 DA07 DA20 DB03 DB09 DC32 DC36 5C076 AA11 AA19 Front page of the continued F-term (reference) 2F065 AA04 AA06 AA53 FF05 FF49 HH00 HH07 LL22 LL24 LL26 LL32 QQ03 QQ24 QQ25 QQ31 2H059 AA10 AA18 CA01 5B057 BA02 BA15 CA08 CA12 CA16 CB08 CB13 CB16 DA07 DA20 DB03 DB09 DC32 DC36 5C076 AA11 AA19

Claims (14)

    【特許請求の範囲】 [The claims]
  1. 【請求項1】計測対象にパターン光を照射してパターン光を投影した画像に基づいて計測対象の距離データを生成する画像処理装置において、 計測対象にパターン光を投影するパターン投光手段と、 計測対象の画像を画素単位で撮り込み、各画素毎に画像の輝度データを格納する撮像素子と、 前記撮像素子を構成する複数画素の一部画素において前記パターン光を投影したパターン付き画像を撮り込み、 1. A picture processing apparatus for generating distance data of the measurement object based on the image obtained by projecting a pattern light is irradiated with pattern light onto the target object, and the pattern light projection means for projecting a pattern light onto the target object, an image of the measurement object uptake in units of pixels, taking an imaging device for storing the luminance data of the image for each pixel, a patterned image projected with the pattern light in some pixels of a plurality of pixels constituting the image sensor Inclusive,
    前記撮像素子を構成する他の画素において前記パターン光を取り除いたテクスチャ画像を撮り込むように構成した光学フィルタと、 前記撮像素子に格納された画像データを、前記パターン付き画像を撮り込んだパターン画像撮り込み画素データと、前記テクスチャ画像を撮り込んだテクスチャ画像撮り込み画素データとに分離して出力するデータ選択手段と、 前記データ選択手段において分離出力された前記パターン付き画像に基づいて前記計測対象の距離データを算出する距離画像生成手段と、 を有することを特徴とする画像処理装置。 An optical filter configured as Komu take texture image obtained by removing the pattern light in the other pixels constituting the image pickup device, the image data stored in the image pickup device, elaborate take the patterned image pattern image and pixel data incorporation, and data selection means and outputting the separated and the texture image crowded take pixel data incorporation texture image, the measurement target on the basis of the separation outputted the patterned image in said data selection means the image processing apparatus characterized by having the distance image generating means for calculating the distance data.
  2. 【請求項2】前記光学フィルタは、前記撮像素子においてパターン付き画像を撮り込む画素と、テクスチャ画像を撮り込む画素各々に対応させて異なる光透過特性を有する光学フィルタを配置した構成であることを特徴とする請求項1に記載の画像処理装置。 Wherein said optical filter includes a pixel Komu take a patterned image in the imaging device, that in correspondence with the respective pixels Komu take texture image is a configuration of arranging the optical filters having different light transmission characteristics the image processing apparatus according to claim 1, wherein.
  3. 【請求項3】前記光学フィルタは、異なる2つの波長帯域の光をカットする2つの異なる種類の帯域カットフィルタを前記撮像素子のパターン付き画像撮り込み画素と、テクスチャ画像撮り込み画素の各々に対応させて配置したことを特徴とする請求項1に記載の画像処理装置。 Wherein said optical filter includes two different types of pixel uptake patterned images of the band cut filter the image pickup device for cutting off light of two different wavelength bands, corresponding to each pixel uptake texture image the image processing apparatus according to claim 1, characterized in that arranged by.
  4. 【請求項4】前記光学フィルタは、前記撮像素子のパターン付き画像撮り込み画素と、テクスチャ画像撮り込み画素の各々に対応させてそれぞれ異なる光透過特性を有する異なる種類の光学フィルタを配置した構成であり、 Wherein said optical filter includes a pixel incorporation patterned image of the imaging device, a configuration of arranging the different types of optical filters having different light transmission characteristics respectively in correspondence to each of the pixels uptake texture image Yes,
    前記光学フィルタの少なくとも一方を偏光板によって構成したことを特徴とする請求項1に記載の画像処理装置。 The image processing apparatus according to claim 1, characterized in that at least one of the optical filter constituted by a polarizing plate.
  5. 【請求項5】前記光学フィルタは、前記撮像素子のパターン付き画像撮り込み画素と、テクスチャ画像撮り込み画素の各々に対応させてそれぞれ異なる光透過特性を有する異なる種類の光学フィルタを配置した構成であり、 Wherein said optical filter includes a pixel incorporation patterned image of the imaging device, a configuration of arranging the different types of optical filters having different light transmission characteristics respectively in correspondence to each of the pixels uptake texture image Yes,
    前記光学フィルタの少なくとも一方が光強度を低減させる光強度低減フィルタによって構成したことを特徴とする請求項1に記載の画像処理装置。 The image processing apparatus according to claim 1, wherein at least one of said optical filter is constituted by a light intensity reducing filter for reducing the light intensity.
  6. 【請求項6】前記パターン投光手段は、赤外光によるパターン光を前記計測対象に投影する構成を有し、 前記光学フィルタは、前記撮像素子におけるテクスチャ画像を撮り込む画素に対応して赤外光カットフィルタを配置した構成を有することを特徴とする請求項1に記載の画像処理装置。 Wherein said pattern projecting means has a structure for projecting a pattern light by the infrared light to the measurement target, the optical filter corresponding to the pixels Komu take a texture image in the image sensor Red the image processing apparatus according to claim 1, characterized in that it has a structure of arranging the external light cut filter.
  7. 【請求項7】前記光学フィルタは、前記撮像素子におけるパターン付き画像を撮り込む画素に対応して可視光カットフィルタを配置した構成を有することを特徴とする請求項1に記載の画像処理装置。 Wherein said optical filter is an image processing apparatus according to claim 1, characterized in that it has a structure of arranging the visible light cut filter so as to correspond to the pixel Komu take a patterned image in the imaging element.
  8. 【請求項8】前記光学フィルタは、前記撮像素子のパターン付き画像撮り込み画素と、テクスチャ画像撮り込み画素の各々に対応させてそれぞれ異なる光透過特性を有する異なる種類の光学フィルタを配置した構成であり、 Wherein said optical filter includes a pixel incorporation patterned image of the imaging device, a configuration of arranging the different types of optical filters having different light transmission characteristics respectively in correspondence to each of the pixels uptake texture image Yes,
    前記撮像素子の隣接画素において異なる光学フィルタを配置した構成を有することを特徴とする請求項1に記載の画像処理装置。 The image processing apparatus according to claim 1, characterized in that it has a structure of arranging the different optical filters in adjacent pixels of the image sensor.
  9. 【請求項9】前記光学フィルタは、前記撮像素子のパターン付き画像撮り込み画素と、テクスチャ画像撮り込み画素の各々に対応させてそれぞれ異なる光透過特性を有する異なる種類の光学フィルタを配置した構成であり、 Wherein said optical filter includes a pixel incorporation patterned image of the imaging device, a configuration of arranging the different types of optical filters having different light transmission characteristics respectively in correspondence to each of the pixels uptake texture image Yes,
    前記撮像素子を構成する画素数の約1/2をパターン付き画像撮り込み画素とし、残り約1/2の画素をテクスチャ画像撮り込み画素とするように異なる光学フィルタを配置した構成を有することを特徴とする請求項1に記載の画像処理装置。 About half of the number of pixels constituting the image pickup device and the pixel incorporation patterned image, in that it has a structure of arranging the different optical filters so that the pixel incorporation texture image remaining about 1/2 of the pixel the image processing apparatus according to claim 1, wherein.
  10. 【請求項10】前記画像処理装置は、計測対象を異なる方向から撮影した画像を用いて前記計測対象の三次元形状を計測しステレオ法を適用して距離画像を生成する画像処理装置であり、 前記計測対象の画像を撮り込む第1カメラと、 前記第1カメラと異なる方向から前記計測対象の画像を撮り込む第2カメラと、 前記第1カメラによって撮り込まれた第1画像と、前記第2カメラによって撮り込まれた第2画像との画像間対応付け処理により視差データを生成して、該視差データに基づいて距離画像を生成する距離画像生成手段とを有し、 前記第1カメラ、および前記第2カメラの少なくとも一方は、 前記計測対象の画像を画素単位で撮り込み、各画素毎に画像の輝度データを格納する撮像素子と、 前記撮像素子を構成する複数画素の Wherein said image processing apparatus is an image processing apparatus for generating a distance image by applying the stereo method to measure the three-dimensional shape of the measurement object by using an image obtained by photographing the measurement target from different directions, a first camera Komu takes an image of the measurement object, a second camera Komu takes an image of the measurement target from a different direction from the first camera, the first image interleaved taken by the first camera, the second 2 to generate parallax data by the inter-image correspondence processing between the second image interleaved taken by the camera, and a distance image generating means for generating a distance image based on the parallax data, the first camera, and wherein at least one of the second camera, uptake images of the measurement target in pixel units, and an imaging device for storing the luminance data of the image for each pixel, of a plurality of pixels constituting the image sensor 部画素において前記パターン光を投影したパターン付き画像を撮り込み、 In Part pixels uptake a patterned image projected with the pattern light,
    前記撮像素子を構成する他の画素において前記パターン光を取り除いたテクスチャ画像を撮り込むように構成した光学フィルタと、 を有した構成であることを特徴とする請求項1に記載の画像処理装置。 The image processing apparatus according to claim 1, wherein a structure having a optical filter configured as in other pixels constituting the image pickup element Komu take texture image obtained by removing the pattern light.
  11. 【請求項11】計測対象にパターン光を照射してパターン光を投影した画像に基づいて計測対象の距離データを生成する画像処理方法において、 計測対象を撮像素子によって撮り込むステップであり、 11. The image processing method of generating distance data of the measurement object based on the image obtained by projecting a pattern light is irradiated with pattern light onto the target object, a step Komu take the target object by the image pickup element,
    前記撮像素子を構成する複数画素の一部画素においてパターン光を投影したパターン付き画像を撮り込み、前記撮像素子を構成する他の画素において前記パターン光を取り除いたテクスチャ画像を撮り込む画像撮り込みステップと、 前記撮像素子に格納された画像データを、前記パターン付き画像を撮り込んだパターン画像撮り込み画素データと、前記テクスチャ画像を撮り込んだテクスチャ画像撮り込み画素データとに分離して出力する画像データ分離ステップと、 前記画像データ分離ステップにおいて分離出力された前記パターン付き画像に基づいて前記計測対象の距離データを算出する距離画像生成ステップと、 を有することを特徴とする画像処理方法。 The incorporation of the patterned image projected pattern light in some pixels of a plurality of pixels constituting the image pickup device, step incorporation image Komu taking a texture image obtained by removing the pattern light in the other pixels constituting the image sensor When the image data stored in the image pickup device, wherein the patterned pixel data image uptake pattern image crowded take an image and outputting the separated into the pixel data incorporation texture image crowded take texture image a data separating step, the image processing method characterized by having the distance image generating step of calculating the distance data of the measurement target on the basis of the separation outputted the patterned image in said image data separating step.
  12. 【請求項12】前記光学フィルタは、前記撮像素子においてパターン付き画像を撮り込む画素と、テクスチャ画像を撮り込む画素各々に対応させて異なる光透過特性を有する光学フィルタを配置した構成であり、前記画像撮り込みステップは、異なる光透過特性を有する光学フィルタを介してパターン付き画像とテクスチャ画像とを同時に撮り込むことを特徴とする請求項11に記載の画像処理方法。 12. The optical filter includes a pixel Komu take a patterned image in the imaging device, a configuration of arranging an optical filter having a light transmission characteristics different in correspondence with the respective pixels Komu take a texture image, wherein step uptake image, image processing method according to claim 11, characterized in a way to push at the same time taking the patterned image and the texture image through the optical filters having different light transmission characteristics.
  13. 【請求項13】前記画像処理方法は、計測対象を異なる方向から撮影した画像を用いて前記計測対象の三次元形状を計測しステレオ法を適用して距離画像を生成する画像処理方法であり、 計測対象の画像を第1カメラと、前記第1カメラと異なる方向に配置した第2カメラによって同時に撮り込む画像撮り込みステップであり、前記第1カメラおよび前記第2カメラに構成された撮像素子を構成する複数画素の一部画素においてパターン光を投影したパターン付き画像を撮り込み、前記撮像素子を構成する他の画素において前記パターン光を取り除いたテクスチャ画像を、それぞれ各カメラにおいて撮り込む画像撮り込みステップと、 前記第1カメラおよび第2カメラの撮像素子に格納された画像データについて、前記パターン付き画像を Wherein said image processing method is an image processing method for generating a distance image by applying the stereo method to measure the three-dimensional shape of the measurement object by using an image obtained by photographing the measurement target from different directions, a first camera image of the measurement object, a step uptake image Komu taken simultaneously by the second camera arranged in a direction different from the first camera, an image sensor configured in said first camera and said second camera in some pixels of a plurality of pixels constituting uptake the patterned image projected pattern light, a texture image obtained by removing the pattern light in the other pixels constituting the image pickup element, incorporation image respectively Komu taken at each camera a step, for the first camera and the image data stored in the image sensor of the second camera, the patterned image り込んだパターン画像撮り込み画素データと、前記テクスチャ画像を撮り込んだテクスチャ画像撮り込み画素データとに分離して出力する画像データ分離ステップと、 前記画像データ分離ステップにおいて分離出力された前記第1カメラの撮り込んだ第1パターン付き画像と、前記第2カメラの撮り込んだ第2パターン付き画像とに基づいて前記計測対象の距離データを算出する距離画像生成ステップと、 を有することを特徴とする請求項11に記載の画像処理方法。 And pixel data uptake pattern image's crowded Ri, the image data separation steps, the image data separating said first separated output in the step of outputting the separated texture image crowded take texture image taking narrowing pixel data a first patterned image crowded take the camera, and characterized by having the distance image generating step of calculating the distance data of said measurement target based on a second patterned images crowded take the second camera the image processing method according to claim 11.
  14. 【請求項14】計測対象にパターン光を照射してパターン光を投影した画像に基づいて計測対象の距離データを生成する画像処理をコンピュータ・システム上で実行せしめるコンピュータ・プログラムを提供するプログラム提供媒体であって、前記コンピュータ・プログラムは、 計測対象を撮像素子によって撮り込むステップであり、 14. A program for a computer program which allowed to perform the image processing for generating distance data of the measurement object based on the image obtained by projecting a pattern light is irradiated with pattern light onto the target object on a computer system providing medium a is, the computer program is a step Komu take the target object by the image pickup element,
    前記撮像素子を構成する複数画素の一部画素においてパターン光を投影したパターン付き画像を撮り込み、前記撮像素子を構成する他の画素において前記パターン光を取り除いたテクスチャ画像を撮り込む画像撮り込みステップと、 前記撮像素子に格納された画像データを、前記パターン付き画像を撮り込んだパターン画像撮り込み画素データと、前記テクスチャ画像を撮り込んだテクスチャ画像撮り込み画素データとに分離して出力する画像データ分離ステップと、 前記画像データ分離ステップにおいて分離出力された前記パターン付き画像に基づいて前記計測対象の距離データを算出する距離画像生成ステップと、 を有することを特徴とするプログラム提供媒体。 The incorporation of the patterned image projected pattern light in some pixels of a plurality of pixels constituting the image pickup device, step incorporation image Komu taking a texture image obtained by removing the pattern light in the other pixels constituting the image sensor When the image data stored in the image pickup device, wherein the patterned pixel data image uptake pattern image crowded take an image and outputting the separated into the pixel data incorporation texture image crowded take texture image a data separating step, the program providing medium characterized by having, a distance image generation step of calculating the distance data of the measurement target on the basis of the separation outputted the patterned image in said image data separating step.
JP2000010127A 2000-01-14 2000-01-14 Image processing apparatus and method and program providing medium Pending JP2001194114A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000010127A JP2001194114A (en) 2000-01-14 2000-01-14 Image processing apparatus and method and program providing medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000010127A JP2001194114A (en) 2000-01-14 2000-01-14 Image processing apparatus and method and program providing medium

Publications (1)

Publication Number Publication Date
JP2001194114A true JP2001194114A (en) 2001-07-19

Family

ID=18538176

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000010127A Pending JP2001194114A (en) 2000-01-14 2000-01-14 Image processing apparatus and method and program providing medium

Country Status (1)

Country Link
JP (1) JP2001194114A (en)

Cited By (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009243921A (en) * 2008-03-28 2009-10-22 Yamatake Corp Imaging device and three-dimensional shape measuring device
US7911496B2 (en) 2006-11-02 2011-03-22 Fujifilm Corporation Method of generating range images and apparatus therefor
KR20110084029A (en) * 2010-01-15 2011-07-21 삼성전자주식회사 Apparatus and method for obtaining 3d image
JP2013507601A (en) * 2009-10-07 2013-03-04 エイ.トロンスリーディー ゲゼルシャフト ミット ベシュレンクテル ハフツングa.tron3d GmbH Method for capturing a three-dimensional image
JP2013540999A (en) * 2010-09-13 2013-11-07 マイクロ‐エプシロン オプトロニク ゲーエムベーハー Distance measurement system
JP2015017921A (en) * 2013-07-12 2015-01-29 株式会社明電舎 Slider shape measurement apparatus
JP2015118583A (en) * 2013-12-19 2015-06-25 ソニー株式会社 Information processor, information processing method and program
US9374516B2 (en) 2014-04-04 2016-06-21 Qualcomm Incorporated Auto-focus in low-profile folded optics multi-camera system
US9386222B2 (en) 2014-06-20 2016-07-05 Qualcomm Incorporated Multi-camera system using folded optics free from parallax artifacts
US9383550B2 (en) 2014-04-04 2016-07-05 Qualcomm Incorporated Auto-focus in low-profile folded optics multi-camera system
US9398264B2 (en) 2012-10-19 2016-07-19 Qualcomm Incorporated Multi-camera system using folded optics
US9438889B2 (en) 2011-09-21 2016-09-06 Qualcomm Incorporated System and method for improving methods of manufacturing stereoscopic image sensors
US9485495B2 (en) 2010-08-09 2016-11-01 Qualcomm Incorporated Autofocus for stereo images
US9541740B2 (en) 2014-06-20 2017-01-10 Qualcomm Incorporated Folded optic array camera using refractive prisms
US9549107B2 (en) 2014-06-20 2017-01-17 Qualcomm Incorporated Autofocus for folded optic array cameras
US9774789B2 (en) 2013-03-08 2017-09-26 Fotonation Cayman Limited Systems and methods for high dynamic range imaging using array cameras
US9774831B2 (en) 2013-02-24 2017-09-26 Fotonation Cayman Limited Thin form factor computational array cameras and modular array cameras
US9787911B2 (en) 2013-03-14 2017-10-10 Fotonation Cayman Limited Systems and methods for photometric normalization in array cameras
US9794476B2 (en) 2011-09-19 2017-10-17 Fotonation Cayman Limited Systems and methods for controlling aliasing in images captured by an array camera for use in super resolution processing using pixel apertures
US9800856B2 (en) 2013-03-13 2017-10-24 Fotonation Cayman Limited Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies
US9800859B2 (en) 2013-03-15 2017-10-24 Fotonation Cayman Limited Systems and methods for estimating depth using stereo array cameras
US9807382B2 (en) 2012-06-28 2017-10-31 Fotonation Cayman Limited Systems and methods for detecting defective camera arrays and optic arrays
US9813617B2 (en) 2013-11-26 2017-11-07 Fotonation Cayman Limited Array camera configurations incorporating constituent array cameras and constituent cameras
US9811753B2 (en) 2011-09-28 2017-11-07 Fotonation Cayman Limited Systems and methods for encoding light field image files
US9813616B2 (en) 2012-08-23 2017-11-07 Fotonation Cayman Limited Feature based high resolution motion estimation from low resolution images captured using an array source
US9819863B2 (en) 2014-06-20 2017-11-14 Qualcomm Incorporated Wide field of view array camera for hemispheric and spherical imaging
US9832381B2 (en) 2014-10-31 2017-11-28 Qualcomm Incorporated Optical image stabilization for thin cameras
US9858673B2 (en) 2012-08-21 2018-01-02 Fotonation Cayman Limited Systems and methods for estimating depth and visibility from a reference viewpoint for pixels in a set of images captured from different viewpoints
US9866739B2 (en) 2011-05-11 2018-01-09 Fotonation Cayman Limited Systems and methods for transmitting and receiving array camera image data
US9888194B2 (en) 2013-03-13 2018-02-06 Fotonation Cayman Limited Array camera architecture implementing quantum film image sensors
US9898856B2 (en) 2013-09-27 2018-02-20 Fotonation Cayman Limited Systems and methods for depth-assisted perspective distortion correction
US9924092B2 (en) 2013-11-07 2018-03-20 Fotonation Cayman Limited Array cameras incorporating independently aligned lens stacks
US9936148B2 (en) 2010-05-12 2018-04-03 Fotonation Cayman Limited Imager array interfaces
US9942474B2 (en) 2015-04-17 2018-04-10 Fotonation Cayman Limited Systems and methods for performing high speed video capture and depth estimation using array cameras
US9955070B2 (en) 2013-03-15 2018-04-24 Fotonation Cayman Limited Systems and methods for synthesizing high resolution images using image deconvolution based on motion and depth information
US9986224B2 (en) 2013-03-10 2018-05-29 Fotonation Cayman Limited System and methods for calibration of an array camera
US10009538B2 (en) 2013-02-21 2018-06-26 Fotonation Cayman Limited Systems and methods for generating compressed light field representation data using captured light fields, array geometry, and parallax information
US10013764B2 (en) 2014-06-19 2018-07-03 Qualcomm Incorporated Local adaptive histogram equalization
US10027901B2 (en) 2008-05-20 2018-07-17 Fotonation Cayman Limited Systems and methods for generating depth maps using a camera arrays incorporating monochrome and color cameras
US10084958B2 (en) 2014-06-20 2018-09-25 Qualcomm Incorporated Multi-camera system using folded optics free from parallax and tilt artifacts
US10091405B2 (en) 2013-03-14 2018-10-02 Fotonation Cayman Limited Systems and methods for reducing motion blur in images or video in ultra low light with array cameras
US10089740B2 (en) 2014-03-07 2018-10-02 Fotonation Limited System and methods for depth regularization and semiautomatic interactive matting using RGB-D images
US10122993B2 (en) 2013-03-15 2018-11-06 Fotonation Limited Autofocus system for a conventional camera that uses depth information from an array camera
US10119808B2 (en) 2013-11-18 2018-11-06 Fotonation Limited Systems and methods for estimating depth from projected texture using camera arrays
US10127682B2 (en) 2013-03-13 2018-11-13 Fotonation Limited System and methods for calibration of an array camera
US10142560B2 (en) 2008-05-20 2018-11-27 Fotonation Limited Capturing and processing of images including occlusions focused on an image sensor by a lens stack array
US10178373B2 (en) 2013-08-16 2019-01-08 Qualcomm Incorporated Stereo yaw correction using autofocus feedback
US10182216B2 (en) 2013-03-15 2019-01-15 Fotonation Limited Extended color processing on pelican array cameras
US10250871B2 (en) 2014-09-29 2019-04-02 Fotonation Limited Systems and methods for dynamic calibration of array cameras
US10261219B2 (en) 2012-06-30 2019-04-16 Fotonation Limited Systems and methods for manufacturing camera modules using active alignment of lens stack arrays and sensors
US10275676B2 (en) 2018-01-08 2019-04-30 Fotonation Limited Systems and methods for encoding image files containing depth maps stored as metadata

Cited By (65)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7911496B2 (en) 2006-11-02 2011-03-22 Fujifilm Corporation Method of generating range images and apparatus therefor
JP2009243921A (en) * 2008-03-28 2009-10-22 Yamatake Corp Imaging device and three-dimensional shape measuring device
US10142560B2 (en) 2008-05-20 2018-11-27 Fotonation Limited Capturing and processing of images including occlusions focused on an image sensor by a lens stack array
US10027901B2 (en) 2008-05-20 2018-07-17 Fotonation Cayman Limited Systems and methods for generating depth maps using a camera arrays incorporating monochrome and color cameras
JP2013507601A (en) * 2009-10-07 2013-03-04 エイ.トロンスリーディー ゲゼルシャフト ミット ベシュレンクテル ハフツングa.tron3d GmbH Method for capturing a three-dimensional image
US9050158B2 (en) 2009-10-07 2015-06-09 A. Tron3D Gmbh Method for acquiring three-dimensional images
KR101652393B1 (en) * 2010-01-15 2016-08-31 삼성전자주식회사 Apparatus and Method for obtaining 3D image
KR20110084029A (en) * 2010-01-15 2011-07-21 삼성전자주식회사 Apparatus and method for obtaining 3d image
US9936148B2 (en) 2010-05-12 2018-04-03 Fotonation Cayman Limited Imager array interfaces
US9485495B2 (en) 2010-08-09 2016-11-01 Qualcomm Incorporated Autofocus for stereo images
JP2013540999A (en) * 2010-09-13 2013-11-07 マイクロ‐エプシロン オプトロニク ゲーエムベーハー Distance measurement system
US9866739B2 (en) 2011-05-11 2018-01-09 Fotonation Cayman Limited Systems and methods for transmitting and receiving array camera image data
US10218889B2 (en) 2011-05-11 2019-02-26 Fotonation Limited Systems and methods for transmitting and receiving array camera image data
US9794476B2 (en) 2011-09-19 2017-10-17 Fotonation Cayman Limited Systems and methods for controlling aliasing in images captured by an array camera for use in super resolution processing using pixel apertures
US9438889B2 (en) 2011-09-21 2016-09-06 Qualcomm Incorporated System and method for improving methods of manufacturing stereoscopic image sensors
US9811753B2 (en) 2011-09-28 2017-11-07 Fotonation Cayman Limited Systems and methods for encoding light field image files
US10019816B2 (en) 2011-09-28 2018-07-10 Fotonation Cayman Limited Systems and methods for decoding image files containing depth maps stored as metadata
US9864921B2 (en) 2011-09-28 2018-01-09 Fotonation Cayman Limited Systems and methods for encoding image files containing depth maps stored as metadata
US9807382B2 (en) 2012-06-28 2017-10-31 Fotonation Cayman Limited Systems and methods for detecting defective camera arrays and optic arrays
US10261219B2 (en) 2012-06-30 2019-04-16 Fotonation Limited Systems and methods for manufacturing camera modules using active alignment of lens stack arrays and sensors
US9858673B2 (en) 2012-08-21 2018-01-02 Fotonation Cayman Limited Systems and methods for estimating depth and visibility from a reference viewpoint for pixels in a set of images captured from different viewpoints
US9813616B2 (en) 2012-08-23 2017-11-07 Fotonation Cayman Limited Feature based high resolution motion estimation from low resolution images captured using an array source
US10165183B2 (en) 2012-10-19 2018-12-25 Qualcomm Incorporated Multi-camera system using folded optics
US9398264B2 (en) 2012-10-19 2016-07-19 Qualcomm Incorporated Multi-camera system using folded optics
US9838601B2 (en) 2012-10-19 2017-12-05 Qualcomm Incorporated Multi-camera system using folded optics
US10009538B2 (en) 2013-02-21 2018-06-26 Fotonation Cayman Limited Systems and methods for generating compressed light field representation data using captured light fields, array geometry, and parallax information
US9774831B2 (en) 2013-02-24 2017-09-26 Fotonation Cayman Limited Thin form factor computational array cameras and modular array cameras
US9917998B2 (en) 2013-03-08 2018-03-13 Fotonation Cayman Limited Systems and methods for measuring scene information while capturing images using array cameras
US9774789B2 (en) 2013-03-08 2017-09-26 Fotonation Cayman Limited Systems and methods for high dynamic range imaging using array cameras
US10225543B2 (en) 2013-03-10 2019-03-05 Fotonation Limited System and methods for calibration of an array camera
US9986224B2 (en) 2013-03-10 2018-05-29 Fotonation Cayman Limited System and methods for calibration of an array camera
US9800856B2 (en) 2013-03-13 2017-10-24 Fotonation Cayman Limited Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies
US9888194B2 (en) 2013-03-13 2018-02-06 Fotonation Cayman Limited Array camera architecture implementing quantum film image sensors
US10127682B2 (en) 2013-03-13 2018-11-13 Fotonation Limited System and methods for calibration of an array camera
US9787911B2 (en) 2013-03-14 2017-10-10 Fotonation Cayman Limited Systems and methods for photometric normalization in array cameras
US10091405B2 (en) 2013-03-14 2018-10-02 Fotonation Cayman Limited Systems and methods for reducing motion blur in images or video in ultra low light with array cameras
US9800859B2 (en) 2013-03-15 2017-10-24 Fotonation Cayman Limited Systems and methods for estimating depth using stereo array cameras
US10122993B2 (en) 2013-03-15 2018-11-06 Fotonation Limited Autofocus system for a conventional camera that uses depth information from an array camera
US10182216B2 (en) 2013-03-15 2019-01-15 Fotonation Limited Extended color processing on pelican array cameras
US9955070B2 (en) 2013-03-15 2018-04-24 Fotonation Cayman Limited Systems and methods for synthesizing high resolution images using image deconvolution based on motion and depth information
JP2015017921A (en) * 2013-07-12 2015-01-29 株式会社明電舎 Slider shape measurement apparatus
US10178373B2 (en) 2013-08-16 2019-01-08 Qualcomm Incorporated Stereo yaw correction using autofocus feedback
US9898856B2 (en) 2013-09-27 2018-02-20 Fotonation Cayman Limited Systems and methods for depth-assisted perspective distortion correction
US9924092B2 (en) 2013-11-07 2018-03-20 Fotonation Cayman Limited Array cameras incorporating independently aligned lens stacks
US10119808B2 (en) 2013-11-18 2018-11-06 Fotonation Limited Systems and methods for estimating depth from projected texture using camera arrays
US9813617B2 (en) 2013-11-26 2017-11-07 Fotonation Cayman Limited Array camera configurations incorporating constituent array cameras and constituent cameras
JP2015118583A (en) * 2013-12-19 2015-06-25 ソニー株式会社 Information processor, information processing method and program
US10089740B2 (en) 2014-03-07 2018-10-02 Fotonation Limited System and methods for depth regularization and semiautomatic interactive matting using RGB-D images
US9383550B2 (en) 2014-04-04 2016-07-05 Qualcomm Incorporated Auto-focus in low-profile folded optics multi-camera system
US9860434B2 (en) 2014-04-04 2018-01-02 Qualcomm Incorporated Auto-focus in low-profile folded optics multi-camera system
US9973680B2 (en) 2014-04-04 2018-05-15 Qualcomm Incorporated Auto-focus in low-profile folded optics multi-camera system
US9374516B2 (en) 2014-04-04 2016-06-21 Qualcomm Incorporated Auto-focus in low-profile folded optics multi-camera system
US10013764B2 (en) 2014-06-19 2018-07-03 Qualcomm Incorporated Local adaptive histogram equalization
US9541740B2 (en) 2014-06-20 2017-01-10 Qualcomm Incorporated Folded optic array camera using refractive prisms
US9386222B2 (en) 2014-06-20 2016-07-05 Qualcomm Incorporated Multi-camera system using folded optics free from parallax artifacts
US9854182B2 (en) 2014-06-20 2017-12-26 Qualcomm Incorporated Folded optic array camera using refractive prisms
US9819863B2 (en) 2014-06-20 2017-11-14 Qualcomm Incorporated Wide field of view array camera for hemispheric and spherical imaging
US9733458B2 (en) 2014-06-20 2017-08-15 Qualcomm Incorporated Multi-camera system using folded optics free from parallax artifacts
US10084958B2 (en) 2014-06-20 2018-09-25 Qualcomm Incorporated Multi-camera system using folded optics free from parallax and tilt artifacts
US9549107B2 (en) 2014-06-20 2017-01-17 Qualcomm Incorporated Autofocus for folded optic array cameras
US9843723B2 (en) 2014-06-20 2017-12-12 Qualcomm Incorporated Parallax free multi-camera system capable of capturing full spherical images
US10250871B2 (en) 2014-09-29 2019-04-02 Fotonation Limited Systems and methods for dynamic calibration of array cameras
US9832381B2 (en) 2014-10-31 2017-11-28 Qualcomm Incorporated Optical image stabilization for thin cameras
US9942474B2 (en) 2015-04-17 2018-04-10 Fotonation Cayman Limited Systems and methods for performing high speed video capture and depth estimation using array cameras
US10275676B2 (en) 2018-01-08 2019-04-30 Fotonation Limited Systems and methods for encoding image files containing depth maps stored as metadata

Similar Documents

Publication Publication Date Title
US9066084B2 (en) Method and system for object reconstruction
JP4887374B2 (en) Method for determining the scattering disparity field in stereo vision
JP4915859B2 (en) Object distance deriving device
US6252623B1 (en) Three dimensional imaging system
JP3869876B2 (en) Image measuring method and image measuring apparatus
JP4468442B2 (en) Imaging system performance measurement
US8433157B2 (en) System and method for three-dimensional object reconstruction from two-dimensional images
US4842411A (en) Method of automatically measuring the shape of a continuous surface
JP3539788B2 (en) The inter-image association method
US7605817B2 (en) Determining camera motion
US6445814B2 (en) Three-dimensional information processing apparatus and method
US7046840B2 (en) 3-D reconstruction engine
KR101155816B1 (en) Image processing device and image processing method for performing three dimensional measurements
EP2175232A1 (en) Three-dimensional shape measuring device, three-dimensional shape measuring method, three-dimensional shape measuring program, and recording medium
CN103052968B (en) Object detection apparatus and method for detecting an object
JP5467404B2 (en) 3d imaging system
US5521695A (en) Range estimation apparatus and method
KR100450469B1 (en) Image combining method and system using a technology based on Time
JP4012710B2 (en) Image input device
JP5097480B2 (en) Image measurement device
US6781618B2 (en) Hand-held 3D vision system
US6549288B1 (en) Structured-light, triangulation-based three-dimensional digitizer
US5870179A (en) Apparatus and method for estimating range
KR101121034B1 (en) System and method for obtaining camera parameters from multiple images and computer program products thereof
JP4389371B2 (en) Image restoration apparatus and image restoration methods