JP2001338280A - Three-dimensional space information input device - Google Patents
Three-dimensional space information input deviceInfo
- Publication number
- JP2001338280A JP2001338280A JP2000160262A JP2000160262A JP2001338280A JP 2001338280 A JP2001338280 A JP 2001338280A JP 2000160262 A JP2000160262 A JP 2000160262A JP 2000160262 A JP2000160262 A JP 2000160262A JP 2001338280 A JP2001338280 A JP 2001338280A
- Authority
- JP
- Japan
- Prior art keywords
- pattern
- projection
- information input
- input device
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は画像を用いた３次元
空間情報の計測技術に関する。The present invention relates to a technique for measuring three-dimensional spatial information using images.
【０００２】[0002]
【従来の技術】従来の３次元空間情報入力技術は受動的
方法と能動的方法の２つに大別することができる。受動
的方法の代表的な例としてはステレオ法、能動的方法の
代表的な例としてはパターン投影法を挙げることができ
る。以下、各々の方法について簡単に説明する。2. Description of the Related Art Conventional three-dimensional spatial information input technologies can be roughly classified into two types: passive methods and active methods. A typical example of the passive method is a stereo method, and a typical example of the active method is a pattern projection method. Hereinafter, each method will be briefly described.
【０００３】ステレオ法は、２台の撮像装置をある間隔
で配置し、同一の撮像対象に対する両者の画像内におけ
る投影位置の違い、すなわち対応点の差から三角測量に
よって撮像対象の位置を求める方法である。The stereo method is a method in which two imaging devices are arranged at a certain interval, and the position of the imaging target is determined by triangulation from the difference between the projection positions of the same imaging target in both images, that is, the difference between corresponding points. It is.
【０００４】最も簡単な例として焦点距離が等しいカメ
ラを、光軸が平行になるようにかつ互いの画像面が同一
平面に並ぶように配置した場合を図１１に示す。As the simplest example, FIG. 11 shows a case where cameras having the same focal length are arranged such that their optical axes are parallel and their image planes are aligned on the same plane.
【０００５】図１１において基本となる座標系として２
台のカメラの光学中心間の中点を原点とするＸ−Ｙ−Ｚ
座標系、各々のカメラの座標系としてｘR−ｙR−ｚR座
標系、ｘL−ｙL−ｚL座標系を定める。１１１は左に並
べたカメラの光学中心、同様に１１２は右に並べたカメ
ラの光学中心、また１１３は左のカメラの画像、同様に
１１４は右のカメラの画像を示している。このとき撮像
対象Ｐの位置をＸ，Ｙ，Ｚとすると以下の関係式が成立
する。In FIG. 11, a basic coordinate system 2
XYZ with the midpoint between the optical centers of the two cameras as the origin
Coordinate system, x R -y R -z R coordinate system as the coordinate system of each camera defines a x L -y L -z L coordinate system. 111 is the optical center of the camera arranged on the left, similarly 112 is the optical center of the camera arranged on the right, 113 is the image of the left camera, and 114 is the image of the right camera. At this time, if the position of the imaging target P is X, Y, Z, the following relational expression is established.
【０００６】[0006]
【数１】 (Equation 1)
【０００７】ただし、ｆはカメラの焦点距離、ｂはカメ
ラの基線長（光学中心間の距離）、ｄは同一の撮像対象
に対する各画像内における投影点ＰL、ＰRの投影位置の
差、すなわち視差で、Here, f is the focal length of the camera, b is the base line length of the camera (the distance between the optical centers), d is the difference between the projection positions of the projection points P L and P R in each image with respect to the same object, That is, in parallax,
【０００８】[0008]
【数２】 (Equation 2)
【０００９】である。したがって、ｆ，ｂが既知であれ
ば、撮像対象Ｐの座標（Ｘ，Ｙ，Ｚ）は左右の画像１１
３，１１４上の投影位置の違いから求めることができ
る。すなわちステレオ法において最も重要な課題は、複
数の画像間において同一撮像対象である点を見つけるこ
と、すなわち対応点のマッチングである。[0009] Therefore, if f and b are known, the coordinates (X, Y, Z) of the imaging target P are equal to the left and right images 11.
3, 114 can be obtained from the difference in the projection position. That is, the most important problem in the stereo method is to find a point that is the same imaging target among a plurality of images, that is, to match corresponding points.
【００１０】一般的な対応点マッチングの手法を図１２
に示す。図１２において１２１は左のカメラで撮像した
画像、１２２は右のカメラで撮像した画像、１２３，１
２４はこれから対応点を見つけようとする観測点１２
６，１２７の周辺にある大きさで設定した探索ウィンド
ウ、１２５は探索範囲である。当然のことながら対応点
マッチングは同一の撮像対象を投影している画素同士の
対応を取ることが最も望ましい。しかしながら、単独の
画素ではそれに対応する画素を見つけることが困難であ
る。そこで対応点を決定するときに自分の周りの画素の
対応も調べて、最も一致度（例えば濃度値の差の自乗
和）が高い点を選択する。図１２では左画像１２１の観
測点１２６の周りに周辺画素を含む探索ウィンドウ１２
３を設定し、右画像１２２の内で探索ウィンドウ１２４
が最も一致する場所を探索範囲１２５内で探索する。FIG. 12 shows a general corresponding point matching method.
Shown in In FIG. 12, reference numeral 121 denotes an image taken by the left camera, 122 denotes an image taken by the right camera, and 123, 1
24 is an observation point 12 from which a corresponding point is to be found.
A search window 125 set at a size around 6,127 is a search range. As a matter of course, it is most preferable that the corresponding point matching takes correspondence between pixels projecting the same imaging target. However, it is difficult to find a pixel corresponding to a single pixel. Therefore, when determining the corresponding point, the correspondence of the pixels around the pixel is also examined, and the point having the highest matching degree (for example, the sum of squares of the difference between the density values) is selected. In FIG. 12, a search window 12 including surrounding pixels around an observation point 126 of the left image 121 is shown.
3 and a search window 124 in the right image 122.
Is searched for within the search range 125.
【００１１】パターン投影法は、ある撮像対象に特定の
パターンを投影し、撮像対象上の投影パターンの変化を
パターンの投影方向と異なる方向のカメラで撮影し、解
析することによって撮像対象の位置を求める方法であ
る。In the pattern projection method, a specific pattern is projected onto a certain imaging target, and a change in the projection pattern on the imaging target is photographed by a camera in a direction different from the projection direction of the pattern, and the position of the imaging target is analyzed by analysis. It is a method to ask.
【００１２】典型的なパターンの投影例として、水平格
子を撮像対象に投影する場合の計測系の配置を図１３に
示す。図１３において、基本となる座標系として原点を
ＯとするＸ−Ｙ−Ｚ座標系、カメラの座標系としてｘ−
ｙ−ｚ座標系を定める。１３０はパターン投影装置のレ
ンズ、１３１は投影する格子パターン、１３２は光源、
１３３は基本座標系のＸ−Ｚ平面に投影されたパター
ン、１３４はカメラのレンズ、１３５はカメラの撮像面
を示す。このときパターン投影装置の光軸はＹ軸に一致
しており、カメラは光軸が原点を通るようにＹ−Ｚ平面
上に配置されているものとする。撮像対象Ｔの位置を
Ｘ，Ｙ，Ｚとし、Ｔのカメラ画像上の投影位置ｔの座標
をｘ，ｙとする。パターン投影装置のレンズ１３０の中
心と、第Ｎ番目の投影格子がＹ−Ｚ平面上で成す角をθ
Nとすると、Ｔとｔの間に次の関係式が成立する。FIG. 13 shows an arrangement of a measurement system when a horizontal grid is projected onto an object to be imaged, as a typical pattern projection example. In FIG. 13, an XYZ coordinate system in which the origin is O as a basic coordinate system, and a x-coordinate system as a camera coordinate system.
Define the yz coordinate system. 130 is a lens of the pattern projection apparatus, 131 is a grid pattern to be projected, 132 is a light source,
133 denotes a pattern projected on the XZ plane of the basic coordinate system, 134 denotes a camera lens, and 135 denotes an imaging surface of the camera. At this time, the optical axis of the pattern projection apparatus coincides with the Y axis, and the camera is arranged on the YZ plane so that the optical axis passes through the origin. Assume that the position of the imaging target T is X, Y, Z, and the coordinates of the projection position t of the T on the camera image are x, y. The angle formed between the center of the lens 130 of the pattern projection apparatus and the Nth projection grating on the YZ plane is θ
Assuming N , the following relational expression is established between T and t.
【００１３】[0013]
【数３】 (Equation 3)
【００１４】である。したがって、投影されている水平
格子が第何番目の水平格子であるかが分かれば、撮像対
象の座標（Ｘ，Ｙ，Ｚ）はカメラへの投影位置から求め
ることができる。## EQU1 ## Therefore, if it is known what horizontal grid is the projected horizontal grid, the coordinates (X, Y, Z) of the imaging target can be obtained from the projection position on the camera.
【００１５】[0015]
【発明が解決しようとする課題】しかしながら、受動的
方法の代表であるステレオ法では複数の画像間の対応点
マッチングが曖昧になってしまうという問題点がある。
ステレオ法では異なる視点方向から同一の撮像対象を撮
像するのであるから、同一の部分を撮像していても、視
点の違いによる幾何学的歪み、カメラの特性の違い、ラ
ンダムノイズなどにより、完全に一致することは無い。
また、一方のカメラに写っていて、もう一方のカメラに
写っていないオクルージョン領域がある場合は全画素を
対応させることは不可能である。奥行きの差が存在して
いるエッジ部分には必ずオクルージョンが生じるため、
撮像対象のエッジ部分は特に曖昧になりやすい。これら
対応点マッチングの曖昧さは、誤った計測結果を生じさ
せる。また、対応点マッチングのための画像処理には一
般に大きな計算コストを要する。However, the stereo method, which is a typical passive method, has a problem that matching of corresponding points between a plurality of images becomes ambiguous.
In the stereo method, the same imaging target is imaged from different viewpoint directions, so even if the same part is imaged, it is completely lost due to geometric distortion due to viewpoint differences, differences in camera characteristics, random noise, etc. No match.
If there is an occlusion area that is captured by one camera and not captured by the other camera, it is impossible to make all pixels correspond. Occlusion always occurs at the edge where there is a difference in depth,
The edge portion of the imaging target is particularly vague. The ambiguity of these corresponding point matching results in incorrect measurement results. Also, image processing for corresponding point matching generally requires a large calculation cost.
【００１６】能動的方法の代表であるパターン投影法
は、本質的にパターンが投影されている部分に対してし
か測定ができないため、密な測定を行うためにはパター
ンをずらして測定を複数回行うなどの工夫を要する。し
かし密な測定のため工夫を行うと、計測に時間を要し、
動物体の計測ができない。他にも表面が滑らかな物体に
対してはパターンの対応付けが容易であるが、奥行きに
差が存在しているエッジ部分ではパターンの像が不連続
となり対応付けが困難になるといった問題点がある。一
般的に能動的方法による計測は、受動的方法による計測
に比べて、計測の精度や信頼度は高くなるが、計測対象
への制限（滑らかな物体、計測領域が小さい）等が生じ
やすく、ある特定の条件さえ満足できれば良い工業計測
向けである。Since the pattern projection method, which is a representative of the active method, can essentially measure only a portion where a pattern is projected, in order to perform dense measurement, the pattern is shifted a plurality of times to shift the pattern. It requires some ingenuity such as performing. However, if you devise it for dense measurement, it takes time for measurement,
Cannot measure moving objects. In addition, it is easy to associate a pattern with an object having a smooth surface, but at the edge part where there is a difference in depth, the pattern image becomes discontinuous, making it difficult to associate. is there. In general, the measurement by the active method has higher accuracy and reliability than the measurement by the passive method, but it tends to limit the measurement target (smooth object, small measurement area), etc. It is intended for industrial measurement only if certain conditions can be satisfied.
【００１７】これら従来の３次元空間情報入力技術は外
乱光に弱く、特に能動的方法では通常照明下での計測は
非常に困難を要する。These conventional three-dimensional spatial information input techniques are vulnerable to disturbance light, and particularly under the active method, it is very difficult to measure under normal illumination.
【００１８】本発明の目的は、ステレオ法とパターン投
影法を融合し、以上述べた従来の問題を解決した汎用的
で高精度な計測ができる３次元空間情報入力装置を提供
することにある。It is an object of the present invention to provide a three-dimensional spatial information input device which combines the stereo method and the pattern projection method, and which can solve the above-mentioned conventional problems and can perform general-purpose and high-precision measurement.
【００１９】[0019]
【課題を解決するための手段】本発明は距離計測にステ
レオ法を用い、対応点マッチングの曖昧さを解決するた
めに、パターンを構成する１つの画素あるいは隣接する
数個の画素で構成される領域ごとに、輝度または色の時
間的変化が異なるように輝度または色を変化させる手段
と、撮像装置によって取得された複数の画像間の同じ時
間的変化をする画素を対応点として抽出することによっ
て対応点マッチングする手段を備える。あるいは、非可
視領域の光によるパターンを構成する１つの画素あるい
は隣接する数個の画素で構成される領域ごとに、パター
ンの時間的変化が異なるようにパターンを変化させる手
段と、前記撮像装置によって取得された複数の画像間の
同じ時間的変化をする画素を抽出することによって対応
点マッチングする手段を備える。According to the present invention, a stereo method is used for distance measurement, and in order to solve the ambiguity of corresponding point matching, the pattern is constituted by one pixel constituting a pattern or several adjacent pixels. Means for changing the luminance or color so that the temporal change in luminance or color is different for each region, and extracting pixels having the same temporal change between a plurality of images acquired by the imaging device as corresponding points. A means for matching corresponding points is provided. Alternatively, means for changing the pattern so that the temporal change of the pattern is different for each of one pixel or a plurality of adjacent pixels forming the pattern by the light in the invisible region, There is provided a means for matching corresponding points by extracting pixels having the same temporal change among a plurality of acquired images.
【００２０】なお、理想的には投影するパターンの全部
の基本単位の輝度または色の時間的変化が相互に異なる
のが好ましいが、対応点マッチングの探索範囲内に同一
の時間的変化が現れて混同しない範囲であれば、同じ時
間的変化を含むパターンの組み合わせを繰り返し利用し
ても問題はない。ただし、探索範囲は計測範囲、ＣＣＤ
の画素数や大きさ、レンズの口径、焦点距離、カメラの
基線長に影響を受けて変化するので、個々のシステムご
とにパターンの組み合せを決める必要がある。It is ideally preferable that the temporal changes in luminance or color of all the basic units of the projected pattern are different from each other, but the same temporal change appears in the search range of the corresponding point matching. There is no problem if a combination of patterns including the same temporal change is repeatedly used as long as they are not confused. However, the search range is the measurement range, CCD
It changes depending on the number and size of pixels, the aperture of the lens, the focal length, and the base line length of the camera. Therefore, it is necessary to determine a combination of patterns for each system.
【００２１】本発明によれば、複数のパターンを時間的
に変化させて投影するため、ある撮像領域における複数
のパターンの時間的変化を、その撮像領域の空間におけ
るコードとして割り付けることが可能となる。対応点マ
ッチングに用いる撮像領域のコードは隣接単位画素ごと
に異なるため、対応点が一意に定まる確率が大幅に向上
する。また、コードとコードを比較し、同一のコードを
見つけることによって対応点マッチングを行うため、複
雑な画像処理を必要とせず、処理が高速となる。According to the present invention, since a plurality of patterns are projected while being temporally changed, it is possible to allocate a temporal change of a plurality of patterns in a certain imaging region as a code in the space of the imaging region. . Since the code of the imaging region used for the corresponding point matching differs for each adjacent unit pixel, the probability that the corresponding point is uniquely determined is greatly improved. In addition, since the corresponding points are matched by comparing codes and finding the same code, complicated image processing is not required, and the processing speed is increased.
【００２２】[0022]
【発明の実施の形態】次に、本発明の実施の形態につい
て図面を参照して説明する。第１の実施の形態 図１は本発明の第１の実施形態（請求項１記載の発明に
対応する実施形態）の光学系を説明するための図であ
る。図１では最も簡単な例として、焦点距離が等しい撮
像装置１，２を、光軸が平行になるようにかつ互いの画
像面が同一平面に並ぶように配置し、その間に置いたパ
ターン投影装置３でパターン４を撮像対象５に投影した
場合を示す。なお、図１では説明を簡単にする撮像装置
１，２を平行に配置しているが、位置関係が既知であり
同一の撮像対象を取り込める配置であれば、どのように
配置しても構わない。同様に、パターン投影装置３も撮
像装置で撮像する空間にパターンを投影できるのであれ
ば、どのように配置しても構わない。なお撮像装置１，
２とパターン投影装置３の位置関係は既知である必要は
ない。Next, embodiments of the present invention will be described with reference to the drawings. First Embodiment FIG. 1 is a diagram for explaining an optical system according to a first embodiment of the present invention (an embodiment corresponding to the first aspect of the present invention). In FIG. 1, as the simplest example, a pattern projection device in which imaging devices 1 and 2 having the same focal length are arranged so that their optical axes are parallel and their image planes are arranged on the same plane, and are placed therebetween 3 shows a case where the pattern 4 is projected on the imaging target 5. Although the imaging devices 1 and 2 are arranged in parallel in FIG. 1 for simplicity of description, any arrangement may be used as long as the positional relationship is known and the same imaging target can be captured. . Similarly, the pattern projection device 3 may be arranged in any manner as long as the pattern can be projected onto a space where the image is captured by the imaging device. Note that the imaging devices 1
The positional relationship between 2 and the pattern projection device 3 does not need to be known.
【００２３】図１において基本となる座標系として２台
の撮像装置１，２の光学中心間の中点を原点とするＸ−
Ｙ−Ｚ座標系、各々の撮像装置１，２の座標系としてｘ
R−ｙR−ｚR座標系、ｘL−ｙL−ｚL座標系を定める。１
１は左に並べた撮像装置１の光学中心、１２は右に並べ
た撮像装置２の光学中心、また１３は左の撮像装置１の
画像、１４は右の撮像装置２の画像を示している。ま
た、３ａはパターンを投影する光源、３ｂは時間的に変
化するパターンを生成する素子を示す。パターン４上の
格子は投影されたｎ×ｍの単位画素で構成される領域を
示す。投影されたパターン４の拡大図４′に示すよう
に、隣接する領域ごとにパターンは異なる。ここでは領
域を１×１の単位画素で構成したとする。投影パターン
４の構成例は後述する、撮像対象５上に投影された画素
１７の位置をＰ（Ｘ，Ｙ，Ｚ）とし、左右の撮像装置
１，２の画像１３，１４への投影位置１５，１６の座標
をそれぞれＰL（ｘL，ｙL），ＰR（ｘR，ｙR）とする。
このときＰの位置は、式（１）〜（３）で示される。３
次元空間情報取得部６は、撮像装置１，２からの画像１
３，１４を取り込み、対応点マッチングを行ってＰの位
置計算を行う。また、撮像装置１，２とパターン投影装
置３に対して動作要求を行う。計算されたＰの位置、す
なわち３次元空間情報は出力部７に出力される。In FIG. 1, as a basic coordinate system, an X-axis having an origin at the midpoint between the optical centers of the two imaging devices 1 and 2 is shown.
YZ coordinate system, x as the coordinate system of each of the imaging devices 1 and 2
R -y R -z R coordinate system, defining the x L -y L -z L coordinate system. 1
1 is the optical center of the imaging device 1 arranged on the left, 12 is the optical center of the imaging device 2 arranged on the right, 13 is the image of the imaging device 1 on the left, and 14 is the image of the imaging device 2 on the right. . Reference numeral 3a denotes a light source for projecting a pattern, and 3b denotes an element for generating a time-varying pattern. The grid on the pattern 4 indicates an area composed of projected n × m unit pixels. As shown in an enlarged view 4 'of the projected pattern 4, the pattern differs for each adjacent region. Here, it is assumed that the area is composed of 1 × 1 unit pixels. A configuration example of the projection pattern 4 will be described later. The position of the pixel 17 projected on the imaging target 5 is P (X, Y, Z), and the projection position 15 on the images 13 and 14 of the left and right imaging devices 1 and 2 is described below. , 16 coordinate the respective P L (x L, y L ), P R (x R, y R) and.
At this time, the position of P is represented by equations (1) to (3). Three
The three-dimensional space information acquisition unit 6 is configured to store the image 1 from the imaging devices 1 and 2
3 and 14 are taken in, corresponding point matching is performed, and the position of P is calculated. Further, an operation request is issued to the imaging devices 1 and 2 and the pattern projection device 3. The calculated position of P, that is, the three-dimensional space information is output to the output unit 7.
【００２４】以下、図２を用いて各部の動作を詳細に説
明する。本実施形態の３次元空間情報入力装置はパター
ン投影部２１と２つの撮像部２２，２３と３次元空間情
報取得部２４と出力部２５で構成される。パターン投影
部２１は投影部２１ａと輝度値変化投影パターン生成部
２１ｂと投影指令部２１ｃで構成される。投影指令部２
１ｃがパターン投影指令を発すると、輝度値変化投影パ
ターン生成部２１ｂにより投影パターンが決定される。
決定されたパターンは投影部２１ａから撮像対象に投影
される。撮像部２２，２３は、それぞれカメラ２２ａ，
２３ａと、画像メモリ２２ｂ，２３ｂと、撮像指令部２
２ｃ，２３ｃで構成され、パターンが投影された撮像対
象の画像を取り込む。撮像部２２，２３によって取り込
まれた撮像対象のデータは３次元空間情報取得部２４に
渡される。３次元空間情報取得部２４は制御部２４ａと
対応点検出部２４ｂで構成される。制御部２４ａは投影
指令部２１ｃや撮像指令部２２ｃ，２３ｃが指令を出す
時間を制御し、対応点検出部２４ｂに対応点マッチング
を行わせる。対応点マッチングにより得られた３次元空
間情報は出力部２５に渡される。渡された３次元空間情
報は、各画素毎の値を濃淡値で表した画像データとして
ディスプレイに表示したり、他の画像処理系へ数値デー
タとして出力する。Hereinafter, the operation of each unit will be described in detail with reference to FIG. The three-dimensional space information input device according to the present embodiment includes a pattern projection unit 21, two imaging units 22, 23, a three-dimensional space information acquisition unit 24, and an output unit 25. The pattern projection unit 21 includes a projection unit 21a, a brightness value change projection pattern generation unit 21b, and a projection command unit 21c. Projection command unit 2
When 1c issues a pattern projection command, the projection pattern is determined by the brightness value change projection pattern generation unit 21b.
The determined pattern is projected from the projection unit 21a to the imaging target. The imaging units 22 and 23 include a camera 22a,
23a, image memories 22b and 23b, and an imaging command unit 2
2c and 23c, and captures an image of the imaging target on which the pattern is projected. The data of the imaging target captured by the imaging units 22 and 23 is passed to the three-dimensional space information acquisition unit 24. The three-dimensional space information acquisition unit 24 includes a control unit 24a and a corresponding point detection unit 24b. The control unit 24a controls the time when the projection command unit 21c and the imaging command units 22c and 23c issue commands, and causes the corresponding point detection unit 24b to perform corresponding point matching. The three-dimensional space information obtained by the corresponding point matching is passed to the output unit 25. The passed three-dimensional space information is displayed on a display as image data in which the value of each pixel is represented by a grayscale value, or is output as numerical data to another image processing system.
【００２５】図３に投影パターンを光の輝度変化で構成
した一例を示す。３１は投影パターンのイメージ、３２
は拡大図、３３，３４はパターンの波形である。３３，
３４に示すように、投影時間の間の投影パターンは輝度
が強いか弱いか、すなわち１または０で表現される。FIG. 3 shows an example in which the projection pattern is constituted by a change in the luminance of light. 31 is an image of a projection pattern, 32
Is an enlarged view, and 33 and 34 are pattern waveforms. 33,
As shown at 34, the projection pattern during the projection time is represented by whether the luminance is strong or weak, that is, 1 or 0.
【００２６】図４はパターンを時間的に変化させて投影
した場合を説明するための図である。パターンを時間的
に変化させる回数を４とする。４１〜４４はそれぞれ時
刻ｔ 1〜ｔ4に投影されたパターンを示す。このとき各時
刻ｔ1〜ｔ4における投影パターン４１〜４４上の、ある
領域とその隣接領域のパターン変化に注目する。４５，
４６は、それぞれの領域（４５は右上の領域、４６は右
端の列の真中の領域）のパターン変化を示す。時刻ｔ1
〜ｔ4に投影パターンを読み込んだとすると、４５は１
００１の４ビットの信号となる。同様に、４６は０１０
１の４ビットの信号となる。FIG. 4 shows a projection in which the pattern is changed over time.
It is a figure for explaining the case where it did. Temporal pattern
Is changed to 4. 41 to 44 each time
Time t 1~ TFourShows the projected pattern. At this time
Time t1~ TFourOn the projection patterns 41 to 44 in
Attention is paid to the pattern change between the region and the adjacent region. 45,
46 is the respective area (45 is the upper right area, 46 is the right
7 shows a pattern change in the middle area of the end row). Time t1
~ TFourIf the projection pattern is read to
001 is a 4-bit signal. Similarly, 46 is 010
This is a 4-bit signal of 1.
【００２７】このように時間的に異なる投影パターンを
用いることにより、パターンの異なる領域の種類を増や
すことが可能となる。図４の例では１または０で判別さ
れる２種類の輝度信号が４ビットにデータ長が伸びたこ
とにより２4の種類に増加している。このとき最大で投
影パターンは２4に分割が可能である。パターンの時間
的変化を抽出することにより、対応点が一意に決まる確
率が大幅に向上する。時系列方向の投影パターンの組み
合わせによる空間の領域へのパターン割付を空間のコー
ド化と呼ぶ。By using projection patterns that are temporally different, it is possible to increase the types of regions having different patterns. In the example of FIG. 4 has increased 2 4 types by two luminance signals is determined in one or zero data length is extended to 4 bits. Maximum projection pattern at this time is capable of dividing into 2 4. By extracting the temporal change of the pattern, the probability that the corresponding point is uniquely determined is greatly improved. The pattern allocation to the space region by the combination of the projection patterns in the time series direction is called space coding.
【００２８】空間コード化は撮像領域全体に行っている
ため、対応点が見つからない点はオクルージョンである
と判断できる。Since the spatial coding is performed over the entire imaging area, points where no corresponding point is found can be determined to be occlusion.
【００２９】第１の実施形態のパターン投影装置を実現
する素子の例として、強誘電性液晶を用いた透過型デバ
イスや、マイクロミラーをマトリクス状に配列したＤＭ
Ｄ（Digital Micromirror Device）が存在する。本発明
では時系列方向にパターンをコード化するため、一回の
計測に数コマを要するがこれらのデバイスは通常の動画
フレーム数よりも数倍以上高速な動作が可能なので、動
物体の計測も可能である。第２の実施の形態 図５は本発明の第２の実施形態（請求項３記載の発明に
対応する実施形態）を示すブロック図である。本実施形
態の３次元空間情報入力装置はパターン投影部５１と２
つの撮像部５２，５３と３次元空間情報取得部５４と出
力部５５で構成される。パターン投影部５１は投影部５
１ａと色値変化投影パターン生成部５１ｂと投影指令部
５１ｃで構成される。投影指令部５１ｃがパターン投影
指令を発すると、色値変化投影パターン生成部５１ｂに
より投影パターンが決定される。決定されたパターンは
投影部５１ａから撮像対象に投影される。撮像部５２，
５３は、それぞれカラーカメラ５２ａ，５３ａと画像メ
モリ５２ｂ，５３ｂと撮像指令部５２ｃ，５３ｃで構成
され、パターンが投影された撮像対象の画像を取り込
む。撮像部５２，５３によって取り込まれた撮像対象の
データは３次元空間情報取得部５４に渡される。３次元
空間情報取得部５４は制御部５４ａと対応点検出部５４
ｂで構成される。制御部５４ａは投影指令部５１ｃや撮
像指令部５２ｃ，５３ｃが指令を出す時間を制御し、対
応点検出部５４ｂに対応点マッチングを行わせる。対応
点マッチングにより得られた３次元空間情報は出力部５
５に渡される。渡された３次元空間情報は、各画素毎の
値を濃淡値で表した画像データとしてディスプレイに表
示したり、他の画像処理系へ数値データとして出力す
る。Examples of elements for realizing the pattern projection apparatus of the first embodiment include a transmission type device using a ferroelectric liquid crystal and a DM in which micromirrors are arranged in a matrix.
D (Digital Micromirror Device) exists. In the present invention, since a pattern is coded in the time series direction, several frames are required for one measurement.However, since these devices can operate at a speed several times higher than the number of normal moving image frames, measurement of moving objects is also possible. It is possible. Second Embodiment FIG. 5 is a block diagram showing a second embodiment (an embodiment corresponding to the third aspect of the present invention) of the present invention. The three-dimensional spatial information input device according to the present embodiment includes the pattern projection units 51 and 2
It is composed of two imaging units 52 and 53, a three-dimensional space information acquisition unit 54, and an output unit 55. The pattern projection unit 51 is a projection unit 5
1a, a color value change projection pattern generation unit 51b, and a projection instruction unit 51c. When the projection command section 51c issues a pattern projection command, the projection pattern is determined by the color value change projection pattern generation section 51b. The determined pattern is projected from the projection unit 51a to the imaging target. Imaging unit 52,
Reference numeral 53 includes color cameras 52a and 53a, image memories 52b and 53b, and imaging command units 52c and 53c, respectively. The data of the imaging target captured by the imaging units 52 and 53 is passed to the three-dimensional space information acquisition unit 54. The three-dimensional space information acquisition unit 54 includes a control unit 54a and a corresponding point detection unit 54
b. The control unit 54a controls the time when the projection command unit 51c and the imaging command units 52c and 53c issue commands, and causes the corresponding point detection unit 54b to perform corresponding point matching. The output unit 5 outputs the three-dimensional spatial information obtained by the corresponding point matching.
Passed to 5. The passed three-dimensional space information is displayed on a display as image data in which the value of each pixel is represented by a grayscale value, or is output as numerical data to another image processing system.
【００３０】図６に投影パターンを光の色変化で構成し
た一例を示す。６１は投影パターンのイメージ、６２は
拡大図を示す。図に示すように色の変化は赤成分（Ｒ）
・緑成分（Ｇ）・青成分（Ｂ）のそれぞれの輝度の強さ
の割合で決定される。図４に示すように時間的に各画素
のパターンを変化させて投影することにより、時間的パ
ターンの変化を抽出し、対応点が一意に決まる確率が大
幅に向上する。第３の実施の形態 図７は本発明の第３の実施形態（請求項２、請求項４記
載の発明に対応する実施形態）の投影パターンを示す図
である。７１，７２はカメラ、７３はパターン投影装
置、７４は投影パターン、７５は投影パターンの拡大図
を示す。投影パターン７４，７５の格子の濃度の違い
は、輝度あるいは色の時間的変化が異なることを示すも
のとする。投影パターンの領域は単一の画素で構成さ
れ、空間のコード化を３ビットで行ったとする。図１に
示した光学配置と同様の配置をとり、横方向の画素の輝
度あるいは色の時間的変化が異なるようにパターンを投
影する。このとき拡大図７５に示すように、横方向の時
間的変化のパターンは２3画素ずつ横方向にずれて繰り
返す。FIG. 6 shows an example in which the projection pattern is formed by changing the color of light. 61 shows an image of the projection pattern, and 62 shows an enlarged view. As shown in the figure, the color change is the red component (R).
It is determined by the ratio of the intensity of each of the green component (G) and the blue component (B). As shown in FIG. 4, by changing the pattern of each pixel temporally and projecting, the change of the temporal pattern is extracted, and the probability that the corresponding point is uniquely determined is greatly improved. Third Embodiment FIG. 7 is a diagram showing a projection pattern according to a third embodiment of the present invention (an embodiment corresponding to the second and fourth aspects of the present invention). Reference numerals 71 and 72 denote cameras, 73 denotes a pattern projection device, 74 denotes a projection pattern, and 75 denotes an enlarged view of the projection pattern. The difference in the density of the grids of the projection patterns 74 and 75 indicates that the luminance or the color changes over time. It is assumed that the area of the projection pattern is composed of a single pixel, and the space is coded with 3 bits. An arrangement similar to the optical arrangement shown in FIG. 1 is adopted, and a pattern is projected so that the temporal change in luminance or color of pixels in the horizontal direction is different. As shown in the enlarged view 75 this time, the pattern of transverse temporal variation repeats transversely offset by two 3 pixels.
【００３１】図８に対応点の探索例を示す。図８におい
て、８１は左のカメラ７１で撮像した画像、８２は右の
カメラ７２で撮像した画像、８３，８４はこれから対応
点を見つけようとする観測点、８５は左の画像８１の右
の画像８２に対するエピポーラライン、８６は探索範囲
である。図１に示す光学配置をとったとき、対応点は必
ずエピポーラライン８５上に存在する。対応点マッチン
グを行うときのエピポーラライン８５上の探索範囲８６
を４画素とすると、時間的変化が同一のパターンは２3
画素ずれて投影されているのであるから、探索範囲に同
じ時間的変化をする画素がある可能性は低い。したがっ
て上記のように繰り返し投影することにより、長さの短
いコードで空間コード化を可能とし、対応点が一意に決
まる確率が大幅に向上する対応点マッチングを行うこと
ができる。FIG. 8 shows an example of searching for a corresponding point. In FIG. 8, 81 is an image taken by the left camera 71, 82 is an image taken by the right camera 72, 83 and 84 are observation points from which corresponding points are to be found, and 85 is a right image of the left image 81. The epipolar line 86 for the image 82 is a search range. When the optical arrangement shown in FIG. 1 is adopted, the corresponding point always exists on the epipolar line 85. Search range 86 on epipolar line 85 when corresponding point matching is performed
Is 4 pixels, the pattern with the same temporal change is 2 3
Since the image is projected with a pixel shift, it is unlikely that there is a pixel having the same temporal change in the search range. Therefore, by repeatedly projecting as described above, spatial coding can be performed with a code having a short length, and corresponding point matching in which the probability that a corresponding point is uniquely determined is greatly improved can be performed.
【００３２】また、探索範囲に同じ時間的変化をする画
素がある可能性は低いので対応点が見つからない場合
は、オクルージョンと判断できる。第４の実施の形態 図９は第４の実施形態（請求項５記載の発明に対応する
実施形態）を示すブロック図である。本実施形態の３次
元空間情報入力装置はパターン投影部９１と２つの撮像
部９２，９３と３次元空間情報取得部９４と出力部９５
で構成される。パターン投影部９１は投影部９１ａと投
影パターン生成部９１ｂと投影指令部９１ｃで構成され
る。投影指令部９１ｃがパターン投影指令を発すると、
投影パターン生成部９１ｂにより投影パターンが決定さ
れる。パターンは非可視領域の光の強度変化で構成され
る。決定されたパターンは投影部９１ａから非可視領域
の光源を用いて撮像対象に投影される。非可視領域の光
源としては、例えば赤外光を使用する。撮像部９２，９
３は、それぞれ赤外線カメラ（可視領域も撮像できる）
９２ａ，９３ａと画像メモリ９２ｂ，９３ｂと撮像指令
部９２ｃ，９３ｃで構成され、パターンが投影された撮
像対象を取り込む。撮像部９２，９３によって取り込ま
れた撮像対象のデータは３次元空間情報取得部９４に渡
される。３次元空間情報取得部９４は制御部９４ａと対
応点検出部９４ｂで構成される。制御部９４ａは投影指
令部９１ｃや撮像指令部９２ｃ，９３ｃが指令を出す時
間を制御し、対応点検出部９４ｂに対応点マッチングを
行わせる。対応点マッチングにより得られた３次元空間
情報は出力部９５に渡される。渡された３次元空間情報
は、各画素毎の値を濃淡値で表した画像データとしてデ
ィスプレイに表示したり、他の画像処理系へ数値データ
として出力する。Since it is unlikely that there is a pixel having the same temporal change in the search range, if no corresponding point is found, it can be determined that occlusion has occurred. Fourth Embodiment FIG. 9 is a block diagram showing a fourth embodiment (an embodiment corresponding to the invention described in claim 5). The three-dimensional space information input device according to the present embodiment includes a pattern projection unit 91, two imaging units 92 and 93, a three-dimensional space information acquisition unit 94, and an output unit 95.
It consists of. The pattern projection unit 91 includes a projection unit 91a, a projection pattern generation unit 91b, and a projection command unit 91c. When the projection command section 91c issues a pattern projection command,
The projection pattern is determined by the projection pattern generation unit 91b. The pattern is composed of a change in light intensity in the non-visible region. The determined pattern is projected onto the imaging target from the projection unit 91a using a light source in an invisible region. As a light source in the invisible region, for example, infrared light is used. Imaging units 92 and 9
3 is an infrared camera (can also image the visible region)
92a and 93a, image memories 92b and 93b, and imaging command units 92c and 93c, and captures an imaging target on which a pattern is projected. The data of the imaging target captured by the imaging units 92 and 93 is passed to the three-dimensional space information acquisition unit 94. The three-dimensional space information acquisition unit 94 includes a control unit 94a and a corresponding point detection unit 94b. The control unit 94a controls the time during which the projection command unit 91c and the imaging command units 92c and 93c issue commands, and causes the corresponding point detection unit 94b to perform corresponding point matching. The three-dimensional space information obtained by the corresponding point matching is passed to the output unit 95. The passed three-dimensional space information is displayed on a display as image data in which the value of each pixel is represented by a grayscale value, or is output as numerical data to another image processing system.
【００３３】図１０は可視領域の光源による計測と、非
可視領域の光源による計測の比較を示す図である。１０
１，１０２は可視領域の光源による計測を行った場合の
カメラ、１０３は可視領域の光源を持つパターン投影装
置、１０４は撮像対象、１０５は可視領域の光源による
投影パターンを示す。同様に、１０６，１０７は非可視
領域の光源による計測を行った場合のカメラ、１０８は
非可視領域の光源パターン投影装置、１０９は撮像対象
を示す。非可視領域の光源による計測の場合は、投影パ
ターンが通常のカメラには撮像されないので実写画像に
影響を与えない。それに対して可視領域の光源による計
測の場合は投影パターンが撮像されてしまうため実写画
像に影響を与える。また、非可視領域の光源による投影
パターンは人間の目に知覚できるため、撮像対象の動作
に影響を与える。FIG. 10 is a diagram showing a comparison between measurement using a light source in the visible region and measurement using a light source in the non-visible region. 10
Reference numerals 1 and 102 denote cameras when measurement is performed using a light source in the visible region, 103 denotes a pattern projecting device having a light source in the visible region, 104 denotes an imaging target, and 105 denotes a projection pattern by a light source in the visible region. Similarly, reference numerals 106 and 107 denote cameras when measurement is performed using a light source in the non-visible area, 108 denotes a light source pattern projection device in the non-visible area, and 109 denotes an imaging target. In the case of measurement using a light source in the non-visible area, the projection pattern is not captured by a normal camera, and thus does not affect the actual captured image. On the other hand, in the case of measurement using a light source in the visible region, a projected pattern is imaged, which affects a real image. Further, the projection pattern by the light source in the non-visible area can be perceived by human eyes, which affects the operation of the imaging target.
【００３４】光源を非可視領域に設定することによっ
て、パターンを照射しても実写画像に影響を与えないよ
うにすることができる。By setting the light source in the non-visible region, it is possible to prevent the actual image from being affected even when the pattern is irradiated.
【００３５】[0035]
【発明の効果】以上述べたように、本発明によれば、対
応点マッチングが曖昧にならず一意に決定することがで
き、かつ高速な処理が可能である。特に １）請求項１記載の発明は、撮像する空間の領域を投影
パターンの輝度値を用いて時間的に画素単位でコード化
することができ、ステレオ視における対応点マッチング
が曖昧にならず一意に決定でき、また、オクルージョン
の判断が容易に可能となる。 ２）請求項２記載の発明は、空間の領域を輝度値の時間
的変化を用いたコードでコード化するときに、コードの
数を実際の領域の数より少なくすることができる。 ３）請求項３記載の発明は、撮像する空間の領域を投影
パターンの色の変化を用いて時間的に画素単位でコード
化することができ、ステレオ視における対応点マッチン
グが曖昧にならず一意に決定でき、また、オクルージョ
ンの判断が容易に可能となる。 ４）請求項４記載の発明は、空間の領域を色の時間的変
化を用いたコードでコード化するときに、コードの数を
実際の領域の数より少なくすることができる。 ５）請求項５記載の発明は、実写画像に影響を与えずに
計測が可能な３次元空間情報入力装置が実現できる。As described above, according to the present invention, corresponding point matching can be uniquely determined without ambiguity, and high-speed processing can be performed. In particular, 1) According to the first aspect of the present invention, a region of a space to be imaged can be temporally coded in pixel units by using a luminance value of a projection pattern, and corresponding point matching in stereo vision is not unambiguous and unique. And occlusion can be easily determined. 2) According to the second aspect of the present invention, when coding a space region with a code using a temporal change in luminance value, the number of codes can be made smaller than the number of actual regions. 3) According to the third aspect of the present invention, a region of a space to be imaged can be temporally coded on a pixel-by-pixel basis using a change in color of a projection pattern, and corresponding point matching in stereo vision is not unambiguous and unique. And occlusion can be easily determined. 4) According to the fourth aspect of the present invention, when a space region is coded by a code using a temporal change in color, the number of codes can be made smaller than the actual number of regions. 5) The invention described in claim 5 can realize a three-dimensional spatial information input device capable of performing measurement without affecting a real image.
【図１】本発明の第１の実施形態における光学系を示す
図である。FIG. 1 is a diagram illustrating an optical system according to a first embodiment of the present invention.
【図２】本発明の第１の実施形態の３次元空間情報入力
装置のブロック図である。FIG. 2 is a block diagram of a three-dimensional spatial information input device according to the first embodiment of the present invention.
【図３】投影パターンを光の輝度変化で構成する場合の
説明図である。FIG. 3 is an explanatory diagram in the case where a projection pattern is configured by a change in the luminance of light.
【図４】パターン投影を時間的に変化させて投影した場
合の説明図である。FIG. 4 is an explanatory diagram in a case where pattern projection is performed with temporal change.
【図５】本発明の第２の実施形態の３次元空間情報入力
装置のブロック図である。FIG. 5 is a block diagram of a three-dimensional spatial information input device according to a second embodiment of the present invention.
【図６】投影パターンを光の色変化で構成した一例を示
す図である。FIG. 6 is a diagram illustrating an example in which a projection pattern is configured by a color change of light.
【図７】本発明の第３の実施形態の３次元空間情報入力
装置のブロック図である。FIG. 7 is a block diagram of a three-dimensional spatial information input device according to a third embodiment of the present invention.
【図８】第３の実施形態における対応点の探索例を示す
図である。FIG. 8 is a diagram illustrating an example of searching for a corresponding point in the third embodiment.
【図９】本発明の第４の実施形態の３次元空間情報入力
装置のブロック図である。FIG. 9 is a block diagram of a three-dimensional spatial information input device according to a fourth embodiment of the present invention.
【図１０】可視領域の光源による計測と非可視領域の光
源による計測の比較を示す図である。FIG. 10 is a diagram showing a comparison between measurement using a light source in a visible region and measurement using a light source in a non-visible region.
【図１１】ステレオ法の原理を説明するための図であ
る。FIG. 11 is a diagram for explaining the principle of the stereo method.
【図１２】対応点マッチングの方法を説明するための図
である。FIG. 12 is a diagram for explaining a corresponding point matching method.
【図１３】パターン投影法の原理を説明するための図で
ある。FIG. 13 is a diagram for explaining the principle of the pattern projection method.
１，２ 撮像装置 ３ パターン投影装置 ３ａ 光源 ３ｂ 素子 ４ 投影されたパターン ４′ パターン４の拡大図 ５ 撮像対象 ６ ３次元空間情報取得部 ７ 出力部 １１，１２ 光学中心 １３，１４ 撮像装置の画像 １５，１６ 撮像対象５の投射位置 １７ 投影されたパターンの１画素 ２１ パターン投影部 ２１ａ 投影部 ２１ｂ 輝度値変化投影パターン生成部 ２１ｃ 投影指令部 ２２，２３ 撮像部 ２２ａ，２３ａ カメラ ２２ｂ，２３ｂ 画像メモリ ２２ｃ，２３ｃ 撮像指令部 ２４ ３次元空間情報取得部 ２４ａ 制御部 ２４ｂ 対応点検出部 ２５ 出力部 ３１ 投影パターン４のイメージ例 ３２ イメージ例３１の拡大図 ３３，３４ パターンの波形 ４１〜４４ 時刻ｔ1〜ｔ4における投影パターン ４５ 時刻ｔ1〜ｔ4におけるある領域の投影パターン
の変化の波形 ４６ 時刻ｔ1〜ｔ4における隣接領域の投影パターン
の変化の波形 ５１ パターン投影部 ５１ａ 投影部 ５１ｂ 色値変化投影パターン生成部 ５１ｃ 投影指令部 ５２，５３ 撮像部 ５２ａ，５３ａ カラーカメラ ５２ｂ，５３ｂ 画像メモリ ５２ｃ，５３ｃ 撮像指令部 ５４ ３次元空間情報取得部 ５４ａ 制御部 ５４ｂ 対応点検出部 ５５ 出力部 ６１ 投影パターンを光の色変化で構成したときの投
影パターンのイメージ ６２ イメージ６１の拡大図 ７１，７２ カメラ ７３ パターン投影装置 ７４ 投影パターン ７５ 投影パターン７４の拡大図 ８１ カメラ７１の画像 ８２ カメラ７２の画像 ８３ 画像８１上の点 ８４ 画像８２上の点 ８５ エピポーラライン ８６ 探索範囲 ９１ パターン投影部 ９１ａ 投影部 ９１ｂ 投影パターン生成部 ９１ｃ 投影指令部 ９２，９３ 撮像部 ９２ａ，９３ａ 赤外線カメラ ９２ｂ，９３ｂ 画像メモリ ９２ｃ，９３ｃ 撮像指令部 ９４ ３次元空間情報取得部 ９４ａ 制御部 ９４ｂ 対応点検出部 ９５ 出力部 １０１ 可視領域の光源による計測を行なった場合の
カメラ １０２ 可視領域の光源による計測を行なった場合の
カメラ １０３ パターン投影装置 １０４ 撮像対象 １０６ 非可視領域の光源による計測を行なった場合
のカメラ １０７ 非可視領域の光源による計測を行なった場合
のカメラ １０８ パターン投影装置 １０９ 撮像対象1, 2 imaging device 3 pattern projection device 3a light source 3b element 4 projected pattern 4 'enlarged view of pattern 4 5 imaging target 6 three-dimensional spatial information acquisition unit 7 output unit 11, 12 optical center 13, 14 image of imaging device 15, 16 Projection position of imaging target 5 17 One pixel of projected pattern 21 Pattern projection unit 21a Projection unit 21b Brightness value change projection pattern generation unit 21c Projection command unit 22, 23 Imaging unit 22a, 23a Camera 22b, 23b Image memory 22c, 23c Imaging command unit 24 Three-dimensional spatial information acquisition unit 24a Control unit 24b Corresponding point detection unit 25 Output unit 31 Image example of projection pattern 32 Enlarged view of image example 31 33, 34 Pattern waveforms 41 to 44 Time t 1 projection pattern of a region in the projection pattern 45 time t 1 ~t 4 in ~t 4 Emissions of change waveform 46 time t 1 waveform of a change in the projected pattern of the adjacent regions in ~t 4 51 pattern projection unit 51a projecting portions 51b color value variation projection pattern generating unit 51c projecting instruction unit 52 imaging unit 52a, 53a Color Cameras 52b, 53b Image memories 52c, 53c Imaging command unit 54 Three-dimensional spatial information acquisition unit 54a Control unit 54b Corresponding point detection unit 55 Output unit 61 Image of projection pattern when projection pattern is formed by color change of light 62 Image 61 71, 72 Camera 73 Pattern projection device 74 Projection pattern 75 Enlarged view of projection pattern 74 81 Image of camera 71 Image of camera 72 Point on image 81 Point on image 82 Epipolar line 86 Search range 91 Pattern projection unit 91a Projection unit 91b Projection pattern Image generation unit 91c Projection command unit 92, 93 Image pickup unit 92a, 93a Infrared camera 92b, 93b Image memory 92c, 93c Image pickup command unit 94 Three-dimensional space information acquisition unit 94a Control unit 94b Corresponding point detection unit 95 Output unit 101 Visible area Camera when measuring with light source 102 Camera when measuring with light source in visible region 103 Pattern projecting device 104 Imaging target 106 Camera when measuring with light source in non-visible region 107 By light source in non-visible region Camera for measurement 108 Pattern projection device 109 Imaging target
フロントページの続き (72)発明者 昼間 香織 東京都千代田区大手町二丁目３番１号 日 本電信電話株式会社内 (72)発明者 上平 員丈 東京都千代田区大手町二丁目３番１号 日 本電信電話株式会社内 Ｆターム(参考） 2F065 AA04 DD06 DD07 DD12 FF01 FF02 FF05 FF09 GG21 GG25 HH06 HH07 JJ03 JJ05 JJ26 NN08 QQ24 QQ31 SS13 5B057 BA15 DA07 DB03 DB05 DB06 DC25 DC32 Continuation of the front page (72) Inventor Kaori Daytime 2-3-1 Otemachi, Chiyoda-ku, Tokyo Within Nippon Telegraph and Telephone Corporation (72) Inventor Katojo Uehira 2-3-1, Otemachi, Chiyoda-ku, Tokyo No. Nippon Telegraph and Telephone Corporation F term (reference) 2F065 AA04 DD06 DD07 DD12 FF01 FF02 FF05 FF09 GG21 GG25 HH06 HH07 JJ03 JJ05 JJ26 NN08 QQ24 QQ31 SS13 5B057 BA15 DA07 DB03 DB05 DB06 DC25 DC32
Claims (5)
装置が投影したパターンを異なる視点から撮像する複数
の撮像装置を有し、パターンが投影された撮像対象の３
次元空間上の位置を前記撮像装置によって取得した複数
の画像による対応点マッチングにより抽出し、さらに三
角測量の原理を用いて位置を求める３次元空間情報入力
装置において、 パターンを構成する１つの画素あるいは隣接する数個の
画素で構成される領域ごとに、輝度の時間的変化が異な
るように輝度を変化させる手段と、前記撮像装置によっ
て取得された複数の画像間の同じ時間的変化をする画素
を対応点として抽出することによって対応点マッチング
する手段を備えることを特徴とする３次元空間情報入力
装置。An image processing apparatus includes: a pattern projection device; and a plurality of imaging devices configured to capture a pattern projected by the pattern projection device from different viewpoints.
In a three-dimensional spatial information input device that extracts a position in a three-dimensional space by corresponding point matching using a plurality of images acquired by the imaging device and further obtains a position using the principle of triangulation, one pixel or For each region composed of several adjacent pixels, means for changing the luminance so that the temporal change of the luminance is different, and a pixel that performs the same temporal change between a plurality of images acquired by the imaging device. A three-dimensional spatial information input device, comprising: means for matching corresponding points by extracting the corresponding points.
いは隣接する数個の画素で構成される領域の輝度の時間
的変化が、少なくとも１方向の隣接する領域では異な
る、請求項１記載の３次元空間情報入力装置。2. The three-dimensional image according to claim 1, wherein a temporal change in luminance of one pixel constituting the projection pattern or an area composed of several adjacent pixels is different in at least one adjacent area in one direction. Spatial information input device.
装置が投影したパターンを異なる視点から撮像する複数
の撮像装置を有し、パターンが投影された撮像対象の３
次元空間上の位置を前記撮像装置によって取得した複数
の画像による対応点マッチングにより抽出し、さらに三
角測量の原理を用いて位置を求める３次元空間情報入力
装置において、 パターンを構成する１つの画素あるいは隣接する数個の
画素で構成される領域ごとに、色の時間的変化が異なる
ように色を変化させる手段と、前記撮像装置によって取
得された複数の画像間の同じ時間的変化をする画素を対
応点として抽出することによって対応点マッチングする
手段を備えることを特徴とする３次元空間情報入力装
置。3. A pattern projecting apparatus, comprising: a plurality of image sensing apparatuses for imaging a pattern projected by the pattern projecting apparatus from different viewpoints;
In a three-dimensional spatial information input device that extracts a position in a three-dimensional space by corresponding point matching using a plurality of images acquired by the imaging device and further obtains a position using the principle of triangulation, one pixel or Means for changing the color so that the time change of the color is different for each region composed of several adjacent pixels, and a pixel that performs the same time change between a plurality of images acquired by the imaging device. A three-dimensional spatial information input device, comprising: means for matching corresponding points by extracting the corresponding points.
いは隣接する数個の画素で構成される領域の色の時間的
変化が、少なくとも１方向での隣接する領域では異な
る、請求項３記載の３次元空間情報入力装置。4. The method according to claim 3, wherein the temporal change of the color of one pixel constituting the projection pattern or an area composed of several adjacent pixels is different in at least one adjacent area in one direction. Dimensional space information input device.
装置が投影したパターンを異なる視点から撮像する複数
の撮像装置を有し、パターンが投影された撮像対象の３
次元空間上の位置を前記撮像装置によって取得した複数
の画像による対応点マッチングにより抽出し、さらに三
角測量の原理を用いて位置を求める３次元空間情報入力
装置において、 非可視領域の光によるパターンを構成する１つの画素あ
るいは隣接する数個の画素で構成される領域ごとに、パ
ターンの時間的変化が異なるようにパターンを変化させ
る手段と、前記撮像装置によって取得された複数の画像
間の同じ時間的変化をする画素を対応点として抽出する
ことによって対応点マッチングする手段を備えることを
特徴とする３次元空間情報入力装置。5. A pattern projecting apparatus, comprising: a plurality of image sensing apparatuses for sensing a pattern projected by the pattern projecting apparatus from different viewpoints;
In a three-dimensional spatial information input device for extracting a position in a three-dimensional space by corresponding point matching using a plurality of images acquired by the imaging device and further obtaining a position using the principle of triangulation, a pattern by light in an invisible region is obtained. Means for changing the pattern so that the temporal change of the pattern is different for each of the constituent pixels or an area formed by several adjacent pixels; and the same time between a plurality of images acquired by the imaging device. A three-dimensional spatial information input device, comprising: means for matching corresponding points by extracting pixels that have a target change as corresponding points.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000160262A JP2001338280A (en) | 2000-05-30 | 2000-05-30 | Three-dimensional space information input device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000160262A JP2001338280A (en) | 2000-05-30 | 2000-05-30 | Three-dimensional space information input device |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2001338280A true JP2001338280A (en) | 2001-12-07 |
Family
ID=18664478
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000160262A Pending JP2001338280A (en) | 2000-05-30 | 2000-05-30 | Three-dimensional space information input device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2001338280A (en) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004193962A (en) * | 2002-12-11 | 2004-07-08 | Sony Corp | Image communication equipment, image communication method, and computer program |
| JP2007017355A (en) * | 2005-07-08 | 2007-01-25 | Omron Corp | Generation device and generation method of floodlight pattern for executing stereo correspondence |
| JP2007101276A (en) * | 2005-09-30 | 2007-04-19 | Topcon Corp | Three-dimensional measuring projector and system |
| JP2007101275A (en) * | 2005-09-30 | 2007-04-19 | Topcon Corp | Three-dimensional measuring projector and system |
| WO2008123604A1 (en) * | 2007-03-29 | 2008-10-16 | Toyota Jidosha Kabushiki Kaisha | Surface inspection device |
| JP2011252835A (en) * | 2010-06-03 | 2011-12-15 | Myuu Skynet:Kk | Three dimensional shape measuring device |
| WO2016207442A1 (en) * | 2015-06-26 | 2016-12-29 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Method and device for measuring an object surface in a contactless manner |
| JP2018004357A (en) * | 2016-06-29 | 2018-01-11 | キヤノン株式会社 | Information processor, method for controlling information processor, and program |
| JP2020537242A (en) * | 2017-10-08 | 2020-12-17 | マジック アイ インコーポレイテッド | Calibration of sensor systems including multiple movable sensors |
| JP2021507205A (en) * | 2017-12-14 | 2021-02-22 | コンティ テミック マイクロエレクトロニック ゲゼルシャフト ミット ベシュレンクテル ハフツングＣｏｎｔｉ Ｔｅｍｉｃ ｍｉｃｒｏｅｌｅｃｔｒｏｎｉｃ ＧｍｂＨ | 3D-peripheral grasp using projector and camera module |
| WO2022181129A1 (en) * | 2021-02-24 | 2022-09-01 | ソニーグループ株式会社 | Light output control apparatus, light output control method, and program |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS63191281A (en) * | 1987-02-04 | 1988-08-08 | Nippon Telegr & Teleph Corp <Ntt> | Spatial pattern coding method |
| JPH0942940A (en) * | 1995-08-03 | 1997-02-14 | Canon Inc | Shape measuring method and device for three-dimensional object |
| JP2001082940A (en) * | 1999-09-14 | 2001-03-30 | Sanyo Electric Co Ltd | Apparatus and method for generating three-dimensional model |
-
2000
- 2000-05-30 JP JP2000160262A patent/JP2001338280A/en active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS63191281A (en) * | 1987-02-04 | 1988-08-08 | Nippon Telegr & Teleph Corp <Ntt> | Spatial pattern coding method |
| JPH0942940A (en) * | 1995-08-03 | 1997-02-14 | Canon Inc | Shape measuring method and device for three-dimensional object |
| JP2001082940A (en) * | 1999-09-14 | 2001-03-30 | Sanyo Electric Co Ltd | Apparatus and method for generating three-dimensional model |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4539015B2 (en) * | 2002-12-11 | 2010-09-08 | ソニー株式会社 | Image communication apparatus, image communication method, and computer program |
| JP2004193962A (en) * | 2002-12-11 | 2004-07-08 | Sony Corp | Image communication equipment, image communication method, and computer program |
| JP2007017355A (en) * | 2005-07-08 | 2007-01-25 | Omron Corp | Generation device and generation method of floodlight pattern for executing stereo correspondence |
| JP4577126B2 (en) * | 2005-07-08 | 2010-11-10 | オムロン株式会社 | Projection pattern generation apparatus and generation method for stereo correspondence |
| JP2007101275A (en) * | 2005-09-30 | 2007-04-19 | Topcon Corp | Three-dimensional measuring projector and system |
| JP2007101276A (en) * | 2005-09-30 | 2007-04-19 | Topcon Corp | Three-dimensional measuring projector and system |
| WO2008123604A1 (en) * | 2007-03-29 | 2008-10-16 | Toyota Jidosha Kabushiki Kaisha | Surface inspection device |
| JP2011252835A (en) * | 2010-06-03 | 2011-12-15 | Myuu Skynet:Kk | Three dimensional shape measuring device |
| WO2016207442A1 (en) * | 2015-06-26 | 2016-12-29 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Method and device for measuring an object surface in a contactless manner |
| JP2018004357A (en) * | 2016-06-29 | 2018-01-11 | キヤノン株式会社 | Information processor, method for controlling information processor, and program |
| JP2020537242A (en) * | 2017-10-08 | 2020-12-17 | マジック アイ インコーポレイテッド | Calibration of sensor systems including multiple movable sensors |
| JP2021507205A (en) * | 2017-12-14 | 2021-02-22 | コンティ テミック マイクロエレクトロニック ゲゼルシャフト ミット ベシュレンクテル ハフツングＣｏｎｔｉ Ｔｅｍｉｃ ｍｉｃｒｏｅｌｅｃｔｒｏｎｉｃ ＧｍｂＨ | 3D-peripheral grasp using projector and camera module |
| WO2022181129A1 (en) * | 2021-02-24 | 2022-09-01 | ソニーグループ株式会社 | Light output control apparatus, light output control method, and program |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10902668B2 (en) | 3D geometric modeling and 3D video content creation | |
| US6781618B2 (en) | Hand-held 3D vision system | |
| Zhang et al. | Rapid shape acquisition using color structured light and multi-pass dynamic programming | |
| RU2521725C2 (en) | System and method for three-dimensional measurement of shape of material objects | |
| US7103212B2 (en) | Acquisition of three-dimensional images by an active stereo technique using locally unique patterns | |
| CN104335005B (en) | 3D is scanned and alignment system | |
| CN105026997B (en) | Optical projection system, semiconductor integrated circuit and image correcting method | |
| US5589942A (en) | Real time three dimensional sensing system | |
| EP0782100B1 (en) | Three-dimensional shape extraction apparatus and method | |
| US20080285843A1 (en) | Camera-Projector Duality: Multi-Projector 3D Reconstruction | |
| US20130106833A1 (en) | Method and apparatus for optical tracking of 3d pose using complex markers | |
| JP2001008235A (en) | Image input method for reconfiguring three-dimensional data and multiple-lens data input device | |
| US20190133692A1 (en) | Systems and methods for obtaining a structured light reconstruction of a 3d surface | |
| CN106767526A (en) | A kind of colored multi-thread 3-d laser measurement method based on the projection of laser MEMS galvanometers | |
| US6980210B1 (en) | 3D stereo real-time sensor system, method and computer program therefor | |
| JP4193342B2 (en) | 3D data generator | |
| JP4110501B2 (en) | Random pattern generation apparatus and method, distance image generation apparatus and method, and program providing medium | |
| JP2001338280A (en) | Three-dimensional space information input device | |
| KR20230065978A (en) | Systems, methods and media for directly repairing planar surfaces in a scene using structured light | |
| JP3988574B2 (en) | Image processing device | |
| JP2008275366A (en) | Stereoscopic 3-d measurement system | |
| JP4337203B2 (en) | Distance image generating apparatus, distance image generating method, and program providing medium | |
| JP3253328B2 (en) | Distance video input processing method | |
| JPH11194027A (en) | Three-dimensional coordinate measuring instrument | |
| JP3446020B2 (en) | Shape measurement method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040115 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040121 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040312 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20040312 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20040312 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20040609 |