JP2002135807A - Method and device for calibration for three-dimensional entry - Google Patents
Method and device for calibration for three-dimensional entryInfo
- Publication number
- JP2002135807A JP2002135807A JP2000328175A JP2000328175A JP2002135807A JP 2002135807 A JP2002135807 A JP 2002135807A JP 2000328175 A JP2000328175 A JP 2000328175A JP 2000328175 A JP2000328175 A JP 2000328175A JP 2002135807 A JP2002135807 A JP 2002135807A
- Authority
- JP
- Japan
- Prior art keywords
- camera
- dimensional
- image
- calibration
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 13
- 239000007787 solid Substances 0.000 abstract 4
- 238000010586 diagram Methods 0.000 description 22
- 238000000605 extraction Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 239000000284 extract Substances 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 101100366710 Arabidopsis thaliana SSL12 gene Proteins 0.000 description 1
- 102100033040 Carbonic anhydrase 12 Human genes 0.000 description 1
- 101000867855 Homo sapiens Carbonic anhydrase 12 Proteins 0.000 description 1
- 101000946889 Homo sapiens Monocyte differentiation antigen CD14 Proteins 0.000 description 1
- 101000777301 Homo sapiens Uteroglobin Proteins 0.000 description 1
- 102100035877 Monocyte differentiation antigen CD14 Human genes 0.000 description 1
- 101100366563 Panax ginseng SS13 gene Proteins 0.000 description 1
- 102100031083 Uteroglobin Human genes 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Cameras In General (AREA)
- Image Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Image Analysis (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、複数のカメラを用
いる３次元入力のためのキャリブレーション方法および
装置に関する。The present invention relates to a calibration method and apparatus for three-dimensional input using a plurality of cameras.
【０００２】[0002]
【従来の技術】複数のカメラを一体化した多眼カメラを
用いる３次元入力では、あらかじめワールド座標と個々
のカメラのカメラ座標との関係を求めておくキャリブレ
ーションが行われる。このキャリブレーションには、精
密な標準物体と専用ソフトウェアとが用いられている。2. Description of the Related Art In three-dimensional input using a multi-lens camera in which a plurality of cameras are integrated, calibration is performed in which a relationship between world coordinates and camera coordinates of individual cameras is obtained in advance. For this calibration, a precise standard object and dedicated software are used.
【０００３】図１０は標準物体の撮影の様子を示す図、
図１１は標準物体の座標テーブルを示す図、図１２は標
準物体を用いたキャリブレーションに係る画面操作を示
す図、図１３は座標変換の説明図である。FIG. 10 is a diagram showing a state of photographing a standard object.
11 is a diagram illustrating a coordinate table of a standard object, FIG. 12 is a diagram illustrating a screen operation related to calibration using the standard object, and FIG. 13 is an explanatory diagram of coordinate conversion.
【０００４】例示の標準物体９５は、白黒の市松模様が
プリントされた数１０ｃｍ角程度の大きさの立方体であ
る。標準物体９５において、立方体の１つの頂点を原点
とする空間座標系（ＸＹＺ）が仮想的に定められ、市松
模様の格子点とその座標（ｘ，ｙ，ｚ）とを対応づける
座標テーブルＴ９５が用意されている。キャリブレーシ
ョンの手順は次のとおりである。 （１）多眼カメラ１０を用いて標準物体９５の撮影を行
う。多眼カメラ１０を構成する複数のカメラによって、
撮影アングルの異なる複数の２次元画像が得られる。 （２）２次元画像（標準物体９５の撮影画像）をコンピ
ュータに入力し、専用ソフトウェア（キャリブレータ）
によってカメラ毎にカメラパラメータを求める。キャリ
ブレータは、ディスプレイの画面にウインドウ８０を設
けて２次元画像Ｇ９５を表示するとともに、デフォルト
のカメラパラメータにおける市松模様の格子点の位置を
示す記号（図１２では＋）を２次元画像Ｇ９５に重ねて
表示する。なお、実際には記号とともに格子点の番号も
表示される。オペレータは、画面上でマウスポインタ８
８を移動させて記号を１つずつドラッグし、２次元画像
Ｇ９５における格子点に重ねていく。すなわち、標準物
体９５の格子点がカメラの撮像面のどの位置に投影され
たかをキャリブレータに入力する。ここで、２次元画像
上の点（ｕ，ｖ）と３次元空間中の点（ｘ，ｙ，ｚ）と
の関係は同次座標系表現による（１）式で表される。 ［ｕ，ｖ，１］T ＝Ｐ［ｘ，ｙ，ｚ，１］T …（１） Ｐは３×４の行列（いわゆる投影行列）であり、カメラ
の視線に相当する直線を示す。投影行列Ｐには位置・姿
勢・画角といった撮影に係る情報が含まれる。投影行列
Ｐの１２個の要素が“カメラパラメータ”である。キャ
リブレータは、標準物体９５の各格子点について、座標
テーブルＴ９５が示す３次元座標（ｘ，ｙ，ｚ）とオペ
レータが入力した座標（ｕ，ｖ）とを（１）式に代入
し、最小２乗法によってカメラパラメータを同定する。An example standard object 95 is a cube having a size of about several tens of cm square on which a black and white checkerboard pattern is printed. In the standard object 95, a spatial coordinate system (XYZ) having one vertex of the cube as the origin is virtually determined, and a coordinate table T95 that associates a checkered lattice point with its coordinates (x, y, z) is provided. It is prepared. The calibration procedure is as follows. (1) The standard object 95 is photographed using the multi-lens camera 10. With a plurality of cameras constituting the multi-lens camera 10,
A plurality of two-dimensional images with different photographing angles are obtained. (2) A two-dimensional image (a captured image of the standard object 95) is input to a computer, and dedicated software (calibrator) is used.
To obtain camera parameters for each camera. The calibrator provides the window 80 on the display screen to display the two-dimensional image G95, and superimposes the symbol (+ in FIG. 12) indicating the position of the checkerboard lattice point in the default camera parameters on the two-dimensional image G95. indicate. Actually, the numbers of the grid points are displayed together with the symbols. The operator moves the mouse pointer 8 on the screen.
8 is moved, the symbols are dragged one by one, and are superimposed on the lattice points in the two-dimensional image G95. That is, the position on the imaging surface of the camera at which the grid point of the standard object 95 is projected is input to the calibrator. Here, the relationship between the point (u, v) on the two-dimensional image and the point (x, y, z) in the three-dimensional space is expressed by the following equation (1) using a homogeneous coordinate system expression. [U, v, 1] T = P [x, y, z, 1] T (1) P is a 3 × 4 matrix (so-called projection matrix), and indicates a straight line corresponding to the line of sight of the camera. The projection matrix P includes information related to shooting, such as a position, a posture, and an angle of view. Twelve elements of the projection matrix P are “camera parameters”. For each grid point of the standard object 95, the calibrator substitutes the three-dimensional coordinates (x, y, z) indicated by the coordinate table T95 and the coordinates (u, v) input by the operator into the equation (1), and calculates the minimum 2 Identify camera parameters by multiplication.
【０００５】このように１つの標準物体９５を複数のカ
メラで同時に撮影し、各カメラのキャリブレーションを
行うことで、カメラどうしの相対関係が確定する。以後
の多眼カメラ１０による３次元入力に際しては、キャリ
ブレーションを行ったときの標準物体９５の物体座標系
が、複数のカメラに共通のワールド座標系となる。[0005] In this way, by simultaneously photographing one standard object 95 with a plurality of cameras and performing calibration for each camera, the relative relationship between the cameras is determined. In the subsequent three-dimensional input by the multi-lens camera 10, the object coordinate system of the standard object 95 when the calibration is performed becomes a world coordinate system common to a plurality of cameras.
【０００６】多眼カメラ１０を構成する複数のカメラは
機構的に固定されているので、多眼カメラ１０を持ち運
んだとしてもカメラどうしの相対位置がずれることはほ
とんどない。したがって、キャリブレーションの実施時
期としては、多眼カメラ１０の組み立て時に出荷調整と
して１度行うか、定期的に校正作業として行えば十分で
あり、３次元入力を行う度に毎回行う必要はない。Since the plurality of cameras constituting the multi-view camera 10 are mechanically fixed, even if the multi-view camera 10 is carried, the relative positions of the cameras hardly shift. Therefore, it is sufficient to perform the calibration once as a shipping adjustment at the time of assembling the multi-lens camera 10 or periodically as a calibration work, and it is not necessary to perform the calibration every time the three-dimensional input is performed.
【０００７】[0007]
【発明が解決しようとする課題】多眼カメラ１０による
対象物体の３次元入力において、対象物体のうちの入力
可能な範囲は多眼カメラ内部のカメラ配置仕様によって
決まる。この入力可能な範囲から外れた部分の形状も１
回の撮影で入力したい場合には、多眼カメラ１０とは異
なる位置から同時に撮影する別のカメラが必要になる。
そして、この別のカメラの撮影情報を用いるためには、
多眼カメラ１０と同じ空間座標系でそのカメラをキャリ
ブレーションする必要がある。In the three-dimensional input of the target object by the multi-lens camera 10, the inputtable range of the target object is determined by the camera arrangement specifications inside the multi-lens camera. The shape of the part outside this inputtable range is also 1
If the user wants to input in multiple shots, another camera that simultaneously shoots from a position different from that of the multi-lens camera 10 is required.
And in order to use the shooting information of this other camera,
It is necessary to calibrate the multi-lens camera 10 in the same spatial coordinate system.
【０００８】しかし、キャリブレーション用の標準物体
９５は、適度の大きさをもち、形状が安定していて座標
テーブルＴ９５との不一致が生じない剛体でなければな
らない。つまり、標準物体９５は大きくて重く、持ち運
びには適していない。加えて、市松模様に高精度が要求
されるので、標準物体９５は高価である。つまり、多眼
カメラ１０のユーザーにとって標準物体９５を用いたキ
ャリブレーションは手軽な作業ではない。However, the calibration standard object 95 must be a rigid body having an appropriate size, a stable shape, and no inconsistency with the coordinate table T95. That is, the standard object 95 is large and heavy, and is not suitable for carrying. In addition, the standard object 95 is expensive because high accuracy is required for the checkered pattern. That is, calibration using the standard object 95 is not an easy task for the user of the multi-lens camera 10.
【０００９】本発明は、対象物体に対して複数のカメラ
を任意に配置して３次元入力を行う場合のキャリブレー
ションを手軽にすることを目的としている。An object of the present invention is to facilitate calibration when a plurality of cameras are arbitrarily arranged on a target object to perform three-dimensional input.
【００１０】[0010]
【課題を解決するための手段】本発明においては、第１
および第２のカメラを用いて物体を異なる位置から撮影
し、それにより得られた複数の２次元画像に基づいて物
体の形状をデータ化する３次元入力に際して、入力対象
または他の物体である立体物を第１のカメラを用いて撮
影し、それにより得られた第１の画像に基づいて立体物
の形状を表す３次元座標データを取得し、第２のカメラ
を用いた立体物の撮影により得られた第２の画像と第１
の画像とから複数組の対応点を抽出し、第１の画像上の
対応点と３次元座標データとの対応関係に基づいて、第
２の画像上の複数の対応点のそれぞれについて、それに
対応する立体物上の位置の３次元座標を求め、第２の画
像上の複数の対応点と立体物上の位置の３次元座標との
関係に基づいて、第１のカメラに対する第２カメラの関
係を特定するカメラパラメータを算出する。According to the present invention, there is provided the following:
And three-dimensional input for photographing an object from different positions using the second camera and converting the shape of the object into data based on a plurality of two-dimensional images obtained thereby, An object is photographed using a first camera, three-dimensional coordinate data representing a shape of the three-dimensional object is obtained based on the first image obtained by the first camera, and the three-dimensional object is photographed using a second camera. The second image obtained and the first
And extracting a plurality of sets of corresponding points from the image of the first image, and corresponding to each of the plurality of corresponding points on the second image based on the correspondence between the corresponding points on the first image and the three-dimensional coordinate data. The three-dimensional coordinates of the position on the three-dimensional object to be obtained are determined, and the relationship between the first camera and the second camera is determined based on the relationship between the plurality of corresponding points on the second image and the three-dimensional coordinates of the position on the three-dimensional object Is calculated.
【００１１】[0011]
【発明の実施の形態】図１は本発明に係るモデリングシ
ステムの構成図、図２は撮影画像を示す図である。FIG. 1 is a block diagram of a modeling system according to the present invention, and FIG. 2 is a view showing a photographed image.
【００１２】モデリングシステム１は、３つのカメラを
一体化した多眼カメラ１０、単眼カメラ３０、およびキ
ャリブレーションのためのソフトウェアが組み込まれた
コンピュータ２１からなる。コンピュータ２１には、ユ
ーザーインタフェースとして、ディスプレイ２２、キー
ボード２３、およびマウス２４が接続されている。多眼
カメラ１０は２眼のステレオ視法よりも正確な３眼ステ
レオ視法による３次元入力のための撮影手段であり、そ
の３つのカメラの相対関係を規定するキャリブレーショ
ンは完了している。単眼カメラ３０は、３次元入力範囲
を拡張するための補助撮影手段である。多眼カメラ１０
と単眼カメラ３０とが機構的に別体であるので、これら
の一方を基準として他方をキャリブレーションする必要
がある。以下では、単眼カメラ３０についてキャリブレ
ーションを行うものとする。The modeling system 1 comprises a multi-lens camera 10 integrating three cameras, a monocular camera 30, and a computer 21 in which software for calibration is incorporated. A display 22, a keyboard 23, and a mouse 24 are connected to the computer 21 as a user interface. The multi-lens camera 10 is a photographing unit for three-dimensional input using a more accurate three-lens stereoscopic vision method than the two-lens stereoscopic vision method, and calibration for defining a relative relationship between the three cameras has been completed. The monocular camera 30 is auxiliary photographing means for extending the three-dimensional input range. Multi-view camera 10
Since the camera and the monocular camera 30 are mechanically separate, it is necessary to calibrate the other based on one of them. In the following, it is assumed that calibration is performed for the monocular camera 30.
【００１３】キャリブレーションにおいては、多眼カメ
ラ１０および単眼カメラ３０によって同時に立体物９を
撮影する。立体物９は３次元入力の対象物でもそれ以外
でもよい。多眼カメラ１０により得られた３つの撮影画
像Ｇ１１，Ｇ１２，Ｇ１３、および単眼カメラ３０によ
り得られた撮影画像Ｇ３０がコンピュータ２１に入力さ
れる。入力形態は、可搬性の記録メディア（スマートメ
ディア、コンパクトフラッシュ（登録商標）カードな
ど）を介在させるものでもよいし、有線（ＵＳＢ、ＩＥ
ＥＥ１３９４など）または無線（ＩｒＤＡ）のデータ通
信でもよい。 〔第１実施形態〕図３は第１実施形態のキャリブレーシ
ョンに係るデータ処理ブロックの構成図、図４はテーブ
ルの内容を示す図である。In the calibration, the three-dimensional object 9 is photographed by the multi-lens camera 10 and the mono-lens camera 30 at the same time. The three-dimensional object 9 may be a three-dimensional input target or any other object. The three captured images G11, G12, and G13 obtained by the multi-lens camera 10 and the captured image G30 obtained by the monocular camera 30 are input to the computer 21. The input form may be a medium via a portable recording medium (smart media, compact flash (registered trademark) card, etc.) or a wired (USB, IE)
EE1394) or wireless (IrDA) data communication. [First Embodiment] FIG. 3 is a configuration diagram of a data processing block related to the calibration of the first embodiment, and FIG. 4 is a diagram showing the contents of a table.
【００１４】データ処理ブロック４１は、３Ｄモデラ４
１１、２Ｄ−３Ｄポインタ４１２、およびキャリブレー
タ４１３を有する。これらの要素はコンピュータ２１に
組み込まれたソフトウェアを主体として構成され、その
機能はＣＰＵを含むハードウェアの動作によって実現さ
れる。The data processing block 41 includes a 3D modeler 4
11, a 2D-3D pointer 412, and a calibrator 413. These components are mainly configured by software incorporated in the computer 21, and their functions are realized by the operation of hardware including a CPU.
【００１５】３Ｄモデラ４１１は、多眼カメラ１０の３
つのカメラ１１，１２，１３からの撮影画像Ｇ１１〜Ｇ
１３に基づいて、３眼ステレオ視法により立体物９の３
次元形状を再構成する。そして、撮影画像Ｇ１１〜Ｇ１
３のうちの内容が共通する部分の画素についての立体物
９上の３次元座標を示す３ＤデータＤｘｙｚを２Ｄ−３
Ｄポインタ４１２に送る。The 3D modeler 411 is a 3D camera of the multi-view camera 10.
Images G11 to G from the two cameras 11, 12, 13
13 to the three-dimensional object 9
Reconstruct a dimensional shape. Then, the photographed images G11 to G1
The 3D data Dxyz indicating the three-dimensional coordinates on the three-dimensional object 9 for the pixels of the part having the common contents of 3 is converted to 2D-3.
D pointer 412.
【００１６】２Ｄ−３Ｄポインタ４１２は、３つのカメ
ラ１１〜１３のうちの１つ（例えば中央のカメラ１１）
からの撮影画像Ｇ１１を所定のウインドウ内に表示す
る。オペレータは、撮影画像Ｇ１１のうちで単眼カメラ
３０による撮影画像Ｇ３０にも写っている特徴的な複数
の点Ｑn （ｎ＝０，１，２…）を目視で抽出する。すな
わちマウスカーソルを点Ｑn に合わせてクリックする。
抽出する点の数は多ければ多いほど好ましい。点Ｑn の
位置入力操作を受けて、２Ｄ−３Ｄポインタ４１２は、
３ＤデータＤｘｙｚを参照し、点Ｑn の番号（抽出番
号）と点Ｑn に該当する３次元座標（ｘ，ｙ，ｚ）とを
対応づけるテーブルＴ１１を作成する。テーブルＴ１１
において点Ｑn の画素位置（２次元座標）を記録する必
要はない。The 2D-3D pointer 412 is one of the three cameras 11 to 13 (for example, the center camera 11).
Is displayed in a predetermined window. The operator extracts visually distinctive plurality of points Q n that is reflected in the photographed image G30 by a monocular camera 30 (n = 0,1,2 ...) among the captured images G11. That is to click the mouse cursor to the point Q n.
The larger the number of points to be extracted, the better. Receiving position input operations of the point Q n, 2D-3D pointer 412,
Referring to 3D data Dxyz, creates a point Q n number of (extraction number) three-dimensional coordinates corresponding to the point Q n (x, y, z) a table relating T11 and. Table T11
It is not necessary to record the pixel position of the point Q n (2-dimensional coordinates) in.
【００１７】キャリブレータ４１３は、撮影画像Ｇ３０
を所定のウインドウ内に表示する。オペレータは、撮影
画像Ｇ３０のうちの撮影画像Ｇ１１における特徴的な点
Ｑnに対応する点Ｒn （ｎ＝０，１，２…）を目視で抽
出する。この操作を受けて、キャリブレータ４１３は、
テーブルＴ１１を参照し、点Ｒn の画素位置（ｕ，ｖ）
と点Ｒn に該当する３次元座標（ｘ，ｙ，ｚ）とを対応
づけるテーブルＴ３０を作成する。そして、キャリブレ
ータ４１３は、各点Ｒn の画素位置（ｕ，ｖ）とそれに
該当する３次元座標（ｘ，ｙ，ｚ）とを従来と同様に
（１）式に代入し、最小２乗法によってカメラパラメー
タＰ３０を算出する。カメラパラメータＰ３０は３Ｄモ
デラ４１１に通知される。これにより、単眼カメラ３０
のキャリブレーションが完了し、多眼カメラ１０と単眼
カメラ３０とを用いた３次元入力が可能となる。 〔第２実施形態〕上述の第１実施形態はオペレータが２
Ｄ−３Ｄポインタ４１２を使ってテーブルＴ１１を作成
し、テーブルＴ１１を一旦保存してからキャリブレータ
４１３を起動する手動キャリブレーションであった。第
２実施形態は第１実施形態より手軽な半自動キャリブレ
ーションである。The calibrator 413 detects the photographed image G30
Is displayed in a predetermined window. The operator visually extracts a point R n (n = 0, 1, 2,...) Corresponding to the characteristic point Q n in the captured image G11 of the captured image G30. Upon receiving this operation, the calibrator 413
Referring to table T11, pixel position (u, v) of point R n
DOO point three-dimensional coordinates corresponding to R n (x, y, z ) and creates a table relating T30 a. Then, the calibrator 413 substitutes the pixel position (u, v) of each point R n and the corresponding three-dimensional coordinates (x, y, z) into the equation (1) in the same manner as in the related art, and uses the least squares method. The camera parameter P30 is calculated. The camera parameter P30 is notified to the 3D modeler 411. Thereby, the monocular camera 30
Is completed, and three-dimensional input using the multi-lens camera 10 and the mono-lens camera 30 becomes possible. [Second Embodiment] The first embodiment described above requires two operators.
The manual calibration is such that the table T11 is created using the D-3D pointer 412, the table T11 is temporarily stored, and then the calibrator 413 is activated. The second embodiment is a semi-automatic calibration that is easier than the first embodiment.
【００１８】図５は第２実施形態のキャリブレーション
に係るデータ処理ブロックの構成図、図６は対応点を指
定する操作の説明図である。これらの図において、第１
実施形態の構成要素と同じ機能をもつ構成要素には図１
〜４と同一の符号を付し、その説明を省略する。以下の
図においても同様である。FIG. 5 is a configuration diagram of a data processing block related to calibration according to the second embodiment, and FIG. 6 is an explanatory diagram of an operation for specifying a corresponding point. In these figures, the first
Components having the same functions as those of the embodiment are shown in FIG.
The same reference numerals are assigned to the same components as in the first to fourth embodiments, and the description is omitted. The same applies to the following figures.
【００１９】データ処理ブロック４２は、３Ｄモデラ４
１１と上述の２Ｄ−３Ｄポインタ４１２の機能を兼ね備
えたキャリブレータ４２３とを有する。キャリブレータ
４２３は、図６のように多眼カメラ１０により得られた
撮影画像Ｇ１１と単眼カメラ３０により得られた撮影画
像Ｇ３０とをウインドウ８２内に並べて表示する。オペ
レータは、撮影画像Ｇ１１と撮影画像Ｇ３０とを見比べ
て、複数組の対応点Ｑ n ，Ｒn （ｎ＝０，１，２…）を
目視で抽出する。抽出する点の数は多ければ多いほど好
ましい。原理的には撮影画像Ｇ１１，Ｇ３０の双方に写
っている点であればよいが、対応関係のずれを避けるに
は撮影画像Ｇ１１，Ｇ３０の特徴的な部位を抽出するの
が好ましい。対応点の位置入力操作を受けて、キャリブ
レータ４２３は３ＤデータＤｘｙｚを参照し、撮影画像
Ｇ３０から抽出された各対応点Ｒ n の画素位置（ｕ，
ｖ）と点Ｒn に該当する３次元座標（ｘ，ｙ，ｚ）とを
対応づけるテーブルＴ３１を作成する。そして、各対応
点Ｒn の画素位置（ｕ，ｖ）とそれに該当する３次元座
標（ｘ，ｙ，ｚ）とを従来と同様に（１）式に代入し、
最小２乗法によってカメラパラメータＰ３０を算出す
る。 〔第３実施形態〕第３実施形態は第２実施形態でオペレ
ータが行っていた対応点探索を画像処理により行う自動
キャリブレーションである。The data processing block 42 includes a 3D modeler 4
11 and has the function of the 2D-3D pointer 412 described above.
And a calibrator 423 obtained. Calibrator
423 was obtained by the multi-lens camera 10 as shown in FIG.
Captured image G11 and captured image obtained by monocular camera 30
The image G30 and the image G30 are displayed side by side in the window 82. Operation
The lator compares the photographed image G11 with the photographed image G30.
And multiple sets of corresponding points Q n, Rn(N = 0, 1, 2, ...)
Extract visually. The more points to extract, the better
Good. In principle, both images G11 and G30
If it is a point that does not matter, but to avoid deviation of the correspondence
Is to extract the characteristic parts of the captured images G11 and G30
Is preferred. In response to the position input operation of the corresponding point,
The lator 423 refers to the 3D data Dxyz,
Each corresponding point R extracted from G30 nPixel position (u,
v) and point RnAnd the three-dimensional coordinates (x, y, z) corresponding to
A table T31 to be associated is created. And each response
Point RnPixel position (u, v) and corresponding 3D coordinates
The markers (x, y, z) are substituted into equation (1) as in the past,
Calculate the camera parameter P30 by the least squares method
You. [Third Embodiment] A third embodiment is different from the second embodiment in that
Automatic search for corresponding points by image processing
Calibration.
【００２０】図７は第３実施形態に係る撮影の様子を示
す図、図８は第３実施形態に係るデータ処理ブロックの
構成図、図９は処理の進行に応じたモニタ表示を示す図
である。FIG. 7 is a view showing a state of photographing according to the third embodiment, FIG. 8 is a view showing a configuration of a data processing block according to the third embodiment, and FIG. 9 is a view showing a monitor display according to the progress of processing. is there.
【００２１】対応点探索の自動化に適したテクスチャを
もつ立体チャート９０を用意し、多眼カメラ１０および
単眼カメラ３０によって同時に立体チャート９０を撮影
する。立体チャート９０の仕様については、標準物体９
５と同程度の大きさが必要であるが、テクスチャの寸法
精度が低くても支障はなく、剛体である必要もない。A three-dimensional chart 90 having a texture suitable for automating a corresponding point search is prepared, and the multi-view camera 10 and the monocular camera 30 simultaneously photograph the three-dimensional chart 90. For the specifications of the three-dimensional chart 90, refer to the standard object 9
Although the same size as 5 is required, there is no problem even if the dimensional accuracy of the texture is low, and the texture does not need to be rigid.
【００２２】データ処理ブロック４３は、３Ｄモデラ４
１１とキャリブレータ４３３とを有する。キャリブレー
タ４３３は、多眼カメラ１０により得られた撮影画像Ｇ
１１ｂと単眼カメラ３０により得られた撮影画像Ｇ３０
ｂとを取り込み、線分画像に変換する輪郭抽出処理を行
う。続いて、線分の交点を求め、撮影画像Ｇ１１ｂから
求めた交点Ｑn とそれに対応した撮影画像Ｇ３０ｂの線
分の交点Ｒn と抽出する。そして、キャリブレータ４３
３は、３ＤデータＤｘｙｚを参照し、交点Ｒnの画素位
置（ｕ，ｖ）と交点Ｒn に該当する３次元座標（ｘ，
ｙ，ｚ）とを（１）式に代入し、最小２乗法によってカ
メラパラメータＰ３０を算出する。この一連の処理の進
行に合わせて、図９のように画像の取込み、輪郭抽出、
交点の抽出の各処理の結果がモニタ表示される。The data processing block 43 includes a 3D modeler 4
11 and a calibrator 433. The calibrator 433 detects the captured image G obtained by the multi-view camera 10.
11b and a photographed image G30 obtained by the monocular camera 30
b), and performs a contour extraction process of converting it into a line segment image. Then, obtain the intersection of the line segment, to extract the intersection R n of line segments of the captured image G30b corresponding thereto and the intersection point Q n obtained from the photographed image G11b. And the calibrator 43
3 refers to the 3D data Dxyz, intersection pixel position of R n (u, v) and the intersection three-dimensional coordinates corresponding to R n (x,
(y, z) are substituted into equation (1), and the camera parameter P30 is calculated by the least squares method. In accordance with the progress of this series of processing, as shown in FIG.
The result of each process of the intersection extraction is displayed on the monitor.
【００２３】なお、第１実施形態および第２実施形態で
は、多眼カメラ１０により得られた撮影画像Ｇ１１と単
眼カメラ３０により得られた撮影画像Ｇ３０の両方に対
して対応する点を指定する例を示したが、これに限らな
い。一方の画像上で特徴的な点をオペレータが指定すれ
ば、他方の画像上の対応点が自動抽出される構成を採用
してもよい。その場合、例えば撮影画像Ｇ１１上で目尻
や口の端を指定すれば、撮影画像Ｇ３０上での対応する
目尻や口の端が、ブロックマッチングに代表される画像
比較手法により自動的に抽出される。ただし、自動抽出
動作に失敗することもあるので、撮影画像Ｇ３０上で自
動抽出されたと対応点をオペレータが適宜に修正できる
ようにしておく。In the first embodiment and the second embodiment, points corresponding to both the photographed image G11 obtained by the multi-lens camera 10 and the photographed image G30 obtained by the monocular camera 30 are designated. However, the present invention is not limited to this. If the operator specifies a characteristic point on one image, a corresponding point on the other image may be automatically extracted. In this case, for example, if the outer corner of the eye and the end of the mouth are designated on the photographed image G11, the corresponding outer corner of the eye and the end of the mouth on the photographed image G30 are automatically extracted by an image comparison method represented by block matching. . However, since the automatic extraction operation may fail, it is necessary for the operator to appropriately correct the corresponding point that has been automatically extracted on the captured image G30.
【００２４】また、多眼カメラ１０として３つのカメラ
を一体化したものを示したが、多眼カメラは必ずしも一
体化されている必要はなく、カメラも２つ以上であれば
個数にこだわらなくてよい。さらに、多眼カメラ１０に
対してキャリブレーションされるカメラは単眼カメラの
みに限定されるものではなく、予め単体としてキャリブ
レーションがなされている別の多眼カメラであってもよ
い。Although the multi-lens camera 10 is shown in which three cameras are integrated, the multi-lens camera is not necessarily required to be integrated, and the number of cameras is not limited to two or more. Good. Furthermore, the camera calibrated for the multi-lens camera 10 is not limited to a single-lens camera, but may be another multi-lens camera that has been calibrated as a single unit in advance.
【００２５】[0025]
【発明の効果】請求項１乃至請求項４の発明によれば、
対象物体に対して複数のカメラを任意に配置して３次元
入力を行う場合において、精密な標準物体を用いずに手
軽にキャリブレーションを行うことができる。According to the first to fourth aspects of the present invention,
When three-dimensional input is performed by arbitrarily arranging a plurality of cameras on a target object, calibration can be easily performed without using a precise standard object.
【図１】本発明に係るモデリングシステムの構成図であ
る。FIG. 1 is a configuration diagram of a modeling system according to the present invention.
【図２】撮影画像を示す図である。FIG. 2 is a diagram showing a captured image.
【図３】第１実施形態のキャリブレーションに係るデー
タ処理ブロックの構成図である。FIG. 3 is a configuration diagram of a data processing block related to calibration of the first embodiment.
【図４】テーブルの内容を示す図である。FIG. 4 is a diagram showing the contents of a table.
【図５】第２実施形態のキャリブレーションに係るデー
タ処理ブロックの構成図である。FIG. 5 is a configuration diagram of a data processing block related to calibration of a second embodiment.
【図６】対応点を指定する操作の説明図である。FIG. 6 is an explanatory diagram of an operation of designating a corresponding point.
【図７】第３実施形態に係る撮影の様子を示す図であ
る。FIG. 7 is a diagram illustrating a state of shooting according to a third embodiment.
【図８】第３実施形態に係るデータ処理ブロックの構成
図である。FIG. 8 is a configuration diagram of a data processing block according to a third embodiment.
【図９】処理の進行に応じたモニタ表示を示す図であ
る。FIG. 9 is a diagram showing a monitor display according to the progress of processing.
【図１０】標準物体の撮影の様子を示す図である。FIG. 10 is a diagram illustrating a state of shooting a standard object.
【図１１】標準物体の座標テーブルを示す図である。FIG. 11 is a diagram showing a coordinate table of a standard object.
【図１２】標準物体を用いたキャリブレーションに係る
画面操作を示す図である。FIG. 12 is a diagram illustrating a screen operation related to calibration using a standard object.
【図１３】座標変換の説明図である。FIG. 13 is an explanatory diagram of coordinate conversion.
１０ 多眼カメラ（第１のカメラ） ３０ 単眼カメラ（第２のカメラ） Ｇ１１，Ｇ１１ｂ 撮影画像（第１の画像） ９ 立体物 Ｄｘｙｚ ３Ｄデータ（３次元座標データ） Ｇ３０，Ｇ３０ｂ 撮影画像（第２の画像） Ｑn ，Ｒn 対応点 Ｐ３０ カメラパラメータ ４１，４２，４３ データ処理ブロック（キャリブレー
ション装置）Reference Signs List 10 multi-lens camera (first camera) 30 monocular camera (second camera) G11, G11b photographed image (first image) 9 three-dimensional object Dxyz 3D data (three-dimensional coordinate data) G30, G30b photographed image (second) Pictures) Q n, R n corresponding points P30 camera parameters 41, 42 and 43 data processing block (calibration device)
フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） Ｇ０３Ｂ 19/07 Ｇ０６Ｔ 3/00 ２００ Ｇ０６Ｔ 1/00 ３１５ Ｈ０４Ｎ 17/00 Ｋ 3/00 ２００ Ｇ０１Ｂ 11/24 Ｋ Ｈ０４Ｎ 17/00 Ｎ Ｆターム(参考） 2F065 AA04 AA53 BB05 CC16 EE00 FF05 FF61 JJ05 QQ17 QQ18 QQ24 QQ28 QQ36 QQ38 SS13 2H054 AA01 BB05 5B057 AA01 BA02 BA24 CA12 CA16 CD12 CD14 DA07 DA17 DB03 5C061 AB03 AB06 AB08 BB03 BB05 BB15 CC01 Continuation of the front page (51) Int.Cl. 7 Identification symbol FI Theme coat II (reference) G03B 19/07 G06T 3/00 200 G06T 1/00 315 H04N 17/00 K 3/00 200 G01B 11/24 K H04N 17 / 00 NF term (reference) 2F065 AA04 AA53 BB05 CC16 EE00 FF05 FF61 JJ05 QQ17 QQ18 QQ24 QQ28 QQ36 QQ38 SS13 2H054 AA01 BB05 5B057 AA01 BA02 BA24 CA12 CA16 CD12 CD14 DA07 DA03 DB03 AB03 BB03 AB03
Claims (4)
メラと、当該多眼カメラに対してキャリブレーションが
行われていない第２のカメラとにより対象物を撮影する
ステップと、 前記多眼カメラで撮影した複数の画像に基づき、対象物
の３次元座標データを得るステップと、 前記多眼カメラで撮影した画像と前記第２のカメラで撮
影した画像とから、複数組の対応点を抽出するステップ
と、 対象物の３次元座標データと複数組の対応点とに基づい
て前記多眼カメラに対する前記第２のカメラのキャリブ
レーションを行うステップとを有したことを特徴とする
３次元入力のためのキャリブレーション方法。A step of photographing an object with a multi-view camera that has been calibrated in advance and a second camera that has not been calibrated for the multi-view camera; Obtaining three-dimensional coordinate data of the object based on the plurality of captured images; and extracting a plurality of sets of corresponding points from an image captured by the multi-view camera and an image captured by the second camera. And calibrating the second camera with respect to the multi-view camera based on three-dimensional coordinate data of the object and a plurality of sets of corresponding points. Calibration method.
なる位置から撮影し、それにより得られた複数の２次元
画像に基づいて前記物体の形状をデータ化する３次元入
力のためのキャリブレーション方法であって、 立体物を前記第１のカメラを用いて撮影し、それにより
得られた第１の画像に基づいて前記立体物の形状を表す
３次元座標データを得るステップと、 前記第２のカメラを用いた前記立体物の撮影により得ら
れた第２の画像と前記第１の画像とから、複数組の対応
点を抽出するステップと、 前記第１の画像上の対応点と前記３次元座標データとの
対応関係に基づいて、前記第２の画像上の複数の対応点
のそれぞれについて、それに対応する前記立体物上の位
置の３次元座標を求めるステップと、 前記第２の画像上の複数の対応点と前記立体物上の位置
の３次元座標との関係に基づいて、前記第１のカメラに
対する前記第２カメラの関係を特定するカメラパラメー
タを算出するステップとを有したことを特徴とする３次
元入力のためのキャリブレーション方法。2. A three-dimensional input for photographing an object from different positions using first and second cameras and converting the shape of the object into data based on a plurality of two-dimensional images obtained thereby. A calibration method, wherein a three-dimensional object is photographed using the first camera, and three-dimensional coordinate data representing the shape of the three-dimensional object is obtained based on a first image obtained thereby; Extracting a plurality of sets of corresponding points from a second image and the first image obtained by photographing the three-dimensional object using a second camera; Obtaining a three-dimensional coordinate of a position on the three-dimensional object corresponding to each of the plurality of corresponding points on the second image based on a correspondence relationship with the three-dimensional coordinate data; Multiple corresponding points on the image Calculating camera parameters for specifying a relationship between the first camera and the second camera based on a relationship between the first camera and the three-dimensional coordinates of the position on the three-dimensional object. Calibration method for input.
なる位置から撮影し、それにより得られた複数の２次元
画像に基づいて前記物体の形状をデータ化する３次元入
力のためのキャリブレーション装置であって、 前記第１のカメラによる立体物の撮影画像である第１の
画像、および前記第２のカメラによる前記立体物の撮影
画像である第２の画像が入力され、 前記第１の画像に基づいて測定された前記立体物の形状
を表す３次元座標データから、前記第１の画像における
複数の注目位置のそれぞれについて、それに対応する前
記立体物上の位置の３次元座標を抽出し、 前記第２の画像とから前記注目位置の対応点として抽出
された複数の位置とそれらに対応する前記立体物上の位
置の３次元座標との関係に基づいて、前記第１のカメラ
に対する前記第２カメラの関係を特定するカメラパラメ
ータを算出することを特徴とする３次元入力のためのキ
ャリブレーション装置。3. A three-dimensional input for photographing an object from different positions using first and second cameras and converting the shape of the object into data based on a plurality of two-dimensional images obtained thereby. A calibration device, wherein a first image that is a captured image of a three-dimensional object by the first camera and a second image that is a captured image of the three-dimensional object by the second camera are input; From the three-dimensional coordinate data representing the shape of the three-dimensional object measured based on one image, for each of a plurality of target positions in the first image, three-dimensional coordinates of a corresponding position on the three-dimensional object are calculated. Extracting the first camera based on a relationship between a plurality of positions extracted as corresponding points of the target position from the second image and three-dimensional coordinates of corresponding positions on the three-dimensional object; To Calibration apparatus for a three-dimensional input and calculates a camera parameter identifying the relationship of the second camera to.
数組の対応点を抽出する対応点探索機能を有した請求項
３記載の３次元入力のためのキャリブレーション装置。4. The three-dimensional input calibration apparatus according to claim 3, further comprising a corresponding point search function for extracting a plurality of sets of corresponding points from the first image and the second image.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000328175A JP2002135807A (en) | 2000-10-27 | 2000-10-27 | Method and device for calibration for three-dimensional entry |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000328175A JP2002135807A (en) | 2000-10-27 | 2000-10-27 | Method and device for calibration for three-dimensional entry |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2002135807A true JP2002135807A (en) | 2002-05-10 |
Family
ID=18805068
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000328175A Pending JP2002135807A (en) | 2000-10-27 | 2000-10-27 | Method and device for calibration for three-dimensional entry |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2002135807A (en) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009014481A (en) * | 2007-07-04 | 2009-01-22 | Ihi Corp | Distance measuring device and its calibration method |
| JP2009109322A (en) * | 2007-10-30 | 2009-05-21 | National Institute Of Information & Communication Technology | Camera, camera array and camera array system |
| JP2016509220A (en) * | 2013-02-04 | 2016-03-24 | デー・エヌ・ファオ．ゲー・エル．エス・エーＤｎｖ Ｇｌ Ｓｅ | Inspection camera unit for inspecting the interior, method for inspecting the interior, and sensor unit |
| WO2018062368A1 (en) * | 2016-09-30 | 2018-04-05 | 株式会社ニコン | Image pickup device and image pickup system |
| WO2018173205A1 (en) * | 2017-03-23 | 2018-09-27 | 株式会社ソニー・インタラクティブエンタテインメント | Information processing system, method for controlling same, and program |
| JP2020159965A (en) * | 2019-03-27 | 2020-10-01 | 東北電力株式会社 | Three-dimensional measurement device, three-dimensional measurement system, and three-dimensional measurement method |
-
2000
- 2000-10-27 JP JP2000328175A patent/JP2002135807A/en active Pending
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009014481A (en) * | 2007-07-04 | 2009-01-22 | Ihi Corp | Distance measuring device and its calibration method |
| JP2009109322A (en) * | 2007-10-30 | 2009-05-21 | National Institute Of Information & Communication Technology | Camera, camera array and camera array system |
| JP2016509220A (en) * | 2013-02-04 | 2016-03-24 | デー・エヌ・ファオ．ゲー・エル．エス・エーＤｎｖ Ｇｌ Ｓｅ | Inspection camera unit for inspecting the interior, method for inspecting the interior, and sensor unit |
| WO2018062368A1 (en) * | 2016-09-30 | 2018-04-05 | 株式会社ニコン | Image pickup device and image pickup system |
| JPWO2018062368A1 (en) * | 2016-09-30 | 2019-08-15 | 株式会社ニコン | Imaging apparatus and imaging system |
| WO2018173205A1 (en) * | 2017-03-23 | 2018-09-27 | 株式会社ソニー・インタラクティブエンタテインメント | Information processing system, method for controlling same, and program |
| US10798360B2 (en) | 2017-03-23 | 2020-10-06 | Sony Interactive Entertainment Inc. | Information processing system, method for controlling same, and program |
| JP2020159965A (en) * | 2019-03-27 | 2020-10-01 | 東北電力株式会社 | Three-dimensional measurement device, three-dimensional measurement system, and three-dimensional measurement method |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110568447B (en) | Visual positioning method, device and computer readable medium | |
| CN110809786B (en) | Calibration device, calibration chart, chart pattern generation device, and calibration method | |
| KR101666959B1 (en) | Image processing apparatus having a function for automatically correcting image acquired from the camera and method therefor | |
| US8107722B2 (en) | System and method for automatic stereo measurement of a point of interest in a scene | |
| US20030091227A1 (en) | 3-D reconstruction engine | |
| Tamas et al. | Targetless calibration of a lidar-perspective camera pair | |
| JP2000516360A (en) | Three-dimensional object modeling apparatus and method | |
| JP2010109783A (en) | Electronic camera | |
| CN109711472B (en) | Training data generation method and device | |
| US20100245544A1 (en) | Imaging apparatus, imaging control method, and recording medium | |
| CN109934873B (en) | Method, device and equipment for acquiring marked image | |
| US20020094134A1 (en) | Method and system for placing three-dimensional models | |
| CN1544883A (en) | Three-dimensional foot type measuring and modeling method based on specific grid pattern | |
| CN115830135A (en) | Image processing method and device and electronic equipment | |
| CN112070844A (en) | Calibration method and device of structured light system, calibration tool diagram, equipment and medium | |
| JP2002135807A (en) | Method and device for calibration for three-dimensional entry | |
| CN112073640A (en) | Panoramic information acquisition pose acquisition method, device and system | |
| JP2003006618A (en) | Method and device for generating three-dimensional model and computer program | |
| CN113256811B (en) | Building modeling method, building modeling apparatus, and computer-readable storage medium | |
| KR102217215B1 (en) | Server and method for 3dimension model production using scale bar | |
| CN117078762A (en) | Virtual reality equipment, camera calibration device and method | |
| JP7251631B2 (en) | Template creation device, object recognition processing device, template creation method, object recognition processing method, and program | |
| JP2006059165A (en) | Three-dimensional modeling device, geometric pattern, three-dimensional modeling data generating method, three-dimensional modeling program and recording medium | |
| JP3052926B2 (en) | 3D coordinate measuring device | |
| JP2004170277A (en) | 3-dimensional measurement method, 3-dimensional measurement system, image processing apparatus, and computer program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20050613 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20050704 |