JP2011086111A

JP2011086111A - Imaging apparatus calibration method and image synthesis device

Info

Publication number: JP2011086111A
Application number: JP2009238338A
Authority: JP
Inventors: Masayuki Harada; 雅之原田; Tomoyuki Nozaki; 智之野崎
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2009-10-15
Filing date: 2009-10-15
Publication date: 2011-04-28

Abstract

<P>PROBLEM TO BE SOLVED: To provide an imaging apparatus calibration method for performing calibration without using the accurate three-dimensional coordinate position of an image pickup object, and for uniformly calibrating an error between imaging apparatuses. <P>SOLUTION: Cameras 1 to 4 divide and image a perimeter, and a feature point setting part 104 sets a common feature point to image data between the adjacent cameras, and a camera initial position setting part 106 sets the relative positions of the cameras 2 to 4 by using the position of the camera 1 as a reference and by using rotational movement and parallel movement, and a camera position correction part 107 calculates a basic matrix from the rotational movement and parallel movement, and calculates a distance between the epipolar line of an image between the adjacent cameras and the coordinate position of the feature point by using the coordinate value of the feature point on the image, and minimizes the distance by setting the rotational movement and parallel movement to variables, and sets the values of the rotational movement and parallel movement in minimizing the distance to the actual positions of the cameras 1 to 4 after correction. <P>COPYRIGHT: (C)2011,JPO&INPIT

Description

この発明は、複数の撮像装置が撮像した複数の画像データを、各撮像装置の位置関係に基づいて投影面上に合成するために、各撮像装置の位置関係を求める撮像装置校正方法、及び校正した撮像装置間の位置関係に基づいて全周画像を生成する画像合成装置に関するものである。 The present invention relates to an imaging device calibration method for obtaining a positional relationship of each imaging device and a calibration in order to synthesize a plurality of image data captured by the plurality of imaging devices on a projection plane based on the positional relationship of each imaging device. The present invention relates to an image synthesizing device that generates an all-round image based on the positional relationship between imaging devices.

複数のカメラ（撮像装置）が撮像した画像を合成して全周画像を生成するためには、各カメラの画像間の関係を求める必要がある。
従来、各カメラ画像間の関係を求めるカメラ校正手法として、平面射影変換に基づく手法がある。この平面射影変換は、各カメラの撮像対象が同一平面上にある場合にカメラ画像間に成り立つ変換であり、カメラ画像座標間の関係を記述した変換行列である。例えば、特許文献１のカメラ校正方法では、車両の前後左右に取り付けた４つのカメラについて、隣接する前−右カメラ間、前−左カメラ間、後−右カメラ間、後−左カメラ間のそれぞれの共通撮像領域に特徴点を配置し、隣接するカメラ画像上の特徴点の座標値対応関係に基づき、合成画像座標への変換パラメータを平面射影変換によって求める。各カメラで撮像した画像を地面上に投影して合成する際には、これらの変換パラメータを用いて撮像画像における各点の座標を地面上の座標に変換する。 In order to synthesize images captured by a plurality of cameras (imaging devices) and generate an all-round image, it is necessary to obtain a relationship between the images of the cameras.
Conventionally, as a camera calibration method for obtaining a relationship between camera images, there is a method based on planar projective transformation. This planar projective transformation is a transformation that is established between the camera images when the imaging target of each camera is on the same plane, and is a transformation matrix that describes the relationship between the camera image coordinates. For example, in the camera calibration method of Patent Document 1, for four cameras attached to the front, rear, left, and right of a vehicle, each of adjacent front-right cameras, front-left cameras, rear-right cameras, and rear-left cameras. The feature points are arranged in the common imaging region, and the conversion parameter to the composite image coordinates is obtained by plane projective transformation based on the coordinate value correspondence of the feature points on the adjacent camera images. When an image captured by each camera is projected onto the ground and synthesized, the coordinates of each point in the captured image are converted into coordinates on the ground using these conversion parameters.

また、撮像対象の３次元位置から各カメラの３次元位置姿勢を求め、求めた各カメラの位置姿勢からカメラ画像間の関係を求めるカメラ校正手法もある。例えば、非特許文献１の方法では、先ず、１番目のカメラで撮像された３次元物体の座標からこの１番目のカメラの位置を決定し、次に、位置が決定された１番目のカメラとこれから位置を決定する２番目のカメラに共通して撮像された物体の３次元位置を１番目のカメラのカメラ座標から求め、その３次元位置から２番目のカメラの位置を決定するようにして、複数のカメラのカメラ位置の校正を順番に行っていた。 There is also a camera calibration method for obtaining the three-dimensional position and orientation of each camera from the three-dimensional position of the imaging target and obtaining the relationship between the camera images from the obtained position and orientation of each camera. For example, in the method of Non-Patent Document 1, first, the position of the first camera is determined from the coordinates of a three-dimensional object imaged by the first camera, and then the first camera whose position is determined The three-dimensional position of the object imaged in common with the second camera for determining the position is determined from the camera coordinates of the first camera, and the position of the second camera is determined from the three-dimensional position. The camera positions of multiple cameras were calibrated sequentially.

特開２００８−１８７５６４号公報JP 2008-187564 A

三嶋、羽石、味戸、山崎、「被写体方向を保存したドーム投影のための複数枚画像の合成方法」、２００６年度日本写真学会年次大会、１Ａ−０６Ｋ、ｐｐ．１２〜１３Mishima, Haneishi, Ajido, Yamazaki, “Composition Method of Multiple Images for Dome Projection Preserving Subject Direction”, 2006 Annual Meeting of the Photographic Society of Japan, 1A-06K, pp. 12-13

従来のカメラ校正方法は以上のように構成されているので、特許文献１のように平面射影変換を用いる場合には、撮像対象が同一平面上に存在しなければならないという課題があった。そのため、３６０度の全周画像を合成する場合には、全てのカメラが撮像できる平面が存在し得ないので、平面射影変換では合成できない。全周を複数の平面に分割する方法もあるが、平面間の接合部分で不自然な画像となってしまうという問題が発生する。 Since the conventional camera calibration method is configured as described above, there is a problem that the imaging target must exist on the same plane when the planar projective transformation is used as in Patent Document 1. Therefore, when synthesizing a 360-degree all-round image, there cannot be a plane that can be captured by all cameras, and thus it cannot be synthesized by plane projective transformation. Although there is a method of dividing the entire circumference into a plurality of planes, there arises a problem that an unnatural image is formed at a joint portion between the planes.

また、非特許文献１のように撮像対象となる物体の３次元座標を用いる場合には、物体の３次元位置を測定する手法が必要であり、特に物体が遠距離にある場合には、物体の位置を正確に測定することが困難であるという課題があった。また、前のカメラ位置から順に次のカメラ位置を校正すると、校正の際の誤差が順に蓄積し、最後に校正したカメラでは１番目に構成したカメラと比較して相対的に誤差が大きくなってしまう。このように、誤差の蓄積が発生する手法を用いると、最初に校正されたカメラの撮像画像と最後に校正されたカメラの撮像画像が合成された全周画像において、最初に校正されたカメラの撮像画像と最後に校正されたカメラの撮像画像の合成部分の誤差が他の合成部分の誤差より大きくなってしまい、均一な全周画像が得られないという課題があった。 In addition, when using the three-dimensional coordinates of the object to be imaged as in Non-Patent Document 1, a method for measuring the three-dimensional position of the object is necessary, particularly when the object is at a long distance. There is a problem that it is difficult to accurately measure the position of. In addition, when the next camera position is calibrated sequentially from the previous camera position, errors at the time of calibration accumulate in order, and the last calibrated camera has a relatively larger error than the first configured camera. End up. In this way, using a method in which error accumulation occurs, the first calibrated camera's first calibrated camera image is combined with the last calibrated camera's captured image. There is a problem in that an error in the combined portion of the captured image and the captured image of the camera calibrated at the end is larger than an error in other combined portions, and a uniform all-round image cannot be obtained.

この発明は、上記のような課題を解決するためになされたもので、複数の撮像装置の撮像画像を合成して全周画像を生成する画像合成装置に対して、撮像対象物体の正確な３次元座標位置が分からなくとも各撮像装置の校正を行うと共に、各撮像装置間の誤差を均一に校正する撮像装置校正方法を提供することを目的とする。また、この撮像装置校正方法により校正した撮像装置の位置関係を用いて、合成誤差を全周画像全体で均一にする画像合成装置を提供することを目的とする。 The present invention has been made to solve the above-described problems, and provides an image capturing apparatus that accurately captures an object to be imaged with respect to an image composition apparatus that synthesizes captured images of a plurality of image capturing apparatuses to generate an entire circumference image. An object of the present invention is to provide an imaging apparatus calibration method that calibrates each imaging apparatus even if the dimensional coordinate position is not known, and uniformly calibrates an error between the imaging apparatuses. It is another object of the present invention to provide an image composition apparatus that makes the composition error uniform over the entire peripheral image using the positional relationship of the image capture apparatus calibrated by the image capture apparatus calibration method.

この発明に係る撮像装置校正方法は、隣接する撮像装置の各画像データから、当該隣接する撮像装置間で共通に撮像された物体をそれぞれ抽出して特徴点に設定する特徴点設定ステップと、各撮像装置の既知の位置関係に基づいて、複数の撮像装置のうちの特定の撮像装置の位置を基準にしてその他の撮像装置の相対位置を回転移動量及び平行移動量を用いて設定する初期位置設定ステップと、初期位置設定ステップで設定した回転移動量及び平行移動量と、特徴点設定ステップで設定した特徴点の画像上の座標値とを用いて、各撮像装置の位置関係の実際の位置からの誤差を補正する撮像装置位置補正ステップとを備えるものである。 The imaging device calibration method according to the present invention includes a feature point setting step of extracting an object imaged in common between the adjacent imaging devices from each image data of the adjacent imaging devices, and setting the feature points as feature points. An initial position for setting the relative position of the other imaging device using the rotational movement amount and the parallel movement amount based on the position of the specific imaging device among the plurality of imaging devices based on the known positional relationship of the imaging device Using the setting step, the rotational movement amount and the parallel movement amount set in the initial position setting step, and the coordinate value on the image of the feature point set in the feature point setting step, the actual position of the positional relationship of each imaging device An image pickup apparatus position correcting step for correcting an error from the image pickup apparatus position.

また、この発明に係る画像合成装置は、全周を分割して撮像する複数の撮像装置と、複数の撮像装置が撮像した複数の画像データを取得する画像取得部と、隣接する撮像装置の各画像データから、当該隣接する撮像装置間で共通に撮像された物体をそれぞれ抽出して特徴点に設定する特徴点設定部と、各撮像装置の既知の位置関係に基づいて、複数の撮像装置のうちの特定の撮像装置の位置を基準にしてその他の撮像装置の相対位置を回転移動量及び平行移動量を用いて設定する初期位置設定部と、初期位置設定部が設定した回転移動量及び平行移動量と、特徴点設定部で設定した特徴点の画像上の座標値とを用いて、各撮像装置の位置関係の実際の位置からの誤差を補正する撮像装置位置補正部と、撮像装置位置補正部が補正した位置関係に基づいて、複数の画像データを投影面上に合成し、全周画像を生成する画像合成部とを備えるものである。 The image composition device according to the present invention includes a plurality of imaging devices that divide and capture the entire circumference, an image acquisition unit that acquires a plurality of image data captured by the plurality of imaging devices, and each of the adjacent imaging devices. Based on the known positional relationship between each imaging device and a feature point setting unit that extracts from the image data each object imaged in common between the adjacent imaging devices and sets it as a feature point. An initial position setting unit that sets the relative position of the other imaging device using the rotational movement amount and the parallel movement amount with reference to the position of the specific imaging device, and the rotational movement amount and parallel set by the initial position setting unit An imaging device position correction unit that corrects an error from the actual position of the positional relationship of each imaging device using the movement amount and the coordinate value on the image of the feature point set by the feature point setting unit; Positional relationship corrected by the correction unit Based on, synthesizing a plurality of image data on the projection plane, in which and an image synthesizing unit for generating an all-around image.

この発明によれば、各撮像装置の位置関係として設定された回転移動量及び平行移動量と、特徴点の画像上の座標値とを用いて、各撮像装置の位置関係の実際の位置からの誤差を補正するようにしたので、特徴点である撮像対象物体の３次元座標位置を用いることなく各撮像装置の校正を行うことができると共に、各撮像装置間の誤差を均一に校正することのできる撮像装置校正方法を提供することができる。 According to the present invention, the rotational movement amount and the parallel movement amount set as the positional relationship of each imaging device, and the coordinate value on the image of the feature point, from the actual position of the positional relationship of each imaging device. Since the error is corrected, each imaging apparatus can be calibrated without using the three-dimensional coordinate position of the imaging target object that is the feature point, and the error between the imaging apparatuses can be calibrated uniformly. An imaging apparatus calibration method that can be provided can be provided.

また、この発明によれば、各撮像装置の位置関係として設定された回転移動量及び平行移動量と、特徴点の画像上の座標値とを用いて、各撮像装置の位置関係の実際の位置からの誤差を補正し、補正した位置関係に基づいて複数の画像データを投影面上に合成し、全周画像を生成するようにしたので、特徴点である撮像対象物体の３次元座標位置を用いることなく各撮像装置の校正を行うことができると共に、各撮像装置間の誤差を均一に校正することができ、さらに、画像の合成誤差を全周画像全体で均一にすることのできる画像合成装置を提供することができる。 In addition, according to the present invention, the actual position of the positional relationship of each imaging device using the rotational movement amount and the parallel movement amount set as the positional relationship of each imaging device and the coordinate value on the image of the feature point. Is corrected, and a plurality of image data is synthesized on the projection plane based on the corrected positional relationship to generate an all-round image. Therefore, the three-dimensional coordinate position of the imaging target object that is a feature point is determined. It is possible to calibrate each imaging device without using it, to calibrate the error between each imaging device uniformly, and to make image synthesis error uniform over the entire perimeter image An apparatus can be provided.

この発明の実施の形態１に係る画像合成装置の構成を示すブロック図である。It is a block diagram which shows the structure of the image synthesizing | combining apparatus which concerns on Embodiment 1 of this invention. 図１に示す画像合成装置の動作を示すフローチャートである。3 is a flowchart illustrating an operation of the image composition device illustrated in FIG. 1. 図１に示すカメラ部１０１の各カメラ１〜４の配置例を示すカメラ配置図である。It is a camera arrangement | positioning figure which shows the example of arrangement | positioning of each camera 1-4 of the camera part 101 shown in FIG. ３次元座標の設定された空間において、２つの透視カメラＡ，Ｂから撮像対象３０５を見たときの位置関係を示す図である。It is a figure which shows the positional relationship when the imaging target 305 is seen from two fluoroscopic cameras A and B in the space where the three-dimensional coordinate is set. 透視カメラＡを例にして、カメラ座標系を説明する図である。It is a figure explaining a camera coordinate system for the perspective camera A as an example. カメラ初期位置とカメラ相対位置との誤差の評価法を説明する図である。It is a figure explaining the evaluation method of the error of a camera initial position and a camera relative position. 図１に示すカメラ位置補正部１０７の動作を示すフローチャートである。It is a flowchart which shows operation | movement of the camera position correction | amendment part 107 shown in FIG. 図１に示す画像合成部１１０の画像合成方法を説明する図である。It is a figure explaining the image composition method of the image composition part 110 shown in FIG. カメラの平行移動により発生したずれと回転移動により発生したずれを説明する図である。It is a figure explaining the shift | offset | difference which generate | occur | produced by the parallel movement of the camera, and the shift | offset | difference which generate | occur | produced by rotational movement.

実施の形態１．
図１は、この発明の実施の形態１に係る画像合成装置の構成を示すブロック図である。この画像合成装置は、カメラ部１０１、画像取得部１０２、画像データ記憶部１０３、特徴点設定部１０４、特徴点位置補正部１０５、カメラ初期位置設定部１０６、カメラ位置補正部１０７、画像補正データ記憶部１０８、カメラ位置データ記憶部１０９、画像合成部１１０を備える。 Embodiment 1 FIG.
FIG. 1 is a block diagram showing a configuration of an image composition apparatus according to Embodiment 1 of the present invention. The image composition apparatus includes a camera unit 101, an image acquisition unit 102, an image data storage unit 103, a feature point setting unit 104, a feature point position correction unit 105, a camera initial position setting unit 106, a camera position correction unit 107, and image correction data. A storage unit 108, a camera position data storage unit 109, and an image composition unit 110 are provided.

カメラ部１０１は、カメラ（撮像装置）１〜４の４台を備え、全周を４分割して両端が重複するように撮像し、各画像を出力する。なお、本実施の形態１ではカメラが４台の場合を例に説明するが、これに限定されるものではなく、全周を何台のカメラで分割して撮像してもよい。画像取得部１０２は、カメラ部１０１から画像データを取得し、画像データ記憶部１０３に保存する。なお、画像データ記憶部１０３、画像補正データ記憶部１０８及びカメラ位置データ記憶部１０９は、メモリ等の記憶媒体から構成される。 The camera unit 101 includes four cameras (imaging devices) 1 to 4, divides the entire circumference into four parts, images so that both ends overlap, and outputs each image. In the first embodiment, a case where there are four cameras will be described as an example. However, the present invention is not limited to this, and the entire circumference may be divided and captured by any number of cameras. The image acquisition unit 102 acquires image data from the camera unit 101 and stores it in the image data storage unit 103. The image data storage unit 103, the image correction data storage unit 108, and the camera position data storage unit 109 are configured from a storage medium such as a memory.

特徴点設定部１０４は、画像データ記憶部１０３に保存された画像データ上に、校正に必要な特徴点を設定する。特徴点位置補正部１０５は、画像補正データ記憶部１０８に保存された画像補正データを用いて、画像データ上に設定された特徴点の位置を透視カメラで撮像した場合の位置に変換する。カメラ初期位置設定部１０６は、カメラ位置データ記憶部１０９に保存されたカメラ１〜４の初期位置データを取得して、カメラ位置に設定する。カメラ位置補正部１０７は、特徴点位置補正部１０５により補正された特徴点を用いて、カメラ１〜４のカメラ初期位置を現実に配置固定された正しいカメラ位置に補正すると共に、補正したカメラ位置を実際位置データとしてカメラ位置データ記憶部１０９に記憶させる。 The feature point setting unit 104 sets feature points necessary for calibration on the image data stored in the image data storage unit 103. The feature point position correction unit 105 uses the image correction data stored in the image correction data storage unit 108 to convert the position of the feature point set on the image data into the position when the fluoroscopic camera captures the image. The camera initial position setting unit 106 acquires the initial position data of the cameras 1 to 4 stored in the camera position data storage unit 109 and sets the camera position. The camera position correcting unit 107 uses the feature points corrected by the feature point position correcting unit 105 to correct the initial camera positions of the cameras 1 to 4 to the correct camera positions that are actually arranged and fixed, and the corrected camera positions. Are stored in the camera position data storage unit 109 as actual position data.

画像合成部１１０は、カメラ位置データ記憶部１０９に記憶されたカメラ１〜４の実際位置データを用いて、カメラ１〜４が撮像した画像を合成し、全周画像を生成する。 The image synthesis unit 110 synthesizes images captured by the cameras 1 to 4 using the actual position data of the cameras 1 to 4 stored in the camera position data storage unit 109, and generates an all-round image.

次に、画像合成装置の動作を説明する。図２は、実施の形態１に係る画像合成装置の動作を示すフローチャートである。
先ず、画像取得部１０２がカメラ部１０１に撮像を指示すると、カメラ部１０１がカメラ１〜４を制御して同時に撮像を行う。そして、画像取得部１０２は撮像された画像データをカメラ部１０１より取得し、画像データ記憶部１０３に保存させる（ステップＳＴ１）。 Next, the operation of the image composition apparatus will be described. FIG. 2 is a flowchart showing the operation of the image composition apparatus according to the first embodiment.
First, when the image acquisition unit 102 instructs the camera unit 101 to capture an image, the camera unit 101 controls the cameras 1 to 4 and simultaneously captures images. Then, the image acquisition unit 102 acquires the captured image data from the camera unit 101 and stores it in the image data storage unit 103 (step ST1).

図３は、図１に示すカメラ部１０１の各カメラ１〜４の配置例を示すカメラ配置図である。図３において、カメラ部１０１は、カメラ１、カメラ２、カメラ３及びカメラ４の４台からなり、全周を撮像するように隣同士を略９０度の角度を持って配置固定されている。各カメラ１〜４を配置した空間に、カメラ１の配置位置を基準にした仮想の３次元座標軸を設定し、この３次元座標軸をカメラ１のカメラ座標系と称す。 FIG. 3 is a camera arrangement diagram showing an arrangement example of the cameras 1 to 4 of the camera unit 101 shown in FIG. In FIG. 3, the camera unit 101 is composed of four cameras, a camera 1, a camera 2, a camera 3, and a camera 4. A virtual three-dimensional coordinate axis based on the arrangement position of the camera 1 is set in the space where the cameras 1 to 4 are arranged, and this three-dimensional coordinate axis is referred to as the camera coordinate system of the camera 1.

また、カメラ２〜４の配置位置は、カメラ１の配置位置を基準とした相対位置として規定される。この相対位置は、カメラの回転移動Ｒ及び平行移動Ｔからなる移動量で表現することとし、回転移動Ｒは３×３の行列、平行移動Ｔは１×３の行列（ベクトル）とする。図３では、カメラ１に対するカメラ２の相対位置を回転移動Ｒ₂及び平行移動Ｔ₂で表現し、カメラ１に対するカメラ３の相対位置を回転移動Ｒ₃及び平行移動Ｔ₃で表現し、カメラ１に対するカメラ４の相対位置を回転移動Ｒ₄及び平行移動Ｔ₄で表現する。
なお、カメラ２〜４の配置位置を、カメラ座標系の絶対座標としての座標値と回転角で表現してもよい。この表現方法であっても、平行移動Ｔ及び回転移動Ｒで表現する相対位置に簡単に変換できる。 In addition, the arrangement positions of the cameras 2 to 4 are defined as relative positions based on the arrangement position of the camera 1. This relative position is expressed by a movement amount composed of a rotational movement R and a parallel movement T of the camera. The rotational movement R is a 3 × 3 matrix, and the parallel movement T is a 1 × 3 matrix (vector). In FIG. 3, the relative position of the camera 2 with respect to the camera 1 is expressed by a rotational movement R ₂ and a parallel movement T ₂ , and the relative position of the camera 3 with respect to the camera 1 is expressed by a rotational movement R ₃ and a parallel movement T _3. The relative position of the camera 4 with respect to is represented by a rotational movement R ₄ and a parallel movement T ₄ .
In addition, you may express the arrangement position of the cameras 2-4 with the coordinate value and rotation angle as an absolute coordinate of a camera coordinate system. Even this expression method can be easily converted into a relative position expressed by the parallel movement T and the rotational movement R.

続いて、特徴点設定部１０４が、画像データ記憶部１０３に保存された画像データ上に特徴点を設定する（ステップＳＴ２、特徴点設定ステップ）。特徴点とは、２つのカメラに共通する撮像領域にあって、２つのカメラから共通に撮像できる物体の画像上の点である。図３の例では、カメラ１の撮像視野２０１とカメラ２の撮像視野２０２が重なる共通撮像領域から、複数の特徴点２１１，２１２が抽出される。また、カメラ２の撮像視野２０２とカメラ３の撮像視野２０３が重なる共通撮像領域から複数の特徴点２１３，２１４が抽出され、カメラ３の撮像視野２０３とカメラ４の撮像視野２０４が重なる共通撮像領域から複数の特徴点２１５，２１６が抽出され、カメラ４の撮像視野２０４とカメラ１の撮像視野２０１が重なる共通撮像領域から複数の特徴点２１７，２１８が抽出される。 Subsequently, the feature point setting unit 104 sets feature points on the image data stored in the image data storage unit 103 (step ST2, feature point setting step). A feature point is a point on an image of an object that is in an imaging region common to two cameras and can be imaged in common from the two cameras. In the example of FIG. 3, a plurality of feature points 211 and 212 are extracted from a common imaging region where the imaging field 201 of the camera 1 and the imaging field 202 of the camera 2 overlap. A plurality of feature points 213 and 214 are extracted from a common imaging region where the imaging field 202 of the camera 2 and the imaging field 203 of the camera 3 overlap, and a common imaging region where the imaging field 203 of the camera 3 and the imaging field 204 of the camera 4 overlap. A plurality of feature points 215 and 216 are extracted from the image, and a plurality of feature points 217 and 218 are extracted from a common imaging region where the imaging field of view 204 of the camera 4 and the imaging field of view 201 of the camera 1 overlap.

特徴点設定部１０４は、各カメラ１〜４が撮像した画像それぞれに２次元座標軸を設定し、ある特徴点について、一方の画像データに設定した２次元座標で表す座標値と、他方の画像データに設定した２次元座標で表す座標値をペアにして保存する。この２次元座標軸を、画像座標系と称す。例えば、カメラ１の画像データの横ｉ₁番目、縦ｊ₁番目のピクセルに特徴点があり、同一の特徴点がカメラ２の画像データの横ｉ₂番目、縦ｊ₂番目のピクセルにある場合には、カメラ１の画像座標系で表す座標値（ｉ₁，ｊ₁）とカメラ２の画像座標系で表す座標値（ｉ₂，ｊ₂）がペアで保存される。 The feature point setting unit 104 sets a two-dimensional coordinate axis for each of the images captured by the cameras 1 to 4, and for a certain feature point, the coordinate value represented by the two-dimensional coordinates set in one image data and the other image data. The coordinate values represented by the two-dimensional coordinates set in are saved as a pair. This two-dimensional coordinate axis is referred to as an image coordinate system. For example, the horizontal i ₁ th image data of the camera 1, there are feature points vertically j ₁ th pixel, if the same feature points horizontal i ₂ th image data of the camera 2 is in the vertical j ₂ th pixel The coordinate value (i ₁ , j ₁ ) expressed in the image coordinate system of the camera ₁ and the coordinate value (i ₂ , j ₂ ) expressed in the image coordinate system of the camera 2 are stored in pairs.

本実施の形態１では、特徴点を設定する方法として、例えば、ユーザが画像を比較して画像データ上の座標値を入力して設定する方法、又は、ＳＩＦＴ（Ｓｃａｌｅ−ＩｎｖａｒｉａｎｔＦｅａｔｕｒｅＴｒａｎｓｆｏｒｍ）のような画像処理を利用して特徴点を自動抽出してその座標値を設定する方法を用いる。画像処理を利用して特徴点を抽出する場合には、特徴点の座標値が（５．５，１０．３）というように小数点の値になってもよい。 In the first embodiment, as a method of setting feature points, for example, a method in which a user compares images and inputs coordinate values on image data, or SIFT (Scale-Invariant Feature Transform) is used. A method of automatically extracting feature points by using simple image processing and setting the coordinate values is used. When feature points are extracted using image processing, the coordinate values of the feature points may be decimal values such as (5.5, 10.3).

続いて、特徴点位置補正部１０５は、画像補正データ記憶部１０８に予め設定されている画像補正データ（カメラ１〜４それぞれの内部パラメータ及びレンズ歪補正パラメータ等）により、特徴点設定部１０４が抽出した特徴点の位置を補正して、透視カメラで撮像した場合の位置に変換する（ステップＳＴ３）。一般にカメラは内部パラメータ及びレンズ歪により、透視カメラとはみなせない。そのため、カメラ１〜４も透視カメラとみなせない場合には、カメラ１〜４の画像データ上の特徴点の位置を、透視カメラで撮像した場合の位置に変換する必要がある。これは、ステップＳＴ４以降の各処理が、カメラ１〜４が透視カメラとみなせることを前提にして行う処理だからである。
なお、カメラ１〜４が透視カメラとみなせるのであればステップＳＴ３の処理は不要である。 Subsequently, the feature point position correcting unit 105 uses the image correction data (internal parameters of each of the cameras 1 to 4, lens distortion correction parameters, etc.) set in advance in the image correction data storage unit 108. The position of the extracted feature point is corrected and converted to the position when imaged with a fluoroscopic camera (step ST3). Generally, a camera cannot be regarded as a fluoroscopic camera due to internal parameters and lens distortion. Therefore, when the cameras 1 to 4 cannot be regarded as perspective cameras, it is necessary to convert the positions of the feature points on the image data of the cameras 1 to 4 to positions when captured by the perspective cameras. This is because the processes after step ST4 are performed on the assumption that the cameras 1 to 4 can be regarded as fluoroscopic cameras.
If the cameras 1 to 4 can be regarded as fluoroscopic cameras, the process of step ST3 is unnecessary.

本実施の形態１では、特徴点の位置を補正する方法として、例えば「Ｚ．Ｚｈａｎｇ、ＡＦｌｅｘｉｂｌｅＮｅｗＴｅｃｈｎｉｑｕｅｆｏｒＣａｍｅｒａＣａｌｉｂｒａｔｉｏｎ、ＭｉｃｒｏｓｏｆｔＲｅｓｅａｒｃｈＴｅｃｈｎｉｃａｌＲｅｐｏｒｔＭＳＲ−ＴＲ−９８−７１、１９９９」に記載された手法により、予め画像補正データをカメラ毎に取得し、その画像補正データを用いて補正式により画像データ上の特徴点の位置を補正する方法を用いる。 In the first embodiment, as a method for correcting the position of a feature point, for example, a method described in “Z. Zhang, A Flexible New Technology for Camera Calibration, Microsoft Research Technical Report MSR-TR-98-71”, 1999. Thus, a method of acquiring image correction data for each camera in advance and correcting the position of the feature point on the image data using a correction formula using the image correction data is used.

続いて、カメラ初期位置設定部１０６は、カメラ位置データ記憶部１０９に保存されているカメラ１〜４の初期位置データを取得して、カメラ位置に設定する（ステップＳＴ４、初期位置設定ステップ）。上述のように、カメラ２〜４の初期位置は、カメラ１のカメラ座標系においてカメラ１の配置位置を基準とした回転移動Ｒ及び平行移動Ｔで表現する相対位置である。この初期位置データとしては、例えば、カメラ１〜４を固定するためのジグの設計値、又は、実際に配置固定したカメラ１〜４間の距離及び角度の測定値を用いる。いずれの場合にも、ジグの精度、カメラ配置固定時の誤差、測定時の誤差等に起因して、初期位置はカメラ１〜４の実際の配置固定位置（実際位置）に対して誤差を持つと考えられ、この誤差が合成画像生成時のずれとして表示されてしまう。そこで、この誤差を補正して、合成画像生成時に誤差が小さくなるようなカメラ１〜４の実際位置を求めることが必要となる。この誤差の補正をカメラ位置補正部１０７が行う。 Subsequently, the camera initial position setting unit 106 acquires the initial position data of the cameras 1 to 4 stored in the camera position data storage unit 109, and sets the acquired camera position (step ST4, initial position setting step). As described above, the initial positions of the cameras 2 to 4 are relative positions expressed by the rotational movement R and the parallel movement T based on the arrangement position of the camera 1 in the camera coordinate system of the camera 1. As the initial position data, for example, a design value of a jig for fixing the cameras 1 to 4 or a measured value of a distance and an angle between the cameras 1 to 4 actually arranged and fixed is used. In any case, the initial position has an error relative to the actual arrangement fixed position (actual position) of the cameras 1 to 4 due to the accuracy of the jig, the error at the time of fixing the camera arrangement, the error at the time of measurement, and the like. This error is displayed as a shift at the time of composite image generation. Therefore, it is necessary to correct the error and obtain the actual positions of the cameras 1 to 4 so that the error is reduced when the composite image is generated. The camera position correction unit 107 corrects this error.

続いて、カメラ位置補正部１０７は、カメラ１〜４の初期位置を補正して実際位置を求める（ステップＳＴ５、撮像装置位置補正ステップ）。この補正処理では、カメラ位置補正部１０７が基本行列を用いてカメラ位置の補正を行うため、先ず、この基本行列について以下に説明する。なお、基本行列についてのより詳細な説明は「佐藤淳、コンピュータビジョン―視覚の幾何学―、コロナ社、ｐｐ．８３〜８５，８９」に記載されている。 Subsequently, the camera position correcting unit 107 corrects the initial positions of the cameras 1 to 4 to obtain the actual position (step ST5, imaging device position correcting step). In this correction process, since the camera position correction unit 107 corrects the camera position using the basic matrix, first, the basic matrix will be described below. A more detailed description of the basic matrix is described in “Satoshi Sato, Computer Vision—Visual Geometry—, Corona, pp. 83-85, 89”.

図４は、３次元座標軸が設定された空間内に配置された２つの透視カメラＡ，Ｂから撮像対象３０５を見たときの関係を示す図である。図４において、透視カメラＡは、その光学中心である視点３０１の位置に配置され、撮像面３０３の方向を向いている。他方、透視カメラＢは、その視点３０２の位置に配置され、撮像面３０４の方向を向いている。撮像対象３０５は特徴点として撮像面３０３，３０４上に抽出・設定される物体であり、透視カメラＡ，Ｂと同じ空間に配置されている。また、透視カメラＡの視点３０１から撮像対象３０５へ延びる直線と撮像面３０３とが交わる点を交点３０６とし、透視カメラＢの視点３０２から撮像対象３０５へ延びる直線と撮像面３０４とが交わる点を交点３０７とする。この交点３０６は、透視カメラＡが撮像した画像である撮像面３０３上に設定される特徴点であり、交点３０７は、透視カメラＢが撮像した画像である撮像面３０４上に設定される特徴点である。また、透視カメラＡの視点３０１と透視カメラＢの視点３０２とを結ぶ直線が、撮像面３０３と交わる点を交点３０８とし、撮像面３０４と交わる点を交点３０９とする。また、交点３０６と交点３０８を結ぶ線を直線３１０とし、交点３０７と交点３０９を結ぶ線を直線３１１とする。なお、撮像面３０３，３０４上の交点３０６〜３０９は２次元の画像座標系の座標値で表される。 FIG. 4 is a diagram illustrating a relationship when the imaging target 305 is viewed from the two perspective cameras A and B arranged in the space in which the three-dimensional coordinate axes are set. In FIG. 4, the perspective camera A is disposed at the position of the viewpoint 301 that is the optical center thereof, and faces the direction of the imaging surface 303. On the other hand, the fluoroscopic camera B is arranged at the position of the viewpoint 302 and faces the direction of the imaging surface 304. An imaging target 305 is an object that is extracted and set as a feature point on the imaging surfaces 303 and 304 and is arranged in the same space as the perspective cameras A and B. In addition, a point where a straight line extending from the viewpoint 301 of the fluoroscopic camera A to the imaging target 305 and the imaging plane 303 intersect is defined as an intersection point 306, and a point extending from the perspective 302 of the perspective camera B to the imaging target 305 and a point intersecting the imaging plane 304 is defined. Let it be an intersection 307. The intersection point 306 is a feature point set on the imaging plane 303 that is an image captured by the perspective camera A, and the intersection point 307 is a feature point set on the imaging plane 304 that is an image captured by the perspective camera B. It is. In addition, a point where a straight line connecting the viewpoint 301 of the perspective camera A and the viewpoint 302 of the perspective camera B intersects the imaging surface 303 is defined as an intersection point 308, and a point intersecting the imaging surface 304 is defined as an intersection point 309. A line connecting the intersection point 306 and the intersection point 308 is a straight line 310, and a line connecting the intersection point 307 and the intersection point 309 is a straight line 311. Note that the intersection points 306 to 309 on the imaging surfaces 303 and 304 are represented by coordinate values of a two-dimensional image coordinate system.

一般に、交点３０８，３０９はエピポールと呼ばれ、直線３１０，３１１はエピポーラ線と呼ばれる。また、視点３０１と視点３０２の相対位置は回転移動Ｒ及び平行移動Ｔで表現し、透視カメラＡの座標系での視点３０１から交点３０６へ向かうベクトルをｘ’とし、透視カメラＢの座標系での視点３０２から交点３０７へ向かうベクトルをｘとする。
ここで、透視カメラＡ，Ｂの座標系を説明する。図５は、透視カメラＡを例にして、カメラ座標系を説明する図である。透視カメラＡの座標系とは、視点３０１から伸びる視線方向に平行なＺ軸と、Ｚ軸に対して鉛直方向に伸び、撮像面３０３上に射影したＹ軸と、Ｚ軸及びＹ軸に直交するＸ軸とから定義される座標系である。 In general, the intersection points 308 and 309 are called epipoles, and the straight lines 310 and 311 are called epipolar lines. The relative positions of the viewpoint 301 and the viewpoint 302 are expressed by a rotational movement R and a parallel movement T, and a vector from the viewpoint 301 to the intersection 306 in the coordinate system of the perspective camera A is x ′, and in the coordinate system of the perspective camera B Let x be a vector from the viewpoint 302 to the intersection 307.
Here, the coordinate system of the perspective cameras A and B will be described. FIG. 5 is a diagram for explaining the camera coordinate system using the perspective camera A as an example. The coordinate system of the perspective camera A is a Z-axis parallel to the line-of-sight direction extending from the viewpoint 301, a Y-axis extending in a direction perpendicular to the Z-axis and projected onto the imaging surface 303, and orthogonal to the Z-axis and the Y-axis. This is a coordinate system defined from the X axis.

図４に示すベクトルｘ’，ｘ間には以下の関係式（１）が成り立つ。
ただし、［Ｔ］_×は、Ｔと任意のベクトルＶとの外積を［Ｔ］_×Ｖ＝Ｔ×Ｖと表せる行列である。下式（１）においてＥは基本行列と呼ばれ、式（２）で定義するように、２つの透視カメラＡ，Ｂの画像座標間に成り立つ一般的な関係を表す行列である。この関係は、視点３０１，３０２から撮像面３０３，３０４上の座標に対するベクトル表現で記述されており、実際の撮像対象３０５までの距離に係わらず成り立つ。従って、基本行列Ｅを用いる本補正処理では、撮像対象３０５の３次元座標を用いることなく、透視カメラＡ，Ｂの画像データから求めたベクトルｘ’，ｘから実際のカメラ位置を求めることが可能である。

The following relational expression (1) is established between the vectors x ′ and x shown in FIG.
However, [T] _× is a matrix that can express the outer product of T and an arbitrary vector V as [T] _× V = T × V. In the following equation (1), E is called a basic matrix, and is a matrix representing a general relationship that holds between the image coordinates of the two perspective cameras A and B, as defined by equation (2). This relationship is described in a vector expression with respect to the coordinates on the imaging surfaces 303 and 304 from the

viewpoints

301 and 302, and holds regardless of the actual distance to the imaging target 305. Therefore, in this correction process using the basic matrix E, the actual camera position can be obtained from the vectors x ′ and x obtained from the image data of the perspective cameras A and B without using the three-dimensional coordinates of the imaging target 305. It is.

しかし、カメラ１〜４の初期位置データのように、実際位置に対して位置データに誤差がある場合には、上式（１）が成り立たない。そこで、カメラ位置補正部１０７による補正処理では、後述する誤差評価法に基づいて、カメラ１〜４の初期位置と実際位置の誤差を、上式（１）に基づいて評価し、全体の誤差を最小化するカメラ２〜４の相対位置を求めることにより、実際にカメラが配置固定されている正確な位置を求める。 However, when there is an error in the position data with respect to the actual position as in the initial position data of the cameras 1 to 4, the above equation (1) does not hold. Therefore, in the correction process by the camera position correction unit 107, the error between the initial position and the actual position of the cameras 1 to 4 is evaluated based on the above equation (1) based on the error evaluation method described later, and the overall error is calculated. By obtaining the relative positions of the cameras 2 to 4 to be minimized, an accurate position where the cameras are actually arranged and fixed is obtained.

ここで、誤差の評価法を説明する。
上式（１）において、Ｅｘ＝ｌとすると、上式（１）は下式（３）となり、この式（３）のｌは、ベクトルｘ’の通る直線とみなすことができる。この直線を一般的にエピポーラ線と呼ぶ（詳細は上記文献を参照）。

Here, an error evaluation method will be described.
In the above equation (1), when Ex = 1, the above equation (1) becomes the following equation (3), and l in this equation (3) can be regarded as a straight line through which the vector x ′ passes. This straight line is generally called an epipolar line (see the above-mentioned document for details).

図６は、カメラ初期位置と実際のカメラ相対位置の誤差を評価する方法を説明する図である。図６において、直線４０１が上式（３）のエピポーラ線ｌに対応する直線である。透視カメラＡを基準にした透視カメラＢの回転移動Ｒ及び平行移動Ｔが実際位置に等しければ、エピポーラ線ｌに対応する直線は、直線３１０のように特徴点である交点３０６を通過する直線となる。しかし、回転移動Ｒ及び平行移動Ｔに実際位置との誤差がある場合には交点３０６が直線４０１上に乗らないため、交点３０６と直線４０１の距離４０２を、この回転移動Ｒ及び平行移動Ｔに含まれる誤差として評価する。 FIG. 6 is a diagram illustrating a method for evaluating an error between the camera initial position and the actual camera relative position. In FIG. 6, a straight line 401 is a straight line corresponding to the epipolar line l in the above equation (3). If the rotational movement R and the parallel movement T of the fluoroscopic camera B with respect to the fluoroscopic camera A are equal to the actual position, the straight line corresponding to the epipolar line l is a straight line passing through the intersection point 306 that is a characteristic point like the straight line 310. Become. However, when there is an error from the actual position in the rotational movement R and the parallel movement T, the intersection point 306 does not ride on the straight line 401. Therefore, the distance 402 between the intersection point 306 and the straight line 401 is set to the rotational movement R and the parallel movement T. Evaluate as included error.

次に、上記誤差評価法に基づくカメラ位置補正部１０７の動作、即ち図２に示すステップＳＴ５の詳細を説明する。図７は、カメラ位置補正部１０７の動作を示すフローチャートである。カメラ位置補正部１０７の補正処理開始時、カメラ１〜４のカメラ位置は、カメラ初期位置設定部１０６によって設定された初期位置である。 Next, the operation of the camera position correcting unit 107 based on the error evaluation method, that is, the details of step ST5 shown in FIG. 2 will be described. FIG. 7 is a flowchart showing the operation of the camera position correction unit 107. When the correction processing of the camera position correction unit 107 is started, the camera positions of the cameras 1 to 4 are the initial positions set by the camera initial position setting unit 106.

カメラ位置補正部１０７は、先ず、カメラ１を基準とするカメラ座標系で記述されたカメラ１のカメラ位置から、隣接するカメラ２〜４のカメラ座標系の変換式を求める（ステップＳＴ１１）。これは、特徴点は隣接するカメラに共通して撮像されるため、上式（１）を適応するためには、隣接するカメラ間の回転移動Ｒ及び平行移動Ｔを求めることが必要であるからである。
具体的には、カメラ位置補正部１０７が、カメラ１の３次元座標値（ｘ，ｙ，ｚ）＝Ｘ₁からカメラ１に隣接するカメラ２の３次元座標値Ｘ₂、カメラ４の３次元座標値Ｘ₄への座標系変換を、相対位置Ｒ₂，Ｔ₂，Ｒ₄，Ｔ₄を用いて下式（４），（５）により行う。
Ｘ₂＝Ｒ₂Ｘ₁＋Ｔ₂ （４）
Ｘ₄＝Ｒ₄Ｘ₁＋Ｔ₄ （５） First, the camera position correction unit 107 obtains a conversion formula of the camera coordinate system of the adjacent cameras 2 to 4 from the camera position of the camera 1 described in the camera coordinate system with the camera 1 as a reference (step ST11). This is because feature points are imaged in common with adjacent cameras, and in order to apply the above equation (1), it is necessary to obtain rotational movement R and parallel movement T between adjacent cameras. It is.
Specifically, the camera position correcting unit 107 determines that the three-dimensional coordinate value X _{2 of} the camera 2 adjacent to the camera ₁ from the three-dimensional coordinate value (x, y, z) = X ₁ of the camera 1 and the three-dimensional of the camera 4. The coordinate system conversion to the coordinate value X ₄ is performed by the following equations (4) and (5) using the relative positions R ₂ , T ₂ , R ₄ and T ₄ .
X ₂ = R ₂ X ₁ + T ₂ (4)
X ₄ = R ₄ X ₁ + T ₄ (5)

同様に、カメラ位置補正部１０７はカメラ１からカメラ３への座標系変換を、相対位置Ｒ₃，Ｔ₃を用いて下式（６）により行う。
Ｘ₃＝Ｒ₃Ｘ₁＋Ｔ₃ （６） Similarly, the camera position correction unit 107 performs coordinate system conversion from the camera 1 to the camera ₃ by using the relative positions R ₃ and T _{3 according} to the following equation (6).
X ₃ = R ₃ X ₁ + T ₃ (6)

また、残る隣接関係であるカメラ２とカメラ３、カメラ３とカメラ４の関係は、それぞれ式（４）と式（６）、式（５）と式（６）を変形させることにより、下式（７），（８）と表せる。従って、カメラ位置補正部１０７は、下式（７），（８）を用いて、カメラ３からカメラ２、カメラ３からカメラ４への座標系変換を行う。これにより、カメラ位置補正部１０７は、全ての隣接カメラ間の座標系変換式を得る。
Ｘ₂＝Ｒ₂Ｒ₃ ^-1（Ｘ₃−Ｔ₃）＋Ｔ₂ （７）
Ｘ₄＝Ｒ₄Ｒ₃ ^-1（Ｘ₃−Ｔ₃）＋Ｔ₄ （８） Further, the remaining relationship between the camera 2 and the camera 3 and the relationship between the camera 3 and the camera 4 is obtained by transforming the equations (4) and (6), and (5) and (6), respectively. It can be expressed as (7) and (8). Therefore, the camera position correction unit 107 performs coordinate system conversion from the camera 3 to the camera 2 and from the camera 3 to the camera 4 using the following equations (7) and (8). Thereby, the camera position correction | amendment part 107 obtains the coordinate system conversion type | formula between all the adjacent cameras.
X ₂ = R ₂ R ₃ ^-1 (X ₃ -T ₃ ) + T ₂ (7)
X ₄ = R ₄ R ₃ ⁻¹ (X ₃ −T ₃ ) + T ₄ (8)

続いて、カメラ位置補正部１０７は、ステップＳＴ１１で求めた隣接カメラ間の座標系変換式（４）〜（８）を上式（２）に適用して、隣接するカメラ間の基本行列Ｅを求める（ステップＳＴ１２）。 Subsequently, the camera position correcting unit 107 applies the coordinate system conversion equations (4) to (8) between the adjacent cameras obtained in step ST11 to the above equation (2) to obtain the basic matrix E between the adjacent cameras. Obtained (step ST12).

続いて、カメラ位置補正部１０７は、実際に撮像された画像上に設定された各特徴点２１１〜２１８の誤差、即ち交点とエピポーラ線との距離を、対応するカメラ間の基本行列Ｅを用いて上式（１）によりそれぞれ計算し、各特徴点２１１〜２１８の誤差の合計値を求める（ステップＳＴ１３）。
以上、ステップＳＴ１１〜ＳＴ１３が誤差評価ステップである。 Subsequently, the camera position correcting unit 107 uses the basic matrix E between the corresponding cameras for the error between the feature points 211 to 218 set on the actually captured image, that is, the distance between the intersection and the epipolar line. Respectively, and the total value of errors of the feature points 211 to 218 is obtained (step ST13).
As described above, steps ST11 to ST13 are error evaluation steps.

続いて、カメラ位置補正部１０７は、ステップＳＴ１３で求めた誤差の合計値が予め設定された指定値より大きい場合には（ステップＳＴ１４“ＮＯ”）、続くステップＳＴ１５にて現在のカメラ位置（即ち相対位置Ｒ₂，Ｔ₂，Ｒ₃，Ｔ₃，Ｒ₄，Ｔ₄）を変数として修正する。ステップＳＴ１５で用いる修正方法としては、例えば、シンプレックス法、パウエル法等の一般的な関数最小化手法に基づいて修正する方法がある。 Subsequently, when the total value of the errors obtained in step ST13 is larger than the preset specified value (step ST14 “NO”), the camera position correcting unit 107 continues the current camera position (ie, in step ST15). The relative positions R ₂ , T ₂ , R ₃ , T ₃ , R ₄ , T ₄ ) are corrected as variables. Examples of the correction method used in step ST15 include a correction method based on a general function minimization method such as a simplex method or a Powell method.

続いて、カメラ位置補正部１０７は、ステップＳＴ１５で修正した新たなカメラ位置を用いてステップＳＴ１１〜ＳＴ１４の各処理を行い、新たなカメラ位置に基づく誤差の合計値が指定値以下になれば（ステップＳＴ１４“ＹＥＳ”）、この新たなカメラ位置を実際位置データとしてカメラ位置データ記憶部１０９に出力する（ステップＳＴ１６）。
以上、ステップＳＴ１４〜ＳＴ１６が誤差最小化ステップである。 Subsequently, the camera position correcting unit 107 performs each process of steps ST11 to ST14 using the new camera position corrected in step ST15, and if the total error based on the new camera position is equal to or less than the specified value ( In step ST14 “YES”), this new camera position is output as actual position data to the camera position data storage unit 109 (step ST16).
As described above, steps ST14 to ST16 are error minimization steps.

説明を図２のフローチャートに戻す。画像合成部１１０は、ステップＳＴ５で求めた実際位置データを用いて、３次元空間上にある連続した面にカメラ１〜４が撮像した画像を投影することにより、合成画像を生成する（ステップＳＴ６）。 The description returns to the flowchart of FIG. The image composition unit 110 generates a composite image by projecting images captured by the cameras 1 to 4 onto a continuous surface in the three-dimensional space using the actual position data obtained in step ST5 (step ST6). ).

図８は、画像合成部１１０の画像合成方法を説明する図である。図８では画像投影のための連続した投影面として円柱面５００を用いた例を示すが、これに限定されるものではなく、一般的には連続面として円柱の他に球又は立方体が用いられる。ステップＳＴ５の補正処理によりカメラ１〜４の実際位置データが得られたので、画像合成部１１０はこの実際の配置位置及び姿勢に基づいて、各カメラ１〜４の画像を円柱面５００にそれぞれ投影する。画像合成部１１０は、例えばカメラ１であれば、カメラ１の視点とカメラ画像１ａ上の各点（例えばピクセル）を結ぶ各直線を円柱面５００まで延長し、各直線と円柱面５００との各交点位置にカメラ画像１ａ上の各点の色を設定する。カメラ画像１ａ上の特徴点２１７も円柱面５００に投影される。これにより、カメラ画像１ａが円柱面５００に投影され、投影画像１ｂが得られる。画像合成部１１０がこの処理を他のカメラ２〜４に対して行うことにより、連続した全周画像が生成される。 FIG. 8 is a diagram for explaining an image composition method of the image composition unit 110. Although FIG. 8 shows an example in which the cylindrical surface 500 is used as a continuous projection surface for image projection, the present invention is not limited to this, and generally a sphere or a cube is used as a continuous surface in addition to a cylinder. . Since the actual position data of the cameras 1 to 4 is obtained by the correction process in step ST5, the image composition unit 110 projects the images of the cameras 1 to 4 on the cylindrical surface 500 based on the actual arrangement position and orientation. To do. For example, in the case of the camera 1, the image composition unit 110 extends each straight line connecting the viewpoint of the camera 1 and each point (for example, pixel) on the camera image 1 a to the cylindrical surface 500. The color of each point on the camera image 1a is set at the intersection position. A feature point 217 on the camera image 1 a is also projected onto the cylindrical surface 500. Thereby, the camera image 1a is projected on the cylindrical surface 500, and the projection image 1b is obtained. The image synthesizing unit 110 performs this process on the other cameras 2 to 4 to generate a continuous all-round image.

ここで、カメラ１とカメラ４に共通して設定された特徴点２１７を考える。特徴点２１７は、同一の撮像対象をカメラ１，４で撮像したものであるため、円柱面５００の同じ位置に投影されなければならない。しかし、例えばカメラ４の位置がずれていると、カメラ４のカメラ画像４ａ上の特徴点２１７も円柱面５００上のずれた位置（特徴点２１７’）に投影されてしまう。そのため、合成後の全周画像にもずれが生じてしまう。このようなずれを防止するために、本実施の形態１では、カメラ位置補正部１０７により初期位置データを補正して実際位置データを求める。この際、カメラ位置補正部１０７は全てのカメラ１〜４間の誤差を一括して最小化するので、特定のカメラ間の誤差の蓄積が発生しない。この結果、画像合成部１１０において合成誤差が均一な全周画像を合成することができる。 Here, a feature point 217 set in common for the camera 1 and the camera 4 is considered. Since the feature point 217 is obtained by capturing the same imaging target with the cameras 1 and 4, the feature point 217 must be projected at the same position on the cylindrical surface 500. However, for example, if the position of the camera 4 is shifted, the feature point 217 on the camera image 4a of the camera 4 is also projected on the shifted position (feature point 217 ') on the cylindrical surface 500. For this reason, a deviation also occurs in the all-round image after synthesis. In order to prevent such a shift, in the first embodiment, the initial position data is corrected by the camera position correction unit 107 to obtain actual position data. At this time, since the camera position correction unit 107 minimizes errors between all the cameras 1 to 4 at a time, accumulation of errors between specific cameras does not occur. As a result, the image synthesis unit 110 can synthesize an all-round image with uniform synthesis error.

以上より、実施の形態１によれば、複数のカメラ１〜４が全周を分割して撮像し、画像取得部１０２がカメラ１〜４の撮像した複数の画像データを取得し、特徴点設定部１０４が隣接するカメラ間の各画像データから共通に撮像された撮影対象物体をそれぞれ抽出して特徴点に設定し、カメラ初期位置設定部１０６がカメラ位置データ記憶部１０９に記憶された初期位置データに基づいてカメラ１の位置を基準にしてカメラ２〜４の相対位置を回転移動Ｒ₂，Ｒ₃，Ｒ₄及び平行移動Ｔ₂，Ｔ₃，Ｔ₄を用いて設定し、カメラ位置補正部１０７が回転移動Ｒ₂，Ｒ₃，Ｒ₄及び平行移動Ｔ₂，Ｔ₃，Ｔ₄から基本行列を求め、特徴点の画像上の座標値を用いて基本行列の誤差、即ち隣接するカメラ間で撮像された２つの画像データにおけるエピポーラ線と当該２つの画像データに共通する特徴点の座標位置との距離、を算出し、回転移動Ｒ₂，Ｒ₃，Ｒ₄及び平行移動Ｔ₂，Ｔ₃，Ｔ₄を変数にして誤差を最小化し、誤差を最小化したときの回転移動Ｒ₂，Ｒ₃，Ｒ₄及び平行移動Ｔ₂，Ｔ₃，Ｔ₄の値を補正後のカメラ１〜４の実際位置にするように構成した。このため、特徴点の３次元座標値を用いることなく、画像上の特徴点の座標値から求める基本行列をもとにカメラ１〜４の相対位置を求めるため、特徴点の３次元座標値を測定する必要がない。また、従来のようなカメラ間の位置関係を順に決定している手法と異なり、全てのカメラ間の誤差を一括して最小化するため、特定のカメラ位置への誤差の蓄積が発生せず、全てのカメラ間の誤差を均一に補正することができる。 As described above, according to the first embodiment, the plurality of cameras 1 to 4 divide the entire circumference and capture images, and the image acquisition unit 102 acquires the plurality of image data captured by the cameras 1 to 4 and sets the feature points. The object 104 is extracted from each image data between adjacent cameras, and the object to be photographed is extracted and set as a feature point. The camera initial position setting unit 106 stores the initial position stored in the camera position data storage unit 109. Based on the data, the relative positions of the cameras 2 to ₄ are set using the rotational movements R ₂ , R ₃ , R ₄ and the parallel movements T ₂ , T ₃ , T ₄ on the basis of the position of the camera 1 to correct the camera position. The unit 107 obtains a basic matrix from the rotational movements R ₂ , R ₃ , R ₄ and the parallel movements T ₂ , T ₃ , T _4, and an error of the basic matrix using the coordinate values on the feature point image, that is, an adjacent camera Epi between two image data taken between Distance between the coordinate positions of feature points common to over La line and the two image data, is calculated, and the rotational movement R _2, R _3, R ₄ and translation T _2, T _3, T ₄ to a variable The error is minimized, and the values of the rotational movements R ₂ , R ₃ , R ₄ and the parallel movements T ₂ , T ₃ , T ₄ when the error is minimized are set to the corrected actual positions of the cameras 1 to 4. Configured. Therefore, in order to obtain the relative positions of the cameras 1 to 4 based on the basic matrix obtained from the coordinate values of the feature points on the image without using the three-dimensional coordinate values of the feature points, the three-dimensional coordinate values of the feature points are obtained. There is no need to measure. In addition, unlike conventional methods that determine the positional relationship between cameras in order, the error between all cameras is minimized, so there is no accumulation of errors at specific camera positions. An error between all cameras can be uniformly corrected.

また、画像合成部１１０が、カメラ位置補正部１０７が補正したカメラ１〜４の相対位置に基づいて、カメラ１〜４の画像データを円柱面５００上に合成し、全周画像を生成するように構成した。カメラ位置補正部１０７は全てのカメラ間の誤差を一括して最小化しているので、この値を用いて合成した全周画像の画像間の合成誤差も均一にすることができる。 Further, the image composition unit 110 synthesizes the image data of the cameras 1 to 4 on the cylindrical surface 500 based on the relative positions of the cameras 1 to 4 corrected by the camera position correction unit 107 so as to generate an all-round image. Configured. Since the camera position correction unit 107 minimizes errors between all the cameras at once, it is also possible to make the synthesis error between the images of the all-round images synthesized using this value uniform.

実施の形態２．
上記実施の形態１では、カメラ１を基準にした各カメラ２〜４の平行移動Ｔ₂，Ｔ₃，Ｔ₄及び回転移動Ｒ₂，Ｒ₃，Ｒ₄を変数として用い、カメラ１〜４の初期位置と実際位置との誤差を最小化したが、回転移動Ｒ₂，Ｒ₃，Ｒ₄のみを変数として用いてもよい。本実施の形態２では、回転移動Ｒ₂，Ｒ₃，Ｒ₄のみを変数として用いる構成の画像合成装置を説明する。なお、本実施の形態２の画像合成装置は、図１に示す画像合成装置と図面上では同様の構成であるため、以下では図１を援用して説明する。 Embodiment 2. FIG.
In the first embodiment, the parallel movements T ₂ , T ₃ , T ₄ and the rotational movements R ₂ , R ₃ , R ₄ of the cameras 2 to 4 with respect to the camera 1 are used as variables, and the cameras 1 to 4 are used. Although the error between the initial position and the actual position is minimized, only the rotational movements R ₂ , R ₃ and R ₄ may be used as variables. In the second embodiment, an image synthesizing apparatus that uses only rotational movements R ₂ , R ₃ , and R ₄ as variables will be described. The image synthesizing apparatus according to the second embodiment has the same configuration as that of the image synthesizing apparatus shown in FIG. 1, and will be described below with reference to FIG.

一般に、撮像対象が遠距離にある場合、カメラ１〜４の平行移動の誤差より回転移動の誤差の方が投影画像に与える影響が大きい。図９は、カメラの平行移動により発生したずれと回転移動により発生したずれを説明する図である。図９において、不図示のカメラは、真の視点６０１に位置し、撮像面６０２の方向を向いて撮像対象６０３を撮像する。視点６０１から撮像対象６０３へ延びる直線と撮像面６０２とが交わる２次元座標位置を交点６０４とする。 In general, when the imaging target is at a long distance, the rotational movement error has a greater influence on the projection image than the parallel movement error of the cameras 1 to 4. FIG. 9 is a diagram for explaining the deviation caused by the parallel movement of the camera and the deviation caused by the rotational movement. In FIG. 9, a camera (not shown) is located at the true viewpoint 601 and images the imaging object 603 while facing the direction of the imaging surface 602. A two-dimensional coordinate position where a straight line extending from the viewpoint 601 to the imaging target 603 and the imaging surface 602 intersect is defined as an intersection 604.

ここで、カメラ校正の結果、カメラ位置に誤差があり、実際に撮像された撮像面６０２上には、交点６０５の２次元座標位置に撮像対象６０３があるとする。このカメラ位置の誤差が平行移動によるものである場合には、カメラ位置は視点６０６の３次元座標位置として求められる。この場合、視点６０６と交点６０５から求められる撮像対象６０３の位置は、撮像対象６０７の３次元座標位置となる。つまり、撮像対象６０３，６０７の位置のずれが平行移動によるずれとなる。
他方、ずれが回転方向により生ずる場合には、真の視点６０１と交点６０５から求められる撮像対象６０３の位置は、撮像対象６０８の３次元座標位置となり、撮像対象６０３，６０８の位置のずれが回転移動によるずれとなる。 Here, it is assumed that there is an error in the camera position as a result of camera calibration, and the imaging target 603 is located at the two-dimensional coordinate position of the intersection 605 on the imaging surface 602 that is actually imaged. When the camera position error is caused by parallel movement, the camera position is obtained as the three-dimensional coordinate position of the viewpoint 606. In this case, the position of the imaging target 603 obtained from the viewpoint 606 and the intersection 605 is the three-dimensional coordinate position of the imaging target 607. That is, the shift of the positions of the imaging targets 603 and 607 is a shift due to the parallel movement.
On the other hand, when the deviation occurs depending on the rotation direction, the position of the imaging target 603 obtained from the true viewpoint 601 and the intersection 605 becomes the three-dimensional coordinate position of the imaging target 608, and the positional deviation of the imaging targets 603 and 608 is rotated. Deviation due to movement.

平行移動によるずれは、真の視点６０１と撮像対象６０３の距離にかかわらず一定になるのに対し、回転移動によるずれは、真の視点６０１と撮像対象６０３の距離が大きくなるほど増加する。従って、撮像対象が遠距離であるほど、画像合成時に平行移動の合成ずれの割合が小さくなり、回転移動の合成ずれが支配的となる。 The shift due to the parallel movement becomes constant regardless of the distance between the true viewpoint 601 and the imaging target 603, whereas the shift due to the rotational movement increases as the distance between the true viewpoint 601 and the imaging target 603 increases. Therefore, the farther the imaging target is, the smaller the ratio of the composition deviation of the parallel movement during the image composition, and the composition deviation of the rotational movement becomes dominant.

そこで、本実施の形態２に係る画像合成装置では、カメラ位置補正部１０７が図７に示すステップＳＴ１５において、合成ずれに影響しやすい回転移動Ｒ₂，Ｒ₃，Ｒ₄のみを変数として修正して、誤差の合計値を最小化する。なお、平行移動Ｔ₂，Ｔ₃，Ｔ₄については、カメラ初期位置設定部１０６が補正処理開始前にカメラ位置として設定した初期位置データの値で固定すればよい。変数の数を少なくできることにより、誤差の合計値収束までの繰り返し処理の回数を減らし、高速にカメラ１〜４の実際位置を求めることができる。 Therefore, in the image composition device according to the second embodiment, the camera position correction unit 107 corrects only the rotational movements R ₂ , R ₃ , and R ₄ that are likely to affect the composition deviation as variables in step ST15 shown in FIG. To minimize the total error. Note that the translations T ₂ , T ₃ , and T ₄ may be fixed at the initial position data value set as the camera position by the camera initial position setting unit 106 before starting the correction process. By reducing the number of variables, it is possible to reduce the number of iterations until the total error value converges, and to obtain the actual positions of the cameras 1 to 4 at high speed.

以上より、実施の形態２によれば、カメラ位置補正部１０７が、回転移動Ｒ₂，Ｒ₃，Ｒ₄及び平行移動Ｔ₂，Ｔ₃，Ｔ₄から基本行列を求め、特徴点の画像上の座標値を用いて基本行列の誤差、即ち隣接するカメラ間で撮像された２つの画像データにおけるエピポーラ線と当該２つの画像データに共通する特徴点の座標位置との距離、を算出し、回転移動Ｒ₂，Ｒ₃，Ｒ₄を変数にして誤差を最小化し、誤差を最小化したときの回転移動Ｒ₂，Ｒ₃，Ｒ₄及びカメラ初期位置設定部１０６が設定した平行移動Ｔ₂，Ｔ₃，Ｔ₄の値を補正後のカメラ１〜４の実際位置にするように構成した。このため、上記実施の形態１の効果に加えて、回転移動Ｒのみを変数として誤差を最小化したことにより、収束までの繰り返し処理の回数を減らし、高速にカメラ位置を校正することができる効果がある。 As described above, according to the second embodiment, the camera position correcting unit 107 obtains a basic matrix from the rotational movements R ₂ , R ₃ , R ₄ and the parallel movements T ₂ , T ₃ , T _4, and displays them on the feature point image. The basic matrix error, that is, the distance between the epipolar line in the two image data captured between adjacent cameras and the coordinate position of the feature point common to the two image data, is calculated using the coordinate values of The movements R ₂ , R ₃ , R ₄ are used as variables to minimize the error, the rotational movements R ₂ , R ₃ , R ₄ when the error is minimized, and the parallel movement T ₂ , set by the camera initial position setting unit 106. The values of T ₃ and T ₄ are set to the actual positions of the corrected cameras 1 to 4. For this reason, in addition to the effect of the first embodiment, by minimizing the error using only the rotational movement R as a variable, the effect of reducing the number of iterations until convergence and calibrating the camera position at high speed can be achieved. There is.

１，２，３，４カメラ（撮像装置）、１０１カメラ部、１０２画像取得部、１０３画像データ記憶部、１０４特徴点設定部、１０５特徴点位置補正部、１０６カメラ初期位置設定部、１０７カメラ位置補正部、１０８画像補正データ記憶部、１０９カメラ位置データ記憶部、１１０画像合成部、２０１〜２０４撮像視野、２１１〜２１８特徴点、３０１透視カメラＡの視点、３０２透視カメラＢの視点、３０３透視カメラＡの撮像面、３０４透視カメラＢの撮像面、３０５撮像対象、３０６，３０７交点、３０８，３０９交点（エピポール）、３１０，３１１直線（エピポーラ線）、４０１直線（エピポーラ線）、４０２距離（誤差）、５００円柱面、６０１真の視点、６０２撮像面、６０３，６０７，６０８撮像対象、６０４，６０５交点、６０６視点、Ａ，Ｂ透視カメラ。 1, 2, 3, 4 Camera (imaging device), 101 camera unit, 102 image acquisition unit, 103 image data storage unit, 104 feature point setting unit, 105 feature point position correction unit, 106 camera initial position setting unit, 107 camera Position correction unit, 108 Image correction data storage unit, 109 Camera position data storage unit, 110 Image composition unit, 201-204 Imaging field of view, 211-218 Feature points, 301 Perspective of perspective camera A, 302 Perspective of perspective camera B, 303 Imaging surface of perspective camera A, 304 Imaging surface of perspective camera B, 305 Imaging target, 306, 307 intersection, 308, 309 intersection (epipole), 310, 311 straight line (epipolar line), 401 straight line (epipolar line), 402 distance (Error), 500 cylindrical surface, 601 true viewpoint, 602 imaging surface, 603, 607, 608 Imaging target, 604, 605 intersection, 606 viewpoint, A, B perspective camera.

Claims

In order to synthesize a plurality of image data captured by a plurality of imaging devices on a projection plane based on a positional relationship between the imaging devices, an imaging device calibration method for obtaining a positional relationship between the imaging devices,
A feature point setting step of extracting an object imaged in common between the adjacent imaging devices from each image data of the adjacent imaging devices, and setting it as a feature point;
Based on the known positional relationship of each imaging device, the relative position of the other imaging device is set using the rotational movement amount and the parallel movement amount with reference to the position of a specific imaging device among the plurality of imaging devices. Initial position setting step to
Using the rotational movement amount and the parallel movement amount set in the initial position setting step and the coordinate value on the image of the feature point set in the feature point setting step, from the actual position of the positional relationship of each imaging device An image pickup apparatus calibration method comprising: an image pickup apparatus position correcting step for correcting an error of the image pickup apparatus.

The imaging device position correction step includes:
An error evaluation step of obtaining a basic matrix between the imaging devices from the rotational movement amount and the parallel movement amount, and calculating an error of the basic matrix using a coordinate value on the feature point image set in the feature point setting step;
The error is minimized by using the rotational movement amount and the parallel movement amount as variables, and the positional relationship of each captured image from the actual position based on the rotational movement amount and the parallel movement amount when the error is minimized. The imaging apparatus calibration method according to claim 1, further comprising an error minimization step of correcting an error.

The imaging device position correction step includes:
An error evaluation step of obtaining a basic matrix between the imaging devices from the rotational movement amount and the parallel movement amount, and calculating an error of the basic matrix using a coordinate value on the feature point image set in the feature point setting step;
An error minimizing step for minimizing the error using the rotational movement amount as a variable, and correcting an error from an actual position of the positional relationship of the captured images based on the rotational movement amount when the error is minimized; The imaging apparatus calibration method according to claim 1, further comprising:

In the imaging device position correction step, the coordinate position of the feature point common to the two image data set by the epipolar line and the feature point setting unit in the two image data captured between the adjacent imaging devices as an error of the basic matrix 4. The imaging apparatus calibration method according to claim 1, wherein a distance between the imaging apparatus and the camera is calculated.

A plurality of imaging devices that divide the entire circumference and image;
An image acquisition unit that acquires a plurality of image data captured by the plurality of imaging devices;
A feature point setting unit that extracts each object imaged in common between the adjacent imaging devices from each image data of the adjacent imaging devices, and sets it as a feature point;
Based on the known positional relationship of each imaging device, the relative position of the other imaging device is set using the rotational movement amount and the parallel movement amount with reference to the position of a specific imaging device among the plurality of imaging devices. An initial position setting unit to
Using the rotational movement amount and the parallel movement amount set by the initial position setting unit and the coordinate value on the image of the feature point set by the feature point setting unit, from the actual position of the positional relationship of each imaging device An imaging device position correction unit that corrects the error of
An image synthesizing apparatus comprising: an image synthesizing unit that synthesizes the plurality of image data on a projection plane based on the positional relationship corrected by the imaging device position correcting unit, and generates an all-round image.