JP2012189551A - Perimeter field for calibration of multi-camera - Google Patents
Perimeter field for calibration of multi-camera Download PDFInfo
- Publication number
- JP2012189551A JP2012189551A JP2011055627A JP2011055627A JP2012189551A JP 2012189551 A JP2012189551 A JP 2012189551A JP 2011055627 A JP2011055627 A JP 2011055627A JP 2011055627 A JP2011055627 A JP 2011055627A JP 2012189551 A JP2012189551 A JP 2012189551A
- Authority
- JP
- Japan
- Prior art keywords
- target
- camera
- color
- density
- code
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 claims abstract description 47
- 230000003287 optical effect Effects 0.000 claims abstract description 33
- 238000003384 imaging method Methods 0.000 claims description 18
- 238000012545 processing Methods 0.000 description 47
- 238000001514 detection method Methods 0.000 description 42
- 239000003086 colorant Substances 0.000 description 33
- 230000005484 gravity Effects 0.000 description 20
- 238000000605 extraction Methods 0.000 description 17
- 238000005259 measurement Methods 0.000 description 14
- 238000012937 correction Methods 0.000 description 12
- 230000002093 peripheral effect Effects 0.000 description 10
- 238000006243 chemical reaction Methods 0.000 description 9
- 230000014509 gene expression Effects 0.000 description 7
- 238000012790 confirmation Methods 0.000 description 6
- 238000002372 labelling Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 239000006185 dispersion Substances 0.000 description 5
- 101001057156 Homo sapiens Melanoma-associated antigen C2 Proteins 0.000 description 4
- 102100027252 Melanoma-associated antigen C2 Human genes 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 238000013500 data storage Methods 0.000 description 4
- 101150052583 CALM1 gene Proteins 0.000 description 2
- 230000000052 comparative effect Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 101150114882 CALM2 gene Proteins 0.000 description 1
- 101150058073 Calm3 gene Proteins 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000012850 discrimination method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000000859 sublimation Methods 0.000 description 1
- 230000008022 sublimation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Stereoscopic And Panoramic Photography (AREA)
Abstract
Description
本発明は、マルチカメラをキャリブレーションする際の被写体であって、内部パラメータおよび外部パラメータを正確に測定するための、マルチカメラのキャリブレーション用全周フィールドに関する。 The present invention relates to a multi-camera calibration all-around field for accurately measuring an internal parameter and an external parameter, which is a subject when a multi-camera is calibrated.
従来から、収差の少ない画像を得るために、精密に計測され三次元上に配置された多数の点を複数方向から撮影し計測することにより、カメラの内部パラメータおよび外部パラメータを解析的に求めている。 Conventionally, in order to obtain an image with little aberration, the internal and external parameters of the camera are analytically determined by photographing and measuring many points that are precisely measured and arranged in three dimensions from multiple directions. Yes.
従来のカメラのキャリブレーション用被写体としては、焦点距離が可変であるズームレンズの場合でも比較的狭い空間で使用可能な校正用三次元フィールドがある(例えば、特許文献1参照。)。校正用三次元フィールドは、例えば地下室のような温度変化の少ない環境において、コンクリート壁のような壁面やパネルに、広角用の基準マークと望遠用の基準マークを、相対的な位置関係が変動しないように配置させたものである(段落0022、図1〜図4)。この校正用三次元フィールドを、校正対象である単一のキャリブレーションチャート撮影用カメラで複数方向から撮影し、キャリブレーションチャート画像を取得する。 As a calibration subject of a conventional camera, there is a calibration three-dimensional field that can be used in a relatively narrow space even in the case of a zoom lens having a variable focal length (see, for example, Patent Document 1). The three-dimensional field for calibration does not change the relative positional relationship between the wide-angle reference mark and the telephoto reference mark on a wall or panel such as a concrete wall in an environment with little temperature change such as a basement. (Paragraph 0022, FIGS. 1 to 4). The calibration three-dimensional field is photographed from a plurality of directions by a single calibration chart photographing camera to be calibrated, and a calibration chart image is obtained.
しかし、複数のカメラを外向きに配置し、複数方向の画像を取得可能なマルチカメラ(図7参照)をキャリブレーションする場合、校正用三次元フィールドのようなキャリブレーション用被写体を用いると、カメラの方向ごとにキャリブレーション用被写体を移動させ撮影しなければならない。
そこで本発明は、マルチカメラをキャリブレーションする場合に用いる被写体であって、カメラの方向ごとに被写体を移動させることなく、高精度なマルチカメラのキャリブレーションが可能となるキャリブレーション用被写体(全周フィールド)を提供することを目的とする。
However, when calibrating a multi-camera (see FIG. 7) in which a plurality of cameras are arranged outward and a multi-directional image can be acquired, if a calibration subject such as a calibration three-dimensional field is used, The calibration subject must be moved in each direction to shoot.
Therefore, the present invention is an object used when calibrating a multi-camera, and a calibration object (all-round) that enables highly accurate multi-camera calibration without moving the object in each camera direction. Field).
本発明の第1の態様に係る全周フィールドは、例えば図1に示すように、基準方向に光軸11’を有する基準カメラ11と、前記基準方向とは異なる方向に光軸12’を有する他のカメラ12とを有するマルチカメラ10aで撮影し、マルチカメラ10aをキャリブレーションするための全周フィールド1であって、マルチカメラ10aの内部パラメータまたは外部パラメータを測定するために撮影される、全周フィールド1内に配置された、三次元座標が既知の複数のターゲットを備え;前記基準方向から所定の角度範囲においては、前記ターゲットが第1の密度で配置され、前記基準方向から所定の角度範囲の範囲外においては、前記ターゲットが前記第1の密度よりも高い第2の密度で配置され、前記全周フィールド1の法線は、少なくとも2方向を有する。
なお、マルチカメラとは、光軸方向が異なる複数のカメラが外向きに配置され、複数方向の視野の画像を同期して取得することができるカメラシステムをいう。したがって、マルチカメラには、純粋の全周、例えば水平方向360度を複数のカメラで撮影できるものほか、任意の方向の360度を複数のカメラで撮影できるものを含み、さらに、360度までいかなくとも、180度を超える相当広範囲を複数のカメラで撮影できるもの(超広範囲を撮影するカメラ)も含まれる。「全周フィールド」の「全周」とは、360度に限られず、マルチカメラの各カメラがターゲットを撮影できるように、各カメラを覆う空間が形成できればよい。すなわち、撮影対象となるターゲットが各カメラの撮影領域に存在するように配置可能なフィールドであればよい。全周フィールドを構成するものとしては、上記の壁面に限られず、パネル等を用いてもよい。既知の「三次元座標」とは、絶対基準点としての世界座標系における既知の三次元座標をいう。「世界座標系」とは、マルチカメラの有する全てのカメラについて統一した座標系をいう。
The all-around field according to the first aspect of the present invention has, for example, a reference camera 11 having an optical axis 11 ′ in the reference direction and an optical axis 12 ′ in a direction different from the reference direction, as shown in FIG. An all-round field 1 for photographing with a multi-camera 10a having another camera 12 and calibrating the multi-camera 10a, which is photographed for measuring an internal parameter or an external parameter of the multi-camera 10a. A plurality of targets with known three-dimensional coordinates arranged in the circumferential field 1; in a predetermined angle range from the reference direction, the targets are arranged at a first density and at a predetermined angle from the reference direction; Outside the range, the targets are arranged at a second density higher than the first density, and the normal of the perimeter field 1 is less Also it has two directions.
The multi-camera refers to a camera system in which a plurality of cameras having different optical axis directions are arranged outwardly and images of fields of view in a plurality of directions can be acquired in synchronization. Therefore, the multi-camera includes not only a camera that can shoot 360 degrees in a horizontal direction with a plurality of cameras, but also a camera that can shoot 360 degrees in any direction with a plurality of cameras. Even if it is not, the thing which can image | photograph the considerable wide range exceeding 180 degree | times with a some camera (camera which image | photographs a very wide range) is also included. “All around” of the “all around field” is not limited to 360 degrees, and it is sufficient that a space covering each camera can be formed so that each camera of the multi-camera can photograph the target. That is, any field can be used as long as the target to be imaged can be arranged so as to exist in the imaging region of each camera. What constitutes the all-around field is not limited to the above wall surface, and a panel or the like may be used. The known “three-dimensional coordinates” refers to known three-dimensional coordinates in the world coordinate system as absolute reference points. “World coordinate system” refers to a coordinate system unified for all cameras of a multi-camera.
このように構成すると、画像中心部と比べてレンズ歪みの大きい画像周辺部であっても、高精度なキャリブレーションが可能となる。一般的にマルチカメラは、それぞれのカメラに広角レンズが用いられ、広い視野の画像を取得する。そのため、得られた画像はレンズによる歪みが大きい。本願発明では、基準方向からの所定の角度範囲の範囲外において、より高い密度でターゲットを配置することにより、歪みの大きい場所でのキャリブレーションの精度を高めることができる。さらに、基準方向からの所定の角度範囲においては、より低い密度とすることで、キャリブレーション時の計算量を減らすことができる。さらに、全周フィールドを移動させることなく、マルチカメラが有する各カメラを同期させてターゲットを撮影することが可能となる。 With this configuration, high-accuracy calibration is possible even in an image peripheral portion that has a larger lens distortion than the image central portion. In general, a multi-camera uses a wide-angle lens for each camera, and acquires an image with a wide field of view. For this reason, the obtained image is greatly distorted by the lens. In the present invention, the accuracy of calibration in a place with a large distortion can be increased by arranging the targets with a higher density outside the range of the predetermined angle range from the reference direction. Furthermore, in a predetermined angle range from the reference direction, the calculation amount at the time of calibration can be reduced by setting the density lower. Furthermore, it is possible to photograph the target by synchronizing the cameras included in the multi-camera without moving the entire circumference field.
本発明の第2の態様に係る全周フィールドは、上記本発明の第1の態様に係る全周フィールド1において、例えば図5に示すように、前記第1の密度で配置されたターゲットは、第1の大きさであり、前記第2の密度で配置されたターゲットは、第1の大きさよりも大きな第2の大きさであり、撮影されたターゲットの大きさが揃うように、前記第1の大きさのターゲットと前記第2の大きさのターゲットは構成されている。
なお、「ターゲットの大きさが揃う」とは、完全に同一の大きさとなる場合に限られず、撮影精度が保証できる大きさでターゲットを撮影できるのであれば、大きさが多少異なる場合も含まれる。
The all-round field according to the second aspect of the present invention is the all-round field 1 according to the first aspect of the present invention, as shown in FIG. The target having the first size and arranged at the second density has a second size larger than the first size, and the first target is set so that the sizes of the captured targets are uniform. The target of the size and the target of the second size are configured.
Note that “the target size is the same” is not limited to the case where the target is completely the same size, and includes cases where the target is slightly different as long as the target can be shot with a size that can guarantee the shooting accuracy. .
このように構成すると、ターゲットの大きさが画像周辺部と比べて中心部では小さくなるが、撮影精度が保証できる大きさとすることができる。 With this configuration, the size of the target is smaller in the central portion than in the peripheral portion of the image, but it can be set to a size that can ensure photographing accuracy.
本発明の第3の態様に係る全周フィールドは、上記本発明の第1の態様または第2の態様に係る全周フィールド1において、例えば図1に示すように、基準カメラ11と他のカメラ12は、互いにオーバーラップ領域14を設けて撮影するように配置され、前記第2の密度で配置されたターゲットは、オーバーラップ領域14に撮影されるように前記ターゲットを配置する。
なお、本発明の第3の態様に係る全周フィールドは、所望のキャリブレーションの精度が担保できる範囲内であれば、ターゲットが、オーバーラップ領域よりもより広範囲に密に配置される場合、およびオーバーラップ領域よりもより狭範囲に密に配置される場合をも含むものとする。すなわち、ターゲットを密に配置する領域は、オーバーラップ領域と完全に重なる場合に限られず、密に配置する領域とオーバーラップ領域に多少のずれが生じている場合も含むものとする。
The all-around field according to the third aspect of the present invention is the same as the reference camera 11 and other cameras in the all-around field 1 according to the first or second aspect of the present invention as shown in FIG. 12 are arranged so as to be photographed with an overlap region 14 provided therebetween, and the targets arranged at the second density are arranged so that the target is photographed in the overlap region 14.
In addition, if the entire circumference field according to the third aspect of the present invention is within a range in which the accuracy of desired calibration can be ensured, the target is more densely arranged than the overlap region, and The case where it is densely arranged in a narrower range than the overlap region is also included. That is, the region where the targets are densely arranged is not limited to the case where the target overlaps completely with the overlap region, and includes a case where there is a slight shift between the region where the targets are arranged and the overlap region.
このように構成すると、オーバーラップ領域にはより高い密度で配置されたターゲットが撮影されるため、画像歪み(レンズ歪み)の大きい部分でのキャリブレーションの精度が高くなり、マルチカメラで撮影された画像間の繋ぎの精度を高めることができる。よって、パノラマ画像の作成において、つなぎ部分の違和感のより少ない画像を得ることができる。すなわち、パノラマ画像を取得するためのより正確なカメラ間のキャリブレーションが可能となる。なお「パノラマ画像」とは、パノラマ動画像をも含む。 When configured in this manner, a target arranged at a higher density is captured in the overlap area, so that the accuracy of calibration in a portion where the image distortion (lens distortion) is large becomes high, and the image is captured by a multi-camera. It is possible to improve the accuracy of connection between images. Therefore, in creating a panoramic image, an image with less sense of discomfort at the connecting portion can be obtained. That is, more accurate calibration between cameras for acquiring a panoramic image is possible. The “panoramic image” includes a panoramic moving image.
本発明の第4の態様に係る全周フィールドは、上記本発明の第3の態様に係る全周フィールド1において、例えば図1に示すように、他のカメラ12の光軸方向から所定の角度範囲は、オーバーラップ領域14以外の領域であり、他のカメラ12の光軸方向から所定の角度範囲においては、前記ターゲットが第3の密度で配置され、前記第2の密度は、前記第3の密度よりも高い。 The all-round field according to the fourth aspect of the present invention is a predetermined angle from the optical axis direction of the other camera 12 as shown in FIG. 1, for example, in the all-round field 1 according to the third aspect of the present invention. The range is a region other than the overlap region 14, and the target is arranged at a third density in a predetermined angle range from the optical axis direction of the other camera 12, and the second density is the third density. Higher than the density.
このように構成すると、基準カメラと他のカメラの光軸方向から所定の角度範囲においては、ターゲットがより粗く配置されるため、各カメラのキャリブレーション時の計算量を減らすことができる。一方で、各カメラの光軸方向から所定の角度範囲の範囲外(オーバーラップ領域)においては、ターゲットがより密に配置されるため、各カメラのキャリブレーションの精度を高めることができる。 With this configuration, the target is arranged more roughly in a predetermined angle range from the optical axis direction of the reference camera and the other cameras, so that the amount of calculation at the time of calibration of each camera can be reduced. On the other hand, since the targets are arranged more densely outside the range of a predetermined angle range from the optical axis direction of each camera (overlap region), the calibration accuracy of each camera can be improved.
本発明の第5の態様に係る全周フィールドは、上記本発明の第1の態様乃至第4の態様のいずれか1の態様に係る全周フィールド1において、基準カメラ11の前記基準方向から所定の角度範囲は、カメラが有するレンズの所定の歪み量以下の範囲である。 The all-around field according to the fifth aspect of the present invention is predetermined from the reference direction of the reference camera 11 in the all-around field 1 according to any one of the first to fourth aspects of the present invention. The angle range is a range that is equal to or less than a predetermined distortion amount of the lens of the camera.
このように構成すると、レンズの所定の歪み量に基づいて、所定の角度範囲およびその角度範囲外を決定できる。したがって、より効率的に、歪み量のより少ない範囲においてはキャリブレーション時の計算量を減らすことができ、歪み量のより多い範囲においてはキャリブレーションの精度を高めることができる。 If comprised in this way, based on the predetermined distortion amount of a lens, a predetermined angle range and the outside of the angle range can be determined. Therefore, the calculation amount at the time of calibration can be reduced more efficiently in a range where the amount of distortion is smaller, and the calibration accuracy can be increased in a range where the amount of distortion is larger.
本発明の第6の態様に係る全周フィールドは、上記本発明の第1の態様乃至第5の態様のいずれか1の態様に係る全周フィールド1において、例えば図3(a)に示すように、全周フィールドが、マルチカメラの周囲を囲むように構成される。 The all-around field according to the sixth aspect of the present invention is, for example, as shown in FIG. 3 (a) in the all-around field 1 according to any one of the first to fifth aspects of the present invention. In addition, the entire circumference field is configured to surround the periphery of the multi-camera.
このように構成すると、水平方向360度の視野を撮影することができるマルチカメラのキャリブレーションが可能となる。 If comprised in this way, the calibration of the multicamera which can image | photograph the visual field of 360 degrees of horizontal directions will be attained.
本発明の第7の態様に係る全周フィールドは、上記本発明の第1の態様乃至第5の態様のいずれか1の態様に係る全周フィールドにおいて、例えば図7に示すように、基準カメラが天頂方向に向けられ、前記基準方向とは異なる方向に光軸を有する複数の他のカメラが前記基準カメラの周囲に配置されたマルチカメラ10b、10c、10dにより撮影される全周フィールドであって、前記全周フィールドは、マルチカメラ10b、10c、10dの周囲を囲む側面と、マルチカメラ10b、10c、10dを覆う上面から構成される。
なお、「天頂方向」とは、天頂に限られず、天底方向、水平方向、および、任意の方向をも含み、基準カメラがこれらの方向に向けて設置される場合をも含む。
The all-round field according to the seventh aspect of the present invention is a reference camera in the all-round field according to any one of the first to fifth aspects of the present invention as shown in FIG. Is an all-around field in which a plurality of other cameras having an optical axis in a direction different from the reference direction are photographed by the multi-cameras 10b, 10c, and 10d arranged around the reference camera. The all-around field includes a side surface surrounding the multi-cameras 10b, 10c, and 10d and an upper surface that covers the multi-cameras 10b, 10c, and 10d.
The “zenith direction” is not limited to the zenith, but also includes the nadir direction, the horizontal direction, and any direction, and includes the case where the reference camera is installed in these directions.
このように構成すると、各カメラが全周および天頂方向に配置されたマルチカメラであっても全周フィールドを撮影でき、全天球パノラマ画像を生成可能なマルチカメラのキャリブレーションが可能となる。なお、基準カメラが水平方向に向けられた場合は、全天球パノラマ画像は90度反転し、天底に向けられた場合は180度反転する。 If comprised in this way, even if it is a multicamera with which each camera was arrange | positioned in the perimeter and the zenith direction, a perimeter field can be image | photographed and the calibration of the multicamera which can produce | generate an omnidirectional panoramic image will be attained. Note that when the reference camera is directed in the horizontal direction, the panoramic image is inverted 90 degrees, and when it is directed toward the nadir, it is inverted 180 degrees.
本発明の第8の態様に係る全周フィールドは、上記本発明の第1の態様乃至第7の態様のいずれか1の態様に係る全周フィールドにおいて、例えば図16に示すように、前記ターゲットは、カラーコード付きターゲットである。 The all-around field according to the eighth aspect of the present invention is the all-around field according to any one of the first to seventh aspects of the present invention, as shown in FIG. Is a color coded target.
このように構成すると、ターゲットにカラーコード付きターゲットを使用しているため、各ターゲットを容易に識別でき、特にオーバーラップ領域における画像間の対応点の特定を容易にすることができる。さらに、カラーコード付きターゲットを使用して、公知の方法を用いて各カメラの明度低下現象の補正や複数カメラ間の相対的な色調補正が可能となる。 If comprised in this way, since the target with a color code is used for a target, each target can be identified easily and the specification of the corresponding point between the images especially in an overlap area | region can be made easy. Furthermore, using a target with a color code, it is possible to correct the brightness reduction phenomenon of each camera and to correct the relative color tone among a plurality of cameras using a known method.
本発明の第9の態様に係る全周フィールドの撮影方法は、例えば図13に示すように、基準方向に光軸11’を有する基準カメラ11と、前記基準方向とは異なる方向に光軸12’を有する他のカメラ12とを有するマルチカメラ10aで撮影する、キャリブレーション用全周フィールド1の撮影方法であって、マルチカメラ10aを配置する工程(S01)と;前記基準方向から所定の角度範囲においては、三次元座標が既知のターゲットを第1の密度で配置し、前記基準方向から所定の角度範囲の範囲外においては、三次元座標が既知のターゲットを前記第1の密度よりも高い第2の密度で配置して、全周フィールド1の法線方向が少なくとも2方向になるように全周フィールド1を構成する工程(S02)と;基準カメラ11の光軸11’を、前記第1の密度で配置されたターゲットに向けてセットする工程(S03)と;マルチカメラ10aの内部パラメータまたは外部パラメータを測定するために、複数の前記ターゲットをマルチカメラ10aで撮影する工程(S04)とを備える。なお、ターゲットに向けてセットする工程(S03)は、全周フィールドの法線方向に向けてセットすることが好ましい。
なお、マルチカメラ10aを配置する工程(S01)と全周フィールド1を構成する工程(S02)は、順序を問わない。
For example, as shown in FIG. 13, the imaging method for the all-around field according to the ninth aspect of the present invention includes a reference camera 11 having an optical axis 11 ′ in the reference direction and an optical axis 12 in a direction different from the reference direction. A method of photographing the entire circumference field 1 for calibration, which is photographed by the multi-camera 10a having the other camera 12 having ', and a step of arranging the multi-camera 10a (S01); and a predetermined angle from the reference direction In the range, a target having a known three-dimensional coordinate is arranged at a first density, and a target having a known three-dimensional coordinate is higher than the first density outside the predetermined angle range from the reference direction. A step (S02) of arranging the circumferential field 1 so as to be arranged at the second density so that the normal direction of the circumferential field 1 is at least two directions; and the optical axis 11 ′ of the reference camera 11 A step of setting the target at the first density (S03); and a step of photographing the plurality of targets with the multi-camera 10a in order to measure an internal parameter or an external parameter of the multi-camera 10a ( S04). In addition, it is preferable to set toward the normal line direction of a perimeter field at the process (S03) of setting toward a target.
The order of placing the multi-camera 10a (S01) and the step of constructing the all-around field 1 (S02) are not limited.
このように構成すると、基準方向からの所定の角度範囲の範囲外において、より高い密度でターゲットを配置することにより、レンズ歪みの大きい場所でのキャリブレーションの精度を高めることができ、基準方向からの所定の角度範囲においては、より低い密度で配置することで、キャリブレーション時の計算量を減らすことができる全周フィールドの撮影方法となる。 With this configuration, by placing the target at a higher density outside the range of the predetermined angle range from the reference direction, it is possible to increase the accuracy of calibration in a place where the lens distortion is large, and from the reference direction. In the predetermined angle range, by arranging at a lower density, the whole-field imaging method can reduce the amount of calculation at the time of calibration.
本発明の第10の態様に係る全周フィールドの撮影方法は、上記本発明の第9の態様に係る全周フィールドの撮影方法において、例えば図13に示すように、全周フィールド1を構成する工程(S02)は、基準カメラ11と他のカメラ12が互いにオーバーラップ領域を設けて撮影するように、かつ、前記オーバーラップ領域には、前記第2の密度で配置されたターゲットが撮影されるように、全周フィールド1を構成する。 The all-around field imaging method according to the tenth aspect of the present invention is the same as the all-around field imaging method according to the ninth aspect of the present invention, for example, as shown in FIG. In the step (S02), the reference camera 11 and the other camera 12 are provided with an overlap area to be photographed, and the target arranged at the second density is photographed in the overlap area. Thus, the all-round field 1 is configured.
このように構成すると、オーバーラップ領域にはより高い密度で配置されたターゲットが撮影されるため、画像歪み(レンズ歪み)の大きい部分でのキャリブレーションの精度が高くなり、特に画像間の繋ぎの精度を高めることができる全周フィールドの撮影方法となる。よって、パノラマ画像の作成において、つなぎ部分の違和感のより少ない画像を得ることができる。すなわち、パノラマ画像を取得するためのより正確なカメラ間のキャリブレーションが可能となる。 With this configuration, since a target arranged at a higher density is photographed in the overlap region, the calibration accuracy is high in a portion where the image distortion (lens distortion) is large. This is an all-around field imaging method that can improve accuracy. Therefore, in creating a panoramic image, an image with less sense of discomfort at the connecting portion can be obtained. That is, more accurate calibration between cameras for acquiring a panoramic image is possible.
本発明の全周フィールドは、マルチカメラをキャリブレーションする場合の被写体であって、カメラごとに被写体を移動させることなく、高精度なマルチカメラのキャリブレーションが可能となる。 The all-round field of the present invention is a subject when the multi-camera is calibrated, and the multi-camera can be calibrated with high accuracy without moving the subject for each camera.
以下、図面を参照して本発明の実施の形態について説明する。なお、各図において互いに同一または相当する部分には同一あるいは類似の符号を付し、重複した説明は省略する。また、本発明は、以下の実施の形態に制限されるものではない。 Embodiments of the present invention will be described below with reference to the drawings. In the drawings, the same or corresponding parts are denoted by the same or similar reference numerals, and redundant description is omitted. Further, the present invention is not limited to the following embodiments.
[全周フィールド]
本発明の第1の実施の形態に係る全周フィールドについて説明する。マルチカメラをキャリブレーションするために撮影する全周フィールドは、基本的にマルチカメラを覆う空間において、三次元座標が既知の複数のターゲットを空間的に張り巡らして配置させたものである。なお、ターゲットの世界座標系における正確な三次元座標は、トータルステーション等で計測し、または、デジタル写真測量若しくはフリーネットワーク調整等の手法を用いて既知とする。
[All around field]
An all-round field according to the first embodiment of the present invention will be described. The all-around field to be photographed for calibrating the multi-camera is basically a plurality of targets with known three-dimensional coordinates arranged in a space covering the multi-camera. Note that accurate three-dimensional coordinates in the target world coordinate system are measured by a total station or the like, or are known by using a technique such as digital photogrammetry or free network adjustment.
例えば図1には、3つのカメラを有するマルチカメラ10aを用いて、全周フィールド1を撮影する場合のターゲットの配置例(粗くまたは密に)を示す。なお便宜的にマルチカメラ10aの有するカメラのうちから任意の1つを基準カメラとする。図1では、カメラ11を基準カメラとし、カメラ11の光軸11’を中心とする所定の角度範囲においては、第1の密度でターゲットを配置する。他のカメラ12、13の光軸12’、13’を中心とする所定の角度範囲においては、第3の密度でターゲットを配置する。このとき、第1の密度と第3の密度は、同一でもよく異なってもよい。また、光軸12’、13’を中心とする所定の角度範囲における第3の密度がそれぞれ異なってもよい。さらに、カメラ11の撮影領域とカメラ12の撮影領域が重なる領域(オーバーラップ領域14)およびカメラ11の撮影領域とカメラ13の撮影領域が重なる領域(オーバーラップ領域15)においては、ターゲットを第2の密度で配置し、第1の密度<第2の密度、第3の密度<第2の密度となるようにする。すなわち、図1に示すように、ターゲットは、光軸11’、12’、13’を中心とする特定の領域よりも、オーバーラップ領域においてより密に配置される。 For example, FIG. 1 shows an example of target arrangement (roughly or densely) in the case of photographing the entire circumference field 1 using a multi-camera 10a having three cameras. For convenience, any one of the cameras of the multi-camera 10a is set as a reference camera. In FIG. 1, the camera 11 is the reference camera, and the target is arranged at the first density in a predetermined angle range centered on the optical axis 11 ′ of the camera 11. In a predetermined angle range centered on the optical axes 12 ′ and 13 ′ of the other cameras 12 and 13, the target is arranged at the third density. At this time, the first density and the third density may be the same or different. Further, the third densities in a predetermined angle range centered on the optical axes 12 ′ and 13 ′ may be different from each other. Furthermore, in the area where the shooting area of the camera 11 and the shooting area of the camera 12 overlap (overlap area 14) and in the area where the shooting area of the camera 11 and the shooting area of the camera 13 overlap (overlap area 15), the target is set to the second. The first density is smaller than the second density, and the third density is smaller than the second density. That is, as shown in FIG. 1, the targets are arranged more densely in the overlap region than in a specific region centered on the optical axes 11 ', 12', and 13 '.
ターゲットを配置する第1〜第3の密度は、それぞれの領域において密度が均一となるように配置してもよく、または、不均一であってもよい。第1の密度および第3の密度については、光軸11’、12’、13’の中心から離れるにつれて高密度となるように配置してもよい。要するに、第1の密度<第2の密度、第3の密度<第2の密度であればよい。 The first to third densities at which the targets are arranged may be arranged so that the density is uniform in each region, or may be non-uniform. About 1st density and 3rd density, you may arrange | position so that it may become high density as it leaves | separates from the center of optical axis 11 ', 12', 13 '. In short, it is sufficient if the first density <the second density and the third density <the second density.
一例として図2には、マルチカメラを覆う空間として一部屋を用意し、その壁面(マルチカメラに対し、天頂、前後、左右)にターゲットを貼り付け、全周フィールドを構成した例を示す。ターゲットには、カラーコード付きターゲットを用いている。カラーコード付きターゲットについては後述する。
なお、「ターゲット」とは、世界座標系における三次元座標が既知のマークであればよく、その形状は特に限定されない。例えば、図19に示す円形のレトロターゲットであってもよい。
As an example, FIG. 2 shows an example in which a room is prepared as a space covering the multi-camera, and a target is pasted on the wall surface (the zenith, front and rear, and left and right with respect to the multi-camera) to configure an all-around field. A target with a color code is used as the target. The target with color code will be described later.
The “target” may be a mark whose three-dimensional coordinates in the world coordinate system are known, and its shape is not particularly limited. For example, the circular retro target shown in FIG. 19 may be used.
また、図3に示すように、マルチカメラを覆う空間としては、一部屋(立方体)に限られず、斜方立方八面体、コの字型、L字型等の他の形状であってもよい。すなわち、全周フィールドは、全周(水平方向360度)に配置される場合に限られず、マルチカメラが有する各カメラがターゲットを撮影できるように、マルチカメラを覆う空間が形成できればよい。さらに、ターゲットを配置するものとしては、上記の壁面に限られず、パネル等を用いて全周フィールドを構成してもよい。 As shown in FIG. 3, the space covering the multi-camera is not limited to one room (cube), but may be other shapes such as an oblique cubic octahedron, a U-shape, and an L-shape. . That is, the all-around field is not limited to being arranged all around (360 degrees in the horizontal direction), and it is only necessary to form a space that covers the multi-camera so that each camera of the multi-camera can capture the target. Further, the target is not limited to the above-described wall surface, and the entire field may be configured using a panel or the like.
図4(a)に、マルチカメラ10aのカメラ11、12で撮影した画像間のオーバーラップ領域14(斜線部)を示す。図4(b)は、カメラ11で撮影した撮影画像のイラストであり、図4(c)は、キャリブレーション後の補正画像のイラストである。撮影画像の周辺部約10%(図では横幅の10%に相当する両端の領域)がオーバーラップ領域14、15となる。そこで、オーバーラップ領域14、15に配置されるターゲットを密に配置し、オーバーラップ領域14、15のキャリブレーション時の精度をより高くする。それにより、マルチカメラで撮影された画像間のつなぎをより自然なものとすることができる。 FIG. 4A shows an overlap region 14 (shaded portion) between images taken by the cameras 11 and 12 of the multi-camera 10a. FIG. 4B is an illustration of a photographed image taken by the camera 11, and FIG. 4C is an illustration of a corrected image after calibration. Approximately 10% of the periphery of the captured image (the regions at both ends corresponding to 10% of the width in the figure) are the overlap regions 14 and 15. Therefore, the targets arranged in the overlap regions 14 and 15 are densely arranged, and the accuracy during calibration of the overlap regions 14 and 15 is further increased. Thereby, the connection between images taken by the multi-camera can be made more natural.
なお、上記の例は、オーバーラップ領域か否かでターゲットを配置する密度を決定している。しかし、カメラのレンズの特定の歪み量を基準にして、ターゲットを密に配置する領域と粗く配置する領域を決定してもよい。このようにすると、をより効果的にキャリブレーションすることができる。具体的には、後述の[キャリブレーション]に示す式(3)(4)からわかるように、レンズ歪みは、係数k1〜k4、p1〜p2で表わされ、式からレンズ歪み量は、例えば主点位置よりの半径rで求められるため、基準光軸から離れた量に応じてその密度を決定し、実際のターゲット配置を求めることができる。例えば、式(3)(4)に示すように、レンズの歪みが画像(画面)中心から画像上での対象物像までの距離rの乗数などに応じて変化することを利用して、画像上において略同じ密度で撮影されるように、例えば、配置するターゲットの密度を光軸付近の中央部分では粗い密度、すなわちターゲットの間隔を空けて配置し、周辺部分では細かい密度、すなわちターゲットの間隔をつめて配置することが望ましい。
すなわち、式(3)(4)を利用して、画像上での画像中心からの距離rに応じて、画像上での歪み量dx、dyが判り、これに応じて画像の中央部分と、周辺部分におけるターゲットを配置する密度を適切にすることができる。実際には、レンズ歪みは、式(3)(4)のk1r2の項に一番依存するため、例えば、粗領域と密領域で半径rが2倍の関係になっていれば、粗領域に対して密領域では4倍の密度でターゲットを配置する、などとしてもよい。
In the above example, the density at which the targets are arranged is determined depending on whether or not the region is an overlap region. However, a region where the target is densely arranged and a region where the target is roughly arranged may be determined based on a specific distortion amount of the camera lens. In this way, it is possible to calibrate more effectively. Specifically, as can be seen from the equations (3) and (4) shown in [Calibration] described later, the lens distortion is expressed by coefficients k1 to k4 and p1 to p2, and the lens distortion amount from the equation is, for example, Since it is obtained by the radius r from the principal point position, the density can be determined according to the amount away from the reference optical axis, and the actual target arrangement can be obtained. For example, as shown in Expressions (3) and (4), the fact that the distortion of the lens changes according to the multiplier of the distance r from the center of the image (screen) to the object image on the image, etc. For example, the density of the target to be arranged is coarse in the central part near the optical axis, that is, the target is spaced apart, and the target is fine in the peripheral part, that is, the target spacing, so that the images are captured at substantially the same density. It is desirable to place them together.
That is, using the equations (3) and (4), the distortion amounts dx and dy on the image can be determined according to the distance r from the image center on the image, and the central portion of the image can be determined accordingly. The density of arranging the targets in the peripheral part can be made appropriate. Actually, the lens distortion most depends on the term of k 1 r 2 in the equations (3) and (4). For example, if the radius r is doubled between the rough region and the dense region, The target may be arranged at a density four times that in the dense region compared to the rough region.
さらに、画像上において撮影精度が保証できる大きさで撮影されるように、ターゲットの大きさを、変化させることがより望ましい。図5(a)(b)では、配置するターゲットの大きさを、光軸付近の中央部分では比較的小さくし、周辺部分では大きくして配置している。図5(a)は撮影画像のイラストであり、図5(b)はキャリブレーション補正画像である。具体的には、画像上の10画素以上の大きさ(x、y)となるように式(1)(2)を利用してターゲットの大きさ(X,Y)を設定することができる。なお、ターゲットの大きさは、撮影されたターゲットの大きさが揃うように、中央部分に配置するターゲットと周辺部分に配置するターゲットの大きさを構成することが特に望ましい。 Furthermore, it is more desirable to change the size of the target so that the image can be captured with a size that can guarantee the capturing accuracy on the image. In FIGS. 5A and 5B, the size of the target to be arranged is relatively small in the central portion near the optical axis and large in the peripheral portion. FIG. 5A is an illustration of a captured image, and FIG. 5B is a calibration correction image. Specifically, the target size (X, Y) can be set by using equations (1) and (2) so that the size (x, y) is 10 pixels or more on the image. Note that it is particularly desirable that the target size is configured so that the target placed in the central portion and the target placed in the peripheral portion are arranged so that the sizes of the captured targets are aligned.
上記では、ターゲットがカラーコード付きターゲットのみの例を示しているが、図6(a)(b)に示すように、カラーコード付きターゲットと円形一色の色ターゲット(図6では円形のレトロターゲット)とを混ぜて配置してもよい。カラーコード付きターゲットで認識したコードと位置に基づき、円形一色の色ターゲットの位置と配置が特定できる。さらに、円形一色の色ターゲットの大きさを画像上10画素以上となるように設定することが容易となり、高い測定精度を保証することができる。 In the above, an example in which only a target with a color code is shown as the target is shown. However, as shown in FIGS. 6A and 6B, a target with a color code and a color target with a single color (circular retro target in FIG. 6). And may be mixed. Based on the code and the position recognized by the target with the color code, the position and arrangement of the circular color target can be specified. Furthermore, it becomes easy to set the size of the circular color target to be 10 pixels or more on the image, and high measurement accuracy can be guaranteed.
図7に、マルチカメラの例を示す。マルチカメラは、複数のカメラが外向きに例えば放射状に配置され、複数方向の視野の画像を同期して取得することができるカメラシステムである。(a)は、3つのカメラを有するマルチカメラ10aの側面図である。(b)は、天頂方向に向けられた1つのカメラと、それを囲むように周辺方向に向けられた4つのカメラを有するマルチカメラ10bの上面図である。(c)は、天頂方向に向けられた1つのカメラと、周辺方向に向けられた5つのカメラを有するマルチカメラ10cの上面図である。(d)は、天頂方向に向けられた1つのカメラと、周辺方向に向けられた6つのカメラを有するマルチカメラ10dの上面図である。なお、天頂方向に向けられたカメラを水平方向や天底方向等に向けて上記のマルチカメラを配置してもよい。 FIG. 7 shows an example of a multi-camera. The multi-camera is a camera system in which a plurality of cameras are arranged outward, for example, radially, and images of fields of view in a plurality of directions can be acquired in synchronization. (A) is a side view of a multi-camera 10a having three cameras. (B) is a top view of a multi-camera 10b having one camera oriented in the zenith direction and four cameras oriented in the peripheral direction so as to surround it. (C) is a top view of a multi-camera 10c having one camera oriented in the zenith direction and five cameras oriented in the peripheral direction. (D) is a top view of a multi-camera 10d having one camera oriented in the zenith direction and six cameras oriented in the peripheral direction. Note that the multi-camera described above may be arranged such that the camera directed in the zenith direction is directed in the horizontal direction or the nadir direction.
図8に、6つのカメラを有するマルチカメラ10c’であって、天頂カメラを基準カメラ(Cam6)とし、その周囲に配置されたカメラ(Cam1〜4)とで全周フィールドを撮影した場合の例(イラスト)を示す。Cam5については、Cam2、3の裏側にあるため図示されていない。
なお、図8のマルチカメラ10c’において、天頂カメラを使用せず、5つの側面カメラで全周フィールドを撮影した場合、5つのカメラはそれぞれ隣同士のカメラとのオーバーラップ領域を有し、画像どうしを接続できる。よって、側面カメラの1つを基準カメラとし、基準カメラの画像とオーバーラップ領域を有さない画像を含む場合であっても、キャリブレーションは可能である。
FIG. 8 shows an example in which a multi-camera 10c ′ having six cameras has a zenith camera as a reference camera (Cam6) and the entire field is photographed with cameras (Cam1 to Cam4) arranged around the zenith camera. (Illustration) is shown. Cam5 is not shown because it is behind Cam2 and Cam3.
In addition, in the multi-camera 10c ′ of FIG. 8, when the zenith camera is not used and the entire field is photographed by the five side cameras, each of the five cameras has an overlap area with the adjacent camera, and the image You can connect each other. Therefore, calibration is possible even when one of the side cameras is a reference camera and includes an image that does not overlap with the image of the reference camera.
本発明の第2の実施の形態に係る全周フィールドについて説明する。
図9に、6つのカメラを有するマルチカメラ10c’であって、側面カメラのうちの1つを基準カメラ(Cam0)とし、その左右に配置されたカメラ(Cam1、4)とで全周フィールドを撮影した場合の例を示す。このように、全周フィールドは、マルチカメラが有するカメラの一部を覆う空間において、ターゲットを空間的に配置させたものであってもよい。例えば水平方向(360度)撮影可能なマルチカメラに対し、全周フィールドは、部屋一個ではなく、例えば半面または三分の一であってもよい。
An all-around field according to the second embodiment of the present invention will be described.
FIG. 9 shows a multi-camera 10c ′ having six cameras, in which one of the side cameras is a reference camera (Cam0), and the cameras (Cam1 and 4) arranged on the left and right of the multi-camera 10c ′ An example of shooting is shown. As described above, the all-around field may be one in which targets are spatially arranged in a space covering a part of the camera included in the multi-camera. For example, for a multi-camera capable of photographing in the horizontal direction (360 degrees), the perimeter field may be, for example, half or one-third instead of one room.
図10に、全周フィールドが半面の場合にマルチカメラを回転させて、各カメラで全周フィールドを撮影しキャリブレーションする際の、対応するカメラ間でのオリエンテーション接続の接続方法を示す。なお、「オリエンテーション接続」とは、マルチカメラを回転または移動等(図3(a)〜(c)参照)させて撮影した場合に対応するカメラ間のオリエンテーション(位置、傾き)を統一させることを言う。
図10のマルチカメラは6つのカメラを有し、図10に示す丸はカメラを示しT字はカメラの方向を示す。また、側面に配置されたカメラをCam0〜4とし、天頂カメラをCam5とする。(1)まず、Cam4‐0‐1で全周フィールドを撮影する。(2)次に、マルチカメラを回転させ、Cam0‐1‐2で全周フィールドを撮影する。(3)〜(5)同様に、マルチカメラを回転させ、側面カメラを1つずつずらして全周フィールドを撮影する。(6)最後に、天頂カメラCam5と側面カメラとの位置関係を得るため、Cam5と側面カメラ(図10では、Cam1‐2‐3‐4)とで、全周フィールドを撮影する。
FIG. 10 shows a connection method of orientation connection between corresponding cameras when the multi-camera is rotated when the entire perimeter field is half-surface, and the entire perimeter field is photographed and calibrated by each camera. “Orientation connection” means to unify the orientation (position, inclination) between cameras corresponding to the case where the multi-camera is rotated or moved (see FIGS. 3A to 3C). To tell.
The multi-camera of FIG. 10 has six cameras, the circle shown in FIG. 10 indicates the camera, and the T-shape indicates the direction of the camera. Moreover, the camera arrange | positioned at the side is set to Cam0-4, and a zenith camera is set to Cam5. (1) First, the entire field is photographed with Cam 4-0-1. (2) Next, the multi-camera is rotated, and the entire field is photographed with Cam0-1-2. (3) to (5) Similarly, the multi-camera is rotated, and the side camera is shifted one by one to photograph the entire circumference field. (6) Finally, in order to obtain the positional relationship between the zenith camera Cam5 and the side camera, the entire circumference field is photographed by the Cam5 and the side camera (Cam1-2-3-4 in FIG. 10).
各カメラで撮影された画像には、絶対基準点としての三次元座標を有するターゲットが撮影される。したがって、図11に示すように、撮影された画像において、対応するカメラ像面をフィッティングさせ、3軸回転(ω、φ、κ)と平行移動(dx、dy、dz)を求める。次に、マルチカメラの機械座標系(カメラ座標系)にて、各カメラのオリエンテーションを再定義する。すなわち、図12に示すように、機械座標系の、原点:側面カメラ位置の平均、鉛直軸:側面カメラ位置を水平面にフィッティング、Y軸:カメラ(Cam0)の方向(水平0度)、X軸:水平面上でY軸に直交する方向、とする。このように、対応するカメラ間でオリエンテーション接続をすることにより、全周フィールドが半面または三分の一等であっても、水平方向(360度)撮影可能なマルチカメラ(天頂方向含む)のキャリブレーションが可能となる。 A target having three-dimensional coordinates as an absolute reference point is photographed in an image photographed by each camera. Therefore, as shown in FIG. 11, the corresponding camera image plane is fitted in the captured image to obtain the three-axis rotation (ω, φ, κ) and the parallel movement (dx, dy, dz). Next, the orientation of each camera is redefined in the machine coordinate system (camera coordinate system) of the multi-camera. That is, as shown in FIG. 12, in the machine coordinate system, the origin: the average of the side camera positions, the vertical axis: fitting the side camera position to the horizontal plane, the Y axis: the direction of the camera (Cam0) (horizontal 0 degree), the X axis : A direction orthogonal to the Y-axis on a horizontal plane. In this way, the orientation connection between the corresponding cameras enables calibration of multi-cameras (including the zenith direction) that can shoot in the horizontal direction (360 degrees) even if the entire circumference field is half or one third. Is possible.
本発明の第3の実施の形態に係る全周フィールドの撮影方法について説明する。図13に、全周フィールドの撮影方法の処理フローを示す。まず、キャリブレーションするマルチカメラを例えば部屋の中央に配置させる(S01)。次に、撮影画像の中央部分には粗く配置されたターゲットが撮影されるように、部屋の壁面にターゲットを配置させる。さらに、撮影画像の周辺部分には中央部分よりも密に配置されたターゲットが撮影されるように、壁面にターゲットを配置させて、全周フィールドを構成する(S02)。次に、各カメラの光軸を粗く配置されたターゲットに向けてセットする(S03)。次に、マルチカメラの各カメラでターゲットを撮影する(S04)。なお、全周フィールドの構成(S02)では、隣接するカメラどうしが互いにオーバーラップ領域を有し、かつ、オーバーラップ領域にはより密に配置されたターゲットが撮影されるようにしてもよい。 An imaging method for the all-around field according to the third embodiment of the present invention will be described. FIG. 13 shows a processing flow of the all-around field imaging method. First, the multi-camera to be calibrated is placed, for example, in the center of the room (S01). Next, the target is arranged on the wall surface of the room so that the target arranged roughly in the central portion of the photographed image is photographed. Further, the target is arranged on the wall surface so that the target arranged more densely than the central part is photographed in the peripheral part of the photographed image, and the all-around field is configured (S02). Next, the optical axis of each camera is set toward a roughly arranged target (S03). Next, the target is photographed by each camera of the multi-camera (S04). In the all-around field configuration (S02), adjacent cameras may have an overlap region, and targets that are arranged more densely in the overlap region may be photographed.
[キャリブレーション]
カメラをキャリブレーションする場合、カメラの内部パラメータ(カメラキャリブレーションパラメータ)および外部パラメータ(オリエンテーションパラメータ)を求める必要がある。これらのパラメータを求める場合、あらかじめ三次元座標が測定されているターゲットを異なる方向から複数枚撮影し、各画像間のターゲットの対応づけを行ない、このターゲットの対応づけと予め測定されている結果とから、カメラの内部パラメータおよび外部パラメータを求める。
[Calibration]
When a camera is calibrated, it is necessary to obtain an internal parameter (camera calibration parameter) and an external parameter (orientation parameter) of the camera. When obtaining these parameters, a plurality of targets whose three-dimensional coordinates are measured in advance are photographed from different directions, the targets are associated with each other, and the correspondence between the targets and the pre-measured results are obtained. From the above, internal parameters and external parameters of the camera are obtained.
このキャリブレーションには、各種の方法があるが、一例として写真測量分野で使用される「セルフキャリブレーション付きバンドル調整法」を説明する。
「バンドル調整法」とは、被写体、レンズ、CCD撮像面を結ぶ光束は、同一線上になければならないという共線条件(図14参照)に基づき、各画像の光束の1本毎に観測方程式をたて、最小2乗法によりカメラの外部パラメータ(位置、傾き)とターゲットの座標を同時調整する方法であり、「セルフキャリブレーション付き」とは、カメラの内部パラメータ(画像距離、画像中心、歪み補正係数)を求める方式である(図15参照)。
There are various methods for this calibration. As an example, the “bundle adjustment method with self-calibration” used in the photogrammetry field will be described.
The “bundle adjustment method” is based on the collinear condition (see FIG. 14) that the light beam connecting the subject, the lens, and the CCD imaging surface must be on the same line (see FIG. 14). This is a method of adjusting the external parameters (position and tilt) of the camera and the coordinates of the target at the same time using the least square method. “With self-calibration” means that the internal parameters of the camera (image distance, image center, distortion correction) This is a method for obtaining a coefficient (see FIG. 15).
このセルフキャリブレーション付きバンドル調整法の共線条件基本式は、下記の(1)および(2)に示す式で表される。内部パラメータの補正モデル式は、下記の(3)および(4)に示す式で表される。これらの式と多数の既知点と画像上の像点(最低6点)から、単写真標定によるセルフキャリブレーション(バンドル調整)にて解き、外部パラメータである位置(投影中心:(X0、Y0、Z0))と傾き(ω、φ、κ)、および内部パラメータである画像距離(f)、画像中心(x0、y0)、歪み補正係数k1〜k4、p1、p2)を求める。なお、カメラのキャリブレーションを行なう場合、ターゲットの数または撮影された画像の枚数が多ければ多いほど(数枚から数十枚)、キャリブレーションの精度が向上する。一般に、三次元座標が既知の点数(基準点数)と撮影枚数には相関関係があり、精度を考慮すると、例えば、基準点数が100点以上であれば枚数5枚以上、基準点数が25点程度であれば枚数10枚以上が望ましい。
a1〜a9:回転行列
a1=cosφcosκ
a2=−cosφsinκ
a3=sinφ
a4=cosωsinκ+sinωsinφcosκ
a5=cosωcosκ−sinωsinφsinκ
a6=−sinωcosφ
a7=sinωsinκ−cosωsinφcosκ
a8=sinωcosκ+cosωsinφsinκ
a9=cosωcosφ
X,Y,Z:ターゲット座標
X0,Y0,Z0:投影中心(主点)
x,y:画像座標
dx、dy:画像上での歪み量
The collinear condition basic expression of the bundle adjustment method with self-calibration is expressed by the following expressions (1) and (2). The correction model formula for the internal parameter is expressed by the following formulas (3) and (4). Solving from these equations and a number of known points and image points (at least 6 points) on the image by self-calibration (bundle adjustment) by single photolocation, the position (projection center: (X 0 , Y 0 , Z 0 )) and slope (ω, φ, κ), and internal parameters are image distance (f), image center (x 0 , y 0 ), distortion correction coefficients k 1 to k 4 , p 1 , p 2 ). When the camera is calibrated, the calibration accuracy improves as the number of targets or the number of captured images increases (several to several tens). In general, there is a correlation between the number of points whose three-dimensional coordinates are known (reference number) and the number of shots, and considering the accuracy, for example, if the reference number is 100 points or more, the number is 5 or more and the reference number is about 25 points. If so, the number of sheets is preferably 10 or more.
a 1 to a 9 : rotation matrix a 1 = cosφcosκ
a 2 = −cosφsinκ
a 3 = sinφ
a 4 = cosωsinκ + sinωsinφcosκ
a 5 = cosωcosκ−sinωsinφsinκ
a 6 = −sin ω cos φ
a 7 = sinωsinκ−cosωsinφcosκ
a 8 = sinωcosκ + cosωsinφsinκ
a 9 = cosωcosφ
X, Y, Z: Target coordinates X 0, Y 0, Z 0 : projection center (principal point)
x, y: image coordinates dx, dy: distortion amount on the image
[カラーコード付きターゲット]
本発明の実施の形態でターゲットとして用いたカラーコード付きターゲットについて説明する。カラーコード付きターゲットは、すでに本出願人により特願2005−289334として出願されている。
図16にカラーコード付きターゲットの例を示す。図16はカラーコードの単位パターンが3個のカラーコード付きターゲットCT1である。カラーコード付きターゲットCT1は、レトロターゲット部(位置検出用パターン)P1、基準色部(基準色パターン)P2、カラーコード部(カラーコードパターン)P3、白色部(空パターン)P4で構成されている。これら、レトロターゲット部P1、基準色部P2、カラーコード部P3、白色部P4は、カラーコード付きターゲットCT1内の所定の位置に配置される。すなわち、基準色部P2、カラーコード部P3、白色部P4は、レトロターゲット部P1に対して所定の位置関係に配置される。
[Target with color code]
A target with a color code used as a target in the embodiment of the present invention will be described. The color coded target has already been filed as Japanese Patent Application No. 2005-289334 by the present applicant.
FIG. 16 shows an example of a target with a color code. FIG. 16 shows a target CT1 with a color code having three color code unit patterns. The color-coded target CT1 includes a retro target portion (position detection pattern) P1, a reference color portion (reference color pattern) P2, a color code portion (color code pattern) P3, and a white portion (empty pattern) P4. . The retro target portion P1, the reference color portion P2, the color code portion P3, and the white portion P4 are disposed at predetermined positions in the color code-attached target CT1. That is, the reference color portion P2, the color code portion P3, and the white color portion P4 are arranged in a predetermined positional relationship with respect to the retro target portion P1.
レトロターゲット部P1は、ターゲット自体の検出用、その重心検出用、ターゲットの方向(傾斜方向)検出用、ターゲット領域検出用として使用される。図16ではレトロターゲット部P1としてレトロターゲットが使用されている。すなわち、カラーコード付きターゲットCT1は、三次元座標が既知のマーク(位置検出用パターン)を3つ有している。 The retro target portion P1 is used for detecting the target itself, detecting its center of gravity, detecting the target direction (inclination direction), and detecting the target area. In FIG. 16, a retro target is used as the retro target portion P1. That is, the color-coded target CT1 has three marks (position detection patterns) whose three-dimensional coordinates are known.
基準色部P2は、照明やカメラ等の撮影条件による色のズレに対応するために、相対比較時の参照用、色ズレを補正するためのカラーキャリブレーション用として使用される。さらに、基準色部P2は、簡易な方法で作成されたカラーコード付きターゲットCTの色彩補正用として使用できる。例えば、色管理がなされていないカラープリンタ(インクジェット・レーザー・昇華型等のプリンタ)で印刷したカラーコード付きターゲットCTを使用する場合は、使用プリンタ等で色彩に個体差が出るが、基準色部P2とカラーコード部P3の色を相対比較し補正することで、個体差の影響を押さえることができる。 The reference color portion P2 is used for reference at the time of relative comparison and for color calibration for correcting the color misregistration in order to cope with color misregistration due to photographing conditions such as illumination and a camera. Furthermore, the reference color portion P2 can be used for color correction of the target CT with a color code created by a simple method. For example, when using a target CT with a color code printed by a color printer (inkjet, laser, sublimation type printer, etc.) that is not color-controlled, individual differences will occur in the color of the printer used, etc. By comparing and correcting the colors of P2 and the color code portion P3, the influence of individual differences can be suppressed.
カラーコード部P3は、その各単位パターンへの配色の組み合わせによってコードを表現する。コードに使用するコード色の数により表現可能なコード数が変化する。例えば、コード色数がnの場合、図16のカラーコード付きターゲットCT1では、カラーコード部P3の単位パターンが3個のため、n×n×n通りのコードを表せる。信頼度を上げるため、他の単位パターンに使用されている色を重複して使用しないという条件を課した場合でも、n×(n−1)×(n−2)通りのコードを表せる。そして、コード色数を増やせばコード数を増加できる。さらに、カラーコード部P3の単位パターンの数とカラーコード数を等しくするという条件を課すと、全てのコード色がカラーコード部P3に使用されるため、基準色部P2との比較のみで無く、カラーコード部P3の各単位パターン間で色を相対比較することにより、各単位パターンの色彩を確認して識別コードを決定することができ、信頼性を上げることができる。さらに、各単位パターンの面積を全て同じにする条件を追加すると、カラーコード付きターゲットCTを画像中から検出する際にも使用できる。これは、異なる識別コードをもつカラーコード付きターゲットCT間でも各色の占有する面積が同じになるため、カラーコード部全体からの検出光からはほぼ同様な分散値が得られるからである。また、単位パターン間の境界は等間隔に繰り返され、明確な色彩差が検出されるので、このような検出光の繰り返しパターンからもターゲットCTを画像中から検出することが可能である。 The color code part P3 expresses a code by a combination of colors for each unit pattern. The number of codes that can be expressed varies depending on the number of code colors used for the code. For example, when the number of code colors is n, the color code target CT1 of FIG. 16 has three unit patterns of the color code portion P3, and therefore can represent n × n × n codes. In order to increase the reliability, even when the condition that the colors used in other unit patterns are not used redundantly, n × (n−1) × (n−2) codes can be expressed. If the number of code colors is increased, the number of codes can be increased. Furthermore, if the condition that the number of unit patterns of the color code part P3 is equal to the number of color codes is imposed, all code colors are used for the color code part P3. Therefore, not only the comparison with the reference color part P2, By relatively comparing the colors between the unit patterns of the color code portion P3, the identification code can be determined by checking the color of each unit pattern, and the reliability can be improved. Furthermore, if a condition for making the area of each unit pattern all the same is added, the target CT with a color code can also be used when detected from an image. This is because the area occupied by each color is the same even between the target CTs with color codes having different identification codes, so that almost the same dispersion value is obtained from the detection light from the entire color code part. In addition, since the boundary between unit patterns is repeated at equal intervals and a clear color difference is detected, it is possible to detect the target CT from the image from such a repeated pattern of detection light.
白色部P4は、カラーコード付きターゲットCTの方向検出用と色ズレのキャリブレーション用として使用する。カラーコード付きターゲットCTの四隅の内、一カ所だけレトロターゲット部P1(レトロターゲット)が配置されない箇所があり、これをカラーコード付きターゲットCTの方向検出用に使用できる。このように白色部P4はレトロターゲット部P1(レトロターゲット)と異なるパターンであれば良い。したがって、白色部には目視でコードを確認するための番号などの文字列を印刷しても良く、また、バーコード等のコード領域としても使用しても良い。さらに、検出精度を上げるために、テンプレートマッチング用のテンプレートパターンとして使用することも可能である。 The white portion P4 is used for detecting the direction of the color-coded target CT and for correcting color misregistration. Of the four corners of the color-coded target CT, there is a place where the retro target portion P1 (retro target) is not arranged in only one place, and this can be used for detecting the direction of the color-coded target CT. Thus, the white portion P4 may be a pattern different from the retro target portion P1 (retro target). Therefore, a character string such as a number for visually confirming the code may be printed on the white portion, and it may be used as a code area such as a barcode. Furthermore, in order to increase the detection accuracy, it can be used as a template pattern for template matching.
(カラーコード抽出手段)
以下に、カラーコード付きターゲットCTを撮影後、カラーコード抽出手段100を用いてカラーコードを抽出する手順を説明する。
図17にカラーコード抽出手段100の構成例を示す。カラーコード抽出手段100は、カラーコード付きターゲットを抽出する抽出部41およびそのカラーコードを判別する識別コード判別部46により構成される。抽出部41は、探索処理部110、レトロターゲットグループ化処理部120、カラーコード付きターゲット検出処理部130、画像・カラーパターン記憶部140を有する。また、識別コード判別部46はカラーコード付きターゲット検出処理部130で検出されたカラーコードを判別しコード番号を付与する。
(Color code extraction means)
A procedure for extracting a color code using the color code extraction unit 100 after photographing a target CT with a color code will be described below.
FIG. 17 shows a configuration example of the color code extraction unit 100. The color code extraction unit 100 includes an extraction unit 41 that extracts a target with a color code and an identification code determination unit 46 that determines the color code. The extraction unit 41 includes a search processing unit 110, a retro target grouping processing unit 120, a target detection processing unit with color code 130, and an image / color pattern storage unit 140. Also, the identification code determination unit 46 determines the color code detected by the color code-added target detection processing unit 130 and assigns a code number.
また、20はカラーコート付きターゲットを含む測定対象物を撮影する撮像部で、ステレオカメラ等が使用される。23は撮像部20で撮影されたステレオ画像を記憶する画像データ記憶部である。また、150は、抽出部41で抽出されたレトロターゲット部P1の位置座標と、識別コード判別部46で判別された識別コードとを関連付けて記憶する標識情報記憶部であり、標識情報記憶部150に記憶されたデータは、標定部44で標定に用いられ、または三次元位置計測部50で、測定対象物の三次元座標または三次元形状の測定に用いられる。 Reference numeral 20 denotes an imaging unit that photographs a measurement object including a target with a color coat, and a stereo camera or the like is used. Reference numeral 23 denotes an image data storage unit that stores a stereo image taken by the imaging unit 20. Reference numeral 150 denotes a sign information storage unit that stores the position coordinates of the retro target part P1 extracted by the extraction unit 41 and the identification code determined by the identification code determination unit 46 in association with each other. The data stored in is used for orientation by the orientation unit 44, or is used for measurement of the 3D coordinates or 3D shape of the measurement object by the 3D position measurement unit 50.
探索処理部110は、撮像部20で撮影されたまたは画像データ記憶部23に記憶されたカラー画像(撮影画像)から、レトロターゲットパターン等の位置検出用パターン(レトロターゲット部P1)を検出する。位置検出用のターゲットとして、レトロターゲットパターンの代わりにテンプレートパターンが用いられた場合は、テンプレートパターン検出をする。 The search processing unit 110 detects a position detection pattern (retro target unit P1) such as a retro target pattern from a color image (captured image) captured by the imaging unit 20 or stored in the image data storage unit 23. When a template pattern is used instead of a retro target pattern as a target for position detection, template pattern detection is performed.
レトロターゲットグループ化処理部120は、探索処理部110で検出したレトロターゲットが同じカラーコード付きターゲットCTに属すると判断されたもの(例えば位置座標が同じカラーコード付きターゲットCTの領域に入るもの)を同一グループに属する候補としてグループ化する。 The retro target grouping processing unit 120 determines that the retro targets detected by the search processing unit 110 belong to the same color-coded target CT (for example, those that enter the region of the color-coded target CT having the same position coordinates). Group as candidates that belong to the same group.
カラーコード付きターゲット検出処理部130は、同じカラーコード付きターゲットに属すると判断されたレトロターゲットのグループ(候補)から、当該カラーコード付きターゲットCTの領域と方向を検出するカラーコード付きターゲット領域方向検出処理部131と、カラーコード付きターゲットCTの基準色部P2、カラーコード部P3における色彩の配列、画像中の色彩を検出する色彩検出処理部311と、基準色パターンP2を参照してカラーコード部P3および画像中の色彩を補正する色彩補正部312と、グループ化が適正になされたかを確認する確認処理部313で構成されている。 The color code target detection processing unit 130 detects the color code target region direction detection from the retrotarget group (candidate) determined to belong to the same color code target. The color code unit with reference to the processing unit 131, the reference color part P2 of the target CT with color code, the color arrangement in the color code part P3, the color detection processing part 311 for detecting the color in the image, and the reference color pattern P2 P3 and a color correction unit 312 that corrects colors in the image, and a confirmation processing unit 313 that confirms whether the grouping is properly performed.
画像・カラーパターン記憶部140は、抽出部41に読み込んだ画像を記憶する読込画像記憶部141と、使用が予定される複数種類のカラーコード付きターゲットCTについて、カラーコード付きターゲットCTの種別を示す種別コード番号を記録し、さらに、各種のカラーコード付きターゲットCTについて、パターン配置とコード番号の対応関係を記録するカラーコード付きターゲット対応表142で構成されている。 The image / color pattern storage unit 140 indicates the type of the color-coded target CT with respect to the read image storage unit 141 that stores the image read into the extraction unit 41 and a plurality of types of color-coded target CTs that are scheduled to be used. A type code number is recorded, and further, a color code target correspondence table 142 is recorded which records the correspondence between pattern arrangement and code number for various color code target CTs.
識別コード判別部46は、カラーコード部P3における色彩の配列から識別コードを判別し、識別コードに変換するもので、カラーコード付きターゲット検出処理部130で検出されたカラーコード付きターゲットCTの領域と方向のデータに基づいて、カラーコード付きターゲットCTの座標を変換する座標変換処理部321と、座標変換されたカラーコード付きターゲットCTのカラーコード部P3における色彩の配列から識別コードを判別し、識別コードに変換するコード変換処理部322で構成されている。 The identification code discriminating unit 46 discriminates an identification code from the color arrangement in the color code unit P3 and converts it into an identification code. The color code-added target CT detected by the color code target detection processing unit 130 Based on the direction data, the coordinate conversion processing unit 321 for converting the coordinates of the color-coded target CT and the color code in the color code portion P3 of the coordinate-converted target CT with the color code discriminates the identification code. The code conversion processing unit 322 converts the code into a code.
(カラーコード抽出フロー)
図18にカラーコード付きターゲットの抽出フローの例を示す。
まず、処理対象のカラー画像(撮影画像)を、撮像部20または画像データ記憶部23から抽出部41の読込画像記憶部141に読み込む(S500)。次に、読込まれた各画像よりレトロターゲットを検出する(S510)。
(Color code extraction flow)
FIG. 18 shows an example of a color code target extraction flow.
First, a color image (photographed image) to be processed is read from the imaging unit 20 or the image data storage unit 23 into the read image storage unit 141 of the extraction unit 41 (S500). Next, a retro target is detected from each read image (S510).
探索方法は、(1)カラーコード付きターゲットCT中の位置検出用パターンであるレトロターゲット部P1(レトロターゲット)を探索する方法、(2)カラーコード部P3の色分散を検出する方法、あるいは(4)彩色された位置検出用パターンを用いる方法など種々の方法がある。ここでは(1)、(2)およびこれらを組み合わせる例(3)を説明する。(4)については、(カラーコード付きターゲットCT11)で説明する。 The search method includes (1) a method of searching for a retro target portion P1 (retro target) which is a position detection pattern in the color code target CT, (2) a method of detecting the color dispersion of the color code portion P3, or ( 4) There are various methods such as a method using a colored position detection pattern. Here, (1), (2) and an example (3) combining these will be described. (4) will be described in (Color Coded Target CT11).
(1)カラーコード付きターゲットCTにレトロターゲットが含まれている場合は、明度差が鮮明なパターンを使用するので、カメラの絞りを絞りフラッシュ撮影することにより、レトロターゲットのみが光った画像を取得でき、この像を2値化することにより簡単にレトロターゲットを検出できる。 (1) When a retro-target is included in the color-coded target CT, a pattern with a clear brightness difference is used. The retro target can be easily detected by binarizing this image.
図19はレトロターゲットを用いた重心位置検出の説明図で、(A1)は内円部204の明度が明るく、外円部206の明度が暗いレトロターゲット、(A2)は(A1)のレトロターゲットの直径方向の明度分布図、(B1)は内円部204の明度が暗く、外円部206の明度が明るいレトロターゲット、(B2)は(B1)のレトロターゲットの直径方向の明度分布図を示している。レトロターゲットが図19(A1)のように内円部204の明度が明るい場合は、測定対象物1の撮影画像において重心位置での反射光量が多く明るい部分になっているため、画像の光量分布が図4(A2)のようになり、光量分布の閾値Toからレトロターゲットの内円部204や中心位置を求めることが可能となる。 FIG. 19 is an explanatory diagram of the center-of-gravity position detection using a retro target. (A1) is a retro target in which the brightness of the inner circle portion 204 is bright and the brightness of the outer circle portion 206 is dark. (B1) is a retro target in which the brightness of the inner circle portion 204 is dark and the brightness of the outer circle portion 206 is bright, and (B2) is a brightness distribution diagram in the diameter direction of the retro target of (B1). Show. When the brightness of the inner circle portion 204 is bright as shown in FIG. 19 (A1), the retro target has a bright portion with a large amount of reflected light at the center of gravity in the captured image of the measurement object 1, and thus the light amount distribution of the image. As shown in FIG. 4A2, the inner circle portion 204 and the center position of the retro target can be obtained from the threshold value To of the light amount distribution.
ターゲットの存在範囲が決定されると、例えばモーメント法によって重心位置を算出する。例えば、図19(A1)に表記されたレトロターゲット200の平面座標を(x、y)とする。そして、レトロターゲット200の明度が、しきい値To以上のx、y方向の点について、(式1)、(式2)を演算する(*は乗算演算子)。
xg={Σx*f(x、y)}/Σf(x、y) −−−−(式1)
yg={Σy*f(x、y)}/Σf(x、y) −−−−(式2)
(xg、yg):重心位置の座標、f(x、y):(x、y)座標上の濃度値
なお、図19(B1)に表記されたレトロターゲット200の場合は、明度がしきい値To以下のx、y方向の点について、(式1)、(式2)を演算する。
これにより、レトロターゲット200の重心位置が求まる。
When the target existence range is determined, the barycentric position is calculated by, for example, the moment method. For example, assume that the plane coordinates of the retro target 200 shown in FIG. 19A1 are (x, y). Then, (Expression 1) and (Expression 2) are calculated for points in the x and y directions where the brightness of the retro target 200 is greater than or equal to the threshold value To (* is a multiplication operator).
xg = {Σx * f (x, y)} / Σf (x, y) ---- (Equation 1)
yg = {Σy * f (x, y)} / Σf (x, y) ---- (Formula 2)
(Xg, yg): coordinates of the center of gravity position, f (x, y): density value on (x, y) coordinates In the case of the retro target 200 shown in FIG. (Expression 1) and (Expression 2) are calculated for points in the x and y directions that are less than or equal to the value To.
Thereby, the position of the center of gravity of the retro target 200 is obtained.
(2)通常、カラーコード付きターゲットCTのカラーコード部には多数のコード色が使用され、色の分散値が大であるという特徴がある。このため、分散値の大きい箇所を画像中から見出すことにより、カラーコード付きターゲットCTを検出できる。
(3)カラーコード付きターゲットCTにレトロターゲットが含まれている場合では、まず明度の高い箇所(レトロターゲット部P1があり得る)を画像全体に対してスキャンして検出し、次に、検出した明度の高い箇所の周囲における色の分散値の高い箇所(カラーコード部P3があり得る)を見出すことにより効率よく検出できる。
(2) Usually, the color code portion of the color-coded target CT uses a large number of code colors and has a feature that the color dispersion value is large. For this reason, the target CT with a color code can be detected by finding a portion having a large dispersion value from the image.
(3) In the case where a retro-target is included in the color-coded target CT, first, a portion with high brightness (possibly having a retro-target portion P1) is scanned and detected over the entire image, and then detected. It can be efficiently detected by finding a portion (a color code portion P3 can be present) having a high color dispersion value around a portion having high brightness.
(1)の例について説明する。図18に戻り、レトロターゲット検出処理部111は、カラー画像中から検出した複数のレトロターゲットの座標を読込画像記憶部141に保存する。
次に、レトロターゲットグループ化処理部120は、読込画像記憶部141に保存されたレトロターゲットの座標から、同じカラーコード付きターゲットCTに属するレトロターゲットのグループの候補を検出して(例えば座標がカラーコード付きターゲットCT内にあるものを検出して)、読込画像記憶部141にその組み合わせをグループとして保存する(S520)。確認は、例えば、検出したカラーコード付きターゲットCT内の3個のレトロターゲット間の距離および3個のレトロターゲットを結ぶ三角形の頂角を計測することにより可能である(S530参照)。
さらに、検出したカラーコード付きターゲットのパターンをカラーコード付きターゲット対応表142と照合することにより、どの種別のカラーコード付きターゲットであるかを確認する。
An example of (1) will be described. Returning to FIG. 18, the retro target detection processing unit 111 stores the coordinates of a plurality of retro targets detected from the color image in the read image storage unit 141.
Next, the retro target grouping processing unit 120 detects a retro target group candidate belonging to the same color-coded target CT from the retro target coordinates stored in the read image storage unit 141 (for example, the coordinates are color). The detected combination CT is detected), and the combination is stored in the read image storage unit 141 as a group (S520). The confirmation is possible, for example, by measuring the distance between the three retro targets in the detected color-coded target CT and the apex angle of the triangle connecting the three retro targets (see S530).
Further, by comparing the detected pattern of the target with color code with the target table 142 with color code, it is confirmed which type of target with the color code.
次に、カラーコード付きターゲット検出処理部130は、領域方向検出処理部131において読込画像記憶部141に保存された、レトロターゲットのグループ単位にレトロターゲットの重心位置からカラーコード付きターゲットCTの領域と方向を求める(S530)。この領域と方向を求める前または後に、色彩検出処理部311で、基準色部P2、カラーコード部P3、画像中の測定対象物の色彩を検出する。必要であれば、色彩補正部312で基準色部P2の色を基準にしてカラーコード部P3や画像中の測定対象物1の色彩を補正する。また、基準にならない印刷色のカラーコード付きターゲットを使用した場合には、その基準色部を併せて補正する。そして確認処理部313において、グループ化が適正に行なわれたか、すなわち、一旦グループ化されたレトロターゲットの重心位置が同じカラーコード付きターゲットCTに属するか否かを確認する。同じグループに属すると判別された場合は次の識別コード識別処理(S535)に進み、同じグループに属さないと判別された場合には、再度グループ化処理(S520)に戻る。 Next, the target detection processing unit with color code 130 stores the region of the target CT with color code from the center of gravity position of the retro target in units of retro targets stored in the read image storage unit 141 in the region direction detection processing unit 131. A direction is obtained (S530). Before or after obtaining the region and direction, the color detection processing unit 311 detects the color of the reference color portion P2, the color code portion P3, and the measurement object in the image. If necessary, the color correction unit 312 corrects the color of the color code portion P3 and the measurement object 1 in the image based on the color of the reference color portion P2. In addition, when a target with a color code of a print color that is not a reference is used, the reference color portion is corrected together. Then, the confirmation processing unit 313 confirms whether the grouping is performed properly, that is, whether the center of gravity of the retro targets once grouped belongs to the same color code target CT. If it is determined that they belong to the same group, the process proceeds to the next identification code identification process (S535). If it is determined that they do not belong to the same group, the process returns to the grouping process (S520).
図20、図21にカラーコード付きターゲット領域方向検出処理部131の処理フロー例を示す。また、図22、図23を用いてレトロターゲットのコード読み込みを説明する。ここでは、図16のカラーコード付きターゲットCT1からコードを読み込む手続きについて説明する。
カラーコード付きターゲットCT1からコードを読み込むには、カラーコード付きターゲットCT1の領域と方向を知る必要があるため、3つの位置検出用レトロターゲットの重心点をR1,R2,R3にラベリングする(図22(a)参照)。
20 and 21 show an example of a processing flow of the target area direction detection processing unit 131 with a color code. The retro target code reading will be described with reference to FIGS. Here, a procedure for reading a code from the color-coded target CT1 in FIG. 16 will be described.
In order to read the code from the target CT1 with color code, it is necessary to know the area and direction of the target CT1 with color code, so the center points of the three position detection retro targets are labeled R1, R2, and R3 (FIG. 22). (See (a)).
ラベリング方法は、対象の3つのレトロターゲットの重心点R1〜R3を通る三角形を作成する(S600)。3つのレトロターゲットの重心点R1〜R3の中から適当に1つを選んでT1と仮にラベリングし(S610)、残りの2つの重心点を時計回りにT2,T3と仮にラベリングをする(S612、図22(b)参照)。
次に、それぞれの重心点を通る辺をラベリングする。T1とT2を通る辺をL12、T2とT3を通る辺をL23、T3とT1を通る辺をL31とする(S614、図23(a)参照)。
The labeling method creates a triangle that passes through the center-of-gravity points R1 to R3 of the three retro targets of interest (S600). Appropriately select one of the centroid points R1 to R3 of the three retro targets and temporarily label it with T1 (S610), and temporarily label the remaining two centroid points with T2 and T3 (S612, (Refer FIG.22 (b)).
Next, the sides passing through the barycentric points are labeled. The side passing through T1 and T2 is set as L12, the side passing through T2 and T3 is set as L23, and the side passing through T3 and T1 is set as L31 (S614, see FIG. 23A).
次に、三角形の内側を各頂点(重心点)から半径R離れた画素値を弧状にスキャンをして、スキャンした範囲で色の変化みる(図23(b)参照)。
重心点T1では、L12からL31を時計回りに、重心点T2では、L23からL12を時計回りに、重心点T3では、L31からL23を時計回りにスキャンをする(S620〜S625)。
半径の決め方は、スキャンをする角度に応じて画像上でレトロターゲットのサイズに倍率をかけて決める。レトロターゲットを斜め方向から撮影された場合は楕円になるため、スキャン範囲も楕円形状になる。倍率は、レトロターゲットのサイズと、レトロターゲット重心位置と基準色部P2の距離によって決められる。
Next, the inside of the triangle is scanned in an arc shape for pixel values that are separated from each vertex (center of gravity) by a radius R, and the color changes within the scanned range (see FIG. 23B).
At the center of gravity T1, L12 to L31 are scanned clockwise, at the center of gravity T2, L23 to L12 are scanned clockwise, and at the center of gravity T3, L31 to L23 are scanned clockwise (S620 to S625).
The method of determining the radius is determined by multiplying the size of the retro target on the image according to the scanning angle. When the retro target is photographed from an oblique direction, it becomes an ellipse, so the scan range is also an ellipse. The magnification is determined by the size of the retro target and the distance between the retro target center of gravity position and the reference color portion P2.
さらにノイズなどの影響を少なくするため、スキャンする範囲に幅を持たせて、半径R−ΔrからR+Δrの間で平均値等の代表値を決める方法も考えられる。
この例では、スキャンは弧状にスキャンをしたが、重心点でつくられた三角形の辺に垂直な直線上をスキャンする方法も考えられる(図23(c)参照)。
In order to further reduce the influence of noise and the like, a method of determining a representative value such as an average value between the radius R-Δr and R + Δr by giving a width to the scanning range is also conceivable.
In this example, the scan is performed in an arc shape, but a method of scanning on a straight line perpendicular to the side of the triangle formed by the center of gravity is also conceivable (see FIG. 23C).
図16のカラーコード付きターゲットCT1の例では、重心点T2の周りをスキャンした結果では色の変化があり、R(赤)・G(緑)・B(青)の値に変化が見られ、変化のピークがR・G・Bの順にあらわれる。T1とT3の周りのスキャン結果では、色の変化はなく、R・G・Bの値はほぼ一定でピークがあらわれない(図23(b)参照)。このように、1つの重心点T2の周りには色の変化が見られ、残りの2つの重心点T1、T3の周りには色の変化がないという特徴により、カラーコード付きターゲットCT1の方向を判断できる。 In the example of the color-coded target CT1 in FIG. 16, there is a change in color as a result of scanning around the center of gravity T2, and a change is seen in the values of R (red), G (green), and B (blue). Change peaks appear in the order of R, G, and B. In the scan results around T1 and T3, there is no color change, and the values of R, G, and B are almost constant and no peak appears (see FIG. 23B). Thus, the color change is seen around one centroid point T2, and the direction of the color-coded target CT1 is changed due to the feature that there is no color change around the remaining two centroid points T1 and T3. I can judge.
ラベリングの確認処理は、確認処理部313により行なわれる。スキャンの結果に色の変化があった重心点をR1とし、残りの2つの重心点は、色の変化があった重心点から時計回りにラベリングしてR2、R3とする(S630〜S632)。この例では、重心点T2をR1、重心点T3をR2、重心点T1をR3とする。色の変化があった重心点が1つ、色の変化がない重心点が2つ検出されなかった場合は、レトロターゲットの組み合わせエラーとなり(S633)、3組のレトロターゲットを新たに選出して(S634)、S600に戻る。このように、処理の結果から、選ばれた3つレトロターゲットが、同じカラーコード付きターゲットCT1に属するか否かも確認できる。このようにしてレトロターゲットのグループ化が確定する。
上記のラベリング方法は、図16のカラーコード付きターゲットCT1を例に説明したが、後述する各種カラーコード付きターゲットCTについても、一部の処理を変えることにより同様の処理ができる。
The confirmation processing for labeling is performed by the confirmation processing unit 313. The barycentric point having the color change in the scan result is set as R1, and the remaining two barycentric points are labeled R2 and R3 by clockwise labeling from the barycentric point having the color change (S630 to S632). In this example, the center of gravity T2 is R1, the center of gravity T3 is R2, and the center of gravity T1 is R3. If one centroid point with a color change and two centroid points with no color change are not detected, a retro target combination error occurs (S633), and three new retro targets are selected. (S634), the process returns to S600. Thus, it can be confirmed from the processing results whether the three selected retro targets belong to the same color-coded target CT1. In this way, the retro target grouping is determined.
The above-described labeling method has been described using the color-coded target CT1 in FIG. 16 as an example, but the same processing can be performed by changing part of the processing for various color-coded targets CT described later.
(コードの識別)
図18に戻り、識別コード判別部46は、抽出部41で抽出されたカラーコード付きターゲットCT1について、座標変換処理部321においてグループ化されたレトロターゲットの重心位置に基づいて、カラーコード付きターゲットCT1の設計値に合うように座標変換し、次に、コード変換処理部322において、カラーコードを識別し(S535)、コード変換してカラーコード付きターゲットCT1の識別コードを求め(S540)、読込画像記憶部141に保存する(S545)。
(Code identification)
Returning to FIG. 18, the identification code determination unit 46 selects the color-coded target CT1 based on the center-of-gravity positions of the retro targets grouped by the coordinate conversion processing unit 321 for the color-coded target CT1 extracted by the extraction unit 41. Then, the code conversion processing unit 322 identifies the color code (S535), performs code conversion to obtain the identification code of the target CT1 with color code (S540), and reads the read image. The data is stored in the storage unit 141 (S545).
図21でこの処理フローを説明する。曲面に貼付された、斜め方向から撮影された等により、形に歪のあるカラーコード付きターゲットの撮影画像を、ラベルR1,R2,R3を用いて、歪のない正面図に座標変換する(S640)。座標変換することより、カラーコード付きターゲットの設計値を参照して、レトロターゲット部P1、基準色部P2、カラーコード部P3、白色部P4を判別しやすくなり、後の処理が進め易くなる。 This processing flow will be described with reference to FIG. The photographed image of the target with the color code that is distorted in shape, such as affixed to the curved surface or photographed from an oblique direction, is converted into a front view without distortion using the labels R1, R2, and R3 (S640). ). By converting the coordinates, the retro target portion P1, the reference color portion P2, the color code portion P3, and the white portion P4 can be easily identified with reference to the design value of the target with the color code, and subsequent processing can be facilitated.
次に、座標変換されたカラーコード付きターゲットCT1上で、設計値どおりに白色部P4があるか確認をする(S650)。設計値どおりでない場合は検出エラーとなる(S633)。設計値どおりに白色部P4がある場合は、カラーコード付きターゲットCT1が検出されたと判断される(S655)。 Next, it is checked whether or not there is a white portion P4 as designed on the coordinate-converted target CT1 with color code (S650). If it is not as designed, a detection error occurs (S633). If the white portion P4 is present as designed, it is determined that the color-coded target CT1 has been detected (S655).
次に、色彩補正され、領域と方向がわかったカラーコード付きターゲットCT1のカラーコードの判別をする。
カラーコード部P3は、その各単位パターンへの配色の組み合わせによってコードを表現する。例えば、コード色数がnで単位パターンが3個の場合、n×n×nのコードを表せ、他の単位パターンに使用されている色を重複して使用しないという条件を課した場合は、n×(n−1)×(n−2)のコードを表せる。コード色数がn、単位パターンがn個で、色を重複して使用しないという条件を課した場合は、nの階乗通りのコードを表現できる。
識別コード判別部46は、コード変換処理部322において、カラーコード部P3における単位パターンの配色の組み合わせを、カラーコード付きターゲット対応表142の配色の組み合わせと比較・照合して識別コードを判別する(図18のS535)。
Next, the color code of the color-coded target CT1 whose color and color correction have been performed and whose region and direction are known is determined.
The color code part P3 expresses a code by a combination of colors for each unit pattern. For example, when the number of code colors is n and the number of unit patterns is 3, when a condition that an n × n × n code can be expressed and colors used in other unit patterns are not used redundantly is imposed, A code of n × (n−1) × (n−2) can be expressed. When the number of code colors is n, the number of unit patterns is n, and the condition that the colors are not used redundantly is imposed, the code corresponding to the factorial of n can be expressed.
In the code conversion processing unit 322, the identification code determination unit 46 compares and collates the color combination of the unit pattern in the color code unit P3 with the color combination of the target correspondence table 142 with color code to determine the identification code ( S535 in FIG.
色彩の判別方法は、(1)基準色部P2の色とカラーコード部P3の色を比較して決める相対比較方法と、(2)基準色部P2の色と白色部P4の色を使ってカラーコード付きターゲットCT1の色補正を行ない、その補正された色でカラーコード部P3のコードの判別をする絶対比較方法の、二つの方法がある。例えば、カラーコード部P3に使用する色数が少ない場合は基準色を相対比較の比較色として使用し、カラーコード部P3に使用する色数が多い場合は、色を補正するためにキャリブレーション用の色として絶対比較の比較色として使用する。前述のように、色彩の検出は色彩検出処理部311で、色補正は色彩補正部312で行なう。画像による3次元計測では複数の画像を撮るため、ほとんどの場合、各画像間で撮影条件などにより色ズレがおきる。カラーコード付きターゲットを使用することにより、複数の画像間での色の差を補正することが可能である。 Color discrimination methods include (1) a relative comparison method in which the color of the reference color portion P2 and the color of the color code portion P3 are compared, and (2) the color of the reference color portion P2 and the color of the white portion P4. There are two methods: an absolute comparison method in which color correction of the target CT1 with color code is performed and the code of the color code portion P3 is discriminated with the corrected color. For example, when the number of colors used for the color code portion P3 is small, the reference color is used as a comparative color for relative comparison, and when the number of colors used for the color code portion P3 is large, calibration is performed to correct the colors. Used as a comparative color for absolute comparison. As described above, color detection is performed by the color detection processing unit 311, and color correction is performed by the color correction unit 312. In three-dimensional measurement using images, a plurality of images are taken, and in most cases, color misregistration occurs between the images due to shooting conditions and the like. By using a target with a color code, it is possible to correct a color difference between a plurality of images.
識別コード判別部46は、コード変換処理部322において、(1)、(2)どちらかの方法を使用して、基準色部P2とカラーコード部P3を検出し(S660、S670)、カラーコード部P3の各色を判別し、色をコードに変換して、対象のカラーコード付きターゲットCT1の識別コードを求める(S680、図18のS540)。
そして画像ごとに、当該画像に含まれるカラーコード付きターゲットCT1の番号を読込画像記憶部141に登録する(図18のS545)。読込画像記憶部141に登録されたデータは、多数のカラーコード付き標識CTの検出位置座標に基づいて、標定部44で標定に用いられ、または、三次元位置計測部50で測定対象物の三次元座標、三次元形状を測定するのに用いられる。
In the code conversion processing unit 322, the identification code determination unit 46 detects the reference color part P2 and the color code part P3 using either the method (1) or (2) (S660, S670), and the color code. Each color of the part P3 is discriminated, the color is converted into a code, and the identification code of the target CT1 with the color code is obtained (S680, S540 in FIG. 18).
For each image, the number of the color-coded target CT1 included in the image is registered in the read image storage unit 141 (S545 in FIG. 18). The data registered in the read image storage unit 141 is used for the orientation by the orientation unit 44 based on the detection position coordinates of a large number of color-coded markers CT, or the tertiary of the measurement object by the three-dimensional position measurement unit 50. Used to measure original coordinates and 3D shapes.
(画像間の対応付け)
図24に複数の画像で撮影されるカラーコード付きターゲットの例を示す。図24(a)にステレオ画像のオーバーラップの様子を示す。計測される基本範囲は、2枚(一対)のステレオ撮影画像のオーバーラップ範囲である。このとき、4個のカラーコード付きターゲットCTがオーバーラップ範囲に入るように撮影するのが好ましい。このようにするとステレオ画像を用いて三次元測定が可能である。また、図24(b)に隣接し合うステレオ画像間のオーバーラップのさせ方の例を示す。この様に、上下左右方向に2個のカラーコード付きターゲットCTを含んでオーバーラップするように一連の画像を撮影するのが好ましい。このようにすると広域にわたる非接触三次元測定の自動化が可能になる。なお、ブレークラインは画像の有効領域を示すラインであり、4個のカラーコード付きターゲットCTの最も外側にあるレトロターゲットを結ぶライン内が有効領域である。
(Association between images)
FIG. 24 shows an example of a target with a color code photographed with a plurality of images. FIG. 24A shows how the stereo images overlap. The basic range to be measured is an overlap range of two (a pair of) stereo shot images. At this time, it is preferable to perform imaging so that the four color-coded target CTs fall within the overlapping range. In this way, three-dimensional measurement is possible using a stereo image. FIG. 24B shows an example of how to overlap adjacent stereo images. In this way, it is preferable to take a series of images so as to overlap, including two color-coded targets CT in the vertical and horizontal directions. In this way, non-contact three-dimensional measurement over a wide area can be automated. The break line is a line indicating the effective area of the image, and the inside of the line connecting the outermost retro targets of the four color-coded targets CT is the effective area.
図24(c)はステレオマッチングエリア設定を説明するための図である。図24(c)はカラーコード付きターゲットCTが位置検出用の3つのレトロターゲットを有する例である。カラーコード付きターゲットCTを画面の4隅の近くに配置し、常にこれらのカラーコード付きターゲットCTの最も外側にあるレトロターゲットを結ぶ領域をマッチングエリアとすることで、ステレオマッチングエリアが自動的に決められると同時に、各モデル画像間のオーバーラップを確実にすることができる。このように、マッチング領域を決定することで、図24(b)に示すように、各モデル画像間のオーバーラップも確実にとれるようになる。なお、各カラーコード付きターゲットCTに位置検出用パターン(レトロターゲット部)P1を最低2点以上配置(2点の場合は対角に配置)すれば、マッチングエリアの自動設定処理が可能となる。 FIG. 24C is a diagram for explaining stereo matching area setting. FIG. 24C shows an example in which the color-coded target CT has three retro targets for position detection. The stereo matching area is automatically determined by locating the color-coded target CT near the four corners of the screen and always using the area connecting the outermost retro targets of the color-coded target CT as the matching area. At the same time, the overlap between the model images can be ensured. In this way, by determining the matching region, as shown in FIG. 24B, the overlap between the model images can be reliably obtained. If at least two or more position detection patterns (retro target portions) P1 are arranged on each color code target CT (in the case of two points, they are arranged diagonally), matching area automatic setting processing can be performed.
以下にカラーコード付きターゲットの他の例を示す。
(カラーコード付きターゲットCT2)
図25にカラーコード付きターゲットCT2の例を示す。図25はカラーコード部P3が6箇所のカラーコード付きターゲットCT2である。図16におけるカラーコード付きターゲットCT1のカラーコードパターンP3の3つの単位パターンを対角線で分離して、単位パターンを6箇所としているので、カラーコード付きターゲットCTの領域と方向の検出方法は、図16の場合と同様に、各重心点でできた三角形の内側をスキャンした場合の色に変化でレトロターゲットのラベリング処理が可能である。すなわち、R1の周りでは2回の色変化が生じ、R2とR3の周りでは色の変化は生じない。また、カラーコード部P3の読み込み処理は6箇所に増加する。カラーコードに使用する色を6色にするとコード数は、6×5×4×3×2×1=720コードを表現できる。最後のカラーコード部(最後の×1の部分)はコード数に影響は無いが相対比較のため必要であり、更に色コード部を認識した際に誤認識のチェック用としても利用できる。
Other examples of color coded targets are shown below.
(Target CT2 with color code)
FIG. 25 shows an example of the color-coded target CT2. FIG. 25 shows the target CT2 with color code having six color code portions P3. The three unit patterns of the color code pattern P3 of the color-coded target CT1 in FIG. 16 are separated by diagonal lines so that there are six unit patterns. Therefore, the method for detecting the region and direction of the color-coded target CT is shown in FIG. As in the case of, retro target labeling can be performed by changing the color when the inside of a triangle formed by each barycentric point is scanned. That is, two color changes occur around R1, and no color change occurs around R2 and R3. In addition, the reading process of the color code part P3 is increased to six places. If the colors used for the color code are six colors, the number of codes can express 6 × 5 × 4 × 3 × 2 × 1 = 720 codes. The last color code part (the last x1 part) does not affect the number of codes, but is necessary for relative comparison, and can also be used for checking misrecognition when the color code part is recognized.
(カラーコード付きターゲットCT3)
図26にカラーコード付きターゲットCT3の例を示す。図26のカラーコード付きターゲットCT3は、図25のカラーコード付きターゲットCT2の基準色部P2を無くし、レトロターゲット部P1の一つを大きくしたものである。
図26のカラーコード付きターゲットCT3は、R1にあたる部分のレトロターゲットが大きくなっているので、各レトロターゲット部のR1,R2,R3へ対応させるラベリング処理は、レトロターゲットのサイズを検出すればできる。ただし、R1にあたる部分のレトロターゲットが大きくなった分、基準色部P2が無いのでカラーコードの判別は難しくなる。
(Target CT3 with color code)
FIG. 26 shows an example of the color-coded target CT3. The target CT3 with color code in FIG. 26 is obtained by eliminating the reference color portion P2 of the target CT2 with color code in FIG. 25 and enlarging one of the retro target portions P1.
In the color-coded target CT3 in FIG. 26, the retro target corresponding to R1 is large, so that the labeling process corresponding to R1, R2, and R3 of each retro target portion can be performed by detecting the size of the retro target. However, since the reference color portion P2 does not exist because the retro target corresponding to R1 is large, it is difficult to determine the color code.
この場合の対策として、例えば、カラーコードに使用する色を6色にし、同じ色を重複使用しないという制限をもうけると、カラーコード部P3に全てのコード色が現れる。これにより、各カラーコード部P3の色を6色のコード色に対応させるだけで良くなり、しかも、カラーコード部P3相互の色を相対比較により行なう事ができる。コード数は、図25のカラーコード付きターゲットCT2と同様に720コードを表現できる。 As a countermeasure in this case, for example, if the color used for the color code is set to six colors and the same color is not used repeatedly, all code colors appear in the color code portion P3. As a result, the colors of each color code portion P3 need only correspond to the six code colors, and the colors of the color code portions P3 can be compared by relative comparison. The number of codes can represent 720 codes in the same way as the color-coded target CT2 in FIG.
(カラーコード付きターゲットCT4)
図27にカラーコード付きターゲットCT4の例を示す。図27のカラーコード付きターゲットCT4は、図16のカラーコード付きターゲットCT1の外側に黒色の黒領域部P5を追加したパターンである。黒領域部P5により、ターゲット周囲の色や模様の影響を抑制できる。
図27のカラーコード付きターゲットCT4は、図16のカラーコード付きターゲットCT1の外側に黒領域部P5を形成したのみなので処理は図16のカラーコード付きターゲットCT1と変わらない。図16以外のカラーコード付きターゲットにも黒領域部P5の形成が可能である。
(Target CT4 with color code)
FIG. 27 shows an example of the color-coded target CT4. A color-coded target CT4 in FIG. 27 is a pattern in which a black region P5 is added to the outside of the color-coded target CT1 in FIG. The black region P5 can suppress the influence of the color and pattern around the target.
The color-coded target CT4 in FIG. 27 is the same as the color-coded target CT1 in FIG. 16 because the black region P5 is only formed outside the color-coded target CT1 in FIG. The black region P5 can be formed on a target with a color code other than that shown in FIG.
(カラーコード付きターゲットCT5)
図28にカラーコード付きターゲットCT5の例を示す。図28のカラーコード付きターゲットCT5は、カラーコード部P3の単位パターンを小さくし、カラーコード部P3の単位パターンを9箇所にしたものである。
このため、カラーコード付きターゲットCT5の領域と方向の検出の際、R1の周りでは2回の色変化が、R2とR3の周りでは1回の色変化があらわれるので、これにより識別できる。また、白色部P4との位置関係を検出することにより、R1、R2、R3を確認できる。また、カラーコード部P3の読み込み処理は9箇所に増加する。カラーコードに使用する色を9色にするとコード数は、9の階乗=362880コードを表現できる。それ以外は、図16と同様に処理ができる。
(Target CT5 with color code)
FIG. 28 shows an example of the color-coded target CT5. The target CT5 with color code in FIG. 28 is obtained by reducing the unit pattern of the color code part P3 and setting the unit pattern of the color code part P3 to nine places.
For this reason, when detecting the region and direction of the color-coded target CT5, two color changes appear around R1, and one color change appears around R2 and R3. Moreover, R1, R2, and R3 can be confirmed by detecting the positional relationship with the white part P4. In addition, the reading process of the color code part P3 is increased to nine places. If nine colors are used for the color code, the number of codes can be expressed as a factorial of 9 = 362880 code. Otherwise, processing can be performed in the same manner as in FIG.
(カラーコード付きターゲットCT6)
図29にカラーコード付きターゲットCT6の例を示す。図29のカラーコード付きターゲットCT6は、図16のカラーコード付きターゲットCT1の、レトロターゲット部P1のR2、R3の部分と白色部P4に基準色部P2を配置し、カラーコード付きターゲットの領域と方向の検出用としても使用するものである。レトロターゲット部P1はR1の部分一箇所である。図16のカラーコード付きターゲットCT1の基準色部P2の部分にはカラーコードパターンP3を配置でき、カラーコードパターンを一つ増やせる。
基準色部P2を領域と方向の検出用として使用する場合、四角のパターンの重心を求めること、基準色光で明度差を検出することにより、レトロターゲットより精度は劣るが、レトロターゲットと同様に重心点の検出が可能である。
(Target CT6 with color code)
FIG. 29 shows an example of the color-coded target CT6. The color-coded target CT6 in FIG. 29 has the reference color portion P2 arranged in the R2 and R3 portions of the retro target portion P1 and the white portion P4 of the color-coded target CT1 in FIG. It is also used for direction detection. The retro target portion P1 is one portion of R1. A color code pattern P3 can be arranged at the reference color portion P2 of the target CT1 with color code in FIG. 16, and the color code pattern can be increased by one.
When the reference color part P2 is used for detecting the area and direction, the center of gravity of the square pattern is obtained and the brightness difference is detected by the reference color light, but the accuracy is inferior to the retro target. A point can be detected.
(カラーコード付きターゲットCT7)
図30にカラーコード付きターゲットCT7の例を示す。図30のカラーコード付きターゲットCT7は、図16のカラーコード付きターゲットCT1のカラーコード部P3の領域を小さくし、さらに、レトロターゲット部P1のパターンをR1の部分1箇所、カラーコードパターンを4箇所にした、小型タイプである。このカラーコード付きターゲットCT7においても基準色部P2が領域と方向の検出用として使用される。
(Target CT7 with color code)
FIG. 30 shows an example of the color-coded target CT7. The target CT7 with color code in FIG. 30 has a smaller area of the color code portion P3 of the target CT1 with color code in FIG. 16, and further, the pattern of the retro target portion P1 is one portion of R1, and the color code pattern is four locations. It is a small type. Also in this color code-added target CT7, the reference color portion P2 is used for detecting the area and direction.
(カラーコード付きターゲットCT8)
図31にカラーコード付きターゲットCT8の例を示す。図31のカラーコード付きターゲットCT8は、図30のカラーコード付きターゲットCT7の白色部P4をカラーコード部P3に置換してカラーコードパターンを5カ所にした、小型タイプのものである。
(Target CT8 with color code)
FIG. 31 shows an example of the color-coded target CT8. A target CT8 with a color code in FIG. 31 is a small type in which the white portion P4 of the target CT7 with a color code in FIG. 30 is replaced with a color code portion P3 so that there are five color code patterns.
(カラーコード付きターゲットCT9)
図32にカラーコード付きターゲットCT9の例を示す。図32のカラーコード付きターゲットCT9は、図16のカラーコード付きターゲットCT1の単位パターンの間に黒色の分離領域部P6を形成したものである。これにより、領域やカラーの判別時にエラーを減らす事ができる。
(Target CT9 with color code)
FIG. 32 shows an example of the color-coded target CT9. The color-coded target CT9 in FIG. 32 is obtained by forming a black separation region portion P6 between unit patterns of the color-coded target CT1 in FIG. As a result, errors can be reduced when determining areas and colors.
(カラーコード付きターゲットCT10)
図33にカラーコード付きターゲットCT10の例を示す。図33のカラーコード付きターゲットCT10は、図16のカラーコード付きターゲットCT1のレトロターゲットP1の代わりに、テンプレートマッチング検出に対応できるように、テンプレートパターンP7に置換したものである。レトロターゲットと同様に重心点の検出を高精度にできる。
(Target CT10 with color code)
FIG. 33 shows an example of the color-coded target CT10. The color-coded target CT10 in FIG. 33 is obtained by replacing the retro-target P1 of the color-coded target CT1 in FIG. 16 with a template pattern P7 so as to support template matching detection. Like the retro target, the center of gravity can be detected with high accuracy.
(カラーコード付きターゲットCT11)
図34にカラーコード付きターゲットCT11の例を示す。図34のカラーコード付きターゲットCT11は、図16のカラーコード付きターゲットCT1のレトロターゲットP1をカラーレトロターゲットP8としたものである。
カラーコード付きターゲットCT11は、ターゲットの位置抽出の探索方法として、(4)彩色された位置検出用パターンを用いる方法を採用するものである。
(Target CT11 with color code)
FIG. 34 shows an example of the color-coded target CT11. A color-coded target CT11 in FIG. 34 is obtained by replacing the retro target P1 of the color-coded target CT1 in FIG. 16 with a color retro target P8.
The color-coded target CT11 employs (4) a method using a colored position detection pattern as a search method for target position extraction.
(4)カラーコード付きターゲットCTに使用している3隅のレトロターゲットに異なる色を配し、それぞれのレトロターゲットが反射する色を異なるものにする。3隅のレトロターゲットに異なる色を配しているため、1つのカラーコード付きターゲットCTに属する各レトロターゲットを判別しやすい。レトロターゲットグループ化処理において、多数のレトロターゲットを使用する場合にも、異なる色のレトロターゲットで一番距離が近いものを同一グループの候補として選択することにより、処理が簡単になる。 (4) Different colors are arranged on the three corner retro targets used in the color-coded target CT, and the colors reflected by the respective retro targets are made different. Since different colors are arranged on the retro targets at the three corners, it is easy to distinguish each retro target belonging to one color-coded target CT. In the retro target grouping process, even when a large number of retro targets are used, the process can be simplified by selecting the retro targets of different colors that are closest to each other as candidates for the same group.
リファレンスポイントRFとして多数のレトロターゲットを用いる場合には、カラーコード付きターゲットCTのレトロターゲットと単体のレトロターゲットが混在するので、カラーコード付きターゲットCTのレトロターゲットを彩色したカラーレトロターゲットP8とし、単体のレトロターゲットを白色とすれば、判別し易い。
重心位置の検出については、図19での説明を参照されたい。
When a large number of retro targets are used as the reference point RF, the retro target of the color code target CT and the single retro target are mixed. If the retro target is white, it is easy to distinguish.
For the detection of the position of the center of gravity, refer to the description in FIG.
なお、位置検出用標識としてカラーコード付きターゲットCTに代えて単体又は複数のカラーレトロターゲットを使用することも可能である。例えば、単体の場合、配色の種類を増加したり、カラーの配置をランダムにするなどにより、基準点に対する対応点、ステレオ画像ペアを探索し易くなる。
また、複数のカラーレトロターゲットを組み合わせて使用することも可能である。例えば、図35に示すように、3個のカラーレトロターゲットP8をまとめて1つの標識(カラーコード付き標識CT)とし、その配色の組み合わせを変化させることにより、基準点に対する対応点、ステレオ画像ペアを探索し易くなる。
In addition, it is also possible to use a single or a plurality of color retro targets as the position detection mark instead of the color-coded target CT. For example, in the case of a single unit, it becomes easy to search for a corresponding point and a stereo image pair with respect to a reference point by increasing the type of color arrangement or by randomizing the color arrangement.
It is also possible to use a plurality of color retro targets in combination. For example, as shown in FIG. 35, three color retrotargets P8 are combined into one label (label CT with a color code), and by changing the combination of the color schemes, corresponding points with respect to a reference point, stereo image pairs It becomes easy to search.
カラーコード付きターゲットの方向決定では、レトロターゲットでできる三角形の内角の色数の違いで方向を決めていたが、カラーコード付きターゲットの3隅のレトロターゲットに色をもたせ、それぞれのレトロターゲットが反射する色を異なるものにする方法も考えられる。例えば、カラーコード付きターゲットに使用されている左上のレトロターゲットは赤、右上のレトロターゲットは青、左下のレトロターゲットは緑の反射光を戻すものに変更すれば、カラーコード付きターゲットの方向決定をその反射光の色を判断する事により簡単に処理する事ができる。 In determining the direction of the target with the color code, the direction was determined by the difference in the number of colors of the inner corners of the triangle that can be created by the retro target. However, the retro target at the three corners of the color code target is colored, and each retro target reflects. It is also conceivable to use different colors. For example, if the upper left retro target used for the color coded target is red, the upper right retro target is blue, and the lower left retro target returns green reflected light, the direction of the color coded target can be determined. It can be easily processed by judging the color of the reflected light.
以上のカラーコード付きターゲットは、単位パターンが正方形のカラーコード付きターゲットの例を主に説明したが、棒状パターン、円形パターン等他の形状にしても良く、また、バーコード等と色彩を組み合わせてカラーコードとしても良い。 The above-described target with a color code has mainly been described as an example of a target with a color code whose unit pattern is a square. However, other shapes such as a bar-shaped pattern and a circular pattern may be used. It may be a color code.
また、カラーコード付きターゲットCTの貼付に代えて、またはカラーコード付きターゲットCTの貼付と併用して投影装置により撮影対象物にカラーコード付きターゲットCTを投影して使用しても良い。また、カラーコード抽出手段の構成、カラーコード付きターゲットの抽出のフローも適宜変更可能である。 Further, instead of attaching the target CT with color code, or in combination with the application of the target CT with color code, the target CT with color code may be projected onto the object to be imaged by the projection apparatus. Further, the configuration of the color code extracting means and the flow of extracting the target with the color code can be changed as appropriate.
1 全周フィールド
10a、10b、10c、10d マルチカメラ
11 カメラ、基準カメラ
12 カメラ
13 カメラ
11’ カメラ11の光軸
12’ カメラ12の光軸
13’ カメラ13の光軸
14 オーバーラップ領域
15 オーバーラップ領域
20 撮像部
23 画像データ記憶部
41 抽出部
44 標定部
46 識別コード判別部
50 三次元計測部
100 カラーコード抽出手段
110 探索処理部
111 レトロターゲット検出処理部
120 レトロターゲットグループ化処理部
130 カラーコード付きターゲット検出処理部
131 カラーコード付きターゲット領域方向検出処理部
140 画像・カラーパターン記憶部
141 読込画像記憶部
142 カラーコード付きターゲット対応表
150 標識情報記憶部
200 レトロターゲット
204 内部円
206 外部円
311 色彩検出処理部
312 色彩補正部
313 確認処理部
321 座標変換処理部
322 コード変換処理部
CT、CT1〜CT12 カラーコード付きターゲット
L12、L23、L31 辺
P1 位置検出用パターン(レトロターゲット部)
P2 基準色パターン(基準色部)
P3 カラーコードパターン(カラーコード部)
P4 空パターン(白色部)
P5 黒領域部
P6 分離領域部
P7 テンプレートパターン
P8 カラーレトロターゲット
R1〜R3 重心点
To 閾値
T1〜T3 仮のラベル
1 all-round fields 10a, 10b, 10c, 10d Multi-camera 11 Camera, reference camera 12 Camera 13 Camera 11 ′ Optical axis 12 ′ of camera 11 Optical axis 13 ′ of camera 12 Optical axis 14 of camera 13 Overlap region 15 Overlap Area 20 Imaging unit 23 Image data storage unit 41 Extraction unit 44 Orientation unit 46 Identification code determination unit 50 Three-dimensional measurement unit 100 Color code extraction unit 110 Search processing unit 111 Retro target detection processing unit 120 Retro target grouping processing unit 130 Color code Target detection processing unit 131 with color code Target area direction detection processing unit 140 Image / color pattern storage unit 141 Read image storage unit 142 Target table with color code 150 Sign information storage unit 200 Retro target 204 Inner circle 206 Part ¥ 311 color detection processing section 312 color correction portion 313 confirmation processing unit 321 coordinate converting unit 322 code conversion processing section CT, CT1~CT12 color-coded target L12, L23, L31 sides P1 position detection pattern (retro-target section)
P2 standard color pattern (standard color part)
P3 Color code pattern (color code part)
P4 empty pattern (white part)
P5 Black region portion P6 Separation region portion P7 Template pattern P8 Color retro target R1 to R3 Centroid point To Threshold value T1 to T3 Temporary label
Claims (10)
前記マルチカメラの内部パラメータまたは外部パラメータを測定するために撮影される、前記全周フィールド内に配置された、三次元座標が既知の複数のターゲットを備え;
前記基準方向から所定の角度範囲においては、前記ターゲットが第1の密度で配置され、
前記基準方向から所定の角度範囲の範囲外においては、前記ターゲットが前記第1の密度よりも高い第2の密度で配置され、
前記全周フィールドの法線は、少なくとも2方向を有する、
全周フィールド。 An all-around field for photographing with a multi-camera having a reference camera having an optical axis in a reference direction and another camera having an optical axis in a direction different from the reference direction, and calibrating the multi-camera. ,
Comprising a plurality of targets with known three-dimensional coordinates arranged in the perimeter field that are imaged to measure internal or external parameters of the multi-camera;
In a predetermined angle range from the reference direction, the targets are arranged at a first density,
Outside the range of a predetermined angle range from the reference direction, the target is arranged at a second density higher than the first density,
The normal of the perimeter field has at least two directions;
All-around field.
前記第2の密度で配置されたターゲットは、第1の大きさよりも大きな第2の大きさであり、
撮影されたターゲットの大きさが揃うように、前記第1の大きさのターゲットと前記第2の大きさのターゲットは構成されている、
請求項1に記載の全周フィールド。 The targets arranged at the first density are of a first size;
The targets arranged at the second density have a second size larger than the first size,
The target of the first size and the target of the second size are configured so that the sizes of the captured targets are aligned.
The all-around field according to claim 1.
前記第2の密度で配置されたターゲットは、前記オーバーラップ領域に撮影されるように前記ターゲットを配置した、
請求項1または請求項2に記載の全周フィールド。 The reference camera and the other camera are arranged so as to shoot with an overlap region between each other,
The target arranged at the second density is arranged such that the target is photographed in the overlap area,
The all-around field according to claim 1 or claim 2.
前記他のカメラの光軸方向から所定の角度範囲においては、前記ターゲットが第3の密度で配置され、
前記第2の密度は、前記第3の密度よりも高い、
請求項3に記載の全周フィールド。 The predetermined angle range from the optical axis direction of the other camera is an area other than the overlap area,
In a predetermined angle range from the optical axis direction of the other camera, the target is arranged at a third density,
The second density is higher than the third density;
The all-around field according to claim 3.
請求項1乃至請求項4のいずれか1項に記載の全周フィールド。 The predetermined angle range from the reference direction of the reference camera is a range equal to or less than a predetermined distortion amount of a lens included in the camera.
The all-around field according to any one of claims 1 to 4.
請求項1乃至請求項5のいずれか1項に記載の全周フィールド。 The all-around field is configured to surround the multi-camera.
The all-around field according to any one of claims 1 to 5.
前記全周フィールドは、前記マルチカメラの周囲を囲む側面と、前記マルチカメラを覆う上面から構成される、
請求項1乃至請求項5のいずれか1項に記載の全周フィールド。 The reference camera is directed to the zenith direction, and a plurality of other cameras having an optical axis in a direction different from the reference direction is an all-around field photographed by a multi-camera arranged around the reference camera,
The all-around field is composed of a side surface that surrounds the multi-camera and an upper surface that covers the multi-camera.
The all-around field according to any one of claims 1 to 5.
請求項1乃至請求項7のいずれか1項に記載の全周フィールド。 The target is a target with a color code.
The all-around field according to any one of claims 1 to 7.
前記マルチカメラを配置する工程と;
前記基準方向から所定の角度範囲においては、三次元座標が既知のターゲットを第1の密度で配置し、前記基準方向から所定の角度範囲の範囲外においては、三次元座標が既知のターゲットを前記第1の密度よりも高い第2の密度で配置して、前記全周フィールドの法線方向が少なくとも2方向になるように前記全周フィールドを構成する工程と;
前記基準カメラの光軸を、前記第1の密度で配置されたターゲットに向けてセットする工程と;
前記マルチカメラの内部パラメータまたは外部パラメータを測定するために、複数の前記ターゲットを前記マルチカメラで撮影する工程とを備える;
全周フィールドの撮影方法。 An imaging method for a calibration all-around field, which is taken by a multi-camera having a reference camera having an optical axis in a reference direction and another camera having an optical axis in a direction different from the reference direction,
Arranging the multi-camera;
In a predetermined angle range from the reference direction, targets having known three-dimensional coordinates are arranged at a first density, and outside the predetermined angle range from the reference direction, targets having known three-dimensional coordinates are Arranging at a second density higher than the first density and configuring the circumferential field such that the normal direction of the circumferential field is at least two directions;
Setting the optical axis of the reference camera toward a target arranged at the first density;
Imaging a plurality of the targets with the multi-camera to measure internal parameters or external parameters of the multi-camera;
How to shoot all around field.
請求項9に記載の全周フィールドの撮影方法。 The step of configuring the all-round field is such that the reference camera and the other camera are photographed by providing an overlap region with each other, and the target disposed at the second density in the overlap region Configure the perimeter field so that is photographed;
The method for photographing an all-around field according to claim 9.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011055627A JP5707185B2 (en) | 2011-03-14 | 2011-03-14 | All-around field for multi-camera calibration |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011055627A JP5707185B2 (en) | 2011-03-14 | 2011-03-14 | All-around field for multi-camera calibration |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2012189551A true JP2012189551A (en) | 2012-10-04 |
JP2012189551A5 JP2012189551A5 (en) | 2014-04-24 |
JP5707185B2 JP5707185B2 (en) | 2015-04-22 |
Family
ID=47082871
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011055627A Active JP5707185B2 (en) | 2011-03-14 | 2011-03-14 | All-around field for multi-camera calibration |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5707185B2 (en) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105867064A (en) * | 2016-04-29 | 2016-08-17 | 深圳六滴科技有限公司 | Lens arrangement mode of panoramic imaging system, panoramic camera and projector |
US9741091B2 (en) | 2014-05-16 | 2017-08-22 | Unimoto Incorporated | All-around moving image distribution system, all-around moving image distribution method, image processing apparatus, communication terminal apparatus, and control methods and control programs of image processing apparatus and communication terminal apparatus |
CN109001956A (en) * | 2017-06-06 | 2018-12-14 | 宝山钢铁股份有限公司 | Full view endoscopic high-temperature camera |
CN110249277A (en) * | 2016-12-07 | 2019-09-17 | Abb瑞士股份有限公司 | Submersible inspection carrier with homing capability and mapping ability |
KR20200002022A (en) * | 2016-11-24 | 2020-01-07 | 선전 피소프트웨어 테크놀로지 컴퍼니 리미티드 | Panorama camera mass production method and system |
KR20200117893A (en) | 2019-04-05 | 2020-10-14 | 연세대학교 산학협력단 | Novel Contrast Agents Comprising a Metabolite as an Active Ingredient |
WO2020235110A1 (en) * | 2019-05-23 | 2020-11-26 | 株式会社ソニー・インタラクティブエンタテインメント | Calibration device, chart for calibration, and calibration method |
JP2021099221A (en) * | 2019-12-20 | 2021-07-01 | 大同特殊鋼株式会社 | Calibration device for three-dimensional shape measurement |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112257537B (en) * | 2020-10-15 | 2022-02-15 | 天目爱视(北京)科技有限公司 | Intelligent multi-point three-dimensional information acquisition equipment |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09161068A (en) * | 1995-12-12 | 1997-06-20 | Furukawa Electric Co Ltd:The | Picture photographing method and picture edition device using the method |
JP2003123064A (en) * | 2001-08-07 | 2003-04-25 | Toyota Central Res & Dev Lab Inc | Image converter and image pickup and/or display device in which the same is incorporated |
JP2004213332A (en) * | 2002-12-27 | 2004-07-29 | Olympus Corp | Calibration device, calibration method, program for calibration, and calibration mending tool |
JP2005012619A (en) * | 2003-06-20 | 2005-01-13 | Mitsubishi Electric Corp | Device for forming panoramic image |
JP2008304224A (en) * | 2007-06-05 | 2008-12-18 | Topcon Corp | Target and method of manufacturing the same |
JP2009100342A (en) * | 2007-10-18 | 2009-05-07 | Sanyo Electric Co Ltd | Camera calibration device, method and vehicle |
JP2010028820A (en) * | 2008-07-23 | 2010-02-04 | Pixart Imaging Inc | Wide-angle sensor array module, and image calibration method therefor, and operation method and application |
-
2011
- 2011-03-14 JP JP2011055627A patent/JP5707185B2/en active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09161068A (en) * | 1995-12-12 | 1997-06-20 | Furukawa Electric Co Ltd:The | Picture photographing method and picture edition device using the method |
JP2003123064A (en) * | 2001-08-07 | 2003-04-25 | Toyota Central Res & Dev Lab Inc | Image converter and image pickup and/or display device in which the same is incorporated |
JP2004213332A (en) * | 2002-12-27 | 2004-07-29 | Olympus Corp | Calibration device, calibration method, program for calibration, and calibration mending tool |
JP2005012619A (en) * | 2003-06-20 | 2005-01-13 | Mitsubishi Electric Corp | Device for forming panoramic image |
JP2008304224A (en) * | 2007-06-05 | 2008-12-18 | Topcon Corp | Target and method of manufacturing the same |
JP2009100342A (en) * | 2007-10-18 | 2009-05-07 | Sanyo Electric Co Ltd | Camera calibration device, method and vehicle |
JP2010028820A (en) * | 2008-07-23 | 2010-02-04 | Pixart Imaging Inc | Wide-angle sensor array module, and image calibration method therefor, and operation method and application |
Cited By (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9741091B2 (en) | 2014-05-16 | 2017-08-22 | Unimoto Incorporated | All-around moving image distribution system, all-around moving image distribution method, image processing apparatus, communication terminal apparatus, and control methods and control programs of image processing apparatus and communication terminal apparatus |
CN105867064A (en) * | 2016-04-29 | 2016-08-17 | 深圳六滴科技有限公司 | Lens arrangement mode of panoramic imaging system, panoramic camera and projector |
KR102247368B1 (en) * | 2016-11-24 | 2021-04-30 | 선전 피소프트웨어 테크놀로지 컴퍼니 리미티드 | Panoramic camera mass production method and system |
KR20200002022A (en) * | 2016-11-24 | 2020-01-07 | 선전 피소프트웨어 테크놀로지 컴퍼니 리미티드 | Panorama camera mass production method and system |
JP2020513226A (en) * | 2016-11-24 | 2020-05-07 | 深▲セン▼市▲圓▼周率▲軟▼件科技有限▲責▼任公司 | Mass production method and system for panoramic camera |
JP2020515927A (en) * | 2016-12-07 | 2020-05-28 | アーベーベー・シュバイツ・アーゲー | Immersion inspection vehicle with navigation and mapping capabilities |
CN110249277A (en) * | 2016-12-07 | 2019-09-17 | Abb瑞士股份有限公司 | Submersible inspection carrier with homing capability and mapping ability |
US11526163B2 (en) | 2016-12-07 | 2022-12-13 | Hitachi Energy Switzerland Ag | Submersible inspection vehicle with navigation and mapping capabilities |
CN110249277B (en) * | 2016-12-07 | 2022-05-27 | 日立能源瑞士股份公司 | Device and method for inspection |
CN109001956A (en) * | 2017-06-06 | 2018-12-14 | 宝山钢铁股份有限公司 | Full view endoscopic high-temperature camera |
KR20200117893A (en) | 2019-04-05 | 2020-10-14 | 연세대학교 산학협력단 | Novel Contrast Agents Comprising a Metabolite as an Active Ingredient |
CN113841384A (en) * | 2019-05-23 | 2021-12-24 | 索尼互动娱乐股份有限公司 | Calibration device, chart for calibration and calibration method |
US20220148225A1 (en) * | 2019-05-23 | 2022-05-12 | Sony Interactive Entertainment Inc. | Calibration apparatus, chart for calibration, and calibration method |
JPWO2020235110A1 (en) * | 2019-05-23 | 2020-11-26 | ||
WO2020235110A1 (en) * | 2019-05-23 | 2020-11-26 | 株式会社ソニー・インタラクティブエンタテインメント | Calibration device, chart for calibration, and calibration method |
JP7218435B2 (en) | 2019-05-23 | 2023-02-06 | 株式会社ソニー・インタラクティブエンタテインメント | CALIBRATION DEVICE, CALIBRATION CHART AND CALIBRATION METHOD |
CN113841384B (en) * | 2019-05-23 | 2023-07-25 | 索尼互动娱乐股份有限公司 | Calibration device, chart for calibration and calibration method |
US11881001B2 (en) * | 2019-05-23 | 2024-01-23 | Sony Interactive Entertainment Inc. | Calibration apparatus, chart for calibration, and calibration method |
JP2021099221A (en) * | 2019-12-20 | 2021-07-01 | 大同特殊鋼株式会社 | Calibration device for three-dimensional shape measurement |
JP7363456B2 (en) | 2019-12-20 | 2023-10-18 | 大同特殊鋼株式会社 | Calibration device for three-dimensional shape measurement |
Also Published As
Publication number | Publication date |
---|---|
JP5707185B2 (en) | 2015-04-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5707185B2 (en) | All-around field for multi-camera calibration | |
JP5002144B2 (en) | Projection apparatus and system for three-dimensional measurement | |
CN1912537B (en) | Three-dimensional measurement system and method of the same | |
JP4909543B2 (en) | Three-dimensional measurement system and method | |
JP5207719B2 (en) | Label with color code, color code extraction means, and three-dimensional measurement system | |
JP4307934B2 (en) | Imaging apparatus and method with image correction function, and imaging apparatus and method | |
US6917702B2 (en) | Calibration of multiple cameras for a turntable-based 3D scanner | |
US7398928B2 (en) | Coded target and photogrammetry method using such targets | |
JP4848166B2 (en) | Projection apparatus and system for three-dimensional measurement | |
JP4739004B2 (en) | Information processing apparatus and information processing method | |
JP4224260B2 (en) | Calibration apparatus, method, result diagnosis apparatus, and calibration chart | |
JP5421624B2 (en) | 3D measurement image capturing device | |
JP4828195B2 (en) | Color-coded sign | |
WO2015019526A1 (en) | Image processing device and markers | |
JP5695821B2 (en) | Color code target, color code discrimination device, and color code discrimination method | |
JP2010219825A (en) | Photographing device for three-dimensional measurement | |
CN115830103A (en) | Monocular color-based transparent object positioning method and device and storage medium | |
EP1484576A2 (en) | Apparatus and method for calibrating zoom lens | |
JP5771423B2 (en) | Image color correction apparatus and image color correction method | |
JP5350943B2 (en) | Color code target, color code discrimination device, and color code discrimination method | |
JP4166988B2 (en) | Stereo image processing apparatus and method | |
US20190340771A1 (en) | Method for detecting motion in a video sequence | |
JP5753406B2 (en) | Color-coded signs and calibration boxes | |
JP3677586B2 (en) | Method and apparatus for detecting reference position of annular image by omnidirectional imaging | |
KR101026628B1 (en) | Three-dimensional measurement system and method of the same, and color-coded mark |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140312 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140312 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20141106 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20141111 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150108 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150203 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150302 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5707185 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |