JP2011158386A - Non-contact three-dimensional measuring apparatus and method - Google Patents
Non-contact three-dimensional measuring apparatus and method Download PDFInfo
- Publication number
- JP2011158386A JP2011158386A JP2010021318A JP2010021318A JP2011158386A JP 2011158386 A JP2011158386 A JP 2011158386A JP 2010021318 A JP2010021318 A JP 2010021318A JP 2010021318 A JP2010021318 A JP 2010021318A JP 2011158386 A JP2011158386 A JP 2011158386A
- Authority
- JP
- Japan
- Prior art keywords
- image
- line
- line laser
- camera
- measured
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title abstract description 22
- 238000005259 measurement Methods 0.000 claims abstract description 73
- 230000001678 irradiating effect Effects 0.000 claims abstract description 13
- 238000012545 processing Methods 0.000 claims abstract description 13
- 238000000691 measurement method Methods 0.000 claims description 36
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000012986 modification Methods 0.000 description 7
- 230000004048 modification Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000012937 correction Methods 0.000 description 5
- 238000000605 extraction Methods 0.000 description 2
- 101100444142 Neurospora crassa (strain ATCC 24698 / 74-OR23-1A / CBS 708.71 / DSM 1257 / FGSC 987) dut-1 gene Proteins 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Abstract
Description
本発明は、被計測物の形状を非接触で計測する非接触三次元計測装置及び非接触三次元計測方法に関する。 The present invention relates to a non-contact three-dimensional measurement apparatus and a non-contact three-dimensional measurement method for measuring the shape of an object to be measured in a non-contact manner.
被計測物を計測する三次元計測の方法には、パッシブ法(受動型計測法)とアクティブ法(能動型計測法)とがある。パッシブ法としては、対象となる物体に対して、計測の補助となる特定の光や電波等を照射することなく計測を行う方法である。パッシブ法には、例えば写真計測法がある。アクティブ法は、三次元計測を行うために光、電波、音波などを対象となる物体に照射して、得られる情報を利用して計測を行う方法である。アクティブ法には、例えば光切断法がある。 There are a passive method (passive measurement method) and an active method (active measurement method) as three-dimensional measurement methods for measuring an object to be measured. The passive method is a method in which measurement is performed without irradiating a target object with specific light, radio waves, or the like that assist measurement. The passive method includes, for example, a photo measurement method. The active method is a method of performing measurement using information obtained by irradiating light, radio waves, sound waves, or the like on a target object in order to perform three-dimensional measurement. The active method includes, for example, a light cutting method.
パッシブ法の一つである写真計測は、撮影された2枚以上の画像より外部標定(2台のカメラの位置関係を求めること)を行い、画像間の特徴点に対し、同一場所を対応付けることで三次元点を求めていた(例えば、特許文献1参照。)。このため、写真に写るサイズであれば、被計測物の大きさは自由であり、大きな物から、小さな物まで計測することができる。 Photo measurement, which is one of the passive methods, performs external orientation (determining the positional relationship between two cameras) from two or more captured images, and associates the same location with the feature points between the images. The three-dimensional point was calculated | required by (For example, refer patent document 1). For this reason, the size of the object to be measured is arbitrary as long as it can be seen in the photograph, and it is possible to measure a large object to a small object.
写真測量において、2台のカメラでそれぞれ撮影された2枚の写真内の対応付けは、2枚の写真内に共通して写っており、同一箇所と認定できる特徴点を利用して行われる。そのため、被計測物の表面上に同一箇所と認定できる何らかの特徴点がなければ、2枚の写真内の対応付けは困難であった。たとえば、プラスチック成型品の表面は滑らかで特徴がないため、写真測量による特徴点の対応付けを利用する三次元計測はできなかった。 In photogrammetry, the association between two photographs taken by two cameras is shown in common in the two photographs, and is performed using feature points that can be identified as the same location. For this reason, if there is no feature point that can be recognized as the same location on the surface of the object to be measured, it is difficult to associate the two photographs. For example, since the surface of a plastic molded product is smooth and has no features, three-dimensional measurement using feature point correspondence by photogrammetry has not been possible.
上述のように、パッシブ法である写真計測では、滑らかな表面等の何ら特徴のない形状は計測することは困難であった。また、アクティブ法である光切断法は、被計測物のサイズが装置によって限定されてしまうという欠点を持っている As described above, it is difficult to measure a shape having no features such as a smooth surface in the photo measurement which is a passive method. In addition, the light cutting method, which is an active method, has the disadvantage that the size of the object to be measured is limited by the apparatus.
本発明の目的は、表面に何ら特徴のない物体についても高速に非接触で三次元形状計測を可能にする非接触三次元計測装置及び非接触三次元計測方法を提供することである。 An object of the present invention is to provide a non-contact three-dimensional measurement apparatus and a non-contact three-dimensional measurement method that enable non-contact three-dimensional shape measurement of an object having no features on the surface at high speed.
本発明に係る非接触三次元計測装置は、互いに距離をおいて配置され、被計測物を撮影する第1のカメラ及び第2のカメラと、
前記被計測物にラインレーザを照射するラインレーザと、
前記第1のカメラ及び前記第2のカメラについて、互いの距離を計測するための外部標定を行う標定部と、
前記ラインレーザが照射された被計測物を前記第1のカメラで撮影した第1の画像と、前記第2のカメラで撮影した第2の画像とを画像処理する画像処理部と、
を備え、
前記画像処理部は、
前記第1の画像上の前記ラインレーザが照射された第1線分データの中の一つの点を特徴点として選択し、
前記第1の画像上で選択した前記特徴点に対応するエピポーラ線を前記第2の画像上に表示して、
前記第2の画像上において、前記ラインレーザが照射された第2線分データと前記エピポーラ線との交点を、前記第1の画像上で選択した前記特徴点と対応する対応点として決定し、
前記第1の画像における前記特徴点と、前記第2の画像における前記対応点とを用いて、前記特徴点及び前記対応点に該当する前記被計測物上の該当点の三次元座標を算出する。
A non-contact three-dimensional measurement apparatus according to the present invention is arranged at a distance from each other, and a first camera and a second camera that shoot a measurement object,
A line laser for irradiating the object to be measured with a line laser;
For the first camera and the second camera, an orientation unit that performs external orientation for measuring a mutual distance;
An image processing unit that performs image processing on a first image obtained by photographing the object to be measured irradiated with the line laser with the first camera, and a second image photographed by the second camera;
With
The image processing unit
One point in the first line segment data irradiated with the line laser on the first image is selected as a feature point,
An epipolar line corresponding to the feature point selected on the first image is displayed on the second image;
On the second image, an intersection of the second line segment data irradiated with the line laser and the epipolar line is determined as a corresponding point corresponding to the feature point selected on the first image,
Using the feature points in the first image and the corresponding points in the second image, three-dimensional coordinates of the feature points and corresponding points on the measurement object corresponding to the corresponding points are calculated. .
また、前記ラインレーザは、前記被計測物の全体にわたってラインレーザを走査できるものであってもよい。 The line laser may be capable of scanning the line laser over the entire object to be measured.
さらに、前記ラインレーザは、照射方向の所定の軸について回転してラインレーザを前記被照射できるものであってもよい。 Further, the line laser may be capable of being irradiated with the line laser by rotating about a predetermined axis in the irradiation direction.
本発明に係る非接触三次元計測方法は、
(a)互いに距離をおいて配置され、被計測物を撮影する第1のカメラ及び第2のカメラについて、互いの距離を計測するための外部標定を行う外部標定ステップと、
(b)前記被計測物にラインレーザを照射するラインレーザ照射ステップと、
(c)前記ラインレーザが照射された被計測物を前記第1のカメラ及び前記第2のカメラでそれぞれ撮影して、前記第1のカメラによる第1の画像と、前記第2のカメラによる第2の画像とを得る画像撮影ステップと、
(d)前記第1の画像において、前記ラインレーザが照射された部分を第1線分データとして抽出する第1線分データ抽出ステップと、
(e)前記第2の画像において、前記ラインレーザが照射された部分を第2線分データとして抽出する第2線分データ抽出ステップと、
(f)前記第1の画像から抽出された前記第1線分データの中の一つの点を特徴点として選択する特徴点選択ステップと、
(g)前記第1のカメラのレンズ中心から前記特徴点を通って延びるエピポーラ線を前記第2の画像上に表示するエピポーラ線表示ステップと、
(h)前記第2の画像から抽出された前記第2線分データと前記エピポーラ線との交点を、前記第1の画像上で選択した前記特徴点と対応する対応点として決定する対応点決定ステップと、
(i)前記第1の画像における前記特徴点と、前記第2の画像における前記対応点とを用いて、前記特徴点及び前記対応点に該当する前記被計測物上の該当点の三次元座標を算出する三次元座標算出ステップと、
を含む。
Non-contact three-dimensional measurement method according to the present invention,
(A) an external orientation step for performing external orientation for measuring the mutual distance of the first camera and the second camera that are arranged at a distance from each other and photograph the object to be measured;
(B) a line laser irradiation step of irradiating the object to be measured with a line laser;
(C) The object to be measured irradiated with the line laser is photographed by the first camera and the second camera, respectively, and the first image by the first camera and the second image by the second camera are taken. An image capturing step for obtaining two images;
(D) a first line segment data extracting step of extracting a portion irradiated with the line laser as first line segment data in the first image;
(E) a second line segment data extracting step of extracting a portion irradiated with the line laser as second line segment data in the second image;
(F) a feature point selection step of selecting one point in the first line segment data extracted from the first image as a feature point;
(G) an epipolar line display step of displaying an epipolar line extending from the lens center of the first camera through the feature point on the second image;
(H) Corresponding point determination for determining an intersection between the second line segment data extracted from the second image and the epipolar line as a corresponding point corresponding to the feature point selected on the first image. Steps,
(I) Using the feature points in the first image and the corresponding points in the second image, three-dimensional coordinates of the corresponding points on the measurement object corresponding to the feature points and the corresponding points A three-dimensional coordinate calculation step for calculating
including.
さらに、(j)前記第1画像から抽出された前記第1線分上の点すべてに対して、前記ステップ(f)〜前記ステップ(i)を繰り返して、前記ラインレーザに照射されたライン部分に対して三次元座標を算出する三次元座標算出ステップを含んでもよい。 Further, (j) the line portion irradiated with the line laser by repeating the steps (f) to (i) for all points on the first line segment extracted from the first image. May include a three-dimensional coordinate calculating step for calculating three-dimensional coordinates.
また、前記ラインレーザ照射ステップ(b)において、前記ラインレーザを前記被計測物にわたって走査するラインレーザ走査ステップをさらに含み、前記ラインレーザを照射するごとに、前記ステップ(c)〜前記ステップ(j)を繰り返して、前記被計測物の全体を走査してもよい。 The line laser irradiation step (b) further includes a line laser scanning step of scanning the line laser over the object to be measured, and each time the line laser is irradiated, the steps (c) to (j) ) May be repeated to scan the entire object to be measured.
さらに、前記ラインレーザ照射ステップ(b)において、前記ラインレーザを照射方向の所定の軸について回転させて前記被計測物に照射するラインレーザ走査ステップをさらに含み、前記ラインレーザを回転させて前記被計測物に照射するごとに、前記ステップ(c)〜前記ステップ(j)を繰り返してもよい。 The line laser irradiation step (b) further includes a line laser scanning step of irradiating the object to be measured by rotating the line laser about a predetermined axis in an irradiation direction, and rotating the line laser to rotate the object to be measured. Each time the measurement object is irradiated, the step (c) to the step (j) may be repeated.
またさらに、前記対応点決定ステップ(i)において、前記エピポーラ線と前記第2線分データとの交点が2つ以上存在する場合、前記ラインレーザを前記第1の画像上の前記特徴点に該当する前記被計測物上の該当点への照射方向の軸について回転させて照射して、前記第2の画像上で前記エピポーラ線と前記第2線分データとの単一の交点を前記特徴点と対応する対応点として決定してもよい。 Still further, in the corresponding point determining step (i), when there are two or more intersections between the epipolar line and the second line segment data, the line laser corresponds to the feature point on the first image. Irradiating by rotating about the axis of the irradiation direction to the corresponding point on the object to be measured, and setting the single intersection point of the epipolar line and the second line segment data on the second image as the feature point It may be determined as a corresponding point.
本発明に係る非接触三次元計測装置及び非接触三次元計測方法によれば、被計測物にラインレーザを照射することで、被計測物が凹凸を有する形状であってもラインがぼけることがない。 According to the non-contact three-dimensional measurement apparatus and the non-contact three-dimensional measurement method according to the present invention, by irradiating the measurement object with a line laser, the line can be blurred even if the measurement object has an uneven shape. Absent.
また、この非接触三次元計測装置及び非接触三次元計測方法では、ラインレーザが照射された被計測物を2つのカメラで撮影した2枚の画像のうち一方の画像上でラインレーザが照射された部分である第1線分データの一つの点を特徴点として選択している。この場合に、もう一つの画像上でエピポーラ線を表示して、ラインレーザが照射された部分である第2線分データとの交点を上記特徴点と対応する対応点として特定することができる。これまで被計測物上に照射したパターンとの相関関係で対応点を特定していた場合に比べて曖昧さを含むことなく対応点を明確に決めることができ、三次元計測の精度を向上させることができる。 In the non-contact three-dimensional measurement apparatus and the non-contact three-dimensional measurement method, the line laser is irradiated on one of the two images obtained by photographing the measurement object irradiated with the line laser with two cameras. One point of the first line segment data that is the selected portion is selected as the feature point. In this case, an epipolar line is displayed on another image, and an intersection with the second line segment data that is a portion irradiated with the line laser can be specified as a corresponding point corresponding to the feature point. Compared to the case where the corresponding point has been specified by the correlation with the pattern irradiated on the measurement object, the corresponding point can be clearly determined without including ambiguity, and the accuracy of the three-dimensional measurement is improved. be able to.
本発明に係る非接触三次元計測装置及び計測方法について、添付図面を用いて以下に説明する。なお、図面において実質的に同一の部材については同一の符号を付している。 A non-contact three-dimensional measuring apparatus and measuring method according to the present invention will be described below with reference to the accompanying drawings. In the drawings, substantially the same members are denoted by the same reference numerals.
(実施の形態1)
図1は、実施の形態1に係る非接触三次元計測装置10の構成を示す概略図である。
この非接触三次元計測装置10は、距離を置いて設置された2台のカメラ2a、2bと、被計測物1にラインレーザを照射するラインレーザ4と、2台のカメラ2a、2bの位置関係を含む外部標定を行う標定部6と、ラインレーザが照射された被計測物1を第1のカメラ2aで撮影した第1の画像20と、第2のカメラ2bで撮影した第2の画像30とを画像処理する画像処理部8と、を含む。それぞれのカメラ2a、2bは、レンズ中心や焦点距離、歪補正係数などの内部標定(内部パラメータ)が予め算出されていることが望ましい。さらに、撮影された画像は、内部評定データを利用して歪補正された画像が望ましいが、必須ではない。また、ラインレーザ4は、被計測物1の表面全体にわたって走査できる。また、標定部6は、第1のカメラ2a及び第2のカメラ2bについて、互いの位置関係に関する外部標定を行う。画像処理部8は、第1の画像20上のラインレーザが照射された第1線分データ22の中の一つの点を特徴点24として選択し、その特徴点24に該当するエピポーラ線33を第2の画像30上に表示して、第2の画像30上において、ラインレーザが照射された第2線分データ32とエピポーラ線33との交点を、第1の画像20上で選択した特徴点24と対応する対応点34として決定し、第1の画像20における特徴点24と、第2の画像30における対応点34とを用いて、特徴点及び対応点に該当する被計測物1上の該当点14の三次元座標を算出する。
(Embodiment 1)
FIG. 1 is a schematic diagram illustrating a configuration of a non-contact three-
This non-contact three-
図8は、実施の形態1に係る非接触三次元計測装置10の特徴を説明する概念図である。なお、図8は、図2の非接触三次元計測装置10の構成のうち、写真測量に関係する位置関係を詳細に示したものである。
<2つのカメラ及び画像について>
2つのカメラ(第1のカメラ2a、第2のカメラ2b)のそれぞれのレンズ中心を点A及び点Bとして表している。
第1のカメラ2aによる第1の画像20において、被計測物1に照射されたラインレーザの部分である第1線分データ22と、選択された一つの特徴点24を示している。第1のカメラ2aのレンズ中心、焦点距離、歪補正係数等は内部標定によって得られる。
また、第2のカメラによる第2の画像30において、被計測物1に照射されたラインレーザの部分である第2線分データ32と、第1線分データから選択された特徴点24に対応するエピポーラ線33と、両者の交点である対応点34と、を示している。第2のカメラ2bのレンズ中心、焦点距離、歪補正係数等は内部標定によって得られる。
<被計測物について>
また、被計測物1に照射されたラインレーザの部分12と、特徴点24及び対応点34とに該当する被計測物1上の該当点14を示している。この該当点14は点Cとしても示している。
FIG. 8 is a conceptual diagram illustrating features of the non-contact three-
<About two cameras and images>
The lens centers of the two cameras (first camera 2a and
In the
Further, in the
<About the object to be measured>
In addition, a
<写真測量について>
a)第1のカメラ2aのレンズ中心Aと、第2のカメラ2bのレンズ中心Bとの間の位置関係及び、各カメラの方向は外部標定によって求められる。
b)また、第1のカメラ2a及び第2のカメラ2bのレンズ中心、焦点距離、歪補正係数等は内部標定を利用することによって求められる。
c)次に、被計測物1上の該当点14の点Cは、第1のカメラ2aのレンズ中心Aから第1の画像20上の特徴点24に向かって延長したライン上に存在すると共に、第2のカメラ2bのレンズ中心Bから第2の画像30上の対応点34に向かって延長したライン上に存在する。そのため、写真測量の原理によって、これらの交点として点Cが得られる。
以上によって、被計測物1上の該当点14(C)を三次元計測することができる。
<About photogrammetry>
a) The positional relationship between the lens center A of the first camera 2a and the lens center B of the
b) In addition, the lens centers, focal lengths, distortion correction coefficients, and the like of the first camera 2a and the
c) Next, the point C of the
As described above, the corresponding point 14 (C) on the object to be measured 1 can be three-dimensionally measured.
本発明の実施の形態1に係る非接触三次元計測装置10によれば、被計測物1にラインレーザを照射することで、被計測物1が凹凸を有する形状であってもラインがぼけることがない。このため、対応点の抽出精度が高くなり、必然的に三次元計測点の精度も高まる。
According to the non-contact three-
また、この非接触三次元計測装置10では、ラインレーザが照射された被計測物を2つのカメラ2a、2bで撮影した2枚の画像のうち一方の画像20上でラインレーザが照射された部分である第1線分データ22の一つの点を特徴点24として選択している。この場合に、もう一つの画像30上でエピポーラ線33を表示して、ラインレーザが照射された部分である第2線分データ32との交点を上記特徴点24と対応する対応点34として特定することができる。これまで被計測物1上に照射したパターンとの相関関係で対応点を特定していた場合に比べて曖昧さを含むことなく対応点を明確に決めることができ、三次元計測の精度を向上させることができる。
Moreover, in this non-contact three-
図7は、本発明の非接触三次元計測方法のフローチャートである。この非接触三次元計測方法は、以下のようにして実行される。
(a)被計測物1が写る範囲に、被計測物1を撮影する2台のカメラ(第1のカメラ2a及び第2のカメラ2b)を、互いに距離をおいて配置する(図1)。それぞれのカメラ2a、2bは、レンズ中心、焦点距離、歪補正係数などの内部標定(内部パラメータ)が予め算出されていることが望ましい。なお、カメラの内部標定が行われていない場合には例えば、非特許文献1に挙げられる算出方法によって求めることができる。
(b)第1のカメラ2a及び第2のカメラ2bについて、互いの位置関係に関する外部標定を行う(S01)。
この外部標定によって、複数のカメラの位置関係を知ることができる。例えば、非特許文献1に挙げられる方法として、被計測物1の周りのあらかじめ知られた対応点を8点以上抽出することによって外部標定を実施することができる。
FIG. 7 is a flowchart of the non-contact three-dimensional measurement method of the present invention. This non-contact three-dimensional measurement method is executed as follows.
(A) Two cameras (a first camera 2a and a
(B) About the 1st camera 2a and the
With this external orientation, the positional relationship between a plurality of cameras can be known. For example, as a method described in
(c)被計測物1にラインレーザ4からラインレーザを照射する(S02)(図2)。ラインレーザを用いることによって、非計測物1が凹凸の大きい形状であっても照射されるラインがぼけることがない。
(d)ラインレーザが照射された被計測物1を第1のカメラ2a及び第2のカメラ2bでそれぞれ撮影して、第1のカメラ2aによる第1の画像(図3)と、第2のカメラ2bによる第2の画像(図4)とを得る(S03)。
(e)第1の画像20において、ラインレーザが照射された部分を第1線分データ22として抽出する(S04)(図3)。
(f)第2の画像30において、前記ラインレーザが照射された部分を第2線分データ32として抽出する(S05)(図4)。
(C) The
(D) The
(E) In the
(F) In the
(g)第1の画像20から抽出された第1線分データ22の中の一つの点を特徴点24として選択する(S06)(図5)。なお、特徴点24を、第1線分データ22の全体にわたって順に選択して、特徴点24を選択するごとに、後の(h)から(j)を繰り返すことによって、第1線分22の全体について三次元計測を行うことができる。
(h)特徴点24に対応するエピポーラ線33を第2の画像上に表示する(S07)(図6)。なお、エピポーラ線とは、第1のカメラ2aのレンズ中心と、第1の画像20上の特徴点24に該当する被計測物1上の点とを結ぶ仮想的な線が第2のカメラに投影された線分である。第2の画像30上でエピポーラ線33がどのように表示されるかは、第1のカメラ2a及び第2のカメラ2bの内部標定と、第1のカメラ2a及び第2のカメラ2bの外部標定とによって決定できる。第2の画像30上で表示されるエピポーラ線33上のどこかに特徴点24と対応する対応点が存在する。
(i)第2の画像30から抽出された第2線分データ32とエピポーラ線33との交点を第1の画像20上で選択した特徴点24と対応する対応点34として決定する(S08)(図6)。
(j)第1の画像20における特徴点24と、第2の画像30における対応点34とを用いて、特徴点及び対応点に該当する被計測物1上の該当点14の三次元座標を算出する(S09)。
(k)第1画像から抽出された第1線分上の点すべてに対して、上記ステップ(g)〜ステップ(j)を繰り返して、被計測物のラインレーザが照射されたライン部分に対して三次元座標を算出する(S10)。
以上の各ステップによって、特徴点及び対応点に該当する被計測物1の該当点14の三次元座標を得ることができる。
(G) One point in the first
(H) The epipolar line 33 corresponding to the
(I) The intersection of the second line segment data 32 extracted from the
(J) Using the
(K) Steps (g) to (j) are repeated for all points on the first line segment extracted from the first image, and the line portion irradiated with the line laser of the object to be measured is applied. The three-dimensional coordinates are calculated (S10).
Through the above steps, the three-dimensional coordinates of the
本発明の実施の形態1に係る非接触三次元計測方法によれば、被計測物1にラインレーザを照射することで、被計測物1が凹凸を有する形状であってもラインはぼけることがない。このため、対応点の抽出精度が高くなり、必然的に三次元計測点の精度も高まる。
According to the non-contact three-dimensional measurement method according to
また、この被接触三次元計測方法では、ラインレーザが照射された被計測物を2つのカメラ2a、2bで撮影した2枚の画像のうち一方の画像20上でラインレーザが照射された部分である第1線分データ22の一つの点を特徴点24として選択している。この場合に、もう一つの画像30上でエピポーラ線33を表示して、ラインレーザが照射された部分である第2線分データ32との交点を上記特徴点24と対応する対応点34として特定することができる。このように、これまで被計測物1上に照射したパターンとの相関関係で対応点を特定していた場合に比べて曖昧さを含むことなく対応点を明確に決めることができ、三次元計測の精度を向上させることができる。
Further, in this contacted three-dimensional measurement method, in the portion irradiated with the line laser on one
(変形例)
図9は、実施の形態1の変形例に係る非接触三次元計測方法のフローチャートである。この変形例の非接触三次元計測方法では、図8の実施の形態1に係る非接触三次元計測方法と対比すると、ラインレーザを被計測物の全体にわたって走査する点で相違する。
(a)及び(b)は、実施の形態1に係る非接触三次元計測方法と同じであるので説明を省略する。
(c)被計測物1にわたってラインレーザを走査する(S11)。ここでは、ラインレーザ4をラインとは角度をなす方向に沿って走査することで、被計測物1の全体にわたって順に走査していくことを表している。
(d)から(k)は、実施の形態1に係る非接触三次元計測方法と同じであるので説明を省略する。
(l)被計測物1の全体について走査したか確認する(S12)。被計測物1の全体について走査していない場合には、(c)から(k)を繰り返して、被計測物1の全体について三次元計測を行う。
以上の各ステップによって、被計測物1の全体にわたって三次元計測を行うことができる。
(Modification)
FIG. 9 is a flowchart of a non-contact three-dimensional measurement method according to a modification of the first embodiment. The non-contact three-dimensional measurement method of this modification is different from the non-contact three-dimensional measurement method according to
Since (a) and (b) are the same as the non-contact three-dimensional measurement method according to
(C) A line laser is scanned over the DUT 1 (S11). Here, the scanning of the
Since (d) to (k) are the same as the non-contact three-dimensional measurement method according to
(L) It is confirmed whether the
Through the above steps, three-dimensional measurement can be performed over the entire object to be measured 1.
(実施の形態2)
図10は、実施の形態2に係る非接触三次元計測方法のフローチャートである。この変形例の非接触三次元計測方法では、図8の実施の形態1に係る非接触三次元計測方法と対比すると、ラインレーザ4を照射方向の所定の軸について回転させて被計測物1に照射する点で相違する。
(a)及び(b)は、実施の形態1に係る非接触三次元計測方法と同じであるので説明を省略する。
(c)ラインレーザを照射方向の所定の軸について回転させて被計測物1に照射する(S13)。実施の形態1の変形例では、ラインレーザをラインと角度をなす方向に走査して被計測物1の全体にわたって走査していたが、ラインレーザ4を回転させることによっても被計測物1の全体について照射することができる。
(d)から(k)は、実施の形態1に係る非接触三次元計測方法と同じであるので説明を省略する。
(l)ラインレーザを全角度に回転させて照射したか確認する(S14)。被計測物1の全体について走査していない場合には、(c)から(k)を繰り返して、被計測物1の全体について三次元計測を行う。
以上の各ステップによって、被計測物1の全体にわたって三次元計測を行うことができる。
(Embodiment 2)
FIG. 10 is a flowchart of the non-contact three-dimensional measurement method according to the second embodiment. In the non-contact three-dimensional measurement method of this modification, as compared with the non-contact three-dimensional measurement method according to
Since (a) and (b) are the same as the non-contact three-dimensional measurement method according to
(C) The
Since (d) to (k) are the same as the non-contact three-dimensional measurement method according to
(L) It is confirmed whether the line laser is rotated at all angles for irradiation (S14). When the entire object to be measured 1 is not scanned, (c) to (k) are repeated to perform three-dimensional measurement on the entire object to be measured 1.
Through the above steps, three-dimensional measurement can be performed over the entire object to be measured 1.
(実施の形態3)
図11は、実施の形態3に係る非接触三次元計測方法のフローチャートである。この変形例の非接触三次元計測方法では、図8の実施の形態1に係る非接触三次元計測方法と対比すると、(i)で第2線分データ32とエピポーラ線33との交点が単一ではなく2つ以上の交点が存在する場合に、ラインレーザを特徴点24に該当する被計測物1上の該当点14への軸について回転させて照射する点で相違する。
(a)から(h)は、実施の形態1に係る非接触三次元計測方法と同じであるので説明を省略する。
(i)の前に、第2の画像30上において、エピポーラ線33と第2線分32との交点は単一か、確認する(S15)。交点が一つの場合には、実施の形態1に係る非接触三次元計測方法の(i)から(k)を行って、特徴点及び対応点に該当する被計測物1の該当点14の三次元座標を得ることができる。
(Embodiment 3)
FIG. 11 is a flowchart of the non-contact three-dimensional measurement method according to the third embodiment. In the non-contact three-dimensional measurement method of this modification, when compared with the non-contact three-dimensional measurement method according to
Since (a) to (h) are the same as the non-contact three-dimensional measurement method according to the first embodiment, description thereof is omitted.
Before (i), it is confirmed on the
一方、交点が複数の場合、例えば、ラインレーザが照射された部分である第2線分データ32とエピポーラ線33とが同一方向に沿って延在するような場合に交点が複数存在する場合が生じる。この場合には、ラインレーザ4を特徴点24に該当する被計測物1上の該当点14への軸について回転させて照射する(S16)。この場合に、エピポーラ線33とラインレーザのライン方向とが角度をなすようにラインレーザ4を回転させることが好ましい。より好ましくは、エピポーラ線33とラインレーザのライン方向とが互いに直交するようにラインレーザ4を回転させることである。また、特徴点24を保持するように、特徴点24に該当する被計測物1の該当点14について回転させる。その後、(d)から(h)を繰り返して、エピポーラ線33と第2線分32との交点が単一となるようにすることができる。
On the other hand, when there are a plurality of intersection points, for example, there may be a plurality of intersection points when the second line segment data 32 and the epipolar line 33 that are irradiated with the line laser extend along the same direction. Arise. In this case, the
これによって、エピポーラ線33と第2線分データ32とが平行になる等の原因で対応点34が一つに特定できない場合でも、ラインレーザ4を回転させて、エピポーラ線33と第2線分データ32とが交差する交点として単一の対応点34が得られ、明確に対応点を特定でき、三次元計測の精度を向上させることができる。
As a result, even if the corresponding point 34 cannot be specified as a single point because the epipolar line 33 and the second line segment data 32 are in parallel, the
なお、エピポーラ線33と第2線分データ32との交点が一つも得られない場合には、第1の画像20上で選択した特徴点24に対応する被計測物1上の該当点14が第2の画像30上には現れていないことを意味している。この場合には、第1のカメラ2aからの第1の画像20で表示される被計測物1の範囲と、第2のカメラ2bからの第2の画像30で表示される被計測物1の範囲とで共通して表示される範囲が少ないか又は存在しないと考えられる。そこで、第1のカメラ2aと第2のカメラ2bとの距離を縮めて第1の画像20と第2の画像30で共通する被計測物1の範囲が得られるようにすることが好ましい。
If no intersection between the epipolar line 33 and the second line segment data 32 is obtained, the corresponding
本発明に係る非接触三次元計測装置及び非接触三次元計測方法によれば、表面に特徴がない物体を被計測物とする場合であっても、2つの画像上で、一方の画像で選択した特徴点について、もう一方の画像上における対応点を明確に特定できる。そこで、本発明に係る非接触三次元計測装置及び非接触三次元計測方法は、表面に特徴がない物体を被計測物とする非接触三次元計測に有用である。 According to the non-contact three-dimensional measurement apparatus and the non-contact three-dimensional measurement method according to the present invention, even when an object having no feature on the surface is set as the measurement object, one of the two images is selected. The corresponding point on the other image can be clearly identified for the feature point. Therefore, the non-contact three-dimensional measurement apparatus and the non-contact three-dimensional measurement method according to the present invention are useful for non-contact three-dimensional measurement using an object having no feature on the surface as an object to be measured.
1 被計測物
2a 第1のカメラ
2b 第2のカメラ
4 ラインレーザ
6 標定部
8 画像処理部
10 非接触三次元計測装置
12 照射されたラインレーザ
14 該当点
20 第1の画像
22 第1線分データ
24 特徴点
30 第2の画像
32 第2線分データ
33 エピポーラ線
34 対応点
DESCRIPTION OF
Claims (8)
前記被計測物にラインレーザを照射するラインレーザと、
前記第1のカメラ及び前記第2のカメラについて、互いの位置関係に関する外部標定を行う標定部と、
前記ラインレーザが照射された被計測物を前記第1のカメラで撮影した第1の画像と、前記第2のカメラで撮影した第2の画像とを画像処理する画像処理部と、
を備え、
前記画像処理部は、
前記第1の画像上の前記ラインレーザが照射された第1線分データの中の一つの点を特徴点として選択し、
前記第1の画像上で選択した前記特徴点に対応するエピポーラ線を前記第2の画像上に表示して、
前記第2の画像上において、前記ラインレーザが照射された第2線分データと前記エピポーラ線との交点を、前記第1の画像上で選択した前記特徴点と対応する対応点として決定し、
前記第1の画像における前記特徴点と、前記第2の画像における前記対応点とを用いて、前記特徴点及び前記対応点に該当する前記被計測物上の該当点の三次元座標を算出する、
非接触三次元計測装置。 A first camera and a second camera which are arranged at a distance from each other and shoot a measurement object;
A line laser for irradiating the object to be measured with a line laser;
An orientation unit that performs external orientation on the positional relationship between the first camera and the second camera;
An image processing unit that performs image processing on a first image obtained by photographing the object to be measured irradiated with the line laser with the first camera, and a second image photographed by the second camera;
With
The image processing unit
One point in the first line segment data irradiated with the line laser on the first image is selected as a feature point,
An epipolar line corresponding to the feature point selected on the first image is displayed on the second image;
On the second image, an intersection of the second line segment data irradiated with the line laser and the epipolar line is determined as a corresponding point corresponding to the feature point selected on the first image,
Using the feature points in the first image and the corresponding points in the second image, three-dimensional coordinates of the feature points and corresponding points on the measurement object corresponding to the corresponding points are calculated. ,
Non-contact 3D measuring device.
(b)前記被計測物にラインレーザを照射するラインレーザ照射ステップと、
(c)前記ラインレーザが照射された被計測物を前記第1のカメラ及び前記第2のカメラでそれぞれ撮影して、前記第1のカメラによる第1の画像と、前記第2のカメラによる第2の画像とを得る画像撮影ステップと、
(d)前記第1の画像において、前記ラインレーザが照射された部分を第1線分データとして抽出する第1線分データ抽出ステップと、
(e)前記第2の画像において、前記ラインレーザが照射された部分を第2線分データとして抽出する第2線分データ抽出ステップと、
(f)前記第1の画像から抽出された前記第1線分データの中の一つの点を特徴点として選択する特徴点選択ステップと、
(g)前記第1の第1の画像上で選択した前記特徴点に対応するエピポーラ線を前記第2の画像上に表示するエピポーラ線表示ステップと、
(h)前記第2の画像から抽出された前記第2線分データと前記エピポーラ線との交点を、前記第1の画像上で選択した前記特徴点と対応する対応点として決定する対応点決定ステップと、
(i)前記第1の画像における前記特徴点と、前記第2の画像における前記対応点とを用いて、前記特徴点及び前記対応点に該当する前記被計測物上の該当点の三次元座標を算出する三次元座標算出ステップと、
を含む、非接触三次元計測方法。 (A) an external orientation step for performing external orientation on the positional relationship between the first camera and the second camera, which are arranged at a distance from each other and shoot the object to be measured;
(B) a line laser irradiation step of irradiating the object to be measured with a line laser;
(C) The object to be measured irradiated with the line laser is photographed by the first camera and the second camera, respectively, and the first image by the first camera and the second image by the second camera are taken. An image capturing step for obtaining two images;
(D) a first line segment data extracting step of extracting a portion irradiated with the line laser as first line segment data in the first image;
(E) a second line segment data extracting step of extracting a portion irradiated with the line laser as second line segment data in the second image;
(F) a feature point selection step of selecting one point in the first line segment data extracted from the first image as a feature point;
(G) an epipolar line display step of displaying an epipolar line corresponding to the feature point selected on the first first image on the second image;
(H) Corresponding point determination for determining an intersection between the second line segment data extracted from the second image and the epipolar line as a corresponding point corresponding to the feature point selected on the first image. Steps,
(I) Using the feature points in the first image and the corresponding points in the second image, three-dimensional coordinates of the corresponding points on the measurement object corresponding to the feature points and the corresponding points A three-dimensional coordinate calculation step for calculating
A non-contact three-dimensional measurement method.
(j)前記第1画像から抽出された前記第1線分上の点すべてに対して、前記ステップ(f)〜前記ステップ(i)を繰り返して、前記被計測物の前記ラインレーザが照射されたライン部分に対して三次元座標を算出する三次元座標算出ステップ
を含む、請求項4に記載の非接触三次元計測方法。 further,
(J) Steps (f) to (i) are repeated for all points on the first line segment extracted from the first image, and the line laser of the object to be measured is irradiated. The non-contact three-dimensional measurement method according to claim 4, further comprising a three-dimensional coordinate calculation step of calculating three-dimensional coordinates for the line portion.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010021318A JP5457865B2 (en) | 2010-02-02 | 2010-02-02 | Non-contact three-dimensional measuring apparatus and non-contact three-dimensional measuring method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010021318A JP5457865B2 (en) | 2010-02-02 | 2010-02-02 | Non-contact three-dimensional measuring apparatus and non-contact three-dimensional measuring method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011158386A true JP2011158386A (en) | 2011-08-18 |
JP5457865B2 JP5457865B2 (en) | 2014-04-02 |
Family
ID=44590453
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010021318A Active JP5457865B2 (en) | 2010-02-02 | 2010-02-02 | Non-contact three-dimensional measuring apparatus and non-contact three-dimensional measuring method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5457865B2 (en) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104215198A (en) * | 2014-08-25 | 2014-12-17 | 南京天睿朗自动化科技有限公司 | Scanner for scanning three-dimensional profile of internal surface of tubular object |
CN107077729A (en) * | 2014-09-17 | 2017-08-18 | 皮尔茨公司 | For the method and apparatus for the structural element for recognizing the projection structure pattern in camera image |
CN108195843A (en) * | 2018-02-01 | 2018-06-22 | 中铁电气化局集团有限公司 | A kind of anchor section dropper condition checkout gear and method |
CN111435075A (en) * | 2019-01-15 | 2020-07-21 | 谢登航 | Computer vision measurement system |
CN112797895A (en) * | 2020-12-24 | 2021-05-14 | 上海智殷自动化科技有限公司 | Frame body positioning device based on vision and laser |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0526640A (en) * | 1991-07-25 | 1993-02-02 | Toshiba Corp | Lead shape measuring device |
JP2001183120A (en) * | 1999-12-24 | 2001-07-06 | Minolta Co Ltd | Method and device for three-dimensional input |
JP3924576B2 (en) * | 2004-10-18 | 2007-06-06 | 倉敷紡績株式会社 | Three-dimensional measurement method and apparatus by photogrammetry |
JP2009186216A (en) * | 2008-02-04 | 2009-08-20 | Nikon Corp | Three-dimensional shape measuring device |
-
2010
- 2010-02-02 JP JP2010021318A patent/JP5457865B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0526640A (en) * | 1991-07-25 | 1993-02-02 | Toshiba Corp | Lead shape measuring device |
JP2001183120A (en) * | 1999-12-24 | 2001-07-06 | Minolta Co Ltd | Method and device for three-dimensional input |
JP3924576B2 (en) * | 2004-10-18 | 2007-06-06 | 倉敷紡績株式会社 | Three-dimensional measurement method and apparatus by photogrammetry |
JP2009186216A (en) * | 2008-02-04 | 2009-08-20 | Nikon Corp | Three-dimensional shape measuring device |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104215198A (en) * | 2014-08-25 | 2014-12-17 | 南京天睿朗自动化科技有限公司 | Scanner for scanning three-dimensional profile of internal surface of tubular object |
CN107077729A (en) * | 2014-09-17 | 2017-08-18 | 皮尔茨公司 | For the method and apparatus for the structural element for recognizing the projection structure pattern in camera image |
JP2017531258A (en) * | 2014-09-17 | 2017-10-19 | ピルツ ゲーエムベーハー アンド コー.カーゲー | Method and apparatus for identifying structural element of projected structural pattern in camera image |
CN108195843A (en) * | 2018-02-01 | 2018-06-22 | 中铁电气化局集团有限公司 | A kind of anchor section dropper condition checkout gear and method |
CN108195843B (en) * | 2018-02-01 | 2024-01-23 | 中铁电气化局集团有限公司 | Anchor section hanger state detection device and method |
CN111435075A (en) * | 2019-01-15 | 2020-07-21 | 谢登航 | Computer vision measurement system |
CN112797895A (en) * | 2020-12-24 | 2021-05-14 | 上海智殷自动化科技有限公司 | Frame body positioning device based on vision and laser |
CN112797895B (en) * | 2020-12-24 | 2022-07-22 | 上海智殷自动化科技有限公司 | Frame body positioning device based on vision and laser |
Also Published As
Publication number | Publication date |
---|---|
JP5457865B2 (en) | 2014-04-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5745178B2 (en) | Three-dimensional measurement method, apparatus and system, and image processing apparatus | |
JP3624353B2 (en) | Three-dimensional shape measuring method and apparatus | |
JP5770486B2 (en) | All-around image measuring device | |
JP2874710B2 (en) | 3D position measuring device | |
JP5715735B2 (en) | Three-dimensional measurement method, apparatus and system, and image processing apparatus | |
CN111649690A (en) | Handheld 3D information acquisition equipment and method | |
JP2013122434A (en) | Three-dimensional shape position measuring device by monocular camera using laser, method for measuring three-dimensional shape position, and three-dimensional shape position measuring program | |
JP2016527478A (en) | 3D imaging device, 3D image creation method, and 3D imaging device setting method | |
JP2012058076A (en) | Three-dimensional measurement device and three-dimensional measurement method | |
JP5457865B2 (en) | Non-contact three-dimensional measuring apparatus and non-contact three-dimensional measuring method | |
EP3049756B1 (en) | Modeling arrangement and method and system for modeling the topography of a three-dimensional surface | |
JPWO2017146202A1 (en) | Three-dimensional shape data and texture information generation system, photographing control program, and three-dimensional shape data and texture information generation method | |
JP2008241643A (en) | Three-dimensional shape measuring device | |
JP5563930B2 (en) | Non-contact three-dimensional measuring apparatus and non-contact three-dimensional measuring method | |
JP5477658B2 (en) | Calibration jig for calibration, 3D measurement system with calibration jig | |
JP2007093412A (en) | Three-dimensional shape measuring device | |
JP6065670B2 (en) | Three-dimensional measurement system, program and method. | |
US7046839B1 (en) | Techniques for photogrammetric systems | |
JP4006296B2 (en) | Displacement measuring method and displacement measuring apparatus by photogrammetry | |
JP2000205821A (en) | Instrument and method for three-dimensional shape measurement | |
JP4550081B2 (en) | Image measurement method | |
JP4077755B2 (en) | POSITION DETECTION METHOD, DEVICE THEREOF, PROGRAM THEREOF, AND CALIBRATION INFORMATION GENERATION METHOD | |
JP2008241609A (en) | Distance measuring system and distance measuring method | |
JP2004117186A (en) | Three-dimensional shape measuring device | |
JP2003042730A (en) | Apparatus and method for measurement of surface shape as well as surface-state mapping apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20121213 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130905 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130917 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131113 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20131217 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140110 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5457865 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |