JP2011022084A - Device and method for measuring three-dimensional pose - Google Patents
Device and method for measuring three-dimensional pose Download PDFInfo
- Publication number
- JP2011022084A JP2011022084A JP2009169197A JP2009169197A JP2011022084A JP 2011022084 A JP2011022084 A JP 2011022084A JP 2009169197 A JP2009169197 A JP 2009169197A JP 2009169197 A JP2009169197 A JP 2009169197A JP 2011022084 A JP2011022084 A JP 2011022084A
- Authority
- JP
- Japan
- Prior art keywords
- unit
- images
- central axis
- image
- pair
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、回転体を異なる２方向から撮像し、この２方向からの一対の画像に基づいて回転体の三次元姿勢を求める三次元姿勢測定装置および三次元姿勢測定方法に関する。 The present invention relates to a three-dimensional posture measuring apparatus and a three-dimensional posture measuring method for imaging a rotating body from two different directions and obtaining a three-dimensional posture of the rotating body based on a pair of images from the two directions.
従来、物体の撮像画像からその物体の三次元姿勢を取得する方法として三角測量の原理を利用したステレオビジョンが知られている。ステレオビジョンは、複数のカメラを用いて２つ以上の視点（異なる視線方向）から同一対象物を撮影し、物体における同一部分の像である複数の画像の対応点を検出し、対応点の画像における視差から三角測量の原理により測定対象物の三次元空間における位置を算出するものである。 Conventionally, stereo vision using the principle of triangulation is known as a method for acquiring a three-dimensional posture of an object from a captured image of the object. Stereo vision uses a plurality of cameras to photograph the same object from two or more viewpoints (different line-of-sight directions), detects corresponding points of a plurality of images that are images of the same part of the object, and images of the corresponding points The position of the measuring object in the three-dimensional space is calculated from the parallax in accordance with the principle of triangulation.
ステレオビジョンは、対応点を用いて測定対象物の三次元空間における位置を算出するため、対応点をどの様に検出するかがステレオビジョンにおける重要な技術的課題であり広く研究が行われている。 Since stereo vision uses corresponding points to calculate the position of the object to be measured in three-dimensional space, how to detect the corresponding points is an important technical issue in stereo vision and is being studied extensively. .
対応点検出の方法として、エッジ画像による対応付けが広く知られている。物体が直方体であれば、物体の同一部位と認識できる輪郭線を抽出し、その輪郭線の頂点等を対応点として検出することができる。しかし、対象物が円柱などの回転体の場合には、輪郭線から物体の同一点を検出することは非常に困難であり、対応付けの精度に問題が生じる。 As a method for detecting corresponding points, association using edge images is widely known. If the object is a rectangular parallelepiped, it is possible to extract a contour line that can be recognized as the same part of the object, and detect a vertex or the like of the contour line as a corresponding point. However, when the object is a rotating body such as a cylinder, it is very difficult to detect the same point of the object from the contour line, and a problem arises in the accuracy of association.
図１７は、対象物が円柱である場合におけるステレオビジョンで撮像される画像である。図１７において、Ｓ１はステレオビジョンの一方の画像であり、Ｓ２はステレオビジョンの他方の画像である。画像Ｓ１においては、円柱の輪郭線１Ｌ，１Ｒがそれぞれ１Ｌｓ，１Ｒｓとして撮像される。画像Ｓ２においては、円柱の輪郭線２Ｌ，２Ｒがそれぞれ２Ｌｓ，２Ｒｓとして撮像される。つまり、画像Ｓ１と画像Ｓ２とにおける輪郭線は異なる部分となるため、輪郭線１Ｌｓ，１Ｒｓ，２Ｌｓ，２Ｒｓにて対応付けはできない。 FIG. 17 is an image captured by stereo vision when the object is a cylinder. In FIG. 17, S1 is one image of stereo vision, and S2 is the other image of stereo vision. In the image S1, cylindrical outlines 1L and 1R are imaged as 1Ls and 1Rs, respectively. In the image S2, cylindrical outlines 2L and 2R are imaged as 2Ls and 2Rs, respectively. That is, since the contour lines in the image S1 and the image S2 are different portions, the contour lines 1Ls, 1Rs, 2Ls, and 2Rs cannot be associated.
これに対し、特許文献１では、画像Ｓ１において輪郭線１Ｌｓと１Ｒｓによって規定される２等分線を画像Ｓ１における円柱の中心線とし、画像Ｓ２において輪郭線２Ｌｓと２Ｒｓによって規定される２等分線を画像Ｓ２における円柱の中心線として算出する。さらに、画像Ｓ１および画像Ｓ２の中心線上の点を対応点として対応付けを行い、その対応点を用いて円柱の三次元位置を算出している。 On the other hand, in Patent Document 1, the bisector defined by the contour lines 1Ls and 1Rs in the image S1 is set as the center line of the cylinder in the image S1, and the bisector defined by the contour lines 2Ls and 2Rs in the image S2. The line is calculated as the center line of the cylinder in the image S2. Further, the points on the center line of the images S1 and S2 are associated as corresponding points, and the three-dimensional position of the cylinder is calculated using the corresponding points.
しかし、特許文献１で開示された手法では、円柱や円錐のように輪郭が線状の場合にしか適用ができないといった課題がある。
そこで本発明は、輪郭が線状とならない回転体にも適用可能な、ステレオビジョンによる三次元姿勢測定装置および三次元姿勢測定方法を提供することを目的とする。
However, the technique disclosed in Patent Document 1 has a problem that it can be applied only when the contour is linear like a cylinder or a cone.
Therefore, an object of the present invention is to provide a three-dimensional posture measuring apparatus and a three-dimensional posture measuring method using stereo vision that can be applied to a rotating body whose contour is not linear.
本発明における三次元姿勢測定装置は、回転体を異なる２方向から撮像した一対の画像を取得する画像取得部、前記一対の画像ごとに、測定対象である前記回転体の画像領域を抽出する測定対象抽出部、前記一対の画像ごとに、主成分分析により前記回転体の画像領域の主成分軸を算出し、該主成分軸を前記回転体の第１の中心軸として設定する中心軸設定部、一方の画像における前記回転体の第１の中心軸上の点と、当該点に応じた他方の画像におけるエピポーラ線と他方の画像における前記回転体の第１の中心軸との交点と、を対応付け、前記一対の画像における中心軸を対応付ける中心軸対応付け部、三角測量の原理により前記対応付けされた中心軸の三次元情報を求め、前記回転体の三次元姿勢を算出する三次元情報算出部、から構成されている。 The three-dimensional posture measurement apparatus according to the present invention includes an image acquisition unit that acquires a pair of images obtained by imaging the rotating body from two different directions, and a measurement that extracts an image area of the rotating body that is a measurement target for each pair of images. Object extraction unit, a central axis setting unit that calculates a principal component axis of the image area of the rotating body by principal component analysis for each pair of images and sets the principal component axis as a first central axis of the rotating body A point on the first central axis of the rotating body in one image, and an intersection of the epipolar line in the other image corresponding to the point and the first central axis of the rotating body in the other image, A three-dimensional information for calculating a three-dimensional posture of the rotating body by obtaining a three-dimensional information of the associated central axes according to the principle of triangulation, a central axis associating unit that associates central axes in the pair of images; Calculation unit It is.
さらに、本発明における三次元姿勢測定装置は、前記画像取得部で取得した一対の画像を各エピポーラ線が平行である一対の変換画像に変換する平行化部を備え、前記一対の変換画像を前記測定対象抽出部、前記中心軸設定部、前記中心軸対応付け部および前記三次元情報算出部にて処理し、前記回転体の三次元姿勢を算出することを特徴とする
なおさらに、本発明における三次元姿勢測定装置は、前記中心軸対応付け部にて得られる中心軸が対応付けされた一対の変換画像を、対応付けを維持しつつ前記平行化部における変換とは逆の変換を行い、中心軸が対応付けられた一対の画像を生成する平行化逆変換部を備え、前記平行化逆変換部で得られた中心軸が対応つけられた一対の画像を、三次元情報算出部にて処理し、前記回転体の三次元姿勢を算出することを特徴とする。
Furthermore, the three-dimensional posture measurement apparatus according to the present invention includes a parallelizing unit that converts the pair of images acquired by the image acquisition unit into a pair of converted images in which each epipolar line is parallel, and the pair of converted images is In the present invention, the measurement object extracting unit, the central axis setting unit, the central axis associating unit, and the three-dimensional information calculating unit process the three-dimensional posture of the rotating body. The three-dimensional posture measuring device performs a conversion opposite to the conversion in the parallelizing unit while maintaining the association between the pair of converted images in which the central axes obtained by the central axis associating unit are associated, A parallelization inverse transform unit that generates a pair of images associated with a central axis is provided, and a pair of images associated with the central axis obtained by the parallelization inverse transform unit is obtained by a three-dimensional information calculation unit. Processed and tertiary of the rotating body The original posture is calculated.
なおさらに、本発明における三次元姿勢測定装置は、前記三次元情報算出部で算出した三次元姿勢に基づき、前記一対の画像のいずれか一方の画像に対応するモデル画像を生成するモデル画像生成部と、前記一対の画像のいずれか一方と前記モデル画像とを比較し、両画像が一致するか否かを判断するマッチング部と、前記マッチング部にて両画像が一致しない場合に、前記中心軸設定部における主成分分析による別の主成分軸を第２の中心軸として設定する中心軸再設定部とをさらに備え、前記第２の中心軸が設定された場合に、前記第１の中心軸に換わって前記第２の中心軸に基づいて改めて前記中心軸対応付け部にて前記第２の中心軸を対応付けし、前記回転体の三次元姿勢を算出することを特徴とする。 Still further, the three-dimensional posture measuring apparatus according to the present invention includes a model image generating unit that generates a model image corresponding to one of the pair of images based on the three-dimensional posture calculated by the three-dimensional information calculating unit. A matching unit that compares one of the pair of images with the model image and determines whether or not both images match, and the central axis when the images do not match in the matching unit A central axis resetting unit that sets another principal component axis based on principal component analysis in the setting unit as a second central axis, and the first central axis when the second central axis is set Instead, the three-dimensional posture of the rotating body is calculated by associating the second central axis with the central axis associating unit again based on the second central axis.
本発明における三次元姿勢測定方法は、回転体を異なる２方向から撮像した一対の画像を取得する画像取得ステップ、前記一対の画像ごとに、測定対象である前記回転体の画像領域を抽出する測定対象抽出ステップ、前記一対の画像ごとに、主成分分析により前記回転体の画像領域の主成分軸を算出し、該主成分軸を前記回転体の第１の中心軸として設定する中心軸設定ステップ、一方の画像における前記回転体の中心軸上の点を、当該点に応じた他方の画像におけるエピポーラ線と他方の画像における前記回転体の中心軸との交点と、を対応付け、前記一対の画像における中心軸を対応付ける中心軸対応付けステップ、三角測量の原理により前記対応付けされた中心軸の三次元情報を求め、前記回転体の三次元姿勢を算出する三次元情報算出ステップ、を備えていることを特徴とする。 The three-dimensional posture measurement method according to the present invention includes an image acquisition step of acquiring a pair of images obtained by imaging the rotating body from two different directions, and a measurement for extracting an image area of the rotating body that is a measurement target for each of the pair of images. Object extraction step, for each pair of images, a principal axis setting step of calculating a principal component axis of the image area of the rotating body by principal component analysis and setting the principal component axis as a first central axis of the rotating body The point on the central axis of the rotating body in one image is associated with the intersection of the epipolar line in the other image corresponding to the point and the central axis of the rotating body in the other image, and the pair of A center axis associating step for associating a center axis in an image, a three-dimensional information calculation for obtaining three-dimensional information of the associated center axis according to the principle of triangulation, and calculating a three-dimensional posture of the rotating body Step, characterized in that it comprises a.
本発明によれば、輪郭が線状とならない回転体でもステレオビジョンにより三次元姿勢を測定することができる。 According to the present invention, a three-dimensional posture can be measured by stereo vision even with a rotating body whose contour is not linear.
本発明に係る第１の実施形態について、図を用いて説明をする。
図１は本発明に係る第１の実施形態における三次元姿勢計測装置の概略構成図である。図１において１００は三次元姿勢計測装置、１１１は第１カメラ、１１２は第２カメラ、１２１は入力部、１２２は出力部、２００は画像処理演算部である。なお、画像処理演算部２００は中央処理演算装置（ＣＰＵ）、記憶装置等からなるコンピュータによって実現される。
A first embodiment according to the present invention will be described with reference to the drawings.
FIG. 1 is a schematic configuration diagram of a three-dimensional posture measuring apparatus according to the first embodiment of the present invention. In FIG. 1, reference numeral 100 denotes a three-dimensional posture measuring device, 111 denotes a first camera, 112 denotes a second camera, 121 denotes an input unit, 122 denotes an output unit, and 200 denotes an image processing calculation unit. The image processing arithmetic unit 200 is realized by a computer including a central processing arithmetic device (CPU), a storage device, and the like.
第１カメラ１１１および第２カメラ１１２は、異なる視線方向から同一対象物を撮影するように相対位置および相対姿勢が固定され、一対のステレオ画像を撮像することができる。 The relative position and relative posture of the first camera 111 and the second camera 112 are fixed so as to capture the same object from different line-of-sight directions, and a pair of stereo images can be captured.
入力部１２１は、キーボード、マウス等であって、使用者による三次元姿勢計測装置１００への初期設定値の入力、処理内容の選択の入力等に使用される。
出力部１２２は、ディスプレイ、プリンタ等であって、使用者への第１カメラ１１１および第２カメラ１１２で撮像された画像の表示、初期設定値の入力画面の表示等に使用される。
The input unit 121 is a keyboard, a mouse, or the like, and is used by a user to input initial setting values to the three-dimensional posture measurement apparatus 100, input of selection of processing contents, and the like.
The output unit 122 is a display, a printer, or the like, and is used for displaying images picked up by the first camera 111 and the second camera 112 to the user, displaying an initial setting value input screen, and the like.
画像処理演算部２００は、パラメータ記憶部２０１、ステレオ画像取得部２０２、ステレオ画像平行化部２０３、対象抽出部２０４、中心軸設定部２０５、対応付け部２０６、平行化逆変換部２０７、三次元情報算出部２０８から構成されている。 The image processing calculation unit 200 includes a parameter storage unit 201, a stereo image acquisition unit 202, a stereo image parallelization unit 203, a target extraction unit 204, a central axis setting unit 205, an association unit 206, a parallelization inverse conversion unit 207, a three-dimensional The information calculation unit 208 is configured.
パラメータ記憶部２０１は、後述する各部の処理で必要になるパラメータを記憶している。例えば、パラメータとして、第１カメラ１１１と第２カメラ１１２とのキャリブレーションで得られる第１カメラ１１１および第２カメラ１１２の相対位置および相対姿勢を表すＦ行列、ステレオ画像平行化部２０３で用いる変換行列Ｈ１，Ｈ２、対象抽出部２０４で用いる画像抽出条件設定値等を記憶している。パラメータ記憶部２０１に記憶されているパラメータは、使用者が入力部１２１より入力したデータ等や、使用者の入力部１２１から入力された指示による処理を行い、その処理により得られた結果等である。 The parameter storage unit 201 stores parameters necessary for processing of each unit described later. For example, as a parameter, an F matrix representing the relative positions and orientations of the first camera 111 and the second camera 112 obtained by calibration between the first camera 111 and the second camera 112, and conversion used by the stereo image parallelizing unit 203 The matrix H1, H2, the image extraction condition setting value used in the target extraction unit 204, and the like are stored. The parameters stored in the parameter storage unit 201 include data input by the user from the input unit 121, processing based on instructions input from the user input unit 121, and results obtained by the processing. is there.
ステレオ画像取得部２０２は、第１カメラ１１１および第２カメラ１１２に撮像信号を出力し、撮像された画像を読み込み、一対の画像として図示しない画像処理演算部２００の記憶領域に記憶させる。 The stereo image acquisition unit 202 outputs imaging signals to the first camera 111 and the second camera 112, reads the captured images, and stores them as a pair of images in a storage area of the image processing calculation unit 200 (not shown).
ステレオ画像平行化部２０３は、前記一対の画像を平行カメラで撮影したかのようなステレオ画像に変換する。これは、ステレオビジョンの基本的な原理である三角測量において必要となる対応点の検索を容易にするためである。よって、ステレオ画像平行化部２０３による処理は必須の処理ではない。 The stereo image parallelizing unit 203 converts the pair of images into a stereo image as if it were taken with a parallel camera. This is to facilitate the search for corresponding points required in triangulation, which is the basic principle of stereo vision. Therefore, the process by the stereo image parallelizing unit 203 is not an essential process.
ここで、ステレオ画像平行化部２０３による処理のメリットについて説明する。図２は、空間上の点とその点に対応する一対のステレオ画像上の点との関係を示したものである。ここで、Ｐ（Ｘ，Ｙ，Ｚ）は空間上の点、Ｓ１は第１カメラ１１１による画像、Ｓ２は第２カメラ１１２による画像である。ステレオビジョンにおいて、ある空間点Ｐの三次元位置を測定するためには、一対の画像ごとに投影された点Ｐの位置を特定する必要がある。つまり、点Ｐが画像Ｓ１において位置（ｕ１，ｖ１）に投影されているとすると、点Ｐが画像Ｓ２において投影されている位置(ｕ２，ｖ２)を探索する必要がある。ここで、点（ｕ１，ｖ１）と点(ｕ２，ｖ２)は対応点と呼ばれ、このような処理は対応点探索とよばれる。 Here, the merit of the processing by the stereo image parallelizing unit 203 will be described. FIG. 2 shows the relationship between a point on the space and a pair of points on the stereo image corresponding to the point. Here, P (X, Y, Z) is a point in space, S1 is an image by the first camera 111, and S2 is an image by the second camera 112. In stereo vision, in order to measure the three-dimensional position of a certain spatial point P, it is necessary to specify the position of the point P projected for each pair of images. That is, if the point P is projected at the position (u1, v1) in the image S1, it is necessary to search for the position (u2, v2) at which the point P is projected in the image S2. Here, the points (u1, v1) and (u2, v2) are called corresponding points, and such processing is called corresponding point search.
通常は対応点探索を画像全体に対して行うため、探索時間及び精度が課題となる。ここで、図３は対応点とエピポーラ線との関係を示したものである。図３に示すように、空間上の点Ｐは、画面Ｓ１上にある点Ｐの像と第１カメラ１１１の視点Ｃ１とを結んだ直線上に存在することとなる。よって、画像Ｓ１上にある点に対する画面Ｓ２上の対応点は、この直線の画像Ｓ２における像であるエピポーラ線ＥＬ２上を探索すれば、探索時間を短縮することができる。 Usually, since the corresponding point search is performed on the entire image, the search time and accuracy are problems. Here, FIG. 3 shows the relationship between corresponding points and epipolar lines. As shown in FIG. 3, the point P on the space exists on a straight line connecting the image of the point P on the screen S <b> 1 and the viewpoint C <b> 1 of the first camera 111. Therefore, if a corresponding point on the screen S2 with respect to a point on the image S1 is searched on the epipolar line EL2 which is an image in the straight image S2, the search time can be shortened.
しかし、エピポーラ線ＥＬ２が画像Ｓ２上において水平ではない場合には、対応点を斜めに探索するため、探索処理の複雑化や量子化誤差の影響により探索精度の悪化等の問題が十分に解決されないことがある。 However, when the epipolar line EL2 is not horizontal on the image S2, the corresponding points are searched obliquely, and thus problems such as search accuracy deterioration due to the complexity of the search process and the influence of quantization errors are not sufficiently solved. Sometimes.
そこで、図４のように、画像Ｓ１および画像Ｓ２をそれぞれ変換行列Ｈ１，Ｈ２にて変換画像ＳＨ１および変換画像ＳＨ２に変換し、あたかも平行カメラで撮影したかのようなステレオ画像に変換する。これにより、エピポーラ線ＥＬ２がエピポーラ線ＥＬＨ２に変換され、探索方向が水平方向に限定することができる。このように、エピポーラ線ＥＬＨ２が画像ＳＨ１および画像ＳＨ２に対して水平となり、あたかも平行カメラで撮像したかのようなステレオ画像に変換することを平行化という。 Therefore, as shown in FIG. 4, the image S1 and the image S2 are converted into the converted image SH1 and the converted image SH2 by the conversion matrices H1 and H2, respectively, and converted into a stereo image as if it were taken with a parallel camera. Thereby, the epipolar line EL2 is converted into the epipolar line ELH2, and the search direction can be limited to the horizontal direction. In this way, converting the epipolar line ELH2 to be horizontal with respect to the image SH1 and the image SH2 and converting it into a stereo image as if it was captured by a parallel camera is called parallelization.
平行化の手順としては種々の方法があるが、例えば、第１カメラ１１１および第２カメラ１１２のキャリブレーションを実行し、Ｆ行列を算出する。ここで、Ｆ行列とは３×３の行列で、２つのカメラ間の相対関係（位置・姿勢）を表現したものである。画像Ｓ１におけるエピポールをＥ1、画像Ｓ２におけるエピポールをＥ2とする。Ｆ行列とエピポールＥ1，Ｅ2の関係は以下の式で表される。 There are various parallelization procedures. For example, calibration of the first camera 111 and the second camera 112 is executed, and the F matrix is calculated. Here, the F matrix is a 3 × 3 matrix and expresses a relative relationship (position / attitude) between two cameras. The epipole in the image S1 is E 1 and the epipole in the image S2 is E 2 . The relationship between the F matrix and the epipoles E 1 and E 2 is expressed by the following equation.
エピポールとは、図５に示すように、視点Ｃ１，Ｃ２を結ぶ直線と画像平面Ｓ１，Ｓ２とが交わる点である。なお、図５において、ＥＰはエピポーラ平面である。２つの画像が平行の場合、エピポールは画像平面Ｓ１，Ｓ２の水平軸の無限遠点に存在する。つまりエピポールＥ1，Ｅ2を無限遠点に移動させる行列を算出することで、画像を平行化する変換行列Ｈ１，Ｈ２を求めることができる。具体的には、以下の式を満たす変換行列Ｈ１，Ｈ２を求めればよい。
As shown in FIG. 5, the epipole is a point where a straight line connecting the viewpoints C1 and C2 and the image planes S1 and S2 intersect. In FIG. 5, EP is an epipolar plane. When the two images are parallel, the epipole exists at the infinity point on the horizontal axis of the image planes S1 and S2. That is, by calculating a matrix for moving the epipoles E 1 and E 2 to the infinity point, conversion matrices H1 and H2 for parallelizing the image can be obtained. Specifically, conversion matrices H1 and H2 that satisfy the following formulas may be obtained.
対象抽出部２０４は、平行化された画像ＳＨ１，ＳＨ２ごとに対象物の領域を抽出する。例えば、抽出方法としては、予めパラメータ記憶部２０１に記憶されたしきい値に基づいて、二値化により対象物の画素領域を抽出することができる。なお、対象物の画素領域の抽出方法は、二値化に限定されることはなく他の方法を用いることもできる。 The object extraction unit 204 extracts an object area for each of the parallelized images SH1 and SH2. For example, as an extraction method, a pixel region of an object can be extracted by binarization based on a threshold value stored in advance in the parameter storage unit 201. Note that the extraction method of the pixel region of the object is not limited to binarization, and other methods can be used.
なお、対象抽出部２０４は、ステレオ画像平行化部２０３による平行化処理をしていない画像Ｓ１，Ｓ２から対象物の領域を抽出することもできる。
中心軸設定部２０５は、対象抽出部２０４で処理した画像ごとに主成分分析を行い、抽出した対象物の画素領域の複数の主成分軸を求め、予め定められた一の主成分軸を対象物の中心軸として設定する。
Note that the target extraction unit 204 can also extract a region of the target object from the images S1 and S2 that have not been subjected to the parallelization processing by the stereo image parallelization unit 203.
The central axis setting unit 205 performs principal component analysis for each image processed by the target extraction unit 204, obtains a plurality of principal component axes of the pixel region of the extracted target object, and targets one predetermined principal component axis Set as the center axis of the object.
以下、中心軸設定部２０５について詳細に説明する。まず画像における対象物の画素領域の重心Ｇ（Ｘｇ，Ｙｇ）を求める。例えば、各画像の画素がｎ個あり（ｎは自然数）、ｉ番目（ｉはｎ以下の自然数）の画素データをＰｉ（Ｘｉ，Ｙｉ，Ｗｉ）とする。ここで、Ｘｉ，Ｙｉはそれぞれ画素のＸ座標，Ｙ座標である。Ｗｉは画素の重みを表すデータであって、対象物領域の画素は１、対象物領域外の画素は０となる。 Hereinafter, the center axis setting unit 205 will be described in detail. First, the center of gravity G (Xg, Yg) of the pixel area of the object in the image is obtained. For example, there are n pixels in each image (n is a natural number), and i-th (i is a natural number equal to or less than n) pixel data is Pi (Xi, Yi, Wi). Here, Xi and Yi are the X coordinate and Y coordinate of the pixel, respectively. Wi is data representing the weight of the pixel, and the pixel in the object area is 1 and the pixel outside the object area is 0.
図６の抽出画像の例を用いてさらに説明する。図６はＸ方向の２０画素、Ｙ方向の２０画素の４００画素の画像であり、黒色部が対象物の画素領域である。画素番号と画素座標の対応は以下の例のようになっている。画素番号１の画素座標は（１，１）、画素番号２の画像座標は（２，１）、・・・、画素番号２０の画素座標は（２０，１）、画素番号２１の画素座標は（１，２）、・・・、画素番号４０の画素座標は（２０，２）、画素番号４１の画素座標は（１，３）、・・・とする。係る場合、図６の各画素データは、Ｐ１（１，１，０）、・・・、Ｐ１３１（１１，７，１）、・・・、Ｐ１５０（１０，８，１）、Ｐ１５１(１１，８，０)、Ｐ１５２(１２，８，１)、・・・、となる。 This will be further described using the example of the extracted image in FIG. FIG. 6 is an image of 400 pixels of 20 pixels in the X direction and 20 pixels in the Y direction, and the black portion is the pixel region of the object. The correspondence between the pixel number and the pixel coordinate is as in the following example. The pixel coordinates of pixel number 1 are (1, 1), the image coordinates of pixel number 2 are (2, 1), ..., the pixel coordinates of pixel number 20 are (20, 1), and the pixel coordinates of pixel number 21 are The pixel coordinates of the pixel number 40 are (20, 2), the pixel coordinates of the pixel number 41 are (1, 3),. In this case, the pixel data in FIG. 6 are P1 (1, 1, 0), ..., P131 (11, 7, 1), ..., P150 (10, 8, 1), P151 (11, 11). 8,0), P152 (12,8,1),...
次に抽出画像における対象物領域の重心Ｇ(Ｘｇ，Ｙｇ)を求める。対象物領域の重心Ｇ(Ｘｇ，Ｙｇ)は、下記の式にて算出する。なお、画像における抽出領域の重心を求める他の公知の手法を用いても良い。 Next, the center of gravity G (Xg, Yg) of the object region in the extracted image is obtained. The center of gravity G (Xg, Yg) of the object area is calculated by the following equation. Note that other known methods for obtaining the center of gravity of the extraction region in the image may be used.
上記式が自明の解を持つには、固有多項式と呼ばれる次式が０である必要がある。
In order for the above equation to have a trivial solution, the following equation called an eigen polynomial needs to be zero.
例えば円柱の場合のモデルを図７に示す。図７の平行化画像ＳＨ１，ＳＨ２においては、主成分分析による第１主成分軸が対象物である円柱の中心軸を投影した中心線ＣＬＨ１，ＣＬＨ２となる。これは、第１主成分軸は標準偏差が最大の軸となるからである。よって、固有値λの最大値を選択し、第１主成分軸を求めることとなる。 For example, a model in the case of a cylinder is shown in FIG. In the parallel images SH1 and SH2 in FIG. 7, the first principal component axis obtained by principal component analysis is the center lines CLH1 and CLH2 obtained by projecting the central axis of the target cylinder. This is because the first principal component axis is the axis with the maximum standard deviation. Therefore, the maximum value of the eigenvalue λ is selected to obtain the first principal component axis.
なお、中心軸設定部２０５は、図８のように平行化処理をしていない画像Ｓ１，Ｓ２における対象物の画素領域から、画像Ｓ１，Ｓ２における中心線ＣＬ１，ＣＬ２を設定することもできることは明らかである。 It should be noted that the center axis setting unit 205 can also set the center lines CL1 and CL2 in the images S1 and S2 from the pixel regions of the objects in the images S1 and S2 that are not subjected to the parallelization processing as shown in FIG. it is obvious.
対応付け部２０６は、中心線設定部２０５で設定された画像ＳＨ１，ＳＨ２の中心線ＣＬＨ１，ＣＬＨ２の対応付けを行う。具体的には、ステレオ画像平行化部２０３により画像ＳＨ１と画像ＳＨ２のＹ座標は等しい値となっているので、中心線ＣＬＨ２の式をｘ＝ｆ（ｙ）とすると、画像ＳＨ１における中心線ＣＬＨ１上のある点（Ｘ１，Ｙ１）の画像ＳＨ２対応点を（ｆ（Ｙ１），Ｙ１）と求める。これにより画素単位ではなく直線式により対応付けを行うことができるので、画素単位（整数）より細かい実数単位で対応付けが行うことができる。 The associating unit 206 associates the center lines CLH1 and CLH2 of the images SH1 and SH2 set by the center line setting unit 205. Specifically, since the Y coordinate of the image SH1 and the image SH2 is equal by the stereo image parallelizing unit 203, if the expression of the center line CLH2 is x = f (y), the center line CLH1 in the image SH1 A point corresponding to the image SH2 of the upper point (X1, Y1) is obtained as (f (Y1), Y1). As a result, the association can be performed not by the pixel unit but by the linear equation, and therefore the association can be performed by a real number unit finer than the pixel unit (integer).
なお、対応付け部２０６は、図８のように平行化処理をしていない画像Ｓ１，Ｓ２において設定された中心線ＣＬ１，ＣＬ２を、前記の通りエピポーラ線ＥＬ２を利用して対応付けることができることは明らかである。 Note that the association unit 206 can associate the center lines CL1 and CL2 set in the images S1 and S2 that have not been subjected to parallelization processing as illustrated in FIG. 8 using the epipolar line EL2 as described above. it is obvious.
平行化逆変換部２０７は、平行化画像ＳＨ１，ＳＨ２における対応付け部２０６で対応付けされた中心線ＣＬＨ１，ＣＬＨ２を、変換行列Ｈ１-1，Ｈ２-1にて画像Ｓ１，Ｓ２上に変換する。変換された中心線は、図８における中心線ＣＬ１，ＣＬ２となる。ただし、対応付け部２０６での対応付けは維持した状態とする。変換行列Ｈ１-1，Ｈ２-1は、ステレオ画像平行化部での変換行列Ｈ１，Ｈ２の逆行列であり、平行化逆変換部２０７はステレオ画像平行化部における変換の逆変換をおこなうこととなる。 The parallelization inverse conversion unit 207 converts the center lines CLH1 and CLH2 associated by the association unit 206 in the parallelized images SH1 and SH2 onto the images S1 and S2 using the transformation matrices H1 −1 and H2 −1 . . The converted center lines are center lines CL1 and CL2 in FIG. However, the association in the association unit 206 is maintained. The transformation matrices H1 −1 and H2 −1 are inverse matrices of the transformation matrices H1 and H2 in the stereo image parallelization unit, and the parallelization inverse transformation unit 207 performs inverse transformation of transformation in the stereo image parallelization unit. Become.
なお、平行化逆変換部２０７は、平行化処理をしていない画像Ｓ１，Ｓ２を用いて処理を進めている場合には不要である。また、後述する三次元情報算出部２０８は、対応付けがなされていれば良く、平行化逆変換部２０７による処理は省略することもできる。 Note that the parallelization inverse conversion unit 207 is unnecessary when the processing is being performed using the images S1 and S2 that have not been subjected to the parallelization processing. The three-dimensional information calculation unit 208 described later only needs to be associated, and the processing by the parallelization inverse conversion unit 207 can be omitted.
三次元情報算出部２０８は、平行化逆変換部２０７により得られた対応付けされた中心線ＣＬ１と中心線ＣＬ２を用いて、公知の三角測量の原理より回転体の中心軸の三次元情報を求める。さらに、中心軸の三次元情報と画像Ｓ１，Ｓ２または平行化画像ＳＨ１，ＳＨ２における対象物の画素領域とから、対象物の三次元情報を求める。例えば、対象物の中心軸の三次元情報は、少なくとも２つの対応点から求めることができる。さらに、対象物は求められた中心軸上にあるため、画像Ｓ１，Ｓ２または平行化画像ＳＨ１，ＳＨ２における対象物の画素領域から中心軸上のある対象物の位置を特定できる。これにより、対象物の三次元情報（位置・姿勢）を求めることができる。もちろん、他の公知の方法を適用することは可能である。 The three-dimensional information calculation unit 208 uses the associated center line CL1 and center line CL2 obtained by the parallelization inverse conversion unit 207 to obtain the three-dimensional information of the central axis of the rotating body based on the known triangulation principle. Ask. Further, the three-dimensional information of the object is obtained from the three-dimensional information of the central axis and the pixel area of the object in the images S1 and S2 or the parallel images SH1 and SH2. For example, the three-dimensional information of the central axis of the object can be obtained from at least two corresponding points. Further, since the object is on the obtained central axis, the position of the object on the central axis can be specified from the pixel region of the object in the images S1 and S2 or the parallel images SH1 and SH2. Thereby, the three-dimensional information (position / posture) of the object can be obtained. Of course, other known methods can be applied.
なお、上記のように、平行化画像ＳＨ１，ＳＨ２における対応付けされた中心線ＣＬＨ１，ＣＬＨ２を用いても、公知の三角測量の原理より回転体の中心軸の三次元情報を得ることがきる。 Note that, as described above, three-dimensional information of the central axis of the rotating body can be obtained from the known triangulation principle even if the associated center lines CLH1 and CLH2 in the parallelized images SH1 and SH2 are used.
次に、図９のフローチャートに基づいて、三次元姿勢計測装置１００の処理手順を説明する。
ステップ１（Ｓ１）では、ステレオ画像取得部２０２にて、第１カメラ１１１および第２カメラ１１２に撮像信号を出力し、撮像された画像Ｓ１，Ｓ２を読み込み、一対の画像として図示しない画像処理演算部２００の記憶領域に記憶させる。
Next, a processing procedure of the three-dimensional posture measuring apparatus 100 will be described based on the flowchart of FIG.
In step 1 (S1), the stereo image acquisition unit 202 outputs imaging signals to the first camera 111 and the second camera 112, reads the captured images S1 and S2, and performs image processing calculation (not shown) as a pair of images. Stored in the storage area of the unit 200.
ステップ２（Ｓ２）では、ステレオ画像平行化部２０３にて、第１カメラ１１１および第２カメラ１１２で撮像した一対の画像Ｓ１，Ｓ２を平行カメラで撮影したかのようなステレオ画像ＳＨ１，ＳＨ２に変換する。より詳細には、第１カメラ１１１および第２カメラ１１２で撮像した一対の画像を平行カメラで撮影したかのようなステレオ画像に変換する変換行列Ｈ１，Ｈ２を求め、この変換行列Ｈ１，Ｈ２を用いて第１カメラ１１１，第２カメラ１１２で撮像した画像Ｓ１，Ｓ２を平行化した画像ＳＨ１，ＳＨ２に変換する。なお、変換行列Ｈ１，Ｈ２は予めパラメータ記憶部２０１に記憶されているものを用いることができる。 In step 2 (S2), the stereo image parallelization unit 203 converts the pair of images S1 and S2 captured by the first camera 111 and the second camera 112 into stereo images SH1 and SH2 as if they were captured by the parallel camera. Convert. More specifically, conversion matrices H1 and H2 for converting a pair of images captured by the first camera 111 and the second camera 112 into a stereo image as if captured by a parallel camera are obtained, and the conversion matrices H1 and H2 are obtained. The images S1 and S2 captured by the first camera 111 and the second camera 112 are converted into parallel images SH1 and SH2. Note that the transformation matrices H1 and H2 that are stored in the parameter storage unit 201 in advance can be used.
ステップ３（Ｓ３）では、対象抽出部２０４にて、画像ＳＨ１，ＳＨ２ごとに対象物の領域を抽出する。
ステップ４（Ｓ４）では、中心軸設定部２０５にて、対象抽出部２０４で処理した画像ごとに主成分分析を行い、抽出した対象物の画素領域の主成分軸を求め、予め定められた主成分軸を対象物の中心軸として設定する。例えば、第１主成分軸を中心軸とするように予めパラメータ記憶部２０１に設定を記憶しておくことができる。
In step 3 (S3), the object extraction unit 204 extracts a region of the object for each of the images SH1 and SH2.
In step 4 (S4), the central axis setting unit 205 performs principal component analysis for each image processed by the target extraction unit 204, obtains the principal component axis of the pixel region of the extracted target object, and determines a predetermined main component axis. The component axis is set as the center axis of the object. For example, the setting can be stored in advance in the parameter storage unit 201 so that the first principal component axis is the central axis.
ステップ５（Ｓ５）では、対応付け部２０６にて、中心線設定部２０５で設定された画像ＳＨ１，ＳＨ２の中心線ＣＬＨ１，ＣＬＨ２の対応付けを行う。
ステップ６（Ｓ６）では、平行化逆変換部２０７にて、平行化画像ＳＨ１，ＳＨ２における対応付け部２０６で対応付けされた中心線ＣＬＨ１，ＣＬＨ２を、変換行列Ｈ１-1，Ｈ２-1にて画像Ｓ１，Ｓ２上に変換する。
In step 5 (S5), the associating unit 206 associates the center lines CLH1 and CLH2 of the images SH1 and SH2 set by the center line setting unit 205.
In step 6 (S6), the parallelization inverse transformation unit 207 converts the center lines CLH1 and CLH2 associated by the association unit 206 in the parallelized images SH1 and SH2 into transformation matrices H1 −1 and H2 −1 . The images are converted onto images S1 and S2.
ステップ７（Ｓ７）では、三次元情報算出部２０８にて、平行化逆変換部２０７により得られた対応付けされた中心線ＣＬ１と中心線ＣＬ２を用いて、公知の三角測量の原理より回転体の中心軸の三次元情報を求める。さらに、中心軸の三次元情報と画像Ｓ１，Ｓ２または平行化画像ＳＨ１，ＳＨ２における対象物の画素領域とから、対象物の三次元情報（位置・姿勢）を求める。 In step 7 (S7), the three-dimensional information calculation unit 208 uses the associated center line CL1 and center line CL2 obtained by the parallelization inverse conversion unit 207 to rotate the rotating body according to the known triangulation principle. Find the 3D information of the central axis. Further, the three-dimensional information (position / posture) of the object is obtained from the three-dimensional information of the central axis and the pixel area of the object in the images S1, S2 or the parallel images SH1, SH2.
次に、本発明に係る第２の実施形態について、図を用いて説明をする。
図１０は本発明に係る第２の実施形態における三次元姿勢計測装置の概略構成図である。本発明に係る第１の実施形態における三次元姿勢計測装置との差異点は、平行化逆変換部２０７の有無にある。よって、共通する部分に関する説明は省略する。
Next, a second embodiment according to the present invention will be described with reference to the drawings.
FIG. 10 is a schematic configuration diagram of a three-dimensional posture measuring apparatus according to the second embodiment of the present invention. The difference from the three-dimensional posture measurement apparatus according to the first embodiment of the present invention is the presence / absence of the parallelization inverse transformation unit 207. Therefore, the description regarding a common part is abbreviate | omitted.
図１０において１００ａは三次元姿勢計測装置、１１１は第１カメラ、１１２は第２カメラ、１２１は入力部、１２２は出力部、２００ａは画像処理演算部である。なお、画像処理演算部２００ａは中央処理演算装置（ＣＰＵ）、記憶装置等からなるコンピュータによって実現される。 In FIG. 10, reference numeral 100a denotes a three-dimensional posture measuring device, 111 denotes a first camera, 112 denotes a second camera, 121 denotes an input unit, 122 denotes an output unit, and 200a denotes an image processing calculation unit. The image processing arithmetic unit 200a is realized by a computer including a central processing arithmetic device (CPU), a storage device, and the like.
画像処理演算部２００ａは、パラメータ記憶部２０１、ステレオ画像取得部２０２、ステレオ画像平行化部２０３、対象抽出部２０４、中心軸設定部２０５、対応付け部２０６、三次元情報算出部２０８から構成されている。 The image processing calculation unit 200a includes a parameter storage unit 201, a stereo image acquisition unit 202, a stereo image parallelization unit 203, a target extraction unit 204, a central axis setting unit 205, an association unit 206, and a three-dimensional information calculation unit 208. ing.
なお、パラメータ記憶部２０１、ステレオ画像取得部２０２、ステレオ画像平行化部２０３、対象抽出部２０４、中心軸設定部２０５、対応付け部２０６は、第１の実施形態と共通なので説明を省略する。 Note that the parameter storage unit 201, the stereo image acquisition unit 202, the stereo image collimation unit 203, the target extraction unit 204, the central axis setting unit 205, and the association unit 206 are the same as those in the first embodiment, and thus description thereof is omitted.
三次元情報算出部２０８は、対応付け部２０６により得られた対応付けされた中心線ＣＬＨ１と中心線ＣＬＨ２を用いて、公知の三角測量の原理より回転体の中心軸の三次元情報を求める。さらに、中心軸の三次元情報と画像Ｓ１，Ｓ２または平行化画像ＳＨ１，ＳＨ２における対象物の画素領域とから、対象物の三次元情報を求める。例えば、対象物の中心軸の三次元情報は、少なくとも２つの対応点から求めることができる。さらに、対象物は求められた中心軸上にあるため、画像Ｓ１，Ｓ２または平行化画像ＳＨ１，ＳＨ２における対象物の画素領域から中心軸上のある対象物の位置を特定できる。これにより、対象物の三次元情報（位置・姿勢）を求めることができる。もちろん、他の公知の方法を適用することは可能である。 The three-dimensional information calculation unit 208 obtains the three-dimensional information of the central axis of the rotating body using the known triangulation principle, using the associated center line CLH1 and center line CLH2 obtained by the associating unit 206. Further, the three-dimensional information of the object is obtained from the three-dimensional information of the central axis and the pixel area of the object in the images S1 and S2 or the parallel images SH1 and SH2. For example, the three-dimensional information of the central axis of the object can be obtained from at least two corresponding points. Further, since the object is on the obtained central axis, the position of the object on the central axis can be specified from the pixel region of the object in the images S1 and S2 or the parallel images SH1 and SH2. Thereby, the three-dimensional information (position / posture) of the object can be obtained. Of course, other known methods can be applied.
次に、図１１のフローチャートに基づいて、三次元姿勢計測装置１００ａの処理手順を説明する。
なお、ステップ１（Ｓ１）からステップ５（Ｓ５）までは、第１の実施形態と共通しているので、説明を省略する。
Next, a processing procedure of the three-dimensional posture measuring apparatus 100a will be described based on the flowchart of FIG.
Since Step 1 (S1) to Step 5 (S5) are the same as those in the first embodiment, description thereof is omitted.
ステップ７（Ｓ７）では、三次元情報算出部２０８にては、対応付け部２０６により得られた対応付けされた中心線ＣＬＨ１と中心線ＣＬＨ２を用いて、公知の三角測量の原理より回転体の中心軸の三次元情報を求める。さらに、中心軸の三次元情報と画像Ｓ１，Ｓ２または平行化画像ＳＨ１，ＳＨ２における対象物の画素領域とから、対象物の三次元情報を求める。 In step 7 (S7), the three-dimensional information calculation unit 208 uses the center line CLH1 and the center line CLH2 that are obtained by the association unit 206, and uses the known triangulation principle to determine the rotation body. Find the 3D information of the central axis. Further, the three-dimensional information of the object is obtained from the three-dimensional information of the central axis and the pixel area of the object in the images S1 and S2 or the parallel images SH1 and SH2.
次に、本発明に係る第３の実施形態について、図を用いて説明をする。
図１２は本発明に係る第３の実施形態における三次元姿勢計測装置の概略構成図である。本発明に係る第１の実施形態における三次元姿勢計測装置との差異点は、ステレオ画像平行化部２０３と平行化逆変換部２０７の有無にある。よって、共通する部分に関する説明は省略する。
Next, a third embodiment according to the present invention will be described with reference to the drawings.
FIG. 12 is a schematic configuration diagram of a three-dimensional posture measuring apparatus according to the third embodiment of the present invention. The difference from the three-dimensional posture measurement apparatus according to the first embodiment of the present invention is the presence / absence of the stereo image parallelization unit 203 and the parallelization inverse conversion unit 207. Therefore, the description regarding a common part is abbreviate | omitted.
図１２において１００ｂは三次元姿勢計測装置、１１１は第１カメラ、１１２は第２カメラ、１２１は入力部、１２２は出力部、２００ｂは画像処理演算部である。なお、画像処理演算部２００ｂは中央処理演算装置（ＣＰＵ）、記憶装置等からなるコンピュータによって実現される。 In FIG. 12, 100b is a three-dimensional posture measuring device, 111 is a first camera, 112 is a second camera, 121 is an input unit, 122 is an output unit, and 200b is an image processing calculation unit. The image processing calculation unit 200b is realized by a computer including a central processing calculation device (CPU), a storage device, and the like.
画像処理演算部２００ｂは、パラメータ記憶部２０１、ステレオ画像取得部２０２、対象抽出部２０４、中心軸設定部２０５、対応付け部２０６、三次元情報算出部２０８から構成されている。 The image processing calculation unit 200b includes a parameter storage unit 201, a stereo image acquisition unit 202, a target extraction unit 204, a central axis setting unit 205, an association unit 206, and a three-dimensional information calculation unit 208.
なお、パラメータ記憶部２０１、ステレオ画像取得部２０２は、第１の実施形態とまったく同じ処理を行うので説明を省略する。
対象抽出部２０４は、画像Ｓ１，Ｓ２ごとに対象物の領域を抽出する。例えば、抽出方法としては、予めパラメータ記憶部２０１に記憶されたしきい値に基づいて、二値化により対象物の画素領域を抽出することができる。なお、対象物の画素領域の抽出方法は、二値化に限定されることはなく他の方法を用いることもできる。
Note that the parameter storage unit 201 and the stereo image acquisition unit 202 perform exactly the same processing as in the first embodiment, and a description thereof will be omitted.
The object extraction unit 204 extracts an object area for each of the images S1 and S2. For example, as an extraction method, a pixel region of an object can be extracted by binarization based on a threshold value stored in advance in the parameter storage unit 201. Note that the extraction method of the pixel region of the object is not limited to binarization, and other methods can be used.
中心軸設定部２０５は、対象抽出部２０４で処理した画像ごとに主成分分析を行い、抽出した対象物の画素領域の主成分軸を求め、予め定められた主成分軸を対象物の中心軸として設定する。 The central axis setting unit 205 performs principal component analysis for each image processed by the target extraction unit 204, obtains the principal component axis of the pixel area of the extracted target, and uses the predetermined principal component axis as the central axis of the target Set as.
例えば円柱の場合のモデルを図８に示す。図８の画像Ｓ１，Ｓ２においては、主成分分析による第１主成分軸が対象物である円柱の中心軸を投影した中心線ＣＬ１，ＣＬ２となる。これは、第１主成分軸は標準偏差が最大の軸となるからである。よって、固有値λの最大値を選択し、第１主成分軸を求めることとなる。 For example, a model in the case of a cylinder is shown in FIG. In the images S1 and S2 in FIG. 8, the first principal component axis obtained by principal component analysis is the center lines CL1 and CL2 obtained by projecting the central axis of the cylinder that is the object. This is because the first principal component axis is the axis with the maximum standard deviation. Therefore, the maximum value of the eigenvalue λ is selected to obtain the first principal component axis.
対応付け部２０６は、中心線設定部２０５で設定された画像Ｓ１，Ｓ２の中心線ＣＬ１，ＣＬ２の対応付けを行う。具体的には、画像Ｓ１，Ｓ２において設定された中心線ＣＬ１，ＣＬ２を、前記の通りエピポーラ線ＥＬ２を利用して対応付けを行う。 The association unit 206 associates the center lines CL1 and CL2 of the images S1 and S2 set by the center line setting unit 205. Specifically, the center lines CL1 and CL2 set in the images S1 and S2 are associated using the epipolar line EL2 as described above.
三次元情報算出部２０８は、対応付け部２０６により得られた対応付けされた中心線ＣＬ１と中心線ＣＬ２を用いて、公知の三角測量の原理より回転体の中心軸の三次元情報を求める。さらに、中心軸の三次元情報と画像Ｓ１，Ｓ２における対象物の画素領域とから、対象物の三次元情報を求める。例えば、対象物の中心軸の三次元情報は、少なくとも２つの対応点から求めることができる。さらに、対象物は求められた中心軸上にあるため、画像Ｓ１，Ｓ２における対象物の画素領域から中心軸上のある対象物の位置を特定できる。これにより、対象物の三次元情報（位置・姿勢）を求めることができる。もちろん、他の公知の方法を適用することは可能である。 The three-dimensional information calculation unit 208 obtains the three-dimensional information of the central axis of the rotating body using the known triangulation principle using the associated center line CL1 and center line CL2 obtained by the associating unit 206. Further, the three-dimensional information of the object is obtained from the three-dimensional information of the central axis and the pixel region of the object in the images S1 and S2. For example, the three-dimensional information of the central axis of the object can be obtained from at least two corresponding points. Furthermore, since the target object is on the obtained central axis, the position of the target object on the central axis can be specified from the pixel region of the target object in the images S1 and S2. Thereby, the three-dimensional information (position / posture) of the object can be obtained. Of course, other known methods can be applied.
次に、図１３のフローチャートに基づいて、三次元姿勢計測装置１００ｂの処理手順を説明する。
ステップ１（Ｓ１）では、ステレオ画像取得部２０２にて、第１カメラ１１１および第２カメラ１１２に撮像信号を出力し、撮像された画像Ｓ１，Ｓ２を読み込み、一対の画像として図示しない画像処理演算部２００ｂの記憶領域に記憶させる。
Next, a processing procedure of the three-dimensional posture measuring apparatus 100b will be described based on the flowchart of FIG.
In step 1 (S1), the stereo image acquisition unit 202 outputs imaging signals to the first camera 111 and the second camera 112, reads the captured images S1 and S2, and performs image processing calculation (not shown) as a pair of images. Stored in the storage area of the unit 200b.
ステップ３（Ｓ３）では、対象抽出部２０４にて、画像Ｓ１，Ｓ２ごとに対象物の領域を抽出する。
ステップ４（Ｓ４）では、中心軸設定部２０５にて、対象抽出部２０４で処理した画像ごとに主成分分析を行い、抽出した対象物の画素領域の主成分軸を求め、予め定められた主成分軸を対象物の中心軸として設定する。例えば、第１主成分軸を中心軸とするように予めパラメータ記憶部２０１に設定を記憶しておくことができる。
In step 3 (S3), the object extraction unit 204 extracts an object area for each of the images S1 and S2.
In step 4 (S4), the central axis setting unit 205 performs principal component analysis for each image processed by the target extraction unit 204, obtains the principal component axis of the pixel region of the extracted target object, and determines a predetermined main component axis. The component axis is set as the center axis of the object. For example, the setting can be stored in advance in the parameter storage unit 201 so that the first principal component axis is the central axis.
ステップ５（Ｓ５）では、対応付け部２０６にて、中心線設定部２０５で設定された画像Ｓ１，Ｓ２の中心線ＣＬ１，ＣＬ２の対応付けを行う。
ステップ７（Ｓ７）では、三次元情報算出部２０８にては、対応付け部２０６により得られた対応付けされた中心線ＣＬ１と中心線ＣＬ２を用いて、公知の三角測量の原理より回転体の中心軸の三次元情報を求める。さらに、中心軸の三次元情報と画像Ｓ１，Ｓ２２における対象物の画素領域とから、対象物の三次元情報を求める。
In step 5 (S5), the associating unit 206 associates the center lines CL1 and CL2 of the images S1 and S2 set by the center line setting unit 205.
In step 7 (S7), the three-dimensional information calculation unit 208 uses the center line CL1 and the center line CL2 associated with each other obtained by the association unit 206, and uses the known triangulation principle. Find the 3D information of the central axis. Further, the three-dimensional information of the object is obtained from the three-dimensional information of the central axis and the pixel area of the object in the images S1 and S22.
次に、本発明に係る第４の実施形態について、図を用いて説明をする。
図１４は本発明に係る第４の実施形態における三次元姿勢計測装置の概略構成図である。本発明に係る第１の実施形態における三次元姿勢計測装置との差異点は、モデル画像生成部２０９、パターンマッチング部２１０、物体位置姿勢算出部２１１の有無にある。よって、共通する部分に関する説明は省略する。
Next, a fourth embodiment according to the present invention will be described with reference to the drawings.
FIG. 14 is a schematic configuration diagram of a three-dimensional posture measuring apparatus according to the fourth embodiment of the present invention. The difference from the three-dimensional posture measurement apparatus according to the first embodiment of the present invention is the presence or absence of the model image generation unit 209, the pattern matching unit 210, and the object position / posture calculation unit 211. Therefore, the description regarding a common part is abbreviate | omitted.
図１４において１００ｃは三次元姿勢計測装置、１１１は第１カメラ、１１２は第２カメラ、１２１は入力部、１２２は出力部、２００ｃは画像処理演算部である。なお、画像処理演算部２００ｃは中央処理演算装置（ＣＰＵ）、記憶装置等からなるコンピュータによって実現される。 In FIG. 14, reference numeral 100c denotes a three-dimensional posture measuring device, 111 denotes a first camera, 112 denotes a second camera, 121 denotes an input unit, 122 denotes an output unit, and 200c denotes an image processing calculation unit. The image processing calculation unit 200c is realized by a computer including a central processing calculation device (CPU), a storage device, and the like.
画像処理演算部２００ｃは、パラメータ記憶部２０１、ステレオ画像取得部２０２、ステレオ画像平行化部２０３、対象抽出部２０４、中心軸設定部２０５、対応付け部２０６、平行化逆変換部２０７、三次元情報算出部２０８、モデル画像生成部２０９、パターンマッチング部２１０、物体位置姿勢算出部２１１から構成されている。 The image processing calculation unit 200c includes a parameter storage unit 201, a stereo image acquisition unit 202, a stereo image parallelization unit 203, a target extraction unit 204, a central axis setting unit 205, an association unit 206, a parallelization inverse conversion unit 207, a three-dimensional The information calculation unit 208, model image generation unit 209, pattern matching unit 210, and object position / orientation calculation unit 211 are configured.
なお、パラメータ記憶部２０１、ステレオ画像取得部２０２、ステレオ画像平行化部２０３、対象抽出部２０４、中心軸設定部２０５、対応付け部２０６、平行化逆変換部２０７、三次元情報算出部２０８は、第１の実施形態と共通なので説明を省略する。なお、中心軸設定部２０５において、初期値としては第１主成分軸を中心軸とするように設定されている。 The parameter storage unit 201, the stereo image acquisition unit 202, the stereo image parallelization unit 203, the target extraction unit 204, the central axis setting unit 205, the association unit 206, the parallelization inverse conversion unit 207, and the three-dimensional information calculation unit 208 Since it is common to the first embodiment, the description is omitted. In the central axis setting unit 205, the initial value is set so that the first principal component axis is the central axis.
モデル画像生成部２０９は、三次元情報算出部２０８で得られた対象物の三次元情報に一致する画像Ｓ１またはＳ２における対象物のモデル画像を生成する。
例えば、画像処理演算部２００ｃに予め仮想空間における対象物の３Ｄモデルを記憶しておき、その３Ｄモデルを三次元情報算出部２０８で得られた三次元情報と一致する位置・姿勢にて仮想空間で配置し、仮想空間における第１カメラ１１１または第２カメラ１１２から撮像される仮想の対象物の画像を生成することで、モデル画像を生成できる。また、予め多数の姿勢で撮像された対象物の画像を、撮像時の対象物の中心軸の三次元情報と共に記憶しておき、最も対象物の三次元情報と近似する対象物の画像をモデル画像として抽出するようにしても良い。
The model image generation unit 209 generates a model image of the target in the image S1 or S2 that matches the three-dimensional information of the target obtained by the three-dimensional information calculation unit 208.
For example, a 3D model of an object in the virtual space is stored in advance in the image processing calculation unit 200c, and the 3D model is placed in the virtual space at a position / attitude that matches the 3D information obtained by the 3D information calculation unit 208. The model image can be generated by generating an image of a virtual object captured by the first camera 111 or the second camera 112 in the virtual space. In addition, images of an object captured in a number of postures in advance are stored together with 3D information about the central axis of the object at the time of imaging, and an image of the object that most closely approximates the 3D information of the object is modeled. You may make it extract as an image.
パターンマッチング部２１０は、第１カメラ１１１または第２カメラ１１２で撮像された画像Ｓ１または画像Ｓ２と、モデル画像生成部２０９で生成されたモデル画像とを、パターンマッチング処理により一致するか否かを確認する。パターンマッチングにおいて、マッチングの度合いを示す値と、予め定められたしきい値とを比較し、マッチングの度合いが高い場合には、三次元情報算出部２０８で得られた三次元情報を対象物の位置・姿勢情報とする。一方、マッチングの度合いが低い場合には、中心軸算出部２０５における中心軸の設定において、第２主成分軸を中心軸と設定するように設定変更を行う。 The pattern matching unit 210 determines whether or not the image S1 or the image S2 captured by the first camera 111 or the second camera 112 matches the model image generated by the model image generation unit 209 by pattern matching processing. Check. In pattern matching, a value indicating the degree of matching is compared with a predetermined threshold value. It is position / posture information. On the other hand, when the degree of matching is low, setting is changed so that the second principal component axis is set as the central axis in the setting of the central axis in the central axis calculating unit 205.
なお、パターンマッチング部２１０にて、第２主成分軸を中心軸と設定するように設定変更された場合には、再び中心軸算出部２０５から処理を開始する。
次に、図１５のフローチャートに基づいて、三次元姿勢計測装置１００ｃの処理手順を説明する。
When the setting is changed in the pattern matching unit 210 so that the second principal component axis is set as the central axis, the processing is started again from the central axis calculating unit 205.
Next, a processing procedure of the three-dimensional posture measuring apparatus 100c will be described based on the flowchart of FIG.
ステップ１（Ｓ１）では、ステレオ画像取得部２０２にて、第１カメラ１１１および第２カメラ１１２に撮像信号を出力し、撮像された画像Ｓ１，Ｓ２を読み込み、一対の画像として図示しない画像処理演算部２００の記憶領域に記憶させる。 In step 1 (S1), the stereo image acquisition unit 202 outputs imaging signals to the first camera 111 and the second camera 112, reads the captured images S1 and S2, and performs image processing calculation (not shown) as a pair of images. Stored in the storage area of the unit 200.
ステップ２（Ｓ２）では、ステレオ画像平行化部２０３にて、第１カメラ１１１および第２カメラ１１２で撮像した一対の画像Ｓ１，Ｓ２を平行カメラで撮影したかのようなステレオ画像ＳＨ１，ＳＨ２に変換する。より詳細には、第１カメラ１１１および第２カメラ１１２で撮像した一対の画像を平行カメラで撮影したかのようなステレオ画像に変換する変換行列Ｈ１，Ｈ２を求め、この変換行列Ｈ１，Ｈ２を用いて第１カメラ１１１，第２カメラ１１２で撮像した画像Ｓ１，Ｓ２を平行化した画像ＳＨ１，ＳＨ２に変換する。なお、変換行列Ｈ１，Ｈ２は予めパラメータ記憶部２０１に記憶されているものを用いることができる。 In step 2 (S2), the stereo image parallelization unit 203 converts the pair of images S1 and S2 captured by the first camera 111 and the second camera 112 into stereo images SH1 and SH2 as if they were captured by the parallel camera. Convert. More specifically, conversion matrices H1 and H2 for converting a pair of images captured by the first camera 111 and the second camera 112 into a stereo image as if captured by a parallel camera are obtained, and the conversion matrices H1 and H2 are obtained. The images S1 and S2 captured by the first camera 111 and the second camera 112 are converted into parallel images SH1 and SH2. Note that the transformation matrices H1 and H2 that are stored in the parameter storage unit 201 in advance can be used.
ステップ３（Ｓ３）では、対象抽出部２０４にて、画像ＳＨ１，ＳＨ２ごとに対象物の領域を抽出する。
ステップ４（Ｓ４）では、中心軸設定部２０５にて、対象抽出部２０４で処理した画像ごとに主成分分析を行い、抽出した対象物の画素領域の第１主成分軸を求め、対象物の中心軸として設定する。
In step 3 (S3), the object extraction unit 204 extracts a region of the object for each of the images SH1 and SH2.
In step 4 (S4), the central axis setting unit 205 performs principal component analysis for each image processed by the target extraction unit 204, obtains the first principal component axis of the pixel region of the extracted target, Set as center axis.
ステップ５（Ｓ５）では、対応付け部２０６にて、中心線設定部２０５で設定された画像ＳＨ１，ＳＨ２の中心線ＣＬＨ１，ＣＬＨ２の対応付けを行う。
ステップ６（Ｓ６）では、平行化逆変換部２０７にて、平行化画像ＳＨ１，ＳＨ２における対応付け部２０６で対応付けされた中心線ＣＬＨ１，ＣＬＨ２を、変換行列Ｈ１-1，Ｈ２-1にて画像Ｓ１，Ｓ２上に変換する。
In step 5 (S5), the associating unit 206 associates the center lines CLH1 and CLH2 of the images SH1 and SH2 set by the center line setting unit 205.
In step 6 (S6), the parallelization inverse transformation unit 207 converts the center lines CLH1 and CLH2 associated by the association unit 206 in the parallelized images SH1 and SH2 into transformation matrices H1 −1 and H2 −1 . The images are converted onto images S1 and S2.
ステップ７（Ｓ７）では、三次元情報算出部２０８にて、平行化逆変換部２０７により得られた対応付けされた中心線ＣＬ１と中心線ＣＬ２を用いて、公知の三角測量の原理より回転体の中心軸の三次元情報を求める。さらに、中心軸の三次元情報と画像Ｓ１，Ｓ２または平行化画像ＳＨ１，ＳＨ２における対象物の画素領域とから、対象物の三次元情報（位置・姿勢）を求める。 In step 7 (S7), the three-dimensional information calculation unit 208 uses the associated center line CL1 and center line CL2 obtained by the parallelization inverse conversion unit 207 to rotate the rotating body according to the known triangulation principle. Find the 3D information of the central axis. Further, the three-dimensional information (position / posture) of the object is obtained from the three-dimensional information of the central axis and the pixel area of the object in the images S1, S2 or the parallel images SH1, SH2.
ステップ８（Ｓ８）では、モデル画像生成部２０９にて、三次元情報算出部２０８で得られた対象物の三次元情報に一致する画像Ｓ１またはＳ２における対象物のモデル画像を生成する。 In step 8 (S8), the model image generation unit 209 generates a model image of the target in the image S1 or S2 that matches the three-dimensional information of the target obtained by the three-dimensional information calculation unit 208.
ステップ９（Ｓ９）では、パターンマッチング部２１０にて、第１カメラ１１１または第２カメラ１１２で撮像された画像Ｓ１または画像Ｓ２と、モデル画像生成部２０９で生成されたモデル画像とを、パターンマッチング処理を行い、マッチングの度合い示す値を算出する。 In step 9 (S9), the pattern matching unit 210 performs pattern matching between the image S1 or the image S2 captured by the first camera 111 or the second camera 112 and the model image generated by the model image generation unit 209. Processing is performed to calculate a value indicating the degree of matching.
ステップ１０（Ｓ１０）では、パターンマッチング部２１０にて、マッチングの度合いを示す値と、予め定められたしきい値とを比較し、マッチングの度合いが高い場合には、ステップ１２（Ｓ１２）に進み、三次元情報算出部２０８で得られた三次元情報を対象物の位置・姿勢情報とする。 In step 10 (S10), the pattern matching unit 210 compares the value indicating the degree of matching with a predetermined threshold value. If the degree of matching is high, the process proceeds to step 12 (S12). The three-dimensional information obtained by the three-dimensional information calculation unit 208 is used as the position / posture information of the object.
一方、ステップ１０（Ｓ１０）にて、マッチングの度合いが低いと判断された場合には、ステップ１１（Ｓ１１）に進み、中心軸算出部２０５において第２主成分軸を中心軸と設定し、再びステップ５（Ｓ５）にて中心軸の対応付けから処理を開始する。 On the other hand, if it is determined in step 10 (S10) that the degree of matching is low, the process proceeds to step 11 (S11), the central axis calculation unit 205 sets the second principal component axis as the central axis, and again In step 5 (S5), processing is started from the association of the central axes.
なお、第４の実施形態においては、第２および第３の実施形態にモデル画像生成部２０９、パターンマッチング部２１０、物体位置姿勢算出部２１１を追加した実施形態とすることもできることは、上記第１乃至３の実施形態の説明から明らかである。 In the fourth embodiment, the model image generation unit 209, the pattern matching unit 210, and the object position / orientation calculation unit 211 may be added to the second and third embodiments. It is clear from the description of the first to third embodiments.
また、上記いずれの実施形態においても、主成分分析により対象物の中心線を算出するので、図１６のように輪郭が線状ではない回転体にも適用することができる。
なお、上記いずれの実施形態においても、第１カメラ１１１と第２カメラ１１２とを用いているが、３つ以上の異なる方向から撮像するカメラを画像処理部２００に接続し、ステレオ画像取得部２０２にて３つ以上のカメラで撮像された画像から一対となる異なる２方向から撮像された画像を選択し、選択された異なる２方向から撮像した一対の画像を用いることもできる。
In any of the above embodiments, since the center line of the object is calculated by principal component analysis, the present invention can be applied to a rotating body whose contour is not linear as shown in FIG.
In any of the above embodiments, the first camera 111 and the second camera 112 are used. However, a camera that captures images from three or more different directions is connected to the image processing unit 200, and the stereo image acquisition unit 202 is connected. It is also possible to select images picked up from two different directions as a pair from images picked up by three or more cameras, and use a pair of images picked up from the two different selected directions.
上記の画像の選択に際しては、予めユーザによって選択されたカメラによって撮像された画像とすることができる。また、予め条件をユーザが定めておき、撮像された画像から所定の条件の適合度をステレオ画像取得部２０２にて演算し、適合度が１番目に高い画像と２番目に高い画像とをステレオ画像取得部２０２にて選択することもできる。勿論、他の方法により複数のカメラで撮像された画像から一対となる異なる２つの方向から撮像された画像を選択するようにしても良い。 When the image is selected, an image captured by a camera previously selected by the user can be used. In addition, the user predetermines conditions, and the stereo image acquisition unit 202 calculates the adaptability of the predetermined condition from the captured image, and the image having the first and the second highest adaptability is stereo. It can also be selected by the image acquisition unit 202. Of course, you may make it select the image imaged from two different directions which become a pair from the image imaged with the several camera with the other method.
１００ 三次元位置姿勢測定装置
１１１ 第１カメラ
１１２ 第２カメラ
１２１ 入力部
１２２ 出力部
２００ 画像処理演算部
２０１ パラメータ記憶部
２０２ ステレオ画像取得部
２０３ ステレオ画像平行化部
２０４ 対象抽出部
２０５ 中心軸算出部
２０６ 対応付け部
２０７ 平行化逆変換部
２０８ 三次元情報算出部
２０９ モデル画像生成部
２１０ パターンマッチング部
２１１ 物体位置姿勢算出部
DESCRIPTION OF SYMBOLS 100 Three-dimensional position and orientation measuring apparatus 111 1st camera 112 2nd camera 121 Input part 122 Output part 200 Image processing calculating part 201 Parameter memory | storage part 202 Stereo image acquisition part 203 Stereo image parallelization part 204 Object extraction part 205 Center axis calculation part 206 Associating Unit 207 Parallelizing Inverse Transforming Unit 208 Three-dimensional Information Calculation Unit 209 Model Image Generation Unit 210 Pattern Matching Unit 211 Object Position / Orientation Calculation Unit
Claims (5)
前記一対の画像ごとに、測定対象である前記回転体の画像領域を抽出する測定対象抽出部、
前記一対の画像ごとに、主成分分析により前記回転体の画像領域の主成分軸を算出し、該主成分軸を前記回転体の第１の中心軸として設定する中心軸設定部、
一方の画像における前記回転体の第１の中心軸上の点と、当該点に応じた他方の画像におけるエピポーラ線と他方の画像における前記回転体の第１の中心軸との交点と、を対応付け、前記一対の画像における中心軸を対応付ける中心軸対応付け部、
三角測量の原理により前記対応付けされた中心軸の三次元情報を求め、前記回転体の三次元姿勢を算出する三次元情報算出部、
から構成される三次元姿勢測定装置。 An image acquisition unit that acquires a pair of images obtained by imaging the rotating body from two different directions;
A measurement target extraction unit that extracts an image area of the rotating body that is a measurement target for each of the pair of images,
A central axis setting unit that calculates the principal component axis of the image area of the rotator by principal component analysis for each pair of images and sets the principal component axis as a first central axis of the rotator.
Corresponding the point on the first central axis of the rotating body in one image and the intersection of the epipolar line in the other image corresponding to the point and the first central axis of the rotating body in the other image A central axis associating unit for associating the central axes in the pair of images,
A three-dimensional information calculation unit for obtaining three-dimensional information of the associated central axis according to the principle of triangulation, and calculating a three-dimensional posture of the rotating body,
A three-dimensional posture measuring device composed of
前記画像取得部で取得した一対の画像を各エピポーラ線が平行である一対の変換画像に変換する平行化部を備え、
前記一対の変換画像を前記測定対象抽出部、前記中心軸設定部、前記中心軸対応付け部および前記三次元情報算出部にて処理し、前記回転体の三次元姿勢を算出することを特徴とする三次元姿勢測定装置。 The three-dimensional posture measuring apparatus according to claim 1,
A parallelizing unit that converts the pair of images acquired by the image acquisition unit into a pair of converted images in which each epipolar line is parallel;
The pair of converted images is processed by the measurement object extraction unit, the central axis setting unit, the central axis association unit, and the three-dimensional information calculation unit, and the three-dimensional posture of the rotating body is calculated. 3D posture measuring device.
前記中心軸対応付け部にて得られる中心軸が対応付けされた一対の変換画像を、対応付けを維持しつつ前記平行化部における変換とは逆の変換を行い、中心軸が対応付けられた一対の画像を生成する平行化逆変換部を備え、
前記平行化逆変換部で得られた中心軸が対応つけられた一対の画像を、三次元情報算出部にて処理し、前記回転体の三次元姿勢を算出することを特徴とする三次元姿勢測定装置。 The three-dimensional posture measuring apparatus according to claim 2,
The pair of converted images associated with the central axes obtained by the central axis associating unit is subjected to a reverse conversion to the conversion in the parallelizing unit while maintaining the association, and the central axes are associated. A parallelizing inverse transform unit for generating a pair of images;
A three-dimensional posture characterized by processing a pair of images associated with the central axis obtained by the parallelization inverse transform unit by a three-dimensional information calculation unit and calculating a three-dimensional posture of the rotating body measuring device.
前記三次元情報算出部で算出した三次元姿勢に基づき、前記一対の画像のいずれか一方の画像に対応するモデル画像を生成するモデル画像生成部と、
前記一対の画像のいずれか一方と前記モデル画像とを比較し、両画像が一致するか否かを判断するマッチング部と、
前記マッチング部にて両画像が一致しない場合に、前記中心軸設定部における主成分分析による別の主成分軸を第２の中心軸として設定する中心軸再設定部とをさらに備え、
前記第２の中心軸が設定された場合に、前記第１の中心軸に換わって前記第２の中心軸に基づいて改めて前記中心軸対応付け部にて前記第２の中心軸を対応付けし、前記回転体の三次元姿勢を算出することを特徴とする三次元姿勢測定装置。 The three-dimensional posture measuring apparatus according to any one of claims 1 to 3,
A model image generation unit that generates a model image corresponding to any one of the pair of images based on the three-dimensional posture calculated by the three-dimensional information calculation unit;
A matching unit that compares one of the pair of images with the model image and determines whether or not both images match;
A center axis resetting unit that sets another principal component axis by principal component analysis in the central axis setting unit as a second central axis when both images do not match in the matching unit;
When the second central axis is set, the central axis associating unit associates the second central axis with the second central axis based on the second central axis instead of the first central axis. A three-dimensional posture measuring apparatus for calculating a three-dimensional posture of the rotating body.
前記一対の画像ごとに、測定対象である前記回転体の画像領域を抽出する測定対象抽出ステップ、
前記一対の画像ごとに、主成分分析により前記回転体の画像領域の主成分軸を算出し、該主成分軸を前記回転体の第１の中心軸として設定する中心軸設定ステップ、
一方の画像における前記回転体の中心軸上の点を、当該点に応じた他方の画像におけるエピポーラ線と他方の画像における前記回転体の中心軸との交点と、を対応付け、前記一対の画像における中心軸を対応付ける中心軸対応付けステップ、
三角測量の原理により前記対応付けされた中心軸の三次元情報を求め、前記回転体の三次元姿勢を算出する三次元情報算出ステップ、
からなる三次元姿勢測定方法。 An image acquisition step of acquiring a pair of images obtained by imaging the rotating body from two different directions;
A measurement object extraction step for extracting an image area of the rotating body that is a measurement object for each pair of images,
A central axis setting step for calculating a principal component axis of the image area of the rotating body by principal component analysis for each pair of images and setting the principal component axis as a first central axis of the rotating body;
The point on the central axis of the rotating body in one image is associated with the intersection of the epipolar line in the other image corresponding to the point and the central axis of the rotating body in the other image, and the pair of images A central axis associating step for associating central axes in
A three-dimensional information calculation step for obtaining three-dimensional information of the associated central axis according to the principle of triangulation, and calculating a three-dimensional posture of the rotating body,
A three-dimensional posture measurement method comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009169197A JP2011022084A (en) | 2009-07-17 | 2009-07-17 | Device and method for measuring three-dimensional pose |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009169197A JP2011022084A (en) | 2009-07-17 | 2009-07-17 | Device and method for measuring three-dimensional pose |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2011022084A true JP2011022084A (en) | 2011-02-03 |
Family
ID=43632287
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009169197A Pending JP2011022084A (en) | 2009-07-17 | 2009-07-17 | Device and method for measuring three-dimensional pose |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2011022084A (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102014016072A1 (en) | 2013-11-05 | 2015-07-02 | Fanuc Corporation | Apparatus and method for picking up an arbitrarily stacked object by means of a robot |
| JP2015203680A (en) * | 2014-04-16 | 2015-11-16 | キヤノン株式会社 | Information processing device, method, and program |
| JP2019030570A (en) * | 2017-08-09 | 2019-02-28 | 国立大学法人弘前大学 | Position estimation device, automatic injection device and position estimation method |
| CN112629409A (en) * | 2020-11-30 | 2021-04-09 | 江苏科技大学 | Method for extracting line structure light stripe center |
-
2009
- 2009-07-17 JP JP2009169197A patent/JP2011022084A/en active Pending
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102014016072A1 (en) | 2013-11-05 | 2015-07-02 | Fanuc Corporation | Apparatus and method for picking up an arbitrarily stacked object by means of a robot |
| US9721184B2 (en) | 2013-11-05 | 2017-08-01 | Fanuc Corporation | Apparatus and method for picking up article randomly piled using robot |
| DE102014016072B4 (en) | 2013-11-05 | 2019-02-14 | Fanuc Corporation | Apparatus and method for picking up an arbitrarily stacked object by means of a robot |
| JP2015203680A (en) * | 2014-04-16 | 2015-11-16 | キヤノン株式会社 | Information processing device, method, and program |
| JP2019030570A (en) * | 2017-08-09 | 2019-02-28 | 国立大学法人弘前大学 | Position estimation device, automatic injection device and position estimation method |
| CN112629409A (en) * | 2020-11-30 | 2021-04-09 | 江苏科技大学 | Method for extracting line structure light stripe center |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106595528B (en) | A kind of micro- binocular stereo vision measurement method of telecentricity based on digital speckle | |
| JP6330987B2 (en) | Image processing apparatus, image processing method, and storage medium | |
| US20200284573A1 (en) | Position and orientation measuring apparatus, information processing apparatus and information processing method | |
| JP6573354B2 (en) | Image processing apparatus, image processing method, and program | |
| JP5671281B2 (en) | Position / orientation measuring apparatus, control method and program for position / orientation measuring apparatus | |
| JP6271953B2 (en) | Image processing apparatus and image processing method | |
| JP6092530B2 (en) | Image processing apparatus and image processing method | |
| WO2014061372A1 (en) | Image-processing device, image-processing method, and image-processing program | |
| JP2011179907A (en) | Device and method for measuring position and attitude, and program | |
| JP2016075637A (en) | Information processing apparatus and method for the same | |
| WO2020031950A1 (en) | Measurement calibration device, measurement calibration method, and program | |
| JP2016197287A (en) | Information processing apparatus, information processing method, and program | |
| US11488354B2 (en) | Information processing apparatus and information processing method | |
| CN112184811B (en) | Monocular space structured light system structure calibration method and device | |
| JP2006214893A (en) | Computer software program for measuring three-dimensional shape of object using object measuring method and computer system | |
| JP2016217941A (en) | Three-dimensional evaluation device, three-dimensional data measurement system and three-dimensional measurement method | |
| JP5976089B2 (en) | Position / orientation measuring apparatus, position / orientation measuring method, and program | |
| JP2008309595A (en) | Object recognizing device and program used for it | |
| JP6347610B2 (en) | Image processing apparatus and three-dimensional spatial information acquisition method | |
| JP2011022084A (en) | Device and method for measuring three-dimensional pose | |
| Siddique et al. | 3d object localization using 2d estimates for computer vision applications | |
| CN117350996A (en) | Method and system for adjusting field of view range of industrial endoscope | |
| JP7230722B2 (en) | Image processing device and image processing method | |
| WO2019058487A1 (en) | Three-dimensional reconstructed image processing device, three-dimensional reconstructed image processing method, and computer-readable storage medium having three-dimensional reconstructed image processing program stored thereon | |
| JP6584139B2 (en) | Information processing apparatus, information processing method, and program |