JP2012008657A - Apparatus and method for generating object shape - Google Patents
Apparatus and method for generating object shape Download PDFInfo
- Publication number
- JP2012008657A JP2012008657A JP2010141896A JP2010141896A JP2012008657A JP 2012008657 A JP2012008657 A JP 2012008657A JP 2010141896 A JP2010141896 A JP 2010141896A JP 2010141896 A JP2010141896 A JP 2010141896A JP 2012008657 A JP2012008657 A JP 2012008657A
- Authority
- JP
- Japan
- Prior art keywords
- shape
- information
- target object
- angle
- connection information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Image Processing (AREA)
- Image Generation (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明の実施形態は、3次元形状の物体形状情報を生成する技術に関する。 Embodiments described herein relate generally to a technique for generating three-dimensional object shape information.
従来、画像処理により3次元形状の物体形状を検出する方法として、距離画像と3次元モデルを使用する方法がある。この方法は、距離画像と、予め作成された3次元モデルとを、誤差評価と処理速度予測に基づいて設定した基準に従って、距離画像から照合に適した領域を選定して照合する。また、3次元モデルを生成する方法としては、点群データからエッジと面を抽出する方法や、2次元画像集合から物体の3次元モデルを半自動で作成する方法がある。 Conventionally, as a method of detecting a three-dimensional object shape by image processing, there is a method of using a distance image and a three-dimensional model. In this method, a distance image and a three-dimensional model created in advance are collated by selecting a region suitable for collation from the distance image according to a standard set based on error evaluation and processing speed prediction. As a method for generating a three-dimensional model, there are a method for extracting edges and planes from point cloud data, and a method for semi-automatically creating a three-dimensional model of an object from a two-dimensional image set.
画像処理により3次元形状の物体形状を抽出し、また物体認識を行うためには、3次元モデルを使用する方法が有効である。そこで、3次元モデルを、入力データとして取得できる距離画像から自動的に生成する方法を実現するという課題がある。 A method using a three-dimensional model is effective for extracting a three-dimensional object shape by image processing and performing object recognition. Therefore, there is a problem of realizing a method of automatically generating a three-dimensional model from a distance image that can be acquired as input data.
本実施形態によれば、物体形状生成装置は、入力手段と、形状抽出手段と、接続情報取得手段と、生成手段とを備えた構成である。入力手段は、対象物体の複数の距離画像を取得する。形状抽出手段は、前記各距離画像を使用して、前記対象物体を構成する各部分の形状情報を抽出する。接続情報取得手段は、前記各部分の相対位置及び角度を表す座標情報を含む接続情報を取得する。生成手段は、前記形状情報及び前記接続情報に基づいて、前記対象物体の3次元モデルを生成する。 According to the present embodiment, the object shape generation apparatus includes an input unit, a shape extraction unit, a connection information acquisition unit, and a generation unit. The input means acquires a plurality of distance images of the target object. The shape extracting means extracts shape information of each part constituting the target object using each distance image. The connection information acquisition means acquires connection information including coordinate information representing the relative position and angle of each part. The generation unit generates a three-dimensional model of the target object based on the shape information and the connection information.
以下図面を参照して、実施形態を説明する。 Embodiments will be described below with reference to the drawings.
[物体形状生成装置の構成]
図1は、実施形態に関する物体形状生成装置の構成を説明するためのブロック図である。
[Configuration of object shape generator]
FIG. 1 is a block diagram for explaining a configuration of an object shape generation apparatus according to the embodiment.
図1に示すように、物体形状生成装置は、画像入力装置(距離画像取得部)10と、入力インターフェース11と、表示出力装置12と、3次元モデルデータベース(3次元モデルDB)13と、画像処理部14とを有する。
As shown in FIG. 1, the object shape generation device includes an image input device (distance image acquisition unit) 10, an
画像入力装置10は、例えばステレオカメラやレンジファインダからなり、対象物体100の距離画像を取得する。距離画像とは、カメラやレンジファインダにより3次元的に計測された対象物体の特定形状を検出できる画像データである。
The
入力インターフェース11は、画像入力装置10により取得された距離画像を画像処理部14に転送する。画像入力装置10は、3次元モデルを作成するための距離画像として、対象物体100の部品101,102の相対位置及び角度に応じた複数の距離画像(複数枚の画像)を取得する。即ち、画像入力装置10は、部品101,102間の相対位置及び角度を変えて撮影し、各撮影により得られる複数の距離画像を入力する。
The
画像処理部14は、入出力インターフェース15と、形状抽出部16と、接続情報算出部17と、画像認識部18とを有する。入出力インターフェース15は、入力インターフェース11から転送された距離画像を、形状抽出部16、接続情報算出部17及び画像認識部18のそれぞれに提供する。
The
形状抽出部16は、距離画像に基づいて対象物体100の部品101,102の形状情報を抽出する。ここで、形状抽出部16は、複数の距離画像を入力して、対象物体100の被写体表面を表す点群データまたはメッシュデータとして処理する。接続情報算出部17は、複数の距離画像と形状抽出部16により抽出された形状情報に基づいて、接続情報を算出する。接続情報は、部品101,102間の相対位置及び角度で定義される座標系の制約、及び各距離画像における状態を定義した情報である。
The
画像処理部14は、対象物体100を構成する各部品101,102の形状情報と接続情報で定義する3次元モデルを生成する。画像処理部14は、生成した3次元モデルを、入出力インターフェース15を介して3次元モデルDB13に保存する。画像処理部14は、必要に応じて生成した3次元モデルを、表示出力装置12の画面上に表示するように制御する。
The
画像認識部18は、取得した距離画像と、3次元モデルDB13に保存されている3次元モデルを使用し、対象物体100の画像認識処理を行なう。画像処理部14は、画像認識部18の認識結果を、表示出力装置12の画面上に表示するように制御する。
The
[物体形状生成装置の動作]
以下、実施形態の物体形状検出装置の動作を説明する。
[Operation of object shape generator]
Hereinafter, the operation of the object shape detection apparatus of the embodiment will be described.
まず、図2から図4を参照して、実施形態に関する3次元モデルの具体例を説明する。 First, a specific example of a three-dimensional model according to the embodiment will be described with reference to FIGS.
図2に示すように、対象物体のモデルとして、第1の部品101、第2の部品102、及び接続部105から構成される3次元モデルを想定する。この3次元モデルは、第1の部品101と第2の部品102とが接続部105により接続されている。
As illustrated in FIG. 2, a three-dimensional model including a
第1の部品101と第2の部品102の相対位置及び角度は、接続部105により制約を受ける。従って、この対象物体の3次元モデルは、第1の部品101の形状情報及びその位置・角度を表す座標系(座標情報)103、第2の部品102の形状情報及びその位置・角度を表す座標系(座標情報)104、及び2個の座標系(103、104)の相対位置及び角度の制約と状態で定義される。
The relative positions and angles of the
また、図3に示すように、対象物体のモデルとして、第1の部品201が第2の部品202に対して、接続部205の回転軸206周りに回転(207)する構造の3次元モデルを想定する。この対象物体の3次元モデルは、第1の部品201の座標系(座標情報)203が、第2の部品の座標系(座標情報)204に対して回転軸206周りに回転するという制約を有する。この場合、第1の部品201の座標系203における第2の部品の座標系204に対する状態は、予め基準位置・角度を定義し、そこからの回転角度によって表わされる。
Further, as shown in FIG. 3, as a model of the target object, a three-dimensional model having a structure in which the
さらに、図4に示すように、対象物体のモデルとして、第1の部品301が第2の部品302に対して直線方向(305)に移動可能な構造の3次元モデルを想定する。この対象物体の3次元モデルは、第1の部品301の座標系(座標情報)303は、第2の部品302の座標系(座標情報)304に対して直線方向(305)に移動するという制約を有し、かつ状態が予め設定した基準位置からの移動量によって表わされる。
Furthermore, as shown in FIG. 4, a three-dimensional model having a structure in which the
この他に、例えば第1の部品が第2の部品に対して平面上で動く場合、1点を中心に回転する構造、またはある曲線や曲面に沿って動く構造、あるいは例えばボルトとネジのように平行移動しながら回転する構造の3次元モデルを想定できる。このような3次元モデルにおいても、各部品の形状(形状情報)、各部品の座標系(座標情報)、及び部品の座標系同士の制約と状態によって表わされる。さらに、2個以上の部品の制約の組み合わせの下に動く構造の3次元モデルの場合も同様である。 In addition, for example, when the first part moves on a plane with respect to the second part, a structure that rotates around one point, a structure that moves along a curved line or curved surface, or a bolt and a screw, for example A three-dimensional model of a structure that rotates while moving in parallel can be assumed. Such a three-dimensional model is also represented by the shape (shape information) of each component, the coordinate system (coordinate information) of each component, and the constraints and states of the component coordinate systems. The same applies to a three-dimensional model having a structure that moves under a combination of constraints of two or more parts.
次に、図5のフローチャートを参照して、実施形態の物体形状生成装置の動作を説明する。 Next, the operation of the object shape generation device of the embodiment will be described with reference to the flowchart of FIG.
まず、物体形状生成装置は、画像入力装置(距離画像取得部)10により、対象物体の部品の位置および角度を変えて撮影して得られる複数の距離画像を入力する(ステップS1)。画像処理部14は、入力した複数の距離画像を、対象物体の被写体表面の3次元位置座標を表す頂点で構成される点群データまたはメッシュデータとして取り扱う。具体的には、画像入力装置(距離画像取得部)10により、図6に示すような距離画像601を取得する。この距離画像601は、距離が近いほど、輝度が明るい画像情報である。画像処理部14は、図7に示すように、距離画像601に対応するメッシュデータ602として取り扱う。
First, the object shape generation device inputs a plurality of distance images obtained by photographing with the image input device (distance image acquisition unit) 10 while changing the position and angle of the component of the target object (step S1). The
画像処理部14では、形状抽出部16は、複数の距離画像から2枚の画像を選出し、これに基づいて物体の部分形状(形状情報)を抽出する(ステップS2、S3)。形状抽出部16は、この抽出処理を、全てまたは一部の距離画像対について実行し、抽出された複数の部分形状を統合する(ステップS4、S5)。形状抽出部16は、統合された最終的な物体形状(形状情報)を出力する(ステップS6)。なお、形状抽出部16は、距離画像が2枚の場合は、物体部分形状の抽出処理を実行するだけでよい(ステップS3)。
In the
ここで、形状抽出部16は、複数の物体または部品形状を抽出する場合に、1個の物体または部品を抽出した後、その部品を構成する頂点を除去した後の前記点群データを使用して、同様に他の物体または部品の形状情報を算出する。
Here, when extracting a plurality of object or part shapes, the
次に図8のフローチャートを参照して、形状抽出部16の物体部分形状の抽出処理(ステップ3)の手順を説明する。
Next, the procedure of the object part shape extraction process (step 3) of the
形状抽出部16は、複数の距離画像のうち1組の距離画像対(距離画像1、距離画像2)を入力して、物体形状の抽出処理を実行する(ステップS11,S12)。形状抽出部16は、入力として2枚の距離画像(距離画像1、距離画像2)を点群データまたはメッシュデータとして取り扱う。
The
形状抽出部16は、入力した距離画像1の対象物体の表面を表す頂点が、3次元空間で距離画像2の対象物体の表面を表す頂点と重なるように、3次元位置座標の変換パラメータを算出する(ステップS13)。変換パラメータは、例えば、物体の座標系の3次元空間中での原点位置と各軸方向で構成される4×4行列のパラメータである。また、変換パラメータは、例えば、物体の角度を表す四元数と原点位置を表す3次元座標値、または物体の角度を表す3個のオイラー角の組と原点位置を表す3次元座標値である。さらに、変換パラメータとしては、これらのパラメータに拡大縮小成分を加えたものなどがある。
The
形状抽出部16は、算出された変換パラメータを使用して距離画像1を変換し、距離画像2と比較して、2枚の距離画像間での重なり領域を抽出する(ステップS14,S15)。形状抽出部16は、この抽出した重なり領域に基づいて、物体形状(形状情報)を出力する(ステップS16)。ここで、重なり領域の具体例としては、例えば一方の距離画像1の頂点のうち、もう一方の距離画像2の頂点が一定距離以内に存在する頂点の集合として判定されたものである。
The
次に、図9のフローチャートを参照して、変換パラメータの算出方法の手順を説明する。 Next, the procedure of the conversion parameter calculation method will be described with reference to the flowchart of FIG.
形状抽出部16は、1組の距離画像対(距離画像1、距離画像2)を入力すると、それぞれの距離画像1,2について領域分割処理を実行する(ステップS21〜S24)。さらに、形状抽出部16は、分割した領域のそれぞれについて特徴量を算出する(ステップS25,S26)。
When the pair of distance images (
ここで、領域分割処理は、少なくとも個々の物体または部品がその他の部分から分離されるような処理である。領域分割処理の手法としては、例えば、距離画像1,2をメッシュデータとして扱う場合に、各エッジについて予め局所形状が平面または凸形状で高い値をとり、凹形状で低い値をとるコストを算出し、初期状態として全ての頂点を別の分割領域としてコストが最も小さくなるように領域対を結合し、指定した領域数になるまでこれを繰り返す方法がある。結合する領域の選出基準には、領域の大きさなどを用いてもよい。また、領域分割処理の手法としては、例えば、距離画像の2次微分により形状が凸形状または凹形状である箇所を検出し利用するなどの方法でもよい。
Here, the area dividing process is a process in which at least individual objects or parts are separated from other parts. As a method of area division processing, for example, when
さらに、算出する特徴量としては、例えば、法線方向を球体を近似する多面体の面にプロットしてヒストグラム化したEGI(Extended Gaussian Image)や、周辺形状を注目点の法線方向と法線からの距離に応じてプロットしたspin imageなどが用いられる。 Further, as the feature quantity to be calculated, for example, an EGI (Extended Gaussian Image) obtained by plotting the normal direction on the surface of a polyhedron approximating a sphere and forming a histogram, and the surrounding shape from the normal direction and normal of the target point The spin image plotted according to the distance is used.
次に、形状抽出部16は、2枚の距離画像中の分割領域の間での特徴量の類似度を算出する(ステップS27)。形状抽出部16は、例えば特徴量の内積や距離に基づいて類似度を算出する。また、形状抽出部16は、特徴量としてEGIを使う場合に、物体の撮影角度による違いを吸収するために、法線方向をプロットした多面体を回転させた場合の対応面の全てについて特徴量間の類似度を算出し、最大の類似度値を類似度算出結果として出力する。
Next, the
ここで、分割領域間の類似度の算出方法としては、領域内の頂点の法線方向を球体を近似する多角形にプロットして作成した法線方向のヒストグラムを分割領域の特徴量とする。さらに、多角形を回転させた場合の面の対応すべてについて特徴量間の類似度を算出し、類似度が最大となるものを類似度算出結果とする。なお、分割領域の特徴量の値により、類似度に重み付けをしてもよい。 Here, as a method for calculating the similarity between the divided regions, a normal direction histogram created by plotting the normal direction of the vertices in the region to a polygon approximating a sphere is used as the feature amount of the divided region. Furthermore, the similarity between the feature amounts is calculated for all the correspondences of the faces when the polygon is rotated, and the similarity is calculated as the similarity calculation result. Note that the degree of similarity may be weighted according to the feature value of the divided area.
次に、形状抽出部16は、分割領域間の位置関係、距離、法線方向の違いなどによる制約の下に、総類似度の高い対応領域の組み合わせの候補を選出する(ステップS28)。ここで、対応領域の類似度に加えて、各領域の位置関係、距離関係、角度関係の整合性について制約または類似度への重み付けを行なう処理を実行してもよい。図10は、対応領域の組み合わせの具体例を示す図であり、距離画像対901,902について3組の対応領域(903と906、904と907、905と908)を選出した例である。
Next, the
形状抽出部16は、これらの対応領域の基準位置同士(909と912,910と913,911と914)の距離が最小となるような距離画像1の変換パラメータを、最小2乗法等の方法で求めて、距離画像1を変換する(ステップS29)。最後に後処理として、形状抽出部16は、ICP(Iterative Closest Point)法等の方法により、対応領域(903,904,905,906,907,908)内の頂点が重なるように変換パラメータを調整して形状による位置合わせ処理を実行する(ステップS30)。形状抽出部16は、この位置合わせに基づいて対応領域の基準位置の距離が最小となる変換パラメータを出力する(ステップS31)。ここで、対応領域の基準位置とは、領域の外接矩形の中心位置または領域内の頂点の重心位置である。
The
図11は、接続情報算出部17の算出処理の手順を説明するためのフローチャートである。図11に示すように、接続情報算出部17は、形状抽出部16から、複数の距離画像中の距離画像対に基づいて算出された変換パラメータ群と部品形状群(形状情報)を入力する(ステップS41,S42)。
FIG. 11 is a flowchart for explaining the procedure of the calculation process of the connection
接続情報算出部17は、入力された部品形状毎に座標系(座標情報)を設定する(ステップS43)。さらに、接続情報算出部17は、入力された変換パラメータと部品形状毎に設定した座標系に基づいて、距離画像中の部品形状間の相対座標系のパラメータを算出する(ステップS44)。接続情報算出部17は、同じ部品対の複数の相対座標系パラメータに基づいて、その部品対の相対位置・角度に関する制約および各距離画像における状態を算出し、これを接続情報として出力する(ステップS45,S46)。
The connection
ここで、各部品間の制約と状態を表すパラメータとして、相対位置が直線上で変化する場合は、制約が直線上のある基準位置と移動方向とで定義する移動量である。また、部品間の相対位置が平面上で変化する場合は、制約が平面上のある基準位置と平面の法線方向とで定義する平面上の1点を表す座標値である。部品間の相対位置及び角度が1軸を中心に変化する場合は、制約が回転中心位置、回転中心軸方向、及び基準角度で定義する回転量である。部品間の相対位置及び角度が1点を中心に変化する場合は、制約が回転中心位置、基準位置及び回転方向で定義する基準位置からの回転角度である。さらに、部品間の相対位置及び角度がある曲線または曲面に沿って変化する場合は、制約が曲線または曲面を定義する制御点と基準位置で定義する曲線上または曲面上の1点を表すパラメータである。 Here, when the relative position changes on a straight line as a parameter representing the restriction and state between the components, the restriction is a movement amount defined by a certain reference position on the straight line and the movement direction. When the relative position between components changes on the plane, the constraint is a coordinate value representing one point on the plane defined by a certain reference position on the plane and the normal direction of the plane. When the relative position and angle between parts change about one axis, the constraint is the rotation amount defined by the rotation center position, the rotation center axis direction, and the reference angle. When the relative position and angle between parts change around one point, the constraint is the rotation angle from the reference position defined by the rotation center position, the reference position, and the rotation direction. In addition, when the relative position and angle between parts change along a curve or curved surface, the constraint is a control point that defines the curve or curved surface and a parameter that represents one point on the curve or curved surface defined by the reference position. is there.
以上のようにして本実施形態によれば、対象物体を撮影して得られる複数の距離画像を使用して、複数の部品(部分形状)から構成される物体に関して、形状情報と接続情報で定義される3次元モデルを自動生成することができる。即ち、位置及び角度が固定でない複数の部品で構成される物体について、各部品の形状、及び部品間の可動部や可動範囲等の情報を含む形状・構造モデルである3次元モデルを自動生成して、3次元モデルDB13に保存することができる。なお、形状情報と接続情報に基づいて、前記各部品間の衝突判定を行うことにより、接続情報における各部分間の稼動範囲に制約を与えた3次元モデルを生成するようにしてもよい。
As described above, according to the present embodiment, an object composed of a plurality of parts (partial shapes) is defined by shape information and connection information using a plurality of distance images obtained by photographing a target object. The generated three-dimensional model can be automatically generated. That is, for an object composed of a plurality of parts whose positions and angles are not fixed, a three-dimensional model, which is a shape / structure model including information such as the shape of each part, and movable parts and movable ranges between parts, is automatically generated. Can be stored in the three-
ここで、画像認識部18は、前述した方法により生成されて、3次元モデルDB13に保存されている3次元モデル及び画像入力装置10から取得された距離画像を使用し、対象物体の画像認識処理を行なうことができる。具体的には、図12(A),(B)に示すように、例えば携帯電話などの対象物体の画像認識を行なうことができる。ここで、画像認識部18は、取得された距離画像に基づいて携帯電話などの対象物体を識別できる。また、画像認識部18は、3次元モデルDB13に保存されている3次元モデル(形状・構造モデル)に基づいて、オブジェクト座標系1200、リンク情報(相対距離、角度)1201及び形状情報1202を取得することで、対象物体の各部品(携帯電話のディスプレイやキーボードなど)間の制約や状態などを自動認識することが可能となる。
Here, the
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。 Note that the present invention is not limited to the above-described embodiment as it is, and can be embodied by modifying the constituent elements without departing from the scope of the invention in the implementation stage. In addition, various inventions can be formed by appropriately combining a plurality of components disclosed in the embodiment. For example, some components may be deleted from all the components shown in the embodiment. Furthermore, constituent elements over different embodiments may be appropriately combined.
10…画像入力装置(距離画像取得部)、11…入力インターフェース、
12…表示出力装置、13…3次元モデルデータベース(3次元モデルDB)、
14…画像処理部、15…入出力インターフェース、16…形状抽出部、
17…接続情報算出部、18…画像認識部、100…対象物体、101,102…部品。
10 ... image input device (distance image acquisition unit), 11 ... input interface,
12 ... Display output device, 13 ... 3D model database (3D model DB),
14 ... image processing unit, 15 ... input / output interface, 16 ... shape extraction unit,
17 ... Connection information calculation unit, 18 ... Image recognition unit, 100 ... Target object, 101, 102 ... Parts.
Claims (14)
前記各距離画像を使用して、前記対象物体を構成する各部分の形状情報を抽出する形状抽出手段と、
前記各部分の相対位置及び角度を表す座標情報を含む接続情報を取得する接続情報取得手段と、
前記形状情報及び前記接続情報に基づいて、前記対象物体の3次元モデルを生成する生成手段と
を具備したことを特徴とする物体形状生成装置。 Input means for acquiring a plurality of distance images of the target object;
Shape extraction means for extracting shape information of each part constituting the target object using the distance images;
Connection information acquisition means for acquiring connection information including coordinate information representing the relative position and angle of each part;
An object shape generation apparatus comprising: generation means for generating a three-dimensional model of the target object based on the shape information and the connection information.
前記各距離画像を、前記対象物体の表面の3次元位置座標を表す頂点で構成される点群データまたは当該頂点とその隣接情報で構成されるメッシュデータとして取り扱うことで、前記形状情報を算出するように構成されていることを特徴とする請求項1に記載の物体形状生成装置。 The shape extraction means includes
The shape information is calculated by treating each distance image as point cloud data composed of vertices representing the three-dimensional position coordinates of the surface of the target object or mesh data composed of the vertices and their adjacent information. The object shape generation apparatus according to claim 1, wherein the object shape generation apparatus is configured as described above.
複数の距離画像の中で1組の距離画像対において、両方の前記点群データの対象物体表面を表す頂点が重なり合う3次元位置座標の変換パラメータを算出するパラメータ算出手段と、
前記変換パラメータにより座標変換された前記点群データの重なり領域を、前記対象物体の表面形状またはその一部として抽出し、当該抽出結果を組み合わせて前記形状情報を算出するように構成されていることを特徴とする請求項2に記載の物体形状生成装置。 The shape extraction means includes
Parameter calculating means for calculating a conversion parameter of three-dimensional position coordinates in which a vertex representing the target object surface of both of the point cloud data overlaps in a pair of distance images among a plurality of distance images;
An overlapping region of the point cloud data coordinate-converted by the conversion parameter is extracted as a surface shape of the target object or a part thereof, and the shape information is calculated by combining the extraction results. The object shape generation device according to claim 2.
前記各部分毎の位置及び角度を表す座標系を定義し、前記各部分に関する相対位置と角度を前記各部分間の制約と状態を表すパラメータで定義した前記接続情報を算出するように構成されていることを特徴とする請求項1から請求項3のいずれか1項に記載の物体形状生成装置。 The connection information acquisition means
A coordinate system representing the position and angle for each part is defined, and the connection information is defined to define the relative position and angle for each part with parameters representing the constraints and states between the parts. The object shape generation device according to any one of claims 1 to 3, wherein the object shape generation device is provided.
前記距離画像及び前記3次元モデルを使用して、対象物体の画像認識処理を実行する画像認識手段と
を含むことを特徴とする請求項1に記載の物体形状生成装置。 Database means for storing the three-dimensional model generated by the generating means;
The object shape generation apparatus according to claim 1, further comprising: an image recognition unit that performs image recognition processing of a target object using the distance image and the three-dimensional model.
物体の座標系の3次元空間中での原点位置と各軸方向で構成される4×4行列のパラメータ、物体の角度を表す四元数と原点位置を表す3次元座標値、物体の角度を表す3個のオイラー角の組と原点位置を表す3次元座標値、あるいはこれらのパラメータに拡大縮小成分を加えたパラメータのいずれかを前記変換パラメータとして算出することを特徴とする請求項3に記載の物体形状生成装置。 The parameter calculation means includes
4x4 matrix parameters composed of the origin position and the direction of each axis in the three-dimensional space of the object coordinate system, a quaternion representing the angle of the object, a three-dimensional coordinate value representing the origin position, and the angle of the object 4. The conversion parameter is calculated as any one of a set of three Euler angles and a three-dimensional coordinate value representing an origin position, or a parameter obtained by adding an enlargement / reduction component to these parameters. Object shape generator.
前記各距離画像の領域分割処理を実行し、
前記領域分割処理により分割した各領域の特徴量を算出し、
前記分割領域間での特徴量の類似度を算出し、
前期分割領域間の位置関係による制約の下に、前記類似度の高い対応領域の組み合わせの候補を選出し、
前記対応領域の基準位置の距離が最小となる前記変換パラメータを算出するように構成されていることを特徴とする請求項3に記載の物体形状生成装置。 The parameter calculation means includes
Performing a region dividing process for each distance image;
Calculate the feature amount of each area divided by the area dividing process,
Calculating the similarity of the feature amount between the divided regions;
Under the restriction due to the positional relationship between the previous divided areas, a candidate for a combination of corresponding areas with high similarity is selected,
The object shape generation apparatus according to claim 3, wherein the conversion parameter is configured to calculate the conversion parameter that minimizes the distance between the reference positions of the corresponding areas.
前記類似度を算出する手段として、領域内の頂点の法線方向を球体を近似する多角形にプロットして作成した法線方向のヒストグラムを分割領域の特徴量とし、多角形を回転させた場合の面の対応すべてについて特徴量間の類似度の中で類似度が最大となるものを類似度算出結果として出力するように構成されていることを特徴とする請求項7に記載の物体形状生成装置。 The parameter calculation means includes
As a means for calculating the similarity, when the normal direction histogram created by plotting the normal direction of vertices in a region to a polygon approximating a sphere is used as a feature value of the divided region, and the polygon is rotated 8. The object shape generation according to claim 7, wherein among the correspondences of all the planes, the similarity between the feature quantities having the maximum similarity is output as a similarity calculation result. apparatus.
前記対応領域の組み合わせの候補を選出する手段として、
対応領域の類似度に加えて、各領域の位置関係、距離関係、角度関係の整合性について制約または類似度への重み付けを行なうように構成されていることを特徴とする請求項7に記載の物体形状生成装置。 The parameter calculation means includes
As a means for selecting candidates for the combination of the corresponding regions,
The configuration according to claim 7, wherein, in addition to the similarity of the corresponding region, a restriction or weighting is performed on the consistency of the positional relationship, the distance relationship, and the angular relationship of each region. Object shape generation device.
対応領域内の頂点が重なるように、前記変換パラメータを調整する後処理を実行する手段を含むことを特徴とする請求項7に記載の物体形状生成装置。 The parameter calculation means includes
8. The object shape generation apparatus according to claim 7, further comprising means for executing post-processing for adjusting the conversion parameter so that the vertices in the corresponding region overlap each other.
前記各部分間の制約と状態を表すパラメータとして、
前記部分間の相対位置が直線上で変化する場合は、前記制約が直線上のある基準位置と移動方向とで定義する移動量であり、
前記部分間の相対位置が平面上で変化する場合は、前記制約が平面上のある基準位置と平面の法線方向とで定義する平面上の1点を表す座標値であり、
前記部分間の相対位置及び角度が1軸を中心に変化する場合は、前記制約が回転中心位置、回転中心軸方向、及び基準角度で定義する回転量であり、
前記部分間の相対位置及び角度が1点を中心に変化する場合は、前記制約が回転中心位置、基準位置及び回転方向で定義する基準位置からの回転角度であり、
前記部分間の相対位置及び角度がある曲線または曲面に沿って変化する場合は、前記制約が曲線または曲面を定義する制御点と基準位置で定義する曲線上または曲面上の1点を表すパラメータであることを特徴とする請求項4に記載の物体形状生成装置。 The connection information acquisition means
As a parameter representing the constraints and states between the parts,
When the relative position between the parts changes on a straight line, the constraint is a movement amount defined by a certain reference position on the straight line and a movement direction,
When the relative position between the parts changes on the plane, the constraint is a coordinate value representing one point on the plane defined by a certain reference position on the plane and the normal direction of the plane;
When the relative position and angle between the portions change around one axis, the constraint is the rotation amount defined by the rotation center position, the rotation center axis direction, and the reference angle,
When the relative position and angle between the parts change around one point, the constraint is the rotation angle from the reference position defined by the rotation center position, the reference position and the rotation direction,
When the relative position and angle between the parts change along a curve or curved surface, the constraint is a parameter that represents a control point that defines the curve or curved surface and one point on the curve or curved surface that is defined by the reference position. The object shape generation device according to claim 4, wherein the object shape generation device is provided.
複数の物体または部品形状を抽出する場合に、1個の物体または部品を抽出した後、その部品を構成する頂点を除去した後の前記点群データを使用して、同様に他の物体または部品の形状情報を算出するように構成されていることを特徴とする請求項2に記載の物体形状生成装置。 The shape extraction means includes
In the case of extracting a plurality of object or part shapes, after extracting one object or part and using the point cloud data after removing the vertices constituting the part, another object or part is similarly used. The object shape generation apparatus according to claim 2, wherein the shape information is calculated.
前記形状情報と前記接続情報に基づいて、前記各部分同士の衝突判定を行うことにより、前記接続情報における各部分間の稼動範囲に制約を与えた3次元モデルを生成するように構成されていることを特徴とする請求項1に記載の物体形状生成装置。 The generating means includes
Based on the shape information and the connection information, a collision determination between the parts is performed to generate a three-dimensional model in which the operating range between the parts in the connection information is restricted. The object shape generation apparatus according to claim 1.
前記各距離画像を使用して、前記対象物体を構成する各部分の形状情報を抽出する処理と、
前記各部分の相対位置及び角度を表す座標情報を含む接続情報を取得する処理と、
前記形状情報及び前記接続情報に基づいて、前記対象物体の3次元モデルを生成する処理と
を具備したことを特徴とする物体形状生成方法。 A process of acquiring a plurality of distance images of the target object;
A process of extracting shape information of each part constituting the target object using each distance image;
Processing for obtaining connection information including coordinate information representing the relative position and angle of each part;
And a process of generating a three-dimensional model of the target object based on the shape information and the connection information.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010141896A JP2012008657A (en) | 2010-06-22 | 2010-06-22 | Apparatus and method for generating object shape |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010141896A JP2012008657A (en) | 2010-06-22 | 2010-06-22 | Apparatus and method for generating object shape |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2012008657A true JP2012008657A (en) | 2012-01-12 |
Family
ID=45539156
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010141896A Withdrawn JP2012008657A (en) | 2010-06-22 | 2010-06-22 | Apparatus and method for generating object shape |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2012008657A (en) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013196355A (en) * | 2012-03-19 | 2013-09-30 | Toshiba Corp | Object measuring device and object measuring method |
JP2014056465A (en) * | 2012-09-13 | 2014-03-27 | Univ Of Tokyo | Environment restoration device, environment restoration method, and environment restoration program |
KR101808840B1 (en) * | 2015-09-04 | 2017-12-13 | 한국전자통신연구원 | Depth information extracting method based on machine learning and apparatus thereof |
JP2019181573A (en) * | 2018-04-02 | 2019-10-24 | Kyoto Robotics株式会社 | Picking device and method for the same |
CN112150612A (en) * | 2020-09-23 | 2020-12-29 | 上海眼控科技股份有限公司 | Three-dimensional model construction method and device, computer equipment and storage medium |
JP2021067976A (en) * | 2019-10-17 | 2021-04-30 | 国立大学法人豊橋技術科学大学 | Shape search method and shape search system |
-
2010
- 2010-06-22 JP JP2010141896A patent/JP2012008657A/en not_active Withdrawn
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013196355A (en) * | 2012-03-19 | 2013-09-30 | Toshiba Corp | Object measuring device and object measuring method |
JP2014056465A (en) * | 2012-09-13 | 2014-03-27 | Univ Of Tokyo | Environment restoration device, environment restoration method, and environment restoration program |
KR101808840B1 (en) * | 2015-09-04 | 2017-12-13 | 한국전자통신연구원 | Depth information extracting method based on machine learning and apparatus thereof |
US10043285B2 (en) | 2015-09-04 | 2018-08-07 | Electronics And Telecommunications Research Institute | Depth information extracting method based on machine learning and apparatus thereof |
JP2019181573A (en) * | 2018-04-02 | 2019-10-24 | Kyoto Robotics株式会社 | Picking device and method for the same |
JP7117126B2 (en) | 2018-04-02 | 2022-08-12 | Kyoto Robotics株式会社 | Picking device and method |
JP2021067976A (en) * | 2019-10-17 | 2021-04-30 | 国立大学法人豊橋技術科学大学 | Shape search method and shape search system |
CN112150612A (en) * | 2020-09-23 | 2020-12-29 | 上海眼控科技股份有限公司 | Three-dimensional model construction method and device, computer equipment and storage medium |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109683699B (en) | Method and device for realizing augmented reality based on deep learning and mobile terminal | |
US11308347B2 (en) | Method of determining a similarity transformation between first and second coordinates of 3D features | |
US9429418B2 (en) | Information processing method and information processing apparatus | |
TWI419081B (en) | Method and system for providing augmented reality based on marker tracing, and computer program product thereof | |
JP2012008657A (en) | Apparatus and method for generating object shape | |
US11122195B2 (en) | Camera parameter estimation device, method, and program | |
JP2007000205A (en) | Image processing apparatus, image processing method, and image processing program | |
CN112150551A (en) | Object pose acquisition method and device and electronic equipment | |
US10970807B2 (en) | Information processing apparatus and storage medium | |
CN110930518A (en) | Projection method and projection equipment based on augmented reality technology | |
CN105809664B (en) | Method and device for generating three-dimensional image | |
JP2018055199A (en) | Image processing program, image processing device, and image processing method | |
KR102344227B1 (en) | Moving body detecting device, moving body detecting method, and moving body detecting program | |
JP5477518B1 (en) | Image processing apparatus, image processing method, and image processing program | |
JP5541426B1 (en) | Image processing apparatus, image processing method, and image processing program | |
JP2012185712A (en) | Image collation device and image collation method | |
JP2011002292A (en) | Three-dimensional fingertip position detecting method, three-dimensional fingertip position detector, and program | |
JP5904168B2 (en) | Feature point extraction method and feature point extraction device for captured image | |
JP5728399B2 (en) | Measuring device, method and program | |
JP6779368B2 (en) | Image processing equipment, image processing methods, and programs | |
JP6315542B2 (en) | Image generating apparatus and image generating method | |
KR20170012717A (en) | Method and apparatus for generating location information based on video image | |
KR20210081797A (en) | Methods and devices for estimating camera coordinate system of augmented-reality device using hybrid marker pattern | |
JP6085160B2 (en) | Object recognition system | |
JP2013254300A (en) | Image processing method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20130903 |