JP2017187990A - Arithmetic device, arithmetic method, and program - Google Patents
Arithmetic device, arithmetic method, and program Download PDFInfo
- Publication number
- JP2017187990A JP2017187990A JP2016077569A JP2016077569A JP2017187990A JP 2017187990 A JP2017187990 A JP 2017187990A JP 2016077569 A JP2016077569 A JP 2016077569A JP 2016077569 A JP2016077569 A JP 2016077569A JP 2017187990 A JP2017187990 A JP 2017187990A
- Authority
- JP
- Japan
- Prior art keywords
- image
- template
- query
- query image
- template image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 17
- 239000011159 matrix material Substances 0.000 claims abstract description 109
- 239000013598 vector Substances 0.000 claims abstract description 93
- 238000004364 calculation method Methods 0.000 claims abstract description 55
- 238000006243 chemical reaction Methods 0.000 claims abstract description 12
- 230000009466 transformation Effects 0.000 claims description 26
- 238000000605 extraction Methods 0.000 claims description 11
- 238000013519 translation Methods 0.000 claims description 11
- 230000001131 transforming effect Effects 0.000 claims 1
- 238000012545 processing Methods 0.000 description 27
- 238000010586 diagram Methods 0.000 description 6
- 239000000284 extract Substances 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000007423 decrease Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
Description
本発明は、離散的な値をとる関数の相関を求める技術に関し、特に、対比される画像の相関を求める技術に関する。 The present invention relates to a technique for obtaining a correlation between functions having discrete values, and more particularly to a technique for obtaining a correlation between contrasted images.
３次元球面Ｓ２上で定義される関数の相関演算は、３次元データのレジストレーションや、球面レンズで撮影された画像のマッチングなどの分野で必要となる基本技術である。Ｓ２上の関数同士は、その表面を３自由度（ＳＯ（３））で移動できる（緯度経度とその周りの回転）。このため、その各々のパラメータで相関値を計算するためには、回転パラメータの離散化数をＢとした場合、Ｂ６のオーダーの計算量が必要となる。 Correlation calculation of functions defined on the three-dimensional spherical surface S2 is a basic technique required in fields such as registration of three-dimensional data and matching of images taken with a spherical lens. Functions on S2 can move on their surfaces with three degrees of freedom (SO (3)) (latitude and longitude and rotation around them). Therefore, in order to calculate the correlation values in the parameter of each of the case where the discretization number of rotation parameters and is B, the calculation amount of the order of B 6 is needed.
これに対してユークリッド空間での畳み込み定理に相当する処理を、球面調和関数を用いて球面上で行ったＦＦＴ ｏｎ ＳＯ（３）（ＳＯＦＴ）が提案されている（非特許文献１）。ＳＯＦＴは、計算量をＢ４のオーダーに削減した。 On the other hand, FFT on SO (3) (SOFT) is proposed in which processing corresponding to the convolution theorem in Euclidean space is performed on a spherical surface using a spherical harmonic function (Non-patent Document 1). SOFT was reduced calculation amount in the order of B 4.
非特許文献１に記載された手法は、信号空間での相関演算に比べて処理を大幅に高速化できるが、依然として計算量が大きい。例えば、対象ワークの姿勢推定を１秒以内程度で実現することが求められる工場でのビンピッキングなどの用途には適用が困難である。 The method described in Non-Patent Document 1 can significantly speed up the processing compared with the correlation calculation in the signal space, but still requires a large amount of calculation. For example, it is difficult to apply to uses such as bin picking in a factory where it is required to estimate the posture of the target workpiece within about one second.
そこで、本発明は、離散的な値をとる関数の相関を高速に求めることができる演算装置を提供することを目的とする。このような演算装置は、画像どうしの相関を求めるのに好適に用いられる。 Accordingly, an object of the present invention is to provide an arithmetic device capable of obtaining a correlation between functions having discrete values at high speed. Such an arithmetic unit is preferably used for obtaining a correlation between images.
本発明の演算装置は、テンプレート画像を記憶したテンプレート記憶部と、探索対象のクエリ画像を取得するクエリ取得部と、画像の各点の法線ベクトルのヒストグラムを３次元球面上に表現した拡張ガウス画像に変換する画像変換部と、前記テンプレート画像及び前記クエリ画像の拡張ガウス画像における法線ベクトルのうち、閾値より大きい度数を有する法線ベクトルの３次元球面上の点を選択し、前記テンプレート画像と前記クエリ画像のそれぞれにおいて選択された点の位置及び度数の相関関係に基づいて、前記クエリ画像に対する前記テンプレート画像の回転に関する情報を求める回転算出部とを備える。 An arithmetic device of the present invention includes a template storage unit that stores a template image, a query acquisition unit that acquires a query image to be searched, and an extended Gaussian that represents a normal vector histogram of each point of the image on a three-dimensional sphere. An image conversion unit for converting to an image; and selecting a point on a three-dimensional spherical surface of a normal vector having a frequency greater than a threshold value from normal vectors in the template image and the extended Gaussian image of the query image, and the template image And a rotation calculation unit that obtains information on rotation of the template image with respect to the query image based on the correlation between the position of the selected point and the frequency in each of the query images.
このようにテンプレート画像とクエリ画像との回転に関する情報を３次元球面上の点の相関関係に基づいて求める際に、閾値より大きい度数を有する法線ベクトルを用いることで計算量を低減し、高速に計算を行うことができる。なお、「閾値」は、正の値でもよいし、０でもよい。また、度数が大きい方から所定の個数の点を選べるような閾値を、その都度設定してもよい。 As described above, when obtaining information on the rotation of the template image and the query image based on the correlation between the points on the three-dimensional sphere, the amount of calculation is reduced by using a normal vector having a frequency greater than the threshold value, and high speed. Can be calculated. The “threshold value” may be a positive value or 0. Further, a threshold value that allows a predetermined number of points to be selected from the higher frequency may be set each time.
本発明の演算装置において、前記回転算出部は、前記テンプレート画像から選択された点のうちの１つの点と前記クエリ画像から選択された点のうちの１つの点とを対応させるすべての回転行列を求め、対応させた２つの点の度数に応じた重み付けをした値を、前記回転行列に投票する回転行列投票部と、前記テンプレート画像において選択された点と前記クエリ画像において選択された点のすべての組合せについて行った投票の結果に基づいて、前記クエリ画像に対する前記テンプレート画像の回転を表わす行列を決定する回転行列決定部とを備えてもよい。ここで、前記回転行列投票部は、対応させた２つの点の度数を乗じた値を重みとして用いてもよいし、対応させた２つの点の度数の差を分母に含む値を重みとして用いてもよい。 In the arithmetic device of the present invention, the rotation calculation unit includes all rotation matrices that correspond one point among points selected from the template image and one point selected from the query image. , And a rotation matrix voting unit for voting the weighted value according to the frequency of the two corresponding points to the rotation matrix, the points selected in the template image and the points selected in the query image And a rotation matrix determination unit that determines a matrix representing rotation of the template image with respect to the query image based on the results of voting performed for all combinations. Here, the rotation matrix voting unit may use a value obtained by multiplying the frequencies of the two corresponding points as a weight, or use a value including the difference between the frequencies of the two corresponding points in the denominator as the weight. May be.
このようにテンプレート画像とクエリ画像の点を対応させる回転行列に対して、その点の度数に応じた重み付けをして投票することで、テンプレート画像とクエリ画像との相関を示す適切な回転行列を求めることができる。 In this way, by voting with a weighting according to the frequency of the point for the rotation matrix that associates the template image with the query image point, an appropriate rotation matrix indicating the correlation between the template image and the query image is obtained. Can be sought.
本発明の演算装置は、前記回転算出部にて算出した回転に関する情報に基づいて前記テンプレート画像を回転した画像を生成し、回転により得られた画像と前記クエリ画像とのマッチングにより前記テンプレート画像と前記クエリ画像との並進に関する情報を求める並進算出部を備えてもよい。 The arithmetic device of the present invention generates an image obtained by rotating the template image based on the rotation-related information calculated by the rotation calculation unit, and matches the template image by matching the image obtained by the rotation with the query image. You may provide the translation calculation part which calculates | requires the information regarding the translation with the said query image.
このように回転算出部にて求めた回転の情報に基づいてテンプレート画像を回転して得られた画像を用いてクエリ画像とのマッチングを行うことにより、テンプレート画像とクエリ画像との並進に関する情報を適切に求めることができる。 Information on the translation between the template image and the query image is obtained by performing matching with the query image using the image obtained by rotating the template image based on the rotation information obtained by the rotation calculation unit in this way. Can be determined appropriately.
本発明の別の態様の演算装置は、テンプレート画像を記憶したテンプレート記憶部と、探索対象のクエリ画像を取得するクエリ取得部と、画像を表現する複数のベクトルとそのベクトルの起点の位置を求めるベクトル算出部と、前記テンプレート画像のうちの１つのベクトルと前記クエリ画像のうちの１つのベクトルのその向き及び位置を対応させる変換行列を求め、対応させた２つの点のベクトルの大きさに応じた重み付けをした値を前記変換行列に投票する変換行列投票部と、前記テンプレート画像と前記クエリ画像のすべての点の組合せについて行った投票の結果に基づいて、前記クエリ画像に対する前記テンプレート画像の変換を表わす行列を決定する変換行列決定部とを備える。ここで、前記ベクトル算出部は、前記画像の各点の法線ベクトルを求めてもよい。 An arithmetic device according to another aspect of the present invention obtains a template storage unit that stores a template image, a query acquisition unit that acquires a query image to be searched, a plurality of vectors representing the image, and positions of starting points of the vectors. A vector calculation unit, obtaining a transformation matrix that correlates the direction and position of one vector of the template image and one vector of the query image, and depending on the magnitude of the vector of the two corresponding points A conversion matrix voting unit for voting the weighted values to the conversion matrix, and conversion of the template image with respect to the query image based on the result of voting performed on all combinations of the template image and the query image. And a transformation matrix determination unit for determining a matrix representing. Here, the vector calculation unit may obtain a normal vector of each point of the image.
このように画像を表現する複数のベクトルとそのベクトルの起点の位置の相関関係に基づいて、テンプレート画像とクエリ画像とのマッチングを適切に行うことができる。 As described above, the template image and the query image can be appropriately matched based on the correlation between the plurality of vectors representing the image and the position of the starting point of the vector.
本発明の演算装置は、前記画像からオブジェクトの線分抽出を行う線分抽出部を備え、前記ベクトル算出部は、前記線分の中点を起点の位置とし、前記線分の方向をベクトルとして求めてもよい。 The arithmetic device according to the present invention includes a line segment extraction unit that extracts a line segment of an object from the image, and the vector calculation unit uses a midpoint of the line segment as a starting position and uses the direction of the line segment as a vector. You may ask for it.
このように抽出された線分に基づいてベクトルと起点を定めることにより画像を表現する情報量を減らし、回転に関する情報の計算量を低減することができる。 By determining the vector and the starting point based on the extracted line segment, the amount of information representing the image can be reduced, and the amount of information related to rotation can be reduced.
本発明の演算方法は、演算装置が、テンプレート記憶部からテンプレート画像を読み出すステップと、前記演算装置が、探索対象のクエリ画像を取得するステップと、前記演算装置が、前記テンプレート画像と前記クエリ画像を、各点の法線ベクトルのヒストグラムを３次元球面上に表現した拡張ガウス画像にそれぞれ変換するステップと、前記演算装置が、前記テンプレート画像及び前記クエリ画像の拡張ガウス画像における法線ベクトルのうち、閾値より大きい度数を有する法線ベクトルの３次元球面上の点を選択し、前記テンプレート画像と前記クエリ画像のそれぞれにおいて選択された点の位置及び度数の相関関係に基づいて、前記クエリ画像に対する前記テンプレート画像の回転に関する情報を求めるステップとを備える。 In the calculation method of the present invention, the calculation device reads a template image from a template storage unit, the calculation device acquires a query image to be searched, and the calculation device includes the template image and the query image. Converting the histogram of the normal vector of each point into an extended Gaussian image representing the three-dimensional sphere, and the computing device includes a normal vector in the extended Gaussian image of the template image and the query image. Selecting a point on a three-dimensional sphere of a normal vector having a frequency greater than a threshold, and based on the correlation between the position and frequency of the selected point in each of the template image and the query image, Obtaining information related to rotation of the template image.
このようにテンプレート画像とクエリ画像との回転に関する情報を３次元球面上の点の相関関係に基づいて求める際に、閾値より大きい度数を有する法線ベクトルを用いることで計算量を低減し、高速に計算を行うことができる。 As described above, when obtaining information on the rotation of the template image and the query image based on the correlation between the points on the three-dimensional sphere, the amount of calculation is reduced by using a normal vector having a frequency greater than the threshold value, and high speed. Can be calculated.
本発明の別の態様の演算方法は、演算装置が、テンプレート記憶部からテンプレート画像を読み出すステップと、前記演算装置が、探索対象のクエリ画像を取得するステップと、前記演算装置が、前記テンプレート画像および前記クエリ画像のそれぞれについて、画像を表現する複数のベクトルとそのベクトルの起点の位置を求めるステップと、前記演算装置が、前記テンプレート画像および前記クエリ画像のそれぞれの複数のベクトルとその起点の位置の相関関係に基づいて、前記テンプレート画像と前記クエリ画像との回転に関する情報を求めるステップとを備える。 The calculation method according to another aspect of the present invention includes a step in which the calculation device reads a template image from a template storage unit, a step in which the calculation device acquires a query image to be searched, and the calculation device includes the template image. And for each of the query images, a step of obtaining a plurality of vectors representing the images and positions of starting points of the vectors, and the arithmetic unit comprising a plurality of vectors of the template image and the query images and positions of the starting points. Obtaining information related to the rotation of the template image and the query image based on the correlation between the template image and the query image.
このように画像を表現する複数のベクトルとそのベクトルの起点の位置の相関関係に基づいて、テンプレート画像とクエリ画像とのマッチングを適切に行うことができる。 As described above, the template image and the query image can be appropriately matched based on the correlation between the plurality of vectors representing the image and the position of the starting point of the vector.
本発明のプログラムは、上記演算方法の各ステップをコンピュータに実行させるプログラムである。 The program of the present invention is a program that causes a computer to execute each step of the above-described calculation method.
本発明は、テンプレート画像とクエリ画像との相関を３次元球面上の点に基づいて求める際に、閾値より大きい度数を有する法線ベクトルを用いることで計算量を低減し、高速に計算を行うことができる。 In the present invention, when the correlation between a template image and a query image is obtained based on a point on a three-dimensional sphere, the amount of calculation is reduced by using a normal vector having a frequency greater than a threshold value, and calculation is performed at high speed. be able to.
以下、本発明の実施の形態に係る演算装置について図面を参照しながら説明する。以下で説明する演算装置は、図１０（ａ）に示すようにバラ積みされたブロックのレジストレーション（位置合わせ）を例として説明する。図１０（ａ）は、探索が行われる対象である多数のブロックを示すクエリ画像である。図１０（ｂ）は、図１０（ａ）に示すバラ積みの中から見つけるべきブロックを示すテンプレート画像である。 Hereinafter, an arithmetic device according to an embodiment of the present invention will be described with reference to the drawings. The arithmetic device described below will be described by taking as an example the registration (positioning) of blocks stacked as shown in FIG. FIG. 10A is a query image showing a large number of blocks that are targets for search. FIG. 10B is a template image showing blocks to be found from the bulk stack shown in FIG.
演算装置は、図１０（ａ）に示すクエリ画像から、図１０（ｂ）に示すテンプレート画像に該当するオブジェクトがどのような姿勢であるかを検出する。ここで、「姿勢」とは、３方向の回転自由度と３方向の並進自由度とを有し、合わせて６つの自由度を有する。演算装置は、テンプレート画像に対応するオブジェクトの姿勢を求める。つまり、テンプレート画像に係るオブジェクトと相関の高いオブジェクトがどの程度回転した状態で、空間内のどの位置にあるかを求める。このようなレジストレーションは、例えば、工業製品をピッキングするロボットにおいて重要な技術である。 The computing device detects the posture of the object corresponding to the template image shown in FIG. 10B from the query image shown in FIG. Here, the “posture” has three degrees of freedom of rotation and three directions of freedom of translation, and has a total of six degrees of freedom. The arithmetic device obtains the posture of the object corresponding to the template image. That is, the position in the space in which the object having a high correlation with the object related to the template image is rotated is obtained. Such registration is an important technique in, for example, robots for picking industrial products.
本実施の形態の演算装置が扱う図１０（ａ）及び図１０（ｂ）に示すデプス画像である。デプス画像は３次元空間で視点と画像内のオブジェクトの距離を表す信号であり、デプス画像は、距離画像と称されることもある。デプス画像は、公知の方法によって取得することができ、例えば、オブジェクトの色画像からステレオマッチング等の公知の方法により作成してもよい。 It is a depth image shown to Fig.10 (a) and FIG.10 (b) which the arithmetic unit of this Embodiment handles. The depth image is a signal representing the distance between the viewpoint and the object in the image in the three-dimensional space, and the depth image is sometimes referred to as a distance image. The depth image can be acquired by a known method. For example, the depth image may be created from a color image of the object by a known method such as stereo matching.
（第１の実施の形態）
図１は、第１の実施の形態の演算装置１の構成を示す図である。演算装置１が備える各構成の詳しい説明に先立って、クエリ画像の中からテンプレート画像に対応するオブジェクトの姿勢を検出する処理について説明する。
(First embodiment)
FIG. 1 is a diagram illustrating a configuration of an arithmetic device 1 according to the first embodiment. Prior to detailed description of each component included in the computing device 1, processing for detecting the posture of an object corresponding to a template image from a query image will be described.
演算装置１がオブジェクトの姿勢を検出する処理は、テンプレートに係るオブジェクトの回転を求める処理と、オブジェクトの並進を求める処理に分けられる。すなわち、演算装置１は、まず、回転のパラメータを決定し、その後に回転パラメータを用いてテンプレート画像のレンダリングを行い、レンダリングしたテンプレート画像を用いて並進パラメータを求める。オブジェクトの回転を求める処理は、オブジェクトの並進の情報を捨象した拡張ガウス画像での処理を行う。 The processing in which the computing device 1 detects the posture of the object is divided into processing for obtaining the rotation of the object related to the template and processing for obtaining the translation of the object. That is, the computing device 1 first determines a rotation parameter, then renders a template image using the rotation parameter, and obtains a translation parameter using the rendered template image. The process for obtaining the rotation of the object is performed using an extended Gaussian image obtained by discarding the translation information of the object.
［拡張ガウス画像（ＥＧＩ）］
図２（ａ）及び図２（ｂ）は、拡張ガウス画像について説明する図である。図２（ａ）は、テンプレートのデプス画像の例を示す図である。ここでは、図２（ａ）に示すように立方体を斜め下から撮影した画像を例とする。
[Extended Gaussian Image (EGI)]
FIG. 2A and FIG. 2B are diagrams for explaining an extended Gaussian image. FIG. 2A is a diagram illustrating an example of a depth image of a template. Here, as shown in FIG. 2A, an example is shown of an image obtained by photographing a cube from obliquely below.
３次元空間内のオブジェクトの各点での単位法線ベクトルの始点を原点に置くと、その終点は単位球上に分布し、曲面上の各点から単位球面への対応が与えられる。このようにして得られた球面表示を拡張ガウス画像（ＥＧＩ：Extended Gaussian Image）という。オブジェクトが図２（ａ）に示すような立方体の場合には、６つの平面に対応して各平面の法線ベクトルの終点が球面上に分布する。図２（ｂ）では、図２（ａ）において見えている３つの平面の法線ベクトルの終点を示している。ＥＧＩは、オブジェクトが回転した場合にはその回転にしたがって法線ベクトルの終点が回転するが、オブジェクトの並進運動には依存しない。つまり、ＥＧＩでは、姿勢に関する６つの自由度のうちの並進運動に関する３つの自由度の情報が無視され、回転運動に関する３つの自由度のみを取り出すことができる。 When the start point of the unit normal vector at each point of the object in the three-dimensional space is placed at the origin, the end point is distributed on the unit sphere, and the correspondence from each point on the curved surface to the unit sphere is given. The spherical display obtained in this way is referred to as an extended Gaussian image (EGI). When the object is a cube as shown in FIG. 2A, the end points of the normal vectors of each plane are distributed on the spherical surface corresponding to the six planes. FIG. 2 (b) shows the end points of the normal vectors of the three planes visible in FIG. 2 (a). In EGI, when the object rotates, the end point of the normal vector rotates according to the rotation, but does not depend on the translational motion of the object. That is, in EGI, information on three degrees of freedom regarding translational motion out of the six degrees of freedom regarding posture is ignored, and only three degrees of freedom regarding rotational motion can be extracted.
また、ＥＧＩは、単位法線ベクトルの終点の分布のヒストグラムである。同じ方向の法線ベクトルが多数存在する場合には、その方向の単位法線ベクトルの終点の度数が大きくなる。例えば、図２（ａ）に示すように、オブジェクトが立方体の場合には、６つの平面の単位法線ベクトルの度数が高くなり、それ以外の方向の度数は０となる。 EGI is a histogram of the distribution of end points of unit normal vectors. When there are many normal vectors in the same direction, the frequency of the end points of the unit normal vectors in that direction becomes large. For example, as shown in FIG. 2A, when the object is a cube, the frequency of unit normal vectors of six planes is high, and the frequency in other directions is zero.
［回転行列の算出］
演算装置１は、クエリ画像のＥＧＩと、テンプレート画像のＥＧＩとを比較して、テンプレート画像をどのように回転すると、テンプレート画像とクエリ画像との一致度が高くなるかを求める。
[Calculation of rotation matrix]
The arithmetic device 1 compares the EGI of the query image and the EGI of the template image, and determines how the template image and the query image are highly matched when the template image is rotated.
図３（ａ）は、テンプレート画像のＥＧＩの例を示す図、図３（ｂ）は、クエリ画像のＥＧＩを示す図である。なお、図３（ｂ）は、図２（ａ）に示す立方体のＥＧＩである。クエリ画像のＥＧＩを関数ｆ、テンプレート画像のＥＧＩを関数ｇとし、テンプレート画像の回転をＲ（Ｒ∈ＳＯ（３））とすると、テンプレート画像とクエリ画像との相関値は、以下の畳み込み演算の式（１）で表わされる。
この相関値の計算を信号空間で行う場合に、すべてのＲ∈ＳＯ（３）に対して、関数ｇを回転して、関数ｆと内積をとる必要があるため、計算量が非常に多くなる。各回転パラメータの離散化数をＢとすると、Ｂ６のオーダーの計算量が必要となる。 When this correlation value is calculated in the signal space, it is necessary to rotate the function g for all RεSO (3) and take the inner product with the function f, so that the calculation amount becomes very large. . When the discretization number of each rotating parameter is B, the calculation amount of the order of B 6 is needed.
ところで、現実空間内のオブジェクトは平面を有する場合が多いので、そのＥＧＩ上での信号はスパースになる。例えば、図３（ｂ）に示す例では、立方体の６つの面の法線方向のみに値を有し、それ以外の方向については値を持たない（つまり度数＝０）。本実施の形態では、値を有する法線ベクトルのみを取り出し、式（１）をデルタ関数の線形和に分割する。
式（２）において、関数ｆは、ＥＧＩ上において１〜Ｎ１のＮ１個の点を有し、関数ｇは、ＥＧＩ上において１〜Ｎ２までのＮ２個の点を有する。なお、本実施の形態では、テンプレート画像およびクエリ画像には平面が多く、ＥＧＩにおける信号がスパースな場合を例としているので、値を有する法線ベクトルを取り出したが、ＥＧＩ上で値を有する点が多い場合には、所定の閾値を用いて、値の大きい法線ベクトルを抽出することが好ましい。 In equation (2), the function f has N1 points of 1 to N1 on the EGI, and the function g has N2 points of 1 to N2 on the EGI. In this embodiment, since the template image and the query image have many planes and the signal in EGI is sparse as an example, the normal vector having a value is extracted, but the point having the value on EGI is When there are many, it is preferable to extract a normal vector with a large value using a predetermined threshold.
上記式（２）は、次の式（３）のようにデルタ関数どうしの線形和で表現することができる。
ここで、この式（３）の個々の要素は、ＥＧＩ上の一点同士の相関を考えることになる。つまり回転行列Ｒは、関数ｆ上の点ｘと関数ｇ上の点ｙの関係を与える回転行列である。 Here, each element of the formula (3) considers the correlation between points on the EGI. That is, the rotation matrix R is a rotation matrix that gives the relationship between the point x on the function f and the point y on the function g.
図３（ａ）は、関数ｆを示す点を表わし、そのうちの１つをｘとしている。図３（ｂ）は関数ｇを示す点を表わし、そのうちの１つをｙとしている。図４（ａ）に示すように、点ｘと点ｙに着目した場合、回転行列Ｒは、点ｙを点ｘに移動させる回転行列である。
ｘ＝Ｒｙ ・・・(4)
FIG. 3A represents a point indicating the function f, one of which is x. FIG. 3B shows a point indicating the function g, and one of them is y. As shown in FIG. 4A, when attention is paid to the point x and the point y, the rotation matrix R is a rotation matrix for moving the point y to the point x.
x = Ry (4)
図４（ａ）及び図４（ｂ）に示すＥＧＩにおいては、回転移動後のオブジェクトの向きを考慮していない。回転に関しては３自由度を有しているが、オブジェクトの向きを考慮しないで点ｙを点ｘに移動させるには２方向の回転で足りるので、１自由度が余分にある。したがって、点ｙを点ｘに移動させる回転行列Ｒは１つには定まらず、無数に存在する。 In the EGI shown in FIGS. 4A and 4B, the orientation of the object after the rotational movement is not taken into consideration. Although the rotation has three degrees of freedom, since it is sufficient to rotate in two directions to move the point y to the point x without considering the direction of the object, there is an extra degree of freedom. Therefore, the rotation matrix R for moving the point y to the point x is not fixed to one, and there are an infinite number.
点ｙを点ｘに移動させる回転は、式（５）に示すように、ｘの周りにおける任意角度λの回転と、ｘ×ｙ（外積）の周りにおける｜ｘ×ｙ｜の回転に分解できる（もちろん、ｙの周りの任意角度の回転とｙ×ｘの回転に分解しても同じである）。なお、式（５）において、［ｘ］はｘ周りの回転であることを示し、λ［ｘ］はｘ周りにλだけ回転したことを示す。
ｘ＝Ｒｙ＝Ｒ１Ｒ２ｙ
ここで、Ｒ１＝ exp(λ[ｘ])、Ｒ２＝ exp([ｘ×ｙ]) ・・・(5)
The rotation that moves the point y to the point x can be decomposed into a rotation of an arbitrary angle λ around x and a rotation of | x × y | around x × y (outer product), as shown in Equation (5). (Of course, it is the same even if it is decomposed into a rotation of an arbitrary angle around y and a rotation of y × x). In equation (5), [x] indicates rotation around x, and λ [x] indicates rotation around x by λ.
x = Ry = R 1 R 2 y
Here, R 1 = exp (λ [x]), R 2 = exp ([x × y]) (5)
式（５）においてλは任意であるので、これを−π〜πまで変化させることで無数の回転行列Ｒを求めることができる。この回転行列ＲをＳＯ（３）空間（投票空間）において投票すると、無数の回転行列Ｒは、図４（ｂ）に示すように閉曲線を描く。 Since λ is arbitrary in Equation (5), an infinite number of rotation matrices R can be obtained by changing this from −π to π. When this rotation matrix R is voted in the SO (3) space (voting space), the countless rotation matrix R draws a closed curve as shown in FIG.
ここまでの説明では、関数ｆ上の１つの点ｘと関数ｇ上の１つの点ｙに着目したが、関数ｆ，ｇ上の別の点（ここでは点ｘ´、ｙ´とする）に着目して回転行列を求めると、例えば、図５（ａ）に示すように別の閉曲線が得られる。２つの閉曲線に交点は回転行列が同じであることを示す。つまり、交点で示す要素を持った回転行列Ｒは、点ｙを点ｘに回転させると同時に、点ｙ´を点ｘ´に回転させる行列である。 In the description so far, attention has been paid to one point x on the function f and one point y on the function g, but another point on the functions f and g (here, points x ′ and y ′). When the rotation matrix is obtained by paying attention, for example, another closed curve is obtained as shown in FIG. The intersection of the two closed curves indicates that the rotation matrix is the same. That is, the rotation matrix R having the elements indicated by the intersections is a matrix that rotates the point y ′ to the point x ′ at the same time as rotating the point y to the point x.
関数ｆと関数ｇのすべての点の組合せについて、その相関関係を示す回転行列Ｒを求めてＳＯ（３）空間に投票していくことで、図５（ｂ）に示すように多数の回転行列Ｒが積み重なっていき、畳み込みＧ（Ｒ）を求めることができる。最も多く投票されたピークの点が関数ｆと関数ｇの相関を示す回転行列Ｒとなる。つまり、最も多く投票された回転行列Ｒだけテンプレート画像を回転させると、テンプレート画像とクエリ画像との相関が最も高くなると求めることができる。 For all combinations of points of the function f and the function g, a rotation matrix R indicating the correlation is obtained and voted on the SO (3) space, so that a large number of rotation matrices are obtained as shown in FIG. As R accumulates, convolution G (R) can be obtained. The point of the most voted peak is a rotation matrix R indicating the correlation between the function f and the function g. That is, when the template image is rotated by the most voted rotation matrix R, it can be obtained that the correlation between the template image and the query image is the highest.
なお、図５（ａ）及び図５（ｂ）においては、回転行列Ｒを示す閉曲線の太さが異なっているが、これは点ｘの度数と点ｙの度数の内積の大きさに応じて太さを変えて描いたものである。点ｘの度数と点ｙの度数の内積が大きいほど、つまり、点ｘと点ｙの度数が大きいほど、そのような度数の大きい点どうしを一致させるような回転行列Ｒは、テンプレート画像の回転を正確に表すものである。なぜなら、法線ベクトルの度数が大きいということはその方向を法線とする面が広いことを示し、広い面が一致する方が狭い面が一致するよりも、オブジェクトの一致の度合いが大きいからである。したがって、回転行列を投票する際には、内積に応じた値を投票する。なお、回転行列Ｒの計算をロドリゲス表現のまま行うと計算量が大きいので、四元数を用いて計算を行うことが好ましい。以上に、テンプレート画像の回転を求める処理について説明した。 5 (a) and 5 (b), the thickness of the closed curve indicating the rotation matrix R is different. This depends on the size of the inner product of the frequency at point x and the frequency at point y. It is drawn with varying thickness. The rotation matrix R that matches the points having a higher frequency as the inner product of the frequency of the point x and the frequency of the point y, that is, the higher the frequency of the point x and the point y, is the rotation of the template image. Is accurately represented. Because the normal vector has a high frequency, it means that the surface with the normal in the direction is wide, and the matching of the object is greater when the wide surface matches than the narrow surface. is there. Therefore, when voting a rotation matrix, a value corresponding to the inner product is voted. Note that, if the calculation of the rotation matrix R is performed in the Rodriguez expression, the amount of calculation is large, and therefore it is preferable to perform the calculation using a quaternion. The process for obtaining the rotation of the template image has been described above.
本実施の形態で用いる計算は、関数ｆのＥＧＩ上における点の個数Ｎ１と、関数ｇの点の個数Ｎ２の組合せの数だけ行えばよいので、Ｎ１・Ｎ２回行えばよい。したがって、計算量を低減でき、畳み込み演算を高速に行うことが可能である。 The calculation used in the present embodiment may be performed N1 · N2 times since the number N1 of points on the EGI of the function f and the number N2 of points of the function g may be combined. Therefore, the amount of calculation can be reduced and the convolution operation can be performed at high speed.
テンプレート画像の回転行列を求めた後は、求めた回転行列を用いて、テンプレート画像に係るオブジェクトを回転した画像をレンダリングし、レンダリングしたテンプレート画像とクエリ画像とのマッチングを行って、オブジェクトの並進行列を求める。テンプレート画像を回転させることで、テンプレート画像に係るオブジェクトの向きがクエリ画像と揃うので、クエリ画像とのマッチングを適切に行うことができる。 After obtaining the rotation matrix of the template image, the image obtained by rotating the object related to the template image is rendered using the obtained rotation matrix, the rendered template image and the query image are matched, and the parallel progression sequence of the objects Ask for. By rotating the template image, the orientation of the object related to the template image is aligned with the query image, so that matching with the query image can be performed appropriately.
［演算装置の構成］
図１を参照しながら、本実施の形態に係る演算装置１の構成について説明する。演算装置１は、探索が行われる空間を撮影するクエリ画像撮影部１０と、テンプレートのデプス画像を記憶したテンプレート記憶部１１と、クエリ画像からテンプレート画像に対応するオブジェクトの姿勢を検出する演算処理を行う制御部２０と、演算結果を出力する出力部１２とを備えている。
[Configuration of arithmetic unit]
The configuration of the arithmetic device 1 according to the present embodiment will be described with reference to FIG. The computing device 1 includes a query image capturing unit 10 that captures a space in which a search is performed, a template storage unit 11 that stores a depth image of a template, and an arithmetic process that detects the posture of an object corresponding to the template image from the query image. The control part 20 to perform and the output part 12 which outputs a calculation result are provided.
テンプレート画像は、例えば、ロボットによるピッキングを行う場合であれば、ロボットが掴むべきオブジェクトのデプス画像である。この場合、クエリ画像撮影部１０にて撮影する探索空間は、ロボットが作業を行う空間である。 The template image is a depth image of an object to be grasped by the robot, for example, when picking by the robot. In this case, the search space photographed by the query image photographing unit 10 is a space where the robot performs work.
制御部２０は、ＥＧＩ変換部２１と、回転行列算出部２２と、並進行列算出部２６とを有している。ＥＧＩ変換部２１は、クエリ画像撮影部１０にて撮影されたクエリ画像、および、テンプレート記憶部１１から読み出したテンプレート画像をＥＧＩに変換する機能を有する。 The control unit 20 includes an EGI conversion unit 21, a rotation matrix calculation unit 22, and a parallel progression calculation unit 26. The EGI conversion unit 21 has a function of converting the query image captured by the query image capturing unit 10 and the template image read from the template storage unit 11 into EGI.
回転行列算出部２２は、クエリ画像に対するテンプレート画像の回転を求める構成として、処理対象点抽出部２３と、回転行列投票部２４と、回転行列決定部２５とを有している。処理対象点抽出部２３は、ＥＧＩ上の点のうち、回転行列Ｒの決定に用いる点を抽出する機能を有する。処理対象点抽出部２３は、法線ベクトルのヒストグラムにおいて所定の閾値以上の度数を有する点を処理対象点として抽出する。処理対象点を絞り込むことで回転行列の計算負荷を軽減すると共に、度数の大きい点を用いることにより、処理対象点を減らしても求める回転行列の精度を保つことができる。 The rotation matrix calculation unit 22 includes a processing target point extraction unit 23, a rotation matrix voting unit 24, and a rotation matrix determination unit 25 as a configuration for obtaining rotation of the template image with respect to the query image. The processing target point extraction unit 23 has a function of extracting points used for determining the rotation matrix R from the points on the EGI. The processing target point extraction unit 23 extracts a point having a frequency equal to or higher than a predetermined threshold in the normal vector histogram as a processing target point. By narrowing down the processing target points, the calculation load of the rotation matrix is reduced, and by using the points with a high frequency, the accuracy of the rotation matrix to be obtained can be maintained even if the processing target points are reduced.
回転行列投票部２４は、図３〜図５を用いて説明したとおり、テンプレート画像のＥＧＩ上の処理対象点とクエリ画像のＥＧＩ上の処理対象点を回転により一致させる回転行列を投票空間にて投票する機能を有する。回転行列決定部２５は、回転行列の投票結果に基づいて、最も多く投票された回転行列を、クエリ画像に対するテンプレート画像の回転を表わす行列として決定する機能を有する。 As described with reference to FIGS. 3 to 5, the rotation matrix voting unit 24 creates a rotation matrix in the voting space that matches the processing target points on the EGI of the template image and the processing target points on the EGI of the query image by rotation. Has the ability to vote. The rotation matrix determination unit 25 has a function of determining the most voted rotation matrix as a matrix representing the rotation of the template image with respect to the query image based on the voting result of the rotation matrix.
並進行列算出部２６は、回転行列算出部２２にて算出された回転行列を用いてテンプレート画像を回転させた画像をレンダリングした後に、テンプレート画像とクエリ画像とのマッチングを行い、クエリ画像のどこにテンプレート画像が存在するかを検出し、その並進行列を求める機能を有する。 The parallel progression calculation unit 26 renders an image obtained by rotating the template image using the rotation matrix calculated by the rotation matrix calculation unit 22, and then performs matching between the template image and the query image. It has a function of detecting whether an image exists and determining its parallel progression.
演算装置１は、ハードウェアとしては、ＣＰＵ、ＲＡＭ、ＲＯＭ、ハードディスク、キーボート、マウス、ディスプレイ等を備えたコンピュータによって構成される。上記した制御部２０の各構成を実現するためのモジュールを有するプログラムをＲＯＭに記憶しておき、ＣＰＵは、ＲＯＭからプログラムを読み出して実行することにより、演算装置１を実現する。 The arithmetic device 1 is configured by a computer including a CPU, a RAM, a ROM, a hard disk, a keyboard, a mouse, a display and the like as hardware. A program having a module for realizing each configuration of the control unit 20 described above is stored in the ROM, and the CPU reads the program from the ROM and executes it, thereby realizing the arithmetic device 1.
［演算装置の動作］
図６は、演算装置１によってテンプレート画像に係るオブジェクトをクエリ画像から検出し、その姿勢を求める動作を示すフローチャートである。演算装置１は、まず、クエリ画像撮影部１０にて、探索を行う空間を撮影し、クエリ画像を取得する（Ｓ１０）。また、演算装置１は、テンプレート記憶部１１から、所望のテンプレート画像を読み出す（Ｓ１１）。
[Operation of arithmetic unit]
FIG. 6 is a flowchart illustrating an operation of detecting an object related to the template image from the query image by the arithmetic device 1 and obtaining the posture thereof. The computing device 1 first captures a search space in the query image capturing unit 10 and acquires a query image (S10). In addition, the arithmetic device 1 reads a desired template image from the template storage unit 11 (S11).
次に、演算装置１は、クエリ画像及びテンプレート画像をＥＧＩに変換し、ＥＧＩマッチングにより、テンプレート画像のクエリ画像に対する回転を求める（Ｓ１２）。この処理については、図７を参照して後述する。 Next, the computing device 1 converts the query image and the template image into EGI, and obtains rotation of the template image with respect to the query image by EGI matching (S12). This process will be described later with reference to FIG.
演算装置１は、ＥＧＩマッチングで算出した回転行列を用いて、テンプレート画像に係るオブジェクトを回転した画像をレンダリングし、レンダリングしたテンプレート画像とクエリ画像とのマッチングを行って、オブジェクトの並進行列を求める（Ｓ１３）。演算装置１は、以上の処理により求めた回転行列と並進行列をオブジェクトの姿勢の算出結果として出力する（Ｓ１４）。 The computing device 1 renders an image obtained by rotating the object related to the template image using the rotation matrix calculated by EGI matching, and performs matching between the rendered template image and the query image to obtain a parallel progression sequence of the objects ( S13). The arithmetic device 1 outputs the rotation matrix and the parallel progression obtained by the above processing as the calculation result of the object posture (S14).
図７は、ＥＧＩマッチングの動作を示すフローチャートである。演算装置１は、まず、クエリ画像とテンプレート画像をＥＧＩに変換し（Ｓ２０）、それぞれのＥＧＩにおいて、所定の閾値以上の度数を有する点を抽出する（Ｓ２１）。 FIG. 7 is a flowchart showing an EGI matching operation. First, the computing device 1 converts the query image and the template image into EGI (S20), and extracts points having a frequency equal to or higher than a predetermined threshold in each EGI (S21).
続いて、演算装置１は、クエリ画像のＥＧＩとテンプレート画像のＥＧＩから抽出された点のすべての組合せについて、各組合せでクエリ画像のＥＧＩ上の点とテンプレート画像のＥＧＩ上の点を一致させる回転行列をすべて求め、求めた回転行列を投票空間に投票する。 Subsequently, for each combination of points extracted from the EGI of the query image and the EGI of the template image, the arithmetic device 1 rotates the points on the EGI of the query image and the points on the EGI of the template image for each combination. All the matrices are obtained, and the obtained rotation matrix is voted on the voting space.
具体的には、まず、クエリ画像のＥＧＩから選択した１つの点（「点ｘ」とする）とテンプレート画像のＥＧＩから１つの点（「点ｙ」とする）を選択し、点ｙを点ｘに移動させる回転行列をすべて求める（Ｓ２２）。次に、求めたすべての回転行列Ｒを投票空間に投票する（Ｓ２３）。このとき、回転行列Ｒを求めた点ｘと点ｙの度数の内積を重みとして乗じて投票する。演算装置１は、クエリ画像とテンプレート画像のＥＧＩから抽出した点のすべての組合せについて回転行列を求める処理を行ったか否かを判定する（Ｓ２４）。 Specifically, first, one point selected from the EGI of the query image (referred to as “point x”) and one point (referred to as “point y”) from the EGI of the template image are selected, and the point y is selected as a point. All rotation matrices to be moved to x are obtained (S22). Next, all the obtained rotation matrices R are voted on the voting space (S23). At this time, voting is performed by multiplying the inner product of the frequencies of the points x and y obtained from the rotation matrix R as weights. The computing device 1 determines whether or not the processing for obtaining the rotation matrix has been performed for all combinations of points extracted from the EGI of the query image and the template image (S24).
処理対象点のすべての組合せについての処理が完了していなければ（Ｓ２４でＮＯ）、処理を行っていない別の点の組合せについて回転行列を求め（Ｓ２２）、投票空間に投票する処理を行う（Ｓ２３）。処理対象点のすべての組合せについての処理が完了したら（Ｓ２４でＹＥＳ）、最も多く投票された回転行列をクエリ画像に対するテンプレート画像の回転行列として選択する（Ｓ２５）。 If processing for all combinations of processing target points has not been completed (NO in S24), a rotation matrix is obtained for another combination of points that has not been processed (S22), and processing for voting in the voting space is performed (S22). S23). When processing for all combinations of processing target points is completed (YES in S24), the most voted rotation matrix is selected as the rotation matrix of the template image for the query image (S25).
ここでは、最も多く投票された回転行列を選択する例について説明しているが、上位から数個の回転行列を候補の回転行列として選択することとしてもよい。複数の候補の回転行列を選択した場合には、図６で示した並進行列の算出の処理（Ｓ１３）を、各候補の回転行列を用いて行い、クエリ画像とテンプレート画像とのマッチングをうまく行えた回転行列を、クエリ画像とテンプレート画像との回転行列として決定してもよい。 Here, an example in which the most frequently voted rotation matrix is selected has been described, but several rotation matrices from the top may be selected as candidate rotation matrices. When a plurality of candidate rotation matrices are selected, the parallel progression calculation process (S13) shown in FIG. 6 is performed using each candidate rotation matrix, and the query image and the template image can be matched well. The rotation matrix may be determined as a rotation matrix between the query image and the template image.
以上、第１の実施の形態の演算装置１について説明した。本実施の形態の演算装置１は、テンプレート画像とクエリ画像をＥＧＩに変換し、ＥＧＩにおいて閾値より大きい度数を有する法線ベクトルの終点を対応させる回転行列を求めるので、計算量を低減し、高速に計算を行うことができる。 Heretofore, the arithmetic device 1 according to the first embodiment has been described. The arithmetic device 1 according to the present embodiment converts a template image and a query image into EGI, and obtains a rotation matrix that associates an end point of a normal vector having a frequency greater than a threshold value in the EGI. Can be calculated.
（変形例）
第１の実施の形態の演算装置１では、ＥＧＩ上でクエリとテンプレートとの相関を求める際に、回転行列に乗じる重みとして法線ベクトルの度数の内積を例として挙げたが、重みは度数の内積に限定されない。ＥＧＩ上で同じ方向を有する法線ベクトルの度数を原点からの距離として表わすことも可能である。その場合、φを各点群の原点からの距離を測る関数として以下のように定義する。なお、度数を距離として表わしているので、下の式は、度数の式とみることもできる。
In the computing device 1 of the first embodiment, when calculating the correlation between the query and the template on the EGI, the inner product of the frequencies of the normal vectors is given as an example of the weight multiplied by the rotation matrix. It is not limited to inner product. It is also possible to express the frequency of the normal vector having the same direction on the EGI as a distance from the origin. In this case, φ is defined as a function for measuring the distance from the origin of each point group as follows. Since the frequency is expressed as a distance, the following expression can also be regarded as a frequency expression.
φは、クエリ画像から選んだ点とテンプレート画像から選んだ点の原点からの距離の差が大きくなればなるほど、値が小さくなる関数である。なお、分母に１を加えているのは、クエリとテンプレートの度数が等しいときに、コンピュータによる演算処理がエラーにならないようにするための処置である。 φ is a function that decreases as the difference between the point selected from the query image and the point selected from the template image from the origin increases. Note that the addition of 1 to the denominator is a measure for preventing calculation processing by the computer from causing an error when the frequency of the query and the template is equal.
変形例に係る演算装置１では、クエリ画像とテンプレート画像との相関を以下の式（７）によって表わす。ここで、関数Ｉは、２つの引数が等しい場合に１を返し、異なる場合に０を返すインディケータ関数である。
（第２の実施の形態）
図８は、第２の実施の形態の演算装置２の構成を示す図である。第１の実施の形態の演算装置１は、テンプレート画像とクエリ画像とをＥＧＩに変換して最初に回転行列を算出した後に、回転させたテンプレート画像をレンダリングして並進行列を算出するという２段階の処理を行った。第２の実施の形態の演算装置２では、第１の実施の形態において回転行列を求める際に行った処理を６次元（回転３自由度＋並進３自由度）に拡張し、回転行列と並進行列を同時に求める。
(Second Embodiment)
FIG. 8 is a diagram illustrating a configuration of the arithmetic device 2 according to the second embodiment. The arithmetic device 1 according to the first embodiment converts the template image and the query image into EGI, calculates a rotation matrix first, and then renders the rotated template image to calculate a parallel progression. Was processed. In the arithmetic device 2 of the second embodiment, the processing performed when obtaining the rotation matrix in the first embodiment is expanded to six dimensions (rotation 3 degrees of freedom + translation 3 degrees of freedom), and the rotation matrix and translation Find the matrix at the same time.
第２の実施の形態の演算装置２は、テンプレート画像、及びクエリ画像を構成する各点における法線ベクトルを求める。テンプレート画像から抽出した法線ベクトルをｍｉ，その位置をｕｉ、クエリ画像から抽出した法線ベクトルをｎｉ，その位置をｔｉとすると、テンプレート画像とクエリ画像との相関値は以下の式（８）で表わされる。
関数Ｉは、２つの引数が等しい場合に１を返し、異なる場合に０を返すインディケータ関数である。演算装置２は、テンプレート画像から抽出した点とクエリ画像から抽出した点について、それらの点の法線ベクトル及び位置を一致させる回転行列Ｒおよび並進行列Ｔをすべて求め、投票空間において投票する。この投票空間は、第１の実施の形態とは異なり、回転３自由度、並進３自由度の６つの自由度を有する投票空間である。この投票をテンプレート画像とクエリ画像のすべての点の組合せについて行う。そして、演算装置２は、投票空間において最も多く投票された回転行列および並進行列を、テンプレート画像に係るオブジェクトの姿勢として求める。 The function I is an indicator function that returns 1 if two arguments are equal and returns 0 if they are different. The computing device 2 obtains all the rotation matrices R and parallel progressions T that match the normal vectors and positions of the points extracted from the template image and the query image, and votes in the voting space. Unlike the first embodiment, this voting space is a voting space having six degrees of freedom: three degrees of freedom of rotation and three degrees of freedom of translation. This voting is performed for all combinations of points of the template image and the query image. Then, the arithmetic device 2 obtains the rotation matrix and the parallel progression that have been voted the most in the voting space as the orientation of the object related to the template image.
図８を参照して、第２の実施の形態の演算装置２の構成について説明する。演算装置２は、探索が行われる空間を撮影するクエリ画像撮影部１０と、テンプレート画像を記憶したテンプレート記憶部１１と、クエリ画像からテンプレートの画像に対応するオブジェクトの姿勢を検出する演算処理を行う制御部２０と、演算結果を出力する出力部１２とを備えている。 With reference to FIG. 8, the structure of the arithmetic unit 2 of 2nd Embodiment is demonstrated. The arithmetic device 2 performs a query image capturing unit 10 that captures a space in which a search is performed, a template storage unit 11 that stores a template image, and a calculation process that detects the posture of an object corresponding to the template image from the query image. The control part 20 and the output part 12 which outputs a calculation result are provided.
制御部２０は、法線ベクトル抽出部３１と、変換行列投票部３２と、変換行列決定部３３とを有している。法線ベクトル抽出部３１は、テンプレート画像とクエリ画像を構成する各点における法線ベクトル及びその位置を求める機能を有している。各点の法線ベクトルは、各点を囲む三角形ポリゴンまたは四角形ポリゴンを形成することで、その面の法線によって規定することができる。 The control unit 20 includes a normal vector extraction unit 31, a transformation matrix voting unit 32, and a transformation matrix determination unit 33. The normal vector extraction unit 31 has a function of obtaining a normal vector and its position at each point constituting the template image and the query image. The normal vector of each point can be defined by the normal of the surface by forming a triangular polygon or a quadrilateral polygon surrounding each point.
変換行列投票部３２は、テンプレート画像から抽出した点とクエリ画像から抽出した点について、それらの点の法線ベクトル及び位置を一致させる回転行列および並進行列をすべて求め、投票空間において投票する。 The transformation matrix voting unit 32 obtains all rotation matrices and parallel progressions that match the normal vectors and positions of the points extracted from the template image and the query image, and votes in the voting space.
変換行列決定部３３は、投票空間において最も多く投票された回転行列および並進行列を、クエリ画像内にあるテンプレート画像に係るオブジェクトの姿勢として求める機能を有する。 The transformation matrix determination unit 33 has a function of obtaining the rotation matrix and the parallel progression that have been voted the most in the voting space as the orientation of the object related to the template image in the query image.
図９は、第２の実施の形態の演算装置２によって、テンプレート画像に係るオブジェクトの姿勢を求める動作を示すフローチャートである。演算装置２は、クエリ画像撮影部１０にて、探索空間を撮影してクエリ画像を取得する（Ｓ３０）。演算装置２は、テンプレート記憶部１１からテンプレート画像を読み出す（Ｓ３１）。 FIG. 9 is a flowchart illustrating an operation of obtaining the posture of the object related to the template image by the arithmetic device 2 according to the second embodiment. The computing device 2 captures the search space at the query image capturing unit 10 and acquires a query image (S30). The computing device 2 reads a template image from the template storage unit 11 (S31).
続いて、演算装置２は、クエリ画像およびテンプレート画像のそれぞれについて、画像を構成する各点の法線ベクトルを抽出し、その点の位置のデータと関連付けて取得する（Ｓ３２）。 Subsequently, for each of the query image and the template image, the arithmetic device 2 extracts the normal vector of each point constituting the image, and acquires it in association with the data of the position of that point (S32).
演算装置２は、クエリ画像とテンプレート画像のそれぞれから選択した点について、その法線ベクトルおよび位置を一致させる変換を行うための変換行列、すなわち、回転行列と並進行列をすべて求める（Ｓ３３）。そして、求めた回転行列および並進行列を投票空間において投票する（Ｓ３４）。演算装置２は、すべての点の組合せについて、変換行列を求める処理を行ったか否かを判定する（Ｓ３５）。すべての点の組合せについて処理を完了していない場合には（Ｓ３５でＮＯ）、まだ処理を行っていない別の点の組合せを選択し、その法線ベクトル及び位置を一致させる変換行列を求める処理を行い（Ｓ３３）、その結果を投票する（Ｓ３４）。演算装置２は、クエリ画像とテンプレート画像のすべての点の組合せについて処理が完了するまで（Ｓ３５でＹＥＳ）、上記の投票を繰り返し行う。 The computing device 2 obtains all the transformation matrices, that is, the rotation matrix and the parallel progression for performing the transformation for matching the normal vectors and positions of the points selected from the query image and the template image (S33). Then, the obtained rotation matrix and parallel progression are voted in the voting space (S34). The computing device 2 determines whether or not the processing for obtaining the transformation matrix has been performed for all combinations of points (S35). If the processing has not been completed for all point combinations (NO in S35), another point combination that has not yet been processed is selected, and a transformation matrix that matches the normal vector and position is obtained. (S33) and vote the result (S34). The arithmetic device 2 repeats the above voting until the processing is completed for all combinations of points of the query image and the template image (YES in S35).
すべての点の組合せについて、変換行列の投票が完了したら（Ｓ３５でＹＥＳ）、演算装置２は、最も多く投票された並進行列および回転行列を選択し（Ｓ３６）、テンプレート画像に係るオブジェクトの姿勢として求める。演算装置２は、求めた姿勢のデータを出力する（Ｓ３７）。 When voting of the transformation matrix is completed for all combinations of points (YES in S35), the arithmetic unit 2 selects the most frequently voted parallel progression and rotation matrix (S36), and sets the orientation of the object related to the template image. Ask. The computing device 2 outputs the obtained attitude data (S37).
以上、第２の実施の形態の演算装置２について説明した。第２の実施の形態の演算装置２は、クエリ画像とテンプレート画像を表現する複数のベクトルとそのベクトルの起点の位置との相関関係に基づいて、テンプレート画像とクエリ画像とのマッチングを適切に行うことができる。これにより、テンプレート画像に係るオブジェクトがクエリ画像内で大きく傾いている場合であっても、オブジェクトの姿勢を求めることが可能である。 Heretofore, the arithmetic device 2 according to the second embodiment has been described. The computing device 2 according to the second embodiment appropriately matches the template image and the query image based on the correlation between the plurality of vectors representing the query image and the template image and the position of the starting point of the vector. be able to. Thereby, even when the object related to the template image is greatly inclined in the query image, the posture of the object can be obtained.
（変形例）
上記に説明した第２の実施の形態の演算装置２では、画像を構成する各点の法線ベクトルとその位置に基づいて、クエリ画像とテンプレート画像のマッチングを行う例について説明したが、計算量を低減するために、前処理として画像から線分抽出を行ってもよい。画像から線分抽出を行い、線分の方向をベクトルとし、線分の中点を位置とすることにより、第２の実施の形態で説明したのと同じ要領で、オブジェクトの姿勢を求めることができる。線分は方向を持たず、２つの方向を観念することができるが、例えば、ｘｙｚ座標系の正の方向をベクトルの方向として定義することができる。
(Modification)
In the arithmetic device 2 of the second embodiment described above, the example in which the query image and the template image are matched based on the normal vector of each point constituting the image and its position has been described. In order to reduce this, line segment extraction may be performed from the image as preprocessing. By extracting the line segment from the image, setting the direction of the line segment as a vector, and setting the midpoint of the line segment as the position, the posture of the object can be obtained in the same manner as described in the second embodiment. it can. The line segment has no direction and can be thought of as two directions. For example, the positive direction of the xyz coordinate system can be defined as the vector direction.
なお、線分を用いた場合には、求めた変換行列に投票する段階においては、線分の長さを重みとして乗じて、投票を行ってもよい。長い線分が重なるような変換行列の方が、短い線分が重なるような変換行列よりも適切な変換行列である可能性が高いので、重みを付けることにより、変換行列の精度を高めることができる。 When a line segment is used, in the step of voting on the obtained conversion matrix, voting may be performed by multiplying the length of the line segment as a weight. A transformation matrix that overlaps long line segments is more likely to be an appropriate transformation matrix than a transformation matrix that overlaps short line segments, so weighting can improve the accuracy of the transformation matrix. it can.
以上、本発明の演算装置について実施の形態を挙げて詳細に説明したが、本発明の演算装置は上記した実施の形態に限定されるものではない。上記した実施の形態では、クエリ画像とテンプレート画像との相関を求める例を挙げたが、本発明の演算装置は、画像以外の関数の相関を求めるために用いることも可能である。 While the arithmetic device of the present invention has been described in detail with reference to the embodiment, the arithmetic device of the present invention is not limited to the above-described embodiment. In the above-described embodiment, an example in which the correlation between the query image and the template image is obtained has been described. However, the arithmetic device of the present invention can also be used to obtain the correlation of functions other than images.
本発明は、クエリ画像中から所望のオブジェクトの姿勢を高速に検出することができ、ロボットの制御等に有用である。 The present invention can detect the posture of a desired object from a query image at high speed, and is useful for robot control and the like.
１，２ 演算装置
１０ クエリ画像撮影部
１１ テンプレート記憶部
１２ 出力部
２０ 制御部
２１ ＥＧＩ変換部
２２ 回転行列算出部
２３ 処理対象点抽出部
２４ 回転行列投票部
２５ 回転行列決定部
２６ 並進行列決定部
３１ 法線ベクトル抽出部
３２ 変換行列投票部
３３ 変換行列決定部
DESCRIPTION OF SYMBOLS 1, 2 Arithmetic apparatus 10 Query image photographing unit 11 Template storage unit 12 Output unit 20 Control unit 21 EGI conversion unit 22 Rotation matrix calculation unit 23 Processing target point extraction unit 24 Rotation matrix voting unit 25 Rotation matrix determination unit 26 Parallel progression sequence determination unit 31 normal vector extraction unit 32 transformation matrix voting unit 33 transformation matrix determination unit
Claims (12)
探索対象のクエリ画像を取得するクエリ取得部と、
画像の各点の法線ベクトルのヒストグラムを３次元球面上に表現した拡張ガウス画像に変換する画像変換部と、
前記テンプレート画像及び前記クエリ画像の拡張ガウス画像における法線ベクトルのうち、閾値より大きい度数を有する法線ベクトルの３次元球面上の点を選択し、前記テンプレート画像と前記クエリ画像のそれぞれにおいて選択された点の位置及び度数の相関関係に基づいて、前記クエリ画像に対する前記テンプレート画像の回転に関する情報を求める回転算出部と、
を備える演算装置。 A template storage unit storing template images;
A query acquisition unit for acquiring a query image to be searched;
An image conversion unit for converting a histogram of a normal vector of each point of the image into an extended Gaussian image expressed on a three-dimensional sphere;
A point on the three-dimensional sphere of the normal vector having a frequency greater than a threshold is selected from the normal vectors in the extended Gaussian image of the template image and the query image, and is selected in each of the template image and the query image. A rotation calculation unit that obtains information about the rotation of the template image with respect to the query image based on the correlation between the position of the point and the frequency;
An arithmetic device comprising:
前記テンプレート画像から選択された点のうちの１つの点と前記クエリ画像から選択された点のうちの１つの点とを対応させるすべての回転行列を求め、対応させた２つの点の度数に応じた重み付けをした値を、前記回転行列に投票する回転行列投票部と、
前記テンプレート画像において選択された点と前記クエリ画像において選択された点のすべての組合せについて行った投票の結果に基づいて、前記クエリ画像に対する前記テンプレート画像の回転を表わす行列を決定する回転行列決定部と、
を備える請求項１に記載の演算装置。 The rotation calculation unit
Find all rotation matrices that match one of the points selected from the template image and one of the points selected from the query image, and depending on the frequency of the two matched points A rotation matrix voting unit for voting the weighted values to the rotation matrix;
A rotation matrix determination unit that determines a matrix representing rotation of the template image with respect to the query image based on the results of voting performed on all combinations of the points selected in the template image and the points selected in the query image When,
The arithmetic device according to claim 1, comprising:
探索対象のクエリ画像を取得するクエリ取得部と、
画像を表現する複数のベクトルとそのベクトルの起点の位置を求めるベクトル算出部と、
前記テンプレート画像のうちの１つのベクトルと前記クエリ画像のうちの１つのベクトルのその向き及び位置を対応させる変換行列を求め、対応させた２つの点のベクトルの大きさに応じた重み付けをした値を前記変換行列に投票する変換行列投票部と、
前記テンプレート画像と前記クエリ画像のすべての点の組合せについて行った投票の結果に基づいて、前記クエリ画像に対する前記テンプレート画像の変換を表わす行列を決定する変換行列決定部と、
を備える演算装置。 A template storage unit storing template images;
A query acquisition unit for acquiring a query image to be searched;
A vector calculation unit for obtaining a plurality of vectors representing an image and the position of the origin of the vector;
A value obtained by obtaining a transformation matrix that correlates the direction and position of one vector of the template image and one vector of the query image, and weighted according to the magnitude of the vector of the two corresponding points A conversion matrix voting unit for voting to the conversion matrix;
A transformation matrix determining unit that determines a matrix representing transformation of the template image with respect to the query image based on a result of voting performed on all combinations of points of the template image and the query image;
An arithmetic device comprising:
前記ベクトル算出部は、前記線分の中点を起点の位置とし、前記線分の方向をベクトルとして求める請求項６に記載の演算装置。 A line segment extraction unit that performs line segment extraction of an object from the image;
The arithmetic unit according to claim 6, wherein the vector calculation unit obtains a midpoint of the line segment as a starting position and calculates a direction of the line segment as a vector.
前記演算装置が、探索対象のクエリ画像を取得するステップと、
前記演算装置が、前記テンプレート画像と前記クエリ画像を、各点の法線ベクトルのヒストグラムを３次元球面上に表現した拡張ガウス画像にそれぞれ変換するステップと、
前記演算装置が、前記テンプレート画像及び前記クエリ画像の拡張ガウス画像における法線ベクトルのうち、閾値より大きい度数を有する法線ベクトルの３次元球面上の点を選択し、前記テンプレート画像と前記クエリ画像のそれぞれにおいて選択された点の位置及び度数の相関関係に基づいて、前記クエリ画像に対する前記テンプレート画像の回転に関する情報を求めるステップと、
を備える演算方法。 A computing device reading a template image from the template storage unit;
The arithmetic device acquiring a query image to be searched; and
The arithmetic device respectively converting the template image and the query image into an extended Gaussian image representing a normal vector histogram of each point on a three-dimensional sphere;
The arithmetic device selects a point on a three-dimensional spherical surface of a normal vector having a power greater than a threshold value from normal vectors in the extended Gaussian image of the template image and the query image, and the template image and the query image Obtaining information on rotation of the template image relative to the query image based on the correlation between the position and frequency of the selected point in each of
An arithmetic method comprising:
前記演算装置が、探索対象のクエリ画像を取得するステップと、
前記演算装置が、前記テンプレート画像および前記クエリ画像のそれぞれについて、画像を表現する複数のベクトルとそのベクトルの起点の位置を求めるステップと、
前記演算装置が、前記テンプレート画像のうちの１つのベクトルと前記クエリ画像のうちの１つのベクトルのその向き及び位置を対応させる変換行列を求め、対応させた２つの点のベクトルの大きさに応じた重み付けをした値を前記変換行列に投票するステップと、
前記演算装置が、前記テンプレート画像と前記クエリ画像のすべての点の組合せについて行った投票の結果に基づいて、前記クエリ画像に対する前記テンプレート画像の変換を表わす行列を決定するステップと、
を備える演算方法。 A computing device reading a template image from the template storage unit;
The arithmetic device acquiring a query image to be searched; and
The computing device, for each of the template image and the query image, obtaining a plurality of vectors representing the image and the position of the starting point of the vector;
The arithmetic unit obtains a transformation matrix that correlates the direction and position of one vector of the template image and one vector of the query image, and depends on the magnitude of the vector of the two corresponding points Voting the weighted values to the transformation matrix;
Determining a matrix representing a transformation of the template image with respect to the query image based on a result of voting performed by the arithmetic unit on all combinations of points of the template image and the query image;
An arithmetic method comprising:
テンプレート記憶部からテンプレート画像を読み出すステップと、
探索対象のクエリ画像を取得するステップと、
前記テンプレート画像と前記クエリ画像を、各点の法線ベクトルのヒストグラムを３次元球面上に表現した拡張ガウス画像にそれぞれ変換するステップと、
前記テンプレート画像及び前記クエリ画像の拡張ガウス画像における法線ベクトルのうち、閾値より大きい度数を有する法線ベクトルの３次元球面上の点を選択し、前記テンプレート画像と前記クエリ画像のそれぞれにおいて選択された点の位置及び度数の相関関係に基づいて、前記クエリ画像に対する前記テンプレート画像の回転に関する情報を求めるステップと、
を実行させるプログラム。 To calculate the correlation between the template image and the query image,
Reading a template image from the template storage unit;
Obtaining a query image to be searched;
Transforming the template image and the query image into extended Gaussian images each representing a normal vector histogram of each point on a three-dimensional sphere;
A point on the three-dimensional sphere of the normal vector having a frequency greater than a threshold is selected from the normal vectors in the extended Gaussian image of the template image and the query image, and is selected in each of the template image and the query image. Obtaining information on the rotation of the template image relative to the query image based on the correlation of the position of the point and the frequency;
A program that executes
テンプレート記憶部からテンプレート画像を読み出すステップと、
探索対象のクエリ画像を取得するステップと、
前記テンプレート画像および前記クエリ画像のそれぞれについて、画像を表現する複数のベクトルとそのベクトルの起点の位置を求めるステップと、
前記テンプレート画像のうちの１つのベクトルと前記クエリ画像のうちの１つのベクトルのその向き及び位置を対応させる変換行列を求め、対応させた２つの点のベクトルの大きさに応じた重み付けをした値を前記変換行列に投票するステップと、
前記テンプレート画像と前記クエリ画像のすべての点の組合せについて行った投票の結果に基づいて、前記クエリ画像に対する前記テンプレート画像の変換を表わす行列を決定するステップと、
を実行させるプログラム。 To calculate the correlation between the template image and the query image,
Reading a template image from the template storage unit;
Obtaining a query image to be searched;
For each of the template image and the query image, obtaining a plurality of vectors representing the image and the position of the origin of the vector;
A value obtained by obtaining a transformation matrix that correlates the direction and position of one vector of the template image and one vector of the query image, and weighted according to the magnitude of the vector of the two corresponding points Voting to the transformation matrix;
Determining a matrix representing a transformation of the template image with respect to the query image based on the results of voting performed on all combinations of points of the template image and the query image;
A program that executes
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016077569A JP6616729B2 (en) | 2016-04-07 | 2016-04-07 | Arithmetic apparatus, arithmetic method, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016077569A JP6616729B2 (en) | 2016-04-07 | 2016-04-07 | Arithmetic apparatus, arithmetic method, and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2017187990A true JP2017187990A (en) | 2017-10-12 |
| JP6616729B2 JP6616729B2 (en) | 2019-12-04 |
Family
ID=60044938
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016077569A Expired - Fee Related JP6616729B2 (en) | 2016-04-07 | 2016-04-07 | Arithmetic apparatus, arithmetic method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6616729B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019065644A1 (en) | 2017-09-28 | 2019-04-04 | Ａｇｃ株式会社 | Modified polytetrafluoroethylene, molded article, and method for producing extended porous body |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05107049A (en) * | 1991-10-21 | 1993-04-27 | Nippon Telegr & Teleph Corp <Ntt> | Discriminating apparatus of three-dimensional shape |
| JP2015179426A (en) * | 2014-03-19 | 2015-10-08 | 富士通株式会社 | Information processing apparatus, parameter determination method, and program |
-
2016
- 2016-04-07 JP JP2016077569A patent/JP6616729B2/en not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05107049A (en) * | 1991-10-21 | 1993-04-27 | Nippon Telegr & Teleph Corp <Ntt> | Discriminating apparatus of three-dimensional shape |
| JP2015179426A (en) * | 2014-03-19 | 2015-10-08 | 富士通株式会社 | Information processing apparatus, parameter determination method, and program |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019065644A1 (en) | 2017-09-28 | 2019-04-04 | Ａｇｃ株式会社 | Modified polytetrafluoroethylene, molded article, and method for producing extended porous body |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6616729B2 (en) | 2019-12-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3314570B1 (en) | Real-time, model-based object detection and pose estimation | |
| EP2720171B1 (en) | Recognition and pose determination of 3D objects in multimodal scenes | |
| US9633281B2 (en) | Point cloud matching method | |
| JP4900204B2 (en) | Object recognition method | |
| JP5092711B2 (en) | Object recognition apparatus and robot apparatus | |
| JP2015147256A (en) | Robot, robot system, control device, and control method | |
| Wu et al. | CAD-based pose estimation for random bin-picking of multiple objects using a RGB-D camera | |
| JP2011238204A (en) | Method for recognition and position attitude determination of three-dimensional object at three-dimensional scene | |
| WO2012091144A4 (en) | Information processing apparatus and method | |
| JP2008014691A (en) | Stereo image measuring method and instrument for executing the same | |
| Hanh et al. | 3D matching by combining CAD model and computer vision for autonomous bin picking | |
| JP5647072B2 (en) | Subject recognition apparatus, subject recognition method, and subject recognition program | |
| JP2014102746A (en) | Subject recognition device and subject recognition program | |
| JP6616729B2 (en) | Arithmetic apparatus, arithmetic method, and program | |
| WO2008032375A1 (en) | Image correcting device and method, and computer program | |
| Tamas et al. | Robustness analysis of 3d feature descriptors for object recognition using a time-of-flight camera | |
| Hoang et al. | Sub-OBB based object recognition and localization algorithm using range images | |
| Kim et al. | Structured light camera base 3D visual perception and tracking application system with robot grasping task | |
| Martínez et al. | Object recognition for manipulation tasks in real domestic settings: A comparative study | |
| JP2013137591A (en) | Nearest point search device and method thereof, program, and three-dimensional position/attitude recognition device and method thereof | |
| WO2018135326A1 (en) | Image processing device, image processing system, image processing program, and image processing method | |
| JP6665488B2 (en) | Image processing method and image processing apparatus | |
| JP5814714B2 (en) | Image similarity determination device, image similarity determination method, and image similarity determination program | |
| JP6516775B2 (en) | Information matching apparatus and method thereof | |
| JP2015184743A (en) | Image processor and object recognition method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180823 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190725 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190813 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191029 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191108 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6616729 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |