JP2008003793A - Image processing apparatus and image processing program - Google Patents
Image processing apparatus and image processing program Download PDFInfo
- Publication number
- JP2008003793A JP2008003793A JP2006171700A JP2006171700A JP2008003793A JP 2008003793 A JP2008003793 A JP 2008003793A JP 2006171700 A JP2006171700 A JP 2006171700A JP 2006171700 A JP2006171700 A JP 2006171700A JP 2008003793 A JP2008003793 A JP 2008003793A
- Authority
- JP
- Japan
- Prior art keywords
- same gradient
- feature
- contour
- gradient points
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
Description
本発明は、画像から物体の輪郭を抽出し、その輪郭の特徴を抽出する画像処理装置及び画像処理プログラムに関するものである。 The present invention relates to an image processing apparatus and an image processing program for extracting an outline of an object from an image and extracting features of the outline.
従来の画像処理装置としては、例えば非特許文献1に記載されているように、画像から物体の輪郭を抽出し、輪郭の同一勾配点を求め、この同一勾配点を利用して不変量(特徴量)を生成し、物体の認識を行うものが知られている。
しかしながら、上記従来技術においては、画像から物体の輪郭を抽出するときに、ノイズや照明条件の変動等の影響によって輪郭の直線部分が小さな波状となることがある。この場合には、その部分に多くの同一勾配点が存在することになるため、生成される特徴量の次元数が不必要に増大する。従って、その後の処理において、輪郭の特徴量に基づいて物体の認識を行う際に、計算量が増大するばかりでなく、認識精度の低下につながる可能性もある。 However, in the above-described prior art, when the contour of an object is extracted from an image, the straight line portion of the contour may become a small wave shape due to the influence of noise, variations in illumination conditions, and the like. In this case, since many same gradient points exist in that portion, the number of dimensions of the generated feature quantity increases unnecessarily. Therefore, in subsequent processing, when the object is recognized based on the feature amount of the contour, not only the calculation amount increases, but also the recognition accuracy may be lowered.
本発明の目的は、輪郭の特徴抽出において必要最小限の特徴量のみを取り出すことができる画像処理装置及び画像処理プログラムを提供することである。 An object of the present invention is to provide an image processing apparatus and an image processing program capable of extracting only a minimum necessary feature amount in contour feature extraction.
本発明は、画像から対象物の輪郭を抽出し、輪郭の同一勾配点を複数求め、同一勾配点を利用して輪郭の特徴を抽出する画像処理装置であって、複数の同一勾配点の特徴量を求める特徴量生成手段と、特徴量生成手段により求められた複数の同一勾配点の特徴量のうち、任意の複数の同一勾配点における各特徴量の類似度が第1所定値よりも高いかどうかを判断する第1判断手段と、任意の複数の同一勾配点における各位置の近接度が第2所定値よりも高いかどうかを判断する第2判断手段と、第1判断手段により各特徴量の類似度が第1所定値よりも高いと判断されると共に第2判断手段により各位置の近接度が第2所定値よりも高いと判断されると、任意の複数の同一勾配点における各特徴量を1つの特徴量に統合する特徴量統合手段とを備えることを特徴とするものである。 The present invention is an image processing apparatus that extracts a contour of an object from an image, obtains a plurality of the same gradient points of the contour, and extracts the features of the contour using the same gradient points. Of the feature quantity generating means for obtaining the quantity and the feature quantities of the plurality of identical gradient points obtained by the feature quantity generating means, the similarity of each feature quantity at any of the plurality of identical gradient points is higher than the first predetermined value A first determination unit that determines whether the proximity of each position at any of a plurality of identical gradient points is higher than a second predetermined value, and each feature by the first determination unit. When it is determined that the amount of similarity is higher than the first predetermined value and the proximity of each position is determined to be higher than the second predetermined value by the second determination means, Feature quantity integration means for integrating feature quantities into one feature quantity; It is characterized in further comprising.
このような画像処理装置において、画像から対象物の輪郭を抽出するときに、ノイズや照明条件の変動等が生じると、輪郭に存在する単純な直線部分が小さな波状となるため、その部分に複数の同一勾配点が存在するようになる。しかし、それらの同一勾配点は輪郭の同じ直線部分にあるため、特徴量生成手段により求められた各同一勾配点の特徴量が互いに類似し、また各同一勾配点の位置が近接することになる。従って、この場合には、第1判断手段により各同一勾配点の特徴量の類似度が第1所定値よりも高いと判断され、更に第2判断手段により各同一勾配点の位置の近接度が第2所定値よりも高いと判断されるため、特徴量統合手段によって各同一勾配点の特徴量が1つの特徴量に統合されるようになる。これにより、特徴量の次元数が不必要に増大することが抑制され、必要最小限の特徴量のみを取り出すことができる。 In such an image processing apparatus, when a contour of an object is extracted from an image and a noise or a change in illumination conditions occurs, a simple straight line portion existing in the contour becomes a small wave shape. The same gradient point exists. However, since these same gradient points are in the same straight line portion of the contour, the feature values of the same gradient points obtained by the feature value generation means are similar to each other, and the positions of the same gradient points are close to each other. . Therefore, in this case, it is determined by the first determination means that the similarity of the feature values of the same gradient points is higher than the first predetermined value, and the second determination means determines the proximity of the positions of the same gradient points. Since it is determined that the value is higher than the second predetermined value, the feature amount integration unit integrates the feature amounts of the same gradient points into one feature amount. As a result, an unnecessary increase in the number of dimensions of the feature amount is suppressed, and only the minimum necessary feature amount can be extracted.
好ましくは、輪郭上に順番にインデックス番号を付する手段を更に備え、第2判断手段は、任意の複数の同一勾配点間の距離と任意の複数の同一勾配点に対応する各インデックス番号とに基づいて、各位置の近接度が第2所定値よりも高いかどうかを判断する。インデックス番号は輪郭上に順番に付されるため、インデックス番号が近くなるほど、当該インデックス番号が付された同一勾配点間の距離が短くなる。従って、第2判断手段により各同一勾配点の位置の近接度を判断するときに、各同一勾配点間の距離だけでなく、各同一勾配点に対応する各インデックス番号も用いることにより、例えば輪郭の形状が複雑な場合であっても、各同一勾配点の位置の近接度を高精度に求めることができる。 Preferably, the information processing apparatus further includes means for sequentially assigning index numbers on the contour, and the second determination means includes a distance between any plurality of identical gradient points and each index number corresponding to any plurality of identical gradient points. Based on this, it is determined whether the proximity of each position is higher than a second predetermined value. Since the index numbers are assigned in order on the contour, the closer the index number is, the shorter the distance between the same gradient points to which the index number is assigned. Accordingly, when the proximity of the positions of the same gradient points is determined by the second determination means, not only the distance between the same gradient points but also the index numbers corresponding to the same gradient points are used, for example, contours. Even when the shape is complicated, the proximity of the positions of the same gradient points can be obtained with high accuracy.
また、好ましくは、特徴量生成手段は、同一勾配点を通る各勾配間の距離に基づいて、複数の同一勾配点の特徴量を求める。同一勾配点を通る各勾配間の距離は、位置、回転及び大きさに対して不変な量である。このような不変量を用いることにより、その後に輪郭のマッチング処理を行って対象物を認識する場合に、輪郭全体をパターンマッチングする場合に比べて処理が簡単になるだけでなく、画像上で対象物の一部が隠れていてもマッチングを行うことができる。 Preferably, the feature amount generation means obtains feature amounts of a plurality of the same gradient points based on the distance between the gradients passing through the same gradient point. The distance between each gradient through the same gradient point is an invariant amount with respect to position, rotation and magnitude. By using such an invariant, when the object is recognized by performing contour matching processing after that, not only is the processing simpler than when pattern matching is performed on the entire contour, but the object is displayed on the image. Matching can be performed even if a part of the object is hidden.
また、本発明は、画像から対象物の輪郭を抽出し、輪郭の同一勾配点を複数求め、同一勾配点を利用して輪郭の特徴を抽出する画像処理をコンピュータに実行させる画像処理プログラムであって、複数の同一勾配点の特徴量を求める特徴量生成手順と、特徴量生成手順で求められた複数の同一勾配点の特徴量のうち、任意の複数の同一勾配点における各特徴量の類似度が第1所定値よりも高いかどうかを判断する第1判断手順と、任意の複数の同一勾配点における各位置の近接度が第2所定値よりも高いかどうかを判断する第2判断手順と、第1判断手順で各特徴量の類似度が第1所定値よりも高いと判断されると共に第2判断手順で各位置の近接度が第2所定値よりも高いと判断されると、任意の複数の同一勾配点における各特徴量を1つの特徴量に統合する特徴量統合手順とをコンピュータに実行させることを特徴とするものである。 Further, the present invention is an image processing program for extracting a contour of an object from an image, obtaining a plurality of same gradient points of the contour, and causing a computer to execute image processing for extracting contour features using the same gradient points. The feature quantity generation procedure for obtaining the feature quantity of a plurality of the same gradient points, and the similarity of each feature quantity at any of the plurality of same gradient points among the feature quantities of the plurality of the same gradient points obtained by the feature quantity generation procedure A first determination procedure for determining whether or not the degree is higher than a first predetermined value, and a second determination procedure for determining whether or not the proximity of each position at any of a plurality of identical gradient points is higher than a second predetermined value When the first determination procedure determines that the similarity of each feature amount is higher than the first predetermined value and the second determination procedure determines that the proximity of each position is higher than the second predetermined value, One feature value at any of the same gradient points It is characterized in that to execute the feature quantity integration procedure to integrate the feature value to the computer.
このような画像処理プログラムの実行において、画像から対象物の輪郭を抽出するときに、ノイズや照明条件の変動等が生じると、輪郭に存在する単純な直線部分が小さな波状となるため、その部分に複数の同一勾配点が存在するようになる。しかし、それらの同一勾配点は輪郭の同じ直線部分にあるため、特徴量生成手順で求められた各同一勾配点の特徴量が互いに類似し、また各同一勾配点の位置が近接することになる。従って、この場合には、第1判断手順で各同一勾配点の特徴量の類似度が第1所定値よりも高いと判断され、更に第2判断手順で各同一勾配点の位置の近接度が第2所定値よりも高いと判断されるため、特徴量統合手順において各同一勾配点の特徴量が1つの特徴量に統合されるようになる。これにより、特徴量の次元数が不必要に増大することが抑制され、必要最小限の特徴量のみを取り出すことができる。 In the execution of such an image processing program, when noise or a change in illumination conditions occurs when extracting the contour of an object from an image, a simple straight line portion existing in the contour becomes a small wave shape. There are a plurality of the same gradient points. However, since these same gradient points are in the same straight line portion of the contour, the feature values of the same gradient points obtained in the feature value generation procedure are similar to each other, and the positions of the same gradient points are close to each other. . Therefore, in this case, it is determined in the first determination procedure that the similarity of the feature quantity of each same gradient point is higher than the first predetermined value, and in the second determination procedure, the proximity of the position of each same gradient point is determined. Since it is determined that the value is higher than the second predetermined value, the feature values at the same gradient point are integrated into one feature value in the feature value integration procedure. As a result, an unnecessary increase in the number of dimensions of the feature amount is suppressed, and only the minimum necessary feature amount can be extracted.
好ましくは、輪郭上に順番にインデックス番号を付する手順を更にコンピュータに実行させ、第2判断手順では、任意の複数の同一勾配点間の距離と任意の複数の同一勾配点に対応する各インデックス番号とに基づいて、各位置の近接度が第2所定値よりも高いかどうかを判断する。インデックス番号は輪郭上に順番に付されるため、インデックス番号が近くなるほど、当該インデックス番号が付された同一勾配点間の距離が短くなる。従って、第2判断手順で各同一勾配点の位置の近接度を判断するときに、各同一勾配点間の距離だけでなく、各同一勾配点に対応する各インデックス番号も用いることにより、例えば輪郭の形状が複雑な場合であっても、各同一勾配点の位置の近接度を高精度に求めることができる。 Preferably, the computer further executes a procedure of sequentially assigning index numbers on the contour, and in the second determination procedure, the distance between any plurality of the same gradient points and each index corresponding to any of the plurality of the same gradient points. Based on the number, it is determined whether the proximity of each position is higher than a second predetermined value. Since the index numbers are assigned in order on the contour, the closer the index number is, the shorter the distance between the same gradient points to which the index number is assigned. Accordingly, when determining the proximity of the positions of the same gradient points in the second determination procedure, not only the distance between the same gradient points but also the index numbers corresponding to the same gradient points are used, for example, contours. Even when the shape is complicated, the proximity of the positions of the same gradient points can be obtained with high accuracy.
また、好ましくは、特徴量生成手順では、同一勾配点を通る各勾配間の距離に基づいて、複数の同一勾配点の特徴量を求める。同一勾配点を通る各勾配間の距離は、位置、回転及び大きさに対して不変な量である。このような不変量を用いることにより、その後に輪郭のマッチング処理を行って対象物を認識する場合に、輪郭全体をパターンマッチングする場合に比べて処理が簡単になるだけでなく、画像上で対象物の一部が隠れていてもマッチングを行うことができる。 Preferably, in the feature amount generation procedure, feature amounts of a plurality of the same gradient points are obtained based on the distance between the gradients passing through the same gradient point. The distance between each gradient through the same gradient point is an invariant amount with respect to position, rotation and magnitude. By using such an invariant, when the object is recognized by performing contour matching processing after that, not only is the processing simpler than when pattern matching is performed on the entire contour, but the object is displayed on the image. Matching can be performed even if a part of the object is hidden.
本発明によれば、対象物の輪郭の特徴抽出において、必要最小限の特徴量のみを取り出すことができる。これにより、その後に対象物の認識処理を行う場合に、計算量を減少させたり認識精度を向上させることが可能となる。 According to the present invention, it is possible to extract only the minimum necessary feature amount in the feature extraction of the contour of the object. This makes it possible to reduce the amount of calculation and improve the recognition accuracy when the object recognition process is performed thereafter.
以下、本発明に係わる画像処理装置及び画像処理プログラムの好適な実施形態について、図面を参照して詳細に説明する。 DESCRIPTION OF EXEMPLARY EMBODIMENTS Hereinafter, preferred embodiments of an image processing apparatus and an image processing program according to the present invention will be described in detail with reference to the drawings.
図1は、本発明に係わる画像処理装置の一実施形態の構成を示すブロック図である。本実施形態の画像処理装置1は、例えば認識対象物体として急須やマグカップ等の取っ手付き容器を把持するロボット(図示せず)に搭載されるものである。
FIG. 1 is a block diagram showing a configuration of an embodiment of an image processing apparatus according to the present invention. The
同図において、画像処理装置1は、認識対象物体を撮像するカメラ2A,2Bと、これらのカメラ2A,2Bによる撮像画像を入力し、所定の画像処理を行い、認識対象物体の姿勢を推定する画像処理部3と、この画像処理部3の処理結果を表示するモニタ部4と、画像処理部3による画像処理に使用されるデータベースを蓄積記憶するデータ格納部5とを備えている。
In FIG. 1, an
カメラ2A,2Bは、例えばCCDカメラであり、ロボットの両眼部(図示せず)に設けられている。
The
画像処理部3は、物体認識処理に特化した専用のハードウェアとして構成されていても良いし、或いはCPU、メモリ(記憶媒体)、入力部及び出力部を有するパーソナルコンピュータ等の汎用コンピュータを用い、この汎用コンピュータにソフトウェアとしての画像処理プログラムを実行させても良い。このとき、画像処理プログラムは、例えばCD−ROM、DVD、ROM等の記憶媒体または半導体メモリによって提供される。また、画像処理プログラムは、搬送波に重畳されたコンピュータデータ信号としてネットワークを介して提供されるものであっても良い。
The
また、画像処理部3の処理結果は、把持制御処理部6に送られる。把持制御処理部6は、画像処理部3で推定された認識対象物体の姿勢に基づいて、認識対象物体を把持するようにロボットハンド(図示せず)を制御する。
Further, the processing result of the
図2は、画像処理部3による処理手順の概略を示すフローチャートである。同図において、まずカメラ2A,2Bによる撮像画像を取得する(手順11)。カメラ2A,2Bによる撮像画像の一例を図3に示す。図3(a)は、ロボットの左眼部に配置されたカメラ2Aによる撮像画像(左画像)を示し、図3(b)は、ロボットの右眼部に配置されたカメラ2Bによる撮像画像(右画像)を示している。
FIG. 2 is a flowchart showing an outline of a processing procedure by the
続いて、手順11で取得した左画像及び右画像について、濃度値が一様とみなせる物体毎の領域に分割する(手順12)。例えば図3に示す画像では、枠で囲まれた領域Rが認識対象物体を含む領域となる。
Subsequently, the left image and the right image acquired in the
また、手順12の領域分割処理と並行して、2次元の左画像及び右画像から3次元画像を復元する(手順13)。この3次元画像の復元は、例えば両眼視差の考え方を利用して、ある点の左画像及び右画像での位置座標とカメラ2A,2B間の距離とから当該点の奥行きを計算することにより行う。
Further, in parallel with the region dividing process in
続いて、手順12で領域分割された2次元画像と手順13で復元された3次元画像とに基づいて、エッジ検出等により領域R内に存在する物体の輪郭を抽出する(手順14)。例えば図3(a)に示す左画像における認識対象物体の輪郭Bは、図4に示すようなものとなる。
Subsequently, based on the two-dimensional image divided in the
続いて、手順14で得られた認識対象物体の輪郭Bの特徴量を抽出する(手順15)。この特徴抽出処理は、左画像及び右画像の両方について行う。なお、特徴抽出処理の詳細については、後で詳述する。
Subsequently, the feature amount of the outline B of the recognition target object obtained in the
続いて、手順15で得られた認識対象物体の輪郭Bの特徴量を、データ格納部5にデータベースとして記憶されている特徴照合データとマッチングすることにより、特徴照合データに対する類似度を算出する(手順16)。特徴照合データとしては、カメラにより認識対象物体をあらゆる角度(視点)から撮像した時の撮像画像から得られた多くのデータが登録されている。このマッチング処理は、左画像及び右画像の両方について行う。また、マッチング手法としては、例えばDP(Dynamic Programming)マッチング等が採用される。
Subsequently, the degree of similarity with respect to the feature matching data is calculated by matching the feature quantity of the outline B of the recognition target object obtained in
続いて、左画像及び右画像のうち、特徴照合データに対する類似度が高い方の画像を基準画像として選択する(手順17)。そして、選択された基準画像において、特徴照合データに対する最大類似度を算出する(手順18)。そして、その最大類似度となる特徴照合データに対応する輪郭の形状を認識対象物体の初期姿勢位置に設定する(手順19)。 Subsequently, of the left image and the right image, an image having a higher similarity to the feature matching data is selected as a reference image (procedure 17). Then, in the selected reference image, the maximum similarity to the feature matching data is calculated (procedure 18). Then, the contour shape corresponding to the feature matching data having the maximum similarity is set as the initial posture position of the recognition target object (procedure 19).
続いて、まず基準画像のみを用いて、認識対象物体の姿勢を粗推定する(手順20)。そして、その姿勢推定の妥当性を判断し(手順21)、姿勢推定が正しく収束したと判断されたときは、引き続き左画像及び右画像の両方を用いて、認識対象物体の姿勢を詳細に推定する(手順22)。手順20,22による姿勢推定処理は、例えば輪郭のDT(Distance Transform)マップを作成して行う。そして、手順22による姿勢推定の妥当性を判断し(手順23)、姿勢推定が正しく収束したと判断されたときは、その推定結果を把持制御処理部6に送出すると共にモニタ部4に表示させる(手順24)。
Subsequently, the posture of the recognition target object is roughly estimated using only the reference image (procedure 20). Then, the validity of the posture estimation is determined (procedure 21), and when it is determined that the posture estimation has converged correctly, the posture of the recognition target object is estimated in detail using both the left image and the right image. (Procedure 22). The posture estimation process according to the
一方、手順20,22において姿勢推定が正しく収束されないと判断されたときは、認識対象物体を別の視点から撮像した時の撮像画像から得られた他の特徴照合データを用いて、認識対象物体の姿勢推定を行う。例えば、選択された基準画像において類似度が次に高くなるような特徴照合データを選択し、当該類似度となる特徴照合データに対応する輪郭の形状を認識対象物体の新たな初期姿勢位置に設定する(手順25)。そして、上記の手順20〜24を実行する。
On the other hand, when it is determined in
上記の手順15の特徴抽出処理手順の詳細を図5に示す。同図において、まず図2に示す手順14で抽出された物体の輪郭に対してインデックスポイントCを設定し、このインデックスポイントCにインデックス番号を付ける(手順31)。インデックス番号は、物体の輪郭から抽出された勾配同一点P(後述)の位置関係を示す指標となるものである。
FIG. 5 shows details of the feature extraction processing procedure of the
具体的には、図6に示すように、物体の輪郭B上に設定された各インデックスポイントCに対して、右回りまたは左回りに沿って順番にインデックス番号(1,2,…,n−1,n)を付けていく。インデックスポイントCは、輪郭B上に数百〜千個程度有し、例えば一定間隔毎に配置されている。 Specifically, as shown in FIG. 6, for each index point C set on the contour B of the object, index numbers (1, 2,..., N− 1, n). The index points C have about several hundred to thousands on the contour B, and are arranged at regular intervals, for example.
また、物体の輪郭Bに対して勾配(接線の傾き)Hを求める(手順32)。そして、勾配Hの角度毎に複数の同一勾配点Pを求める(手順33)。ここで、同一勾配点Pとは、図7に示すように、輪郭B上において勾配Hが同一となる点のことである。このため、輪郭B上において複数の同一勾配点Pに対応する各勾配Hは、互いに平行になる。 Further, a gradient (tangential gradient) H is obtained with respect to the contour B of the object (procedure 32). Then, a plurality of the same gradient points P are obtained for each angle of the gradient H (procedure 33). Here, the same gradient point P is a point where the gradient H is the same on the contour B as shown in FIG. For this reason, the gradients H corresponding to a plurality of the same gradient points P on the contour B are parallel to each other.
続いて、複数の勾配Hのうち最も端に位置する勾配(端線)H0から他の各勾配Hn(n=1,2…)までの距離dnを求める(手順34)。この距離dnは、各勾配Hnに垂直な方向に沿った距離である。 Then, determine the distance d n to the most gradients on the edge (edge lines) each from H 0 in the other gradient H n among the plurality of gradient H (n = 1, 2 ...) (Step 34). The distance d n is the distance along the direction perpendicular to the gradient H n.
このような端線H0から各勾配Hnまでの距離dnは、輪郭Bの位置、回転及び大きさに対して不変な量である。この不変量を同一勾配点Pの特徴量として用いることにより、図2に示す手順16のマッチング処理が簡単に行えるようになる。また、例えば輪郭全体をパターンマッチングする場合と異なり、認識対象物体の輪郭Bの一部が隠れている場合でも、精度良いマッチングを行うことが可能である。
The distance d n from such end line H 0 to the gradient H n, the position of the contour B, and an amount invariant to rotation and size. By using this invariant as the feature quantity of the same gradient point P, the matching process of the
なお、端線H0から各勾配Hnまでの距離dnの算出は、輪郭Bの両端に位置する2つの勾配Hのいずれか一方のみを端線H0として行っても良いし、輪郭Bの両端に位置する2つの勾配Hの両方を端線H0として行っても良い。また、不変量としては、端線H0から各勾配Hnまでの距離dnを直接用いる他、これらの距離dnの中の最長距離と各距離dnとの差分などを用いても良い。 The calculation from the end line H 0 of the distance d n to the gradient H n is to only one of the two gradient H located at both ends of the contour B may be carried out with Tansen H 0, the contour B Both of the two gradients H located at both ends of the line may be performed as the end line H 0 . As the invariant, except for using the distance d n between the end line H 0 to the gradient H n may be directly used, such as maximum distance and the difference between the distance d n in these distances d n .
続いて、輪郭B上に存在する複数の同一勾配点Pの中から、端線H0と同一勾配点Pを通る勾配Hnとの距離dnが同等またはこれに近くなるような同一勾配点Pi、つまり当該距離dnの差が閾値以上小さくなるような同一勾配点Piを選択する(手順35)。例えば図7に示すものでは、同一勾配点Piとして、勾配H1,H3上の各同一勾配点Pが選択される。 Subsequently, a plurality of out of the same gradient point P, the same slope points as the distance d n is close to equal to or between the gradient H n through the end line H 0 the same gradient point P existing on the contour B P i, that is the difference between the distance d n to select the same slope points P i as smaller than the threshold value (Step 35). For example, in the case shown in FIG. 7, the same gradient point P on the gradients H 1 and H 3 is selected as the same gradient point P i .
続いて、選択された同一勾配点Piの座標(xi,yi)の分散σi 2を求める(手順36)。ここで、各同一勾配点Piの座標値をX1、X2、…、XNとし、各同一勾配点Piの座標値の平均値をMとしたときに、分散σi 2は下記式で表される。
また、選択された同一勾配点Piの座標(xi,yi)の中央値mを求め、この中央値mに対応するインデックス番号Imを記憶する(手順37)。 Further, the median value m of the coordinates (x i , y i ) of the selected same gradient point P i is obtained, and the index number I m corresponding to this median value m is stored (procedure 37).
続いて、手順35で選択された同一勾配点Piの中から、中央値mからの距離が閾値(σi*α)以下である同一勾配点Pjを求める(手順38)。このとき、例えば輪郭Bの大小によって閾値を変化させるべく、標準偏差σiに比例した閾値を用いているが、閾値としては標準偏差σiによらない一定値を用いても良い。閾値として一定値を用いる場合には、手順36の処理を省略することができる。
Subsequently, the same gradient point P j whose distance from the median m is equal to or less than the threshold (σ i * α) is determined from the same gradient points P i selected in the procedure 35 (procedure 38). At this time, for example, a threshold value proportional to the standard deviation σ i is used in order to change the threshold value depending on the size of the contour B, but a constant value not depending on the standard deviation σ i may be used as the threshold value. When a constant value is used as the threshold value, the process of
続いて、手順38で得られた同一勾配点Pjの中から、同一勾配点Pjに対応するインデックス番号Ijと中央値mに対応するインデックス番号Imとの差が閾値以下である同一勾配点Pkを選択する(手順39)。この時の閾値としては、インデックスポイントの総数に応じた値や一定値を用いる。
Subsequently, it is from the same gradient point P j obtained in
続いて、選択された各同一勾配点Pkを通る各勾配Hnと端線H0との距離dnの平均値(平均距離)を求め、この平均距離を不変量に設定する(手順40)。つまり、各同一勾配点Pkを通る各勾配Hnと端線H0との距離dnの全てを不変量として設定するのではなく、これらを統合して1つの不変量とする。 Subsequently, the average value of the distance d n between the gradient H n and Tansen H 0 through each identical gradient point P k selected (average distance), and sets the average distance to the Invariant (Step 40 ). In other words, instead of setting all the invariants of the distance d n between the gradient H n and Tansen H 0 through each identical gradient point P k, and one invariant to integrate them.
その後、輪郭Bに存在する全ての同一勾配点Pについて、不変量の統合の可否を判断したときは、特徴抽出処理を終了し、そうでないときは手順35に戻り、未判断の同一勾配点Pについて手順35〜40を繰り返し実行する(手順41)。 Thereafter, when it is determined whether or not invariant integration is possible for all the same gradient points P existing in the contour B, the feature extraction process is terminated. Otherwise, the procedure returns to step 35, and the undetermined same gradient point P is determined. Steps 35-40 are repeatedly executed for (Step 41).
なお、手順31のインデックス番号付け処理を実行するタイミングは、特に上記のものには限られず、手順37の処理が実行される前であれば、いつでも構わない。
Note that the timing for executing the index numbering process of the
このような特徴抽出処理において、手順31は、輪郭上に順番にインデックス番号を付する手段(手順)を構成している。手順32〜34は、複数の同一勾配点の特徴量を求める特徴量生成手段(特徴量生成手順)を構成している。手順35は、特徴量生成手段により求められた複数の同一勾配点の特徴量のうち、任意の複数の同一勾配点における各特徴量の類似度が第1所定値よりも高いかどうかを判断する第1判断手段(第1判断手順)を構成している。手順36〜39は、任意の複数の同一勾配点における各位置の近接度が第2所定値よりも高いかどうかを判断する第2判断手段(第2判断手順)を構成している。手順40は、第1判断手段により各特徴量の類似度が第1所定値よりも高いと判断されると共に第2判断手段により各位置の近接度が第2所定値よりも高いと判断されると、任意の複数の同一勾配点における各特徴量を1つの特徴量に統合する特徴量統合手段(特徴量統合手順)を構成している。
In such a feature extraction process, the
ところで、カメラ2A,2Bによる撮像画像を取得する際に、ノイズや照明状態の変動等の外乱が発生すると、図8に示すように、画像上における物体の輪郭Bに多少のうねりが生じ、輪郭Bの直線部分が完全な直線にならないことがある。この場合には、当該直線部分だけで数多くの同一勾配点Pが存在することとなる。このとき、各同一勾配点Pを通る各勾配Hについて、勾配Hの1つである端線H0との距離(不変量)をそれぞれ求めると、下記式の例で示されるように、非常に値の近い不変量の次元数が多くなってしまう。なお、下記式において、数値0は、端線H0上の同一勾配点Pの不変量を表し、他の数値は、端線H0以外の勾配H上の同一勾配点Pの不変量を表している。
D=[0 179.95 180.00 180.01 180.02 180.10 … 180.20] …(A)
By the way, when disturbances such as noise and fluctuations in illumination state occur when acquiring images captured by the
D = [0 179.95 180.00 180.01 180.02 180.10 ... 180.20] (A)
このように不変量の次元数が不必要に多くなると、特徴照合データに対する類似度を算出する際に、計算量が増大して計算時間が長くなる。また、輪郭Bから物体の種類等を認識するときに、認識精度が低下することもある。 When the number of invariant dimensions is unnecessarily increased in this way, the calculation amount increases and the calculation time increases when calculating the similarity to the feature matching data. Further, when recognizing the type of object from the contour B, the recognition accuracy may be reduced.
これに対し本実施形態では、輪郭B上に存在する複数の同一勾配点Pのうち、端線H0との距離が同等またはこれに近い複数の勾配H上の同一勾配点Pi、つまり不変量の類似度が高い複数の同一勾配点Piを選択する(図5の手順34,35参照)と共に、各同一勾配点Pi間の距離と各同一勾配点Piに対応するインデックス番号Imとを用いて、各同一勾配点Piの位置の近接度が高い複数の同一勾配点Pkを選択する(図5の手順36〜39参照)。そして、端線H0から各同一勾配点Pkを通る各勾配Hまでの平均距離を求め、この平均距離を1つの不変量として設定する(図5の手順40参照)。従って、上記の(A)式における複数の不変量が下記式のように1つの不変量に統合されることとなる。
H=[0 180.00] …(B)
On the other hand, in the present embodiment, among the plurality of the same gradient points P existing on the contour B, the same gradient point P i on the plurality of gradients H having the same or close distance to the end line H 0 , that is, not similarity variables to select a high multiple of the same slope points P i with (see
H = [0 180.00] (B)
比較として、図7に示す輪郭Bにおいては、端線H0から勾配H1,H3までの距離dnの差が小さいため、勾配H1,H3上の各同一勾配点Pの不変量の類似度は高くなるが、勾配H1,H3上の各同一勾配点P同士は近接せずに離れている。このため、これらの同一勾配点Pの不変量は、いずれも特徴抽出に必要であると判断され、統合されること無く抽出されることになる。
As a comparison, in the contour B shown in FIG. 7, since the difference in the distance d n between the end line H 0 until the
以上のように本実施形態によれば、物体の輪郭B上に存在する複数の同一勾配点Pの不変量(特徴量)が類似し且つ各同一勾配点Pの位置が近接しているときには、各同一勾配点Pの不変量を1つに統合するので、ノイズや照明状態の変動等によって輪郭Bの直線部分に多少のうねりが生じても、不変量の次元数が不必要に増大することは無く、必要最小限の不変量のみを生成することができる。これにより、その後のマッチング処理(図2の手順16参照)において特徴照合データに対する類似度を算出する際に、計算量が少なくて済むため計算時間が短くなる。また、姿勢推定処理(図2の手順21,23参照)を実施するときに、物体の認識精度を向上させることが可能となる。
As described above, according to the present embodiment, when the invariants (features) of a plurality of the same gradient points P existing on the contour B of the object are similar and the positions of the same gradient points P are close to each other, Since the invariants of the same gradient points P are integrated into one, even if some undulation occurs in the straight line portion of the contour B due to noise, fluctuations in illumination state, etc., the number of invariant dimensions increases unnecessarily. Only the minimum necessary invariants can be generated. Thereby, when calculating the similarity to the feature matching data in the subsequent matching process (see
このとき、例えば輪郭Bの形状が複雑である場合には、各同一勾配点P間の距離が短くても、輪郭Bに沿った各同一勾配点Pの位置関係としては離れていることがあるが、輪郭B上に沿って順番に付されるインデックス番号を用いることで、そのような場合でも、各同一勾配点Pの位置が近接しているかどうかを正確に求めることができる。 At this time, for example, when the shape of the contour B is complex, even if the distance between the same gradient points P is short, the positional relationship of the same gradient points P along the contour B may be far apart. However, by using the index numbers given in order along the contour B, it is possible to accurately determine whether or not the positions of the same gradient points P are close to each other even in such a case.
また、輪郭Bの直線部分に存在するうねりを除去するために輪郭Bを平滑化した場合には、詳細な情報が損失され、輪郭Bの特徴抽出が困難になることがあるが、本実施形態では、輪郭Bの特徴を消すこと無く、必要最小限の不変量のみを生成することができる。 Further, when the contour B is smoothed in order to remove the undulation existing in the straight line portion of the contour B, detailed information may be lost and it may be difficult to extract the features of the contour B. Then, it is possible to generate only the minimum necessary invariant without erasing the feature of the contour B.
なお、本発明は、上記実施形態に限定されるものではない。例えば上記実施形態では、輪郭B上に存在する各同一勾配点Pの位置関係を、各同一勾配点P間の距離と各同一勾配点Pに対応する各インデックス番号Imとに基づいて求めるようにしたが、認識対象物体の輪郭Bの形状が比較的単純な場合には、各同一勾配点P間の距離のみに基づいて各同一勾配点Pの位置関係を求めても良い。 The present invention is not limited to the above embodiment. For example, in the above embodiment, as obtained based the positional relationship between the same slope point P existing on the contour B, and each index number I m corresponding to the distance and the same gradient point P between the same slope point P However, when the shape of the contour B of the recognition target object is relatively simple, the positional relationship between the same gradient points P may be obtained based only on the distance between the same gradient points P.
また、上記実施形態では、輪郭Bの各勾配H間の距離に関するパラメータを各同一勾配点Pの特徴量として用いたが、特徴量としては、輪郭Bの位置、回転及び大きさに対して不変な不変量であれば、特にこれには限られず、例えば曲率、色情報、ヒストグラム等を用いても良い。 In the above embodiment, the parameter related to the distance between the gradients H of the contour B is used as the feature amount of each same gradient point P. However, the feature amount is invariant to the position, rotation, and size of the contour B. As long as it is an invariant, the present invention is not particularly limited to this. For example, curvature, color information, a histogram, or the like may be used.
さらに、上記実施形態は、物体を把持するロボットに適用されるものであるが、本発明の画像処理装置及び画像処理プログラムは、物体を認識して物体の姿勢を推定する他の装置やシステム等にも適用可能である。 Further, although the above embodiment is applied to a robot that grips an object, the image processing apparatus and the image processing program of the present invention recognize other objects, estimate the posture of the object, and the like. It is also applicable to.
1…画像処理装置、3…画像処理部(特徴量生成手段、第1判断手段、第2判断手段、特徴量統合手段)。
DESCRIPTION OF
Claims (6)
前記複数の同一勾配点の特徴量を求める特徴量生成手段と、
前記特徴量生成手段により求められた複数の同一勾配点の特徴量のうち、任意の複数の同一勾配点における各特徴量の類似度が第1所定値よりも高いかどうかを判断する第1判断手段と、
前記任意の複数の同一勾配点における各位置の近接度が第2所定値よりも高いかどうかを判断する第2判断手段と、
前記第1判断手段により前記各特徴量の類似度が前記第1所定値よりも高いと判断されると共に前記第2判断手段により前記各位置の近接度が前記第2所定値よりも高いと判断されると、前記任意の複数の同一勾配点における各特徴量を1つの特徴量に統合する特徴量統合手段とを備えることを特徴とする画像処理装置。 An image processing apparatus that extracts a contour of an object from an image, obtains a plurality of same gradient points of the contour, and extracts features of the contour using the same gradient points,
Feature quantity generating means for obtaining feature quantities of the plurality of same gradient points;
A first determination is made to determine whether or not the degree of similarity of each feature value at any of a plurality of same gradient points is higher than a first predetermined value among the feature values of a plurality of same gradient points obtained by the feature value generation means. Means,
Second determination means for determining whether the proximity of each position at the plurality of the same gradient points is higher than a second predetermined value;
The first determining means determines that the similarity of each feature amount is higher than the first predetermined value, and the second determining means determines that the proximity of each position is higher than the second predetermined value. Then, an image processing apparatus comprising: a feature amount integration unit that integrates each feature amount at the plurality of arbitrary same gradient points into one feature amount.
前記第2判断手段は、前記任意の複数の同一勾配点間の距離と前記任意の複数の同一勾配点に対応する前記各インデックス番号とに基づいて、前記各位置の近接度が前記第2所定値よりも高いかどうかを判断することを特徴とする請求項1記載の画像処理装置。 Means for sequentially attaching an index number on the contour;
The second determination means determines the proximity of each position based on the distance between the plurality of the same gradient points and the index numbers corresponding to the plurality of the same gradient points. The image processing apparatus according to claim 1, wherein it is determined whether the value is higher than the value.
前記複数の同一勾配点の特徴量を求める特徴量生成手順と、
前記特徴量生成手順で求められた複数の同一勾配点の特徴量のうち、任意の複数の同一勾配点における各特徴量の類似度が第1所定値よりも高いかどうかを判断する第1判断手順と、
前記任意の複数の同一勾配点における各位置の近接度が第2所定値よりも高いかどうかを判断する第2判断手順と、
前記第1判断手順で前記各特徴量の類似度が前記第1所定値よりも高いと判断されると共に前記第2判断手順で前記各位置の近接度が前記第2所定値よりも高いと判断されると、前記任意の複数の同一勾配点における各特徴量を1つの特徴量に統合する特徴量統合手順とを前記コンピュータに実行させることを特徴とする画像処理プログラム。 An image processing program for extracting a contour of an object from an image, obtaining a plurality of same gradient points of the contour, and causing a computer to execute image processing for extracting features of the contour using the same gradient points,
A feature quantity generation procedure for obtaining feature quantities of the plurality of same gradient points;
A first determination is made to determine whether or not the similarity of each feature value at any of a plurality of same gradient points is higher than a first predetermined value among the feature values of the same gradient points obtained in the feature value generation procedure. Procedure and
A second determination procedure for determining whether the proximity of each position at the plurality of identical gradient points is higher than a second predetermined value;
In the first determination procedure, it is determined that the similarity of each feature amount is higher than the first predetermined value, and in the second determination procedure, it is determined that the proximity of each position is higher than the second predetermined value. Then, the image processing program causing the computer to execute a feature amount integration procedure for integrating each feature amount at the plurality of the same gradient points into one feature amount.
前記第2判断手順では、前記任意の複数の同一勾配点間の距離と前記任意の複数の同一勾配点に対応する前記各インデックス番号とに基づいて、前記各位置の近接度が前記第2所定値よりも高いかどうかを判断することを特徴とする請求項4記載の画像処理プログラム。 Causing the computer to further execute a procedure for sequentially assigning an index number on the contour;
In the second determination procedure, based on the distance between the plurality of the same gradient points and the index numbers corresponding to the plurality of the same gradient points, the proximity of each position is the second predetermined value. 5. The image processing program according to claim 4, wherein it is determined whether or not the value is higher than the value.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006171700A JP2008003793A (en) | 2006-06-21 | 2006-06-21 | Image processing apparatus and image processing program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006171700A JP2008003793A (en) | 2006-06-21 | 2006-06-21 | Image processing apparatus and image processing program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2008003793A true JP2008003793A (en) | 2008-01-10 |
Family
ID=39008130
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006171700A Pending JP2008003793A (en) | 2006-06-21 | 2006-06-21 | Image processing apparatus and image processing program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2008003793A (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111141208A (en) * | 2019-01-09 | 2020-05-12 | 银河水滴科技(北京)有限公司 | Parallel line detection method and device |
-
2006
- 2006-06-21 JP JP2006171700A patent/JP2008003793A/en active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111141208A (en) * | 2019-01-09 | 2020-05-12 | 银河水滴科技(北京)有限公司 | Parallel line detection method and device |
CN111141208B (en) * | 2019-01-09 | 2021-08-27 | 银河水滴科技(北京)有限公司 | Parallel line detection method and device |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6430064B2 (en) | Method and system for aligning data | |
JP6125188B2 (en) | Video processing method and apparatus | |
Spreeuwers | Fast and accurate 3D face recognition: using registration to an intrinsic coordinate system and fusion of multiple region classifiers | |
JP5406705B2 (en) | Data correction apparatus and method | |
US8879847B2 (en) | Image processing device, method of controlling image processing device, and program for enabling computer to execute same method | |
JP5772821B2 (en) | Facial feature point position correction apparatus, face feature point position correction method, and face feature point position correction program | |
CN109934847B (en) | Method and device for estimating posture of weak texture three-dimensional object | |
US9020251B2 (en) | Image processing apparatus and method | |
KR101789071B1 (en) | Apparatus and method for extracting feature of depth image | |
JP2007164720A (en) | Head detecting device, head detecting method, and head detecting program | |
JP4709668B2 (en) | 3D object recognition system | |
KR102399025B1 (en) | Improved data comparison method | |
JP5297727B2 (en) | Robot apparatus and object position / orientation estimation method | |
JP6172432B2 (en) | Subject identification device, subject identification method, and subject identification program | |
JP2009134587A (en) | Image processing device | |
JP4850768B2 (en) | Apparatus and program for reconstructing 3D human face surface data | |
JP2009288917A (en) | Information processor, information processing method and program | |
JP2010504575A (en) | Method and apparatus for recognizing face and face recognition module | |
JP5217917B2 (en) | Object detection and tracking device, object detection and tracking method, and object detection and tracking program | |
JP4876742B2 (en) | Image processing apparatus and image processing program | |
JP4687579B2 (en) | Image processing apparatus and image processing program | |
JP2008003793A (en) | Image processing apparatus and image processing program | |
JP2008003800A (en) | Image processing apparatus and image processing program | |
JP2008261756A (en) | Device and program for presuming three-dimensional head posture in real time from stereo image pair | |
JP7208061B2 (en) | Spherical marker detection method |