JP2001291105A - Method and device for recognizing pattern - Google Patents

Method and device for recognizing pattern

Info

Publication number
JP2001291105A
JP2001291105A JP2000101966A JP2000101966A JP2001291105A JP 2001291105 A JP2001291105 A JP 2001291105A JP 2000101966 A JP2000101966 A JP 2000101966A JP 2000101966 A JP2000101966 A JP 2000101966A JP 2001291105 A JP2001291105 A JP 2001291105A
Authority
JP
Japan
Prior art keywords
pattern
point
image
normal vector
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2000101966A
Other languages
Japanese (ja)
Other versions
JP3437141B2 (en
Inventor
Masayuki Enomoto
雅幸 榎本
Takao Kanamaru
孝夫 金丸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kawasaki Heavy Industries Ltd
Original Assignee
Kawasaki Heavy Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kawasaki Heavy Industries Ltd filed Critical Kawasaki Heavy Industries Ltd
Priority to JP2000101966A priority Critical patent/JP3437141B2/en
Publication of JP2001291105A publication Critical patent/JP2001291105A/en
Application granted granted Critical
Publication of JP3437141B2 publication Critical patent/JP3437141B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Abstract

PROBLEM TO BE SOLVED: To provide a new pattern recognizing method which can quickly calculate the position and attitude of a pattern and is hardly affected even if lighting and the reflection states of an object surface change. SOLUTION: In this method, a plurality of contour points of a template are detected to store a shift vector V in which the length (r) of a straight line connecting a contour point and a preliminarily defined reference point and the angle θ formed between the straight line and a normal vector at the contour point are defined as attributes (S1), contour points of an object pattern in an image are detected (S2 and S3) to calculate a pattern normal vector in a contour point of the object pattern (S4), shift vector conversion is performed for calculating the coordinates of a mapping point obtained by being shifted as much as the length (r) of the shift vector with respect to the pattern normal vector in the direction of the attribute angle θ (S5), the angle difference data between the pattern normal vector and a template normal vector are accumulated in a coordinate correspondence memory corresponding to the calculated mapping point coordinates (S6), an address where the number of pieces of data converges after the shift vector conversion is detected to obtain the object position on the basis of coordinates corresponding to the memory address (S8) and the object posture is obtained from the frequency distribution of angle difference data stored in the address (S9).

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【発明の属する技術分野】本発明は、画像中の対象物を
識別してその位置と姿勢を検知するパターン認識方法と
装置に関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a pattern recognition method and apparatus for identifying an object in an image and detecting its position and orientation.

【0002】[0002]

【従来の技術】自動化作業、特にロボットによる自動作
業では、対象物を撮影した画像を用いて対象物の位置と
姿勢を知るパターン認識が必須の技術となっている。従
来、画像中のパターンを認識する方法として、検出した
いパターンを表すテンプレートを画像に当てて相互相関
値を算出し、この値が最も大きくなる位置を対象物の位
置とするテンプレートマッチング法が有名である。ま
た、両者の差分の絶対値の和を算出して最も小さくなる
位置により検出するようにしたテンプレートマッチング
法もある。
2. Description of the Related Art In an automatic operation, in particular, an automatic operation by a robot, it is an essential technique to recognize a position and a posture of an object by using an image of the object. Conventionally, as a method of recognizing a pattern in an image, a template matching method in which a template representing a pattern to be detected is applied to an image to calculate a cross-correlation value, and a position where this value is the largest is set as a position of an object is famous. is there. There is also a template matching method in which the sum of the absolute values of the differences is calculated and detected based on the position where the difference becomes the smallest.

【0003】しかし、テンプレートマッチング方法で
は、対象物とパターンの向きが異なる可能性がある場合
には、対象物とパターンが合致するまでパターンの向き
を僅かずつ変化させては画像の端からマッチングを繰り
返すため、計算量が膨大になり時間を要する欠点があっ
た。また、測定対象物が金属製品であるときは、光線の
具合によって画像中の対象物の濃淡値が大きく変動する
ため、テンプレートの輪郭との差が大きいときには対象
物の位置を検出することができない場合が生じる。
However, in the template matching method, if there is a possibility that the orientation of the pattern is different from that of the target, the direction of the pattern is changed little by little until the target and the pattern match, and matching is performed from the end of the image. Because of the repetition, the amount of calculation becomes enormous and there is a disadvantage that it takes time. Further, when the measurement object is a metal product, the gray level of the object in the image greatly varies depending on the condition of the light beam, and therefore, when the difference from the outline of the template is large, the position of the object cannot be detected. Cases arise.

【0004】なお、テンプレートのエッジ位置と検出し
たい点を結ぶベクトルを利用して画像をシフト・加算し
た結果から対象物の位置を検出するベクトル相関法もあ
るが、対象物の姿勢が変化する場合には適用できない。
There is also a vector correlation method for detecting the position of an object from a result obtained by shifting and adding an image using a vector connecting the edge position of the template and a point to be detected, but when the posture of the object changes. Not applicable to

【0005】[0005]

【発明が解決しようとする課題】そこで、本発明が解決
しようとする課題は、パターンの位置と姿勢を素早く算
出できる新しいパターン認識方法であって、照明や対象
物表面の反射状態が変化しても影響を受けにくいパター
ン認識方法を提供することである。
An object of the present invention is to provide a new pattern recognition method capable of quickly calculating the position and orientation of a pattern. It is another object of the present invention to provide a pattern recognition method which is hardly affected by the above.

【0006】[0006]

【課題を解決するための手段】上記課題を解決するた
め、本発明のパターン認識方法は、テンプレートの画像
からその輪郭上の複数の輪郭点とその輪郭点におけるテ
ンプレート法線ベクトルを検出し、輪郭点と予め決めた
基準点を結ぶ線分の長さrとその線分と法線ベクトルの
角度θを属性とするシフトベクトルVを作成して予め記
憶しておく。そして、対象物の画像を取得して、画像中
の対象物パターンの輪郭上の輪郭点を検出し、対象物パ
ターンの輪郭点におけるパターン法線ベクトルを算出
し、パターン法線ベクトルに対して属性角度θの方向に
シフトベクトルの長さrだけずらせた写像点の座標を算
出するシフトベクトル変換を行い、算出された写像点座
標に対応する座標対応メモリーにデータを蓄積して、シ
フトベクトル変換後にデータの数が集中している番地を
検出してそのメモリー番地に対応する座標に基づいて対
象物の位置を求めることを特徴とする。
In order to solve the above-mentioned problems, a pattern recognition method according to the present invention detects a plurality of contour points on a contour of a template image and a template normal vector at the contour point, and detects the contour. A shift vector V having attributes of a length r of a line segment connecting the point and a predetermined reference point and an angle θ between the line segment and a normal vector is created and stored in advance. Then, an image of the object is obtained, a contour point on the contour of the object pattern in the image is detected, a pattern normal vector at the contour point of the object pattern is calculated, and an attribute is assigned to the pattern normal vector. Performs a shift vector conversion for calculating the coordinates of a mapping point shifted by the length r of the shift vector in the direction of the angle θ, stores data in a coordinate corresponding memory corresponding to the calculated mapping point coordinates, and after the shift vector conversion. It is characterized in that an address where the number of data is concentrated is detected, and the position of the object is obtained based on coordinates corresponding to the memory address.

【0007】本発明のパターン認識方法は、テンプレー
トとの対比を簡単な繰り返し演算を主とするシフトベク
トル変換で行うため高速演算が可能である。また、判定
を統計的な手段で行うため、取得した映像の質が悪くて
も正確にパターンの同定を行うことができ、しかも同時
に対象物の位置を決定することができる。
According to the pattern recognition method of the present invention, the comparison with the template is performed by a shift vector conversion mainly based on a simple repetitive operation, so that a high-speed operation is possible. Further, since the determination is performed by statistical means, the pattern can be accurately identified even if the quality of the acquired video is poor, and at the same time, the position of the object can be determined.

【0008】また、座標対応メモリーに蓄積するデータ
として、パターン法線ベクトルとテンプレート法線ベク
トルの角度差を用いることにより、対象物の座標に対応
するメモリー番地に蓄積された角度差値の度数分布に基
づき、例えばピーク値や平均値などにより対象物の姿勢
を求めるようにすることができる。前記角度差はテンプ
レートに一致するパターンについては写像点毎にほぼ同
じ値になり、テンプレートの向きパターンの向きの間の
角度を意味することになるからである。
Further, by using the angle difference between the pattern normal vector and the template normal vector as data to be stored in the coordinate-corresponding memory, the frequency distribution of the angle difference values stored in the memory addresses corresponding to the coordinates of the object is obtained. , The posture of the target object can be obtained from, for example, a peak value or an average value. This is because the angle difference has substantially the same value for each mapping point for a pattern that matches the template, and means the angle between the directions of the orientation patterns of the template.

【0009】なお、データ数が集中しているメモリー番
地に基づいて対象物の位置を求めた後に、再度シフトベ
クトル変換をして、求めた位置近傍に対応する写像点を
有する場合にのみパターン法線ベクトルとテンプレート
法線ベクトルの角度差を記憶して蓄積し、蓄積されたデ
ータ値の度数分布に基づいて対象物の姿勢を求めるよう
にしてもよい。一挙に位置と姿勢を求める方法では写像
点の座標に対応するメモリー番地に角度差を記憶するた
め、メモリー構造が3次元的である必要があり、メモリ
ー容量も大きくなければならない。上記のように2度に
分けてシフトベクトル変換する場合は、写像点位置を記
録するためには写像点座標に対応する番地に格納する数
値を歩進していけば足り、角度差を蓄積するときには写
像点が限られた範囲に入る場合の角度差データのみを蓄
積すれば足りるので、データを蓄積するメモリーの容量
が小さくてもよい。
After the position of the object is obtained based on the memory address where the number of data is concentrated, the shift vector conversion is performed again, and the pattern method is used only when there is a mapping point corresponding to the vicinity of the obtained position. The angle difference between the line vector and the template normal vector may be stored and stored, and the orientation of the target object may be obtained based on the frequency distribution of the stored data values. In the method of obtaining the position and orientation at once, the angle difference is stored in the memory address corresponding to the coordinates of the mapping point, so that the memory structure needs to be three-dimensional and the memory capacity must be large. In the case of performing the shift vector conversion in two steps as described above, in order to record the mapping point position, it is sufficient to step forward the numerical value stored in the address corresponding to the mapping point coordinate, and accumulate the angle difference. Sometimes, it is sufficient to store only the angle difference data when the mapping point falls within a limited range, so that the memory capacity for storing the data may be small.

【0010】また、初回のシフトベクトル変換により対
象物の位置を大まかに求めた後に、さらにシフトベクト
ル変換をして、求めた位置近傍に対応する写像点を有す
る場合のみ、さらに細かく分けた座標対応メモリーに写
像点の出現データを蓄積して、そのデータ数の集中具合
に基づいてより精密な位置を求めるようにすることもで
きる。このように粗い測定と精密な測定を組み合わせる
ことにより、粗い測定では座標に対応する升目の大きさ
を大きく取って座標対応メモリーの容量を小さくするこ
とが可能で、さらに精密測定ではターゲットとなる座標
の近傍の狭い領域に当たるデータのみを蓄積すればよい
ので、データ蓄積用メモリーは極めて小さくても十分な
精度で測定ができる。
Further, after the position of the object is roughly obtained by the first shift vector conversion, further shift vector conversion is performed, and only when there is a mapping point corresponding to the vicinity of the obtained position, the coordinate correspondence is further finely divided. It is also possible to accumulate the appearance data of the mapping points in the memory and obtain a more precise position based on the concentration of the number of data. By combining the coarse measurement and the precise measurement in this way, it is possible to make the size of the grid corresponding to the coordinates large in the coarse measurement and to reduce the capacity of the coordinate-corresponding memory. Since only data corresponding to a narrow area near the data storage needs to be stored, measurement can be performed with sufficient accuracy even if the data storage memory is extremely small.

【0011】なお、上記のように濃淡画像の輪郭から輪
郭点を求めてその輪郭点における法線ベクトルを算出す
る代わりに、2次元画像メモリーの画素に対応する位置
に対象までの距離を記録した距離画像を使用して、各点
における距離勾配から物体表面の法線ベクトルと求めて
シフトベクトル変換することによって、立体物について
位置と姿勢を求めるようにすることもできる。
Instead of calculating the contour point from the contour of the gray image and calculating the normal vector at the contour point as described above, the distance to the object is recorded at the position corresponding to the pixel in the two-dimensional image memory. The position and orientation of the three-dimensional object can be obtained by performing a shift vector conversion by obtaining a normal vector of the object surface from the distance gradient at each point using the distance image and performing a shift vector conversion.

【0012】さらに、上記課題を解決するため、本発明
のパターン認識装置は、画像処理装置、情報処理装置、
第1記憶装置、第2記憶装置を備えたもので、画像処理
装置がテンプレートの画像を取り込んでテンプレートの
輪郭点とその輪郭点における法線ベクトルを検出し、輪
郭点と予め決めた基準点を結ぶ線分の長さrとその線分
と法線ベクトルの角度θを属性とするシフトベクトルV
を作成して、第1記憶装置にシフトベクトルを予め記憶
させておき、測定の際には画像処理装置が対象物の画像
情報を入力して、テンプレートの時と同じようにして画
像中の対象物パターンについて輪郭点を検出し輪郭点に
おけるパターン法線ベクトルを算出し、情報処理装置が
パターン法線ベクトルとシフトベクトルを入力してシフ
トベクトル変換を行う。
Further, in order to solve the above-mentioned problems, a pattern recognition device according to the present invention comprises an image processing device, an information processing device,
An image processing device that captures an image of a template, detects a contour point of the template and a normal vector at the contour point, and determines a contour point and a predetermined reference point. Shift vector V whose attributes are the length r of the connecting line segment and the angle θ between the line segment and the normal vector.
And the shift vector is stored in advance in the first storage device. At the time of measurement, the image processing apparatus inputs image information of the target object, and the target in the image is input in the same manner as in the template. An outline point is detected for an object pattern, a pattern normal vector at the outline point is calculated, and the information processing apparatus inputs the pattern normal vector and the shift vector to perform shift vector conversion.

【0013】シフトベクトル変換はパターン法線ベクト
ルに対してシフトベクトルの属性角度θを有する方向に
線分長さrだけずれた写像点の座標を算出するものであ
る。第2記憶装置は座標に対応する記憶セルを有する座
標対応メモリーを備えており、情報処理装置で算出した
写像点の座標に対応する座標対応メモリー番地に写像点
がその座標を持つ度に計数を歩進させるなどの方法によ
り度数を記憶し、情報処理装置がシフトベクトル変換後
に記録結果を読み出して度数が大きいメモリーに対応す
る座標を調べてその結果に基づいて対象物の位置を判定
することを特徴とする。
The shift vector conversion is for calculating coordinates of a mapping point shifted by a line segment length r in a direction having the attribute angle θ of the shift vector with respect to the pattern normal vector. The second storage device includes a coordinate-corresponding memory having a memory cell corresponding to the coordinates, and counts each time the mapped point has the coordinates at a coordinate-corresponding memory address corresponding to the coordinates of the mapped point calculated by the information processing device. The frequency is stored by a method such as stepping, and the information processing apparatus reads the recording result after the shift vector conversion, examines the coordinates corresponding to the memory having the large frequency, and determines the position of the target based on the result. Features.

【0014】なお、初めは粗く区分けした座標対応メモ
リーを使用してシフトベクトル変換してデータ数が集中
しているメモリーに基づいて対象物の位置を大まかに定
めた後に、今度はさらに細かく分けた第2の座標対応メ
モリーを準備して、再度シフトベクトル変換をして、大
まかに定めた位置の近傍に写像点が来る場合のみ第2の
座標対応メモリーに写像点の出現データを蓄積して、蓄
積したデータ数の集中具合に基づいてより精密な位置を
求めるようにしてもよい。
At first, the position of the object is roughly determined based on the memory in which the number of data is concentrated by performing the shift vector conversion using the coarsely-coordinated memory corresponding to the coordinates, and then further finely divided. A second coordinate-corresponding memory is prepared, the shift vector is converted again, and the appearance data of the mapping point is stored in the second coordinate-corresponding memory only when the mapping point comes near a roughly determined position. A more precise position may be obtained based on the degree of concentration of the stored data.

【0015】また、座標対応メモリーに出現度数を記憶
させる代わりに、パターン法線ベクトルとテンプレート
の法線ベクトルとの角度差のデータを蓄積して、データ
数が集中しているメモリーの座標から対象物の位置を求
め、そのメモリーに蓄積された角度差データ値の度数分
布に基づいて対象物の姿勢を求めるようにすることもで
きる。
Instead of storing the frequency of appearance in the coordinate-corresponding memory, data of the angle difference between the pattern normal vector and the template normal vector is stored, and the coordinates of the memory in which the number of data is concentrated are stored in the memory. The position of the object may be determined, and the posture of the object may be determined based on the frequency distribution of the angle difference data values stored in the memory.

【0016】[0016]

【発明の実施の形態】以下、本発明について実施例に基
づき図面を参照して詳細に説明する。
DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, the present invention will be described in detail based on embodiments with reference to the drawings.

【0017】[0017]

【実施例】本実施例は、本発明のパターン認識方法を利
用して画像中のパターンの位置と姿勢を検出する場合を
示すものである。図1は本実施例のパターン認識装置の
ブロック図、図2は本実施例のパターン認識方法を示す
フローチャート、図3はその準備としてシフトベクトル
を作成する工程のフローチャート、図4はシフトベクト
ルの生成方法を示す説明図、図5は本実施例で使用する
シフトベクトル変換のフローチャート、図6から図9は
シフトベクトル変換の工程を順次説明する図面、図10
はパターンの位置を決定する条件を説明する図面、図1
1は本実施例を適用するロボット装置の概念図である。
This embodiment shows a case where the position and orientation of a pattern in an image are detected by using the pattern recognition method of the present invention. FIG. 1 is a block diagram of the pattern recognition device of the present embodiment, FIG. 2 is a flowchart showing the pattern recognition method of the present embodiment, FIG. 3 is a flowchart of a process of creating a shift vector as preparation, and FIG. FIG. 5 is a flow chart of the shift vector conversion used in the present embodiment, FIGS. 6 to 9 are drawings for sequentially explaining the steps of the shift vector conversion, and FIGS.
FIG. 1 is a diagram for explaining conditions for determining the position of a pattern, FIG.
FIG. 1 is a conceptual diagram of a robot device to which the present embodiment is applied.

【0018】本実施例は、テンプレートの形状と対比し
て近似度が高い場合に対象品と判断するとともに、対象
品の位置と姿勢を検出することができる、計算機による
計算が容易なパターン認識方法で、図1に示すような、
画像処理装置1、情報処理装置2、第1記憶装置3、第
2記憶装置4を備えたパターン認識装置において利用さ
れる。本実施例のパターン認識手順は図2のフローチャ
ートに示す通りであって、まず、図外の撮像装置が選別
対象品もしくはその形状を写したテンプレートを標準の
姿勢に置いて撮影し画像を生成し、画像処理装置1がこ
の画像情報を入力し、それからシフトベクトルを算出し
て記憶する(S1)。
In this embodiment, a pattern recognition method which can judge a target product when the degree of approximation is high in comparison with the shape of the template and detect the position and orientation of the target product and which can be easily calculated by a computer. Then, as shown in FIG.
It is used in a pattern recognition device including an image processing device 1, an information processing device 2, a first storage device 3, and a second storage device 4. The pattern recognition procedure of the present embodiment is as shown in the flowchart of FIG. 2. First, an image pickup device (not shown) generates an image by taking an object to be sorted or a template of the shape of the object in a standard posture. The image processing apparatus 1 receives the image information, calculates a shift vector from the input image information, and stores it (S1).

【0019】図3はシフトベクトルの作成方法を説明す
るフローチャートである。対象品の測定に用いると同じ
構成をした撮像装置により、標準テンプレートTMを撮
影して図4に示すような画像情報を得る(S11)。標
準テンプレートTMは識別したい対象物の形状を持ち、
標準となる姿勢で置かれたものである。このとき情報処
理装置2では、テンプレートTMが存在する領域を教示
エリアとして切り出して、適当な位置に基準点Oを指定
しておく(S12)。基準点OはテンプレートTMの内
部に指定しても外部に指定してもよい。
FIG. 3 is a flowchart for explaining a method of creating a shift vector. The standard template TM is photographed by an imaging device having the same configuration as that used for measuring the target product, and image information as shown in FIG. 4 is obtained (S11). The standard template TM has the shape of the object to be identified,
It is placed in a standard posture. At this time, the information processing apparatus 2 cuts out the area where the template TM exists as a teaching area, and specifies a reference point O at an appropriate position (S12). The reference point O may be specified inside or outside the template TM.

【0020】画像処理装置1は、テンプレートTMが撮
影された濃淡画像の教示エリアをたとえばメキシカンハ
ットフィルタなどの輪郭抽出フィルタで走査して、濃度
勾配の存在する輪郭部分をゼロクロス点Piとして抽出
する(S13)。この時、濃度勾配の方向も算出され
て、これが輪郭線に対する法線の向きになる(S1
4)。このように適当なフィルタを画像中に走査させる
ことにより、機械的に輪郭線上の点とそこに立てた法線
ベクトルを算出することができる。
The image processing apparatus 1 scans the teaching area of the grayscale image obtained by photographing the template TM with a contour extraction filter such as a Mexican hat filter, and extracts a contour part where a density gradient exists as a zero cross point Pi ( S13). At this time, the direction of the density gradient is also calculated and becomes the direction of the normal to the contour line (S1).
4). By scanning an appropriate filter in the image as described above, it is possible to mechanically calculate a point on the contour line and a normal vector set there.

【0021】ゼロクロス点Piに立てた法線上の単位ベ
クトルを教示ベクトルTiと呼ぶ(S15)。情報処理
装置2は、教示ベクトルTiの情報を入力して、ゼロク
ロス点Piから基準点Oまでの線分を生成し、その長さ
を算定する。その線分の長さriとその線分が教示ベク
トルTiとなす角θiを属性(ri,θi)として持つ
ベクトルをシフトベクトルViとよぶ(S16)。求め
たシフトベクトルVi(ri,θi)を第1記憶装置3
に格納する(S17)。
The unit vector on the normal line set at the zero cross point Pi is called a teaching vector Ti (S15). The information processing device 2 receives information of the teaching vector Ti, generates a line segment from the zero-cross point Pi to the reference point O, and calculates the length thereof. A vector having the length ri of the line segment and the angle θi formed by the line segment with the teaching vector Ti as attributes (ri, θi) is called a shift vector Vi (S16). The obtained shift vector Vi (ri, θi) is stored in the first storage device 3.
(S17).

【0022】画像中のテンプレートTMについて、ゼロ
クロス点Piが適当な間隔で輪郭の全周に亘って抽出で
きるまで(S18)、同じ手順を繰り返す。テンプレー
トTMの外周において採用する輪郭点Piの数は、テン
プレートの形状の複雑度に応じて決めればよいが、本方
法は判定に統計的手法を利用しているため、それ程多数
の点を使用する必要はない。このようにして、テンプレ
ートTMの外周に適当な間隔をおいて決められた適当数
の始点Piから基準点Oに向かうシフトベクトルV1,
V2,・・・,Vnが得られる。
For the template TM in the image, the same procedure is repeated until the zero cross points Pi can be extracted at appropriate intervals over the entire circumference of the contour (S18). The number of contour points Pi employed on the outer periphery of the template TM may be determined according to the complexity of the shape of the template. However, since this method uses a statistical method for determination, so many points are used. No need. In this manner, the shift vectors V1 and V1 from the appropriate number of starting points Pi determined at appropriate intervals around the template TM to the reference point O are set.
V2,..., Vn are obtained.

【0023】第1記憶装置3に、識別対象品のシフトベ
クトルViが準備された後に、実際の対象品について処
理を行うことができる。図外の撮像装置により対象とす
る物品の映像を撮影し濃淡画像化して画像処理装置1に
取り込む(S2)。対象物品は例えばベルトコンベアで
搬送されてくる製品や、搬送台上にあってロボットによ
る加工を待つ半製品である。対象物品の撮影はテンプレ
ートTMの撮影と条件を調整して、画像上で同じ縮尺に
なるようにする。
After the shift vector Vi of the article to be identified is prepared in the first storage device 3, processing can be performed on the actual article to be identified. An image of a target article is photographed by an image pickup device (not shown), converted into a grayscale image, and taken into the image processing device 1 (S2). The target article is, for example, a product conveyed by a belt conveyor, or a semi-finished product on a carrier table and waiting for processing by a robot. The shooting of the target article is adjusted to the same scale as that of the template TM by adjusting the shooting conditions of the template TM.

【0024】画像処理装置1は、対象物品の濃淡画像F
から輪郭線を検出して検出点Qjにおける法線ベクトル
Njを求める(S3)。輪郭は、シフトベクトルを生成
するときと同じ方法で検出でき、同時に、検出された輪
郭点Qjにおける濃度勾配の方向、すなわち法線ベクト
ルNjが算定できる。この法線ベクトルは、輪郭線の傾
きを表すので輪郭線勾配ベクトルとも呼ばれる。
The image processing apparatus 1 generates a gray image F of a target article.
, And a normal vector Nj at the detection point Qj is obtained (S3). The contour can be detected in the same manner as when the shift vector is generated, and at the same time, the direction of the density gradient at the detected contour point Qj, that is, the normal vector Nj can be calculated. Since this normal vector represents the inclination of the contour, it is also called a contour gradient vector.

【0025】輪郭抽出フィルタを画像中の対象領域に走
査させることにより、対象物品の画像Fの全周について
適当な間隔で輪郭点Qjを検出しその点における法線ベ
クトルNjを求めて、情報処理装置2を経由して第2記
憶装置4に記憶する。対象物品パターン全周に亘って輪
郭点Qjを求めた後に、情報処理装置2によりシフトベ
クトル変換を行う(S5)。
By scanning the target area in the image with the contour extraction filter, the contour points Qj are detected at appropriate intervals over the entire circumference of the image F of the target article, and the normal vector Nj at that point is obtained. The information is stored in the second storage device 4 via the device 2. After finding the contour points Qj over the entire circumference of the target article pattern, the information processing device 2 performs shift vector conversion (S5).

【0026】シフトベクトル変換は、図5のフローチャ
ートに示したような、各点QjにシフトベクトルViを
作用させた写像点Mjiを求める手続である。図6は第
1のパターンF1と第2のパターンF2が含まれる画像
について、初めのシフトベクトルV1を作用させて写像
点Mj1を求める様子を示す説明図である。
The shift vector conversion is a procedure for obtaining a mapping point Mji obtained by applying a shift vector Vi to each point Qj as shown in the flowchart of FIG. FIG. 6 is an explanatory diagram showing a state in which an initial shift vector V1 is applied to an image including a first pattern F1 and a second pattern F2 to obtain a mapping point Mj1.

【0027】図6に示すように、各輪郭点Q1,Q2,
・・・,Qmを始点としてテンプレートTMの周囲につ
いて求めたシフトベクトルV1を描く(S21)。この
とき、シフトベクトルV1の向きは法線ベクトルN1,
N2,・・・,Nmに対してそれぞれの属性である属性
角θ1をなすようにする。すると、各点Q1,Q2,・
・・,Qm毎にシフトベクトルV1により移動した写像
点Mj1が求まる。このとき、各点Q1,Q2,・・
・,Qmにおける法線ベクトルN1,N2,・・・,N
mとシフトベクトルV1の教示ベクトルT1との角度差
Φj1を算出しておく(S22)。
As shown in FIG. 6, each contour point Q1, Q2,
.., The shift vector V1 obtained around the template TM with Qm as a starting point is drawn (S21). At this time, the direction of the shift vector V1 is the normal vector N1,
N2,..., Nm form an attribute angle θ1, which is an attribute of each. Then, each point Q1, Q2,
.., A mapping point Mj1 moved by the shift vector V1 is obtained for each Qm. At this time, each point Q1, Q2,
.., N, normal vectors at Qm
An angle difference Φj1 between m and the teaching vector T1 of the shift vector V1 is calculated (S22).

【0028】第2記憶装置4には座標に対応した番地を
有する領域すなわち座標対応メモリーが用意されてい
て、番地内には複数のデータが格納できる複数のメモリ
ー素子が含まれた立体構造になっている。写像点Mj1
と上記角度差Φj1を求めたら、写像点Mj1の座標に
対応する番地内にその角度差Φj1を記録する(S2
3,S6)。
The second storage device 4 is provided with an area having an address corresponding to a coordinate, that is, a coordinate-corresponding memory. The address has a three-dimensional structure including a plurality of memory elements capable of storing a plurality of data. ing. Mapping point Mj1
Is obtained, the angle difference Φj1 is recorded in the address corresponding to the coordinates of the mapping point Mj1 (S2).
3, S6).

【0029】図7に示すように第2のシフトベクトルV
2についても同じ操作を行う。また、図8は第3のシフ
トベクトルV3について処理した場合の概念図であり、
図9は最後のシフトベクトルVnについての処理状況を
表す図面である。このようにして、全てのシフトベクト
ルV1,V2,・・・,Vnについて上記操作を行う
(S24,S7)。
As shown in FIG. 7, the second shift vector V
The same operation is performed for No. 2. FIG. 8 is a conceptual diagram in the case where processing is performed on the third shift vector V3.
FIG. 9 is a diagram showing the processing status of the last shift vector Vn. In this way, the above operation is performed for all the shift vectors V1, V2,..., Vn (S24, S7).

【0030】このように、抽出された輪郭点Qjの全て
について、全シフトベクトルViを作用させて、シフト
ベクトル変換を完了させ、写像点Mjiと角度差Φji
を第2記憶装置4の座標対応メモリーに記録する。図1
0は、シフトベクトル変換の結果を全てのシフトベクト
ルについて重ねて示した図面である。図10に見られる
ように、計測対象としたパターンの内第1のパターンF
1がテンプレートTMと同じ形状を持つので、シフトベ
クトルViの数nだけ写像点Mjiが重なった写像基準
点Otができる。この写像基準点OtはテンプレートT
Mの基準点Oに対応する位置であって、写像基準点Ot
の座標によりパターンF1の位置を表すことができる。
なお、テンプレートTMと異なる第2のパターンF2に
関する写像点は分散してしまい、集中する写像基準点は
現れない。
As described above, the shift vector conversion is completed for all the extracted contour points Qj by applying the entire shift vector Vi, and the mapping point Mji and the angle difference Φji
Is stored in the coordinate correspondence memory of the second storage device 4. FIG.
0 is a drawing in which the result of the shift vector conversion is overlaid on all the shift vectors. As shown in FIG. 10, the first pattern F among the patterns to be measured is
Since 1 has the same shape as the template TM, a mapping reference point Ot in which the mapping points Mji overlap by the number n of the shift vectors Vi is created. This mapping reference point Ot corresponds to the template T
A position corresponding to the reference point O of M, and the mapping reference point Ot
Can represent the position of the pattern F1.
Note that the mapping points related to the second pattern F2 different from the template TM are dispersed, and no concentrated mapping reference points appear.

【0031】このように、テンプレートTMと同じパタ
ーンが存在する場合は、シフトベクトル変換が終了した
後の座標対応メモリーの内にデータ数が集中する番地が
出現する。この番地に対応する座標がパターンの位置に
なる(S8)。ただし、輪郭点Qjはパターン輪郭上に
適当な間隔で抽出されるものであり、またテンプレート
上の輪郭点Piと完全に対応する位置にあるとは限らな
い。このため、写像点の集まる座標には統計的な広がり
が生じる。そこで、座標対応メモリーのセルを多少大き
めに設定したり、隣り合ったいくつかの番地を集合して
位置判定を行うことが好ましい。情報処理装置2が関連
するメモリー領域を読み出して情報処理しパターンの位
置を判定する。
As described above, when the same pattern as the template TM exists, an address in which the number of data is concentrated appears in the coordinate corresponding memory after the shift vector conversion is completed. The coordinates corresponding to this address become the position of the pattern (S8). However, the contour points Qj are extracted at appropriate intervals on the pattern contour, and are not necessarily located at positions completely corresponding to the contour points Pi on the template. Therefore, a statistical spread occurs at the coordinates where the mapping points are gathered. Therefore, it is preferable to set the cells of the coordinate correspondence memory to be slightly larger or to perform the position determination by gathering some adjacent addresses. The information processing device 2 reads out the relevant memory area and performs information processing to determine the position of the pattern.

【0032】なお、写像基準点Otに対応するメモリー
には、テンプレートと適合しない写像点について算出さ
れた角度差Φjiデータもノイズとして含まれている。
しかし、角度差Φjiはテンプレートと適合した写像点
Mjiについては輪郭の全周に亘ってほぼ同じ値になる
ため、格納された角度差Φjiの度数分布を取ることに
より、目的のパターンについての角度差Φjiを抽出す
ることができる。この角度差が対象とするパターンF1
の姿勢を表す(S9)。こうして、撮影したパターンを
テンプレートと照合して、目的とするパターンを認識
し、その位置と姿勢を求めて出力することができる(S
10)。
The memory corresponding to the mapping reference point Ot also includes, as noise, angle difference Φji data calculated for a mapping point that does not match the template.
However, since the angle difference Φji has substantially the same value over the entire circumference of the contour for the mapping point Mji that matches the template, taking the frequency distribution of the stored angle difference Φji gives the angle difference Φji for the target pattern. Φji can be extracted. Pattern F1 targeted by this angle difference
(S9). In this way, the captured pattern can be compared with the template, the target pattern can be recognized, and its position and orientation can be obtained and output (S
10).

【0033】本実施例のパターン認識方法によれば、単
純な画像処理により輪郭点とその点における輪郭線の傾
きを求め、極く簡単なベクトル演算により機械的にシフ
トベクトル変換を行って、メモリーに蓄積されたデータ
数の多数決により位置情報を求め、データ内容の度数分
布から姿勢を求めるため、簡単な処理装置により極めて
高速にパターン認識を行うことができる。また、演算処
理は統計的に行うため、照明や対象物表面の反射状態が
多少変化しても影響を受けないで、確実に同定して位置
姿勢を検出することができる。
According to the pattern recognition method of this embodiment, the contour point and the inclination of the contour line at that point are obtained by simple image processing, and the shift vector conversion is mechanically performed by an extremely simple vector operation, and the Since the position information is obtained by majority decision of the number of data stored in the memory and the attitude is obtained from the frequency distribution of the data content, pattern recognition can be performed at a very high speed by a simple processing device. In addition, since the arithmetic processing is performed statistically, even if the illumination or the reflection state of the object surface slightly changes, the position and orientation can be reliably detected without being affected by the change.

【0034】なお、テンプレートおよびパターンの外周
において採用する輪郭点の数もしくは間隔は、対象とす
る物品あるいはパターンの形状の複雑度に応じて決めれ
ばよいが、統計的手法を利用しているため、それ程多数
の点を使用する必要はない。また、計算機中央処理装置
の演算ビット数に合わせて、たとえば16や32などの
個数を使用すると、演算処理上で便利である。
The number or interval of contour points to be used on the outer periphery of the template and the pattern may be determined according to the complexity of the shape of the target article or pattern. However, since a statistical method is used, There is no need to use as many points. Further, it is convenient in arithmetic processing to use a number such as 16 or 32 according to the number of arithmetic bits of the computer central processing unit.

【0035】また、上記実施例では、写像点数の蓄積と
角度差データの蓄積を同時に行っているが、初めのシフ
トベクトル変換で写像点のみを算出して座標対応メモリ
ーに蓄積して写像点の集中具合からパターンの照合を行
い、その後に再びシフトベクトル変換を行って、今度は
写像点が集中した写像基準点を囲う適当な領域を指定し
て、この領域にのみ角度差データを蓄積して度数分布か
ら姿勢の検出を行うようにしてもよい。このような2パ
ス方式によれば、全ての座標対応番地にさらに角度差デ
ータを格納する立体的構造のメモリーを用意する必要が
なく、初めの写像点データは座標対応メモリーにデータ
数として記憶し、後の角度差データは限定された番地に
関するものを選別して蓄積すればよいので、メモリー容
量を節約することができる。
Further, in the above embodiment, the accumulation of the number of mapping points and the accumulation of the angle difference data are performed simultaneously. However, only the mapping points are calculated by the first shift vector conversion and stored in the coordinate correspondence memory to store the mapping points. Pattern matching is performed based on the degree of concentration, and then shift vector conversion is performed again.This time, an appropriate area surrounding the mapping reference point where the mapping points are concentrated is designated, and the angle difference data is stored only in this area. The posture may be detected from the frequency distribution. According to such a two-pass method, there is no need to prepare a memory having a three-dimensional structure for storing angle difference data at all the coordinate corresponding addresses, and the first mapping point data is stored as the number of data in the coordinate corresponding memory. Since the later angle difference data only needs to be selected and stored for a limited address, the memory capacity can be saved.

【0036】また、上記実施例では、シフトベクトル変
換の際にパターン全周の輪郭点に対してシフトベクトル
を順に作用させているが、順序を逆にして、パターンの
輪郭点1個ずつにシフトベクトル全てを作用させるよう
にしてもよい。得られる結果は同じであることは言うま
でもなく、またデータの集積度を監視しているとシフト
ベクトル変換の途中でも、同じ座標対応メモリーに十分
多量のデータが蓄積して対象物の座標を知ることができ
る場合もある。このような場合は、十分確度が高いこと
が分かった時点で、番地を限定した精密測定に切り替え
て精密な位置情報を得るようにすることができる。
In the above-described embodiment, the shift vector is applied to the contour points all around the pattern at the time of the shift vector conversion. However, the order is reversed so that the contour points are shifted one by one. All the vectors may be operated. Obviously, the results obtained are the same, and when monitoring the degree of data integration, a sufficiently large amount of data can be stored in the same memory corresponding to coordinates during shift vector conversion, and the coordinates of the object can be known. Sometimes you can. In such a case, when it is found that the accuracy is sufficiently high, it is possible to switch to the precision measurement in which the address is limited to obtain precise position information.

【0037】本実施例の別の態様として、距離画像を用
いた立体の位置姿勢検出方法がある。距離画像は、2次
元メモリ空間における画素に対応する各点に物体表面ま
での距離情報が納められている2次元画像である。距離
画像は、例えばレーザ光線で対象をスキャンして、その
反射光をレンズによりCCD上に結像させて得られるC
CDの光点位置情報を用い、三角測量の原理で距離に変
換して画像メモリに記憶させる方法により生成すること
ができる。このような距離画像において、対象点付近の
距離勾配を求めると、物体表面の法線ベクトルを得るこ
とができる。
As another aspect of the present embodiment, there is a method of detecting a three-dimensional position and orientation using a distance image. The distance image is a two-dimensional image in which distance information to the object surface is stored at each point corresponding to a pixel in the two-dimensional memory space. The distance image is obtained by, for example, scanning a target with a laser beam and forming an image of the reflected light on a CCD by a lens.
It can be generated by a method of using the light spot position information of a CD, converting the distance into a distance based on the principle of triangulation, and storing the distance in an image memory. In such a distance image, when a distance gradient near the target point is obtained, a normal vector of the object surface can be obtained.

【0038】テンプレートに当たる基準立体について、
その表面に適当な間隔で法線ベクトルを生成する。この
法線ベクトルは教示ベクトルと呼ばれる3次元ベクトル
である。次に、教示ベクトルの足から基準点に向かうシ
フトベクトルを生成して、シフトベクトルの長さと教示
ベクトルの間の角度および教示ベクトルの向きを属性と
して記録する。
With respect to the reference solid corresponding to the template,
Generate normal vectors on the surface at appropriate intervals. This normal vector is a three-dimensional vector called a teaching vector. Next, a shift vector from the foot of the teaching vector toward the reference point is generated, and the length between the shift vector and the angle between the teaching vector and the direction of the teaching vector are recorded as attributes.

【0039】このようにして測定の準備が整ってから、
対象とする物体について距離画像を取得する。距離画像
情報は画像処理装置に取り込まれて、距離勾配から適当
な間隔で物体表面の法線ベクトルを算出する。各法線ベ
クトルについてシフトベクトル変換を行う。本態様にお
いてはシフトベクトルが3次元ベクトルであるため、写
像点は3次元空間に分布する。したがって、写像点の座
標を記憶する座標対応メモリーは3次元構造を持つもの
が選ばれる。座標対応メモリーには教示ベクトルと対象
物体の法線ベクトルとの立体角が格納されている。
After the preparation for measurement is completed in this way,
A distance image is acquired for a target object. The distance image information is taken into the image processing apparatus, and the normal vector of the object surface is calculated at an appropriate interval from the distance gradient. A shift vector conversion is performed for each normal vector. In this embodiment, since the shift vector is a three-dimensional vector, the mapping points are distributed in a three-dimensional space. Therefore, a memory having a three-dimensional structure is selected as the coordinate correspondence memory for storing the coordinates of the mapping point. The coordinate correspondence memory stores a solid angle between the teaching vector and the normal vector of the target object.

【0040】写像点が集中する座標が存在すれば、その
図形はテンプレートと合致する。また、写像点が集中し
た座標に対応するメモリーに格納された立体角の分布を
調査して最も度数の多い角度を見出すと、これが対象物
体の姿勢を表す。なお、立体図形の姿勢によってテンプ
レートと異なる部分が撮影される場合には、写像点の集
中はシフトベクトルの数より少なくなるので、適当数の
集中により同一性を判断してもよい。
If there are coordinates where the mapping points are concentrated, the figure matches the template. When the distribution of the solid angles stored in the memory corresponding to the coordinates where the mapping points are concentrated is examined to find the angle having the highest frequency, this represents the posture of the target object. When a part different from the template is photographed depending on the attitude of the three-dimensional figure, the concentration of the mapping points is smaller than the number of the shift vectors, and thus the identity may be determined based on an appropriate number of concentrations.

【0041】本発明のパターン認識方法は、図11に示
すようなロボット装置に適用することができる。搬送コ
ンベヤ11により搬送されてくる半製品12を撮像装置
13で撮影して画像情報を画像処理装置14に送る。画
像処理装置14では、濃淡映像をフィルター処理して撮
影されたパターンの輪郭を検出し、輪郭上の法線ベクト
ルを算出する。算出結果は中央処理装置15を経由して
記憶装置16に格納される。
The pattern recognition method of the present invention can be applied to a robot device as shown in FIG. The semi-finished product 12 conveyed by the conveyor 11 is photographed by the imaging device 13 and image information is sent to the image processing device 14. The image processing device 14 detects the contour of the captured pattern by filtering the grayscale image and calculates a normal vector on the contour. The calculation result is stored in the storage device 16 via the central processing unit 15.

【0042】中央処理装置15は、予め記憶装置16に
格納されていたテンプレートに関する教示ベクトルとシ
フトベクトルを使ってシフトベクトル変換を実行して、
得られた角度差データを逐次記憶装置16内の座標対応
メモリー内に格納する。シフトベクトル変換が完了した
ら、座標対応メモリー中のデータが集中している番地を
見つけだしてその番地に格納されている角度差の度数分
布を調べる。上記検出した番地をパターンの位置とし、
最も頻度の高い角度差値をパターンの姿勢として、得ら
れた情報をロボット制御装置17に送ると、ロボット制
御装置17がロボットハンド18を操作して半製品12
を把握し姿勢関係を正確に調整して目的の位置に搬送す
る。
The central processing unit 15 executes shift vector conversion using the teaching vector and the shift vector relating to the template stored in the storage device 16 in advance.
The obtained angle difference data is sequentially stored in a coordinate correspondence memory in the storage device 16. When the shift vector conversion is completed, an address where the data in the coordinate correspondence memory is concentrated is found, and the frequency distribution of the angle difference stored at the address is examined. The detected address is used as the position of the pattern,
When the obtained information is sent to the robot controller 17 with the most frequent angle difference value as the pattern posture, the robot controller 17 operates the robot hand 18 to operate the semi-finished product 12.
And accurately adjust the posture relationship and transport it to the target position.

【0043】[0043]

【発明の効果】以上説明したように、本発明のパターン
認識方法によれば、撮影した製品などの画像から必要な
対象物を正確かつ迅速に同定して、その位置と姿勢を算
定し、その情報をロボット制御装置などに伝達して、ロ
ボットハンドなどを自動的に操作して品物を把握するこ
とができる。
As described above, according to the pattern recognition method of the present invention, a required object is accurately and quickly identified from an image of a product or the like, and its position and orientation are calculated. Information can be transmitted to a robot controller or the like, and a robot hand or the like can be automatically operated to grasp the item.

【図面の簡単な説明】[Brief description of the drawings]

【図1】本発明のパターン認識装置の1実施例のブロッ
ク図である。
FIG. 1 is a block diagram of an embodiment of a pattern recognition device according to the present invention.

【図2】本発明のパターン認識方法の1実施例を説明す
るフローチャートである。
FIG. 2 is a flowchart illustrating an embodiment of a pattern recognition method according to the present invention.

【図3】本実施例においてシフトベクトルを作成する工
程のフローチャートである。
FIG. 3 is a flowchart of a process of creating a shift vector in the embodiment.

【図4】本実施例におけるシフトベクトルの生成方法を
説明する図面である。
FIG. 4 is a diagram illustrating a method for generating a shift vector in the present embodiment.

【図5】本実施例で使用するシフトベクトル変換のフロ
ーチャートである。
FIG. 5 is a flowchart of shift vector conversion used in the present embodiment.

【図6】本実施例のシフトベクトル変換の第1の工程を
説明する図面である。
FIG. 6 is a diagram illustrating a first step of the shift vector conversion according to the present embodiment.

【図7】本実施例のシフトベクトル変換の第2の工程を
説明する図面である。
FIG. 7 is a diagram illustrating a second step of the shift vector conversion according to the present embodiment.

【図8】本実施例のシフトベクトル変換の第3の工程を
説明する図面である。
FIG. 8 is a diagram illustrating a third step of the shift vector conversion according to the present embodiment.

【図9】本実施例のシフトベクトル変換の第4の工程を
説明する図面である。
FIG. 9 is a diagram illustrating a fourth step of the shift vector conversion of the present embodiment.

【図10】本実施例においてパターンの位置を決定する
条件を説明する図面である。
FIG. 10 is a diagram illustrating conditions for determining a position of a pattern in the present embodiment.

【図11】本実施例を適用するロボット装置の概念図で
ある。
FIG. 11 is a conceptual diagram of a robot device to which the present embodiment is applied.

【符号の説明】[Explanation of symbols]

14 画像処理装置 15 中央処理装置 16 記憶装置 17 ロボット制御装置 14 Image processing device 15 Central processing device 16 Storage device 17 Robot control device

───────────────────────────────────────────────────── フロントページの続き Fターム(参考) 5B057 DA07 DC08 DC16 DC30 DC33 DC36 5L096 FA06 FA14 FA67 FA69 JA09 ──────────────────────────────────────────────────続 き Continued on the front page F term (reference) 5B057 DA07 DC08 DC16 DC30 DC33 DC36 5L096 FA06 FA14 FA67 FA69 JA09

Claims (11)

【特許請求の範囲】[Claims] 【請求項1】 テンプレートの画像から物体表面におけ
る複数の点における法線ベクトルを検出し該表面点と予
め決めた基準点を結ぶ線分の長さrと該線分と前記法線
ベクトルの角度θを属性とするシフトベクトルVを作成
して予め記憶しておき、対象物の画像を取得し、画像中
の対象物パターンの表面点におけるパターン法線ベクト
ルを算出し、該パターン法線ベクトルと前記属性角度θ
を有する方向に前記線分長さrだけずれた写像点の座標
を算出するシフトベクトル変換を行い、該写像点座標に
対応する座標対応メモリーにデータを蓄積して、シフト
ベクトル変換後にデータの数が集中しているメモリーに
対応する座標に基づいて対象物の位置を求めることを特
徴とするパターン認識方法。
1. A method for detecting a normal vector at a plurality of points on an object surface from an image of a template, the length r of a line segment connecting the surface point and a predetermined reference point, and the angle between the line segment and the normal vector. A shift vector V having θ as an attribute is created and stored in advance, an image of the object is obtained, a pattern normal vector at a surface point of the object pattern in the image is calculated, and the pattern normal vector The attribute angle θ
The shift vector conversion for calculating the coordinates of the mapping point shifted by the line segment length r in the direction having the following is performed, the data is stored in the coordinate correspondence memory corresponding to the mapping point coordinates, and the number of data after the shift vector conversion is calculated. A pattern recognition method characterized in that a position of an object is obtained based on coordinates corresponding to a memory in which is concentrated.
【請求項2】 前記テンプレートの画像が濃淡画像であ
って、前記物体表面の法線ベクトルが該濃淡画像から検
出した輪郭点における法線ベクトルであることを特徴と
する請求項1記載のパターン認識方法。
2. The pattern recognition according to claim 1, wherein the image of the template is a grayscale image, and the normal vector of the surface of the object is a normal vector at a contour point detected from the grayscale image. Method.
【請求項3】 前記テンプレートの画像が距離画像であ
って、前記物体表面の法線ベクトルが該距離画像におけ
る物体表面の点について算出した法線ベクトルであるこ
とを特徴とする請求項1記載のパターン認識方法。
3. The image according to claim 1, wherein the image of the template is a distance image, and the normal vector of the object surface is a normal vector calculated for a point on the object surface in the distance image. Pattern recognition method.
【請求項4】 テンプレートの画像からその輪郭上の複
数の輪郭点と該輪郭点における法線ベクトルを検出し該
輪郭点と予め決めた基準点を結ぶ線分の長さrと該線分
と前記法線ベクトルの角度θを属性とするシフトベクト
ルVを作成して予め記憶しておき、対象物の画像を取得
し、画像中の対象物パターンの輪郭上の輪郭点を検出
し、該対象物パターンの輪郭点におけるパターン法線ベ
クトルを算出し、該パターン法線ベクトルと前記属性角
度θを有する方向に前記線分長さrだけずれた写像点の
座標を算出するシフトベクトル変換を行い、該写像点座
標に対応する座標対応メモリーにデータを蓄積して、シ
フトベクトル変換後にデータの数が集中しているメモリ
ーに対応する座標に基づいて対象物の位置を求めること
を特徴とするパターン認識方法。
4. A plurality of contour points on the contour and a normal vector at the contour point are detected from an image of the template, and a length r of a line segment connecting the contour point and a predetermined reference point, and the line segment are determined. A shift vector V having the angle θ of the normal vector as an attribute is created and stored in advance, an image of the object is acquired, and a contour point on the contour of the object pattern in the image is detected. Calculate the pattern normal vector at the contour point of the object pattern, perform shift vector conversion to calculate the coordinates of the mapping point shifted by the line segment length r in the direction having the attribute angle θ from the pattern normal vector, A pattern storing data in a coordinate-corresponding memory corresponding to the mapping point coordinates, and obtaining a position of an object based on coordinates corresponding to a memory in which the number of data is concentrated after shift vector conversion.識方 method.
【請求項5】 前記データ数が集中しているメモリーに
基づいて対象物の位置を定めた後に、さらにシフトベク
トル変換をして、前記定めた位置近傍に対応する写像点
を有する場合に前記パターン法線ベクトルと前記テンプ
レートの法線ベクトルとの角度差を記憶して蓄積し、該
蓄積されたデータ値の度数分布に基づいて前記対象物の
姿勢を求めることを特徴とする請求項1から4のいずれ
かに記載のパターン認識方法。
5. The method according to claim 1, wherein after determining the position of the object based on the memory in which the number of data is concentrated, further performing a shift vector conversion and having a mapping point corresponding to the vicinity of the determined position. 5. The method according to claim 1, wherein an angle difference between a normal vector and a normal vector of the template is stored and stored, and a posture of the object is obtained based on a frequency distribution of the stored data values. The pattern recognition method according to any one of the above.
【請求項6】 前記データ数が集中しているメモリーに
基づいて対象物の位置を定めた後に、さらにシフトベク
トル変換をして、前記定めた位置近傍に対応する写像点
を有する場合にさらに細かく分けた座標対応メモリーに
該写像点の出現データを蓄積して、該蓄積したデータ数
の集中具合に基づいてより精密な位置を求めることを特
徴とする請求項1から5のいずれかに記載のパターン認
識方法。
6. After the position of an object is determined based on the memory in which the number of data is concentrated, shift vector conversion is further performed to further fine-tune the case where there is a mapping point corresponding to the vicinity of the determined position. 6. The data according to claim 1, wherein the appearance data of the mapping point is stored in the divided coordinate correspondence memory, and a more precise position is obtained based on the degree of concentration of the stored data. Pattern recognition method.
【請求項7】 前記メモリーに蓄積するデータが前記パ
ターン法線ベクトルと前記テンプレートの法線ベクトル
との角度差であって、前記データ数が集中しているメモ
リーに対応する座標に基づいて対象物の位置を求めると
共に、該データ数が集中しているメモリーに蓄積された
データ値の度数分布に基づいて前記対象物の姿勢を求め
ることを特徴とする請求項1から4のいずれかに記載の
パターン認識方法。
7. The method according to claim 7, wherein the data stored in the memory is an angle difference between the pattern normal vector and the template normal vector, and the target is based on coordinates corresponding to the memory in which the number of data is concentrated. 5. The position according to claim 1, wherein the position of the object is obtained, and the attitude of the object is obtained based on a frequency distribution of data values stored in a memory in which the number of data is concentrated. Pattern recognition method.
【請求項8】 画像処理装置と情報処理装置と第1記憶
装置と第2記憶装置を備え、該画像処理装置がテンプレ
ートの画像からその輪郭上の複数の輪郭点と該輪郭点に
おける法線ベクトルを検出し該輪郭点と予め決めた基準
点を結ぶ線分の長さrと該線分と前記法線ベクトルの角
度θを属性とするシフトベクトルVを作成して、前記第
1記憶装置が該シフトベクトルを予め記憶しておき、前
記画像処理装置が、対象物の画像情報を入力して、画像
中の対象物パターンの輪郭上の輪郭点を検出し、該対象
物パターンの輪郭点におけるパターン法線ベクトルを算
出し、前記情報処理装置が前記画像処理装置から前記パ
ターン法線ベクトルを入力し前記第1記憶装置から前記
シフトベクトルを入力して前記法線ベクトルに対して前
記シフトベクトルの属性角度θを有する方向に前記線分
長さrだけずれた写像点の座標を算出するシフトベクト
ル変換を行い、前記第2記憶装置が座標に対応する記憶
セルを有する座標対応メモリーを備えて前記算出された
写像点座標に対応する座標対応メモリーに前記写像点が
その座標を持つ度数を記憶し、前記情報処理装置が前記
シフトベクトル変換後に該度数が大きいメモリーに対応
する座標に基づいて対象物の位置を判定することを特徴
とするパターン認識装置。
8. An image processing device, an information processing device, a first storage device, and a second storage device, wherein the image processing device extracts a plurality of contour points on a contour from a template image and a normal vector at the contour point. And a shift vector V whose attributes are the length r of the line segment connecting the contour point and the predetermined reference point and the angle θ between the line segment and the normal vector are created. The shift vector is stored in advance, and the image processing apparatus inputs image information of an object, detects an outline point on an outline of the object pattern in the image, and detects an outline point on the outline of the object pattern. A pattern normal vector is calculated, and the information processing apparatus inputs the pattern normal vector from the image processing apparatus, inputs the shift vector from the first storage device, and calculates the shift vector of the shift vector with respect to the normal vector. A shift vector conversion for calculating coordinates of a mapping point shifted by the line segment length r in a direction having the sex angle θ, and the second storage device includes a coordinate correspondence memory having a storage cell corresponding to the coordinates. The frequency at which the mapping point has the coordinates is stored in a coordinate correspondence memory corresponding to the calculated mapping point coordinates, and the information processing apparatus converts the shift vector after the shift vector conversion and stores the frequency based on the coordinates corresponding to the memory having the higher frequency. A pattern recognition device for determining the position of a pattern.
【請求項9】 前記画像処理装置において処理される画
像が距離画像であって、前記輪郭点が物体の表面におけ
る点であって、法線ベクトルが前記距離画像から導かれ
る距離勾配によって求めることを特徴とする請求項8記
載のパターン認識装置。
9. An image processed by the image processing apparatus is a distance image, wherein the contour point is a point on a surface of an object, and a normal vector is obtained by a distance gradient derived from the distance image. The pattern recognition device according to claim 8, wherein
【請求項10】 前記データ数が集中しているメモリー
に基づいて対象物の位置を定めた後に、さらにシフトベ
クトル変換をして、前記定めた位置近傍に対応する写像
点を有する場合にさらに細かく分けた第2の座標対応メ
モリーに該写像点の出現データを蓄積して、該蓄積した
データ数の集中具合に基づいてより精密な位置を求める
ことを特徴とする請求項8または9記載のパターン認識
装置。
10. After the position of the object is determined based on the memory in which the number of data is concentrated, shift vector conversion is further performed to further finely map the data when there is a mapping point corresponding to the vicinity of the determined position. 10. The pattern according to claim 8, wherein appearance data of the mapping point is stored in the divided second coordinate correspondence memory, and a more precise position is obtained based on the degree of concentration of the stored data. Recognition device.
【請求項11】 前記座標対応メモリーに前記度数を記
憶させる代わりに、前記パターン法線ベクトルと前記テ
ンプレートの法線ベクトルとの角度差のデータを蓄積し
て、該データ数が集中しているメモリーに蓄積された角
度差データ値の度数分布に基づいて前記対象物の姿勢を
求めることを特徴とする請求項8から10のいずれかに
記載のパターン認識装置。
11. A memory in which, instead of storing the frequency in the coordinate-corresponding memory, data of an angle difference between the pattern normal vector and the template normal vector is accumulated, and the data number is concentrated. The pattern recognition apparatus according to claim 8, wherein an orientation of the object is obtained based on a frequency distribution of the angle difference data values stored in the object.
JP2000101966A 2000-04-04 2000-04-04 Pattern recognition method and apparatus Expired - Fee Related JP3437141B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000101966A JP3437141B2 (en) 2000-04-04 2000-04-04 Pattern recognition method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000101966A JP3437141B2 (en) 2000-04-04 2000-04-04 Pattern recognition method and apparatus

Publications (2)

Publication Number Publication Date
JP2001291105A true JP2001291105A (en) 2001-10-19
JP3437141B2 JP3437141B2 (en) 2003-08-18

Family

ID=18615922

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000101966A Expired - Fee Related JP3437141B2 (en) 2000-04-04 2000-04-04 Pattern recognition method and apparatus

Country Status (1)

Country Link
JP (1) JP3437141B2 (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007140729A (en) * 2005-11-16 2007-06-07 Ishikawajima Harima Heavy Ind Co Ltd Method and device detecting position and attitude of article
JP2008004085A (en) * 2006-05-23 2008-01-10 Matsushita Electric Ind Co Ltd Image processing device, image processing method, program, recording medium and integrated circuit
JP2008293073A (en) * 2007-05-22 2008-12-04 Juki Corp Matching processing method for image
JP2010060451A (en) * 2008-09-04 2010-03-18 Toyota Motor Corp Robotic apparatus and method for estimating position and attitude of object
JP2016118400A (en) * 2014-12-18 2016-06-30 京セラ株式会社 Stereo camera device, moving body, control method, and calibration device
CN115497087A (en) * 2022-11-18 2022-12-20 广州煌牌自动设备有限公司 Tableware posture recognition system and method

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007140729A (en) * 2005-11-16 2007-06-07 Ishikawajima Harima Heavy Ind Co Ltd Method and device detecting position and attitude of article
JP2008004085A (en) * 2006-05-23 2008-01-10 Matsushita Electric Ind Co Ltd Image processing device, image processing method, program, recording medium and integrated circuit
JP2008293073A (en) * 2007-05-22 2008-12-04 Juki Corp Matching processing method for image
JP2010060451A (en) * 2008-09-04 2010-03-18 Toyota Motor Corp Robotic apparatus and method for estimating position and attitude of object
JP2016118400A (en) * 2014-12-18 2016-06-30 京セラ株式会社 Stereo camera device, moving body, control method, and calibration device
CN115497087A (en) * 2022-11-18 2022-12-20 广州煌牌自动设备有限公司 Tableware posture recognition system and method
CN115497087B (en) * 2022-11-18 2024-04-19 广州煌牌自动设备有限公司 Tableware gesture recognition system and method

Also Published As

Publication number Publication date
JP3437141B2 (en) 2003-08-18

Similar Documents

Publication Publication Date Title
US11511421B2 (en) Object recognition processing apparatus and method, and object picking apparatus and method
US7340089B2 (en) Geometric pattern matching using dynamic feature combinations
JP7082715B2 (en) Detection of machining errors in laser machining systems using deep convolutional neural networks
US10430650B2 (en) Image processing system
JP2007206797A (en) Image processing method and image processor
JPH0676062A (en) Picture processor
CN115330958A (en) Real-time three-dimensional reconstruction method and device based on laser radar
CN112070759A (en) Forklift pallet detection and positioning method and system
JPH05137047A (en) Method and device for detection of focal point
JP6405124B2 (en) Inspection device, inspection method, and program
JP6585793B2 (en) Inspection device, inspection method, and program
JP2001291105A (en) Method and device for recognizing pattern
JPH09212643A (en) Method for recognition of three-dimensional object and device therefor
JP3774495B2 (en) Image information extracting apparatus and method
JPH08315152A (en) Image recognition device
CN109685002A (en) A kind of dataset acquisition method, system and electronic device
JPH0875454A (en) Range finding device
US20040258311A1 (en) Method for generating geometric models for optical partial recognition
JP2007140729A (en) Method and device detecting position and attitude of article
JP3867410B2 (en) Three-dimensional visual positioning method and apparatus
US11436754B2 (en) Position posture identification device, position posture identification method and position posture identification program
JPH1063842A (en) Template matching method
JP2006525559A (en) Method for classifying objects with stereo cameras
JP2005071125A (en) Object detector, object detection method, object data selection program and object position detection program
JP6864722B2 (en) Inspection equipment, inspection methods and programs

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
R150 Certificate of patent or registration of utility model

Ref document number: 3437141

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080606

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090606

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100606

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110606

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110606

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120606

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120606

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130606

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130606

Year of fee payment: 10

LAPS Cancellation because of no payment of annual fees