JP2011170554A - Object recognition device, object recognition method, and object recognition program - Google Patents
Object recognition device, object recognition method, and object recognition program Download PDFInfo
- Publication number
- JP2011170554A JP2011170554A JP2010032848A JP2010032848A JP2011170554A JP 2011170554 A JP2011170554 A JP 2011170554A JP 2010032848 A JP2010032848 A JP 2010032848A JP 2010032848 A JP2010032848 A JP 2010032848A JP 2011170554 A JP2011170554 A JP 2011170554A
- Authority
- JP
- Japan
- Prior art keywords
- local feature
- edge
- object recognition
- image
- feature amount
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
Description
本発明は、画像内の物体を認識する物体認識装置、物体認識方法及び物体認識プログラムに関する。 The present invention relates to an object recognition apparatus, an object recognition method, and an object recognition program for recognizing an object in an image.
従来、山積みやバラ置き状態の物体を撮影した画像内の物体を認識する手法としては、テンプレートマッチングを適用するのが主流であった。しかしながら、物体の一部分が隠れている場合や複雑な背景を含む場合には、テンプレートマッチングを適用するのが困難である。
そこで、物体の局所的な特徴量（局所特徴量）を定義し、画像上の物体の局所特徴量とテンプレートの局所特徴量とをマッチングすることにより、物体を認識する手法が提案されている（例えば、特許文献１参照）。この技術は、内側により多くのテンプレート画像のエッジが含まれるように決められた参照円と、テンプレート画像のエッジとが交差する点を特徴点とし、局所特徴量を構成するものである。
Conventionally, template matching has been the mainstream as a method for recognizing an object in an image obtained by photographing objects piled up or placed apart. However, it is difficult to apply template matching when a part of an object is hidden or a complicated background is included.
Therefore, a method for recognizing an object by defining a local feature quantity (local feature quantity) of the object and matching the local feature quantity of the object on the image with the local feature quantity of the template has been proposed ( For example, see Patent Document 1). In this technique, a feature point is a point where a reference circle determined so as to include more edges of the template image on the inner side and an edge of the template image, and a local feature amount is configured.
また、エッジ角度（エッジ勾配）を特徴量として、角度マッチングを行う手法も提案されている（例えば、特許文献２参照）。この技術は、所定のエッジ強度に該当するエッジ角度のみを対象として度数分布を作成し、その代表となる角度値を用いて角度のマッチングを行うものである。
さらに、エッジ方向（エッジ勾配）及びエッジ強度の何れか一方を特徴量として分類を行う手法も提案されている（例えば、特許文献３参照）。この技術は、与えられた画像に対して、あるエッジ方向を有する画素のエッジ強度度数分布、或いは、ある強度を有する画素のエッジ方向度数分布を作成し、事前に定義した複数の群の度数分布の特徴と比較を行うことで最も合致する群を抽出し、与えられた画像が該当する群に属するものと判断するものである。
In addition, a method of performing angle matching using an edge angle (edge gradient) as a feature amount has been proposed (see, for example, Patent Document 2). In this technique, a frequency distribution is created only for an edge angle corresponding to a predetermined edge strength, and angle matching is performed using a representative angle value.
Furthermore, a method for classifying either one of the edge direction (edge gradient) and the edge strength as a feature amount has been proposed (see, for example, Patent Document 3). This technology creates an edge intensity frequency distribution of pixels having a certain edge direction or an edge direction frequency distribution of pixels having a certain intensity for a given image, and a plurality of predefined group frequency distributions. The most matched group is extracted by comparing with the above feature, and it is determined that the given image belongs to the corresponding group.
しかしながら、上記特許文献１に記載の従来例にあっては、上述した参照円とエッジとが交差する点に基づいて局所特徴量を構成しているため、当該局所特徴量の物体の幾何学的な構成への依存性が高い。そのため、背景等の影響により幾何学的な特徴の強い部位が隠れた場合には、物体認識が困難になる。
また、上記特許文献２に記載の従来例にあっては、所定のエッジ強度に該当するエッジ画素のみを対象とし、１次元数である角度値を用いて角度のマッチングを行うものであり、多次元数を用いた文様のマッチングを行うことはできない。
さらに、上記特許文献３に記載の従来例にあっては、エッジ方向だけ、或いはエッジ強度だけから度数分布を作成しているため、文様の比較を十分に行うことができない。
そこで、本発明は、画像内の物体認識を適切に行うことができる物体認識装置、物体認識方法及び物体認識プログラムを提供することを課題としている。
However, in the conventional example described in
Further, in the conventional example described in
Further, in the conventional example described in
Therefore, an object of the present invention is to provide an object recognition apparatus, an object recognition method, and an object recognition program that can appropriately recognize an object in an image.
上記課題を解決するために、請求項１に係る物体認識装置は、撮影手段で撮影した撮影画像と予め用意したテンプレート画像とを比較し、物体の認識を行う物体認識装置であって、前記撮影画像内の各画素のエッジ強度値及びエッジ勾配値を演算する画素情報演算手段と、前記撮影画像内の任意の参照点を含む参照領域を選択する参照領域選択手段と、前記画素情報演算手段で演算した、前記参照領域選択手段で選択した参照領域内の各画素のエッジ強度値及びエッジ勾配値に基づいて、前記参照領域におけるエッジ強度値及びエッジ勾配値の度数分布を作成し、これを局所特徴量として抽出する局所特徴量抽出手段と、前記局所特徴量抽出手段で抽出した局所特徴量と、前記テンプレート画像の局所特徴量とを比較し、両者の類似度を演算する類似度演算手段と、を備えることを特徴としている。
In order to solve the above-described problem, an object recognition apparatus according to
このように、参照点を任意に選択し、その近傍の領域を対象としてエッジ強度値とエッジ勾配値とから構成される度数分布を作成し、これを局所特徴量とするので、幾何学的な構成への依存性が弱い特徴量を用いた物体認識を行うことができる。その結果、幾何学的な関係が崩れることによる局所特徴量への影響を抑制して、よりロバストな物体認識が可能となる。
さらに、エッジ強度値とエッジ勾配値の両者を組み合わせて局所特徴量を構成するので、文様の比較を十分に行うことができる。
In this way, a reference point is arbitrarily selected, and a frequency distribution composed of edge strength values and edge gradient values is created for the region in the vicinity, and this is used as a local feature. It is possible to perform object recognition using feature quantities that are weakly dependent on the configuration. As a result, the influence on the local feature amount due to the disruption of the geometric relationship is suppressed, and more robust object recognition is possible.
Furthermore, since the local feature amount is configured by combining both the edge strength value and the edge gradient value, the patterns can be sufficiently compared.
また、請求項２に係る物体認識装置は、請求項１に係る発明において、前記局所特徴量抽出手段は、前記局所特徴量として、前記参照領域におけるエッジ強度値及びエッジ勾配値の２次元度数分布を作成することを特徴としている。
このように、エッジ強度とエッジ勾配とを組み合わせ、両者の相関関係を考慮した局所特徴量とすることができる。そのため、文様の比較を十分に行うことができる。
According to a second aspect of the present invention, in the invention according to the first aspect, the local feature amount extraction unit uses the two-dimensional frequency distribution of edge intensity values and edge gradient values in the reference region as the local feature amounts. It is characterized by creating.
In this way, it is possible to combine the edge strength and the edge gradient to obtain a local feature amount considering the correlation between the two. Therefore, the patterns can be compared sufficiently.
さらに、請求項３に係る物体認識装置は、請求項１に係る発明において、前記局所特徴量抽出手段は、前記局所特徴量として、前記参照領域におけるエッジ強度値及びエッジ勾配値の１次元度数分布を作成することを特徴としている。
これにより、エッジ強度とエッジ勾配とを組み合わせ、両者の相関関係を考慮した局所特徴量とすることができる。また、局所特徴量を１次元の度数分布とするので、類似度の演算を簡易化することができる。
Furthermore, the object recognition apparatus according to
Thereby, it is possible to combine the edge strength and the edge gradient to obtain a local feature amount considering the correlation between the two. Further, since the local feature amount is a one-dimensional frequency distribution, the calculation of the similarity can be simplified.
また、請求項４に係る物体認識装置は、請求項１〜３の何れかに係る発明において、前記参照領域選択手段は、前記参照点を中心点とした一定領域を、前記参照領域として選択することを特徴としている。
これにより、所定のエッジ強度以外のエッジ画素も含めて、参照点近傍の全体の情報を度数分布として表現することができるので、近傍の文様の特徴と表す多次元数を用いて文様のマッチングを行うことができる。
According to a fourth aspect of the present invention, in the object recognition apparatus according to any one of the first to third aspects, the reference area selecting unit selects a fixed area having the reference point as a center point as the reference area. It is characterized by that.
As a result, the entire information in the vicinity of the reference point, including edge pixels other than the predetermined edge strength, can be expressed as a frequency distribution, so pattern matching can be performed using multidimensional numbers that represent features of nearby patterns. It can be carried out.
さらにまた、請求項５に係る物体認識方法は、撮影手段で撮影した撮影画像と予め用意したテンプレート画像とを比較し、物体の認識を行う物体認識方法であって、前記撮影画像内の各画素のエッジ強度値及びエッジ勾配値を演算するステップと、前記撮影画像内の任意の参照点を含む参照領域を選択するステップと、選択した参照領域内の各画素のエッジ強度値及びエッジ勾配値に基づいて、前記参照領域におけるエッジ強度値及びエッジ勾配値の度数分布を作成し、これを局所特徴量として抽出するステップと、抽出した局所特徴量と前記テンプレート画像の局所特徴量とを比較し、両者の類似度を演算するステップと、を備えることを特徴としている。
これにより、幾何学的な構成への依存性が弱い局所特徴量を用いた物体認識を行うことができ、部分的な隠れや複雑な背景を含む画像に適切に対応できる物体認識方法とすることができる。
The object recognition method according to claim 5 is an object recognition method for recognizing an object by comparing a photographed image photographed by a photographing means with a template image prepared in advance, and each pixel in the photographed image. Calculating an edge intensity value and an edge gradient value of the image, a step of selecting a reference area including an arbitrary reference point in the captured image, and an edge intensity value and an edge gradient value of each pixel in the selected reference area. A frequency distribution of edge strength values and edge gradient values in the reference region, and extracting the frequency distribution as a local feature amount, comparing the extracted local feature amount and the local feature amount of the template image, And a step of calculating the degree of similarity between the two.
This makes it possible to perform object recognition using local features that are weakly dependent on the geometric configuration, and to make an object recognition method that can appropriately deal with images that include partial hiding or complex backgrounds. Can do.
また、請求項６に係る物体認識プログラムは、撮影手段で撮影した撮影画像と予め用意したテンプレート画像とを比較し、物体の認識を行う機能をコンピュータに実現させる物体認識プログラムであって、前記撮影画像内の各画素のエッジ強度値及びエッジ勾配値を演算する機能と、前記撮影画像内の任意の参照点を含む参照領域を選択する機能と、選択した参照領域内の各画素のエッジ強度値及びエッジ勾配値に基づいて、前記参照領域におけるエッジ強度値及びエッジ勾配値の度数分布を作成し、これを局所特徴量として抽出する機能と、抽出した局所特徴量と前記テンプレート画像の局所特徴量とを比較し、両者の類似度を演算する機能と、をコンピュータに実現させることを特徴としている。
これにより、幾何学的な構成への依存性が弱い局所特徴量を用いた物体認識処理を実現させることができ、部分的な隠れや複雑な背景を含む画像に適切に対応できる。
An object recognition program according to claim 6 is an object recognition program for causing a computer to realize a function of recognizing an object by comparing a photographed image photographed by photographing means with a template image prepared in advance. A function for calculating an edge intensity value and an edge gradient value of each pixel in the image, a function for selecting a reference area including an arbitrary reference point in the captured image, and an edge intensity value of each pixel in the selected reference area And a function of creating a frequency distribution of edge strength values and edge gradient values in the reference region based on the edge gradient values and extracting the frequency distribution as local feature amounts, and the extracted local feature amounts and local feature amounts of the template image And a computer that realizes a function of calculating the similarity between the two.
As a result, object recognition processing using local feature amounts that are weakly dependent on the geometric configuration can be realized, and an image including partial hiding or a complicated background can be appropriately handled.
本発明によれば、任意の参照点を含む参照領域において、エッジ強度とエッジ勾配の両方を用いて度数分布を作成し、これを局所特徴量として物体認識を行う。これにより、幾何学的な構成への依存性が弱い特徴量を用いた物体認識を行うことができる。そのため、幾何学的な関係が崩れることによる局所特徴量への影響を少なくすることができ、よりロバストな物体認識が可能となる。また、エッジ強度とエッジ勾配とを組み合わせ、両者の相関関係を考慮した局所特徴量を構成することができるので、文様の比較を十分に行うことができる。 According to the present invention, in a reference region including an arbitrary reference point, a frequency distribution is created using both edge strength and edge gradient, and object recognition is performed using this as a local feature amount. As a result, object recognition can be performed using feature quantities that are weakly dependent on the geometric configuration. Therefore, the influence on the local feature amount due to the collapse of the geometric relationship can be reduced, and more robust object recognition is possible. Moreover, since the local feature amount considering the correlation between the edge strength and the edge gradient can be configured, the patterns can be sufficiently compared.
以下、本発明の実施の形態を図面に基づいて説明する。
（第１の実施形態）
（構成）
図１は、本発明に係る物体認識装置の構成を示すブロック図である。
この図１に示すように、物体認識装置１は、画像撮影部１１と、画像記憶部１２と、エッジ勾配・強度演算部１３と、エッジ強度画像記憶部１４と、エッジ勾配画像記憶部１５と、度数分布作成部１６と、度数分布記憶部１７と、度数分布比較演算部１８と、比較対照度数分布記憶部１９と、比較結果記憶部２０と、を備える。
画像撮影部１１は、カメラ等で構成され、対象物を含む画像を撮影する。撮影した画像は画像記憶部１２へ記憶する。撮影する画像は、グレー画像であっても、カラー画像であってもよい。なお、本実施形態では、グレー画像を例に説明する。
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
(First embodiment)
(Constitution)
FIG. 1 is a block diagram showing a configuration of an object recognition apparatus according to the present invention.
As shown in FIG. 1, the
The
また、撮影する画像は、静止画像であっても動画像であってもよい。撮影した画像が静止画像である場合には、その静止画像をそのまま画像記憶部１２へ記憶する。一方、撮影した画像が動画像である場合には、その動画像をフレーム毎に記憶する。
エッジ勾配・強度演算部１３は、画像記憶部１２に記憶された画像をもとに、各画素の濃淡の変化の急激さを示すエッジ強度値と、濃淡の変化の方向を示すエッジ勾配値とを演算し、これらをそれぞれエッジ強度画像記憶部１４とエッジ勾配画像記憶部１５とに記憶する。
The image to be taken may be a still image or a moving image. If the captured image is a still image, the still image is stored in the
The edge gradient /
度数分布作成部１６は、画像内の所定の参照領域について度数分布を作成する。本実施形態では、エッジ勾配・強度演算部１３で演算したエッジ強度値及びエッジ勾配値に基づいて、参照領域におけるエッジ強度値及びエッジ勾配値の２次元度数分布あるいは１次元度数分布を作成する。作成した度数分布は、度数分布記憶部１７に記憶する。
度数分布比較演算部１８は、度数分布記憶部１７に記憶された度数分布と、予め比較対照度数分布記憶部１９に記憶された度数分布とを比較し、両者の類似度を演算する。比較対照度数分布記憶部１９には、予め比較対照となるテンプレート画像の度数分布を記憶しておく。度数分布比較演算部１８の演算結果は、比較結果記憶部２０に記憶する。
The frequency
The frequency distribution
次に、物体認識装置１で実行する物体認識処理について具体的に説明する。
図２は、物体認識処理手順の一例を示すフローチャートである。
先ず、ステップＳ１で、物体認識装置１は、画像記憶部１２に記憶した画像データを読み込み、ステップＳ２に移行する。
ステップＳ２では、物体認識装置１は、前記ステップＳ１で読み込んだ画像をもとに、各画素のエッジ強度値Ｉとエッジ勾配値Ｇとを演算する。ここでは、先ず、前記ステップＳ１で読み込んだ画像に微分フィルタを適用することで、Ｘ方向成分強度ｄｘとＹ方向成分強度ｄｙとを算出する。そして、Ｘ，Ｙ方向成分強度ｄｘ，ｄｙを用いて、下記（１）及び（２）式をもとにエッジ強度値Ｉ及びエッジ勾配値Ｇを算出する。
Ｉ＝（ｄｘ2＋ｄｙ2）1/2 ………（１）
Ｇ＝ｔａｎ-1（ｄｙ／ｄｘ） ………（２）
エッジ強度値Ｉ及びエッジ勾配値Ｇは、撮影画像の全画素について算出する。
Next, the object recognition process executed by the
FIG. 2 is a flowchart illustrating an example of an object recognition processing procedure.
First, in step S1, the
In step S2, the
I = (dx 2 + dy 2 ) 1/2 (1)
G = tan −1 (dy / dx) (2)
The edge intensity value I and the edge gradient value G are calculated for all pixels of the captured image.
次に、ステップＳ３では、物体認識装置１は、物体の局所的な特徴（局所特徴量）を抽出する参照領域ＲＴを選択する。参照領域ＲＴは、図３に示すように、画像内の任意の参照点Ｒを基準に選択するものとし、参照点Ｒを中心として事前に定めた辺の長さ（２Ｌ＋１）を持つ矩形領域（正方形）とする。本実施形態では、参照点Ｒは、画像内において格子状に一定間隔で選択する。
なお、参照点Ｒの間隔や参照領域ＲＴの辺の長さなどは、対象物に応じて適宜設定可能である。
Next, in step S3, the
Note that the interval between the reference points R, the length of the side of the reference region RT, and the like can be appropriately set according to the object.
次に、ステップＳ４では、物体認識装置１は、前記ステップＳ３で選択した参照領域ＲＴにおいて、エッジ強度値Ｉとエッジ勾配値Ｇとから構成される２次元度数分布を作成する。
ここでは、画素（Ｉ，Ｊ）を参照点Ｒとしたとき、参照点Ｒ（Ｉ，Ｊ）を中心点とした参照領域ＲＴにおける２次元度数分布を、Ｆ（Ｉ，Ｊ）（ｍ，ｎ）と記す。２次元度数分布Ｆ（Ｉ，Ｊ）（ｍ，ｎ）は、画像のＸ方向がＩ−ＬからＩ＋Ｌ、画像のＹ方向がＪ−ＬからＪ＋Ｌの範囲内における、エッジ勾配値Ｇ＝ｍ、エッジ強度値Ｉ＝ｎの画素数を示すものである。なお、エッジ勾配値とエッジ強度値の度数分布における区分幅は予め定義しておく。
Next, in step S4, the
Here, when the pixel (I, J) is the reference point R, the two-dimensional frequency distribution in the reference region RT with the reference point R (I, J) as the center point is represented by F (I, J) (m, n ). The two-dimensional frequency distribution F (I, J) (m, n) has an edge gradient value G = m in the range where the X direction of the image is IL to I + L and the Y direction of the image is JL to J + L. This indicates the number of pixels having the edge intensity value I = n. Note that the division width in the frequency distribution of the edge gradient value and the edge strength value is defined in advance.
図４は、２次元度数分布Ｆ（Ｉ，Ｊ）（ｍ，ｎ）の例を示す図である。図４において、色が暗い部分ほど度数が高いことを示している。本実施形態では、この２次元度数分布を局所特徴量とする。
なお、ここでは２次元の度数分布を局所特徴量とする場合について説明したが、１次元の度数分布を局所特徴量とするようにしてもよい。
図５は、１次元度数分布の作成方法を示す図である。
この図５に示すように、２次元度数分布を、１次元の度数分布（シグネチャとも称する）に圧縮し、１次元ヒストグラムを作成する。ここでは、参照点Ｒ（Ｉ，Ｊ）における１次元度数分布をＳ（Ｉ，Ｊ）（ｍ）と記す。１次元度数分布Ｓ（Ｉ，Ｊ）（ｍ）は、エッジ強度をＩｎｔｅｎｓｉｔｙ（ｎ）とすると、下記（３）式で表される。
FIG. 4 is a diagram illustrating an example of the two-dimensional frequency distribution F (I, J) (m, n). FIG. 4 shows that the darker the color, the higher the frequency. In the present embodiment, this two-dimensional frequency distribution is used as a local feature amount.
Although the case where the two-dimensional frequency distribution is used as the local feature amount has been described here, the one-dimensional frequency distribution may be used as the local feature amount.
FIG. 5 is a diagram showing a method for creating a one-dimensional frequency distribution.
As shown in FIG. 5, the two-dimensional frequency distribution is compressed into a one-dimensional frequency distribution (also called a signature) to create a one-dimensional histogram. Here, the one-dimensional frequency distribution at the reference point R (I, J) is denoted as S (I, J) (m). The one-dimensional frequency distribution S (I, J) (m) is represented by the following equation (3), where the edge strength is Intensity (n).
次に、ステップＳ５では、物体認識装置１は、局所特徴量Ｆ１（＝Ｆ（Ｉ１，Ｊ１）（ｍ，ｎ））と局所特徴量Ｆ２（＝Ｆ（Ｉ２，Ｊ２）（ｍ，ｎ））との比較を行い、両参照点の類似度を判定する。ここで、局所特徴量Ｆ１は、前記ステップＳ４で作成し、度数分布記憶手段１７に記憶された２次元度数分布であり、局所特徴量Ｆ２は、予め比較対照度数分布記憶部１９に記憶された２次元度数分布である。先ず、比較の方法について説明する。
２次元度数分布の比較には、相関（Correlation）、カイ２乗（Chi-square）、重なり率（Intersection）などの手法を用いる。
具体的には、比較する２つの２次元度数分布から２次元ヒストグラムＨ1（ｉ，ｊ）とＨ2（ｉ，ｊ）とを求め、以下の一般式を用いて類似度を演算する。下記（４）式は相関ｄ１、下記（５）式はカイ２乗ｄ２、下記（６）式は重なり率ｄ３を求める式である。
Next, in step S5, the
For comparison of the two-dimensional frequency distribution, methods such as correlation, chi-square, and overlap ratio are used.
Specifically, the two-dimensional histograms H 1 (i, j) and H 2 (i, j) are obtained from the two two-dimensional frequency distributions to be compared, and the similarity is calculated using the following general formula. The following equation (4) is a correlation d1, the following equation (5) is a chi-square d2, and the following equation (6) is an equation for obtaining an overlap ratio d3.
上記（４）式において、Ｈave1はＨ1（ｉ，ｊ）の平均値、Ｈave2はＨ2（ｉ，ｊ）の平均値である。
本実施形態では、上記（４）〜（６）式を用いて、２次元度数分布Ｆ（Ｉ１，Ｊ１）（ｍ，ｎ）と、２次元度数分布Ｆ（Ｉ２，Ｊ２）（ｍ，ｎ）との類似度を演算する。
相関ｄ１は、類似度が高いほど大きい値となり、カイ２乗ｄ２は、類似度が高いほど小さい値となり、重なり率ｄ３は、類似度が高いほど大きい値となる。したがって、これらの値に基づいて、撮影画像とテンプレート画像の参照点間の類似度を求めることができる。
In the above equation (4), H ave1 is the average value of H 1 (i, j), and H ave2 is the average value of H 2 (i, j).
In the present embodiment, the two-dimensional frequency distribution F (I1, J1) (m, n) and the two-dimensional frequency distribution F (I2, J2) (m, n) are calculated using the above equations (4) to (6). The similarity is calculated.
The correlation d1 has a larger value as the degree of similarity is higher, the chi-square d2 has a smaller value as the degree of similarity is higher, and the overlap ratio d3 has a larger value as the degree of similarity is higher. Therefore, based on these values, the similarity between the reference points of the captured image and the template image can be obtained.
また、１次元度数分布を用いて類似度を演算するようにしてもよい。この場合、局所特徴量Ｓ１（＝Ｓ（Ｉ１，Ｊ１）（ｍ））と局所特徴量Ｓ２（＝Ｓ（Ｉ２，Ｊ２）（ｍ））との比較を行い、両参照点の類似度を判定する。ここで、局所特徴量Ｓ１は、度数分布記憶手段１７に記憶された１次元度数分布であり、局所特徴量Ｓ２は、予め比較対照度数分布記憶手段１９に記憶された１次元度数分布である。
具体的には、比較する２つの１次元度数分布から１次元ヒストグラムＨ1（ｉ）とＨ2（ｉ）とを求め、下記（７）〜（９）式に示す一般式を用いて相関ｄ１、カイ２乗ｄ２及び重なり率ｄ３を求める。
Also, the similarity may be calculated using a one-dimensional frequency distribution. In this case, the local feature amount S1 (= S (I1, J1) (m)) and the local feature amount S2 (= S (I2, J2) (m)) are compared to determine the similarity between both reference points. To do. Here, the local feature amount S1 is a one-dimensional frequency distribution stored in the frequency
Specifically, the one-dimensional histograms H 1 (i) and H 2 (i) are obtained from the two one-dimensional frequency distributions to be compared, and the correlation d1 using the general formulas shown in the following formulas (7) to (9). , Chi-square d2 and overlap rate d3 are obtained.
上記（７）式において、Ｈave1はＨ1（ｉ）の平均値、Ｈave2はＨ2（ｉ）の平均値である。
ステップＳ６では、物体認識装置１は、前記ステップＳ５の比較結果を比較結果記憶部２０に記憶し、ステップＳ７に移行する。
ステップＳ７では、物体認識装置１は、比較対照を終了するか否かを判定する。そして、比較対照を継続する場合には前記ステップＳ３に移行し、異なる参照点Ｒを選択して比較対照を行う。一方、比較対照を終了する場合には、そのまま物体認識処理を終了する。
なお、図１の画像撮影部１１が撮影手段に対応している。また、図２のステップＳ２が画像情報演算手段に対応し、ステップＳ３が参照領域選択手段に対応し、ステップＳ４が局所特徴量抽出手段に対応し、ステップＳ５が類似度演算手段に対応している。
In the above equation (7), H ave1 is the average value of H 1 (i), and H ave2 is the average value of H 2 (i).
In step S6, the
In step S7, the
Note that the
（動作）
次に、本実施形態の動作について説明する。
ここでは、物体認識装置１をステレオマッチングに適用した場合について説明する。
ステレオマッチングでは、左右の平行化された画像（左右画像の対応するエピポーラ線を水平かつ同じＹ方向位置へ変換された画像）において、一方の画像のある点に対応する他方の画像の点を探索する処理を行う。
画像撮影部１１で、図６（ａ）に示すような画像ＩｍａｇｅＬ（ｉ，ｊ）が撮影されると、その撮影画像ＩｍａｇｅＬ（ｉ，ｊ）は、画像記憶部１２に記憶される。そして、ステレオマッチングでは、図６（ｂ）に示す対照画像ＩｍａｇｅＲ（ｉ，ｊ）の同じエピポーラ線上に存在する対応点候補α´の中から、撮影画像ＩｍａｇｅＬ（ｉ，ｊ）内の任意の（或いは特定の）特徴点αの対応点を探索する。
(Operation)
Next, the operation of this embodiment will be described.
Here, a case where the
In stereo matching, in the left and right parallel images (images in which the corresponding epipolar lines in the left and right images are converted to the same horizontal position in the same Y direction), a point of the other image corresponding to a certain point of one image is searched. Perform the process.
When an image ImageL (i, j) as shown in FIG. 6A is captured by the
これは、ＩｍａｇｅＬにおける特徴点α（Ｉ，Ｊ）に対して「等しい点」となるような点（Ｉ’，Ｊ）をＩｍａｇｅＲ内で決定する処理にあたる。本実施形態では、特徴点αにおける局所特徴量と、対応点候補α´における局所特徴量とをそれぞれ比較することで、類似度を演算し、類似度が最も高い対応点候補α´を特徴点αと「等しい点」であるとする。
すなわち、ＩｍａｇｅＬ（ｉ，ｊ）において参照点Ｒ（ｉ，ｊ）とした時の参照領域ＲＴにおける２次元度数分布をＦＬ（ｉ，ｊ）（ｍ，ｎ）、ＩｍａｇｅＲ（ｉ，ｊ）において参照点Ｒ（ｉ，ｊ）とした時の参照領域ＲＴにおける２次元度数分布をＦＲ（ｉ，ｊ）（ｍ，ｎ）とするとき、ＦＬ（Ｉ，Ｊ）（ｍ，ｎ）とＦＲ（ｉ，Ｊ）（ｍ，ｎ）との類似度が最も高くなるような点（ｉ，Ｊ）を対応点として選択する。
This corresponds to a process of determining a point (I ′, J) in ImageR that is an “equal point” with respect to the feature point α (I, J) in ImageL. In this embodiment, the local feature amount at the feature point α and the local feature amount at the corresponding point candidate α ′ are respectively compared to calculate the similarity, and the corresponding point candidate α ′ having the highest similarity is the feature point. It is assumed that it is a “same point” as α.
That is, the two-dimensional frequency distribution in the reference region RT when the reference point R (i, j) is set in ImageL (i, j) is referenced in FL (i, j) (m, n) and ImageR (i, j). When the two-dimensional frequency distribution in the reference region RT with the point R (i, j) is FR (i, j) (m, n), FL (I, J) (m, n) and FR (i , J) The point (i, J) that has the highest similarity to (m, n) is selected as the corresponding point.
なお、２次元度数分布に代えて１次元度数分布を利用してもよい。すなわち、ＩｍａｇｅＬ（ｉ，ｊ）において参照点Ｒ（ｉ，ｊ）とした時の参照領域ＲＴにおける１次元度数分布をＦＬ（ｉ，ｊ）（ｍ）、ＩｍａｇｅＲ（ｉ，ｊ）において参照点Ｒ（ｉ，ｊ）とした時の参照領域ＲＴにおける１次元度数分布をＦＲ（ｉ，ｊ）（ｍ）とするとき、ＦＬ（Ｉ，Ｊ）（ｍ）とＦＲ（ｉ，Ｊ）（ｍ）の類似度が最も高くなるような点（ｉ，Ｊ）を対応点として選択することもできる。 Note that a one-dimensional frequency distribution may be used instead of the two-dimensional frequency distribution. That is, the one-dimensional frequency distribution in the reference region RT when the reference point R (i, j) is set in ImageL (i, j) is the reference point R in FL (i, j) (m) and ImageR (i, j). When the one-dimensional frequency distribution in the reference region RT when (i, j) is FR (i, j) (m), FL (I, J) (m) and FR (i, J) (m) It is also possible to select a point (i, J) that gives the highest degree of similarity as a corresponding point.
物体認識装置１は、具体的には以下の物体認識処理を行う。
先ず、物体認識装置１は、画像記憶部１２に記憶された図６（ａ）に示す画像ＩｍａｇｅＬを読み込み（図２のステップＳ１）、画像ＩｍａｇｅＬにおける各画素について、上記（１）及び（２）式をもとにエッジ強度値Ｉ及びエッジ勾配値Ｇを算出する（ステップＳ２）。算出したエッジ強度値Ｉ及びエッジ勾配値Ｇは、それぞれエッジ強度画像記憶部１及びエッジ勾配画像記憶部１５に記憶する。次に、画像ＩｍａｇｅＬ内で参照点Ｒを選択する。ここでは、図６（ａ）に示す特徴点αを参照点Ｒとして選択する。そして、参照点Ｒ（特徴点α）を中心点とした所定の参照領域ＲＴを選択する（ステップＳ３）。
Specifically, the
First, the
次に、選択した参照領域ＲＴにおいて、図４に示すような、エッジ強度値Ｉ及びエッジ勾配値Ｇから構成される２次元度数分布を作成し、これを参照領域ＲＴの局所特徴量とする（ステップＳ４）。
作成した特徴点αにおける局所特徴量は、予め比較対照度数分布記憶部１９に記憶された対照画像ＩｍａｇｅＲの局所特徴量と比較される（ステップＳ５）。このとき、特徴点αにおける局所特徴量は、対照画像ＩｍａｇｅＲ内の各対応点候補α´における局所特徴量とそれぞれ比較される。比較対照には、上述したように相関、カイ２乗、重なり率などから類似度を演算する手法を用いる。そして、各対応点候補α´における局所特徴量の中から、特徴点αにおける局所特徴量との類似度が最も高い局所特徴量を選択し、その局所特徴量に対応する対応点候補α´を特徴点αの対応点とする。
Next, in the selected reference region RT, a two-dimensional frequency distribution composed of the edge strength value I and the edge gradient value G as shown in FIG. 4 is created, and this is used as the local feature amount of the reference region RT ( Step S4).
The created local feature amount at the feature point α is compared with the local feature amount of the control image ImageR stored in the comparison control frequency
対応点が得られれば、あとは共線条件に従って、２つの視線ベクトルを計算することができるので、それらの２つの視線ベクトルの交点の座標が求められ、標高が求められる。
ところで、撮影画像内の物体に部分的な隠れがある場合や、複雑な背景を含む場合、物体の局所特徴量を定義し、画像上の物体の局所特徴量とテンプレートの局所特徴量とをマッチングすることにより物体を認識する手法が一般的であるが、このような手法として、内側により多くのテンプレート画像のエッジが含まれるように決められた参照円と、テンプレート画像のエッジとが交差する点を特徴点とし、局所特徴量を構成するものがある。
If the corresponding points are obtained, then two line-of-sight vectors can be calculated according to the collinear condition, so that the coordinates of the intersection of these two line-of-sight vectors are obtained, and the altitude is obtained.
By the way, if the object in the captured image is partially hidden or contains a complex background, define the local feature of the object and match the local feature of the object on the image with the local feature of the template. The method of recognizing an object by doing this is common, but as such a method, the reference circle decided to include more template image edges inside and the edge of the template image intersect Some feature points constitute local feature values.
しかしながら、この場合、部分領域（参照点）から参照円を描きエッジと交差する点に基づいた局所特徴量を構成するため、物体の幾何学的な構成への依存性が高く、背景等の影響により幾何学的な特徴の強い部位が隠れた場合には、物体認識が困難になる。
これに対して、本実施形態では、任意の画素を参照点とし、その近傍の領域を対象としてエッジ強度とエッジ勾配から構成される２次元度数分布を作成し、これを局所特徴量とするので、幾何学的な構成への依存性が低い局所特徴量により物体を認識することができる。そのため、幾何学的な関係が崩れることによる局所特徴量への影響を少なくすることができ、よりロバストな物体認識が可能になる。
However, in this case, the local feature is constructed based on the point that draws the reference circle from the partial area (reference point) and intersects the edge, so the dependency on the geometrical structure of the object is high, and the influence of the background etc. Therefore, when a portion having a strong geometric feature is hidden, object recognition becomes difficult.
On the other hand, in the present embodiment, a two-dimensional frequency distribution composed of edge strength and edge gradient is created for a region in the vicinity of an arbitrary pixel as a reference point, and this is used as a local feature amount. The object can be recognized by the local feature amount having low dependency on the geometric configuration. Therefore, the influence on the local feature amount due to the collapse of the geometric relationship can be reduced, and more robust object recognition is possible.
また、所定のエッジ強度に該当するエッジ角度のみを抽出して度数分布を作成し、その代表となる角度値を用いて角度のマッチングを行うものもある。しかしながら、この場合、１次元数である角度値を用いて角度のマッチングを行うため、多次元数を用いた文様のマッチングを行うことができない。
これに対して、本実施形態では、所定のエッジ強度以外のエッジ画素も含めて、参照点近傍の全体の情報を度数分布として表現し、近傍の文様の特徴を表す多次元数を用いて文様のマッチングを行うことができる。
In addition, there is a method in which only the edge angle corresponding to a predetermined edge strength is extracted to create a frequency distribution, and angle matching is performed using a representative angle value. However, in this case, since angle matching is performed using an angle value that is a one-dimensional number, pattern matching using a multi-dimensional number cannot be performed.
On the other hand, in this embodiment, the entire information in the vicinity of the reference point including edge pixels other than the predetermined edge strength is expressed as a frequency distribution, and the pattern is expressed using a multidimensional number representing the characteristics of the nearby pattern. Can be matched.
さらに、エッジ勾配及びエッジ強度の何れか一方を特徴量とし、あるエッジ勾配を有する画素のエッジ強度度数分布、或いは、ある強度を有する画素のエッジ勾配度数分布を作成し、事前に定義した複数の群の度数分布の特徴と比較を行うものもある。しかしながら、この場合、エッジ勾配だけ、或いはエッジ強度だけから度数分布を作成しているため、文様の比較を十分に行うことができない。 Further, either one of the edge gradient and the edge strength is used as a feature amount, and an edge strength frequency distribution of pixels having a certain edge gradient or an edge gradient frequency distribution of pixels having a certain strength is created, and a plurality of predefined Some compare with the characteristics of the frequency distribution of the group. However, in this case, since the frequency distribution is created only from the edge gradient or only from the edge strength, the patterns cannot be sufficiently compared.
これに対して、本実施形態では、エッジ勾配とエッジ強度とを組合せ、両者の相関関係を考慮した特徴量を用いて物体認識を行う。そのため、エッジ方向だけ、あるいはエッジ強度だけでは、文様の比較には不十分であるが、両者を組み合せることにより、十分な比較を行うことができる。また、本実施形態は、近傍の文様の特徴を表す多次元数を用いて、他の文様と比較を行うものであり、当該他の文様は、所定の特徴を定義しておく必要はなく、任意の比較が可能である。 On the other hand, in the present embodiment, object recognition is performed using a combination of edge gradients and edge strengths and using feature quantities that take into account the correlation between the two. Therefore, the edge direction alone or the edge strength alone is insufficient for pattern comparison, but a sufficient comparison can be performed by combining the two. In addition, the present embodiment uses a multidimensional number representing features of nearby patterns to compare with other patterns, and the other patterns do not need to define a predetermined feature. Any comparison is possible.
（効果）
このように、上記実施形態では、撮影画像における各画素のエッジ勾配値とエッジ強度値を求め、ある画素（参照点）の近傍の領域を対象としてエッジ勾配値とエッジ強度値から構成される２次元度数分布、或いは１次元度数分布を作成し、これを局所特徴量とする。そして、作成した局所特徴量とテンプレート画像の局所特徴量との間でマッチングを行い、２つの画像の参照点間の類似度を比較することで物体認識を行う。
(effect)
As described above, in the above-described embodiment, the edge gradient value and the edge strength value of each pixel in the captured image are obtained, and the region near the certain pixel (reference point) is composed of the edge gradient value and the edge strength value. A dimensional frequency distribution or a one-dimensional frequency distribution is created and used as a local feature amount. Then, matching is performed between the created local feature quantity and the local feature quantity of the template image, and object recognition is performed by comparing the similarity between the reference points of the two images.
このとき、参照点は、撮影画像内において格子状に一定間隔で選択するなど、任意の点とするので、幾何学的な構成への依存性が弱い特徴量を用いた物体認識を行うことができる。したがって、幾何学的な関係が崩れることによる局所特徴量への影響を少なくすることができ、よりロバストな物体認識を行うことができる。
また、エッジ強度とエッジ勾配の両方を用いて度数分布を作成し、これを局所特徴量とするので、両者の相関関係を考慮した特徴量を用いて適切な物体認識を行うことができる。ここで、局所特徴量を２次元の度数分布とすれば、エッジ強度とエッジ勾配との相関関係を適切に反映した特徴量とすることができ、局所特徴量を１次元の度数分布とすれば、類似度の演算を簡易化することができる。
At this time, since the reference point is an arbitrary point, such as being selected at regular intervals in a grid pattern in the captured image, object recognition using a feature amount that is weakly dependent on the geometric configuration can be performed. it can. Therefore, the influence on the local feature amount due to the collapse of the geometric relationship can be reduced, and more robust object recognition can be performed.
Further, since the frequency distribution is created using both the edge strength and the edge gradient, and this is used as the local feature amount, appropriate object recognition can be performed using the feature amount considering the correlation between the two. Here, if the local feature amount is a two-dimensional frequency distribution, the feature amount appropriately reflects the correlation between the edge strength and the edge gradient. If the local feature amount is a one-dimensional frequency distribution, The calculation of the similarity can be simplified.
（応用例）
なお、上記実施形態においては、物体認識装置１をステレオマッチングに適用する例について説明したが、物体認識装値１をセグメンテーション処理へ適用することもできる。以下、セグメンテーション処理への適用例について、図７を参照しながら説明する。
セグメンテーションでは、１画像のある１点に対して、近傍の類似した情報を有する領域を結合する。先ず、図７（ａ）に示す撮影画像Ｉｍａｇｅ（ｉ，ｊ）に対して、図７（ｂ）に示すように、一定間隔の参照点を設けて矩形領域を設定する。次に、各矩形領域ごとに上述した２次元度数分布あるいは１次元度数分布を作成する。そして、任意の矩形領域に対して左右上下の４つの矩形領域、あるいは右斜め上、右斜め下、左斜め上、左斜め下を含めた８つの矩形領域に対して、類似度を演算する。最終的に隣接する矩形領域との類似度が高い矩形領域の集合を作成する。その結果、図７（ｃ）に示すように、類似した文様を有する矩形領域の集合が抽出される。このように、本特徴量を用いたセグメンテーションは、規則的な文様を有する対象物を切り出す処理に有効である。
(Application examples)
In the above-described embodiment, an example in which the
In segmentation, a region having similar information in the vicinity is combined with one point of one image. First, as shown in FIG. 7B, a rectangular area is set by providing reference points with a constant interval for the captured image Image (i, j) shown in FIG. 7A. Next, the above-described two-dimensional frequency distribution or one-dimensional frequency distribution is created for each rectangular area. Then, the degree of similarity is calculated for four rectangular regions on the left, right, top and bottom with respect to an arbitrary rectangular region, or eight rectangular regions including diagonally upper right, diagonally lower right, diagonally upper left and diagonally lower left. Finally, a set of rectangular areas having high similarity with adjacent rectangular areas is created. As a result, as shown in FIG. 7C, a set of rectangular areas having similar patterns is extracted. As described above, the segmentation using the feature amount is effective for the process of cutting out an object having a regular pattern.
また、物体認識装置１をテンプレートマッチングに適用することもできる。以下、テンプレートマッチングへの適用例について、図８及び図９を参照しながら説明する。
テンプレートマッチングでは、ある画像の中に、予め用意したテンプレート画像と等しい文様を類する領域を探索する。ここでは、図８（ａ）に示す撮影画像の中から図８（ｂ）に示すテンプレート画像を探索する例について説明する。先ず、図８（ａ）に示すように、撮影画像を任意に、あるいは何らかの特徴を有する部分を矩形領域（矩形領域［１］〜［４］）に分割する。次に、撮影画像の各矩形領域［１］〜［４］とテンプレート画像とにおいて、それぞれ２次元度数分布および１次元度数分布を作成する（図９）。そして、テンプレート画像と各矩形領域［１］〜［４］との間で２次元度数分布あるいは１次元度数分布を比較することで、類似度を演算し、類似度がある域値以下となるものをテンプレート画像に等しい領域と判断する。このように、本特徴量を用いることで適切にテンプレートマッチングを行うことができる。
The
In template matching, an area similar to a pattern equal to a template image prepared in advance is searched for in a certain image. Here, an example of searching for the template image shown in FIG. 8B from the photographed image shown in FIG. 8A will be described. First, as shown in FIG. 8A, a shot image is divided arbitrarily or a part having some characteristic is divided into rectangular areas (rectangular areas [1] to [4]). Next, a two-dimensional frequency distribution and a one-dimensional frequency distribution are created in the rectangular areas [1] to [4] of the captured image and the template image, respectively (FIG. 9). Then, by comparing the two-dimensional frequency distribution or the one-dimensional frequency distribution between the template image and each of the rectangular areas [1] to [4], the similarity is calculated, and the similarity is less than a certain threshold value. Are determined to be equal to the template image. Thus, template matching can be appropriately performed by using this feature amount.
（変形例）
なお、上記実施形態においては、参照領域ＲＴを図３に示すように選択する場合について説明したが、例えば、図１０に示すように、各参照領域ＲＴで重複する領域を有するように設定することもできる。
また、上記実施形態においては、参照点Ｒを画像内において格子状に一定間隔で選択する場合について説明したが、画像内のエッジ画素を一定間隔、或いは無作為に選択したり、エッジ強度が最大な点などエッジ特徴の強い点を選択したりしてもよい。
(Modification)
In the above embodiment, the case where the reference area RT is selected as shown in FIG. 3 has been described. For example, as shown in FIG. 10, the reference areas RT are set to have overlapping areas. You can also.
In the above embodiment, the case where the reference points R are selected at regular intervals in a grid pattern in the image has been described. However, the edge pixels in the image are selected at regular intervals or randomly, or the edge strength is maximum. A point having a strong edge feature such as a simple point may be selected.
さらに、上記実施形態においては、参照領域ＲＴを参照点Ｒを中心点とした矩形領域とする場合について説明したが、参照点Ｒを中心点とした領域であれば、円やその他の多角形など、対象物に応じて適宜設定可能である。
さらにまた、上記実施形態においては、１次元度数分布を上記（３）式で示すシグネチャＳ（Ｉ，Ｊ）（ｍ）とする場合について説明したが、シグネチャＳ（Ｉ，Ｊ）（ｎ）とすることもできる。この場合、シグネチャＳ（Ｉ，Ｊ）（ｎ）は、エッジ勾配をＧｒａｄｉｅｎｔ（ｍ）として次式で表される。
Further, in the above-described embodiment, the case where the reference region RT is a rectangular region with the reference point R as the center point has been described. However, as long as the region has the reference point R as the center point, a circle, other polygons, etc. Depending on the object, it can be set as appropriate.
Furthermore, in the above embodiment, the case where the one-dimensional frequency distribution is the signature S (I, J) (m) represented by the above equation (3) has been described. However, the signature S (I, J) (n) You can also In this case, the signature S (I, J) (n) is expressed by the following equation with the gradient of the edge as Gradient (m).
この場合にも、上記（７）〜（９）式を用いることで、撮影画像の参照点における１次元度数分布とテンプレート画像の参照点における１次元度数分布とを比較し、両者の類似度を演算することができる。 Also in this case, by using the above equations (7) to (9), the one-dimensional frequency distribution at the reference point of the captured image is compared with the one-dimensional frequency distribution at the reference point of the template image, and the similarity between the two is calculated. It can be calculated.
１…物体認識装置、１１…画像撮影部、１２…画像記憶部、１３…エッジ勾配・強度演算部、１４…エッジ強度画像記憶部、１５…エッジ勾配画像記憶部、１６…度数分布作成部、１７…度数分布記憶部、１８…度数分布比較演算部、１９…比較対照度数分布記憶部、２０…比較結果記憶部
DESCRIPTION OF
Claims (6)
前記撮影画像内の各画素のエッジ強度値及びエッジ勾配値を演算する画素情報演算手段と、
前記撮影画像内の任意の参照点を含む参照領域を選択する参照領域選択手段と、
前記画素情報演算手段で演算した、前記参照領域選択手段で選択した参照領域内の各画素のエッジ強度値及びエッジ勾配値に基づいて、前記参照領域におけるエッジ強度値及びエッジ勾配値の度数分布を作成し、これを局所特徴量として抽出する局所特徴量抽出手段と、
前記局所特徴量抽出手段で抽出した局所特徴量と、前記テンプレート画像の局所特徴量とを比較し、両者の類似度を演算する類似度演算手段と、を備えることを特徴とする物体認識装置。 An object recognition device that compares a photographed image photographed by a photographing means with a template image prepared in advance and recognizes an object,
Pixel information calculation means for calculating an edge intensity value and an edge gradient value of each pixel in the captured image;
Reference area selecting means for selecting a reference area including an arbitrary reference point in the captured image;
Based on the edge intensity value and edge gradient value of each pixel in the reference area selected by the reference area selection means, calculated by the pixel information calculation means, the frequency distribution of the edge intensity value and edge gradient value in the reference area is calculated. A local feature amount extracting means for creating and extracting this as a local feature amount;
An object recognition apparatus comprising: a similarity calculation unit that compares the local feature amount extracted by the local feature amount extraction unit with the local feature amount of the template image and calculates the similarity between the two.
前記撮影画像内の各画素のエッジ強度値及びエッジ勾配値を演算するステップと、
前記撮影画像内の任意の参照点を含む参照領域を選択するステップと、
選択した参照領域内の各画素のエッジ強度値及びエッジ勾配値に基づいて、前記参照領域におけるエッジ強度値及びエッジ勾配値の度数分布を作成し、これを局所特徴量として抽出するステップと、
抽出した局所特徴量と前記テンプレート画像の局所特徴量とを比較し、両者の類似度を演算するステップと、を備えることを特徴とする物体認識方法。 An object recognition method for recognizing an object by comparing a photographed image photographed by a photographing means with a template image prepared in advance,
Calculating an edge intensity value and an edge gradient value of each pixel in the captured image;
Selecting a reference region including an arbitrary reference point in the captured image;
Based on the edge intensity value and edge gradient value of each pixel in the selected reference area, creating a frequency distribution of the edge intensity value and edge gradient value in the reference area, and extracting this as a local feature amount;
Comparing the extracted local feature quantity with the local feature quantity of the template image, and calculating a similarity between them.
前記撮影画像内の各画素のエッジ強度値及びエッジ勾配値を演算する機能と、
前記撮影画像内の任意の参照点を含む参照領域を選択する機能と、
選択した参照領域内の各画素のエッジ強度値及びエッジ勾配値に基づいて、前記参照領域におけるエッジ強度値及びエッジ勾配値の度数分布を作成し、これを局所特徴量として抽出する機能と、
抽出した局所特徴量と前記テンプレート画像の局所特徴量とを比較し、両者の類似度を演算する機能と、をコンピュータに実現させることを特徴とする物体認識プログラム。 An object recognition program that makes a computer realize a function of recognizing an object by comparing a photographed image photographed by a photographing means with a template image prepared in advance,
A function of calculating an edge intensity value and an edge gradient value of each pixel in the captured image;
A function of selecting a reference region including an arbitrary reference point in the captured image;
Based on the edge intensity value and edge gradient value of each pixel in the selected reference area, create a frequency distribution of the edge intensity value and edge gradient value in the reference area, and extract this as a local feature amount;
An object recognition program characterized by causing a computer to realize a function of comparing an extracted local feature quantity with a local feature quantity of the template image and calculating a similarity degree between the two.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010032848A JP2011170554A (en) | 2010-02-17 | 2010-02-17 | Object recognition device, object recognition method, and object recognition program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010032848A JP2011170554A (en) | 2010-02-17 | 2010-02-17 | Object recognition device, object recognition method, and object recognition program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2011170554A true JP2011170554A (en) | 2011-09-01 |
Family
ID=44684629
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010032848A Pending JP2011170554A (en) | 2010-02-17 | 2010-02-17 | Object recognition device, object recognition method, and object recognition program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2011170554A (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9734395B2 (en) | 2013-11-13 | 2017-08-15 | Fujitsu Limited | Tracking device and tracking method |
| CN112232216A (en) * | 2020-10-16 | 2021-01-15 | 哈尔滨市科佳通用机电股份有限公司 | Railway wagon brake beam pillar round pin loss fault identification method |
| WO2023105274A1 (en) * | 2021-12-10 | 2023-06-15 | Sensetime International Pte. Ltd. | Object recognition method, apparatus, device and storage medium |
-
2010
- 2010-02-17 JP JP2010032848A patent/JP2011170554A/en active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9734395B2 (en) | 2013-11-13 | 2017-08-15 | Fujitsu Limited | Tracking device and tracking method |
| CN112232216A (en) * | 2020-10-16 | 2021-01-15 | 哈尔滨市科佳通用机电股份有限公司 | Railway wagon brake beam pillar round pin loss fault identification method |
| WO2023105274A1 (en) * | 2021-12-10 | 2023-06-15 | Sensetime International Pte. Ltd. | Object recognition method, apparatus, device and storage medium |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104871180B (en) | Text image quality based feedback for OCR | |
| JP6547386B2 (en) | Image processing apparatus and method | |
| JP4348353B2 (en) | Pattern recognition apparatus, pattern recognition method, and recording medium storing program realizing the method | |
| KR101506060B1 (en) | Feature-based signatures for image identification | |
| JP4970381B2 (en) | Feature extraction device, feature extraction method, image processing device, and program | |
| US8983199B2 (en) | Apparatus and method for generating image feature data | |
| JP5777367B2 (en) | Pattern identification device, pattern identification method and program | |
| JP4518139B2 (en) | Image processing device | |
| US20120033873A1 (en) | Method and device for determining a shape match in three dimensions | |
| JP4946878B2 (en) | Image identification apparatus and program | |
| JP2010205067A (en) | Device, method and program for extracting area | |
| JP5656768B2 (en) | Image feature extraction device and program thereof | |
| JP4990876B2 (en) | Image processing device | |
| JP5290915B2 (en) | Image processing apparatus, image processing method, and program | |
| JP2011170554A (en) | Object recognition device, object recognition method, and object recognition program | |
| JP6754717B2 (en) | Object candidate area estimation device, object candidate area estimation method, and object candidate area estimation program | |
| JP2016053763A (en) | Image processor, image processing method and program | |
| JP4379706B2 (en) | Region extraction method | |
| JP6326622B2 (en) | Human detection device | |
| JP6546385B2 (en) | IMAGE PROCESSING APPARATUS, CONTROL METHOD THEREOF, AND PROGRAM | |
| CN107145887B (en) | A kind of seam cutting framing evidence collecting method deleted for object | |
| JP6272219B2 (en) | Image processing apparatus, image processing method, and program | |
| RU2470368C2 (en) | Image processing method | |
| JP2018010359A (en) | Information processor, information processing method, and program | |
| WO2014178241A1 (en) | Image processing device, image processing method, and image processing program |