JP2014135092A - Image recognition method and image recognition apparatus - Google Patents
Image recognition method and image recognition apparatus Download PDFInfo
- Publication number
- JP2014135092A JP2014135092A JP2014089310A JP2014089310A JP2014135092A JP 2014135092 A JP2014135092 A JP 2014135092A JP 2014089310 A JP2014089310 A JP 2014089310A JP 2014089310 A JP2014089310 A JP 2014089310A JP 2014135092 A JP2014135092 A JP 2014135092A
- Authority
- JP
- Japan
- Prior art keywords
- image
- partial
- target object
- learning image
- category
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
Description
本発明は対象物の撮像画像を用いて対象物の名称、種類、存在位置、姿勢等の情報を推定する画像認識方法に関するものである。ここでいう対象物とは任意の物体を表し、例えば、人、動物、自動車、カメラ、プリンタ、半導体基板など何でもよい。 The present invention relates to an image recognition method for estimating information such as a name, a type, an existing position, and a posture of an object using a captured image of the object. The object here refers to an arbitrary object, and may be anything such as a person, an animal, a car, a camera, a printer, or a semiconductor substrate.
従来、予め学習しておいた対象物体の画像と新たに撮影した対象物体を含む画像をパターンマッチングすることによって対象物体の種類と存在領域を推定する方法があった(例えば、特許文献1参照)。特許文献1においては、予め学習、登録しておく対象物体の画像から固有値と固有ベクトルを計算する。そして、新たに撮影した画像から切り出した画像をその固有ベクトルへ射影することで、より少ない数のモデルで対象物体の認識ができるようになる工夫がなされている。また、予め学習、登録しておく対象物体の画像を分割して得られる部分学習画像を用いることによって、より認識率を高める工夫が開示されている。
Conventionally, there has been a method for estimating the type and presence area of a target object by pattern matching between an image of a target object that has been learned in advance and an image that includes a newly captured target object (see, for example, Patent Document 1). . In
しかしながら、特許文献1に開示された方法に代表される画像のパターンマッチング方法では認識に膨大な時間を要するという問題があった。特に判別するべきクラスの数が膨大になると認識時間が爆発するという問題があった。例えば、対象物体の種類が1,000種類(例えば1,000人の顔を登録)あり、それぞれの対象物体に対して色々な角度から撮影した学習画像が1つの物体につき100枚(横顔なども含む)あったとする。すると、全部で100,000個の学習パターンが存在することになる。これでは、1つの登録画像と新規撮影画像の画像照合がたとえ10nsで行えたとしても、最終的な認識結果を得るために1秒かかってしまう。
However, the image pattern matching method represented by the method disclosed in
なお、ここで言う登録画像は例えば対象物体を囲む外接矩形の内部を想定し、新規撮影画像は登録画像を含む大きなサイズの画像を想定している。よって、1つの登録画像と新規撮影画像の画像照合は単純な1対1の画像パターンマッチングではなく、新規撮影画像の中のどの部分に対象物体が存在するかという位置特定のタスクも含む。具体的には、例えば新規撮影画像をスライディングウィンドウで切り出しそれぞれの切り出し画像と登録画像をマッチングすることによって、画像照合を実現する。よって、登録画像と新規撮影画像のピクセル数にもよるが、上記の10nsという画像照合時間は現状のコンピュータ処理速度からいうと非常に高速で処理した場合といえる。 The registered image here is assumed to be inside a circumscribed rectangle surrounding the target object, for example, and the newly photographed image is assumed to be a large-size image including the registered image. Therefore, image matching between one registered image and a newly captured image is not a simple one-to-one image pattern matching, but includes a task of specifying the position of the target object in which part of the newly captured image. Specifically, for example, a new captured image is cut out with a sliding window, and each cut-out image is matched with a registered image to realize image matching. Therefore, although it depends on the number of pixels of the registered image and the newly captured image, the above-described image comparison time of 10 ns can be said to be a case where processing is performed at a very high speed in terms of the current computer processing speed.
さらに従来技術で問題だったことは、特許文献1で開示された部分学習画像を用いる画像マッチング方法ではこの認識時間が爆発するという問題がより顕著に現れてくるということである。例えば1つの学習画像を互いに重なり合う100(=10×10)の部分画像に分割したとすると、マッチングするべき登録画像が100倍になることになるので、計算時間も単純に100倍となる。先の例だと100秒もの時間が必要になってくる。
Further, the problem with the prior art is that the recognition time explodes more significantly in the image matching method using the partial learning image disclosed in
また、特許文献1で開示された固有ベクトルを用いて次元を削減する方法を用いたとしても、距離計算の計算時間は短縮できるが、次元を削減するためのベクトル計算を省略することはできないので、結局トータルの画像認識の高速化は実現できない。そして登録画像の種類と同じ回数の画像照合が必要になるという本質的な課題は全く解決されていない。
Even if the method of reducing the dimension using the eigenvector disclosed in
上記目的を達成するために、本発明の情報処理装置は、例えば、複数のカテゴリのいずれかに属する対象物体を含む入力画像を取得する第1の取得手段と、前記入力画像を構成する複数の部分画像を取得する第2の取得手段と、前記部分画像に含まれる複数の画素から、画素値を抽出する抽出手段と、前記対象物体を認識するための学習画像を構成する部分学習画像のカテゴリと該部分学習画像の位置情報と登録した辞書を保持する保持手段と、前記抽出手段で抽出された複数の画素値同士を比較することによって、前記複数の部分画像を分類し、該分類された結果に対応する前記部分学習画像のカテゴリ及び前記部分学習画像の位置情報とを、前記辞書から取得する第3の取得手段と、前記分類手段によって分類された結果を集計することにより、前記入力画像に含まれる対象物体のカテゴリと位置とを認識する認識手段とを備える。 In order to achieve the above object, an information processing apparatus according to the present invention includes, for example, first acquisition means for acquiring an input image including a target object belonging to any of a plurality of categories, and a plurality of components constituting the input image. A second acquisition means for acquiring a partial image; an extraction means for extracting a pixel value from a plurality of pixels included in the partial image; and a category of partial learning images constituting a learning image for recognizing the target object And comparing the plurality of pixel values extracted by the extraction unit with a holding unit that holds the position information of the partial learning image and the registered dictionary, and the plurality of pixel values extracted by the extraction unit. A third acquisition unit that acquires, from the dictionary, the category of the partial learning image and the position information of the partial learning image corresponding to the result; and totalizes the results classified by the classification unit More, and a recognition means for recognizing the position and category of the target object included in the input image.
また、本発明の別の側面の情報処理装置は、例えば、複数のカテゴリのいずれかに属する対象物体を含む入力画像を取得する第1の取得手段と、前記入力画像を構成する複数の部分画像を取得する第2の取得手段と、前記部分画像から、少なくとも一つの特徴量を抽出する抽出手段と、前記対象物体を含む画像を分類するための複数の識別器を取得する識別器取得手段と、前記対象物体を認識するための学習画像を構成する部分学習画像の特徴量に基づき、該部分学習画像を前記複数の識別器それぞれで分類された部分学習画像のカテゴリと該部分学習画像の位置情報とを登録した辞書を保持する保持手段と、前記抽出手段で抽出された特徴量に基づいて前記複数の識別器それぞれで前記部分画像を分類し、該識別器ごとに分類された結果に対応する前記部分学習画像のカテゴリと前記部分学習画像の位置情報とを、前記辞書からそれぞれ取得する第3の取得手段と、前記第3の取得手段で取得された複数の前記部分学習画像のカテゴリと前記部分学習画像の位置情報とをそれぞれ登録する登録手段と、前記登録手段によって登録された結果を集計することにより、前記入力画像に含まれる対象物体のカテゴリと位置とを認識する認識手段とを備える。 また、本発明の他の態様によれば、画像認識方法に、入力画像から部分画像を抽出する抽出ステップと、前記部分画像が予め学習されたどのカテゴリのどの部分画像かを判別する判別ステップと、前記判別ステップの判別結果に基づいて投票を行う投票ステップと、前記抽出ステップから前記投票ステップまでを繰り返し得られた投票結果を集計する集計ステップと、前記集計ステップの集計結果に基づいて前記入力画像中に存在する物体の位置とカテゴリとを識別する識別ステップとを備える。 An information processing apparatus according to another aspect of the present invention includes, for example, a first acquisition unit that acquires an input image including a target object belonging to any of a plurality of categories, and a plurality of partial images that constitute the input image Second acquisition means for acquiring image data, extraction means for extracting at least one feature amount from the partial image, and classifier acquisition means for acquiring a plurality of classifiers for classifying images including the target object, , Based on the feature amount of the partial learning image constituting the learning image for recognizing the target object, the partial learning image category classified by each of the plurality of classifiers and the position of the partial learning image A holding unit that holds a dictionary in which information is registered, and the partial images are classified by each of the plurality of classifiers based on the feature amount extracted by the extraction unit, and the classification result is obtained for each classifier. A third acquisition unit that acquires the corresponding category of the partial learning image and the position information of the partial learning image from the dictionary, and a plurality of the categories of the partial learning image acquired by the third acquisition unit. And registration means for registering the position information of the partial learning image respectively, and recognition means for recognizing the category and position of the target object included in the input image by aggregating the results registered by the registration means Is provided. According to another aspect of the present invention, an image recognition method includes an extraction step of extracting a partial image from an input image, and a determination step of determining which partial image of which category the partial image has been learned in advance. A voting step for voting based on the determination result of the determination step, a counting step for counting the voting results obtained repeatedly from the extraction step to the voting step, and the input based on the counting result of the counting step An identification step for identifying a position and a category of an object present in the image.
本発明によれば、高速、高精度に対象物の名称、種類、存在位置、姿勢等の情報を推定することが出来るようになるという効果がある。特に、照合するべき登録画像が増加した場合でも認識速度がその数に比例して落ちないという効果がある。より限定したケースとして、属性判定方法に分類木を採用した場合は、登録画像の種類の数の対数に比例した認識時間しか必要としないという効果がある。また、画像認識に好適な部分画像のサイズを決定することによって、より高い認識率を実現できるという効果もある。 According to the present invention, there is an effect that information such as the name, type, location, posture, etc. of an object can be estimated at high speed and with high accuracy. In particular, there is an effect that even when the number of registered images to be verified increases, the recognition speed does not drop in proportion to the number. As a more limited case, when a classification tree is used as the attribute determination method, there is an effect that only a recognition time proportional to the logarithm of the number of registered image types is required. In addition, there is an effect that a higher recognition rate can be realized by determining the size of a partial image suitable for image recognition.
以下、添付図面を参照しながら本発明の実施形態を説明する。 Hereinafter, embodiments of the present invention will be described with reference to the accompanying drawings.
<実施形態1>
図1は、実施形態による画像認識方法の基本的な処理構成を説明する図である。図2は、実施形態による画像認識方法の処理手順を示すフローチャートである。
<
FIG. 1 is a diagram illustrating a basic processing configuration of an image recognition method according to an embodiment. FIG. 2 is a flowchart illustrating a processing procedure of the image recognition method according to the embodiment.
まず、部分画像サイズ決定部101で、切り出す部分画像のサイズ102を事前に決定する。この部分画像サイズ決定部101の処理内容の詳細は実施形態4で説明する。ここでは、適切な部分画像サイズ102が部分画像サイズ決定部101によって事前に決定されるものとする。
First, the partial image
ここで、認識時に比較対象となる画像を登録する場合、第1の抽出手段である登録部分画像集合抽出部104により、部分画像サイズ102に基づいて、登録画像103から登録部分画像集合105が取り出される。取り出された登録部分画像集合105が登録画像毎にM枚、登録画像の数がN枚だとすれば、登録部分画像集合105は全部でN×M枚となる。更に、辞書作成部113により、登録部分画像集合105から認識用の辞書114を作成する。ただし、認識用の辞書114を作成する処理は必須ではなく、登録部分画像集合105をそのまま利用して認識するようにしてもよい。
Here, when registering an image to be compared at the time of recognition, the registered
一方、新規画像を認識する場合、第2の抽出手段である新規部分画像集合抽出部107により、新規画像106から部分画像サイズ102の新規部分画像集合108が抽出される。そして、部分画像属性判定部109で、先に抽出された登録部分画像集合105もしくはそれから作成された辞書114を元に新規部分画像集合108を構成する各新規部分画像の属性が判定される。
On the other hand, when recognizing a new image, a new partial image set 108 having a
最後に、新規部分画像集合108の各要素である新規部分画像の判定結果110を部分画像判定結果集計部111で集計し、最終的な認識結果112が得られる。なお、実施形態1においては、部分画像判定結果110は属性の判定結果だけであるが、実施形態2では、部分画像判定結果110にその部分画像の画像内の位置を表わす位置情報115が含まれる。詳しくは実施形態2の説明で述べる。
Finally, the determination result 110 of the new partial image which is each element of the new partial image set 108 is totaled by the partial image determination result totaling unit 111, and the final recognition result 112 is obtained. In the first embodiment, the partial image determination result 110 is only the attribute determination result, but in the second embodiment, the partial image determination result 110 includes
部分画像集合抽出部107で抽出される新規部分画像集合108を構成する部分画像がK枚だとする。この時、もしも部分画像属性判定部109で、特許文献1に代表されるような、いわゆるテンプレートマッチングと呼ばれる処理を採用すると、全部でN×M×K回の照合処理をする必要がある。この時、部分画像属性判定部109では登録部分画像集合105が用いられる。
It is assumed that the number of partial images constituting the new partial image set 108 extracted by the partial image
これに対して、本実施形態に示す方法では、いわゆる機械学習を取り入れることでこの処理回数をK回に削減できる。この時、部分画像属性判定部109では辞書114が用いられる。
On the other hand, in the method shown in this embodiment, the number of processes can be reduced to K times by incorporating so-called machine learning. At this time, the partial image attribute determination unit 109 uses the
なお、一般には上記説明した定数Mと定数Kの関係はM≠Kである。しかし、登録画像のサイズと新規画像のサイズが同じ場合、例えばそれぞれの画像に含まれる全部分画像を用いるとM=Kの関係が成り立つ。登録画像のサイズと新規画像のサイズが異なる場合は実施形態3で詳しく説明する。 In general, the relationship between the constant M and the constant K described above is M ≠ K. However, when the size of the registered image and the size of the new image are the same, for example, if all partial images included in each image are used, the relationship of M = K is established. A case where the size of the registered image is different from the size of the new image will be described in detail in the third embodiment.
部分画像判定結果集計部111をより具体的に説明する。部分画像属性判定109における“属性”とは、一般には(p1,p2,・・・,pN)というN次元の確率ベクトルを意味する。ここにPiとは新規部分画像がi番目の登録画像に含まれる確率である。新規部分画像集合108がK枚から構成されている場合、このN次元確率ベクトルがK個存在することとなる。最終的な認識結果112は、これらK個の確率ベクトルを単純に相加平均、または、対数を取った後の相加平均(K個の確率を掛け合わせる相乗平均に対応する)などの処理をして得られる平均確率の中で、最大確率を示す登録画像のインデックスとなる。 The partial image determination result totaling unit 111 will be described more specifically. The “attribute” in the partial image attribute determination 109 generally means an N-dimensional probability vector of (p1, p2,..., PN). Here, Pi is the probability that the new partial image is included in the i-th registered image. If the new partial image set 108 is composed of K images, there will be K N-dimensional probability vectors. The final recognition result 112 is obtained by performing processing such as an arithmetic average of these K probability vectors, or an arithmetic average after logarithm (corresponding to a geometric average obtained by multiplying K probabilities). Among the average probabilities obtained in this way, the index is a registered image indicating the maximum probability.
図2において、(a)が学習時のフローチャートで、(b)が判定時のフローチャートとなる。 2A is a flowchart for learning, and FIG. 2B is a flowchart for determination.
学習時は、登録画像それぞれについてステップS101〜S105のループが実行され、各登録画像において、部分画像のそれぞれについてステップS102〜S104のループが実行され、登録部分画像集合105が作成される。ステップS101〜S105の登録画像のループはN回実行され、ステップS102〜S104の部分画像のループはM回実行され、ステップS103の部分画像抽出は合計でN×M回実行される。 At the time of learning, a loop of steps S101 to S105 is executed for each registered image, and a loop of steps S102 to S104 is executed for each of the partial images in each registered image to create a registered partial image set 105. The registration image loop of steps S101 to S105 is executed N times, the partial image loop of steps S102 to S104 is executed M times, and the partial image extraction of step S103 is executed N × M times in total.
本実施形態の画像認識方法では、望ましくは、ステップS106で、登録部分画像集合105から辞書114を作成する。但し、本実施形態は、このいわゆる機械学習の枠組みを用いる方法に限ったものではなく、登録部分画像集合105をそのまま用いて画像マッチングを行っても良い。
In the image recognition method of the present embodiment, preferably, the
図2の(b)が判定時のフローチャートで、まず、新規画像からそれに含まれる部分画像を抽出しながら部分画像の属性を判定するループ(S106〜S109)が実行される。このループはK回実行される。ステップS107で抽出される部分画像は108の新規部分画像集合108を構成する1枚の新規画像中の部分画像である。 FIG. 2B is a flowchart at the time of determination. First, a loop (S106 to S109) for determining attributes of a partial image while extracting a partial image included in the new image is executed. This loop is executed K times. The partial image extracted in step S107 is a partial image in one new image constituting the new partial image set 108.
ステップS109では、登録部分画像集合105または辞書114を用いて新規部分画像から部分画像判定結果110を導く。
In step S109, the partial image determination result 110 is derived from the new partial image using the registered partial image set 105 or the
ステップS110において、部分画像判定結果110を集計して最終的な認識結果112が導かれる。 In step S110, the partial image determination results 110 are tabulated to derive a final recognition result 112.
図3は、本実施形態を含む全ての実施形態に係わる画像認識方法が実行される情報処理装置の構成を示すブロック図である。 FIG. 3 is a block diagram illustrating a configuration of an information processing apparatus in which an image recognition method according to all the embodiments including the present embodiment is executed.
画像認識方法は、外部記憶装置201、中央処理装置(CPU)202、メモリ203、入出力装置204を備えた装置に実装される。外部記憶装置201は、本実施形態の処理を実現するプログラムや、カメラで撮影した登録画像、登録画像を用いて作成された辞書114等を保持する。また、本実施形態によって導かれた対象物体の認識結果を保持する機能を持つ。CPU202は、画像認識方法のプログラムを実行したり、装置各部の制御を行ったりする。メモリ203は、CPU202が使用するプログラム、及びサブルーチンやデータを一時的に記憶する。入出力装置204は、カメラからの画像を取り込んだり、ユーザーとのインタラクションを行ったり、画像認識結果を他の情報処理装置へ出力したりする。入力装置としてはカメラが一般的であるが、スキャナーなどの装置も利用できる。また、本実施形態の画像認識方法を実現するプログラム実行のトリガーを、この入出力装置を介してユーザーが出す場合もある。また、ユーザーが結果を見たり、プログラムのパラメータ制御をこの入出力装置を介して行うこともある。また、出力先としてはロボットを制御する装置のような場合も有り得る。
The image recognition method is implemented in a device including an external storage device 201, a central processing unit (CPU) 202, a
図4を用いて、部分画像属性判定部109の処理を詳しく述べる。本実施形態の画像認識方法では、いわゆる機械学習の手法を想定している。この場合、部分画像属性判定部109の処理は、学習フェーズと認識フェーズの2つのフェーズに分れる。 The process of the partial image attribute determination unit 109 will be described in detail with reference to FIG. In the image recognition method of the present embodiment, a so-called machine learning method is assumed. In this case, the process of the partial image attribute determination unit 109 can be divided into two phases, a learning phase and a recognition phase.
まず、学習フェーズでは、学習部302において、登録部分画像集合301から判別器303が作成される。判別器303では、ニューラルネット、サポートベクターマシン等の機械学習で一般的に用いられるアルゴリズムを用いることができる。より好ましくは、図6以降で述べる分類木の集合を用いた方法を採用することができる。
First, in the learning phase, the
判別器303は、部分画像の属性をルールに従って判別するものであり、その実態は、採用したアルゴリズムの学習後の内部パラメータである。具体的には、ニューラルネットであれば全てのコネクションの重みの集合となり、サポートベクターマシンであれば全てのサポートベクトルの集合となる。分類木の場合は、木構造の各インターナルノードでの判定パラメータ集合と各ターミナルノードにおけるクラス存在確率の集合が内部パラメータとなる。ここで、インターナルノードとは、子ノードがあるノードで、ターミナルノードとは子ノードがない末端のノードのことを意味する。
The
認識フェーズでは、属性判定部305において、新規画像から抽出された新規部分画像を判別器303を用いて判定し、属性判定結果306を得る。なお、新規部分画像304は、図1の新規部分画像集合108を構成する各要素に対応し、属性判定結果306は図1の部分画像判定結果110に対応する。
In the recognition phase, the
図3の属性判定部305では、属性判定という表現を用いたが、機械学習の分野では通常は認識と呼ぶ。というのも、属性判定部305では新規部分画像と登録部分画像を1枚1枚照合するわけではなく、学習した全ての登録部分画像群の情報が格納されている判別器303に基づいて新規部分画像がどの登録部分画像とどれだけ似ているかを導くからである。
In the
本実施形態においては、新規部分画像304が複数あり、部分画像判定結果306も複数ある。それを図1の部分画像判定結果集計部111において集計することによって、最終的な認識結果112が求まる。属性判定部305に敢えて認識という表現を用いなかったのは、この最終的な認識結果を得るのではないことを強調したかったためである。
In the present embodiment, there are a plurality of new
従来のパターンマッチングの方法であれば、この属性判定部305において、登録部分画像集合105と新規部分画像集合108の全ての組み合わせ毎の処理が必要となる。これに対して、本実施形態では、基本的に新規部分画像集合108の要素の数しか処理の回数は必要ない。
In the case of a conventional pattern matching method, the
次に、図5を用いて登録部分画像集合105の説明をする。1枚の登録画像(学習画像)からM枚の部分画像が抽出される。これを部分画像集合と呼ぶ。この部分画像集合を構成する部分画像同士は重なりがなくても良いが、重なりがあるように網羅的に元の学習画像から抽出されることが望ましい。 Next, the registered partial image set 105 will be described with reference to FIG. M partial images are extracted from one registered image (learning image). This is called a partial image set. The partial images constituting the partial image set may not overlap each other, but it is desirable that the partial images are comprehensively extracted from the original learning image so that there is an overlap.
例えば学習画像のサイズが100×100ピクセルで、部分画像のサイズが50×50ピクセルだったとする。ピクセルとピクセルの中間の位置(いわゆるサブピクセル)を考慮に入れないとすると、1枚の学習画像から抽出される全部分画像は2601(=51×51)枚となる。なお、重なりのない部分画像を抽出したとすると全部で2×2=4枚の部分画像が得られる。 For example, it is assumed that the size of the learning image is 100 × 100 pixels and the size of the partial image is 50 × 50 pixels. If the intermediate position between pixels (so-called subpixel) is not taken into consideration, the total number of partial images extracted from one learning image is 2601 (= 51 × 51). If partial images that do not overlap are extracted, a total of 2 × 2 = 4 partial images are obtained.
部分画像集合は2601枚ある全部分画像に含まれる、出来るだけ多く(例えば半分以上)の部分画像からなることが望ましい。最終的な学習(登録)部分画像群としては、同じクラス(=登録画像のインデックスと同義)にタグ付けされた登録部分画像がそれぞれM枚ずつ、全部でM×N枚の学習部分画像が得られる。 The partial image set is preferably composed of as many partial images as possible (for example, half or more) included in all the 2601 partial images. As a final learning (registered) partial image group, M registered partial images tagged with the same class (= synonymous with registered image index) are obtained, and a total of M × N learning partial images are obtained. It is done.
次に、学習アルゴリズムの説明をする。図6は学習部302の処理を模式的に表した図である。また、同じ図を使って属性判定部305の処理も説明する。
Next, the learning algorithm will be described. FIG. 6 is a diagram schematically showing the processing of the
本実施形態の学習では、分類木と呼ばれる木構造の判別器がL個作られる。Lは1でもよいが、10〜30の数が望ましい。分類木はインターナルノードとターミナルノードから構成されている。インターナルノードでは、どの子ノードへ行くべきかという判定式、判定のルールもしくは判定ルーチンが存在する。ターミナルノードでは、認識対象のクラスの存在確率が保持されている。 In the learning according to the present embodiment, L classifiers called classification trees are created. L may be 1, but a number of 10 to 30 is desirable. The classification tree is composed of an internal node and a terminal node. In the internal node, there is a determination formula, a determination rule, or a determination routine as to which child node to go to. In the terminal node, the existence probability of the class to be recognized is held.
学習フェーズでは、図5に示した学習部分画像群を用いて2分木を作成していく。全部でL個分類木が存在するので、この分類木作成はL回行われる。分類木作成の際、各分類木のインターナルノードでは、ランダムに2つのピクセルを選び、そのピクセルの輝度比較をすることにより、学習部分画像群に含まれる部分画像の集合を2つに分けていく。この処理の詳細な説明は図7を用いて後で述べる。 In the learning phase, a binary tree is created using the learning partial image group shown in FIG. Since there are L classification trees in total, this classification tree creation is performed L times. When creating a classification tree, the internal node of each classification tree randomly selects two pixels and compares the brightness of the pixels to divide the set of partial images included in the learning partial image group into two. Go. A detailed description of this process will be given later with reference to FIG.
なお、本実施形態においてはランダムに2つのピクセルを選んだが、部分画像中の任意の矩形領域をランダムに2つ選んで、その矩形領域の平均輝度を比較することによって枝分れを行ってもよい。また、矩形ではなく予め用意した複数のマスクパターンを用いて部分画像中の任意の位置にある任意の種類のマスクパターンをランダムに2つ選んで、その領域の平均輝度を比較することによって枝分かれを行っても良い。 In the present embodiment, two pixels are selected at random. However, even if two arbitrary rectangular areas in the partial image are selected at random and the average luminance of the rectangular areas is compared, branching may be performed. Good. Further, branching is performed by randomly selecting two types of mask patterns at arbitrary positions in a partial image using a plurality of mask patterns prepared in advance instead of a rectangle, and comparing the average luminance of the regions. You can go.
新規部分画像をこの分類木の集合を使って処理する属性判定部305では、分類木をたどる処理をL回することになる。新規部分画像を参照しながら分類木を辿った結果、最終的にL回ターミナルノードに行き着く。登録画像がN枚あるとすると、一般的にはそれぞれのターミナルノードではN個の存在確率のベクトル(p1,p2,…,pN)が格納されているので、結局、L個の確率ベクトルが得られる。最終的にはこれらL個の確率ベクトルを単純に相加平均、または、対数を取った後の相加平均(L個の確率を掛け合わせる相乗平均に対応する)などの処理をして得られる平均確率が、本実施形態の属性判定部305の最終出力となる。なお、上記平均確率を先鋭化する方法として、一番確率の高い値以外の確率を0としてもよい。これはいわゆるL個の分類木の認識結果の投票で一番得点の高かったクラスを属性判定部305の結果とすることに相当する。
In the
次に、属性判定部305による計算時間のオーダーを解析してみる。上記の分類木の個数Lは定数なので、計算時間のオーダーには関係ない。計算時間は、分類木の深さに比例し、最大値としては登録する画像の数の対数に比例して増加する。つまり、本実施形態の画像認識方法の場合、どんなに遅くてもlog(登録部分画像の数)のオーダーの計算時間しか必要ないことになる。これに対して例えば特許文献1で開示されたような従来の画像照合方法では、登録部分画像の枚数のオーダーで計算時間が必要になってくる。
Next, the calculation time order by the
図7を用いて学習部302の具体的な処理を説明する。
A specific process of the
分類木の作成はサブルーチン601のSplit_a_node(S)を再帰的にコールすることによって実現される。サブルーチンSplit_a_node(S)はサブルーチン602のPick_a_random_split(S)とサブルーチン603のStop_Split(S)をコールする。
Classification tree creation is realized by recursively calling Split_a_node (S) of
分類木のトップのノード(ルートノード)に存在する画像は登録部分画像全部であり、Split_a_node(S)を最初にコールする時のSは登録部分画像の全部となる(全体集合も部分集合の1種)。 Images existing at the top node (root node) of the classification tree are all registered partial images, and S when calling Split_a_node (S) for the first time is all registered partial images (the entire set is also one of the subsets). seed).
再帰的にサブルーチン601が呼び出されるということは、Split_a_node(S)の結果、登録部分画像の集合がS0とS1の2つの集合に分割され、Split_a_node(S0)とSplit_a_node(S1)が実行されることを意味する。
When the
サブルーチン601のSplit_a_nodeの中身は、まずStop_split(S)をコールし、返り値がTRUEの場合、そのノードをターミナルノードとして再帰呼び出しを終了する。ターミナルノードでは、これまで説明してきた通り、クラスの存在確率が格納される。このクラスの存在確率は、サブルーチンSplit_a_nodeの引数であるSから、Sの中の登録画像のクラスの個数を数えることにより求められる。例えば、Sの登録部分画像の集合の中に、ある登録画像の部分画像しか含まれなかったら、そのクラスの確率が1で、他のクラスの確率が0となる。
The content of Split_a_node of
次に、Stop_split(S)の返り値がFALSEの場合、Z回Pick_a_random_split(S)をコールする。(例えばZ=1000)そして、もしPick_a_random_split(S)の返り値となる分割がOKだったら、ループを終了してその分割を返す。OKかどうかの判定はSOとS1のどちらにも1個以上の登録部分画像が含まれる条件となる。(|S|は集合Sに含まれる要素の数を意味する) Z回Pick_a_random_split(S)を試みてもOKな分割ができない場合は、そのノードをターミナルノードとして再帰処理を終了する。 Next, when the return value of Stop_split (S) is FALSE, Pick_a_random_split (S) is called Z times. (For example, Z = 1000) If the division used as the return value of Pick_a_random_split (S) is OK, the loop is terminated and the division is returned. Whether or not it is OK is a condition that one or more registered partial images are included in both SO and S1. (| S | means the number of elements included in set S) If OK_division is not possible even after trying Z_Pick_a_random_split (S), the recursion process is terminated with that node as a terminal node.
Pick_a_random_split(S)ルーチンは、図6で説明してきた通り、画像中の2つのピクセルをランダムに選び、それらの輝度比較をする。 The Pick_a_random_split (S) routine randomly selects two pixels in the image and compares their luminance as described with reference to FIG.
サブルーチン603のStop_Split(S)はターミナルノードの条件が満たされるかどうかを判定するルーチンである。entropy(S)とは登録部分画像の集合Sの情報論的エントロピーでクラスの存在確率を(p1,p2,・・・,pN)とすると 式 −Σ(pi*log(pi))で計算される。例えばSがある登録画像に含まれる部分画像しか含まないとするとエントロピーは0となる。
Stop_Split (S) of the
このStop_Split(S)のthresholdの値を変更することで、どれだけノードがピュアになればターミナルノードにするかという基準を変えることができる。
例えばthresholdを0とすると、ターミナルノードには必ずある登録画像の部分画像しか含まないようになる。
By changing the threshold value of Stop_Split (S), it is possible to change the standard of how much a node becomes pure to become a terminal node.
For example, if threshold is set to 0, the terminal node always includes only a partial image of a registered image.
なお、本実施形態において、関数Stop_Split(S)が常にTRUEを返すようにすることもできる。すると再帰的なノード作成(展開)は行われず、ルートノードとその子ノードしか存在しない構造が出来上がることになる。 In this embodiment, the function Stop_Split (S) can always return TRUE. Then, recursive node creation (expansion) is not performed, and a structure in which only a root node and its child nodes exist is completed.
続いて、図8を用いて、サブルーチン601のSplit_a_node(S)の動きを説明する。
Next, the operation of Split_a_node (S) in the
登録部分画像の集合の要素が、例えば16個(登録部分画像の数が16枚)だったとする。するとルートノードには図8の左に書いた16枚の画像が存在することになる。 Assume that the number of registered partial images is 16, for example (the number of registered partial images is 16). Then, 16 images written on the left in FIG. 8 exist in the root node.
ルートノードでランダムに2つのピクセルを選び、登録部分画像集合に含まれる全部分画像をそれらの輝度比較をすることで2つの集合に分割する。図8の例では、左の子ノードに10枚の部分画像が残り、右の子ノードに6枚の部分画像が残ったことになる。なお、グレーアウトした画像は残らなかった画像を意味する。 Two pixels are randomly selected at the root node, and all partial images included in the registered partial image set are divided into two sets by comparing their luminance. In the example of FIG. 8, ten partial images remain in the left child node, and six partial images remain in the right child node. The grayed out image means an image that has not remained.
次に、右の子ノードにおいて、サブルーチン603のStop_Split(S)の返り値がFALSEだった場合は、さらにその下の子ノードを展開する。その時は、また別の2つのピクセルをランダムに選び、それらの輝度比較をすることによって、集合を分割していく。
Next, when the return value of Stop_Split (S) in the
図8に示した例では、左の子ノード、右の子ノードとも3つの要素が残ったことになる。 In the example shown in FIG. 8, three elements remain in the left child node and the right child node.
<実施形態2>
図9を用いて実施形態2を説明する。
<
The second embodiment will be described with reference to FIG.
実施形態1においては、ある登録画像に含まれる部分画像を全て同じクラスとして扱ってきた。実施形態2においては、これを全て異なるクラスとして扱う。 In the first embodiment, all partial images included in a certain registered image have been treated as the same class. In the second embodiment, these are all handled as different classes.
なお、“クラス”とは、機械学習で判別するべき対象の種類のことで、通常、画像認識の場合は登録画像の種類となる。上で述べた「ある登録画像に含まれる部分画像を全て同じクラスとして扱う」ということは、ある登録画像に含まれる色々な部分画像群を、“見え”が異なるが同じ種類の画像群として扱うことを意味する。これに対して、「ある登録画像に含まれる部分画像を全て異なるクラスとして扱う」ということは、違う位置から取り出した部分画像は同じ登録画像由来であっても異なる種類のものだとして扱うことを意味する。具体的には、部分画像に位置情報を持たせることによって、部分画像1つ1つを区別する。 The “class” is a type of object to be discriminated by machine learning, and is usually a registered image type in the case of image recognition. As described above, “all the partial images included in a certain registered image are treated as the same class” means that various partial images included in a certain registered image are treated as the same type of image group with different “appearance”. Means that. On the other hand, “treating all partial images included in a certain registered image as different classes” means that partial images taken from different positions are treated as different types even if they are derived from the same registered image. means. Specifically, each partial image is distinguished by giving position information to the partial image.
N枚の登録画像があり、1枚の登録画像につきM枚の部分画像があるとすると、実施形態1では登録部分画像が全部でM×N枚、クラスの数はNであった。実施形態2では、これが登録部分画像が全部でM×N枚、クラスの数のM×Nとなる。 If there are N registered images and there are M partial images for each registered image, in the first embodiment, the total number of registered partial images is N × N and the number of classes is N. In the second embodiment, this is a total of M × N registered partial images, and the number of classes is M × N.
図9を用いて、位置情報の具体的な例とその使い方を述べる。 A specific example of position information and how to use it will be described with reference to FIG.
図9では登録画像が登録画像Aと登録画像Bの2枚、1つの登録画像につき部分画像が重なりのない3×3=9枚あるとする。本実施形態では部分画像は好ましくは重なっているが、重ならなくても一般性を失わないので、簡単のために重ならない例を用いて以下、説明する。 In FIG. 9, it is assumed that there are two registered images A and B, and there are 3 × 3 = 9 partial images that do not overlap each registered image. In the present embodiment, the partial images are preferably overlapped, but generality is not lost even if they are not overlapped. For simplicity, an example in which they do not overlap will be described below.
図9に描かれている点線の矢印は、図1の部分画像判定結果110、図3の属性判定結果306で、最もマッチした登録部分画像と入力部分画像との組み合わせを示す。新規部分画像は9枚、そのそれぞれに登録部分画像18(=9+9)枚とのマッチング結果がある。一般的には、部分画像属性判定の結果、新規部分画像9枚それぞれに(p1,p2,・・・,p18)の18次元のクラス存在確率が導かれることになるが、簡単のために図に示した最もマッチした部分画像の確率が1でその他が0として、説明する。なお、以下の議論は、確率ベクトル(p1,p2,・・・,p18)による重み付け平均を計算することによって、一般の場合に拡張できる。
The dotted-line arrows depicted in FIG. 9 indicate combinations of registered partial images and input partial images that best match the partial image determination result 110 in FIG. 1 and the
部分画像属性判定の結果、新規画像の部分画像9枚は、Aの部分画像6枚とBの部分画像3枚とマッチングしたことになる。正確にマッチした部分画像の枚数をスコアとすると、実施形態1の場合、Aの得点が6で、Bの得点が3となり、新規画像は登録画像Aと認識される。 As a result of the partial image attribute determination, nine partial images of the new image have been matched with six partial images A and three partial images B. Assuming that the number of correctly matched partial images is a score, in the case of the first embodiment, the score of A is 6, the score of B is 3, and the new image is recognized as the registered image A.
しかし、“正確にマッチした部分画像”という定義を位置情報も含めて考えると、Aの得点が1で、Bの得点が3となり、新規画像は登録画像Bと認識される。これが実施形態2の一番簡単な例となる。 However, considering the definition of “accurately matched partial image” including position information, the score of A is 1, the score of B is 3, and the new image is recognized as the registered image B. This is the simplest example of the second embodiment.
この場合、結果的に、新規画像の正しい認識結果がBだとすると、実施形態1の場合は間違いで、実施形態2の場合は正解となることになる。 In this case, as a result, if the correct recognition result of the new image is B, the error is in the case of the first embodiment and the correct answer is in the case of the second embodiment.
なお、より精密にスコアを計算したい場合、マッチした部分画像の位置と本来マッチすべき位置との距離Dの関数を用いてスコアを算出しても良い。例えばexp(−C*D)、exp(−C*D*D)、1/(1+C*D*D)(Cは任意の正定数、expとは指数関数)などの関数(評価式)を用いても良い。 When it is desired to calculate the score more precisely, the score may be calculated using a function of the distance D between the position of the matched partial image and the position that should be matched. For example, a function (evaluation expression) such as exp (-C * D), exp (-C * D * D), 1 / (1 + C * D * D) (C is an arbitrary positive constant, and exp is an exponential function). It may be used.
スコアにexp(−C*D)を用いた場合の計算式を以下に述べる。(簡単のために以下、Dは2次元上のユークリッド距離、C=1とする) 図9にあるように、新規部分画像と登録画像Aの部分画像は、新規部分画像9枚のうち、6枚の登録画像Aの部分画像とのマッチングがとれている。そして、それらの位置から2次元上の距離を計算すると、(左上A(0,1))、(右上A(0,0))、(左中A(0,1))、(左下A(2,2))、(中下A(2,2))、(右下A(0,2))がそれぞれ、 The calculation formula when exp (−C * D) is used for the score is described below. (For simplicity, D is a two-dimensional Euclidean distance and C = 1.) As shown in FIG. 9, the new partial image and the partial image of the registered image A are 6 out of 9 new partial images. Matching with the partial images of the registered images A is performed. Then, when calculating the two-dimensional distance from these positions, (upper left A (0, 1)), (upper right A (0, 0)), (left middle A (0, 1)), (lower left A ( 2, 2)), (middle lower A (2, 2)), and (lower right A (0, 2)),
となる(ここで、上記の説明で、左上などの表記は新規画像における部分画像の位置を意味しており、それに続くA(0,1)などの表記はそれに対応するマッチング結果を意味する。)。その結果、Aのトータルスコアは、 (Here, in the above description, the notation such as upper left means the position of the partial image in the new image, and the following notation such as A (0,1) means the matching result corresponding thereto. ). As a result, the total score of A is
となる。 It becomes.
一方、新規部分画像と登録画像Bの部分画像は、新規部分画像9枚のうち、3枚の登録画像Bの部分画像とのマッチングがとれている。そして、それらの位置から2次元上の距離を計算すると、(中上B(1,0))、(中中B(1,1))、(右中B(2,1))がそれぞれ、 On the other hand, the new partial image and the partial image of the registered image B are matched with the partial images of the three registered images B among the nine new partial images. Then, when calculating the two-dimensional distance from these positions, (middle upper B (1, 0)), (middle middle B (1, 1)), (right middle B (2, 1)) are respectively
となる。その結果、Bのトータルスコアは、 It becomes. As a result, the total score of B is
となる。 It becomes.
なお、この例ではそれぞれマッチングが取れた部分画像同士のスコアを加算してトータルスコアを導いたが、乗算することでトータルスコアを導いてもよい。 In this example, the scores of the partial images that have been matched are added to derive the total score. However, the total score may be derived by multiplication.
<実施形態3>
図10、図11を用いて実施形態3を説明する。
<
The third embodiment will be described with reference to FIGS. 10 and 11.
実施形態1、実施形態2においては、登録画像は矩形の形をしていた。つまり、矩形の内部を全て登録画像として扱っていた。しかし、一般には、登録画像の矩形の内部は対象物と背景に分離することができる。例えば、図10の(a)に示した対象物は登録画像中の楕円の形をしているとする。本実施形態では、図1の登録部分画像集合抽出部104において、登録画像中の全ての部分画像を抽出するのではなく、対象物が存在する楕円の内部の部分画像のみを抽出する。このことで、背景の画像を抽出せずに、対象物の内部の画像のみを抽出することができるようになる。
In the first and second embodiments, the registered image has a rectangular shape. That is, the entire inside of the rectangle is handled as a registered image. However, generally, the inside of the rectangle of the registered image can be separated into the object and the background. For example, it is assumed that the object shown in FIG. 10A has an elliptical shape in the registered image. In the present embodiment, the registered partial image
また、登録する部分画像が対象物の内部に完全に含まれる、という条件よりもっと緩い条件を設定することもできる。例えば、部分画像中の対象物の占める面積が80%以上となる部分画像を抽出する、ということもできる。 It is also possible to set a condition that is looser than the condition that the partial image to be registered is completely included in the object. For example, it is possible to extract a partial image in which the area occupied by the object in the partial image is 80% or more.
この動作をフローチャートにしたものが図11である。 FIG. 11 is a flowchart showing this operation.
部分画像評価のループ1101において、その画像に含まれる部分画像全部がチェックされる。そして、上記の例のように例えば、部分画像中の対象物の占める面積が80%以上となる部分画像のみ採用部分画像集合1102に加えられる。
In a partial
一方、部分画像属性判定部109では、本実施形態でも実施形態1、実施形態2と同様に新規画像から抽出された任意の部分画像とのマッチングを行う。これは新規画像に含まれる対象物体が未知であるために、新規画像のどの位置を見るべきかは予め分かっていないからである。 On the other hand, the partial image attribute determination unit 109 performs matching with an arbitrary partial image extracted from a new image in the present embodiment as in the first and second embodiments. This is because the target object included in the new image is unknown, so it is not known in advance which position of the new image should be viewed.
また、実施形態1、実施形態2においては、登録画像と新規画像のサイズは同一として本実施形態を説明してきた。しかし、一般には新規画像は登録画像より大きい。このことを説明したのが、図10の(b)である。 In the first and second embodiments, the present embodiment has been described assuming that the registered image and the new image have the same size. However, in general, new images are larger than registered images. This is illustrated in FIG. 10B.
例えば登録画像のサイズが100×100で、部分画像のサイズが20×20だとする。実施形態1と実施形態2では新規画像の大きさが登録画像と同じ100×100だったので、新規部分画像集合抽出部107で抽出される部分画像の数は6,561(=81×81)枚となる。
For example, assume that the size of the registered image is 100 × 100 and the size of the partial image is 20 × 20. In the first and second embodiments, since the size of the new image is 100 × 100, which is the same as the registered image, the number of partial images extracted by the new partial image
これに対して本実施形態では、新規画像のサイズが200×200だとすると、新規部分画像集合抽出部107で抽出される部分画像の数は32,761(=181×181)枚となる。
On the other hand, in this embodiment, when the size of the new image is 200 × 200, the number of partial images extracted by the new partial image
登録画像全体を新規画像から切り出してマッチングする場合(いわゆるスライディングウィンドウによる登録画像のマッチング)を考える。登録画像のサイズが100×100、新規画像のサイズが200×200だとすると、10,201(=101×101)回マッチングを行うこととなる。これに対し上記の部分画像を用いた場合でも、マッチング回数は3倍強ほどしか増えない。よって、部分画像属性判定部109の処理が高速であれば(より正確には登録画像の枚数に比例して速度が低下しなければ)、本実施形態の登録部分画像を非常に多く用いた画像認識方法は十分実用に耐えうることとなる。 Consider a case where the entire registered image is cut out from a new image and matched (so-called registered image matching by a sliding window). If the registered image size is 100 × 100 and the new image size is 200 × 200, the matching is performed 10,201 (= 101 × 101) times. On the other hand, even when the above partial image is used, the number of times of matching increases only about three times. Therefore, if the processing of the partial image attribute determination unit 109 is high-speed (more precisely, if the speed does not decrease in proportion to the number of registered images), an image using a large number of registered partial images of this embodiment. The recognition method is sufficiently practical.
<実施形態4>
図12および図13を用いて実施形態4を説明する。実施形態4では、部分画像サイズ決定部101の具体的実装の例を示す。本実施形態では、いわゆるクロスバリデーションという手法を用いて部分画像のサイズを決定する。
<Embodiment 4>
A fourth embodiment will be described with reference to FIGS. 12 and 13. In the fourth embodiment, an example of specific implementation of the partial image
図1の登録画像103を以下に述べる方法でサンプル登録画像群1301とサンプル新規画像群1302とに分ける。通常はランダムに2分割するが、登録画像103がN枚あるとして、その中の1枚をサンプル新規画像(群)とし、それ以外の画像をサンプル登録画像群とすることもできる。(これをleave one out法と呼ぶ。この場合、認識率の評価はサンプル新規画像をN回巡回していった認識率の値の平均で行い、認識率評価のループ1303は、{N×(評価する部分画像のサイズの種類数)}回の実行となる。) まず、部分画像のサイズをあるサイズに仮に決定しておいてサンプル登録画像群1301を登録画像103として学習する。学習は学習部302で行う。次に、サンプル新規画像群1302の1枚1枚を新規画像106とし、画像認識をする。そして、新規画像群、全部から得られた認識結果112を集計することによって、部分画像が所定のサイズであった場合の認識率が求まる。
The registered
図13は、サイズをいろいろ変えたときの認識率の違いをプロットしたグラフである。
横軸が部分画像サイズで、縦軸がそのサイズで評価した平均認識率である。
FIG. 13 is a graph plotting the difference in recognition rate when the size is changed variously.
The horizontal axis represents the partial image size, and the vertical axis represents the average recognition rate evaluated based on the size.
この例でいうと、部分画像サイズが40のところにピークがあるので、最高認識率決定ステップ1304で40が選択され、最適部分画像サイズ1305が40となる。本実施形態で重要なことは、実施形態1〜実施形態3で述べた画像認識方法を用いて部分画像サイズを評価することである。
In this example, since there is a peak at the partial image size of 40, 40 is selected in the maximum recognition
<実施形態5>
図14および図15を用いて実施形態5を説明する。
<Embodiment 5>
Embodiment 5 will be described with reference to FIGS. 14 and 15.
実施形態4で述べたクロスバリデーションの方法は、認識性能の高い部分画像サイズを決定できるというメリットがある反面、非常に多くのコンピュータコストを必要とするというデメリットも存在する。本実施形態では、より簡便な部分画像サイズ決定部101の処理の例を述べる。
The cross-validation method described in the fourth embodiment has a merit that a partial image size with high recognition performance can be determined, but has a demerit that a very large computer cost is required. In the present embodiment, an example of simpler processing of the partial image
図14は、図1の登録画像103の中から2枚の異なるクラスに属する登録画像を適当に選び、それらの部分画像群間の構造を解析したグラフである。(以下、クラスとは登録画像の種類を意味し、例えばクラスAの画像がAさんの顔画像、クラスBの画像がBさんの顔画像というようになる。) 図14のグラフにおいて、横軸は部分画像のサイズで、縦軸は(クラス内平均距離/クラス間距離)である。クラス内平均距離とクラス間距離を図15を用いて説明する。
FIG. 14 is a graph in which registered images belonging to two different classes are appropriately selected from the registered
図15では、あたかも特徴空間が3次元のような書き方をしているが、これは便宜的に書いたもので、実際は非常に高次元である。より具体的には、部分画像のピクセルサイズ数の次元となる。また、以下“距離”という言葉で説明しているものは、ユークリッド距離を意味する。なお、本実施形態はユークリッド距離に限定したものではなく、任意の距離尺度を利用できる。 In FIG. 15, the feature space is written as if it were three-dimensional, but this is written for convenience and is actually very high-dimensional. More specifically, it is a dimension of the pixel size number of the partial image. In addition, what is described below in terms of “distance” means Euclidean distance. Note that this embodiment is not limited to the Euclidean distance, and any distance scale can be used.
例えば、登録画像103のサイズが100×100であるとする。そして、クラスAとクラスBの2つの画像があるとする。部分画像のサイズをフルサイズである100×100とすると登録部分画像の個数はそれぞれのクラスで1つずつとなり、図15の右の空間配置となる。ここで空間の次元数は10,000(=100×100)である。なお、以下の説明で図15の○は1つの部分画像を意味する。クラスAとクラスBの配置は便宜上、左がAで右がBとして説明する。
For example, assume that the size of the registered
“クラス内平均距離”とは、クラスの平均部分画像とそれぞれの部分画像の距離の平均を意味し、この場合、部分画像が1つだけなので、クラスの平均部分画像は“登録画像そのもの”となり、クラス内平均距離は0となる。 “In-class average distance” means the average of the distance between the average partial image of the class and each partial image. In this case, since there is only one partial image, the average partial image of the class is “registered image itself”. In-class average distance is zero.
そして、“クラス間距離”とは、クラスの平均部分画像間(=2つの登録画像間)の距離を意味し、図15の右の場合、横向きの矢印の長さを指す。 “Distance between classes” means a distance between average partial images of a class (= between two registered images), and in the case of the right in FIG. 15, indicates the length of a horizontal arrow.
結局、図14の縦軸である(クラス内平均距離/クラス間距離)は分子が0となるので0となる。 Eventually, the vertical axis of FIG. 14 (average distance within class / distance between classes) is 0 because the numerator is 0.
なお、“クラス内平均距離”と“クラス間距離”を数式を用いて説明すると以下の通りとなる。 The “intraclass average distance” and “interclass distance” will be described using mathematical expressions as follows.
部分画像のベクトルを Partial image vector
(iは部分画像のインデックス、x、yは座標で、Iはその座標のピクセル値(実数))とする。 (I is a partial image index, x and y are coordinates, and I is a pixel value (real number) of the coordinates).
すると、平均部分画像(ベクトル) Then the average partial image (vector)
は Is
で定義される。(なおNは部分画像の個数)
そして、クラス内平均距離(スカラー)は
Defined by (N is the number of partial images)
And the average distance in class (scalar) is
(XとYはそれぞれ画像の横サイズと縦サイズ)となる。 (X and Y are the horizontal size and vertical size of the image, respectively).
クラス間距離(スカラー)は Distance between classes (scalar) is
(A、Bはクラス名)となる。 (A and B are class names).
次に図14のグラフの指数がピークとなる部分画像サイズ30の説明をする。部分画像のサイズが30×30となると、部分画像の個数はA、Bそれぞれ5,041(=71×71)個となり、次元数は900(=30×30)となる。 Next, the partial image size 30 in which the index of the graph of FIG. When the size of the partial image is 30 × 30, the number of partial images is 5,041 (= 71 × 71) for each of A and B, and the number of dimensions is 900 (= 30 × 30).
図15の真ん中にある図がこの900次元の空間で、それぞれの部分画像がどのように分布するかを示した図となる。なお、正確に記述すると、クラスA、クラスB、それぞれに関して○の数が部分画像の数(=5,041)個あるはずであるが、書ききれないのでほとんどは省略してある。 The figure in the middle of FIG. 15 shows how each partial image is distributed in this 900-dimensional space. To be precise, the number of ◯ should be the number of partial images (= 5,041) for class A and class B, but most of them are omitted because they cannot be written.
太い2本の矢印1601と1602が“クラス内平均距離”を意味し、具体的には上でも説明したように、“クラスの平均部分画像とそれぞれの部分画像の距離の平均”で定義される。なお指数で用いる“クラス内平均距離”はクラスAのクラス内平均距離1601とクラスBのクラス内平均距離1602の平均をとる。
Two
図15の真ん中にある通り、部分画像の個数がある程度多いと、その分布が広がりクラス内平均距離が大きくなる。なお、図15において、“クラスの広がりぐらい”は○で表される部分画像を囲む大きな楕円で表現している。 As shown in the middle of FIG. 15, when the number of partial images is large to some extent, the distribution spreads and the intraclass average distance increases. In FIG. 15, “about class spread” is represented by a large ellipse surrounding the partial image represented by ◯.
そして、“クラス間距離”(横向きの矢印の長さ)は図15の右の100×100の場合より小さくなるが、最終的な指数(クラス内平均距離/クラス間距離)は大きくなる。 Then, the “interclass distance” (the length of the horizontal arrow) is smaller than the case of 100 × 100 on the right in FIG. 15, but the final index (intraclass average distance / interclass distance) becomes large.
更に部分画像のサイズを小さく(5×5)とすると、図15の左のような空間配置となる。ここで次元数は25(=5×5)で、部分画像の個数はクラスA、B、それぞれ9,216(=96×96)個となる。 If the size of the partial image is further reduced (5 × 5), the spatial arrangement is as shown on the left in FIG. Here, the number of dimensions is 25 (= 5 × 5), and the number of partial images is 9,216 (= 96 × 96) for classes A and B, respectively.
“クラス間距離”は更に短くなるが、それ以上に“クラス内平均距離”が小さくなり、指数(クラス内平均距離/クラス間距離)は下がる。これは、部分画像の個数は増えるが、その分布範囲は相対的に、小さくなることを意味する。これは部分画像の分布に個性がなくなり、Aの部分画像群もBの部分画像群も区別が付きにくくなることに対応する。 The “interclass distance” is further shortened, but the “intraclass average distance” is further reduced, and the index (average intraclass distance / interclass distance) decreases. This means that the number of partial images increases, but the distribution range becomes relatively small. This corresponds to the fact that the distribution of partial images loses its individuality, and it becomes difficult to distinguish between the partial image group A and the partial image group B.
以上説明してきた(クラス内平均距離/クラス間距離)を用いた部分画像サイズ評価法は、いわゆるFisherの分離関数と混同しやすい概念である。しかし、上記の指数は、ちょうどFisherの分離関数とは逆の関係になる。つまり、Fisherの分離関数は、クラス内の分布範囲を出来るだけ小さくし、クラス間の分布範囲を出来るだけ大きくするようにすることになる。これに対して、本実施形態で説明してきた指数(クラス内平均距離/クラス間距離)は、クラス間の分布範囲を出来るだけ小さく、クラス間の分布範囲を出来るだけ大きくするような指数となる。 The partial image size evaluation method using the above-described (average distance within class / distance between classes) is a concept that is easily confused with the so-called Fisher separation function. However, the above index is just opposite to the Fisher separation function. In other words, the Fisher separation function is to make the distribution range within the class as small as possible and the distribution range between classes as large as possible. On the other hand, the index (average distance within class / distance between classes) described in the present embodiment is an index that makes the distribution range between classes as small as possible and the distribution range between classes as large as possible. .
これではFisherの分離関数と全く逆の性質を見てしまうので、通常の感覚では、この指数が大きいと認識率が低くなるように感じる。しかし、本発明の部分画像を用いた画像認識方法では、この指数が大きいと部分画像の集合の形が十分意味のある構造(分布)を持つことを意味し、結果的に(経験的に)認識率が高くなるという現象が起こる。 In this case, since the property is completely opposite to that of the Fisher separation function, the normal feeling is that the recognition rate decreases as the index increases. However, in the image recognition method using partial images of the present invention, a large index means that the shape of the set of partial images has a sufficiently meaningful structure (distribution), and as a result (empirically) A phenomenon occurs in which the recognition rate increases.
<実施形態6>
図16〜図19を用いて実施形態6を説明する。
<Embodiment 6>
Embodiment 6 will be described with reference to FIGS.
実施形態6では対象物体をいろいろな方向から撮影した画像を登録画像として学習し、入力された対象物体を含む画像の中から対象物体を検出する技術を実現する。本実施形態の学習ステップ(図4の302)は、基本的に実施形態2と同じである。つまり、図8のN枚の登録画像として、1つの対象物体をN姿勢方向から撮影した画像N枚を採用することになる。例えば、図18(b)に示したような画像となる。ここから複数の部分画像を抽出して登録部分画像とする。 In the sixth embodiment, an image obtained by photographing a target object from various directions is learned as a registered image, and a technique for detecting the target object from an image including the input target object is realized. The learning step (302 in FIG. 4) of this embodiment is basically the same as that of the second embodiment. That is, N images obtained by photographing one target object from the N posture direction are employed as the N registered images in FIG. For example, an image as shown in FIG. A plurality of partial images are extracted from this to be registered partial images.
通常、このN姿勢方向はジオディシックドーム上の等間隔に配置された点から物体中心に向かう方向にカメラもしくは画像の面内回転を掛け合わせた姿勢方向となる。このように登録画像を準備することにより、入力画像中に対象物体がどのような姿勢で写っていてもそれを認識、検出することが可能となる。なお、機械学習でN枚の登録画像のマッチングを行うことはN個のクラス判別を行うことと等価となる。以下、N枚の登録画像とN個の姿勢クラスを同一視して説明する。 Normally, this N posture direction is a posture direction obtained by multiplying in-plane rotation of the camera or image in a direction from the points arranged on the geodicic dome at equal intervals to the object center. By preparing the registered image in this way, it is possible to recognize and detect the target object in any posture in the input image. Note that matching N registered images by machine learning is equivalent to performing N class discrimination. In the following description, N registered images and N posture classes are identified.
なお、コンピュータグラフィックスの技術を用いて、例えばCAD画像から人工的に対象物体をいろいろな方向から撮影した画像を作り出してもよい。また、本実施形態の説明では対象物体を1つとしているが、対象物体が複数あっても本質は変わらない。 For example, an image obtained by photographing a target object artificially from various directions may be created from a CAD image by using a computer graphics technique. In the description of this embodiment, one target object is used, but the essence does not change even if there are a plurality of target objects.
姿勢クラスの数を増やせば増やすほど詳細に姿勢の判別が可能となる。つまり、姿勢について高い分解能を実現するためには、登録画像の枚数Nを十分多くする必要がある。しかしN=2として説明してもその本質は変わらないので、以下では説明を簡単にするためにN=2とする。対象物体は図18(b)に示すような直方体であり、2つ(=N)の姿勢クラスは同じく図18(b)に示すような正面右向き、正面左向きの姿勢とする。また、高い物体認識、検出能力を実現するためには、部分画像の枚数(M)もある程度の量必要となる。しかし、M=2として説明してもその本質は変わらないので、以下説明を簡単にするためにM=2とする。具体的には、それぞれの姿勢クラスの登録部分画像は図18(b)に示すように、クラス1では1910、1911、クラス2では1913、1914とする。なお、図18(b)では、登録画像における対象物体の中心位置を、クラス1では1912、クラス2では1915で示している。
The more the number of posture classes is increased, the more the posture can be determined. That is, in order to realize high resolution for the posture, it is necessary to increase the number N of registered images sufficiently. However, since the essence does not change even if it is described as N = 2, in the following, N = 2 is assumed to simplify the description. The target object is a rectangular parallelepiped as shown in FIG. 18 (b), and the two (= N) posture classes are assumed to be front rightward and front leftward as shown in FIG. 18 (b). In order to realize high object recognition and detection capability, a certain amount of partial images (M) is also required. However, since the essence does not change even if it is described as M = 2, M = 2 is assumed in order to simplify the description below. Specifically, the registered partial images of the respective posture classes are 1910 and 1911 for
次に物体を検出する工程を説明する。図16は実施形態6における物体検出ルーチンのフローチャートを示した図である。物体検出工程では、まず新規に入力された画像でウィンドウをスライディングさせながら、ウィンドウ内にある部分画像を処理するルーチンが走る。このループがS1701からS1707までのループとなる。この様子は、実施形態3の説明で用いた図10(b)と同じ動作となる。 Next, a process for detecting an object will be described. FIG. 16 is a flowchart illustrating an object detection routine according to the sixth embodiment. In the object detection process, first, a routine for processing a partial image in the window is executed while sliding the window with the newly input image. This loop is a loop from S1701 to S1707. This state is the same operation as FIG. 10B used in the description of the third embodiment.
例えば登録画像のサイズが100x100で、部分画像のサイズが20x20だとする。そして、新規画像のサイズが200x200だとすると、S1702の部分画像の抽出ステップ(図2(b)の新規部分画像集合抽出ステップS107と同じ)で抽出される部分画像の数は32,761(=181x181)枚となる。なお、ステップS1701からS1707までのループで、この32,761(=181x181)枚全てを処理せずに、その中から適当にサンプリングすることによって高速化を実現してもよい。 For example, assume that the registered image size is 100 × 100 and the partial image size is 20 × 20. If the size of the new image is 200 × 200, the number of partial images extracted in the partial image extraction step in S1702 (same as the new partial image set extraction step S107 in FIG. 2B) is 32,761 (= 181 × 181). It becomes a sheet. It should be noted that in the loop from step S1701 to S1707, the 32,761 (= 181 × 181) sheets may not be processed, and speeding up may be realized by appropriately sampling them.
このループの中で、まず部分画像の抽出を行い(S1702)、抽出された部分画像を入力としてL本の分類木判別器の判別結果を得る。このループがS1703からS1706までのループとなる。抽出された部分画像をそれぞれの分類木に認識処理させるステップはS1704であり、図17にその詳細のフローチャートを示す。 In this loop, first, partial images are extracted (S1702), and the extracted partial images are input to obtain discrimination results of L classification tree discriminators. This loop is a loop from S1703 to S1706. The step of causing each classification tree to perform recognition processing on the extracted partial images is S1704, and FIG.
図17で示したフローチャートは、分類木をルートノードからリーフノード、またはヌルノードへ向かって辿る工程を説明したものである。分類木における現在着目しているノードをカレントノードと定義する。まずルートノードをカレントノードとする(S1801)。次にカレントノードがヌルノードかリーフノードかの判定を行う(S1802)。
そして、カレントノードがヌルノードかリーフノードであった場合は、このサブルーチンは終了する。
The flowchart shown in FIG. 17 describes the process of tracing the classification tree from the root node toward the leaf node or the null node. The node currently focused on in the classification tree is defined as the current node. First, the root node is set as the current node (S1801). Next, it is determined whether the current node is a null node or a leaf node (S1802).
If the current node is a null node or a leaf node, this subroutine ends.
なお、リーフノードが格納している情報は、“どの登録画像のどの位置の部分画像”という情報の集合であり、より具体的には“クラス番号と基準位置からのオフセット”群である。(オフセットの詳細な説明は図18を用いて後述する。) もしカレントノードがヌルノードかリーフノードのどちらでもない場合、カレントノードのクエリーに基づいて枝番号を計算する(S1803)。そして、計算された枝番号の子ノードをカレントノードに設定する(S1804)。なお、以上説明した工程は分類木を用いた認識工程に一般的、普遍的なものである。 The information stored in the leaf node is a set of information “partial image at which position of which registered image”, and more specifically, a group of “class number and offset from reference position”. (Detailed description of the offset will be described later with reference to FIG. 18.) If the current node is neither a null node nor a leaf node, a branch number is calculated based on the query of the current node (S1803). Then, the child node of the calculated branch number is set as the current node (S1804). The process described above is general and universal for the recognition process using a classification tree.
図16に戻って、i番目の判別器(分類木)の認識結果を用いて投票する(S1705)。この様子を図18と図19を用いて説明する。図18(a)に示したのは投票の様子で、図18(b)に示したのが学習画像の様子である。登録画像、つまり、クラスの数が2であるので、図18(a)に示した投票面(2次元のシート)の枚数は2枚となる。ここでいう投票面の具体的な中身は投票のスコアを加算する2次元のテーブルのことである。このテーブルで値の高い場所はそのクラスの物体が存在する可能性が高い場所を意味する。 Returning to FIG. 16, voting is performed using the recognition result of the i-th discriminator (classification tree) (S1705). This situation will be described with reference to FIGS. FIG. 18A shows a state of voting, and FIG. 18B shows a state of a learning image. Since the number of registered images, that is, the number of classes is 2, the number of voting planes (two-dimensional sheets) shown in FIG. 18A is two. The specific contents of the voting surface here are a two-dimensional table for adding voting scores. A place with a high value in this table means a place where an object of that class is likely to exist.
図18(a)の図において点線で描かれた2つの直方体(1901)が表示されているが、これは入力された画像に2つの直方体が写っていたことを意味する。図18(a)はあくまで投票面なので、点線で描画をすることで入力画像そのものではないことを表現した。(図18(a)のクラス1、クラス2の2枚の投票面の同じ位置に1901が描かれていることに注意する。) 図18(a)の1902は、部分画像枠をスライディングさせた時、つまり、図16のステップS1701からS1707までのループを回した時の“ある一つ”の切り出された部分画像を意味する。部分画像1902を認識させた結果、クラス1の登録画像の部分画像1910(図18(b))とマッチしたとする。この結果、図18(b)の部分画像1910と部分画像1912のそれぞれの位置関係(中心位置へのオフセット)が読み出される(なお、この情報は図17で説明したリーフノードに格納されている。)。そして、部分画像1902の位置からクラス1の投票面上の点1904の位置へ投票が行われる。
In FIG. 18A, two rectangular parallelepipeds (1901) drawn by dotted lines are displayed. This means that two rectangular parallelepipeds are shown in the input image. Since FIG. 18A is a voting surface to the last, the fact that it is not the input image itself is expressed by drawing with a dotted line. (Note that 1901 is drawn at the same position on the two voting surfaces of
同様に、部分画像1903の認識結果からも投票面上の点1904への投票が行われる。また、部分画像1905の認識結果からはクラス2の投票面上の点1907への投票が行われる。また、部分画像1906の認識結果からも1907への投票が行われる。
Similarly, voting is performed on the
以上説明してきたように、ステップS1705の投票面への投票とは“入力画像中の部分画像と似ている登録画像のクラス投票面の物体中心位置へ投票する”ことを意味する。 As described above, voting on the voting surface in step S1705 means “voting to the object center position on the class voting surface of the registered image similar to the partial image in the input image”.
図18の説明では説明を簡単にするために物体中心の1点へ投票するような説明をしたが、普通は図19に示したように広がった領域に分散して投票してもよい。例えば、図19は底面がx、yの2次元(x、yの2次元は投票面の縦横の2次元と同じ意味)で高さが投票の重みを意味する。式で表現すると、 In the description of FIG. 18, for the sake of simplicity, the description has been made such that voting is performed on one point at the center of the object. However, it is also possible to vote in a distributed manner as shown in FIG. For example, in FIG. 19, the bottom surface has two dimensions x and y (two dimensions x and y have the same meaning as two dimensions in the vertical and horizontal directions of the voting surface), and the height means the weight of the vote. Expressed as an expression
(dx,dyは中心からの距離)という釣鐘型の関数を用いる。一般に釣鐘型の関数ならこの関数でなくてもよい。また、区間一様分布のような分布関数でもよい。 A bell-shaped function (dx, dy is a distance from the center) is used. In general, this function may not be a bell-shaped function. Also, a distribution function such as a uniform section distribution may be used.
なお、図18では物体中心へ投票する方法を説明したが、必ずしも物体中心へ投票しなくてもよい。つまり、対象物体の3次元モデルに複数の基準位置を設定しておいて、その基準位置毎に図18(a)で示したような投票面を用意してもよい。 Although the method of voting to the object center has been described with reference to FIG. 18, it is not always necessary to vote to the object center. That is, a plurality of reference positions may be set in the three-dimensional model of the target object, and a voting surface as shown in FIG. 18A may be prepared for each reference position.
また、図18で示した例は、1つの部分画像について1つの位置または領域への投票だったが、図17で述べたリーフノードに格納された情報が複数クラスの複数位置の部分画像だった場合、それぞれのクラスの投票領域に投票することになる。 The example shown in FIG. 18 is a vote for one position or area for one partial image, but the information stored in the leaf node described in FIG. 17 is a partial image of multiple positions of multiple classes. If so, you will vote for the voting area of each class.
図18で説明した投票は、マッチしたクラスの投票面だけへの投票であった。つまり、部分画像1902と1903はクラス1の部分画像とマッチしたのでクラス1の投票面へ投票した。同じく部分画像1905と1906はクラス2の部分画像とマッチしたのでクラス2の投票面へ投票した。しかしながらクラス1とクラス2は全く異なるカテゴリではなく、同じ直方体(対象物体)の異なる姿勢という意味を持つ。よって、部分画像1902、1903の認識結果からクラス2の投票面上の点1909への投票をしても良い。同様に部分画像1905、1906の認識結果からクラス1の投票面上の点1908への投票をしても良い。
The voting described in FIG. 18 was only for the voting surface of the matched class. In other words, the
このことをより一般的に説明すると、クラスがN個あるとして、その全てのペアの類似度、または、距離を予め計算しておく。そして、例えば距離がある閾値以下の類似するクラスの投票面へ距離に応じた大きさで投票をする。ここで距離に応じた投票とは、例えばクラス間の距離をDとすると、Exp(−D)で示すような係数をかけた投票をする。(同一クラス間の距離は0だとすると、この係数は1となることに注意。)なお、通常は姿勢クラス間の距離はロドリゲスローテーションの回転角で求めるが、特にこれに限定しなくてもよい。 To explain this more generally, assuming that there are N classes, the similarity or distance of all the pairs is calculated in advance. Then, for example, a vote is cast with a size corresponding to the distance to a voting surface of a similar class whose distance is equal to or smaller than a certain threshold. Here, the voting according to the distance is a voting by multiplying a coefficient as shown by Exp (−D), where D is the distance between classes. (Note that if the distance between the same classes is 0, this coefficient will be 1.) Normally, the distance between posture classes is determined by the rotation angle of the Rodrigues rotation, but it is not particularly limited to this.
図16のステップS1701からS1707までのループが終了した時点で、図18(a)に示したそれぞれの投票面への投票が終了し、それぞれの投票面の強度分布が求まる。結局、それぞれのクラスつまり姿勢方向における対象物体が存在する分布が求まることになる。この情報から部品の姿勢方向と位置を確定するのであるが、その1つの例を以下に述べる。 When the loop from step S1701 to S1707 in FIG. 16 is completed, the voting on each voting surface shown in FIG. 18A is completed, and the intensity distribution of each voting surface is obtained. Eventually, the distribution in which the target object exists in each class, that is, the posture direction, is obtained. From this information, the posture direction and position of the component are determined. One example will be described below.
S1708からS1710までのループでそれぞれのクラスの投票面においてピークとなる位置を算出する(S1709)。結果、N個の姿勢クラスそれぞれが存在する可能性の最も高い場所とそのスコアが求められることになる。具体的には図18の場合、クラス1の投票面では1904の点がピークとして選ばれ、クラス2の投票面では1907の点がピークとして選ばれる。
In the loop from S1708 to S1710, the position where the peak is reached on the voting surface of each class is calculated (S1709). As a result, the most likely place where each of the N posture classes exists and its score are obtained. Specifically, in the case of FIG. 18, the
そして、N個の姿勢クラスの結果をソートすることによって投票結果の集計を行う(S1711)。この集計結果によって入力画像中で存在可能性が高い姿勢方向の物体とその位置が識別できる。具体的には図18の場合、点1904の値が点1907の値より大きかったとすると、識別結果の第1候補が姿勢クラス1で位置が1904、第2候補が姿勢クラス2で位置が1907となる。
Then, the voting results are totaled by sorting the results of N posture classes (S1711). Based on the result of the aggregation, it is possible to identify an object in a posture direction that is highly likely to exist in the input image and its position. Specifically, in the case of FIG. 18, if the value of the
なお、図16で説明した方法は集計方法の1つの例であって、対象物体の姿勢方向、および位置が識別できればどのような処理を行ってもよい。例えば、それぞれのクラスの投票面の局所的なピークを複数算出し、それを集計しても良い。例えば、図18の場合、点1904、点1907の他に、点1908、点1909の点を候補点に含めて集計してもよい。その結果、例えば、得点の高い順に1904、1908、1907、1909となったとする。すると、姿勢クラス1の物体が1904と1908の2つの位置に検出されることになる。
Note that the method described with reference to FIG. 16 is an example of a counting method, and any process may be performed as long as the orientation direction and position of the target object can be identified. For example, a plurality of local peaks on the voting surface of each class may be calculated and totaled. For example, in the case of FIG. 18, in addition to the
以上、実施形態を詳述したが、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施態様をとることが可能である。具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。 Although the embodiment has been described in detail above, the present invention can take an embodiment as a system, apparatus, method, program, storage medium, or the like. Specifically, the present invention may be applied to a system composed of a plurality of devices, or may be applied to an apparatus composed of a single device.
尚、本発明は、ソフトウェアのプログラムをシステム或いは装置に直接或いは遠隔から供給し、そのシステム或いは装置のコンピュータが該供給されたプログラムコードを読み出して実行することによって前述した実施形態の機能が達成される場合を含む。この場合、供給されるプログラムは実施形態で図示したフローチャートに対応したコンピュータ読み取り可能なプログラムである。 In the present invention, the functions of the above-described embodiments are achieved by supplying a software program directly or remotely to a system or apparatus, and the computer of the system or apparatus reads and executes the supplied program code. Including the case. In this case, the supplied program is a computer-readable program corresponding to the flowchart illustrated in the embodiment.
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているOSなどとの協働で実施形態の機能が実現されてもよい。この場合、OSなどが、実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される。 In addition to the functions of the above-described embodiment being realized by the computer executing the read program, the embodiment of the embodiment is implemented in cooperation with an OS or the like running on the computer based on an instruction of the program. A function may be realized. In this case, the OS or the like performs part or all of the actual processing, and the functions of the above-described embodiments are realized by the processing.
101 部分画像サイズ決定部
102 部分画像サイズ
103 登録画像
104 登録部分画像集合抽出部
105 登録部分画像集合
106 新規画像
107 新規部分画像集合抽出部
108 新規部分画像集合
109 部分画像属性判定部
110 部分画像判定結果
111 部分画像判定結果集計部
112 認識結果
113 辞書作成部
114 辞書
DESCRIPTION OF
Claims (19)
前記入力画像を構成する複数の部分画像を取得する第2の取得手段と、
前記部分画像に含まれる複数の画素から、画素値を抽出する抽出手段と、
前記対象物体を認識するための学習画像を構成する部分学習画像のカテゴリと該部分学習画像の位置情報とを登録した辞書を保持する保持手段と、
前記抽出手段で抽出された複数の画素値同士を比較することによって、前記複数の部分画像を分類し、該分類された結果に対応する前記部分学習画像のカテゴリ及び前記部分学習画像の位置情報とを、前記辞書から取得する第3の取得手段と、
前記分類手段によって分類された結果を集計することにより、前記入力画像に含まれる対象物体のカテゴリと位置とを認識する認識手段とを備えることを特徴とする情報処理装置。 First acquisition means for acquiring an input image including a target object belonging to any of a plurality of categories;
Second acquisition means for acquiring a plurality of partial images constituting the input image;
Extraction means for extracting a pixel value from a plurality of pixels included in the partial image;
Holding means for holding a dictionary in which a category of a partial learning image constituting a learning image for recognizing the target object and position information of the partial learning image are registered;
By comparing the plurality of pixel values extracted by the extracting means, the plurality of partial images are classified, and the category of the partial learning image and the position information of the partial learning image corresponding to the classified result A third acquisition means for acquiring from the dictionary;
An information processing apparatus comprising: a recognizing unit that recognizes a category and a position of a target object included in the input image by counting the results classified by the classifying unit.
前記入力画像を構成する複数の部分画像を取得する第2の取得手段と、
前記部分画像から、少なくとも一つの特徴量を抽出する抽出手段と、
前記対象物体を含む画像を分類するための複数の識別器を取得する識別器取得手段と、
前記対象物体を認識するための学習画像を構成する部分学習画像の特徴量に基づき、該部分学習画像を前記複数の識別器それぞれで分類された部分学習画像のカテゴリと該部分学習画像の位置情報とを登録した辞書を保持する保持手段と、
前記抽出手段で抽出された特徴量に基づいて前記複数の識別器それぞれで前記部分画像を分類し、該識別器ごとに分類された結果に対応する前記部分学習画像のカテゴリと前記部分学習画像の位置情報とを、前記辞書からそれぞれ取得する第3の取得手段と、
前記第3の取得手段で取得された複数の前記部分学習画像のカテゴリと前記部分学習画像の位置情報とをそれぞれ登録する登録手段と、
前記登録手段によって登録された結果を集計することにより、前記入力画像に含まれる対象物体のカテゴリと位置とを認識する認識手段とを備えることを特徴とする情報処理装置。 First acquisition means for acquiring an input image including a target object belonging to any of a plurality of categories;
Second acquisition means for acquiring a plurality of partial images constituting the input image;
Extraction means for extracting at least one feature amount from the partial image;
A classifier acquisition means for acquiring a plurality of classifiers for classifying an image including the target object;
Based on the feature amount of the partial learning image constituting the learning image for recognizing the target object, the partial learning image category classified by each of the plurality of classifiers and the position information of the partial learning image Holding means for holding a dictionary in which
The partial image is classified by each of the plurality of classifiers based on the feature amount extracted by the extracting unit, and the category of the partial learning image corresponding to the result classified for each classifier and the partial learning image Third acquisition means for respectively acquiring position information from the dictionary;
Registration means for registering a plurality of partial learning image categories acquired by the third acquisition means and position information of the partial learning images, respectively;
An information processing apparatus comprising: recognition means for recognizing a category and a position of a target object included in the input image by aggregating results registered by the registration means.
前記投票手段による投票結果を集計することにより前記入力画像に含まれる対象物体のカテゴリと位置とを認識することを特徴とする請求項1乃至5のいずれか1項に記載の情報処理装置。 The recognizing means includes voting means for voting to the position indicated by the position information of each classified category for each partial image,
6. The information processing apparatus according to claim 1, wherein a category and a position of a target object included in the input image are recognized by aggregating voting results obtained by the voting means.
前記学習画像を構成する複数の部分学習画像を取得する第2の取得手段と、
前記部分学習画像に含まれる複数の画素から、画素値を抽出する抽出手段と、
前記抽出手段で抽出された複数の画素値同士を比較することによって、前記部分学習画像を分類する分類手段と、
前記分類された部分学習画像のカテゴリと該部分学習画像の位置情報とを記憶する記憶手段とを備えることを特徴とする情報処理装置。 First acquisition means for acquiring a learning image including a target object belonging to any of a plurality of categories;
Second acquisition means for acquiring a plurality of partial learning images constituting the learning image;
Extraction means for extracting a pixel value from a plurality of pixels included in the partial learning image;
Classification means for classifying the partial learning image by comparing a plurality of pixel values extracted by the extraction means;
An information processing apparatus comprising storage means for storing a category of the classified partial learning image and position information of the partial learning image.
複数のカテゴリのいずれかに属する前記対象物体を含む入力画像を取得する第1の取得工程と、
前記入力画像を構成する複数の部分画像を取得する第2の取得工程と、
前記部分画像に含まれる複数の画素から、画素値を抽出する抽出工程と、
前記抽出工程で抽出された複数の画素値同士を比較することによって、前記複数の部分画像を分類し、該分類された結果に対応する前記部分学習画像のカテゴリ及び前記部分学習画像の位置情報とを、前記辞書から取得する第3の取得工程と、
前記分類工程で分類された結果を集計することにより、前記入力画像に含まれる対象物体のカテゴリと位置とを認識する認識手段とを備えることを特徴とする情報処理方法。 Information for recognizing the position and category of the target object from the input image based on a dictionary in which the category of the partial learning image constituting the learning image for recognizing the target object and the position information of the partial learning image are registered A processing method,
A first acquisition step of acquiring an input image including the target object belonging to any of a plurality of categories;
A second acquisition step of acquiring a plurality of partial images constituting the input image;
An extraction step of extracting a pixel value from a plurality of pixels included in the partial image;
By comparing the plurality of pixel values extracted in the extraction step, the plurality of partial images are classified, and the category of the partial learning image and the position information of the partial learning image corresponding to the classified result A third acquisition step of acquiring from the dictionary;
An information processing method comprising: recognition means for recognizing a category and a position of a target object included in the input image by aggregating the results classified in the classification step.
複数のカテゴリのいずれかに属する前記対象物体を含む入力画像を取得する第1の取得工程と、
前記入力画像を構成する複数の部分画像を取得する第2の取得工程と、
前記部分画像から、少なくとも一つの特徴量を抽出する抽出工程と、
前記抽出工程で抽出された特徴量に基づいて前記複数の識別器それぞれで前記部分画像を分類し、該識別器ごとに分類された結果に対応する前記部分学習画像のカテゴリと前記部分学習画像の位置情報とを、前記辞書からそれぞれ取得する第3の取得工程と、
前記第3の取得工程で取得された複数の前記部分学習画像のカテゴリ及び前記部分学習画像の位置情報とを、それぞれ登録する登録工程と、
前記登録工程で登録された結果を集計することにより、前記入力画像に含まれる対象物体のカテゴリと位置とを認識する認識工程とを備えることを特徴とする情報処理方法。 Based on the feature amount of the partial learning image constituting the learning image for recognizing the target object, the partial learning image category and the position information of the partial learning image obtained by classifying the partial learning image by each of the plurality of classifiers. An information processing method for recognizing the position and category of the target object from an input image based on a dictionary to be held,
A first acquisition step of acquiring an input image including the target object belonging to any of a plurality of categories;
A second acquisition step of acquiring a plurality of partial images constituting the input image;
An extraction step of extracting at least one feature amount from the partial image;
The partial images are classified by each of the plurality of classifiers based on the feature amount extracted in the extraction step, and the category of the partial learning image and the partial learning image corresponding to the result classified for each classifier A third acquisition step of acquiring position information from the dictionary;
A registration step of registering a plurality of partial learning image categories acquired in the third acquisition step and position information of the partial learning images, respectively;
An information processing method comprising: a recognition step of recognizing a category and a position of a target object included in the input image by aggregating results registered in the registration step.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014089310A JP5791751B2 (en) | 2009-06-18 | 2014-04-23 | Image recognition method and image recognition apparatus |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009145457 | 2009-06-18 | ||
JP2009145457 | 2009-06-18 | ||
JP2014089310A JP5791751B2 (en) | 2009-06-18 | 2014-04-23 | Image recognition method and image recognition apparatus |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010064316A Division JP5538967B2 (en) | 2009-06-18 | 2010-03-19 | Information processing apparatus, information processing method, and program |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015155825A Division JP6049822B2 (en) | 2009-06-18 | 2015-08-06 | Image recognition method and image recognition apparatus |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014135092A true JP2014135092A (en) | 2014-07-24 |
JP5791751B2 JP5791751B2 (en) | 2015-10-07 |
Family
ID=51413253
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014089310A Active JP5791751B2 (en) | 2009-06-18 | 2014-04-23 | Image recognition method and image recognition apparatus |
JP2015155825A Active JP6049822B2 (en) | 2009-06-18 | 2015-08-06 | Image recognition method and image recognition apparatus |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015155825A Active JP6049822B2 (en) | 2009-06-18 | 2015-08-06 | Image recognition method and image recognition apparatus |
Country Status (1)
Country | Link |
---|---|
JP (2) | JP5791751B2 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3287954A1 (en) | 2016-08-22 | 2018-02-28 | Cresco Ltd. | Verification device, verification method, and verification program |
CN110291539A (en) * | 2017-02-24 | 2019-09-27 | 欧姆龙株式会社 | For generating processing method, system, program and the storage medium of learning data and generating the method and system of learning data |
WO2023127085A1 (en) * | 2021-12-28 | 2023-07-06 | 日本電気株式会社 | Object recognition device, object recognition method, and recording medium |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7309392B2 (en) * | 2019-03-15 | 2023-07-18 | キヤノン株式会社 | Image processing device, image processing method and program |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS62210596A (en) * | 1986-03-12 | 1987-09-16 | Hitachi Ltd | Split pattern matching method |
JPH0921610A (en) * | 1995-07-04 | 1997-01-21 | N T T Data Tsushin Kk | Image-processing apparatus and image-processing method |
JP2006146626A (en) * | 2004-11-22 | 2006-06-08 | Hitachi Ltd | Pattern recognition method and device |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002032766A (en) * | 2000-07-18 | 2002-01-31 | Matsushita Electric Ind Co Ltd | Device and method for recognizing image |
JP2002063567A (en) * | 2000-08-23 | 2002-02-28 | Nec Corp | Device and method for estimating body position and attitude, method for feature point extraction method using the same, and image collating method |
JP4161659B2 (en) * | 2002-02-27 | 2008-10-08 | 日本電気株式会社 | Image recognition system, recognition method thereof, and program |
US7809159B2 (en) * | 2003-10-30 | 2010-10-05 | Nec Corporation | Estimation system, estimation method, and estimation program for estimating object state |
JP4556891B2 (en) * | 2006-03-17 | 2010-10-06 | ソニー株式会社 | Information processing apparatus and method, recording medium, and program |
JP4636064B2 (en) * | 2007-09-18 | 2011-02-23 | ソニー株式会社 | Image processing apparatus, image processing method, and program |
-
2014
- 2014-04-23 JP JP2014089310A patent/JP5791751B2/en active Active
-
2015
- 2015-08-06 JP JP2015155825A patent/JP6049822B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS62210596A (en) * | 1986-03-12 | 1987-09-16 | Hitachi Ltd | Split pattern matching method |
JPH0921610A (en) * | 1995-07-04 | 1997-01-21 | N T T Data Tsushin Kk | Image-processing apparatus and image-processing method |
JP2006146626A (en) * | 2004-11-22 | 2006-06-08 | Hitachi Ltd | Pattern recognition method and device |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3287954A1 (en) | 2016-08-22 | 2018-02-28 | Cresco Ltd. | Verification device, verification method, and verification program |
US10354172B2 (en) | 2016-08-22 | 2019-07-16 | Cresco Ltd. | Verification device, verification method, and verification program |
CN110291539A (en) * | 2017-02-24 | 2019-09-27 | 欧姆龙株式会社 | For generating processing method, system, program and the storage medium of learning data and generating the method and system of learning data |
WO2023127085A1 (en) * | 2021-12-28 | 2023-07-06 | 日本電気株式会社 | Object recognition device, object recognition method, and recording medium |
Also Published As
Publication number | Publication date |
---|---|
JP6049822B2 (en) | 2016-12-21 |
JP2016001489A (en) | 2016-01-07 |
JP5791751B2 (en) | 2015-10-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5538967B2 (en) | Information processing apparatus, information processing method, and program | |
US10346720B2 (en) | Rotation variant object detection in Deep Learning | |
Konstantinidis et al. | Building detection using enhanced HOG–LBP features and region refinement processes | |
JP6032921B2 (en) | Object detection apparatus and method, and program | |
Sirmacek et al. | A probabilistic framework to detect buildings in aerial and satellite images | |
CN105608441B (en) | Vehicle type recognition method and system | |
Rejeb Sfar et al. | Vantage feature frames for fine-grained categorization | |
JP6049822B2 (en) | Image recognition method and image recognition apparatus | |
Wang et al. | Head pose estimation with combined 2D SIFT and 3D HOG features | |
JP6128910B2 (en) | Learning device, learning method and program | |
US20230215125A1 (en) | Data identification method and apparatus | |
US9147130B2 (en) | Information processing method, information processing apparatus, and recording medium for identifying a class of an object by using a plurality of discriminators | |
CN112633297A (en) | Target object identification method and device, storage medium and electronic device | |
Villamizar et al. | Boosted random ferns for object detection | |
Menezes et al. | Automatic attendance management system based on deep one-shot learning | |
US20200394460A1 (en) | Image analysis device, image analysis method, and image analysis program | |
Elhadi et al. | Arabic-numbers recognition system for car plates | |
Shi et al. | Smoke detection based on dark channel and convolutional neural networks | |
Mccullagh | Face detection by using haar cascade classifier | |
Bieda et al. | Recognition and location of objects in the visual field of a UAV vision system | |
US11580766B2 (en) | Method for detecting at least one biometric trait visible in an input image by means of a convolutional neural network | |
CN114927236A (en) | Detection method and system for multiple target images | |
KR20230036675A (en) | Clothes defect detection algorithm using CNN image processing | |
Casiraghi et al. | A face detection system based on color and support vector machines | |
Zhang et al. | Experiments in building recognition |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140423 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20141226 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150113 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150316 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150707 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150804 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5791751 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |