JP2004145818A - 物体識別装置、物体識別方法、この方法のプログラム、およびこのプログラムを記録した記録媒体 - Google Patents
物体識別装置、物体識別方法、この方法のプログラム、およびこのプログラムを記録した記録媒体 Download PDFInfo
- Publication number
- JP2004145818A JP2004145818A JP2002312686A JP2002312686A JP2004145818A JP 2004145818 A JP2004145818 A JP 2004145818A JP 2002312686 A JP2002312686 A JP 2002312686A JP 2002312686 A JP2002312686 A JP 2002312686A JP 2004145818 A JP2004145818 A JP 2004145818A
- Authority
- JP
- Japan
- Prior art keywords
- differential
- eigenspace
- image
- intensity
- calculating
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
【課題】照明条件などの撮影条件による影響を小さくしながら、データ量を少なくし、似た物体の識別精度を高くする。
【解決手段】学習装置１は複数の視点から物体を撮影した複数視点画像の登録に、各画素値を光エネルギー量に変換し光エネルギー量に対して対数変換し、画像の横方向と縦方向の微分成分を計算して微分の方向と強さを計算し、すべての画素の微分方向と強さを１つのベクトルとみなし、１画像を１サンプルとして主成分分析し、寄与率の合計が一定以上になる固有空間を構成し、それを登録情報蓄積検索装置３に蓄積する。登録された物体を識別する識別装置２は照合したい入力画像から対象領域を切り出して変形画像を生成し、この画像の各画素値に対して対数変換と、微分強度方向計算および固有空間距離を計算し、装置３に蓄積する固有空間との間で最小の固有空間距離を示す物体を識別結果とする。
【選択図】 図１
【解決手段】学習装置１は複数の視点から物体を撮影した複数視点画像の登録に、各画素値を光エネルギー量に変換し光エネルギー量に対して対数変換し、画像の横方向と縦方向の微分成分を計算して微分の方向と強さを計算し、すべての画素の微分方向と強さを１つのベクトルとみなし、１画像を１サンプルとして主成分分析し、寄与率の合計が一定以上になる固有空間を構成し、それを登録情報蓄積検索装置３に蓄積する。登録された物体を識別する識別装置２は照合したい入力画像から対象領域を切り出して変形画像を生成し、この画像の各画素値に対して対数変換と、微分強度方向計算および固有空間距離を計算し、装置３に蓄積する固有空間との間で最小の固有空間距離を示す物体を識別結果とする。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は、画像内に、どのような対象が写っているかを識別する画像識別技術に属し、その具体的な産業応用システムとして、例えば画像検索システムなどが挙げられる。
【０００２】
【従来の技術】
画像認識技術は、画像データ内のある領域がどのカテゴリーに属するかを特定する技術である。パターンマッチング方式では、入力画像の中にあらかじめ作成した標準パターンと同じ物があるか、あるいは近いものがあるかを検出する。標準パターンは、そのパターンを良く示す特徴を用いて表現される。代表的な手法であるテンプレートマッチング方法では、濃淡画像を特徴としたテンプレートや、濃淡画像を微分した微分濃淡画像を特徴とするテンプレートを標準パターンとして利用するのが一般的である。
【０００３】
しかしながら、従来の手法では、以下の２つの問題があった。
【０００４】
（１）対象物のパラメータ、撮影条件のパラメータが多い場合にデータ量が指数関数的に大きくなるため、対応ができなくなる。
【０００５】
例えば、屋外などで、照明条件が大きく変化し、かつ、対象の見え方が撮影位置によって大きく変化する３次元物体の場合、パターンマッチング方式では、必要になるテンプレート数（パラメータの組み合わせ数）が膨大になり、現実的ではなかった。
【０００６】
（２）似た物体を識別したい際に、相関値や同時生起確率だけでは、間違える可能性が高く、実用化できない。
【０００７】
例えば、「大」と「太」などの見え方が似ている文字の場合、パターンマッチング方式では、「大」を識別しても、「大」と「太」の各テンプレートによる相関値はどちらも高くなり、間違える可能性が高かった。
【０００８】
上記間題点を解く従来方法として、テンプレートを圧縮する方法がある（例えば、非特許文献１参照）。
【０００９】
【非特許文献１】
「２次元照合による３次元物体認識−パラメトリック固有空間法−」（村瀬 洋、Ｓ．Ｋ．Ｎａｙｅｒ著、信学論、Ｊ７７−Ｄ−ＩＩ，Ｎｏ．１１，２１７９−２１８７、１９９４年、１１月）
【００１０】
【発明が解決しようとする課題】
従来のテンプレートを圧縮する方法においても、照明条件がシミュレーション可能である環境下でないと利用できないなどの制約があった。
【００１１】
本発明の目的は、照明条件などの撮影条件による影響を小さくしながら、データ量を少なくし、似た物体の識別精度を高くした物体識別装置、物体識別方法、物体識別のためのプログラムおよびこのプログラムを記録した記録媒体を提供することにある。
【００１２】
【課題を解決するための手段】
本発明では、上記課題を解決するために、
識別したい物体の学習段階において、
（１）物体からの距離が一定となる球面上の複数の視点からの画像を入力し、各画素値を光エネルギー量に変換し、光エネルギー量に対して対数変換を行い、画像のｘ（横）方向の微分とｙ（縦）方向の微分を計算し、微分の方向と強さを計算する。
【００１３】
（２）すべての画素の微分方向と強さを要素とした１つのベクトルとし、（１）で撮影した画像をサンプルとして主成分分析し、寄与率の合計が一定以上になる固有空間を構成することにより、対象のテンプレートを圧縮する。
【００１４】
（３）作成された固有空間に対し、他の物体の固有空間との判別平面を求める。
【００１５】
また、画像の照合段階において、
（４）照合したい入力画像の一部を選択し、対象領域を切り出し、回転、拡大縮小の変形を加えた画像を生成し、生成された画像の各画素値に対して対数変換を行い、画像のｘ（横）方向の微分とｙ（縦）方向の微分を計算し、微分の方向と強さを計算する。
【００１６】
（５）すべての画素の微分方向と強さを１つのベクトルとみなし、各物体の固有空間との距離を求める。
【００１７】
（６）ある閾値以下の距離を示した物体同士の双対空間にベクトルを投影し、双対空間上で判別を行う。
【００１８】
以上の処理要素からなる本発明により、以下の３つの作用効果を得る。
【００１９】
・処理要素（１）、（４）により、画素値の対数（Ｌｏｇ）をとっており、照明光の変化に対して大きさの変動による影響は小さくなる。また、微分の方向は照明光による変化の影響を受けない。すなわち、照明光の変化による画素値の変化を吸収できる特徴を用いるため、照明による変化を考慮しなくてもよいため、用意するべきデータを大幅に削減できる。
【００２０】
・処理要素（２）、（５）により、各画像を圧縮するため、用意するべきデータを圧縮できる。また、圧縮によって、固有空間からの距離値の精度を高めることができる。
【００２１】
・処理要素（３）、（６）により、識別したい物体の中に、似た物体が存在していても、判別平面で判別するため、精度高く対象物を識別することができる。
【００２２】
以上のことから、本発明は、以下の装置、方法、プログラム、記録媒体を特徴とする。
【００２３】
（物体識別装置の発明）
（１）複数の視点から物体を撮影した複数視点画像を用いて物体を登録し、登録された複数の物体を識別する物体識別装置であって、
物体を登録する段階において、各画像の各画素値を光エネルギー量に変換し光エネルギー量に対して対数変換をする対数変換手段と、画像の横方向の微分と縦方向の微分成分を計算して微分の方向と強さを計算する微分強度方向計算手段と、すべての画素の微分方向と強さを１つのベクトルとみなし、１画像を１サンプルとして主成分分析する主成分分析手段と、寄与率の合計が一定以上になる固有空間を構成する固有空間構成手段と、該固有空間を蓄積する蓄積手段と、
を有することを特徴とする物体識別装置。
【００２４】
（２）複数の視点から物体を撮影した複数視点画像を用いて物体を登録し、登録された複数の物体を識別する物体識別装置であって、
物体を識別する段階において、照合したい入力画像の一部を選択して対象領域を切り出し、変形を加えた画像を生成する変形画像生成手段と、生成された画像の各画素値を光エネルギー量に変換し光エネルギー量に対して対数変換を行う対数変換手段と、画像の横方向の微分と縦方向の微分を計算して微分の方向と強さを計算する微分強度方向計算手段と、すべての画素の微分方向と強さを１つのベクトルとみなし、各物体の固有空間との距離を求める固有空間距離計算手段と、最小の固有空間距離を示す物体を識別結果として出力する出力手段と、
を有することを特徴とする物体識別装置。
【００２５】
（３）複数の視点から物体を撮影した複数視点画像を用いて物体を登録し、登録された複数の物体を識別する物体識別装置であって、
物体を登録する段階において、各画像の各画素値を光エネルギー量に変換し光エネルギー量に対して対数変換をする対数変換手段と、画像の横方向の微分と縦方向の微分成分を計算して微分の方向と強さを計算する微分強度方向計算手段と、すべての画素の微分方向と強さを１つのベクトルとみなし、１画像を１サンプルとして主成分分析する主成分分析手段と、寄与率の合計が一定以上になる固有空間を構成するする固有空間構成手段と、作成された固有空間に対し他の物体の固有空間との差を強調して判別する平面を求める判別平面構成手段と、該固有空間および双対空間および判別平面を蓄積する蓄積手段と、
を有することを特徴とする物体識別装置。
【００２６】
（４）複数の視点から物体を撮影した複数視点画像を用いて物体を登録し、登録された複数の物体を識別する物体識別装置であって、
物体を識別する段階において、照合したい入力画像の一部を選択して対象領域を切り出し、変形を加えた画像を生成する変形画像生成手段と、生成された画像の各画素値を光エネルギー量に変換し光エネルギー量に対して対数変換を行う対数変換手段と、画像の横方向の微分と縦方向の微分を計算して微分の方向と強さを計算する微分強度方向計算手段と、すべての画素の微分方向と強さを１つのベクトルとみなし、各物体の固有空間との距離を求める固有空間距離計算手段と、ある閾値以下の距離を示した固有空間の物体同士の判別平面を用いて判別して出力する判別手段と、
を有することを特徴とする物体識別装置。
【００２７】
（５）前記微分強度方向計算手段において、微分の方向と強さの計算をしない微分方向計算手段を有することを特徴とする（１）または（２）に記載の物体識別装置。
【００２８】
（６）前記主成分分析手段において、すべての画素の微分方向と強さを１つのベクトルとみなす代わりに、すべての画素の横方向の微分値と縦方向の微分値を１つのベクトルとみなす主成分分析手段を有することを特徴とする（１）に記載の物体識別装置。
【００２９】
（７）前記固有空間距離計算手段において、すべての画素の微分方向と強さを１つのベクトルとみなす代わりに、すべての画素の横方向の微分値と縦方向の微分値を１つのベクトルとみなす固有空間距離計算手段を有することを特徴とする（２）に記載の物体識別装置。
【００３０】
（物体識別方法の発明）
（８）複数の視点から物体を撮影した複数視点画像を用いて物体を登録し、登録された複数の物体を識別する物体識別方法であって、
物体を登録する段階において、各画像の各画素値を光エネルギー量に変換し光エネルギー量に対して対数変換をする対数変換段階と、画像の横方向の微分と縦方向の微分成分を計算して微分の方向と強さを計算する微分強度方向計算段階と、すべての画素の微分方向と強さを１つのベクトルとみなし、１画像を１サンプルとして主成分分析する主成分分析段階と、寄与率の合計が一定以上になる固有空間を構成する固有空間構成段階と、該固有空間を蓄積する手段と、
を有することを特徴とする物体識別方法。
【００３１】
（９）複数の視点から物体を撮影した複数視点画像を用いて物体を登録し、登録された複数の物体を識別する物体識別方法であって、
物体を識別する段階において、照合したい入力画像の一部を選択して対象領域を切り出し、変形を加えた画像を生成する変形画像生成段階と、生成された画像の各画素値を光エネルギー量に変換し光エネルギー量に対して対数変換を行う対数変換段階と、画像の横方向の微分と縦方向の微分を計算して微分の方向と強さを計算する微分強度方向計算段階と、すべての画素の微分方向と強さを１つのベクトルとみなし、各物体の固有空間との距離を求める固有空間距離計算段階と、最小の固有空間距離を示す物体を識別結果として出力する出力段階と、
を有することを特徴とする物体識別方法。
【００３２】
（１０）複数の視点から物体を撮影した複数視点画像を用いて物体を登録し、登録された複数の物体を識別する物体識別方法であって、
物体を登録する段階において、各画像の各画索値を光エネルギー量に変換し光エネルギー量に対して対数変換をする対数変換段階と、画像の横方向の微分と縦方向の微分成分を計算して微分の方向と強さを計算する微分強度方向計算段階と、すべての画素の微分方向と強さを１つのベクトルとみなし、１画像を１サンプルとして主成分分析する主成分分析段階と、寄与率の合計が一定以上になる固有空間を構成するする固有空間構成段階と、作成された固有空間に対し他の物体の固有空間との差を強調して判別する平面を求める判別平面構成段階と、該固有空間および双対空間および判別平面を蓄積する蓄積段階と、
を有することを特徴とする物体識別方法。
【００３３】
（１１）複数の視点から物体を撮影した複数視点画像を用いて物体を登録し、登録された複数の物体を識別する物体識別方法であって、
物体を識別する段階において、照合したい入力画像の一部を選択して対象領域を切り出し、変形を加えた画像を生成する変形画像生成段階と、生成された画像の各画素値を光エネルギー量に変換し光エネルギー量に対して対数変換を行う対数変換段階と、画像の横方向の微分と縦方向の微分を計算して微分の方向と強さを計算する微分強度方向計算段階と、すべての画素の微分方向と強さを１つのベクトルとみなし、各物体の固有空間との距離を求める固有空間距離計算段階と、ある閾値以下の距離を示した固有空間の物体同士の判別平面を用いて判別して出力する判別段階と、
を有することを特徴とする物体識別方法。
【００３４】
（１２）前記微分強度方向計算段階において、微分の方向と強さの計算をしない微分方向計算段階を有することを特徴とする（８）または（９）に記載の物体識別方法。
【００３５】
（１３）前記主成分分析段階において、すべての画素の微分方向と強さを１つのベクトルとみなす代わりに、すべての画素の横方向の微分値と縦方向の微分値を１つのベクトルとみなす主成分分析段階を有することを特徴とする（８）に記載の物体識別方法。
【００３６】
（１４）前記固有空間距離計算段階において、すべての画素の微分方向と強さを１つのベクトルとみなす代わりに、すべての画素の横方向の微分値と縦方向の微分値を１つのベクトルとみなす固有空間距離計算段階を有することを特徴とする（９）に記載の物体識別方法。
【００３７】
（プログラムの発明）
（１５）上記の（８）〜（１４）のいずれか１項の物体識別方法を、コンピュータで実行可能に構成したことを特徴とする物体識別方法のプログラム。
【００３８】
（記録媒体の発明）
（１６）上記の（８）〜（１４）のいずれか１項の物体識別方法を、コンピュータで実行可能に構成したプログラムを記録したことを特徴とする記録媒体。
【００３９】
【発明の実施の形態】
（実施形態１）
以下、本発明の実施の形態例１について図を用いて詳細に説明する。
【００４０】
図１は、本発明をおみやげ人形識別システムに適用した例であり、本システムにより、ユーザは、撮影したおみやげ人形の画像を基に、そのおみやげ人形の詳細情報をみることができる。ただし、あらかじめ、おみやげ人形製造者がセンタにおみやげ人形の情報を登録していることが前提となる。システムは、学習装置１と識別装置２および登録情報蓄積検索装置３から構成される。
【００４１】
学習装置１と識別装置２は、複数の視点から物体を撮影した複数視点画像を用いて物体を登録し、登録された複数の物体を識別する。登録情報蓄積検索装置３は、物体名と登録情報を蓄積しておき、物体名から登録情報を検索する装置であり、一般のデータベースにより構築できるため、本実施形態では詳細を記載しない。
【００４２】
学習装置１は、複数の視点から物体を撮影した複数視点画像から識別に必要な情報を求め、蓄積する。識別装置２は、ユーザが入力する画像と蓄積装置に蓄積された識別に必要な情報を利用し、画像に撮影された物体を識別する。
【００４３】
以下の例では、「ダルマ」、「大仏」、「こけし」の３種類のおみやげ品を登録／識別する場合を例に説明する。
【００４４】
本実施形態では、「ダルマ」の複数視点画像数をＳ（ダルマ）、「大仏」の複数視点画像数をＳ（大仏）、「こけし」の複数視点画像数をＳ（こけし）で表す。また、以後の表現では、画像の名前をＩとすると、各画素値をＩ（ｘ，ｙ）で表現する。複数視点画像は、例えば、図２のように、対象物の中心を原点とした極座標（ｒ、α、β）で考えると、各視点をｒ＝Ｒ、α＝５ｎ度、β＝５ｍ度として５１８４枚撮影する。ただし、Ｒは定数、ｎは０以上７１以下の整数、ｍは０以上７１以下の整数とする。
【００４５】
図３は、本発明の請求項１等に対応させた図であって、学習装置１および識別装置２の詳細を説明している。学習装置１は、複数の視点から物体を撮影した複数視点画像の各画素値を光エネルギー量に変換し光エネルギー量に対して対数変換する対数変換手段１Ａと、画像の横方向の微分と縦方向の微分成分を計算して微分の方向と強さを計算する微分強度方向計算手段１Ｂと、すべての画素の微分方向を強さを１つのベクトルとみなし、１画像を１サンプルとして主成分分析する主成分分析手段１Ｃと、寄与率の合計が所定値以上になる固有空間を構成する固有空間構成手段１Ｄと、該固有空間を蓄積する蓄積手段１Ｅから構成されている。
【００４６】
識別装置２は、照合したい入力画像（識別対象画像）の一部を選択して対象領域を切り出して回転、拡大・縮小の変形を加えた画像を生成する変形画像生成手段２Ａと、生成された画像の各画素値を光エネルギー量に変換し光エネルギー量に対して対数変換を行う対数変換手段２Ｂと、画像の横方向の微分と縦方向の微分を計算して微分の方向と強さを計算する微分強度方向計算手段２Ｃと、すべての画素の微分方向と強さを１つのベクトルとみなして各物体の固有空間との距離を求める固有空間距離計算手段２Ｄと、最小の固有空間距離を示す物体を識別結果として出力する出力手段２Ｅにより構成される。
【００４７】
以下では図を用いながら、各手段の詳細を示す。
【００４８】
対数変換装置１Ａは、入力画像の各画素値を光エネルギー量に変換し、光エネルギー量に対して、例えば、Ｉ（ｘ、ｙ）＝ｌｏｇ１０Ｉ（ｘ、ｙ）のように、対数変換を行う。一般の画像の画素値は、ＣＣＤの特性関数をＦ、光エネルギー量値をｖとすると、画素値＝Ｆ（ｖ）と表されるため、ｖ＝Ｆ−１（画素値）と変換する。Ｆがわからない場合は、ｖ＝画素値とする。対数変換では、例えば、以下のように変換する。
【００４９】
【数１】
ｖ（ｘ，ｙ）＝ｌｏｇ１０（１＋ｖ（ｘ，ｙ））
微分強度方向計算手段の例を図４に示す。原画像Ｉの横をｘ軸、縦をｙ軸と考える。画像は横Ｘピクセル×縦Ｙピクセルであり、画像サイズはＸ×Ｙとなる。まず、原画像に対し、ソーベルオペレータを作用させ、ｘ方向の微分を計算したｘ方向微分画像Ｄｘと、ｙ方向の微分を計算したｙ方向微分画像Ｄｙを生成する。ソーベルオペレータでは、以下の式に従って画素値を求める。
【００５０】
【数２】
【００５１】
ただし、ソーベルオペレータを用いるのは一例であって、その他の方法であってもよい。
【００５２】
次に、微分強度画像Ｄｉと微分方向画像Ｄｄの各画素を以下の手段で求める。
【００５３】
【数３】
【００５４】
最後に、ＤｉとＤｄを左右で連結して微分強度方向画像Ｄｉｄを作成する。Ｄｉｄのサイズは、２Ｘ×Ｙとなる。なお、微分強度方向画像ベクトルは、図１６のように、ＤｉとＤｄを左右で連結する代わりに、ＤｘとＤｙを左右で連結してもよい。
【００５５】
主成分分析手段１Ｃは、複数の入力ベクトルに対して、主成分分析を行い、固有ベクトルと寄与率を計算する。これには以下の手段で計算する。
【００５６】
（１）入力ベクトル群の共分散行列を求める。
【００５７】
（２）共分散行列の固有値（寄与率）、固有ベクトルを求める。
【００５８】
図５は、すべての画素の微分方向と強さを１つのベクトルとみなす例である。微分強度方向画像のベクトルは、Ｄｉｄ（０，０）、Ｄｉｄ（０，１）〜Ｄｉｄ（ｍ，ｎ）〜Ｄｉｄ（２Ｘ−１，Ｙ−１）を各要素としたベクトルとなる。
【００５９】
固有空間構成手段１Ｄは、各固有ベクトルと該固有ベクトルの寄与率から、固有空間を構成する。図６は、寄与率の合計が一定以上となる固有空間の構成例である。たとえば、「ダルマ」の複数視点画像を主成分分析し、１０次元の固有ベクトルで寄与率の合計が８０％以上となった場合、寄与率の上位１０個の固有ベクトルで固有空間を構成する。また、「大仏」の複数視点画像を主成分分析し、１２次元の固有ベクトルで寄与率の合計が８０％以上となった場合、寄与率の上位１２個の固有ベクトルで固有空間を構成する。また、「こけし」の複数視点画像を主成分分析し、９次元の固有ベクトルで寄与率の合計が８０％以上となった場合、寄与率の上位９個の固有ベクトルで固有空間を構成する。
【００６０】
図６では、３次元で原空間を表現しているが、実際は、２Ｘ×Ｙ次元の空間である。また、２次元平面で固有空間を表現しているが、実際は、９，１０，１２次元の空間である。
【００６１】
蓄積手段１Ｅでは構成された固有空間を特定するパラメータ、ベクトルの要素を蓄積する。図７は、固有空間を蓄積するフォーマットであって、物体毎にエントリがある。各エントリには、物体名、固有ベクトルの数、各固有ベクトル（２Ｘ×Ｙ次元）が保存されている。
【００６２】
識別装置２の変形画像生成手段２Ａでは、ある画素を中心として、定められたサイズ（学習段階の画像と同サイズ、Ｘ×Ｙ）の領域を切り出し、変形パラメータの組み合わせ数分（Ｐ）の矩形画像を生成する。変形パラメータの例としては、画像の回転パラメータや、拡大・縮小パラメータ、アフィン変換パラメータ等がある。本実施形態では以下のアフィン変換パラメータを例として採用する。
【００６３】
【数４】
【００６４】
アフィンパラメータの組み合わせ数Ｐは、各パラメータが取り得る数をＰａ，Ｐｂ，Ｐｃ，Ｐｄとすると、Ｐ＝Ｐａ＊Ｐｂ＊Ｐｃ＊Ｐｄで求められる。
【００６５】
対数変換手段２Ｂおよび微分強度方向計算手段２Ｃは、変形画像に対して学習装置１の１Ａ，１Ｂと同等の変換、計算を行う。
【００６６】
固有空間距離計算手段２Ｄでは、変形後に生成された矩形画像の微分強度方向画像であるＥと、各物体の固有空間との距離を求める。距離の計算式は以下のとおり。
【００６７】
【数５】
距離＝（ｘ０−ｘ０’）２＋（ｘ１−ｘ１’）２＋…＋（ｘｓ−ｘｓ）２
ただし、固有空間の次元数をｓ、Ｅ＝（ｘ０，ｘ１，…，ｘｓ）、Ｅを固有空間に投影した点をＥ’＝（ｘ０’，ｘ１’，…，ｘｓ’）とする。
【００６８】
図８は、Ｅと「こけし」「ダルマ」「大仏」の距離を示している。
【００６９】
出力手段２Ｅでは、固有空間との距離が最小である物体を識別結果として出力する。例では「ダルマ」が最小であるため、「ダルマ」を結果として出力する。
【００７０】
図９は、本発明の請求項５等の学習段階を説明した図であって、学習装置の動作例を示したフローチャートである。学習装置１では以下の学習処理を行う。なお、以下の説明中で、Ｒは繰り返しループを、Ｓは処理ステップを示す。
【００７１】
１：登録物体数（本例では３）分繰り返し［Ｒ１］
２：物体の複数視点数分繰り返し［Ｒ２］
３：原画像の入力［Ｓ１］
４：原画像の画素数（Ｘ×Ｙ）分繰り返し［Ｒ３］
５：画素値を対数変換［Ｓ２］
６：繰り返し［Ｒ３］終了
７：原画像の画素数（Ｘ×Ｙ）分繰り返し［Ｒ４］
８：微分強度方向の計算［Ｓ３］
９：繰り返し［Ｒ４］終了
１０：繰り返し［Ｒ２］終了
１１：主成分分析［Ｓ４］
１２：固有空間の構成［Ｓ５］
１３：固有空間の蓄積［Ｓ６］
１４：繰り返し［Ｒ１］終了
図１０は、本発明の請求項６等の識別段階を説明した図であって、識別装置の動作例を示したフローチャートである。識別装置２では以下の識別処理を行う。
【００７２】
１：識別画像の入力［Ｓ１１］
２：画素数分（本例ではα×β）分繰り返し［Ｒ１１］
３：識別画像の領域切り出し［Ｓ１２］
４：変形パラメータの組み合わせ数（Ｐ）分繰り返し［Ｒ１２］
５：変形画像の生成［Ｓ１３］
６：変形画像の画素数（Ｘ×Ｙ）分繰り返し［Ｒ１３］
７：画素値を対数変換［Ｓ１４］
８：繰り返し［Ｒ１３］終了
９：原画像の画素数（Ｘ×Ｙ）分繰り返し［Ｒ１４］
１０：微分強度方向の計算［Ｓ１５］
１１：繰り返し［Ｒ１４］終了
１２：登録物体数分（本例では３）繰り返し［Ｒ１５］
１３：固有空間との距離計算［Ｓ１６］
１４：繰り返し［Ｒ１５］終了
１５：繰り返し［Ｒ１２］終了
１６：繰り返し［Ｒ１１］終了
１７：固有空間との距離が最小となる物体名を出力［Ｓ１７］
（実施形態２）
以下、本発明の実施の形態例２について、図を用いて詳細に説明する。
【００７３】
図１１は、本発明の請求項３等に対応する図であって、実施形態１との差は、学習装置１において物体同士を識別する判別面を構成する判別面構成手段１Ｆが加わる点と、蓄積手段１Ｅに変更がある点と、識別装置２において判別手段２Ｆが加わる点である。本例では、実施形態１と重なる部分については記述せず、異なる点のみを記載する。
【００７４】
判別面構成手段１Ｆは、物体同士を判別する平面を構成する。図１２は、「ダルマ」と「大仏」の判別平面の例である。画像ベクトルＥが領域Ａに属する場合は「ダルマ」、領域Ｂに属する場合は「大仏」と判定される。判別平面を求める方法は、線形識別関数を用いたＷｉｄｒｏｗ−Ｈｏｆｆの方法（「わかりやすいパターン認識」、オーム社、石井著：第２章〜３章を参照）やＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）の原理（「パターン識別」、新技術コミュニケーションズ、ｐ．２５９〜ｐ．２６２を参照）を用いて求める。
【００７５】
蓄積手段１Ｅは、構成された固有空間と各物体同士の判別面を蓄積する。図１３は、判別平面を蓄積するフォーマットであって、物体の組み合わせ毎にエントリがある。各エントリには、物体名１、物体名２、判別平面（２Ｘ×Ｙ−１次元）が保存されている。
【００７６】
判別手段２Ｆは、固有空間までの距離が上位Ｎ個の物体に対して判別平面を利用した判別を行う。上位Ｎ個の物体をＯ（１），Ｏ（２），…，Ｏ（Ｎ）で表現し、判別平面をＨ（Ｏ（ａ）、Ｏ（ｂ））で表現する。判別結果をＫ（Ｈ（Ｏ（ａ），Ｏ（ｂ）））＝｛Ｏ（ａ）｜Ｏ（ｂ）｝で表現する。この判別は、以下のようにして判別する。
【００７７】
１：ａ＝１，ｂ＝２，ｃ＝３
２：Ｎ回繰り返し［Ｒ１］
３：Ｋ（Ｈ（Ｏ（ａ），Ｏ（ｂ）））＝Ｏ（ａ）ならばａ＝ａ、
Ｋ（Ｈ（Ｏ（ａ），Ｏ（ｂ）））＝Ｏ（ｂ）ならばａ＝ｂ
４：ｂ＝ｃ
５：ｃ＝ｃ＋１
６：繰り返し終了［Ｒ１］
７：判別結果はＯ（ａ）
図１４は、本発明の請求項７等の学習段階を説明した図であって、学習装置の動作例を示したフローチャートである。学習装置では以下の処理を行う。
【００７８】
１：登録物体数（本例では３）分繰り返し［Ｒ２１］
２：物体の複数視点数分繰り返し［Ｒ２２］
３：原画像の入力［Ｓ２１］
４：原画像の画素数（Ｘ×Ｙ）分繰り返し［Ｒ２３］
５：画素値を対数変換［Ｓ２２］
６：繰り返し［Ｒ２３］終了
７：原画像の画素数（Ｘ×Ｙ）分繰り返し［Ｒ２４］
８：微分強度方向の計算［Ｓ２３］
９：繰り返し［Ｒ２４］終了
１０：繰り返し［Ｒ２２］終了
１１：主成分分析［Ｓ２４］
１２：固有空間の構成［Ｓ２５］
１３：固有空間の蓄積［Ｓ２６］
１４：繰り返し終了［Ｒ２１］
１５：登録物体数分繰り返し［Ｒ２５］
１６：判別平面の計算［Ｓ２７］
１７：繰り返し［Ｒ２５］終了
図１５は、本発明の請求項８等の識別段階を説明した図であって、識別装置の動作例を示したフローチャートである。識別装置では以下の処理を行う。
【００７９】
１：識別画像の入力［Ｓ３１］
２：識別画像の画素数分（本例ではα×β）分繰り返し［Ｒ３１］
３：識別画像の領域の切り出し［Ｓ３２］
４：変形パラメータの組み合わせ数（Ｐ）分繰り返し［Ｒ３２］
５：変形画像の生成［Ｓ３３］
６：変形画像の画素数（Ｘ×Ｙ）分繰り返し［Ｒ３３］
７：画素値を対数変換［Ｓ３４］
８：繰り返し［Ｒ３３］終了
９：原画像の画素数（Ｘ×Ｙ）分繰り返し［Ｒ３４］
１０：微分強度方向の計算［Ｓ３５］
１１：繰り返し［Ｒ３４］終了
１２：登録物体数分（本例では３）繰り返し［Ｒ３５］
１３：固有空間との距離計算［Ｓ３６］
１４：繰り返し［Ｒ３５］終了
１５：繰り返し［Ｒ３２］終了
１６：繰り返し［Ｒ３１］終了
１７：判別平面を利用した判別［Ｓ３７］
１８：判別結果となる物体名を出力［Ｓ３８］
なお、本発明は、図９、図１０等に示した方法の一部又は全部の処理機能をプログラムとして構成してコンピュータに実行させることができる。また、コンピュータでその各部の処理機能を実現するためのプログラム、あるいはコンピュータにその処理手順を実行させるためのプログラムを、そのコンピュータが読み取り可能な記録媒体、例えば、フレキシブルディスク、ＭＯ、ＲＯＭ、メモリカード、ＣＤ、ＤＶＤ、リムーバブルディスクなどに記録して、保存したり、提供したりすることが可能であり、また、インターネットのような通信ネットワークを介して配布したりすることが可能である。
【００８０】
【発明の効果】
以上述べたように、本発明による物体認識装置および方法によれば、
物体を登録する段階において、各画像の各画素値を光エネルギー量に変換し、光エネルギー量に対して対数変換をし、画像の横方向の微分と縦方向の微分成分を計算して微分の方向と強さを計算し、すべての画素の微分方向と強さを１つのベクトルとみなし、１画像を１サンプルとして主成分分析し、寄与率の合計が一定以上になる固有空間を構成し、作成された固有空間に対し他の物体の固有空間との差を強調して判別する平面を求め、該固有空間と判別平面を蓄積し、
物体を識別する段階において、照合したい入力画像の一部を選択して対象領域を切り出し、変形を加えた画像を生成し、生成された画像の各画素値を光エネルギー量に変換し光エネルギー量に対して対数変換を行い、画像の横方向の微分と縦方向の微分を計算して微分の方向と強さを計算し、すべての画素の微分方向と強さを１つのベクトルとみなして各物体の固有空間との距離を求め、ある閾値以下の距離を示した固有空間の物体同士の判別平面を用いて判別して出力するようにしたため、照明による画素値の変化を吸収できる特徴を有しており、照明による変化を考慮しなくてもよいため、用意するべきデータを大幅に削減できる。
【００８１】
また、各画像を主成分分析により圧縮するため、用意するべきデータを圧縮し、精度を高めることができる。
【００８２】
さらに、識別したい物体の中に、似た物体が存在していても、判別平面で判別するため、精度高く対象物を識別することができる。
【図面の簡単な説明】
【図１】本発明の実施形態１を示す物体識別装置の構成図。
【図２】実施形態１における複数視点画像の極座標の説明図。
【図３】実施形態１における学習装置と識別装置の詳細図。
【図４】実施形態１における微分強度方向計算の説明図。
【図５】実施形態１における画素の微分方向と強さを１つのベクトルとみなす例。
【図６】実施形態における固有空間の構成例。
【図７】実施形態１における固有空間のデータ例。
【図８】実施形態１における固有空間までの距離の説明図。
【図９】実施形態１における学習装置のフローチャート。
【図１０】実施形態１における識別装置のフローチャート。
【図１１】本発明の実施形態２を示す学習装置と識別装置の詳細図。
【図１２】実施形態２における「ダルマ」と「大仏」の判別平面の例。
【図１３】実施形態２における追加蓄積するデータフォーマットの例。
【図１４】実施形態２における学習装置のフローチャート。
【図１５】実施形態２における識別装置のフローチャート。
【図１６】実施形態１における微分強度方向計算の他の例を示す図。
【符号の説明】
１…学習装置
２…識別装置
３…登録情報蓄積検索装置
１Ａ、２Ｂ…対数変換手段
１Ｂ、２Ｃ…微分強度方向計算手段
１Ｃ、２Ｄ…主成分分析手段
１Ｄ…固有空間構成手段
１Ｅ…蓄積手段
１Ｆ…判別面構成手段
２Ａ…変形画像生成手段
２Ｅ…出力手段
２Ｆ…判別手段
【発明の属する技術分野】
本発明は、画像内に、どのような対象が写っているかを識別する画像識別技術に属し、その具体的な産業応用システムとして、例えば画像検索システムなどが挙げられる。
【０００２】
【従来の技術】
画像認識技術は、画像データ内のある領域がどのカテゴリーに属するかを特定する技術である。パターンマッチング方式では、入力画像の中にあらかじめ作成した標準パターンと同じ物があるか、あるいは近いものがあるかを検出する。標準パターンは、そのパターンを良く示す特徴を用いて表現される。代表的な手法であるテンプレートマッチング方法では、濃淡画像を特徴としたテンプレートや、濃淡画像を微分した微分濃淡画像を特徴とするテンプレートを標準パターンとして利用するのが一般的である。
【０００３】
しかしながら、従来の手法では、以下の２つの問題があった。
【０００４】
（１）対象物のパラメータ、撮影条件のパラメータが多い場合にデータ量が指数関数的に大きくなるため、対応ができなくなる。
【０００５】
例えば、屋外などで、照明条件が大きく変化し、かつ、対象の見え方が撮影位置によって大きく変化する３次元物体の場合、パターンマッチング方式では、必要になるテンプレート数（パラメータの組み合わせ数）が膨大になり、現実的ではなかった。
【０００６】
（２）似た物体を識別したい際に、相関値や同時生起確率だけでは、間違える可能性が高く、実用化できない。
【０００７】
例えば、「大」と「太」などの見え方が似ている文字の場合、パターンマッチング方式では、「大」を識別しても、「大」と「太」の各テンプレートによる相関値はどちらも高くなり、間違える可能性が高かった。
【０００８】
上記間題点を解く従来方法として、テンプレートを圧縮する方法がある（例えば、非特許文献１参照）。
【０００９】
【非特許文献１】
「２次元照合による３次元物体認識−パラメトリック固有空間法−」（村瀬 洋、Ｓ．Ｋ．Ｎａｙｅｒ著、信学論、Ｊ７７−Ｄ−ＩＩ，Ｎｏ．１１，２１７９−２１８７、１９９４年、１１月）
【００１０】
【発明が解決しようとする課題】
従来のテンプレートを圧縮する方法においても、照明条件がシミュレーション可能である環境下でないと利用できないなどの制約があった。
【００１１】
本発明の目的は、照明条件などの撮影条件による影響を小さくしながら、データ量を少なくし、似た物体の識別精度を高くした物体識別装置、物体識別方法、物体識別のためのプログラムおよびこのプログラムを記録した記録媒体を提供することにある。
【００１２】
【課題を解決するための手段】
本発明では、上記課題を解決するために、
識別したい物体の学習段階において、
（１）物体からの距離が一定となる球面上の複数の視点からの画像を入力し、各画素値を光エネルギー量に変換し、光エネルギー量に対して対数変換を行い、画像のｘ（横）方向の微分とｙ（縦）方向の微分を計算し、微分の方向と強さを計算する。
【００１３】
（２）すべての画素の微分方向と強さを要素とした１つのベクトルとし、（１）で撮影した画像をサンプルとして主成分分析し、寄与率の合計が一定以上になる固有空間を構成することにより、対象のテンプレートを圧縮する。
【００１４】
（３）作成された固有空間に対し、他の物体の固有空間との判別平面を求める。
【００１５】
また、画像の照合段階において、
（４）照合したい入力画像の一部を選択し、対象領域を切り出し、回転、拡大縮小の変形を加えた画像を生成し、生成された画像の各画素値に対して対数変換を行い、画像のｘ（横）方向の微分とｙ（縦）方向の微分を計算し、微分の方向と強さを計算する。
【００１６】
（５）すべての画素の微分方向と強さを１つのベクトルとみなし、各物体の固有空間との距離を求める。
【００１７】
（６）ある閾値以下の距離を示した物体同士の双対空間にベクトルを投影し、双対空間上で判別を行う。
【００１８】
以上の処理要素からなる本発明により、以下の３つの作用効果を得る。
【００１９】
・処理要素（１）、（４）により、画素値の対数（Ｌｏｇ）をとっており、照明光の変化に対して大きさの変動による影響は小さくなる。また、微分の方向は照明光による変化の影響を受けない。すなわち、照明光の変化による画素値の変化を吸収できる特徴を用いるため、照明による変化を考慮しなくてもよいため、用意するべきデータを大幅に削減できる。
【００２０】
・処理要素（２）、（５）により、各画像を圧縮するため、用意するべきデータを圧縮できる。また、圧縮によって、固有空間からの距離値の精度を高めることができる。
【００２１】
・処理要素（３）、（６）により、識別したい物体の中に、似た物体が存在していても、判別平面で判別するため、精度高く対象物を識別することができる。
【００２２】
以上のことから、本発明は、以下の装置、方法、プログラム、記録媒体を特徴とする。
【００２３】
（物体識別装置の発明）
（１）複数の視点から物体を撮影した複数視点画像を用いて物体を登録し、登録された複数の物体を識別する物体識別装置であって、
物体を登録する段階において、各画像の各画素値を光エネルギー量に変換し光エネルギー量に対して対数変換をする対数変換手段と、画像の横方向の微分と縦方向の微分成分を計算して微分の方向と強さを計算する微分強度方向計算手段と、すべての画素の微分方向と強さを１つのベクトルとみなし、１画像を１サンプルとして主成分分析する主成分分析手段と、寄与率の合計が一定以上になる固有空間を構成する固有空間構成手段と、該固有空間を蓄積する蓄積手段と、
を有することを特徴とする物体識別装置。
【００２４】
（２）複数の視点から物体を撮影した複数視点画像を用いて物体を登録し、登録された複数の物体を識別する物体識別装置であって、
物体を識別する段階において、照合したい入力画像の一部を選択して対象領域を切り出し、変形を加えた画像を生成する変形画像生成手段と、生成された画像の各画素値を光エネルギー量に変換し光エネルギー量に対して対数変換を行う対数変換手段と、画像の横方向の微分と縦方向の微分を計算して微分の方向と強さを計算する微分強度方向計算手段と、すべての画素の微分方向と強さを１つのベクトルとみなし、各物体の固有空間との距離を求める固有空間距離計算手段と、最小の固有空間距離を示す物体を識別結果として出力する出力手段と、
を有することを特徴とする物体識別装置。
【００２５】
（３）複数の視点から物体を撮影した複数視点画像を用いて物体を登録し、登録された複数の物体を識別する物体識別装置であって、
物体を登録する段階において、各画像の各画素値を光エネルギー量に変換し光エネルギー量に対して対数変換をする対数変換手段と、画像の横方向の微分と縦方向の微分成分を計算して微分の方向と強さを計算する微分強度方向計算手段と、すべての画素の微分方向と強さを１つのベクトルとみなし、１画像を１サンプルとして主成分分析する主成分分析手段と、寄与率の合計が一定以上になる固有空間を構成するする固有空間構成手段と、作成された固有空間に対し他の物体の固有空間との差を強調して判別する平面を求める判別平面構成手段と、該固有空間および双対空間および判別平面を蓄積する蓄積手段と、
を有することを特徴とする物体識別装置。
【００２６】
（４）複数の視点から物体を撮影した複数視点画像を用いて物体を登録し、登録された複数の物体を識別する物体識別装置であって、
物体を識別する段階において、照合したい入力画像の一部を選択して対象領域を切り出し、変形を加えた画像を生成する変形画像生成手段と、生成された画像の各画素値を光エネルギー量に変換し光エネルギー量に対して対数変換を行う対数変換手段と、画像の横方向の微分と縦方向の微分を計算して微分の方向と強さを計算する微分強度方向計算手段と、すべての画素の微分方向と強さを１つのベクトルとみなし、各物体の固有空間との距離を求める固有空間距離計算手段と、ある閾値以下の距離を示した固有空間の物体同士の判別平面を用いて判別して出力する判別手段と、
を有することを特徴とする物体識別装置。
【００２７】
（５）前記微分強度方向計算手段において、微分の方向と強さの計算をしない微分方向計算手段を有することを特徴とする（１）または（２）に記載の物体識別装置。
【００２８】
（６）前記主成分分析手段において、すべての画素の微分方向と強さを１つのベクトルとみなす代わりに、すべての画素の横方向の微分値と縦方向の微分値を１つのベクトルとみなす主成分分析手段を有することを特徴とする（１）に記載の物体識別装置。
【００２９】
（７）前記固有空間距離計算手段において、すべての画素の微分方向と強さを１つのベクトルとみなす代わりに、すべての画素の横方向の微分値と縦方向の微分値を１つのベクトルとみなす固有空間距離計算手段を有することを特徴とする（２）に記載の物体識別装置。
【００３０】
（物体識別方法の発明）
（８）複数の視点から物体を撮影した複数視点画像を用いて物体を登録し、登録された複数の物体を識別する物体識別方法であって、
物体を登録する段階において、各画像の各画素値を光エネルギー量に変換し光エネルギー量に対して対数変換をする対数変換段階と、画像の横方向の微分と縦方向の微分成分を計算して微分の方向と強さを計算する微分強度方向計算段階と、すべての画素の微分方向と強さを１つのベクトルとみなし、１画像を１サンプルとして主成分分析する主成分分析段階と、寄与率の合計が一定以上になる固有空間を構成する固有空間構成段階と、該固有空間を蓄積する手段と、
を有することを特徴とする物体識別方法。
【００３１】
（９）複数の視点から物体を撮影した複数視点画像を用いて物体を登録し、登録された複数の物体を識別する物体識別方法であって、
物体を識別する段階において、照合したい入力画像の一部を選択して対象領域を切り出し、変形を加えた画像を生成する変形画像生成段階と、生成された画像の各画素値を光エネルギー量に変換し光エネルギー量に対して対数変換を行う対数変換段階と、画像の横方向の微分と縦方向の微分を計算して微分の方向と強さを計算する微分強度方向計算段階と、すべての画素の微分方向と強さを１つのベクトルとみなし、各物体の固有空間との距離を求める固有空間距離計算段階と、最小の固有空間距離を示す物体を識別結果として出力する出力段階と、
を有することを特徴とする物体識別方法。
【００３２】
（１０）複数の視点から物体を撮影した複数視点画像を用いて物体を登録し、登録された複数の物体を識別する物体識別方法であって、
物体を登録する段階において、各画像の各画索値を光エネルギー量に変換し光エネルギー量に対して対数変換をする対数変換段階と、画像の横方向の微分と縦方向の微分成分を計算して微分の方向と強さを計算する微分強度方向計算段階と、すべての画素の微分方向と強さを１つのベクトルとみなし、１画像を１サンプルとして主成分分析する主成分分析段階と、寄与率の合計が一定以上になる固有空間を構成するする固有空間構成段階と、作成された固有空間に対し他の物体の固有空間との差を強調して判別する平面を求める判別平面構成段階と、該固有空間および双対空間および判別平面を蓄積する蓄積段階と、
を有することを特徴とする物体識別方法。
【００３３】
（１１）複数の視点から物体を撮影した複数視点画像を用いて物体を登録し、登録された複数の物体を識別する物体識別方法であって、
物体を識別する段階において、照合したい入力画像の一部を選択して対象領域を切り出し、変形を加えた画像を生成する変形画像生成段階と、生成された画像の各画素値を光エネルギー量に変換し光エネルギー量に対して対数変換を行う対数変換段階と、画像の横方向の微分と縦方向の微分を計算して微分の方向と強さを計算する微分強度方向計算段階と、すべての画素の微分方向と強さを１つのベクトルとみなし、各物体の固有空間との距離を求める固有空間距離計算段階と、ある閾値以下の距離を示した固有空間の物体同士の判別平面を用いて判別して出力する判別段階と、
を有することを特徴とする物体識別方法。
【００３４】
（１２）前記微分強度方向計算段階において、微分の方向と強さの計算をしない微分方向計算段階を有することを特徴とする（８）または（９）に記載の物体識別方法。
【００３５】
（１３）前記主成分分析段階において、すべての画素の微分方向と強さを１つのベクトルとみなす代わりに、すべての画素の横方向の微分値と縦方向の微分値を１つのベクトルとみなす主成分分析段階を有することを特徴とする（８）に記載の物体識別方法。
【００３６】
（１４）前記固有空間距離計算段階において、すべての画素の微分方向と強さを１つのベクトルとみなす代わりに、すべての画素の横方向の微分値と縦方向の微分値を１つのベクトルとみなす固有空間距離計算段階を有することを特徴とする（９）に記載の物体識別方法。
【００３７】
（プログラムの発明）
（１５）上記の（８）〜（１４）のいずれか１項の物体識別方法を、コンピュータで実行可能に構成したことを特徴とする物体識別方法のプログラム。
【００３８】
（記録媒体の発明）
（１６）上記の（８）〜（１４）のいずれか１項の物体識別方法を、コンピュータで実行可能に構成したプログラムを記録したことを特徴とする記録媒体。
【００３９】
【発明の実施の形態】
（実施形態１）
以下、本発明の実施の形態例１について図を用いて詳細に説明する。
【００４０】
図１は、本発明をおみやげ人形識別システムに適用した例であり、本システムにより、ユーザは、撮影したおみやげ人形の画像を基に、そのおみやげ人形の詳細情報をみることができる。ただし、あらかじめ、おみやげ人形製造者がセンタにおみやげ人形の情報を登録していることが前提となる。システムは、学習装置１と識別装置２および登録情報蓄積検索装置３から構成される。
【００４１】
学習装置１と識別装置２は、複数の視点から物体を撮影した複数視点画像を用いて物体を登録し、登録された複数の物体を識別する。登録情報蓄積検索装置３は、物体名と登録情報を蓄積しておき、物体名から登録情報を検索する装置であり、一般のデータベースにより構築できるため、本実施形態では詳細を記載しない。
【００４２】
学習装置１は、複数の視点から物体を撮影した複数視点画像から識別に必要な情報を求め、蓄積する。識別装置２は、ユーザが入力する画像と蓄積装置に蓄積された識別に必要な情報を利用し、画像に撮影された物体を識別する。
【００４３】
以下の例では、「ダルマ」、「大仏」、「こけし」の３種類のおみやげ品を登録／識別する場合を例に説明する。
【００４４】
本実施形態では、「ダルマ」の複数視点画像数をＳ（ダルマ）、「大仏」の複数視点画像数をＳ（大仏）、「こけし」の複数視点画像数をＳ（こけし）で表す。また、以後の表現では、画像の名前をＩとすると、各画素値をＩ（ｘ，ｙ）で表現する。複数視点画像は、例えば、図２のように、対象物の中心を原点とした極座標（ｒ、α、β）で考えると、各視点をｒ＝Ｒ、α＝５ｎ度、β＝５ｍ度として５１８４枚撮影する。ただし、Ｒは定数、ｎは０以上７１以下の整数、ｍは０以上７１以下の整数とする。
【００４５】
図３は、本発明の請求項１等に対応させた図であって、学習装置１および識別装置２の詳細を説明している。学習装置１は、複数の視点から物体を撮影した複数視点画像の各画素値を光エネルギー量に変換し光エネルギー量に対して対数変換する対数変換手段１Ａと、画像の横方向の微分と縦方向の微分成分を計算して微分の方向と強さを計算する微分強度方向計算手段１Ｂと、すべての画素の微分方向を強さを１つのベクトルとみなし、１画像を１サンプルとして主成分分析する主成分分析手段１Ｃと、寄与率の合計が所定値以上になる固有空間を構成する固有空間構成手段１Ｄと、該固有空間を蓄積する蓄積手段１Ｅから構成されている。
【００４６】
識別装置２は、照合したい入力画像（識別対象画像）の一部を選択して対象領域を切り出して回転、拡大・縮小の変形を加えた画像を生成する変形画像生成手段２Ａと、生成された画像の各画素値を光エネルギー量に変換し光エネルギー量に対して対数変換を行う対数変換手段２Ｂと、画像の横方向の微分と縦方向の微分を計算して微分の方向と強さを計算する微分強度方向計算手段２Ｃと、すべての画素の微分方向と強さを１つのベクトルとみなして各物体の固有空間との距離を求める固有空間距離計算手段２Ｄと、最小の固有空間距離を示す物体を識別結果として出力する出力手段２Ｅにより構成される。
【００４７】
以下では図を用いながら、各手段の詳細を示す。
【００４８】
対数変換装置１Ａは、入力画像の各画素値を光エネルギー量に変換し、光エネルギー量に対して、例えば、Ｉ（ｘ、ｙ）＝ｌｏｇ１０Ｉ（ｘ、ｙ）のように、対数変換を行う。一般の画像の画素値は、ＣＣＤの特性関数をＦ、光エネルギー量値をｖとすると、画素値＝Ｆ（ｖ）と表されるため、ｖ＝Ｆ−１（画素値）と変換する。Ｆがわからない場合は、ｖ＝画素値とする。対数変換では、例えば、以下のように変換する。
【００４９】
【数１】
ｖ（ｘ，ｙ）＝ｌｏｇ１０（１＋ｖ（ｘ，ｙ））
微分強度方向計算手段の例を図４に示す。原画像Ｉの横をｘ軸、縦をｙ軸と考える。画像は横Ｘピクセル×縦Ｙピクセルであり、画像サイズはＸ×Ｙとなる。まず、原画像に対し、ソーベルオペレータを作用させ、ｘ方向の微分を計算したｘ方向微分画像Ｄｘと、ｙ方向の微分を計算したｙ方向微分画像Ｄｙを生成する。ソーベルオペレータでは、以下の式に従って画素値を求める。
【００５０】
【数２】
ただし、ソーベルオペレータを用いるのは一例であって、その他の方法であってもよい。
【００５２】
次に、微分強度画像Ｄｉと微分方向画像Ｄｄの各画素を以下の手段で求める。
【００５３】
【数３】
最後に、ＤｉとＤｄを左右で連結して微分強度方向画像Ｄｉｄを作成する。Ｄｉｄのサイズは、２Ｘ×Ｙとなる。なお、微分強度方向画像ベクトルは、図１６のように、ＤｉとＤｄを左右で連結する代わりに、ＤｘとＤｙを左右で連結してもよい。
【００５５】
主成分分析手段１Ｃは、複数の入力ベクトルに対して、主成分分析を行い、固有ベクトルと寄与率を計算する。これには以下の手段で計算する。
【００５６】
（１）入力ベクトル群の共分散行列を求める。
【００５７】
（２）共分散行列の固有値（寄与率）、固有ベクトルを求める。
【００５８】
図５は、すべての画素の微分方向と強さを１つのベクトルとみなす例である。微分強度方向画像のベクトルは、Ｄｉｄ（０，０）、Ｄｉｄ（０，１）〜Ｄｉｄ（ｍ，ｎ）〜Ｄｉｄ（２Ｘ−１，Ｙ−１）を各要素としたベクトルとなる。
【００５９】
固有空間構成手段１Ｄは、各固有ベクトルと該固有ベクトルの寄与率から、固有空間を構成する。図６は、寄与率の合計が一定以上となる固有空間の構成例である。たとえば、「ダルマ」の複数視点画像を主成分分析し、１０次元の固有ベクトルで寄与率の合計が８０％以上となった場合、寄与率の上位１０個の固有ベクトルで固有空間を構成する。また、「大仏」の複数視点画像を主成分分析し、１２次元の固有ベクトルで寄与率の合計が８０％以上となった場合、寄与率の上位１２個の固有ベクトルで固有空間を構成する。また、「こけし」の複数視点画像を主成分分析し、９次元の固有ベクトルで寄与率の合計が８０％以上となった場合、寄与率の上位９個の固有ベクトルで固有空間を構成する。
【００６０】
図６では、３次元で原空間を表現しているが、実際は、２Ｘ×Ｙ次元の空間である。また、２次元平面で固有空間を表現しているが、実際は、９，１０，１２次元の空間である。
【００６１】
蓄積手段１Ｅでは構成された固有空間を特定するパラメータ、ベクトルの要素を蓄積する。図７は、固有空間を蓄積するフォーマットであって、物体毎にエントリがある。各エントリには、物体名、固有ベクトルの数、各固有ベクトル（２Ｘ×Ｙ次元）が保存されている。
【００６２】
識別装置２の変形画像生成手段２Ａでは、ある画素を中心として、定められたサイズ（学習段階の画像と同サイズ、Ｘ×Ｙ）の領域を切り出し、変形パラメータの組み合わせ数分（Ｐ）の矩形画像を生成する。変形パラメータの例としては、画像の回転パラメータや、拡大・縮小パラメータ、アフィン変換パラメータ等がある。本実施形態では以下のアフィン変換パラメータを例として採用する。
【００６３】
【数４】
アフィンパラメータの組み合わせ数Ｐは、各パラメータが取り得る数をＰａ，Ｐｂ，Ｐｃ，Ｐｄとすると、Ｐ＝Ｐａ＊Ｐｂ＊Ｐｃ＊Ｐｄで求められる。
【００６５】
対数変換手段２Ｂおよび微分強度方向計算手段２Ｃは、変形画像に対して学習装置１の１Ａ，１Ｂと同等の変換、計算を行う。
【００６６】
固有空間距離計算手段２Ｄでは、変形後に生成された矩形画像の微分強度方向画像であるＥと、各物体の固有空間との距離を求める。距離の計算式は以下のとおり。
【００６７】
【数５】
距離＝（ｘ０−ｘ０’）２＋（ｘ１−ｘ１’）２＋…＋（ｘｓ−ｘｓ）２
ただし、固有空間の次元数をｓ、Ｅ＝（ｘ０，ｘ１，…，ｘｓ）、Ｅを固有空間に投影した点をＥ’＝（ｘ０’，ｘ１’，…，ｘｓ’）とする。
【００６８】
図８は、Ｅと「こけし」「ダルマ」「大仏」の距離を示している。
【００６９】
出力手段２Ｅでは、固有空間との距離が最小である物体を識別結果として出力する。例では「ダルマ」が最小であるため、「ダルマ」を結果として出力する。
【００７０】
図９は、本発明の請求項５等の学習段階を説明した図であって、学習装置の動作例を示したフローチャートである。学習装置１では以下の学習処理を行う。なお、以下の説明中で、Ｒは繰り返しループを、Ｓは処理ステップを示す。
【００７１】
１：登録物体数（本例では３）分繰り返し［Ｒ１］
２：物体の複数視点数分繰り返し［Ｒ２］
３：原画像の入力［Ｓ１］
４：原画像の画素数（Ｘ×Ｙ）分繰り返し［Ｒ３］
５：画素値を対数変換［Ｓ２］
６：繰り返し［Ｒ３］終了
７：原画像の画素数（Ｘ×Ｙ）分繰り返し［Ｒ４］
８：微分強度方向の計算［Ｓ３］
９：繰り返し［Ｒ４］終了
１０：繰り返し［Ｒ２］終了
１１：主成分分析［Ｓ４］
１２：固有空間の構成［Ｓ５］
１３：固有空間の蓄積［Ｓ６］
１４：繰り返し［Ｒ１］終了
図１０は、本発明の請求項６等の識別段階を説明した図であって、識別装置の動作例を示したフローチャートである。識別装置２では以下の識別処理を行う。
【００７２】
１：識別画像の入力［Ｓ１１］
２：画素数分（本例ではα×β）分繰り返し［Ｒ１１］
３：識別画像の領域切り出し［Ｓ１２］
４：変形パラメータの組み合わせ数（Ｐ）分繰り返し［Ｒ１２］
５：変形画像の生成［Ｓ１３］
６：変形画像の画素数（Ｘ×Ｙ）分繰り返し［Ｒ１３］
７：画素値を対数変換［Ｓ１４］
８：繰り返し［Ｒ１３］終了
９：原画像の画素数（Ｘ×Ｙ）分繰り返し［Ｒ１４］
１０：微分強度方向の計算［Ｓ１５］
１１：繰り返し［Ｒ１４］終了
１２：登録物体数分（本例では３）繰り返し［Ｒ１５］
１３：固有空間との距離計算［Ｓ１６］
１４：繰り返し［Ｒ１５］終了
１５：繰り返し［Ｒ１２］終了
１６：繰り返し［Ｒ１１］終了
１７：固有空間との距離が最小となる物体名を出力［Ｓ１７］
（実施形態２）
以下、本発明の実施の形態例２について、図を用いて詳細に説明する。
【００７３】
図１１は、本発明の請求項３等に対応する図であって、実施形態１との差は、学習装置１において物体同士を識別する判別面を構成する判別面構成手段１Ｆが加わる点と、蓄積手段１Ｅに変更がある点と、識別装置２において判別手段２Ｆが加わる点である。本例では、実施形態１と重なる部分については記述せず、異なる点のみを記載する。
【００７４】
判別面構成手段１Ｆは、物体同士を判別する平面を構成する。図１２は、「ダルマ」と「大仏」の判別平面の例である。画像ベクトルＥが領域Ａに属する場合は「ダルマ」、領域Ｂに属する場合は「大仏」と判定される。判別平面を求める方法は、線形識別関数を用いたＷｉｄｒｏｗ−Ｈｏｆｆの方法（「わかりやすいパターン認識」、オーム社、石井著：第２章〜３章を参照）やＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）の原理（「パターン識別」、新技術コミュニケーションズ、ｐ．２５９〜ｐ．２６２を参照）を用いて求める。
【００７５】
蓄積手段１Ｅは、構成された固有空間と各物体同士の判別面を蓄積する。図１３は、判別平面を蓄積するフォーマットであって、物体の組み合わせ毎にエントリがある。各エントリには、物体名１、物体名２、判別平面（２Ｘ×Ｙ−１次元）が保存されている。
【００７６】
判別手段２Ｆは、固有空間までの距離が上位Ｎ個の物体に対して判別平面を利用した判別を行う。上位Ｎ個の物体をＯ（１），Ｏ（２），…，Ｏ（Ｎ）で表現し、判別平面をＨ（Ｏ（ａ）、Ｏ（ｂ））で表現する。判別結果をＫ（Ｈ（Ｏ（ａ），Ｏ（ｂ）））＝｛Ｏ（ａ）｜Ｏ（ｂ）｝で表現する。この判別は、以下のようにして判別する。
【００７７】
１：ａ＝１，ｂ＝２，ｃ＝３
２：Ｎ回繰り返し［Ｒ１］
３：Ｋ（Ｈ（Ｏ（ａ），Ｏ（ｂ）））＝Ｏ（ａ）ならばａ＝ａ、
Ｋ（Ｈ（Ｏ（ａ），Ｏ（ｂ）））＝Ｏ（ｂ）ならばａ＝ｂ
４：ｂ＝ｃ
５：ｃ＝ｃ＋１
６：繰り返し終了［Ｒ１］
７：判別結果はＯ（ａ）
図１４は、本発明の請求項７等の学習段階を説明した図であって、学習装置の動作例を示したフローチャートである。学習装置では以下の処理を行う。
【００７８】
１：登録物体数（本例では３）分繰り返し［Ｒ２１］
２：物体の複数視点数分繰り返し［Ｒ２２］
３：原画像の入力［Ｓ２１］
４：原画像の画素数（Ｘ×Ｙ）分繰り返し［Ｒ２３］
５：画素値を対数変換［Ｓ２２］
６：繰り返し［Ｒ２３］終了
７：原画像の画素数（Ｘ×Ｙ）分繰り返し［Ｒ２４］
８：微分強度方向の計算［Ｓ２３］
９：繰り返し［Ｒ２４］終了
１０：繰り返し［Ｒ２２］終了
１１：主成分分析［Ｓ２４］
１２：固有空間の構成［Ｓ２５］
１３：固有空間の蓄積［Ｓ２６］
１４：繰り返し終了［Ｒ２１］
１５：登録物体数分繰り返し［Ｒ２５］
１６：判別平面の計算［Ｓ２７］
１７：繰り返し［Ｒ２５］終了
図１５は、本発明の請求項８等の識別段階を説明した図であって、識別装置の動作例を示したフローチャートである。識別装置では以下の処理を行う。
【００７９】
１：識別画像の入力［Ｓ３１］
２：識別画像の画素数分（本例ではα×β）分繰り返し［Ｒ３１］
３：識別画像の領域の切り出し［Ｓ３２］
４：変形パラメータの組み合わせ数（Ｐ）分繰り返し［Ｒ３２］
５：変形画像の生成［Ｓ３３］
６：変形画像の画素数（Ｘ×Ｙ）分繰り返し［Ｒ３３］
７：画素値を対数変換［Ｓ３４］
８：繰り返し［Ｒ３３］終了
９：原画像の画素数（Ｘ×Ｙ）分繰り返し［Ｒ３４］
１０：微分強度方向の計算［Ｓ３５］
１１：繰り返し［Ｒ３４］終了
１２：登録物体数分（本例では３）繰り返し［Ｒ３５］
１３：固有空間との距離計算［Ｓ３６］
１４：繰り返し［Ｒ３５］終了
１５：繰り返し［Ｒ３２］終了
１６：繰り返し［Ｒ３１］終了
１７：判別平面を利用した判別［Ｓ３７］
１８：判別結果となる物体名を出力［Ｓ３８］
なお、本発明は、図９、図１０等に示した方法の一部又は全部の処理機能をプログラムとして構成してコンピュータに実行させることができる。また、コンピュータでその各部の処理機能を実現するためのプログラム、あるいはコンピュータにその処理手順を実行させるためのプログラムを、そのコンピュータが読み取り可能な記録媒体、例えば、フレキシブルディスク、ＭＯ、ＲＯＭ、メモリカード、ＣＤ、ＤＶＤ、リムーバブルディスクなどに記録して、保存したり、提供したりすることが可能であり、また、インターネットのような通信ネットワークを介して配布したりすることが可能である。
【００８０】
【発明の効果】
以上述べたように、本発明による物体認識装置および方法によれば、
物体を登録する段階において、各画像の各画素値を光エネルギー量に変換し、光エネルギー量に対して対数変換をし、画像の横方向の微分と縦方向の微分成分を計算して微分の方向と強さを計算し、すべての画素の微分方向と強さを１つのベクトルとみなし、１画像を１サンプルとして主成分分析し、寄与率の合計が一定以上になる固有空間を構成し、作成された固有空間に対し他の物体の固有空間との差を強調して判別する平面を求め、該固有空間と判別平面を蓄積し、
物体を識別する段階において、照合したい入力画像の一部を選択して対象領域を切り出し、変形を加えた画像を生成し、生成された画像の各画素値を光エネルギー量に変換し光エネルギー量に対して対数変換を行い、画像の横方向の微分と縦方向の微分を計算して微分の方向と強さを計算し、すべての画素の微分方向と強さを１つのベクトルとみなして各物体の固有空間との距離を求め、ある閾値以下の距離を示した固有空間の物体同士の判別平面を用いて判別して出力するようにしたため、照明による画素値の変化を吸収できる特徴を有しており、照明による変化を考慮しなくてもよいため、用意するべきデータを大幅に削減できる。
【００８１】
また、各画像を主成分分析により圧縮するため、用意するべきデータを圧縮し、精度を高めることができる。
【００８２】
さらに、識別したい物体の中に、似た物体が存在していても、判別平面で判別するため、精度高く対象物を識別することができる。
【図面の簡単な説明】
【図１】本発明の実施形態１を示す物体識別装置の構成図。
【図２】実施形態１における複数視点画像の極座標の説明図。
【図３】実施形態１における学習装置と識別装置の詳細図。
【図４】実施形態１における微分強度方向計算の説明図。
【図５】実施形態１における画素の微分方向と強さを１つのベクトルとみなす例。
【図６】実施形態における固有空間の構成例。
【図７】実施形態１における固有空間のデータ例。
【図８】実施形態１における固有空間までの距離の説明図。
【図９】実施形態１における学習装置のフローチャート。
【図１０】実施形態１における識別装置のフローチャート。
【図１１】本発明の実施形態２を示す学習装置と識別装置の詳細図。
【図１２】実施形態２における「ダルマ」と「大仏」の判別平面の例。
【図１３】実施形態２における追加蓄積するデータフォーマットの例。
【図１４】実施形態２における学習装置のフローチャート。
【図１５】実施形態２における識別装置のフローチャート。
【図１６】実施形態１における微分強度方向計算の他の例を示す図。
【符号の説明】
１…学習装置
２…識別装置
３…登録情報蓄積検索装置
１Ａ、２Ｂ…対数変換手段
１Ｂ、２Ｃ…微分強度方向計算手段
１Ｃ、２Ｄ…主成分分析手段
１Ｄ…固有空間構成手段
１Ｅ…蓄積手段
１Ｆ…判別面構成手段
２Ａ…変形画像生成手段
２Ｅ…出力手段
２Ｆ…判別手段
Claims (16)
- 複数の視点から物体を撮影した複数視点画像を用いて物体を登録し、登録された複数の物体を識別する物体識別装置であって、
物体を登録する段階において、各画像の各画素値を光エネルギー量に変換し光エネルギー量に対して対数変換をする対数変換手段と、画像の横方向の微分と縦方向の微分成分を計算して微分の方向と強さを計算する微分強度方向計算手段と、すべての画素の微分方向と強さを１つのベクトルとみなし、１画像を１サンプルとして主成分分析する主成分分析手段と、寄与率の合計が一定以上になる固有空間を構成する固有空間構成手段と、該固有空間を蓄積する蓄積手段と、
を有することを特徴とする物体識別装置。 - 複数の視点から物体を撮影した複数視点画像を用いて物体を登録し、登録された複数の物体を識別する物体識別装置であって、
物体を識別する段階において、照合したい入力画像の一部を選択して対象領域を切り出し、変形を加えた画像を生成する変形画像生成手段と、生成された画像の各画素値を光エネルギー量に変換し光エネルギー量に対して対数変換を行う対数変換手段と、画像の横方向の微分と縦方向の微分を計算して微分の方向と強さを計算する微分強度方向計算手段と、すべての画素の微分方向と強さを１つのベクトルとみなし、各物体の固有空間との距離を求める固有空間距離計算手段と、最小の固有空間距離を示す物体を識別結果として出力する出力手段と、
を有することを特徴とする物体識別装置。 - 複数の視点から物体を撮影した複数視点画像を用いて物体を登録し、登録された複数の物体を識別する物体識別装置であって、
物体を登録する段階において、各画像の各画素値を光エネルギー量に変換し光エネルギー量に対して対数変換をする対数変換手段と、画像の横方向の微分と縦方向の微分成分を計算して微分の方向と強さを計算する微分強度方向計算手段と、すべての画素の微分方向と強さを１つのベクトルとみなし、１画像を１サンプルとして主成分分析する主成分分析手段と、寄与率の合計が一定以上になる固有空間を構成するする固有空間構成手段と、作成された固有空間に対し他の物体の固有空間との差を強調して判別する平面を求める判別平面構成手段と、該固有空間および双対空間および判別平面を蓄積する蓄積手段と、
を有することを特徴とする物体識別装置。 - 複数の視点から物体を撮影した複数視点画像を用いて物体を登録し、登録された複数の物体を識別する物体識別装置であって、
物体を識別する段階において、照合したい入力画像の一部を選択して対象領域を切り出し、変形を加えた画像を生成する変形画像生成手段と、生成された画像の各画素値を光エネルギー量に変換し光エネルギー量に対して対数変換を行う対数変換手段と、画像の横方向の微分と縦方向の微分を計算して微分の方向と強さを計算する微分強度方向計算手段と、すべての画素の微分方向と強さを１つのベクトルとみなし、各物体の固有空間との距離を求める固有空間距離計算手段と、ある閾値以下の距離を示した固有空間の物体同士の判別平面を用いて判別して出力する判別手段と、
を有することを特徴とする物体識別装置。 - 前記微分強度方向計算手段において、微分の方向と強さの計算をしない微分方向計算手段を有することを特徴とする請求項１または２に記載の物体識別装置。
- 前記主成分分析手段において、すべての画素の微分方向と強さを１つのベクトルとみなす代わりに、すべての画素の横方向の微分値と縦方向の微分値を１つのベクトルとみなす主成分分析手段を有することを特徴とする請求項１に記載の物体識別装置。
- 前記固有空間距離計算手段において、すべての画素の微分方向と強さを１つのベクトルとみなす代わりに、すべての画素の横方向の微分値と縦方向の微分値を１つのベクトルとみなす固有空間距離計算手段を有することを特徴とする請求項２に記載の物体識別装置。
- 複数の視点から物体を撮影した複数視点画像を用いて物体を登録し、登録された複数の物体を識別する物体識別方法であって、
物体を登録する段階において、各画像の各画素値を光エネルギー量に変換し光エネルギー量に対して対数変換をする対数変換段階と、画像の横方向の微分と縦方向の微分成分を計算して微分の方向と強さを計算する微分強度方向計算段階と、すべての画素の微分方向と強さを１つのベクトルとみなし、１画像を１サンプルとして主成分分析する主成分分析段階と、寄与率の合計が一定以上になる固有空間を構成する固有空間構成段階と、該固有空間を蓄積する手段と、
を有することを特徴とする物体識別方法。 - 複数の視点から物体を撮影した複数視点画像を用いて物体を登録し、登録された複数の物体を識別する物体識別方法であって、
物体を識別する段階において、照合したい入力画像の一部を選択して対象領域を切り出し、変形を加えた画像を生成する変形画像生成段階と、生成された画像の各画素値を光エネルギー量に変換し光エネルギー量に対して対数変換を行う対数変換段階と、画像の横方向の微分と縦方向の微分を計算して微分の方向と強さを計算する微分強度方向計算段階と、すべての画素の微分方向と強さを１つのベクトルとみなし、各物体の固有空間との距離を求める固有空間距離計算段階と、最小の固有空間距離を示す物体を識別結果として出力する出力段階と、
を有することを特徴とする物体識別方法。 - 複数の視点から物体を撮影した複数視点画像を用いて物体を登録し、登録された複数の物体を識別する物体識別方法であって、
物体を登録する段階において、各画像の各画索値を光エネルギー量に変換し光エネルギー量に対して対数変換をする対数変換段階と、画像の横方向の微分と縦方向の微分成分を計算して微分の方向と強さを計算する微分強度方向計算段階と、すべての画素の微分方向と強さを１つのベクトルとみなし、１画像を１サンプルとして主成分分析する主成分分析段階と、寄与率の合計が一定以上になる固有空間を構成するする固有空間構成段階と、作成された固有空間に対し他の物体の固有空間との差を強調して判別する平面を求める判別平面構成段階と、該固有空間および双対空間および判別平面を蓄積する蓄積段階と、
を有することを特徴とする物体識別方法。 - 複数の視点から物体を撮影した複数視点画像を用いて物体を登録し、登録された複数の物体を識別する物体識別方法であって、
物体を識別する段階において、照合したい入力画像の一部を選択して対象領域を切り出し、変形を加えた画像を生成する変形画像生成段階と、生成された画像の各画素値を光エネルギー量に変換し光エネルギー量に対して対数変換を行う対数変換段階と、画像の横方向の微分と縦方向の微分を計算して微分の方向と強さを計算する微分強度方向計算段階と、すべての画素の微分方向と強さを１つのベクトルとみなし、各物体の固有空間との距離を求める固有空間距離計算段階と、ある閾値以下の距離を示した固有空間の物体同士の判別平面を用いて判別して出力する判別段階と、
を有することを特徴とする物体識別方法。 - 前記微分強度方向計算段階において、微分の方向と強さの計算をしない微分方向計算段階を有することを特徴とする請求項８または９に記載の物体識別方法。
- 前記主成分分析段階において、すべての画素の微分方向と強さを１つのベクトルとみなす代わりに、すべての画素の横方向の微分値と縦方向の微分値を１つのベクトルとみなす主成分分析段階を有することを特徴とする請求項８に記載の物体識別方法。
- 前記固有空間距離計算段階において、すべての画素の微分方向と強さを１つのベクトルとみなす代わりに、すべての画素の横方向の微分値と縦方向の微分値を１つのベクトルとみなす固有空間距離計算段階を有することを特徴とする請求項９に記載の物体識別方法。
- 請求項８〜１４のいずれか１項の物体識別方法を、コンピュータで実行可能に構成したことを特徴とする物体識別方法のプログラム。
- 請求項８〜１４のいずれか１項の物体識別方法を、コンピュータで実行可能に構成したプログラムを記録したことを特徴とする記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002312686A JP4050587B2 (ja) | 2002-10-28 | 2002-10-28 | 物体識別装置、物体識別方法、この方法のプログラム、およびこのプログラムを記録した記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002312686A JP4050587B2 (ja) | 2002-10-28 | 2002-10-28 | 物体識別装置、物体識別方法、この方法のプログラム、およびこのプログラムを記録した記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004145818A true JP2004145818A (ja) | 2004-05-20 |
| JP4050587B2 JP4050587B2 (ja) | 2008-02-20 |
Family
ID=32457513
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002312686A Expired - Lifetime JP4050587B2 (ja) | 2002-10-28 | 2002-10-28 | 物体識別装置、物体識別方法、この方法のプログラム、およびこのプログラムを記録した記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4050587B2 (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007052665A (ja) * | 2005-08-18 | 2007-03-01 | Kyushu Institute Of Technology | 固有空間を用いた動体の動作判別方法 |
| JP2008165581A (ja) * | 2006-12-28 | 2008-07-17 | Kyushu Institute Of Technology | 動体の動作判別方法 |
| JP2008165580A (ja) * | 2006-12-28 | 2008-07-17 | Kyushu Institute Of Technology | モーションキャプチャ方法 |
-
2002
- 2002-10-28 JP JP2002312686A patent/JP4050587B2/ja not_active Expired - Lifetime
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007052665A (ja) * | 2005-08-18 | 2007-03-01 | Kyushu Institute Of Technology | 固有空間を用いた動体の動作判別方法 |
| JP2008165581A (ja) * | 2006-12-28 | 2008-07-17 | Kyushu Institute Of Technology | 動体の動作判別方法 |
| JP2008165580A (ja) * | 2006-12-28 | 2008-07-17 | Kyushu Institute Of Technology | モーションキャプチャ方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4050587B2 (ja) | 2008-02-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4838532B2 (ja) | マルチスケールの有向パッチ（ｍｕｌｔｉ−ｓｃａｌｅｏｒｉｅｎｔｅｄｐａｔｃｈｅｓ）を使用したマルチ画像特徴（ｆｅａｔｕｒｅ）のマッチング | |
| KR101833953B1 (ko) | 이미지들을 비교하는 방법 및 시스템 | |
| CN104919794B (zh) | 用于从主从式相机跟踪系统提取元数据的方法和系统 | |
| JP5183392B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
| JP4348353B2 (ja) | パターン認識装置，パターン認識方法及びその方法を実現したプログラムを格納した記録媒体 | |
| JP4770960B2 (ja) | 画像検索システム及び画像検索方法 | |
| JP5261501B2 (ja) | 不変の視覚場面及び物体の認識 | |
| KR20050017117A (ko) | 3차원 물체 모델을 사용한 화상 대조 시스템, 화상 대조방법 및 화상 대조 프로그램 | |
| CN109063776B (zh) | 图像再识别网络训练方法、装置和图像再识别方法及装置 | |
| EP3093822B1 (en) | Displaying a target object imaged in a moving picture | |
| KR20130120175A (ko) | 캐리커처 자동 생성 장치, 방법 및 컴퓨터 판독 가능한 기록 매체 | |
| US10891740B2 (en) | Moving object tracking apparatus, moving object tracking method, and computer program product | |
| Qi et al. | High-quality entity segmentation | |
| Hofmann et al. | Efficiently annotating object images with absolute size information using mobile devices | |
| JP5791361B2 (ja) | パターン識別装置、パターン識別方法およびプログラム | |
| CN112766348A (zh) | 一种基于对抗神经网络生成样本数据的方法以及装置 | |
| JP2004145818A (ja) | 物体識別装置、物体識別方法、この方法のプログラム、およびこのプログラムを記録した記録媒体 | |
| JP6218237B2 (ja) | 撮影画像を平行化する画像変換プログラム、装置及び方法 | |
| JP6650829B2 (ja) | 画像検索装置、方法、及びプログラム | |
| JP2013238987A (ja) | 情報表示装置、情報入力装置、情報表示プログラム及び情報入力プログラム | |
| JP6950376B2 (ja) | 画像処理装置、訓練画像処理装置、画像識別装置、訓練画像処理方法、画像識別方法、及びプログラム | |
| JP2016085694A (ja) | 画像処理装置及びその制御方法、プログラム | |
| JP7369247B2 (ja) | 情報処理装置、情報処理方法およびプログラム | |
| JP2006059284A (ja) | 物体識別装置、物体識別方法、およびこの方法のプログラム | |
| JP2004318627A (ja) | 物体識別装置、方法、プログラムおよびプログラムを記録した媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050121 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070820 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070911 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071102 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20071127 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20071129 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4050587 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101207 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101207 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111207 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111207 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121207 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121207 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131207 Year of fee payment: 6 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| EXPY | Cancellation because of completion of term |