JP2005004612A - 画像認識装置 - Google Patents

Abstract

【課題】認識対象をより好適に認識することのできる画像認識装置を提供する。
【解決手段】画像入力部１から取り込まれる入力画像とモデル特徴記憶装置４に記憶されているモデルとについて、これらを分割した各部分領域の類似度が部分領域類似度算出装置５にて算出される。詳しくは、入力画像の所定の部分領域と該所定の部分領域に近接する部分領域との相対的な幾何学特性と、モデルについての所定の部分領域と該所定の部分領域に近接する部分領域との相対的な幾何学特性との類似度が算出される。そして、認識部７では、この類似度の算出結果に基づいてモデルの表記する物体と入力画像とが一致するか否かを認識する。
【選択図】 図１

Description

【０００１】
【発明の属する技術分野】
本発明は、認識対象となる画像から抽出された輪郭及び該輪郭によって複数に分割された部分領域と、特定の物体の分割された領域である部分領域及びそれら各部分領域間の結合関係を示すモデルとに基づき、認識対象と物体とが一致するか否かを認識する画像認識装置に関する。
【０００２】
【従来の技術】
画像認識技術の分野においては、物体についてのモデルと画像から抽出された特徴との間のマッチングに基づき画像を認識するモデルベーストビジョンが周知である。このモデルベーストビジョンとしては、物体を部分的な特徴とその結合関係としてモデル化し、そのモデルを使って物体を認識するものがある（特許文献１）。このように複数の部分特徴に分割されたモデルを用い、画像から抽出された部分特徴とモデルの部分特徴との対応関係の決定に基づいて画像を認識することができる。
【０００３】
ここで、画像から抽出された部分特徴とモデルの部分特徴との対応関係を決定するパターンマッチングを行う技術としては、例えば下記非特許文献１に見られるように、ニューラルネットワークを用いたものがある。すなわち、生態における形態視機能の基本単位となるコラム構造をニューラルネットワークにより構成し、画像中の複数の部分特徴のそれぞれに反応する層により抽出された部分特徴に基づき画像を認識する。この手法によれば、顔画像についての様々なバリエーションに対し、「８０％」以上の精度で顔となる領域を正しく抽出することができる。
【０００４】
【特許文献１】
特開平８−２１２３２９号公報
【非特許文献１】
丹内 哲也、萩原 将文、「形態視系の情報処理に基づく多重構造ニューラルネットワーク」、電子情報通信学会論文誌、Ｄ−ＩＩ、Ｎｏ．４ ｐｐ６９４−７０２、１９９９年４月
【０００５】
【発明が解決しようとする課題】
ところで、上記文献のニューラルネットワークを用いた手法では、大きさに対して２割程度の変化しか許容せず、画像の大きさの変化に対するロバスト性が低いという問題がある。また、ニューラルネットワークでは、最適な解を学習によって求めることが困難であり、最適な解から離間した解を学習しやすいという問題もある。更に、ニューラルネットワークでは、所望とする入力と出力との関係を学習させるものであり、ネットワーク内部の処理についてはブラックボックスとなるため、動きや変化などの情報をシステム設計者の意図に併せて設計することは困難となる。
【０００６】
本発明は、こうした実情に鑑みてなされたものであり、その目的は、認識対象をより好適に認識することのできる画像認識装置を提供することにある。
【０００７】
【課題を解決するための手段】
こうした目的を達成すべく、請求項１記載の画像認識装置では、前記物体と前記認識対象とが一致するか否かを認識するに際し、前記認識対象の所定の部分領域と該所定の部分領域に近接する部分領域との相対的な幾何学特性と、前記モデルについての所定の部分領域と該所定の部分領域に近接する部分領域との相対的な幾何学特性とに基づいて前記モデルの所定の部分領域と前記認識対象の所定の部分領域との類似度を求め、該求めた類似度に基づいて前記物体と前記認識対象とが一致するか否かを認識する認識手段を備えるようにした。
【０００８】
このように物体と認識対象とが一致するか否かを認識するに際し、モデルと認識対象との部分領域同士の類似度を求めるようにすることで、モデルと認識対象との類似度を直接的に求める場合と比較して演算負荷を低減することができる。また、この際、所定の部分領域と該所定の部分領域に近接する部分領域との相対的な幾何学特性を用いるため、画像の傾きや測定距離の変化等による認識対象の回転や大きさの変化等に対するロバスト性を確保することができる。したがって、認識対象と物体との一致、不一致の認識についても画像の傾きや測定距離の変化等による認識対象の回転や大きさの変化等に対するロバスト性を確保することができる。したがって、上記構成によれば、認識対象をより好適に認識することができるようになる。
【０００９】
また、請求項２記載の画像認識装置では、前記類似度に基づいて前記物体と前記認識対象とが一致するか否かを認識する基準にかかるデータが、明確に指定された記憶領域に記憶されてなるようにした。
【００１０】
これにより、上記類似度に基づいて物体と認識対象とが一致するか否かを認識する際の基準を、特定の物体の変形に対する該物体の所定の部分領域と該所定の部分領域に近接する部分領域との相対的な幾何学特性の変化に基づいて任意に設定することができる。このため、ニューラルネットワークの学習による場合と比較して、上記基準を設計者の意図に併せて簡易に設定することができるようになる。
【００１１】
また、請求項３記載の画像認識装置では、前記認識手段が、前記認識対象の各部分領域とこれに近接する任意の部分領域との相対的な幾何学特性のうち、前記モデルの各部分領域とこれに近接する予め定められた部分領域との相対的な幾何学特性のそれぞれと類似度の高い複数の候補をそれぞれ抽出し、前記モデルの各部分領域のそれぞれについての前記複数の候補のいずれか１つずつからなる各部分領域間の前記幾何学特性と、前記モデルの各部分領域間の前記幾何学特性との類似度に基づいて前記物体と前記認識対象とが一致するか否かを認識するようにした。
【００１２】
これにより、複数の候補の数を適宜制限することで、物体と認識対象とが一致するか否かを認識する際に用いる類似度の算出量を低減させることができるようになる。
【００１３】
また、請求項４記載の画像認識装置では、前記認識手段が、前記モデルの部分領域のうちの一部について、これらと類似度の高い前記認識対象の部分領域の複数の候補をそれぞれ抽出する処理と、前記モデルの残りの部分領域と対応する前記認識対象の部分領域を前記抽出された候補に基づいて推論するとともに、該推論によって取得された部分領域について該部分領域とこれに近接する部分領域との相対的な幾何学特性と、前記取得された部分領域に対応する前記モデルの部分領域とこれに近接する部分領域との相対的な幾何学特性との類似度を求める処理とを行うようにした。
【００１４】
上記構成では、「モデルの部分領域の一部」の数や、「複数の候補」の数を適宜制限することで、物体と認識対象とが一致するか否かを認識する際に用いる類似度の算出量を低減させることができるようになる。
【００１５】
また、請求項５記載の画像認識装置では、前記相対的な幾何学特性が、所定の部分領域と該所定の部分領域に近接する部分領域との間の距離、及びこれらの間の大小関係、及びこれらの間を結ぶ線と予め定められた基準となる線との間の角度の少なくとも１つに関するものを含むようにした。
【００１６】
これにより、上記相対的な幾何学特性を簡易に定量化することができるようになる。
また、請求項６記載の画像認識装置では、前記類似度が、複数の相対的な幾何学特性のそれぞれについての類似度を定量化した値毎に所定の重みを付加したものの和として求められるようにした。
【００１７】
このように複数の相対的な幾何学特性を用いることで、類似度をより信頼性の高い値として定量化することができるようになる。しかも、この際、各相対的な幾何学特性毎に所定の重みを付加することで、物体の変形に対する物体の所定の部分領域と該所定の部分領域に近接する部分領域との相対的な幾何学特性の変化度合いが、各特性毎に異なる場合であれ、これを適切に反映させることができるようになる。
【００１８】
また、請求項７記載の画像認識装置では、前記所定の重みが、明確に指定された記憶領域に記憶されてなるようにした。
これにより、所定の重みを、特定の物体の変形に対する該物体の所定の部分領域と該所定の部分領域に近接する部分領域との相対的な幾何学特性毎の変化度合いに基づいて任意に設定することができるようになる。このように上記重みを任意に設定することができるために、換言すればニューラルネットワークの学習によらず設定するために、物体と認識対象とが一致するか否かを認識する基準を設計者の意図に併せて簡易に設定することができるようになる。
【００１９】
また、請求項８記載の画像認識装置では、前記認識手段によって求められた前記モデルの部分領域と前記認識対象の部分領域との類似度に基づき、前記画像から抽出された輪郭及び該輪郭によって複数に分割された部分領域の少なくとも一方を変更する手段を更に備えるようにした。
【００２０】
モデルの部分領域と前記認識対象の部分領域との類似度が低い場合、物体と認識対象とが一致しない可能性の他、認識対象となる物体から抽出された輪郭や同輪郭による物体の部分領域への分割態様が不適切な可能性もある。
【００２１】
この点、上記構成では、画像から抽出された輪郭及び該輪郭によって複数に分割された部分領域の少なくとも一方を変更する手段を備えることで、物体と認識対象とが一致するか否かの認識をより高精度に行うことができるようになる。
【００２２】
また、請求項９記載の画像認識装置では、前記認識手段が、前記モデルの部分領域と前記認識対象の部分領域との類似度を、これら部分領域が互いに一致する旨を示す同一、該部分領域が互いに相違する旨を示す不一致、該部分領域が互いに一致するか不一致であるかを判断できない旨を示す不定、該部分領域が互いに一致するか否かの判断を保留する旨を示す保留の４段階に区分する機能を有するようにした。
【００２３】
これにより、認識対象が特性の物体に一致するか否かの認識を行う際、これらの部分領域毎の類似度について同一、不一致、不定、保留の４段階の情報を用いることができ、上記認識にかかる処理の自由度を向上させることができるようになる。また、同一、不一致、不定、保留の４段階の情報を外部に出力可能とするなら、部分領域の類似度について詳細な情報を外部に提供することもできる。
【００２４】
また、請求項１０記載の画像認識装置では、前記認識手段が、所定の部分領域について前記保留である旨判断するとき、前記モデルの他の部分領域と前記認識対象の他の部分領域との類似度に基づいて前記保留とされている部分領域が互いに一致するか否かを判断するようにした。
【００２５】
特定の物体を構成する所定の部分領域は、同物体内の他の部分領域とその幾何学的な配置が略固定されている等、同他の部分領域と相関を有する。
この点、上記構成では、所定の部分領域について保留である旨判断された場合であれ、この所定の部分領域同士が一致するか否かを判断することができるようになる。
【００２６】
また、請求項１１記載の画像認識装置では、前記認識手段が、前記保留である旨判断したとき、対応する前記モデルの部分領域を複数の領域に分割した詳細な部分領域と、対応する前記認識対象の部分領域を複数の領域に分割した詳細な部分領域とについての前記相対的な幾何学特性の類似度を求めることで、前記保留とした部分領域同士の類似度を再度求めるようにした。
【００２７】
部分領域は、これを複数の領域に分割した詳細な部分領域に関する情報を有する場合、各詳細な部分領域についても上記相対的な幾何学特性を利用してこれを特定することが可能となる。
【００２８】
この点、上記構成では、保留である旨判断された部分領域についても、その内部情報（詳細な部分領域）を用いることで、保留と判断された部分領域同士が一致するか否かを判断することができるようになる。
【００２９】
なお、請求項１１記載の画像認識装置は、請求項１２記載の画像認識装置によるように、前記認識手段が、前記分割した詳細な部分領域の類似度を求めた結果、更に保留と判断されるときには、前記分割の対象となった部分領域の類似度の判断を不定とするようにしてもよい。
【００３０】
これにより、上記詳細な部分領域を再度分割し、これを用いて再度類似度を算出する等の処理を回避することができる。
また、請求項１３記載の画像認識装置では、前記認識手段が、前記モデルと前記認識対象とが一致するか否かの認識を、これらが互いに一致する旨を示す同一、これらが互いに相違する旨を示す不一致、これらが互いに一致するか不一致であるかを判断できない旨を示す不定、これらが互いに一致するか否かの判断を保留する旨を示す保留の４段階に区分する機能を有するようにした。
【００３１】
これにより、認識対象が特性の物体に一致するか否かを認識するに際し、同一、不一致、不定、保留の４段階の情報を用いることができ、上記認識にかかる処理の自由度を向上させることができるようになる。
【００３２】
また、請求項１４記載の画像認識装置では、前記特定の物体の周囲の物体及びこれら特定の物体と周囲の物体との結合関係を示す上位モデルを更に備え、前記認識手段が、前記モデルと前記認識対象とが一致するか否かの判断を保留したとき、前記認識対象及びその周囲の対象との相対的な幾何学特性と、前記上位モデル内における前記モデルの相対的な幾何学特性とに基づいて前記モデルと前記認識対象とが一致するか否かを再度認識するようにした。
【００３３】
特定の物体が更に大きな物体の一部である場合、この大きな物体内における特定の物体の幾何学的な配置が略固定されている等、大きな物体内の他の物体と特定の物体とは相関を有する。
【００３４】
この点、上記構成では、モデルと認識対象とが一致するか否かの判断を保留した場合であれ、これらが一致するか否かを判断することができるようになる。
なお、請求項１４記載の画像認識装置は、請求項１５記載の画像認識装置によるように、前記認識手段は、前記再度の認識の結果、前記モデルと前記認識対象とが一致するか否かの認識が保留となったときには、前記認識対象と前記モデルとの関係ついて不定である旨判断するようにしてもよい。
【００３５】
これにより、上記上位モデルの更に上位モデルを用いて、再度類似度を算出する等の処理を回避することができる。
【００３６】
【発明の実施の形態】
（第１の実施形態）
以下、本発明にかかる画像認識装置を具体化した第１の実施形態を図面を参照しつつ説明する。
【００３７】
図１に、本実施形態にかかる画像認識装置の全体構成を示す。
画像入力部１は、ＣＣＤカメラ等から構成されており、外部にある観測対象を観測する部分である。領域分割・領域抽出装置２は、画像入力部１から出力される画像データに対し例えばエッジ検出等を行うことで、観測対象の輪郭を抽出する。更に、領域分割・領域抽出装置２は、抽出された輪郭によって複数に分割された画像データについての部分領域を抽出する。
【００３８】
こうして抽出された部分領域にかかるデータは、入力画像特徴保持装置３にて記憶保持される。
これに対し、モデル特徴記憶装置４は、特定の物体についてのモデルのうち、同モデルの分割された領域である部分領域毎にその形状、大きさ、位置等の特徴にかかるデータを記憶保持する装置である。ちなみに、上記モデルとして、顔を例とした場合の部分領域特徴記憶装置５に記憶される情報は、図２に例示するようなものとなる。すなわち、図２（ａ）に示す顔のモデルについて、図２（ｂ）に示すように、形状、大きさ、配置態様（座標）等の特徴にかかるデータが保持されることとなる。
【００３９】
なお、こうしてモデルの表現手法としては、一般化円筒表現やワイヤフレーム表現等を用いてもよい。また、モデルの獲得手法としては、ＣＡＤデータの流用や、レンジファインダ等の利用、複数枚の２次元画像からモデルを獲得する手法等をもちいてもよい。
【００４０】
一方、部分領域類似度算出装置５では、モデル及び入力画像にかかる部分領域同士の類似度を算出する。すなわち、例えば入力画像が人間の顔と一致するか否かを認識する場合、モデルの顔についての部分領域である目、鼻、口等に対応する部分領域と上記入力画像の部分領域との類似度が算出される。
【００４１】
領域集合情報類似度算出装置６は、部分領域類似度算出装置５によって算出されたモデルの各部分領域と入力画像の各部分領域との類似度に基づき、これらモデルと入力画像との類似度を算出する装置である。
【００４２】
認識部７は、領域集合情報類似度算出装置６によって算出された類似度に基づき、入力画像とモデルの示す物体とが一致するか否かを認識する部分である。
上記構成により、本実施形態では、認識対象となる画像から抽出された輪郭及び該輪郭によって複数に分割された部分領域と、特定の物体の分割された領域である部分領域及びそれら各部分領域間の結合関係を示すモデルとに基づき、認識対象と物体とが一致するか否かを認識する。そしてこの際、モデルと入力画像との部分領域同士の類似度を求めるようにすることで、モデルと入力画像との類似度を直接的に求める場合と比較して演算負荷の低減を図る。
【００４３】
更に、本実施形態では、モデルの部分領域と入力画像の部分領域との類似度の算出を、これら部分領域と同部分領域に近接する部分領域との相対的な幾何学特性に基づいて行うようにする。これにより、画像の傾きや測定距離の変化等による認識対象の大きさの変化や回転等に対するロバスト性を確保することができる。
【００４４】
すなわち例えば、図３（ａ）に示す部材Ｌ１〜Ｌ３と図３（ｂ）に示す部材Ｓ１〜Ｓ３とは相似な図形であり、これら部材Ｌ１〜Ｌ３間の相対的な幾何学特性と、部材Ｓ１〜Ｓ３間の相対的な幾何学特性とは不変である。すなわち、例えば部材Ｌ１とＬ２との大きさの比率と、部材Ｓ１と部材Ｓ２との大きさの比率とは保存される。したがって、認識対象と物体との一致、不一致の認識についても画像の傾きや測定距離の変化等による認識対象の大きさの変化や回転等に対するロバスト性を確保することができる。
【００４５】
次に、こうした類似度の算出処理や、こうして求められた類似度に基づく入力画像と物体とが一致するか否かを認識する処理について詳細に説明する。
図４に、上記部分領域類似度算出装置５や、領域集合情報類似度算出装置６の行う処理の手順を示す。
【００４６】
図４に示すように、この一連の処理においては、まずステップ１００において、入力画像のＮ個の部分領域のそれぞれについて、任意のＬ個の部分領域との相対的な幾何学特性と、モデルの各部分領域と関連する部分領域（Ｌ個）との相対的な幾何学特性との類似度を算出する。
【００４７】
そして、上記幾何学特性として、本実施形態では、これらの間の大きさの比と、これらの間の距離と、これらを結ぶ線と予め定められた基準となる線とのなす角度とを用いる。そして、更に、本実施形態では、これら相対的な幾何学特性に加えて、モデルの部分領域と入力画像の部分領域との形状の類似度を考慮する。
【００４８】
そして、上記大きさ、距離、角度にかかる相対的な幾何学特性の類似度と、形状の類似度とのそれぞれの定量化された値に所定の重みが付加されたものの和として上記類似度を定量化する。すなわち、上記大きさ、距離、角度、形状にかかる類似度の定量値をそれぞれＳｉｚｅ、Ｌｅｎｇｔｈ、Ａｎｇｌｅ、Ｓｈａｐｅとし、これらに付加される重みをそれぞれα、β、γ、ζ、とすると、定量化された上記類似度Ｓｉｍｉｌａｒｉｔｙは、下式（１）となる。
【００４９】
Ｓｉｍｉｌａｒｉｔｙ
＝αＳｉｚｅ＋βＬｅｎｇｔｈ＋γＡｎｇｌｅ＋ζＳｈａｐｅ …（１）
ここで、相対的な幾何学特性の類似度を示すＳｉｚｅ、Ｌｅｎｇｔｈについては、本実施形態では、相関関数を用いて定量化する。すなわち、モデル及び入力画像の部分領域の幾何学特性の定量値をそれぞれＭＱ（ｉ）、ＮＱ（ｉ）とし、上記各定量値の平均をそれぞれＡＭＱ及びＡＮＱ、分散をＶＭＱ及びＶＮＱとすると、類似度Ｓは、下式（２）となる。
【００５０】
【数１】

ちなみに、上式（２）において、ＭＱ（ｉ）やＮＱ（ｉ）には、大きさ、距離にかかる定量値が代入される。
【００５１】
ここで、各部分領域との相対的な幾何学特性を求める対象とする部分領域の数をＬ＝３と例示し、入力画像の中に顔と一致する部分があるか否かを認識する場合を例にとって、図５に基づき上記相対的な幾何学特性の類似度の算出態様について説明する。
【００５２】
図５（ａ）には、上記モデル特徴記憶装置４の記憶する顔に関するデータを示す。ここで、顔を示すモデルの部分領域は、眉を示す部分領域Ｍ１、Ｍ２と、目を示す部分領域Ｍ３、Ｍ４と、鼻を示す部分領域Ｍ５と、口を示す部分領域Ｍ６とからなる。モデルの各部分領域と関連する部分領域との相対的な幾何学特性とは、例えば目を示す部分領域Ｍ３と関連する部分領域Ｍ１、Ｍ２、Ｍ４との相対的な幾何学特性等を意味する。そして、この際、各部分領域と関連する部分領域については、上式（２）において加算される順番も一義的に決定しておく。
【００５３】
また図５（ｂ）には、上記領域分割・領域抽出装置２により輪郭及び部分領域の抽出された入力画像を示す。ここでは、眉を示す部分領域Ｎ１、Ｎ２と、目を示す部分領域Ｎ３、Ｎ４と、鼻を示す部分領域Ｎ５と、口を示す部分領域Ｎ６とに加えて、耳を示す部分領域Ｎ７、Ｎ８と、首を示す部分領域Ｎ９と、腕を示す部分領域Ｎ１０、Ｎ１１とを有する。
【００５４】
ここで、入力画像の各部分領域と任意の３個の部分領域との相対的な幾何学特性とは、例えば部分領域Ｎ４については、これと部分領域Ｎ１、Ｎ２、Ｎ３との相対的な幾何学特性や、部分領域Ｎ１、Ｎ２、Ｎ５との相対的な幾何学特性等、「_１０Ｐ_３」通りの幾何学特性となる。ちなみに、任意の３つの部分領域が決定されても、上式（２）に加算される順番がそれぞれ「_３Ｐ_３」通りずつある。これは、所定の部分領域とこれに近接する部分領域との相対的な幾何学特性には、上記近接する部分領域についてもモデル及び入力画像間での対応関係が反映されるためである。そして、入力画像の各部分領域について任意の３つの部分領域との相対的な幾何学特性を算出することで、合計「１１×_１０Ｐ_３＝_１１Ｐ_３」通りの幾何学特性を考慮することとなる。
【００５５】
そして、これら「_１１Ｐ_３」通りの幾何学特性と、モデルの各部分領域と関連する部分領域との相対的な幾何学特性（６通り）との類似度をそれぞれ求める。ここで求められる類似度のうち、大きさ、距離にかかる類似度がそれぞれ上式（１）におけるＳｉｚｅ、Ｌｅｎｇｔｈとなる。
【００５６】
また、相対的な幾何学特性の類似度の定量値としてのＡｎｇｌｅについては、本実施形態では、以下に示す評価式で定量化する。
モデル及び入力画像の部分領域のそれぞれの相対角度（所定の部分領域を中心としたときこれと関連する部分領域とを結ぶ直線と上記基準となる線との間の角度：０〜２π）の定量値をそれぞれＭＡＱ（ｉ）、ＮＡＱ（ｉ）とすると、類似度Ｓは、下式（３）となる。
【００５７】
【数２】

上式（３）において、ＭＡＱ（１）及びＮＡＱ（１）は、所定の部分領域についてこれと相対的な幾何学特性を求める対象とする部分領域のうちの１つとの相対的な角度にかかる定量値であり、ＭＡＱ（１）とＮＡＱ（１）とでそれぞれ対応する部分領域となるように設定されている。すなわち、例えば所定の部分領域を先の図５（ａ）に示した目を示す部分領域Ｍ３、Ｎ３とすると、ＭＡＱ（１）とＮＡＱ（１）を算出する際に用いる部分領域は、例えば鼻を示す部分領域Ｍ５、Ｎ５とするというように入力画像とモデルとで同一の部分領域となるようにする。
【００５８】
また、ＭＡＱ（ｉ）、ＮＡＱ（ｉ）は、所定の部分領域についてこれと相対的な幾何学特性を求める対象とする部分領域のうち、上記ＭＡＱ（１）、ＮＡＱ（１）の算出に用いられていない部分領域との相対的な角度にかかる定量値を示す。ちなみに、上式（３）においても、ＭＡＱ（ｉ）とＮＡＱ（ｉ）（ｉ＝２〜Ｌ）が同じ集合であっても、これらが異なる順番で和をとる場合には、異なる幾何学的特性を示すものとなる。
【００５９】
また、上式（３）におけるＫ（Ａ、Ｂ）は、所定の部分領域とこれに関連する第１の部分領域とを結ぶ直線と、同所定の部分領域とこれに関連する第２の部分領域とを結ぶ直線とのなす角度にかかる定量値である。ちなみに、Ｋについて場合分けがなされているのは、なす角度の絶対値のみを相対的な角度として考慮するためである。
【００６０】
このように、上式（３）においては、入力画像とモデルとについて、所定の部分領域と関連する部分領域との相対的な角度の定量値の偏差を算出することで、これらの相対的な角度に関する特性を定量化している。なお、上式（３）において、関数Ｐを用いているのは、上記相対的な角度の偏差が例えば「１５°」と「３４５°」となるものは互いに類似した幾何学特性を有すると考えられるためである。
【００６１】
そして、上記各相対的な幾何学特性に入力画像の部分領域とモデルの部分領域との形状の類似度Ｓｈａｐｅを加味することで、上式（１）により、入力画像の部分領域とモデルの部分領域との類似度を算出する。ちなみに、ここで形状の類似度については、例えば多角形に関しては各辺の比に基づいて定量化する等、相似な図形を同一とした上で形状自体を適宜定量化する手法を用いる。なお、この形状の類似度については、モデルの部分領域と入力画像の部分領域とによって値が１つに定まるため、各部分領域についての上記「_１０Ｐ_３」通りの幾何学特性の類似度について共通の値を用いて上記Ｓｉｍｉｌａｒｉｔｙを求める。
【００６２】
こうして、上式（１）に基づき、画像入力の各部分領域とこれに近接する任意の部分領域との相対的な幾何学特性と、モデルの各部分領域とこれに近接する予め定められた部分領域との相対的な幾何学特性のそれぞれとの類似度を算出すると、ステップ１１０に移行する。
【００６３】
ステップ１１０では、入力画像の各部分領域とこれに近接する任意の部分領域との相対的な幾何学特性のうち、モデルの各部分領域とこれに近接する予め定められた部分領域との相対的な幾何学特性のそれぞれと類似度の高い複数の候補をそれぞれ抽出する。すなわち、上記ステップ１００において算出された「_１１Ｐ_３」通りの類似度（Ｓｉｍｉｌａｒｉｔｙ）の中から、モデルの各部分領域毎に、これと類似度の高い上位Ｒ個ずつの候補を抽出する。
【００６４】
更に、ステップ１２０では、ステップ１１０において抽出された候補について、モデルの各部分領域と類似度の高い入力画像のＲ個の部分領域の中から１つずつを取り出した「Ｒ^６」個の組について、これらの相対的な幾何学特性とモデルの各部分領域の相対的な幾何学特性との類似度を算出する。詳しくは、ここでは、上記ステップ１００において算出された６個の類似度（Ｓｉｍｉｌａｒｉｔｙ）の平均として算出する。
【００６５】
こうして先の図１に示した領域集合情報類似度算出装置６において上記ステップ１２０の処理が終了すると、先の図１に示した認識部７においてステップ１２０の処理結果に基づき、入力画像の中にモデルと一致する部分があるか否かを認識する。
【００６６】
ちなみに、先の図５に示した例については、ステップ１２０によって算出された最も類似度の高いものについての類似度の算出結果は図６に示すものとなった。同図６に示されるように、ここでは、先の図５に示したモデルの部分領域と入力画像の部分領域とが正しく対応付けられている。そして、これら対応付けられた各部分領域同士についての上記ＳｉｚｅやＬｅｎｇｔｈ等の値は、「１」に極めて近い値となっている。そして、上式（１）にて定義されたＳｉｍｉｌａｒｉｔｙについても、各部分領域で極めて「１」に近い値となっており、これらの平均は「０．９８９２８５」となった。
【００６７】
このように、本実施形態によれば、先の図５（ｂ）に例示するように入力画像が傾いたりした場合等においても、相対的な幾何学特性を利用することで認識対象の認識に対するロバスト性を確保することができる。
【００６８】
また、本実施形態では、先の図４に示す態様にて部分領域の特定を行うことで、記号推論の負荷を低減することもできる。すなわち、入力画像及びモデルの部分領域数をそれぞれＮ、Ｍとする場合、部分領域の特定を行う中間層を有しない場合には、「_ＮＰ_Ｍ」のオーダーの類似度の算出処理を必要とするのに対し、本実施形態では、「Ｍ×_ＮＰ_Ｌ＋Ｒ^Ｍ」のオーダーの類似度の算出でよい。このため、上記Ｒを適宜設定することで、演算負荷を好適に低減することができるようになる。
【００６９】
更に、本実施形態では、入力画像とモデルの表記する物体とが一致するか否かを認識する基準を、物体の変形に対する同物体の所定の部分領域と同所定の部分領域に近接する領域との相対的な幾何学特性の変化に基づいて任意に設定することができる。
【００７０】
詳しくは、上式（１）における各重みα、β、γ、ζを、モデルの表記する物体の変形に対する同物体の所定の部分領域と同所定の部分領域に近接する領域との相対的な幾何学特性毎の変化度合いに基づいて任意に設定することができる。これは、上記部分領域類似度算出装置５や領域集合情報類似度算出装置６が先の図１に示すように、類似度を算出する類似度算出部ＳＣと、上記各重みα、β、γ、ζを記憶する明確に指定された記憶領域である重み記憶部ＷＭとを備え構成されるためである。
【００７１】
また、上記ステップ１２０により算出された類似度に基づく上記認識部７による処理の基準についても、上記物体の変形に対する同物体の所定の部分領域と同所定の部分領域に近接する領域との相対的な幾何学特性の変化に基づいて任意に設定することができる。これは、上記認識部７が図１に示すように、一致、不一致を認識する判定部ＪＣと同判定部ＪＣにおいて判定にかかる閾値Ｔｈを記憶する明確に指定された記憶領域である閾値記憶部ＳＭとを備えて構成されているためである。
【００７２】
一方、ニューラルネットワークの学習による場合には、学習が自動的に行われ、ネットワーク内部の処理についてはブラックボックスとなる。このため、入力画像とモデルの表記する物体とが一致するか否かを認識する基準を設計者の意図に併せて簡易に設定することはできない。これに対し、本実施形態では、入力画像とモデルの表記する物体とが一致するか否かを認識するための処理がプログラミングされたものであるため、重みα、β、γ、ζや閾値Ｔｈを設計者の意図に併せて簡易に設定することができる。
【００７３】
以上詳述した本実施形態によれば、以下の効果が得られるようになる。
（１）モデルの部分領域と入力画像の部分領域との類似度の算出を、これら部分領域と同部分領域に近接する部分領域との相対的な幾何学特性に基づいて行った。これにより、画像の傾きや測定距離の変化等による認識対象の大きさの変化や回転等に対するロバスト性を確保することができる。
【００７４】
（２）部分領域の特定を行う中間層を有することで、認識処理にかかる演算負荷を好適に低減することができるようになる。
（３）入力画像とモデルの表記する物体とが一致するか否かを認識する基準を、明確に指定された記憶領域に記憶した。これにより、上記基準を、物体の変形に対する同物体の所定の部分領域と同所定の部分領域に近接する領域との相対的な幾何学特性の変化に基づいて任意に設定することができる。
【００７５】
（４）モデルと認識対象との類似度の定量値を、複数の相対的な幾何学特性のそれぞれについての類似度を定量化した値毎に所定の重みを付加したものの和として求めた。これにより、物体の変形に対する物体の所定の部分領域と該所定の部分領域に近接する部分領域との相対的な幾何学特性の変化度合いが、上記各特性毎に異なる場合であれ、これを適切に反映させることができるようになる。
【００７６】
（第２の実施形態）
次に、本発明にかかる画像認識装置を具体化した第２の実施形態について、上記第１の実施形態との相違点を中心に図面を参照しつつ説明する。
【００７７】
図７に本実施形態において、上記部分領域類似度算出装置５や、領域集合情報類似度算出装置６の行う処理の手順を示す。
この一連の処理に先立ち、まずモデルの部分領域に、予め順位を付与しておく。すなわち、先ほどの図５（ａ）では、例えば部分領域Ｍ１を第１の部分領域、部分領域Ｍ２を第２の部分領域、…というように順位を付与しておく。
【００７８】
そして、ステップ２００においては、モデルの第１、第２の部分領域の相対的な幾何学特性と、入力画像のＮ個の部分領域のうちの任意の２つの部分領域との相対的な幾何学特性との類似度を算出する。すなわち、例えば先の図５に示した例では、モデルの第１、第２の部分領域の相対的な幾何学特性と、入力画像の「_１１Ｐ_２」通りの相対的な幾何学特性との類似度を算出する。ちなみに、上式（２）において加算される順序は、モデルについては上記予め順位と一致させる。また、入力画像については、上式（２）において加算される順序の異なる部分領域の組は異なるものとして扱う。
【００７９】
続くステップ２１０においては、上記入力画像の「_１１Ｐ_２」通りの部分領域の組のうち、類似度の高いＲ個の組を抽出する。ここで、Ｒは、先の第１の実施形態の上記Ｒ同様、演算負荷を低減するために適宜設定する。
【００８０】
一方、ステップ２２０では、モデルの部分領域に上記予め付与された順位に基づき新たに１つの部分領域を付け加えるとともに、入力画像についてのＭ個の組についても任意の１つの部分領域を新たに加える。そして、これら新たに１つずつ部分領域が加えられたものについて相対的な幾何学特性の類似度を算出する。
【００８１】
続くステップ２３０では、上記ステップ２２０において算出された類似度が高いものから順にＲ個の入力画像の部分領域の組を抽出する。更に、ステップ２４０では、モデルの全ての部分領域が抽出されたか否かを判断する。そして、全ての部分領域が抽出されていない場合には、ステップ２２０に戻る。これに対し、全ての部分領域が抽出された場合には、ステップ２５０に移行する。
【００８２】
ステップ２５０では、モデルの全ての部分領域の数に対応した数の部分領域からなる入力画像の部分領域の組の全て（Ｒ個）について、モデルとの類似度を先の図１に示した認識部７に出力する。この認識部７では、入力された類似度の値のうち、一番類似度の高いものと所定の閾値とを比較することで、モデルの表記する物体と入力画像とが一致するか否かを認識する。
【００８３】
こうした態様にて類似度の算出を行う本実施形態によれば、「Ｎ×（Ｎ−１）＋Ｒ×｛（Ｎ−２）＋（Ｎ−３）＋…＋１｝」のオーダーの類似度の算出でよい。このため、上記Ｒを適宜設定することで、演算負荷を好適に低減することができるようになる。
【００８４】
以上説明した本実施形態によっても、先の第１の実施形態の上記（１）〜（４）に準じた効果を得ることができる。
（第３の実施形態）
次に、本発明にかかる画像認識装置を具体化した第３の実施形態について、上記第１の実施形態との相違点を中心に図面を参照しつつ説明する。
【００８５】
本実施形態では、先の図１に示した部分領域類似度算出装置５で算出された類似度に基づいて同図１に示した領域分割・領域抽出装置２における入力画像の輪郭や部分領域への分割態様を変更する。すなわち、例えばエッジ抽出で抽出される入力画像の輪郭が同入力画像の信号強度に基づき行われている場合、エッジ抽出に用いる閾値を上記算出された類似度に基づいて変更するなどすることで、輪郭や部分領域への分割態様を変更する。
【００８６】
これは、モデルの部分領域と入力画像の部分領域との類似度が低い場合、物体と入力画像とが一致しない可能性の他、入力画像となる物体から抽出された輪郭や同輪郭による物体の部分領域への分割態様が不適切な可能性もあるためである。
【００８７】
すなわち、例えば図８（ａ）に示すように、人間についての入力画像においてラインＬが不適切に引かれてしまった場合、これと先の図５（ａ）に示した人間の顔のモデルとの一致を認識することができない。すなわち、この場合、図５（ａ）に示した口を示す部分領域Ｍ６に対応する部分領域が存在しない。そして、口を示す部分領域を含むかたちでボディを示す部分領域Ｎ１２が抽出されている。
【００８８】
こうした場合、本実施形態では、図８（ｂ）に示すようにラインＬを変更する。これにより、口を示す部分領域Ｎ６を抽出することができる。
このように本実施形態では、算出される類似度に基づき画像から抽出された輪郭や該輪郭によって複数に分割された部分領域を変更することで、物体と入力画像とが一致するか否かの認識をより高精度に行うことができるようになる。
【００８９】
以上説明した本実施形態によれば、先の第１の実施形態の上記（１）〜（４）の効果に加えて、更に以下の効果が得られるようになる。
（５）算出される類似度に基づき画像から抽出された輪郭や該輪郭によって複数に分割された部分領域を変更することで、物体と入力画像とが一致するか否かの認識をより高精度に行うことができるようになる。
【００９０】
（第４の実施形態）
次に、本発明にかかる画像認識装置を具体化した第４の実施形態について、上記第１の実施形態との相違点を中心に図面を参照しつつ説明する。
【００９１】
本実施形態では、上記部分領域類似度算出装置５では、算出する類似度を同一、保留、不一致、不定の４段階に区分する機能を有する。また、上記領域集合情報類似度算出装置６及び認識部７では、部分領域類似度算出装置５で算出された類似度に基づいて認識対象とモデルとの類似度を同一、保留、不一致、不定の４段階に区分する機能を有する。そして、部分領域類似度算出装置５や、領域集合情報類似度算出装置６及び認識部７で保留判定がなされる場合には、新たに追加された情報を用いて再度類似度を算出するようにする。
【００９２】
ここで、図９を用いて、部分領域類似度算出装置５で行う処理について更に説明する。
この一連の処理においては、まずステップ３００において、上記部分領域類似度算出装置５で、先の図４に示したステップ１００における処理態様にて算出される類似度Ｓｉｍｉｌａｒｉｔｙを所定値Ａと比較する。この所定値Ａは、モデルの部分領域と入力画像の部分領域とが一致している旨判断できる値に設定される。そして、上記類似度Ｓｉｍｉｌａｒｉｔｙが所定値Ａよりも大きい場合には、ステップ３１０に移行し同一である旨判断した後、この一連の処理を一旦終了する。
【００９３】
なお、上記所定値Ａは、先の図１に示した重み記憶部ＷＭと同様、明確に指定された記憶領域に記憶させる。
これに対し、ステップ３００において上記類似度Ｓｉｍｉｌａｒｉｔｙが所定値Ａ以下であると判断されたときには、ステップ３２０に移行する。このステップ３２０においては、上記類似度Ｓｉｍｉｌａｒｉｔｙが所定値Ｂよりも大きいか否かを判断する。この所定値Ｂは、モデルの部分領域と入力画像の部分領域とが不一致である旨を判断することのできる値に設定されている。そして、上記類似度Ｓｉｍｉｌａｒｉｔｙが所定値Ｂ以下である場合には、ステップ３３０に移行し、不一致である旨判断した後、この一連の処理を一旦終了する。
【００９４】
なお、上記所定値Ｂは、先の図１に示した重み記憶部ＷＭと同様、明確に指定された記憶領域に記憶させる。
これに対し、ステップ３２０において上記類似度Ｓｉｍｉｌａｒｉｔｙが所定値Ｂよりも大きいと判断されると、ステップ３４０において一致するか不一致であるかの判断を保留する旨を示す判定し、ステップ３５０に移行する。このステップ３５０では、今回の保留判定が２回目であるか否かを判断する。そして、２回目でない場合には、ステップ３６０に移行し、今回の類似度の算出に用いた情報に更に情報を追加して類似度を再度算出し、同類似度を再度評価する。
【００９５】
これに対し、ステップ３５０において、保留判定が２回目であると判断されると、換言すれば、ステップ３６０の処理の後、再度保留判定がなされたときには、ステップ３７０において、一致するか不一致であるかを判断することができない旨を示す不定の判定をし、この一連の処理を一旦終了する。
【００９６】
上記ステップ３６０にかかる処理は、例えば次のような処理となる。図１０（ａ）に例示するように、ステップ３４０の処理において保留とされた部分領域Ｎ４（ここでは、左目を示す）について、図１０（ｂ）に示すように、これを更に分割した詳細な部分領域ｎ１〜ｎ３を調べる。すなわち、これら詳細な部分領域ｎ１〜ｎ３のそれぞれと、図１０（ｃ）に示すモデルの部分領域Ｍ４の詳細な部分領域ｍ１〜ｍ３のそれぞれとの類似度を算出する。ここでは、先の図４に示した処理において、入力画像を部分領域Ｎ４とし、モデルを部分領域Ｍ４とすることで、これら部分領域Ｎ４と部分領域Ｍ４との類似度Ｓｉｍｉｌａｒｉｔｙを算出する。
【００９７】
次に、領域集合情報類似度算出装置６において行われる処理について、図１１を参照しつつ説明する。
この一連の処理においては、まずステップ４００において、上記部分領域類似度算出装置５において算出された類似度に基づき、モデルの各部分領域の全てについて、これと類似度が同一又は保留となる部分領域があるか否かを判断する。
【００９８】
そして、ステップ４００において上記判断が肯定の場合、ステップ４１０に移行する。ステップ４１０では、上記部分領域類似度算出装置５において算出された類似度に基づき、モデルの各部分領域との類似度が同一であるものの割合が所定の割合Ｃよりも大きいか否かを判断する。この所定の割合Ｃは、認識対象とモデルの表記する物体とが一致する旨を判断できる値に設定されている。そして、所定の割合Ｃよりも大きいときにはステップ４２０に移行し、認識対象とモデルの表記する物体とが一致する旨を判断し、この一連の処理を一旦終了する。
【００９９】
これに対し、ステップ４１０において、所定の割合Ｃ以下であると判断された場合には、ステップ４３０において、上記部分領域類似度算出装置５において算出された類似度に基づき、モデルの各部分領域との類似度が同一であるものの割合が所定の割合Ｄよりも大きいか否かを判断する。この所定の割合Ｄは、認識対象とモデルの表記する物体とが不一致である旨を判断できる値に設定されている。
【０１００】
一方、ステップ４００の判断が否定である場合、上記部分領域類似度算出装置５において算出された類似度に基づき、モデルの各部分領域との類似度が同一であるものの割合が所定の割合Ｅよりも大きいか否かを判断する。この所定の割合Ｅ（＞Ｃ）は、認識対象とモデルの表記する物体とが一致する旨を判断できる値に設定されている。
【０１０１】
そして、ステップ４３０において所定の割合Ｄ以下であると判断されるときや、ステップ４４０において所定の割合Ｅ以下であると判断されたときには、ステップ４５０において不一致である旨判断し、この一連の処理を一旦終了する。
【０１０２】
一方、ステップ４３０において所定の割合Ｄよりも大きいと判断されたときや、ステップ４４０において所定の割合Ｅよりも大きいと判断されたときには、ステップ４６０において一致するか不一致であるかの判断を保留する旨を示す判定し、ステップ４７０に移行する。このステップ４７０では、今回の保留判定が２回目であるか否かを判断する。そして、２回目でない場合には、ステップ４８０に移行し、今回の類似度の算出に用いた情報に更に情報を追加して類似度を再度算出し、同類似度を再度評価する。
【０１０３】
これに対し、ステップ４７０において、保留判定が２回目であると判断されると、換言すれば、ステップ４８０の処理の後、再度保留判定がなされたときには、ステップ４９０において、一致するか不一致であるかを判断することができない旨を示す不定の判定をし、この一連の処理を一旦終了する。
【０１０４】
上記ステップ４８０にかかる処理は、例えば次のような処理となる。図１２（ａ）に、ステップ４６０の処理において入力画像の顔を示す領域ＮＦと、図１２（ｂ）に示す顔を示すモデルＭＦとが一致するか否かの判断を保留する旨の判断がなされた場合を例示する。すなわち、図１２（ａ）では先の図５（ｂ）に示した左の眉を示す部分領域Ｎ２が抽出されなかったために、領域ＮＦとモデルＭＦとの一致、不一致の判定が保留とされている。
【０１０５】
この場合、顔を示すモデルＭＦについて、更にその周囲にある首を示す部分領域Ｍ９や腕を示す部分領域Ｍ１０、Ｍ１１を含むとともに、これら部分領域Ｍ９〜Ｍ１１とモデルＭＦとの結合関係の定義された上位モデルを考慮する。また、入力画像の顔を示す領域ＮＦの周囲の部分領域である首を示す部分領域Ｎ９や腕を示す部分領域Ｎ１０、Ｎ１１を考慮する。そして、これらモデルＭＦと部分領域Ｍ９〜Ｍ１１との相対的な幾何学特性と、領域ＮＦと部分領域Ｎ９〜Ｎ１１との相対的な幾何学特性との類似度を算出することで、領域ＮＦとモデルＭＦとの類似度を再度算出する。
【０１０６】
以上説明した本実施形態によれば、先の第１の実施形態の上記（１）〜（４）の効果に加えて、更に以下の効果が得られるようになる。
（６）部分領域毎の類似度について同一、不一致、不定、保留の４段階の情報を用いることで、認識にかかる処理の自由度を向上させることができるようになる。
【０１０７】
（７）部分領域について保留判定がなされたとき、同部分領域を複数の領域に分割した詳細な部分領域同士の類似度を求めることで、保留とした部分領域同士が一致するか否かの認識を再度行うことができるようになる。
【０１０８】
（８）分割した詳細な部分領域の類似度を求めた結果、更に保留と判断されるときには、分割の対象となった部分領域の類似度の判断を不定とすることで、詳細な部分領域を再度分割し、これを用いて再度類似度を算出する等の処理を回避することができる。
【０１０９】
（９）モデルと入力画像との類似度について同一、不一致、不定、保留の４段階の情報を用いることで、認識にかかる処理の自由度を向上させることができるようになる。
【０１１０】
（１０）モデルと入力画像とについて保留判定がなされたとき、上位モデル内におけるモデルの相対的な幾何学特性と、入力画像のうち保留とされた部分とその周囲の領域との相対的な幾何学特性との類似度を用いることで、これらの一致、不一致について再度認識することができる。
【０１１１】
（１１）再度の認識の結果、モデルと入力画像とが一致するか否かの認識が保留となったときには、これらの関係ついて不定である旨判断することで、上位モデルの更に上位モデルを用いて再度類似度を算出する等の処理を回避することができる。
【０１１２】
（第５の実施形態）
次に、本発明にかかる画像認識装置を具体化した第５の実施形態について、上記第１の実施形態との相違点を中心に図面を参照しつつ説明する。
【０１１３】
図１３に、本実施形態の画像認識装置の全体構成を示す。
画像入力部１１は、先の図１に示した画像入力部１と同様、ＣＣＤカメラ等から構成されており、外部にある観測対象を観測する部分である。領域分割・領域抽出装置１２は、先の図１に示した領域分割・領域抽出装置２同様、画像入力部１１から出力される画像データに対し例えばエッジ検出等を行うことで、観測対象の輪郭を抽出する。更に、領域分割・領域抽出装置２は、抽出された輪郭によって複数に分割された画像データについての部分領域を抽出する。
【０１１４】
一方、部分領域特徴抽出装置１３では、上記領域分割・領域抽出装置１２で抽出された部分領域毎にその形状、大きさ、位置、輝度、色彩等の特徴を抽出する。
【０１１５】
こうして抽出された部分領域にかかるデータは、部分領域特徴保持装置１４にて記憶保持される。
これに対し、モデル特徴記憶装置１５は、特定の物体についてのモデルのうち、同モデルの分割された領域である部分領域毎にその形状、大きさ、位置等の特徴にかかるデータを記憶保持する装置である。ただし、ここでは、部分領域として、特定の物体のうち他の物体とで共有される代表的な部分特徴のみの特徴にかかるデータが記憶保持されている。そして、例えば猫、犬、人間の顔で共有される目、鼻、口等については、共通の部分領域として同一のデータとなっている。すなわち、これら複数の動物の目や鼻、口については、その形状や互いの相対的な幾何学特性も類似度が高いために、これらの大きさ位置等の幾何学特性や、形状等について複数の動物で共通する値に設定する。
【０１１６】
更に、部分領域対応決定装置１６では、部分領域特徴保持装置１４の保持する入力画像の部分領域の特徴と、部分領域特徴記憶装置１５の保持するモデルの部分領域の特徴とに基づき、これら入力画像の部分領域とモデルの部分領域との対応関係を仮に決定する。ここでは、例えば入力画像から人間の顔を認識する場合、入力画像についての部分領域からボディー、腕、足等から区別された「顔」である可能性が高い部分領域の見積もりを行う。この見積もりにかかる処理は、例えば、上記入力画像の部分領域について、Ｈｏｕｇｈ変換等により形状認識を行い、この形状とモデルの部分領域の形状との類似に基づき行えばよい。
【０１１７】
一方、部分領域類似度算出装置１７では、部分領域対応決定装置１６によって対応付けられた部分領域特徴保持装置１４の保持する部分領域と、部分領域特徴記憶装置１５の保持するモデルの部分領域との類似度を算出する。すなわち、例えば上記部分領域対応決定装置１６において、モデルの顔と入力画像の所定の領域とが対応付けられた場合、モデルの顔となる領域を分割した部分領域である目、鼻、口等に対応する部分領域と上記所定の領域を分割した部分領域との類似度が算出される。
【０１１８】
なお、部分領域類似度算出装置１７での類似度の算出結果に基づき、領域分割・領域抽出装置１２では、先の第２の実施形態同様、抽出する輪郭や部分領域への分割態様を変更するようフィードバック制御を行う。
【０１１９】
こうして算出された部分領域の類似度に関するデータは、部分領域認識結果保持装置１８に記憶保持される。
また、部分領域特徴保持装置１４に保持されるデータのうち、部分領域対応決定装置１６においてモデルと対応付けられたものは、領域集合情報保持装置１９に記憶保持される。
【０１２０】
一方、領域集合情報記憶装置２０は、特定の物体についてのモデルの部分領域についての上記部分領域特徴保持装置１４の保持する情報を特定するデータや、これらの間の結合関係等の特徴にかかるデータを記憶保持する装置である。
【０１２１】
ここで、部分領域特徴保持装置１４の保持する情報を特定するデータとは、部分領域特徴保持装置１４において複数の物体の部分領域で共通化されていた特徴を、各物体毎に異なる厳密な特徴として定量化したものである。例えば、部分領域特徴保持装置１４では複数の動物の顔についての部分領域が共通化されていたものを、各動物毎に厳密な特徴として定量化したデータである。ちなみに、これは、犬、猫、人間等の複数の動物において、目、口、鼻等の形状や、これらの互いの相対的な幾何学特性は大きくは類似しているとはいえ、より細分化、厳密化された基準に従えば各種毎に異なることを利用している。
【０１２２】
また、この領域集合情報記憶装置２０は、各物体が固有に有する部分領域についての特徴にかかるデータも有する。すなわち、例えば複数の動物の顔についての情報において、猫のみに「ひげ」に対応する部分領域を付与する。
【０１２３】
そして、領域集合対応決定装置２１は、領域集合情報記憶装置２０の有する情報に基づいて、認識対象を、モデルの表記する複数の物体のいずれかと対応付ける処理を行う。
【０１２４】
そして、領域集合情報類似度算出装置２２は、上記モデルと認識対象との類似度を算出する装置である。なお、領域集合情報類似度算出装置２２での類似度の算出結果に基づき、領域分割・領域抽出装置１２では、先の第２の実施形態同様、抽出する輪郭や部分領域への分割態様を変更するようフィードバック制御を行う。
【０１２５】
また、領域集合認識結果保持装置２３は、上記領域集合情報類似度算出装置
２２にて算出された類似度に関するデータを記憶保持する装置である。
更に、認識結果照合装置２４は、部分領域認識結果保持装置１８の保持する部分領域の類似度に関するデータと領域集合認識結果保持装置２３の領域集合情報の類似度に関するデータとを照合し、整合性をチェックする装置である。そして、ここでこれら部分領域認識結果保持装置１８及び領域集合認識結果保持装置２３で保持されるデータの整合性に問題が生じるときには、上記部分領域対応決定装置１６や、領域集合対応決定装置２１にその旨をフィードバックする。また、認識結果照合装置２４では、部分領域認識結果保持装置１８及び領域集合認識結果保持装置２３で保持されるデータを認識結果として外部に出力する。
【０１２６】
以上説明した本実施形態によれば、先の第１の実施形態の上記（１）〜（４）の効果や、先の第２の実施形態の上記（５）の効果に加えて、更に以下の効果が得られるようになる。
【０１２７】
（１２）部分領域対応決定装置１６を備えることで、入力画像とモデルとのそれぞれの部分領域の対応関係について、少ない演算量で見積もりを行うことができるため、認識処理にかかる類似度の算出の演算負荷を低減することができる。
【０１２８】
（１３）部分領域特徴保持装置１４において、特定の物体のうち他の物体とで共有される代表的な部分特徴のみの特徴にかかるデータが記憶保持されるようにした。これにより、互いに類似した特徴を有する複数の物体の認識を行う機能を有する場合であれ、同認識にかかる演算負荷を低減することができるようになる。
【０１２９】
なお、上記各実施形態は、以下のように変更して実施してもよい。
・モデルの所定の部分領域とこれに近接する部分領域との相対的な幾何学特性と、入力画像の所定の部分領域とこれに近接する部分領域との相対的な幾何学特性との類似度の定量化手法としては、上式（２）や上式（３）に例示したものに限らない。
【０１３０】
・モデルの部分領域と入力画像の部分領域との類似度の定量化手法としては、上式（１）に例示したものに限らない。
・また、モデルの部分領域と入力画像の部分領域との類似度に基づくこれらモデル及び入力画像の類似度の算出手法としては、先の図４や図７、図１２に例示したものに限らない。例えば、モデルの部分領域のうちの一部について、これらと類似度の高い前記認識対象の部分領域の複数の候補をそれぞれ抽出する処理と、前記モデルの残りの部分領域と対応する前記認識対象の部分領域を前記抽出された候補に基づいて推論する範囲で、図７に示した算出手法を適宜変更してもよい。
【０１３１】
・類似度についての同一、不一致、不定、保留の判断態様や、こうした判定の利用手法についても上記第４の実施形態で例示したものに限らない。例えば先の図４や図７に例示した態様にて類似度の算出をした後、モデルと入力画像とが一致するか否かの判定時にのみこうした４段階の区分を行ってもよい。
【０１３２】
・上記各実施形態やその変形例では、類似度に基づいて特定の物体と認識対象とが一致するか否かを認識する基準にかかるデータを、明確に指定された記憶領域に格納するようにしたが、これに限らない。モデルの所定の部分領域とこれに近接する部分領域との相対的な幾何学特性と、入力画像の所定の部分領域とこれに近接する部分領域との相対的な幾何学特性との類似度に基づく認識にかかる上記基準を、例えばニューラルネットワークによる学習によって取得するようにしてもよい。この場合であれ、例えば先の第１の実施形態の上記（１）の効果を得ることはできる。
【０１３３】
・物体と認識対象とが一致するか否かを認識する認識手段としては、上記各実施形態等で例示した相対的な幾何学特性に基づいてモデルの所定の部分領域と前記認識対象の所定の部分領域との類似度を求め、該求めた類似度に基づいて上記認識を行う範囲で適宜変更してよい。
【図面の簡単な説明】
【図１】本発明にかかる画像認識装置の第１の実施形態の全体構成を示すブロック図。
【図２】同実施形態におけるモデルに関するデータを示す図。
【図３】互いに相似な図形を示す図。
【図４】同実施形態にかかるモデルと入力画像との類似度の算出処理にかかるフローチャート。
【図５】同実施形態におけるモデル及び入力画像を例示する図。
【図６】同実施形態におけるモデル及び入力画像の類似度の算出結果を例示する図。
【図７】第２の実施形態にかかるモデルと入力画像との類似度の算出処理にかかるフローチャート。
【図８】第３の実施形態において、エッジ抽出の変更態様を例示する図。
【図９】第４の実施形態における部分領域の類似度の算出処理にかかるフローチャート。
【図１０】同実施形態における部分領域の類似度の再度の算出態様を説明する図。
【図１１】同実施形態におけるモデル及び入力画像の類似度の算出処理にかかるフローチャート。
【図１２】同実施形態におけるモデル及び入力画像の類似度の再度の算出態様を説明する図。
【図１３】第５の実施形態の全体構成を示すブロック図。
【符号の説明】
１…画像入力部、２…領域分割・領域抽出装置、５…部分領域類似度算出装置、６…領域集合情報類似度算出装置、７…認識部、１１…画像入力部、１２…領域分割・領域抽出装置、１６…部分領域対応決定装置、１７…部分領域類似度算出装置、１８…部分領域認識結果保持装置、１９…領域集合情報保持装置、２０…領域集合情報記憶装置、２１…領域集合対応決定装置、２２…領域集合情報類似度算出装置、２３…保持装置、２４…照合装置。

Claims (15)

1. 認識対象となる画像から抽出された輪郭及び該輪郭によって複数に分割された部分領域と、特定の物体の分割された領域である部分領域及びそれら各部分領域間の結合関係を示すモデルとに基づき、前記認識対象と前記物体とが一致するか否かを認識する画像認識装置において、
   前記認識対象の所定の部分領域と該所定の部分領域に近接する部分領域との相対的な幾何学特性と、前記モデルについての所定の部分領域と該所定の部分領域に近接する部分領域との相対的な幾何学特性とに基づいて前記モデルの所定の部分領域と前記認識対象の所定の部分領域との類似度を求め、該求めた類似度に基づいて前記物体と前記認識対象とが一致するか否かを認識する認識手段を備える
   ことを特徴とする画像認識装置。
2. 前記類似度に基づいて前記物体と前記認識対象とが一致するか否かを認識する基準にかかるデータが、明確に指定された記憶領域に記憶されてなる
   請求項１記載の画像認識装置。
3. 請求項１又は２記載の画像認識装置において、
   前記認識手段は、前記認識対象の各部分領域とこれに近接する任意の部分領域との相対的な幾何学特性のうち、前記モデルの各部分領域とこれに近接する予め定められた部分領域との相対的な幾何学特性のそれぞれと類似度の高い複数の候補をそれぞれ抽出し、前記モデルの各部分領域のそれぞれについての前記複数の候補のいずれか１つずつからなる各部分領域間の前記幾何学特性と、前記モデルの各部分領域間の前記幾何学特性との類似度に基づいて前記物体と前記認識対象とが一致するか否かを認識する
   ことを特徴とする画像認識装置。
4. 請求項１又は２記載の画像認識装置において、
   前記認識手段は、前記モデルの部分領域のうちの一部について、これらと類似度の高い前記認識対象の部分領域の複数の候補をそれぞれ抽出する処理と、前記モデルの残りの部分領域と対応する前記認識対象の部分領域を前記抽出された候補に基づいて推論するとともに、該推論によって取得された部分領域について該部分領域とこれに近接する部分領域との相対的な幾何学特性と、前記取得された部分領域に対応する前記モデルの部分領域とこれに近接する部分領域との相対的な幾何学特性との類似度を求める処理とを行う
   ことを特徴とする画像認識装置。
5. 前記相対的な幾何学特性は、所定の部分領域と該所定の部分領域に近接する部分領域との間の距離、及びこれらの間の大小関係、及びこれらの間を結ぶ線と予め定められた基準となる線との間の角度の少なくとも１つに関するものを含む
   請求項１〜４のいずれか１項に記載の画像認識装置。
6. 前記類似度は、複数の相対的な幾何学特性のそれぞれについての類似度を定量化した値毎に所定の重みを付加したものの和として求められる
   請求項１〜５のいずれか１項に記載の画像認識装置。
7. 前記所定の重みが、明確に指定された記憶領域に記憶されてなる
   請求項６記載の画像認識装置。
8. 請求項１〜７のいずれか１項に記載の画像認識装置において、
   前記認識手段によって求められた前記モデルの部分領域と前記認識対象の部分領域との類似度に基づき、前記画像から抽出された輪郭及び該輪郭によって複数に分割された部分領域の少なくとも一方を変更する手段を更に備える
   ことを特徴とする画像認識装置。
9. 請求項１〜７のいずれか１項に記載の画像認識装置において、
   前記認識手段は、前記モデルの部分領域と前記認識対象の部分領域との類似度を、これら部分領域が互いに一致する旨を示す同一、該部分領域が互いに相違する旨を示す不一致、該部分領域が互いに一致するか不一致であるかを判断できない旨を示す不定、該部分領域が互いに一致するか否かの判断を保留する旨を示す保留の４段階に区分する機能を有する
   ことを特徴とする画像認識装置。
10. 請求項９記載の画像認識装置において、
    前記認識手段は、所定の部分領域について前記保留である旨判断するとき、前記モデルの他の部分領域と前記認識対象の他の部分領域との類似度に基づいて前記保留とされている部分領域が互いに一致するか否かを判断する
    ことを特徴とする画像認識装置。
11. 請求項９又は１０記載の画像認識装置において、
    前記認識手段は、前記保留である旨判断したとき、対応する前記モデルの部分領域を複数の領域に分割した詳細な部分領域と、対応する前記認識対象の部分領域を複数の領域に分割した詳細な部分領域とについての前記相対的な幾何学特性の類似度を求めることで、前記保留とした部分領域同士の類似度を再度求める
    ことを特徴とする画像認識装置。
12. 請求項１１記載の画像認識装置において、
    前記認識手段は、前記分割した詳細な部分領域の類似度を求めた結果、更に保留と判断されるときには、前記分割の対象となった部分領域の類似度の判断を不定とする
    ことを特徴とする画像認識装置。
13. 請求項１〜１２のいずれか１項に記載の画像認識装置において、
    前記認識手段は、前記モデルと前記認識対象とが一致するか否かの認識を、これらが互いに一致する旨を示す同一、これらが互いに相違する旨を示す不一致、これらが互いに一致するか不一致であるかを判断できない旨を示す不定、これらが互いに一致するか否かの判断を保留する旨を示す保留の４段階に区分する機能を有する
    ことを特徴とする画像認識装置。
14. 請求項１３記載の画像認識装置において、
    前記特定の物体の周囲の物体及びこれら特定の物体と周囲の物体との結合関係を示す上位モデルを更に備え、
    前記認識手段は、前記モデルと前記認識対象とが一致するか否かの判断を保留したとき、前記認識対象及びその周囲の対象との相対的な幾何学特性と、前記上位モデル内における前記モデルの相対的な幾何学特性とに基づいて前記モデルと前記認識対象とが一致するか否かを再度認識する
    ことを特徴とする画像認識装置。
15. 請求項１４記載の画像認識装置において、
    前記認識手段は、前記再度の認識の結果、前記モデルと前記認識対象とが一致するか否かの認識が保留となったときには、前記認識対象と前記モデルとの関係ついて不定である旨判断する
    ことを特徴とする画像認識装置。

Images