JP2012123464A - 物体又は形状の認識又は検索の方法と装置とプログラム - Google Patents

Abstract

【課題】画像情報に含まれる物体の輪郭間の関係をより正確に記述可能とし、幾何変換にロバストな表現を提供可能とする方法と装置、プログラムの提供。
【解決手段】画像情報に含まれる物体又は形状を認識又は検索する装置であって、前記画像情報から一又は複数の物体又は形状に含まれる一又は複数の輪郭を抽出する輪郭抽出部と、前記抽出された一又は複数の前記輪郭の一部又は全部に対して一つ又は複数のベクトルを生成し、少なくとも二つの前記ベクトルを用いて少なくとも二つの前記ベクトルに対応した前記輪郭の一部又は全部の位置関係を規定する情報を生成する部分輪郭位置関係生成部と、を備える。
【選択図】図６

Description

本発明は、画像処理技術に関し、特に、画像情報に含まれる物体／形状の認識／検索を行うための方法と装置とプログラムに関する。

近年、デジタルカメラを始めとするデジタル映像機器の急速な普及に伴い、撮影された画像や映像のなかに、どのような物体が含まれているのかを認識する一般物体認識への期待が高まっている。一般物体認識（ｇｅｎｅｒｉｃ ｏｂｊｅｃｔ ｒｅｃｏｇｎｉｔｉｏｎ）は、制約の無い実世界シーンの画像の中に含まれる物体を一般的な名称（ｃａｔｅｇｏｒｙ ｎａｍｅｓ）で認識するものであり、画像認識研究の最も困難な課題の一つとされている。一般物体認識の実現により、例えばデータベース内等に分類されずに格納されている画像データの適切な分類や、必要な画像データの検索、さらには動画像の中からの所望のシーンの抽出や、所望のシーンだけを切り取っての再編集等、様々な用途に応用できる可能性を有している。

画像から物体を認識する技術として、例えば顔認識や指紋認識等、様々な認識技術がこれまでに開発されてきたが、これらはすべて特定の制約下で撮影された画像を認識するものであり、特定用途に限定されていた。ある一つの対象に特化した認識技術は、別の用途に利用しようとした際に、途端に認識率が下がる等の問題が指摘されており、一般的な物体のパターン認識を行う技術の開発が期待されている。

一般物体へのパターン認識技術として、非特許文献１に示される、画像の局所的な強度勾配を集積したヒストグラムを用いたＳＩＦＴ（Ｓｃａｌｅ Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）という特徴量が広く認知されている。この技術を利用することによって、幾何変換や遮蔽を伴う同一画像を同一であると認識することが可能である。

Ｌｏｗｅ，Ｄ．Ｇ．，Ｏｂｊｅｃｔ Ｒｅｃｏｇｎｉｔｉｏｎ ｆｒｏｍ Ｌｏｃａｌ Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅｓ， Ｐｒｏｃ． ｏｆ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ， ｐｐ．１１５０−１１５７，（Ｓｅｐ． １９９９） 顔の向き推定に基づく顔特徴点検出法，電子情報通信学会２００３年総合大会， Ｄ−１２−６０，ＭＡＲＣＨ ２００３，佐藤豊治，大町真一郎，阿曽弘具

以下に関連技術の分析を与える。

非特許文献１等に示される技術は、二つの画像が同一であるか否かを判断するためのものである（同一対象を探すｉｄｅｎｔｉｆｉｃａｔｉｏｎの物体認識）。このため、非特許文献１等に示される技術では、例えば、
画像中に含まれる物体がどの程度類似するか、
画像中のどこに物体が存在するのか、
等についての情報を与えることはできない。

これは、非特許文献１等に示される技術では、特徴量として、画像の局所的な強度勾配を集積したヒストグラムという画像そのものの情報を利用しており、画像に含まれる物体の特徴そのものに関する情報を利用できていないことによるものと考えられる。

物体の特徴そのものを記述するには、物体の形状や、物体を形成する部品又は輪郭間の位置関係等の関係性により記述する方法が知られている。物体を形成する部品の位置関係を記述する方法の一つとして、物体に含まれる部品間の位置関係を利用するという方法が用いられる。

例えば、非特許文献２では、顔認識の場合、目や鼻といった顔に含まれる特徴的な部品の間の位置関係を利用している。顔認識の場合、顔に含まれる特徴的な部品が、目や鼻等であることが、認識を行う計算機側で事前にわかっているので、部品間の位置関係は、三次元のユークリッド幾何空間座標内での変位や相対角度を計算するという手法で十分であった。

しかしながら、上記のような部品の位置関係の記述方法を、一般的な物体のパターン認識に応用しようとすると、計算機では、何を特徴的な部品として記述するべきかが判然としない。

そこで、画像に含まれる輪郭（エッジ）の位置関係を利用するという方法も考えられる。形状を輪郭の位置関係を用いて記述しておくことによって、例えば図１に示されるような曖昧な画像（どこに物体が含まれるのかがわかりにくい画像）に対しても、認識や検索を行うことが可能になるものと考えられる。

しかしながら、輪郭間の関係性をより正確に記述しようとすれば、位置関係のみならず、それぞれの輪郭がどういった方位を向いているのかといった特徴を表現することが望ましい。その一方で、大きな課題が発生する。

画像に含まれる輪郭は、二次元平面状に表現される。二次元平面状に表現された輪郭は、本来は、三次元空間上に存在するものを投影したものである。

三次元空間上のものを二次元平面に投影する際に、容易にせん断変形等の幾何変換を生じ得る。

その結果、輪郭の方位の関係を表す物理量が変化してしまい、
輪郭の関係性が変わったのか（別の物体なのか）、
せん断変形によって輪郭の関係性を示す物理量が変わっただけで、物体は同じなのか、
が判然としない。

したがって、輪郭間の関係性をより正確に記述しようとすれば、せん断変換等のユークリッド幾何変換の枠組みを超えて、ロバスト性を保証する位置関係を表現する必要がある。

参考までに、図２に、幾何変換の包含関係を示す。図２に示されるように、ユークリッド幾何変換は、回転、平行移動という二つの幾何変換に限られる。このため、相似変換やせん断変換を可能とする、ロバストな特徴量を用いて位置関係を記述する手法が求められる。

しかしながら、こういった要件を満たす、輪郭間の関係の表現方法は、これまで（本願出願時点）提案されていず、そもそも実現できるのかさえ不明であった。

したがって、本発明の目的は、画像情報に含まれる物体の輪郭間の関係をより正確に記述可能とする方法と装置、プログラムを提供することにある。

また本発明によれば、上記目的を達成するとともに、幾何変換にロバストな表現を提供可能とする方法と装置、プログラムを提供することもその目的の一つとしている。

前記課題を解決するため、本発明は概略以下の構成とされる（だたし、以下に制限されるものでない）。

本発明によれば、コンピュータを用いて画像情報に含まれる物体又は形状を認識又は検索する方法であって、前記画像情報から一又は複数の物体又は形状に含まれる一又は複数の輪郭を抽出し、
前記抽出された一又は複数の前記輪郭の一部又は全部に対して一つ又は複数のベクトルを生成し、
少なくとも二つの前記ベクトルを用いて少なくとも二つの前記ベクトルに対応した前記輪郭の一部又は全部の位置関係を規定する情報を生成する、方法が提供される。

本発明によれば、画像情報に含まれる物体又は形状を認識又は検索する装置であって、
前記画像情報から一又は複数の物体又は形状に含まれる一又は複数の輪郭を抽出する輪郭抽出部と、
前記抽出された一又は複数の前記輪郭の一部又は全部に対して一つ又は複数のベクトルを生成し、
少なくとも二つの前記ベクトルを用いて少なくとも二つの前記ベクトルに対応した前記輪郭の一部又は全部の位置関係を規定する情報を生成する部分輪郭位置関係生成部と、
を備えた装置が提供される。

本発明によれば、画像情報に含まれる物体又は形状を認識又は検索する装置を構成するコンピュータに、
前記画像情報から一又は複数の物体又は形状に含まれる一又は複数の輪郭を抽出する輪郭抽出処理と、
前記抽出された一又は複数の前記輪郭の一部又は全部に対して一つ又は複数のベクトルを生成し、
少なくとも二つの前記ベクトルを用いて少なくとも二つの前記ベクトルに対応した前記輪郭の一部又は全部の位置関係を規定する情報を生成する部分輪郭位置関係生成処理と、
を実行させるプログラムが提供される。

本発明によれば、画像情報に含まれる物体の輪郭間の関係をより正確に記述可能としている。また本発明によれば、幾何変換にロバストな表現を提供することができる。

物体形状の抽出が困難な例示した図である。 幾何変換の包含関係を例示した図である。 ユークリッド幾何空間における輪郭の位置関係一例を模式的に示す図である。 輪郭をベクトルとして表現する一例を模式的に示す図である。 アフィン幾何変換不変の部分輪郭間の関係の一例を示す図である。 本発明の一実施の形態の構成を示す図である。 本発明の一実施の形態の輪郭情報記憶部の一例を模式的に示す図である。 本発明の一実施の形態の動作の一例を示すフローチャートである。

以下では、まず本発明の基本原理を説明し、つづいて本発明の実施形態について説明する。

一般的な物体を認識する場合、画像そのものの情報ではなく、画像に含まれる物体の形状に関する特徴量を利用することによって、物体そのものを認識することができると考えられる。物体の形状そのものに関する特徴量として、輪郭（エッジ）の位置関係を利用することが考えられる。

画像に含まれる輪郭の関係を記述する際には、輪郭の位置だけでなく、それぞれの輪郭がどういった方位を向いているのかといった特徴を表現すると、より正確な認識が可能となる。

二次元平面状に表現された輪郭は、本来は三次元空間上に存在するものを投影したものであり、様々な幾何変換を起こしていると考えられる。このため、位置関係を記述する際には、ユークリッド幾何変換の枠組みを超過する幾何変換に対してロバストな表現を行う必要がある。

こうした要件を満たす輪郭間の関係を記述する方法は、これまで提案されていなかった。

上記した状況を前提として、本発明によれば、以下のような手法が提案される。

ユークリッド幾何空間座標系での輪郭の関係を記述する手法として、まず、以下に示すような手法を導入する。なお、以下の手法は、具現化において、画像認識装置等のコンピュータ上に実装される。

画像情報から輪郭を抽出した結果、図３に示されるような二つの輪郭ａ、ｂがあった場合、それぞれの輪郭の位置と方位は、基準位置からの変位を表すＸ−Ｙ座標（Ｘａ，Ｙａ）、（Ｘｂ，Ｙｂ）や、仰角θａ、θｂによって表現することができる。その関係は、これらの量の差分等を利用して記述することができる。しかしながら、こうした量は、ユークリッド幾何変換の枠組みを超過する幾何変換によって大きく変形してしまい、ロバストであるとは言えない。

したがって、図４に示すように、一つの輪郭を、該輪郭を弧（円弧又は楕円弧）としたときの中心点を始点とし、輪郭の中心点等の特徴的な点を終点とするベクトルで表現する。こうして、二つの輪郭において二つのベクトルの始点と終点がそれぞれ形成される。なお、輪郭の中心点等の特徴的な点をベクトルの始点、輪郭の中心点を終点としてもよい。

ここで、「一直線上に並ぶ三点の長さの比はアフィン幾何変換に対して不変である」という事実を利用して、二つのベクトルの始点と終点から、アフィン幾何変換に対しての不変量を生成する。前記二つのベクトルの始点と終点は、一直線上にない。なお、アフィン変換は１次変換（縦横の拡大・縮小、傾け、回転）＋平行移動の変換を行う。

しかしながら、二つのベクトルの延長線上の交点を導入すると、各ベクトルの始点と終点、及び前記交点が一直線上に並ぶこととなり、これら三点の長さの比を利用することによって、アフィン幾何変換に対して不変となる、輪郭の位置関係を記述する量を生成することができる。

前記二つのベクトルの始点と終点は四点あることから、これらの四点のうちから任意に二点ずつを選択して直線を形成し、その交点を導出すると、該交点は、最大で三点導出することが可能である。図５に、このようにして形成された交点と線分を示す。

上記した手法を用いることによって、三点の長さの比は最大で六個生成することができる。図５に記載した線分長さを利用して、これら、六個の三点の長さの比を以下に示す。

これだけでは、単純な四点の位置関係を表しているに過ぎないが、本発明によれば、上記の線分の長さを、すべてベクトルによって表現する。これによって、単純な線分長さの比が、正負の連続関数として表現することができるようになる。

例えば、前記した交点が、二つのベクトル方位の延長線上に生成されたものである場合、
二つのベクトルが同方位でほぼ平行に向いていれば、生成される比の値はほぼ無限大となり、
二つのベクトルの向きが対面に近づくに従って、生成される比の値は小さくなっていく。

そして、向きが逆方位になった瞬間に、比の符号は負になり、逆方位で平行に近づくにつれ、比の値は、負の無限大に近づいていく。

つまり、本発明による手法（輪郭をベクトル表現）を利用することで、四点の位置関係のみならず、方位の関係性も表現できることになる。

さらに、これら六個の量は、いずれの量も、二つの輪郭間においてユニークに決定される量であり、またアフィン幾何変換に対して不変の量である。

したがって、これら六個の量のうちのいずれか、又はすべてを、輪郭の位置関係として定義することによって、ユークリッド幾何変換の枠組みを超過する幾何変換に対してロバストな、輪郭の位置関係を記述する手法を提供することができる。

このように、本発明によれば、画像に含まれる物体形状の輪郭間の関係を幾何変換に対してロバストに記述する手法が提供される。

そして、本発明によれば、画像に含まれる物体形状の輪郭間の関係を幾何変換に対して、ロバストに記述する手法が提供される。以下、添付図面を参照して本発明の例示的な実施形態を説明する。

＜実施形態＞
図６は、本発明の例示的な一の実施形態の構成を示すブロック図である。図６を参照すると、本実施形態は、制御部１０と、メモリ２０と、画像情報取得部１０１と、輪郭抽出部１０２と、輪郭分割点検出部１０３と、輪郭分割部１０４と、部分輪郭間位置関係生成部１０５と、物体判定部１０６と、輪郭情報記憶部２０１とを備える。制御部１０は、不図示のユーザインタフェース（入力手段）からの入力、及び、不図示のディスプレイ等への出力の制御のほか、画像情報取得部１０１と、輪郭抽出部１０２と、輪郭分割点検出部１０３と、輪郭分割部１０４と、部分輪郭間位置関係生成部１０５と、物体判定部１０６の各部の起動（ｉｎｖｏｋｅ）のスケジュール制御、各部間での情報の受け渡し（転送）の制御、各部からのメモリアクセス制御、輪郭情報記憶部２０１へのアクセスの制御等を行う。

画像情報取得部１０１は、制御部１０の制御のもと、写真等ユーザが指定する画像情報を取り込み、デジタル画像情報を得る。画像情報取得部１０１は、画像情報記憶部２０１に格納されている情報のうち、ユーザが指定する画像情報をそのまま、あるいは輝度情報等を利用した白黒変換等、その後の処理が容易になるような変換を施す。画像情報取得部１０１は、デジタル画像情報をメモリ２０に格納する。

輪郭抽出部１０２は、制御部１０の制御のもと、画像情報取得部１０１によって取得されメモリ２０に格納された画像情報から輪郭情報を抽出する。抽出された輪郭情報はメモリ２０に格納される。

図３に、輪郭抽出部１０２によって抽出される輪郭情報の一例を示す。図３は、基準点からの変位（Ｘａ、Ｙａ）、仰角θａの輪郭ａと、変位（Ｘｂ、Ｙｂ）、仰角θｂの輪郭ｂが抽出された例を示している。輪郭抽出部１０２は、画像情報取得部１０１によって取得された画像情報から、例えば、色相・彩度・明度等が急激に変化する点を例えばラプラシアン・ガウシアンフィルタ等を用いて抽出する。ラプラシアン・ガウシアンフィルタは、局所領域の画素にガウス分布関数で重み付けして平滑化し、ラプラシアン（２次微分）を施し、零クロスをエッジとして検出するエッジ検出用の微分フィルタである。

抽出されたそれぞれの輪郭（輪郭点）は、直交座標系等を用いて表現される。なお、画像情報からの輪郭抽出の方法は、上記のものに制限されるものでなく、任意の輪郭抽出フィルタ等を用いることができる。

輪郭分割点検出部１０３は、制御部１０の制御のもと、輪郭抽出部１０２によって抽出されメモリ２０に格納された輪郭を読出し、それぞれの輪郭において特徴的な点を輪郭分割点として検出する。検出された輪郭分割点はメモリ２０に記憶される。ここで、特徴的な点を抽出する手法としては、ユーザーが指定してもよいが、幾何変換に対してロバストな抽出手法を利用することが望ましい。

例えば、以下に示すユークリッド曲率の変曲点を特徴的な点として抽出するという手法である。ユークリッド曲率は、以下の式においてＫ（ｔ）で示される量であり、輪郭上における任意の一点を始点として輪郭を一周するように取る輪郭座標ｔ、及び、輪郭を直交座標系（ｘ、ｙ座標系）で表現した際の、ｘ、ｙのｔについての一階微分値である、
二階微分値である、
によって定義される。

ユークリッド曲率の変曲点は、前記ユークリッド曲率Ｋ（ｔ）の値がゼロとなる点である。

輪郭分割部１０４は、輪郭分割点検出部１０３によって検出され、メモリ２０に格納された各輪郭分割点の読み出しを、制御部１０の制御のもとで行い、読出した各輪郭分割点において輪郭を一つ又は複数に分割し、部分輪郭を得る。輪郭分割部１０４で導出した部分輪郭情報は、制御部１０の制御のもとメモリ２０に格納される。

なお、輪郭抽出部１０２によって抽出され、メモリ２０に格納されてた輪郭が既に十分に分割されたものである場合（該輪郭が抽出された段階で十分に分割されている場合）、又は、複数の輪郭が抽出されている場合には、必ずしも輪郭を複数に分割しなくてもよい。輪郭が既に十分に分割されているか否かの判定は予め定められた閾値との比較で輪郭分割部１０４において自動で判定される。

部分輪郭間位置関係生成部１０５は、輪郭分割部１０４から出力され、メモリ２０に格納された輪郭（輪郭抽出部１０２によって抽出された輪郭を輪郭分割点で複数に分割した部分輪郭、又は、輪郭抽出部１０２によって抽出された段階で既に十分に分割が行われた輪郭）の読み出しを、制御部１０の制御のもとで行い、部分輪郭間の位置関係を生成する。位置関係は、以下に示す手法によって表現する。部分輪郭間位置関係生成部１０５は、生成した輪郭（部分輪郭）間の位置関係情報を、制御部１０の制御のもと、メモリ２０に格納する。

図４に示すように、一つの輪郭（部分輪郭）を、該輪郭（部分輪郭）を弧（円弧）としたときの中心点を始点とし、該輪郭（部分輪郭）の中心点や、該輪郭（部分輪郭）の最も突出している点、輪郭（部分輪郭）の曲率の最大又は極大点等の、特徴的な点を終点とするベクトルで表現する。あるいは、輪郭（部分輪郭）を楕円の一部とみなし例えば中心（長軸と短軸の交点）を始点としてもよい。二つの輪郭（部分輪郭）に対応して二つのベクトルの始点と終点がそれぞれ形成される。ただし、ベクトルの始点と終点を上記と入れ替え、円弧の中心点を終点、輪郭（部分輪郭）の中心を始点としてもよい。

本実施形態では、一つの輪郭（部分輪郭）当たり一つのベクトルを生成しているが、かかる手法に制限されるものでない。例えば、ベクトル生成法としては、例えば、
・二つ以上の輪郭から一つのベクトルを生成する方法でもよく、
・一つの輪郭から複数のベクトルを生成する方法であってもよい。

二つ以上の輪郭から一つのベクトルを生成することで、一つの輪郭の方位よりも輪郭の並び等の方位を重視したベクトルが生成できる。

一つの輪郭から複数のベクトルを生成することで、一つの輪郭が複数方向に突出している等といった、輪郭の詳細な特徴を表現したベクトルの生成が期待できる。

ここで、「一直線上に並ぶ三点の長さの比はアフィン幾何変換に対して不変である」という事実を利用して、前記二つのベクトルの始点と終点から、アフィン幾何変換に対しての不変量を生成する。

二つのベクトルの始点と終点とが一直線上に存在しない場合、二つのベクトル（第１、第２のベクトル）の延長線上の交点を導入することで（第１、第２のベクトルは平行でないものとする）、第１のベクトルの始点と終点、及び該交点の三点は第１の直線上に並び、第２のベクトルの始点と終点、及び該交点の三点は、該交点で第１の直線と交差する第２の直線上に並ぶことになる。これら三点の長さの比を利用することによって、アフィン幾何変換に対して不変となる輪郭の位置関係を記述する量を生成することができる。

前記二つのベクトルの始点と終点は四点あることから、これらの四点のうちから、例えば無作為に二点ずつを選択して直線を形成し、その交点を導出する。この場合、交点は、最大で、三点導出することが可能である。

図５は、こうして形成される交点と線分を示す図である。前記二つのベクトルの始点と終点を１と２、及び、３と４で表す。線分１−２と線分３−４の延長線上の交点は５、線分１−３と線分２−４の延長線上の交点は６、線分１−４と線分２−３の延長線上の交点は７となる。このように、二つのベクトルの始点と終点の４点（１、２、３、４）に対して、交点は、最大で、三点（５、６、７）を導出することが可能である。

上記した手法を用いることによって、最大で六個の、三点の長さの比が生成される。図５に示した線分の長さを利用して、これら、六個の三点の長さの比を以下に示す。

ただし、
Ｌａ２、Ｌａ１はそれぞれ線分１−３、線分３−６の長さ、
Ｌｂ２、Ｌｂ１はそれぞれ線分１−２、線分２−５の長さ、
Ｌｃ２、Ｌｃ１はそれぞれ線分２−４、線分４−６の長さ、
Ｌｄ２、Ｌｄ１はそれぞれ線分３−４、線分４−５の長さ、
Ｌｅ２、Ｌｅ１はそれぞれ線分２−３、線分２−７の長さ、
Ｌｆ２、Ｌｆ１はそれぞれ線分１−４、線分１−７の長さ、
である。

本実施形態によれば、上記の線分の長さをすべてベクトルによって表現する。例えば、交点５は、二つのベクトル（始点１と終点２の第１のベクトルと、始点３と終点４の第２のベクトル）方位の延長線上に生成されたものであり、第１、第２のベクトルが同方位でほぼ平行に向いていれば、比Ｌｂ１／Ｌｂ２、Ｌｄ１／Ｌｄ２の値はほぼ無限大となり、第１、第２のベクトルの向きが対面に近づくに従って、比Ｌｂ１／Ｌｂ２、Ｌｄ１／Ｌｄ２の値は小さくなっていく。第１、第２のベクトルの向きが逆方位になった瞬間に、比Ｌｂ１／Ｌｂ２、Ｌｄ１／Ｌｄ２の符号は負になり、逆方位で平行に近づくにつれ、比の値は、負の無限大に近づいていく。このように、四点（１、２、３、４）の位置関係のみならず、方位の関係性も表現できることになる。

また、これら六個の量（比）Ｌａ１／Ｌａ２〜Ｌｆ１／Ｌｆ２は、いずれの量も二つの輪郭間においてユニークに決定される量であり、アフィン幾何変換に対して不変の量である。

本実施形態では、六個の量（比）Ｌａ１／Ｌａ２〜Ｌｆ１／Ｌｆ２のうちの少なくとも一つを輪郭の位置関係として規定する。こうして生成された部分輪郭間位置関係は、部分輪郭の属する輪郭等の形状あるいは名称等のタグによる識別子と共に、輪郭情報記憶部２０１に記憶されている。

図７は、輪郭情報記憶部２０１に記憶される情報の一例を示す図である。図７に示すように、輪郭情報記憶部２０１は、物体識別子１０００１としてある形状の、物体あるいは名称のタグを格納し、これに紐付けて部分輪郭識別子１０００２、位置関係識別子１０００３、位置関係１０００４（Ｒ１）をそれぞれ格納する。物体識別子Ｆ１の物体に関する輪郭について部分輪郭識別子１０００２のＣ１、Ｃ２、Ｃ３等は、該物体Ｆ１の輪郭を構成する部分輪郭の識別子である。位置関係識別子１０００３の、Ｃ１×Ｃ２、Ｃ１×Ｃ３、Ｃ２×Ｃ１・・・等は、位置関係Ｒ１、Ｒ２、Ｒ３・・・の識別子である。位置関係Ｒ１は、部分輪郭識別子Ｃ１の部分輪郭に関して、部分輪郭識別子Ｃ２との位置関係として、部分輪郭Ｃ１、Ｃ２に対応する二つのベクトルに関する六個の量（比）Ｌａ１／Ｌａ２〜Ｌｆ１／Ｌｆ２のうちの少なくとも一つを輪郭の位置関係である。位置関係Ｒ３は、部分輪郭識別子Ｃ２の部分輪郭に関し、部分輪郭識別子Ｃ１との位置関係として、部分輪郭Ｃ２、Ｃ１に対応する二つのベクトルに関する六個の量（比）Ｌａ１／Ｌａ２〜Ｌｆ１／Ｌｆ２のうちの少なくとも一つを輪郭の位置関係である。

なお、輪郭情報記憶部２０１に記憶される情報の位置関係情報（物体識別子Ｆ１の部分輪郭Ｃ１、Ｃ２、・・等の位置関係情報Ｒ１、Ｒ２・・・）は、例えば、予め既知の物体又は形体については画像情報取得部１０１、輪郭抽出部１０２、輪郭分割点検出部１０３、輪郭分割部１０４、部分輪郭間位置関係生成部１０５を用いて導出しておき、輪郭情報記憶部２０１の不図示のデータ作成ソフトウエア（あるいはデータベース管理ソフトウエア）等で図７のレコード形式に格納しておく。

物体判定部１０６は、画像情報取得部１０１によって取得された画像情報について、部分輪郭間位置関係生成部１０５で導出され、メモリ２０に格納された部分輪郭間の位置関係情報を、制御部１０の制御のもとで読み出し、輪郭情報記憶部２０１に記憶されている情報を、制御部１０の制御のもとで参照し、部分輪郭間位置関係生成部１０５で導出された部分輪郭間の位置関係と数値が最も近い（最も類似している）物体を判定し、当該物体の物体識別子を出力する。例えば、部分輪郭間位置関係生成部１０５で得られた３つの部分輪郭に関する部分輪郭間の位置関係情報が、図７の輪郭情報記憶部２０１に記憶される位置関係１０００４の情報（Ｒ１〜Ｒ６の一部又は全て）との差（距離）が最小となる場合（他の物体識別子の比べて最小）、物体識別子の欄の識別子Ｆ１を出力する。

本実施形態において、図６の制御部１０、画像情報取得部１０１、輪郭抽出部１０２、輪郭分割点検出部１０３、輪郭分割部１０４、部分輪郭間位置関係生成部１０５の各部は、コンピュータ（データ処理装置、ＣＰＵ、プロセッサ）上で実行されるプログラムによりその機能・処理の一部又は全部を実現するようにしてもよいことは勿論である。この場合、該プログラムを記憶したコンピュータ読み出し可能な記録媒体も、本発明によって提供される。

次に、本実施の形態の動作の一例について説明する。図８は、本実施の形態の動作の例を示すフローチャートである。

画像情報取得部１０１では、不図示のユーザインタフェースから入力されるコマンド等により、ユーザが指定する画像情報を取得する（Ｓ１００１）。なお、画像情報の取得は、ユーザが指定したものに限らず、所定のイベント発生時、又は周期的に、システムが自動的に取得してもよい。

次に、輪郭抽出部１０２は、画像情報取得部１０１によって取得された画像情報から画像に含まれる輪郭情報を抽出する（Ｓ１００２）。輪郭情報の抽出は、閾値以上の長さの輪郭等、予めユーザが抽出の基準を指定し、基準を満たすもののみについて行うようにしてもよい。

次に、輪郭分割点検出部１０３は、輪郭抽出部１０２によって抽出された輪郭情報から、特徴的な点を、輪郭分割点として検出する（Ｓ１００３）。

次に、輪郭分割部１０４は、輪郭分割点検出部１０３によって検出された輪郭分割点に基づいて、輪郭を複数の部分輪郭に分割する（Ｓ１００４）。

次に、部分輪郭間関係性生成部１０５は、輪郭分割部１０４によって分割されたそれぞれの部分輪郭からペア（二つの部分輪郭から導出される始点と終点で定義される二つのベクトル）を作り、それぞれのペア（二つのベクトルとその交点）において上記した六個の量（比）Ｌａ１／Ｌａ２〜Ｌｆ１／Ｌｆ２の少なくとも一つを含む部分輪郭間位の位置関係情報を生成する（Ｓ１００５）。

次に、物体判定部１０６は、部分輪郭間関係性生成部１０５によって生成された部分輪郭間の位置関係情報が最も類似する物体を輪郭情報記憶部２０１から抽出し、その物体識別子を出力する（Ｓ１００６）。

本実施形態によれば、画像に含まれる物体形状の輪郭間の関係を幾何変換に対してロバストに記述する手法を提供できる効果が期待できる。

本発明は、画像からの物体又は形状の認識や検索、あるいは画像の分類を行うシステムに適用可能である。

なお、上記の非特許文献の各開示を、本書に引用をもって繰り込むものとする。本発明の全開示（請求の範囲を含む）の枠内において、さらにその基本的技術思想に基づいて、実施形態ないし実施例の変更・調整が可能である。また、本発明の請求の範囲の枠内において種々の開示要素の多様な組み合わせないし選択が可能である。すなわち、本発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。

上記した実施形態の一部又は全部は以下の付記のようにも記載されるが、ただし、以下に限られるものではない。

（付記１）
物体又は形状を認識又は検索するにあたり、一つ又は複数の物体又は形状に含まれる複数の輪郭の全部又は一部から任意に選択された二つ以上の前記輪郭の全部又は一部の関係を利用する方法であって、
前記輪郭の全部又は一部の情報の関係は、
前記輪郭の全部又は一部の情報を用いて生成されたベクトルを用いて記述する、物体又は形状の認識又は検索方法。

（付記２）
前記輪郭の全部又は一部の関係は、二つ以上の前記ベクトルの始点および終点を含む少なくとも四点と、前記四点により決定される一点との間の距離の比を用いて記述する、付記１記載の物体又は形状の認識又は検索方法。

（付記３）
前記四点により決定される一点は、二つ以上の前記ベクトル上又はその延長線上の交点である、付記２記載の物体又は形状の認識又は検索方法。

（付記４）
前記ベクトルの始点又は終点のいずれかは、前記輪郭一つを一つの円弧あるいは楕円の一部と見立てた場合の中心点である、付記１乃至３のいずれか一に記載の物体又は形状の認識又は検索方法。

（付記５）
前記ベクトルの始点又は終点のいずれかは、前記輪郭上の一点である、付記１乃至４のいずれか一に記載の物体又は形状の認識又は検索方法。

（付記６）
前記輪郭上の一点は、前記輪郭のなかで曲率が最大又は極大となる点である、付記５記載の物体又は形状の認識又は検索方法。

（付記７）
画像情報を取得する工程と、
前記画像情報から輪郭情報を抽出する輪郭抽出工程と、
前記輪郭抽出工程で抽出された前記輪郭から輪郭分割点を検出する輪郭分割点検出工程と、
前記輪郭分割点検出工程で検出された前記輪郭分割点で前記輪郭を分割する輪郭分割工程と、
前記輪郭を分割した複数の部分輪郭を弧としたときの中心点を始点と終点の一方とし、部分輪郭の特徴的な点を始点と終点の他方とするベクトルで前記部分輪郭を表現し、前記部分輪郭に関する二つの前記ベクトルの始点と終点からアフィン幾何変換に対して不変となる部分輪郭間の位置関係を記述する情報を生成する部分輪郭間位置関係生成工程と、
部分輪郭間の位置関係を前記部分輪郭の属する輪郭の形状を物体識別子と共に記憶する輪郭情報記憶部を参照し、前記部分輪郭間位置関係生成工程で生成された部分輪郭間の位置関係情報が最も類似する物体を抽出し、物体識別子を出力する物体判定工程と、
を含む方法。

（付記８）
前記輪郭間位置関係生成工程は、二つの前記ベクトルの始点と終点の四点のうちから二点ずつを選択して直線の対を最大三組形成し、各直線対上又はその延長線上の交点を最大で三点導出し、直線上に並ぶ、前記交点と二つの前記ベクトルの始点と終点の四点のうちの二点を含む三点の長さの比を、最大六個生成し、前記六個の量のうちの少なくとも１つを、部分輪郭間の位置関係とする、付記７記載の方法。

（付記９）
物体又は形状を認識又は検索するにあたり、一つ又は複数の物体又は形状に含まれる複数の輪郭の全部又は一部から任意に選択された二つ以上の前記輪郭の全部又は一部の関係を利用するシステムであって、
前記輪郭の全部又は一部の情報の関係は、
前記輪郭の全部又は一部の情報を用いて生成されたベクトルを用いて記述する、物体又は形状の認識又は検索システム。

（付記１０）
前記輪郭の全部又は一部の関係は、二つ以上の前記ベクトルの始点および終点を含む少なくとも四点と、前記四点により決定される一点との間の距離の比を用いて記述する、付記９記載の物体又は形状の認識又は検索システム。

（付記１１）
前記四点により決定される一点は、二つ以上の前記ベクトル上又はその延長線上の交点である、付記１０記載の物体又は形状の認識又は検索システム。

（付記１２）
前記ベクトルの始点又は終点のいずれかは、前記輪郭一つを一つの円弧あるいは楕円の一部と見立てた場合の中心点である、付記９乃至１１のいずれか一に記載の物体又は形状の認識又は検索システム。

（付記１３）
前記ベクトルの始点又は終点のいずれかは、前記輪郭上の一点である、付記９乃至１１のいずれか一に記載の物体又は形状の認識又は検索システム。

（付記１４）
前記輪郭上の一点は、前記輪郭のなかで曲率が最大又は極大となる点である、付記１２記載の物体又は形状の認識又は検索システム。

（付記１５）
画像情報に含まれる物体又は形状を認識又は検索する装置であって、
前記画像情報から一又は複数の物体又は形状に含まれる一又は複数の輪郭を抽出する輪郭抽出部と、
前記抽出された一又は複数の前記輪郭の一部又は全部に対して一つ又は複数のベクトルを生成し、
少なくとも二つの前記ベクトルを用いて少なくとも二つの前記ベクトルに対応した前記輪郭の一部又は全部の位置関係を規定する情報を生成する部分輪郭位置関係生成部と、
を備えた装置。

（付記１６）
前記輪郭の一部又は全部の関係を、少なくとも二つの前記ベクトルの始点および終点を含む少なくとも四点と、前記四点により決定される一点との間の距離の比を用いて規定する、付記１５に記載の装置。

（付記１７）
前記四点により決定される一点は、少なくとも二つの前記ベクトル上又はその延長線上の交点である、付記１６記載の装置。

（付記１８）
前記ベクトルの始点又は終点の一方は、前記輪郭を円弧又は楕円の一部と見立てた場合の中心点であり、
前記ベクトルの始点又は終点の他方は、前記輪郭上の一点である、付記１５乃至１７のいずれか一に記載の装置。

（付記１９）
前記輪郭上の一点は、前記輪郭のなかで曲率が最大又は極大となる点である、付記１８記載の装置。

（付記２０）
物体又は形状を認識又は検索するにあたり、一つ又は複数の物体又は形状に含まれる複数の輪郭の全部又は一部から任意に選択された二つ以上の前記輪郭の全部又は一部の関係を利用するシステムを構成するコンピュータに、
前記輪郭の全部又は一部の情報の関係は、
前記輪郭の全部又は一部の情報を用いて生成されたベクトルを用いて記述する処理を実行させるプログラム（該プログラムを記録したコンピュータ読み出し可能な記録媒体）。

（付記２１）
前記輪郭の全部又は一部の関係は、二つ以上の前記ベクトルの始点および終点を含む少なくとも四点と、前記四点により決定される一点との間の距離の比を用いて記述する、付記２０記載のプログラム（該プログラムを記録したコンピュータ読み出し可能な記録媒体）。

（付記２２）
前記四点により決定される一点は、二つ以上の前記ベクトル上又はその延長線上の交点である、付記２１記載のプログラム（該プログラムを記録したコンピュータ読み出し可能な記録媒体）。

（付記２３）
前記ベクトルの始点又は終点のいずれかは、前記輪郭一つを一つの円弧あるいは楕円の一部と見立てた場合の中心点である、付記２０乃至２２のいずれか一に記載のプログラム（該プログラムを記録したコンピュータ読み出し可能な記録媒体）。

（付記２４）
前記ベクトルの始点又は終点のいずれかは、前記輪郭上の一点である、付記２０乃至２３記載のプログラム（該プログラムを記録したコンピュータ読み出し可能な記録媒体）。

（付記２５）
前記輪郭上の一点は、前記輪郭のなかで曲率が最大又は極大となる点である、付記２４記載のプログラム（該プログラムを記録したコンピュータ読み出し可能な記録媒体）。

（付記２６）
輪郭を分割したそれぞれの部分輪郭を弧としたときの中心点を始点と終点の一方とし、部分輪郭の特徴的な点を始点と終点の他方とするベクトルで前記部分輪郭を表現し、二つの前記ベクトルの始点と終点からアフィン幾何変換に対して不変となる部分輪郭間の位置関係を記述する情報を生成する部分輪郭間位置関係生成処理と、
部分輪郭間の位置関係を前記部分輪郭の属する輪郭の形状を物体識別子と共に記憶する輪郭情報記憶部を参照して、前記部分輪郭間位置関係生成処理で生成された部分輪郭間の位置関係情報が最も類似する物体を抽出し物体識別子を出力する物体判定処理と、
をコンピュータに実行させるプログラム。

（付記２７）
画像情報を取り込む画像情報取得部と、
前記画像情報取得部によって取得された画像情報から輪郭情報を抽出する輪郭抽出部と、
前記輪郭抽出部によって抽出された前記輪郭から輪郭分割点を検出する輪郭分割点検出部と、
前記輪郭分割点検出部によって検出された前記輪郭分割点で前記輪郭を分割する輪郭分割部と、
前記輪郭を分割した複数の部分輪郭を弧としたときの中心点を始点と終点の一方とし、部分輪郭の特徴的な点を始点と終点の他方とするベクトルで前記部分輪郭を表現し、前記部分輪郭に関する二つの前記ベクトルの始点と終点からアフィン幾何変換に対して不変となる部分輪郭間の位置関係を記述する情報を生成する部分輪郭間位置関係生成部と、
部分輪郭間の位置関係を前記部分輪郭の属する輪郭の形状を物体識別子と共に記憶する輪郭情報記憶部と、
前記部分輪郭間位置関係生成部で生成された部分輪郭間の位置関係情報が最も類似する物体を、前記輪郭情報記憶部から抽出し、物体識別子を出力する物体判定部と、
を備えた装置。

（付記２８）
前記輪郭間位置関係生成部は、二つの前記ベクトルの始点と終点の四点のうちから二点ずつを選択して直線の対を最大三組形成し、各直線対上又はその延長線上の交点を最大で三点導出し、直線上に並ぶ、前記交点と二つの前記ベクトルの始点と終点の四点のうちの二点を含む三点の長さの比を、最大六個生成し、前記六個の量のうちの少なくとも１つを、部分輪郭間の位置関係とする、付記２６記載の装置。

１０：制御部
２０：メモリ
１０１：画像情報取得部
１０２：輪郭抽出部
１０３：輪郭分割点検出部
１０４：輪郭分割部
１０５：部分輪郭間位置関係生成部
１０６：物体判定部
２０１：輪郭情報記憶部
１０００１：物体識別子
１０００２：部分輪郭識別子
１０００３：位置関係識別子
１０００４：位置関係

Claims (16)

1. コンピュータを用いて画像情報に含まれる物体又は形状を認識又は検索する方法であって、
   前記画像情報から一又は複数の物体又は形状に含まれる一又は複数の輪郭を抽出し、
   前記抽出された一又は複数の前記輪郭の一部又は全部に対して一つ又は複数のベクトルを生成し、
   少なくとも二つの前記ベクトルを用いて少なくとも二つの前記ベクトルに対応した前記輪郭の一部又は全部の位置関係を規定する情報を生成する、方法。
2. 前記コンピュータは、前記輪郭の一部又は全部の位置関係を、少なくとも二つの前記ベクトルの始点および終点を含む少なくとも四点と、前記四点により決定される一点との間の距離の比を用いて規定する、請求項１記載の方法。
3. 前記四点により決定される一点は、少なくとも二つの前記ベクトル上又はその延長線上の交点である、請求項２記載の方法。
4. 前記ベクトルの始点又は終点の一方は、前記輪郭を円弧又は楕円の一部と見立てた場合の中心点であり、
   前記ベクトルの始点又は終点の他方は、前記輪郭上の一点である、請求項１乃至３のいずれか１項に記載の方法。
5. 前記輪郭上の一点は、前記輪郭のなかで曲率が最大又は極大となる点である、請求項４記載の方法。
6. 前記画像情報を取得する工程と、
   前記画像情報から輪郭情報を抽出する輪郭抽出工程と、
   前記輪郭抽出工程で抽出された前記輪郭から輪郭分割点を検出する輪郭分割点検出工程と、
   前記輪郭分割点検出工程で検出された前記輪郭分割点で前記輪郭を分割する輪郭分割工程と、
   前記輪郭を分割した複数の部分輪郭を弧としたときの中心点を始点と終点の一方とし、部分輪郭の特徴的な点を始点と終点の他方とするベクトルで前記部分輪郭を表現し、前記部分輪郭に関する二つの前記ベクトルの始点と終点からアフィン幾何変換に対して不変となる部分輪郭間の位置関係を記述する情報を生成する部分輪郭間位置関係生成工程と、
   部分輪郭間の位置関係を前記部分輪郭の属する輪郭の形状を物体識別子と共に記憶する輪郭情報記憶部を参照し、前記部分輪郭間位置関係生成工程で生成された部分輪郭間の位置関係情報が最も類似する物体を抽出し、物体識別子を出力する物体判定工程と、
   を含む請求項１記載の方法。
7. 前記輪郭間位置関係生成工程は、二つの前記ベクトルの始点と終点の四点のうちから二点ずつを選択して直線の対を最大三組形成し、各直線対上又はその延長線上の交点を最大で三点導出し、直線上に並ぶ、前記交点と二つの前記ベクトルの始点と終点の四点のうちの二点を含む三点の長さの比を、最大六個生成し、前記六個の量のうちの少なくとも１つを、部分輪郭間の位置関係とする、請求項６記載の方法。
8. 画像情報に含まれる物体又は形状を認識又は検索する装置であって、
   前記画像情報から一又は複数の物体又は形状に含まれる一又は複数の輪郭を抽出する輪郭抽出部と、
   前記抽出された一又は複数の前記輪郭の一部又は全部に対して一つ又は複数のベクトルを生成し、
   少なくとも二つの前記ベクトルを用いて少なくとも二つの前記ベクトルに対応した前記輪郭の一部又は全部の位置関係を規定する情報を生成する部分輪郭位置関係生成部と、
   を備えた装置。
9. 前記部分輪郭位置関係生成部は、輪郭の一部又は全部の位置関係を、少なくとも二つの前記ベクトルの始点および終点を含む少なくとも四点と、前記四点により決定される一点との間の距離の比を用いて規定する、請求項８記載の装置。
10. 前記四点により決定される一点は、少なくとも二つの前記ベクトル上又はその延長線上の交点である、請求項９記載の装置。
11. 前記ベクトルの始点又は終点の一方は、前記輪郭を円弧又は楕円の一部と見立てた場合の中心点であり、
    前記ベクトルの始点又は終点の他方は、前記輪郭上の一点である、請求項８乃至１０のいずれか１項に記載の装置。
12. 前記輪郭上の一点は、前記輪郭のなかで曲率が最大又は極大となる点である、請求項１１記載の装置。
13. 画像情報を取り込む画像情報取得部と、
    前記画像情報取得部によって取得された画像情報から輪郭情報を抽出する前記輪郭抽出部と、
    前記輪郭抽出部によって抽出された前記輪郭から輪郭分割点を検出する輪郭分割点検出部と、
    前記輪郭分割点検出部によって検出された前記輪郭分割点で前記輪郭を分割する輪郭分割部と、
    前記輪郭を分割した複数の部分輪郭を弧としたときの中心点を始点と終点の一方とし、部分輪郭の特徴的な点を始点と終点の他方とするベクトルで前記部分輪郭を表現し、前記部分輪郭に関する二つの前記ベクトルの始点と終点からアフィン幾何変換に対して不変となる部分輪郭間の位置関係を記述する情報を生成する、前記部分輪郭間位置関係生成部と、
    部分輪郭間の位置関係を前記部分輪郭の属する輪郭の形状を物体識別子と共に記憶する輪郭情報記憶部と、
    前記部分輪郭間位置関係生成部で生成された部分輪郭間の位置関係情報が最も類似する物体を、前記輪郭情報記憶部から抽出し、物体識別子を出力する物体判定部と、
    を備えた請求項８記載の装置。
14. 前記輪郭間位置関係生成部は、二つの前記ベクトルの始点と終点の四点のうちから二点ずつを選択して直線の対を最大三組形成し、各直線対上又はその延長線上の交点を最大で三点導出し、直線上に並ぶ、前記交点と二つの前記ベクトルの始点と終点の四点のうちの二点を含む三点の長さの比を、最大六個生成し、前記六個の量のうちの少なくとも１つを、部分輪郭間の位置関係とする、請求項１３記載の装置。
15. 画像情報に含まれる物体又は形状を認識又は検索する装置を構成するコンピュータに、
    前記画像情報から一又は複数の物体又は形状に含まれる一又は複数の輪郭を抽出する輪郭抽出処理と、
    前記抽出された一又は複数の前記輪郭の一部又は全部に対して一つ又は複数のベクトルを生成し、
    少なくとも二つの前記ベクトルを用いて少なくとも二つの前記ベクトルに対応した前記輪郭の一部又は全部の位置関係を規定する情報を生成する部分輪郭位置関係生成処理と、
    を実行させるプログラム。
16. 前記輪郭間位置関係生成処理は、二つの前記ベクトルの始点と終点の四点のうちから二点ずつを選択して直線の対を最大三組形成し、各直線対上又はその延長線上の交点を最大で三点導出し、直線上に並ぶ、前記交点と二つの前記ベクトルの始点と終点の四点のうちの二点を含む三点の長さの比を、最大六個生成し、前記六個の量のうちの少なくとも１つを、部分輪郭間の位置関係とする、請求項１５記載のプログラム。