JP2007179455A - 対象物認識システム - Google Patents

Abstract

【課題】画像から簡易かつ正確に対象物の特徴量を抽出することができる対象物認識システムを提供する。
【解決手段】画像表示部２０の表示画面２１に表示された対象物の画像からタッチペン３０を用いて特定の部位を選択する。次に、選択された部位の画素を抽出し、画素に対応する色情報等の特徴量を抽出する。その後、抽出された色情報とデータベース７０のデータ群に登録された色情報とを対比させて、抽出された色情報と同じ色情報を有するデータをデータベース７０のデータ群から選択し、選択した候補の画像や名称等を含む情報を同定候補表示８０に表示させる。
【選択図】図１

Description

この発明は対象物認識システムに関する。

野山を散策したとき、いたるところで野草を見ることができる。目にした野草の名称を図鑑を利用して知ることができるが、図鑑は植物学的な分類に基づいて整理されているため、野草の名称を知ることは素人にとって容易でない。

そこで、素人でも野草の名称を容易に知ることができるようにするため、野山で野草の画像を撮像し、その画像から抽出された特徴量とデータベースに登録されている各種の植物の特徴量とを比較して野草の名称を検索する画像認識システムが提案された。

この画像認識システムにおいては、撮像した画像から対象物である野草だけを背景から分離する必要がある。

下記の特許文献には、対象物に対する合焦距離を算出し、合焦距離だけ離れている領域を、対象物として撮像された画像の中から選択する領域入力手段を有する画像認識システムが開示されている。
特開２００５−２６９６０４号公報

しかし、上述の画像認識システムでは対象物が大きな凹凸を有している場合や対象物の奥行きが大きい場合、正確に対象物の領域を選択することができない。そのため、画像から簡易かつ正確に対象物の特徴量を抽出することができない。

この発明はこのような事情に鑑みてなされたもので、撮像された画像から簡易かつ正確に対象物の特徴量を抽出することができる対象物認識システムを提供することである。

上記課題を解決するため請求項１記載の発明は、対象物の画像を撮像する撮像手段と、前記撮像手段によって撮像された画像を表示する画像表示手段と、前記画像表示手段に表示された前記対象物の画像の一部を選択する選択手段と、前記選択手段で選択された前記画像の一部に基づいて前記対象物の特徴量を抽出する特徴量抽出手段と、前記対象物が属するカテゴリに含まれる複数の種について、少なくとも前記特徴量に対応する特徴量情報があらかじめ登録されたデータベースと、前記特徴量抽出手段で抽出された特徴量と前記データベースに登録された前記特徴量情報のうちの少なくとも１つの登録特徴量とを対比して前記対象物の属性情報を検索する検索手段とを備えていることを特徴とする。

請求項２記載の発明は、請求項１記載の対象物認識システムにおいて、前記画像の一部は少なくとも１つの部位であることを特徴とする。

請求項３記載の発明は、請求項１記載の対象物認識システムにおいて、前記画像の一部は前記選択手段で選択した閉曲線で囲まれた少なくとも１つの領域であることを特徴とする。

請求項４記載の発明は、請求項２又は３記載の対象物認識システムにおいて、前記特徴量は前記画像中の選択された部位又は領域から抽出された色情報であることを特徴とする。

請求項５記載の発明は、請求項２又は３記載の対象物認識システムにおいて、前記特徴量は選択された少なくとも２つの部位又は領域間の距離情報であることを特徴とする。

請求項６記載の発明は、請求項３記載の対象物認識システムにおいて、前記特徴量は前記画像中の選択された少なくとも１つの領域の最小径、最大径、平均径、面積のうちの少なくとも１つであることを特徴とする。

請求項７記載の発明は、請求項３記載の対象物認識システムにおいて、前記特徴量は前記画像中の選択された少なくとも１つの領域の形状であることを特徴とする。

請求項８記載の発明は、請求項１〜３のいずれか１項記載の対象物認識システムにおいて、前記特徴量は選択された複数の部位又は／及び領域の分布情報であることを特徴とする。

請求項９記載の発明は、請求項１記載の対象物認識システムにおいて、前記画像表示手段において、前記選択手段で選択された部位又は／及び領域の輪郭、又は選択されない部位又は／及び領域の色又は明るさが変化することを特徴とする。

この発明によれば撮像された画像から簡易かつ正確に対象物の特徴量を抽出することができる。

以下、この発明の実施の形態を図面に基づいて説明する。

図１はこの発明の一実施形態に係る対象物認識システムの全体構成図である。

この対象物認識システムは、撮像装置（撮像手段）１０と画像表示部（画像表示手段）２０とタッチペン（選択手段）３０と選択領域画像抽出部（選択領域画像抽出手段）４０と特徴量抽出部（特徴量抽出手段）５０と検索エンジン（検索手段）６０とデータベース７０と同定候補表示部８０とを備えている。

撮像装置１０は撮影レンズ（撮像光学系）１１と撮像部１２と画像処理回路１３とを備えている。

撮影レンズ１１は花等の対象物の光学像を撮像部１２の受光面上に結像する。なお、図１には撮影レンズ１１は１つのレンズで描かれているが、実際には複数のレンズで構成される。

撮像部１２はＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）である。ＣＣＤは複数の受光素子を含み、撮影レンズ１１によって結像された対象物の光学像によってそれぞれの受光素子に蓄積された電荷を、アナログの電気信号として画像処理回路１３に出力する。

画像処理回路１３はＣＣＤから受け取った、対象物のアナログ電気信号をＲ、Ｇ、Ｂの各成分に分解する。画像処理回路１３はＲ、Ｇ、Ｂの各成分に分解されたアナログ電気信号をデジタル信号に変換し、対象物の像を示すデジタルの画像データをメモリ（図示せず）に記憶させて各種の処理を行なった後、デジタル信号をアナログ信号に変換してアナログの画像データを画像表示部２０に出力する。

画像表示部２０は例えばＣＲＴディスプレイやデジタルカメラのＬＣＤパネルである。画像表示部２０に撮像装置１０によって撮像された画像データを出力することにより、対象物の画像を検索者に提供することができる。

検索者が通常紙に絵や文字を描く感覚でタッチペン３０を扱うことができる。そのため、タッチペン３０を使用することによって検索者は対象物の形状に応じて対象物の輪郭に沿ってなぞったり、領域を選択することが比較的容易にできる。

選択領域画像抽出部４０は画像表示部２０に表示された表示画面２１から、タッチペン３０によって選択された特定の領域を抽出する。

特徴量抽出部５０は選択領域画像抽出部４０によって抽出された画素に対応する特徴量となる例えば色情報を抽出する。

データベース７０には対象物が属するカテゴリに含まれる複数の種について、少なくとも同定すべき対象物の特徴量に対応する特徴量情報（花の名称、科、特徴量（色、大きさ、形、花の分布情報）、開花時期（結実時期）等）があらかじめ登録されている。

検索エンジン６０は特徴量抽出部５０で抽出された例えば色情報（特徴量）とデータベース７０のデータ群に登録された色情報（特徴量）とを対比し、抽出された色情報と同じ色情報を有するデータを検索する。

同定候補表示部８０には検索エンジン６０で検索されたデータ、例えば画像や名称等を含む情報が表示される。

次に、この発明の第１実施形態に係る対象物認識システムの特徴量の抽出方法を説明する。なお、以下の説明では便宜上点又は塊状の領域（例えばタッチペン３０の先端で選択された1〜数個だけの画素で構成された領域やタッチペン３０で塗り潰された領域）を部位と称する。また、タッチペン３０で描かれた閉曲線で囲まれることにより選択された部分を領域と称する。

まず、対象物の画像が撮影レンズ１１によって撮像部１２の受光面上に結像され、撮像部１２で光電変換された画像データが画像処理回路１３へ出力される。画像処理回路１３から出力された画像データは画像表示部２０の表示画面２１に対象物の画像として表示される。

次に、表示画面２１中の対象物の画像からタッチペン３０を用いて所望の部位を選択する。表示画面２１のうち、選択された部位の色は変化するので、検索者は選択された部位を認識することができる。

選択した部位が正しくない場合、検索者は選択された部位を不図示の選択解除ボタンによりクリアする。一方、選択された部位が正しい場合、検索者は不図示の抽出ボタンを操作して選択された領域の部位を抽出する抽出指示を行う。

特徴量が色情報の場合、表示画面２１上では選択されない部位の色や明暗変化し、選択された領域だけが元の画像の色のままになったりする。これは、検索者が選択した部位の色を明確にするためである。したがって、選択した部位の輪郭を囲むように枠が表示されてもよい。また、選択された部位の画素数が1〜数個だけである場合には、正確な色を表示することができないので、少なくとも選択された部位の画素に隣接する画素を含む部位が選択される。

このようにすることにより、選択された部位が、検索者が選択した色であるかどうかを判断できる。検索者は、この色が意図した色でない場合、不図示の抽出解除ボタン（前記選択解除ボタンと同じであってもよい）により選択された部位をクリアし、再度検索操作を行う。一方、選択した部位の色が検索者が意図した色であれば、検索処理を続行する。

検索エンジン６０は抽出された色情報とデータベース７０のデータ群に登録された色情報とを対比して、抽出された色情報と同じ色情報を有するデータをデータベース７０のデータ群から選択する。

そして、選択された候補の画像や名称等を含む情報が同定候補表示部８０に表示される。選択された候補が多い場合、その数に応じて、同定候補表示部８０に選択された候補がスクロール方式で順次表示されたり、選択された候補の数だけが表示されたり、候補の名称だけが表示されたりする。表示の方法については検索者によって選択できるようにしてもよい。

また、検索者は最初に抽出された特徴量とは異なる特徴量を抽出できる部位を選択し、最初に抽出された特徴量と新たに抽出された特徴量とを複合した特徴量を用いて対象物の画像や名称等の検索を行うこともできる。この検索方法を図２、３を用いて説明する。

図２、３はこの発明の第１実施形態に係る対象物認識システムの他の特徴量の抽出方法を説明する図である。

検索者は図２のメニュー画面ＭＰのうちタッチペン３０で色情報を選択する。色情報がアクティブになり、選択した部位から色情報が特徴量として抽出される。

図２では対象物（花）が白と黄色の複数の色を有している。

検索者がタッチペン３０を用いて表示画面２１上の色の異なる2つの部位２１−１，２１−２を選択すると、各々の部位毎の色情報が選択され、この特徴量に基づいてデータベース７０から候補の抽出が行われる。このように各々の部位毎の色情報を抽出して検索が行われるので、より精度の高い検索精度が得られる。

ここで、選択された部位２１−１，２１−２の色の処理について説明する。選択された部位２１−１，２１−２が複数の画素を含む場合には、その部位での画素Ｒ，Ｇ，Ｂの組合せ（ピクセル）を複数選択し、それぞれの組合せにおける色を求め、それらの色の平均値をその部位の色とする。処理は予め組合せごとに求めたＲＧＢ値をＨＳＶ変換やＬａｂ変換等により変換し、各座標値の平均をとってもよい。なお、ＨＳＶ変換のＨはｈｅｕ（色相）、Ｓはｓａｔｕｒａｔｉｏｎ（彩度）、Ｖはｖａｌｕｅ（明度）である。ＬａｂのＬは輝度の要素、ａはグリーンからレッドへ、ｂはブルーからイエローへの色相の要素をそれぞれ表している。

また、各組合せ毎にＲＧＢ値を求め、その平均値をＨＳＶ変換やＬａｂ変換等により変換して色座標を求めてもよい。選択された部位２１−１，２１−２が数画素だけの場合、その１つの画素が少なくとも隣接する周辺の画素を含めた部位を色の部位として、同様の処理を行う。

図２ではタッチペン３０で接触した部位２１−１，２１−２を選択したが、例えば図３に示すようにタッチペン３０で描いた閉曲線で囲まれた領域（２２−１，２２−２，２２−３）を選択することもできる。この場合には、選択された領域から抽出される色は、選択された領域２２−１，２２−２、２２−３における各画素の色の平均値又は最も多くの領域を占める画素の色である。また、画素Ｒ，Ｇ，Ｂの各々１画素を１組としたピクセル単位で色を検出し、ピクセル毎の色とその色に対応するピクセル数を表示してもよい。更に、領域２２−１，２２−２，２２−３の他に部位２２−４を選択してもよい。なお、選択する領域は１つであってもよい。

検索者はこのようにして抽出された候補の中から、対象物と同じ特徴を有する候補を選択し、画像表示部２０上に候補のサンプル画像及びそのデータを表示することができる。

この実施形態によれば、表示された表示画面２１にタッチペン３０を当てて対象物の特徴量を抽出するので、選択のための演算の必要がなく、簡易かつ正確に特徴量を抽出することができる。

図４、５、６はこの発明の第２実施形態に係る対象物認識システムの他の特徴量の抽出方法を説明する図である。なお、図６（ａ）、（ｂ）は図５（a），（ｂ）の画像から選択された領域だけを示す図である。

この実施形態は選択された部位同士の位置関係（２つの部位同士の距離）から特徴量を抽出する点で第１実施形態と相違する。

まず、図４に基づいて対象物の大きさを求める方法を説明する。検索者はメニュー画面ＭＰの花の径をタッチペン３０で選択してアクティブにする。検索者は対象物の画像のうち、特徴量となる距離情報を得るための２つの部位２３−１、２３−２を選択する。２つの部位２３−１、２３−２は表示画面２１上の対象物と背景との境界線の近傍にそれぞれ位置する。

実際の花の径φは、表示画面２１上での２つの部位２３−１、２３−２間の距離φ’、倍率β、又は２つの部位２３−１、２３−２間の距離φ’、レンズ１１の焦点距離ｆ、レンズ１１から対象物までの距離ｄとしたとき、以下の１式で算出される。

φ ＝ φ’／β
＝ ｆφ’／（ｄ−ｆ） ・・・（１式）
ここで、ｄはレンズ１１から対象物までの距離として、撮像装置１０に搭載された図示しない自動焦点機構（AF）により、焦点の合った状態でのレンズ１１の繰り出し量から求めることができる。

また、焦点距離ｆは、単焦点レンズの場合は固定値であるが、ズームレンズの場合でも、通常デジタルカメラのレンズデータとして撮影されたデジタル画像とともに保存されている。

このようにして抽出された距離情報、例えば、草丈情報や花の大きさ情報に基づいて検索を行う。図４では頭花の径を計測しているが、筒状花部位の径や、草丈等、対象物の種類により、抽出される特徴量は異なる。抽出科能な特徴量は全てメニュー画面ＭＰで選択することができる。

また、検索の対象物が花序形状を有する花の場合には、検索者はメニュー画面ＭＰの分布情報をアクティブにし、図５（ａ）、（ｂ）に示すようにタッチペン３０で各花の中心位置Ｐ１〜Ｐ７、Ｐ１１〜Ｐ１７の画素を選択することによって花の分布状態から花序の形状がわかる。図５においては、タッチペン３０で花序の輪郭（点線で示している）を指定して、花序の領域Ａ１，Ａ２を選択した。このように花序の領域Ａ１，Ａ２を選択することによって、花序全体の大きさを計測することができる。

特徴量抽出部５０により抽出された領域Ａ１，Ａ２の最小径φ１’及び最大径φ２’を計測する（図６（ａ）、（ｂ）参照）。実際の花序の最小径φ１及び最大径φ２は、表示画面２１上の花序（領域Ａ１，Ａ２）φ１’、φ２’から上述の（１式）を用いて求められる。更に、特徴量抽出部５０において、最小径φ１’と最大径φ２’との比を求めることにより、対象物の花序の形状が線形であるか、面状に広がるものであるかを判定し、これを花序の特徴量とする。最小径φ１’と最大径φ２’との比から、図６（ａ）に示すように花が線形に分布していたり、図６（ｂ）に示すように花が面（略円形）に分布していたりすることが容易にわかる。また、選択された領域Ａ１，Ａ２に含まれる画素数を計測して、１画素に対応する面積がわかるので、選択された領域Ａ１，Ａ２の面積を求めることもできる。

また、選択された花の中心位置（Ｐ１〜Ｐ７、Ｐ１１〜Ｐ１７）情報から、更に詳細な花の分布情報を抽出することもできる。花の分布情報は、上述の（１式）から表示画面２１上の距離φ３’により求められる隣接する花同士の距離φ３’と花の中心位置（Ｐ１〜Ｐ７、Ｐ１１〜Ｐ１７）情報から抽出される。花の位置は例えばセリ科の一部の植物のような散形状花序である植物においては、小散形花序ごとの重心位置でもよい。また、例えば花の中心位置でなく各花の輪郭をなぞるように抽出してもよい。この花の分布情報から花の分布の規則性を抽出し、花序の形状を特定することができる。

なお、この実施形態のように、選択された部位同士の位置の検出が目的である場合には、色の検出と異なり、選択された部位に含まれる画素が１〜数個であっても、それに隣接する画素を選択する必要はない。

このようにして求められる各種の特徴量に対応する特徴量のデータを登録特徴量として予めデータベース７０に登録し、抽出された特徴量とデータベース７０の特徴量のデータのうちの少なくとも１つの登録特徴量とを対比させることにより、精度の高い検索が可能となる。

この第２実施形態によれば、第１実施形態と同様の効果を奏するとともに、簡易に得られる花の大きさ情報や分布情報等から特徴量を求めるようにしたので、撮像装置１０で得られた画像から対象物の切り出し作業を行う必要がなく、対象物を同定するための特徴量を第１実施形態よりも容易に得ることができる。

図７、８、９はこの発明の第３実施形態に係る対象物認識システムの他の特徴量の抽出方法を説明する図である。

この実施形態では、対象物の輪郭の近傍をタッチペン３０でなぞって領域を選択し、輪郭を抽出する。

検索者は、表示画面２１に検索すべき対象物の画像が表示されているとき、まず、画面２１に設けられた不図示の領域選択モード切替ボタンを押して輪郭抽出モードにする。

次に、図７に示すように、タッチペン３０で対象物の輪郭をなぞって点線で囲まれた領域２４を選択する。対象物の輪郭をなぞった線が検索者の意図する線であれば、不図示の領域選択ボタンを押す。領域選択ボタンを押すことにより領域選択の指示が出されると、選択領域選画像抽出部４０はなぞられた線の位置に基づいて領域選択を開始する。領域選択は以下の方法で行われる。

まず、タッチペン３０で描かれた輪郭を構成する各点（例えば画素）において、それぞれの点に最も近接する不連続な部位が選択される。ここで、不連続な部位とは、例えば、色、コントラストが急激に変化する部位、フォーカスが急激に変化する部位である。この不連続な部位を選択する処理が対象物の輪郭をなぞった線に沿って行われることによって、対象物の輪郭を抽出することができる。

輪郭抽出後は輪郭に囲まれた領域の大きさ（径や面積）、形状等の特徴量を自動的に抽出することができる。また、この領域内の色情報、各色の割合（画素数情報、面積情報等）を得ることができるので、色情報の自動抽出も可能となる。このように、輪郭内の特徴的な色や形状、大きさを自動的に抽出することができるため、対象物の特徴量を効率的に抽出することができる。

なお、輪郭抽出を行う前に、輪郭内の特徴的な色の部位（例えば２４−１）を指定して色情報を登録すれば、輪郭抽出の際に、登録された色とは異なる色調を不連続点として認識できるので、輪郭抽出作業の効率が向上する（図８参照）。

更に、図９に示すように、抽出された第１の領域２５−１内に不連続な第２の領域２５−２が存在する場合には、上記抽出処理を第２の領域２５−２に対しても行う。このように２つの領域２５−１、２５−２及び部位２５−３、２５−４の色を抽出することにより、２つの領域２５−１、２５−２の位置関係が認識されるので、この認識された特徴量とデータベース７０の特徴量とを対比させることにより認識率を高めることができる。この場合にも、抽出した第１の領域、第２の領域のおのおので色情報や大きさ情報を自動抽出させるようにしてもよいことはいうまでもない。

この実施形態によれば、第１実施形態と同様の効果を奏する。また、対象物の輪郭の抽出を行うことにより更に特徴量を自動化できる効果をも奏する。

図１０、１１はこの発明の第４実施形態に係る対象物認識システムの他の特徴量の抽出方法を説明する図である。

この実施形態では、分布情報に基づいて、領域及び部位選択による特徴量の抽出及び検索を行う。

検索者はまず、対象物の画像を撮像する。撮像した対象物について検索を行う場合、不図示の検索開始ボタンを押す。検索開始ボタンを押すと、抽出可能な特徴量がメニュー画面ＭＰに表示される（図１０（ａ）参照）。データベース７０の特徴量は、例えば「花の色」、「花の大きさ」、「花の形状と分布」である。検索者はメニュー画面ＭＰに表示された特徴量のうち最初に抽出を行いたい特徴量をタッチペン３０でアクティブにする。例えば、最初に色情報をアクティブにする。図１０（ａ）の表示画面２１上の第１の部位２６−１をタッチペン３０で選択し、表示画面２１の右下の特徴量抽出ボタン２０ａを押す。選択された部位２６−１に対応する色情報が特徴量抽出部５０に登録されるとともに、メニュー画面ＭＰには認識された色情報が表示される。

他に認識すべき色情報がない場合には、表示画面２１の左下の検索実行ボタン２０ｂを押して選択した色情報で検索を行う。他に抽出すべき色情報がある場合、第２の部位２６−２をタッチペン３０で選択し（図１０（ｂ）参照）、再度特徴量抽出ボタン２０ａを押す。この処理は抽出したい色がなくなるまで繰り返される。

必要な部位を全て選択し、表示画面２１の特徴量抽出ボタン２０ａをタッチペン３０で押すと検索が実行され（図１０（ｃ）参照）、登録された特徴量である色情報に基づいて、データベース７０から同定候補が選択される。選択された同定候補の数に応じて、サンプル画像、名称、候補数が表示される。同定候補の数が少ない場合、同定候補の画像と名称等が同定候補表示部８０に表示される。同定候補の数が多い場合、同定候補をスクロール方式で順次表示させたり、同定された候補の数だけが表示させたり、同定候補の数と名称だけを表示させたりすることができる（図１０（ｄ）参照）。また、同定候補の名称だけを表示させ、検索者が記憶している名称から同定作業を行うことも可能である。なお、名称の表示についても、同定候補が多い場合にはスクロール表示が可能である。

一方、検索者が、同定候補数が多く、名称や画像による同定が困難と判断した場合、前の情報（色情報）を残したまま、別の特徴量の抽出作業を行う。別の特徴量の抽出を行うには、検索結果表示画面ＥＰの消去の表示の項目２１ｅをタッチペン３０で選択して検索結果表示画面ＥＰを消去する（図１０（ｄ）参照）。そして新たに、次の特徴量（この実施形態では「花の大きさ」）を抽出する（図１１（ａ）参照）。花の大きさの抽出は、前述したように花の輪郭のうち、径方向の２つの部位２６−３、２６−４をタッチペン３０で選択し、特徴量抽出ボタン２０ａを押すことによって行われる（輪郭抽出モードに切り替え、抽出した輪郭から径を自動抽出してもよい）。花の大きさが抽出された後、検索者は検索実行ボタン２０ｂを押す（図１１（ｂ）参照）。

上述した色の抽出結果と花の大きさの抽出結果との２つの特徴量に基づいて再度検索が行われて、同定候補が絞られ、その検索結果が検索結果表示画面ＥＰに表示される（図１１（ｃ）参照）。検索者は、検索結果の画像表示を行うか次の条件で検索を行うかを選択する。検索者が検索結果表示画面ＥＰの画像表示の項目を選択した場合の画像表示部２０の表示は例えば図１１（ｄ）に示すようになる。図１１（ｄ）に示されるように、同定候補のサンプル画像２７と説明文２８とが表示され、検索者は、この表示に基づいて同定作業を行う。対象物の同定作業が終了したとき、例えばサンプル画像２７の右上のチェックボックス２７ａにタッチペン３０を当て、そのサンプル画像２７と対象物の画像とを結び付ける。対象物の画像は所定のデータ（開花時期、結実時期、生育地等の情報）とともに、画像記憶部（図示せず）に保存される。

この実施形態によれば、第１実施形態と同様の効果を奏する。

図１２はこの発明の第５実施形態に係る検索システムにおける処理の流れの一例を示すフローチャートである。

まず、第１の特徴量として対象物の画像から色情報を抽出するか否かを判断する（ステップ１）。特徴量として色情報を抽出しないときはステップ６へ進む。

対象物の色情報を特徴量として抽出するとき、タッチペン３０を用いて対象物の色を抽出する部位（領域）を選択する（ステップ２）。タッチペン３０が触れた位置の色が変化するので、選択された部位等を認識できる。

選択した部位等が十分であるか否か、例えば他に選択する部位（色を抽出する部位）等があるか否かを判断する（ステップ３）。選択した部位等が十分でないときはステップ２へ戻る。

選択した部位等が十分であるとき、特徴量抽出ボタン２０ａを押して、特徴量（色）の抽出を行う（ステップ４）。色の抽出は選択された部位等毎に行われる。複数の部位等が選択されているとき、表示画面２１に表示されるメニュー画面ＭＰに、例えば「選択部１−白、選択部２−黄」等が表示される。

抽出された色情報は検索に用いられる情報として特徴量抽出部５０に登録される（ステップ５）。

次に、第２の特徴量として対象物の大きさを抽出するか否か、例えば距離情報を抽出するか否かを判断する（ステップ６）。対象物の大きさを抽出しないときにはステップ１１へ進む。

対象物の画像の輪郭の近傍にタッチペン３０を当て距離測定部位を選択する（ステップ７）。

選択した部位間の距離等を抽出する（ステップ８）。

抽出された距離等の情報は検索に用いられる情報として特徴量抽出部５０に登録される（ステップ９）。

抽出された距離等の情報が選択された部位等だけで十分であるか否か、例えば他に抽出する距離（面積）情報があるか否かを判断する（ステップ１０）。抽出された部位等だけで十分でないときにはステップ７に戻る。ステップ７に戻ってステップ７，８の処理が実行される。このとき、抽出された特徴量の情報は特徴量抽出部５０に登録される。

次に、第３の特徴量として分布情報を抽出するか否かを判断する（ステップ１１）。分布情報を抽出しないときにはステップ１５へ進む。

タッチペン３０を用いて分布情報を抽出したい部位を選択する（ステップ１２）。選択される部位は例えば複数の花のそれぞれの中心位置や花房全体の輪郭である。

選択された部位に基づいて分布情報を抽出する（ステップ１３）。抽出される情報は例えば花序の形状（線状、円錐状、散形状）である。

抽出された分布情報は特徴量抽出部５０に登録される（ステップ１４）。

以上のようにして抽出された情報に基づいて対象物の検索を行う（ステップ１５）。

検索結果を同定候補表示部８０に表示する（ステップ１６）。検索結果としては、例えば同定候補数、同定された植物の名称等が表示される。例えば、候補数が少ないときにはサンプル画像及び説明文を表示させる。しかし、候補数が多いときにもサンプル画像、説明文を表示させてもよい。

この実施形態によれば、第１実施形態と同様の効果を奏する。

なお、上記各実施形態では、表示画面２１に選択手段としてのタッチペン３０を接触させて画像の一部の選択を行ったが、タッチペン３０に代え、表示画面２１に圧力センサや温度センサ等を設け、それに指等を接触させて画像の一部の選択を行ってもよい。このようにすれば、選択作業をカメラの操作の一環として行え、タッチペン３０を持つ手間が省け、検索時間の短縮を図ることができる。

図１はこの発明の一実施形態に係る対象物認識システムの全体構成図である。 図２はこの発明の第１実施形態に係る対象物認識システムの他の特徴量の抽出方法を説明する図である。 図３はこの発明の第１実施形態に係る対象物認識システムの他の特徴量の抽出方法を説明する図である。 図４はこの発明の第２実施形態に係る対象物認識システムの他の特徴量の抽出方法を説明する図である。 図５はこの発明の第２実施形態に係る対象物認識システムの他の特徴量の抽出方法を説明する図である。 図６はこの発明の第２実施形態に係る対象物認識システムの他の特徴量の抽出方法を説明する図である。 図７はこの発明の第３実施形態に係る対象物認識システムの他の特徴量の抽出方法を説明する図である。 図８はこの発明の第３実施形態に係る対象物認識システムの他の特徴量の抽出方法を説明する図である。 図９はこの発明の第３実施形態に係る対象物認識システムの他の特徴量の抽出方法を説明する図である。 図１０はこの発明の第４実施形態に係る対象物認識システムの他の特徴量の抽出方法を説明する図である。 図１１はこの発明の第４実施形態に係る対象物認識システムの他の特徴量の抽出方法を説明する図である。 図１２はこの発明の第５実施形態に係る検索システムにおける処理の流れの一例を示すフローチャートである。

符号の説明

１０： 撮像装置（撮像手段）、２０：画像表示部（画像表示手段）、２１：表示画面、３０：タッチペン（選択手段）、４０：選択領域画像抽出部（選択領域画像抽出手段）、５０：特徴量抽出部（特徴量抽出手段）、６０：検索エンジン（検索手段）、７０：データベース。

Claims (9)

1. 対象物の画像を撮像する撮像手段と、
   前記撮像手段によって撮像された画像を表示する画像表示手段と、
   前記画像表示手段に表示された前記対象物の画像の一部を選択する選択手段と、
   前記選択手段で選択された前記画像の一部に基づいて前記対象物の特徴量を抽出する特徴量抽出手段と、
   前記対象物が属するカテゴリに含まれる複数の種について、少なくとも前記特徴量に対応する特徴量情報があらかじめ登録されたデータベースと、
   前記特徴量抽出手段で抽出された特徴量と前記データベースに登録された前記特徴量情報のうちの少なくとも１つの登録特徴量とを対比して前記対象物の属性情報を検索する検索手段と
   を備えていることを特徴とする対象物認識システム。
2. 前記画像の一部は少なくとも１つの部位であることを特徴とする請求項１記載の対象物認識システム。
3. 前記画像の一部は前記選択手段で選択した閉曲線で囲まれた少なくとも１つの領域であることを特徴とする請求項１記載の対象物認識システム。
4. 前記特徴量は前記画像中の選択された部位又は領域から抽出された色情報であることを特徴とする請求項２又は３記載の対象物認識システム。
5. 前記特徴量は選択された少なくとも２つの部位又は領域間の距離情報であることを特徴とする請求項２又は３記載の対象物認識システム。
6. 前記特徴量は前記画像中の選択された少なくとも１つの領域の最小径、最大径、平均径、面積のうちの少なくとも１つであることを特徴とする請求項３記載の対象物認識システム。
7. 前記特徴量は前記画像中の選択された少なくとも１つの領域の形状であることを特徴とする請求項３記載の対象物認識システム。
8. 前記特徴量は選択された複数の部位又は／及び領域の分布情報であることを特徴とする請求項１〜３のいずれか１項記載の対象物認識システム。
9. 前記画像表示手段において、前記選択手段で選択された部位又は／及び領域の輪郭、又は選択されない部位又は／及び領域の色又は明るさが変化することを特徴とする請求項１記載の対象物認識システム。

Images