JP2007251720A - 対象物認識システム - Google Patents

Abstract

【課題】調査すべき対象物の像を含む画像から対象物の像以外の部分を容易に除去することができる対象物認識システムを提供する。
【解決手段】カメラ１０の撮影レンズによって取得された複数の対象物の画像をファインダＶＦ内に対象物の像とともに、焦点板に配置された複数のＡＦポイント２１を表示させる。図示しない選択スイッチを押し、抽出画像Ａを含む位置ＳのＡＦポイント２１を光らせ、光らせたＡＦポイント２１に最も近い抽出画像Ａを複数の画像の中から選択する。
【選択図】図２

Description

この発明は対象物認識システムに関する。

植物や鳥等の名称等を調べるために、従来図鑑がよく用いられている。調べようとする対象の実物又は写真等の画像と図鑑に収録された図版とを比較対照することにより、対象物を図鑑中の図版から特定するのが一般的である。ところが、例えばデジタルカメラで調べようとする植物を撮影した場合、調べようとする植物以外のもの（例えば地面、植木鉢、他の種類の植物等）がノイズとして撮影画像中に含まれるため、対象物と図版との比較対照が困難になることがある。下記文献に記載された植物認識システムでは対象物を撮影するに際して、対象物の色と異なる色の紙等を対象物の背景となるように配置して、対象物の特定の困難さを解消している。
特開２００２−２０３２４２号公報

しかし、実際には調査すべき対象物の実物の採取や対象物の存在する場所への立ち入りが規制されていることがあるため、対象物の色と異なる色の紙等を対象物の背景となるように配置することは必ずしも可能ではなく、対象物以外のノイズを排除できるとは限らなかった。また、色によって対象物以外のノイズを排除する処理は煩雑である。

この発明はこのような事情に鑑みてなされたもので、調査すべき対象物の像を含む画像から対象物の像以外の部分を容易に除去し、対象物の像を合理的に選択することができる対象物認識システムを提供することである。

上記課題を解決するため請求項１記載の発明は、撮影画面内に所定の配列で配置される複数の合焦用マークのうちの少なくとも１つの合焦用マークを選択する選択手段と、選択された前記合焦用マークの位置情報又は識別情報を記憶する記憶手段と、撮影の対象物に関する複数の情報のうちの少なくとも１つの情報を用いて前記対象物の画像から１つ又は複数の画像を抽出する第１の抽出手段と、前記第１の抽出手段によって前記複数の画像が抽出されたとき前記複数の画像の中から前記記憶手段に記憶された位置情報又は識別情報に基づいて少なくとも１つの画像を選択する第２の抽出手段とを備えていることを特徴とする。

請求項２記載の発明は、請求項１記載の対象物認識システムにおいて、前記第２の抽出手段は、前記選択手段によって選択された合焦用マークに最も近い画像を前記複数の画像の中から選択することを特徴とする。

請求項３記載の発明は、請求項１記載の対象物認識システムにおいて、前記第２の抽出手段は、前記選択手段によって選択された合焦用マークと前記撮影画面の中心とを結ぶ仮想直線に接触する画像を前記複数の画像の中から選択することを特徴とする。

請求項４記載の発明は、請求項１記載の対象物認識システムにおいて、前記第２の抽出手段は、前記選択手段によって選択された合焦用マークと前記撮影画面の中心とを含むほぼ矩形又は楕円形状の仮想領域と最も広い範囲で重なる画像を前記複数の画像の中から選択することを特徴とする。

請求項５記載の発明は、請求項１記載の対象物認識システムにおいて、前記第２の抽出手段は、前記選択手段によって選択された合焦用マークと前記撮影画面の中心とを含むほぼ矩形又は楕円形状の仮想領域が前記複数の画像に重なるとき、前記各画像に重なる前記仮想領域の割合が最も高い画像を前記複数の画像の中から選択することを特徴とする。

請求項６記載の発明は、請求項３〜５のいずれか１項記載の対象物認識システムにおいて、前記第２の抽出手段は、前記選択手段によって選択された合焦用マークと前記撮影画面の中心との間に重み付けを行って前記複数の画像に選択順位を付けることを特徴とする。

この発明によれば調査すべき対象物の像を含む画像から対象物の像以外の部分を容易に除去することができる。

以下、この発明の実施の形態を図面に基づいて説明する。

図１はこの発明の第１実施形態に係る対象物認識システムの構成を示すブロック図である。

対象物認識システムはカメラ１０とＡＦポイント選択部（選択手段）２０と記憶部（記憶手段）３０と第１の抽出部（第１の抽出手段）４０と第２の抽出部（第２の抽出手段）５０とデータベース６０と出力装置７０と距離計測部８０とを備えている。

カメラ１０は例えば画像情報に基づいて花の名称その他の情報を検索可能なデジタル電子図鑑（対象物認識システム）の入力装置である。カメラ１０は例えば一眼レフデジタルカメラである。カメラ１０は対象物（例えば植物）を撮影し、対象物をＲＧＢ表色系に基づくデジタル画像を出力する。

カメラ１０のファインダ（撮影画面）ＶＦ（図３参照）の図示しない焦点板には図示しないＡＦセンサの受光部に対応する複数のＡＦポイント（合焦用マーク）２１が所定の配列で形成されている。ＡＦポイント２１は例えば焦点板に刻まれた四角形の枠である。

ＡＦポイント選択部２０は例えばカメラ１０のボディに設けられたＡＦポイント選択スイッチである。ＡＦポイント選択スイッチの選択操作によって例えばファインダＶＦ内に表示された複数のＡＦポイント２１のうちの少なくとも１つのＡＦポイント２１が選択される。選択手段の他の例として、ファインダＶＦをのぞいたときの眼球の表面反射を検知し、反射光の反射方向を位置検出装置（図示せず）で検知することで、眼球がどのＡＦポイント２１に向いているかでＡＦポイント２１を選択する方法（視線検出方法）を採用してもよい。

第１の抽出部４０は色分離部４１と形状判定部４２と特徴抽出部４３とを有する。まず色分離部４１で例えばＬａｂ変換を用いて色分離され、次に形状判定部４２で例えば所定の閾値との比較によって形状分離され、最後に特徴抽出部４３で対象物の画像から複数の画像を抽出する。特徴抽出部４３は記憶部３０を有する。記憶部３０には選択されたＡＦポイント２１の位置情報又は識別情報が記憶される。

第２の抽出部５０は、第１の抽出部４０によって抽出された複数の画像の中から記憶部３０に記憶された位置情報又は識別情報に基づいて少なくとも１つの画像を選択する。

データベース６０には対象物が属するカテゴリに含まれる種について、少なくとも同定すべき対象物の特徴量に対応する特徴量情報（例えば花の名称、科、特徴量（色、大きさ、形、花の分布情報、開花時期等）が登録されている。

出力装置は例えばＣＲＴディスプレイやＬＣＤパネルであり、第２の抽出部５０で選択された対象物の画像や名称等を含む画像が表示される。

距離計測部８０でカメラ１０から対象物を含む画像内各距離が計測される。

次に、この発明の第１実施形態に係る対象物認識システムの画像の抽出方法を説明する。

図２はこの発明の第１実施形態に係る対象物認識システムのカメラのファインダ内のＡＦポイントの配置を示す図である。

ファインダＶＦ内に複数のＡＦポイント２１が所定の間隔で表示されている。

図２において、Ａ、Ｂ、Ｃは抽出画像を示し、Ｓは選択されたＡＦポイント２１の位置を示す画像である。

まず、カメラ１０の撮影レンズによって複数の対象物を含む画像がファインダＶＦ内に表示される。このとき、ファインダＶＦには対象物とともに、焦点板に配置された複数のＡＦポイント２１が表示される。

次に、図示しないＡＦポイント選択スイッチを押し、位置ＳのＡＦポイント２１を光らせ、光らせたＡＦポイント２１に最も近い抽出画像Ａを複数の画像の中から選択する。選択されたＡＦポイント２１の位置情報等に基づいた（例えば選択されたＡＦポイント２１に焦点を合わせた）対象物の画像が撮影される。

その後、選択された抽出画像Ａに含まれる対象物の特徴量が特徴抽出部４３で抽出される。第２の抽出部５０でデータベース６０からの特徴量による検索を行ない、特徴量に対応付けられたデータベース６０から対象物の情報（例えば花の色、形状）を取得する。その情報は出力装置７０に対象物の画像として表示される。

この実施形態によれば調査すべき対象物の像を含む画像から対象物の像以外の部分を容易に除去することができる。

図３はこの発明の第２実施形態に係る対象物認識システムのカメラのファインダ内のＡＦポイントの配置を示す図であり、第１実施形態と共通する部分には同一符号を付してその説明を省略する。

上記実施形態と同様に、ファインダＶＦに対象物の像とともに、焦点板に配置された複数のＡＦポイント２１が表示された後、図示しないＡＦポイント選択スイッチを押し、位置ＳのＡＦポイント２１を光らせる。光らせたＡＦポイント２１とファインダＶＦの中心Ｏとを結ぶ仮想直線Ｌ１に接触する抽出画像Ａを複数の抽出画像Ａ、Ｂ、Ｃの中から選択する。

なお、選択される抽出画像が複数ある場合（仮想直線Ｌ１に接触する抽出画像が複数ある場合）、選択されたＡＦポイント２１に最も近い一定面積以上を有する抽出画像が選択される。

その後、選択された抽出画像Ａに含まれる対象物の特徴量が特徴抽出部４３で抽出される。第２の抽出部５０でデータベース６０からの特徴量による検索を行ない、特徴量に対応付けられたデータベース６０から対象物の情報（例えば花の色、形状）を取得する。その情報は出力装置７０に対象物の画像として表示される。

この実施形態によれば第１実施形態と同様の効果を奏する。

図４はこの発明の第３実施形態に係る対象物認識システムのカメラのファインダ内のＡＦポイントの配置を示す図であり、第１実施形態と共通する部分には同一符号を付してその説明を省略する。

上記実施形態と同様に、ファインダＶＦに対象物の像とともに、焦点板に配置された複数のＡＦポイント２１が表示された後、図示しないＡＦポイント選択スイッチを押し、位置ＳのＡＦポイント２１を光らせる。光らせたＡＦポイント２１とファインダＶＦの中心Ｏとを含むほぼ矩形の仮想領域Ｒ１と重なる抽出画像Ａを複数の画像Ａ、Ｂ、Ｃの中から選択する。

なお、矩形の仮想領域Ｒ１と重なる抽出画像が複数ある場合、矩形の仮想領域Ｒ１と最も広い範囲で重なる抽出画像が選択される。また、矩形の仮想領域Ｒ１は図示の大きさに限定されるものではなく、任意の大きさとすることができる。

その後、選択された抽出画像Ａに含まれる対象物の特徴量が特徴抽出部４３で抽出される。第２の抽出部５０でデータベース６０からの特徴量による検索を行ない、特徴量に対応付けられたデータベース６０から対象物の情報（例えば花の色、形状）を取得する。その情報は出力装置７０に対象物の画像として表示される。

この実施形態によれば第１実施形態と同様の効果を奏する。

図５はこの発明の第４実施形態に係る対象物認識システムのカメラのファインダ内のＡＦポイントの配置を示す図であり、第１実施形態と共通する部分には同一符号を付してその説明を省略する。

上記実施形態と同様に、ファインダＶＦに対象物の像とともに、焦点板に配置された複数のＡＦポイント２１が表示された後、図示しないＡＦポイント選択スイッチを押し、位置ＳのＡＦポイント２１を光らせる。光らせたＡＦポイント２１とファインダＶＦの中心Ｏとを含むほぼ楕円形状の仮想領域Ｒ２と重なる抽出画像Ａを複数の画像Ａ、Ｂ、Ｃの中から選択する。なお、楕円形状の仮想領域Ｒ２は図示の大きさに限定されるものではなく、任意の大きさとすることができる。

その後、選択された抽出画像Ａに含まれる対象物の特徴量が特徴抽出部４３で抽出される。第２の抽出部５０でデータベース６０からの特徴量による検索を行ない、特徴量に対応付けられたデータベース６０から対象物の情報（例えば花の色、形状）を取得する。その情報は出力装置７０に対象物の画像として表示される。

この実施形態によれば第１実施形態と同様の効果を奏する。

図６はこの発明の第５実施形態に係る対象物認識システムのカメラのファインダ内のＡＦポイントの配置を示す図であり、第１実施形態と共通する部分には同一符号を付してその説明を省略する。

上記実施形態と同様に、ファインダＶＦに対象物の像とともに、焦点板に配置された複数のＡＦポイント２１が表示された後、図示しないＡＦポイント選択スイッチを押し、位置ＳのＡＦポイント２１を光らせる。光らせたＡＦポイント２１とファインダＶＦの中心Ｏとを含むほぼ楕円形状の仮想領域Ｒ２と最も広い範囲で重なる抽出画像Ａを複数の画像Ａ、Ｂ、Ｃの中から選択する。

なお、楕円形状の仮想領域Ｒ２は図示の大きさに限定されるものではなく、任意の大きさとすることができる。また、仮想領域Ｒ２は矩形であってもよい。

その後、選択された抽出画像Ａに含まれる対象物の特徴量が特徴抽出部４３で抽出される。第２の抽出部５０でデータベース６０からの特徴量による検索を行ない、特徴量に対応付けられたデータベース６０から対象物の情報（例えば花の色、形状）を取得する。その情報は出力装置７０に対象物の画像として表示される。

この実施形態によれば第１実施形態と同様の効果を奏する。

なお、上記実施形態のように、複数のＡＦポイント２１のうちの予め定められたＡＦポイント２１とファインダＶＦの中心Ｏとを含むほぼ楕円形状（矩形）の仮想領域が複数の抽出画像Ａ、Ｂ、Ｃと重なるとき、各画像Ａ、Ｂ、Ｃと重なる仮想領域の割合が最も高い抽出画像を複数の画像Ａ、Ｂ、Ｃの中から選択するようにしてもよい。

抽出画像Ａの面積をＡＡ、選択領域の面積をａ、抽出画像Ａの評価（画像Ａに重なる選択領域の割合）をａ／ＡＡとし、抽出画像Ｂの面積をＢＢ、選択領域の面積をｂ、抽出画像Ｂの評価（画像Ｂに重なる選択領域の割合）をｂ／ＢＢとし、抽出画像Ｃの面積をＣＣ、選択領域の面積をｃ、抽出画像Ｃの評価（画像Ｃに重なる選択領域の割合）をｃ／ＣＣとしたとき、ａ／ＡＡ＞ｂ／ＢＢ＞ｃ／ＣＣならば、選択される画像の順位はＡ＞Ｂ＞Ｃとなる。

また、複数のＡＦポイント２１のうちの予め定められたＡＦポイント２１とファインダＶＦの中心Ｏとの間に重み付けを行って複数の抽出画像Ａ、Ｂ、Ｃに選択順位を付けてもよい。

例えば、定められたＡＦポイント２１に１、ファインダＶＦの中心Ｏに０．３、ＡＦポイント２１とファインダＶＦの中心Ｏとの中間に０．２の重み付けを行った場合について説明する。

抽出画像Ａの面積をＡＡ、選択領域の面積をａ、抽出画像Ａの評価（画像Ａの面積に重みを付けた場合の選択領域の割合）をａ／ＡＡ＊１とし、抽出画像Ｂの面積をＢＢ、選択領域の面積をｂ、抽出画像Ｂの評価（画像Ｂの面積に重みを付けた場合の選択領域の割合）をｂ／ＢＢ＊０．２とし、抽出画像Ｃの面積をＣＣ、選択領域の面積をｃ、抽出画像Ｃの評価（画像Ｃの面積に重みを付けた場合の選択領域の割合）をｃ／ＣＣ＊０．３としたとき、ａ／ＡＡ＊１＞ｃ／ＣＣ＊０．３＞ｂ／ＢＢ＊０．２ならば、選択される画像の順位はＡ＞Ｃ＞Ｂとなる。

なお、重みをＡＦポイント２１とファインダＶＦの中心Ｏとの間に連続的に付け、重みを連続的に変化させてもよいし、複数の重みをＡＦポイント２１とファインダＶＦの中心Ｏとの間に等間隔に付け、重みを階段状に変化させるようにしてもよい。

図１はこの発明の第１実施形態に係る対象物認識システムの構成を示すブロック図である。 図２はこの発明の第１実施形態に係る対象物認識システムのカメラのファインダ内のＡＦポイントの配置を示す図である。 図３はこの発明の第２実施形態に係る対象物認識システムのカメラのファインダ内のＡＦポイントの配置を示す図である。 図４はこの発明の第３実施形態に係る対象物認識システムのカメラのファインダ内のＡＦポイントの配置を示す図である。 図５はこの発明の第４実施形態に係る対象物認識システムのカメラのファインダ内のＡＦポイントの配置を示す図である。 図６はこの発明の第５実施形態に係る対象物認識システムのカメラのファインダ内のＡＦポイントの配置を示す図である。

符号の説明

２０：ＡＦポイント選択部（選択手段）、２１：ＡＦポイント（合焦用マーク）、３０：記憶部（記憶手段）、４０：第１の抽出部（第１の抽出手段）、５０：第２の抽出部（第２の抽出手段）、Ｌ１：仮想直線、Ｒ１、Ｒ２：仮想領域、ＶＦ：ファインダ（撮影画面）、Ｏ：中心。

Claims (6)

1. 撮影画面内に所定の配列で配置される複数の合焦用マークのうちの少なくとも１つの合焦用マークを選択する選択手段と、
   選択された前記合焦用マークの位置情報又は識別情報を記憶する記憶手段と、
   撮影の対象物に関する複数の情報のうちの少なくとも１つの情報を用いて前記対象物の画像から１つ又は複数の画像を抽出する第１の抽出手段と、
   前記第１の抽出手段によって前記複数の画像が抽出されたとき前記複数の画像の中から前記記憶手段に記憶された位置情報又は識別情報に基づいて少なくとも１つの画像を選択する第２の抽出手段と
   を備えていることを特徴とする対象物認識システム。
2. 前記第２の抽出手段は、前記選択手段によって選択された合焦用マークに最も近い画像を前記複数の画像の中から選択することを特徴とする請求項１記載の対象物認識システム。
3. 前記第２の抽出手段は、前記選択手段によって選択された合焦用マークと前記撮影画面の中心とを結ぶ仮想直線に接触する画像を前記複数の画像の中から選択することを特徴とする請求項１記載の対象物認識システム。
4. 前記第２の抽出手段は、前記選択手段によって選択された合焦用マークと前記撮影画面の中心とを含むほぼ矩形又は楕円形状の仮想領域と最も広い範囲で重なる画像を前記複数の画像の中から選択することを特徴とする請求項１記載の対象物認識システム。
5. 前記第２の抽出手段は、前記選択手段によって選択された合焦用マークと前記撮影画面の中心とを含むほぼ矩形又は楕円形状の仮想領域が前記複数の画像に重なるとき、前記各画像に重なる前記仮想領域の割合が最も高い画像を前記複数の画像の中から選択することを特徴とする請求項１記載の対象物認識システム。
6. 前記第２の抽出手段は、前記選択手段によって選択された合焦用マークと前記撮影画面の中心との間に重み付けを行って前記複数の画像に選択順位を付けることを特徴とする請求項３〜５のいずれか１項記載の対象物認識システム。

Images