JP2008152713A

JP2008152713A - 電子図鑑

Info

Publication number: JP2008152713A
Application number: JP2006342632A
Authority: JP
Inventors: Yutaka Iwasaki; 豊岩崎
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2006-12-20
Filing date: 2006-12-20
Publication date: 2008-07-03

Abstract

【課題】電子図鑑の使用者の負担を軽減することができる電子図鑑を提供する。
【解決手段】カメラ１０によって撮影された花の画像から特徴抽出部３０で抽出された花の特徴量を用いてデータベース５０の検索を行い候補となる植物を選択する。選択された候補の数が予め決められた閾値以下であるか否かをコントローラ７０で判断する。コントローラ７０は選択された候補の数が予め決められた閾値以下である場合、候補を表示装置６０に表示させてシーケンスを終了させる。コントローラ７０は選択された候補の数が予め決められた閾値以下でない場合、葉の撮影を行うように表示装置６０に表示させる。
【選択図】図２

Description

この発明は電子図鑑に関する。

花や鳥等の名称や特性を調べるために図鑑が利用される。図鑑には初学者向けのものから専門家向けのものまで幅広くある。実物と図鑑に収録された図版とを比較照合したり、写真等に記載された対象物と図鑑に収録された図版とを比較照合したりして、動植物の名称等を知ることができる。

ところで、例えば小学館発行の図鑑「小学館の図鑑ＮＥＯ植物」には約１２００種の植物の図が記載されている。この図鑑を使用して多数の図版の中から調べたい植物に対応する図版を見つけることは初学者にとって容易ではない。

そこで、初学者でも花等の名称等を容易に知ることができるようにするため、花の画像をデジタル化し、花の検索を自動的に行うことができる電子図鑑が提案された（下記公報参照）。

この電子図鑑の使用者は、調べようとする花のデジタル画像を取得する。取得されたデジタル画像とデータベースに登録された画像とは比較照合され、検索された花の候補がディスプレイ上に表示される。調べようとする花のデジタル画像の取得には携帯電話のカメラ機能やデジタルカメラが使用される。データベースには、花の特徴量として花弁の色、枚数、形状、花の集合の仕方等の情報が収容されている。また、データベースには、花の特徴量だけでなく、葉の形状、葉の縁の形、茎の毛やとげの有無等の情報も収容されている。花の特徴量の他に葉の特徴量等をデータベースに加えることによって、比較照合したときに出力される候補数が減るため、調べようとする花の特定が容易になる。
特開２００２−２０３２４２号公報

調べようとする花を特定するために、花、葉、茎の特徴量をそれぞれ比較対照するには、電子図鑑の使用者が花、葉、茎の各画像を取得する必要がある。しかし、一般的に葉は使用者から見て花に比べて画像を取得し難い位置にあるため、葉の画像の取得は使用者にとって負担の大きい作業であった。

この発明はこのような事情に鑑みてなされたもので、その課題は電子図鑑の使用者の負担を軽減することである。

上記課題を解決するため請求項１記載の発明は、対象物の画像を撮像する撮像手段と、前記撮像手段で撮像された前記対象物の第１の部位の画像から前記対象物の第１の部位の特徴量を抽出する特徴量抽出手段と、前記対象物が属するカテゴリに含まれる複数の種について、少なくとも前記対象物の第１の特徴量に対応する特徴量情報が登録されたデータベースと、前記特徴量抽出手段で抽出された前記対象物の第１の特徴量と前記データベースに登録された前記特徴量情報の中の前記第１の特徴量に対応する第１の登録特徴量とを比較照合する比較照合手段と、前記比較照合手段による比較照合の結果に基いて、前記対象物の第２の部位の画像を撮像し、撮像されたその第２の部位の画像から第２の特徴量を抽出して、その第２の特徴量と前記データベースに登録された前記特徴量情報の中の前記第２の特徴量に対応する第２の登録特徴量とを比較照合するか否かを決定する決定手段とを備えていることを特徴とする。

請求項２記載の発明は、請求項１記載の電子図鑑において、前記比較照合手段による比較照合の結果を出力する出力手段を備えていることを特徴とする。

請求項３記載の発明は、請求項１又は２記載の電子図鑑において、前記対象物の第１の部位の画像は花の画像であることを特徴とする。

請求項４記載の発明は、請求項３記載の電子図鑑において、前記対象物の第２の部位の画像は葉の画像であることを特徴とする。

この発明によれば電子図鑑の使用者の負担を軽減することができる。

以下、この発明の実施の形態を図面に基づいて説明する。

図１はこの発明の一実施形態に係る電子図鑑の構成を示すブロック図である。

この電子図鑑は、カメラ（撮像手段）１０と画像蓄積装置２０と特徴抽出部（特徴量抽出手段）３０と比較照合部（比較照合手段）４０とデータベース５０と表示装置（出力手段）６０とコントローラ（決定手段）７０とを備えている。

カメラ１０は例えば図示しない撮影レンズ、撮像部及び画像処理回路を備えている。撮影レンズは対象物（例えば植物）の像をＣＣＤ（ＣｈａｒｇｅＣｏｕｐｌｅｄＤｅｖｉｃｅ）の受光面上に結像する。ＣＣＤは撮影レンズによって受光面に結像された対象物の光強度に応じた画像信号を画像処理回路に出力する。画像処理回路はＣＣＤで光電変換された画像信号を所定のレベルに増幅する。

画像蓄積装置２０は撮影された対象物の特定の部位の像をデジタルの画像データとして記憶する。

特徴抽出部３０は画像蓄積装置２０に記憶された画像データを入力し、対象物の画像から特徴量を抽出する。特徴量としては、例えば花弁の色、花の輪郭形状に基づく花弁数、形状等の花（第１の部位）の特徴量、葉の形状、葉の縁の形状、茎に対する葉の付き方等の葉（第２の部位）の特徴量がある。

比較照合部４０はデータベース５０の検索を行い、特徴抽出部３０から入力した特徴量とデータベース５０に登録された登録特徴量とを比較照合する。

データベース５０には、対象物の属するカテゴリに含まれる複数の種について、調べようとする対象物の特徴量に対応する特徴量情報（例えば花弁の色、花の輪郭形状に基づく花弁数、形状（第１の登録特徴量）、葉の形状、葉の縁の形状、茎に対する葉の付き方（第２の登録特徴量）、実に対する第３の登録特徴量等）が登録されている。

表示装置６０としてはＣＲＴディスプレイやＬＣＤパネルを用いることができる。表示装置６０には現在カメラ１０が撮影している画像が表示される。また、表示装置６０には比較照合部４０による比較照合の結果を示すデータ、例えば画像や名称等を含む情報が表示される。

コントローラ７０は例えばワンチップマイクロコンピュータで構成される。コントローラ７０は、比較照合部４０による第１の部位の特徴量の比較照合の結果に基いて、対象物の第２の部位の画像を撮像し、撮像された第２の部位の画像から第２の特徴量を抽出して、その第２の特徴量とデータベース５０に登録された特徴量情報の中の第２の特徴量に対応する第２の登録特徴量とを比較照合するか否かを決定する。コントローラ７０は、第２の特徴量と第２の登録特徴量とを比較照合すると決定したとき、使用者に第２の部位の撮影の指示をするように表示装置６０に表示させる。なお、表示装置６０に表示させる代わりに音声で指示するようにしてもよい。

次に、植物の特定方法を説明する。

図２は調べようとする植物をデータベースから特定する方法を説明するフローチャートである。Ｓ１〜Ｓ１１は処理の各ステップを示す。

まず、撮影ボタン（図示せず）を半押ししてカメラ１０を起動させる。

次に、カメラ１０で花を撮影する。このとき、表示装置６０に現在撮影している花の画像が表示される。

その後、表示装置６０に逐次更新される花（第１の部位）の画像を見ながら取得したい画像のフレーミング（例えば表示装置６０の中央に花を配置すること）を行う（Ｓ１）。

フレーミングが決定した後、撮影ボタンを押し込んで花の画像を撮影する（Ｓ２）。撮影された画像は画像蓄積装置２０に画像データとして記憶される。

特徴抽出部３０で撮影された花の特徴量抽出が行われる（Ｓ３）。抽出される特徴量は花弁の色、花の輪郭形状に基づく花弁数、形状等の花の特徴量である。

次に、抽出された花の特徴量と用いてデータベース５０に登録された特徴量情報とを比較照合し（Ｓ４）、データベース５０から候補を選択し、表示装置６０に表示する（Ｓ５）。

その後、選択された候補の数が予め決められた閾値以下であるか否かを判断する（Ｓ６）。

選択された候補の数が予め決められた閾値以下である場合（Ｙｅｓ）、シーケンスを終了する。

選択された候補の数が予め決められた閾値以下でない場合（Ｎｏ）、使用者に葉（第２の部位）の撮影を指示する画像を表示装置６０に表示させる。使用者は指示にしたがって操作ボタンを再度半押ししてカメラ１０を起動する。

次に、カメラ１０で葉を撮影する。このとき、表示装置６０に現在撮影している植物の花の画像が表示される。

その後、表示装置６０に逐次更新される葉（第２の部位）の画像を見ながら取得したい画像のフレーミングを行う（Ｓ７）。

フレーミングが決定した後、撮影ボタンを押し込んで葉の画像を撮影する（Ｓ８）。撮影された画像は画像蓄積装置２０に画像データとして記憶される。

特徴抽出部３０で撮影された葉の特徴量抽出が行われる（Ｓ９）。抽出される特徴量は葉柄側が反対側より広いか狭いかといった葉の形状、鋸歯状であるか滑らかであるかといった葉の縁の形状、茎に対して対生しているか互生しているかといった葉の付き方等の葉の特徴量である。

次に、抽出された葉の特徴量とデータベース５０に登録された特徴量情報とを比較照合し、候補となる植物を選択する。このとき、花の特徴量を用いてデータベース５０の検索を行って既に選択されている候補に対して、葉の特徴量抽出で得られた特徴量とデータベース５０に登録された特徴量情報とを比較照合し、候補を絞り込む（Ｓ１０）。

次に、候補となった植物を表示装置６０に表示させる（Ｓ１１）。

その後、シーケンスを終了する。

この実施形態によれば、花と葉との特徴量抽出を必ず行うのではなく、最初の検索で候補が予め決められた数以上ある場合だけ両方の特徴量抽出を行うようにして不必要な撮影をなくしたので、対象物である植物をデータベースの中から特定する際の使用者の負担を軽減することができる。また、電子図鑑の電源である電池の消費電力を抑制することができるので、電池の寿命を向上させることができる。

なお、上記シーケンスでは、まず花の特徴量抽出を行い、次に葉の特徴量抽出を行っているが、これは一般に花の特徴量の方が葉の特徴量より植物の特定に有効であるからである。したがって、葉に特徴がある植物を対象とした場合には、まず葉の特徴量抽出を行い、次に花の特徴量抽出を行うようにしてもよい。

また、上記全てのシーケンスが終了した時点においても、候補が多数ある場合には他の特徴量を用いて更に候補の絞り込みを行うようにしてもよい。例えば、実のある植物の場合、花と葉の画像データから特徴量を抽出しデータベース５０の検索を行って選択された候補に対して、実の特徴量抽出で得られた特徴量とデータベース５０に登録された特徴量情報とを比較照合し、候補を絞り込むようにしてもよい。

更に、画像データとしては花と葉というように植物のそれぞれの部位の画像を用いる必要はなく、例えば第１の部位として花全体の形状がわかる画像を、第２の部位としておしべ、めしべの形状や数がわかるような第１の部位の画像を拡大した画像を用いるようにしてもよい。

図１はこの発明の一実施形態に係る電子図鑑の構成を示すブロック図である。図２は調べようとする植物をデータベースから特定する方法を説明するフローチャートである。

符号の説明

１０：カメラ（撮像手段）、２０：画像蓄積装置、３０：特徴抽出部（特徴量抽出手段）、４０：比較照合部（比較照合手段）、５０：データベース、６０：表示装置（出力手段）、７０：コントローラ（決定手段）。

Claims

対象物の画像を撮像する撮像手段と、
前記撮像手段で撮像された前記対象物の第１の部位の画像から前記対象物の第１の部位の特徴量を抽出する特徴量抽出手段と、
前記対象物が属するカテゴリに含まれる複数の種について、少なくとも前記対象物の第１の特徴量に対応する特徴量情報が登録されたデータベースと、
前記特徴量抽出手段で抽出された前記対象物の第１の特徴量と前記データベースに登録された前記特徴量情報の中の前記第１の特徴量に対応する第１の登録特徴量とを比較照合する比較照合手段と、
前記比較照合手段による比較照合の結果に基いて、前記対象物の第２の部位の画像を撮像し、撮像されたその第２の部位の画像から第２の特徴量を抽出して、その第２の特徴量と前記データベースに登録された前記特徴量情報の中の前記第２の特徴量に対応する第２の登録特徴量とを比較照合するか否かを決定する決定手段と
を備えていることを特徴とする電子図鑑。
前記比較照合手段による比較照合の結果を出力する出力手段を備えていることを特徴とする請求項１記載の電子図鑑。
前記対象物の第１の部位の画像は花の画像であることを特徴とする請求項１又は２記載の電子図鑑。
前記対象物の第２の部位の画像は葉の画像であることを特徴とする請求項３記載の電子図鑑。