JP2005267609A - デジタル図鑑システム、図鑑検索方法、及び図鑑検索プログラム - Google Patents

デジタル図鑑システム、図鑑検索方法、及び図鑑検索プログラム Download PDF

Info

Publication number
JP2005267609A
JP2005267609A JP2004372354A JP2004372354A JP2005267609A JP 2005267609 A JP2005267609 A JP 2005267609A JP 2004372354 A JP2004372354 A JP 2004372354A JP 2004372354 A JP2004372354 A JP 2004372354A JP 2005267609 A JP2005267609 A JP 2005267609A
Authority
JP
Japan
Prior art keywords
image
unit
subject
feature
main subject
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2004372354A
Other languages
English (en)
Inventor
Takashi Igarashi
貴 五十嵐
Ayumi Isomura
歩 磯村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Holdings Corp
Original Assignee
Fuji Photo Film Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Photo Film Co Ltd filed Critical Fuji Photo Film Co Ltd
Priority to JP2004372354A priority Critical patent/JP2005267609A/ja
Priority to US11/061,927 priority patent/US7639899B2/en
Publication of JP2005267609A publication Critical patent/JP2005267609A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5854Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/24Character recognition characterised by the processing or recognition method
    • G06V30/242Division of the character sequences into groups prior to recognition; Selection of dictionaries
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00Data processing: database and file management or data structures
    • Y10S707/99931Database or file accessing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Library & Information Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Studio Devices (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Abstract

【課題】検索された複数の候補を効率的に絞り込むための方法を利用者に提供する。
【解決手段】撮像された被写体の説明を検索して利用者に提供するデジタル図鑑システムであって、画像を撮像する撮像手段と、画像の中から主要被写体を選択する主要被写体選択手段と、主要被写体の特徴を抽出する特徴抽出手段と、複数の種類の特徴に対応付けて被写体の説明を格納する複数の画像データベースから、抽出した特徴を用いて主要被写体の説明を検索する説明検索手段と、説明検索手段によって複数の被写体の説明が検索された場合に、異なる種類の特徴の中で、被写体毎及び特徴の種類毎の、特徴の確かさの分布における相互の重なりが最も小さい特徴である識別特徴を選択する識別特徴選択手段と、選択された識別特徴の内容を利用者に通知する通知手段とを備えるデジタル図鑑システムを提供する。
【選択図】図10

Description

本発明は、デジタル図鑑システム、図鑑検索方法、及び図鑑検索プログラムに関する。特に本発明は、撮像された被写体の説明を検索して利用者に提供するデジタル図鑑システム、図鑑検索方法、及びデジタル図鑑システムを機能させる図鑑検索プログラムに関する。
従来、デジタルカメラを用いて被写体を撮像した画像から被写体の特徴を抽出し、抽出した特徴に基づいて画像データベースから被写体の説明を検索して利用者に提示するデジタル図鑑システムが知られている(例えば、特許文献1参照。)。
従来のデジタル図鑑システムにおいては、例えば、被写体の撮像画像を二値化した画像と、画像データベースに格納されている項目毎の二値化画像との比較等により、被写体の名称の候補を画像データベースから検索している。
特開平10−254901
撮像画像と画像データベースに格納されている画像とを比較する場合、同じ被写体であっても、撮像条件の相違等により結果は大きく左右される。このため、従来のデジタル図鑑システムにおいては、比較におけるあいまいさを大きくして検索結果を得やすくすることにより、利用者の利便性を図っている。しかし、その場合、多数の候補が検索されることがあるが、従来のデジタル図鑑システムにおいては、それらの候補を絞りこむための効率的な方法は提案されていない。
そこで本発明は、上記の課題を解決することができるデジタル図鑑システム、図鑑検索方法、及び図鑑検索プログラムを提供することを目的とする。この目的は特許請求の範囲における独立項に記載の特徴の組み合わせにより達成される。また従属項は本発明の更なる有利な具体例を規定する。
上記課題を解決するために、本発明の第1の形態においては、撮像手段によって撮像された被写体の説明を検索して利用者に提供するデジタル図鑑システムであって、画像を撮像する撮像手段と、画像の中から主要被写体を選択する主要被写体選択手段と、主要被写体の特徴を抽出する特徴抽出手段と、被写体が有する互いに異なる複数の種類の特徴に対応付けて被写体の説明を格納する複数の画像データベースから、特徴抽出手段が抽出した特徴を用いて、主要被写体の説明を検索する説明検索手段と、説明検索手段によって複数の被写体の説明が検索された場合に、複数の被写体に対応付けて画像データベースに格納されている互いに異なる種類の特徴の中で、被写体毎及び特徴の種類毎の、特徴の確かさの分布における相互の重なりが最も小さい特徴である識別特徴を選択する識別特徴選択手段とを備える。
当該デジタル図鑑システムは、画像から、主要被写体とは異なる被写体の特徴を抽出する第2特徴抽出手段を更に備え、説明検索手段は、被写体に対して関連性の高い物体が有する特徴に更に対応付けて被写体の説明を格納する複数の画像データベースから、第2特徴抽出手段が抽出した、主要被写体とは異なる被写体の特徴を更に用いて、主要被写体の説明を検索してもよい。当該デジタル図鑑システムは、画像に付帯する付帯情報を取得する付帯情報取得手段を更に備え、説明検索手段は、被写体の画像に付帯する付帯情報に更に対応付けて被写体の説明を格納する複数の画像データベースから、付帯情報取得手段が取得した付帯情報を更に用いて、主要被写体の説明を検索してもよい。
当該デジタル図鑑システムは、識別特徴選択手段によって選択された識別特徴の内容を、デジタル図鑑システムの利用者に通知する通知手段を更に備えてもよい。識別特徴は、被写体の部位を示し、通知手段は、主要被写体の中で、部位を撮像すべき旨を利用者に通知してもよい。当該デジタル図鑑システムは、撮像手段によって捕捉された画像を表示する表示手段を更に備え、画像データベースは、特徴として被写体の各部位の画像を有し、通知手段は、識別特徴である部位の画像を表示手段に表示してもよい。当該デジタル図鑑システムは、主要被写体の中から部位を示す画像を検索する特徴部位検索手段を更に備え、通知手段は、表示手段において、部位を枠で囲んで表示してもよい。
通知手段は、特徴部位検索手段によって、主要被写体の中から、部位を示す画像が検索されなかった場合に、撮像手段を用いて部位を含む画像を撮像するための撮像方法を示す情報を、利用者に通知してもよい。撮像方法を示す情報は、撮像手段の撮像方向を示す情報を含んでもよい。撮像方法を示す情報は、撮像手段の位置を示す情報を含んでもよい。撮像方法を示す情報は、撮像手段の撮像倍率を示す情報を含んでもよい。通知手段は、識別特徴選択手段によって選択された識別特徴の内容を、デジタル図鑑システムの利用者に、音声を用いて通知してもよい。
当該デジタル図鑑システムは、識別特徴選択手段によって選択された識別特徴の内容に基づいて、撮像手段の動作を制御する撮像制御手段を更に備えてもよい。識別特徴は、被写体の部位を示し、当該デジタル図鑑システムは、主要被写体の中から部位を示す画像を検索する特徴部位検索手段を更に備え、撮像制御手段は、特徴部位検索手段によって検索された、部位を示す画像に基づいて、撮像手段の動作を制御してもよい。撮像制御手段は、特徴部位検索手段によって、主要被写体の中から、部位を示す画像が検索されなかった場合に、部位が撮像手段の撮像範囲に含まれるべく、撮像手段の撮像方向を制御してもよい。撮像制御手段は、特徴部位検索手段によって、主要被写体の中から、部位を示す画像が検索されなかった場合に、部位が撮像手段の撮像範囲に含まれるべく、撮像手段の位置を制御してもよい。撮像制御手段は、特徴部位検索手段によって検索された、部位を示す画像の大きさの、撮像手段によって撮像された画像全体の大きさに対する割合が、予め定められた基準値より小さい場合に、撮像手段の撮像倍率をより大きくしてもよい。
画像データベースは、被写体が有する互いに異なる複数の種類の特徴に対応付けて、当該被写体が危険性の高い物体であるか否かを示す危険物情報を更に格納しており、通知手段は、説明検索手段が説明を検索した被写体に対応する危険物情報によって、当該被写体が危険性の高い物体であると示されている場合には、利用者にその旨を通知してもよい。
また、本発明の第2の形態においては、デジタル図鑑システムによる、撮像手段によって撮像された被写体の説明を検索して利用者に提供する図鑑検索方法であって、画像を撮像する撮像段階と、画像の中から主要被写体を選択する主要被写体選択段階と、主要被写体の特徴を抽出する特徴抽出段階と、被写体が有する互いに異なる複数の種類の特徴に対応付けて被写体の説明を格納する複数の画像データベースから、特徴抽出段階において抽出された特徴を用いて、主要被写体の説明を検索する説明検索段階と、説明検索段階において複数の被写体の説明が検索された場合に、複数の被写体に対応付けて画像データベースに格納されている互いに異なる種類の特徴の中で、被写体毎及び特徴の種類毎の、特徴の確かさの分布における相互の重なりが最も小さい特徴である識別特徴を選択する識別特徴選択段階と、識別特徴選択段階において選択された識別特徴の内容を、デジタル図鑑システムの利用者に通知する通知段階とを備える。当該図鑑検索方法は、主要被写体の中から部位を示す画像を検索する特徴部位検索段階を更に備え、通知段階は、表示段階において、部位を枠で囲んで表示してもよい。
また、本発明の第3の形態においては、撮像手段によって撮像された被写体の説明を検索して利用者に提供するデジタル図鑑システムとしてコンピュータを機能させる図鑑検索プログラムであって、当該デジタル図鑑システムを、画像を撮像する撮像手段と、画像の中から主要被写体を選択する主要被写体選択手段と、主要被写体の特徴を抽出する特徴抽出手段と、被写体が有する互いに異なる複数の種類の特徴に対応付けて被写体の説明を格納する複数の画像データベースから、特徴抽出手段が抽出した特徴を用いて、主要被写体の説明を検索する説明検索手段と、説明検索手段によって複数の被写体の説明が検索された場合に、複数の被写体に対応付けて画像データベースに格納されている互いに異なる種類の特徴の中で、被写体毎及び特徴の種類毎の、特徴の確かさの分布における相互の重なりが最も小さい特徴である識別特徴を選択する識別特徴選択手段と、識別特徴選択手段によって選択された識別特徴の内容を、デジタル図鑑システムの利用者に通知する通知手段として機能させる。当該デジタル図鑑システムは、主要被写体の中から部位を示す画像を検索する特徴部位検索手段を更に備え、通知手段は、表示手段において、部位を枠で囲んで表示してもよい。
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションもまた、発明となりうる。
本発明によれば、画像データベースから複数の候補が検索された場合であっても、効率的に候補を絞り込むことができる。
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではなく、また実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
図1は、本発明の実施形態に係るデジタル図鑑システム10の構成の一例を示すブロック図である。デジタル図鑑システム10は、被写体の画像を撮像して、画像の中から主要被写体を選択する撮像装置20と、撮像された被写体の画像に基づいて被写体の説明を検索する図鑑処理手段32と、外部との情報通信を行う通信手段34とを備える。撮像装置20は、撮像ユニット25と、撮像した画像及び検索した被写体の説明を表示して利用者に提供する、例えばLCDモニタ等の表示手段50と、撮像した画像に重畳して、例えば主要被写体等を囲む枠を表示手段50に表示させる枠表示手段40と、撮像した画像を格納する、例えばフラッシュメモリ等の不揮発性メモリである2次メモリ60とを有する。撮像装置20は、例えば、静止画を撮影するデジタルスチルカメラであってよく、また、動画を撮影するデジタルビデオカメラであってもよい。
本発明の実施形態に係るデジタル図鑑システム10は、例えば、図示しない動作モード切替スイッチ等を用いて利用者に設定されることにより、自身の動作モードを、撮像装置20により撮像された被写体の説明を検索して利用者に提供するデジタル図鑑として動作する「デジタル図鑑モード」と、撮像装置20により撮像された被写体の画像を表示手段50により表示すると共に、2次メモリ60に格納する、所謂通常のデジタルカメラとして動作する「デジタルカメラモード」とに、切り替え可能に設定することができる。
図2は、本実施形態に係る撮像ユニット25の構成の一例を示すブロック図である。撮像ユニット25は、撮像手段100、1次メモリ110、撮像制御手段120、画像処理手段130、及び変更操作手段150を含む。
本実施形態に係る撮像装置20は、撮像手段100により捕捉された画像から主要被写体を認識する。そして、撮像装置20は、認識した主要被写体の画像に基づいて撮像処理を制御すると共に、認識した主要被写体を枠で囲んで表示して利用者に通知することにより、利用者が所望する画像を容易かつ高品質に撮像することができるようにすることを目的とする。
また、デジタル図鑑システム10の動作モードが「デジタル図鑑モード」である場合には、説明を検索する対象である主要被写体を正確に自動認識することにより、効率よく、精度の高い検索を実行することを目的とする。
撮像手段100は、光学系102、CCD104、及び撮像信号処理手段106を有し、被写体の画像を捕捉する。光学系102は、例えばフォーカスレンズやズームレンズ等を含み、被写体像をCCD104の受光面上に結像する。また、光学系102は、例えばフォーカスレンズを駆動することにより、撮像装置20から焦点の合う被写体までの距離である合焦距離を変更することができる。CCD104は、複数の受光素子を含み、光学系102により受光面に結像された被写体の光学像によって各受光素子に蓄積された電荷を電圧信号として撮像信号処理手段106に出力する。また、CCD104は、各受光素子に電荷を蓄積する時間を制御することによって露出度を制御することができる。
撮像信号処理手段106は、CCD104から受け取った、被写体像を示すアナログの電圧信号を、R、G、及びBの各成分に分解する。そして、撮像信号処理手段106は、R、G、及びBの各成分を調整することにより、被写体像のホワイトバランスを調整する。また、撮像信号処理手段106は、例えば被写体像のガンマ補正等の処理を行ってもよい。そして、撮像信号処理手段106は、R、G、及びBの各成分に分解されたアナログ信号をA/D変換し、その結果得られた被写体像を示すデジタルの画像データを1次メモリ110に出力する。1次メモリ110は、例えばDRAM等の揮発性メモリであり、撮像信号処理手段106が出力したデジタルの画像データを格納する。
撮像制御手段120は、撮像手段100に含まれる機構部材を駆動することにより、被写体を示す画像の撮像を制御する。撮像制御手段120は、自動焦点手段122、露出選択手段124、及びホワイトバランス設定手段126を有する。自動焦点手段122は、光学系102における合焦距離を制御する。例えば、自動焦点手段122は、ステッピングモータ等を用いてフォーカスレンズを駆動させることにより、光学系102における合焦距離を制御する。
露出選択手段124は、撮像手段100における被写体像の露出度を制御する。具体的には、露出選択手段124は、CCD104に含まれる受光素子における電荷の蓄積時間を制御することにより、露出度を制御する。これに代えて、露出選択手段124は、撮像手段100に含まれる図示しない機械式シャッタを制御することにより、露出度を制御してもよい。ホワイトバランス設定手段126は、撮像手段100における被写体を示す画像のホワイトバランスを設定する。具体的には、ホワイトバランス設定手段126は、撮像信号処理手段106におけるR、G、及びBの各成分の調整処理を制御することにより、ホワイトバランスを設定する。また、撮像制御手段120は、撮像手段100におけるズーム動作、及び絞り動作を制御してもよい。
画像処理手段130は、撮像信号処理手段106により1次メモリ110に格納されたデジタルの画像データを処理し、処理した結果を表示手段50及び2次メモリ60に出力する。更に、画像処理手段130は、デジタル図鑑システム10の動作モードが「デジタル図鑑モード」である場合に、処理した結果を図鑑処理手段32に出力する。ここで、画像データの処理とは、例えば、YC変換処理、JPEG(JointPhotographicCodingExpertsGroup)等のデータ圧縮処理、及びNTSCやPAL等のビデオ信号への変換処理である。また、画像処理手段130は、主要被写体選択手段140を有する。
主要被写体選択手段140は、撮像信号処理手段106から受け取った、撮像手段100により捕捉された捕捉画像の中から、主要被写体を選択する。主要被写体選択手段140は、繰り返し捕捉手段142、合焦距離算出手段144、主要被写体距離算出手段146、及び領域選択手段148を含む。繰り返し捕捉手段142は、光学系102により合焦距離を変更しつつ繰り返し画像を捕捉させて撮像信号処理手段106から受け取り、受け取った画像を合焦距離算出手段144に出力する。合焦距離算出手段144は、繰り返し捕捉手段142によって捕捉された画像に基づいて、画像に含まれる領域毎に、最も焦点の合っている画像が得られた合焦距離を算出し、算出した結果を主要被写体距離算出手段146に出力する。
主要被写体距離算出手段146は、合焦距離算出手段144が算出した領域毎の合焦距離に基づいて、主要被写体までの距離である主要被写体距離を算出し、算出した結果を領域選択手段148に出力する。領域選択手段148は、主要被写体距離算出手段146から受け取った主要被写体距離だけ離れている領域を、主要被写体として、捕捉した画像の中から選択する。そして、領域選択手段148は、選択した領域に関する情報を、枠表示手段40、自動焦点手段122、露出選択手段124、及びホワイトバランス設定手段126に出力する。また、領域選択手段148は、デジタル図鑑システム10の動作モードが「デジタル図鑑モード」である場合、選択した領域に関する情報を、図鑑処理手段32に出力する。
図1に示した枠表示手段40は、主要被写体選択手段140により選択された主要被写体を囲む枠を、撮像手段100により捕捉された捕捉画像に重畳して表示手段50に表示させる。具体的には、枠表示手段40は、領域選択手段148により選択された領域を囲む枠を、表示手段50に表示させる。変換操作手段150は、例えば撮像装置20の利用者による操作等に基づいて、主要被写体距離算出手段146により出力される主要被写体距離を変更する。
本実施形態に係る撮像装置20によれば、撮像手段100により捕捉された画像から主要被写体を自動的に認識することができる。また、認識された主要被写体を枠で囲んで表示することにより、利用者が容易に認識結果を知ることができる。
図3は、本実施形態に係る合焦距離算出手段144における処理の一例を示す。合焦距離算出手段144は、撮像手段100により捕捉された捕捉画像200を、複数の領域に分割する。例えば、合焦距離算出手段144は、捕捉画像200を縦6個、横6個の長方形に分割する。これに変えて、合焦距離算出手段144は、捕捉画像200を、それぞれ異なる形状及び面積を有する複数の領域に分割してもよい。この場合、合焦距離算出手段144は、例えば、主要被写体の存在確率の高い中央付近等において捕捉画像200をより小さな領域に分割することにより、捕捉画像200全体を一様に小さな領域に分割した場合に比べて、処理に要する負荷を抑えつつ、高い精度で合焦距離を算出することができる。
また、合焦距離算出手段144は、利用者等によって予め定められた撮像装置20の撮像モードに基づいて、捕捉画像200を複数の領域に分割する場合の分割方法を制御してよい。ここで、分割方法とは、例えば、領域の数や、分割した複数の領域のそれぞれにおける大きさ及び形状を示す。このように、撮像モードに基づいて領域の分割方法を制御することにより、例えば、撮像モードとしてポートレイトモードが選択されている場合には、通常の撮像モードが選択されている場合に比べて、領域の数をより少なくして、合焦距離の算出に要する時間を短縮したり、また、通常の撮像モードに比べて、より広角で画像を撮像する撮像モードが選択されている場合には、領域の数をより多くして、合焦距離の算出の精度を向上させたりすることができる。
そして、合焦距離算出手段144は、分割した複数の領域のそれぞれにおける部分画像の合焦度を検出する。例えば、合焦距離算出手段144は、それぞれの領域の画像信号を、高速フーリエ変換(FFT)等により複数の周波数成分に分解し、当該領域における高周波成分のレベルを合焦度として検出する。そして、合焦距離算出手段144は、繰り返し捕捉手段142により複数の合焦距離において捕捉された画像のうち、当該領域において合焦度が最も高い画像を検出し、その画像が捕捉された距離を、当該領域における合焦距離として算出する。
以上のように、本実施形態に係る撮像装置20によれば、捕捉画像における領域毎の合焦距離を高い精度で算出することができる。
図4は、本実施形態に係る主要被写体距離算出手段146において用いられる重みの一例を示す。図4(a)は、撮像手段100により捕捉された画像の領域毎に予め定められた重みの一例を示す。主要被写体距離算出手段146は、同一の合焦距離を有する領域の面積と領域毎に予め定められた重みとの積和を算出する。具体的には、主要被写体距離算出手段146は、合焦距離算出手段144における領域毎の合焦距離の算出結果に基づいて、同一の合焦距離を有する複数の領域を、当該合焦距離に存在する被写体として検出する。そして、主要被写体距離算出手段146は、複数の領域のそれぞれについて、当該領域の面積と、例えば図4(a)に示したような当該領域に予め定められた重みとの積を算出する。そして、主要被写体距離算出手段146は、複数の領域において算出した積の総和を、当該合焦距離に存在する被写体の重みとして算出する。
図4(a)において、画像の中央部分における領域毎の重みは、画像の周辺部分における領域毎の重みに比べてより大きくなっている。これは、一般に、画像の中央部分に主要被写体を配置する構図が多く用いられるためである。ここで、本図に示した領域毎の重みは一例であり、本図の内容に限定されない。例えば、重みは常に一定ではなく、撮像条件によって変化してもよい。具体的には、撮像装置20における撮影モードがポートレイトモードである場合には、画像の中央部分における領域毎の重みを、図4(a)に比べて大きくしてもよい。
図4(b)は、撮像手段100により捕捉された画像の合焦距離と距離重みとの関係の一例を示す。主要被写体距離算出手段146は、先に算出した、同一の合焦距離を有する複数の領域における重みの総和に、例えば図4(b)から取得される当該合焦距離に対する距離重みを乗じた値を算出する。そして、主要被写体距離算出手段146は、算出した値が最も大きい合焦距離を、主要被写体距離として算出する。
図4(b)において、距離重みは、合焦距離が大きくなるほど小さくなっている。これは、一般に、主要被写体は、他の被写体に比べて、撮像装置20により近い位置に存在しているためである。ここで、本図に示した距離重みは一例ではり、本図の内容に限定されない。例えば、重みが常に固定されているのではなく、撮像条件によって変化してもよい。具体的には、撮像装置20の撮影モードがマクロモードである場合には、合焦距離の増加に伴う距離重みの減少の度合いをより大きくしてもよい。また、撮影モードにおける典型的な合焦距離において、距離重みが最大となるようにしてもよい。
本実施形態に係る撮像装置20によれば、領域毎及び合焦距離毎の重みを用いて主要被写体距離を算出することにより、精度よく主要被写体を認識することができる。
図5は、本実施形態に係るデジタル図鑑システム10の外観の一例を示す。図5(a)は、ある時点におけるデジタル図鑑システム10の外観の一例を示す。図5(a)に示したデジタル図鑑システム10は、遠距離ボタン202及び近距離ボタン204を備える。遠距離ボタン202及び近距離ボタン204は、変更操作手段150の一例である。
領域選択手段148は、撮像手段100が捕捉した画像の中から、主要被写体距離算出手段146により算出された主要被写体距離だけ離れている領域を、主要被写体として選択する。そして、枠表示手段40は、表示手段50により表示された撮像画像に重畳して、領域選択手段148が選択した領域を囲む枠206を表示させる。具体的には、枠表示手段40は、主要被写体の外周の近傍で、外周に沿う枠206を表示手段50に表示させる。ここで、外周の近傍とは、主要被写体を示す領域の外周そのものに限定されず、例えば、枠表示手段40は、外周に対して、予め定められた画素だけ外側に広げた枠206を表示させてもよい。これにより、表示された枠206によって補足画像における重要な領域である主要被写体が見えづらくなるという問題を防ぐことができる。
図5(b)は、利用者が遠距離ボタン202を操作した場合の、デジタル図鑑システム10の外観の一例を示す。利用者が遠距離ボタン202を押下した場合、遠距離ボタン202は、主要被写体距離をより遠くに変更させるべく、主要被写体距離算出手段146に通知する。また、利用者が近距離ボタン204を押下した場合、近距離ボタン204は、主要被写体距離をより近くに変更させるべく、主要被写体距離算出手段146に通知する。
これを受けて、主要被写体距離算出手段146は、合焦距離毎の被写体の重みに基づいて選択した複数の主要被写体距離の候補の中から、その時点の主要被写体距離の次に遠い又は近い主要被写体距離候補を新しい主要被写体距離として選択し、その結果を領域選択手段148に出力する。そして、領域選択手段148は、新しい主要被写体距離だけ離れている領域を主要被写体として選択し、当該領域を示す情報を枠表示手段40に出力する。これを受けて、枠表示手段40は、枠206に代えて、枠208を表示手段50に表示させる。
本実施形態に係る撮像装置20によれば、自動的に認識された主要被写体が正しくない場合であっても、利用者は、正しい主要被写体距離を選択することにより、意図した撮像を実行することができる。
また、撮像装置20により動画を撮影している場合に、変更操作手段150を用いて主要被写体距離を変更することにより、撮影しながらであっても、構図を変更することなく主要被写体を変更することができる。
図6は、本実施形態に係る撮像装置20の処理の一例を示すフローチャートである。撮像装置20は、利用者が撮像装置20のレリーズスイッチを半押しした場合に、以降の処理を開始する(S1000)。また、これに変えて、撮像装置20は、電源が投入されている場合、常に以降の処理を行ってもよい。続いて、撮像装置20は、撮像手段100により被写体の画像を捕捉し、画像の中から主要被写体を選択する(S1010)。続いて、撮像装置20は、選択した主要被写体に基づいて、撮像制御手段120により撮像手段100における画像の撮像を制御する(S1020)。続いて、撮像装置20は、撮像手段100により被写体の画像を捕捉し、表示手段50に表示させる(S1030)。
続いて、撮像装置20は、利用者による操作に基づいて主要被写体距離を変更する(S1040)。続いて、撮像装置20は、レリーズスイッチが全押しされた場合に、撮像手段100により被写体像を撮像し、撮像された画像データを1次メモリ110に格納する。そして、撮像装置20は、画像処理手段130によりデータ圧縮処理等の画像処理を行い、画像データを2次メモリ60に格納する(S1050)。ここで、デジタル図鑑システム10の動作モードが「デジタル図鑑モード」である場合、撮像装置20は、画像データを2次メモリ60に格納するのに代えて、画像データ及び選択された主要被写体の領域を示す情報を、図鑑処理手段32に出力する。
図7は、S1010の詳細を示すフローチャートである。繰り返し捕捉手段142は、予め定められた複数の合焦距離のそれぞれについて、以下の処理を繰り返す(S1100)。ここで、予め定められた複数の合焦距離とは、光学系102により合焦可能な範囲から選択した、主要被写体距離の算出に必要な複数の距離である。これら複数の合焦距離は固定されていなくともよく、撮像装置20の撮影モードによって変化してもよい。例えば、撮像モードがポートレイトモードである場合には、撮像装置20に近い範囲において、遠い範囲に比べてより多くの合焦距離を選択してもよい。
また、繰り返し捕捉手段142は、撮像手段100に例えば毎秒30コマよりも高い頻度で捕捉させた画像のうち、毎秒30コマ分の画像を表示手段50により表示させ、他のコマの画像を用いて合焦距離の算出処理を合焦距離算出手段144により行わせてもよい。これにより、利用者に合焦距離が一定の画像を表示しながら、複数の合焦距離で画像を捕捉することができる。
まず、繰り返し捕捉手段142は、光学系102における合焦距離を変更する(S1110)。続いて、撮像手段100は、被写体の画像を捕捉し、画像データを1次メモリ110に格納する(S1120)。続いて、合焦距離算出手段144は、捕捉された画像を複数の領域に分割し、各領域における合焦度を算出する(S1130)。撮像装置20は、予め定められた複数の合焦距離のそれぞれについて、S1110からS1130の処理を繰り返す(S1140)。
続いて、主要被写体距離算出手段146は、複数の領域のそれぞれについて、複数の合焦距離において捕捉された画像のうち、最も合焦度が大きい距離を、当該領域における合焦距離として算出する(S1150)。続いて、主要被写体距離算出手段146は、複数の領域のうち、同一の合焦距離を有する複数の領域を検出し、それぞれの領域の面積と、当該領域に対して予め定められた重みとの積を算出する。そして、主要被写体距離算出手段146は、領域毎に算出した積の総和を求める。そして、主要被写体距離算出手段146は、それぞれの合焦距離について、当該合焦距離に対して予め定められた距離重みを先に求めた総和に乗じた値を算出する。主要被写体距離算出手段146は、以上の処理を、同一の合焦距離を有する領域群のそれぞれに対して行い、算出した値の大きい順に複数の合焦距離を選択し、値の最も大きい合焦距離を主要被写体距離に、それ以外を主要被写体距離の候補として選択する(S1160)。続いて、領域選択手段148は、算出された主要被写体距離を合焦距離として有する複数の領域を、主要被写体として検出する(S1170)。
図8は、S1020及びS1030の詳細を示すフローチャートである。自動焦点手段122は、領域選択手段148によって選択された領域、即ち主要被写体に焦点を合わせるべく、光学系102を制御する(S1200)。また、露出選択手段124は、領域選択手段148によって選択された領域、即ち主要被写体に、他の領域よりも大きな重みを付けて画像の露出度を選択する(S1210)。また、ホワイトバランス設定手段126は、領域選択手段148によって選択された領域、即ち主要被写体に、他の領域よりも大きな重みを付けて画像のホワイトバランスを設定する(S1220)。
続いて、撮像手段100は、選択された主要被写体に基づいて制御された、焦点、露出度、及びホワイトバランスの設定等の撮像条件に基づいて、被写体の画像を捕捉する(S1230)。続いて、表示手段50は、捕捉された画像を表示する(S1240)。続いて、枠表示手段40は、領域選択手段148が選択した領域を囲む枠を、捕捉された画像に重畳して表示手段50に表示させる(S1250)。
図9は、S1040の詳細を示すフローチャートである。撮像装置20は、利用者によりレリーズスイッチが全押しされたか否かを判定する(S1300)。レリーズスイッチが全押しされていない場合(S1300:No)、撮像装置20は、変更操作手段150が主要被写体距離を変更したか否かを判定する(S1310)。主要被写体距離が変更されていない場合(S1310:No)、撮像装置20は、処理をS1300に戻し、再度レリーズスイッチが全押しされたか否かを判定する。
主要被写体距離が変更された場合(S1310:Yes)、即ち、利用者が変更操作手段150を用いて主要被写体距離算出手段146における主要被写体距離の候補の何れかに主要被写体距離を変更した場合、主要被写体距離算出手段146は、変更された主要被写体距離を領域選択手段148に出力する。そして、領域選択手段148は、変更された主要被写体距離だけ離れている領域を再度選択する(S1170)。
続いて、自動焦点手段122は、変更された主要被写体距離に焦点を合わせるべく光学系102を駆動させる(S1200)。また、露出選択手段124は、変更された主要被写体距離に対応して選択された領域に、他の領域よりも大きな重みを付けて画像の露出度を選択する(S1210)。また、ホワイトバランス設定手段126は、変更された主要被写体距離に対応して選択された領域に、他の領域よりも大きな重みを付けてホワイトバランスを設定する(S1220)。
続いて、撮像手段100は、変更された主要被写体距離に基づいて変更された撮像条件を用いて被写体の画像を捕捉する(S1230)。そして、表示手段50は、捕捉された画像を表示する(S1240)。更に、枠表示手段40は、変更された主要被写体距離に基づいて選択された領域を囲む枠を、表示手段50に表示させることにより、主要被写体が変更されたことを利用者に通知する(S1250)。
一方、レリーズスイッチが全押しされた場合(S1300:Yes)、撮像装置20は、処理をS1050に進め、被写体像の撮像を行う。
本実施形態に係る撮像装置20によれば、主要被写体選択手段140により認識された主要被写体に基づいて焦点、露出度、及びホワイトバランス等の撮像条件を決定して撮像手段100を制御することにより、利用者が所望する画像を高い品質で撮像することができる。
図10は、本発明の実施形態に係る部分図30の詳細の一例を示すブロック図である。本図に示した、デジタル図鑑システム10が有する図鑑処理手段32は、通信手段34によりネットワーク36に接続する。そして、デジタル図鑑システム10は、ネットワーク36を介して、被写体における互いに異なる複数の種類の特徴に対応付けて当該被写体の説明を格納する、複数の画像データベース(38a、38b、・・・38c。以降、まとめて38と表記)から被写体の説明を検索する。ここで、ネットワーク36は、例えばインターネット網である。また、画像データベース38は、例えば、インターネットに接続された、単一の画像データベース提供サービスであってよく、また、互いに異なる複数の画像データベース提供サービスであってもよい。
本実施形態における図鑑処理手段32及び通信手段34は、複数の特徴を用いて被写体の説明を検索する場合に、効率よく精度の高い検索結果を得ることを目的とする。
図鑑処理手段32は、第1特徴抽出手段300、第2特徴抽出手段302、付帯情報取得手段304、特徴選択手段310、画像データベース選択手段320、説明検索手段330、及び通知ユニット380を有する。第1特徴抽出手段300は、撮像手段100により捕捉された被写体の画像と、主要被写体選択手段140により選択された主要被写体を示す領域とを、図2に示した画像処理手段130から受け取る。そして、第1特徴抽出手段300は、受け取った画像における主要被写体の特徴を抽出し、特徴選択手段310に出力する。ここで、主要被写体の特徴とは、例えば、画像処理技術によって抽出される、輪郭形状、二値化画像、色分布等である。第2特徴抽出手段302は、撮像手段100により捕捉された被写体の画像と、主要被写体選択手段140により選択された主要被写体を示す領域とを、画像処理手段130から受け取る。そして、第2特徴抽出手段302は、受け取った画像における、主要被写体とは異なる被写体の特徴を抽出し、特徴選択手段310に出力する。
付帯情報取得手段304は、撮像手段100により捕捉された被写体の画像、及び当該画像に付帯する付帯情報を、画像処理手段130から取得する。ここで、付帯情報は、例えば、撮像手段100が画像を捕捉したときに、撮像装置20が有するGPS(GlobalPositioningSystem)機能により取得された撮像地点の緯度、軽度、高度、及び深度を含んでいてよい。また、付帯情報は、例えば、撮像装置20が有するカレンダー機能により取得された撮影日時、及び当該撮像日時に基づく季節情報を含んでいてよい。また、付帯情報は、例えば、撮像装置20が有する温度計により取得された気温を含んでいてよい。また、付帯情報は、例えば、主要被写体距離算出手段146により算出された、撮像装置20から主要被写体までの距離、画像内における主要被写体の大きさ、及び撮像装置20における撮像倍率等により算出された、主要被写体における実際の大きさを示す情報を含んでいてよい。そして、付帯情報取得手段304は、取得した付帯情報を、特徴選択手段310に出力する。
特徴選択手段310は、第1特徴抽出手段300により主要被写体から抽出された全ての種類の特徴の中から、一部の種類の特徴を選択する。そして、特徴選択手段310は、選択した当該一部の種類の特徴と、選択しなかった他の種類の特徴とのそれぞれを、画像データベース選択手段320に出力する。また、特徴選択手段310は、第2特徴抽出手段302によって主要被写体とは異なる被写体から抽出された全ての種類の特徴の中から、一部の種類の特徴を選択する。そして、特徴選択手段310は、選択した当該一部の種類の特徴と、選択しなかった他の種類の特徴とのそれぞれを、画像データベース選択手段320に出力する。また、特徴選択手段310は、付帯情報取得手段304により取得された、画像に付帯する全ての種類の付帯情報の中から、一部の種類の付帯情報を選択する。そして、特徴選択手段310は、選択した当該一部の種類の付帯情報と、選択しなかった他の種類の付帯情報とのそれぞれを、画像データベース選択手段320に出力する。
なお、特徴選択手段310は、主要被写体から第1特徴抽出手段300により抽出された全ての種類の特徴を、当該一部の種類の特徴または当該他の種類の特徴として選択するのではなく、当該全ての種類の特徴のうち、少なくとも一部の種類の特徴を、当該一部の種類の特徴または当該他の種類の特徴として選択してもよい。具体的には、特徴選択手段310は、主要被写体から第1特徴抽出手段300により抽出された全ての種類の特徴のうち、予め定められた基準値以上の確からしさで抽出された少なくとも一部の種類の特徴の中から、一部の種類の特徴を選択すると共に、当該少なくとも一部の種類の特徴の中の、当該一部の種類の特徴とは異なる種類の特徴を、他の種類の特徴として選択してよい。ここで、特徴の確からしさとは、主要被写体を示す画像が、当該特徴を実際に有している確度を示す値であってよく、例えば、当該特徴が抽出される場合に用いられた画像データの品質等に基づいて、当該特徴の種類について予め定められた方法を用いて算出された値であってよい。例えば、被写体の輪郭形状を示す特徴において、確からしさは、隣接する画素における画素値の差の最大値として算出されてよい。即ち、特徴選択手段310は、捕捉された画像における合焦度が十分に高くないといった理由により、算出された画素値の差の最大値が、利用者等によって予め定められた基準値以下である場合には、当該捕捉された画像において、被写体の輪郭形状を示す特徴は、十分に確からしいとは言えないとして、前述した一部の種類の特徴及び他の種類の特徴を選択する場合に、被写体の輪郭形状を示す特徴を除外してよい。
また、特徴選択手段310は、同様にして、第2特徴抽出手段302により抽出された全ての種類の特徴のうち、予め定められた基準値以上の確からしさで抽出された少なくとも一部の種類の特徴の中から、一部の種類の特徴を選択すると共に、当該少なくとも一部の種類の特徴の中の、当該一部の種類の特徴とは異なる種類の特徴を、他の種類の特徴として選択してよい。更に、特徴選択手段310は、同様にして、付帯情報取得手段304により取得された全ての種類の付帯情報のうち、予め定められた基準値以上の確からしさで取得された少なくとも一部の種類の付帯情報の中から、一部の種類の付帯情報を選択すると共に、当該少なくとも一部の種類の付帯情報の中の、当該一部の種類の付帯情報とは異なる種類の付帯情報を、他の種類の付帯情報として選択してよい。
画像データベース選択手段320は、通知手段34を介して複数の画像データベース38から受け取った情報に基づいて、複数の画像データベース38の中から、第1特徴抽出手段300が抽出した種類の特徴を格納する画像データベース38を選択する。ここで、被写体の説明とは、被写体の名称、更に、被写体が動植物である場合には生態の解説等を含んでいてもよい。また、被写体の説明は、文字情報に限定されず、被写体の参照画像等の画像データ、3次元形状データ、生息地域、高度、及び深度等の多様な情報を含んでいてもよい。また、画像データベース選択手段320は、被写体に対して関連性の高い物体が有する特徴に更に対応づけて被写体の説明を格納する複数の画像データベース38の中から、主要被写体とは異なる被写体における、第2特徴抽出手段302が抽出した種類の特徴を更に格納する画像データベース38を選択してもよい。また、画像データベース選択手段320は、撮像された画像に付帯する付帯情報に更に対応づけて被写体の説明を格納する複数の画像データベース38の中から、付帯情報取得手段304が取得した種類の付帯情報を更に格納する画像データベース38を選択してもよい。
説明検索手段330は、画像データベース選択手段320が選択した画像データベース38から、第1特徴抽出手段300が抽出した特徴を用いて主要被写体の説明を検索する。また、説明検索手段330は、画像データベース選択手段が選択した画像データベース38から、第2特徴抽出手段302が抽出した、主要被写体とは異なる被写体の特徴を更に用いて、主要被写体の説明を検索してもよい。また、説明検索手段330は、画像データベース選択手段320が選択した画像データベース38から、付帯情報取得手段304が取得した付帯情報を更に用いて、主要被写体の説明を検索してもよい。説明検索手段330は、候補名称検索手段340、重複被写体選択手段350、名称決定ユニット360、及び説明読み出し手段370を含む。
候補名称検索手段340は、通信手段34を介して画像データベース38と通信することにより、第1特徴抽出手段300及び第2特徴抽出手段302が抽出した特徴、並びに付帯情報取得手段304が取得した付帯情報を用いて、複数の画像データベース38のそれぞれから主要被写体の名称の候補である候補名称を検索する。そして、候補名称検索手段340は、検索した結果を、重複被写体選択手段350、名称決定ユニット360、及び通知ユニット380に出力する。ここで、候補名称検索手段340は主要被写体の名称の候補を検索したが、検索の対象は名称の候補のみには限定されず、被写体を識別することのできる情報であればよい。また、候補名称検索手段340は、主要被写体の名称の候補に加えて、当該名称に対応する被写体の説明を検索してもよい。
重複被写体選択手段350は、候補名称検索手段340から受け取った検索結果に基づいて、複数のデータベースで重複して検索された重複被写体を選択する。具体的には、重複被写体選択手段350は、候補名称検索手段340から受け取った複数の画像データベース38の検索結果に含まれる複数の被写体の名称のうち、それぞれの画像データベースで互いに一致する名称を有する被写体を重複被写体として選択する。そして、重複被写体選択手段350は、選択した重複被写体の名称を、主要被写体の名称として説明読み出し手段370に出力する。
名称決定ユニット360は、候補名称検索手段340から受け取った複数の画像データベース38の検索結果に基づいて、主要被写体として最も確からしい名称を決定し、その結果を説明読み出し手段370に出力する。説明読み出し手段370は、重複被写体選択手段350及び名称決定ユニット360の少なくとも一方から受け取った主要被写体の名称に基づいて、少なくとも1つの画像データベース38に格納された、主要被写体の説明を読み出す。具体的には、説明読み出し手段370は、主要被写体の名称を、送信手段400を用いて少なくとも1つの画像データベース38に送信して、それぞれの画像データベース38において主要被写体の説明を検索させ、その結果得られた主要被写体の説明を、受信手段410を用いて読み出す。そして、説明読み出し手段370は、読み出した説明を、表示手段50に表示させることにより、利用者に提供する。通知ユニット380は、候補名称検索手段340から受け取った複数の画像データベース38の検索結果に対して更なる絞り込みを行う場合に、被写体の何れの部分を撮像すべきかを利用者に通知する。
通信手段34は、送信手段400及び受信手段410を有する。送信手段400は、図鑑処理手段32が有する各部からの要求に応じて、ネットワーク36を介して接続した複数の画像データベース38に情報を送信する。例えば、送信手段400は、デジタル図鑑システム10の外部に設けられた画像データベース38へ、第1特徴抽出手段300により抽出された主要被写体の特徴を送信する。
受信手段410は、ネットワークを介して接続した複数の画像データベース38から受け取った情報を、図鑑処理手段32が有する各部に送信する。例えば、受信手段410は、画像データベース38から検索された主要被写体の説明を、ネットワーク36を介して受信し、候補名称検索手段340又は説明読み出し手段370に送信する。送信手段400及び受信手段410は、例えば、イーサネット(登録商標)等の有線通信、又は、無線LANやブルートゥース(登録商標)、CDMA等の無線通信により、ネットワーク36に接続する。
本発明の実施形態に係るデジタル図鑑システム10によれば、ネットワーク36を介して接続した画像データベース38を用いることにより、デジタル図鑑システム10の小型化、及び低コスト化を実現することができる。
また、インターネット網等に接続されている多様な画像データベースを用いて検索を行うことにより、広い検索範囲で、正確な検索結果を得ることができる。
また、本発明の実施形態に係るデジタル図鑑システム10によれば、画像から抽出した特徴のうち、確からしい特徴のみを用いて検索を行うことができる。これにより、例えば、主要被写体が花である場合に、撮像条件が十分に良くないために、主要被写体におけるおしべの数やめしべの数といった特徴を、十分に高い精度で認識できなかった場合には、おしべの数やめしべの数という特徴を用いることなく、他の特徴のみを用いて、主要被写体の説明を検索することができるので、検索の精度を向上させることができる。
なお、本図に示した構成は一例であり、本図の構成に多様な変更を加えてもよい。例えば、図鑑処理手段32は、第2特徴抽出手段302及び付帯情報取得手段304の少なくとも一方を含んでいなくともよい。また、例えば、説明検索手段330は、重複被写体選択手段350及び名称決定ユニット360の少なくとも一方を有していなくともよい。この場合、説明読み出し手段370は、重複被写体選択手段350又は名称決定ユニット360から受け取った主要被写体の名称に基づいて、主要被写体の説明を画像データベース38から読み出す。また、例えば、説明検索手段330は、通知ユニット380を備えていなくともよい。
また、本図に示した図鑑処理手段32は、通信手段34及びネットワーク36を介して、デジタル図鑑システム10の外部に設けられた複数の画像データベース38にアクセスしたが、これに代えて、デジタル図鑑システム10の内部に設けられた複数の画像データベース38にアクセスしてもよい。これにより、デジタル図鑑システム10は、外部との情報通信ができない場合であっても、主要被写体の説明を検索することができる。
更に、デジタル図鑑システム10は、例えば、外部との情報通信ができない場合には内部に設けられた画像データベース38を利用し、それ以外の場合には外部に設けられた画像データベース38を利用する等、外部の画像データベース38と内部の画像データベース38との何れを利用するかを切り替え可能に制御してもよく、また、外部の画像データベース38と内部の画像データベース38との双方を同時に利用してもよい。このように、利用する画像データベース38の構成を利用目的や利用環境に応じて柔軟に変更することにより、効率よく被写体の説明を検索することができる。
図11は、本実施形態に係る画像データベース選択手段320及び候補名称検索手段340の詳細を示すブロック図である。画像データベース選択手段320は、第1画像データベース選択手段322、及び第2画像データベース選択手段324を含む。第1画像データベース選択手段322は、受信手段410を用いて、ネットワーク36を介して画像データベース38の情報、例えば、複数の画像データベース38のそれぞれに格納されている特徴の種類等を受け取り、それらの情報に基づいて、第1特徴抽出手段300により抽出された特徴のうち、特徴選択手段310により選択された一部の種類の特徴を格納する第1画像データベースを選択する。そして、第1画像データベース選択手段322は、選択した第1画像データベースを示す情報を、候補名称検索手段340に出力する。
第2画像データベース選択手段324は、受信手段410を用いて、ネットワーク36を介して画像データベース38の情報を受け取り、それらの情報に基づいて、第1特徴抽出手段300により抽出された特徴のうち、特徴選択手段310により選択された一部の種類の特徴とは異なる、他の種類の特徴を格納する第2画像データベースを選択する。そして、第2画像データベース選択手段324は、選択した第2画像データベースを示す情報を、候補名称検索手段340に出力する。
候補名称検索手段340は、第1検索手段342、及び第2検索手段344を含む。第1検索手段342は、第1画像データベース選択手段322により選択された第1画像データベースから、特徴選択手段310により選択された一部の種類の特徴を用いて主要被写体の名称の候補を検索する。具体的には、第1検索手段342は、送信手段400を用いることにより、ネットワーク36を介して第1画像データベースに当該一部の種類の特徴を送信する。そして、第1検索手段342は、受信手段410を用いることにより、ネットワーク36を介して第1画像データベースにおける検索の結果を受け取り、受け取った主要被写体の名称の候補を重複被写体選択手段350に出力する。
第2検索手段344は、第2画像データベース選択手段324により選択された第2画像データベースから、特徴選択手段310により選択された一部の種類の特徴とは異なる、他の種類の特徴を用いて主要被写体の名称を検索する。具体的には、第2検索手段344は、送信手段400を用いることにより、ネットワーク36を介して第2画像データベースに当該他の種類の特徴を送信する。そして、第2検索手段344は、受信手段410を用いることにより、ネットワーク36を介して第2画像データベースに対する検索の結果を受け取り、受け取った主要被写体の説明を重複被写体選択手段350に出力する。
図10に示した重複被写体選択手段350は、第1検索手段342及び第2検索手段344のそれぞれから受け取った検索結果である主要被写体の名称に基づいて、第1画像データベース及び第2画像データベースの双方で重複して検索された重複被写体を選択する。具体的には、重複被写体選択手段350は、第1検索手段342及び第2検索手段344のそれぞれから受け取った検索結果に含まれる複数の被写体のうち、名称が互いに一致する被写体を重複被写体として選択する。そして、重複被写体選択手段350は、選択した重複被写体の名称を、主要被写体の名称として、図10に示した説明読み出し手段370に出力する。
なお、第1画像データベース選択手段322は、複数の画像データベース38の中から、第1特徴抽出手段300により抽出されて、特徴選択手段310により選択された一部の種類の特徴を用いて、第1検索手段342が、より高い精度で主要被写体の説明を検索することのできる画像データベース38を、第1画像データベースとして、より高い優先度で選択してよい。具体的には、第1画像データベース選択手段322は、複数の画像データベース38の中から、当該一部の種類の特徴に対応づけて説明を格納している被写体の数が、他の画像データベース38に比べてより多い画像データベース38を、第1画像データベースとして、より高い優先度で選択してよい。
また、第2画像データベース選択手段324は、複数の画像データベース38の中から、第1特徴抽出手段300により抽出されて、特徴選択手段310により選択された一部の種類の特徴とは異なる、他の種類の特徴を用いて、第2検索手段344が、より高い精度で主要被写体の説明を検索することのできる画像データベース38を、第2画像データベースとして、より高い優先度で選択してよい。具体的には、第2画像データベース選択手段324は、複数の画像データベース38の中から、当該他の種類の特徴に対応づけて説明を格納している被写体の数が、他の画像データベース38に比べてより多い画像データベース38を、第2画像データベースとして、より高い優先度で選択してよい。なお、第1画像データベース選択手段322及び第2画像データベース選択手段324のそれぞれは、複数の画像データベース38のそれぞれから、当該画像データベース38が、被写体が有する特徴に対応づけて説明を格納している被写体の数を、複数の特徴の種類のそれぞれについて、通信手段34を介して取得してよい。
なお、本図に示した構成は一例であり、本図の構成に多様な変更を加えてもよい。例えば、本図において、図鑑処理手段32は、特徴選択手段310により選択された一部の種類の特徴を用いて第1画像データベースから主要被写体の説明を検索し、他の種類の特徴を用いて第2画像データベースから主要被写体の説明を検索したが、これに代えて、図鑑処理手段32は、1つ又は3つ以上の画像データベースを用いて検索を実行するべく、第1特徴抽出手段300により抽出された複数の特徴から、特徴選択手段310により任意の数の特徴群を選択してもよい。そして、重複被写体選択手段350は、複数の画像データベース38の検索結果の中で、重複している名称を主要被写体の名称として選択し、説明読み出し手段370に出力してもよい。
本実施形態に係るデジタル図鑑システム10によれば、複数の画像データベース38から検索に用いる画像データベース38を選択すると共に、それらにおける検索結果に基づいて、主要被写体の説明を検索することができる。これにより、従来の情報検索システムにおけるロードバランサーの様な負荷分散システムを用いることなく、適切な負荷分散を実現できる。これにより、デジタル図鑑システム10は、画像データベース38に直接アクセスして検索を実行することができるので、検索処理の応答速度を向上させることができる。
また、デジタル図鑑システム10によれば、特徴選択手段310が選択した一部の種類の特徴を用いて、より高い精度で主要被写体の説明を検索することができる画像データベース38を、第1画像データベースとして選択すると共に、他の種類の特徴を用いて、より高い精度で主要被写体の説明を検索することができる画像データベース38を、第2画像データベースとして選択することができる。これにより、画像データベース38のそれぞれにおいて、ある種類の特徴を用いた場合には、高い精度で被写体の説明を検索することができるものの、他の種類の特徴を用いた場合には、十分に高い精度で被写体の説明を検索することができないというように、特徴の種類毎における検索の精度にばらつきがある場合であっても、画像から抽出された特徴のそれぞれを、当該特徴の種類について高い精度で被写体の説明を検索することができる画像データベース38に対して用いることにより、主要被写体の説明を、高い精度で検索することができる。
また、ある種類の特徴において、より多くの被写体の説明を検索対象として格納している画像データベース38を、当該種類の特徴について、より高い精度で被写体の説明を検索することができる画像データベース38であるとすることにより、第1画像データベース選択手段322及び第2画像データベース選択手段324が選択した画像データベース38を用いて、高い精度で主要被写体の説明を検索することができる。
また、特徴の種類毎の、説明を格納している被写体の数を、画像データベース38のそれぞれから取得して、検索の精度を判定することにより、インターネットにおいて公開されているような、多様な画像データベース38を用いる場合であっても、最適な画像データベース38を選択して、高い精度で主要被写体の説明を検索することができる。
図12は、本実施形態に係る第1特徴抽出手段300の処理の一例を示す。図12(a)は、第1特徴抽出手段300が画像処理手段130から受け取った画像220を示す。第1特徴抽出手段300は、枠222により囲まれた主要被写体の画像から、主要被写体の特徴を抽出する。ここで、第1特徴抽出手段300は、説明の検索に要する時間を短縮し、且つ、正確な検索結果を取得するべく、利用者が予め入力した主要被写体の大まかな種類を示す情報に基づいて、抽出する特徴を選択してもよい。例えば、利用者が、主要被写体を花であると判断した場合に、花であることを示す情報を図示しない種類入力手段を用いてデジタル図鑑システム10に入力する。そして、第1特徴抽出手段300は、入力された情報に基づいて、主要被写体の種類毎に予め定められた特徴を抽出する。
第1特徴抽出手段300は、例えば、主要被写体が花であると利用者により入力された場合に、枠222で囲まれた主要被写体の画像データに対して輪郭抽出処理を行う。そして、第1特徴抽出手段300は、得られた輪郭の内部における色分布に基づいて、画像データを花の部分と茎及び葉の部分とに分割する。そして、第1特徴抽出手段300は、花の色及び花の輪郭形状を特徴として抽出する。
図12(b)は、第1特徴抽出手段300により抽出された、画像220の主要被写体における花の輪郭形状224を示す。また、第1特徴抽出手段300は、花の輪郭形状に対して形状認識を行うことにより、花弁の数を特徴として抽出する。さらに、主要被写体の画像データの花部分を画像認識することにより、おしべの数を特徴として抽出する。そして、第1特徴抽出手段300は、抽出した特徴を、特徴選択手段310に出力する。
図13は、本実施形態に係る画像データベース38の第1の例を示す。特徴選択手段310は、第1特徴抽出手段300により抽出された複数の特徴から、一部の特徴を選択する。例えば、特徴選択手段310は、第1特徴抽出手段300が画像220から抽出した、花の色、花の輪郭形状、花弁の数、及びおしべの数から、花の色及び花の輪郭形状を選択する。そして、特徴選択手段310は、選択した特徴を示す情報を、画像データベース選択手段320に出力する。
これを受けて、画像データベース選択手段320は、特徴選択手段310により選択された一部の特徴である花の色及び花の輪郭形状を格納する第1画像データベース、並びに、特徴選択手段310により選択された他の特徴である花弁の数及びおしべの数を格納する第2画像データベースを選択する。
図13(a)は、画像データベース選択手段320により選択された、第1画像データベース226の一例を示す。図13(b)は、画像データベース選択手段320により選択された、第2画像データベース228の一例を示す。第1検索手段342は、第1画像データベース226から、花の色が白で、花の輪郭形状が輪郭形状224である被写体を検索する。第2検索手段344は、第2画像データベース228から、花弁の数が6で、おしべの数が6である被写体を検索する。
重複被写体選択手段350は、第1検索手段342及び第2検索手段344のそれぞれが検索した被写体のうち、双方で重複する被写体として、例えば「テッポウユリ」を選択する。そして、説明読み出し手段370は、重複被写体選択手段350が選択した「テッポウユリ」の説明を、第1画像データベース226及び第2画像データベース228から読み出し、表示手段50に表示させる。
本実施形態に係るデジタル図鑑システム10によれば、複数の画像データベース38を用いて主要被写体の説明を検索する場合に、それぞれの画像データベース38において互いに異なる特徴に基づいて検索を実行することにより、それぞれの画像データベース38における検索結果が互いに類似することを防ぐことができる。これにより、効率的に検索結果の絞り込みを行うことができると共に、正確な検索結果を得ることができる。
図14は、本実施形態に係る画像データベース38の第2の例を示す。画像データベース38は、被写体の説明に対応づけて、図13に示した画像データベース38が格納する当該被写体そのものの特徴に加えて、当該被写体に対して関連性の高い物体が有する特徴を、更に格納してもよい。例えば、画像データベース38は、被写体が花である場合に、当該被写体に対して関連性の高い物体が有する特徴として、当該被写体である花が咲いている地面の色を示す特徴を格納してよい。本図において、画像データベース38は、「テッポウユリ」という被写体の説明に対応づけて、地面の色の特徴として、「濃い茶色」を示す特徴量を格納している。また、画像データベース38は、「テッポウユリ」とは異なる被写体の説明に対応づけて、砂地の色や、岩場の色等を示す特徴量を格納してよい。
第2特徴抽出手段302は、撮像手段100により捕捉された画像から、主要被写体選択手段140により選択された主要被写体とは異なる被写体の特徴を抽出する。例えば、第2特徴抽出手段302は、輪郭抽出処理等によって抽出した、捕捉された画像に含まれる複数の被写体の中から、画面内における被写体の位置、被写体における色分布、または主要被写体との位置関係等に基づいて、地面を示す被写体を検出する。そして、第2特徴抽出手段302は、検出した、地面を示す被写体における色を認識する。ここで、第2特徴抽出手段302は、例えば、予め定められた複数の色の範囲のうち、地面を示す被写体における色分布に対して最も合致度の高い色の範囲を検出してよい。
続いて、特徴選択手段310は、第1特徴抽出手段300によって抽出された、主要被写体における複数の種類の特徴のうち、一部の種類の特徴を選択すると共に、第2特徴抽出手段302によって抽出された、主要被写体とは異なる被写体における複数の種類の特徴のうち、一部の種類の特徴を選択する。続いて、第1画像データベース選択手段322は、第1特徴抽出手段300によって抽出された特徴の種類のうち、特徴選択手段310によって選択された一部の種類の特徴を格納すると共に、第2特徴抽出手段302によって抽出された特徴の種類のうち、特徴選択手段310によって選択された一部の種類の特徴を格納する画像データベース38を、第1画像データベースとして選択する。ここで、第1画像データベース選択手段322は、複数の画像データベース38の中から、第1特徴抽出手段300によって抽出された当該一部の種類の特徴、及び第2特徴抽出手段302によって抽出された当該一部の種類の特徴を用いて、第1検索手段342が、より高い精度で主要被写体の説明を検索することのできる画像データベース38を、第1画像データベースとして、より高い優先度で選択してよい。
また、第2画像データベース選択手段324は、第1特徴抽出手段300によって抽出された特徴の種類のうち、特徴選択手段310によって選択された一部の種類の特徴とは異なる、他の種類の特徴を格納すると共に、第2特徴抽出手段302によって抽出された特徴の種類のうち、特徴選択手段310によって選択された一部の種類の特徴とは異なる、他の種類の特徴を格納する画像データベース38を、第2画像データベースとして選択する。ここで、第2画像データベース選択手段324は、複数の画像データベース38の中から、第1特徴抽出手段300によって抽出された当該他の種類の特徴、及び第2特徴抽出手段302によって抽出された当該他の種類の特徴を用いて、第2検索手段344が、より高い精度で主要被写体の説明を検索することのできる画像データベース38を、第2画像データベースとして、より高い優先度で選択してよい。
続いて、第1検索手段342は、第1特徴抽出手段300によって抽出された特徴の種類のうち、特徴選択手段310によって選択された一部の種類の特徴と、第2特徴抽出手段302によって抽出された特徴の種類のうち、特徴選択手段310によって選択された一部の種類の特徴との双方を用いて、第1画像データベース選択手段322により選択された第1画像データベースから、主要被写体の名称の候補を検索する。また、第2検索手段344は、第1特徴抽出手段300によって抽出された特徴の種類のうち、特徴選択手段310によって選択された一部の種類の特徴とは異なる他の種類の特徴と、第2特徴抽出手段302によって抽出された特徴の種類のうち、特徴選択手段310によって選択された一部の種類の特徴とは異なる他の種類の特徴との双方を用いて、第2画像データベース選択手段324により選択された第2画像データベースから、主要被写体の名称の候補を検索する。続いて、重複被写体選択手段350は、図11において説明したように、第1検索手段342及び第2検索手段344のそれぞれにおける主要被写体の名称の候補の検索結果に基づいて、主要被写体の名称を選択し、説明読み出し手段370に出力する。
本発明の実施形態に係るデジタル図鑑システム10によれば、捕捉された画像における、背景画像や周囲に存在する物体の画像といった、主要被写体とは異なる被写体の特徴に更に基づいて、主要被写体の説明を検索することができる。これにより、例えば、主要被写体が植物である場合に、植物が生えている地面の色といった、主要被写体が生育する環境を示す情報や、主要被写体と同様の環境で生育する植物等に基づいて、主要被写体である植物を特定するというように、より多くの情報に基づいて、主要被写体を特定することができる。従って、デジタル図鑑システム10によれば、より高い精度で主要被写体の説明を検索することができる。
図15は、本実施形態に係る画像データベース38の第3の例を示す。画像データベース38は、被写体の説明に対応づけて、図13に示した第1画像データベース226または第2画像データベース228が格納する当該被写体の特徴に加えて、当該被写体の画像における撮像日時の範囲を更に格納してもよい。ここで、撮像日時の範囲とは、例えば、主要被写体が花である場合における、一年のうち、花が咲いている期間を示す範囲であってよい。
付帯情報取得手段304は、撮像手段100によって捕捉された画像に付帯する付帯情報を取得する。例えば、付帯情報取得手段304は、付帯情報として、当該画像の撮像日時を取得する。続いて、特徴選択手段310は、第1特徴抽出手段300によって抽出された、主要被写体における複数の種類の特徴のうち、一部の種類の特徴を選択すると共に、付帯情報取得手段304によって取得された、画像に付帯する複数の種類の付帯情報のうち、一部の種類の付帯情報を選択する。
続いて、第1画像データベース選択手段322は、第1特徴抽出手段300によって抽出された特徴の種類のうち、特徴選択手段310によって選択された一部の種類の特徴を格納すると共に、付帯情報取得手段304によって取得された付帯情報の種類のうち、特徴選択手段310によって選択された一部の種類の付帯情報を格納する画像データベース38を、第1画像データベースとして選択する。例えば、特徴選択手段310によって、一部の種類の付帯情報として、画像の撮像日時が選択された場合、第1画像データベース選択手段322は、複数の画像データベース38の中から、被写体そのものにおける当該一部の種類の特徴に加えて、被写体の画像における撮像日時の範囲に更に対応づけて、被写体の説明を格納する画像データベース38を、第1画像データベースとして選択する。また、第1画像データベース選択手段322は、複数の画像データベース38の中から、第1特徴抽出手段300によって抽出された当該一部の種類の特徴、及び付帯情報取得手段304によって取得された当該一部の種類の付帯情報を用いて、第1検索手段342が、より高い精度で主要被写体の説明を検索することのできる画像データベース38を、第1画像データベースとして、より高い優先度で選択してよい。
また、第2画像データベース選択手段324は、第1特徴抽出手段300によって抽出された特徴の種類のうち、特徴選択手段310によって選択された一部の種類の特徴とは異なる、他の種類の特徴を格納すると共に、付帯情報取得手段304によって取得された付帯情報の種類のうち、特徴選択手段310によって選択された一部の種類の付帯情報とは異なる、他の種類の付帯情報を格納する画像データベース38を、第2画像データベースとして選択する。ここで、第2画像データベース選択手段324は、複数の画像データベース38の中から、第1特徴抽出手段300によって抽出された当該他の種類の特徴、及び付帯情報取得手段304によって取得された当該他の種類の付帯情報を用いて、第2検索手段344が、より高い精度で主要被写体の説明を検索することのできる画像データベース38を、第2画像データベースとして、より高い優先度で選択してよい。
続いて、第1検索手段342は、第1特徴抽出手段300によって抽出された特徴の種類のうち、特徴選択手段310によって選択された一部の種類の特徴と、付帯情報取得手段304によって取得された付帯情報の種類のうち、特徴選択手段310によって選択された一部の種類の付帯情報との双方を用いて、第1画像データベース選択手段322により選択された第1画像データベースから主要被写体の名称を検索する。例えば、特徴選択手段310によって、一部の種類の付帯情報として、画像の撮像日時が選択された場合、第1検索手段342は、第1画像データベース選択手段322が選択した第1画像データベースから、被写体そのものにおける当該一部の種類の特徴と、捕捉された画像の撮像日時を含む範囲とに対応づけられた被写体の名称を、主要被写体の名称として検索する。また、第2検索手段344は、第1特徴抽出手段300によって抽出された特徴の種類のうち、特徴選択手段310によって選択された一部の種類の特徴とは異なる他の種類の特徴と、付帯情報取得手段304によって取得された付帯情報の種類のうち、特徴選択手段310によって選択された一部の種類の付帯情報とは異なる他の種類の付帯情報の双方を用いて、第2画像データベース選択手段324により選択された第2画像データベースから主要被写体の名称を検索する。続いて、重複被写体選択手段350は、図11において説明したように、第1検索手段342及び第2検索手段344のそれぞれにおける主要被写体の名称の検索結果に基づいて、主要被写体の名称を選択し、説明読み出し手段370に出力する。
本発明の実施形態に係るデジタル図鑑システム10によれば、主要被写体の特徴に加えて、画像に付帯する付帯情報に更に基づいて検索することにより、より高い精度で主要被写体の説明を検索することができる。
また、デジタル図鑑システム10によれば、画像の撮像日時に更に基づいて、主要被写体の説明を検索することができる。これにより、例えば、主要被写体が花である場合に、画像データベース38に格納されている多数の被写体のうち、画像の撮像日時に開花している花の中から、主要被写体の特徴に類似する特徴を有する花の説明を検索することができる。従って、より高い精度で、また、より効率的に、主要被写体の説明を検索することができる。
なお、複数の画像データベース38の少なくとも一部は、特定の撮像日時の範囲に対応する被写体のみについて、被写体の説明を格納していてよい。具体的には、複数の画像データベース38の少なくとも一部は、特定の季節に対応する被写体のみについて、被写体の説明を格納していてよい。ここで、当該特定の季節が示す撮像日時の範囲は、画像データベース選択手段320に予め格納されていてもよく、或いは、画像データベース選択手段320が、当該少なくとも一部の画像データベース38のそれぞれから、通信手段34を介して取得してもよい。
これにより、当該特定の撮像日時の範囲においては、検索の精度、即ち検索可能な被写体の数を減らすことなく、画像データベース38のサイズを小さくすることができる。 或いは、画像データベース38のサイズが同じである場合には、検索の精度をより向上させることができる。例えば、主要被写体が花である場合において、「春」といった特定の季節に開花している花の説明のみを画像データベース38に格納しておくと共に、画像の撮像日時が「春」として予め定められた期間内に含まれている場合には、当該画像データベース38を選択することにより、画像データベース38のサイズが、特定の季節に関わりなく花の説明を格納している画像データベースに比べて小さい場合であっても、「春」の花の説明を十分に高い精度で検索することができる。従って、記憶容量が十分に大きくないという理由により、従来はデジタル図鑑システムとして利用できなかった電子機器であっても、高い精度で主要被写体の説明を検索することができるデジタル図鑑システム10として利用できるので、利用者にとっての利便性が向上する。
図16は、本実施形態に係る図鑑処理手段32の処理の一例を示すフローチャートである。まず、デジタル図鑑システム10の動作モードが「デジタル図鑑モード」である場合に、第1特徴抽出手段300は、撮像装置20により撮像された画像、及び当該画像において選択された主要被写体の領域を示す情報を画像処理手段130から受け取り、当該画像における主要被写体の特徴を抽出する(S1400)。
続いて、特徴選択手段310は、第1特徴抽出手段300が抽出した特徴のうち、全ての種類の特徴を格納する画像データベース38が、複数の画像データベース38の中に含まれているか否かを判定する(S1410)。全ての種類の特徴を格納する画像データベース38が複数の画像データベース38の中に含まれている場合(S1410:Yes)、特徴選択手段310は、全ての種類の特徴を選択する(S1420)。
一方、全ての種類の特徴を格納する画像データベース38が複数の画像データベース38の中に含まれていない場合(S1410:No)、特徴選択手段310は、選択する種類を減らして、一部の特徴を選択する(S1430)。これにより、利用可能な画像データベース38の規模が小さく、抽出した特徴のすべてを用いて主要被写体の説明の検索を実行できない場合であっても、その画像データベース38を用いて検索を実行することができる。これにより、多様な画像データベース38を用いて検索を実行できるので、広い検索範囲で精度の高い検索結果を得ることができる。
続いて、画像データベース選択手段320は、特徴選択手段310が選択した種類の特徴を格納する第1画像データベースと、選択した種類の他の種類の特徴を格納する第2画像データベースとを選択する(S1440)。続いて、第1検索手段342及び第2検索手段344のそれぞれは、第1画像データベース及び第2画像データベースのそれぞれから主要被写体の名称の候補を検索する(S1450)。続いて、候補名称検索手段340は、それぞれの画像データベース38において、主要被写体の名称の候補が検索されたか否か、つまり、選択された画像データベース38の中に、選択された種類の特徴によって検索される被写体が存在するか否かを判定する(S1460)。
選択された画像データベース38の中に、選択された種類の特徴によって検索される被写体が存在しない場合(S1460:No)、画像データベース選択手段320は、複数の画像データベース38の中から、全ての選択可能な画像データベース38を既に選択したか否かを判定する(S1470)。全ての選択可能な画像データベース38を未だ選択していない場合(S1470:No)、画像データベース選択手段320は、処理をS1440に戻し、選択可能な他の画像データベース38を選択する。
全ての選択可能な画像データベース38を既に選択している場合(S1470:Yes)、即ち、第1特徴抽出手段300により抽出された特徴によって検索される被写体が、複数の画像データベース38のいずれの中にも存在しない場合に、特徴選択手段310は、選択する特徴の種類を減らして、再び特徴を選択する(S1430)。これにより、例えば、画像の撮像条件が悪い等の理由により、抽出した特徴の品質が低く、抽出した全ての種類の特徴を用いて正確な検索結果を得られない場合であっても、利用者に撮像条件の改善を求めることなく、主要被写体の説明を検索することができ、利用者の利便性が向上する。
また、ここで、特徴選択手段310は、候補名称検索手段340により主要被写体の候補名称を検索させるべく、第1特徴抽出手段300により抽出された特徴のうちの一部の種類の特徴を、第1画像データベースの選択及び第1検索手段342における主要被写体の候補名称の検索に用いられる特徴の種類、並びに、第2画像データベースの選択及び第2検索手段344における主要被写体の候補名称の検索に用いられる特徴の種類の何れからも除外してもよい。これにより、第1特徴抽出手段300により抽出された特徴に大きなノイズが載っている場合など、検索の成功率が低くなる場合に、成功率低下の原因となる特徴を除外することにより、検索の成功率を向上させることができる。
一方、選択された画像データベース38の中に、選択された種類の特徴によって検索される被写体が存在する場合(S1460:Yes)、重複被写体選択手段350は、それぞれの画像データベース38において検索された主要被写体の名称の候補の中で、互いに重複している名称を主要被写体の名称として選択する(S1480)。続いて、説明読み出し手段370は、重複被写体選択手段350が選択した名称に基づいて主要被写体の説明を読み出し、表示手段50により表示させて利用者に提供する(S1490)。
以上のように、本発明の実施形態に係るデジタル図鑑システム10によれば、複数の画像データベース38から、主要被写体の説明を精度よく検索することができる。
なお、本図において、デジタル図鑑システム10は、第1特徴抽出手段300が抽出した主要被写体の特徴のみに基づいて、主要被写体の説明を検索したが、これに加えて、第2特徴抽出手段302が抽出した、主要被写体とは異なる被写体の特徴、及び付帯情報取得手段304が取得した、撮像された画像に付帯する付帯情報に更に基づいて、主要被写体の説明を検索してもよい。
図17は、本実施形態に係る名称決定ユニット360の詳細の一例を示すブロック図である。本発明の実施形態に係る名称決定ユニット360は、候補名称検索手段340により複数の候補が検索された場合に、精度よく主要被写体の名称を決定することを目的とする。
名称決定ユニット360は、一部検索候補選択手段362、再検索手段364、確率取得手段366、及び名称決定手段368を含む。一部検索候補選択手段362は、候補名称検索手段340により検索された候補名称の中に、複数の画像データベース38のいずれにおいても検索された候補名称が存在しない場合に、複数の画像データベース38の中の一部の画像データベース38から検索されており、かつ、他の画像データベース38から検索されていない候補名称を選択し、選択した候補名称を示す情報を再検索手段364に出力する。再検索手段364は、一部検索候補選択手段362によって選択された候補名称が他の画像データベース38に登録されているか否かを、通信手段34を用いて画像データベース38から検索し、検索した結果を確率取得手段366に出力する。
確率取得手段366は、候補名称検索手段340により検索された候補名称を受け取ると共に、主要被写体が候補名称を有する確率を、画像データベース38及び候補名称の組み合わせ毎に、通信手段34を介して画像データベース38から取得する。ここで、候補名称検索手段340が、主要被写体が当該候補名称を有する確率の指標値を候補名称の検索結果と併せて取得した場合、確率取得手段366は、当該確率の指標値を画像データベース38から取得するのに代えて、候補名称検索手段340から取得してもよい。
また、確率取得手段366は、候補名称検索手段340により検索された候補名称の中に、複数の画像データベース38のいずれにおいても検索された候補名称が存在しない場合に、再検索手段364から受け取った検索結果に基づいて、画像データベース38及び候補名称の組み合わせ毎に取得した確率の指標値を補正する。そして、確率取得手段366は、画像データベース38及び候補名称の組み合わせ毎に取得した、主要被写体が当該候補名称を有する確率の指標値を、名称決定手段368に出力する。
名称決定手段368は、確率取得手段366から受け取った、主要被写体が候補名称のそれぞれを有する確率の指標値に基づいて、主要被写体の最も確からしい名称を決定する。そして、名称決定手段368は、決定した主要被写体の名称を、図10に示した説明読み出し手段370に出力する。
本発明の実施形態に係るデジタル図鑑システム10によれば、複数の候補名称が検索された場合であっても、それぞれの候補名称の確からしさを示す確率の指標値を用いることにより、精度よく主要被写体の名称を決定できる。
図18は、本実施形態に係る名称決定ユニット360の処理の一例を示す。図18(a)は、画像データベース38毎の、当該画像データベース38に予め登録されている被写体の名称の数、及び当該画像データベース38から検索された候補名称を示す。例えば、Aの画像データベース38には100の被写体の名称が予め登録されており、候補名称検索手段340によって2つの候補名称(ユリ、バラ)が検索されている。
図18(b)は、確率取得手段366が候補名称毎に取得した、主要被写体が当該候補名称を有する確率の指標値を示す。確率取得手段366は、それぞれの画像データベース38から、候補名称毎に、主要被写体が当該候補名称を有する確率の指標値を取得する。ここで、主要被写体が候補名称を有する確率の指標値とは、画像データベース38から検索された候補名称が、主要被写体の名称としてどの程度確かであるかを示す指標であり、例えば、より規模の大きい画像データベース38において、より少ない数の候補名称が検索されたという様な、より信頼できる結果が得られた場合に、検索された候補名称はより大きな指標値を有することが望ましい。
例えば、確率取得手段366は、それぞれの画像データベース38に予め格納されている被写体の名称の数、及び当該画像データベース38において検索された候補名称の数を用いて算出された値、より具体的には、それぞれの画像データベース38に予め格納されている被写体の名称の数を、当該画像データベース38において検索された候補名称の数で除算した値を、指標値として、当該画像データベース38から取得する。これに代えて、確率取得手段366は、それぞれの画像データベース38に予め格納されている被写体の名称の数を当該画像データベース38から取得し、取得した被写体の名称の数を、当該画像データベース38から検索された候補名称の数で除算することにより、指標値を取得してもよい。
そして、確率取得手段366は、それぞれの候補名称について、当該候補名称が検索されたすべての画像データベース38における指標値の総和を算出する。例えば、確率取得手段366は、候補名称が「ユリ」である場合に、Aの画像データベース38における指標値100/2と、Bの画像データベース38における指標値300/2との和である200を算出する。
ここで、確率取得手段366は、一部検索候補選択手段362によって選択された候補名称が他の画像データベース38に登録されていると再検索手段364により検出された場合に、主要被写体が当該候補名称を有する確率の指標値を減じる。例えば、確率取得手段366は、他の画像データベースに予め格納されている被写体の名称の数、及び当該他の画像データベースから検索された候補名称の数を用いて取得された指標値を、主要被写体が一部検索候補選択手段362によって選択された候補名称を有する確率の指標値から減じる。具体的には、確率取得手段366は、図18(b)に示した候補名称の中で、スイレンがAの画像データベース38に登録されていた場合に、Aの画像データベース38において検索された候補名称における指標値である100/2を、スイレンにおける指標値の合計である216から減じることにより、指標値を補正する。そして、確率取得手段366は、候補名称毎の指標値の総和を名称決定手段368に出力する。これを受けて、名称決定手段368は、それぞれの候補名称の中で、指標値の総和が最も大きい候補である「ユリ」を主要被写体の名称と決定する。
なお、以上の説明において、確率取得手段366は、候補名称毎の指標値の総和を算出したが、これに代えて、確率取得手段366は、それぞれの指標値を、互いに独立して名称決定手段368に出力してもよい。この場合、名称決定手段368は、最も大きな指標値を有する候補名称を、主要被写体の名称として決定してもよい。更に、この場合、確率取得手段366は、一部検索候補選択手段362によって選択された候補名称が他の画像データベース38に登録されていた場合に、他の画像データベース38から検索された候補名称における指標値、乃至は当該指標値に所定の係数を乗じた値を、一部検索候補選択手段362によって選択された候補名称における画像データベース38毎の指標値から減じてもよい。
本実施形態に係るデジタル図鑑システム10によれば、複数の画像データベース38から検索された候補名称の数が同じであっても、より大規模な画像データベースにおける検索結果をより重視することにより、精度よく主要被写体の名称を決定することができる。
また、本実施形態に係るデジタル図鑑システム10によれば、ある画像データベース38におけるデータの精度が悪く、他の画像データベース38で除外された候補名称を出力した場合であっても、当該画像データベース38の出力結果における確率の指標値を減じることにより、精度よく主要被写体の名称を決定することができる。
図19は、名称決定ユニット360における処理の流れの一例を示すフローチャートである。まず、確率取得手段366は、候補名称検索手段340により検索された候補名称のそれぞれを主要被写体が有する確率の指標値を、画像データベース38及び候補名称の組み合わせ毎に取得する(S1500)。
続いて、名称決定ユニット360は、検索された候補名称の中に、複数の画像データベース38の何れにおいても検索された候補名称が存在するか否かを判定する(S1510)。検索された候補名称の中に、複数の画像データベースの何れにおいても検索された候補名称が存在する場合に(S1510:Yes)、名称決定手段368は、それらの候補名称のそれぞれについて確率取得手段366によって取得された確率の指標値に基づいて、主要被写体の最も確からしい名称を決定する(S1570)。
一方、検索された候補名称の中に、複数の画像データベース38のいずれにおいても検索された候補名称が存在しない場合に(S1510:No)、名称決定ユニット360は、検索された候補名称のすべてについて、以下の処理を繰り返す(S1520)。
まず、一部検索候補選択手段362は、当該候補名称を選択する(S1530)。続いて、再検索手段364は、一部検索候補選択手段362によって選択された候補名称が他の画像データベースに登録されているか否かを検索して判定する(S1540)。一部検索候補選択手段362によって選択された候補名称が他の画像データベース38に登録されている場合に(S1540:Yes)、確率取得手段366は、主要被写体が当該候補名称を有する確率の指標値を減じる(S1550)。名称決定ユニット360は、S1530からS1550までの処理を、検索された候補名称のすべてについて繰り返す(S1560)。
そして、名称決定手段368は、複数の画像データベース38の中の一部の画像データベース38から検索された候補名称の中から、それぞれの候補名称における確率の指標値を用いて、最も確からしい名称を決定する(S1570)。これにより、候補名称の検索に用いる画像データベース38の中に、精度の低い画像データベース38や、検索範囲の狭い画像データベース38が含まれている場合であっても、精度よく主要被写体の名称を決定できる。
図20は、本実施形態に係る通知ユニット380の詳細の一例を示すブロック図である。本発明の実施形態に係る通知ユニット380は、候補名称検索手段340により複数の候補名称が検索された場合に、候補名称の絞り込みを効率よく行うにはどこを撮像すべきかを利用者にアドバイスすることにより、利用者の利便性を向上させることを目的とする。
通知ユニット380は、識別特徴選択手段382、特徴部位検索手段384、及び通知手段386を含む。識別特徴選択手段382は、候補名称検索手段340によって複数の被写体の候補名称が検索された場合に、複数の被写体に対応付けて画像データベース38に格納されている互いに異なる種類の特徴の中で、被写体毎及び特徴の種類毎の、特徴の確かさの分布における相互の重なりが最も小さい特徴である識別特徴を選択する。ここで、識別特徴とは、具体的には被写体の部位、例えば、被写体が植物の場合は、花びら、葉、おしべ等を示す。そして、識別特徴選択手段382は、選択した識別特徴を示す情報を、特徴部位検索手段384及び通知手段386に出力する。
特徴部位検索手段384は、識別特徴選択手段382から識別特徴に関する情報を受け取る。そして、特徴部位検索手段384は、画像処理手段130から受け取った主要被写体の画像の中から、識別特徴に当たる部位を示す画像を検索し、当該画像を示す情報、例えば領域情報等を通知手段386に出力する。
通知手段386は、識別特徴選択手段382から識別特徴を示す情報を受け取ると共に、特徴部位検索手段384から、主要被写体における識別特徴に当たる部位の領域を示す情報を受け取る。そして、通知手段386は、識別特徴選択手段382によって選択された識別特徴の内容を、デジタル図鑑システム10の利用者に通知する。具体的には、通知手段386は、識別特徴に当たる部位の領域を示す情報を枠表示手段40に出力することにより、表示手段50において、当該部位を枠で囲んで表示させる。これにより、通知手段386は、主要被写体の中で、当該部位を撮属すべき旨を利用者に通知することができる。
このように、本発明の実施形態に係る通知ユニット380によれば、通知手段386が、どの部位を撮像すべきかを利用者に通知することにより、利用者が、効率よく絞り込みを行う場合にはどうすればよいのかを知ることができるので、利用者にとっての利便性が向上する。
なお、本図に示した構成は一例であり、本図の構成に多様な変化を加えてもよい。例えば、通知ユニット380は、特徴部位検索手段384を含んでいなくともよい。ここで、画像データベース38が、複数の被写体に対応付けて格納している互いに異なる種類の特徴のそれぞれについて、当該特徴を示す部位の画像を有している場合に、通知手段386は、識別特徴選択手段382から受け取った識別特徴を示す情報に基づいて、当該識別特徴である部位の画像を、通信手段34を用いて画像データベース38から取得し、当該画像を表示手段50に表示することにより、主要被写体の中で、識別特徴である部位を撮像すべき旨を利用者に通知してもよい。これにより、利用者は、部位の名称を知らなくとも、効率よく候補名称の絞り込みを行うことができる。
図21は、本実施形態に係る画像データベース38に格納されている、特徴の確かさの分布の一例を示す。図21(a)は、被写体毎及び特徴の種類毎の、特徴の確かさの分布の一例を示す。本図に示した、被写体(ユリ、バラ、・・・)のそれぞれと、特徴の種類(特徴A、特徴B、・・・)のそれぞれとに対応付けられた特徴の確かさの分布は、特徴の値を示す特徴量と、被写体がそれぞれの名称を有する確率との相関を示す。具体的には、分布240は、被写体から抽出した特徴量がV1である場合、その被写体がユリである確率がP1であることを示す。
図21(b)は、特徴Aにおけるユリ及びバラのそれぞれに対応する特徴の確かさの分布の重ね合わせを示す。図21(c)は、特徴Bにおけるユリ及びバラのそれぞれに対応する特徴の確かさの分布の重ね合わせを示す。図21(b)に示すように、特徴Aにおいて特徴量がV5である被写体には、ユリ及びバラの双方が含まれる。これは、特徴Aにおいて、ユリ及びバラの特徴の確かさの分布の重なりが大きいためである。これにより、候補名称検索手段340は、特徴Aを用いて検索した場合に、ユリとバラとを識別することが困難である。
一方、図21(c)に示すように、特徴Bにおいて特徴量がV6である被写体には、ユリは含まれているがバラは含まれていない。これは、特徴Bにおいて、ユリ及びバラの特徴の確かさの分布の重なりが小さいためである。これにより、候補名称検索手段340は、特徴Bを用いて検索した場合に、ユリとバラとを容易に識別することができる。
識別特徴選択手段382は、本図に示したような、被写体毎及び特徴毎の特徴の確かさの分布の重なりの大きさを、画像データベース38から取得する。そして、識別特徴選択手段382は、ユリとバラとを識別する必要がある場合には、識別特徴として特徴Bを選択し、特徴Bを示す情報を、特徴部位検索手段384及び通知手段386に出力する。
本発明の実施形態に係るデジタル図鑑システム10によれば、特徴の確かさの分布の重なりに基づいて識別特徴を選択することにより、効率的に絞り込みを行うことができる。
図22は、本実施形態に係る通知手段386における通知処理の第1の例を示す。本例において、デジタル図鑑システム10の利用者は、まず画像500を撮像して、主要被写体502の説明の検索を試みた後で、通知手段386による通知を受けて、再度、画像510を撮像する。図20において説明したように、通知手段386は、撮像手段100によって撮像された画像に含まれる主要被写体の識別特徴に当たる部位の領域を示す情報を、特徴部位検索手段384から受け取ると共に、当該画像を、当該部位の領域を枠で囲んだ状態で表示手段50に表示させる。しかし、特徴部位検索手段384によって、主要被写体の中から、当該部位を示す画像が検索されなかった場合、通知手段386は、撮像手段100を用いて当該部位を含む画像を撮像するための撮像方法を示す情報を、利用者に通知してよい。
ここで、撮像方法を示す情報は、例えば、撮像手段100の撮像方向を示す情報を含んでいてよい。例えば、デジタル図鑑システム10が、撮像した画像500において、花である主要被写体502の説明を検索する場合に、識別特徴選択手段382が、主要被写体502のうち、葉である部位を示す識別特徴を選択したとする。この場合、画像500における主要被写体502には、葉である部位を示す画像は含まれていないので、特徴部位検索手段384は、当該識別特徴に当たる部位を示す画像を、主要被写体502から検索することはできない。一方、本例において、画像データベース38は、被写体におけるそれぞれの部位の間の位置関係を示す情報を格納しているとする。そして、通知手段386は、画像データベース38から、主要被写体502に画像が含まれている部位、例えば花弁及び茎と、選択された識別特徴に当たる部位である葉との位置関係を取得する。そして、通知手段386は、主要被写体502における葉である部位が、画像500として撮像された範囲の下方に位置していると検出する。そして、通知手段386は、下方向を示す矢印504を、例えば画像500に重畳して表示手段50に表示させることにより、撮像手段100の撮像方向を、より下方に向くべく変更すべきである旨を利用者に通知する。これを受けて、利用者は、撮像方向をより下方に向くべく変更して、撮像手段100に画像510を撮像させる。このようにして撮像された画像510に含まれる主要被写体512は、識別特徴が示す部位である葉を含んでいるので、説明検索手段330は、当該識別特徴に基づいて、主要被写体512の説明を精度よく検索することができる。
主要被写体である物体が、類似する特徴を有する他の物体に対して明確な差異を示す特徴的な部位である、識別特徴が示す部位を有していたとしても、デジタル図鑑システム10の利用者が、被写体における当該部位の位置を知っているとは限らない。このため、撮像された画像において、当該特徴的な部位が含まれてない場合がある。しかし、本発明の実施形態に係るデジタル図鑑システム10によれば、当該特徴的な部位を含む画像を撮像する場合の撮像方法を示す情報を、利用者に通知することができるので、利用者は、当該通知に基づいて、主要被写体の説明が高い精度で検索される画像を撮像することができる。
そして、撮像方法を示す情報として、撮像方向を示す情報が通知されることにより、当初撮像した画像において、撮像範囲内に特徴的な部位が含まれていない場合であっても、利用者は、当該通知に基づいて撮像方向を変更して、主要被写体の説明が高い精度で検索される画像を撮像することができる。
図23は、本実施形態に係る通知手段386における通知処理の第2の例を示す。本例において、デジタル図鑑システム10の利用者は、まず画像520を撮像して、主要被写体522の説明の検索を試みた後で、通知手段386による通知を受けて、再度、画像530を撮像する。以降、特徴部位検索手段384によって、主要被写体の中から当該部位を示す画像が検索されなかった場合において、通知手段386が利用者に通知する、撮像手段100を用いて当該部位を含む画像を撮像するための撮像方法を示す情報が、撮像手段100の位置を示す情報を含む場合の例を説明する。
例えば、デジタル図鑑システム10が、撮像した画像520において、花である主要被写体522の説明を検索する場合に、識別特徴選択手段382が、主要被写体522のうち、おしべである部位を示す識別特徴を選択したとする。この場合、画像520における主要被写体522には、おしべである部位を示す画像は含まれていないので、特徴部位検索手段384は、当該識別特徴に当たる部位を示す画像を、主要被写体522から検索することはできない。一方、本例において、画像データベース38は、被写体を複数の方向から見た場合に、それぞれの方向について、被写体に含まれるそれぞれの部位が見えるか否か、及び当該方向から見た場合のそれぞれの部位の特徴を示す情報を格納しているとする。そして、通知手段386は、画像データベース38から取得した情報に基づいて、画像520における、主要被写体522を撮像した方向を検出すると共に、検出した方向と、選択された識別特徴に当たる部位である、おしべを含む画像を撮像することができる方向との差を検出する。そして、通知手段386は、主要被写体522の上方から見て、主要被写体522を中心として左回りに90度だけ回転した位置から主要被写体522を撮像することにより、おしべを含む画像を撮像することができると判断する。そして、通知手段386は、左回りでの90度の回転を示す矢印524を、例えば画像520に重畳して表示手段50に表示させることにより、撮像手段100の位置を、上方から見て、主要被写体522を中心として左回りに90度だけ回転した位置に変更すべきである旨を利用者に通知する。これを受けて、利用者は、通知された内容に従って、主要被写体に向かって左側から画像を撮像できる位置に移動して、撮像手段100に、画像530を撮像させる。このようにして撮像された画像530に含まれる主要被写体512は、識別特徴が示す部位であるおしべを含んでいるので、説明検索手段330は、当該識別特徴に基づいて、主要被写体532の説明を精度よく検索することができる。
このように、撮像方法を示す情報として、撮像手段100の位置を示す情報が通知されることにより、当初、主要被写体における特徴的な部位が撮像できない位置から画像を撮像していた場合であっても、利用者は、当該通知に基づいて画像を撮像する位置を変更して、主要被写体の説明が高い精度で検索される画像を撮像することができる。
図24は、本実施形態に係る通知手段386における通知処理の第3の例を示す。本例において、デジタル図鑑システム10の利用者は、まず画像540を撮像して、主要被写体542の説明の検索を試みた後で、通知手段386による通知を受けて、再度、画像550を撮像する。以降、特徴部位検索手段384によって、主要被写体の中から当該部位を示す画像が検索されなかった場合において、通知手段386が利用者に通知する、撮像手段100を用いて当該部位を含む画像を撮像するための撮像方法を示す情報が、撮像手段100の撮像倍率を示す情報を含む場合の例を説明する。
例えば、デジタル図鑑システム10が、撮像した画像540において、花である主要被写体522の説明を検索する場合に、識別特徴選択手段382が、主要被写体542のうち、おしべである部位を示す識別特徴を選択したとする。この場合、画像540における主要被写体542には、おしべである部位を示す画像は含まれているものの、その大きさが非常に小さいために、特徴部位検索手段384は、当該識別特徴に当たる部位を示す画像を、主要被写体542から検索することはできない。一方、本例において、画像データベース38は、被写体におけるそれぞれの部位の間の位置関係を示す情報を格納しており、通知手段386は、画像データベース38から、主要被写体542に画像が含まれている部位、例えば花弁と、選択された識別特徴に当たる部位であるおしべとの位置関係を示す情報を取得する。そして、通知手段386は、主要被写体542におけるおしべである部位が、花弁である部位の中央に位置していると検出する。そして、通知手段386は、撮像倍率の増大を示すアイコン画像544を、例えば画像540に重畳して表示手段50に表示させることにより、撮像手段100を用いて、おしべである部位の、より詳細な画像を撮像すべきである旨を利用者に通知する。これを受けて、利用者は、撮像倍率を増大させて、撮像手段100に画像550を撮像させる。このようにして撮像された画像550に含まれる主要被写体552は、識別特徴が示す部位であるおしべを、特徴部位検索手段384が検索できる程度に大きな画像として含んでいるので、説明検索手段330は、当該識別特徴に基づいて、主要被写体552の説明を精度よく検索することができる。
このように、撮像方法を示す情報として、撮像手段100の撮像倍率を示す情報が通知されることにより、当初、主要被写体における特徴的な部位を示す画像が小さすぎるために、当該部位を示す画像を検索できない場合であっても、利用者は、当該通知に基づいて画像を撮像する際の撮像倍率を変更して、主要被写体の説明が高い精度で検索される画像を撮像することができる。
なお、通知手段386が利用者に通知する、撮像方法を示す情報は、撮像手段100の撮像方向、位置、及び撮像倍率とは異なる、多様な情報を含んでいてもよい。例えば、当該撮像方法を示す情報は、撮像手段100における露光時間やホワイトバランスといった、撮像条件を示す情報を含んでいてもよい。
図25は、本実施形態に係る通知ユニット380における処理の流れの一例を示すフローチャートである。まず、識別特徴選択手段382は、候補名称検索手段340により複数の候補名称が検索されたか否かを判定する(S1600)。候補名称検索手段340により複数の候補名称が検索された場合(S1600:Yes)、識別特徴選択手段382は、画像データベース38から、複数の特徴のそれぞれについて、検索された複数の被写体の全ての組み合わせにおける、当該特徴の確かさの分布の重なりの大きさを取得する(S1610)。
続いて、識別特徴選択手段382は、検索された複数の被写体の全ての組み合わせにおける、特徴の確かさの分布の重なりの大きさが最も小さくなる特徴を識別特徴として選択する(S1620)。ここで、識別特徴選択手段382は、重なりの大きさの総和や平均値等に基づいて識別特徴を選択してもよく、また、被写体の組み合わせ毎に異なる重みを付した重なりの大きさの総和や平均値等に基づいて識別特徴を選択してもよい。
続いて、特徴部位検索手段384は、識別特徴選択手段382により選択された識別特徴を示す部位を、主要被写体の画像の中から検索する(S1630)。例えば、特徴部位検索手段384は、二値化された主要被写体画像に対して、識別特徴を示す部位毎の二値化画像パターンを用いたパターンマッチング処理を行うことにより、主要被写体の画像の中から、識別特徴を示す部位を検索する。続いて、通知手段386は、特徴部位検索手段384により検索された、主要被写体の画像における識別特徴に当たる部位を示す領域を、枠表示手段40を用いて表示手段50が表示する主要被写体の画像に重畳して表示させることにより、被写体のどの部分を撮像すればよいかを利用者に通知する(S1640)。
以上のように、本発明の実施形態に係るデジタル図鑑システム10によれば、目の前の被写体の部位として識別特徴を示す部位を理解することができるので、利用者が、容易かつ効率的に候補名称の絞り込みを行うことができる。
図20から図25にかけて、通知手段386は、識別特徴選択手段382によって選択された識別特徴に当たる部位を囲む枠を表示手段50に表示させて、当該部位を利用者に通知したり、また、撮像方法を示す矢印やアイコン画像を表示手段50に表示させて、当該撮像方法を利用者に通知したりするとして説明した。しかし、通知手段386は、これに代えて、選択された識別特徴の内容を、音声を用いて利用者に通知してもよい。例えば、通知手段386は、選択された識別特徴に対応づけて格納されている、当該識別特徴に当たる部位の名称を示す音声データを、画像データベース38から読み出して、「葉を撮像してください」等の音声として、デジタル図鑑システム10に設けられたスピーカ等の音声出力手段を用いて出力してよい。また、通知手段386は、撮像手段100を用いて、識別特徴に当たる部位を含む画像を撮像するための撮像方法を示す情報を、音声を用いて利用者に通知してもよい。例えば、図22に示した画像500が撮像された場合には、通知手段386は、「下の方を撮像してください」という音声を、スピーカ等の音声出力手段を用いて出力してよい。このように、通知手段386が、音声を用いて利用者に通知を行うことにより、電子機器の取り扱い経験の少ない利用者がデジタル図鑑システム10を利用する場合であっても、利用者は、通知された内容を、容易に理解することができる。
また、通知手段386が、識別特徴選択手段382によって選択された識別特徴の内容に基づいて、撮像手段100における撮像方法を示す情報を、表示手段50に表示させて利用者に通知するのに代えて、図2に示した撮像制御手段120が、選択された識別特徴の内容に基づいて、撮像手段100の動作を制御してもよい。具体的には、撮像制御手段120は、識別特徴選択手段382によって選択された識別特徴を示す情報、及び特徴部位検索手段384によって検索された、当該識別特徴に当たる部位を示す画像を受け取り、受け取った識別特徴及び画像に基づいて、撮像手段100の動作を制御してよい。これにより、利用者が、通知手段386からの通知に基づいて、撮像装置20を操作しなくとも、撮像手段100の動作を自動的に制御して、選択された識別特徴、或いは識別特徴に当たる部位を含む画像を撮像することにより、主要被写体の説明を検索することができる。
例えば、撮像制御手段120は、特徴部位検索手段384によって、画像に含まれる主要被写体の中から、識別特徴に当たる部位が検索されなかった場合に、当該部位が撮像手段100の撮像範囲に含まれるべく、撮像手段100の撮像方向を制御してよい。例えば、図22に示したように、撮像された画像500に含まれる主要被写体502に、識別特徴に当たる、葉である部位を示す画像が含まれていない場合には、撮像制御手段120は、図22において説明した通知手段386と同様にして、当該葉である部位の位置を検出すると共に、当該葉である部位が撮像手段100の撮像範囲に含まれるべく、撮像手段100の撮像方向を、より下方に変更してよい。この場合、撮像制御手段120は、例えば、光学系102における光軸の方向を制御するべく、撮像手段100に設けられたアクチュエータを駆動させることにより、撮像手段100の撮像方向を制御してよい。これにより、利用者が、当初、主要被写体における特徴的な部位である、識別特徴に当たる部位を有しない画像を撮像した場合であっても、撮像方向を自動的に制御して、当該部位を含む画像を撮像することができるので、利用者に負担をかけることなく、主要被写体の説明を高い精度で検索することができる。
また、例えば、撮像制御手段120は、特徴部位検索手段384によって、画像に含まれる主要被写体の中から、識別特徴に当たる部位が検索されなかった場合に、当該部位が撮像手段100の撮像範囲に含まれるべく、撮像手段の位置を制御してよい。例えば、図23に示したように、撮像された画像520に含まれる主要被写体522に、識別特徴に当たる、おしべである部位が含まれていない場合には、撮像制御手段120は、図23において説明した通知手段386と同様にして、当該おしべである部位を含む画像を撮像できる方向を検出すると共に、当該おしべである部位が撮像手段100の撮像範囲に含まれるべく、撮像手段100の位置を、上方から見て、主要被写体522を中心として左回りに90度だけ回転した位置に変更してよい。ここで、デジタル図鑑システム10のうち、撮像手段100を含む少なくとも一部は、例えば、車輪及びモータ等により自走可能に設けられていたり、または、小型のヘリコプター等に設けられたりしていてよく、撮像制御手段120が、当該少なくとも一部の位置及び向きを制御できてよい。これにより、利用者が、当初、主要被写体における特徴的な部位である、識別特徴に当たる部位が写らない方向から画像を撮像した場合であっても、画像を撮像する位置を自動的に制御して、当該部位を含む画像を撮像することにより、利用者に負担をかけることなく、主要被写体の説明を検索することができる。
また、例えば、撮像制御手段120は、撮像手段100によって撮像された画像のうち、特徴部位検索手段384によって検索された、識別特徴に当たる部位を示す画像の大きさの、撮像された画像全体の大きさに対する割合が、予め定められた基準値より小さい場合に、撮像手段100の撮像倍率をより大きくしてよい。例えば、特徴部位検索手段384が、撮像された画像に含まれる主要被写体における、識別特徴に当たる部位を示す画像を、画像に含まれる大凡の特徴に基づいて検索できたものの、当該画像から、主要被写体を複数の被写体の候補から絞り込むことができる程度に詳細な特徴として、当該識別特徴を抽出できなかったとする。そして、撮像制御手段120は、検索された部位の画像の大きさの、撮像された画像全体に対する割合が、予め定められた基準値より小さい場合に、撮像手段100の撮像倍率を、当該割合に応じて、より大きくする。なお、予め定められた基準値は、説明検索手段330が、十分に高い精度で主要被写体の説明を検索できる程度に詳細な識別特徴を、撮像された画像から抽出可能な場合における、当該識別特徴に当たる部位を示す画像の、撮像された画像全体に対する割合の典型値であってよく、例えば利用者等によって予め定められていてよい。これにより、利用者が、当初、主要被写体における特徴的な部位を、十分に大きく撮像できていない場合であっても、撮像手段100における撮像倍率を自動的に増大させて、当該部位を十分な大きさで含む画像を撮像することにより、利用者に負担をかけることなく、主要被写体の説明を検索することができる。
また、画像データベース38は、被写体が有する互いに異なる複数の種類の特徴に対応づけて、当該被写体が危険性の高い物体であるか否かを示す危険物情報を更に格納していてもよい。この場合、通知手段386は、説明検索手段330が説明や候補名称を検索した被写体に対応する危険物情報によって、当該被写体が危険性の高い物体であると示されている場合には、例えば表示手段50に「危険」といった文字を表示させる等して、利用者にその旨を通知してもよい。これにより、利用者が、主要被写体が危険性の高い動植物であることを知らずに、当該動植物における特徴的な部位をより詳細に示す画像を撮像するべく、当該動植物に不用意に近寄ることを防止することができる。
なお、以上に説明した、本発明の実施形態に係るデジタル図鑑システム10において、撮像装置20と、図鑑処理手段32と、通信手段34とは、単一の機器として形成されてもよく、また、相互に接続する複数の機器として形成されてもよい。そして、デジタル図鑑システム10が単一の機器として形成されている場合において、例えば、デジタルスチルカメラまたはデジタルビデオカメラである撮像装置20は、図10から図25にかけて説明した図鑑処理手段32及び通信手段34を含んでいてもよい。
この場合、図10に示した第2特徴抽出手段302は、主要被写体とは異なる被写体の特徴を抽出する場合に、図2に示した繰り返し捕捉手段142が、合焦距離を変更しつつ撮像手段100に繰り返し捕捉させた複数の画像のうち、合焦距離算出手段144によって算出された、当該被写体が含まれる領域の合焦距離において捕捉された画像から、当該被写体の特徴を抽出してよい。これにより、第2特徴抽出手段302が、より合焦度の高い鮮明な画像から、当該被写体の特徴を抽出することができるので、デジタル図鑑システム10は、より高い精度で主要被写体の説明を検索することができる。
また、図2に示した主要被写体距離算出手段146は、画像に含まれる領域のそれぞれについての、画像データベース38が格納する被写体の特徴と同一の種類の特徴が当該領域に含まれるか否かの判断結果に更に基づいて、主要被写体距離を算出してよい。これにより、利用可能な画像データベース38が、例えば花といった、特定の種類の被写体についての説明のみを格納している場合に、主要被写体距離算出手段146は、撮像された画像に含まれる、当該特定の種類の被写体、具体的には、当該特定の種類の被写体が有する特徴と同一の種類の特徴を有する被写体を、主要被写体として選択することができる。従って、利用者が、特定の種類の被写体の説明を検索するべく、当該特定の種類の被写体についての画像データベース38を利用している場合に、利用者が説明を検索したいと所望する被写体を、主要被写体として精度よく選択することができる。
図26は、本実施形態に係るデジタル図鑑システム10として動作させるパーソナルコンピュータ70のハードウェア構成の一例を示すブロック図である。パーソナルコンピュータ70は、CPU700と、ROM702と、RAM704と、通信インターフェース706と、ハードディスクドライブ710と、フレキシブルディスクドライブ712と、CD−ROMドライブ714とを備える。CPU700は、ROM702及びRAM704に格納されたプログラムに基づいて動作し、各部の制御を行う。
フレキシブルディスクドライブ712は、フレキシブルディスク720からデータ又はプログラムを読み取り、RAM704に格納する。CD−ROMドライブ714は、CD−ROM722からデータ又はプログラムを読み取り、RAM704に格納する。
デジタル図鑑システム10に提供されるプログラムは、フレキシブルディスク720又はCD−ROM722等の記録媒体に格納されて利用者によって提供される。記録媒体に格納されたプログラムは圧縮されていても非圧縮であってもよい。プログラムは記録媒体から読み出され、デジタル図鑑システム10にインストールされ、デジタル図鑑システム10において実行される。記録媒体により提供されてデジタル図鑑システム10にインストールされるプログラムは、デジタル図鑑システム10に働きかけて、図1から図25において説明したデジタル図鑑システム10の機能を実行させる。
図26に示した記録媒体の一例としてのフレキシブルディスク720又はCD−ROM722には、本出願で説明した実施形態におけるデジタル図鑑システム10の動作の一部又は全ての機能を格納することができる。
これらのプログラムは記録媒体から直接デジタル図鑑システム10によって読み出されて実行されても、デジタル図鑑システム10にインストールされた後にデジタル図鑑システム10において実行されてもよい。更に、上記プログラムは単一の記録媒体に格納されても複数の記録媒体に格納されてもよい。また、符号化した形態で格納されていてもよい。
記録媒体としては、フレキシブルディスク、CD−ROMの他にも、DVD、PD等の光学記録媒体、MD等の光磁気記録媒体、テープ媒体、磁気記録媒体、ICカードやミニチュアカードなどの半導体メモリ等を用いることができる。また、専用通信ネットワークやインターネットに接続されたサーバシステムに設けたハードディスク又はRAM等の格納装置を記録媒体として使用し、通信網を介してプログラムをデジタル図鑑システム10に提供してもよい。
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
本発明の実施形態に係るデジタル図鑑システム10の構成の一例を示すブロック図である。 本実施形態に係る撮像ユニット25の構成の一例を示すブロック図である。 本実施形態に係る合焦距離算出手段144における処理の一例を示す図である。 本実施形態に係る主要被写体距離算出手段146において用いられる重みの一例を示す図である。 本実施形態に係るデジタル図鑑システム10の外観の一例を示す図である。 本実施形態に係る撮像装置20の処理の一例を示すフローチャートである。 S1010の詳細を示すフローチャートである。 S1020及びS1030の詳細を示すフローチャートである。 S1040の詳細を示すフローチャートである。 本発明の実施形態に係る部分図30の詳細の一例を示すブロック図である。 本実施形態に係る画像データベース選択手段320及び候補名称検索手段340の詳細を示すブロック図である。 本実施形態に係る特徴抽出手段300の処理の一例を示す図である。 本実施形態に係る画像データベース38の第1の例を示す図である。 本実施形態に係る画像データベース38の第2の例を示す図である。 本実施形態に係る画像データベース38の第3の例を示す図である。 本実施形態に係る図鑑処理手段32の処理の一例を示すフローチャートである。 本実施形態に係る名称決定ユニット360の詳細の一例を示すブロック図である。 本実施形態に係る決定ユニット360の処理の一例を示す図である。 名称決定ユニット360における処理の流れの一例を示すフローチャートである。 本実施形態に係る通知ユニット380の詳細の一例を示すブロック図である。 本実施形態に係る画像データベース38に格納されている、特徴の確かさの分布の一例を示す図である。 本実施形態に係る通知手段386における通知処理の第1の例を示す図である。 本実施形態に係る通知手段386における通知処理の第2の例を示す図である。 本実施形態に係る通知手段386における通知処理の第3の例を示す図である。 本実施形態に係る通知ユニット380における処理の流れの一例を示すフローチャートである。 本実施形態に係るデジタル図鑑システム10として動作させるパーソナルコンピュータ70のハードウェア構成の一例を示すブロック図である。
符号の説明
10 デジタル図鑑システム、20 撮像装置、25 撮像ユニット、32 図鑑処理手段、34 通信手段、36 ネットワーク、38 画像データベース、40 枠表示手段、50 表示手段、60 2次メモリ、100 撮像手段、102 光学系、104 CCD、106 撮像信号処理手段、110 1次メモリ、120 撮像制御手段、122 自動焦点手段、124 露出選択手段、126 ホワイトバランス設定手段、140 主要被写体選択手段、142 繰り返し捕捉手段、144 合焦距離算出手段、146 主要被写体距離算出手段、148 領域選択手段、202 遠距離ボタン、204 近距離ボタン、300 第1特徴抽出手段、302 第2特徴抽出手段、304 付帯情報取得手段、310 特徴選択手段、320 画像データベース選択手段、322 第1画像データベース選択手段、324 第2画像データベース選択手段、330 説明検索手段、340 候補名称検索手段、342 第1検索手段、344 第2検索手段、350 重複被写体選択手段、360 名称決定ユニット、362 一部検索候補選択手段、364 再検索手段、366 確率取得手段、368 名称決定手段、370 説明読み出し手段、380 通知ユニット、382 識別特徴選択手段、384 特徴部位検索手段、386 通知手段、400 送信手段、410 受信手段、700 CPU、702 ROM、704 RAM、706 通信インターフェース、710 ハードディスクドライブ、712 フレキシブルディスクドライブ、714 CD−ROMドライブ、720 フレキシブルディスク、722 CD−ROM

Claims (22)

  1. 撮像手段によって撮像された被写体の説明を検索して利用者に提供するデジタル図鑑システムであって、
    画像を撮像する撮像手段と、
    前記画像の中から主要被写体を選択する主要被写体選択手段と、
    前記主要被写体の特徴を抽出する特徴抽出手段と、
    被写体が有する互いに異なる複数の種類の特徴に対応付けて被写体の説明を格納する複数の画像データベースから、前記特徴抽出手段が抽出した特徴を用いて、前記主要被写体の説明を検索する説明検索手段と、
    前記説明検索手段によって複数の被写体の説明が検索された場合に、前記複数の被写体に対応付けて前記画像データベースに格納されている前記互いに異なる種類の特徴の中で、被写体毎及び特徴の種類毎の、特徴の確かさの分布における相互の重なりが最も小さい特徴である識別特徴を選択する識別特徴選択手段と
    を備えるデジタル図鑑システム。
  2. 前記画像から、前記主要被写体とは異なる被写体の特徴を抽出する第2特徴抽出手段
    を更に備え、
    前記説明検索手段は、被写体に対して関連性の高い物体が有する特徴に更に対応付けて被写体の説明を格納する前記複数の画像データベースから、前記第2特徴抽出手段が抽出した、前記主要被写体とは異なる被写体の特徴を更に用いて、前記主要被写体の説明を検索する
    請求項1に記載のデジタル図鑑システム。
  3. 前記画像に付帯する付帯情報を取得する付帯情報取得手段
    を更に備え、
    前記説明検索手段は、被写体の画像に付帯する前記付帯情報に更に対応付けて被写体の説明を格納する前記複数の画像データベースから、前記付帯情報取得手段が取得した前記付帯情報を更に用いて、前記主要被写体の説明を検索する
    請求項1に記載のデジタル図鑑システム。
  4. 前記識別特徴選択手段によって選択された前記識別特徴の内容を、前記デジタル図鑑システムの利用者に通知する通知手段
    を更に備える請求項1に記載のデジタル図鑑システム。
  5. 前記識別特徴は、前記被写体の部位を示し、
    前記通知手段は、前記主要被写体の中で、前記部位を撮像すべき旨を前記利用者に通知する
    請求項4に記載のデジタル図鑑システム。
  6. 前記撮像手段によって捕捉された画像を表示する表示手段を更に備え、
    前記画像データベースは、前記特徴として被写体の各部位の画像を有し、
    前記通知手段は、前記識別特徴である部位の画像を前記表示手段に表示する
    請求項5に記載のデジタル図鑑システム。
  7. 前記主要被写体の中から前記部位を示す画像を検索する特徴部位検索手段を更に備え、
    前記通知手段は、前記表示手段において、前記部位を枠で囲んで表示する
    請求項5に記載のデジタル図鑑システム。
  8. 前記通知手段は、前記特徴部位検索手段によって、前記主要被写体の中から、前記部位を示す画像が検索されなかった場合に、前記撮像手段を用いて前記部位を含む画像を撮像するための撮像方法を示す情報を、前記利用者に通知する
    請求項7に記載のデジタル図鑑システム。
  9. 前記撮像方法を示す情報は、前記撮像手段の撮像方向を示す情報を含む
    請求項8に記載のデジタル図鑑システム。
  10. 前記撮像方法を示す情報は、前記撮像手段の位置を示す情報を含む
    請求項8に記載のデジタル図鑑システム。
  11. 前記撮像方法を示す情報は、前記撮像手段の撮像倍率を示す情報を含む
    請求項8に記載のデジタル図鑑システム。
  12. 前記通知手段は、前記識別特徴選択手段によって選択された前記識別特徴の内容を、前記デジタル図鑑システムの利用者に、音声を用いて通知する
    請求項5に記載のデジタル図鑑システム。
  13. 前記識別特徴選択手段によって選択された前記識別特徴の内容に基づいて、前記撮像手段の動作を制御する撮像制御手段
    を更に備える請求項1に記載のデジタル図鑑システム。
  14. 前記識別特徴は、前記被写体の部位を示し、
    当該デジタル図鑑システムは、
    前記主要被写体の中から前記部位を示す画像を検索する特徴部位検索手段
    を更に備え、
    前記撮像制御手段は、前記特徴部位検索手段によって検索された、前記部位を示す画像に基づいて、前記撮像手段の動作を制御する
    請求項13に記載のデジタル図鑑システム。
  15. 前記撮像制御手段は、前記特徴部位検索手段によって、前記主要被写体の中から、前記部位を示す画像が検索されなかった場合に、前記部位が前記撮像手段の撮像範囲に含まれるべく、前記撮像手段の撮像方向を制御する
    請求項14に記載のデジタル図鑑システム。
  16. 前記撮像制御手段は、前記特徴部位検索手段によって、前記主要被写体の中から、前記部位を示す画像が検索されなかった場合に、前記部位が前記撮像手段の撮像範囲に含まれるべく、前記撮像手段の位置を制御する
    請求項14に記載のデジタル図鑑システム。
  17. 前記撮像制御手段は、前記特徴部位検索手段によって検索された、前記部位を示す画像の大きさの、前記撮像手段によって撮像された画像全体の大きさに対する割合が、予め定められた基準値より小さい場合に、前記撮像手段の撮像倍率をより大きくする
    請求項14に記載のデジタル図鑑システム。
  18. 前記画像データベースは、被写体が有する互いに異なる複数の種類の特徴に対応付けて、当該被写体が危険性の高い物体であるか否かを示す危険物情報を更に格納しており、
    前記通知手段は、前記説明検索手段が説明を検索した被写体に対応する危険物情報によって、当該被写体が危険性の高い物体であると示されている場合には、前記利用者にその旨を通知する
    請求項5に記載のデジタル図鑑システム。
  19. デジタル図鑑システムによる、撮像手段によって撮像された被写体の説明を検索して利用者に提供する図鑑検索方法であって、
    画像を撮像する撮像段階と、
    前記画像の中から主要被写体を選択する主要被写体選択段階と、
    前記主要被写体の特徴を抽出する特徴抽出段階と、
    被写体が有する互いに異なる複数の種類の特徴に対応付けて被写体の説明を格納する複数の画像データベースから、前記特徴抽出段階において抽出された特徴を用いて、前記主要被写体の説明を検索する説明検索段階と、
    前記説明検索段階において複数の被写体の説明が検索された場合に、前記複数の被写体に対応付けて前記画像データベースに格納されている前記互いに異なる種類の特徴の中で、被写体毎及び特徴の種類毎の、特徴の確かさの分布における相互の重なりが最も小さい特徴である識別特徴を選択する識別特徴選択段階と、
    前記識別特徴選択段階において選択された前記識別特徴の内容を、前記デジタル図鑑システムの利用者に通知する通知段階と
    を備える図鑑検索方法。
  20. 前記主要被写体の中から前記部位を示す画像を検索する特徴部位検索段階を更に備え、
    前記通知段階は、前記表示段階において、前記部位を枠で囲んで表示する
    請求項19に記載の図鑑検索方法。
  21. 撮像手段によって撮像された被写体の説明を検索して利用者に提供するデジタル図鑑システムとしてコンピュータを機能させる図鑑検索プログラムであって、
    当該デジタル図鑑システムを、
    画像を撮像する撮像手段と、
    前記画像の中から主要被写体を選択する主要被写体選択手段と、
    前記主要被写体の特徴を抽出する特徴抽出手段と、
    被写体が有する互いに異なる複数の種類の特徴に対応付けて被写体の説明を格納する複数の画像データベースから、前記特徴抽出手段が抽出した特徴を用いて、前記主要被写体の説明を検索する説明検索手段と、
    前記説明検索手段によって複数の被写体の説明が検索された場合に、前記複数の被写体に対応付けて前記画像データベースに格納されている前記互いに異なる種類の特徴の中で、被写体毎及び特徴の種類毎の、特徴の確かさの分布における相互の重なりが最も小さい特徴である識別特徴を選択する識別特徴選択手段と、
    前記識別特徴選択手段によって選択された前記識別特徴の内容を、前記デジタル図鑑システムの利用者に通知する通知手段と
    して機能させる図鑑検索プログラム。
  22. 当該デジタル図鑑システムは、前記主要被写体の中から前記部位を示す画像を検索する特徴部位検索手段を更に備え、
    前記通知手段は、前記表示手段において、前記部位を枠で囲んで表示する
    ことを特徴とする請求項21に記載の図鑑検索プログラム。
JP2004372354A 2004-02-20 2004-12-22 デジタル図鑑システム、図鑑検索方法、及び図鑑検索プログラム Pending JP2005267609A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2004372354A JP2005267609A (ja) 2004-02-20 2004-12-22 デジタル図鑑システム、図鑑検索方法、及び図鑑検索プログラム
US11/061,927 US7639899B2 (en) 2004-02-20 2005-02-22 Digital pictorial book system, a pictorial book searching method, and a machine readable medium storing thereon a pictorial book searching program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2004044297 2004-02-20
JP2004372354A JP2005267609A (ja) 2004-02-20 2004-12-22 デジタル図鑑システム、図鑑検索方法、及び図鑑検索プログラム

Publications (1)

Publication Number Publication Date
JP2005267609A true JP2005267609A (ja) 2005-09-29

Family

ID=34863505

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004372354A Pending JP2005267609A (ja) 2004-02-20 2004-12-22 デジタル図鑑システム、図鑑検索方法、及び図鑑検索プログラム

Country Status (2)

Country Link
US (1) US7639899B2 (ja)
JP (1) JP2005267609A (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010066959A (ja) * 2008-09-10 2010-03-25 Denso It Laboratory Inc 画像検索装置、画像検索システム、画像検索方法およびプログラム
JP2011248680A (ja) * 2010-05-27 2011-12-08 Denso It Laboratory Inc 画像処理システム
JP2013089085A (ja) * 2011-10-19 2013-05-13 Toshiba Tec Corp 情報処理装置、情報処理方法及びプログラム
JP2020122681A (ja) * 2019-01-29 2020-08-13 セイコーエプソン株式会社 情報システムおよび特定方法

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005269604A (ja) * 2004-02-20 2005-09-29 Fuji Photo Film Co Ltd 撮像装置、撮像方法、及び撮像プログラム
DE602004017913D1 (de) * 2004-08-12 2009-01-02 Telecom Italia Spa System, verfahren und einrichtung zum aktualisieren eines datensatzes durch ein kommunikationsnetz
WO2007004519A1 (ja) * 2005-06-30 2007-01-11 Olympus Corporation 検索システム及び検索方法
CN109241305B (zh) * 2018-08-23 2021-04-30 深圳市同维通信技术有限公司 一种基于图像识别的绘本阅读方法及装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5579471A (en) * 1992-11-09 1996-11-26 International Business Machines Corporation Image query system and method
JPH0728689A (ja) * 1993-07-09 1995-01-31 Hitachi Ltd 情報処理装置
US5802361A (en) * 1994-09-30 1998-09-01 Apple Computer, Inc. Method and system for searching graphic images and videos
JPH10254901A (ja) 1997-03-14 1998-09-25 Omron Corp 画像検索方法および装置
US6400853B1 (en) * 1997-03-19 2002-06-04 Canon Kabushiki Kaisha Image retrieval apparatus and method
US6240423B1 (en) * 1998-04-22 2001-05-29 Nec Usa Inc. Method and system for image querying using region based and boundary based image matching
US6445834B1 (en) * 1998-10-19 2002-09-03 Sony Corporation Modular image query system
AU1230900A (en) * 1998-10-26 2000-05-15 Gte Service Corporation Data access system
US6813395B1 (en) * 1999-07-14 2004-11-02 Fuji Photo Film Co., Ltd. Image searching method and image processing method
JP2001266151A (ja) * 2000-03-17 2001-09-28 Toshiba Corp 個人識別装置および個人識別方法
US20020048403A1 (en) * 2000-10-24 2002-04-25 Electronic Warfare Associates, Inc Mark recognition system and method for identification of one or more marks on an object
JP4747410B2 (ja) * 2000-11-10 2011-08-17 ソニー株式会社 映像切替表示装置および映像切替表示方法
US7194134B2 (en) * 2001-01-02 2007-03-20 Microsoft Corporation Hierarchical, probabilistic, localized, semantic image classifier
US6826316B2 (en) * 2001-01-24 2004-11-30 Eastman Kodak Company System and method for determining image similarity
US7035467B2 (en) * 2002-01-09 2006-04-25 Eastman Kodak Company Method and system for processing images for themed imaging services
US7039239B2 (en) * 2002-02-07 2006-05-02 Eastman Kodak Company Method for image region classification using unsupervised and supervised learning
US7394947B2 (en) * 2003-04-08 2008-07-01 The Penn State Research Foundation System and method for automatic linguistic indexing of images by a statistical modeling approach

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010066959A (ja) * 2008-09-10 2010-03-25 Denso It Laboratory Inc 画像検索装置、画像検索システム、画像検索方法およびプログラム
JP2011248680A (ja) * 2010-05-27 2011-12-08 Denso It Laboratory Inc 画像処理システム
JP2013089085A (ja) * 2011-10-19 2013-05-13 Toshiba Tec Corp 情報処理装置、情報処理方法及びプログラム
CN103116949A (zh) * 2011-10-19 2013-05-22 东芝泰格有限公司 信息处理装置及信息处理方法
US9042660B2 (en) 2011-10-19 2015-05-26 Toshiba Tec Kabushiki Kaisha Information processing apparatus and information processing method
JP2020122681A (ja) * 2019-01-29 2020-08-13 セイコーエプソン株式会社 情報システムおよび特定方法
JP7196640B2 (ja) 2019-01-29 2022-12-27 セイコーエプソン株式会社 情報システムおよび特定方法

Also Published As

Publication number Publication date
US20050185862A1 (en) 2005-08-25
US7639899B2 (en) 2009-12-29

Similar Documents

Publication Publication Date Title
JP2005269604A (ja) 撮像装置、撮像方法、及び撮像プログラム
US7450759B2 (en) Digital pictorial book system, pictorial book searching method, and machine readable medium storing thereon pictorial book searching program
US7450767B2 (en) Digital pictorial book system, pictorial book searching method, and machine readable medium storing thereon pictorial book searching program
US11281712B2 (en) System, apparatus, method, program and recording medium for processing image
US10474931B2 (en) Image group title assigning device, image grouping device, representative image determination device for image group, image display device, camera, and image display program
JP2005269605A (ja) デジタル図鑑システム、図鑑検索方法、図鑑検索プログラム
US20070195344A1 (en) System, apparatus, method, program and recording medium for processing image
KR101475939B1 (ko) 이미지 처리 장치의 제어 방법과 이미지 처리 장치, 이미지파일
US7639899B2 (en) Digital pictorial book system, a pictorial book searching method, and a machine readable medium storing thereon a pictorial book searching program
JP4973585B2 (ja) 画像のグループ化装置、およびカメラ
CN101431640B (zh) 图像检索装置和图像检索方法和照相机
JP2006350546A (ja) 情報処理装置、画像分類方法、および情報処理システム
JP5157618B2 (ja) 画像群の標題付与装置、およびカメラ
JP2009267682A (ja) 代表画像決定装置およびカメラ
JP5368614B2 (ja) 画像検索装置および画像検索方法
JP2009294902A (ja) 画像処理装置、およびカメラ
JP2009267683A (ja) 画像の標題付与装置、およびカメラ
JP2014026659A (ja) 画像検索装置および画像検索方法
JP2012094955A (ja) カメラ

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20061207