JP2008011316A - カメラ装置及びカメラ装置制御プログラム - Google Patents

Abstract

【課題】ユーザー補助機能を高めたカメラ装置を提供する。
【解決手段】被写体像の画像データから所定の特徴量を抽出してメモリーに記憶する（Ｓ１２５）。また、外部メモリー媒体に記録済の画像データを順次読み出し（Ｓ１２６）。この読み出された画像データから所定の特徴量又は特徴記述データを抽出して、記録する（Ｓ１２７）。このＳ１２７で記録した画像データの特徴量と、前記Ｓ１２５で記録した被写体像の特徴量とを比較し、類似度を算出する（Ｓ１２８）。この算出した類似度が所定値より大きいか否かを判断し（Ｓ１２９）、以下のＳ１３０〜Ｓ１３４により、被写体像と類似する画像を取得する処理を実行する。そして、類似度が高い検索画像（Ｎ個）のうち、表示する画像（Ｄ個）のサムネイル画像を類似度が高い順にファインダー２９に表示する（Ｓ１３８）。
【選択図】図５

Description

本発明は、ユーザーに対する撮影補助機能を備えたカメラ装置及びカメラ装置制御プログラムに関する。

従来、撮影時において撮影者を補助する機能を備えたカメラが種々提案されるに至っている。例えば、被写体の構図を設定するに際して、ユーザーが当該カメラに記録されているいずれかの画像を選択すると、当該選択画像がスルー画像に重畳して表示される。したがって、ユーザーはこの重畳表示される選択画像の構図を参照しながら、撮影すべき被写体の構図を決定することができる（特許文献１参照）。

また、撮影時に画像とともにそのヘッダー情報として、画像の撮影時における当該カメラに設定されていた撮影条件を記憶する。そして、撮影時にユーザーが当該カメラに記録されているいずれかの画像を選択すると、当該選択画像のヘッダー情報が再生されてこのヘッダー情報に含まれている撮影条件が当該カメラに設定される。したがって、ユーザーは撮影条件設定操作を行わずとも、選択画像の撮影時と同様の撮影条件で撮影を行うことができる（特許文献２参照）。
特開平８−２９４０２５号公報 特開平８−８８７９０号公報

しかしながら、前者にあっては記録された複数の画像の中から、意図する構図の画像をユーザー自らが選択しなければならず、後者にあっても今回の設定すべき撮影条件と同様の撮影条件で撮影されたであろう画像をユーザー自らが選択しなければならない。したがってユーザは、既に記録されている多数の画像の中から、いずれかの画像を選択する煩雑な作業を強いられるばかりでなく、構図や撮影条件に関して最も適切な画像を選択する困難な作業が強いられることとなる。よって、このようにユーザーに煩雑あるいは困難な画像選択作業が強いられる結果、ユーザー補助機能としては、未だ満足できるものではなかった。

本発明は、かかる従来の課題に鑑みてなされたものであり、ユーザー補助機能を高めたカメラ装置及びカメラ装置制御プログラムを提供することを目的とする。

前記課題を解決するために請求項１記載の発明に係るカメラ装置は、被写体を撮像する撮像手段と、表示手段と、前記撮像手段により撮像される被写体像をスルー画像として前記表示手段に表示させる第１の表示制御手段と、

この第１の表示制御手段により前記表示手段に表示される被写体像に関連する関連画像を取得する取得手段と、この取得手段により取得された前記関連画像を、前記第１の表示制御手段により表示されるスルー画像と共に前記表示手段に表示させる第２の表示制御手段とを備える。

また、請求項２記載の発明に係るカメラ装置は、前記第１の表示制御手段は、前記スルー画像を前記表示手段の所定領域に表示させる手段を含み、前記第２の表示制御手段は、前記関連画像を前記表示手段の前記所定領域とは異なる領域に表示させる手段を含む。

また、請求項３記載の発明に係るカメラ装置は、前記取得手段は、前記表示手段の所定領域内に表示される被写体像に基づき、該被写体像に関連する関連画像を取得する。

また、請求項４記載の発明に係るカメラ装置は、前記取得手段は、所定のキー操作がなされた時点において表示手段に表示された被写体像に基づき、該被写体像に関連する関連画像を取得する。

また、請求項５記載の発明に係るカメラ装置は、前記取得手段は、前記第１の表示制御手段により前記表示手段に表示される被写体像からその特徴を抽出する特徴抽出手段と、この特徴抽出手段により抽出された特徴に基づき、所定の画像記憶手段から前記類似画像を検索する検索手段とを備え、前記検索手段により検索された類似画像を前記関連画像として取得する。

また、請求項６記載の発明に係るカメラ装置は、前記特徴抽出手段は、前記表示手段に表示される被写体像からその特徴を抽出するとともに、前記所定の画像記憶手段に記憶されている記憶画像からその特徴を抽出し、前記検索手段は、前記被写体像から抽出した特徴と前記記憶画像から抽出した特徴とを比較し、この比較結果に基づき、前記画像記憶手段に記憶されている記憶画像から前記類似画像を検索する。

また、請求項７記載の発明に係るカメラ装置は、前記特徴抽出手段は、前記被写体像における所定領域又は背景領域の代表色の特徴、色分布の特徴、輪郭形状の特徴、所定領域におけるテクスチャーの特徴のいずれかを抽出して、この抽出した特徴を記述する特徴記述データを生成し、前記検索手段は、前記特徴記述データに基づき、前記類似画像を検索する。

また、請求項８記載の発明に係るカメラ装置は、前記所定の画像記憶手段は、当該カメラ装置に固定的に設けられ前記撮像手段により撮像された画像を記憶する第１の記憶手段、又は当該カメラ装置に着脱自在に設けられ前記撮像手段により撮像された画像を記録する第２の記憶手段、又は外部に設けられ通信により接続可能な第３の記憶手段を含む。

また、請求項９記載の発明に係るカメラ装置は、前記取得手段は、前記関連画像として複数の類似画像を取得し、前記第２の表示制御手段は、前記複数の類似画像を前記表示手段に同時表示させ、又は複数の類似画像を切り換え表示させる。

また、請求項１０記載の発明に係るカメラ装置は、前記第２の表示制御手段は、前記複数の類似画像を類似度の高い順に表示させる。

また、請求項１１記載の発明に係るカメラ装置は、前記取得手段は、撮影条件が付随して記憶された画像を前記関連画像として取得し、この取得手段により前記関連画像として取得された前記画像に付随する撮影条件を、当該カメラ装置の撮影条件として設定する撮影条件設定手段を備える。

また、請求項１２記載の発明に係るカメラ装置は、被写体を撮像する撮像手段と、表示手段と、前記撮像手段により撮像される被写体像をスルー画像として前記表示手段に表示させる表示制御手段と、この表示制御手段により前記表示手段に表示される被写体像、又は撮影日時、季節等の撮影日時や、撮影場所の緯度、経度、高度、地名等の撮影位置、等の撮影情報に基づき、各々撮影時の撮影条件が付随して記憶された画像から前記撮影条件を取得する取得手段と、この取得手段により取得された前記撮影条件を当該カメラ装置の撮影条件として設定する撮影条件設定手段とを備える。

また、請求項１３記載の発明に係るカメラ装置は、前記取得手段は、前記表示手段に表示される被写体像に類似する類似画像を複数取得し、この取得手段により取得された複数の類似画像からいずれかを選択する選択手段を更に備え、前記撮影条件設定手段は、前記選択手段により選択された類似画像に付随する前記撮影条件を当該カメラ装置の撮影条件として設定する。

また、請求項１４記載の発明に係るカメラ装置は、前記取得手段は、画像自体を比較してその類似度を算出し、この算出した類似度に基づき前記被写体像に類似する類似画像を前記関連画像として取得する。

また、請求項１５記載の発明に係るカメラ装置は、前記取得手段は、取得対象とする画像に付随して記憶されている撮影日時、季節等の撮影日時や、撮影場所の緯度、経度、高度、地名等の撮影位置、等の撮影情報と前記被写体像の撮影時における撮影情報とを比較し、その比較結果に基づき前記被写体像に類似する類似画像を前記関連画像として取得する。

また、請求項１６記載の発明に係るカメラ装置は、前記取得手段は、類語を記憶した類語記憶手段と、前記表示手段に表示された被写体像から当該画像自体の特徴を示すキーワード、又は取得対象とする画像に付随して記憶されている撮影日時、季節等の撮影日時や、撮影場所の緯度、経度、高度、地名等の撮影位置、等の撮影情報を示すキーワードを生成するキーワード生成手段と、このキーワード生成手段により生成されたキーワードに関連性の高い類語を前記類語記憶手段から抽出する類語抽出手段と、この類語抽出手段により抽出された類語に基づき、所定の画像記憶手段から前記類似画像を前記関連画像として検索する検索手段とを備える。

また、請求項１７記載の発明に係るカメラ装置は、前記撮像手段により撮像された被写体像を操作に応答して記憶する画像記憶手段と、この画像記憶手段に前記被写体像を記憶する際に当該カメラに設定されている撮影条件を検出する検出手段と、この検出手段により検出された前記撮影条件を前記被写体画像に対応させて前記画像記憶手段に記憶させる記憶制御手段とを備える。

また、請求項１８記載の発明に係るカメラ装置制御プログラムは、被写体を撮像する撮像手段と表示手段とを備えるカメラ装置が有するコンピュータを、前記撮像手段により撮像される被写体像をスルー画像として前記表示手段に表示させる第１の表示制御手段と、この第１の表示制御手段により前記表示手段に表示される被写体像に関連する関連画像を取得する取得手段と、この取得手段により取得された前記関連画像を、前記第１の表示制御手段により表示されるスルー画像と共に前記表示手段に表示させる第２の表示制御手段として機能させる。

また、請求項１９記載の発明にカメラ装置制御プログラムは、被写体を撮像する撮像手段と表示手段とを備えるカメラ装置が有するコンピュータを、前記撮像手段により撮像される被写体像をスルー画像として前記表示手段に表示させる表示制御手段と、この表示制御手段により前記表示手段に表示される被写体像、又は撮影日時、季節等の撮影日時や、撮影場所の緯度、経度、高度、地名等の撮影位置、等の撮影情報に基づき、各々撮影時の撮影条件が付随して記憶された画像から前記撮影条件を取得する取得手段と、この取得手段により取得された前記撮影条件を当該カメラ装置の撮影条件として設定する撮影条件設定手段として機能させる。

本発明によれば、カメラ装置が有する表示手段に、被写体像がスルー画像として表示されるとともに、この被写体像に関連する関連画像が自動的に表示されることから、複数の画像の中から適切な画像をユーザー自らが選択する必要はない。

また、本発明によれば、撮影時の撮影条件が付随して記憶された画像から前記撮影条件が自動的に取得されて、この取得された撮影条件が当該カメラ装置の撮影条件として設定されることから、複数の画像の中から適切な画像をユーザー自らが選択する必要はない。

よって、ユーザーを煩雑あるいは困難な画像選択作業から解放することができ、ユーザー補助機能を高めることができる。

以下、本発明の一実施の形態を図に従って説明する。

（第１の実施の形態）
図１（Ａ）は各実施の形態に共通するデジタルカメラ１の正面図、（Ｂ）は背面図、（Ｃ）は側面透視図である。このデジタルカメラ１の本体２には、その上面部に半押し機能を備えたレリーズ釦（シャッタースイッチ）３と電源スイッチ４とが配置されており、正面部にはグリップ部５、ストロボ６及び撮像レンズ部の受光窓７が配置されている。また、背面部には、モード切替スイッチ８、ズーム操作キー９、カーソルキー１０、決定／ＯＫキー１１、ＤＩＳＰキー１２、メニューキー１３及び電子ファインダーとしても機能するＬＣＤからなる表示部１４が配置されているとともに、メモリー媒体と電池とを収納するメモリー媒体／電池収納部１５が設けられている。また、回動式ミラー１８、レンズ群１９及びＣＣＤ等で構成される電子撮像センサ２０等が配置されている。

なお、表示部１４は、後述するフローチャートに示す処理により、被写体する画像表示部１４ａと検索画像の表示部１４ｂとして機能する。また、前記レリーズ釦３は、半押しを検知する機能と全押しを検知する機能とを備えている。
なお、後述するフローチャートにおいて説明する「類似画像検索機能」のＯＮ、ＯＦＦは、カーソルキー１０、決定／ＯＫキー１１、ＤＩＳＰキー１２、メニューキー１３を適宜操作することによりなされる。

図２は、デジタルカメラ１の概略的回路構成を示すブロック図である。このデジタルカメラ１は、ユーザーにより操作される操作入力手段１０１を備え、この操作入力手段１０１は主制御手段１０２に接続されている。この主制御手段１０２は、撮影制御手段１０３を制御するものであって、撮影制御手段１０３は撮影条件設定データ１０４に基づき、光学系１０５を駆動する光学系駆動部１０６、シャッター及び絞り１０７を駆動するシャッター／絞り駆動部１０８、電子撮像手段１０９、及びこの電子撮像手段１０９からの信号を処理する映像信号処理手段１１０を制御する。この映像信号処理手段１１０の処理により得られた画像信号は、画像バッファメモリー１１１に一時的に記憶された後、符号化手段１１２により符号化される。この符号化された画像データは、送信手段１１３を介して外部の画像サーバー装置１１４に送信される一方、メモリー書込手段１１５により画像メモリー媒体１１６に画像データ１１６ａとして記録されることとなる。また、この撮影時における撮影制御手段１０３の撮影情報１１７も、符号化手段１１２により符号化され、メモリー書込手段１１５により、画像メモリー媒体１１６に撮影情報１１６ｂとして記録される。

他方、受信手段１１８により、前記サーバー装置１１４から画像データが受信される。復号手段１１９は、メモリー読出手段１２０により読み出される画像データ１１６ａ、撮影情報１１６ｂ及び特徴データ１１６ｃ、及び前記受信手段１１８により受信された画像データを復号化する。この復号化された画像データは、画像データメモリー１２１に記憶されるとともに、表示制御手段１２２に入力され、ファインダー表示手段１２３において、複数の類似画像１２３ａとして表示される。

一方、画像バッファメモリー１１１から出力された被写体スルー映像は、特徴抽出手段１２４と前記表示制御手段１２２とに入力され、ファインダー表示手段１２３において、被写体画像１２３ｂとして表示されるとともに、特徴抽出手段１２４にて特徴データが抽出される。また、前記画像データメモリー１２１から出力された画像データ１１６ａ及び復号手段１１９から出力された撮影情報１１６ｂと特徴データ１１６は、特徴抽出手段１２５に与えられる。

特徴比較／画像検索手段１２６は、特徴注出手段１２４が抽出した被写体スルー映像の特徴データと、特徴抽出手段１２５が抽出した記録画像の特徴データとを比較しつつ、メモリー読出手段１２０に画像の読み出しを指示し、被写体スルー映像と類似する画像を検索する。この検索された画像データ１１６ａが前述のように、表示制御手段１２２に入力され、これにより、ファインダー表示手段１２３において、複数の類似画像１２３ａとして表示される。この状態において、ユーザファインダー表示手段１２３に表示されている「類似画像１」「類似画像２」「類似画像３」を見て、「類似画像１」と同様の撮影条件で撮影したいと思った場合には、ユーザが操作入力手段１０１にて、「類似画像１」を選択する。すると、この「類似画像１」の撮影情報１１６ｂが撮影条件設定手段１２７により、前記撮影制御手段１０３に撮影条件設定データ１０４として設定する。したがって、前述のように、撮影制御手段１０３は撮影条件設定データ１０４に基づき、光学系駆動部１０６、シャッター／絞り駆動部１０８、電子撮像手段１０９、及び映像信号処理手段１１０を制御することにより、選択した「類似画像１」と同一の撮影条件で撮影を行うことができる。

図３は、前記デジタルカメラ１の具体的回路構成を示すブロック図である。このデジタルカメラ１は、ＡＥ、ＡＷＢ、ＡＦ等の一般的な機能を有するものであり、ズームレンズ、フォーカスレンズで構成される前記レンズ群１９を有している。このレンズ群１９の光軸上には電子撮像センサ２０が配置されており、前記レンズ群１９は、モーター等を有する駆動部２１によって駆動される。

このデジタルカメラ１全体を制御する制御回路２２は、ＣＰＵ及びその周辺回路で構成されており、プログラムメモリー２３に格納されているプログラムに基づき、データメモリー２４をワークエリアとして使用しつつ各部を制御する。この制御回路２２には、撮影制御部２５が接続されている。撮影制御部２５は、制御回路２２が発生するタイミング信号に基づき、電子撮像センサ２０を駆動するとともに、該制御回路２２により与えられる撮影条件設定データ２５ａと、センサ３３よりセンサ計測回路３４を介して入力される測光データや測距データ等の各種センサ計測値とに基づき、前記駆動部２１及び映像信号処理部２６を制御する。また、撮影制御部２５は、ストロボ４０を駆動するストロボ駆動回路４１を制御する。

前記電子撮像センサ２０の受光面には、レンズ群１９によって被写体が結像される。電子撮像センサ２０は、撮影制御部２５によって駆動され、被写体の光学像に応じたアナログの撮像信号を映像信号処理部２６へ出力する。映像信号処理部２６は、電子撮像センサ２０の出力信号に含まれるノイズを相関二重サンプリングによって除去するＣＤＳ回路や、ノイズが除去された撮像信号をデジタル信号に変換するＡ／Ｄ変換器等から有するとともに、入力した撮像信号に対しペデスタルクランプ等の処理を施し、それを輝度（Ｙ）信号及び色差（ＵＶ）信号に変換するとともに、オートホワイトバランス、輪郭強調、画素補間などの画品質向上のためのデジタル信号処理を行う。映像信号処理部２６で変換されたＹＵＶデータは順次画像メモリー２７に格納されるとともに、ＲＥＣスルー・モードでは１フレーム分のデータ（画像データ）が蓄積される毎にビデオ信号に変換され、表示制御部２８を介して前記表示部１４へ送られてスルー映像として画面表示される。したがって、このとき表示部１４は電子ファインダー２９として機能する。なお、表示部１４を電子ファインダー２９として機能させる際には、その中央部にフォーカス枠（図６、７のフォーカス枠６０参照、以下同様。）を表示させ、このフォーカス枠内のをＡＦエリアとして、ＡＦがなされる。

そして、撮影モードにおいては、前記レリーズ釦３に対する操作をトリガとして、制御回路２２は、電子撮像センサ２０、撮影制御部２５、及び映像信号処理部２６に対してスルー画撮影モードから撮影モードへの切り替えを指示し、この撮影モードによる撮影処理により得られ画像メモリー２７に一時記憶された画像データは、圧縮符号化・伸張復号部３０で圧縮及び符号化され、所定のフォーマットの静止画ファイルとして、外部メモリーインタフェース３９を介して外部メモリー媒体３１（又は後述するＨＤＤ記憶装置４６の磁気ディスク４８）に記録される。この外部メモリー媒体３１（又は磁気ディスク４８）に記録された静止画ファイルは、ＰＬＡＹ・モードにおいてユーザーの選択操作に応じて圧縮符号化・伸張復号部３０に読み出されて伸張及び復号化され、ＹＵＶデータとしてに展開された後、表示部１４に表示される。したがって、このとき表示部１４は画像モニター３２として機能する。

前記プログラムメモリー２３には、制御回路２２に前記各部を制御させるための各種のプログラム、例えばＡＥ、ＡＦ、ＡＷＢ制御用のプログラムや、データ通信用プログラム、さらには、後述するフローチャートに示す処理を実行するためのプログラム等の各種のプログラムが格納されている。また、制御回路２２には、操作入力部３５が入力回路３６を介して接続されている。操作入力部３５には、前記レリーズ釦３や電源スイッチ４等の図１に示したスイッチやキー群等が設けられている。

また、このデジタルカメラ１は、外部入出力インタフェース３８を介して制御回路２２に接続された外部入出力端子３７を備えている。この外部入出力端子３７には、ＰＣ（パーソナルコンピュータ）７０等の外部機器又は通信装置を接続することが可能である。ＰＣ７０は、ゲートウェイＧＷ及びインターネット７１を介して、サーバー装置７２に接続可能であり、サーバー装置７２は画像データを格納する画像データベース７３接続されている。一方、ＨＤＤ記憶装置４６は、ＨＤＤ・ＩＦ４７を介して制御回路２２に接続されている。ＨＤＤ記憶装置４６は、前記磁気ディスク４８を有するとともに、モータ４９、モータドライバ５０、マイコン部５１、ＶＣモータ５２、ヘッドアンプ５３、リード／ライトチャンネル５４、ＨＤＤ制御部５５等を有している。

また、制御回路２２には、特徴抽出／画像検索用データメモリー５６が特徴抽出／画像検索処理部５７を介して接続されている。後述するように、制御回路２２は、特徴抽出／画像検索処理部５７を制御して、前記電子撮像センサ２０により取り込まれた画像の特徴を抽出するとともに認識し、特徴抽出／画像検索用データメモリー５６は、これら抽出及び認識された画像の特徴を記述した特徴データ（特徴記述データ）を記憶する。

図４及び図５は、本実施の形態の処理手順を示す一連フローチャートであり、制御回路２２はプログラムメモリー２３に格納されているプログラムに基づき、このフローチャートに従って処理を実行する。先ず、ユーザーによる操作入力部３５での操作により、モード等を選択し（ステップＳ１０１）、この選択したモードが撮影モードであるか否かを判断する（ステップＳ１０２）。撮影モードでない場合には、設定モードであるか否かを判断し（ステップＳ１０３）、設定モードである場合には、撮影設定、画像検索設定、特徴抽出方法の設定などの設定処理へ移行する（ステップＳ１０４）。また、設定モードでもない場合には、再生モードなど、その他のモード処理へ移行する（ステップＳ１０５）。

一方、ステップＳ１０２での判断の結果、撮影モードが選択された場合には、ユーザーの操作に応じて、撮影条件等を設定する（ステップＳ１０６）。また、センサ計測処理を行って、センサ３３からの出力信号に基づく測光、測距、ＷＢ処理を実行するとともに（ステップＳ１０７）、ズーム処理、ＡＦ処理を実行する（ステップＳ１０８）。

しかる後に、被写体スルー映像を電子ファインダー２９に更新しつつ表示し（ステップＳ１０９）、レリーズ釦３が半押しされたか否か（又はＡＥ、ＡＦロック操作があった否か）を判断する（ステップＳ１１０）、レリーズ釦３が半押しされていない場合、及び半押しが解除された場合（又はＡＥ、ＡＦロックが解除された場合）には、ＡＥ、ＡＦロックを解除して、Ｌｏｃｋ ＦＬＡＧを「０」にリセットし（ステップＳ１１１）、その他の処理キー処理を実行して（ステップＳ１１２）、ステップＳ１０７に戻る。

また、ステップＳ１１０の判断がＹＥＳとなった場合には、ＡＥ、ＡＦロック済であるか否か、つまりＬｏｃｋ ＦＬＡＧ＝１であるか否かを判断する（ステップＳ１１３）。この判断がＹＥＳである場合には、前記スルー映像において合焦すべき被写体を選択し（ステップＳ１１４）、測光、測距、ＷＢ処理、ＡＥ処理、ＡＦ処理を実行する（ステップＳ１１５）。また、ＡＥ、ＡＦをロックして、Ｌｏｃｋ ＦＬＡＧを「１」にセットする（ステップＳ１１６）。また、類似画像検索機能がＯＮとなっている否かを判断し（ステップＳ１１７）、ＯＮとなっている場合には、後述する図５のフローに進む。

類似画像検索機能がＯＦＦとなっている場合には、レリーズ釦３が全押しされたか否か（又は撮影操作があったか否か）を判断し（ステップＳ１１８）、レリーズ釦３が全押しされるまで、ステップＳ１０９からの処理を繰り返す。そして、レリーズ釦３が押し操作されて撮影指示がなされたならば、前記ステップＳ１０６等で設定された撮影条件と、前記ステップＳ１１５で計測された測光値に従って撮影動作し（ステップＳ１１９）、電子撮像センサ２０から取り込まれた画像データを符号化又は圧縮符号化する（ステップＳ１２１）。

さらに、この画像の撮影時における撮影条件を示す撮影条件情報、前記画像データにおける被写体の特徴データ等を所定の記述様式で符号化する（ステップＳ１２１）。そして、前記画像データとともに、この撮影条件情報、特徴データ等を外部メモリー媒体３１（又は磁気ディスク４８）に記録する（ステップＳ１２２）。しかる後に、撮影画像を電子ファインダー２９にレビュー表示し（ステップＳ１２３）、リターンする。

他方、ステップＳ１１７での判断の結果、「類似画像検索機能」がＯＮとなっている場合には、このステップＳ１１７から図５のステップＳ１２４に進み、被写体像のフレーム画像をデータメモリー２４に記憶する（ステップＳ１２４）。次に、この記憶した被写体像の画像データから所定の特徴量を抽出してデータメモリー２４に記憶する（ステップＳ１２５）。また、外部メモリー媒体３１（又は磁気ディスク４８）に記録済の画像データを順次読み出すか、サーバー装置７０に記録済の画像データを順次受信する（ステップＳ１２６）。この読み出された（受信された）画像データから所定の特徴量又は特徴記述データを抽出して、データメモリー２４に記録する（ステップＳ１２７）。

そして、このステップＳ１２７で記録した画像データの特徴量と、前記ステップＳ１２５で記録した被写体像の特徴量とを比較し、類似度を算出する（ステップＳ１２８）。この算出した類似度が所定値より大きいか否かを判断し（ステップＳ１２９）、類似度が所定値以下である場合には、ステップＳ１３０〜Ｓ１３２の処理を実行することなく、ステップＳ１３３に進む。類似度が所定値より大きい場合には、この時点までの検索済画像（ステップＳ１２６で読み出した画像）と比べ、類似度が上位Ｎ個に入るほど大きいか否かを判断する（ステップＳ１３０）。類似度が上位Ｎ個に入るほど大きくない場合には、ステップＳ１３１の処理を行うことなくステップＳ１３２に進む。また、類似度が上位Ｎ個に入るほど大きい場合には、類似度が大きい検索画像のファイル名と類似度を、上位Ｎ個まで順次更新して、データメモリー２４に記憶する（ステップＳ１３１）。また、この時点までに検索された類似画像数Ｓ（ステップＳ１２９で類似度が所定値より大きいと判断された画像数Ｓ）を計数するとともに（ステップＳ１３２）、この時点までの比較処理済みの画像数Ｐ（ステップＳ１２６で読み出された画像数Ｐ）を計数する（ステップＳ１３３）。

次のステップＳ１３４においては、下記（１）〜（４）の少なくともいずれか１つあったか否かを判断する。
（１）最後の画像データか否か。
（２）検索終了操作があったか否か。
（３）検索された画像数Ｓ≧Ｓｍａｘ（所定最大値）か否か。
（４）比較処理済みの画像数Ｐ≧Ｐｍａｘ（所定最大値）か否か。

このステップＳ１３４の判断がＹＥＳとなるまで、次の画像データを選択して（ステップＳ１３５）、ステップＳ１２６〜Ｓ１３４の処理を繰り返す。ステップＳ１３４の判断がＹＥＳとなったならば、１個以上の類似する有効画像（ステップＳ１２９の判断がＹＥＳとなった画像）が検索されたか否かを判断する（ステップＳ１３６）。類似する有効画像が検索されなかった場合には、ファインダー２９に類似画像が見つからない旨を表示し、又はエラー表示を行う（ステップＳ１３７）。

また、１個以上の類似する有効画像が検索された場合には、類似度が高い検索画像（Ｎ個）のうち、表示する画像（Ｄ個）のサムネイル画像を類似度が高い順にファインダー２９に表示する（ステップＳ１３８）。しがたって、ここのステップＳ１３８での処理により、例えばＤ＝３であり、また３個以上の類似する有効画像が検索された場合には、図６に示すように、ファインダー２９には、被写体像のスルー映像６１とともに、類似度が高い順に類似画像（１）〜類似画像（３）が表示されることとなる。なお、同図に示すように、ファインダー２９には、撮影モード、フラッシュ設定、ホワイトバランス設定、測光モード、露出補正設定、画像サイズ、画質、残り（撮影可能）枚数、電池容量、ズーム倍率、ヒストグラム、日付時刻等の撮影モードにおける撮影条件などのアイコン、情報表示を行い、類似画像（１）〜類似画像（３）のいずれかの近傍には、カーソル６２を表示させる。また、例えばＤ＝８であって、８個以上の類似する有効画像が検索された場合には、図７に示すように、ファインダー２９には、被写体像のスルー映像６１とともに、類似度が高い順に類似画像（１）〜類似画像（８）が表示されることとなる。なお、同図に示すように、各類似画像（１）〜類似画像（８）の近傍に画像ファイル名などの画像情報を表示するようにしてもよい。

次に、前記カーソル６２を移動させるための操作があったか否かを判断し（ステップＳ１３９）、該操作があったならば、操作に応じて次の画像を選択し、該画像に対応する位置にカーソル６２を表示させる（ステップＳ１４０）。また、カーソル６２を、表示されている類似画像外に移動させる操作があった場合には、次に類似度が高い画像（Ｄ個）を表示する（ステップＳ１４１）。また、ステップＳ１３９での判断の結果、カーソル移動操作がなかった場合には、決定キー操作があったか否かを判断する（ステップＳ１４２）。決定キー操作があったならば、カーソル６２により選択された類似画像を撮影条件設定の見本画像に決定する（ステップＳ１４３）。そして、この見本画像として決定した類似画像の画像データとともに記憶されている撮影条件情報に応じて、カメラの撮影条件を再設定する（ステップＳ１４４）。

この再設定に際しては、類似画像の画像データとともに記憶されている撮影条件情報をそのまま、撮影制御部２５の撮影条件設定データ２５ａとして設定する。あるいは、前記ステップＳ１０６等で設定された撮影条件を前記撮影条件情報に基づき修正するようにしてもよい。

以上に説明したステップＳ１３７、Ｓ１４１、Ｓ１４４のいずれかの処理を行ったならば、前述した図４のステップＳ１１８に進む。したがって、ステップＳ１４４の処理が行われてステップＳ１１８に進んだ場合には、ユーザーはレリーズ釦３を半押してＡＥロック、ＡＦロックの状態にして、見本画像を選択した状態にある。したがって、この選択した所望の見本画像の構図や被写体のポーズ等を参考にして、ファインダー２９に表示されている被写体像のスルー映像６１を見ながら、デジタルカメラ１の向きを調整して構図を決定したり、被写体のポーズを決定することができる。そして、ユーザーがレリーズ釦３を全押しすると、前述したステップＳ１１９〜Ｓ１２３の処理が実行され、ユーザーが前記見本画像を参考にして決定した構図や被写体のポーズからなる画像が記録されることとなる。

なお、本実施の形態においては、ステップＳ１２４において被写体像のフレーム画像をデータメモリー２４に記憶し、この記憶した被写体像のフレーム画像を対象被写体画像としてステップＳ１２５以降の処理を行うようにしたが、ステップＳ１２４において、図６、７に示したフォーカス枠６０内の画像のみをデータメモリー２４に記憶し、この記憶したフォーカス枠６０内の画像を対象被写体画像としてステップＳ１２５以降の処理を行うようにしてもよい。これにより、ユーザーがフォーカス枠６０を位置させた所望の主要被写体に特定して、この特定した所望の主要被写体に対して類似する画像を検索することができる。

図８は、記録済みの撮影画像の中から、被写体像と類似する類似画像を検索する際に、特徴記述データを用いて検索する方法の概要を示すフローチャートである。画像メモリー（外部メモリー媒体３１又はＨＤＤ記憶装置４６の磁気ディスク４８）内の画像データＡに関しては、当該画像の特徴記述データが記録済みであるか否かを判断する（ステップＳ２０１）。記録済みでない場合には、当該対象画像の特徴抽出処理を行ってその特徴を示す記述データである特徴記述データを得る（ステップＳ２０２）。特徴記述データが記録済みである場合には、当該他像データに付属の特徴記述データを読み込む（ステップＳ２０３）。

一方、被写体像の映像から取り込んだ静止画像Ｂに関しては、当該被写体像の特徴抽出処理を行い（ステップＳ２０４）、この特徴抽出処理により代表色：緑、形状：ボール、テクスチャー：芝等の特徴データを得る（ステップＳ２０５）。次に、特徴データの比較処理（１）を実行して、画像データＡの特徴記述データにおける代表色（代表色：白）と、静止画像Ｂの特徴データにおける代表色（代表色：緑）とを比較する（ステップＳ２０６）。この比較の結果、特徴データの比較処理（１）で用いた特徴データ１が一致するか否かを判断し（ステップＳ２０７）、一致しない場合には当該画像データを除外して（ステップＳ２０８）、画像メモリーから次の画像データを選択する。

一致する場合には、当該画像データを保持して（ステップＳ２０９）、特徴データの比較処理（２）を実行する（ステップＳ２１０）。そして、画像データＡの特徴記述データにおける形状（形状：ボール）と、静止画像Ｂの特徴データにおける形状（形状：ボール）とを比較する。この比較の結果、特徴データの比較処理（２）で用いた特徴データ２が一致するか否かを判断し（ステップＳ２１１）、一致しない場合には当該画像データを除外して（ステップＳ２１２）、画像メモリーから次の画像データを選択する。

一致する場合には、当該画像データを保持して（ステップＳ２１３）、特徴データの比較処理（３）を実行する（ステップＳ２１４）。そして、画像データＡの特徴記述データにおけるテクスチャー（テクスチャー：芝）と、静止画像Ｂの特徴データにおけるテクスチャー（テクスチャー：芝）とを比較する。この比較の結果、特徴データの比較処理（３）で用いた特徴データ３が一致するか否かを判断し（ステップＳ２１５）、一致しない場合には当該画像データを除外する（ステップＳ２１２）。一致する場合には、当該画像データを選択し（ステップＳ２１７）、これを検索された類似画像としてファインダー２９に表示する（ステップＳ２１８）。

図９は、記録済みの撮影画像の中から、被写体像と類似する類似画像を検索する際に、画像データ自体を比較処理して類似画像を検索する検索処理の概要を示すフローチャートである。画像メモリー（外部メモリー媒体３１又はＨＤＤ記憶装置４６の磁気ディスク４８）内の画像データＡを、被写体像の映像から静止画像Ｂを各々取り込み、両画像の類似度の計算処理を実行する（ステップＳ３０１）。この計算処理結果に基づき、両画像の類似度は所定値以上であるか否かを判断し、所定値未満である場合には、当該画像データを除外して（ステップＳ３０３）、画像メモリーから次の画像データを選択する。両画像の類似度は所定値以上である場合には、当該画像データを選択し（ステップＳ３０４）、これを検索された類似画像としてファインダー２９に表示する（ステップＳ３０５）。

前記図８に示したように、記録時に特徴記述データが記録されている画像データを用いる場合には、被写体像の特徴データと記録済みの画像の特徴データとを、テキストや数値データで照合あるいは比較計算すればよいので、処理が少なくなるので好ましい。この場合、電子撮像センサ２０から取り込んだ被写体像の静止画像から所定の特徴量を抽出するとともに、記録済みの多数の画像データから順次自動選択された画像データ毎に、記録されている特徴記述データから読み出した該当する特徴量とを照合比較して、複数の所定の特徴量が全て又は最も多く一致する画像データを検索すればよい。検索結果の類似画像のサムネイルは、検索された順に、又は類似度の高い順にファインダー２９の副画面部分に複数個ずつ表示させる。

他のカメラやＰＣなどから入力された画像などの、特徴記述データが記録されていない画像の場合には、改めて当該画像データをバッファメモリーなどに復号再生して、再生した画像から前記所定の特徴量の抽出処理を行う必要があり、処理時間がかかる。よって、他のカメラや外部機器から画像が入力された際や再生表示された際に、前述の特徴抽出処理を行っておくことが好ましい。

抽出する特徴量などが設定されていない場合には、図９に示したように、画像データ自体で比較処理して類似画像を検索する。被写体像から取り込んだフレーム画像全体又は主要被写体の領域画像と、記録されている画像とを、画像パターン同士、又はＤＣＴ（離散コサイン変換）計数など画像の符号化データ同士で、テンプレートマッチング処理（画像同士が最も一致する位置を算出）や、相関計算処理（相関係数や類似度を算出）を施して、類似度の高い画像を判断する。特徴記述データによる検索よりも処理量が増えるが、予め所定の直腸量を設定しておかなくてもよく、多様なシーンにも対応できる。

なお、特徴抽出や検索方法の設定モードにおいて、特徴抽出を行う場合の方法、特徴抽出する画像領域、抽出する特徴量、画像検索に用いる特徴量や特徴記述データなどを、ユーザーが予め選択してカスタム設定できるようにしてもよい。また、シーン別撮影プログラムモードなどで自動的に特徴抽出や画像検索する場合にも、あるいは、選択されたシーンや設定された撮影条件に応じて、最適な特徴抽出方法や特徴抽出領域、抽出特徴量などが自動的に選択されるように制御することが好ましい。画像の特徴抽出や検索に用いる特徴量としては、例えば、主要な被写体の代表色や輪郭形状、被写体や背景のテクスチャー、画像全体での色分布などを用いる。これらの特徴量毎に検索条件とする特徴量を選択したり、特徴量毎に検索情報とする（ＯＮ）か否（ＯＦＦ）かを設定するモードなどでカスタム指定できるようにしてもよい。

図１０は、本実施の形態における、画像から抽出した特徴データの記述例を示す図である。すなわち、撮影した主画像（１）から、その画像の特徴部分の部分画像（Ｓｔｉｌｌ Ｒｅｇｉｏｎ）（２）〜（８）を抽出する。そして、主画像（１）からは特徴データとして「類似：サッカー５」を抽出し、部分画像（２）からは特徴データとして「形：人間、代表色：Ｂｌｕｅ（ブルー）、類似：サッカー５」を抽出し、部分画像（３）からは特徴データとして「代表色：Ｇｒｅｅｎ（グリーン）、テクスチャー：植物、類似：芝生」を抽出する。以下同様にして、部分画像（４）〜（８）からの各々図中に記載した特徴データを抽出する。また、撮影した主画像（１０）から、その画像の特徴部分の部分画像（Ｓｔｉｌｌ Ｒｅｇｉｏｎ）（１１）及び（１２）を抽出する。そして、主画像（１０）からは特徴データとして「類似：港３」を抽出し、部分画像（１１）からは特徴データとして「形：人間、代表色：Ｂｌｕｅ（ブルー）、テクスチャー：海、類似：船１」を抽出する。

また、これら特徴データの記録（出力）は、ユーザー操作により選択された方法（記述用紙に従って、例えば、特徴データをＤＦＣやＥＸＩＦなどの画像ファイルのヘッダ情報の拡張データとしても、あるいは、ＭＰＥＧ−７（ＩＳＯ／ＩＥＣ １５９３８）規格に準じたメタデータ記述ファイル、又は、ＳＭＰＴＥ（Society of Motion Picture and Television Engineeers）規格、ＥＢＵ（European Broadcasting Union）によるＰ／Ｍｅｔａ規格、ＴＶ−Ａｎｙｔｉｍｅ（TV-Anytime Forum）規格、Ｗ３ＣによるＳＭＩＬ（Syncronized Multimedia Integration Language）規格、あるいは、Ｄｕｂｌｉｎ Ｃｏｒｅ（Dublin Core Metadate Initiative）とＲＤＦ（W3C、Resource Description Framaework）によるＸＭＬ構文、などの各種メタデータ記述用の規格や言語、あるいは、ＸＭＬ（W3C）などの汎用記述言語に準じた記述ファイル、あるいは、これらをバイナリデータ等に交換した記述データファイル等から、任意に選択して記録（出力）するようにできる。

図１１において、（ａ）はＭＰＥＧ−７による特徴データの記述例を示し、（ｂ）はＤｕｂｌｉｎ ＣｏｒｅとＲＤＦのＸＭＬ構文による特徴データの記述例を示す。

マルチメディア用のメタデータ記述規格のＭＰＥＧ−７（ISO/IEC 15938）の、ＭＰＥＧ−７Ｖｉｓｕａｌ（ISO/IEC 15938-3）では、画像や映像データ、音声などの各種の特徴を記述できる記述子（Descriptor）と記述書式（Description Scheme）等も詳細に定義されている。例えば、色やテクスチャー、輪郭形状などの特徴を表すために以下のような記述子が用意されているので、これに準じて記述してもよい。
Ｃｏｌｏｒ ｓｐａｃｅ（色空間を指定する記述子）、
Ｃｏｌｏｒ ｑｕａｎｔｉｚａｔｉｏｎ（色空間の量子化方法を指定する記述子）、
Ｄｏｍｉｎａｎｔ ｃｏｌｏｒ（任意形状領域における代表色を表す記述子）、
Ｓｃａｉａｂｌｅ ｃｏｌｏｒ（色特徴をＨＳＶ色空間におけるカラーヒストグラムで表 す記述子）、
Ｃｏｌｏｒ ｌａｙｏｕｔ（色の分布をＤＣＴ係数で表す記述子）、
Ｃｏｌｏｒ ｓｔｒｕｃｔｕｒｅ（色の分布における偏りの程度を表す記述子）など、
Ｈｏｍｅｇｅｎｅｏｕｓ ｔｅｘｔｕｒｅ（テクスチャーの特徴を、画像強度と周波数空 間上のエネルギー分布により表す記述子）、
Ｔｅｘｔｕｒｅ ｂｒｏｗｓｉｎｇ（テクスチャーの特徴を、均一性、粒度、方向性の３ 要素で表す）、
Ｅｄｇｅ ｈｉｓｔｏｇｒａｍ（エッジ特徴の分布をヒストグラムにより表す記述子）、
Ｒｅｇｉｏｎ ｓｈａｐｅ（領域の形状特徴を表す記述子）、
Ｃｏｎｔｏｕｒ ｓｈａｐｅ（領域の閉輪郭線の形状特徴を表す記述子）、

また、従前から書誌情報のメタデータ記述法として用いられているＤｕｂｌｉｎ Ｃｏｒｅでは、タイトル（title）、概要記述（description）、出版社（publisher）、作者（creator）、著作権（ights）、年月日（date）、種別（type）、様式（format）、・・・など１５の基本属性（Dublin Core Metadata Element Set:DCMES）が規定されており、表記法は例えばＸＭＬに準じたＲＤＦ（Resource Description framework）のスキーマなどを用いて記述する。各種メタデータ記述規格では、放送映像用やビットストリーム映像用、ネットワーク配信用など、用途別の規格によって記述子や記述スキーム等はそれぞれ異なるが、同様に、このような書誌情報の多くを記述できる。

図１２は、外部メモリー媒体３１（又は磁気ディスク４８）に画像データを記録する際に、画像データに対応づけて、画像データのヘッダ部などに撮影条件情報や画像特徴データを合わせて記録する場合のデータファイルの構成例を示す図である。撮影条件情報や画像特徴記述データなどは、図示のように、ＥＸＩＦＪＰＥＧ画像データ等のヘッダ情報として画像データ毎に記録してもよいし、画像データファイルとは別に、複数画像の特徴情報を記述ファイルを別のファイル等にまとめて記録するようにしてもよい。

図１３は、撮影条件（ステップＳ１０６、Ｓ１１９、Ｓ１４４）として設定される項目（撮影条件設定データ２５ａ）の例を示す図である。前述のように、被写体像に類似する類似画像が検索され、ファインダー２９に表示された類似画像の中から、ユーザーの操作により、一つの画像が選択されると、選択された類似画像の画像データに対応付けて記録されている撮影情報が読み出される。そして、該撮影情報に含まれる撮影条件が、今回の被写体を撮影する際の撮影条件として撮影制御部２５に設定され、撮影制御部２５はこの設定された撮影条件に従って各部を制御する。設定される撮影条件としは、同図に例示するように、ＥＶシフト（露出補正）設定、ストロボ発光／消灯の設定、ホワイトバランス設定、ＩＳＯ感度、測光方式やＡＦ（自動焦点）方式の選択、フィルタ処理や、色強調、シャープネス補正、彩度補正などの各種画像補正機能のＯＮ／ＯＦＦなどの撮影条件、又はこれらの内から選択された撮影条件などである。

図１４は、前記図５に示したフロー中の、特徴量を抽出する処理（ステップＳ１２７）の処理手順を示すサブルーチンであり、対象となる画像データを読み込んだ後、設定されている抽出すべき特徴量又は特徴抽出方法などの設定データを読み込み、それに応じて、設定されている特徴データを抽出して特徴データ記述ファイル出力すものである。

すなわち、対象画像データファイルを読み込み（ステップＳ４０１）、特徴抽出処理の設定データを読み込む（ステップＳ４０２）。次に、抽出する特徴はオートに設定されているか否かを判断し（ステップＳ４０３）、オートに設定されていない場合には、設定データに基づいて、特徴抽出する特徴の種類を設定する（ステップＳ４０４）。また、オードに設定されている場合には、当該画像の撮影情報を読み込み（ステップＳ４０５）、撮影モード又は撮影条件に基づいて、抽出する特徴の種類を選択する（ステップＳ４０６）。

そして、このステップＳ４０６又は前記ステップＳ４０４に続き、抽出する特徴の種別に応じて、前処理、及び、特徴抽出手段を選択した後（ステップＳ４０７）、前処理１（ステップＳ４０８）及び前処理２（ステップＳ４０９）を実行する。前処理１においては、画像強調、又は、鮮鋭化などを行い、前処理２においては、２値化、又は、正規化、回転、座標変換、細線化、膨脹収縮処理、などを行う。

しかる後に、特徴抽出処理（色領域の抽出）（ステップＳ４１０）、特徴抽出処理（輪郭形状の特徴抽出）（ステップＳ４１２）、特徴抽出処理（テクスチャーの特徴抽出）（ステップＳ４１４）、特徴抽出処理（位置・配置の特徴抽出）（ステップＳ４１６）、・・・特徴抽出処理（動きの抽出）（ステップＳ４１８）等を実行する。そして、特徴抽出処理（色領域の抽出）（ステップＳ４１０）を実行した場合には、代表色、色分布、ＲＧＢヒストグラム、ＤＣＴ係数などの特徴記述データを作成する（ステップＳ４１１）。特徴抽出処理（輪郭形状の特徴抽出）（ステップＳ４１２）を実行した場合には、代形状評価値、フーリエ記述子、パワースペクトルなどの特徴記述データを作成する（ステップＳ４１３）。特徴抽出処理（テクスチャーの特徴抽出）（ステップＳ４１４）を実行した場合には、輝度ヒストグラム、フーリエスペクトル、共起行列、自己関数などの特徴記述データを作成する（ステップＳ４１５）。特徴抽出処理（位置・配置の特徴抽出）（ステップＳ４１６）を実行した場合には、位置座標、ＤＣＴ係数など特徴記述データを作成する（ステップＳ４１７）。特徴抽出処理（動きの抽出）（ステップＳ４１８）を実行した場合には、動きスペクトル、強度分布などの特徴記述データを作成する（ステップＳ４１９）。

前記色の特徴抽出では、当該他像の色データに基づいて、ＲＧＢやＨＳＶ値などの色差ヒストグラムや色分布、あるいは、色差成分のＤＣＴ変換後のＤＣＴ係数などを求め、特徴量とする。輪郭形状の特徴抽出では、輪郭図形の外周輪郭線に沿って偏角関数や位置座標の列を一次元データに変換した後、Ｐ型フーリエ記述子（後述）等のフーリエ記述子や、各種の形状評価値などを求め、形状の特徴量とする。テクスチャーの特徴抽出では、当該画像データの輝度ヒストグラム分布やフーリエ変換スペクトルなどを求めたり、あるいは、後述するように輝度の共起行列や複数のマスクを用いる高次局所自己相関関数による相関行列等を求め、テクスチャーの特徴量とする。同様に、主要被写体の配置や配色などの特徴抽出には、輝度情報や色差情報の位置座標やＤＣＴ変換により周波数空間に変換した場合のＤＣＴ係数などを求め、配置や配色の特徴量とする。動きの特徴抽出では、動きベクトルやフーリエ変換、ＤＣＴ変換による強度分布などを特徴量とすることができる。その他、抽出する特徴量に応じて、所定の輝度や色相等の領域の抽出処理、所定のフィルタ処理などを行ってもよい。

次に、認識処理をするか否かを判断し（ステップＳ４２０）、認識処理をする場合には、認識対象のテンプレートデータを読み込む（ステップＳ４２１）。次の認識処理により、前記読み込んだテンプレートデータとのテンプレートマッチング、又は、相関度、類似度、類似距離、差分我の算出などを行い（ステップＳ４２２）。つまり、被写体の識別や類似度の判定、人間顔領域の識別などを必要とする場合には、識別したいテンプレートとなる参照画像データやその特徴データを読み込み、対象画像と参照画像とのテンプレートマッチング、又は、各々の特徴データを比較して、相関度、類似度、類似距離などを算出する。そして、前記ステップＳ４１０〜Ｓ４１９の処理により、抽出されたデータ、又は、前記ステップＳ４２２の処理による認識結果を出力する（ステップＳ４２３）。

次に、上記において用いる特徴抽出方の前処理の具体例として、１）鮮鋭化又は輪郭強調処理、２）２値化、平均化、輝度変換処理、３）膨脹収縮又は細線化処理について、また、特徴抽出の本処理の具体例として、４）輪郭抽出と形状種別の特徴抽出、５）代表色特徴の抽出、６）色分布特徴の抽出、７）色領域の抽出、８）テクスチャー特徴の抽出につて説明する。無論、その他の特徴抽出処理方法や、その他の特徴量を用いて構成するようにしてもよい。

１）先鋭化又は輪郭強調処理
被写体像の輪郭形状や外形パターン、面積などを特徴データに利用する場合には、特徴抽出したい画像データの輝度値等を、画素毎に輪郭強調やエッジ検出用のフィルタ演算等を行って、輪郭強調や外形抽出した画像に変換してから、特徴データ等を抽出する。例えば、一時微分フィルタ、又は二次微分フィルタ処理を用いて、画像の鮮鋭化処理、エッジ（輪郭）抽出処理を行うことができる。

一般に、階調が変化する部分のエッジがボケた画像ｆ（ｉ，ｊ）を、
Δｘｆ＝ｆ（ｉ＋ｊ，ｊ）−ｊ（ｉ−１，ｊ）、
Δｙｆ＝ｆ（ｉ＋ｊ，ｊ）−ｊ（ｉ−１，ｊ）、
ｇ（ｉ，ｊ）＝√｛（Δｘｆ）２＋（Δｙｆ）２｝、
又は、ｇ（ｉ，ｊ）＝｜Δｘｆ｜＋｜Δｙｆ｜、
等の演算により、１次部分や勾配（Gradient）を求めると、階調が変化する勾配部分や輪郭を抽出できる。

あるいは、
∇２ｆ（ｉ，ｊ）＝∂２ｆ／∂ｘ２＋∂２ｆ／∂ｙ２、又は、
∇２ｆ（ｉ，ｊ）＝ｆ（ｉ＋１，ｊ）＋ｆ（ｉ−１，ｊ）＋ｆ（ｉ，ｊ−１）＋ｆ（ｉ，ｊ −１）−４ｆ（ｉ，ｊ）
等の演算により、さらに微分する２次微分（Laplacian）処理を施し、この結果を原画像データから差し引くと、エッジ部分の高周波成分を強調した画像を合成でき、ボケたエッジや輪郭を強調することができる。エッジや輪郭の強調処理をソフトウエア処理で御構内には、「Ｐｒｅｗｉｔｔフィルタ」「Ｓｏｂｅｉフィルタ」や「Ｋｉｒｓｃｈフィルタ」「Ｒｏｂｅｒｔｓフィルタ」等の１次微分の空間フィルタ演算子（オペレータ）、又は、「Ｌａｐｌａｃｉａｎｔフィルタ」等の２次微分の空間フィルタ演算子等を用いることができる。

２）２値化、平均化処理、輝度変換処理
また、輝度ヒストグラムの変換処理などにより、中間階調など画像強調を行う例、２値化処理や所定の輝度領域の抽出などができる。被写体像の輝度値や色差値の分布パターンなどを特徴データとして利用する場合に、画像データの輝度分布（ヒストグラム）や色差成分毎のヒストグラムを求め、入力輝度と出力輝度の変換関数などを設定して、輝度変換処理を行うことにより、中間階調などの強調や圧縮、コントラストの改善などができる。また、所定の閾値との大小比較結果に基づいて２値化処理して、所定の輝度の領域だけを抽出することができる。あるいは、画素数毎に輝度値や色差値を平均化して、パターン単純化や情報量の圧縮ができる。

３）膨脹収縮処理又は、細線化処理
また、輪郭形状などから被写体の形状や特徴を判別するには、先ず、形状を単純化して情報量を圧縮や線図形化してから判別することが好ましい。２値化された画像の輪郭や、１−画素と０−画素の境界領域で、１−画素を（８近傍の画素の）一層分だけ外側に太くする、所謂「膨脹」（Expansion）処理を行うと、輪郭などの境界部分の小さな孔や溝が取り除かれ、また、逆に、一層分だけ細くする「収縮」（Contraction）処理により境界部分の突起や孤立点などが取り除かれるので、膨脹処理と収縮処理を組み合わせることで、凹部や凸部の除去や形状の単純化ができる。

また、２値化された画像から、線幅が１の中心を抽出する、所謂「細線化」（Thinning）処理により、骨状（スケルトン）の概略形状を求めることができる。２値化された輪郭パターンの周囲を外側と内側とから境界に沿ってたどり、境界部画素を１とし、残りの画素を０とする「境界線追跡」処理により、輪郭の境界線のみの画像に変換できる。あるいは、輪郭形状の数画素毎に選択した画素のみを折れ線で連結する「折れ線近似」処理などを用いてもよい。

４−１）輪郭形状の抽出
形状の識別は、２値化や線図形化した（被写体の画像など）参照するテンプレート画像やその特徴量を記憶しておき、それと（記録済みの画像データなど）入力画像の２同じく値化や線図形化した画像や特徴データとの間で、相関度や類似度などを計算して、形状の識別や類似度の判別ができる。また、簡略には、被写体像の２値化画像や輪郭図形、境界線図形等の縦横の大きさ、半径、周囲長、画素数、面積、幾何学的な寸法の比などから、簡易に類似度判断や被写体の識別を行ってもよい。

例えば、円では周囲長Ｌ＝２πｒ、面積Ｓ＝πｒ２なので、（周囲長Ｌ）２／（面積Ａ）＝４πとなることから、図形の輪郭線の円らしさを、
円らしさ＝（周囲長Ｌ）２／（面積Ｓ）、又は、
円形度ｅ＝４π（円らしさ）＝４πＳ／Ｌ２として計算して、
円らしさが４π（＝12.57）に近い値かどうか、又は、円形度が１．０に近いかどうかで、丸い形状の被写体か、凹凸が多い尖った被写体か等を計算し、形状の識別に利用できる。同様に、輪郭の縦横比＝長さｈ／幅ｗなどから、形状の「細長さ」等の評価値を求めてもよい。

４−２）輪郭形状の関数、フーリエ記述子
また、図形の輪郭線に沿って、始点から順次、偏角θ（ｓ）を求めて、１次元関数（偏角関数）に変換して、輪郭形状の特徴量として利用できる。あるいは、同様に、輪郭線に沿って順次、位置座標ｘ（ｓ）、ｙ（ｓ）、又は、ｚ（ｓ）＝ｘ（ｓ）＋ｊ・ｙ（ｓ）を求めて、１次元の位置座標関数に変換して、輪郭形状の特徴量として利用できる。
（Ｚ形記述子）
例えば、前述の偏角関数θ（ｓ）を正規化して、正規化偏角関数：θＮ（ｓ）＝θ（ｓ）−θ（０）−２πｓ／Ｌ、
を求め、これの（ｉ＝０，１，２・・・，Ｎ−１）の離散化データφ［ｉ］をフーリエ変換して、次のようなＺ（Zahn）形フーリエ記述子を求め、輪郭形状の識別に利用できる。
θＮ（ｓ）の離散化データ：φ［ｉ］＝θ［ｉ］−θ［０］−２πｉ／Ｎ
（i=0,1,2・・・,N-1）
θＮ（ｓ）の離散フーリエ変換（＝Ｚ形記述子）：Ｃｚ［ｋ］＝（１／Ｎ）Σφ［ｉ］EXP（−ｊ２πｋｉ／Ｎ）。

（Ｇ形記述子）
同様に、前述の位置座標の複素平面座標ｚ（ｓ）を離散フーリエ変換して、Ｇ（Grundlund）形フーリエ記述子を求め、輪郭形状の識別に利用してもよい。
位置座標の複素平面座標ｚ（ｓ）＝ｘ（ｓ）＋ｊ・ｙ［ｓ］、
ｚ（ｓ）の離散化データｚ（ｉ）＝ｘ［ｉ］＋ｊ・ｙ［０］ （i=0,1,2・・・,N-1）、
ｚ（ｓ）の離散フーリエ変換（＝Ｇ記述子）：Ｃｇ［ｋ］＝（１／Ｎ）Σｚ［ｉ］EXP（−ｊ２πｋｉ／Ｎ）。

（Ｐ形記述子）
また、図１５に示すように、折れ線近似した偏角θ［ｉ］の指数関数ｗ［ｉ］を求め、ｗ［ｉ］をフーリエ変換した、Ｐ（Phase）形記述子を求め、輪郭形状の識別に利用してもよい。
ｗ［ｉ］＝exp（ｊθ［ｉ］）＝cosθ［ｉ］＋sinθ［ｉ］
＝（ｚ［ｉ＋１］−ｚ［ｉ］）／δ、
ただし、線分δ＝｜ｚ［ｉ＋１］−ｚ［ｉ］｜
ｗ［ｉ］の離散フーリエ変換（＝ｐ形記述子）：Ｃｐ［ｋ］＝（１／Ｎ）Σｗ［ｉ］exp（−ｊ２πｋｉ／Ｎ）。

４−３）輪郭の抽出と形状の識別
図１６は、輪郭形状の抽出と被写体の形状識別処理の処理手順を示すフローチャートである。先ず、被写体の画像を取り込み（ステップＳ５０１）、次に、輝度階調値又は色差信号に基づいて複数領域に分割する（ステップＳ５０２）。さらに、主要被写体の領域を選択し（ステップＳ５０３）、この選択した領域の画像を２値化し（ステップＳ５０４）、エッジを検出する（ステップＳ５０５）。次に、検出したエッジをＮ辺の等辺多角形で近似し（ステップＳ５０６）、得られた輪郭線のＰ形記述子などフーリエ記述子を求め（ステップＳ５０７）、パワースペクトルを求める（ステップＳ５０８）。引き続き、低周波成分からｎ個の成分を取り出し、データ圧縮して、輪郭線データとし（ステップＳ５０９）、求めた特徴量をメモリー（特徴抽出／認識用データメモリー５６）に記憶する（ステップＳ５１０）。そして、このメモリーに記憶した特徴量と記憶済のテンプレートデータとを順次比較し、類似度を求める（ステップＳ５１１）。さらに、当該被写体を最も類似するテンプレートデータに対応する種類と判定して、当該種類の特徴データを記述し（ステップＳ５１２）、この特徴データの記述データを出力する（ステップＳ５１３）。

つまり、本例では、被写体画像から輝度又は色差信号にに基づいて複数領域に分割し、その中から被写体領域を選択し、領域画像を２値化し、エッジを検出、Ｎ辺の等辺多角形などで近似し、前述のような輪郭線のＰ型記述子、あるいは、そのフーリエスペクトルやＤＣＴ変換の低周波成分からｎ個の成分（係数）を取り出して、輪郭形状の特徴データとする。形状の識別を行う場合には、比較参照するテンプレート画像の特徴量を順次読み出して、当該画像の特徴量と比較し、最も類似するテンプレートに対応する形状であると識別できるので、その特徴データ及び識別結果を出力する。

４−４）人間の顔など、特定被写体の識別

例えば、顔の眼の領域を抽出するためには瞳領域のマスクパターンを作成し、これを参照パターンとして、テンプレートマッチング等を用いて検索して、入力画像から眼や顔のある画像領域を検索できる。また、眼を認識するための条件データとしては、例えば、
眼の細長さ＝ｂ／ａとして、α１≦ｂ／ａ≦α２の条件に合致する、又は、
（眼の面積）Ｓ１≒π×ａ×ｂ、（黒眼（瞳）の面積）Ｓ２＝π×ｒ２、黒眼（瞳）の比率Ｓ２／Ｓ１＝ｒ２／ａｂとして、β１≦ｒ２／ａｂ≦β２などの条件に合致する被写体画像の領域を「眼の領域」と識別することができる。また、人間の顔と認識するための条件データの設定で、例えば、（眉下〜鼻下までの長さ）ｈ１≒（鼻下〜あごまでの長さ）ｈ２、又は、（右眼の幅）Ｗ１≒（両眼の間）Ｗ２≒（左眼の幅）Ｗ３、などの条件を満たす被写体画像の領域を「顔の領域」であると識別できる。

さらに、後述する代表色の特徴抽出処理、又は色領域の抽出処理などを組合せて、肌色の画像領域を取り出した後に、その領域の輪郭形状から顔形状の認識を行うことにより、人物の顔の領域画像などを効率よく認識できる。

５）代表色、色分布の抽出
図１７は、選択された領域画像のＲＧＢヒストグラムから代表色やその分布の分散度合いを特徴抽出する処理手順例を示すフローチャートである。被写体の画像を取り込み（ステップＳ６０１）、輝度階調値又は色差信号に基づいて複数の輪郭領域に分割する（ステップＳ６０２）。次に、面積の大きい領域、又は中央のフォーカス枠に近い領域から順に１〜ｎ個の被写体領域を選択し（ステップＳ６０３）、各分割領域毎にＲＧＢ別ヒストグラム分布Ｐｒ（ｉ）、Ｐｇ（ｉ）、Ｐｂ（ｉ）を求める（ステップＳ６０４）引き続き、このＰｒ（ｉ）、Ｐｇ（ｉ）、Ｐｂ（ｉ）をそれぞれ全体が１．０となるように正規化する（ステップＳ６０５）。

そして、下記のようにＲＧＢヒストグラムＰｒ（ｉ）、Ｐｇ（ｉ）、Ｐｂ（ｉ）の最頻値を求める（ステップＳ６０６）。
μｒ＝Ｍａｘ｛Ｐｒ（ｉ）｝，
μｇ＝Ｍａｘ｛Ｐｇ（ｉ）｝，
μｂ＝Ｍａｘ｛Ｐｂ（ｉ）｝，
また、下記のようにＲＧＢヒストグラムＰｒ（ｉ）、Ｐｇ（ｉ）、Ｐｂ（ｉ）の平均μを求める（ステップＳ６０７）。
μｒ＝Σｉ・Ｐｒ（ｉ），
μｇ＝Σｉ・Ｐｇ（ｉ），
μｂ＝Σｉ・Ｐｂ（ｉ），
また、下記のようにＲＧＢヒストグラムＰｒ（ｉ）、Ｐｇ（ｉ）、Ｐｂ（ｉ）の分散σ２を求める（ステップＳ６０８）。
σｒ２＝Σ（ｉ−μｒ）２・Ｐｒ（ｉ），
σｇ２＝Σ（ｉ−μｇ）２・Ｐｇ（ｉ），
σｂ２＝Σ（ｉ−μｂ）２・Ｐｂ（ｉ），
次に、各領域のＲＧＢヒストグラムの最頻値又は平均値を代表色とし、代表色とＲＧＢの分散値を色の特徴データとして記述して出力する（ステップＳ６０９）。

６）色分布の抽出
図１８は、領域画像を複数ブロックに分割して、ブロック毎の平均色を求め、そのＤＣＴ変換したＤＣＴ係数の分布データなど、色分布や配色パターンの特徴を抽出する処理手順例を示すフローチャートである。

撮影画像、又は、領域画像を取り込み（ステップＳ７０１）、領域を縦ｍ×横ｎの複数ブロック領域に分割する（ステップＳ７０２）。次に、各分割ブロック領域の平均色を算出し（ステップＳ２０３）、各分割ブロック領域の平均色をＲＧＢ又はＹＣｂＣｒ空間でＤＦＴ変換又はＤＣＴ変換で周波数に変換し、各係数を求める（ステップＳ７０４）。そして、ＤＦＴ又はＤＣＴの低周波成分の係数をジグザグスキャンなどで走査して１次元化し（ステップＳ７０５）、この１次元化した各係数を量子化（デジタル符号化）し（ステップＳ７０６）、このデジタル符号化したＤＦＴ又はＤＣＴ係数列を、色分布の特徴データとし記述し出力する（ステップＳ７０７）

７）色領域の抽出

また、人間の肌色領域の抽出など、特定の色の画像領域や輪郭の抽出を行う場合、人間の肌の分光反射率特性、又は、撮影画像サンプル中の肌色領域のＲＧＢ値、もしくはＨＳＶ値（色相：Ｈｕｅ、彩度：Ｓａｔｕｒａｔｉｏｎ、明度：Ｖａｌｕｅ ｏｆ Ｂｒｉｇｈｔｎｅｓｓ）などを元に、肌色の領域や人間の肌や顔の領域を抽出できる。例えば、肌色の色相（Ｈｕｅ）と彩度（Ｓａｔｕｒａｔｉｏｎ）の分布データをとると、肌色の画像データの多くは、彩度は広い範囲で分布するが、色相（Ｈｕｅ）環では、約６°〜３８°の範囲に多く分布することが知られている。これらを利用すれば、ＨＳＶ値から、色相（Ｈｕｅ）が約６°〜３８°の範囲の人間の顔の肌色とするなど、特定の色の被写体の領域を適宜抽出することができる。

８）テクスチャーの特徴抽出
次に、画像の肌理の荒さ、細かさ、模様パターンなどのテクスチャーの特徴抽出につて説明する。
８−１）高次局所自己相関関数によるテクスチャー特徴抽出
図１９（ａ）は、高次局所自己相関関数によるテクスチャー特徴抽出例を示すフローチャートであり、同図（ｂ）はその説明図である。図（ａ）に示すように、撮影画像を取り込み（ステップＳ８０１）、各画像のＲＧＢ成分をＹＩＱ成分に変換し、Ｙ画像、Ｉ画像、Ｑ画像を得る（ステップＳ８０２）。次に、設定された特徴に応じて、同図（ｂ）に示すように、（ｎ×ｎ）画素のマスクパターン１〜２５（図（ｂ）のＮｏ．１〜２５）を作成する（ステップＳ８０３）。さらに、下記に示すように、各画像で、各参照点（ｉ，ｊ）にマスクパターン１〜２５の参照点を重ね合わせ、各画素の輝度値ｆ（ｉ，ｊ）ｔと掛け合わせ（論理積）、特徴ベクトルＣ１〜２５を求める（ステップＳ８０４）。
Ｃ１＝ΣｉΣｊ｛ｆ（ｉ，ｊ）｝、
Ｃ２＝ΣｉΣｊ｛ｆ（ｉ，ｊ）ｆ（ｉ＋１，ｊ）｝、
・・・
Ｃ５＝ΣｉΣｊ｛ｆ（ｉ，ｊ）ｆ（ｉ−１，ｊ＋１）｝、
Ｃ６＝ΣｉΣｊ｛ｆ（ｉ，ｊ）ｆ（ｉ−１，ｊ）ｆ（ｉ＋１，ｊ）｝、
・・・
Ｃ２５＝ΣｉΣｊ｛ｆ（ｉ，ｊ）ｆ（ｉ−１，ｊ＋１）ｆ（ｉ＋１，ｊ＋１）｝。

また、Ｃ（ａ１，・・・，ａＮ）＝Σｒ［ｎ√｛ｆ（ｒ）ｆ（ｒ＋ａ１）・・・ｆ（ｒ＋ａＮ）｝］により、上記のＣ１〜Ｃ２５を加算（積和）し（ステップＳ８０５）、Ｃｉ＝Ｃｉ／Σｊ｛Ｃｊ｝（ｉ，ｊ＝１〜２５）により、各特徴量を特徴ベクトル全体の和Σｊ｛Ｃｊ｝で除算して、特徴ベクトルの絶対値が１となるように正規化する（ステップＳ８０６）。そして、各ＹＩＱ画像毎に求めた局所自己相関による特徴ベクトルＣ１〜Ｃ２５、又はその統計量を、テクスチャーの特徴データとして記述し出力する（ステップＳ８０７）。

８−２）ヒストグラム分布によるテクスチャー解析
また、他の方法やより簡易な方法でテクスチャー特徴量を抽出してもよい。例えば、輝度ヒストグラム分布によりテクスチャー解析する方法として、正規化した輝度ヒストグラムＰ（ｉ）を求め、
その平均μ＝Σｉ・Ｐ（ｉ）、分散σ２＝Σ（ｉ−μ）２・Ｐ（ｉ）
歪み度Ｓ（Skewnss）＝［Σ（１−μ）３・Ｐ（ｉ）］／σ３
尖り度Ｋ（Kurtosi）＝［Σ（１−μ）４・Ｐ（ｉ）］／σ４
などを、テクスチャーの特徴データとして記述し、出力することができる。

８−３）フーリエスペクトルによるテクスチャー解析
また、フーリエスペクトルからテクスチャー解析する方法として、離散２次元フーリエ変換（ＤＦＴ）したフーリエスペクトル
Ｆ（ｕ，ｖ）＝ΣΣｆ（ｘ，ｙ）Ｗ１ｘｕＷ２ｙｕ（ただし、Ｗ１＝exp（−ｊ２π／Ｍ）を求め、
Ｆ（ｕ，ｖ）のパワースペクトルＰ（ｕ，ｖ）＝｜Ｆ（ｕ，ｖ）｜２を算出し、
これを極座標形式のＰ（ｒ，θ）に変換して、原点を中心としたドーナツ形領域のエネルギーの和ｐ（ｒ）、及び、角度θの扇形領域内のエネルギーの和ｑ（ｒ）を求め、
ｐ（ｒ）＝２Σθ＝０πＰ（ｒ，θ）、
ｑ（ｒ）＝２Σｆ＝０Ｗ／２Ｐ（ｒ，θ）。
そのヒストグラム分布のピーク、平均、分散など統計量から、例えばＰ（ｒ）のピークよりテクスチャーのきめの大きさ、ｑ（θ）のピークよりテクスチャー画素の方向性など、テクスチャーの特徴量を抽出して、特徴データを記述して、出力するようにしてもよい。

８−４）輝度の共起行列によるテクスチャー解析
また、輝度の共起行列を用いてテクスチャーの特徴を抽出してもよい。画像（ｘ，ｙ）において、画素ｆ（ｘ１、ｙ１）から距離ｄ、角度θの位置関係（ｄ，θ）にある画素ｆ（ｘ２，ｙ２）の輝度をｄ（１，２，・・・）、θ（０度、４５度、９０度、１３５度など）を変えて順次求め（ただし、距離ｄ＝ｍａｘ（｜ｘ１−ｘ２｜，｜ｙ１−ｙ２｜）
、位置関係（ｄ，θ）にある２点の輝度がそれぞれ、ｆ（ｘ１，ｙ１）＝ｉ，ｆ（ｘ２，ｙ２）＝ｊの対となる頻度（ヒストグラム）を集計して、輝度共起行列Ｐ（ｉ，ｊ；ｄ，θ）を求め、正規化した共起行列ｐ（ｉ，ｊ）＝Ｐ（ｉ，ｊ）／ΣｉΣｊ（ｉ，ｊ）から、・角２次モーメント（Angular second moment,全体の均一性を表す）ｆ１＝ΣΣ｛ｐ（ｉ，ｊ）｝２、
・コントラスト（Contrast,局所変化を表す）ｆ２＝Σ｛ｎ２ｐ（ｉ，ｊ）｝、
・方向に関する相関（Correlation）ｆ３＝ΣΣ｛（ｉ，ｊ）ｐ（ｉ，ｊ−μ２）｝／σ２、 ただし、μ＝Σｉｐ（ｉ）＝１／ｇ、（ｇ；階調数）
σ＝√｛Σ｛ｐ（ｉ）−μ｝／（ｇ−１）｝
・平方和（Sum of Squares,局所同調性を表すｆ４＝ΣΣ｛（ｉ−μ）２ｐ（ｉ，ｊ）｝、
・逆差分モーメント（Inverse difference Moment,複雑さの測度を表す）ｆ５＝ΣΣ［ｐ（ｉ，ｊ）／｛１＋（１−ｊ））｝］、
などを求めて、テクスチャーの特徴データとすることができる。

（画像の類似度の判定）

以上のような特徴抽出処理により、輪郭抽出と輪郭識別の特徴抽出、代表色の抽出、色分布の抽出、色領域の抽出、テクスチャー特徴の抽出などを行い、抽出された画像の特徴データを用いて、前述したように
Ａ）被写体像の画像の（輪郭形状、代表色、テクスチャーなど）所定の特徴量と、対象とする記録済み画像データの該当する特徴量との一致する特徴が多い画像を被写体に類似する画像として効率よく検索することができる。又は、前述の抽出された被写体の画像の所定の特徴量と記録済み画像データのそれとの相関や類似度をそれぞれ求めて、その類似度や類似距離、相関度などから、あるいはこれらの組合せから類似度を判定してもよい。
Ｂ）あるいは、前述の抽出された特徴量を組合せて、例えば、色相が肌色で輪郭形状が円に近い画像の領域を対象画像から検索したり、テンプレートマッチング処理を行うことにより、人物の顔を含む画像を検索したり、人物の顔を含む画像か否かを判定して、それを画像の特徴として記述したり、検索に利用することができる。
Ｃ）一方、特徴記述データが付加されていない画像データや類似判定する所定の特徴量が設定されていない場合でも、新たに、特徴抽出処理を行うか又は特徴記述データを用いずに、画像同士の画素パターンや符号化データの比較やマッチング処理により、画像全体の類似度や相関などを計算して、以下のように、画像の類似度を判定することができる。

（類似画像の検索）
記憶されたテンプレート画像と被写体画像の類似度の判別や検索には、テンプレートマッチングなどのパターンマッチング法や、動きベクトル検出におけるブロックマッチング法などが利用できる。テンプレートマッチングにより、特徴抽出領域の入力画像ｆ［ｉ，ｊ］の特徴データの中から、例えば、（ｍ×ｎ）の記録された参照画像（又は特徴データ）ｔ［ｋ，ｌ］に一致する画像の位置を検出する。参照画像の中心（又は端点）が入力画像のある点（ｉ，ｊ）に重なるように置いて、点（ｉ，ｊ）を順に縦横にラスター走査しながら、重なる部分の画像データの類似度を順次計算して、類似度が最も高い位置点（ｉ，ｊ）を、類似する被写体がある位置として求めることができる。

（相関度（相関係数））
入力画像ｆ［ｋ，ｌ］とテンプレート画像（参照画像）ｔ［ｋ，ｌ］との相関度は、次式のピアソンの相関係数（積率相関係数）Ｒなどで算出でき、画像の類似度の判定に利用できる。又は、最も相関係数Ｒが大きくなる位置が、検索する類似被写体がある位置として所定の被写体の検索に利用できる。
Ｒ＝（画像ｆと画像ｔの共分散）／ｆ（画像ｆの標準偏差）・（画像ｔの標準偏差）
＝［ΣＬ＝０ｎ−１ΣＫ＝０ｍ−１｛ｆ［ｋ，ｌ］−ｆＡＶ｝｛ｔ［ｋ，ｌ］−ｔＡＶ｝］
／√［ΣＬ＝０ｎ−１ΣＫ＝０ｍ−１｛ｆ［ｋ，ｌ］−ｆＡＶ｝２］・√［ΣＬ＝０ｎ−１ΣＫ＝０ｍ−１｛ｔ［ｋ，ｌ］−ｔＡＶ｝２］
ただし、ｆＡＶ：参照画像ｆ［ｋ，ｌ］の画像データ（輝度値、色差値、特徴量など）の平均値、
ｔＡＶ：参照画像ｔ［ｋ，ｌ］の画像データ（輝度値、色差値、特徴量など）の平均値、

（テンプレートマッチングの類似度）
テンプレートマッチングなど、画像ｆ［ｉ，ｊ］の中から、画像サイズ（ｍ×ｎ）の画像ｔ［ｋ，ｌ］を走査して検索する場合、類似度は、次式で計算でき、類似度ｒ（ｉ，ｊ）が最も大きくなる走査位置の点（ｉ，ｊ）が類似する被写体の位置として求まる。
Ｒ（ｉ，ｊ）＝ΣＬ＝０ｎ−１ΣＫ＝０ｍ−１ｆ［ｉ−（ｍ／２）＋ｋ，ｊ−（ｎ／２）＋１］・ｔ［ｋ，ｌ］
ただし、（ｉ，ｊ）：点の位置座標、ｆ［ｉ，ｊ］：入力画像データ、ｔ［ｋ，ｌ］：テンプレート画像のデータ、（ｍ×ｎ）：テンプレート画像のサイズ。
これを、前述の相関係数Ｒと同様に、平均値を差し引くなど正規化して用いてもよい。

（絶対値差分和、類似距離）
前記の類似度、Ｒ（ｉ，ｊ）では乗算のための計算が増えるため、２値化画像など、平均値を差し引いたり、正規化を省略したりできる場合には、類似度の代わりに、次式のような画像間の差分和により、相違の程度（「距離」）を表すＤ（ｉ，ｊ）を求め、これを評価関数として利用できる。この場合には、加減算だけで計算できるので演算を高速化できる。この場合は、距離Ｄ（ｉ，ｊ）が最も小さい点（ｉ，ｊ）がマッチング位置を表す。
Ｄ（ｉ，ｊ）＝ΣＬ＝０ｎ−１ΣＫ＝０ｍ−１｜ｆ［ｉ−（ｍ／２）＋ｋ，ｊ−（ｎ／２）＋１］−ｔ［ｋ，ｌ］｜
ただし、（ｉ，ｊ）：点の位置座標、ｆ［ｉ，ｊ］：入力画像データ、ｔ［ｋ，ｌ］：テンプレート画像のデータ、（ｍ×ｎ）：テンプレート画像のサイズ。

（第２の実施の形態）
図２０は、本発明の第２の実施の形態を示すシステム構成図であり、外部サーバーにある類似画像を検索する場合の構成例を示すものである。本実施の形態本例において撮像機能を備えたカメラ機器４００は、複数の画像データ４５１、各画像データ４５１のメタデータ４５２、検索ソフト４５３、画像データのデコーダ４５４、ＭＰＥＧ７等記述言語デコーダ４５５、外部通信ソフト４５６、及びＵＳＢ等４５７を有している。また、ＰＣ／通信装置／無線ＬＡＮ等６００は、カメラ転送ソフト６５１、ブラウザ６５２、ＯＳ（基本ソフト）６５３、ＵＳＢ等６５４、ＨＴＴＰ，ＦＴＰ６５５、ＴＣＰ／ＩＰ６５６、ＥｔｈｅｒＮｅｔ／ＰＰＰ／無線ＬＡＮ６５７を有している。また、ウェブ上のサーバー装置７００は、サーバーソフト７５１、インデックスデータ７５２、ＭＰＥＧ７等記述データＤＢ７５３、画像データＤＢ７５４を有しているとともに、ＨＴＴＰ，ＦＴＰ７５５、ＴＣＰ／ＩＰ７５６、ＥｔｈｅｒＮｅｔ／ＰＰＰ／無線ＬＡＮ７５７を有している。そして、カメラ機器４００とＰＣ／通信装置／無線ＬＡＮ等６００とは、ＵＳＢ等４５７、６５４を介して接続され、ＰＣ／通信装置／無線ＬＡＮ等６００とサーバー装置７００は、インターネット５００を介して接続されている。

すなわち、本実施の形態は、カメラ装置を無線ＬＡＮ通信機能やＷＡＮ通信機能を設けた携帯電話ななどの通信装置に接続して、Ｗｅｂ上の画像サーバーなどに接続（好ましくはワイヤレス接続）して、被写体の撮影時の被写体像に類似する画像データをカメラ装置のメモリー媒体内の画像データの中だけでなく、外部の画像サーバーに保存記憶された画像データの中からも遠隔操作できるようにしたものである。

例えば、カメラ装置側において被写体像から抽出した特徴データなど、検索したい所望の特徴記述データ又はキーワードをＷｅｂ上のサーバー装置に送信し、Ｗｅｂ上のサーバー装置からは検索用のＩｎｄｅｘデータや画像データの特徴データが記憶されたＭＰＥＧ７などのメタデータのストリームが送られるので、カメラ装置側では、受信されたメタデータを参照することにより、その中から当該被写体画像の特徴データに類似する画像データを検索して、当該画像データを要求する信号を送信すると、サーバー装置側からは当該画像データ又はサムネイル画像が送信されてくるので、それを受信して、前述した実施の形態と同様に、カメラ装置のファインダー画面に被写体像に類似する画像のサムネイルを表示することができる。

ＭＰＥＧ−７Ｖｉｓｕａｌ（ＩＳＯ／ＩＥＣ １５９３８−３）などに準じた特徴記述データを利用して検索する場合には、不要な大量の画像データを送受信することがないので、小型のカメラ装置でも、高速に類似画像の検索が行える。この場合には、第１の実施の形態のようにカメラ本体に検索機能を内蔵しないでも、カメラ装置からは検索したい画像データ、又は、その特徴記述データを送信して、画像サーバー側に設けられた検索エンジンや画像検索機能を利用して、類似画像の検索を行ってもよい。また、第１の実施の形態と同様に、被写体像に類似する画像が検索され、ファインダーに表示された類似画像の画像データに対応付けて記録されている撮影情報が読み出され、撮影情報に含まれる所定の撮影条件が、今回の被写体を撮影する際の撮影条件としてカメラ装置に設定することもできる。

したがって、この実施の形態によれば、被写体像を狙ってレリーズ釦を半押しするだけで、Ｗｅｂ上に遠隔のサーバー装置にある各種の撮影済み画像から被写体像の特徴と類似するシーンの画像が自動的に検索表示され、所望のシーンや画像を選択するだけで、自分の撮影した画像だけでなく、検索できる画像や対象が増加する利点がある。また、多数の撮影者やプロカメラマンなどの過去の作例と同じ撮影条件に自動設定することができ、多様なシーンや被写体の状況でも、より最適な撮影条件に設定して、誰でも所望の作例や表現に近い撮影ができる。

（第３の実施の形態）

図２１は、本発明の第３の実施の形態に係るデジタルカメラ１の具体的回路構成を示すブロック図である。このデジタルカメラ１は、前記図３に示した構成に加えて、制御回路２２に接続されたＧＰＳ受信部７５を備えている。このＧＰＳ受信部７５は、アンテナ７６、ＲＦ受信部７７、拡散復調部７８、測位／時刻情報演算部７９及び時計回路８０を備えている。測位／時刻情報演算部７９は、衛星データ８１を用いて現在位置を演算するととともに受信して正確な標準時刻を時計回路８０に与える。時計回路８０は、発振回路８２からのクロック信号に基づき現在日時を生成するとともに、測位／時刻情報演算部７９からの正確な標準時刻に基づき現在日時を修正する。したがって、測位／時刻情報演算部７９と時計回路８０とからは、現在位データ及び（日付を含む）現在時刻データ８３が制御回路２２に出力される。

一方、ＧＰＳ受信部７５と測位用信号電波で無線接続される複数のＧＰＳ測位衛星８４は、各々受信アンテナ８５、受信部５６、制御部８７、原子時計８８、標準時計８９、航法メッセージ部９０、拡散変調部９１、送信部９２及び送信アンテナ９３を備えている。また、地上管制局９４は、原子時計９５、標準時計９６及び送信アンテナ９７を備えている。そして、地上管制局９４は標準時刻を送信し、ＧＰＳ測位衛星８４は、これを受信し受信した標準時刻、又は原子時計９８に基づき標準時計８９が計時した標準時刻を測位用信号電波に重畳して送信する。

ＧＰＳ受信部７５は、この測位用信号電波を受信して、各衛星の疑似距離を計測するとともに、予め記憶している各衛星の運行暦情報（アルマナックデータ）、及び受信した測位用信号に含まれる各衛星の詳細軌道情報（エフェメリスデータ）などを用いて、衛星捕捉処理及び測位演算処理を行う。そして、上空の３〜４個以上のＧＰＳ測位衛星８４の現在の位置座標を推測演算し、推測された各衛星８４の位置と各衛星との疑似距離から、デジタルカメラ１の現在の緯度、経度、高度など位置情報を算出することができる。４個以上のＧＰＳ測位衛星８４からの信号を有効に受信できた場合には、現在位置に加えて（衛星搭載の原子時計８８による標準時計に準じた）高精度の日時情報が得られるので、これら現在位データ及び現在時刻データ８３として制御回路２２に出力することにより、制御回路２２に内蔵の時計も高精度に自動校正できる。

図４及び図２２は、本実施の形態の処理手順を示す一連フローチャートであり、制御回路２２はプログラムメモリー２３に格納されているプログラムに基づき、このフローチャートに従って処理を実行する。すなわち、図４に示すフローチャートに従って、前述したステップＳ１０１〜Ｓ１２３の処理を実行し、ステップＳ１１７の判断で類似画像検索機能がＯＮと判断された場合に、このステップＳ１１７から図２２のステップＳ３２４に進む。そして、このステップＳ３２４において、ＧＰＳ受信部７５、センサ計測回路３４、撮影制御部２５からの撮影関連情報を入力させる。ここで撮影関連情報とは、少なくとも図１３に示した撮影条件設定データと、ＧＰＳ受信部７５から得られた当該デジタルカメラ１の位置情報である撮影場所の位置情報及び現在の日時情報を含む情報である。次に、この入力した撮影関連情報から撮影場所の位置情報や日時情報などの所定の撮影関連情報を抽出してデータメモリー２４に記憶する（ステップＳ３２５）。また、外部メモリー媒体３１（又は磁気ディスク４８）に記録済の画像データを順次読み出すか、サーバー装置７０に記録済みの画像データを順次受信する（ステップＳ３２６）。この読み出された（受信された）画像データから所定の撮影関連情報を抽出して、データメモリー２４に記録する（ステップＳ３２７）。

つまり、本実施の形態においては、外部メモリー媒体３１（又は磁気ディスク４８）に記録済の画像データ、及びサーバー装置７０に記録済みの画像データには、前記撮影関連情報が付随して記録されており、この撮影関連情報には前記所定の撮影関連情報が含まれている。そして、前記ステップＳ３２７で記録した読み出し画像データの所定の関連情報と、前記ステップＳ３２５で記録した現在の撮影関連情報とを比較し、類似度を算出する（ステップＳ３２８）。この算出した類似度が所定値より大きいか否かを判断し（ステップＳ３２９）、類似度が所定値以下である場合には、ステップＳ３３０〜Ｓ３３２の処理を実行することなく、ステップＳ３３３に進む。類似度が所定値より大きい場合には、この時点までの検索済画像（ステップＳ３２６で読み出した画像）と比べ、類似度が上位Ｎ個に入るほど大きいか否かを判断する（ステップＳ３３０）。類似度が上位Ｎ個に入るほど大きくない場合には、ステップＳ３３１の処理を行うことなくステップＳ３３２に進む。また、類似度が上位Ｎ個に入るほど大きい場合には、類似度が大きい検索画像のファイル名と類似度を、検索画像として上位Ｎ個まで順次更新して、データメモリー２４に記憶する（ステップＳ３３１）。また、この時点までに検索された類似画像数Ｓ（ステップＳ３２９で類似度が所定値より大きいと判断された画像数Ｓ）を計数する（ステップＳ３３２）。

次のステップＳ３３３においては、下記（１）〜（３）の少なくともいずれか１つあったか否かを判断する。
（１）最後の画像データか否か。
（２）検索終了操作があったか否か。
（３）検索された画像数Ｓ≧Ｓｍａｘ（所定最大値）か否か。

このステップＳ３３３の判断がＹＥＳとなるまで、次の画像データを選択して（ステップＳ３３４）、ステップＳ３２６〜Ｓ３３３の処理を繰り返す。ステップＳ３３３の判断がＹＥＳとなったならば、１個以上の類似する有効画像（ステップＳ３２９の判断がＹＥＳとなった画像）が検索されたか否かを判断する（ステップＳ３３５）。類似する有効画像が検索されなかった場合には、ファインダー２９に類似画像が見つからない旨を表示し、又はエラー表示を行う（ステップＳ３３６）。

また、１個以上の類似する有効画像が検索された場合には、類似度が高い検索画像（Ｎ個）のうち、表示する画像（Ｄ個）のサムネイル画像を類似度が高い順にファインダー２９に表示する（ステップＳ３３７）。しがたって、このステップＳ３３７での処理により、例えばＤ＝３であり、また３個以上の類似する有効画像が検索された場合には、図２３に例示するように、ファインダー２９には、被写体像のスルー映像６１とともに、近い位置で撮影された画像（１）〜（３）が表示されることとなる。なお、同図に示すように、ファインダー２９には、近い位置で撮影された画像（１）〜（３）の近傍に、各撮影位置情報（経度、緯度）、日時情報を表示させ、被写体像のスルー映像６１の一部に、点在の撮影場所の位置情報（経度、緯度）、撮影日時情報（現在日時）を表示させるとともに、前記画像（１）〜（３）のいずれかの近傍には、カーソル６２を表示させる。

次に、前記カーソル６２を移動させるための操作があったか否かを判断し（ステップＳ３３８）、該操作があったならば、操作に応じて次の画像を選択し、該画像に対応する位置にカーソル６２を表示させる（ステップＳ３３９）。また、カーソル６２を表示されている類似画像外に移動させる操作があった場合には、次に類似度が高い画像（Ｄ個）を表示する（ステップＳ３４０）。また、ステップＳ３３８での判断の結果、カーソル移動操作がなかった場合には、決定キー操作があったか否かを判断する（ステップＳ３４１）。決定キー操作があったならば、カーソル６２により選択された類似画像を撮影条件設定の見本画像に決定する（ステップＳ３４２）。そして、この見本画像として決定した類似画像の画像データとともに記憶されている撮影条件情報に応じて、カメラの撮影条件を再設定する（ステップＳ３４３）。

この再設定に際しては、類似画像の画像データとともに記憶されている撮影条件情報をそのまま、撮影制御部２５の撮影条件設定データ２５ａとして設定する。あるいは、前記ステップＳ１０６等で設定された撮影条件を前記撮影条件情報に基づき修正するようにしてもよい。

以上に説明したステップＳ３３６、Ｓ３４０、Ｓ３４３のいずれかの処理を行ったならば、前述した図４のステップＳ１１８に進む。したがって、ステップＳ３４３の処理が行われてステップＳ１１８に進んだ場合には、ユーザーはレリーズ釦３を半押してＡＥロック、ＡＦロックの状態にして、見本画像を選択した状態にある。そして、ユーザーがレリーズ釦３を全押しすると、前述したステップＳ３１９〜Ｓ３２３の処理が実行され、ユーザーが前記見本画像を参考にして決定した構図や被写体のポーズからなる画像が記録されることとなる。

すなわち、本実施の形態によれば、被写体を狙うだけで、今回の撮影シーンと同じシーンや、近くの場所、同じ季節、同じ時刻などで撮影された類似する撮影済みの画像が、自動的に検索されてファインダー２９に被写体画像とともに表示される。よって、以前の同じ場所や季節、同じ時間帯などの類似のシーンの構図や、写り具合等を参考にしながら撮影したり、また、同じ被写体でも、時間経過による情景の変化や構図、ポーズの違いなどを比較しながら、今回撮影しようとする被写体や画角、構図、ポーズ、撮影条件などを選択したりして撮影することができる。また、同じ場所や同じ季節、同じ時間帯など類似する以前の撮影画像の中から、選択した画像の撮影条件をデジタルカメラ１の撮影条件としてそのまま設定できるので、被写体の状況や作画意図に合わせた撮影が容易に可能となる。

（第４の実施の形態）

図４及び図２４は、本発明の第４の実施の形態における処理手順を示す一連フローチャートであり、制御回路２２はプログラムメモリー２３に格納されているプログラムに基づき、このフローチャートに従って処理を実行する。すなわち、図４に示すフローチャートに従って、前述したステップＳ１０１〜Ｓ１２３の処理を実行し、ステップＳ１１７の判断で類似画像検索機能がＯＮと判断された場合に、このステップＳ１１７から図２４のステップＳ４２４に進む。そして、このステップＳ４２４において、被写体像のフレーム画像をデータメモリー２４に記憶する（ステップＳ４２４）。次に、この記憶した被写体像の画像データから所定の特徴量、又は特徴データを抽出してデータメモリー２４に記憶する（ステップＳ４２５）。そして、このステップＳ４２５で抽出した特徴量から対応する検索キーワードを作成し（ステップＳ４２６）、このとき複数の検索キーワードを作成する。また、外部メモリー媒体３１（又は磁気ディスク４８）に記録済の画像データを順次読み出すか、サーバー装置７０に記録済の画像データを順次受信する（ステップＳ４２７）。この読み出された（受信された）画像データから所定の特徴量又は特徴記述データを抽出して、データメモリー２４に記録する（ステップＳ４２７）。

そして、前記ステップＳ４２６で作成した検索キーワードに一致する撮影情報又は特徴データが、対象画像データ（ステップＳ４２７で読み出し又は受信した画像データ）に記録されているか否かを判断し（ステップＳ４２８）、記録されている場合には後述するステップＳ４３７に進む。記録されていない場合には、特徴抽出／画像検索用データメモリー５６内に格納されている類語辞書、心理辞書などを用いて前記検索キーワードの類語を検索し（ステップＳ４２９）、類語が検索されたか否かを判断する（ステップＳ４３０）。類語が検索されたならば、検索された類語を新しい検索キーワードとし（ステップＳ４３１）、この新しい検索キーワードに一致する撮影情報又は特徴データが、対象画像データ（ステップＳ４２７で読み出し又は受信した画像データ）に記録されているか否かを判断する（ステップＳ４３２）。記録されていない場合には、前記類語辞書、心理辞書などを用いて次の類語を検索し（ステップＳ４３３）、前述したステップＳ４３０〜Ｓ４３３のループを繰り返す。その結果、ステップＳ４３２の判断がＹＥＳとなり、検索キーワードに一致する撮影情報か特徴データが記録されていると判断された場合には、後述するステップＳ４３７に進む。

しかし、ステップＳ４３２の判断がＹＥＳとなることなく、ステップＳ４３０の判断がＮＯとなった場合、つまり類語辞書、心理辞書などにおいてこれ以上類語を検索することが不可能となった場合には、ステップＳ４２７読み出すか受信した対象画像データから所定の特徴量を抽出する（ステップＳ４３４）。この抽出した対象画像特徴量から、当該画像に対応するキーワードを作成し（ステップＳ４３５）、前記この作成した検索キーワードに一致するキーワードが、前記ステップＳ４２６で作成した被写体像側の検索キーワードにあるか否かを判断する（ステップＳ４３６）。そして、ある場合にはステップＳ４３７に進み、ない場合にはステップＳ４４２に進む。

前記ステップＳ４２８、Ｓ４３２及びＳ４３６のいずれかに続くステップＳ４３７においては、検索キーワードに対する対象画像の撮影情報を取得し、検索キーワードに対する特徴データを取得するとともに、キーワードの一致数又は類似度を算出する。引き続き、この算出した一致数や類似度が所定値以上であるか否かを判断し（ステップＳ４３８）、所定値未満である場合には、ステップＳ４３９〜Ｓ４４１の処理を実行することなく、ステップＳ４４２に進む。前記一致数や類似度が所定値以上である場合には、この時点までの検索済画像（ステップＳ４２７で読み出したか受信した画像）と比べ、類似度が上位Ｎ個に入るほど大きいか否かを判断する（ステップＳ４３９）。類似度が上位Ｎ個に入るほど大きくない場合には、ステップＳ４４０の処理を行うことなくステップＳ４４１に進む。また、類似度が上位Ｎ個に入るほど大きい場合には、一致数や類似度が高い検索画像のファイル名と類似度を、上位Ｎ個まで順次更新して、データメモリー２４に記憶する（ステップＳ４４０）。また、この時点までに検索された画像数Ｓ（ステップＳ４２７で読み出すか受信した画像の数Ｓ）を計数する（ステップＳ４４１）。

次のステップＳ４４２においては、下記（１）〜（３）の少なくともいずれか１つあったか否かを判断する。
（１）最後の画像データか否か。
（２）検索終了操作があったか否か。
（３）検索された画像数Ｓ≧Ｓｍａｘ（所定最大値）か否か。

このステップＳ４４２の判断がＹＥＳとなるまで、次の画像データを選択して（ステップＳ４４３）、ステップＳ４２７〜Ｓ４４２の処理を繰り返す。ステップＳ４４２の判断がＹＥＳとなったならば、１個以上の類似する有効画像（ステップＳ４３８の判断がＹＥＳとなった画像）が検索されたか否かを判断する（ステップＳ４４４）。類似する有効画像が検索されなかった場合には、ファインダー２９に類似画像が見つからない旨を表示し、又はエラー表示を行う（ステップＳ４４５）。

また、１個以上の類似する有効画像が検索された場合には、検索された類似画像（Ｎ個）のうち、表示する画像（Ｄ個）のサムネイル画像をファインダー２９に表示する（ステップＳ４４６）。次に、前記カーソル６２を移動させるための操作があったか否かを判断し（ステップＳ４４７）、該操作があったならば、操作に応じて次の画像を選択し、該画像に対応する位置にカーソル６２を表示させる（ステップＳ４４８）。また、カーソル６２を表示されている類似画像外に移動させる操作があった場合には、次に類似度が高い画像（Ｄ個）を表示する（ステップＳ４４９）。また、ステップＳ４４７での判断の結果、カーソル移動操作がなかった場合には、決定キー操作があったか否かを判断する（ステップＳ４５０）。決定キー操作があったならば、カーソル６２により選択された類似画像を撮影条件設定の見本画像に決定する（ステップＳ４５１）。そして、この見本画像として決定した類似画像の画像データとともに記憶されている撮影条件情報に応じて、カメラの撮影条件を再設定する（ステップＳ４５１）。

この再設定に際しては、類似画像の画像データとともに記憶されている撮影条件情報をそのまま、撮影制御部２５の撮影条件設定データ２５ａとして設定する。あるいは、前記ステップＳ１０６等で設定された撮影条件を前記撮影条件情報に基づき修正するようにしてもよい。

以上に説明したステップＳ４４５、Ｓ４４９、Ｓ４５２のいずれかの処理を行ったならば、前述した図４のステップＳ１１８に進む。したがって、ステップＳ４５２の処理が行われてステップＳ４１８に進んだ場合には、ユーザーはレリーズ釦３を半押してＡＥロック、ＡＦロックの状態にして、見本画像を選択した状態にある。したがって、この選択した所望の見本画像の構図や被写体のポーズ等を参考にして、ファインダー２９に表示されている被写体像のスルー映像６１を見ながら、デジタルカメラ１の向きを調整して構図を決定したり、被写体のポーズを決定することができる。そして、ユーザーがレリーズ釦３を全押しすると、前述したステップＳ１１９〜Ｓ１２３の処理が実行され、ユーザーが前記見本画像を参考にして決定した構図や被写体のポーズからなる画像が記録されることとなる。

したがって、本実施の形態によれば、被写体像に類似する記録済み画像を、容易かつ自動的に検索して、その類似シーンの画像をファインダー２９上で確認しながら撮影できるので、被写体の選択、構図やポーズ、画角の選択などの参考にすることができる。また、選択した任意の類似画像の所定の撮影条件を、今回の撮影条件としてデジタルカメラ１に設定できるので、撮影条件に関する知識がなくても、画像にて確認した所望の撮影条件の設定が可能となる。

また、本実施の形態においては、被写体の特徴量に対応するキーワードを自動的に作成し、キーワードやその類語に対応する特徴量の画像を検索できるので、各画像から逐一特徴抽出を行わずとも、数値やテキストデータを比較参照するのみで、高速に画像検索処理を行うことができる。また、被写体と各特徴量や詳細が多少異なっていても、同種の被写体や略類似するシーンの画像などを、検索することがことができる。さらに、類似辞書や心理辞書の定義データや語句データを変更するだけで、検索レベルや範囲を調整したり、各種の類似検索に応用できるので、画像検索機能の設計や性能の調整を容易にできる利点がある。

図２５〜２７は、図２４に示したフローチャートにおけるステップＳ４２６、Ｓ４３５等において、キーワードを作成する際の処理例を示す図である。図２５（ａ）（ｂ）は、色相特徴（Ｈｕｅ、ＲＧＢ、ＸＹＺなど）からのキーワード作成例を示す図である。同図（ｂ）に示すように、画像の色相（Ｈｕｅ）の値（範囲）又はＲＧＢの値に対応してキーワードを記憶したテーブルＴ１を特徴抽出／画像検索用データメモリー５６又はプログラムメモリー２３に記憶しておく。そして、対象画像から読み取った画像の色相（Ｈｕｅ）の値（範囲）又はＲＧＢの値に対応するキーワード「Ｂｌａｃｋ 黒」・・・をテーブルＴ１から読み出すことにより、キーワードを作成する。

図２６は、明度（Ｂ）と彩度（Ｓ）特徴からのキーワード作成例を示す図である。同図（ｃ）に示すように、画像の明度Ｂと彩度Ｓとの範囲に対応してキーワード１とキーワード２とを記憶したテーブルＴ２を特徴抽出／画像検索用データメモリー５６又はプログラムメモリー２３に記憶しておく。そして、対象画像から読み取った明度Ｂと彩度Ｓとに対応するキーワード１「Ｖ：Ｖｉｖｉｄ あざやか」・・・とキーワード２「派手な」・・・とをテーブルＴ２から読み出すことにより、キーワード１、２を作成する。

図２７は、テクスチャー特徴からのキーワード作成例を示す図である。画像サンプル１〜６に対応して特徴量Ａ、Ｂ、Ｃとキーワードとを記憶したテーブルＴ３を特徴抽出／画像検索用データメモリー５６又はプログラムメモリー２３に記憶しておく。そして、対象画像にサンプル画像１〜６に対応する画像部分が存在するか否かを判断し、あるいは特徴量Ａ、Ｂ、Ｃを抽出して（前記ステップＳ４３４）、サンプル画像に対応するキーワード、あるいは特徴量Ａ、Ｂ、Ｃに対応するキーワードをテーブルＴ３から読み出すことにより、キーワードを作成する。

図２８は、図２４のフローチャートにおけるステップＳ４２９で用いる類語辞書のデータ構成例を示す図である。このデータ構成例においては、「見出し語」に対応して、「同義語」、「広義語」、」「狭義語」、「反意語」、「関連語」が記憶されている。したがって、例えば被写体像から抽出された特徴量のうち、彩度と明度の特徴量から「派手な」、「あざやかな」、・・・、輪郭形状の特徴量から「車」、・・・などのキーワードが生成された場合に、被写体像の「派手な」＋「車」というキーワードの組合せに合致する類似画像を検索する。この際、「派手な」に相当する特徴量を有する画像が見つからない場合は、類語辞書を参照して「派手」を見出し語として、「目立つ（同義語）、「彩度が高い」（狭義語）、「ラグジェアリー」（関連語）などの狭義語を検索して、「目立つ」＋「車」や、「彩度が高い」＋「自動車」、「ラグジェアリー」＋「カー」など新しいキーワード（連想検索用キーワード）として生成して、類似の画像をより広い意味領域のキーワードで類似画像を検索することができる。あるいは、類義語が「派手」（広義語）となる見出し語「赤」を逆検索して、「赤」＋「車」を連想検索用キーワードとして検索してもよい。色の特徴量以外の、輪郭形状（円い、角ばった、細長い、尖った、・・・）やテクスチャー（緻密、荒い、柔らかい、ごわごわ、ザラザラ、・・・）、色分類（全体に赤い、白い背景＋赤い丸、・・・）など、その他の特徴量についても、同様である。

類義語辞書に記憶された類語データでは定性的な特徴を表すが、例えば、それらを区分して、「表記の揺れ」の場合の距離＝０、「同義語」との距離＝１、「広義語」との距離＝２、「狭義語」との距離＝３、「反義語」との距離＝４（又は−４）、関連語との距離＝５、・・・などと、類語間でも、その類似度や距離を数値で表して、より類似度の高い特徴量を用いて検索したり、より、定性的な特徴量を用いて検索できるようにしてもよい。あるいは、これら類語の意味の類似度は、同じ語句でも、文脈や分野により意味や用例も変動するため、文書やニュース記事などにおける実例での意味や用例の頻度などから、平均化した数値などを用いてもよい。

図２９は、図２４のフローチャートにおけるステップＳ４２９で用いる心理辞書のデータ構成例を示す図である。このデータ構成例においては、「色」に対応して、「心理的な意味１（＋（プラス）イメージ）」と「心理的な意味２（−（マイナス）イメージ）」とが感情用語として記憶されている。したがって、例えば「赤」を見出し語として検索し、「情熱的」、「エネルギー」、「怒り」などの感情用語から、これらの語を含む画像データを検索することができる。

さらに、類語辞書と心理辞書とを用いると、例えば、被写体像の画像から「穏やかな」＋「顔」、「落ち着いた」＋「景色」などのキーワードが生成された場合に、「穏やか」の類語である「円い」、「角がない」、・・・、あるいは、「落ち着いた」の感情用語を持つ「青」、・・・などの特徴量を表す用語を検索して、「円い」＋「顔」を特徴する画像や、「青」＋「風景」を特徴とする画像などを検索することができる。

なお、類語辞書や心理辞書のように類語や心理イメージ（感情用語）などの定性的な意味だけでなく、図２８及び図２９に示すように「汚い−美しい」、「強い−弱い」、「快い−不快な」、「暖かい−冷たい」・・・など、対となる意味のどちらに近いかの程度を、色別に数値や空間座標などの定量的な指標で「色の意味プロファイル」や「色の意味空間マップ」として、プログラムメモリー２３に記憶しておき、その意味のプロファイルや組合せから、近い意味や心理イメージの代表色や配色などの特徴量の程度を具体的に指定して検索できるようにしてもよい。このように、連想検索では、ぴったりの画像とは言えなくても、被写体像に類似すると期待できるような画像を、より広範囲に自動的に検索することができる。

なお、本発明の実施の形態においては、画像自体を比較してその類似度を算出し、この算出した類似度に基づき被写体像に類似する類似画像を検索する構成（第１の実施の形態、図５）、画像に付随して記憶されている撮影日時、季節等の撮影日時や、撮影場所の緯度、経度、高度、地名等の撮影位置、等の撮影情報と前記被写体像の撮影時における撮影情報基づき被写体像に類似する類似画像を検索する構成（第３の実施の形態、図２２）、及び当該画像自体の特徴を示すキーワードや撮影情報を示すキーワードの類語に基づき被写体像に類似する類似画像を検索する構成（第４の実施の形態、図２４）を、各々個別の実施の形態として示した。しかし、これら各実施の形態で用いた検索方法を組み合わせて、検索を行うようにしてもよい。この場合、各検索方法において類似度を点数評価し、この評価した点数を合算して、合算した点数の高い画像を最も類似する画像とすればよい。

また、実施の形態においては、本発明をデジタルカメラに適用するようにしたが、カメラに限らず撮像機能を備えた携帯電話等の各種機器にも本発明を適用することができる。

（Ａ）は本発明の各実施の形態に共通するデジタルカメラの正面図、（Ｂ）は背面図、（Ｃ）は側面透視図である。 同デジタルカメラの概略的回路構成を示すブロック図である。 同デジタルカメラの具体的回路構成を示すブロック図である。 第１の実施の形態における処理手順を示すフローチャートである。 同実施の形態における図４のフローチャートに続くフローチャートである。 同実施の形態における表示例を示す図である。 同実施の形態における他の表示例を示す図である。 被写体像と類似する類似画像を検索する際に、特徴記述データを用いて検索する方法の概要を示すフローチャートである。 被写体像と類似する類似画像を検索する際に、画像データ自体を比較処理して類似画像を検索する検索処理の概要を示すフローチャートである。 画像から抽出した特徴データの記述例を示す図である。 （ａ）はＭＰＥＧ−７による特徴データの記述例を示し、（ｂ）はＤｕｂｌｉｎ ＣｏｒｅとＲＤＦのＸＭＬ構文による特徴データの記述例を示す図である。 データファイルの構成例を示す図である。 撮影条件として設定される項目の例を示す図である。 特徴量を抽出する処理（ステップＳ１２７）の処理手順を示すサブルーチンである。 折れ線近似した偏角θ［ｉ］を輪郭形状の識別に利用する例を示す図である。 輪郭形状の抽出と被写体の形状識別処理の処理手順を示すフローチャートである。 選択された領域画像のＲＧＢヒストグラムから代表色やその分布の分散度合いを特徴抽出する処理手順例を示すフローチャートである。 色分布や配色パターンの特徴を抽出する処理手順例を示すフローチャートである。 （ａ）は、高次局所自己相関関数によるテクスチャー特徴抽出例を示すフローチャートであり、（ｂ）はその説明図である。 本発明の第２の実施の形態を示すシステム構成図である。 本発明の第３の実施の形態に係るデジタルカメラの回路構成を示すブロック図である。 同実施の形態において図４のフローチャートに続くフローチャートである。 同実施の形態における表示例を示す図である。 本発明の第４の実施の形態において図４のフローチャートに続くフローチャートである。 色相特徴からのキーワード作成例を示す図である。 明度と彩度特徴からのキーワード作成例を示す図である。 テクスチャー特徴からのキーワード作成例を示す図である。 類語辞書のデータ構成例を示す図である。 心理辞書のデータ構成例を示す図である。

符号の説明

１ デジタルカメラ
２ 本体
３ レリーズ釦
１１ 決定／ＯＫキー
１４ 表示部
２０ 電子撮像センサ
２２ 制御回路
２３ プログラムメモリー
２４ データメモリー
２５ 撮影制御部
２７ 画像メモリー
２８ 表示制御部
２９ ファインダー
２９ 電子ファインダー
３０ 伸張復号部
３１ 外部メモリー媒体
３２ 画像モニター
４６ ＨＤＤ記憶装置
５６ 特徴抽出／画像検索用データメモリー
５６ 特徴抽出／認識用データメモリー
５７ 特徴抽出／画像検索処理部
６１ スルー映像
６２ カーソル

Claims (19)

1. 被写体を撮像する撮像手段と、
   表示手段と、
   前記撮像手段により撮像される被写体像をスルー画像として前記表示手段に表示させる第１の表示制御手段と、
   この第１の表示制御手段により前記表示手段に表示される被写体像に関連する関連画像を取得する取得手段と、
   この取得手段により取得された前記関連画像を、前記第１の表示制御手段により表示されるスルー画像と共に前記表示手段に表示させる第２の表示制御手段と
   を備えることを特徴とするカメラ装置。
2. 前記第１の表示制御手段は、前記スルー画像を前記表示手段の所定領域に表示させる手段を含み、
   前記第２の表示制御手段は、前記関連画像を前記表示手段の前記所定領域とは異なる領域に表示させる手段を含むことを特徴とする請求項１記載のカメラ装置。
3. 前記取得手段は、前記表示手段の所定領域内に表示される被写体像に基づき、該被写体像に関連する関連画像を取得することを特徴とする請求項１又は２記載のカメラ装置。
4. 前記取得手段は、所定のキー操作がなされた時点において表示手段に表示された被写体像に基づき、該被写体像に関連する関連画像を取得することを特徴とする請求項１、２又は３記載のカメラ装置。
5. 前記取得手段は、
   前記第１の表示制御手段により前記表示手段に表示される被写体像からその特徴を抽出する特徴抽出手段と、
   この特徴抽出手段により抽出された特徴に基づき、所定の画像記憶手段から前記類似画像を検索する検索手段とを備え、前記検索手段により検索された類似画像を前記関連画像として取得することを特徴とする請求項１から４にいずれか記載のカメラ装置。
6. 前記特徴抽出手段は、
   前記表示手段に表示される被写体像からその特徴を抽出するとともに、前記所定の画像記憶手段に記憶されている記憶画像からその特徴を抽出し、
   前記検索手段は、
   前記被写体像から抽出した特徴と前記記憶画像から抽出した特徴とを比較し、この比較結果に基づき、前記画像記憶手段に記憶されている記憶画像から前記類似画像を検索することを特徴とする請求項５記載のカメラ装置。
7. 前記特徴抽出手段は、前記被写体像における所定領域又は背景領域の代表色の特徴、色分布の特徴、輪郭形状の特徴、所定領域におけるテクスチャーの特徴のいずれかを抽出して、この抽出した特徴を記述する特徴記述データを生成し、
   前記検索手段は、前記特徴記述データに基づき、前記類似画像を検索することを特徴とする請求項５又は６記載のカメラ装置。
8. 前記所定の画像記憶手段は、当該カメラ装置に固定的に設けられ前記撮像手段により撮像された画像を記憶する第１の記憶手段、又は当該カメラ装置に着脱自在に設けられ前記撮像手段により撮像された画像を記録する第２の記憶手段、又は外部に設けられ通信により接続可能な第３の記憶手段を含むことを特徴とする請求項５、６又は７記載のカメラ装置。
9. 前記取得手段は、前記関連画像として複数の類似画像を取得し、
   前記第２の表示制御手段は、前記複数の類似画像を前記表示手段に同時表示させ、又は複数の類似画像を切り換え表示させることを特徴とする請求項１から８にいずれか記載のカメラ装置。
10. 前記第２の表示制御手段は、前記複数の類似画像を類似度の高い順に表示させることを特徴とする請求項９記載のカメラ装置。
11. 前記取得手段は、撮影条件が付随して記憶された画像を前記関連画像として取得し、
    この取得手段により前記関連画像として取得された前記画像に付随する撮影条件を、当該カメラ装置の撮影条件として設定する撮影条件設定手段を備えることを特徴とする請求項１から１０にいずれか記載のカメラ装置。
12. 被写体を撮像する撮像手段と、
    表示手段と、
    前記撮像手段により撮像される被写体像をスルー画像として前記表示手段に表示させる表示制御手段と、
    この表示制御手段により前記表示手段に表示される被写体像、又は撮影日時、季節等の撮影日時や、撮影場所の緯度、経度、高度、地名等の撮影位置、等の撮影情報に基づき、各々撮影時の撮影条件が付随して記憶された画像から前記撮影条件を取得する取得手段と、
    この取得手段により取得された前記撮影条件を当該カメラ装置の撮影条件として設定する撮影条件設定手段と
    を備えることを特徴とするカメラ装置。
13. 前記取得手段は、前記表示手段に表示される被写体像に類似する類似画像を複数取得し、
    この取得手段により取得された複数の類似画像からいずれかを選択する選択手段を更に備え、
    前記撮影条件設定手段は、前記選択手段により選択された類似画像に付随する前記撮影条件を当該カメラ装置の撮影条件として設定することを特徴とする請求項１２記載のカメラ装置。
14. 前記取得手段は、画像自体を比較してその類似度を算出し、この算出した類似度に基づき前記被写体像に類似する類似画像を前記関連画像として取得することを特徴とする請求項１から４及び８から１３にいずれか記載のカメラ装置。
15. 前記取得手段は、取得対象とする画像に付随して記憶されている撮影日時、季節等の撮影日時や、撮影場所の緯度、経度、高度、地名等の撮影位置、等の撮影情報と前記被写体像の撮影時における撮影情報とを比較し、その比較結果に基づき前記被写体像に類似する類似画像を前記関連画像として取得することを特徴とする請求項請求項１から４及び８から１４にいずれか記載のカメラ装置。
16. 前記取得手段は、
    類語を記憶した類語記憶手段と、
    前記表示手段に表示された被写体像から当該画像自体の特徴を示すキーワード、又は取得対象とする画像に付随して記憶されている撮影日時、季節等の撮影日時や、撮影場所の緯度、経度、高度、地名等の撮影位置、等の撮影情報を示すキーワードを生成するキーワード生成手段と、
    このキーワード生成手段により生成されたキーワードに関連性の高い類語を前記類語記憶手段から抽出する類語抽出手段と、
    この類語抽出手段により抽出された類語に基づき、所定の画像記憶手段から前記類似画像を前記関連画像として検索する検索手段と
    を備えることを特徴とする請求項１から４及び８から１５にいずれか記載のカメラ装置。
17. 前記撮像手段により撮像された被写体像を操作に応答して記憶する画像記憶手段と、
    この画像記憶手段に前記被写体像を記憶する際に当該カメラに設定されている撮影条件を検出する検出手段と、
    この検出手段により検出された前記撮影条件を前記被写体画像に対応させて前記画像記憶手段に記憶させる記憶制御手段と
    を備えることを特徴とする請求項１から１６にいずれか記載のカメラ装置。
18. 被写体を撮像する撮像手段と表示手段とを備えるカメラ装置が有するコンピュータを、
    前記撮像手段により撮像される被写体像をスルー画像として前記表示手段に表示させる第１の表示制御手段と、
    この第１の表示制御手段により前記表示手段に表示される被写体像に関連する関連画像を取得する取得手段と、
    この取得手段により取得された前記関連画像を、前記第１の表示制御手段により表示されるスルー画像と共に前記表示手段に表示させる第２の表示制御手段と
    して機能させることを特徴とするカメラ装置制御プログラム。
19. 被写体を撮像する撮像手段と表示手段とを備えるカメラ装置が有するコンピュータを、
    前記撮像手段により撮像される被写体像をスルー画像として前記表示手段に表示させる表示制御手段と、
    この表示制御手段により前記表示手段に表示される被写体像、又は撮影日時、季節等の撮影日時や、撮影場所の緯度、経度、高度、地名等の撮影位置、等の撮影情報に基づき、各々撮影時の撮影条件が付随して記憶された画像から前記撮影条件を取得する取得手段と、
    この取得手段により取得された前記撮影条件を当該カメラ装置の撮影条件として設定する撮影条件設定手段と
    して機能させることを特徴とするカメラ装置制御プログラム。
    

Images