JP2010068207A - 撮像装置、方法およびプログラムならびに撮像システム - Google Patents

Abstract

【課題】撮影者がこれから撮影しようと考える写真の撮影状態を示す情報を、写真プリント、ネガ／ポジ、デジタル画像、メタデータなどから獲得し、その情報と現在の撮影シーンから得られる撮影状態に基づいて撮影者の撮影をガイドする。
【解決手段】写真プリント、ネガ／ポジ、デジタル画像、メタデータなどから獲得された撮影済みの画像における固有の撮影状態を含む参照データと所望の比較用画像の撮影状態との比較を行い、その結果を示す情報を出力装置に出力する。この出力装置に示された比較結果を撮影者が参照することにより、過去の撮影済みの画像の撮影状態と、現在の撮影状態とを比較し、過去の撮影済みの画像の撮影状態に合わせた撮影条件、被写体、背景といった撮影状態の調整を撮影者が行える。
【選択図】 図１

Description

本発明は、撮像装置および方法に関し、特に、ユーザに撮影状況についての情報を出力可能な撮像装置および方法に関する。

特許文献１は、プレ画像と呼ばれる見本画像を予め撮影しておき、これと撮影シーンを比較して得られるずれを、カメラの表示部に表示する。

特許文献２では、撮像すべき写真の構図に基づき、撮像装置と被写体の存在すべき位置を提示することで、撮影者が所望の構図の写真を撮影できるよう支援する。
特開２００６−２２２６９０号公報 特開２０００−１３８８５８号公報

写真の撮影者が特定の撮影条件（撮影場所、条件、構図）で写真を撮影できるようガイドを行うカメラは従来技術に存在する。しかし、これらの従来技術では、例えば写真プリントやネガなどから所望の構図を取得すること、さらに被写体の輪郭だけでなくどの人物がどの位置に立つべきかまでを再現可能な構図データを作成することはできない。

本発明は、撮影者がこれから撮影しようと考える写真の撮影状態を示す情報を、写真プリント、ネガ／ポジ、デジタル画像、メタデータなどから獲得し、その情報と現在の撮影シーンから得られる撮影状態に基づいて撮影者の撮影をガイドすることを目的とする。

本発明に係る撮像装置は、撮像レンズを介して受光した被写体像を光電変換して得られた電気信号を画像に変換して出力する撮像部と、撮像部の出力した画像その他の情報を出力する出力部と、撮像部の撮像および出力部の情報出力を制御可能な制御部と、撮像部または撮像部以外の装置により撮影済みの所望の画像における固有の撮影状態の情報を含む参照データを取得する参照データ取得部と、撮像部から出力された画像のうちの所望の比較用画像から、撮影状態の情報を取得する比較用情報取得部と、を備え、制御部は、参照データ取得部の取得した参照データに含まれる撮影状態の情報と比較用情報取得部の取得した撮影状態の情報とを比較し、比較結果を示す情報を出力するよう出力部を制御する。

この発明によると、撮影済みの画像における固有の撮影状態を含む参照データと所望の比較用画像の撮影状態との比較を行い、その結果を示す情報を出力部に出力する。この出力部に示された比較結果を撮影者が参照することにより、過去の撮影済みの画像の撮影状態と、現在の撮影状態とを比較し、過去の撮影済みの画像の撮影状態に合わせた撮影条件、被写体、背景といった撮影状態の調整を撮影者が行える。

制御部は、比較結果に応じ、保存用画像の撮影を開始するよう撮像部を制御する。

すなわち、過去に撮った画像と同様の撮影状態で撮影を自動的に開始できる。

ここで、参照データ取得部は、撮像部から出力された画像から参照データを取得する。

あるいは、外部の電子機器と通信する通信部を備え、参照データ取得部は、通信部に接続されたフイルムスキャナまたはイメージスキャナから出力された画像から参照データを取得する。

あるいは、外部の電子機器と通信する通信部を備え、参照データ取得部は、通信部に接続された外部の電子機器から参照データを受信して取得する。

参照データは、画像の背景もしくは背景の特徴量、画像の人物もしくは人物の特徴量、および画像の付帯情報のうち少なくとも１つを含む。

好ましくは、参照データに基づいて撮像部の出力した画像を検索する画像検索部を備え、制御部は、画像検索部の検索した画像を出力するよう出力部を制御する。

好ましくは、出力部は、通信装置、メディアライタ、表示装置および音声再生装置のうち少なくとも１つを含む。

好ましくは、制御部は、比較結果に応じ、現在の撮影状態から基準となる撮影状態への修正方法を示す情報を出力するよう出力部を制御する。

修正方法を示す情報としては、例えば、人物の姿勢を正す方向が挙げられる。

本発明に係る撮像方法は、撮像レンズを介して受光した被写体像を光電変換して得られた電気信号を画像に変換して出力する撮像部と、撮像部の出力した画像その他の情報を出力する出力部と、撮像部の撮像および出力部の情報出力を制御可能な制御部と、を備えた撮像装置が実行する撮像方法であって、撮像装置が、撮像部または撮像部以外の装置により撮影済みの所望の画像における固有の撮影状態の情報を含む参照データを取得するステップと、撮像部から出力された画像のうちの所望の比較用画像から、撮影状態の情報を取得するステップと、参照データ取得部の取得した参照データに含まれる撮影状態の情報と比較用情報取得部の取得した撮影状態の情報とを比較し、比較結果を示す情報を出力するよう出力部を制御するステップと、を実行する。

上記の撮像方法を上記の撮像装置に実行させる撮像プログラムも本発明に含まれる。

本発明に係る撮像システムは、撮影済みの所望の画像における固有の撮影状態の情報を含む参照データを作成する参照データ作成部と、参照データ作成部の作成した参照データ作成部を出力する参照データ出力部と、を備えた参照データ作成装置と、参照データ出力部の出力した参照データを入力する参照データ入力部と、撮像レンズを介して受光した被写体像を光電変換して得られた電気信号を画像に変換して出力する撮像部と、撮像部の出力した画像その他の情報を出力する出力部と、撮像部の撮像および出力部の情報出力を制御可能な制御部と、撮像部から出力された画像のうちの所望の比較用画像から、撮影状態の情報を取得する比較用情報取得部と、を備えた撮像装置と、を含み、撮像装置の制御部は、参照データ入力部の入力した参照データに含まれる撮影状態の情報と比較用情報取得部の取得した撮影状態の情報とを比較し、比較結果を示す情報を出力するよう出力部を制御する。

参照データ作成装置は、外部の電子機器から画像を入力する画像入力部を備え、参照データ作成部は、画像入力部に入力された画像から参照データを作成する。

画像入力部は、撮像装置、フイルムスキャナおよびイメージスキャナのうち少なくとも１つから画像を入力する。

この発明によると、撮影済みの画像における固有の撮影状態を含む参照データと所望の比較用画像の撮影状態との比較を行い、その結果を示す情報を出力装置に出力する。この出力装置に示された比較結果を撮影者が参照することにより、過去の撮影済みの画像の撮影状態と、現在の撮影状態とを比較し、過去の撮影済みの画像の撮影状態に合わせた撮影条件、被写体、背景といった撮影状態の調整を撮影者が行える。

＜第１実施形態＞
図１は本発明の好ましい実施形態に係る参照データ処理システムの概略構成を示す。参照データ処理システムは、参照データ作成装置１００、写真処置装置１５０、デジタルカメラ２００、アナログカメラ３００、フイルムスキャナ４００、イメージスキャナ５００を含む。

写真処置装置１５０は、各種の指示を入力するためのキーボードやマウスなどの操作装置、操作装置を介して入力される指示に従って、メモリカードやフラッシュメモリやＣＤ−ＲやＤＶＤなどの記録メディア、あるいはＵＳＢなどの各種通信規格に準拠して写真処置装置１５０と接続されたデジタルカメラ２００、フイルムスキャナ４００、イメージスキャナ５００あるいは携帯電話その他の情報端末から出力された静止画像（動画データから抽出されたコマ画像も含む）を入力する画像入力手段、画像入力手段に入力された画像あるいはその他の文字やグラフィックを表示するディスプレイ、操作装置を介して入力される指示に従って、画像入力手段に入力された画像に対応するプリントデータを作成する画像処理装置、操作装置を介して入力される指示に従って、画像処理装置によって作成された画像データに基づいて、露光・現像などを行って写真プリントを作成するプリンタ（画像出力装）、操作装置を介して入力される指示に従って、画像処理部によって作成された画像データをＤＶＤやＣＤ−Ｒその他の所定の記録媒体に記録する記録部（画像出力装）などを備えている。

デジタルカメラ２００、アナログカメラ３００、フイルムスキャナ４００、イメージスキャナ５００は、公知の装置である。

図２に例示するように、デジタルカメラ２００は、電源、被写体像を撮像素子２０２の受光面に結像する撮像レンズ２０１、被写体像をアナログ画像信号に光電変換して出力するＣＣＤやＣＭＯＳなどの撮像素子２０２、撮像素子２０２から出力されたアナログ画像信号をデジタル画像データに変換するＡＤ変換部２０３、ＡＤ変換部２０３から出力された画像データの画素数の変更、シャープネス補正、ガンマ補正、コントラスト補正、ホワイトバランス補正する画像処理装置２０４、画像処理装置２０４の出力した画像データをハードディスクのような内蔵記録媒体あるいはメモリカードのような可搬性記録媒体に記録する記憶装置２０５、画像処理装置２０４の出力した画像データや記憶装置２０５に記録された画像データや不揮発性記録媒体に記録されたアイコンやメッセージをＶＲＡＭ２０７に読み出して液晶ディスプレイなどの表示装置２０８に映像信号を出力するとともに、必要に応じてＯＳＤ信号発生回路２０９の生成したＯＳＤ信号と映像信号とを重畳して表示装置２０８に出力する表示制御装置２１０、記憶装置２０５に記録されたメッセージや警告音やクリック音などを再生する音声再生装置２１１、ＵＳＢや無線ＬＡＮや赤外線通信やBluetoothなどの通信規格に準拠しており、画像処理装置２０４の出力した画像データを外部の電子機器に送信する通信装置２１２、ＧＰＳ衛星から現在位置情報を取得するＧＰＳ受信機２１３、現在時刻情報を出力するＲＴＣ２１４、カメラのパン・チルト方向の傾きや撮影方向を検出する傾き／方位センサ２１５、シャッターボタンや十字キーや情報確定ボタンやモードダイヤルなどを含み、ユーザによる撮像指示などの各種操作指示を入力し、入力された指示に対応する操作信号を情報処理装置に出力する操作装置２１６、操作装置２１６からの操作信号に基づいて、撮像素子２０２の撮像タイミングや画像処理装置２０４の画像処理を制御したり、撮像素子２０２のシャッタースピードなどの露光制御、撮像レンズのフォーカス制御やズーム制御をする情報処理装置（ＣＰＵ）２１７を備えている。

デジタルカメラ２００の情報処理装置２１７は、ＲＴＣ２１４から取得した現在日時情報、ＧＰＳ受信機２１３がＧＰＳ衛星から取得した撮影位置情報、傾き／方位センサ２１５から取得した撮影方向やカメラの傾き、ＲＡＭ２１８に記憶された撮影実施時の露出、絞り値、焦点距離、ＩＳＯ感度、ホワイトバランス、などの撮影条件、操作装置２１６から入力された被写体名や撮影時の季節・天候・時間帯やコメントや被写体の姿勢（傾き）その他の被写体に関する情報を、画像データの付帯情報（例えばＥｘｉｆファイルのタグや、メタデータも含む）として記録することもできる。

アナログカメラ３００は、電源、情報処理装置、撮像レンズ、露出制御回路、フイルム給送制御回路、測光回路、ストロボ回路、測距回路などの各回路から構成されている。情報処理装置は撮影時に測光回路から入力される被写体輝度、フイルム感度の値からシャッタ速度、絞りを決定し、露出制御回路を駆動する出力信号を出力する。露出制御回路は決定されたシャッタスピード及び絞りを制御し、被写体像をフイルムに写し込む。フイルム給送制御回路はフイルム給送、撮影終了後のフイルム巻き戻しの制御を行う。また、情報処理装置には情報処理装置、フォーカスセンサ等を含む測距回路が接続され、ストロボ回路は情報処理装置の指令に基づいてストロボの発光を制御し、測距回路は撮影レンズの焦点調節の制御を行う。

アナログカメラ３００がＡＰＳフイルムのＩＸ情報のような付帯情報を磁気トラックに記録可能な高性能フイルム規格に準拠していれば、情報処理装置は、撮影日時、撮影条件、被写体に関する情報を付帯情報として磁気トラックに記録する。

あるいは、アナログカメラ３００は、付帯情報を画像としてフイルムに写し込むＬＥＤを備えてもよい。フイルムの送り量に基づき、所定の記録パターンで情報処理装置によりＬＥＤが発光制御されることで、撮影日時、撮影条件、被写体に関する情報などの付帯情報がフイルムに写し込まれる。ＬＥＤの発光時間は、所定の付帯情報写し込み露光量が得られるように情報処理装置によって制御される。

フイルムスキャナ４００は、照明用の光源（蛍光管）、ＣＣＤラインセンサ、画像信号処理装置、光学情報読取装置、パーフォレーション検出装置、磁気情報記録再生装置、フイルム搬送制御装置などを備えている。アナログカメラ３００によって被写体像の写し込まれたフイルムを、光源によって照明し、透過した画像光をレンズを介して受光したＣＣＤラインセンサなどのイメージセンサで撮像することで被写体像を電気信号に変換して画像処理装置に入力する。画像処理装置は、イメージセンサから入力した信号をデジタル画像データに変換し、白バランス調整、γ補正等の各種の信号処理を施する。また、フイルムスキャナ４００は、デジタルカメラ２００と同様、画像処理装置の処理済み画像データを記録媒体に記録する記憶装置や画像データを外部の電子機器に送信する通信装置を備えている。磁気情報記録再生装置は、フイルムに記録された付帯情報を読み取り、ＲＡＭに保存する。この付帯情報を、画像データのヘッダに記録してもよい。

フイルムスキャナ４００の画像処理装置は、イメージセンサの撮像対象となるフイルムがネガフイルムの場合、画像データに反転処理を施すが、ポジフイルムの場合、反転処理を行わない。

イメージスキャナ５００は、いわゆるフラットベッドスキャナと同様の構成を有しており、画像プリント（写真処置装置１５０その他のプリンタで出力したもの）やドキュメント原稿などを載置可能なガラス板と、照明用光源と、光学像を電気信号に変換するイメージセンサと、原稿からの光をイメージセンサに導く縮小光学系と、から構成される。イメージスキャナ５００は、読み取った画像をメモリカードなどの記録媒体へ記録する記憶装置、読み取った画像をパソコンなどの電子機器に送信する通信装置も備えている。

図３に例示するように、参照データ作成装置１００は、公知のパソコンおよびその周辺機器で構成可能であり、ＣＰＵ（情報処理装置）１０１、ＲＡＭ・ＲＯＭ・ハードディスク・メディアリーダ／ライタ（記憶装置１０２）、キーボード・マウス（操作装置１０３）、ＵＳＢポート・ネットワークアダプタ（通信装置１０４）、メディアリーダ／ライタ（データ読取／書込装置１０５）、ディスプレイ（表示装置１０６）あるいはそれらの代替物を備えている。図１では、参照データ作成装置１００は、デジタルカメラ２００やアナログカメラ３００と別体で示されているが、デジタルカメラ２００やアナログカメラ３００が参照データ作成装置１００を兼ねていてもよい。

図４は本システムで実行される参照データ作成処理のフローチャートである。この処理は参照データ作成装置１００のＣＰＵ１０１やデジタルカメラ２００のＣＰＵ２１７により制御される。この処理を参照データ作成装置１００のＣＰＵ１０１やデジタルカメラ２００のＣＰＵ２１７に実行させるプログラムは参照データ作成装置１００の記憶装置１０２やデジタルカメラ２００の記憶装置２０５に保存されており、ＲＡＭなどにロードされて実行される。

以下、説明の簡略のため、処理の主体は参照データ作成装置１００であるとする。ただし、参照データ作成装置１００の機能ブロックをデジタルカメラ２００の対応する機能ブロックに置き換えれば、以下の処理はデジタルカメラ２００でも可能である。例えば、参照データ作成装置１００のＣＰＵ１０１をカメラ２００のＣＰＵ２１７に、記憶装置１０２を記憶装置２０５あるいはＲＡＭ２１８あるいはＲＯＭ２１９に、操作装置１０３を操作装置２１６に、通信装置１０４を通信装置２１２に、データ読取／書込装置１０５を記憶装置２０５に、表示装置１０６を表示装置２０８に置き換えればよい。

Ｓ１では、外部からの所望のデジタル画像データの入力を行うか否かを、操作装置１０３への入力操作を介して受け付ける。Ｙｅｓの場合はＳ２、Ｎｏの場合はＳ５に進む。入力される画像は、のちのちの撮影で被写体や背景や撮影条件の基準となるような、撮影者の任意に選んだ画像である。例えば、撮影者が昔撮った画像や撮影者以外のプロが撮影した模範的な画像と同じような状態でもう一度撮影を行いたい場合には、その画像を入力する。

Ｓ２では、デジタル画像データを、通信装置１０４に接続された撮像手段を有する所望の電子機器、例えば、デジタルカメラ２００やカメラ付き携帯電話から受信するか、あるいは、これらの電子機器によって画像データが書き込まれた記録媒体から、データ読取／書込装置１０５を介して画像データを読み出す。この記録媒体には、デジタルカメラ２００によって画像が記録されている。電子機器から受信あるいは記録媒体から読み出した画像データはハードディスクなどの記憶装置１０２に記憶される。なお、デジタルカメラ２００で記録した画像データをそのまま入力する方が、スキャンが必要なフイルムや写真プリントに比べて画像劣化が少なく、参照データの精度が高まる。デジタルカメラ２００が参照データ作成装置１００を兼ねていれば、デジタルカメラ２００の撮像素子２０２によって撮影した圧縮劣化のないＲＡＷ画像を直接入力することもできる。

Ｓ３では、通信装置１０４を介してデジタルカメラ２００その他の電子機器から画像とともに付帯情報（メタデータ）が送られてきたか否かを判断する。Ｙｅｓの場合はＳ４、Ｎｏの場合はＳ９に進む。

Ｓ４では、画像とともに送られてきた付帯情報を受信し、画像と対応づけてハードディスクなどの記憶装置１０２に保存する。Ｅｘｉｆのように画像ファイルそのものに画像本体データと付帯情報が一体的に記録されていれば、その画像ファイルをそのまま保存する。

Ｓ５では、フイルムスキャナ４００からポジフイルムを撮像対象として得られた画像データあるいはイメージスキャナ５００からの画像データを入力するか否かを、操作装置１０３への入力操作を介して受け付ける。Ｙｅｓの場合はＳ６、Ｎｏの場合はＳ７に進む。

Ｓ６では、イメージスキャナ５００のイメージセンサで写真プリントを撮像して得た画像データを入力し、入力された画像をハードディスクなどの記憶装置１０２に保存する。

Ｓ７では、フイルムスキャナ４００からネガフイルムを撮像対象として得られた画像データを入力し、入力された画像を記憶装置１０２に保存する。

Ｓ８では、入力された画像をハードディスクなどの記憶装置１０２に保存する。また、必要に応じて反転処理を行う。ただし、フイルムスキャナ４００で既に反転処理がされていれば、参照データ作成装置１００はこれを行わない。

Ｓ９では、記憶装置１０２に保存された画像から、背景データおよび人物データを取得する。人物データとは、画像における各人物の存在領域に相当する部分画像データもしくはその部分画像データから画像解析により抽出される特徴量、例えば各人物の顔特徴量、色、位置座標、姿勢、人物の大きさ（人物の遠近と相関）を含む。人物データの取得処理の詳細は後述する。

また、背景データは、画像全体から検出された人物領域を除いた部分画像データあるいは画像解析によりそのデータから抽出される特徴量、例えばエッジ成分（輪郭線、構造線など）、色、特徴点（消失点など）である。ある一つの画像から取得された背景データおよび人物データと、当該画像に対応して入力された付帯情報とを対応づけ、参照データとして記憶装置１０２に保存する。なお、付帯情報が入力されなければ、参照データは付帯情報を含まない。ただし、画像そのものに撮影日時などの付帯情報が写し込まれていれば、参照データ作成装置１００のＣＰＵ１０１が画像解析でそれを認識し、認識した付帯情報を画像の背景データおよび人物データと対応づけ、参照データとする。なお、画像に写し込まれた撮影日時の認識は公知技術を用いればよい。あるいは、画像にバーコードやＱＲコードのようなコード情報が付属していれば、参照データ作成装置１００に備えられたバーコードリーダや撮像手段でコード情報を読み取り、これを付帯情報としてもよい。

図５（ａ）は、デジタルカメラ２００、アナログカメラ３００、フイルムスキャナ４００、イメージスキャナ５００が作成あるいは取得した写真プリント、ネガ、ポジ、画像ファイルなどで具現化されたオリジナル画像、図５（ｂ）は参照データ作成装置１００にオリジナル画像が入力されて記憶装置１０２に保存されたデジタル画像、図５（ｃ）は背景データ、図５（ｄ）は人物データ、図５（ｅ）はメタデータの一例を示す。

Ｓ１０では、参照データに付与する名称の入力を操作装置１０３を介して受け付ける。名称が確定したことが操作装置１０３を介して指示されれば、Ｓ１１に進み、入力された名称を参照データに対応づけて記憶装置１０２に保存する。参照データは、データ読取／書込装置１０５にセットされた記録媒体や通信装置１０４を介して、デジタルカメラ２００やアナログカメラ３００その他のカメラにエクスポートして提供できる。

参照データには、一意的な参照データＩＤを付与しておくと、これを検索キーにして所望の参照データを検索することができる。参照データＩＤの作り方は任意である。例えば、参照データの取得元となった画像データのファイル名をハッシュ関数に代入して得られたハッシュ値を、その参照データの参照データＩＤとして付与する。

図６は人物データの取得処理のフローチャートを示す。この処理は参照データ作成装置１００のＣＰＵ１０１により制御される。この処理を参照データ作成装置１００のＣＰＵ１０１に実行させるプログラムは参照データ作成装置１００の記憶装置１０２に保存されている。ただし、上述のように、この処理はデジタルカメラ２００のＣＰＵ２１７により実行することもできる。

Ｓ２１では、入力された所望の画像から人物検出を行う。人物の位置の検出は、例えば公知の顔検出技術を用いて行うことができる。

Ｓ２２では、検出した人物（人物が複数の場合はその中の所望の１つ）から、目、鼻、口といった顔パーツの、位置、色、形状などを数値化した特徴量の抽出を行う。そして、記憶装置１０２の人物データベースに予め登録された所望の１または複数の人物の識別情報（ＩＤ）および当該人物ごとに固有の特徴量と、入力画像から抽出された特徴量とを照合することで、検出した人物の個人識別を行う。人物データベースには、目、鼻、口といった顔パーツの、位置、色、形状などが数値化された特徴量として記憶されている。

Ｓ２３では、入力画像から抽出された特徴量が、人物データベースに登録された特徴量のいずれか１つと相当の確からしさで合致するか否かを判断する。Ｙｅｓの場合はＳ２４、Ｎｏの場合はＳ２５に進む。

Ｓ２４では、入力画像から抽出された特徴量と合致する、人物データベースに登録された特徴量に対応づけられた人物のＩＤを、検出人物のＩＤに割り当て、割り当てたＩＤをその入力画像に関する人物データのＩＤに設定する。

Ｓ２５では、人物データベースに登録されていない一意なＩＤを新たに生成し、検出人物のＩＤに割り当て、割り当てたＩＤをその入力画像に関する人物データのＩＤに設定する。

Ｓ２６では、入力画像から抽出された特徴量とＳ２５で生成されたＩＤとを対応づけて人物データベースに登録する。つまり、人物データベースに未登録の人物特徴量が検出されれば、その人物特徴量にＩＤが付与され、新たに人物データベースに加えられる。

Ｓ２７では、入力画像から検出された全ての人物について、Ｓ２２〜Ｓ２６が実施されたか否かを判断する。Ｙｅｓの場合はＳ２８に進み、Ｎｏの場合はＳ２２に戻り、まだＳ２２〜Ｓ２６が実施されていない人物についてこれらの処理を行う。

Ｓ２８では、ＩＤの割り当てられた人物の画像内での位置座標や姿勢を検出する。人物の姿勢の検出は公知技術を用いて行える。例えば、鉛直方向あるいは水平方向の基準線からの顔の傾きによって姿勢を推測する。図５（ｄ）では、「Ａ」、「Ｂ」、「Ｃ」の人物ＩＤが割り当てられた３人の人物について、人物データが取得されている。ＩＤの付与された特徴量を有する各人物について検出された位置座標や姿勢は、入力画像に関する参照データを構成する人物データとして記憶装置１０２に記憶される。人物データにその特徴量を含めてもよい。また、その参照データには、背景データやメタデータも一緒に対応づけて保存できる。

一旦記憶装置１０２に保存された参照データは、後からユーザ操作に応じて編集することもできる。これは、検出された人物、背景の識別が必ずしも正しいとは限らないし、またメタデータそのものが正しくない場合もあるからである。

図７は参照データ編集処理のフローチャートを示す。この処理は参照データ作成装置１００のＣＰＵ１０１により制御される。この処理を参照データ作成装置１００のＣＰＵ１０１に実行させるプログラムは参照データ作成装置１００の記憶装置１０２に保存されている。ただし、上述のように、この処理はデジタルカメラ２００のＣＰＵ２１７により実行することもできる。

Ｓ３１では、編集対象とする参照データ（あるいはそれに対応する画像）の選択を操作装置１０３から受け付ける。参照データは、上述の参照データＩＤもしくはその代替物、例えば画像のＩＤ（ただし、完全に他のファイル名と競合しない一意的な画像ファイル名である必要がある）に対応づけられ、画像ごとに記憶装置１０２に保存されている。所望の参照データＩＤやその代替物の指定を操作装置１０３から受け付け、それに合致する参照データＩＤを有する参照データを検索し、検索された参照データを編集対象の参照データとする。あるいは、所望の人物データ、背景データまたはメタデータの指定を受け付け、それを含む参照データを検索し、検索された参照データの中から選択された所望の参照データを、編集対象の参照データとする。

Ｓ３２では、Ｓ３１で選択された編集対象の参照データにおいて、編集対象とする参照データの種類（人物データ、背景データまたはメタデータ）の選択を操作装置１０３から受け付ける。

Ｓ３３では、Ｓ３１で選択されたのが背景データであるか否かを判断する。Ｙｅｓの場合はＳ３４、Ｎｏの場合はＳ３５に進む。

Ｓ３４では、新たに追加する背景データの選択を操作装置１０３から受け付ける。これは例えば、入力画像から背景としたい領域の指定を操作装置１０３から受け付ける。選択された背景データ領域に包含される部分画像データが、Ｓ３１で選択された参照データの新たな背景データとして記憶装置１０２の人物データベースに登録される。

Ｓ３５では、Ｓ３２で選択されたのが人物データであるか否かを判断する。Ｙｅｓの場合はＳ３６、Ｎｏの場合はＳ４０に進む。

Ｓ３６では、人物データから、編集対象となる人物（またはその人物の位置座標）の選択を、操作装置１０３を介して受け付ける。例えば、Ｓ３１で選択された参照データに基づき、各人物のＩＤを各人物の存在位置に対応づけて表示装置１０６に表示した上、カーソルやポインタなどの指示アイコンを、操作装置１０３への操作に応じて所望の位置に移動し、所望の位置で操作装置１０３への選択確定入力が行われたことに応じ、その指示アイコンの現在位置に存在する人物を選択する。図８では、ＩＤが「Ａ」の人物が選択されている。

Ｓ３７では、Ｓ３６で選択された人物を、所望の人物データで置き換える処理を行うか否かの指示を、操作装置１０３を介して受け付ける。置き換える旨の指示が入力された場合はＳ３８、置き換えない旨の指示が入力された場合はＳ３９に進む。

Ｓ３８では、新たに人物データとしたい人物のＩＤ、人物の画像もしくはその画像から得られる人物の特徴量の入力を、操作装置１０３、通信装置１０４、データ読取／書込装置１０５にセットされた記録媒体から受け付ける。通信装置１０４が他のデジタルカメラ２００と接続されていれば、他のデジタルカメラ２００で登録したい人を撮影し、得られた画像を人物のＩＤと対応づけて参照データ作成装置１００に送信し、これを参照データ作成装置１００が受信して新たに人物データとする人物のＩＤと画像に設定する。その人物画像から上述のようにして特徴量を取得して人物データに含めてもよい。あるいは、予め記憶装置１０２に所望の１または複数の人物画像およびその人物画像から得られた特徴量を格納した人物データベース（人物データ取得処理で用いられるものと同じでも可）を保存しておき、人物データベースから選択された所望の人物画像とその特徴量を新たに人物データに設定する。

ただし、Ｓ３８では、人物データのうち、人物のＩＤと人物の特徴量は置き換わるが、人物の存在位置、姿勢、大きさは置き換わらないものとする。

図９では、ＩＤが「Ｄ」の人物データが入力されている。そして、Ｓ３６で選択された人物データ、ここではＩＤが「Ａ」の人物データを、入力された人物データで置き換え、記憶装置１０２の人物データベースに登録する。

Ｓ３９では、Ｓ３６で選択された人物データの人物の存在位置、姿勢、大きさの変更を、操作装置１０３を介して受け付ける。ここでは、人物ＩＤや人物の特徴量の変更は禁止されるものとする。

なお、Ｓ３８とＳ３９の処理は別々であるが、ある特定の人物についての人物特徴量の置き換えとその他の人物データの編集を同時に行えるようにしてもよい。

Ｓ４０では、Ｓ３１で選択された参照データに含まれる付帯情報（メタデータ）の編集項目（現在日時情報、撮影位置情報、撮影条件、被写体に関する情報など）のうち、編集対象としたい項目の選択を操作装置１０３を介して受け付ける。

Ｓ４１では、操作装置１０３を介して編集内容の指定を受け付ける。受け付けられた編集内容は、Ｓ４０で選択された項目のメタデータとして、記憶装置１０２の人物データベースに登録する。

Ｓ４２では、参照データの編集を終えるか否かの指示を操作装置１０３を介して受け付ける。編集を終える指示が入力された場合は本処理を終え、編集を終えない指示が入力された場合はＳ３２に戻る。

図１０は撮影者ガイダンス処理のフローチャートを示す。この処理をデジタルカメラ２００（あるいはアナログカメラ３００がデジタルカメラ２００と同等の構成も兼ねる場合は、アナログカメラ３００でも可）の備えるＣＰＵ２１７に実行させるプログラムはデジタルカメラ２００の備える記憶装置２０５（ＲＯＭ、可搬性記録媒体、ハードディスクなどで構成）に保存されており、ＲＡＭにロードされて実行される。この処理の前提として、参照データ作成装置１００からデジタルカメラ２００に参照データが通信装置２１２・通信回線や可搬性記録媒体を経由してインポートされて記憶装置２０５に格納されているものとする。ただし、デジタルカメラ２００が参照データ作成装置１００を兼ねていていれば参照データのインポートは必要ない。

Ｓ５１では、記憶装置２０５に格納された参照データから、所望の画像に対応した参照データの選択を、操作装置２１６を介して受け付ける。図１１は選択された参照データとそれに含まれるメタデータの一例を示す。なお、ここで参照データが選択されなかったり、そもそも参照データが記憶装置２０５に１つも格納されていない場合は、通常の撮影処理（シャッタボタン半押しでＡＦ／ＡＥなどの撮影準備動作、全押しで記録画像取得動作）を行う。

Ｓ５２では、参照データに付帯情報（メタデータ）が含まれるか否かを判断する。Ｙｅｓの場合はＳ５３、Ｎｏの場合はＳ５４に進む。

Ｓ５３では、ＧＰＳ受信機２１３によって、現在位置情報を取得する。そして、Ｓ５１で選択された参照データに含まれる位置情報と現在位置情報とを比較し、両者が一致するか否かを判断する。Ｙｅｓの場合はＳ５４、Ｎｏの場合はＳ５８に進む。

Ｓ５４では、デジタルカメラ２００の撮像素子２０２から取得された画像データのうち所定の時点で取得されたもの（例えば操作装置２１６による撮影モード設定直後あるいは半押し直後に取得された画像データ。以下、比較用画像と称す）から取得された背景データ（上述のＳ９と同様に取得される）と、Ｓ５１で選択された参照データに含まれる参照データに含まれる背景データとを比較する。背景データの比較は、背景データの種類ごとに行われ、例えば、双方の背景データの色同士が一致し、かつ双方の背景データのエッジ成分の存在位置が一致するか否かを判断する。そして、スルー画に当該背景データが存在するか否かを判断する。例えば、背景データのサイズと同じ領域が比較用画像の全体を走査するよう、当該領域を任意の位置に設定しつつ、設定された領域に含まれる比較用画像と背景データとの差分画像を作成し、差分画像が０（色データなし）となれば、比較用画像に背景データがあると判断する。Ｙｅｓの場合はＳ５５、Ｎｏの場合はＳ５８に進む。図１２は比較用画像の一例を示す。

Ｓ５５では、比較用画像から取得された人物データ（上述のＳ９と同様に取得される）と、Ｓ５１で選択された参照データに含まれる人物データの各々とを比較する。人物データの比較は、人物データの種類ごとに行われ、例えば、双方の人物データの顔特徴量が一致するか否かを判断する。そして、スルー画に当該背景データが存在するか否かを判断する。例えば、人物データの各々のサイズと同じ領域がスルー画の全体を走査するよう、当該領域を任意の位置に設定しつつ、設定された領域に含まれる画像データと人物データの各々との差分画像を作成し、ある特定の位置で差分画像が０（色データなし）となる人物データがあれば、スルー画のその領域設定位置にその人物データがあると判断する。Ｙｅｓの場合はＳ５６、Ｎｏの場合はＳ５８に進む。

Ｓ５６では、予め操作装置２１６から自動撮影モードが設定されているか否かを判断する。Ｙｅｓの場合はＳ５９、Ｎｏの場合はＳ５７に進む。自動撮影モードの設定は任意の時点で受け付けられるが、本ステップの時点における設定の有無で判断が分岐する。

Ｓ５７では、操作装置２１６のシャッタボタンの押下が検知されたか否かを判断する。Ｙｅｓの場合はＳ５９、Ｎｏの場合はＳ５８に進む。

Ｓ５８では、撮影条件の修正方法を示した映像信号の生成を表示制御装置２１０に指示する。なお、当該撮影条件の修正方法を示した情報は、映像信号の形式だけでなく、テキストデータや画像データのような保存可能な形式で記憶装置１０２に含まれるハードディスクのような内蔵媒体あるいはメモリカードのような可搬性媒体に保存してもよいし、通信装置１０４を介して所望の電子機器（パソコンやプリンタ）に送信してもよい。こうすれば、撮影後や他の装置でもこの情報を参照できる。

Ｓ５９では、シャッタボタンの全押しに応じて記録用画像の取得（撮影）を開始する。自動撮影モードが設定されている場合は、Ｓ５６でＹｅｓと判定されてから所定時間（例えば３秒後など操作装置で指定された任意の時間）に撮影を開始する。

例えば、記憶装置２０５に格納された地図情報に、現在位置情報、参照データの位置情報をプロットした上、その地図情報における現在位置情報から参照データの位置情報までの到達経路（ルートマップ）を示すＯＳＤ信号の生成をＯＳＤ信号発生回路２０９に指示する。撮影者による撮影位置の調整の結果、現在位置情報と選択された参照データの位置情報が一致すれば、その旨を示す情報を映像や音声で出力してもよい。図１３では「ＯＫ」という表示で両者が一致したことが示されている。現在位置情報と参照データの位置情報が所定の距離以上離れている場合は、撮影者の大幅な移動が必要であるため、警告表示や警告音声を出力してもよい。

あるいは、参照データの背景データの位置座標と比較用画像に存在する当該背景データと同一の部分画像の位置座標とが、所定の値（例えば１０ピクセル）以上離れている場合、参照データの位置座標に当該背景データを半透明状態で比較用画像に重畳した映像信号の生成を表示制御装置２１０に指示する。撮影者は、その情報を参照しながら、背景位置がずれていることを認識できる。

あるいは、参照データの背景データの位置座標と比較用画像に存在する当該背景データと同一の部分画像の位置座標とが、所定の値以上離れていないが両者は異なる場合、参照データの位置座標に当該背景データを半透明状態で比較用画像に重畳の映像信号の生成を表示制御装置２１０に指示し、かつ、比較用画像の背景データの位置座標から重畳した参照データの背景データの位置座標までの移動方向を示す情報（矢印など）の映像信号の生成をＯＳＤ信号発生回路２０９に指示する。あるいは、その両者の位置座標の近接度（ずれの小ささ）を示す数値（「９７％」など）を映像または音声で出力してもよい。

撮影者による撮影位置の調整の結果、現在の背景データと選択された参照データの背景データが一致すれば、その旨を示す情報を映像や音声で出力してもよい。図１４では「ＯＫ」という表示で両者が一致したことが示されている。

当該情報の表示とは別個にあるいは表示とともに、当該移動方向を示す音声を再生してもよい。撮影者は、その情報を目あるいは耳で参照しながら、背景位置を調整することができる。

あるいは、参照データの人物データと比較用画像の人物データの特徴量が一部または全部異なる場合、参照データの人物データの特徴量と異なる特徴量を有する比較用画像の人物データの存在位置を示す情報の映像信号の生成を表示制御装置２１０に指示する。

図１５では、参照データの人物ＩＤ「Ａ」の位置座標ＰＡの近傍に、「Ａ」の特徴量とは異なる人物が存在する旨が「×」というマークで示されている。なお、図示はしていないが、参照データの人物ＩＤ「Ｂ」や「Ｃ」の位置座標に、「Ｂ」や「Ｃ」の特徴量を有する人物が存在する旨を「○」というマークで示してもよい。

または、参照データの人物データと比較用画像の人物データの特徴量は一致するが、両者の位置や姿勢が異なる場合、比較用画像の当該人物データの姿勢から参照データの位置や姿勢に至る方向を示す情報（矢印など）の映像信号の生成を表示制御装置２１０に指示する。当該情報の表示とは別個にあるいは表示とともに、当該位置や方向を示す音声を再生してもよい。

図１５では、参照データにおける人物ＩＤ「Ａ」「Ｂ」「Ｃ」の存在位置がそれぞれ枠ＰＡ、ＰＢ、ＰＣで示されている。また、人物ＩＤ「Ｃ」の姿勢を撮影者から見て左方向に傾けるよう指示する矢印ＡＲが示されている。

撮影者は、その情報を参照しながら、参照データの立ち位置や姿勢を被写体に指示することができる。ここでは、撮影者は、自分から見て右に人物ＩＤ「Ｂ」の人物を移動させ、人物ＩＤ「Ｃ」の姿勢を撮影者から見て左方向に傾けるよう指示することができる。また、人物ＩＤ「Ａ」の位置にいる「Ａ」でない別人物は撮影範囲から退出するよう指示できる。表示装置がカメラの前面やカメラとは別のディスプレイとして被写体にも視覚可能に設置されていれば、被写体自身がその情報を参照して、自ら姿勢を正すこともできる。あるいは、音声であれば、被写体自身がその情報を聞いて、自ら姿勢を正すこともできる。

その他、参照データに含まれるデジタルカメラ２００の姿勢など撮影条件に関する情報と現在のデジタルカメラ２００の撮影条件に関する情報との差異を示す情報を映像または音声情報として出力することもできる。

＜第２実施形態＞
第１実施形態では撮影を行う前に所望の参照データに合致するような撮影のガイダンス情報を出力していた。一方、任意に選択された参照データに基づいて、既に撮影の終わった画像から当該参照データの取得元の画像と同様の被写体、背景、メタデータを有する画像を検索することもできる。

図１６は画像データ検索処理のフローチャートである。この処理は参照データ作成装置１００やデジタルカメラ２００の他、参照データと画像を取得可能な情報処理装置あればどれでも実行可能である。この処理を参照データ作成装置１００のＣＰＵ１０１やデジタルカメラ２００のＣＰＵ２１７に実行させるためのプログラムはこれらの記憶装置１０２や記憶装置２０５に格納されている。以下、説明の間略のため、処理の実行主体は参照データ作成装置１００とするが、同様にデジタルカメラ２００でも可能である。

Ｓ１０１では、Ｓ３１と同様、記憶装置１０２にある参照データから所望のものの選択を操作装置への入力操作を介して受け付ける。

Ｓ１０２では、デジタルカメラ２００やカメラ付き携帯電話などで自由に撮影してメモリカードなどに格納された画像データ、あるいはアナログカメラ３００で自由に撮影してそれをフイルムスキャナ４００でスキャンした画像データ、あるいは写真プリントをイメージスキャナ５００でスキャンした画像を入力する。

Ｓ１０３では、入力した画像からＳ９と同様にして人物データ、背景データまたはメタデータを取得する。そして、これらをＳ１０１で選択された参照データの人物データ、背景データ、メタデータと比較し、これらの全部または一部が一致すれば、その人物データ、背景データまたはメタデータを有する入力画像を検索結果画像として表示装置１０６に映像データとして出力する。あるいは画像記録装置（プリンタ）にプリントデータを出力してもよいし、音声再生装置（マイク）に画像のファイル名や付帯情報などを示す音声データを出力してもよい。どの出力装置に検索結果を出力するかの選択を操作装置を介して受け付け、選択された出力装置に検索結果を出力してもよい。

人物データ、背景データまたはメタデータの全てを比較する必要はなく、これらの中から操作装置を介して選択された１または複数の所望の項目同士を比較し、両者が一致すれば、その選択された項目を有する画像を出力してもよい。

検索の結果、複数の画像が得られた場合は、それらの画像を付帯情報の撮影日時やファイル名のアルファベット順などでソートし一覧表示してもよい。

こうすれば、選択された所望の参照データと同じような条件で既に撮られた画像を探し出すことができる。

＜第３実施形態＞
第２実施形態とは逆に、既に撮影の終わった画像に基づいて所望の参照データないしその参照データの取得元画像を検索することもできる。

図１７は参照データ検索処理のフローチャートである。この処理は参照データ作成装置１００やデジタルカメラ２００の他、参照データと画像を取得可能な情報処理装置あればどれでも実行可能である。この処理を参照データ作成装置１００のＣＰＵ１０１やデジタルカメラ２００のＣＰＵ２１７に実行させるためのプログラムはこれらの記憶装置１０２や記憶装置２０５に格納されている。以下、説明の間略のため、処理の実行主体は参照データ作成装置１００とするが、同様にデジタルカメラ２００でも可能である。

Ｓ２０１は、Ｓ１０１と同様、所望の画像を入力する。

Ｓ２０２では、Ｓ２０２で入力された画像の中から所望の画像の選択を操作装置１０３から受け付ける。この画像は既に参照データが取得されたものでもよい。このような画像を選択すれば、参照データを取得したのに行方不明になった画像を探しだせる。

Ｓ２０３では、Ｓ２０２で選択された画像からＳ９と同様にして人物データ、背景データまたはメタデータを取得する。そして、これらを記憶装置１０２の各参照データの人物データ、背景データ、メタデータと比較し、これらの全部または一部が一致すれば、その人物データ、背景データまたはメタデータを有する参照データもしくはその参照データの取得元の画像を検索結果画像として表示装置１０６に出力する。人物データ、背景データまたはメタデータの全てを比較する必要はなく、これらの中から選択された１または複数の所望の項目同士を比較し、両者が一致すれば、その選択された項目を有する参照データもしくはその取得元の画像を出力してもよい。

こうすれば、選択された所望の画像と同じような条件で既に撮られた画像ないしその画像から取得された参照データを探し出し、今撮った画像と昔撮った画像の比較もできる。また、Ｓ３１やＳ５１の所望の参照データを選択する際にこの検索機能を用いて選択すべき参照データを絞り込んでもよい。

参照データ作成システムの概略構成図 デジタルカメラのブロック図 参照データ作成装置のブロック図 参照データ作成処理のフローチャート 背景データ、人物データ、メタデータの一例を示す図 人物データの取得処理のフローチャート 参照データ編集処理のフローチャート 参照データの編集対象の指定の一例を示す図 人物データの置き換えの一例を示す図 撮影者ガイダンス処理のフローチャート 参照データの一例を示す図 比較用画像の一例を示す図 地図情報の一例を示す図 背景評価情報の一例を示す図 人物評価情報の一例を示す図 画像検索処理のフローチャート 参照データ検索処理のフローチャート

符号の説明

１００：参照データ作成装置、１５０：写真作成装置、２００：デジタルカメラ、３００：アナログカメラ、４００：フイルムスキャナ、５００：イメージスキャナ

Claims (14)

1. 撮像レンズを介して受光した被写体像を光電変換して得られた電気信号を画像に変換して出力する撮像部と、
   前記撮像部の出力した画像その他の情報を出力する出力部と、
   前記撮像部の撮像および前記出力部の情報出力を制御可能な制御部と、
   前記撮像部または前記撮像部以外の装置により撮影済みの所望の画像における固有の撮影状態の情報を含む参照データを取得する参照データ取得部と、
   前記撮像部から出力された画像のうちの所望の比較用画像から、撮影状態の情報を取得する比較用情報取得部と、
   を備え、
   前記制御部は、前記参照データ取得部の取得した参照データに含まれる撮影状態の情報と前記比較用情報取得部の取得した撮影状態の情報とを比較し、前記比較結果を示す情報を出力するよう前記出力部を制御する撮像装置。
2. 前記制御部は、前記比較結果に応じ、保存用画像の撮影を開始するよう前記撮像部を制御する請求項１に記載の撮像装置。
3. 前記参照データ取得部は、前記撮像部から出力された画像から前記参照データを取得する請求項１または２に記載の撮像装置。
4. 外部の電子機器と通信する通信部を備え、
   前記参照データ取得部は、前記通信部に接続されたフイルムスキャナまたはイメージスキャナから出力された画像から前記参照データを取得する請求項１〜３のいずれかに記載の撮像装置。
5. 外部の電子機器と通信する通信部を備え、
   前記参照データ取得部は、前記通信部に接続された外部の電子機器から前記参照データを受信して取得する請求項１〜４のいずれかに記載の撮像装置。
6. 前記参照データは、前記画像の背景もしくは前記背景の特徴量、前記画像の人物もしくは前記人物の特徴量、および前記画像の付帯情報のうち少なくとも１つを含む請求項１〜５のいずれかに記載の撮像装置。
7. 前記参照データに基づいて前記撮像部の出力した画像を検索する画像検索部を備え、
   前記制御部は、前記画像検索部の検索した画像を出力するよう前記出力部を制御する請求項１〜６のいずれかに記載の撮像装置。
8. 前記出力部は、通信装置、メディアライタ、表示装置および音声再生装置のうち少なくとも１つを含む請求項７に記載の撮像装置。
9. 前記制御部は、前記比較結果に応じ、現在の撮影状態から前記基準となる撮影状態への修正方法を示す情報を出力するよう前記出力部を制御する請求項１〜８のいずれかに記載の撮像装置。
10. 撮像レンズを介して受光した被写体像を光電変換して得られた電気信号を画像に変換して出力する撮像部と、前記撮像部の出力した画像その他の情報を出力する出力部と、前記撮像部の撮像および前記出力部の情報出力を制御可能な制御部と、を備えた撮像装置が実行する撮像方法であって、前記撮像装置が、
    前記撮像部または前記撮像部以外の装置により撮影済みの所望の画像における固有の撮影状態の情報を含む参照データを取得するステップと、
    前記撮像部から出力された画像のうちの所望の比較用画像から、撮影状態の情報を取得するステップと、
    前記参照データ取得部の取得した参照データに含まれる撮影状態の情報と前記比較用情報取得部の取得した撮影状態の情報とを比較し、前記比較結果を示す情報を出力するよう前記出力部を制御するステップと、
    を実行する撮像方法。
11. 請求項１０に記載の撮像方法を前記撮像装置に実行させるための撮像プログラム。
12. 撮影済みの所望の画像における固有の撮影状態の情報を含む参照データを作成する参照データ作成部と、前記参照データ作成部の作成した参照データ作成部を出力する参照データ出力部と、を備えた参照データ作成装置と、
    前記参照データ出力部の出力した参照データを入力する参照データ入力部と、撮像レンズを介して受光した被写体像を光電変換して得られた電気信号を画像に変換して出力する撮像部と、前記撮像部の出力した画像その他の情報を出力する出力部と、前記撮像部の撮像および前記出力部の情報出力を制御可能な制御部と、前記撮像部から出力された画像のうちの所望の比較用画像から、撮影状態の情報を取得する比較用情報取得部と、を備えた撮像装置と、
    を含み、
    前記撮像装置の前記制御部は、前記参照データ入力部の入力した参照データに含まれる撮影状態の情報と前記比較用情報取得部の取得した撮影状態の情報とを比較し、前記比較結果を示す情報を出力するよう前記出力部を制御する撮像システム。
13. 前記参照データ作成装置は、外部の電子機器から画像を入力する画像入力部を備え、
    前記参照データ作成部は、前記画像入力部に入力された画像から前記参照データを作成する請求項１２に記載の撮像システム。
14. 前記画像入力部は、撮像装置、フイルムスキャナおよびイメージスキャナのうち少なくとも１つから画像を入力する請求項１３に記載の撮像システム。

Images