JP2014187657A - 撮像装置およびその制御方法 - Google Patents

Abstract

【課題】撮影パラメータの変更時に何に注目したのかを第三者に容易に伝えることを可能にする。
【解決手段】撮像装置は、撮像素子からの画像信号に基づいて画像を取得するとともに、ユーザの動作を検出することによりその画像におけるユーザの注目位置を判定する。撮像装置は、撮影パラメータの変更を検出すると、上記の取得された画像と判定された注目位置と変更後の撮影パラメータを関連付けて保持する。
【選択図】 図７

Description

本発明は、撮影技術教育を支援するのに好適な、撮像装置およびその制御方法に関するものである。

写真を撮影する際には、ファインダ内あるいは、背面液晶に表示された画像をチェックして、ズームや露出、絞りなどを設定して、撮影パラメータを決定する。このような撮影パラメータによって写真の仕上がりが大きく異なってくるため、撮影パラメータの設定方法について学ぶユーザが多い。

撮影パラメータの一般的な設定方法を学ぶための学習方法としては、実際の撮影画像のメタデータから撮影パラメータを読み取ったり、それらの方法が書かれた書籍などを入手して独学で学んだりするのが一般的である。あるいは講師が撮影技術を教えてくれる教室（カメラ教室）などを受講したりするユーザも多い。

しかし、このような学習方法では、人物・風景・花などの主要な被写体に対しての一般的な設定方法しか分からない。実際の撮影時には、主要被写体と、主要ではない被写体や背景などとの関係がそれぞれ異なるため、より良いパラメータ設定値はそれらの関係によって異なってくる。つまり、撮影時には、主要被写体だけでなく、それ以外の要素も撮影パラメータに影響してくるのである。たとえば、背景に不要な物体が入ってしまうのを防ぐために、ズームを変更して画角を変えたり、背景のぼけ具合を調整するために絞りを変えたり、あるいは、主要ではない被写体の状態も考慮して露出を決定したりすることになる。

そこで、撮影中のパラメータ決定の過程において、ファインダ内の何に注目して、どの撮影パラメータをどのように変更したのかを知ることが有益である。このようなパラメータ決定方法を伝えるために、上述のカメラ教室などで講師が撮影しながら実際にパラメータの設定値の決定方法を解説する場合がある。このような方法で、パラメータの変更過程を知ることは、一般的な設定値を学ぶ学習よりも応用範囲が広い学習となる。

一方、撮影者が撮影画像の中の何を重要だと判断したかを自動で判別する技術が従来技術として知られており、特許文献１では、撮影画像に対する重要領域を決定する方法が開示されている。特許文献１によれば、撮影に至るまでの「視線情報」、コンテクスト情報と呼ぶズーム設定値などの「撮影パラメータの設定情報」および背面液晶への表示用に利用されるような「低解像度画像」の３つの情報が取得される。そして、これら３つの情報から撮影画像内における重要領域が決定される。

特許第４５１１８２１号公報

しかしながら、上述の従来技術では、撮影画像の主要被写体は判別できるが、撮影パラメータ決定時に何に注目して、どの撮影パラメータを変更したのかという情報は得られないという課題があった。

そこで本発明では、撮影パラメータの変更時に何に注目したのかを第三者に容易に伝えることを可能にすることを目的とする。

上記の目的を達成するための本発明の一態様による撮像装置は以下の構成を備える。すなわち、
撮像装置であって、
イメージセンサからの画像信号に基づいて画像を取得する取得手段と、
ユーザの動作を検出することにより前記画像におけるユーザの注目位置を判定する判定手段と、
前記撮像装置における撮影パラメータの変更を検出する検出手段と、
前記検出手段により前記撮影パラメータの変更が検出された場合に、前記取得手段により取得された画像と前記判定手段により判定された注目位置と変更後の撮影パラメータを関連付けて保持する保持手段と、を備える。

本発明は、撮影に至る過程で撮影パラメータの変更と、その時に着目した領域に関する情報を容易に共有でき、撮影パラメータの変更時に何に注目したのかを第三者に容易に伝えることが可能になる。

デジタルカメラの背面からの概観を示す斜視図。 図１のデジタルカメラの垂直断面図。 デジタルカメラの前面からの概観を示す図。 デジタルカメラの回路構成例を示すブロック図。 ベイヤ配列を示す図。 パラメータ変更履歴用バッファのデータ構成例を示す図。 視線検出装置を示す図。 パラメータ変更履歴の保存処理を示すフローチャート。 変更履歴の出力処理を示すフローチャート。 画像の領域分割の一例を示す図。 撮影パラメータ変更履歴のデータセットの一例を示す図。 パラメータ変更履歴の送信処理を示すフローチャート。 注目タグの付与処理を示すフローチャート。 パラメータ変更履歴の表示処理を示すフローチャート。 パラメータ変更履歴の表示の例を示す図。

以下、添付の図面を参照して本発明の実施形態について説明する。

〔第一実施形態〕
図１において、カメラ本体１００の上部には、ファインダ観察用の接眼窓１１１、ＡＥ（自動露出）ロックボタン１１２、ＡＦの測距点選択ボタン１１３、撮影操作をするためのレリーズボタン１１４が設けられている。更に、カメラ本体１００には、電子ダイヤル４１１、撮影モード選択ダイヤル１１７、および外部表示器４０９が設けられている。電子ダイヤル４１１は、他の操作ボタンと併用してカメラに数値を入力したり、撮影モードを切り換えたりするための多機能信号入力装置である。また、外部表示器４０９は、液晶表示装置から構成され、シャッタースピード、絞り、撮影モードなどの撮影条件や、他の情報を表示する。

また、カメラ本体１００の背面には、撮影された画像や各種設定画面などを表示するＬＣＤモニタ４１７、ＬＣＤモニタ４１７をオン／オフするためのモニタスイッチ１２１、十字配置スイッチ１１６、およびメニューボタン１２４が設けられている。

十字配置スイッチ１１６は、上下左右に配された４つのボタンと、中央に配されたＳＥＴボタンを有し、ユーザがＬＣＤモニタ４１７に表示されるメニュー項目などの選択や実行をカメラに指示するために用いられる。

メニューボタン１２４は、ＬＣＤモニタ４１７にカメラの各種設定を行うためのメニュー画面を表示させるためのボタンである。例えば、撮影モードを選択、設定する時は、このメニューボタン１２４を押した後、十字配置スイッチ１１６の上下左右のボタンを操作して希望のモードを選択し、希望のモードが選択された状態でＳＥＴボタンを押すことにより設定が完了する。

本実施形態のＬＣＤモニタ４１７は透過型であるため、ＬＣＤモニタ４１７の駆動だけでは画像を視認することはできず、その裏面には図２に示すようにバックライト照明装置４１６が必要である。このようにＬＣＤモニタ４１７とバックライト照明装置４１６は画像表示装置を構成している。

図２に示すように、撮像光学系の撮影レンズ２００はカメラ本体１００に対してレンズマウント２０２を介して着脱可能である。撮影レンズ２００とカメラ本体１００は、レンズマウント２０２の接点を介して、通信可能となっている。図２において２０１は撮影光軸、２０３はクイックリターンミラーである。クイックリターンミラー２０３は撮影光路中に配置され、撮影レンズ２００からの被写体光をファインダ光学系に導く位置（図２に示す位置、斜設位置と呼ぶ）と撮影光路外に退避する位置（退避位置と呼ぶ）との間で移動可能である。なお、本実施形態では、クイックリターンミラー２０３はハーフミラーであり、被写体光をファインダ光学系に導くと共に、撮像デバイス４１８に結像させる。撮像デバイスに結像された画像を縮小して作成した画像をライブビュー画像として表示することが可能であるが、本実施形態ではこの画像を撮影パラメータ決定時の情報としての記録にも用いる。また、光学ファインダの代わりに、小型液晶表示器を用いた電子部ビューファインダを採用してもよい。

図２において、ピント板２０４上にはクイックリターンミラー２０３からファインダ光学系に導かれる被写体光が結像される。２０５はファインダの視認性を向上させるためのコンデンサレンズ、２０６はペンタゴナルダハプリズムであり、ピント板２０４およびコンデンサレンズ２０５を通った被写体光をファインダ観察用の接眼レンズ２０８および測光センサ２０７に導く。ペンタゴナルダハプリズム２０６と接眼レンズ２０８の間には、視線検出用の機構が位置している（詳細は図６の参照により後述する）。

２０９、２１０はそれぞれシャッターを構成する後幕と先幕で、これら後幕２０９、先幕２１０の開放によって後方に配置されている固体撮像素子である撮像素子４３１が必要時間だけ露光される。撮像素子４３１はプリント基板２１１に保持されている。このプリント基板２１１の後方には、もう一枚のプリント基板である表示基板２１５が配置されている。この表示基板２１５の反対側の面にＬＣＤモニタ４１７およびバックライト照明装置４１６が配置されている。４１９は画像データを記録する記録装置、２１７は電池（携帯用電源）である。これらの記録装置４１９および電池２１７は、カメラ本体に対して着脱可能である。

図３の３０３はカメラ本体１００から撮影レンズ２００を取り外すためのレンズ取り外しボタンである。３０４は絞込みボタンで、その時設定されている絞り数値までレンズの絞りを絞込み、図１のＬＣＤモニタ４１７で被写界深度を確認することができる。絞込みボタン３０４が押されていない通常時には、絞りが開放の状態になった画像がＬＣＤモニタ４１７に表示される。

図４は、本実施形態によるカメラ本体１００と撮影レンズ２００の回路構成例を示すブロック図である。撮影レンズ２００とカメラ本体１００は、レンズ側の通信接点４２５と、カメラ側の通信接点４３４を介して通信可能である。操作スイッチ４２１は、カメラに設けられた電子ダイヤルを含む多数のスイッチ類の信号をレンズＣＰＵ４２６に伝え、マニュアル操作によるズーミング、フォーカシングおよび絞り値の設定や、オートフォーカス及びマニュアルフォーカスの切り換え等を行う。レンズ制御回路４２２は、撮影レンズ２００内にある不図示のレンズ群との通信およびＡＦ（オートフォーカス）時のレンズの駆動制御や絞り羽根の駆動制御を行う。レンズＣＰＵ４２６は、撮影レンズ２００内の動作を制御する。

不図示のレンズ群および絞りから構成される撮影光学系Ｌを通過した被写体光は、撮像素子４３１の撮像面（受光面）に結像する。撮像素子４３１は、ＣＣＤやＣＭＯＳなどの光電変換素子で構成されており、光学像を光電変換によって電気信号に変換する。本実施形態では撮像素子４３１は単板式のＣＣＤで、カラーフィルタの配列は典型例なベイヤ配列であるとする（図５Ａ）。画像縮小回路４３２は、撮像素子から得られた画像信号を現像処理した結果から、背面液晶（ＬＣＤモニタ４１７）用の確認画像を生成する。外部記憶装置４３３は例えばカメラ本体１００に着脱可能なハードディスクドライブや半導体メモリカード等である。

レリーズスイッチ４３５は、２段スイッチで構成されており、１段目のスイッチはレリーズボタン１１４（図１参照）の半押し状態でオンし、デジタルカメラは撮影準備状態になる。さらに、レリーズボタン１１４が最後まで押された状態（全押し状態）になると、レリーズスイッチ４３５の２段目のスイッチがオンし、撮像素子４３１への露光が開始される。本実施形態では、レリーズボタン１１４の半押し状態から全押し状態に至るまでの間を、撮影パラメータ調整期間と定義し、この期間の情報を解析・共有するものとする。

表示ユニット４３９は、カメラＣＰＵ４３６の制御下で、被写体をリアルタイムで表示したライブビュー画像や、撮像素子４３１を用いて撮影された動画像や静止画像をＬＣＤモニタ４１７に表示する。設定スイッチ４４０は、撮影モードや各種設定等を行うために操作される。視線検出回路４４１とパラメータ変更履歴用バッファ４３８は、上記撮影パラメータ調整期間の間に、撮影パラメータおよびその変更履歴、視線情報、撮像素子４３１から得られた画像を保存する。カメラＣＰＵ４３６は、表示ユニット４３９、設定スイッチ４４０の駆動制御や電源４３７における残り容量のチェックや電力の分担等といった種々の制御を行っている。図４に図示した以外にも、測距（ＡＦ）回路、測光（ＡＥ）回路、バックライト照明、ゴミ位置メモリ、ストロボ発光調光制御回路など様々な構成要素が考えられるが、ここでは、説明を簡単にするために、省略する。

図６は、視線検出装置を説明する図である。発光ダイオード６０４は撮影者の眼球６０５に対して不感の赤外光線を放射する。ダイクロイックミラー６０３は可視光を透過して赤外光を反射する特性を持つ光学部材であり、ペンタゴナルダハプリズム２０６と接眼レンズ２０８の間に挟まれる光路中に配置される。発光ダイオード６０４によって撮影者の眼球６０５を照射すると、眼球での反射光は、ダイクロイックミラー６０３により反射されて受光レンズ６０２に入射する。受光レンズ６０２は眼球の角膜像をイメージセンサ６０１に結像させる。イメージセンサ６０１で検出された撮影者の眼球の角膜像を、図４に示す視線検出回路４４１が解析することにより、ファインダ内におけるユーザの視線の位置が検出される。

次に、視線検出情報を使ってパラメータ変更履歴を保存する処理について説明する。カメラＣＰＵ４３６が撮影パラメータ調整期間を検出し、その間のパラメータ変更履歴を保存するまでの動作を、図７のフローチャートを使って説明する。なお、上述したように撮影パラメータ調整期間は、レリーズボタン１１４が半押し状態になると開始され、全押し状態になった時点で終了する。そして、この撮影パラメータ調整期間における撮影パラメータの変更、ファインダ内における視線位置および、その時に撮像素子４３１に結像されていた画像が保存され、解析されることになる。

ステップＳ７０１において、カメラＣＰＵ４３６は、撮影パラメータ変更履歴を保存するファイル（パラメータ変更履歴保存用ファイル）を作成する。図１０は、以下に説明される処理により作成されるファイルのデータ構成例を示す図である。ここで、カメラＣＰＵ４３６は、ファイルのヘッダ情報１００１として、このファイルの識別子および、画像の分割サイズなどの基本データを出力し、データの書き込みが可能な状態で処理をステップＳ７０２へ進める。なお、画像の分割サイズについては、後に図９を用いて説明する。

ステップＳ７０２において、カメラＣＰＵ４３６は、レリーズボタン１１４が半押し状態になった時点での、撮影パラメータ、およびファインダ内の視線位置、撮像素子４３１に結像された画像から作成される背面液晶用の縮小画像を取得する。そして、カメラＣＰＵ４３６は、それら取得した情報をパラメータ変更履歴用バッファ４３８（図５Ｂ参照、但し、「注目タグ」は第二実施形態で用いられる）に一時的に保存する。本実施形態では、撮影パラメータとして絞り値、露出設定値、ズーム位置、シャッタースピードを関連付けたデータ集合を記録する。また、視線位置としてはファインダ内の画像の中に視線が位置している場合のみ、縮小画像にマッピングした時の座標を、画像の左上を原点として記録するものとする。したがって、パラメータの視線入力などのために画像の外に視線位置が移動した場合は、視線位置は記録されない。画像の中に視線があるのか、その外側のパラメータ情報が書かれている場所に視線があるのかの判断は、たとえば、撮影パラメータの視線入力や視線位置に対するＡＦ機能などの従来技術で行われているものである。

ステップＳ７０３では、パラメータ変更履歴用バッファ４３８の使用カウンタ（cnt）に１が代入される。次に、ステップＳ７０４において、カメラＣＰＵ４３６は、データ記録タイミングかどうかを判別する。データ記録タイミングは所定の時間間隔を有し、たとえば、カメラ本体１００がライブビュー撮影用に背面液晶用の縮小画像を作成する時と同じタイミングでも良いし、その整数倍長いタイミングでも良い。本実施形態では、背面液晶用の縮小画像は、一秒間に６０回作成されるものとし、データの記録タイミングはその２倍の長さのタイミング、つまり一秒間に３０回とする。

ステップＳ７０４でデータの記録タイミングであると判定された場合には、処理はステップＳ７０５へ進む。ここで、カメラＣＰＵ４３６は、パラメータ変更履歴用バッファ４３８のcnt番目（buffer[cnt]）に、その時点での撮影パラメータ、ファインダ内における視線の検出位置（視線位置）および、縮小画像を保存する。そして、ステップＳ７０６において、カメラＣＰＵ４３６はパラメータ変更履歴用バッファ４３８の使用カウンタcntに１を加算する。ステップＳ７０７において、カメラＣＰＵ４３６は、今回のタイミングでbuffer[cnt-1]に保存した撮影パラメータと、その直前のタイミングでbuffer[cnt-2]に保存した撮影パラメータとを比較する。両者が同じ値であれば、ステップＳ７０９へ進み、異なる値であれば、ステップＳ７０８へ進む。

ステップＳ７０８において、カメラＣＰＵ４３６は、変更履歴の解析を行いその結果をステップＳ７０１で作成したファイルに出力し、buffer[0]からbuffer[cnt-2]までのデータを削除し、最新のデータであるbuffer[cnt-1]をbuffer[0]にコピーする。この変更履歴の出力については、後に図８を用いて詳しく説明する。ステップＳ７０９において、カメラＣＰＵ４３６は、あらかじめ用意されたパラメータ変更履歴用バッファ４３８にまだ空きがあるかどうかを調べる。本実施形態では、１５０セットの撮影パラメータ、視線位置、縮小画像を保存できるだけのバッファ容量が用意されているものとする。したがって、cntが１５０未満であればバッファにまだ空き領域があり、cntが１５０以上であればすべてのバッファ容量が使用されていると判断できる。パラメータ変更履歴用バッファ４３８に空き領域がなければ処理はステップＳ７１０へ進み、まだ空き容量があれば処理はステップＳ７１１に進む。なお、データ記録タイミングにおいて、直前のデータ記録タイミングと撮影パラメータが異なる場合には、ステップＳ７０８で変更履歴用バッファに空き領域が出る。そのため、ステップＳ７１０へ進んだ場合には、変更履歴用バッファの全てにおいて、同一の撮影パラメータ（視線位置のみ異なる）が保存されている。

ステップＳ７１０において、カメラＣＰＵ４３６は、パラメータ変更履歴用バッファ４３８内で最も古いデータ（本実施形態ではbuffer[0]のデータ）を削除し、残りのデータについたバッファの番号を一つずつ若い番号に付け替える。さらに、カウンタcntの値から１を引く。つまり、本例ではcntの値を１４９とする。ステップＳ７１１では、レリーズボタン１１４が全押しされた状態になったかどうかを検出する。カメラＣＰＵ４３６は、レリーズボタン１１４がまだ半押し状態になっていれば、引き続き撮影パラメータ調整期間内にあるものと判断し、ステップＳ７０４へ処理を戻す。他方、カメラＣＰＵ４３６は、レリーズボタン１１４が全押し状態になっていれば、撮影パラメータ調整期間が終了したと判断し、処理をステップＳ７１２に進める。ステップＳ７１２では、ステップＳ７０１で作成したファイルをクローズし、このフローを終了する。

次に、図８を参照して、撮影パラメータが変更された場合の変更履歴の書き込みフローを説明する。

ステップＳ８０１においてカメラＣＰＵ４３６は、変更前後の撮影パラメータをステップＳ７０１で作成したファイルにそれぞれ撮影パラメータ１００２、撮影パラメータ１００３として書き込む。より具体的には、buffer[0]からbuffer[cnt-2]までは同一の撮影パラメータになっているため、パラメータ変更履歴用バッファ４３８内で最も古いデータが格納されているbuffer[0]と、一番新しいデータが格納されているbuffer[cnt-1]を、撮影パラメータ１００２，１００３として書き込むことになる。次に、ステップＳ８０２において、カメラＣＰＵ４３６は、ステップＳ８０１で書き込まれたパラメータの変更前後の縮小画像として、今回ファイルに書き込む縮小画像の枚数をファイルに書き込む。具体的には、buffer[0]からbuffer[cnt-1]のcnt枚の画像がファイルに書き込まれることになるので、値cntが画像の枚数１００４として書き込まれる。

ステップＳ８０３において、カメラＣＰＵ４３６は、画像用カウンタIを用意し、これにゼロを代入して初期化する。ステップＳ８０４では、buffer[I]の視線位置からユーザの注目位置としての視線集中領域番号を算出する。本実施形態では、ファイルに書き込むデータとしては、図９に示すように、画像領域を８×６の４８分割し、左上から順にラスター順に領域番号を振る。そして、buffer[I]に格納されている視線位置の座標から領域番号を算出する。たとえば、縮小画像のサイズが６４０×４８０画素で、検出された視線位置の座標が（５２０，４０）であるとすると、視線集中領域番号は６番と算出される。

ステップＳ８０５において、カメラＣＰＵ４３６は、buffer[I]の縮小画像をＪＰＥＧで圧縮する。ステップＳ８０６において、カメラＣＰＵ４３６は、ステップＳ８０４で算出した視線集中領域番号とステップＳ８０５で作成された圧縮データを、ファイルに出力する。これにより、視線集中領域番号（AI）と縮小画像１００６（PI）がファイルに書き込まれる。画像用カウンタIが０である場合、視線集中領域番号１００５（A0）と縮小画像１００６（P0）がファイルに書き込まれる。

ステップＳ８０７において、カメラＣＰＵ４３６は、画像用カウンタIをインクリメントする。ステップＳ８０８において、カメラＣＰＵ４３６は、画像用カウンタIと、書き込むべき縮小画像の枚数cntとを比較することで、今回の撮影パラメータ変更に伴う書き込みが終了したかどうかを判断する。画像用カウンタIと、縮小画像の枚数cntとが等しければ、書き込みが終了したものと判断され、処理はステップＳ８０９へ進む。他方、画像用カウンタIと、縮小画像の枚数cntとが等しくなければ、処理はステップＳ８０４に戻る。ステップＳ８０９において、カメラＣＰＵ４３６は、一番新しいデータが格納されているbuffer[cnt-1]のデータをbuffer[0]にコピーし、buffer[1]〜buffer[cnt-1]までのデータは削除して、このフローを終了する。また、ステップＳ８０９においてカウンタcntの値が１にリセットされる。

以上のような処理により、図１０に示すようなファイルが生成される。すなわち、
・変更前後の撮影パラメータ（撮影パラメータ１００２、１００３）と、
・その変更過程において注目していた領域を表す縮小画像と視線集中領域番号の組み合わせ（視線集中領域番号１００５と縮小画像１００６〜視線集中領域番号１００７と縮小画像１００８）が、
撮影パラメータ変更履歴のデータセットとしてパラメータ変更の度にファイルに保存されることになる。したがって、このファイルを第三者に提供することで、撮影パラメータ決定時に何に注目して、どのパラメータを変更したのかという情報を容易に第三者に開示できる。

また、撮影パラメータ変更履歴のデータセットとして保存する縮小画像は、圧縮して保存されるため、パラメータ変更履歴保存用ファイルサイズを小さく抑えることが可能である。また、視線集中領域番号とその時の縮小画像を一緒に保存することで、撮影に至る過程でカメラを向ける位置や構図、画角が変わることにより、最終的に撮影された画像内には含まれなかった物体であっても、撮影パラメータ決定の際に注目されたことを知ることが可能になる。この効果については第三実施形態で詳しく述べる。

〔第二実施形態〕
第二実施形態では、撮影パラメータ調整期間中の撮影パラメータ変更履歴をファイルに保存せずに、外部装置に送信する。第二実施形態による撮像装置の構成は第一実施形態と同様である。以下、第二実施形態による撮像装置の動作について、図１１のフローチャートを用いて説明する。なお、図１１において、図７と同じ処理のステップには、図７と同じ参照番号が付与されている。また、第二実施形態では、第一実施形態と同様に、パラメータ調整期間の撮影パラメータの変更、ファインダ内における視線位置、その時に撮像素子４３１に結像されていた画像をモニタする。そして、あらかじめ登録された、表示デバイスを持つ外部装置（デジタルカメラ、ＰＣ、タブレットＰＣなど）に、撮影パラメータ、縮小画像、視線位置などを送信する。

また、第二実施形態のパラメータ変更履歴用バッファ４３８には、第一実施形態で保存した撮影パラメータ、縮小画像、視線位置の他に、それらのデータが撮影パラメータ変更直前のデータであるかどうかを示す注目タグを保存する領域が設けられている（図５Ｂ参照）。撮影パラメータ変更直前のデータである場合には、注目タグに視線集中領域番号が保存され、そうでない場合には、負の値が保存されているものとする。

ステップＳ１１０２では、第一実施形態同様に、buffer[0]に撮影パラメータ、縮小画像、視線位置を保存し、さらに注目タグにマイナス１を入れて初期化する。ステップＳ７０３、ステップＳ７０４は第一実施形態と同様の動作をする。ステップＳ１１０２では、ステップＳ１１０１と同様に、buffer[cnt]に撮影パラメータ、縮小画像、視線位置を保存し、注目タグをマイナス１で初期化する。ステップＳ７０６、ステップＳ７０７は第一実施形態と同様の動作をする。ステップＳ７０７で、buffer[cnt-2]とbuffer[cnt-1]の撮影パラメータが同じ場合には、ステップＳ７０９へ進み、第一実施形態と同様の処理が行われる。

他方、ステップＳ７０７において両者の撮影パラメータが異なる場合、処理はステップＳ１１０３に進む。ステップＳ１１０３において、カメラＣＰＵ４３６は、buffer[cnt-1]に注目タグを付与し、ステップＳ７０９へ進む。注目タグの付与方法については、図１２のフローチャートの参照により後述する。ステップＳ７０９では、第一実施形態同様にパラメータ変更履歴用バッファ４３８に空きがあるかどうかを判断する。空きがあればステップＳ７１１に進む。

パラメータ変更履歴用バッファ４３８に空きがなければ、処理はステップＳ１１０４へ進む。ステップＳ１１０４においてカメラＣＰＵ４３６は、buffer[0]のデータのうち、撮影パラメータ、縮小画像、注目タグの値を、あらかじめ登録されている外部装置に送信する。ステップＳ１１０５においてカメラＣＰＵ４３６は、buffer[k+1]（k=0〜n-1）のデータをbuffer[k]にコピーし、バッファ使用カウンタcntの数を１減らし、処理をステップＳ７１１へ進める。ステップＳ７１１では、第一実施形態と同様に、カメラＣＰＵ４３６がレリーズボタン１１４の全押し状態の検出を判断する。レリーズボタン１１４の全押し状態が検出されなかったら、カメラＣＰＵ４３６は処理をステップＳ７０４へ処理を戻し、検出したら処理をステップＳ１１０６へ進める。ステップＳ１１０６では、バッファ内に残っているすべてのデータセット、すなわち、撮影パラメータ、縮小画像、および注目タグを送信し、このフローを終了する。

次に、ステップＳ１１０３の注目タグの付与処理について、図１２を用いて説明する。なお、図１２において、第一実施形態で説明した図８の処理と同様の動作をするステップには、図８と同じ番号を付与してある。

ステップＳ８０３で、カメラＣＰＵ４３６は、画像用カウンタIにゼロを代入し、初期化する。ステップＳ１２０１においてカメラＣＰＵ４３６は、パラメータ変更履歴用バッファ４３８内の画像の中で、注目タグが付与されていない先頭の画像を探すために、buffer[I]のデータセットに注目タグが付与されているかどうかを判断する。本実施形態の場合、注目タグがマイナス１であれば、まだ注目タグが付与されていないと判断でき、その場合、処理はステップＳ８０４へ進む。この時点で注目タグが設定されている画像は、前回の撮影パラメータ変更時の注目領域であると判断され、処理はステップＳ１２０２へ進む。ステップＳ１２０２において、画像用カウンタIに１を加算する。

ステップＳ８０４においてカメラＣＰＵ４３６は、ユーザの注目位置としての視線集中領域番号を算出する。視線集中領域番号の算出処理は、第一実施形態で説明したとおりである。ステップＳ１２０３においてカメラＣＰＵ４３６は、注目タグにステップＳ８０４で算出された視線集中領域番号を代入する。ステップＳ８０７、Ｓ８０８は第一実施形態と同様である。

第二実施形態の場合、あらかじめ登録されていた外部装置は、ほぼリアルタイムで撮影パラメータ変更の過程をデジタルカメラと共有することができる。したがって、外部装置において、図１０に示したようなパラメータ変更履歴保存用ファイルを保持することができる。また、本実施形態では、送信する画像データ（縮小画像）は圧縮されていないが、ＪＰＥＧなどにより画像データを圧縮してから送信するようにしてもよい。また、情報処理装置は、撮像装置からステップＳ１１０４とＳ１１０６で送信されたデータの全てをファイルに保持してもよいし、注目タグが付与されているデータをファイルに保持するようにしてもよい。注目タグが付与されているデータをファイルに保持するようにすれば、情報処理装置において第一実施形態で説明したファイル（図１０）と同等のファイルが生成されることになる。

〔第三実施形態〕
第三実施形態では、第一実施形態で作成されたファイルを表示する方法について、図１３のフローチャートを用いて説明する。以下では、デジタルカメラのカメラＣＰＵ４３６が、外部記憶装置４３３に格納されたパラメータ変更履歴保存用ファイルを読み出して表示する場合を説明する。なお、第二実施形態で説明したように、外部装置にパラメータ変更履歴保存用ファイルが保持され、外部装置がこれを読み出して表示する場合も同様であることは当業者には明らかである。

ステップＳ１３０１においてカメラＣＰＵ４３６は、パラメータ変更履歴が保存されたパラメータ変更履歴保存用ファイルを取得し、読出し用にオープンする。ステップＳ１３０２においてカメラＣＰＵ４３６は、ファイルのヘッダ情報１００１を読み、画像の領域分割のサイズを取得する。本実施形態の場合、画像は縦横８０画素の正方形で分割されていることが分かる（縮小画像のサイズが６４０×４８０画素であり、８×６に分割されるため）。ステップＳ１３０３においてカメラＣＰＵ４３６は、変更前の撮影パラメータPbeforeとして、撮影パラメータ１００２を読み出す。また、ステップＳ１３０４においてカメラＣＰＵ４３６は、変更後の撮影パラメータPafterとして、撮影パラメータ１００３を読み出す。

ステップＳ１３０５においてカメラＣＰＵ４３６は、ステップＳ１３０３で取得したPbeforeとステップＳ１３０４で取得したPafterを比較する。そして、撮影パラメータとして記録されている、絞り値、露出設定値、ズーム位置、シャッタースピードなどの撮影パラメータのうち、変更された撮影パラメータ（以下、変更パラメータ）とその値を取得する。本実施形態では、ズームの値が５０mmから７０mmに変更されていたものとする。ここで、差分ｄを求めることにより、ｄ≠０となったパラメータが変更パラメータであり、後述する図１４の表示領域１４０２で表示される変更パラメータが特定される。

ステップＳ１３０６においてカメラＣＰＵ４３６は、この変更パラメータに関連して記録された画像の枚数１００４（N）をファイルから読み出す。ステップＳ１３０７においてカメラＣＰＵ４３６は、画像のカウンタhにゼロを代入して初期化する。ステップＳ１３０８においてカメラＣＰＵ４３６は、h番目の視線集中領域番号（h=0の場合は視線集中領域番号１００５）と縮小画像（h=0の場合は縮小画像１００６）を読み出す。そして、カメラＣＰＵ４３６は、ステップＳ１３０５において取得した変更パラメータおよびその値と共に、線集中領域番号と縮小画像を表示する。

ステップＳ１３０９においてカメラＣＰＵ４３６は、カウンタhに１を足してインクリメントする。ステップＳ１３１０においてカメラＣＰＵ４３６は、カウンタhとステップＳ１３０６で取得した画像の枚数Nを比較する。カウンタhが画像の枚数Nと同じであれば、現在の変更パラメータに関連する画像の表示が終了したと判断され、処理はステップＳ１３１１へ進む。他方、カウンタhと画像の枚数Nが異なる場合には、まだ表示していない画像があると判断され、処理はステップＳ１３０８へ戻る。ステップＳ１３１１においてカメラＣＰＵ４３６は、処理がファイルの終端（最後の変更履歴のデータセット）まで終了したかどうかを判断する。まだファイルの終端に到達していなければ、他にも撮影パラメータ変更履歴が保存されているものと判断され、処理はステップＳ１３０３に戻る。ファイルの終端であれば、すべてのパラメータ変更履歴の表示が終わったものと判断され、このフローを終了する。

第三実施形態で表示されるパラメータ変更履歴の一例を図１４に示す。図１４（ａ）はズームを変更する前の様子を表しており、図１４（ｃ）はズームの変更が確定された後の様子を示し、図１４（ｂ）はその途中経過を示している。１４０１は、撮影パラメータの全ての設定値を示す表示領域であり、１４０２は撮影パラメータの中で変更のあったパラメータを表示する表示領域である。１４０３は、画像中の視線集中領域を示している。このように、表示される各画像において視線集中領域１４０３、すなわちユーザの注目位置が識別可能に表示されるので、パラメータ変更時にユーザが画像のどの部分に注目していたかを直ちに把握することができる。

また、図１４は、主要な被写体を中心に据えつつ、不要な物体を撮影領域から外すために、撮影パラメータを変更した例を示している。つまり、ズーム５０ｍｍで主要被写体を中心に持ってくると、領域１４０３に不要な物体が含まれてしまう。そこで、ズーム位置を７０ｍｍに変更して、主要被写体が中心で、かつ不要な物体が写りこまない、という構図を決めている。このように、本実施形態では、撮影に至るまでの撮影パラメータと一緒に、その時の縮小画像を保持しているため、撮影画像からはずれした物体と、そのための撮影パラメータの変更過程をも知ることができる。

ズームのように連続的に変化するパラメータの場合、変更開始から変更後パラメータが決定されるまでに、図１０に示すような撮影パラメータ１００２から縮小画像１００８までの一連のデータのデータセットが複数組ファイル内に生成される。変更前後の撮影パラメータを表示領域１４０２に表示する際、変更後の撮影パラメータ１００３が、次の一連のデータの先頭にある変更前のパラメータと同一であれば、その連続性を考慮して、変更後のパラメータとして表示領域１４０２に示す値を決定する方が良い。たとえば、ズームが５０ｍｍ→６０ｍｍのデータセットに続いてズームが６０ｍｍ→７０ｍｍのデータセットが有る場合には、ズーム変更の連続性を考慮して、図示のように５０ｍｍ→７０ｍｍというように変更前後のパラメータを表示領域１４０２に表示することが好ましい。

〔その他の実施形態〕
第一実施形態、第二実施形態では、注目領域の算出にファインダ内の視線位置情報を使用したがこれに限られるものではない。たとえば、撮像装置にファインダがなく、視線位置情報を取得できない場合、たとえばタッチパネルディスプレイに表示された画像に対して指による指示を視線集中領域として使用するようにしてもよい。たとえば、ＬＣＤモニタ４１７としてタッチパネルディスプレイを使ったカメラの場合、ズームの中心点を２本の指で指示し、そのまま指を開くことでズームの倍率を指定するようなＵＩを持っている。この場合、たとえば、上述した撮影パラメータ調整期間において画像を表示中のタッチパネルディスプレイに入力された、２本の指で指示した中心点を視線位置情報として用いることができる。

また、上記各実施形態では、画像をあらかじめ分割し、ユーザの注目位置として注目領域番号を共有していたが、視線位置の座標を注目位置として共有するようにしてもよい。また、その場合、注目位置としてその座標位置を点で示してもよいし、視線位置の座標を中心に円を描き、その円を注目位置（視線集中領域）として表示してもよい。あるいは、画像を解析し、視線位置の座標を含むオブジェクトを切り出して、そのオブジェクトを提示するようにしてもよい。

また、上記各実施形態では、撮影パラメータ変更履歴のデータセットとして保存される画像を、ＪＰＥＧ圧縮する方法を説明したが、たとえばＪＰＥＧ２０００やＰＮＧなどの別の圧縮方法でも構わないことは言うまでもない。ＪＰＥＧ２０００で圧縮する場合には、視線集中領域はＪＰＥＧ２０００のＲＯＩ（関心領域）を使って示すこともできる。その場合、撮影パラメータ変更履歴のデータセットとして視線集中領域番号をあえて入れる必要はない。

さらに、視線集中領域として提示したい画像領域は圧縮率を低くし、それ以外の領域は圧縮率を高くして保存するようにしてもよい。これは、ＪＰＥＧ圧縮を使う場合には、視線集中領域の画像はＱファクタの値を大きくして、それ以外の領域はＱファクタの値を小さくすることで容易に実現できる。この場合も、撮影パラメータ変更履歴のデータセットの中に、あえて視線集中領域番号を入れる必要はない。

あるいは、一連の画像を動画とみなして、ＭＰＥＧやＨ２６４などの動画用の圧縮方式で保存することも可能である。その場合、各フレームに対する視線集中領域番号を、その動画データの先頭にまとめて保存、あるいは送信すれば良い。

また、上記各実施形態で保存・送信する画像は背面液晶用に縮小された画像を使用したが、撮影画像サイズが小さい場合には、あえて縮小せず、撮影画像サイズと同じ大きさの画像を使用してもよい。その場合、縮小処理がない分、カメラ本体の処理負荷が軽減する。

また、上記各実施形態では、撮影パラメータ調整期間の検出にレリーズボタンを使用し、レリーズボタンが半押し状態から全押し状態に至るまでの間とした。しかし、明示的に撮影中を示すモードを新たに設けて、そのモードに切り替えることで撮影パラメータ調整期間を検出してもよい。

さらに、上記第一実施形態では、ステップＳ７０８の変更履歴の出力において、撮影パラメータの変更検出時からパラメータ変更履歴用バッファ４３８に保持されている最古のものまでをファイルに出力している（図８）がこれに限られるものではない。たとえば、撮影パラメータの変更検出時およびそこから過去の所定枚数をファイルに出力するようにしてもよい。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (10)

1. 撮像装置であって、
   撮像素子からの画像信号に基づいて画像を取得する取得手段と、
   ユーザの動作を検出することにより前記画像におけるユーザの注目位置を判定する判定手段と、
   前記撮像装置における撮影パラメータの変更を検出する検出手段と、
   前記検出手段により前記撮影パラメータの変更が検出された場合に、前記取得手段により取得された画像と前記判定手段により判定された注目位置と変更後の撮影パラメータを関連付けて保持する保持手段と、を備えることを特徴とする撮像装置。
2. 所定の時間間隔で、前記取得手段により取得された画像と前記判定手段により判定された注目位置と撮影パラメータとを関連付けたデータ集合をバッファに保存する保存手段を更に備え、
   前記保持手段は、前記変更後の撮影パラメータと関連付けるべき画像と注目位置を前記バッファから取得することを特徴とする請求項１に記載の撮像装置。
3. 前記保持手段は、前記検出手段により前記撮影パラメータの変更が検出された場合に、その変更の検出時とそれより前の、複数のデータ集合を前記バッファから取得して保持することを特徴とする請求項２に記載の撮像装置。
4. 前記撮影パラメータとは、ズーム、露出、絞り、シャッタースピードのいずれかを含む請求項１乃至３の何れか１項に記載の撮像装置。
5. 前記判定手段は、ファインダ内におけるユーザの視線の検出位置に基づいて前記注目位置を判定することを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
6. 前記撮像素子から得られた画像を表示するタッチパネルディスプレイを備え、
   前記判定手段は、画像の表示中に前記タッチパネルディスプレイで指示された位置に基づいて前記注目位置を判定することを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
7. 前記保持手段は、前記バッファから取得した前記複数のデータ集合から得られる変更の前後の撮影パラメータ、複数の画像とそれぞれの注目位置をファイルとして保存することを特徴とする請求項３に記載の撮像装置。
8. 前記バッファに保持された、前記データ集合を外部装置に送信する送信手段を更に備えることを特徴とする請求項３または７に記載の撮像装置。
9. 前記保持手段により保存された前記ファイルから、前記変更の前後の撮影パラメータを読み出して表示し、前記複数の画像から選択された画像を読み出して表示し、表示された画像に関連付けられた注目位置を読み出して前記画像に識別可能に表示する表示手段を更に備えることを特徴とする請求項７に記載の撮像装置。
10. 撮像装置の制御方法であって、
    取得手段が、撮像素子からの画像信号に基づいて画像を取得する取得工程と、
    判定手段が、ユーザの動作を検出することにより前記画像におけるユーザの注目位置を判定する判定工程と、
    検出手段が、前記撮像装置における撮影パラメータの変更を検出する検出工程と、
    保持手段が、前記検出工程で前記撮影パラメータの変更が検出された場合に、前記取得工程で取得された画像と前記判定工程で判定された注目位置と変更後の撮影パラメータを関連付けて保持する保持工程と、を有することを特徴とする撮像装置の制御方法。

Images