JP2010081246A - 構図選択装置及びプログラム - Google Patents

Abstract

【課題】 撮影画像用の構図の選択をより簡単に行うことができる構図選択装置及びプログラムを提供する。
【解決手段】 撮像装置１は、撮像光学系１１及び撮像部１２によって撮像されたライブビュー画像は、撮像処理部１３によって揮発記録部１８に格納される。制御部１５は、取得した撮影画像に含まれている注目被写体を認識する被写体認識処理と、被写体認識処理により認識された注目被写体の状態を認識する状態認識処理と、状態認識処理により認識された状態に基づいて、撮影構図パターン記録部１７２に記録された複数の撮影構図パターンのうち注目被写体を含む画像全体における撮影構図を選択する構図選択処理とを行う。
【選択図】 図１

Description

本発明は、撮像画像の記録に際し、構図を選択する構図選択装置及びプログラムに関する。

従来より、被写体を撮像するときにユーザに対して撮影構図を提示する技術としては、下記の特許文献１に記載された電子カメラが知られている。

この電子カメラは、以前に行った定点撮影時の撮影画像を構図化処理して構図画像とする。そして、電子カメラは、今回の定点撮影時にファインダ画像と構図画像とを重畳表示して位置合わせを行うと共に、前回の撮影画像の撮影条件を今回の撮影条件として設定して、定点撮影を行っている。このような電子カメラは、前回の撮影終了後に元画像の撮影条件と対応させて構図画像を保存し、今回の撮影時に構図を再生表示している。更に、この電子カメラは、前回の撮影画像のうちから構図とする画像を選択し、当該撮影画像を構図化してスルー画像に重畳表示できるとしている。
特開２００２−０９４８５４号公報

しかしながら、上述した技術では、撮影構図の選択をユーザの手動によって行っていたので、構図選択のための操作がユーザにとって煩雑となるものであった。

そこで、本発明は、上述した実情に鑑みて提案されたものであり、撮影画像を記録する際、記録に適した構図の選択をより簡単に行うことができるようにすることを目的とする。

請求項１に記載の構図選択装置は、撮影画像を取得する画像取得手段と、当該画像取得手段によって取得された撮影画像に含まれている注目被写体を検出する被写体検出手段と、当該被写体検出手段により検出された注目被写体の撮影状態を判断する状態判断手段と、予め複数の構図を記録した構図記録手段と、状態判断手段によって判断された注目被写体の撮影状態に基づいて、構図記録手段に記録された複数の構図のうち撮像画像全体を記録するための構図を選択する構図選択手段とを備えることを特徴とする。

請求項２に記載の構図選択装置は、請求項１に記載の構図選択装置であって、被写体検出手段は複数の注目被写体を検出すると共に、状態判断手段は複数の注目被写体の撮影状態を夫々判断し、構図選択手段は、状態判断手段によって夫々判断された複数の注目被写体の撮影状態に基づいて構図を選択することを特徴とする。

請求項３に記載の構図選択装置は、請求項１に記載の構図選択装置であって、状態判断手段は、注目被写体の撮影状態を、当該注目被写体の撮像画像における位置又はサイズのうち少なくとも１つと、当該注目被写体の分類とに基づいて判断することを特徴とする。

請求項４に記載の構図選択装置は、請求項３に記載の構図選択装置であって、被写体検出手段が検出する注目被写体の数が複数のとき、注目被写体の分類は、空、海、緑地、木、草、人物、顔、建物、車両、道路のうちの少なくとも２つであることを特徴とする。

請求項５に記載の構図選択装置は、請求項３に記載の構図選択装置であって、被写体検出手段が検出する注目被写体が人であるとき、注目被写体の分類は、人物の性別、年齢層、表情、顔の向き、眼の開閉状態のうちの少なくとも２つであることを特徴とする。

請求項６に記載の構図選択装置は、請求項３に記載の構図選択装置であって、状態判断手段は、注目被写体のサイズを、撮影画像の面積に対する注目被写体の面積の割合に基づいて判断することを特徴とする。

請求項７に記載の構図選択装置は、請求項１乃至請求項６の何れか一項に記載の構図選択装置であって、表示手段と、画像取得手段によって取得された撮影画像と、構図選択手段により選択された構図を表す画像を重畳させて表示するように表示手段を制御する表示制御手段と、を更に備えることを特徴とする。

請求項８に記載の構図選択装置は、請求項１乃至請求項７の何れか一項に記載の構図選択装置であって、構図選択手段は、状態判断手段によって判断された注目被写体の撮影状態に基づいて、構図記録手段に記録された複数の構図から所定数の構図を選択する第１の選択手段と、当該第１の選択手段によって選択された所定数の構図から撮像画像全体を記録するための構図を選択する第２の選択手段と、を含むことを特徴とする。

請求項９に記載の構図選択装置は、請求項８に記載の構図選択装置であって、ユーザの選択操作に従って、第２の選択手段によって選択された構図を他の構図に変更する変更手段を更に備えることを特徴とする。

請求項１０に記載の構図選択装置は、請求項８に記載の構図選択装置であって、第２の選択手段は、状態判断手段によって判断された注目被写体の撮影状態に基づいて、第１の選択手段によって選択された所定数の構図から撮像画像全体を記録するための構図を選択することを特徴とする。

請求項１１に記載の構図選択装置は、請求項１に記載の構図選択装置であって、第１の選択手段によって選択された所定数の構図を表示する構図表示手段を更に備え、第２の選択手段は、ユーザの選択操作に従って撮像画像全体を記録するための構図を選択することを特徴とする。

請求項１２に記載のプログラムは、予め複数の構図を記録したメモリを有するコンピュータを、撮影画像を取得する画像取得手段、当該画像取得手段によって取得された撮影画像に含まれている注目被写体を検出する被写体検出手段、当該被写体検出手段により検出された注目被写体の撮影状態を判断する状態判断手段、当該状態判断手段によって判断された注目被写体の撮影状態に基づいて、メモリに記録された複数の構図のうち撮像画像全体を記録するための構図を選択する構図選択手段として機能させることを特徴とする。

本発明によれば、撮影画像を記録する際、記録に適した構図の選択をより簡単に行うことができる。

以下、本発明の実施の形態について図面を参照して説明する。

［撮像装置１の構成］
まず、図１を用いて、本発明の実施の形態として示す撮像装置１の機能的な構成について説明する。この撮像装置１は、撮影時にライブビュー画像を表示させている時に、注目被写体を含む画像全体における撮影構図を選択する構図選択機能を備えたものである。したがって、以下に説明する構図選択装置としての機能は、必ずしも撮像装置１に搭載されている実施の形態に限定されず、例えばパーソナルコンピュータに構図選択装置としての機能を実現させることもできる。

図１に示すように、撮像装置１は、撮像光学系１１と、撮像部１２と、撮像処理部１３と、メモリーカード部１４と、制御部１５と、キー入力部１６と、不揮発記録部１７と、揮発記録部１８と、撮影構図パターン記録部１７２と、画像圧縮部２０と、メイン表示処理部２１と、メイン表示部２２とを備える。

撮像光学系１１は、主として、モータ、レンズユニット、等からなる。このレンズユニットは、外光を入射するための複数のレンズ群からなる。レンズユニットは、所定範囲の撮像領域の外光をＣＭＯＳ（Complementary Metal-Oxide Semiconductor）などの撮像素子に結像するための光学系である。ここでは撮像素子はＣＭＯＳとするが、ＣＣＤであっても構わない。レンズユニットは、図示しないシャッターユニット、絞りユニットを備えている。これらシャッターユニット、絞りユニットは、モータの駆動により合焦位置や絞り位置が移動される。このレンズユニットは、制御部１５の制御に応じてズームアウト、ズームインを自在に実行し、撮影範囲を変化させることができるズームレンズも備えている。

撮像部１２は、前述したＣＭＯＳなどの撮像素子を含む。ＣＭＯＳは、例えばＲＧＢの原色系のカラーフィルタを形成している。ＣＭＯＳは、図示しないタイミング発生器及び垂直ドライバによって走査駆動される。ＣＭＯＳは、一定周期毎に結像した光像に対応する光電変換出力を１画面分出力する。

撮像部１２は、制御部１５による制御に従って動作するコントローラと、Ａ／Ｄ変換処理回路等を含む。この撮像部１２におけるコントローラ、後述する制御部１５の制御に従って、撮像光学系１１におけるレンズユニット及びＣＭＯＳの動作を制御する。Ａ／Ｄ変換処理回路は、サンプルホールド回路、Ａ／Ｄ変換器を含む。Ａ／Ｄ変換処理回路は、ＣＭＯＳから出力された光電変換出力に所望の処理を施す。具体的には、ＣＭＯＳからの光電変換出力に対して、アナログ値の信号の状態でＲＧＢの各原色成分毎に適宜ゲイン調整する。その後、サンプルホールド回路によってサンプルホールドし、Ａ／Ｄ変換器によってデジタル撮影画像データに変換し、撮像処理部１３に出力する。

撮像処理部１３は、撮像部１２から供給された撮影画像データに対して所定の画像処理を施す。この撮像処理部１３は、ＲＧＢデータとして供給された撮影画像データの変換処理、画素補間処理、γ補正処理、及びマトリックス演算を行う。この撮像処理部１３によって所定の画像処理が施された撮影画像データは、揮発記録部１８に供給される。

この撮影画像データは、ライブビュー画像として用いられることもあれば、記録用画像として用いられることもある。ここでは、ライブビュー画像として用いるときは、画像サイズをメイン表示部２２と同じサイズとするものとし、記録用画像として用いるときは、使用者の所望のサイズとするものとする。

メモリーカード部１４は、撮像装置１に備えられたメモリーカードの記録再生機構を含む。このメモリーカード部１４は、制御部１５の制御に従って、当該撮像装置１によって撮像された撮影画像データをメモリーカードに記録する。また、メモリーカード部１４は、制御部１５の制御に従って、メモリーカードに記録された撮影画像データを再生して出力する。

不揮発記録部１７は、撮影構図パターン記録部１７２を含む。撮影構図パターン記録部１７２は、複数の撮影構図パターンを記録する構図記録手段として機能する。この撮影構図パターンは、画像全体における被写体の配置を示す。撮影構図パターンは、撮影画像内に含まれる注目被写体の位置、サイズ、分類に応じて、それぞれ異なったものとなる。撮影構図パターン記録部１７２は、複数の撮影構図パターンをテーブル化した、構図パターンテーブルとして記録している。この撮影構図パターン記録部１７２に記録された撮影構図パターンは、制御部１５の制御に従って選択される。

また、撮影構図パターン記録部１７２には、撮影構図を決定するために用いられる検索インデックステーブルが記録されている。この検索インデックステーブルは、インデックス番号と、構図の検索インデックス（撮影構図名）と、注目被写体群とが対応付けられている。そして、構図パターンテーブルは、インデックス番号に対応して複数の撮影構図パターンが登録されている。詳細は後述するが、制御部１５は、ライブビュー画像に含まれる注目被写体を認識し、当該注目被写体から検索インデックス名及びインデックス番号を特定することによって、構図パターンテーブルからユーザに提示する撮影構図を選択できる。

なお、この撮像装置１は、撮影構図パターン記録部１７２に撮影構図パターンを示す構図パターンデータを記録しているが、この実施形態に限られず、構図パターンデータを通信回線を介してダウンロードして、後述するように複数の撮影構図パターンのうち何れかの撮影構図パターンを決定しても良い。

制御部１５は、当該撮像装置１を統括して制御する。制御部１５は、不揮発記録部１７中のプログラム記録部１７１に記録されたプログラムに従って動作することによって、当該撮像装置１に必要な各種の制御を行う。

特に、制御部１５は、プログラム記録部１７１に記録されたプログラムに従った処理を行う。この撮影構図画像を選択するためのプログラムに従って処理を実行することにより、制御部１５は、撮影画像に含まれている注目被写体を検出する被写体検出処理、当該検出された注目被写体の撮影状態を判断する状態判断処理、注目被写体の撮影状態に基づいて撮影構図パターン記録部１７２に記録された複数の撮影構図パターンのうち注目被写体を含む画像全体における撮影構図パターンを選択する構図選択処理を行う。なお、このような制御部１５による撮影構図選択処理の詳細については後述する。

そして、制御部１５は、選択された撮影構図パターンをメイン表示部２２に表示させる。これにより、撮像装置１は、現在撮影しようとしている状況における注目被写体にとって好ましい撮影構図パターンを、その時点での画像がモニタ画像としてリアルタイムに表示されている、いわゆるライブビュー画像に重畳させて提示することができる。

キー入力部１６は、当該撮像装置１のユーザによって操作される。このキー入力部１６は、シャッター釦１６ａ、メニュー釦１６ｂ、十字キーなどの移動釦１６ｃ、決定釦１６ｄなどを含むキー群である。このキー入力部１６は、制御部１５に接続されており、各釦の操作内容を示す操作信号が制御部１５によって読み込まれる。

画像圧縮部２０は、制御部１５の制御に応じて、揮発記録部１８に格納された撮影画像データに対してＪＰＥＧ（Joint Photograph coding Experts Group）規格に従ったＡＤＣＴ（Adaptive Discrete Cosine Transform：適応離散コサイン変換）処理を行って、データ圧縮をする。

メイン表示処理部２１は、揮発記録部１８に格納された撮影画像データを定期的に読み出し、これらのデータを元にビデオ信号を発生してメイン表示部２２に出力する。また、メイン表示処理部２１は、制御部１５から撮影構図パターンが選択された場合に、当該撮影構図パターンを表す撮影構図画像が供給される。そして、メイン表示処理部２１は、現在において撮像装置１が取得しているリアルタイムのライブビュー画像に、撮影構図画像を重畳させた表示データをメイン表示部２２に供給する。

メイン表示部２２は、図示しないが、撮像装置１の筐体の背面側に設けられている。メイン表示部２２は、撮影モード時にはモニタ表示部（電子ファインダ）として機能する。この撮影モード時において、メイン表示部２２は、メイン表示処理部２１からのビデオ信号に基づいた表示を行う。これにより、撮像装置１は、その時点でメイン表示処理部２１から取り込んでいるライブビュー画像をリアルタイムに表示する。また、メイン表示部２２は、ライブビュー画像に、撮影構図画像を重畳させた表示データが供給された時には、ライブビュー画像と共に撮影構図画像を表示する。

このように、メイン表示部２２に、その時点での撮影画像がモニタ画像としてリアルタイムに表示されている、いわゆるライブビュー画像の表示状態で、撮像装置１は、撮像可能な状態となる。そして、撮影を行いたいタイミングで、キー入力部１６のうちの一つであるシャッター釦１６ａが操作されると、制御部１５に対してトリガ信号が発生される。制御部１５は、このトリガ信号に応じて、その時点で撮像光学系１１のから取り込んでいる１画面分の撮影画像データをデータメモリ１８に格納させる。

［撮像装置１の全体処理］
このように構成された撮像装置１は、当該撮像装置１がユーザに把持されて被写体を撮像する操作が行われる時に、図２及び図３に示す処理を行うことによって、撮影構図選択処理を含む処理を実行する。

撮像装置１は、先ずステップＳ１にて、制御部１５によって、現在の撮影モードの設定状態を読み出す。次のステップＳ２において、制御部１５は、メニュー釦１６ｂが操作されたことによるメニュー画面の表示指示命令が発生したか否かを判定する。メニュー画面の表示指示命令が発生していない場合には、ステップＳ４に処理を進める。メニュー画面の表示指示命令が発生した場合には、ステップＳ３にて、メニュー画面を表示させ、当該メニュー画面に応じてキー入力部１６が操作されたことに対する動作を行うメニュー処理を行って、ステップＳ４に処理を進める。このメニュー処理としては、例えば撮像装置１自体の撮影モードの変更、画像処理の設定変更、フラッシュ動作の設定変更などが挙げられる。

次のステップＳ４において、撮像装置１は、ライブビュー画像の撮影処理を行う。この撮影処理は、撮像光学系１１及び撮像部１２によって撮像したＲＧＢデータを撮像処理部１３が取り込み、所定の画像処理を施した撮影画像データを揮発記録部１８に格納する。そして、制御部１５は、揮発記録部１８に格納された撮影画像データを所定期間ごとにメイン表示処理部２１によって取り込ませ、メイン表示部２２に表示させる。これにより、撮像装置１が撮像しているリアルタイムのライブビュー画像をメイン表示部２２に表示させることができる。

次のステップＳ５において、制御部１５は、ライブビュー画像に重畳させて表示する案内情報を設定する。この案内情報は、現在のライブビュー画像にて好ましい撮影構図で撮像を行わせる時に、ユーザに提示する情報である。なお、この案内情報の設定処理については、後述するものとする。

次のステップＳ６において、制御部１５は、ステップＳ５にて設定された案内情報をライブビュー画像に重畳して表示させる。これにより、ユーザは、現状のライブビュー画像を撮像するために、案内情報を見ながら、撮像装置１が選択した撮影構図に従って撮像を行うことができる。

次のステップＳ７において、制御部１５は、シャッター釦１６ａが半押し操作されたことを示す半押しフラグがオンとなっているか否かを判定する。この半押しフラグは、シャッター釦１６ａが半押し操作された状態において、制御部１５によってオンとされる。半押しフラグがオンとなっている場合にはステップＳ１１に処理を進め、半押しフラグがオンとなっていない場合にはステップＳ８に処理を進める。

ステップＳ８において、制御部１５は、シャッター釦１６ａが半押し操作されたトリガ信号を検出したか否かを判定する。トリガ信号を検出していない場合には、ステップＳ１１に処理を進める。そしてステップＳ１１において、制御部１５は、通常撮影モードが終了している場合には処理を終了し、そうでない場合にはステップＳ２に処理を戻す。

一方、トリガ信号を検出した場合には、ステップＳ９に処理を進める。制御部１５は、ステップＳ９において半押しフラグをオン状態にし、ステップＳ１０において基本撮影条件の設定処理を行う。この基本撮影条件の設定処理は、例えば通常撮影モードにて設定されているフォーカス状態、フラッシュ状態、画像処理についての設定処理を行う。ステップＳ１０の後には、ステップＳ１１に処理を進める。

ステップＳ１２において、制御部１５は、シャッター釦１６ａが操作されていることによるトリガ信号を監視し、半押し状態が維持されているか否かを判定する。半押し状態が維持されている場合にはステップＳ１４に処理を進める。半押し状態が維持されていない場合にはステップＳ１３において、半押しフラグをオフとしてステップＳ１４に処理を進める。

ステップＳ１４において、制御部１５は、シャッター釦１６ａからのトリガ信号によって全押し状態にまで操作されたか否かを判定する。全押しを検出した場合にはステップＳ１５に処理を進め、全押しを検出していない場合にはステップＳ１１に処理を進める。

ステップＳ１５において、撮像光学系１１、撮像部１２及び撮像処理部１３によって、記録用画像の撮影処理を行う。この記録用画像の撮影処理は、撮像処理部１３によって所定の画像処理が施された撮影画像データに対して、画像圧縮部２０によって所定のデータ圧縮処理を施す。そして、ステップＳ１６において、メモリーカード部１４は、画像圧縮部２０によって圧縮された記録用の撮影画像をメモリーカードに記録する。

次のステップＳ１７において、制御部１５は、ステップＳ１６にてメモリーカードに記録した撮影画像を、メイン表示部２２に確認のために表示させるようにメイン表示処理部２１を制御して、処理をステップＳ１１に戻す。

［案内情報の設定処理］
つぎに、上述したような全体処理を行う撮像装置１において、ステップＳ５における案内情報の設定処理について、図３のフローチャート、図４乃至図１３のテーブルデータ、図１４，図１５のライブビュー画像の一例を参照して説明する。この図３の案内情報の設定処理は、所定の間隔で定期的に実行される。

先ずステップＳ２１において、制御部１５は、ユーザに対する撮影構図画像の提示時であるか否かを判定する。このとき、制御部１５は、揮発記録部１８に格納された撮影画像データにおける絵柄の時系列的な変化を監視し、所定以上の大きな絵柄の変化があったと判定した場合に、撮影構図画像提示時であると判定する。撮影構図画像提示時である場合にはステップＳ２２に処理を進め、撮影構図画像提示時ではない場合には、ステップＳ３３に処理を進める。

ステップＳ３３において、制御部１５は、後述する撮影構図画像の優先順位に相当する評価値Ｈが設定されているか否かを判定する。評価値Ｈが設定されていない場合にはステップＳ２２に処理を進め、評価値Ｈが既に設定されていると判定した場合にはステップＳ３４に処理を進める。

ステップＳ３３において評価値Ｈが既に設定されている状況においては、メイン表示部２２には、ライブビュー画像に撮影構図画像が重畳されている表示状態である。この表示状態でのステップＳ３４において、制御部１５は、移動釦１６ｃが操作されたことによる操作信号に応じて、評価値Ｈを変更する。評価値Ｈが変更されて、現在表示させている撮影構図パターンとは異なる撮影構図パターンの評価値Ｈが「１」とされると、当該評価値Ｈが「１」となった撮影構図画像をライブビュー画像に重畳させる。これにより、後述するように、注目被写体の撮影状態によって決定された撮影構図を、ユーザの釦操作によって変更して、ユーザが好む撮影構図に変更することができる。そして、ステップＳ３５以降に処理を進めて撮影構図画像を表示させる（ステップＳ３５，ステップＳ３６）。なお、ステップＳ３５，ステップＳ３６の処理については後述する。

ステップＳ２２において、制御部１５は、ライブビュー画像（撮影画像データ）を揮発記録部１８から取得する。

ステップＳ２３において、制御部１５は、パターンマッチングテーブルを用いて、注目被写体を指定する。このとき、制御部１５は、ステップＳ２２にて取得したライブビュー画像と、不揮発記録部１７又は他のメモリに予め記録させたパターンマッチングテーブルとを比較する。このパターンマッチングテーブルは、空、海、緑地、木、草、人物、顔、建物、車両、道路を含む注目被写体となるべくもののパターン画像がテーブル化されてなる。そして、何れかのパターン画像とライブビュー画像内の被写体画像とが略合致した場合に、当該パターン画像の注目被写体がライブビュー画像内に含まれていることを判定できる。このようなパターンマッチング処理によって、制御部１５は、ライブビュー画像に含まれている注目被写体を指定する。制御部１５は、指定した注目被写体の画像データを、後述する注目被写体の各種情報と対応付けられる検出被写体テーブルに書き込む。この検出被写体テーブルは、例えば図４のように、注目被写体番号（１，２，３，・・・）に対応した分類情報、位置情報、面積情報が格納可能に構成されて、揮発記録部１８に格納される。

なお、この注目被写体の指定処理は、ライブビュー画像に含まれる注目被写体を手動で指定できるようにしても良い。例えば、制御部１５は、キー入力部１６の移動釦１６ｃ及び決定釦１６ｄに対して操作が行われて、ライブビュー画像内の位置が指定された操作信号を入力した時に、当該ライブビュー画像内の位置を含む被写体とパターン画像とをマッチング処理する。そして、制御部１５は、マッチング処理の結果得られた被写体を注目被写体とすることができる。

次に制御部１５は、ステップＳ２４〜ステップＳ２６にて注目被写体の撮影状態を判断する。

ステップＳ２４において、ステップＳ２３にて指定された注目被写体の画像内面積を取得し、ステップＳ２５において、ステップＳ２３にて指定された注目被写体の画像内位置を取得し、ステップＳ２６において、ステップＳ２３にて指定された注目被写体の分類を取得する。なお、ステップＳ２４〜ステップＳ２６の処理順序は問わない。制御部１５は、ステップＳ２４にて取得した注目被写体の画像内面積情報、ステップＳ２５にて取得した注目被写体の画像内位置情報、ステップＳ２６にて取得した注目被写体の分類情報を、ステップＳ２３にて作成した検出被写体テーブルに格納する。このような検出被写体テーブルに格納された注目被写体の撮影状態は、画像内位置及びサイズと、分類とによって判断されて、構図パターンデータを決定するための情報となる。

ここで、ステップＳ２４における注目被写体の画像内面積を取得する処理は、ライブビュー画像の面積に対して注目被写体が占める割合であっても良い。また、ステップＳ２５における注目被写体の位置を取得する処理は、注目被写体の中心位置でも良いが、その他に注目被写体の端部位置であっても良い。

ステップＳ２６にて注目被写体の分類は、空、海、緑地、木、草、人物、顔、建物、車両、道路を含む分類群のうちの少なくとも２つからなるものとする。この注目被写体の分類は、ステップＳ２３にて検出被写体とマッチングしたパターン画像の種類に応じて決定される。

また、制御部１５は、注目被写体が人物である場合には、当該注目被写体の分類を、人物の顔の性別、年齢層、表情、顔の向き、眼の開閉状態のうちの少なくとも２つからなる分類詳細データを取得する。ここで、制御部１５は、人物についての分類情報を取得する時には、ステップＳ２３にて検出被写体テーブルに格納した注目被写体の画像データに対して既存の解析処理を施すことにより、各種の分類情報を取得する。

このようなステップＳ２２〜ステップＳ２６の処理を行うことにより、例えば図１４（ａ）に示すようなライブビュー画像に対して、図５に示すような検出被写体テーブルを作成することができる。

次のステップＳ２７において、制御部１５は、ライブビュー画像内の全ての注目被写体を検出したか否かを判定する。このとき、制御部１５は、ライブビュー画像に含まれる全ての領域に注目被写体が割り当てられているか否かを判定する。全ての注目被写体を検出していない場合にはステップＳ２３に処理を戻し、全ての注目被写体を検出したと判定した場合には、ステップＳ２８に処理を進める。このように、撮像装置１は、ステップＳ２３からステップＳ２７の処理を繰り返して複数の注目被写体を検出すると共に、複数の注目被写体の撮影状態を判断する。そして、ステップＳ２８以降においては、複数の注目被写体の状態に基づいて撮影構図を選択する処理に移行する。

ステップＳ２８において、制御部１５は、撮影構図パターン記録部１７２に記録された検索インデックステーブルを用いて、撮影構図のインデックス番号を取得する。この検索インデックステーブルは、例えば図６に示すようにインデックス番号と検索インデックスと注目被写体の分類情報とで構成されている。そして、制御部１５は、検出被写体テーブルに登録されている分類情報を参照して、どのインデックス番号に該当するかを判断する。例えば図５に示す検出被写体テーブルを参照した場合には、図６におけるインデックス番号の「１」、「２」が取得される。

次のステップＳ２９において、制御部１５は、ステップＳ２８にて取得したインデックス番号と、撮影構図パターン記録部１７２に記録された構図パターンテーブルとに基づいて、構図パターンテーブルに格納された構図パターンデータを取得する。このとき、制御部１５は、ステップＳ２８にて例えば図６に示すインデックス番号「１」、「２」が取得されている場合、図７に示す構図パターンテーブルを参照して、インデックス番号「１」、「２」に対応付けられた構図パターンデータを取得することができる。

ここで、構図パターンテーブルには、インデックス番号に対応付けられて評価値Ｈ、構図パターン名、構図パターンデータが対応付けられている。評価値Ｈは、撮影構図を使用する優先順位を示す。この評価値Ｈは、予め設計者により設定されている。この評価値Ｈの値が小さいほど優先順位が高いことを示す。

そして、制御部１５は、図７に示す構図パターンテーブルから構図パターンデータを取得した場合には、図８に示すような構図パターン登録テーブルを作成して、揮発記録部１８に記録する。この図８に示す構図パターン登録テーブルには、図９に示すように、図７の構図パターンテーブルから取得したインデックス番号、評価値Ｈ、構図パターン名、構図パターンデータが登録されることとなる。

次のステップＳ３０において、制御部１５は、ステップＳ２２〜Ｓ２６にて取得した各情報に対して、検出被写体テーブルに登録されている分類詳細データに合致するものがあるか否かを判定する。合致する分類詳細データが登録されていない場合にはステップＳ３１に処理を進め、分類詳細データが登録されている場合にはステップＳ３２に処理を進める。

ステップＳ３１において、制御部１５は、評価値Ｈを「１」に設定して、ステップＳ３５に処理を進める。

また、ステップＳ３２において、制御部１５は、注目被写体の撮影状態を表す分類詳細データに基づいて、当該分類詳細データで表された注目被写体の撮影状態から最もふさわしい構図パターンデータの評価値Ｈを設定する。このステップＳ３２の処理を具体的に説明する。

ステップＳ２３にて注目被写体として青空を検出した場合、ステップＳ２６にて、制御部１５は、図１０に示すような分類詳細データテーブルに対して、図１１に示すように分類詳細データを格納する。ここで、分類詳細データは、位置、面積、色を表す状態情報である。ステップＳ２３にて注目被写体として人物を検出した場合、ステップＳ２６にて、制御部１５は、図１２に示すような分類詳細データテーブルに対して、図１３に示すように分類詳細データを格納する。ここで、分類詳細データは、人物の性別、年齢層、表情、顔の向き、眼の開閉状態、目線を表す状態情報である。そして、制御部１５は、分類詳細データに基づく注目被写体の撮影状態から、ステップＳ２９にて取得された構図パターンデータに対応した評価値Ｈを設定する。

例えば、注目被写体として青空が検出されていた場合には、ステップＳ２８及びステップＳ２９の処理により、図１４（ａ）〜（ｃ）のような３つの構図パターンデータ１００が取得される。この構図パターンデータ１００は、木１０１、空１０２、緑地１０３からなるものである。図１４（ａ）に示す構図パターンデータは評価値Ｈが「１」であり、図１４（ｂ）に示す構図パターンデータは評価値Ｈが「２」であり、図１４（ｃ）に示す構図パターンデータは評価値Ｈが「３」である。そして、制御部１５は、図１１に示す分類詳細データに基づいて、画像内上部に面積が２０％で存在する青空であるという撮影状態と判断した場合には、検出被写体テーブルに登録されている分類詳細データに基づいて、評価値Ｈを「２」に設定する。その結果、図１４（ａ）〜（ｃ）に示す構図パターンデータとして図１４（ｂ）が選択されるようにする。

また、注目被写体として人の顔が検出されていた場合には、ステップＳ２８及びステップＳ２９の処理により、図１５（ａ）〜（ｃ）のような構図パターンデータ１００が取得される。この構図パターンデータ１００は、人物の顔１１０を含むものである。図１５（ａ）に示す構図パターンデータは評価値Ｈが「１」であり、図１５（ｂ）に示す構図パターンデータは評価値Ｈが「２」であり、図１５（ｃ）に示す構図パターンデータは評価値Ｈが「３」である。そして、制御部１５は、図１３に示す分類詳細データに基づいて、目線が左上であるという撮影状態と判断した場合には、検出被写体テーブルに登録されている分類詳細データに基づいて、評価値Ｈを「１」に設定する。その結果、図１５（ａ）〜（ｃ）に示す構図パターンデータとして図１５（ａ）が選択されるようにする。

次のステップＳ３５において、制御部１５は、撮影構図画像をライブビュー画像に重畳させるための詳細設定を示す重畳詳細データを決定する。この重畳詳細データは、撮影画像の撮像条件や、メイン表示部２２に評価値Ｈ等を表示させる各種のインジゲータなどである。このとき、制御部１５は、撮影構図画像を表示させる設定情報を読み出す。この撮影構図画像を表示させる設定情報としては、撮影構図画像の色、線の太さなどが挙げられる。

次のステップＳ３６において、制御部１５は、ステップＳ３５にて設定した重畳詳細データと評価値Ｈとに基づいて、ライブビュー画像に重畳させる構図を表す画像である構図パターンデータを設定する。このとき、制御部１５は、評価値Ｈに対応した構図パターンデータを、撮影構図パターン記録部１７２より読み出す。そして、制御部１５は、読み出した構図パターンデータをメイン表示処理部２１に出力する。メイン表示処理部２１は、構図パターンデータが制御部１５から供給されると、当該揮発記録部１８に記録されているライブビュー画像に撮影構図画像を重畳させて、メイン表示部２２に表示させる。

このように撮像装置１は、注目被写体の撮影状態を表す分類詳細データを参照して、複数の構図パターンデータのうちで、注目被写体の撮影状態に基づいて最も妥当性の高いと推定される構図パターンデータを優先的に選択して表示させることができる。

なお、撮像装置１は、撮影構図をライブビュー画像に重畳して表示させると共に、図示しないスピーカ部を駆動して音声によって撮影構図を指示しても良い。このとき撮像装置１は、注目被写体と撮影構図画像との差異を演算し、当該差異を小さくするために、例えば「カメラを右（又は左、上、下）へ向けてください」、「ズームイン（又はズームアウト）してください」との音声を出力する。

また、ステップＳ３６における撮影構図パターンを決定する処理は、撮影構図パターン記録部１７２に記録された複数の撮影構図パターンのうちから一部（所定数）の撮影構図パターンを選択し、当該選択された一部の撮影構図パターンから何れかの撮影構図パターンを決定しても良い。例えば、制御部１５は、撮影画像全体に対する注目被写体の大きさ、位置、形状、色、又は、輪郭のシャープネスといった状態に基づいて、所定数の撮影構図を絞り込む。このように所定数の構図を絞り込んで、その後に何れかの撮影構図を選択させることによって、ユーザの意図に沿った撮影構図を選択させることができる。

例えば、制御部１５によって、絞り込んだ撮影構図をメイン表示部２２に表示させる。このとき、制御部１５は、撮影構図をうちの一つ又はサムネイル画像として複数の撮影構図を表示する。撮影構図を一つずつ表示させる場合、制御部１５は、撮影画像に、撮影構図の輪郭を重畳させて表示させても良い。

次に、制御部１５によって、メイン表示部２２に表示させた撮影構図のうちで何れかの撮影構図を決定する。このとき制御部１５は、キー入力部１６に対するユーザの選択操作によって一つの撮影構図が選択されたことに応じて、実際に案内を行う撮影構図に決定する。また、制御部１５は、キー入力部１６の操作にはよらずに、自動的に一つの撮影構図を決定しても良い。この自動的に一つの撮影構図を選択する場合、制御部１５は、上述したような評価値Ｈを用いて構図パターンデータを選択できる。また、制御部１５は、自動的に又は手動で一つの撮影構図を選択した場合であっても、手動によるキー入力部１６の操作に従って、他の撮影構図に変更することもできる。

以上詳細に説明したように、本発明を適用した撮像装置１によれば、ライブビュー画像に含まれている注目被写体の状態に基づいて、複数の撮影構図パターンのうち当該注目被写体を含む画像全体における撮影構図を選択するので、撮影画像用の構図の選択をより簡単に行うことができる。

また、この撮像装置１によれば、複数の注目被写体の状態を認識し、複数の注目被写体の各状態に基づいて撮影構図を選択することができる。すなわち、各注目被写体の分類詳細データを用いて、一つの構図パターンデータを選択することができ、選択する撮影構図の妥当性を向上させることができる。また、ユーザが撮影構図を選択する手間を省くことができ、撮影構図の選択がより簡単となる。

更に、この撮像装置１によれば、注目被写体の状態を、当該注目被写体の画像内位置及びサイズといった分類詳細データと、分類とに基づいて判断して、撮影構図を決定することができるので、最適な撮影構図を選択することができる。また、ユーザが撮影構図を選択する手間を省くことができ、撮影構図の選択がより簡単となる。

更にまた、この撮像装置１によれば、注目被写体の分類を、空、海、緑地、木、草、人物、顔、建物、車両、道路を含む分類群のうちの少なくとも２つからなるものとすることが好ましく、これにより最適な撮影構図を選択することができる。また、ユーザが撮影構図を選択する手間を省くことができ、撮影構図の選択がより簡単となる。

更にまた、この撮像装置１によれば、注目被写体の分類を、人物の性別、年齢層、表情、顔の向き、眼の開閉状態のうちの少なくとも２つからなるものとすることが好ましく、これにより、最適な撮影構図を選択することができる。また、ユーザが撮影構図を選択する手間を省くことができ、撮影構図の選択がより簡単となる。

更にまた、この撮像装置１によれば、注目被写体のサイズを、撮影画像の面積に対する注目被写体の面積の割合に基づいて判断することが好ましく、これにより、最適な撮影構図を選択することができる。また、ユーザが撮影構図を選択する手間を省くことができ、撮影構図の選択がより簡単となる。

更にまた、この撮像装置１によれば、ライブビュー画像に、選択された撮影構図を表す画像を重畳させて表示するので、撮影構図に従って撮像を行うことができる。

更にまた、この撮像装置１によれば、撮影構図パターン記録部１７２に記録された複数の撮影構図パターンのうちから一部の撮影構図を選択し、当該選択された一部の撮影構図から何れかの撮影構図を決定する。これにより、多数の撮影構図パターンを用意しておくと正確に好ましい撮影構図を選択することが困難となるが、段階的に撮影構図を選択して、最適な撮影構図を選択することができる。また、ユーザが撮影構図を選択する手間を省くことができ、撮影構図の選択がより簡単となる。

更にまた、この撮像装置１によれば、多数の撮影構図パターンから選択した一部の撮影構図パターンをメイン表示部２２に表示させ、ユーザの選択操作に従って何れかの撮影構図を決定するので、より妥当性の高い撮影構図を選択することができる。

更にまた、この撮像装置１によれば、撮影構図パターンを決定した後に、ユーザの選択操作に従って他の撮影構図に変更することができるので、より最適な撮影構図を選択することができる。

更にまた、この撮像装置１によれば、多数の撮影構図パターンから選択した一部の撮影構図から、自動的に何れかの撮影構図を決定するので、より最適な撮影構図を選択することができる。また、ユーザが撮影構図を選択する手間を省くことができ、撮影構図の選択がより簡単となる。

なお、上述の実施の形態は本発明の一例である。このため、本発明は、上述の実施形態に限定されることはなく、この実施の形態以外であっても、本発明に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能であることは勿論である。

すなわち、上述した撮像装置１は、ユーザの音声などを認識して撮影構図の選択をしても良い。これにより、ユーザの意志を反映した妥当性の高い撮影構図を選択することができる。

また、撮像装置１は、温度を検出するサーミスタを備えて、当該温度に基づいて最適な撮影構図を選択しても良い。これにより、撮影構図を選択ミスを少なくすることができる。更に、撮像装置１は、現在の時刻を検出して、当該時刻に基づいて最適な撮影構図を選択しても良い。これにより、撮影構図を選択ミスを少なくすることができる。更にまた、この撮像装置１は、当該撮像装置１の位置を検出する位置検出装置を備え、当該現在位置に応じて撮影構図を選択してもよく、これにより、撮影構図を選択ミスを少なくすることができる。更にまた、この撮像装置１は、当該撮像装置１の姿勢を検出する姿勢検出装置を備え、当該姿勢に応じて撮影構図を選択してもよく、これにより、撮影構図を選択ミスを少なくすることができる。

本発明を適用した撮像装置の機能的な構成を示すブロック図である。 本発明を適用した撮像装置の全体の処理手順を示すフローチャートである。 本発明を適用した撮像装置において撮影構図を案内する処理を示すフローチャートである。 検出被写体テーブルを示す図である。 検出被写体テーブルに、注目被写体の分類、位置、面積といった状態を格納した図である。 検索インデックステーブルを示す図である。 構図パターンテーブルを示す図である。 構図パターン登録テーブルを示す図である。 構図パターン登録テーブルにデータを格納した状態を示す図である。 風景における分類詳細データテーブルを示す図である。 風景における分類詳細データテーブルに分類詳細データを格納した状態を示す図である。 人物についての分類詳細データテーブルを示す図である。 人物についての分類詳細データテーブルに分類詳細データを格納した状態を示す図である。 風景における構図パターンデータを示す図である。 人物における構図パターンデータを示す図である。

符号の説明

１ 撮像装置
１１ 撮像光学系
１２ 撮像部
１３ 撮像処理部
１４ メモリカード部
１５ 制御部
１６ キー入力部
１６ａ シャッター釦
１６ｂ メニュー釦
１６ｃ 移動釦
１６ｄ 決定釦
１７ プログラムメモリ
１８ データメモリ
１９ 撮影構図パターン記録部
２０ 画像圧縮部
２１ メイン表示処理部
２２ メイン表示部
１００ 構図パターンデータ

Claims (12)

1. 撮影画像を取得する画像取得手段と、
   当該画像取得手段によって取得された撮影画像に含まれている注目被写体を検出する被写体検出手段と、
   当該被写体検出手段により検出された注目被写体の撮影状態を判断する状態判断手段と、
   予め複数の構図を記録した構図記録手段と、
   前記状態判断手段によって判断された前記注目被写体の撮影状態に基づいて、前記構図記録手段に記録された複数の構図のうち前記撮像画像全体を記録するための構図を選択する構図選択手段と
   を備えることを特徴とする構図選択装置。
2. 前記被写体検出手段は複数の注目被写体を検出すると共に、前記状態判断手段は前記複数の注目被写体の撮影状態を夫々判断し、
   前記構図選択手段は、前記状態判断手段によって夫々判断された複数の注目被写体の撮影状態に基づいて構図を選択することを特徴とする請求項１に記載の構図選択装置。
3. 前記状態判断手段は、前記注目被写体の撮影状態を、当該注目被写体の前記撮像画像における位置又はサイズのうち少なくとも１つと、当該注目被写体の分類とに基づいて判断することを特徴とする請求項１に記載の構図選択装置。
4. 前記被写体検出手段が検出する注目被写体の数が複数のとき、前記注目被写体の分類は、空、海、緑地、木、草、人物、顔、建物、車両、道路のうちの少なくとも２つであることを特徴とする請求項３に記載の構図選択装置。
5. 前記被写体検出手段が検出する注目被写体が人であるとき、前記注目被写体の分類は、人物の性別、年齢層、表情、顔の向き、眼の開閉状態のうちの少なくとも２つであることを特徴とする請求項３に記載の構図選択装置。
6. 前記状態判断手段は、前記注目被写体のサイズを、前記撮影画像の面積に対する注目被写体の面積の割合に基づいて判断することを特徴とする請求項３に記載の構図選択装置。
7. 表示手段と、
   前記画像取得手段によって取得された撮影画像と、前記構図選択手段により選択された構図を表す画像を重畳させて表示するように表示手段を制御する表示制御手段と、
   を更に備えることを特徴とする請求項１乃至請求項６の何れか一項に記載の構図選択装置。
8. 前記構図選択手段は、
   前記状態判断手段によって判断された前記注目被写体の撮影状態に基づいて、前記構図記録手段に記録された複数の構図から所定数の構図を選択する第１の選択手段と、
   当該第１の選択手段によって選択された所定数の構図から前記撮像画像全体を記録するための構図を選択する第２の選択手段と、
   を含むことを特徴とする請求項１乃至請求項７の何れか一項に記載の構図選択装置。
9. ユーザの選択操作に従って、前記第２の選択手段によって選択された構図を他の構図に変更する変更手段を更に備えることを特徴とする請求項８に記載の構図選択装置。
10. 前記第２の選択手段は、前記状態判断手段によって判断された前記注目被写体の撮影状態に基づいて、前記第１の選択手段によって選択された所定数の構図から前記撮像画像全体を記録するための構図を選択することを特徴とする請求項８に記載の構図選択装置。
11. 前記第１の選択手段によって選択された所定数の構図を表示する構図表示手段を更に備え、前記第２の選択手段は、ユーザの選択操作に従って前記撮像画像全体を記録するための構図を選択することを特徴とする請求項８に記載の構図選択装置。
12. 予め複数の構図を記録したメモリを有するコンピュータを、
    撮影画像を取得する画像取得手段、
    当該画像取得手段によって取得された撮影画像に含まれている注目被写体を検出する被写体検出手段、
    当該被写体検出手段により検出された注目被写体の撮影状態を判断する状態判断手段、
    当該状態判断手段によって判断された前記注目被写体の撮影状態に基づいて、前記メモリに記録された複数の構図のうち前記撮像画像全体を記録するための構図を選択する構図選択手段
    として機能させることを特徴とするプログラム。

Images