JP2014236304A - 撮像装置 - Google Patents

Abstract

【課題】人物と主要な構造物との相対位置を考慮した画像を取得する。
【解決手段】本発明の撮像装置は、取り込まれる第１画像から人物の顔を検出する顔検出部と、第１画像に含まれるオブジェクトのうち、人物の顔を除く主要なオブジェクトを抽出するオブジェクト抽出部と、第１画像における人物の顔の位置と主要なオブジェクトの位置とが構図上適した位置にあるか否かを判定する判定部と、判定部による判定結果に基づいて、人物の顔の位置と主要なオブジェクトの位置とを構図上適した位置に設定する設定部と、人物の顔の位置及び主要なオブジェクトの位置を、構図上適した位置に調整するための指標を第１画像とともに表示する表示部と、を備えたことを特徴とする。
【選択図】 図５

Description

本発明は、撮像装置に関する。

デジタルカメラに代表される撮像装置を用いた撮影においては、撮像装置に設けられた表示部に表示される画像を観察しながら、撮影時の構図を決定することが一般的である。このような撮像装置の中には、取り込まれる画像に対して顔検出処理を行い、検出された顔の位置が構図上適した位置となるように、撮影者にアシストするアシスト機能を備えたものがある（特許文献１参照）。このアシスト機能は、最適な構図となる被写体の顔の位置を示す画像（参照画像）と、実際に撮像装置に取り込まれる画像と重ねて表示し、取得される画像に含まれる人物の顔を、参照画像における被写体の顔の位置に一致させるように、撮影者にアシストする機能である。

特開平８−２９４０２５号公報

しかしながら、撮影する画像における被写体は、必ずしも人物のみに限られるものではない。例えば観光地を訪問した際の記念撮影においては、観光地における主要な構造物を背景として人物の撮影などを行う場合がある。このような撮影では、人物と主要な構造物との相対位置によっては、最適な構図の画像が得られない場合がある。

本発明は、人物と主要な構造物との相対位置を考慮した最適な構図の画像を取得することができるようにした撮像装置を提供することを目的とする。

上述した課題を解決するために、本発明の撮像装置は、取り込まれる第１画像から人物の顔を検出する顔検出部と、前記第１画像に含まれるオブジェクトのうち、前記人物の顔を除く主要なオブジェクトを抽出するオブジェクト抽出部と、前記第１画像における前記人物の顔の位置と前記主要なオブジェクトの位置とが構図上適した位置にあるか否かを判定する判定部と、前記判定部による判定結果に基づいて、前記人物の顔の位置と前記主要なオブジェクトの位置とを構図上適した位置に設定する設定部と、前記人物の顔の位置及び前記主要なオブジェクトの位置を構図上適した位置に調整するための指標を前記第１画像とともに表示する表示部と、を備えたことを特徴とする。

また、前記判定部は、前記第１画像に対して前記主要なオブジェクトが占める比率が所定の値未満となる場合に、前記人物の顔の位置と前記主要なオブジェクトの位置とが構図上適した位置にあるか否かを判定するものである。

この場合、前記設定部は、前記人物の顔が前記主要なオブジェクトに重ならないように、前記主要なオブジェクトの位置と前記人物の顔の位置とを設定するものである。

また、前記判定部は、前記第１画像に対して前記主要なオブジェクトが占める比率が所定の値を超過している場合に、前記人物の顔の位置が構図上適した位置にあるか否かを判定するものである。

また、装置本体の位置情報を取得する位置情報取得部と、前記装置本体の方位情報を取得する方位情報取得部と、前記装置本体の位置情報及び前記装置本体の方位情報に基づいて、前記第１画像に含まれる前記主要なオブジェクトを特定するオブジェクト特定部と、を備えたものである。

また、撮影時に操作される操作ボタンと、被写体光を受光することで画像信号を出力する撮像素子と、前記操作ボタンが操作されていないときに、前記第１画像の元になる画像信号を出力させ、前記操作ボタンが操作されたときに、前記第１画像とは異なる第２画像の元になる画像信号を出力させるように、前記撮像素子を制御する撮像制御部と、を備えるものである。

本発明によれば、人物と主要な構造物との相対位置を考慮した最適な構図の画像を取得することができる。

本発明を用いた撮像装置の一実施形態を示す機能ブロック図である。 構図設定回路の構成の一実施形態を示す機能ブロック図である。 アシスト表示における処理の流れを説明するフローチャートである。 構図設定における処理の流れを説明するフローチャートである。 （ａ）は記念撮影としてタワーの一部を背景とした人物の撮影を行う際に得られるスルー画像の一例を示す図、（ｂ）はアシスト表示の一例を示す図、（ｃ）は人物の顔が構図上最適な位置となる場合のスルー画像の一例を示す図である。 （ａ）は記念撮影として、タワー全体を背景とした人物の撮影を行う際に得られるスルー画像の一例を示す図、（ｂ）は、アシスト表示の一例を示す図である。 タワー全体と人物の顔とが構図上最適な位置となる場合のスルー画像の一例を示す図である。

以下、本発明を適用した撮像装置の一実施形態を説明する。本発明の撮像装置は、レリーズボタンが操作されない撮影待機状態時に取り込まれる画像（スルー画像）を用いて、該スルー画像に含まれる顔の位置や、該顔を除く主要なオブジェクトの位置が構図上最適となる位置であるか否かを判定し、構図上最適となる位置にないと判定された場合に、スルー画像における人物の顔やオブジェクトの位置を移動させるための指標を表示する。以下、指標の表示をアシスト表示と称する。

図１に示すように、撮像装置１０は、撮像光学系１５、撮像素子１６、Ａ／Ｄ変換器１７、タイミングジェネレータ（ＴＧ）１８、ドライバ１９、バッファメモリ２０、画像処理回路２１、構図設定回路２２、表示制御回路２３、表示装置２４、メディアコントローラ２５、ＧＰＳモジュール２６、電子コンパス２７、傾斜センサ２８、ＣＰＵ３０、内蔵メモリ３１、レリーズボタン３２及び設定操作部３３を有している。ここで、Ａ／Ｄ変換器１７、バッファメモリ２０、画像処理回路２１、構図設定回路２２、表示制御回路２３、ＧＰＳモジュール２６、電子コンパス２７、傾斜センサ２８、ＣＰＵ３０及び内蔵メモリ３１は、バス３６を介して電気的に接続される。

撮像光学系１５は、図示を省略したズームレンズやフォーカスレンズなどを含む複数のレンズや絞りから構成される。ズームレンズやフォーカスレンズは、図示を省略したレンズ駆動機構によって光軸Ｌ方向に移動する。また、絞りは図示を省略したレンズ駆動機構により、その絞り径が調整される。

撮像素子１６は、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などから構成される。この撮像素子１６は、ドライバ１９によって駆動制御される。撮像素子１６の駆動制御としては、撮像素子１６の各画素における信号電荷の蓄積、及び蓄積された各画素の信号電荷の出力を制御することが挙げられる。なお、各画素の信号電荷は画像信号としてＡ／Ｄ変換器１７に出力される。Ａ／Ｄ変換器１７は、入力される画像信号をアナログの信号からデジタルの信号に変換する。このＡ／Ｄ変換器１７から出力されるデジタルの画像信号は、バッファメモリ２０に記憶される。

タイミングジェネレータ１８は、Ａ／Ｄ変換器１７やドライバ１９に対してクロックパルスを出力する。タイミングジェネレータ１８からクロックパルスが出力されることで、撮像素子１６やＡ／Ｄ変換器１７の駆動タイミングが同期される。

バッファメモリ２０は、例えばＥＰＰＲＯＭなどの不揮発性メモリからなる。このバッファメモリ２０は、Ａ／Ｄ変換器１７から出力された画像信号の他、画像処理回路２１にて画像処理が施された画像データや記憶媒体４０から読み出された画像データが一時的に記憶される。

画像処理回路２１は、バッファメモリ２０に書き込まれた画像信号に対して、ホワイトバランス処理、色補間処理、輪郭補償処理、ガンマ処理などの画像処理を施す。また、画像処理回路２１は、画像を表示装置２４に表示する際に、表示する画像の解像度を表示装置２４の解像度に変換する処理を実行する。

構図設定回路２２は、ＧＰＳモジュール２６により取得された撮像装置１０の位置情報、電子コンパス２７により取得された方位情報及び傾斜センサ２８により取得された傾斜情報と、撮影待機状態において撮像素子１６により取り込まれる画像データ（スルー画像データ）とを用いて、取り込まれる画像データに基づく画像における構図が最適な構図であるか否かを判定する。そして、構図設定回路２２は、スルー画像における構図が最適な構図でないと判定された場合に、スルー画像における構図が最適な構図となるように、スルー画像に含まれる人物の顔の位置を設定する。また、構図設定回路２２は、必要に応じて、スルー画像に含まれるオブジェクトの位置を設定する。

表示制御回路２３は、画像処理回路２１にて解像度変換処理が施された画像データをバッファメモリ２０から読み出し、読み出した画像データに基づく画像を表示装置２４に表示する。ここで、表示装置２４としては、例えばＬＣＤや有機ＥＬディスプレイなどが挙げられる。

また、表示制御回路２３は、撮影時に得られる画像の構図が最適な構図となるように、スルー画像に対するオブジェクトの位置や人物の顔の位置を調整するための指標を表示する。以下、指標の表示をアシスト表示と称する。

メディアコントローラ２５は、例えばフラッシュメモリからなるメモリカードの他、光学ディスク、磁気ディスクなどの記憶媒体４０と電気的に接続される。メディアコントローラ２５と記憶媒体４０とが電気的に接続されることで、撮影により得られた画像データの記憶媒体４０への書き込みや、記憶媒体４０に記憶された画像データの読み出しを行うことが可能となる。

ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）モジュール２６は、ＧＰＳ衛星との間でデータの送受信を行い、撮像装置１０の位置情報を取得する。電子コンパス２７は、ホール素子等の磁気素子により構成される。電子コンパス２７は、地磁気を検出することにより撮像装置１０の方位情報を取得する。傾斜センサ２８は、撮像装置１０の傾斜（仰角）情報を取得する。ＧＰＳモジュール２６、電子コンパス２７及び傾斜センサ２８により得られる情報は、構図設定回路２２に出力される。

ＣＰＵ３０は、図示を省略した制御プログラムを実行することで、撮像装置１０の各部を統括的に制御する。このＣＰＵ３０にはレリーズボタン３２や設定操作部３３が接続され、これらボタンや操作部からの操作信号に基づいた処理を実行する。

次に、構図設定回路２２の構成の一実施形態について、図２を用いて説明する。図２に示すように、構図設定回路２２は、顔検出部４５、オブジェクト特定部４６、オブジェクト抽出部４７、構図判定部４８及び位置設定部４９を備える。

顔検出部４５は、入力されるスルー画像データを用いて、眉、眼、鼻、唇などの形状に関する特徴量を抽出する処理を行う。この処理を行うことで、スルー画像に含まれる人物の顔の領域や大きさ等が検出される。顔検出部４５は、検出された人物の顔を含む矩形の領域を人物の顔領域として抽出する。

オブジェクト特定部４６は、入力される撮像装置１０の位置情報、方位情報及び傾斜情報の他、マップデータを用いて、撮像装置１０が対面する主要な構造物をオブジェクトとして特定する。ここで、主要な構造物としては、例えばタワー、ビル、寺、橋などの建築物などが挙げられる。ここで、マップデータは、予め内蔵メモリ３１に記憶させておいてもよいし、図示を省略した無線通信機能を用いて外部装置から取得することも可能である。

オブジェクト抽出部４７は、スルー画像に含まれる、撮像装置１０が対面するオブジェクトの領域を抽出する。上述したように、オブジェクト特定部４６により、撮像装置１０が対面するオブジェクトが特定されている。よって、オブジェクト抽出部４７は、スルー画像から、特定されたオブジェクトが含まれる矩形の領域を、オブジェクト領域として抽出する。なお、周知の領域分割の手法によりスルー画像を複数の領域に分割し、分割された複数の領域のうち、特定されたオブジェクトの情報（色情報など）に一致する情報を備えた領域をオブジェクト領域としてもよい。

構図判定部４８は、スルー画像に対してオブジェクト領域が占める比率に基づいて、スルー画像におけるオブジェクト領域と人物の顔領域の位置関係を特定した後、人物の顔領域の位置が構図が構図上最適な位置にあるか否かの判定や、必要に応じてオブジェクト領域の位置が構図上最適な位置にあるか否かを判定する。

まず、構図判定部４８は、スルー画像に対してオブジェクト領域が占める比率を算出する。例えばスルー画像においてオブジェクト領域が占める比率が予め設定された閾値以上である場合、構図判定部４８は、スルー画像における構図において、オブジェクト領域と人物の顔領域とが重なる構図であると判定する。この場合、構図判定部４８は、人物の顔領域の位置が構図上最適な位置にあるか否かを判定する。ここで、例えばスルー画像を水平方向及び垂直方向に３分割する直線（図５や図６に示す二点鎖線）上にオブジェクト領域の重心や人物の顔領域の重心が位置する場合に、最適な構図の画像が得られるとして説明する。なお、上述した閾値は、最適な構図となる画像に含まれるオブジェクト領域の大きさや人物の顔領域の大きさから求められる値である。

一方、スルー画像においてオブジェクト領域が占める比率が予め設定された閾値未満となる場合、構図判定部４８は、スルー画像における構図がオブジェクト領域と人物の顔領域とが重ならない構図であると判定する。この場合、構図判定部４８は、オブジェクト領域及び人物の顔領域の位置に基づいて、構図上最適な位置にあるか否かを判定する。

なお、本実施形態では、図５や図６に示す二点鎖線上にオブジェクト領域の重心や人物の顔領域の重心が位置する場合に最適な構図の画像が得られるとしているが、これに限定される必要はなく、例えば最適な構図となる画像に含まれるオブジェクト領域や人物の顔領域の位置を予め求めておき、求めた領域の重心の位置にスルー画像に含まれるオブジェクト領域の重心や人物の顔領域の重心が位置しているか否かを判定することで、構図上最適な位置にあるか否かを判定することも可能である。

位置設定部４９は、構図判定部４８においてスルー画像に対してオブジェクト領域が閾値以上となり、かつ人物の顔領域の重心が構図上最適な位置にないと判定された場合に、人物の顔領域の重心の位置を構図上最適な位置に設定する。また、位置設定部４９は、構図判定部４８においてスルー画像に対してオブジェクト領域が閾値未満となり、かつオブジェクト領域の重心や人物の顔領域の重心が構図上最適な位置にないと判定された場合に、オブジェクト領域の重心の位置や人物の顔領域の重心の位置を構図上最適な位置に設定する。

以下、アシスト表示における処理の流れについて、図３のフローチャートを用いて説明する。なお、このフローチャートで示す各処理は、撮影待機状態であることを契機に実行される。また、この処理においては、撮像光学系１５の光学倍率は一定で、且つ絞りが広角であることを前提としている。

ステップＳ１０１は、スルー画像データを取得する処理である。撮影待機状態では、所定時間間隔を空けて撮像素子１６が駆動制御される。この撮像素子１６の駆動制御により、画像信号が撮像素子１６からＡ／Ｄ変換器１７に出力される。Ａ／Ｄ変換器１７は、アナログの画像信号をデジタルの画像信号に変換する。このデジタルの画像信号はバッファメモリ２０に記憶される。画像処理回路２１は、バッファメモリ２０に記憶された画像信号に対する画像処理を実行する。これにより、スルー画像データが取得される。なお、取得されたスルー画像データは、画像処理回路２１において解像度変換処理が施された後、表示制御回路２３に出力される。そして、表示制御回路２３は、スルー画像データに基づくスルー画像を表示装置２４に表示する。

ステップＳ１０２は、位置情報を取得する処理である。ＣＰＵ３０は、ＧＰＳモジュール２６を介して、ＧＰＳ衛星との通信を行い、撮像装置１０の位置情報を取得する。

ステップＳ１０３は、方位情報を取得する処理である。ＣＰＵ３０は、電子コンパス２７を介して、撮像装置１０の方位情報を取得する。

ステップＳ１０４は、傾斜情報を取得する処理である。ＣＰＵ３０は、傾斜センサ２８を介して、撮像装置１０の傾斜情報を取得する。

ステップＳ１０５は、顔検出処理である。構図設定回路２２は、バッファメモリ２０から読み出したスルー画像データを用いて顔検出処理を実行する。これにより、スルー画像に含まれる顔を含む領域が人物の顔領域として抽出される。

ステップＳ１０６は、オブジェクトを特定する処理である。構図設定回路２２は、取得された撮像装置１０の位置情報、方位情報及び傾斜情報と、マップデータとを用いて、撮像装置１０が対面する主要な建築物をオブジェクトとして特定する。

ステップＳ１０７は、オブジェクトを抽出する処理である。構図設定回路２２は、ステップＳ１０６により特定したオブジェクトの情報に基づいて、特定されたオブジェクトを含む矩形の領域をオブジェクト領域として、スルー画像から抽出する。

ステップＳ１０８は、構図を設定する処理である。構図設定回路２２は、スルー画像に含まれる人物の顔領域の位置を設定する他、必要に応じて、スルー画像に含まれるオブジェクト領域の位置を設定する。

ステップＳ１０９は、アシスト表示を行うか否かを判定する処理である。上述したステップＳ１０８の処理が実行されると、人物の顔領域の重心の位置やオブジェクト領域の重心の位置の情報が表示制御回路２３に入力される。表示制御回路２３は、これら情報を用いて、アシスト表示を行うか否かを判定する。これら情報から、人物の顔領域の重心の位置や、オブジェクト領域の位置を変更する必要がある場合、表示制御回路２３はアシスト表示を行うと判定する。この場合、ステップＳ１０９の判定結果をＹｅｓとし、ステップＳ１１０に進む。一方、人物の顔領域の重心の位置やオブジェクト領域の位置を変更する必要がない場合、表示制御回路２３は、アシスト表示を行わないと判定する。よって、ステップＳ１０９の判定結果をＮｏとする。この場合、ステップＳ１１１に進む。

ステップＳ１１０は、アシスト表示を行う処理である。ステップＳ１０８における構図設定に関わる情報は、表示制御回路２３に入力される。よって、表示制御回路２３は、入力された人物の顔領域の重心の位置やオブジェクト領域の重心の位置の情報に基づいて、人物の顔領域の位置を移動させる旨の指標や、必要に応じて、オブジェクト領域の位置を移動させる旨の指標をスルー画像に重畳させて表示する。これにより、表示装置２４にアシスト表示が行われる。

ステップＳ１１１は、レリーズボタンの操作があるか否かを判定する処理である。レリーズボタン３２の操作に基づいた信号は、ＣＰＵ３０に入力される。ＣＰＵ３０は、レリーズボタン３２の操作信号が入力されたか否かにより、レリーズボタン３２が操作されたか否かを判定する。レリーズボタン３２の操作信号が入力される場合、ＣＰＵ３０は、ステップＳ１１１の判定結果をＹｅｓとする。この場合、ＣＰＵ３０は、表示制御回路２３に対してスルー画像の表示を停止する信号を出力する。これを受けて、表示制御回路２３は、表示装置２４におけるスルー画像の表示を停止する。この処理の後、ＣＰＵ３０は、予め設定された撮像条件に基づいた撮像処理を実行する。これにより、画像データ（本画像データ）が取得される。なお、撮像処理により得られた画像データは、表示装置２４にて表示される。この表示の後、該画像に基づく画像ファイルが記憶倍値に器多くされり
一方、レリーズボタン３２の操作信号が入力されない場合、ＣＰＵ３０は、ステップＳ１１１の判定結果をＮｏとする。この場合、ステップＳ１０１に戻り、レリーズボタン３２が操作されたと判定されるまで、ステップＳ１０１〜ステップＳ１１０の処理が繰り返し実行される。

なお、図３のフローチャートにおいては、アシスト表示を行った後にレリーズボタン３２を操作することで撮像処理が実行される場合について説明を行っているが、表示装置２４におけるアシスト表示を無視してレリーズボタン３２を操作しても撮像処理が実行される。

次に、ステップＳ１０８における構図設定の処理の流れについて、図４のフローチャートに基づいて説明する。

ステップＳ２０１は、スルー画像に対するオブジェクト領域の比率が閾値以上となるか否かを判定する処理である。構図評価回路２２は、ステップＳ１０７にて抽出されたオブジェクト領域の大きさと、ステップＳ１０５にて抽出されたスルー画像の大きさとから、スルー画像に対してオブジェクト領域が占める比率を求める。そして、構図評価回路２２は、求めた比率が閾値以上であるか否かを判定する。構図評価回路２２は、求めた比率が閾値以上であると判定した場合、ステップＳ２０１の判定結果をＹｅｓとする。この場合、ステップＳ２０２に進む。一方、求めた比率が閾値未満であると判定した場合、構図評価回路２２は、ステップＳ２０１の判定結果をＮｏとする。この場合、ステップＳ２０４に進む。

ステップＳ２０２は、人物の顔領域が最適な位置にあるか否かを判定する処理である。構図設定回路２２は、人物の顔領域の重心の位置を求める。そして、構図設定回路２２は、人物の顔領域の重心が構図上最適な位置にあるか否かを判定する。人物の顔領域の重心が構図上最適な位置にある場合には、構図設定回路２２は、ステップＳ２０２の判定結果をＹｅｓとする。この場合、構図設定の処理が終了する。一方、人物の顔領域の重心が構図上最適な位置にない場合には、構図設定回路２２は、ステップＳ２０２の判定結果をＮｏとする。この場合、ステップＳ２０３に進む。

ステップＳ２０３は、人物の顔領域の位置を設定する処理である。構図設定回路２２は、人物の顔領域の重心が構図上最適な位置を設定する。そして、構図設定回路２２は、設定した人物の顔領域の重心の位置の情報を表示制御回路２３に出力する。例えばスルー画像においてオブジェクト領域が占める比率が閾値未満となる場合には、構図上最適な位置に設定されたオブジェクト領域に対して、人物の顔領域が重ならない範囲で、人物の顔領域の重心が構図上最適な位置となるように、人物の顔領域の位置を設定する。一方、スルー画像においてオブジェクト領域が占める比率が閾値以上となる場合には、構図設定回路２２は、オブジェクト領域の位置を考慮せずに、人物の顔領域の重心が、構図上最適な位置となるように、人物の顔領域の位置を設定する。

上述したステップＳ２０１における判定結果がＮｏとなる場合、ステップＳ２０４に進む。

ステップＳ２０４は、オブジェクト領域が構図上最適な位置にあるか否かを判定する処理である。オブジェクト領域の重心が構図上最適な位置にある場合には、構図設定回路２２は、ステップＳ２０４の判定結果をＹｅｓとする。この場合ステップＳ２０２に進む。この場合、ステップＳ２０２において、人物の顔領域の重心が構図上最適な位置にあるか否かの判定が行われる。

一方、オブジェクト領域の重心が構図上最適な位置にない場合には、構図設定回路２２は、ステップＳ２０４の判定結果をＮｏとする。この場合、ステップＳ２０５に進む。

ステップＳ２０５は、オブジェクト領域の位置を設定する処理である。構図設定回路２２は、オブジェクト領域の重心が構図上最適な位置を設定する。そして、構図設定回路２２は、設定したオブジェクト領域の重心の位置の情報を表示制御回路２３に出力する。

このようにして、スルー画像における人物の顔領域の位置が構図上最適な位置にあるか否かの判定が行われ、人物の顔領域が構図上最適な位置にない場合には、人物の顔領域に対して、構図上最適な位置が設定される。また、必要に応じて、オブジェクト領域が構図上最適な位置にあるか否かの判定が行われ、オブジェクト領域が構図上最適な位置にない場合には、オブジェクト領域に対して、構図上最適な位置が設定される。

記念撮影として、例えばタワーの一部を背景とした人物の撮影を行う場合を考慮する。図５（ａ）に示すように、撮影待機状態において得られるスルー画像ＴＩ１は、スルー画像の大部分をタワーの一部が占めた状態の画像となる。図５（ｂ）に示すように、人物の顔が含まれる矩形の領域を人物の顔領域Ａ１、タワーが含まれる矩形の領域をオブジェクト領域Ａ２とする。

この場合、スルー画像ＴＩ１に対してオブジェクト領域Ａ２が大部分を占めている。言い換えれば、スルー画像ＴＩ１においてオブジェクト領域が占める比率は閾値以上となる。このようなスルー画像ＴＩ１の場合、オブジェクト領域Ａ２を除いた領域に人物の顔領域Ａ１を移動させると、人物の顔領域Ａ１の位置がスルー画像ＴＩ１の縁部となってしまい、構図上好ましくない。

よって、スルー画像ＴＩ１においてオブジェクト領域Ａ２が占める比率が閾値以上となる場合、オブジェクト領域Ａ２と人物の顔領域Ａ１とが重なった構図が最適な構図であると判定する。このような判定が行われた場合には、スルー画像ＴＩ１に対するオブジェクト領域Ａ２の位置を固定し、人物の顔領域Ａ１の位置をスルー画像ＴＩ１内で移動させるアシスト表示が行われる。

このアシスト表示では、人物の顔領域Ａ１の重心Ｃ１が構図上最適な位置である二点鎖線Ｌ_Ｘ１，Ｌ_Ｘ２，Ｌ_Ｙ１，Ｌ_Ｙ２のいずれかに位置するように、アシスト表示を行う。図５（ｂ）は、人物の顔領域Ａ１をＹ方向に移動させる旨を示すアシスト表示の一例を示している。この図においては、矢印Ｍ１を用いてアシスト表示を行っている。この矢印Ｍ１が表示されることを受けて、ユーザは、スルー画像ＴＩ１における人物の顔の領域Ａ１の位置が矢印Ｍ１の方向に移動するように被写体となる人物に指示を行う。被写体となる人物がユーザの指示通り移動した場合には、被写体となる人物の顔の位置が構図上最適な位置にあるスルー画像ＴＩ１’が取得され、表示装置２４に表示される（図５（ｃ）参照）。このようなスルー画像が表示された後にユーザがレリーズボタン３２を操作することで、最適な構図の本画像データを取得することが可能となる。

また、記念撮影においては、タワー全体を背景の一部として人物を撮影する場合もある。図６（ａ）に示すように、タワーの全体を背景として人物を撮影する場合、撮影待機状態においては、タワー全体が占める比率が少ないスルー画像ＴＩ２が取得され、表示装置２４に表示される。このようなスルー画像ＴＩ２に含まれる人物の顔が含まれる矩形の領域を人物の顔領域Ａ３、タワー全体が含まれる矩形の領域をオブジェクト領域Ａ４とする。

スルー画像ＴＩ２におけるオブジェクト領域の割合が少ない場合には、スルー画像ＴＩ２においてオブジェクト領域Ａ４が占める比率は閾値未満となる。このような場合、オブジェクト領域Ａ４と人物の顔領域Ａ３とを重ねずに位置させる構図が最適な構図と判定される。また、このような場合には、スルー画像ＴＩ２に含まれるオブジェクト領域Ａ４の位置と人物の顔領域Ａ３の位置とをそれぞれ構図上最適な位置に移動させることを考慮する。

この場合、図６（ｂ）に示すように、オブジェクト領域Ａ４の重心Ｃ４が構図上最適な位置である二点鎖線Ｌ_Ｘ１，Ｌ_Ｘ２，Ｌ_Ｙ１，Ｌ_Ｙ２のいずれかに位置するようにアシスト表示を行う。この場合、Ｘ方向における人物の顔領域の位置とオブジェクト領域の位置とが詰まっていることから、このような場合には、オブジェクト領域Ａ４の重心Ｃ４が二点鎖線上に位置するようにオブジェクト領域Ａ４を移動させる。また、同様にして、人物の顔領域Ａ３の重心Ｃ３が二点差線上に位置するように人物の顔領域Ａ３を移動させる。このような場合には、オブジェクト領域Ａ４を−Ｘ方向に移動させる旨を示す指標である矢印Ｍ２と、人物の顔領域Ａ３をＸ方向に移動させる旨を示す指標である矢印Ｍ３とが表示装置２４に表示される。

このアシスト表示により、ユーザはスルー画像ＴＩ２におけるオブジェクト領域Ａ４が矢印Ｍ２の方向に移動するように撮像装置１０の向きを変更する。同時に、ユーザは、被写体となる人物の顔の領域Ａ３の位置が矢印Ｍ３の方向に移動するように被写体となる人物に指示を行う。撮像装置１０の向きを変更し、被写体となる人物がユーザの指示通り移動した場合には、被写体となる人物の顔の位置や、オブジェクトとなる主要な建築物（この場合タワー）が構図上最適な位置にあるスルー画像ＴＩ２’が取得され、表示装置２４に表示される（図７参照）。このようなスルー画像が表示された後にユーザがレリーズボタン３３を操作することで、最適な構図の本画像データを取得することが可能となる。

このように、スルー画像から抽出されるオブジェクトの領域がスルー画像の大部分を占める場合には、人物の顔の領域が構図上最適な位置となるように、ユーザに対するアシスト表示を行い、また、オブジェクトの領域がスルー画像の大部分を占めない場合には、オブジェクトの領域が構図上最適な位置となるように、アシスト表示を行った後、人物の顔の領域が構図上最適な位置となるように、ユーザに対するアシスト表示を行うようにしている。これにより、ユーザは表示装置２４に表示されたアシスト表示に従って、撮像装置１０の向きを変更する動作、或いは被写体となる人物に対して該人物の位置を変更するなどの指示を的確に行うことができる。また、これら動作を行うことで、最適な構図の画像を得ることができる。

なお、図５から図７に示す二点鎖線Ｌ_Ｘ１，Ｌ_Ｘ２，Ｌ_Ｙ１，Ｌ_Ｙ２や二点鎖線Ｌ_Ｘ１，Ｌ_Ｘ２，Ｌ_Ｙ１，Ｌ_Ｙ２の表示については言及していないが、表示装置２４に表示してもよいし、表示しなくてもよい。

本実施形態では、アシスト表示として矢印などの指標を表示装置２４に表示する例を取り上げているが、これに限定される必要はなく、例えば構図上最適となる位置にあるオブジェクトや顔の外形線を表示することをアシスト表示としてもよい。

本実施形態では、構図設定回路２２の構成を有する撮像装置１０の一例を取り上げているが、この構図設定回路２２は、画像処理回路２１やＣＰＵ３０の一機能とすることも可能である。

本実施形態では、スルー画像に対するオブジェクト領域の比率が閾値を超過するか否かを判定することで、オブジェクト領域と人物の顔領域とが重なる構図となるか否かを判定し、この判定結果に基づき、人物の顔領域の重心の位置が構図上最適な位置にあるか否かの判定や、必要に応じてオブジェクト領域の重心の位置が構図上最適な位置にあるか否かの判定を行っている。しかしながら、スルー画像に対するオブジェクト領域の比率の他に、オブジェクト領域の大きさに対する人物の顔領域の大きさの比率を考慮することで、人物の顔領域の重心の位置が構図上最適な位置にあるか否かの判定や、必要に応じてオブジェクト領域の重心の位置が構図上最適な位置にあるか否かの判定を行うことも可能である。

スルー画像においてオブジェクト領域が占める比率が１に近いほど、人物の顔領域とオブジェクト領域とが重なる構図が最適な構図になる。そして、上述した比率が低くなるに従い、人物の顔領域と、オブジェクト領域とが重ならない構図が最適な構図になる。しかしながら、スルー画像においてオブジェクト領域が占める比率が低くなる場合であっても、人物の顔の大きさによっては、人物の顔領域とオブジェクト領域とが重なる構図が最適な構図となる場合もある。よって、スルー画像においてオブジェクト領域が占める比率の他に、人物の顔領域とオブジェクト領域との比率を用いて、人物の顔領域とオブジェクト領域とが重なる構図を最適な構図とするか、人物の顔領域とオブジェクト領域とが重ならない場合の構図を最適な構図とするかを判定することも可能である。

本実施形態では、スルー画像から抽出されるオブジェクト領域の位置を変更する指標と、人物の顔領域の位置を変更する指標とを同時に表示したアシスト表示としているが、これに限定される必要はなく、オブジェクト領域の位置を変更するための指標を表示したアシスト表示を行った後、人物の顔領域の位置を変更する指標を表示したアシスト表示を行うことも可能である。

本実施形態では、撮像装置としての詳細な記載については省略しているが、デジタルカメラの他、カメラ機能を有する携帯型端末機に適用できる。また、この他に、カメラとＰＣとを無線、或いは有線にて接続したカメラシステムに適用することも可能である。

１０…撮像装置、２２…構図設定回路、２３…表示制御回路、２４…表示装置、２６…ＧＰＳモジュールモジュール、２７…電子コンパス、２８…傾斜センサ、３２…レリーズボタン、４５…顔検出部、４６…オブジェクト特定部、４７…オブジェクト抽出部、４８…構図判定部、４９…位置設定部

Claims (6)

1. 取り込まれる第１画像から人物の顔を検出する顔検出部と、
   前記第１画像に含まれるオブジェクトのうち、前記人物の顔を除く主要なオブジェクトを抽出するオブジェクト抽出部と、
   前記第１画像における前記人物の顔の位置と前記主要なオブジェクトの位置とが構図上適した位置にあるか否かを判定する判定部と、
   前記判定部による判定結果に基づいて、前記人物の顔の位置と前記主要なオブジェクトの位置とを構図上適した位置に設定する設定部と、
   前記人物の顔の位置及び前記主要なオブジェクトの位置を構図上適した位置に調整するための指標を前記第１画像とともに表示する表示部と、
   を備えたことを特徴とする撮像装置。
2. 請求項１に記載の撮像装置において、
   前記判定部は、前記第１画像に対して前記主要なオブジェクトが占める比率が所定の値未満となる場合に、前記人物の顔の位置と前記主要なオブジェクトの位置とが構図上適した位置にあるか否かを判定することを特徴とする撮像装置。
3. 請求項２に記載の撮像装置において、
   前記設定部は、前記人物の顔が前記主要なオブジェクトに重ならないように、前記主要なオブジェクトの位置と前記人物の顔の位置とを設定することを特徴とする撮像装置。
4. 請求項１に記載の撮像装置において、
   前記判定部は、前記第１画像に対して前記主要なオブジェクトが占める比率が所定の値を超過している場合に、前記人物の顔の位置が構図上適した位置にあるか否かを判定することを特徴とする撮像装置。
5. 請求項１から請求項４のいずれか１項に記載の撮像装置において、
   装置本体の位置情報を取得する位置情報取得部と、
   前記装置本体の方位情報を取得する方位情報取得部と、
   前記装置本体の位置情報及び前記装置本体の方位情報に基づいて、前記第１画像に含まれる前記主要なオブジェクトを特定するオブジェクト特定部と、
   を備えたことを特徴とする撮像装置。
6. 請求項１から請求項５のいずれか１項に記載の撮像装置において、
   撮影時に操作される操作ボタンと、
   被写体光を受光することで画像信号を出力する撮像素子と、
   前記操作ボタンが操作されていないときに、前記第１画像の元になる画像信号を出力させ、前記操作ボタンが操作されたときに、前記第１画像とは異なる第２画像の元になる画像信号を出力させるように、前記撮像素子を制御する撮像制御部と、
   を備えていることを特徴とする撮像装置。

Images