JP2014236334A - 撮像装置 - Google Patents

Abstract

【課題】人物と主要な構造物との相対位置や人物の大きさを考慮したアシストを行うことで、最適な構図の画像を取得する。
【解決手段】本発明の撮像装置は、取り込まれる第１画像から人物の顔を検出する顔検出部と、第１画像に含まれる前記人物の顔を除いたオブジェクトのうち、主要なオブジェクトを抽出するオブジェクト抽出部と、第１画像における人物の顔の位置と主要なオブジェクトの位置とが構図上適した位置にあるか否かを判定する判定部と、判定部による判定結果に基づいて、人物の顔の位置と主要なオブジェクトの位置とを構図上適した位置に設定する第１設定部と、第１画像における人物の顔の大きさを設定する第２設定部と、人物の顔の位置と主要なオブジェクトの位置とを、第１設定部により設定された位置にそれぞれ調整するための第１指標と、人物の顔の大きさを第２設定部により設定された大きさに調整するための第２指標とを、第１画像とともに表示する表示部と、を備えたことを特徴とする。
【選択図】 図６

Description

本発明は、撮像装置に関する。

デジタルカメラに代表される撮像装置を用いた撮影においては、撮像装置に設けられた表示部に表示される画像を観察しながら、撮影時の構図を決定することが一般的である。このような撮像装置の中には、取り込まれる画像に対して顔検出処理を行い、検出された顔の位置が構図上最適な位置となるように、撮影者にアシストするアシスト機能を備えたものがある（特許文献１参照）。このアシスト機能は、最適な構図となる被写体の顔の位置を示す画像（参照画像）と、実際に撮像装置に取り込まれる画像と重ねて表示し、取得される画像に含まれる人物の顔を、参照画像における被写体の顔の位置に一致させるように、撮影者にアシストする機能である。

特開平８−２９４０２５号公報

しかしながら、撮影する画像における被写体は、必ずしも人物のみに限られるものではない。例えば観光地や遊園地などを訪問した際の記念撮影においては、観光地における主要な構造物を背景とした人物撮影などを行う場合がある。このような撮影では、画像における人物と主要な構造物との相対位置や、人物の大きさによっては、最適な構図の画像が得られない場合がある。

本発明は、人物と主要な構造物との相対位置や人物の大きさを考慮したアシストを行うことで、最適な構図の画像を取得することができるようにした撮像装置を提供することを目的とする。

上述した課題を解決するために、本発明の撮像装置は、取り込まれる第１画像から人物の顔を検出する顔検出部と、前記第１画像に含まれる前記人物の顔を除いたオブジェクトのうち、主要なオブジェクトを抽出するオブジェクト抽出部と、前記第１画像における前記人物の顔の位置と前記主要なオブジェクトの位置とが構図上適した位置にあるか否かを判定する判定部と、前記判定部による判定結果に基づいて、前記人物の顔の位置と前記主要なオブジェクトの位置とを構図上適した位置に設定する第１設定部と、前記第１画像における前記人物の顔の大きさを設定する第２設定部と、前記人物の顔の位置と前記主要なオブジェクトの位置とを、前記第１設定部により設定された位置にそれぞれ調整するための第１指標と、前記人物の顔の大きさを前記第２設定部により設定された大きさに調整するための第２指標とを、前記第１画像とともに表示する表示部と、を備えたことを特徴とする。

また、前記人物までの距離を検出する距離検出部と、撮影時の最短撮影距離を算出する算出部と、を備え、前記第２設定部は、前記距離検出部により検出された前記人物までの距離と前記算出部により算出された最短撮影距離とを比較することで、前記第１画像における前記人物の顔の大きさの上限又は下限を設定するものである。

また、前記第２設定部は、前記人物までの距離が前記最短撮影距離よりも長い場合に、前記第１画像から抽出された前記人物の顔の大きさを前記第１画像における前記顔の大きさの下限として設定するものである。

この場合、前記第２設定部は、前記第１画像から抽出された前記人物の顔の大きさを所定の倍率で拡大したときの前記人物の顔の大きさを、前記第１画像における前記人物の顔の大きさの上限として設定することが好ましい。

また、前記第２設定部は、前記人物までの距離が最短撮影距離となるときの前記人物の顔の大きさを、前記第１画像における前記人物の顔の大きさの上限として設定することが好ましい。

また、前記第２設定部は、前記人物の顔の近傍における所定の領域において、前記人物の顔の領域と、前記所定の領域から顔の領域を除いた領域との比率が予め設定された比率となるときの前記人物の顔の大きさを、前記第１画像における前記人物の顔の大きさの上限として設定することが好ましい。

また、前記人物までの距離が前記最短撮影距離よりも短い場合に、前記第２設定部は、前記第１画像から抽出された前記人物の顔の大きさを、前記第１画像における前記人物の顔の大きさの上限として設定するものである。

この場合、前記第２設定部は、前記人物が前記最短撮影距離に位置するときの前記人物の顔の大きさを、前記第１画像における前記人物の顔の下限として設定することが好ましい。

また、この他に、前記第２設定部は、前記第１画像から特定される人物の領域における一方向の長さが、前記第１画像の前記一方向の長さの所定倍率以下となるときの前記人物の顔の大きさを、第１画像における前記人物の顔の大きさの下限として設定することが好ましい。

また、前記第２設定部は、前記第１画像における前記人物の顔の大きさの上限又は下限を設定する他に、少なくとも前記主要なオブジェクトの大きさと前記人物の大きさとの比率を用いて、前記第１画像に適した前記人物の顔の大きさを設定するものである。

また、前記判定部は、前記第１画像における前記主要なオブジェクトが占める比率が所定の値未満となる場合に、前記人物の顔の位置及び前記主要なオブジェクトの位置が構図上適した位置にあるか否かを判定するものである。

また、前記第１設定部は、前記主要なオブジェクトと前記人物の顔とが重ならないように、前記主要なオブジェクトの位置と前記人物の顔の位置とを設定するものである。

また、前記判定部は、前記第１画像における前記主要なオブジェクトが占める比率が所定の値を超過している場合に、前記人物の顔の位置が構図上適した位置にあるか否かを判定するものである。

また、撮影時に操作される操作ボタンと、被写体光を受光することで画像信号を出力する撮像素子と、前記操作ボタンが操作されていないときに、前記第１画像の元になる画像信号を出力させ、前記操作ボタンが操作されたときに、前記第１画像とは異なる第２画像の元になる画像信号を出力させるように、前記撮像素子を制御する撮像制御部と、を備えるものである。

本発明によれば、人物と主要な構造物との相対位置や人物の大きさを考慮したアシストを行うことで、最適な構図の画像を取得することができる。

本発明を用いた撮像装置の一実施形態を示す機能ブロック図である。 構図判定回路の構成の一実施形態を示す機能ブロック図である。 （ａ）はスルー画像における人物の顔領域、人物の領域及びオブジェクト領域の一例を示す図、（ｂ）は人物の領域が含まれ、且つオブジェクト領域に重ならない矩形の領域の一例を示す図である。 アシスト表示における処理の流れを説明するフローチャートである。 構図設定における処理の流れを説明するフローチャートである。 （ａ）は記念撮影として、タワーの一部を背景とした人物の撮影を行う場合に得られるスルー画像の一例を示す図、（ｂ）はアシスト表示の一例を示す図、（ｃ）は人物の顔が構図上最適となる場合のスルー画像の一例を示す図である。 （ａ）は記念撮影として、タワー全体を背景とした人物の撮影を行う場合に得られるスルー画像の一例を示す図、（ｂ）はアシスト表示の一例を示す図、（ｃ）は人物の顔が構図上最適となる場合のスルー画像の一例を示す図である。

以下、本発明を適用した撮像装置の一実施形態を説明する。本発明の撮像装置は、レリーズボタンが操作されない撮影待機状態時に取り込まれる画像（スルー画像）を用いて、該スルー画像に含まれる顔や、顔領域を除く主要なオブジェクトが、構図上最適となる位置であるか否かを判定し、構図上最適となる位置にないと判定された場合に、スルー画像における人物の顔やオブジェクトの位置を移動させるための指標を表示する。以下、指標の表示をアシスト表示と称する。

図１に示すように、撮像装置１０は、撮像光学系１５、撮像素子１６、Ａ／Ｄ変換器１７、タイミングジェネレータ（ＴＧ）１８、ドライバ１９、バッファメモリ２０、画像処理回路２１、構図設定回路２２、表示制御回路２３、表示装置２４、メディアコントローラ２５、ＧＰＳモジュール２６、電子コンパス２７、傾斜センサ２８、ＣＰＵ３０、内蔵メモリ３１、レリーズボタン３２、設定操作部３３及び測距センサ３４を有している。ここで、Ａ／Ｄ変換器１７、バッファメモリ２０、画像処理回路２１、構図設定回路２２、表示制御回路２３、ＧＰＳモジュール２６、電子コンパス２７、傾斜センサ２８、ＣＰＵ３０及び内蔵メモリ３１は、バス３６を介して電気的に接続される。

撮像光学系１５は、図示を省略したズームレンズやフォーカスレンズなどを含む複数のレンズ及び絞りから構成される。これらズームレンズやフォーカスレンズは、図示を省略したレンズ駆動機構によって、光軸Ｌ方向に移動する。また、絞りもレンズ駆動機構により、その絞り径が調整される。

撮像素子１６は、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などから構成される。この撮像素子１６は、ドライバ１９によって駆動制御される。撮像素子１６の駆動制御としては、撮像素子１６の各画素における信号電荷の蓄積、及び蓄積された各画素の信号電荷の出力を制御することが挙げられる。なお、各画素の信号電荷は画像信号としてＡ／Ｄ変換器１７に出力される。Ａ／Ｄ変換器１７は、入力される画像信号をアナログの信号からデジタルの信号に変換する。このＡ／Ｄ変換器１７から出力されるデジタルの画像信号は、バッファメモリ２０に記憶される。

タイミングジェネレータ１８は、Ａ／Ｄ変換器１７やドライバ１９に対してクロックパルスを出力する。タイミングジェネレータ１８からクロックパルスが出力されることで、撮像素子１６やＡ／Ｄ変換器１７の駆動タイミングが同期される。

バッファメモリ２０は、例えばＥＰＰＲＯＭなどの不揮発性メモリからなる。このバッファメモリ２０は、Ａ／Ｄ変換器１７から出力された画像信号の他、画像処理回路２１にて画像処理が施された画像データや記憶媒体４０から読み出された画像データが一時的に記憶される。

画像処理回路２１は、バッファメモリ２０に書き込まれた画像信号に対して、ホワイトバランス処理、色補間処理、輪郭補償処理、ガンマ処理などの画像処理を施す。また、画像処理回路２１は、画像を表示装置２４に表示する際に、表示する画像の解像度を表示装置２４の解像度に変換する処理を実行する。

構図設定回路２２は、ＧＰＳモジュール２６により取得された撮像装置１０の位置情報、電子コンパス２７により取得された方位情報及び傾斜センサ２８により取得された傾斜情報と、撮影待機状態において撮像素子１６により取り込まれるスルー画像データとを用いて、取り込まれたスルー画像の構図が最適な構図であるか否かを判定する。そして、構図設定回路２２は、スルー画像における構図が最適な構図でないと判定された場合に、スルー画像における構図が最適な構図となるように、スルー画像に含まれる人物の顔の位置や、人物の顔の大きさを設定する。また、構図設定回路２２は、必要に応じて、スルー画像に含まれる主要なオブジェクトの位置を設定する。

表示制御回路２３は、画像処理回路２１にて解像度変換処理が施された画像データをバッファメモリ２０から読み出し、読み出した画像データに基づく画像を表示装置２４に表示する。ここで、表示装置２４としては、例えばＬＣＤや有機ＥＬディスプレイなどが挙げられる。

また、表示制御回路２３は、レリーズボタン３２の操作による撮影時に得られる画像の構図が最適な構図となるように、スルー画像に対する主要なオブジェクトの位置や人物の顔の位置を調整するための指標を表示する。以下、指標の表示をアシスト表示と称する。

メディアコントローラ２５は、例えばフラッシュメモリからなるメモリカードの他、光学ディスク、磁気ディスクなどの記憶媒体４０と電気的に接続される。メディアコントローラ２５と記憶媒体４０とが電気的に接続されることで、撮影により得られた画像データの記憶媒体４０への書き込みや、記憶媒体４０に記憶された画像データの読み出しを行うことが可能となる。

ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）モジュール２６は、ＧＰＳ衛星との間でデータの送受信を行い、撮像装置１０の位置情報を取得する。電子コンパス２７は、ホール素子等の磁気素子により構成される。電子コンパス２７は、地磁気を検出することにより撮像装置１０の方位情報を取得する。傾斜センサ２８は、撮像装置１０の傾斜（仰角）情報を取得する。ＧＰＳモジュール２６、電子コンパス２７及び傾斜センサ２８により得られる情報は、構図設定回路２２に出力される。

ＣＰＵ３０は、図示を省略した制御プログラムを実行することで、撮像装置１０の各部を統括的に制御する。このＣＰＵ３０にはレリーズボタン３２や設定操作部３３の他、測距センサ３４が接続され、これらボタンや操作部からの操作信号に基づいた処理を実行する。なお、測距センサ３４は、撮像装置１０から被写体となる人物までの距離情報を取得する。

次に、構図設定回路２２の構成の一実施形態について、図２を用いて説明する。図２に示すように、構図設定回路２２は、顔検出部４５、オブジェクト特定部４６、オブジェクト抽出部４７、構図判定部４８、位置設定部４９及びサイズ設定部５０を備える。

顔検出部４５は、入力されるスルー画像データを用いて、眉、眼、鼻、唇などの形状に関する特徴量を抽出する処理を行う。この処理を行うことで、スルー画像に含まれる人物の顔の領域や大きさ等が検出される。顔検出部４５は、検出された人物の顔を含む矩形の領域を人物の顔領域として抽出する。

オブジェクト特定部４６は、入力される撮像装置１０の位置情報、方位情報及び傾斜情報の他、マップデータを用いて、撮像装置１０が対面する主要な構造物（オブジェクト）を特定する。ここで、主要な構造物としては、例えばタワー、ビル、寺、橋などの建築物などが挙げられる。ここで、マップデータは、予め内蔵メモリ３１に記憶させておいてもよいし、図示を省略した無線通信機能を用いて外部装置から取得することも可能である。

オブジェクト抽出部４７は、スルー画像に含まれる、撮像装置１０が対面するオブジェクトの領域を抽出する。上述したように、オブジェクト特定部４６により、撮像装置１０が対面するオブジェクトが特定されている。よって、オブジェクト抽出部４７は、スルー画像から特定された主要なオブジェクトが含まれる矩形の領域を、オブジェクト領域として抽出する。なお、周知の領域分割の手法によりスルー画像を複数の領域に分割し、分割された複数の領域のうち、特定された主要なオブジェクトの情報に一致する領域をオブジェクト領域としてもよい。

構図判定部４８は、スルー画像に対してオブジェクト領域が占める比率に基づいて、スルー画像におけるオブジェクト領域と人物の顔領域の位置関係を特定した後、人物の顔領域の位置が構図上最適な位置にあるか否かの判定や、必要に応じてオブジェクト領域の位置が構図上最適な位置にあるか否かを判定する。

まず、構図判定部４８は、スルー画像に対してオブジェクト領域が占める比率を算出する。例えばスルー画像においてオブジェクト領域が占める比率が予め設定された閾値以上である場合、構図判定部４８は、スルー画像における構図において、オブジェクト領域と人物の顔領域とが重なる構図であると判定する。この場合、構図判定部４８は、人物の顔領域の位置が構図上最適な位置にあるか否かを判定する。ここで、例えばスルー画像を水平方向及び垂直方向に３分割する直線（図６や図７に示す二点鎖線）上にオブジェクト領域の重心や人物の顔領域の重心が位置する場合に、最適な構図の画像が得られるとして説明する。なお、上述した閾値は、最適な構図となる画像に含まれるオブジェクト領域の大きさや人物の顔領域の大きさから求められる値である。

一方、スルー画像においてオブジェクト領域が占める比率が予め設定された閾値未満となる場合、構図判定部４８は、スルー画像における構図がオブジェクト領域と人物の顔領域とが重ならない構図であると判定する。この場合、構図判定部４８は、オブジェクト領域及び人物の顔領域の位置に基づいて、構図上最適な位置にあるか否かを判定する。

なお、本実施形態では、図６や図７に示す二点鎖線上にオブジェクト領域の重心や人物の顔領域の重心が位置する場合に最適な構図の画像が得られるとしているが、これに限定される必要はなく、例えば最適な構図となる画像に含まれるオブジェクト領域や人物の顔領域の位置を予め求めておき、求めた領域の重心の位置にスルー画像に含まれるオブジェクト領域の重心や人物の顔領域の重心が位置しているか否かを判定することで、構図上最適な位置にあるか否かを判定することも可能である。

位置設定部４９は、構図判定部４８においてスルー画像に対してオブジェクト領域が閾値以上となり、かつ人物の顔領域の重心が構図上最適な位置にないと判定された場合に、人物の顔領域の重心の位置を構図上最適な位置に設定する。また、位置設定部４９は、構図判定部４８においてスルー画像に対してオブジェクト領域が閾値未満となり、かつオブジェクト領域の重心や人物の顔領域の重心が構図上最適な位置にないと判定された場合に、オブジェクト領域の重心の位置や人物の顔領域の重心の位置を構図上最適な位置に設定する。

サイズ設定部５０は、スルー画像における人物の顔領域の最大サイズ、最小サイズを設定する。サイズ設定部５０は、撮像装置１０から人物までの距離の情報と最短撮影距離の情報とに基づいて、スルー画像における人物の顔領域のサイズを最小サイズとするか最大サイズとするかを判定する。最短撮影距離は、撮像光学系１５における撮影倍率及び撮像光学系１５の焦点距離と、最短撮影距離とを対応付けたテーブルデータ（最短距離データ）を内蔵メモリ３１に予め記憶しておき、実際にスルー画像を取得したときの撮像光学系１５における撮影倍率及び撮像光学系１５の焦点距離の情報と、テーブルデータとから求めることができる。

撮像装置１０から人物までの距離が最短撮影距離を超過する場合には、サイズ設定部５０は、スルー画像から検出された人物の顔領域の大きさを最小サイズとして設定する。そして、サイズ設定部５０は、以下の（１）から（３）の条件の少なくとも１つを用いて人物の顔領域の大きさの最大サイズを求める。
（１）スルー画像から検出された人物の顔領域のＹ方向の長さを所定の倍率Ａで拡大したときの人物の顔領域の大きさを最大サイズに設定する。

この場合、サイズ設定部５０は、スルー画像から検出されるオブジェクト領域の大きさ（面積）と、人物の顔領域の大きさとを考慮し、上述した所定の倍率Ａを決定する。ここで、所定の倍率Ａとしては、例えば２倍などが挙げられる。なお、最適の構図となる画像から求めたオブジェクト領域と人物の顔領域との比率と、人物の顔領域のサイズとを対応付けたテーブルデータ（サイズデータ）を内蔵メモリ３１に記憶させておき、該サイズデータから比率Ａを求める。そして、サイズ設定部５０は、比率Ａを乗算することで拡大した人物の顔領域のサイズを、人物の顔領域の最大サイズとして設定する。
（２）撮像装置１０から人物までの距離が撮影最短距離となるときのスルー画像における人物の顔領域の大きさを最大サイズに設定する。

上述したように、撮像光学系１５における撮影倍率や焦点距離の値から最短撮影距離が求められる。サイズ設定部５０は、求めた最短撮影距離と測距センサ３４から求めた距離情報とを用いて、人物が最短撮影距離に位置した場合の人物の顔領域のサイズを最大サイズとして設定する。
（３）オブジェクト領域を除く領域のうち、人物の領域と、該人物の領域近傍の領域との比率が所定の比率Ｂとなるときの人物の顔領域の大きさを最大サイズに設定する。

サイズ設定部５０は、抽出された人物の顔領域と、該顔領域の下方の領域とを人物の領域として設定する。なお、人物の領域としては、人物の顔領域と該顔領域のＹ方向の長さに対して長さαの領域とを人物の領域として設定すればよい。そして、サイズ設定部５０は、スルー画像における、人物の領域とオブジェクト領域の位置とに基づいて、オブジェクト領域を除いた領域のうち、人物の領域が含まれる矩形の領域を切り出す。

図３（ａ）に示すように、記念撮影として、タワー全体を背景にして人物の撮影を行う場合について考える。この場合、人物の顔が含まれる領域を領域Ａ１、タワーが含まれる領域をオブジェクト領域Ａ２とする。まず、顔領域Ａ１と、顔領域の下方に連なる長さαの領域Ａ３とを人物の領域Ａ４に設定する。次に、スルー画像においてオブジェクト領域Ａ２を除く領域のうち、人物の領域Ａ４が含まれ、且つオブジェクト領域Ａ２に重ならない矩形の領域を領域Ａ５に設定する。そして、人物の領域Ａ４の大きさと、領域Ａ５から人物の領域Ａ４を除いた領域（Ａ５−Ａ４）の大きさとの比率が、所定の比率となる場合の顔領域の大きさをスルー画像における人物の顔領域の最大サイズに設定する。ここで、人物の領域Ａ４と、領域（Ａ５−Ａ４）との比率が１：３とする場合を所定の比率とする。なお、このように比率を設定することで、最適な構図となる画像において、背景部分に主要なオブジェクト以外の領域を残すことができ、撮影時の天候や、撮影場所周縁の状況など、撮影時の情景の判断を行うことができる。

なお、上述した（１）から（３）の条件を複数組み合わせた場合には、（１）から（３）の条件のうち、使用する条件をそれぞれ満足する場合の人物の顔領域のサイズを最大サイズに設定すればよい。

一方、撮像装置１０から人物までの距離が最短撮影距離よりも短い場合、サイズ設定部５０は、スルー画像から検出された人物の顔領域の大きさを最大サイズとして設定する。そして、サイズ設定部５０は、以下の（４）又は（５）の条件のいずれか１つ、或いはこれらの組み合わせにより、人物の顔領域の大きさの最小サイズを設定する。サイズ設定部５０は、以下の（４）又は（５）の条件の少なくとも１つを用いて、人物の顔領域の最小サイズを設定する。

（４）最短撮影距離よりも人物までの距離が短いと判断される場合、人物までの距離が最短撮影距離となる場合の人物の顔領域の大きさを最小サイズに設定する。

サイズ設定部５０は、最短撮影距離と測距センサ３４から求めた距離情報とを用いて、人物が最短撮影距離に位置した場合の人物の顔領域のサイズを最小サイズとして求める。

（５）人物の領域のＹ方向の長さがスルー画像のＹ方向の長さの所定倍Ｃ以下となる場合の人物の顔領域の大きさを最小サイズに設定する。

この場合も、（３）の条件を求める場合と同様に、サイズ設定部５０は、人物の領域の大きさを求める。この場合、抽出された顔領域と、Ｙ方向において顔領域に連なる長さαの領域とを人物の領域として設定すればよい。そして、サイズ設定部５０は、人物の領域におけるＹ方向の長さが、スルー画像のＹ方向の長さの所定倍Ｃ以下となる場合の人物の領域の大きさ（拡大率）を求める。そして、サイズ設定部５０は、現在の顔領域の大きさに、求めた拡大率を乗算し、顔領域の最小サイズを設定する。

なお、（４）及び（５）の条件を組み合わせる場合には、（４）及び（５）の条件のそれぞれを満足する人物の顔領域のサイズを最小サイズに設定すればよい。

また、サイズ設定部５０は、顔領域の最小サイズと最大サイズとの範囲内で、最適となる人物の顔領域の大きさを求める。最適となる人物の顔領域の大きさとしては、例えばオブジェクト領域の大きさと人物の領域の大きさとの比率、又はオブジェクト領域の大きさ、人物の領域の大きさ、及び、図３に示す領域（Ａ５−Ａ４）など、人物が含まれ、且つオブジェクト領域を含まない領域から、人物の領域を除いた領域の大きさの比率のいずれかを用いて求めることができる。

以下、アシスト表示における処理の流れについて、図３のフローチャートを用いて説明する。なお、このフローチャートで示す各処理は、撮影待機状態であることを契機に実行される。また、この処理においては、撮像光学系１５の光学倍率は一定で、且つ絞りが広角であることを前提としている。

ステップＳ１０１は、スルー画像データを取得する処理である。撮影待機状態では、所定時間間隔を空けて撮像素子１６が駆動制御される。この撮像素子１６の駆動制御により、画像信号が撮像素子１６からＡ／Ｄ変換器１７に出力される。Ａ／Ｄ変換器１７は、アナログの画像信号をデジタルの画像信号に変換する。このデジタルの画像信号はバッファメモリ２０に記憶される。画像処理回路２１は、バッファメモリ２０に記憶された画像信号に対する画像処理を実行する。これにより、スルー画像データが取得される。なお、取得されたスルー画像データは、画像処理回路２１において解像度変換処理が施された後、表示制御回路２３に出力される。そして、表示制御回路２３は、スルー画像データに基づくスルー画像を表示装置２４に表示する。

ステップＳ１０２は、位置情報を取得する処理である。ＣＰＵ３０は、ＧＰＳモジュール２６を介して、ＧＰＳ衛星との通信を行い、撮像装置１０の位置情報を取得する。

ステップＳ１０３は、方位情報を取得する処理である。ＣＰＵ３０は、電子コンパス２７を介して、撮像装置１０の方位情報を取得する。

ステップＳ１０４は、傾斜情報を取得する処理である。ＣＰＵ３０は、傾斜センサ２８を介して、撮像装置１０の傾斜情報を取得する。

ステップＳ１０５は、顔検出処理である。構図設定回路２２は、バッファメモリ２０から読み出したスルー画像データを用いて顔検出処理を実行する。これにより、スルー画像に含まれる顔を含む領域が人物の顔領域として抽出される。

ステップＳ１０６は、オブジェクトを特定する処理である。構図設定回路２２は、取得された撮像装置１０の位置情報、方位情報及び傾斜情報と、マップデータとを用いて、撮像装置１０が対面する主要な建築物をオブジェクトとして特定する。

ステップＳ１０７は、オブジェクトを抽出する処理である。構図設定回路２２は、ステップＳ１０６により特定したオブジェクトの情報に基づいて、特定されたオブジェクトを含む矩形の領域をオブジェクト領域として、スルー画像から抽出する。

ステップＳ１０８は、構図を設定する処理である。構図設定回路２２は、スルー画像に含まれる人物の顔領域の位置を設定する他、必要に応じて、スルー画像に含まれるオブジェクト領域の位置を設定する。

ステップＳ１０９は、アシスト表示を行うか否かを判定する処理である。上述したステップＳ１０８の処理が実行されると、人物の顔領域の重心の位置やオブジェクト領域の重心の位置の情報が表示制御回路２３に入力される。表示制御回路２３は、これら情報を用いて、アシスト表示を行うか否かを判定する。これら情報から、人物の顔領域の重心の位置や、オブジェクト領域の位置を変更する必要がある場合、表示制御回路２３はアシスト表示を行うと判定する。この場合、ステップＳ１０９の判定結果をＹｅｓとし、ステップＳ１１０に進む。一方、人物の顔領域の重心の位置やオブジェクト領域の位置を変更する必要がない場合、表示制御回路２３は、アシスト表示を行わないと判定する。よって、ステップＳ１０９の判定結果をＮｏとする。この場合、ステップＳ１１１に進む。

ステップＳ１１０は、アシスト表示を行う処理である。ステップＳ１０８における構図設定に関わる情報は、表示制御回路２３に入力される。よって、表示制御回路２３は、入力された人物の顔領域の重心の位置やオブジェクト領域の重心の位置の情報に基づいて、人物の顔領域の位置を移動させる旨の指標や、必要に応じて、オブジェクト領域の位置を移動させる旨の指標をスルー画像に重畳させて表示する。これにより、表示装置２４にアシスト表示が行われる。

ステップＳ１１１は、レリーズボタンの操作があるか否かを判定する処理である。レリーズボタン３２の操作に基づいた信号は、ＣＰＵ３０に入力される。ＣＰＵ３０は、レリーズボタン３２の操作信号が入力されたか否かにより、レリーズボタン３２が操作されたか否かを判定する。レリーズボタン３２の操作信号が入力される場合、ＣＰＵ３０は、ステップＳ１１１の判定結果をＹｅｓとする。この場合、ＣＰＵ３０は、表示制御回路２３に対してスルー画像の表示を停止する信号を出力する。これを受けて、表示制御回路２３は、表示装置２４におけるスルー画像の表示を停止する。この処理の後、ＣＰＵ３０は、予め設定された撮像条件に基づいた撮像処理を実行する。これにより、画像データ（撮影画像データ）が取得される。なお、撮像処理により得られた画像データは、表示装置２４にて表示される。この表示の後、該画像に基づく画像ファイルが記憶媒体４０に記憶される。

一方、レリーズボタン３２の操作信号が入力されない場合、ＣＰＵ３０は、ステップＳ１１１の判定結果をＮｏとする。この場合、ステップＳ１０１に戻り、レリーズボタン３２が操作されたと判定されるまで、ステップＳ１０１〜ステップＳ１１０の処理が繰り返し実行される。

なお、図４のフローチャートにおいては、アシスト表示を行った後にレリーズボタン３２を操作することで撮像処理が実行される場合について説明を行っているが、表示装置２４におけるアシスト表示を無視してレリーズボタン３２を操作しても撮像処理が実行される。

次に、図４のステップＳ１０８における構図設定の処理の流れについて、図５のフローチャートに基づいて説明する。

ステップＳ２０１は、スルー画像における構図が最適な構図であるか否かを判定する処理である。構図設定回路２２は、スルー画像の大きさと、抽出されたオブジェクト領域の大きさの比率とから、オブジェクト領域と人物の顔領域とが重なる構図であるか否かを判定する。この判定の後、構図設定回路２２は、スルー画像の構図が最適な構図であるか否かを判定する。構図判定回路２２はスルー画像が最適な構図でないと判定した場合には、ステップＳ２０２の判定結果をＮｏとし、ステップＳ２０３に進む。一方、構図設定回路２２はスルー画像が最適な構図であると判定した場合には、ステップＳ２０２の判定結果をＮｏとし、ステップＳ２０８に進む。

ステップＳ２０２は、スルー画像に対するオブジェクト領域の比率が閾値以上となるか否かを判定する処理である。構図評価回路２２は、ステップＳ１０７にて抽出されたオブジェクト領域の大きさと、スルー画像との大きさから、スルー画像に対するオブジェクト領域の大きさの比率を求める。そして、構図評価回路２２は、求めた比率が閾値以上であるか否かを判定する。構図評価回路２２は、求めた比率が閾値以上であると判定した場合、ステップＳ２０２の判定結果をＹｅｓとする。この場合、ステップＳ２０３に進む。一方、構図評価回路２２は、求めた比率が閾値未満であると判定した場合、ステップＳ２０２の判定結果をＮｏとする。この場合、ステップＳ２０４に進む。

ステップＳ２０３は、人物の顔領域の位置を設定する処理である。構図設定回路２２は、人物の顔領域の重心の位置を構図上最適な位置に設定する。そして、構図設定回路２２は、設定した人物の顔領域の重心の位置情報を表示制御回路２３に出力する。

上述したステップＳ２０２における判定結果がＮｏとなる場合、ステップＳ２０４に進む。

ステップＳ２０４は、オブジェクト領域が最適な位置であるか否かを判定する処理である。構図設定回路２２は、スルー画像から抽出されたオブジェクト領域の重心が、最適な構図の位置となるか否かを判定する。オブジェクト領域の重心の位置が、最適な構図の位置にある場合には、構図設定回路２２は、ステップＳ２０４の判定結果をＹｅｓとする。この場合ステップＳ２０６に進む。一方、オブジェクト領域の重心の位置が、最適な構図の位置にない場合には、構図設定回路２２は、ステップＳ２０４の判定結果をＮｏとする。この場合、ステップＳ２０５に進む。

ステップＳ２０５は、オブジェクト領域の位置を設定する処理である。構図設定回路２２は、オブジェクト領域の重心の位置が構図上最適な位置を設定する。そして、構図設定回路２２は、設定したオブジェクト領域の重心の位置情報を表示制御回路２３に出力する。

ステップＳ２０６は、人物の顔領域が最適な位置にあるか否かを判定する処理である。人物の顔領域の重心が、最適な構図の位置にある場合には、構図設定回路２２は、ステップＳ２０６の判定結果をＹｅｓとする。この場合ステップＳ２０８に進む。一方、オブジェクト領域の重心の位置が、最適な構図の位置にない場合には、構図設定回路２２は、ステップＳ２０６の判定結果をＮｏとする。この場合、ステップＳ２０７に進む。

ステップＳ２０７は、人物の顔領域の位置を設定する処理である。このステップＳ２０７の処理は、ステップＳ２０３と同一の処理である。

ステップＳ２０８は、撮像装置から人物までの距離が最短撮影距離を超過するか否かを判定する処理である。構図設定回路２２は、撮像光学系１５の光学倍率や焦点距離の情報及び内蔵メモリ３１に記憶された最短距離データを参照して、撮像装置１０における最短撮影距離を求める。そして、構図設定回路２２は、測距センサ３４から得られた人物までの距離と、求めた最短撮影距離とを比較する。人物までの距離が最短撮影距離を超過する場合には、構図設定回路２２は、ステップＳ２０８の判定結果をＹｅｓとする。この場合、ステップＳ２０９に進む。一方、人物までの距離が最短撮影距離以下となる場合には、構図設定回路２２は、ステップＳ２０８の判定結果をＮｏとする。この場合、ステップＳ２１２に進む。

ステップＳ２０９は、抽出された人物の顔領域を最小サイズに設定する処理である。構図設定回路２２は、スルー画像から抽出された人物の顔領域を、最適な構図における人物の顔領域の最小サイズとして設定する。

ステップＳ２１０は、人物の顔領域の最大サイズを設定する処理である。構図設定回路２２は、上述した（１）から（３）の条件の少なくとも１つを用いて、最適な構図における人物の顔領域の最大サイズを設定する。

ステップＳ２１１は、人物の顔領域の推奨サイズを設定する処理である。構図設定回路２２は、例えばオブジェクト領域の大きさと人物の領域の大きさとの比率、又はオブジェクト領域の大きさ、人物の領域の大きさ、及びこれら領域を除いた領域の大きさの比率が、予め設定された比率となる場合の人物の顔領域のサイズを推奨サイズとして求める。

上述したＳ２０８の判定処理で、判定結果がＮｏとなる場合、ステップＳ２１２に進む。

ステップＳ２１２は、抽出された人物の顔領域を最大サイズに設定する処理である。構図設定回路２２は、抽出された人物の顔領域の大きさを最適な構図における人物の顔領域の最大サイズとして設定する。

ステップＳ２１３は、人物の顔領域の最小サイズを設定する処理である。構図設定回路２２は、上述した（４）又は（５）の条件のいずれか１つを用いて、人物の顔領域の最小サイズを設定する。この処理が行われた後、ステップＳ２１１において顔領域の推奨サイズが設定される。

このようにして、スルー画像における人物の顔領域の位置が構図上最適な位置にあるか否かの判定が行われ、人物の顔領域が構図上最適な位置にない場合には、人物の顔領域が構図上最適な位置となるように、該顔領域の重心の位置が設定される。また、オブジェクト領域の大きさに応じて、オブジェクト領域が構図上最適な位置にあるか否かの判定が行われ、オブジェクト領域が構図上最適な位置にない場合には、オブジェクト領域の重心の位置が設定される。

記念撮影として、例えばタワーの一部を背景として人物撮影を行う場合を考慮する。図６（ａ）に示すように、撮影待機状態において得られるスルー画像ＴＩ１は、スルー画像の大部分をタワーの一部が占めた状態の画像となる。図６（ｂ）に示すように、人物の顔が含まれる矩形の領域を人物の顔領域Ａ７、タワーが含まれる矩形の領域をオブジェクト領域Ａ８とする。

この場合、スルー画像ＴＩ１に対してオブジェクト領域Ａ８が大部分を占めている。言い換えれば、スルー画像ＴＩ１においてオブジェクト領域が占める比率は閾値以上となる。このようなスルー画像ＴＩ１の場合、スルー画像ＴＩ１のうち、オブジェクト領域Ａ８を除いた領域に人物の顔領域Ａ７を移動させると、人物の顔領域Ａ７の位置がスルー画像ＴＩ１の縁部となってしまい、構図上好ましくない。

よって、スルー画像ＴＩ１においてオブジェクト領域Ａ８が占める比率が閾値以上となる場合、オブジェクト領域Ａ８と人物の顔領域Ａ７とが重なった構図が最適な構図であると判定される。このような判定が行われた場合には、スルー画像ＴＩ１に対するオブジェクト領域Ａ８の位置を固定し、人物の顔領域Ａ７の位置をスルー画像ＴＩ１内で移動させるアシスト表示が行われる。図６（ｂ）は、人物の顔領域Ａ７をＹ方向に移動させる旨を示すアシスト表示の一例を示している。この図においては、矢印Ｍ１を用いてアシスト表示を行っている。

同時に、スルー画像ＴＩ１における人物の顔領域Ａ７の最小サイズ、最大サイズ、推奨サイズが算出される。よって、表示装置２４においては、上述したアシスト表示の他に、人物の顔領域Ａ７の大きさの範囲と、推奨サイズとを示すガイドバー６０を用いたアシスト表示が行われる。ここで、ガイドバー６０はスルー画像ＴＩ１において、人物の顔領域を除く領域のうち、人物の顔領域の近傍となる位置に表示される。図６（ｂ）におけるガイドバー６０において、「ＭＡＸ」が最大サイズ、「ＭＩＮ」が最小サイズ、「ＲＥＣ」が推奨サイズを示す。また、符号６１にて示すマークが現在の人物の顔領域Ａ７のサイズを示す。

よって、撮影者は、スルー画像ＴＩ１における人物の顔領域Ａ７の位置が矢印Ｍ１の方向に移動するように人物に指示を行うとともに、該人物の顔の大きさが上述したガイドバー６０の範囲で調整するように、人物の位置を撮像装置１０に近づける、又は撮像装置１０から離れる旨の指示を行う。

被写体となる人物が撮影者からの指示に従って移動することで、人物の顔領域Ａ７が構図上最適な位置にあり、且つ人物の顔領域Ａ７が最適な大きさのスルー画像ＴＩ１’が取得される（図６（ｃ）参照）。よって、このスルー画像ＴＩ１が表示装置２４に表示されたときにレリーズボタン３２を操作することで、最適な構図の画像データを撮影画像データとして取得することができる。なお、スルー画像ＴＩ１’においては、ガイドバー６０の表示を行っていないが、スルー画像を表示している間、ガイドバー６０の表示を継続して表示することも可能である。

一方、記念撮影として、例えばタワー全体を背景として人物撮影を行う場合もある。図７（ａ）は、タワー全体を背景として人物撮影を行う場合に得られるスルー画像の一例を示す。この場合、スルー画像ＴＩ２に対してオブジェクト領域Ａ１０が占める比率が閾値以下となり、オブジェクト領域Ａ１０や人物の顔領域Ａ９の位置が構図上最適な位置となるように設定される。同時に、最適な構図における人物の顔領域Ａ９の最小サイズ、最大サイズ、推奨サイズがそれぞれ設定される。

図７（ｂ）に示すように、これらが設定されると、オブジェクト領域Ａ１０及び人物の顔領域Ａ９の位置を移動させるための指標の他、人物の顔の大きさの最大サイズ、最小サイズ及び推奨サイズを示すガイドバー６２が、アシスト表示として表示される。図７（ｂ）は、オブジェクト領域Ａ１０をＸ方向に移動させるための矢印Ｍ２、人物の顔領域Ａ９を−Ｘ方向に移動させるための矢印Ｍ３が指標として表示される一例を示す。この図（ｂ）におけるガイドバー６２において、符号６３にて示すマークが現在の人物の顔領域Ａ９のサイズを示す。

図７（ｂ）に示すアシスト表示を受けて、撮影者は、オブジェクト領域Ａ１０がＸ方向に移動するように、撮像装置１０の向きを変更する。この動作に併せて、撮影者は、被写体となる人物に対して−Ｘ方向に移動させる指示と、人物の位置を撮像装置１０に近づく方向、又は人物の位置を撮像装置１０から離れる方向のいずれかの方向に移動させる指示を行う。これにより、人物の顔領域Ａ９、オブジェクト領域Ａ１０の位置が構図上最適な位置となり、また、人物の顔領域Ａ９のサイズが適切なサイズとなるスルー画像ＴＩ２’が取得される（図７（ｃ）参照）。この際に、撮影者がレリーズボタン３２を操作することで、最適な構図の画像データを撮影画像データとして取得することが可能となる。

なお、上述した実施形態において、スルー画像から抽出される人物の顔領域やオブジェクト領域の位置が構図上最適な位置にある場合には、これら領域を移動させるための指標は表示されず、人物の顔領域のサイズを調整するためのガイドバーのみが表示される。また、オブジェクト領域の位置を変更させた場合に、人物の顔領域の位置が構図上最適な位置から外れた場合には、人物の顔領域の位置を変更するための指標が表示される。

本実施形態では、スルー画像に対するオブジェクト領域の比率が閾値を超過するか否かを判定することで、オブジェクト領域と人物の顔領域とが重なる構図となるか否かを判定し、この判定結果に基づき、人物の顔領域の重心の位置が構図上最適な位置にあるか否かの判定や、必要に応じてオブジェクト領域の重心の位置が構図上最適な位置にあるか否かの判定を行っている。しかしながら、スルー画像に対するオブジェクト領域の比率の他に、オブジェクト領域の大きさに対する人物の顔領域の大きさの比率を考慮することで、人物の顔領域の重心の位置が構図上最適な位置にあるか否かの判定や、必要に応じてオブジェクト領域の重心の位置が構図上最適な位置にあるか否かの判定を行うことも可能である。

スルー画像においてオブジェクト領域が占める比率が１に近いほど、人物の顔領域とオブジェクト領域とが重なる構図が最適な構図になる。そして、上述した比率が低くなるに従い、人物の顔領域と、オブジェクト領域とが重ならない構図が最適な構図になる。しかしながら、スルー画像においてオブジェクト領域が占める比率が低くなる場合であっても、人物の顔の大きさによっては、人物の顔領域とオブジェクト領域とが重なる構図が最適な構図となる場合もある。よって、スルー画像においてオブジェクト領域が占める比率の他に、人物の顔領域とオブジェクト領域との比率を用いて、人物の顔領域とオブジェクト領域とが重なる構図を最適な構図とするか、人物の顔領域とオブジェクト領域とが重ならない場合の構図を最適な構図とするかを判定することも可能である。

本実施形態では、撮像装置としての詳細な記載については省略しているが、デジタルカメラの他、カメラ機能を有する携帯型端末機に適用できる。また、この他に、カメラとＰＣとを無線、或いは有線にて接続したカメラシステムに適用することも可能である。

１０…撮像装置、２２…構図設定回路、２３…表示制御回路、２４…表示装置、２６…ＧＰＳモジュール、２７…電子コンパス、２８…傾斜センサ、３２…レリーズボタン、４５…顔検出部、４６…オブジェクト特定部、４７…オブジェクト抽出部、４８…構図判定部、４９…位置設定部、５０…サイズ設定部

Claims (14)

1. 取り込まれる第１画像から人物の顔を検出する顔検出部と、
   前記第１画像に含まれる前記人物の顔を除いたオブジェクトのうち、主要なオブジェクトを抽出するオブジェクト抽出部と、
   前記第１画像における前記人物の顔の位置と前記主要なオブジェクトの位置とが構図上適した位置にあるか否かを判定する判定部と、
   前記判定部による判定結果に基づいて、前記人物の顔の位置と前記主要なオブジェクトの位置とを構図上適した位置に設定する第１設定部と、
   前記第１画像における前記人物の顔の大きさを設定する第２設定部と、
   前記人物の顔の位置と前記主要なオブジェクトの位置とを、前記第１設定部により設定された位置にそれぞれ調整するための第１指標と、前記人物の顔の大きさを前記第２設定部により設定された大きさに調整するための第２指標とを、前記第１画像とともに表示する表示部と、
   を備えたことを特徴とする撮像装置。
2. 請求項１に記載の撮像装置において、
   前記人物までの距離を検出する距離検出部と、
   撮影時の最短撮影距離を算出する算出部と、
   を備え、
   前記第２設定部は、前記距離検出部により検出された前記人物までの距離と前記算出部により算出された最短撮影距離とを比較することで、前記第１画像における前記人物の顔の大きさの上限又は下限を設定することを特徴とする撮像装置。
3. 請求項２に記載の撮像装置において、
   前記第２設定部は、前記人物までの距離が前記最短撮影距離よりも長い場合に、前記第１画像から抽出された前記人物の顔の大きさを前記第１画像における前記顔の大きさの下限として設定することを特徴とする撮像装置。
4. 請求項３に記載の撮像装置において、
   前記第２設定部は、前記第１画像から抽出された前記人物の顔の大きさを所定の倍率で拡大したときの前記人物の顔の大きさを、前記第１画像における前記人物の顔の大きさの上限として設定することを特徴とする撮像装置。
5. 請求項３に記載の撮像装置において、
   前記第２設定部は、前記人物までの距離が最短撮影距離となるときの前記人物の顔の大きさを、前記第１画像における前記人物の顔の大きさの上限として設定することを特徴とする撮像装置。
6. 請求項３に記載の撮像装置において、
   前記第２設定部は、前記人物の顔の近傍における所定の領域において、前記人物の顔の領域と、前記所定の領域から顔の領域を除いた領域との比率が予め設定された比率となるときの前記人物の顔の大きさを、前記第１画像における前記人物の顔の大きさの上限として設定することを特徴とする撮像装置。
7. 請求項２に記載の撮像装置において、
   前記第２設定部は、前記人物までの距離が前記最短撮影距離よりも短い場合に、前記第１画像から抽出された前記人物の顔の大きさを、前記第１画像における前記人物の顔の大きさの上限として設定することを特徴とする撮像装置。
8. 請求項７に記載の撮像装置において、
   前記第２設定部は、前記人物が前記最短撮影距離に位置するときの前記人物の顔の大きさを、前記第１画像における前記人物の顔の下限として設定することを特徴とする撮像装置。
9. 請求項７に記載の撮像装置において、
   前記第２設定部は、前記第１画像から特定される人物の領域における一方向の長さが前記第１画像の前記一方向の長さの所定倍率以下となるときの前記人物の顔の大きさを、第１画像における前記人物の顔の大きさの下限として設定することを特徴とする撮像装置。
10. 請求項２から請求項９のいずれか１項に記載の撮像装置において、
    前記第２設定部は、前記第１画像における前記人物の顔の大きさの上限又は下限を設定する他に、少なくとも前記主要なオブジェクトの大きさと前記人物の大きさとの比率を用いて、前記第１画像に適した前記人物の顔の大きさを設定することを特徴とする撮像装置。
11. 請求項１から請求項１０のいずれか１項に記載の撮像装置において、
    前記判定部は、前記第１画像における前記主要なオブジェクトが占める比率が所定の値未満となる場合に、前記人物の顔の位置及び前記主要なオブジェクトの位置が構図上適した位置にあるか否かを判定することを特徴とする撮像装置。
12. 請求項１１に記載の撮像装置において、
    前記第１設定部は、前記主要なオブジェクトと前記人物の顔とが重ならないように、前記主要なオブジェクトの位置と前記人物の顔の位置とを設定することを特徴とする撮像装置。
13. 請求項１から請求項１０のいずれか１項に記載の撮像装置において、
    前記判定部は、前記第１画像における前記主要なオブジェクトが占める比率が所定の値を超過している場合に、前記人物の顔の位置が構図上適した位置にあるか否かを判定することを特徴とする撮像装置。
14. 請求項１から請求項１３のいずれか１項に記載の撮像装置において、
    撮影時に操作される操作ボタンと、
    被写体光を受光することで画像信号を出力する撮像素子と、
    前記操作ボタンが操作されていないときに、前記第１画像の元になる画像信号を出力させ、前記操作ボタンが操作されたときに、前記第１画像とは異なる第２画像の元になる画像信号を出力させるように、前記撮像素子を制御する撮像制御部と、
    を備えていることを特徴とする撮像装置。

Images