JP2010074399A - 構図判定装置、構図判定方法、画像処理装置、画像処理方法、プログラム - Google Patents

Abstract

【課題】被写体の属性に応じてより適切な構図が得られるようにする。
【解決手段】画像データの画内容において存在する被写体の特定の身体部位を検出したことに応じて初期的に得られる初期身体部位枠をそのまま利用して構図判定を行うのではなく、被写体の属性に適合させて初期身体部位枠のサイズ形状を変更して修正身体部位枠を形成する。この修正身体部位枠により構図判定を行う。
【選択図】図１６

Description

本発明は、例えば画像データを対象として処理を実行する画像処理装置とその方法に関する。また、画像処理装置が実行するプログラムに関する。また、この画像処理装置の構成を適用する構図判定装置と、その方法に関する。さらに構図判定装置が実行するプログラムに関する。

鑑賞者が良いと感じる写真を撮影するためのテクニック的な一要素として、構図の設定が挙げられる。ここでいう構図は、フレーミングともいわれるもので、例えば写真としての画枠内における被写体の配置をいう。
良好な構図とするための一般的、基本的な手法はいくつかあるものの、一般のカメラユーザが良い構図の写真を撮影することは、写真撮影に関する充分な知識、熟練した技術を持っていない限り、決して簡単なことではない。このことからすると、例えば良好な構図の写真画像を手軽で簡単に得ることのできる技術構成が求められることになる。

例えば特許文献１には、自動追尾装置として、一定時間間隔の画像間の差を検出して、画像間の差の重心を算出し、この重心の移動量、移動方向から被写体画像の撮像画面に対する移動量、移動方向を検出して撮像装置を制御し、被写体画像を撮像画面の基準領域内に設定する技術構成が開示されている。
また、特許文献２には、自動追尾装置として、人物を自動追尾する場合に、人物の顔が画面中央となるように画面上の人物像全体の面積に対してその人物上の上側から２０％の面積となる位置を画面中央にして追尾することによって人物の顔を確実に撮影しながら追尾できるようにした技術が開示されている。
これらの技術構成を構図決定の観点から見れば、人物としての被写体を自動的に探索して、撮影画面において或る決まった構図でその被写体を配置させることが可能となっている。

特開昭５９−２０８９８３号公報 特開２００１−２６８４２５号公報

例として、人を被写体として想定したとすると、その被写体については、性別、年代（年齢、世代）など、属性として捉えられるいくつかの要素があることになる。上記した構図についてより良いものを求めようとすると、被写体の属性に応じて、適切とされる構図は異なってくる場合があると考えられる。
しかし、上記特許文献による技術では、追尾した被写体をある固定的な構図で配置させることしかできない。従って、被写体の状況などに対応して構図を変更して撮影するようなことはできないことになる。
そこで、本願発明では、例えば写真などとしての画像について良好な構図が手軽に得られるようにするための技術を提案することを目指すこととしたうえで、その際において、被写体の属性にも適応してより適切な構図の決定が行われるようにすることを目的とする。

そこで本発明は上記した課題を考慮して、構図判定装置として次のように構成する。
つまり、撮像に基づいて得られる画像データの画内容において存在する被写体における特定の身体部位を検出したことに応じて、上記特定の身体部位の箇所に対応させた所定形状の枠である初期身体部位枠を設定する初期身体部位枠設定手段と、上記画像データを利用して、上記被写体ごとの所定の属性について検出する属性検出手段と、上記属性検出手段による属性の検出結果に基づいて、上記初期身体部位枠のサイズ形状を変更して修正身体部位枠を形成する身体部位枠修正手段と、上記修正身体部位枠を利用して構図判定を行う構図判定手段とを備えることとした。

また、画像処理装置として次のように構成する。
また、画像データの画内容において存在する被写体における特定の身体部位を検出したことに応じて、上記特定の身体部位の箇所に対応させた所定形状の枠である初期身体部位枠を設定する初期身体部位枠設定手段と、上記画像データを利用して、上記被写体ごとの所定の属性について検出する属性検出手段と、上記属性検出手段による属性の検出結果に基づいて、上記初期身体部位枠のサイズ形状を変更して修正身体部位枠を形成する身体部位枠修正手段とを備えることとした。

上記構成では、画像データの画内容において存在する被写体の特定の身体部位を検出したことに応じて初期的に得られる初期身体部位枠をそのまま利用して構図判定を行うのではなく、被写体の属性に適合させて初期身体部位枠のサイズ形状を変更して修正身体部位枠を形成することしている。そして、この修正身体部位枠により構図判定を行うこととしている。

本願発明によっては、被写体の属性に応じてより適切とされる構図が得られることになる。

以下、本願発明を実施するための最良の形態（以下、実施形態という）について、下記の順により説明する。

１．撮像システムの構成
２．顔枠修正（基本例）
３．性別に応じた顔枠修正
４．年代に応じた顔枠修正
５．顔方向に応じた顔枠修正
６．アルゴリズム(第１例)
７．アルゴリズム(第２例)
８．変形例

１．撮像システムの構成

本実施形態の撮像システムの説明に先立ち、本実施形態についての説明を行っていくのにあたり、構図、画枠、画角、撮像視野角、構図なる語を用いることとする。
構図は、ここでは、フレーミングともいわれるもので、例えば画枠内における被写体のサイズ、向きなども含めた配置状態をいう。
画枠は、例えば画像が嵌め込まれるようにしてみえる一画面相当の領域範囲をいい、一般には縦長若しくは横長の長方形としての外枠形状を有する。
画角は、ズーム角などともいわれるもので、撮像装置の光学系におけるズームレンズの位置によって決まる画枠に収まる範囲を角度により表したものである。一般的には、撮像光学系の焦点距離と、像面（イメージセンサ、フィルム）のサイズによって決まるものとされているが、ここでは、焦点距離に対応して変化し得る要素を画角といっている。
撮像視野角は、定位置に置かれた撮像装置により撮像して得られる画像の画枠に収まる範囲について、上記の画角に加え、パン（水平）方向における振り角度と、チルト（垂直）方向における角度（仰角、俯角）により決まるものをいう。
例えば、構図は、画像視野角によって決まる画枠内に収まる被写体の配置状態を指すものとなる。
そして、構図は、例えば上記した構図を含め、画枠内の画内容を決定する特定の要素の状態、また、これら特定の要素の状態に応じて現に形成される画内容をいう。
例えば同じ人物の被写体が同じ構図で写っている２つの画像があるとする。この場合において、画内容を形成する要素として人物被写体の表情を含めることとして、これら２つの画像において、一方の被写体の顔は笑っている状態であるが、一方の被写体の顔は笑っていない状態であるとする。この場合、構図は同じであるが、構図は違うということになる。

本実施の形態としては、本願発明に基づく構成を、デジタルスチルカメラと、このデジタルスチルカメラが取り付けられる雲台とからなる撮像システムに適用した場合を例に挙げることとする。

図１は、本実施形態に対応する撮像システムの外観構成例を、正面図により示している。
この図に示されるように、本実施形態の撮像システムは、デジタルスチルカメラ１と雲台１０とから成る。
デジタルスチルカメラ１は、本体正面側のパネルに設けられているレンズ部３によって撮像して得られる撮像光に基づいて静止画像データを生成し、これを内部に装填されている記憶媒体に記憶させることが可能とされている。つまり、写真として撮影した画像を、静止画像データとして記憶媒体に記憶保存させる機能を有する。このような写真撮影を手動で行うときには、ユーザは、本体上面部に設けられているシャッター（レリーズ）ボタンを押し操作する。

雲台１０には、上記デジタルスチルカメラ１を固定するようにして取り付けることができる。つまり、雲台１０とデジタルスチルカメラ１は、相互の取り付けを可能とするための機構部位を備えている。

そして、雲台１０においては、取り付けられたデジタルスチルカメラ１を、パン方向（水平方向）とチルト方向との両方向により動かすためのパン・チルト機構を備える。
雲台１０のパン・チルト機構により与えられるデジタルスチルカメラ１のパン方向、チルト方向それぞれの動き方は例えば図２（ａ）（ｂ）に示されるものとなる。図２（ａ）（ｂ）は、雲台１０に取り付けられているとされるデジタルスチルカメラ１を抜き出して、それぞれ、平面方向、側面方向より見たものである。
先ずパン方向については、デジタルスチルカメラ１の本体横方向と図２（ａ）に示される直線Ｘ１とが同じ向きとなる位置状態を基準にして、例えば回転軸Ｃｔ１を回転中心として回転方向＋αに沿った回転が行われることで、右方向へのパンニングの動きが与えられる。また、回転方向−αに沿った回転が行われることで、左方向へのパンニングの動きが与えられる。
また、チルト方向については、デジタルスチルカメラ１の本体縦方向が垂直方向の直線Ｙ１と一致する位置状態を基準にして、例えば回転軸Ｃｔ２を回転中心として回転方向＋βへの回転が行われることで、下方向へのパンニングの動きが与えられる。また、回転方向−βへの回転が行われることで、上方向へのパンニングの動きが与えられる。
なお、図２（ａ）（ｂ）に示される、±α方向、及び±β方向のそれぞれにおける最大可動回転角度については言及していないが、被写体の捕捉の機会をできるだけ多くするべきことを考慮するのであれば、できるだけ最大可動回転角度を大きく取ることが好ましいことになる。

また、図３は、デジタルスチルカメラ１の内部構成例を示している。
この図において、先ず、光学系部２１は、例えばズームレンズ、フォーカスレンズなども含む所定枚数の撮像用のレンズ群、絞りなどを備えて成り、入射された光を撮像光としてイメージセンサ２２の受光面に結像させる。
また、光学系部２１においては、上記のズームレンズ、フォーカスレンズ、絞りなどを駆動させるための駆動機構部も備えられているものとされる。これらの駆動機構部は、例えば制御部２７が実行するとされるズーム（画角）制御、自動焦点調整制御、自動露出制御などのいわゆるカメラ制御によりその動作が制御される。

イメージセンサ２２は、上記光学系部２１にて得られる撮像光を電気信号に変換する、いわゆる光電変換を行う。このために、イメージセンサ２２は、光学系部２１からの撮像光を光電変換素子の受光面にて受光し、受光された光の強さに応じて蓄積される信号電荷を、所定タイミングにより順次出力するようにされる。これにより、撮像光に対応した電気信号(撮像信号)が出力される。なお、イメージセンサ２２として採用される光電変換素子（撮像素子）としては、特に限定されるものではないが、現状であれば、例えばＣＭＯＳセンサやＣＣＤ(Charge Coupled Device)などを挙げることができる。また、ＣＭＯＳセンサを採用する場合には、イメージセンサ２２に相当するデバイス(部品)として、次に述べるＡ／Ｄコンバータ２３に相当するアナログ−デジタル変換器も含めた構造とすることができる。

上記イメージセンサ２２から出力される撮像信号は、Ａ／Ｄコンバータ２３に入力されることで、デジタル信号に変換され、信号処理部２４に入力される。
信号処理部２４では、Ａ／Ｄコンバータ２３から出力されるデジタルの撮像信号について、例えば１つの静止画 (フレーム画像)に相当する単位で取り込みを行い、このようにして取り込んだ静止画単位の撮像信号について所要の信号処理を施すことで、１枚の静止画に相当する画像信号データである撮像画像データ（撮像静止画像データ）を生成することができる。

上記のようにして信号処理部２４にて生成した撮像画像データを画像情報として記憶媒体であるメモリカード４０に記録させる場合には、例えば１つの静止画に対応する撮像画像データを信号処理部２４からエンコード／デコード部２５に対して出力するようにされる。
エンコード／デコード部２５は、信号処理部２４から出力されてくる静止画単位の撮像画像データについて、所定の静止画像圧縮符号化方式により圧縮符号化を実行したうえで、例えば制御部２７の制御に応じてヘッダなどを付加して、所定形式に圧縮された撮像画像データの形式に変換する。そして、このようにして生成した撮像画像データをメディアコントローラ２６に転送する。メディアコントローラ２６は、制御部２７の制御に従って、メモリカード４０に対して、転送されてくる撮像画像データを書き込んで記録させる。この場合のメモリカード４０は、例えば所定規格に従ったカード形式の外形形状を有し、内部には、フラッシュメモリなどの不揮発性の半導体記憶素子を備えた構成を採る記憶媒体である。なお、画像データを記憶させる記憶媒体については、上記メモリカード以外の種別、形式などとされてもよい。

また、本実施形態としての信号処理部２４は、撮像画像データを利用して被写体検出としての画像処理を実行することも可能とされている。本実施形態における被写体検出処理がどのようなものであるのかについては後述する。

また、デジタルスチルカメラ１は信号処理部２４にて得られる撮像画像データを利用して表示部３３により画像表示を実行させることで、現在撮像中の画像であるいわゆるスルー画を表示させることが可能とされる。例えば信号処理部２４においては、先の説明のようにしてＡ／Ｄコンバータ２３から出力される撮像信号を取り込んで１枚の静止画相当の撮像画像データを生成するのであるが、この動作を継続することで、動画におけるフレーム画像に相当する撮像画像データを順次生成していく。そして、このようにして順次生成される撮像画像データを、制御部２７の制御に従って表示ドライバ３２に対して転送する。これにより、スルー画の表示が行われる。

表示ドライバ３２では、上記のようにして信号処理部２４から入力されてくる撮像画像データに基づいて表示部３３を駆動するための駆動信号を生成し、表示部３３に対して出力していくようにされる。これにより、表示部３３においては、静止画単位の撮像画像データに基づく画像が順次的に表示されていくことになる。これをユーザが見れば、そのときに撮像しているとされる画像が表示部３３において動画的に表示されることになる。つまり、スルー画像が表示される。

また、デジタルスチルカメラ１は、メモリカード４０に記録されている撮像画像データを再生して、その画像を表示部３３に対して表示させることも可能とされる。
このためには、制御部２７が撮像画像データを指定して、メディアコントローラ２６に対してメモリカード４０からのデータ読み出しを命令する。この命令に応答して、メディアコントローラ２６は、指定された撮像画像データが記録されているメモリカード４０上のアドレスにアクセスしてデータ読み出しを実行し、読み出したデータを、エンコード／デコード部２５に対して転送する。

エンコード／デコード部２５は、例えば制御部２７の制御に従って、メディアコントローラ２６から転送されてきた撮像画像データから圧縮静止画データとしての実体データを取り出し、この圧縮静止画データについて、圧縮符号化に対する復号処理を実行して、１つの静止画に対応する撮像画像データを得る。そして、この撮像画像データを表示ドライバ３２に対して転送する。これにより、表示部３３においては、メモリカード４０に記録されている撮像画像データの画像が再生表示されることになる。

また表示部３３に対しては、上記のスルー画像や撮像画像データの再生画像などとともに、ユーザインターフェイス画像も表示させることができる。この場合には、例えばそのときの動作状態などに応じて制御部２７が必要なユーザインターフェイス画像としての表示用画像データを生成し、これを表示ドライバ３２に対して出力するようにされる。これにより、表示部３３においてユーザインターフェイス画像が表示されることになる。なお、このユーザインターフェイス画像は、例えば特定のメニュー画面などのようにスルー画像や撮像画像データの再生画像とは個別に表示部３３の表示画面に表示させることも可能であるし、スルー画像や撮像画像データの再生画像上の一部において重畳・合成されるようにして表示させることも可能である。

制御部２７は、例えば実際においてはＣＰＵ(Central Processing Unit)を備えて成るもので、ＲＯＭ２８、ＲＡＭ２９などとともにマイクロコンピュータを構成する。ＲＯＭ２８には、例えば制御部２７としてのＣＰＵが実行すべきプログラムの他、デジタルスチルカメラ１の動作に関連した各種の設定情報などが記憶される。ＲＡＭ２９は、ＣＰＵのための主記憶装置とされる。
また、この場合のフラッシュメモリ３０は、例えばユーザ操作や動作履歴などに応じて変更(書き換え)の必要性のある各種の設定情報などを記憶させておくために使用する不揮発性の記憶領域として設けられるものである。なおＲＯＭ２８について、例えばフラッシュメモリなどをはじめとする不揮発性メモリを採用することとした場合には、フラッシュメモリ３０に代えて、このＲＯＭ２８における一部記憶領域を使用することとしてもよい。

操作部３１は、デジタルスチルカメラ１に備えられる各種操作子と、これらの操作子に対して行われた操作に応じた操作情報信号を生成してＣＰＵに出力する操作情報信号出力部位とを一括して示している。制御部２７は、操作部３１から入力される操作情報信号に応じて所定の処理を実行する。これによりユーザ操作に応じたデジタルスチルカメラ１の動作が実行されることになる。

雲台対応通信部３４は、雲台１０側とデジタルスチルカメラ１側との間での所定の通信方式に従った通信を実行する部位であり、例えばデジタルスチルカメラ１が雲台１０に対して取り付けられた状態において、雲台１０側の通信部との間での有線若しくは無線による通信信号の送受信を可能とするための物理層構成と、これより上位となる所定層に対応する通信処理を実現するための構成とを有して成る。

図４は、雲台１０の構成例をブロック図により示している。
先に述べたように、雲台１０は、パン・チルト機構を備えるものであり、これに対応する部位として、パン機構部５３、パン用モータ５４、チルト機構部５６、チルト用モータ５７を備える。
パン機構部５３は、雲台１０に取り付けられたデジタルスチルカメラ１について、図２（ａ）に示したパン（横）方向の動きを与えるための機構を有して構成され、この機構の動きは、パン用モータ５４が正逆方向に回転することによって得られる。同様にして、チルト機構部５６は、雲台１０に取り付けられたデジタルスチルカメラ１について、図２（ｂ）に示したチルト（縦）方向の動きを与えるための機構を有して構成され、この機構の動きは、チルト用モータ５７が正逆方向に回転することによって得られる。

制御部５１は、例えばＣＰＵ、ＲＯＭ、ＲＡＭなどが組み合わされて形成されるマイクロコンピュータを有して成り、上記パン機構部５３、チルト機構部５６の動きをコントロールする。例えば制御部５１がパン機構部５３の動きを制御するときには、パン機構部５３に必要な移動量と移動方向に対応した制御信号をパン用駆動部５５に対して出力する。パン用駆動部５５は、入力される制御信号に対応したモータ駆動信号を生成してパン用モータ５４に出力する。このモータ駆動信号によりパン用モータ５４が、例えば所要の回転方向及び回転角度で回転し、この結果、パン機構部５３も、これに対応した移動量と移動方向により動くようにして駆動される。
同様にして、チルト機構部５６の動きを制御するときには、制御部５１は、チルト機構部５６に必要な移動量と移動方向に対応した制御信号をチルト用駆動部５８に対して出力する。チルト用駆動部５８は、入力される制御信号に対応したモータ駆動信号を生成してチルト用モータ５７に出力する。このモータ駆動信号によりチルト用モータ５７が、例えば所要の回転方向及び回転角度で回転し、この結果、チルト機構部５６も、これに対応した移動量と移動方向により動くようにして駆動される。

通信部５２は、雲台１０に取り付けられたデジタルスチルカメラ１内の雲台対応通信部３４との間で所定の通信方式に従った通信を実行する部位であり、雲台対応通信部３４と同様にして、相手側通信部と有線若しくは無線による通信信号の送受信を可能とするための物理層構成と、これより上位となる所定層に対応する通信処理を実現するための構成とを有して成る。

次に、図５のブロック図により、本実施形態に対応する撮像システムを成すデジタルスチルカメラ１及び雲台１０についての、ハードウェア及びソフトウェア（プログラム）により実現される機能構成例を示す。
この図において、デジタルスチルカメラ１は、撮像記録ブロック６１、顔枠修正／構図判定ブロック６２、パン・チルト・ズーム制御ブロック６３、及び通信制御処理ブロック６４を備えて成るものとされている。

撮像記録ブロック６１は、撮像により得られた画像を画像信号のデータ（撮像画像データ）として得て、この撮像画像データを記憶媒体に記憶するための制御処理を実行する部位である。この部位は、例えば撮像のための光学系、撮像素子（イメージセンサ）、及び撮像素子から出力される信号から撮像画像データを生成する信号処理回路、また、撮像画像データを記憶媒体に書き込んで記録（記憶）させるための記録制御・処理系などを有して成る部位である。
この場合の撮像記録ブロック６１における撮像画像データの記録（撮像記録）は、顔枠修正／構図判定ブロックの指示、制御により実行される。

顔枠修正／構図判定ブロック６２は、撮像記録ブロック６１から出力される撮像画像データを取り込んで入力し、この撮像画像データを基にして、先ず被写体検出を行い、最終的には構図判定のための処理を実行する。
本実施形態においては、この構図判定に際して、検出した被写体ごとの属性についての検出も行う。そして、被写体検出時に得られる顔枠（初期顔枠）の形状サイズについて、後述する条件（属性）に対応させて変更・修正する。構図判定は、この修正後の顔枠を基にして行う。さらに、判定した構図による画内容の撮像画像データが得られるようにするための構図合わせ制御も実行する。
ここで、顔枠修正／構図判定ブロック６２が実行する被写体検出処理（初期顔枠の設定を含む）は、図３との対応では信号処理部２４が実行するようにして構成できる。また、この信号処理部２４による被写体検出処理は、ＤＳＰ(Digital signal Processor)による画像信号処理として実現できる。つまり、ＤＳＰに与えるプログラム、インストラクションにより実現できる。
また、顔枠修正／構図判定ブロック６２が実行する顔枠の修正、及び構図判定、構図合わせ制御は、制御部２７としてのＣＰＵがプログラムに従って実行する処理として実現できる。

パン・チルト・ズーム制御ブロック６３は、顔枠修正／構図判定ブロック６２の指示に応じて、判定された最適構図に応じた構図、撮像視野角が得られるように、パン・チルト・ズーム制御を実行する。つまり、構図合わせ制御として、顔枠修正／構図判定ブロック６２は、例えば判定された最適構図に応じて得るべき上記構図、撮像視野角をパン・チルト・ズーム制御ブロック６３に指示する。パン・チルト・ズーム制御ブロック６３は、指示された構図、撮像視野角が得られる撮像方向にデジタルスチルカメラ１が向くための、雲台１０のパン・チルト機構についての移動量を求め、この求めた移動量に応じた移動を指示するパン・チルト制御信号を生成する。
また、例えば判定された適切画角を得るためのズーム位置を求め、このズーム位置となるようにして、撮像記録ブロック６１が備えるとされるズーム機構を制御する。

通信制御ブロック６４は、雲台１０側に備えられる通信制御ブロック７１との間で所定の通信プロトコルに従って通信を実行するための部位となる。上記パン・チルト・ズーム制御ブロック６３が生成したパン・チルト制御信号は、通信制御ブロック６４の通信により、雲台１０の通信制御ブロック７１に対して送信される。

雲台１０は、例えば図示するようにして、通信制御ブロック７１、及びパン・チルト制御処理ブロック７２を有している。
通信制御ブロック７１は、デジタルスチルカメラ１側の通信制御ブロック６４との間での通信を実行するための部位であり、上記のパン・チルト制御信号を受信した場合には、このパン・チルト制御信号をパン・チルト制御処理ブロック７２に対して出力する。

パン・チルト制御処理ブロック７２は、ここでは図示していない雲台１０側のマイクロコンピュータなどが実行する制御処理のうちで、パン・チルト制御に関する処理の実行機能に対応するものとなる。
このパン・チルト制御処理ブロック７２は、入力したパン・チルト制御信号に応じて、ここでは図示していないパン駆動機構部、チルト駆動機構部を制御する。これにより、最適構図に応じて必要な水平視野角と垂直視野角を得るためのパンニング、チルティングが行われる。

また、この場合の顔枠修正／構図判定ブロック６２は後述するようにして被写体検出処理を実行するが、この被写体検出処理の結果として被写体が検出されないときには、パン・チルト・ズーム制御ブロック６３は、例えば指令に応じて被写体探索のためのパン・チルト・ズーム制御を行うことができるようになっている。

２．顔枠サイズ可変（基本例）

ここで、顔枠修正／構図判定ブロック６２が実行する被写体検出処理は、取り込んだ撮像画像データの画内容から、人としての被写体を弁別して検出する処理をいうものとする。
上記被写体検出処理の具体的手法としては、顔検出の技術を用いることができる。この顔検出の方式、手法はいくつか知られているが、本実施形態においてはどの方式を採用するのかについては特に限定されるべきものではなく、検出精度や設計難易度などを考慮して適当とされる方式が採用されればよい。

顔検出処理によっては、その結果として、検出した顔ごとに顔枠（身体部位枠）を設定する。
例として図６には、撮像画像データの画像内容例として、画枠３００内において１つの被写体ＳＢＪが存在している状態が示されている。この図における画枠３００は、方形のマスがマトリクス上に配列されて形成されるものとなっている。個々のマスは画枠３００に対応するフレーム画像データを形成する画素を模式的に表している。即ち、この図においては、画枠は、画素のデータの配列により形成されるものであることを模式的に示している。実際の画枠（フレーム画像領域）に対応する画素数は、例えば、水平画素数×垂直画素数＝６４０×４８０などが採用される。

例えば顔枠修正／構図判定ブロック６２は、この画内容の撮像画像データが入力されることに応じて、被写体検出処理として実行する顔検出処理により、図において破線で示すようにして顔であると検出した領域について方形の顔枠ＦＲを設定する。
この顔検出処理の結果として設定する顔枠は、人であれば顔としての皮膚が露出しているとされる領域に対応したサイズ、範囲で設定されるもので、例えば髪の毛に対応するほとんどの部分は顔枠の領域には含まれることがない。

ここで、上記図６に示すようにして１つの被写体ＳＢＪを検出した場合に対応して最適であるとして判定される構図の例を図７に示す。なお、ここでは、本実施形態との比較のために、顔枠サイズの変更は行わない場合の構図判定結果を示す。

図７に示される構図は次のようなものとなる。先ず、画枠内における顔枠ＦＲの面積の占有率が、最適構図に対応する所定値を満たすようにしてズーム制御を行って、被写体ＳＢＪを拡大する。そのうえで、例えば被写体ＳＢＪの位置としては、画枠内において中心よりも右上にずらして位置させて配置する。このような配置は、例えば写真の構図決定に用いる三分割法であるとか、黄金比、白金比などを応用すればよい。

この図７に示す構図では、例えば画枠内において被写体が適切なサイズとなり、かつ、三分割法などに応じた被写体の配置が得られることになる。つまり、一般に良好とされる構図の条件を満たした画内容となっている。

ただし、図７に示した構図では、被写体ＳＢＪの右側と上側の髪の毛の部分が画枠からはみ出して見えなくなっている。
ここで図６、図７に示した被写体ＳＢＪが女性であるとする。女性は、例えば男性と比較すれば、一般には、髪型に気を遣っている。この点からすると、女性である被写体ＳＢＪについては、顔だけではなく髪型も分かるようにして写してあげることが好ましい。逆にいえば、男性については、特にこのような配慮をせず、ほぼ図７に示したとおりの構図でも構わないといえる。
このことは、例えば被写体が男性、女性のいずれであるのかにより最適な構図は異なってくることを意味している。このような、被写体についての属性（被写体属性）の違いは、例えば性別以外でも考えられ、しかるべき被写体属性ごとに最適構図も異なってくると考えられる。
そこで、本実施形態としては、このような被写体属性に応じて異なる最適構図が得られるようにすることを目的とし、このために、被写体属性に応じて、構図判定に利用する顔枠の基本形（顔枠基本形）のサイズ形状を適切に変更させる修正を行うものとする。以下、この点について説明する。

図８により、本実施形態としての顔枠の修正についての基本概念について説明する。後述するように、顔枠の修正の態様は被写体属性に応じて異なるが、いずれの属性の場合にも、原則的にはこの基本概念に従ったものとなる。
なお、以降の説明において、被写体検出処理の結果として初期的に得られる顔枠については「初期顔枠」という。また、この初期顔枠を基にしたうえで属性に応じてそのサイズ形状について変更する修正を行って得ることとなる顔枠は、「修正顔枠」という。この修正顔枠が、構図判定のために利用される顔枠の基本形となる。つまり、構図判定に際しては、修正顔枠の重心位置、サイズなどに基づいて、最適構図とするための重心移動量であるとかズーム率などを求める。

図８には、画枠３００において１つの被写体ＳＢＪが存在している状態が示されている。この画枠３００に対応する撮像画像データを入力して被写体検出処理を行ったとすれば、その結果として、図６と同様に、被写体ＳＢＪが検出され、先ず、この被写体ＳＢＪに対応した初期顔枠ＦＲpが設定される。

本実施形態では、基本的には、上記の初期顔枠ＦＲpについて次のようにしてサイズ形状の修正を行って修正顔枠ＦＲｃを設定する。
ここで、初期顔枠ＦＲｐの水平方向におけるサイズ（水平サイズ）をＡ、垂直方向におけるサイズ（垂直サイズ）をＢとする。そのうえで、修正顔枠を形成するためには、先ず、水平方向に沿っては、初期顔枠ＦＲpの左横側に対して、サイズＡのα％（画素数Ａ×α/100）となるサイズを追加することができる。同様に、初期顔枠ＦＲpの右横側に対して、サイズＡのβ％（画素数Ａ×β/100）となるサイズを追加することができる。
さらに、垂直方向に沿っては、初期顔枠ＦＲpの上側に対して、サイズＢのγ％（画素数Ａ×γ/100）となるサイズを追加することができる。

このようにして、修正顔枠ＦＲｃは、水平サイズ×垂直サイズ＝A(1+(α+β)/100)×B(1+γ/100)により表されるようにして、初期顔枠FRｐに対してそのサイズ形状が変更される。
上記の拡大率α，β，γ（％）は、後述するようにして、被写体属性に応じて、それぞれ０以上の特定の値が設定されるものとなる。

図９は、上記図８に示されるようにして被写体ＳＢＪを検出した後において、或る特定の拡大率α，β，γにより形成された修正顔枠ＦＲｃを基として、構図判定及び構図合わせ制御を行った結果を示している。
ここでの構図判定のアルゴリズムは、例えば図６の画内容から図７の画内容に構図を変更した場合と同じであるとする。
図７の場合には、前述もしたように、ほぼ顔のみに対応した顔枠ＦＲ（初期顔枠）を基として構図判定を行っていたために、頭の髪の毛の部分が画枠３００内に充分収まりきらない状態となっていた。
これに対して本実施形態に対応する図９では、初期顔枠ＦＲpに対して左右及び上方向に所定割合だけ拡大されたサイズ形状の修正顔枠ＦＲｃを基にして同じ構図判定を行っている。このようにして拡大された修正顔枠ＦＲｃには、初期顔枠ＦＲpからはみ出ていた頭髪部分がかなりの割合で収まる。これにより、図７と図９とを比較して分かるように、図９では、画枠３００内に被写体ＳＢＪの頭髪も充分に収まるようにして適度に拡大され、また、被写体ＳＢＪ自体も画枠３００における右上寄りに適切に配置された状態となっている。
この場合において被写体ＳＢＪが女性であるとすれば、図７よりも図９のほうが、髪型まで充分に写っており、より良い構図であるとみることができる。

なお、この基本例においては、初期顔枠ＦＲpの下側についてはサイズの拡大を行っていない。左、右、上と同様にして下側にも拡大率を設定してそのサイズを拡げることは可能である。
しかし、顔枠の下側は、ほぼ首より下ということになる、そこで、この部分にまで拡大して構図判定などを行ったとしても、例えば上記の髪型などの観点からして、より良い構図とすることへの貢献度は少ないとの考え方をとることとしたものである。
また、後述するようにして、顔方向の属性に応じて初期顔枠ＦＲpに対する拡大率を設定する場合においても、首より下は、顔方向に応じてさほど見え方が代わってくるものではないと考えられる。この観点からも、本実施形態では、初期顔枠ＦＲpの下側についてのサイズの変更は行わないこととしている。

３．性別に応じた顔枠修正

続いては、上記図８により説明した顔枠修正について、被写体属性に応じたより具体的な例について述べていく。
本実施形態では、被写体属性として、性別、年代(年齢)、顔方向の３つの項目を考慮する。そのうえで、これらの項目ごとに、判定される属性に応じて適切な拡大率α，β，γを設定して修正顔枠ＦＲｃを形成する。
なお、上記した性別、年代、顔方向の各属性が何であるのかについては、被写体検出処理時において検出される顔部分の画像（初期顔枠内の画像に相当する）に基づいて判定することが可能である。

先ず、属性項目が性別である場合について説明する。性別に関しては、属性として被写体が男性、女性のいずれに該当するのかを判定することになる。

図１０（ａ）には、被写体検出処理により検出された被写体として、女性の被写体（女性被写体）ＳＢＪｗが示されている。また、図１０（ｂ）には、被写体検出処理により検出された被写体として、男性の被写体（男性被写体）ＳＢＪｍが示されている。
また、ここでは説明を分かりやすいものとする便宜上、図１０（ａ）（ｂ）に示される女性被写体ＳＢＪｗ、男性被写体ＳＢＪｍのいずれも正面を向いている状態であるものとする。

先ず、図１０（ａ）に示す女性被写体ＳＢＪｗについては、拡大率α1、β1、γ1により初期顔枠ＦＲpの左、右、上側をそれぞれ拡大して修正顔枠ＦＲｃを形成するものとする。一方の図１０（ｂ）に示す男性被写体ＳＢＪｍについても、拡大率α2、β2、γ2により初期顔枠ＦＲpの左、右、上側をそれぞれ拡大して修正顔枠ＦＲｃを形成する。
つまり、女性被写体ＳＢＪｗ、男性被写体ＳＢＪｍのいずれも、初期顔枠ＦＲpに対して左、右、上の３方向により拡大を行って修正顔枠ＦＲｃを形成することについては同じである。ただし、女性被写体ＳＢＪｗに対応する拡大率α1、β1、γ1と、男性被写体ＳＢＪｍに対応する拡大率α2、β2、γ2とでは、下記の関係を有したうえで、特定の値を設定する。

α1＞α2
β1＞β2
γ1＞γ2

つまり、性別に関しては、修正顔枠ＦＲｃを形成するのに、初期顔枠ＦＲpに対して同じ方向に対するサイズの拡大を行うこととしたうえで、その拡大率については、男性よりも女性のほうを大きく取る。

先にも述べたように、男性よりは女性のほうが髪型を意識している。また、髪型によっては、ふくらみを持っていることも多い。そこで、被写体が女性である場合には、属性が男性の場合、即ち、通常とみなされる場合よりも拡大率（α1、β1，γ1）を大きく設定して修正顔枠ＦＲｃを形成する。
これにより、先に図９にても述べたように、被写体が女性の場合には、画枠内に頭髪部分も充分収まるようにした良好な構図が得られる。

男性についても、或る程度は髪の毛が画枠内に収まるようにしたほうが好ましいとはいえる。しかし、男性の場合には、被写体としてみたときに、女性の場合ほど髪型は重要視されないことが一般的であり、髪型についても女性と比べるとさほどのふくらみはない場合のほうが多い。このため、仮に被写体男性について、女性と同じ程度の拡大率（α2、β2，γ2）を設定して修正顔枠ＦＲｃを形成したとすると、かえって不要な隙間が生じて構図のバランスを崩したり、見苦しくなったりする可能性もあると考えられる。そこで、男性被写体の場合には、女性よりは少なめの拡大率を設定することとしたものである。

４．年代に応じた顔枠修正

続いては、年代の属性に応じた修正顔枠の形成について述べる。
ここでは、年代の属性については、大きく、「大人」「子供」の２段階により判定されるものとする。例えば、年代判定のアルゴリズムによっては、より細かい年齢段階により年代区分することも可能であるが、ここでは、説明の便宜上、２段階による判定にとどめる。

図１１（ａ）には、年代が大人として判定された被写体（大人被写体）ＳＢＪａが示されている。図１１（ｂ）には、年代が子供として判定された被写体（子供被写体）ＳＢＪｃが示されている。なお、ここでも、図１１（ａ）（ｂ）に示される各被写体は、正面を向いている状態にあるものとする。

この場合にも、図１１（ａ）の大人被写体ＳＢＪａについては、拡大率α1、β1、γ1により初期顔枠ＦＲpの左、右、上側をそれぞれ拡大して修正顔枠ＦＲｃを形成するものとしている。一方、図１１（ｂ）の大人被写体ＳＢＪｃについては、拡大率α2、β2、γ2により初期顔枠ＦＲpの左、右、上側をそれぞれ拡大して修正顔枠ＦＲｃを形成するものとしている。
なお、確認のために述べておくと、ここでの拡大率α1、β1、γ1、拡大率α2、β2、γ2は、図１０にて説明した女性被写体ＳＢＪｗ、男性被写体ＳＢＪｍに設定した拡大率と同じ値であることを意味するものではない。図１０の女性被写体ＳＢＪｗと男性被写体ＳＢＪｍと同様に、大人被写体ＳＢＪａと子供被写体ＳＢＪｃとでは、拡大率α、β、γが、それぞれ個別に設定されるべきことを意味するものである。

一般に写真撮影において子供を撮影する場合、大人などよりも、笑顔などの表情がよく捉えられるように意識することが多い。また、子供は、元々、頭部において顔部分の占める割合が大人よりも多い傾向にある。
このようなことを考慮して、年代の属性に関して、大人被写体ＳＢＪａに対応する拡大率α1、β1、γ1と子供被写体ＳＢＪｃに対応する拡大率α2、β2、γ2については、
α1＞α2
β1＞β2
γ1＞γ2
により表される関係を有する特定値を設定することとした。
つまり、子供被写体ＳＢＪｃについては、大人被写体ＳＢＪａの拡大率α1、β1、γ1よりも小さい拡大率α2、β2、γ2を設定して、修正顔枠ＦＲｃを形成する。

最もわかりやすい例として、修正顔枠ＦＲｃの面積が画枠内において一定割合を占める構図となるようにして表示倍率を拡大する制御（ズーム制御）を行った場合、画枠において顔部分が占める割合は、子供被写体のほうが大きくなる。つまり、子供の表情をより捉えやすい構図が得られる。

５．顔方向に応じた顔枠修正

続いては、顔方向の属性に応じた修正顔枠の形成例について述べる。
ここでの顔方向とは、画枠内において被写体の顔が向いているものとして検出された方向をいう。
先ず、被写体検出処理により検出する被写体の顔方向として、正面、右、左の３パターンのいずれかに分類して検出を行う場合を例に挙げる。この場合、顔方向の属性としては、正面、右、左の３つがあることになる。

図１２（ａ）（ｂ）（ｃ）は顔方向について、それぞれ、正面、右、左であるとして検出された被写体ＳＢＪが示されている。つまり、図１２（ａ）（ｂ）（ｃ）は、それぞれ、顔方向の属性について、正面、右、左であるとして判定された被写体ＳＢＪを示している。
なお、ここでの顔方向の左、右は、観察者が画枠に対応する画像を観察したときに、その観察者から見て、被写体が向いているとする方向に対応させている。従って、実際に撮像された被写体としての人は、顔方向が右であると検出されているときには、現実には左を向いており、左であると検出されているときには、現実には右を向いている。

先ず、図１２（ａ）に示される、顔方向が正面の被写体ＳＢＪについては、修正顔枠ＦＲｃの形成のために、初期顔枠ＦＲpの左、右、上のそれぞれについて、拡大率α、β、γにより拡大している。
また、顔方向に対応して設定される水平方向における左右の拡大率α、βに関しては、exh＝α+βとなるべき関係を有するものとする。ここでexhは、水平方向における総合的な拡大率（水平総合拡大率）を表す。また、exh＝α+βが成立する条件の下、左に対応する拡大率αと右に対応する拡大率βとは、同じ値をとる。つまり、α=β=exh/2として表される。
顔方向としては正面なので、顔部分の両側で髪の毛の見える量などもほぼ同じになる。そこで、左右の拡大率については同じとしたものである。

これに対して、図１２（ｂ）に示すようにして、顔方向の属性が右の場合に、水平方向に沿っては、初期顔枠ＦＲpの左側を拡大率α=exhにより拡大する。一方、右側についてはβ=0となる。つまり、実質的な拡大は行わない。
また、図１２（ｃ）に示すようにして顔方向の属性が左の場合には、水平方向に沿っては、図１２（ｂ）とは逆に、初期顔枠ＦＲpの右側を拡大率β=exhにより拡大し、左側について拡大率α=0により拡大しない。
なお、垂直方向に沿っては、図１２（ｂ）（ｃ）のいずれの場合も、上方向に対して拡大率γによる拡大を行っている。

例えば、図１２（ｂ）のようにして、顔方向が右向きとなる場合、顔部分の左側に髪の毛が多く見えることになる。そこで、上記のように初期顔枠ＦＲpの左側を大きく拡大する拡大率の設定を行うこととすれば、修正顔枠ＦＲｃ内に対して被写体ＳＢＪの髪の毛が充分に収まるようにすることができる。一方、初期顔枠ＦＲpの右側は、顔方向が右向きときには髪の毛の見え方も少なくなるので、ここでは拡大しないこととしているものである。
同様にして、図１２（ｃ）のように、顔方向が左向きの場合には顔部分の右側に髪の毛が多く見えることになる。そこで、図１２（ｂ）とは逆に、初期顔枠ＦＲpの右側を大きく拡大し、左側は拡大しないこととしている。
そして、このようにして形成した修正顔枠ＦＲｃを利用した構図判定により得られる構図としては、横を向いた被写体ＳＢＪについて、その顔部分とともに髪の毛が充分に画枠内に収まっている状態が得られることになる。

また、顔方向については、上記の横方向（パン方向）における向きだけではなく、縦方向（チルト方向）における向きについても検出・判定することができる。
ここでの図示による説明は省略するが、縦方向における顔方向の属性に応じては、垂直方向における拡大率γを変更して修正顔枠ＦＲｃを形成することができる。
つまり、最もわかりやすい例として、人が上を向いた状態では、上下方向において中間（中央）を向いている状態と比較すると、頭髪の見える量は少なくなる。これに対して、人が下を向いたとすると、頭髪の見える量は多くなる。そこで、拡大率γについて、人が中央を向いている状態に対応させて基準値を設定したうえで、縦方向に沿った顔方向の属性が上向きである場合には基準値より小さい所定値を設定し、下向きである場合には基準値より大きな値を設定するものである。

また、縦方向に関して、中央、上、下の３段階による検出が行えるものとしたうえで、この縦方向の顔方向検出と、上記した横方向における正面、左、右の３段階による顔方向検出を行うものとする。
すると、この場合には、図１３に示すようにして、
１．左／上
２．左／中央
３．左／下
４．正面／上
５．正面／中央
６．正面／下
７．右／上
８．右／中央
９．右／下
の９段階による顔方向の属性の内訳が得られることになる。

そして、このようにして顔方向の属性について９段階による判定を行うことに対応しては、図１２により説明した横方向における顔方向に応じた拡大率α、βの変更設定と、上記した縦方向における顔方向に応じた拡大率γの変更設定とを組み合わせて、修正画枠ＦＲｃを形成できる。
例えば、顔方向が左／上である場合には、拡大率α=0、拡大率β=exh、拡大率γについては基準値よりも小さい所定値を設定して修正顔枠ＦＲｃを形成するというものである。

６．アルゴリズム(第1例)

続いては、これまでに説明した顔枠基本形の修正と、修正顔枠ＦＲｃを利用した構図制御を実現するためにデジタルスチルカメラ１が実行するとされるアルゴリズムの第１例について説明する。
先ず、この第１例としてのアルゴリズムでは、性別、年代、顔方向の属性を利用して、初期顔枠ＦＲpに対する拡大率α、β、γを総合的に決定するものとする。
このために、デジタルスチルカメラ１は、図１４に示す内容の拡大率テーブル４００を、ＲＯＭ２８若しくはフラッシュメモリ３０に保持する。

この図に示す拡大率テーブル４００は、横方向拡大率テーブル４０１と縦方向拡大率テーブル４０２との２つのテーブルから成る。
横方向拡大率テーブル４０１は、水平総合拡大率exhの値を示すテーブルである。このテーブルは、性別の属性である女性／男性の２通りと、年代の属性である大人／子供の２通りの組み合わせによる４通りに対応した水平総合拡大率exhの値を示したものとなる。

縦方向拡大率テーブル４０２は、垂直方向に対応する拡大率γの値を示すテーブルである。
このテーブルは、先ず、縦方向についての顔方向の属性である中央、上、下のそれぞれに対応させた小テーブルから成る。個々の小テーブルにおいて、横方向拡大率テーブル４０２の形式に準じて、性別の属性である女性／男性の２通りと、年代の属性である大人／子供の２通りの組み合わせによる４通りに対応した拡大率γの値を示したものとなる。
なお、図１４の拡大率テーブル４００において具体的に示される水平総合拡大率exh及び拡大率γの値は、例えば本願の発明者等が検討した最適値の１つとなるのである。但し、確認のために述べておくと、水平総合拡大率exh及び拡大率γは、この図に示される値に限定されるべきものではない。

図１５のフローチャートは、顔枠の修正と、修正顔枠ＦＲｃを利用した構図制御のための処理手順例を示している。この図に示す処理は、図５に示されるデジタルスチルカメラ１の各機能部位が必要に応じて適宜実行するものとしてみることができる。また、これらの各機能部位が実行する処理は、図１の制御部（ＣＰＵ）２７がプログラムを実行することにより実現される制御、処理の手順としてみることができる。

図１５においては、先ずステップＳ１０１にて、顔枠修正／構図判定ブロック６２（信号処理部２４）により、撮像記録ブロック６１にてそのときに得られているとされる撮像画像データの取り込みを開始する。次のステップＳ１０２では、顔枠修正／構図判定ブロック６２（信号処理部２４）により、取り込んだ撮像画像データを利用して被写体検出処理を実行する。
この被写体検出処理としては、例えば先に述べたようにして顔検出技術を応用し、その検出結果として、これまでに述べたようにして、検出した被写体ごとに、その顔の画像部分の領域に対応して初期顔枠ＦＲpが設定される。例えば、被写体数であるとか、被写体検出時点での被写体サイズ及び画枠内の位置などの被写体に関する基本的情報は、この初期顔枠ＦＲpの数、サイズ、位置などにより得ることができる。

なお、この顔検出の方式、手法はいくつか知られているが、本実施形態においてはどの方式を採用するのかについては特に限定されるべきものではなく、検出精度や設計難易度などを考慮して適当とされる方式が採用されればよい。

ステップＳ１０３においては、上記ステップＳ１０２による被写体検出処理によって少なくとも１つの被写体が検出されたか否かについて判別する。ここで否定の判別結果が得られた場合にはステップＳ１０２に戻り、被写体探索のための被写体検出処理を実行する。ここでの被写体探索とは、デジタルスチルカメラ１側にて雲台１０のパン／チルト方向への移動を制御するとともに、ズーム制御も行って撮像視野角を変更していくことで、被写体が存在する撮像画像データが得られる状態とすることをいう。

ステップＳ１０３において被写体が検出されたとして肯定の判別結果が得られた場合には、ステップＳ１０４に進む。
ステップＳ１０４においては、ステップＳ１０２にて検出されたとする被写体ごとに、初期顔枠ＦＲpの修正に必要な属性を検出する処理を実行させる。つまり、検出された被写体ごとに、顔方向、性別、年代についての判定を行う。なお、この属性検出処理についても、例えば実際には、ＤＳＰとしての信号処理部２４により実行させるようにして構成すればよい。
この第１例の場合において、顔方向の属性については、横方向での正面・左・右の３段階による検出と、縦方向での中央・上・下の３段階による検出とを行う。つまり、横方向と縦方向とを組み合わせとしては、図１３に示す９通りによる顔方向の検出を行う。
また、年代については、大人・子供の２段階による検出を行う。

なお、上記した顔方向、性別、年代の検出については、例えばこれまでに知られている技術、アルゴリズムを応用すればよい。
例えば、顔方向については、次のような処理が知られている。つまり、顔が正面、左、右を向いている場合の顔部分の特徴パターンが記述されたテンプレートのデータを用意しておき、実際に被写体について検出した特徴パターンとテンプレートとの比較を行う。そして、検出された特徴パターンと最も近似するテンプレートが対応する顔方向を、その被写体の顔方向とするものである。

ステップＳ１０４の処理が終了した段階では、検出された被写体ごとに、被写体情報として、初期顔枠ＦＲpの情報（位置、サイズなど）、属性として検出された縦方向及び横方向における顔方向、性別、年代を示す情報が得られている。
そこでステップＳ１０５により、制御部２７が実行する顔枠修正／構図判定ブロック６２の処理として、上記の被写体情報を利用して、顔枠修正処理を実行する。
なお、このステップＳ１０５としての顔枠修正処理としてのアルゴリズム例については、図１６により後述する。

ステップＳ１０５によっては、検出された被写体ごとに初期顔枠ＦＲpが修正され、修正顔枠ＦＲｃが設定されている。次のステップＳ１０６において顔枠修正／構図判定ブロック６２は、これらの修正顔枠ＦＲｃを利用して構図判定処理を実行する。この構図判定処理としては、検出された被写体ごとの修正顔枠ＦＲｃの情報を利用して、最適な構図が得られるとされる被写体ごとのサイズ（ズーム倍率）、画枠内での被写体の位置などを決定するものとなる。そして、このような被写体のサイズであるとか、被写体の位置などを決定するのにあたり、初期顔枠ＦＲpではなく、修正顔枠ＦＲｃを利用する。このステップＳ１０６により得られた構図判定結果の情報は、例えばパン・チルト・ズーム制御ブロック６３に対して渡される。

ステップＳ１０７においては、パン・チルト・ズーム制御ブロック６３により、構図判定結果に応じた撮像視野角が得られるようにするためのパン・チルト・ズーム制御を実行する。つまり、構図合わせ制御を実行する。

上記ステップＳ１０７による構図合わせ制御が開始されて以降においては、顔枠修正／構図判定ブロック６２は、ステップＳ１０８により、実際にそのときの撮像画像データの画像として得られている構図が、ステップＳ１０６により判定した構図と同じであるとみなされる状態（例えば一定以上の近似度となる状態）となったか否か（構図がＯＫであるか否か）を判別することとしている。

ここで、例えば何らかの原因により、構図合わせとして必要なだけの移動量によるパン・チルト・ズーム駆動を行わせたとしても構図がＯＫにならなかった場合には、ステップＳ１０８にて否定の判別結果が得られる。この場合には、ステップＳ１０２に戻ることで、被写体探索処理を再開させることとしている。
これに対して、ステップＳ１０８にて構図がＯＫになったとの判別結果が得られた場合には、ステップＳ１０９に進む。

ステップＳ１０９においては、例えば撮像画像データの画内容について判定したとおりの構図が得られた状態の下、撮像記録すべきタイミングとなるのを待機する。
例えば、本実施形態のデジタルスチルカメラ１は、検出された被写体の顔の表情として少なくとも笑顔を検出可能とされている。そのうえで、例えば予めのユーザ操作などにより、検出された被写体が笑顔であることが検出されているタイミングでときに撮像記録を行うべきモードが設定されているとする。ステップＳ１０９は、例えばこのような笑顔撮影のモードに応じて、撮影記録すべきタイミングであるか否かについての判別を行う。つまり、現在得られている撮像画像データにおいて検出されている被写体の表情が笑顔となっているか否かについて判別する。

ステップＳ１１０においては、撮像記録タイミングがＯＫと成ったか否かについての判別を行っている。
例えば、上記ステップＳ１０９にて実行する記録タイミングの判定処理期間において、検出されている被写体の表情が笑顔になったことが検出されたとする。すると、ステップＳ１１０としては、肯定の判別結果が得られることとなり、ステップＳ１１１に進む。これに対して、上記記録タイミングの判定処理期間を越えても検出されている被写体の表情について笑顔が検出されなければ、ステップＳ１１０において否定の判別結果が得られる。この場合には、ステップＳ１０２に戻り、被写体探索を伴う被写体検出処理を実行する。

ステップＳ１１１においては、例えば制御部２７は、撮像記録ブロック６１に対して撮像記録を指示する。これに応じて、そのときに得られている撮像画像データを、メモリカード４０に対して静止画のファイルとして記録する動作が実行される。

図１６のフローチャートは、図１５におけるステップＳ１０５としての顔枠修正処理の手順例を示している。なお、図１６に示す処理は、１つの被写体に対応して実行すべき手順を示している。実際には、ステップＳ１０５として、図１６に示す処理を、検出された被写体ごとに実行する。
図１６において、ステップＳ２０１〜ステップＳ２１４までの手順は、図１５のステップＳ１０４により検出した属性に応じてフラグを設定する処理となる。
先ず、ステップＳ２０１においては、横（水平）方向に沿った顔方向の検出結果が、正面、左、右のいずれであるのかについて判別する。
正面であると判別した場合には、ステップＳ２０２により、横方向に沿った顔方向を示すフラグfaceFlgについて０を設定する。
左であると判別した場合には、ステップＳ２０３により、フラグfaceFlg=1を設定する。
右であると判別した場合には、ステップＳ２０４により、フラグfaceFlg=2を設定する。

次にステップＳ２０５においては、縦（垂直）方向に沿った顔方向の検出結果が、中央、上、下のいずれであるのかについて判別する。
中央であると判別した場合には、ステップＳ２０６により、縦方向に沿った顔方向を示すフラグtiltFlgについて０を設定する。
上であると判別した場合には、ステップＳ２０７により、tiltFlg=1を設定する。
下であると判別した場合には、ステップＳ２０８により、tiltFlg=2を設定する。

ステップＳ２０９では、検出された性別について判別する。性別について女性であると判別した場合には、ステップＳ２１０により、性別を示すフラグsexFlgについて０を設定する。一方、男性であると判別した場合には、ステップＳ２１１により、sexFlg=1を設定する。

ステップＳ２１２においては、検出された年代について判別することとしており、子供であると判別した場合には、ステップＳ２１３により年代を示すフラグageFlgについて０を設定し、大人であると判別した場合には、ステップＳ２１４によりageFlg=1を設定する。

ステップＳ２１５においては、上記ステップＳ２０１〜Ｓ２１４までの処理により設定された各フラグの値を利用して、拡大率テーブル４０１から、水平総合拡大率exh、及び上方向に対応する拡大率γを取得する。
先ず、水平総合拡大率exhについては、横方向拡大率テーブル４０１から、ステップＳ２１２〜Ｓ２１４により設定されたageFlgの値と、ステップＳ２０９〜２１１により設定されたsexFlgの値との組み合わせに対応付けられている値を読み出して、この値をexhとして設定すればよい。
また、拡大率γについては、縦方向拡大率テーブル４０２から、先ず、ステップＳ２０５〜Ｓ２０７の処理によって設定されたtiltFlgに対応する小テーブルを選択する。この小テーブルから、ステップＳ２１２〜Ｓ２１４により設定されたageFlgの値と、ステップＳ２０９〜２１１により設定されたsexFlgの値との組み合わせに対応付けられている値を読み出し、この値をγとして設定する。

ステップＳ２１６においては、初期顔枠ＦＲpについて、上下（垂直）方向に対応したサイズの拡大を行う。即ち、上記ステップＳ２１５により取得した水平総合拡大率exhと拡大率γのうち、拡大率γにより、初期顔枠ＦＲpの上側のサイズを拡大する。

ステップＳ２１７〜Ｓ２２０の手順は、初期顔枠ＦＲpに対して横方向のサイズを変更するための処理となる。
ステップＳ２１７においては、ステップＳ２０１〜Ｓ２０３により設定されたfaceFlgの値が何であるのかについて判別する。
FaceFlg=0（正面）であると判別した場合には、ステップＳ２１８に進む。
ステップＳ２１８においては、拡大率αについてα＝exh/2により表される値を設定するとともに、拡大率βについてβ＝exh/2により表される値を設定する。つまり、拡大率α、βについて、それぞれステップＳ２１５で取得した水平総合拡大率exhの1/2となる同じ値を設定する。そして、このようにして設定した拡大率α、βにより初期顔枠ＦＲpの左側と右側をそれぞれ拡大する。
これにより、水平方向については、図１２（ａ）に対応した顔枠修正が行われることになる。

また、FaceFlg=1（左）であると判別した場合にはステップＳ２１９に進む。
ステップＳ２１９においては、拡大率α=0、拡大率β=exhを設定して初期顔枠ＦＲpを拡大する。つまり初期顔枠ＦＲpの右側のみを拡大し、左側は拡大しない。これにより、図１２（ｂ）に対応した水平方向の顔枠修正が行われる。
また、FaceFlg=2（右）であると判別した場合にはステップＳ２２０に進み、拡大率α=exh、拡大率β=0を設定して初期顔枠ＦＲpを拡大する。つまり、図１２（ｂ）に対応した水平方向の顔枠修正が行われる。

７．アルゴリズム(第２例)

続いては、第２のアルゴリズム例について説明する。
上記第１例のアルゴリズムにおいては、顔方向について、横（水平）方向で正面、左、右の３段階による検出結果を出力し、縦（垂直）方向についても、中央、上、下の３段階による検出結果を出力するようにされていた。
これに対して、第２例は、顔方向の検出結果をベクトルにより出力することとして、これに対応した顔枠修正のアルゴリズムを構成したものとなる。

図１７は、顔方向のベクトル（顔方向ベクトル）についての表現例を示している。
先ず、顔方向ベクトルに対応しては、図１７（ａ）に示される座標軸を定義する。つまり、空間において直交するＸ軸、Ｙ軸、Ｚ軸を定義する。Ｘ軸は左右方向に対応し、Ｙ軸は前後方向に対応し、Ｚ軸は上下方向に対応する。但し、後ろ向きの状態の頭部については顔方向を検出しないので、Ｙ軸についてはＸ軸、Ｚ軸の交点から前側のみが有効なものとして考える。
そのうえで、顔方向は、この座標において、Ｘ軸、Ｙ軸、Ｚ軸の交点から、顔が向いている方向を示す単位ベクトルＶＴとして表現される。さらに、この顔方向を示す単位ベクトルＶＴは、図１７（ｂ）に示す左右（水平、横）方向の成分（左右方向成分ベクトル）ＶＴhと、図１７（ｃ）に示す上下（垂直、縦）方向の成分（上下方向成分ベクトル）ＶＴvとに分解できる。

左右方向成分ベクトルＶＴhは、図示するようにして、Ｙ軸と一致するときを０°、左側に対応するＸ軸と一致するときを９０°、右側に対応するＸ軸と一致するときを２７０°として、左右方向に沿った顔方向に応じて０°〜９０及び０°〜２７０°の角度範囲をとる。この水平方向成分ベクトルＶＴhのとる角度がθ1として表されている。
この場合、左右方向に沿った顔の向き具合を示す数量値（左右方向成分ベクトル量）Ｓhは、
Ｓh=VTh sinθ1
により表すことができる。
つまり、左右方向成分ベクトル量Ｓhは、−１≦Sh≦１の範囲をとり、正面を向いているときに０で、左に向くほど１に近い値となり、右に向くほど−１に近くなっていく。

また、上下方向成分ベクトルＶＴvは、図示するようにして、Ｙ軸と一致するときを０°、上側に対応するＺ軸と一致するときを９０°、下側に対応するＺ軸と一致するときを２７０°として、左右方向に沿った顔方向に応じて０°〜９０°及び０°〜２７０°の角度範囲をとる。この垂直方向成分ベクトルＶＴVのとる角度がθ2として表されている。
この場合、上下方向に沿った顔方向の度合いを示す数量値（上下方向成分ベクトル量）Ｓvは、
Ｓv=VTv sinθ2
により表すことができる。
つまり、上下方向成分ベクトル量Ｓvも、−１≦Sv≦１の範囲をとり、中央を向いているときに０で、上に向くほど１に近い値となり、下に向くほど−１に近くなっていく。

なお、本実施形態では、このようにして顔方向の検出結果をベクトルとして出力することのできる検出方式については特に限定されるべきものではなく、例えばこれまでに知られている技術を採用、応用すればよい。

図１８のフローチャートは、図１５のステップＳ１０５である顔枠修正処理として、上記図１７により説明した顔方向ベクトルによる顔方向検出を採用した場合の処理手順例を示している。なお、この図１８に示す処理も、１つの被写体に対応して実行すべき処理となるものであり、ステップＳ１０５としては、この図に示す処理を、検出された被写体ごとに実行する。
また、この場合には、図１５のステップＳ１０４による属性検出処理において、顔方向ベクトルによる顔方向検出処理が実行され、図１７により説明した左右方向成分ベクトル量Sh、上下方向成分ベクトル量Svが得られている。

図１８においては、先ずステップＳ３０１、Ｓ３０２により、ステップＳ１０４により検出されているとする左右方向成分ベクトル量Sh、上下方向成分ベクトル量Svを、顔枠修正処理のために取得する。

ステップＳ３０３〜ステップＳ３０８の処理は、図１６のステップＳ２０９〜２１４と同じく、性別属性、年代属性の検出結果に応じて、sexFlg、ageFlgの値を設定する処理となる。

ステップＳ３０９とステップＳ３１０は、それぞれ、左右方向に対応する拡大率α、βと、上下方向に対応する拡大率γを設定する処理となる。第１例においては、拡大率テーブル４００を用いていたが、第２例としては拡大率テーブル４００を用いることなく、例えば下記のようにして拡大率α、β、及び拡大率γを求める。

ステップＳ３０９においては、ステップＳ３０１により取得した左右方向成分ベクトル量Sh、及びステップＳ３０３〜Ｓ３０５及びステップＳ３０６〜３０８により設定したsexFlg、ageFlgの値をパラメータとする所定の関数を演算することにより、拡大率α、βを求める。
上記関数の具体例については多様に考えられる。概念的には、例えばsexFlg、ageFlgの値に応じて、水平総合拡大率exhの値を設定したうえで、左右方向成分ベクトル量Shに応じて水平総合拡大率exhにおける拡大率α、βの比率を決定するようにして、拡大率α、βを求めればよい。

ステップＳ３１０においては、ステップＳ３０１により取得した上下方向成分ベクトル量Sv、及びステップＳ３０３〜Ｓ３０５及びステップＳ３０６〜３０８により設定したsexFlg、ageFlgの値をパラメータとする所定の関数を演算することにより、拡大率γを求める。

これまでの処理によって、対象としている１つの被写体について、性別、年代、顔方向の属性が反映された拡大率α、β、γが設定されたことになる。
そこで、ステップＳ３１１により設定された拡大率αにより初期顔枠ＦＲpの左側を拡大し、ステップＳ３１２により設定された拡大率βにより初期顔枠ＦＲpの右側を拡大し、ステップＳ３１３により設定された拡大率βにより初期顔枠ＦＲpの上側を拡大する。

８．変形例

次に、上記本実施形態としての撮像システムについての変形例について説明していく。
先ず、図１９に示す撮像システムでは、デジタルスチルカメラ１において、撮像記録ブロック６１により得られる撮像画像データを、通信制御処理ブロック６４から雲台１０側の通信制御ブロック７１に対して送信するようにされている。

また、この図１９においては、雲台１０の構成として通信制御処理ブロック７１、パン・チルト制御処理ブロック７２、及び顔枠修正／構図判定ブロック７３が示されている。
通信制御処理ブロック７１により受信された撮像画像データは、顔枠修正／構図判定ブロック７３に対して出力される。この顔枠修正／構図判定ブロック７３は、例えば先に図５に示した顔枠修正／構図判定ブロック６２の構成が適用される。つまり、入力した撮像画像データを基として、被写体検出、属性検出、顔枠修正、及び構図判定処理を実行する。そして、この場合には、例えば、判定された最適構図が得られる撮像方向（撮像視野角）とするためのパン機構部とチルト機構部の移動量を求め、この移動量を指示するパン・チルト制御信号をパン・チルト制御処理ブロック７２に対して出力する。これにより、顔枠修正／構図判定ブロック７３にて判定した最適構図が得られるようにしてパンニング、チルティングが行われる。
このようにして、図１９に示す撮像システムは、デジタルスチルカメラ１から雲台１０に撮像画像データを送信させることとして、雲台１０側により、取り込んだ撮像画像データに基づく構図判定とこれに応じたパン・チルト制御とを実行するようにして構成しているものである。
また、この図１９に示す構成においては、撮像視野角の制御として、ズーム（画角）制御を可能とするためには、通信制御処理ブロック６３，７１間での通信を利用して、雲台１０の顔枠修正／構図判定ブロック７３にて判定された最適構図に応じた画角を撮像記録ブロックに指示し、この指示された画角となるように撮像記録ブロック６１がズームレンズの駆動を実行するように構成すればよい。

図２０は、本実施形態に対応する撮像システムについての他の変形例としての構成例を示している。なお、この図において、図１９と同一部分には同一符号を付して説明を省略する。
このシステムにおいては、雲台１０側において撮像記録ブロック７５が備えられる。この撮像記録ブロック７５は、例えば図５の撮像記録ブロック６１と同様に、撮像のための光学系と撮像素子（イメージセンサ）を備えて、撮像光に基づいた信号（撮像信号）を得るようにされているとともに、この撮像信号から撮像画像データを生成するための信号処理部、及び撮像記録データの記録制御系から成る。
撮像記録ブロック７５により生成される撮像画像データは、顔枠修正／構図判定ブロック７３に出力される。
なお、撮像記録ブロック７５が撮像光を取り込む方向（撮像方向）は、例えば雲台１０に載置されるデジタルスチルカメラ１の撮撮像方向とできるだけ一致するようにして設定することが好ましい。つまり、撮像記録ブロック７５は、デジタルスチルカメラ１側の撮像記録ブロック６１により撮像される画像とできるだけ同じとなるようにして、雲台１０にて設けられるようにする。

この場合の顔枠修正／構図判定ブロック７３、及びパン・チルト制御処理ブロック７２は、上記図１９と同様にして構図判定と、この構図判定結果に応じたパン・チルト機構の駆動制御を実行する。
但し、この場合の顔枠修正／構図判定ブロック７３は、デジタルスチルカメラ１に撮像記録を実行させるタイミングに対応しては、通信制御処理ブロック７１経由でデジタルスチルカメラ１に対して、撮像記録の実行を指示する指示信号を送信させる。デジタルスチルカメラ１では、この指示信号が受信されることに応じて撮像記録を実行し、そのときに撮像記録ブロック６１により得られているとされる撮像画像データの撮像記録を実行する。
このようにして他の変形例では、構図判定及び構図獲得制御に関して、撮像記録の実行動作以外の全ての制御・処理を雲台１０側で完結して行うことができる。

なお、上記の説明では、パン制御、チルト制御に関しては、雲台１０のパン・チルト機構の動きを制御することにより行うこととしているが、雲台１０に代えて、例えば、デジタルスチルカメラ１の光学系部（２１）に対しては、反射鏡により反射された撮像光が入射されるようにしたうえで、撮像光に基づいて得られる画像についてパンニング・チルティングされた結果が得られるようにして上記反射光を動かす構成を採用することも考えられる。
また、デジタルスチルカメラ１の撮像素子（イメージセンサ２２）から画像として有効な撮像信号を取り込むための画素領域を水平方向と垂直方向にシフトさせるという制御を行うことによっても、パンニング・チルティングが行われるのと同等の結果を得ることができる。この場合には、雲台１０若しくはこれに準ずる、デジタルスチルカメラ１以外のパン・チルトのための装置部を用意する必要が無く、デジタルスチルカメラ１単体により本実施形態としての構図獲得制御に相当する動作を完結させることが可能となる。
また、画角制御（ズーム制御）についても、ズームレンズの駆動に代えて、撮像画像データから一部画像領域を切り出すという画像処理を実行することによって実現可能である。
また、デジタルスチルカメラ１の光学系部におけるレンズの光軸を水平・垂直方向に変更することのできる機構を備えて、この機構の動きを制御するように構成しても、パンニング・チルティングを行うことが可能である。

なお、これまでの説明にあっては、デジタルスチルカメラ１が雲台１０に取り付けられた撮像システムとしているが、本実施形態としての顔枠修正及び構図判定と、構図判定結果に基づいた撮像記録の構成自体は、雲台が無くとも、デジタルスチルカメラ１単体でも実現される。
つまり、本実施形態のデジタルスチルカメラ１を、単に固定的に置いた状態とする状況であっても、そこで撮像される画像に応じて構図判定が行われ、この判定結果に応じて自動撮像記録が実行される。そして、このようなデジタルスチルカメラ１の利用の仕方であっても、状況によっては、充分に有用となるものである。

続いては、本実施形態の顔枠修正／構図判定の基本構成を、上記撮像システム以外に適用した例について挙げていく。
先ず、図２１は、実施の形態としての顔枠修正／構図判定のための構成を、デジタルスチルカメラなどの撮像装置単体に対して適用している。この撮像装置は、例えば撮像モード時において撮像装置により撮像している画像が、判定結果に応じた適正な構図になったときに、このことを表示によってユーザに通知する。
このために撮像装置が備えるべき構成として、ここでは顔枠修正／構図判定ブロック８１、通知制御処理ブロック８２、表示部８３を示している。ここでの顔枠修正／構図判定ブロック８１が、図５に示した顔枠修正／構図判定ブロック６２と同等の構成を採るものとされる。
例えばユーザは、撮像装置を撮像モードに設定したうえで、撮像装置を手に持っており、いつでもレリーズ操作（シャッターボタン操作）を行えば撮像記録が行える状況にあるものとする。
このような状態の下、顔枠修正／構図判定ブロック８１では、先ず、そのときに撮像して得られる撮像画像データを取り込んで、一連の構図判定の処理を実行して、最終的に最適構図を判定する。
そのうえで、さらに、この場合の顔枠修正／構図判定ブロック８１としては、そのときに実際に得られている撮像画像データの構図と、判定された最適構図との一致性、類似度を求めるようにされる。そして、例えば類似度が一定以上になったときに、実際に撮影して得られている撮像画像データの画内容が最適構図になったと判定する。なお、例えば実際においては、撮像画像データの構図と最適構図とが一致したとみなされる程度の、所定以上の類似度が得られたら、最適構図と判断するようにしてアルゴリズムを構成することが考えられる。また、ここでの一致性、類似度をどのようにして求めるのかについては、多様なアルゴリズムを考えることができ、採用する構図形成要素によっても異なってくるので、ここでは、その具体例については特に言及しない。

このようにして撮像画像データの画面内容が最適構図になったことの判定結果の情報は通知制御処理ブロック８２に対して出力される。通知制御処理ブロック８２は、上記の情報の入力に応じて、現在において撮像されている画像が最適構図であることをユーザに通知するための所定態様による表示が表示部８３にて行われるように表示制御を実行する。なお、通知制御処理ブロック８２は、撮像装置が備えるマイクロコンピュータ（ＣＰＵ）などによる表示制御機能と、表示部８３に対する画像表示を実現するための表示用画像処理機能などにより実現される。なお、ここでの最適構図であることのユーザへの通知は、電子音、若しくは合成音声などをはじめとした音により行われるように構成してもよい。

また、表示部８３は、例えば本実施形態のデジタルスチルカメラ１の表示部３３に対応するもので、例えば撮像装置における所定位置に対してそのディスプレイパネルが表出するようにして設けられ、撮影モード時にはいわゆるスルー画といわれる、そのときに撮像されている画像が表示されることが一般的である。従って、この撮像装置の実際にあっては、表示部８３において、スルー画に対して重畳される態様で最適構図であることを通知する内容の画像が表示されることになる。ユーザは、この最適構図であることを通知する表示が現れたときにレリーズ操作を行うようにされる。これにより、写真撮影の知識や技術に長けていないようなユーザであっても、適切な構図、即ち良好な画内容の写真撮影を簡単に行うことが可能になる。

また、図２２に示す例も、上記図２１と同様にデジタルスチルカメラなどの撮像装置単体に対して実施の形態の構図判定の構成を適用したものとなる。
先ず、この図に示す構成においては、図２１と同様に、顔枠修正／構図判定ブロック８１により、入力される撮像画像データを基にして最適構図を判定する処理を実行するとともに、その後のタイミングにおいて得られる撮像画像データの画内容から最適構図が何であるのかを判定し、次に、撮像画像データの画内容が、判定された最適構図となるのを判定する。そして、最適構図になったことを判定すると、このことをレリーズ制御処理ブロック８４に対して通知する。
レリーズ制御処理ブロック８４は、撮像画像データを記録（撮像記録）するための制御を実行する部位とされ、例えば撮像装置が備えるマイクロコンピュータが実行する制御などにより実現される。上記の通知を受けたレリーズ制御処理ブロック８４は、そのときに得られている撮像画像データが、例えば記憶媒体に記憶されるようにして画像信号処理、記録制御処理を実行する。
このような構成であれば、デジタルスチルカメラ１を手持ちで撮像する際に、撮像画像について最適構図を有する画内容が得られたタイミングで、自動的にその撮像画像の記録が行われるようにできる。

なお、上記図２１及び図２２の構成は、例えばスチルカメラの範疇であれば、デジタルスチルカメラに適用できるほか、銀塩フィルムなどに撮像画像を記録するいわゆる銀塩カメラといわれるものにも、例えば光学系により得られた撮像光を分光して取り入れるイメージセンサと、このイメージセンサからの信号を入力して処理するデジタル画像信号処理部などを設けることで適用が可能である。

図２３も、実施の形態の構図判定の基本構成をデジタルスチルカメラなどの撮像装置に適用した構成の一例である。この図に示す撮像装置１００は、図示するようにして、顔枠修正／構図判定ブロック１０１、メタデータ作成処理ブロック１０２、ファイル作成処理ブロック１０３を備える。ここでは、顔枠修正／構図判定ブロック１０１が、図２の顔枠修正／構図判定ブロック２０２に対応する。

ここでは図示していない撮像記録ブロックにより撮像して得られる撮像画像データは、撮像装置１００内の顔枠修正／構図判定ブロック１０１、ファイル作成処理ブロック１０３とに対して入力することとしている。なお、この場合において、撮像装置１００内に入力された撮像画像データは、例えばレリーズ操作などに応じて記憶媒体に記憶されるべきこととなった撮像画像データであり、ここでは図示していない、撮像記録ブロックでの撮像により得られた撮像信号を基に生成されたものである。

先ず顔枠修正／構図判定ブロック１０１では、定常的に繰り返し構図判定処理を実行する。
そのうえで、この場合の構図判定処理としては、さらに、判定結果に基づき、入力された撮像画像データの全画像領域において、判定された最適構図が得られるとされる所定の縦横比による画像部分（トリミング画像部分）がどこであるのかを特定する処理を実行する。そして、特定したトリミング画像部分を示す情報を、メタデータ作成処理ブロック１０２に対して出力する。
そして、このような処理を実行していく際に、顔枠修正／構図判定ブロック１０１においては、判定結果の履歴情報（判定結果履歴情報）を保持していくようにするとともに、この判定結果履歴情報を参照して、判定した構図が消尽されている場合には、図３に準じて、以降は同じ構図判定結果に基づいたトリミング画像部分の特定を行わないようにする。若しくは図４に準じて構図判定アルゴリズムを変更して、構図判定処理とトリミング画像部分の特定を実行していく。

メタデータ作成処理ブロック１０２では、入力された情報に基づいて、対応する撮像画像データから最適構図を有する画像を得るために必要な情報から成るメタデータ（編集メタデータ）を作成し、ファイル作成処理ブロック１０３に対して出力する。この編集メタデータは、例えば、対応する撮像画像データとしての画面におけるトリミング画像部分がどこであるのかを示す情報などとなる。

この図に示す撮像装置１００では、撮像画像データについて、所定形式による静止画像ファイルとして管理されるようにして記憶媒体に記録するものとされる。これに対応して、ファイル作成処理ブロック１０３は、撮像画像データを、静止画像ファイル形式に変換（作成）する。
ファイル作成処理ブロック１０３は、先ず、入力される撮像画像データについて、画像ファイル形式に対応した画像圧縮符号化を行い、撮像画像データから成るファイル本体部分を作成する。これとともに、メタデータ作成処理ブロック１０２から入力された編集メタデータを、所定の格納位置に対して格納するようにしてヘッダ及び付加情報ブロックなどのデータ部分を作成する。そして、これらファイル本体部分、ヘッダ、付加情報ブロックなどから静止画像ファイルを作成し、これを出力する。これにより、図示するようにして、記憶媒体に記録すべき静止画像ファイルとしては、撮像画像データとともにメタデータ（編集メタデータ）が含まれる構造を有したものが得られる。

図２４は、上記図２３の装置により作成された静止画像ファイルについて編集を行う編集装置の構成例を示している。
図に示す編集装置１１０は、静止画像ファイルのデータを取り込んで、先ずメタデータ分離処理ブロック１１１に入力する。メタデータ分離処理ブロック１１１は、静止画像ファイルのデータから、ファイル本体部分に相当する撮像画像データとメタデータとを分離する。分離して得られたメタデータについてはメタデータ解析処理ブロック１１２に対して出力し、撮像画像データについてはトリミング処理ブロック１１３に対して出力する。

メタデータ解析処理ブロック１１２は、取り込んだメタデータを解析する処理を実行する部位である。そして、解析処理として、編集メタデータを解析した場合には、最適構図が得られるトリミング画像部分を認識する。そして、この認識された画像部分のトリミングを指示するトリミング指示情報をトリミング処理ブロック１１３に対して出力する。
トリミング処理ブロック１１３は、メタデータ分離処理ブロック１１１側から入力した撮像画像データから、上記メタデータ分離処理ブロック１１２から入力されるトリミング指示情報が示す画像部分を抜き出すための画像処理を実行し、抜き出した画像部分を１つの独立した画像データである、編集撮像画像データとして出力する。

上記図２３、図２４に示される撮像装置と編集装置から成るシステムによれば、例えば撮影などにより得たオリジナルの静止画像データ（撮像画像データ）はそのまま無加工で保存しておけるようにしたうえで、このオリジナルの静止画像データから、メタデータを利用して、最適構図となる画像部分を抜き出す編集が行えることになる。また、このような最適構図に対応した抜き出し画像部分の決定は、自動的に行われるものであり、ユーザにとっては、非常に編集が簡単になる。
なお、図２４に示す編集装置としての機能は、例えばパーソナルコンピュータなどにインストールされる画像データ編集のためのアプリケーションであるとか、画像データを管理するアプリケーションにおける画像編集機能などで採用することが考えられる。

図２５は、ビデオカメラなどとしての動画像の撮影記録が可能な撮像装置に、実施の形態の顔枠修正／構図判定の構成を適用した例である。
この図に示す撮像装置１２０には、動画像データが入力される。この動画像データは、例えば同じ撮像装置１２０が有するとされる撮像部により撮像を行って得られる撮像信号に基づいて生成されるものである。この動画像データは、撮像装置１２０における顔枠修正／構図判定ブロック１２２、及びファイル作成・記録処理ブロック１２４に対して入力される。
この場合は顔枠修正／構図判定ブロック１２２が図２に示した顔枠修正／構図判定ブロック２００に相当する。顔枠修正／構図判定ブロック１２２は、入力されてくる動画像データの画像について、定常的に、一連の被写体検出、属性検出、顔枠修正、構図判定の処理を行う。そのうえで、さらに、上記動画像データの画像の実際の画内容について、判定結果として得た最適構図との差違（近似度）を比較することにより、良否判定を行う。
そして、この比較結果として、実際の撮像画像にて得られている構図と、判定された最適構図とについて一定以上の近似度が得られたのであれば、良好な構図であると判定され、上記類似度が一定以下であれば、良好な構図ではないと判定される。
顔枠修正／構図判定ブロック１２２は、上記のようにして動画像データについて良好な構図が得られていると判定したときには、メタデータ作成処理ブロック１２３に対して、動画像データにおいて、今回、上記の良好な構図が得られていると判定した画像区間(良好構図区間)がどこであるのかを示す情報(良好構図区間指示情報)を出力する。良好構図区間指示情報)は、例えば動画像データにおける良好構図区間の開始位置と終了位置を示す情報などとされる。

そのうえで、顔枠修正／構図判定ブロック１２２は、構図の判定結果履歴情報を保持するとともに、この判定結果履歴情報に基づいて、消尽された構図判定結果に応じては、上記の良好構図区間指示情報は作成しないようにされる。これにより、似たような構図の画像ばかりが良好構図区間として指定される結果を避けることができる。

この場合のメタデータ作成処理ブロック１２３は、次に説明する動画像記録処理ブロック１２４により記憶媒体にファイルとして記録される動画像データについての、各種所要のメタデータを生成するものとされる。そのうえで、上記のようにして顔枠修正／構図判定ブロック１２２から良好構図区間指示情報を入力した場合には、入力された良好構図区間指示情報により示される画像区間が良好な構図であることを示すメタデータを生成し、動画像記録処理ブロック１２４に対して出力する。
動画像記録処理ブロック１２４は、入力された動画像データについて、所定形式による動画像ファイルとして管理されるようにして記憶媒体に記録するための制御を実行する。そして、メタデータ作成処理ブロック１２３からメタデータが出力されてきた場合には、このメタデータが、動画像ファイルに付随するメタデータに含められるようにして記録されるようにするための制御を実行する。
これにより、図示するようにして、記憶媒体に記録される動画像ファイルは、撮像により得られたとする動画像データに、良好な構図が得られている画像区間を示すメタデータが付随された内容を有することになる。
なお、上記のようにしてメタデータにより示される、良好な構図が得られている画像区間は、或る程度の時間幅を有する動画像による画像区間とされてもよいし、動画像データから抜き出した静止画像によるものとされてもよい。また、上記のメタデータに代えて、良好な構図が得られている画像区間の動画像データ若しくは静止画像データを生成して、これを動画像ファイルに付随する副次的な画像データ（或いは動画像ファイルと独立したファイル）として記録する構成も考えられる。
また、図２５に示されるようにして、撮像装置１２０に対して顔枠修正／構図判定ブロック１２２を備える構成では、顔枠修正／構図判定ブロック１２２により良好構図区間であると判定された動画像の区間のみを動画像ファイルとして記録するように構成することも考えられる。さらには、顔枠修正／構図判定ブロック１２２により良好な構図であると判定された画像区間に対応する画像データを、データインターフェースなどを経由して外部機器に出力するような構成も考えることができる。

また、図２３の撮像装置１００に対応する装置としては、図２４に示した編集装置以外に、図２６に示す印刷装置１３０を考えることができる。
この場合には、印刷装置１３０が、印刷すべき画像として、静止画像ファイルを取り込むこととされている。この静止画像ファイルは、例えば撮像装置１００により生成して記録されたものを含み、図示するようにして、静止画としての画像データの実体と、メタデータとを有する構造を持っている。従って、このメタデータは、図２３、図２４に示した静止画像ファイルにおけるものと同意義の内容の構図編集メタデータを含んでいるものである。

このようにして取り込んだファイルは、メタデータ分離処理ブロック１３１が入力する。メタデータ分離処理ブロック１３１は、図２４のメタデータ分離処理ブロック１１１と同様にして、静止画像ファイルのデータから、ファイル本体部分に相当する画像データと、これに付随するメタデータとを分離する。分離して得られたメタデータについてはメタデータ解析処理ブロック１３２に対して出力し、画像データについてはトリミング処理ブロック１３３に対して出力する。

メタデータ解析処理ブロック１３２は、取り込んだメタデータについて、図２４のメタデータ分離処理ブロック１１１と同様の解析処理を実行し、トリミング処理ブロック１３３に対してトリミング指示情報を出力する。

トリミング処理ブロック１３３は、図２４におけるトリミング処理ブロック１１３と同様にして、メタデータ分離処理ブロック１３１より入力した画像データから、上記メタデータ分離処理ブロック１３２から入力されるトリミング指示情報が示す画像部分を抜き出すための画像処理を実行する。そして、この抜き出した画像部分から生成した印刷用の形式の画像データを、印刷用画像データとして、印刷制御処理ブロック１３４に出力する。

印刷制御処理ブロック１３４は、入力された印刷用画像データを利用して、ここでは図示していない印刷機構を動作させるための制御を実行する。
このような動作により、印刷装置１３０によっては、入力した画像データの全体画像から、最適構図が得られているとされる画像部分が自動的に抜き出されて、１枚の画として印刷されることになる。

なお、本願発明による構図判定の構成を適用できる装置、システム、アプリケーションソフトウェアなどは、これまでに説明した撮像システム、撮像装置などのほかにも考えられる。

また、これまでの実施の形態の説明にあっては、被写体（対象個別被写体）は、人であることを前提としている。しかし、例えば猫や犬など、人以外の動物を被写体とするような場合にも、本実施形態の顔枠修正の技術構成を適用できる。
例えば猫、犬などの動物についても、その顔を検出して初期顔枠を設定することが可能である。ただし、このような動物の場合には、修正身体部位枠として、これまでの実施形態のようにして、顔のみに対応させるのではなく、体全体を囲む枠にまで拡大できる拡大率を設定する。つまり、顔の向きに応じて、体全体が入るようにして修正身体部位枠を形成する。
例えば猫、犬などの四つ足の動物は、横を向くほど、向いた方向とは反対に体が伸びてみえることになるが、上記のようにして身体部位枠修正の構成を適用すれば、動物の向きに応じて、その体全体が常に画枠内に収まるようにすることが可能になる。

また、本実施形態においては、検出された被写体の顔枠（被写体枠）の形状サイズの修正結果を、構図判定処理に応用しているが、被写体枠の修正結果については、他の処理にも応用してよい。
また、これまでの実施形態においては、顔枠である身体部位枠は方形とされているが、例えば、方形以外の形状とされたうえで、この形状に対して適切とされる方向に対するサイズの拡大が行われるようにされてよい。
また、身体部位枠のサイズ形状修正のための拡大率については、正の値だけではなく、負の値を設定して、身体部位枠を縮小するようにしてサイズ形状を修正することも、場合によっては有用となる可能性がある。
また、顔枠のサイズ形状を修正したうえでの構図制御（構図判定処理、構図合わせ制御）によりどのような構図が得られるようにするのかについては多様に考えられるものであり、ここでは特に限定されるべきものではない。

また、これまでにも述べてきたように、本願発明に基づく構成における少なくとも一部は、ＣＰＵやＤＳＰにプログラムを実行させることで実現できる。
このようなプログラムは、例えばＲＯＭなどに対して製造時などに書き込んで記憶させるほか、リムーバブルの記憶媒体に記憶させておいたうえで、この記憶媒体からインストール(アップデートも含む)させるようにしてＤＳＰ対応の不揮発性の記憶領域やフラッシュメモリ３０などに記憶させることが考えられる。また、ＵＳＢやＩＥＥＥ１３９４などのデータインターフェース経由により、他のホストとなる機器からの制御によってプログラムのインストールを行えるようにすることも考えられる。さらに、ネットワーク上のサーバなどにおける記憶装置に記憶させておいたうえで、デジタルスチルカメラ１にネットワーク機能を持たせることとし、サーバからダウンロードして取得できるように構成することも考えられる。

実施形態としての撮像システムを構成するデジタルスチルカメラ及び雲台を示す図である。 実施形態の撮像システムについて、雲台に取り付けられたデジタルスチルカメラのパン方向及びチルト方向に沿った動きの例を模式的に示す図である。 実施形態の撮像システムを構成するデジタルスチルカメラの内部構成例を示すブロック図である。 実施形態の撮像システムを構成する雲台の内部構成例を示すブロック図である。 実施形態における撮像システムについての内部システム構成例を示すブロック図である。 撮像画像データから検出された被写体と、顔枠の関係を示す図である。 図６に示される撮像画像データに基づいて判定される最適構図の例を示す図である。 実施形態における顔枠修正についての基本概念を説明するための図である。 図８に示される修正顔枠に基づいて判定される最適構図の例を示す図である。 性別の被写体属性に応じた顔枠修正の態様例を示す図である。 年代の被写体属性に応じた顔枠修正の態様例を示す図である。 顔方向の被写体属性に応じた顔枠修正の態様例を示す図である。 被写体属性として、横方向及び縦方向の顔方向を検出する場合における、顔方向の検出結果の組み合わせ例を示す図である。 拡大率テーブルの例を示す図である。 顔枠の修正と、修正顔枠を利用した構図制御のための処理手順例を示すフローチャートである。 顔枠修正処理(第１例のアルゴリズム)のための処理手順例を示すフローチャートである。 第２例のアルゴリズムに対応するもので、ベクトルによる顔方向を説明するための図である。 第２例のアルゴリズムとしての顔枠修正処理のための処理手順例を示すフローチャートである。 実施形態の撮像システムについての、他の内部システム構成例を示すブロック図である。 実施の形態の撮像システムについて、他の内部システム構成例を示すブロック図である。 撮像システム以外での実施形態における、構図判定ブロックの適用例を示すブロック図である。 撮像システム以外での実施形態における、構図判定ブロックの適用例を示すブロック図である。 撮像システム以外での実施形態における、構図判定ブロックの適用例を示すブロック図である。 図２３の撮像装置に対応する編集装置の構成例を示すブロック図である。 撮像システム以外での実施形態における、構図判定ブロックの適用例を示すブロック図である。 図２３の撮像装置に対応する編集装置の構成例を示すブロック図である。

符号の説明

１ デジタルスチルカメラ、２ シャッターボタン、３ レンズ部、１０ 雲台、２１ 光学系、２２ イメージセンサ、２３ Ａ／Ｄコンバータ、２４ 信号処理部、２５ エンコード／デコード部、２６ メディアコントローラ、２７ 制御部、２８ ＲＯＭ、２９ ＲＡＭ、３０ フラッシュメモリ、３１ 操作部、３２ 表示ドライバ、３３ 表示部、３４ 雲台対応通信部、４０ メモリカード、５１ 制御部、５２ 通信部、５３ パン機構部、５４ パン用モータ、５５ パン用駆動部、５６ チルト機構部、５７ チルト用モータ、５８ チルト用駆動部、６１ 撮像記録ブロック、６２ 顔枠修正／構図判定ブロック、６３ パン・チルト・ズーム制御ブロック、６４ 通信制御処理ブロック、４００ 拡大率テーブル、４０１ 横方向拡大率テーブル、４０２ 縦方向拡大率テーブル

Claims (11)

1. 撮像に基づいて得られる画像データの画内容において存在する被写体における特定の身体部位を検出したことに応じて、上記特定の身体部位の箇所に対応させた所定形状の枠である初期身体部位枠を設定する初期身体部位枠設定手段と、
   上記画像データを利用して、上記被写体ごとの所定の属性について検出する属性検出手段と、
   上記属性検出手段による属性の検出結果に基づいて、上記初期身体部位枠のサイズ形状を変更して修正身体部位枠を形成する身体部位枠修正手段と、
   上記修正身体部位枠を利用して構図判定を行う構図判定手段と、
   を備える構図判定装置。
2. 上記身体部位枠修正手段は、上記被写体における顔に対応させて設定した上記初期身体部位枠について、そのサイズを変更して修正身体部位枠を形成する、
   請求項１に記載の構図判定装置。
3. 上記属性検出手段は、上記被写体についての横方向における顔の方向を検出し、
   上記身体部位枠修正手段は、検出された上記横方向における顔の方向に基づいて、上記初期身体部位枠の左側、右側のサイズを変更するための拡大率を設定する、
   請求項２に記載の構図判定装置。
4. 上記属性検出手段は、上記被写体についての縦方向における顔の方向を検出し、
   上記修正身体部位枠設定手段は、検出された上記縦方向における顔の方向に基づいて、上記初期身体部位枠の上側のサイズを変更するための拡大率を設定する、
   請求項２又は請求項３に記載の構図判定装置。
5. 上記属性検出手段は、上記被写体についての性別を検出し、
   上記修正身体部位枠設定手段は、検出された性別が女性である場合には、上記初期身体部位枠のサイズを変更するための拡大率について、検出された性別が男性である場合よりも大きな値を設定する、
   請求項２乃至請求項４のいずれかに記載の構図判定装置。
6. 上記属性検出手段は、上記被写体についての年代を検出し、
   上記修正身体部位枠設定手段は、検出される年代が小さくなるのに応じて、上記初期身体部位枠のサイズを変更するための拡大率について小さな値を設定する、
   請求項２乃至請求項５のいずれかに記載の構図判定装置。
7. 撮像に基づいて得られる画像データの画内容において存在する被写体における特定の身体部位を検出したことに応じて、上記特定の身体部位の箇所に対応させた所定形状の枠である初期身体部位枠を設定する初期身体部位枠設定手順と、
   上記画像データを利用して、上記被写体ごとの所定の属性について検出する属性検出手順と、
   上記属性検出手順による属性の検出結果に基づいて、上記初期身体部位枠のサイズ形状を変更して修正身体部位枠を形成する身体部位枠修正手順と、
   上記修正身体部位枠を利用して構図判定を行う構図判定手順と、
   を実行する構図判定方法。
8. 撮像に基づいて得られる画像データの画内容において存在する被写体における特定の身体部位を検出したことに応じて、上記特定の身体部位の箇所に対応させた所定形状の枠である初期身体部位枠を設定する初期身体部位枠設定手順と、
   上記画像データを利用して、上記被写体ごとの所定の属性について検出する属性検出手順と、
   上記属性検出手順による属性の検出結果に基づいて、上記初期身体部位枠のサイズ形状を変更して修正身体部位枠を形成する身体部位枠修正手順と、
   上記修正身体部位枠を利用して構図判定を行う構図判定手順と、
   を構図判定装置に実行させるプログラム。
9. 画像データの画内容において存在する被写体における特定の身体部位を検出したことに応じて、上記特定の身体部位の箇所に対応させた所定形状の枠である初期身体部位枠を設定する初期身体部位枠設定手段と、
   上記画像データを利用して、上記被写体ごとの所定の属性について検出する属性検出手段と、
   上記属性検出手段による属性の検出結果に基づいて、上記初期身体部位枠のサイズ形状を変更して修正身体部位枠を形成する身体部位枠修正手段と、
   を備える画像処理装置。
10. 画像データの画内容において存在する被写体における特定の身体部位を検出したことに応じて、上記特定の身体部位の箇所に対応させた所定形状の枠である初期身体部位枠を設定する初期身体部位枠設定手順と、
    上記画像データを利用して、上記被写体ごとの所定の属性について検出する属性検出手順と、
    上記属性検出手順による属性の検出結果に基づいて、上記初期身体部位枠のサイズ形状を変更して修正身体部位枠を形成する身体部位枠修正手順と、
    を実行する画像処理方法。
11. 画像データの画内容において存在する被写体における特定の身体部位を検出したことに応じて、上記特定の身体部位の箇所に対応させた所定形状の枠である初期身体部位枠を設定する初期身体部位枠設定手順と、
    上記画像データを利用して、上記被写体ごとの所定の属性について検出する属性検出手順と、
    上記属性検出手順による属性の検出結果に基づいて、上記初期身体部位枠のサイズ形状を変更して修正身体部位枠を形成する身体部位枠修正手順と、
    を画像処理装置に実行させるプログラム。

Images