JP2011029831A - 構図判定装置、撮像システム、構図判定方法、プログラム - Google Patents

構図判定装置、撮像システム、構図判定方法、プログラム Download PDF

Info

Publication number
JP2011029831A
JP2011029831A JP2009172327A JP2009172327A JP2011029831A JP 2011029831 A JP2011029831 A JP 2011029831A JP 2009172327 A JP2009172327 A JP 2009172327A JP 2009172327 A JP2009172327 A JP 2009172327A JP 2011029831 A JP2011029831 A JP 2011029831A
Authority
JP
Japan
Prior art keywords
subject
composition
image
rotation angle
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009172327A
Other languages
English (en)
Other versions
JP2011029831A5 (ja
JP5359645B2 (ja
Inventor
Shingo Yoshizumi
真吾 善積
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2009172327A priority Critical patent/JP5359645B2/ja
Priority to US12/797,993 priority patent/US8908057B2/en
Priority to TW099122328A priority patent/TW201127029A/zh
Priority to CN201010233543XA priority patent/CN101964872A/zh
Publication of JP2011029831A publication Critical patent/JP2011029831A/ja
Publication of JP2011029831A5 publication Critical patent/JP2011029831A5/ja
Application granted granted Critical
Publication of JP5359645B2 publication Critical patent/JP5359645B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

【課題】画像撮影に関して、これまでよりも高度な構図制御が行えるようにする。
【解決手段】デジタルスチルカメラでの撮像により得た画像データの画像から検出された被写体における特定の対象部位についての回転角度を検出し、この検出された回転角度に応じて構図判定を行う。そして、判定された構図が得られるようにして、デジタルスチルカメラが載せられた雲台のパン／チルト制御などを行う。
【選択図】図３３

Description

本発明は、例えば画像データを対象として、その画内容が有する構図に関する処理を行うようにされた構図判定装置とその方法に関する。また、構図判定装置に必要な手順を実行させるためのプログラムに関する。
例えば、良い印象を与えることのできる写真を撮影するためのテクニック的な一要素として、構図設定が挙げられる。ここでいう構図は、フレーミングともいわれるもので、例えば写真としての画面内における被写体の配置をいう。
良好な構図とするための一般的、基本的な手法はいくつかあるものの、一般のカメラユーザが良い構図の写真を撮影することは、写真撮影に関する充分な知識、技術を持っていない限り、決して簡単なことではない。このことからすると、例えば良好な構図の写真画像を手軽で簡単に得ることのできる技術構成が求められることになる。
例えば特許文献１には、自動追尾装置として、一定時間間隔の画像間の差を検出して、画像間の差の重心を算出し、この重心の移動量、移動方向から被写体画像の撮像画面に対する移動量、移動方向を検出して撮像装置を制御し、被写体画像を撮像画面の基準領域内に設定する技術構成が開示されている。
また、特許文献２には、自動追尾装置として、人物を自動追尾する場合に、人物の顔が画面中央となるように画面上の人物像全体の面積に対してその人物の上側から２０％の面積となる位置を画面中央にして追尾することによって人物の顔を確実に撮影しながら追尾できるようにした技術が開示されている。
これらの技術構成を構図決定の観点から見れば、人物としての被写体を自動的に探索して、撮影画面において或る決まった構図でその被写体を配置させることが可能となっている。
特開昭５９−２０８９８３号公報 特開２００１−２６８４２５号公報
例えば被写体に関する所定の状況、状態などに対応しては、最適構図も異なってくることがあると考えられる。しかし、上記特許文献による技術では、追尾した被写体をある固定的な構図で配置させることしかできない。従って、被写体の状況などに対応して構図を変更して撮影するようなことはできないことになる。
そこで、本願発明では、例えば写真などとしての画像について良好な構図が手軽に得られるようにするための技術を提案することを目指すこととしたうえで、その際において、被写体の状況・状態の変化にも適応してより高度で柔軟性のある構図の決定が行われるようにすることを目的とする。
そこで本発明は上記した課題を考慮して、構図判定装置として次のように構成する。
つまり、画像データに基づく画像における特定の被写体を検出する被写体検出手段と、上記被写体検出手段により検出される被写体である検出被写体ごとに、上記検出被写体に対応する画像部分における特定の対象部位についての、上記画像内での回転角度を検出する回転角度検出手段と、上記回転角度に基づいて構図を判定する構図判定手段とを備えることとした。
また、撮像システムとして次のように構成する。
つまり、撮像装置部と、上記撮像装置部の撮像視野範囲を変更するようにして可動する機構を有する可動装置部と、上記撮像装置部が撮像して得られる撮像画像の画像データを取得する画像データ取得手段と、上記画像データに基づく画像における特定の被写体を検出する被写体検出手段と、上記被写体検出手段により検出される被写体である検出被写体ごとに、上記検出被写体に対応する画像部分における特定の対象部位についての、上記画像内での回転角度を検出する回転角度検出手段と、上記回転角度に基づいて構図を判定する構図判定手段と、上記構図判定手段により判定された構図が得られるための上記撮像視野範囲となるように、少なくとも上記可動装置部の制御を実行する構図制御手段とを備えることとした。
上記構成では、画像データの画像から検出された被写体における特定の対象部位についての回転角度を検出することとしており、この検出された回転角度に応じて、構図判定を行う。例えば、上記特定の対象部位についての回転角度により、最適とされる構図は異なってくるとの考え方をとることができる。本願発明によれば、上記回転角度に応じて最適構図が得られることとなる。
このようにして、本発明によっては、これまでよりも高度で柔軟性のある構図決定を自動的に行うことが可能となる。これにより、例えば本願発明を適用した装置を利用するユーザは、面倒な手間を掛けることなく、最適構図の画像を得ることが可能になり、これまでよりも高い利便性、有用性が享受できる。
実施形態の撮像システムを成す撮像装置であるデジタルスチルカメラの外観を簡単に示す正面図及び背面図である。 実施形態の撮像システムを成す雲台の外観例を示す斜視図である。 実施形態の撮像システムとして、雲台にデジタルスチルカメラが取り付けられた形態例を示す正面図である。 実施形態の撮像システムとして、雲台にデジタルスチルカメラが取り付けられた形態例を、パン方向における動きの態様例とともに示す平面図である。 実施形態の撮像システムとして、雲台にデジタルスチルカメラが取り付けられた形態例を示す側面図である。 デジタルスチルカメラの構成例を示すブロック図である。 雲台の構成例を示すブロック図である。 実施の形態のデジタルスチルカメラが構図制御に対応して備えるものとされる機能をブロック単位の構成により示す図である。 個別被写体の重心と、複数の個別被写体についての総合被写体重心とを説明する図である。 撮像画像データの画面に設定した原点座標を説明する図である。 第１例の構図制御における、個別被写体数が１である場合の構図制御例を模式的に示す図である。 第１例の構図制御における、個別被写体数が２である場合の構図制御例を模式的に示す図である。 第１例の構図制御における、個別被写体数が３である場合の構図制御例を模式的に示す図である。 第１例の構図制御のための処理手順例を示すフローチャートである。 第２例の構図制御における、検出された個別被写体数が３である場合の構図制御例を模式的に示す図である。 第２例の構図制御のための処理手順例を示すフローチャートである。 第３例及び第４例の構図制御に対応した、顔回転角度の検出手法例を説明するための図である。 第３例の構図制御として、個別被写体数が１の場合の構図制御例を説明するための図である。 第３例の構図制御として、個別被写体数が複数の場合の構図制御例を説明するための図である。 第４例の構図制御としての基本的な制御例を説明するための図である。 第４例の構図制御としての基本的な制御例を説明するための図である。 第４例の構図制御として、個別被写体数が１で、顔方向を組み合わせた場合の制御例を示す図である。 第４例の構図制御として、個別被写体数が１で、顔方向を組み合わせた場合の制御例を示す図である。 第４例の構図制御として、個別被写体数が１で、真横を基準とする顔回転角度に基づいた制御例を示す図である。 第４例の構図制御として、個別被写体数が１で、真横を基準とする顔回転角度に基づいた制御例を示す図である。 第４例の構図制御として、個別被写体数が２の場合の制御例を示す図である。 第４例の構図制御として、個別被写体数が２で、顔方向を組み合わせた場合の制御例、真横を基準とする顔回転角度に基づいた制御例を示す図である。 第４例の構図制御として、個別被写体数が３以上で、顔方向を組み合わせた場合の制御例、真横を基準とする顔回転角度に基づいた制御例を示す図である。 第３例、第４例の構図制御に対応した顔回転角度の区分設定例を示す図である。 通常姿勢対応処理と横臥姿勢対応処理との間での実行判断処理を示すフローチャートである。 第２例に第３例及び第４例を組み合わせた構図制御での、個別被写体数が１の場合に対応する水平オフセット量設定のための処理手順例を示すフローチャートである。 第２例に第３例及び第４例を組み合わせた構図制御での、個別被写体数が複数の場合に対応する水平オフセット量設定のための処理手順例を示すフローチャートである。 横臥姿勢対応処理を示すフローチャートである。 横臥姿勢対応処理での、個別被写体数が１の場合に対応する水平オフセット量設定のための処理手順例を示すフローチャートである。 横臥姿勢対応処理での、個別被写体数が複数の場合に対応する水平オフセット量設定のための処理手順例を示すフローチャートである。 横臥姿勢対応処理での、垂直オフセット量設定のための処理手順例を示すフローチャートである。 実施形態としてのセルフタイマ自動起動機能としての動作を説明するための図である。 実施形態のセルフタイマ自動起動機能としての処理手順例を示すフローチャートである。 実施の形態の撮像システムの変形例としての構成例を示す図である。 実施の形態の撮像システムの他の変形例としての構成例を示す図である。 本願発明に基づく構図判定の適用例を示す図である。 本願発明に基づく構図判定の適用例を示す図である。 本願発明に基づく構図判定の適用例を示す図である。 本願発明に基づく構図判定の適用例を示す図である。 本願発明に基づく構図判定の適用例を示す図である。 本願発明に基づく構図判定の適用例を示す図である。 本願発明に基づく構図判定の適用例を示す図である。 本願発明に基づく構図判定の適用例を示す図である。
以下、本願発明を実施するための形態（以下、実施形態という）について、下記の順により説明する。
＜１．撮像システムの構成＞
［１−１．全体構成］
［１−２．デジタルスチルカメラ］
［１−３．雲台］
＜２．実施形態の構図制御に対応する機能構成例＞
＜３．顔方向と被写体数に応じた構図制御（第１例）＞
＜４．顔方向と被写体数に応じた構図制御（第２例）＞
＜５．顔回転角度に応じた構図制御：通常姿勢時（第３例）＞
＜６．顔回転角度に応じた構図制御例：横臥姿勢時（第４例）＞
＜７．顔回転角度に応じた構図制御のアルゴリズム＞
［７−１．顔回転角度の範囲設定］
［７−２．通常姿勢に対応するアルゴリズム］
［７−３．横臥姿勢に対応するアルゴリズム］
＜８．セルフタイマ自動起動機能＞
＜９．本実施形態の撮像システムの変形例＞
＜１０．本実施形態の構図制御の適用例＞

また、以降の説明にあたり、画枠、画角、撮像視野範囲、構図なる語を用いることとする。
画枠は、例えば画像が嵌め込まれるようにしてみえる一画面相当の領域範囲をいい、一般には縦長若しくは横長の長方形としての外枠形状を有する。
画角は、ズーム角などともいわれるもので、撮像装置の光学系におけるズームレンズの位置によって決まる画枠に収まる範囲を角度により表したものである。一般的には、撮像光学系の焦点距離と、像面（イメージセンサ、フィルム）のサイズによって決まるものとされているが、ここでは、焦点距離に対応して変化し得る要素を画角といっている。以降において、画角の値については、焦点距離（例えば35mm換算）により表す場合がある。
撮像視野範囲は、定位置に置かれた撮像装置により撮像して得られる画像の画枠に収まる範囲について、上記の画角に加え、パン（水平）方向における振り角度と、チルト（垂直）方向における角度（仰角、俯角）により決まるものをいう。
構図は、ここでは、フレーミングともいわれるもので、例えば撮像視野範囲によって決まる画枠内における被写体についてのサイズ設定も含めたうえでの配置状態をいう。
本実施形態としては、本願発明に基づく構成を、デジタルスチルカメラと、このデジタルスチルカメラが取り付けられる雲台とからなる撮像システムに適用した場合を例に挙げることとする。
＜１．撮像システムの構成＞
［１−１．全体構成］
本実施形態の撮像システムは、デジタルスチルカメラ１と、このデジタルスチルカメラ１が載置される雲台１０から成る。
先ず、図１にデジタルスチルカメラ１の外観例を示す。図１（ａ）、（ｂ）は、それぞれデジタルスチルカメラ１の正面図、背面図となる。
この図に示されるデジタルスチルカメラ１は、先ず、図１（ａ）に示すように、本体部２の前面側においてレンズ部２１ａを備える。このレンズ部２１ａは、撮像のための光学系として本体部２の外側に表出している部位である。
また、本体部２の上面部には、レリーズボタン３１ａが設けられている。撮像モードにおいてはレンズ部２１ａにより撮像された画像（撮像画像）が画像信号として生成される。そして、この撮像モードにおいてレリーズボタン３１ａに対する操作が行われると、この操作タイミングのときに得られていたとする撮像画像が、静止画の画像データとして記憶媒体に記録される。つまり、写真撮影が行われる。
また、デジタルスチルカメラ１は、図１（ｂ）に示すようにして、その背面側に表示画面部３３ａを有する。
この表示画面部３３ａには、撮像モード時においては、スルー画などといわれ、そのときにレンズ部２１ａにより撮像している画像が表示される。また、再生モード時においては、記憶媒体に記録されている画像データが再生表示される。さらに、ユーザがデジタルスチルカメラ１に対して行った操作に応じて、ＧＵＩ(Graphical User Interface)としての操作画像が表示される。
なお、本実施形態のデジタルスチルカメラ１は、表示画面部３３ａに対してタッチパネルが組み合わされているものとする。これにより、ユーザは、表示画面部３３ａに対して指を当てることによって、しかるべき操作を行うことができる。
また、本実施形態の撮像システム(撮像装置)は、このデジタルスチルカメラ１としての撮像装置部と、次に説明する雲台１０としての可動機構部(可動装置部)から成るものとしているが、ユーザは、デジタルスチルカメラ１単体のみを使用しても、通常のデジタルスチルカメラと同じように、写真撮影を行うことができる。
図２は、雲台１０の外観を示す斜視図である。また、図３〜図５（ｂ）は、本実施形態の撮像システムの外観として、雲台１０に対してデジタルスチルカメラ１が適切な状態で載置された状態を示している。図３は正面図、図４は平面図、図５（ａ）は側面図であり、図５（ｂ）は側面図によりチルト機構の可動範囲を示したものである。
図２、及び図３，図４，図５（ａ）に示すように、雲台１０は、大きくは接地台部１３の上に本体部１１が組み合わされたうえで、さらに本体部１１に対してカメラ台座部１２が取り付けられた構造を有する。
雲台１０にデジタルスチルカメラ１を載置しようとするときには、デジタルスチルカメラ１の底面側を、カメラ台座部１２の上面側に対して置くようにようにする。
この場合のカメラ台座部１２の上面部には、図２に示すようにして、突起部１３とコネクタ１４が設けられている。
その図示は省略するが、デジタルスチルカメラ１の本体部２の下面部には、突起部１３と係合する孔部が形成されている。デジタルスチルカメラ１がカメラ台座部１２に対して適正に置かれた状態では、この孔部と突起部１３とが係合した状態となる。この状態であれば、通常の雲台１０のパンニング・チルティングの動作であれば、デジタルスチルカメラ１が雲台１０からずれたり、外れてしまったりすることがないようにされている。
また、デジタルスチルカメラ１においては、その下面部の所定位置にもコネクタが設けられている。上記のようにして、カメラ台座部１２にデジタルスチルカメラ１が適正に載置される状態では、デジタルスチルカメラ１のコネクタと雲台１０のコネクタ１４とが接続され、少なくとも、相互間の通信が可能な状態となる。
なお、例えばコネクタ１４と突起部１３は、実際においては、カメラ台座部１２において可動できるようになっている。そのうえで、例えばデジタルスチルカメラ１の底面部の形状に合わせたアダプタなどを併用することで、異なる機種のデジタルスチルカメラを、雲台１０と通信可能な状態で、カメラ台座部１２に載置できるようになっている。
また、デジタルスチルカメラ１とカメラ台座部１２との通信は無線により行われるようにしてもよい。
また、例えば雲台１０に対してデジタルスチルカメラ１が載置された状態では、雲台１０からデジタルスチルカメラ１に対して充電が行えるように構成しても良い。さらには、デジタルスチルカメラ１にて再生している画像などの映像信号を雲台１０側にも伝送し、雲台１０からさらにケーブルや無線通信などを介して、外部モニタ装置に出力させるような構成とすることも考えられる。つまり、雲台１０について、単に、デジタルスチルカメラ１の撮像視野範囲を変更させるためだけに用いるのではなく、いわゆるクレードルとしての機能を与えることが可能である。
次に、雲台１０によるデジタルスチルカメラ１のパン・チルト方向の基本的な動きについて説明する。
まず、パン方向の基本的な動きは次のようになる。
この雲台１０を床面などに置いた状態では、接地台部１３の底面が接地する。この状態において、図４に示すように、回転軸１１ａを回転中心として、本体部１１は時計回り方向、及び反時計回り方向に回転できるようになっている。これにより、雲台１０に載置されているデジタルスチルカメラ１の撮像視野範囲は、左右方向（水平方向）に沿って変化することになる。つまり、パンニングの動きが与えられる。
そのうえで、この場合の雲台１０のパン機構は、時計回り方向及び反時計回り方向の何れについても、３６０°以上の回転が無制限で自在に行える構造を有しているものとする。
また、この雲台のパン機構においては、パン方向における基準位置が決められている。
ここでは、図４に示すようにして、パン基準位置を０°（３６０°）としたうえで、パン方向に沿った本体部１１の回転位置、即ちパン位置を０°〜３６０°により表すものとする。
また、雲台１０のチルト方向の基本的な動きについては次のようになる。
チルト方向の動きは、図５（ａ）及び図５（ｂ）に示すようにして、カメラ台座部１２が回転軸１２ａを回転中心として、仰角、俯角の両方向に可動することにより得られる。
ここで、図５（ａ）は、カメラ台座部１２がチルト基準位置Ｙ0（０°）にある状態が示されている。この状態では、レンズ部２１ａ(光学系部)の撮像光軸と一致する撮像方向Ｆ１と、接地台部１３が接地する接地面部ＧＲとが平行となる。
そのうえで、図５（ｂ）に示すように、先ず、仰角方向においては、カメラ台座部１２は、回転軸１２ａを回転中心として、チルト基準位置Ｙ0（０°）から所定の最大回転角度＋ｆ°の範囲で動くことができる。また、俯角方向においても、回転軸１２ａを回転中心として、チルト基準位置Ｙ0（０°）から所定の最大回転角度−ｇ°の範囲で動くことができるようになっている。このようにして、カメラ台座部１２がチルト基準位置Ｙ0（０°）を基点として、最大回転角度＋ｆ°〜最大回転角度−ｇ°の範囲で動くことで、雲台１０（カメラ台座部１２）に載置されたデジタルスチルカメラ１の撮像視野範囲は、上下方向（垂直方向）沿って変化することになる。つまりチルティングの動作が得られる。
なお、図２〜図５（ｂ）に示した雲台１０の外観構成はあくまでも一例であり、載置されたデジタルスチルカメラ１をパン方向及チルト方向に動かすことができるようにされていれば、他の物理的構成、構造が採られてもかまわない。
［１−２．デジタルスチルカメラ］
先ず、図６のブロック図は、デジタルスチルカメラ１の実際的な内部構成例を示している。
この図において、先ず、光学系部２１は、例えばズームレンズ、フォーカスレンズなども含む所定枚数の撮像用のレンズ群、絞りなどを備えて成り、入射された光を撮像光としてイメージセンサ２２の受光面に結像させる。
また、光学系部２１においては、上記のズームレンズ、フォーカスレンズ、絞りなどを駆動させるための駆動機構部も備えられているものとされる。これらの駆動機構部は、例えば制御部２７が実行するとされるズーム（画角）制御、自動焦点調整制御、自動露出制御などのいわゆるカメラ制御によりその動作が制御される。
イメージセンサ２２は、上記光学系部２１にて得られる撮像光を電気信号に変換する、いわゆる光電変換を行う。このために、イメージセンサ２２は、光学系部２１からの撮像光を光電変換素子の受光面にて受光し、受光された光の強さに応じて蓄積される信号電荷を、所定タイミングにより順次出力する。これにより、撮像光に対応した電気信号(撮像信号)が出力される。なお、イメージセンサ２２として採用される光電変換素子（撮像素子）としては、特に限定されるものではないが、現状であれば、例えばＣＭＯＳセンサやＣＣＤ(Charge Coupled Device)などを挙げることができる。また、ＣＭＯＳセンサを採用する場合には、イメージセンサ２２に相当するデバイス(部品)として、次に述べるＡ／Ｄコンバータ２３に相当するアナログ−デジタル変換器も含めた構造とすることができる。
上記イメージセンサ２２から出力される撮像信号は、Ａ／Ｄコンバータ２３に入力されることで、デジタル信号に変換され、信号処理部２４に入力される。
信号処理部２４では、Ａ／Ｄコンバータ２３から出力されるデジタルの撮像信号について、例えば１つの静止画 (フレーム画像)に相当する単位で取り込みを行い、このようにして取り込んだ静止画単位の撮像信号について所要の信号処理を施すことで、１枚の静止画に相当する画像信号データである撮像画像データ（撮像静止画像データ）を生成することができる。
上記のようにして信号処理部２４にて生成した撮像画像データを画像情報として記憶媒体（記憶媒体装置）であるメモリカード４０に記録させる場合には、例えば１つの静止画に対応する撮像画像データを信号処理部２４からエンコード／デコード部２５に対して出力する。
エンコード／デコード部２５は、信号処理部２４から出力されてくる静止画単位の撮像画像データについて、所定の静止画像圧縮符号化方式により圧縮符号化を実行したうえで、例えば制御部２７の制御に応じてヘッダなどを付加して、所定形式に圧縮された画像データの形式に変換する。そして、このようにして生成した画像データをメディアコントローラ２６に転送する。メディアコントローラ２６は、制御部２７の制御に従って、メモリカード４０に対して、転送されてくる画像データを書き込んで記録させる。この場合のメモリカード４０は、例えば所定規格に従ったカード形式の外形形状を有し、内部には、フラッシュメモリなどの不揮発性の半導体記憶素子を備えた構成を採る記憶媒体である。なお、画像データを記憶させる記憶媒体については、上記メモリカード以外の種別、形式などとされてもよい。
また、本実施の形態としての信号処理部２４は、先の説明のようにして取得される撮像画像データを利用して、後述するように、被写体検出としての画像処理を実行させるように構成される。
また、デジタルスチルカメラ１は信号処理部２４にて得られる撮像画像データを利用して表示部３３により画像表示を実行させることで、現在撮像中の画像であるいわゆるスルー画を表示させることが可能とされる。例えば信号処理部２４においては、先の説明のようにしてＡ／Ｄコンバータ２３から出力される撮像信号を取り込んで１枚の静止画相当の撮像画像データを生成するのであるが、この動作を継続することで、動画におけるフレーム画像に相当する撮像画像データを順次生成していく。そして、このようにして順次生成される撮像画像データを、制御部２７の制御に従って表示ドライバ３２に対して転送する。これにより、スルー画の表示が行われる。
表示ドライバ３２では、上記のようにして信号処理部２４から入力されてくる撮像画像データに基づいて表示部３３を駆動するための駆動信号を生成し、表示部３３に対して出力していくようにされる。これにより、表示部３３においては、静止画単位の撮像画像データに基づく画像が順次的に表示されていくことになる。これをユーザが見れば、そのときに撮像しているとされる画像が表示部３３において動画的に表示されることになる。つまり、スルー画が表示される。
また、デジタルスチルカメラ１は、メモリカード４０に記録されている画像データを再生して、その画像を表示部３３に対して表示させることも可能とされる。
このためには、制御部２７が画像データを指定して、メディアコントローラ２６に対してメモリカード４０からのデータ読み出しを命令する。この命令に応答して、メディアコントローラ２６は、指定された画像データが記録されているメモリカード４０上のアドレスにアクセスしてデータ読み出しを実行し、読み出したデータを、エンコード／デコード部２５に対して転送する。
エンコード／デコード部２５は、例えば制御部２７の制御に従って、メディアコントローラ２６から転送されてきた撮像画像データから圧縮静止画データとしての実体データを取り出し、この圧縮静止画データについて、圧縮符号化に対する復号処理を実行して、１つの静止画に対応する撮像画像データを得る。そして、この撮像画像データを表示ドライバ３２に対して転送する。これにより、表示部３３においては、メモリカード４０に記録されている撮像画像データの画像が再生表示されることになる。
また表示部３３に対しては、上記のスルー画や画像データの再生画像などとともに、ユーザインターフェース画像（操作画像）も表示させることができる。この場合には、例えばそのときの動作状態などに応じて制御部２７が必要なユーザインターフェース画像としての表示用画像データを生成し、これを表示ドライバ３２に対して出力するようにされる。これにより、表示部３３においてユーザインターフェース画像が表示されることになる。なお、このユーザインターフェース画像は、例えば特定のメニュー画面などのようにモニタ画像や撮像画像データの再生画像とは個別に表示部３３の表示画面に表示させることも可能であるし、モニタ画像や撮像画像データの再生画像上の一部において重畳・合成されるようにして表示させることも可能である。
制御部２７は、例えば実際においてはＣＰＵ(Central Processing Unit)を備えて成るもので、ＲＯＭ２８、ＲＡＭ２９などとともにマイクロコンピュータを構成する。ＲＯＭ２８には、例えば制御部２７としてのＣＰＵが実行すべきプログラムの他、デジタルスチルカメラ１の動作に関連した各種の設定情報などが記憶される。ＲＡＭ２９は、ＣＰＵのための主記憶装置とされる。
また、この場合のフラッシュメモリ３０は、例えばユーザ操作や動作履歴などに応じて変更(書き換え)の必要性のある各種の設定情報などを記憶させておくために使用する不揮発性の記憶領域として設けられるものである。なおＲＯＭ２８について、例えばフラッシュメモリなどをはじめとする不揮発性メモリを採用することとした場合には、フラッシュメモリ３０に代えて、このＲＯＭ２８における一部記憶領域を使用することとしてもよい。
操作部３１は、デジタルスチルカメラ１に備えられる各種操作子と、これらの操作子に対して行われた操作に応じた操作情報信号を生成してＣＰＵに出力する操作情報信号出力部位とを一括して示している。制御部２７は、操作部３１から入力される操作情報信号に応じて所定の処理を実行する。これによりユーザ操作に応じたデジタルスチルカメラ１の動作が実行されることになる。
音声出力部３５は、制御部２７の制御により、例えば所定内容の通知のために、所定の音色と発音パターンによる電子音を出力する部位である。
ＬＥＤ部３６は、例えばデジタルスチルカメラ１の筐体前面部に表出して設けられるＬＥＤ(Light Emitting Diode)と、このＬＥＤを点灯駆動する回路部などから成り、制御部２７の制御に応じて、ＬＥＤを点灯、消灯する。このＬＥＤを点灯、消灯パターンにより、所定内容の通知が行われる。
雲台対応通信部３４は、雲台１０側とデジタルスチルカメラ１側との間での所定の通信方式に従った通信を実行する部位であり、例えばデジタルスチルカメラ１が雲台１０に対して取り付けられた状態において、雲台１０側の通信部との間での有線若しくは無線による通信信号の送受信を可能とするための物理層構成と、これより上位となる所定層に対応する通信処理を実現するための構成とを有して成る。上記物理層構成として、図２との対応では、コネクタ１４と接続されるコネクタの部位が含まれる。
［１−３．雲台］
図７のブロック図は、雲台１０の内部構成例を示している。
先に述べたように、雲台１０は、パン・チルト機構を備えるものであり、これに対応する部位として、パン機構部５３、パン用モータ５４、チルト機構部５６、チルト用モータ５７を備える。
パン機構部５３は、雲台１０に取り付けられたデジタルスチルカメラ１について、図４に示したパン（横・左右）方向の動きを与えるための機構を有して構成され、この機構の動きは、パン用モータ５４が正逆方向に回転することによって得られる。同様にして、チルト機構部５６は、雲台１０に取り付けられたデジタルスチルカメラ１について、図５（ｂ）に示したチルト（縦・上下）方向の動きを与えるための機構を有して構成され、この機構の動きは、チルト用モータ５７が正逆方向に回転することによって得られる。
制御部５１は、例えばＣＰＵ、ＲＯＭ、ＲＡＭなどが組み合わされて形成されるマイクロコンピュータを有して成り、上記パン機構部５３、チルト機構部５６の動きをコントロールする。例えば制御部５１がパン機構部５３の動きを制御するときには、移動させるべき方向と移動速度を指示する信号をパン用駆動部５５に対して出力する。パン用駆動部５５は、入力される信号に対応したモータ駆動信号を生成してパン用モータ５４に出力する。このモータ駆動信号は、例えばモータがステッピングモータであれば、PWM制御に対応したパルス信号となる。
このモータ駆動信号によりパン用モータ５４が、例えば所要の回転方向、回転速度により回転し、この結果、パン機構部５３も、これに対応した移動方向と移動速度により動くようにして駆動される。
同様にして、チルト機構部５６の動きを制御するときには、制御部５１は、チルト機構部５６に必要な移動方向、移動速度を指示する信号をチルト用駆動部５８に対して出力する。チルト用駆動部５８は、入力される信号に対応したモータ駆動信号を生成してチルト用モータ５７に出力する。このモータ駆動信号によりチルト用モータ５７が、例えば所要の回転方向及び回転速度で回転し、この結果、チルト機構部５６も、これに対応した移動方向，速度により動くようにして駆動される。
また、パン機構部５３は、ロータリーエンコーダ（回転検出器）５３ａを備えている。ロータリーエンコーダ５３ａは、パン機構部５３の回転の動きに応じて、その回転角度量を示す検出信号を制御部５１に出力する。同様に、チルト機構部５６はロータリーエンコーダ５６ａを備える。このロータリーエンコーダ５６ａも、チルト機構部５６の回転の動きに応じて、その回転角度量を示す信号を制御部５１に出力する。
通信部５２は、雲台１０に取り付けられたデジタルスチルカメラ１内の雲台対応通信部３４との間で所定の通信方式に従った通信を実行する部位であり、雲台対応通信部３４と同様にして、相手側通信部と有線若しくは無線による通信信号の送受信を可能とするための物理層構成と、これより上位となる所定層に対応する通信処理を実現するための構成とを有して成る。上記物理層構成として、図２との対応では、カメラ台座部１２のコネクタ１４が含まれる。
＜２．実施形態の構図制御に対応する機能構成例＞
図８は、デジタルスチルカメラ１側が備える、本実施の形態の構図制御に対応した機能部位についての構成例を示している。
この図において被写体検出処理ブロック６１は、イメージセンサ２２にて得られる撮像信号に基づいて信号処理部２４にて得られる撮像画像データを利用して、被写体の探索制御を含む、被写体検出処理を実行する部位とされる。ここでの被写体検出処理は、先ず撮像画像データの画面の画内容から、人としての被写体を弁別して検出する処理をいう。
また、ここでの検出結果として得られる情報（検出情報）は、人としての被写体の数と、個々の被写体（個別被写体）ごとについての画面内での位置情報、及び個別被写体ごとについての画像内におけるサイズ（占有面積）などとなる。
また、本実施の形態においては、検出情報として、個別被写体ごとの顔方向（被写体方向情報）も得る。ここでの顔方向とは、撮像画像データの画面内において、人としての個別被写体が向いているとされる方向を、顔が向いている方向により示したものとされる。
なお、顔方向の検出は、例えば所定の分解能によって多段階で顔の向いている方向の度合いを検出するようにしてもよい。しかし、以降の説明においては、説明を分かりやすいものとする都合上、顔方向の検出は、左、右の２段階、若しくは左、正面、右による３段階の何れかの検出結果を得るようにされているものとする。なお、左右の２段階で検出する場合には、例えば被写体がほぼ正面を向いていると見ることができる場合であっても、所定のアルゴリズムに従って、左か右のいずれかの検出結果となるように振り分けられる。
また、本実施形態としては、被写体検出処理による検出情報として、顔の回転角度（顔回転角度）についても検出可能とされている。顔回転角度がどのようなものであり、また、どのような手法例によって検出するのかについては後述する。
上記被写体検出処理の具体的手法としては、顔検出の技術を用いることができる。この顔検出の方式、手法はいくつか知られているが、本実施の形態においてはどの方式を採用するのかについては特に限定されるべきものではなく、検出精度や設計難易度などを考慮して適当とされる方式が採用されればよい。
また、顔検出の技術の応用で、上記の顔方向を検出することが可能とされている。例えば、顔検出処理を目、鼻などの特徴点を用いたパターン認識により行うこととすれば、検出された顔全体におけるこれらの特徴点の位置的、距離的な関係により顔方向を認識することが可能である。
なお、人としての個別被写体が向いているとされる方向を検出するのにあたり、例えば体部分の向きの検出であるとか目線の検出であるとか、上記した顔検出技術の応用以外であって、有用な手法があれば、このような手法を採用することについて特に問題はない。つまり、顔方向検出を含み、個別被写体が向いているとされる方向（被写体方向）を検出する手法、アルゴリズムなどは、これまでに知られているものを含め、適当とされるものを選択して採用することとすればよい。
また、この被写体検出処理ブロック６１が実行する被写体検出処理は、信号処理部２４における画像信号処理として実現することができる。先の説明のようにして信号処理部２４がＤＳＰにより構成される場合、この被写体検出処理は、信号処理部２４としてのＤＳＰに与えるプログラム、インストラクションにより実現されることになる。
また、被写体探索制御時においては、雲台１０のパン・チルト機構を制御するために、通信制御処理ブロック６３経由で、上記パン・チルト機構を駆動するための制御信号を出力する。
被写体検出処理ブロック６１の被写体検出処理結果である検出情報は、構図制御処理ブロック６２に対して入力される。
構図制御処理ブロック６２は、入力された被写体についての検出情報を利用して、最適であるとしてみなされる構図（最適構図）を決定する。そして、決定した最適構図を得るための制御（構図制御）を実行する。この場合の構図制御としては、画角（本実施の形態では、例えばズームレンズの制御に応じて変更可能な視野角をいう）の変更制御と、パン（左右）方向に沿った撮像方向の制御（パン制御）と、チルト（上下）方向に沿った撮像方向の制御（チルト制御）から成る。画角の変更のためには、デジタルスチルカメラ１の光学系部２１におけるズームレンズを移動する制御、若しくは撮像画像データに対する画像切り出しなどの画像信号処理の何れか一方を行う。また、パン制御、チルト制御は、雲台１０のパン・チルト機構を制御して動かすことにより行う。パン・チルト機構の制御を行うとき、構図制御処理ブロック６２は、パン・チルト機構をしかるべき位置状態とするための制御信号を、通信制御処理ブロック６３を経由して、雲台１０側に送信させる。
なお、上記構図制御処理ブロック６２が実行する構図決定と構図制御の処理は、例えば、制御部２７（ＣＰＵ）がプログラムに基づいて実行するように構成することができる。あるいは、これに信号処理部２４がプログラムに基づいて実行する処理を併用した構成とすることも考えられる。また、通信制御処理ブロック６３は、雲台１０側の通信部５２との通信処理を所定のプロトコルに従って実行するようにして構成される部位であり、雲台対応通信部３４に対応する機能部位となる。
＜３．顔方向と被写体数に応じた構図制御（第１例）＞
次に、構図制御の第１例について説明する。第１例の構図制御は、以降説明するように、顔方向と被写体数に応じて構図を変更するものとなる。図９は、この第１例の構図制御に対応して被写体検出処理ブロック６１が実行するとされる、被写体検出処理の例を模式的に示している。
ここで、被写体検出処理ブロック６１が、図９（ａ）の画枠３００に示す画内容の撮像画像データを取り込んだとする。この撮像画像データの画内容としては、人としての被写体が１つ存在した画を撮影して得られたものである。また、図９（ａ）（及び図９（ｂ））には、１画面をマトリクス状に区切った状態を示しているが、これは、撮像画像データとしての画面が、所定数による水平・垂直画素の集合から成るものであることを模式的に示している。
図９（ａ）に示す画内容の撮像画像データを対象に被写体検出（顔検出）を行うことによっては、検出被写体として、図において示される１つの個別被写体ＳＢＪの顔が検出されることになる。即ち、顔検出処理によって１つの顔が検出されることを以て、ここでは１つの個別被写体が検出されることとしている。そして、このようにして個別被写体を検出した結果としては、先にも述べたように、個別被写体の数、向き、位置、サイズの情報を得るようにされる。
また、個別被写体数に関しては、例えば顔検出により検出された顔の数を求めればよい。図９（ａ）の場合には、検出される顔が１つであるから、個別被写体数としても１であるとの結果が得られる。
また、個別被写体ごとの位置情報に関しては、少なくとも、撮像画像データとしての画像内における個別被写体ＳＢＪの重心Ｇ（X,Y）を求めることとする。
なお、この場合の重心Ｇ（X,Y）の基準となる撮像画像データの画面上のX,Y原点座標Ｐ(0,0)は、例えば図１０に示すようにして、画枠３００の画面サイズに対応したX軸方向(水平方向)の幅(水平画サイズ)Cxの中間点と、Y軸方向（垂直方向）の幅(垂直画サイズ)Cyの中間点との交点であることとしている。
また、この重心Ｇについての個別被写体の画像内における位置の定義であるとか、重心Ｇをどのようにして設定するのかについては、例えばこれまでに知られている被写体重心検出方式を採用することができる。
また、個別被写体ごとのサイズについては、例えば顔検出処理により顔部分であるとして特定、検出される領域の画素数を求めるようにすればよい。
また、個別被写体ごとの顔方向に関しては、先にも述べたように、顔検出処理に基づいて、例えば左、右の２段階での何れであるのかが、若しくは、左、正面、右の３段階での何れであるのかが検出されることになる。
また、図９（ｂ）に示す撮像画像データを取り込んで被写体検出処理ブロック６１が被写体検出処理を実行したとされると、先ずは、顔検出により２つの顔の存在することが特定されることになるので、個別被写体数については２であるとの結果が得られることになる。ここでは、２つの個別被写体のうち、左側を個別被写体ＳＢＪ０、右側を個別被写体ＳＢＪ１として識別性を持たせている。また、個別被写体ＳＢＪ０、ＳＢＪ１ごとに求めた重心の座標については、それぞれ、Ｇ0(X0，Y0)、Ｇ1(X1,Y1)として示されている。
また、このようにして、２以上の個別被写体が検出される場合には、これら複数の個別被写体をひとまとまりの被写体（総合被写体）としてみた場合の重心である、総合被写体重心Ｇｔ（Xg,Yg）を求めるようにされる。
この総合被写体重心Ｇｔをどのようにして設定するのかについては、いくつか考えることができるが、ここでは、最も簡易な例として、検出された複数の個別被写体のうちで、画面の左端と右端の両端に位置する個別被写体の重心を結ぶ線分上の中間点を総合被写体重心Ｇｔとして設定した場合を示している。この総合被写体重心Ｇｔは、例えば後述するようにして構図制御において利用することができる情報であり、個別被写体の重心の情報が取得されれば演算により求められる情報である。従って、総合被写体重心Ｇｔについては、被写体検出処理ブロック６１により求め、これを検出情報として出力することとしてもよいが、構図制御処理ブロック６２が、検出情報として取得した個別被写体の重心の位置を示す情報のうちから、左右両端に位置する個別被写体の重心に関する情報を利用して求めるようにしてもよい。
なお、ほかには例えば、複数の個別被写体のサイズに応じて重み付け係数を与え、この重み付け係数を利用して、例えばサイズの大きな個別被写体に総合被写体重心Ｇｔの位置が近くなるように配慮した設定手法も考えることができる。
また、個別被写体のサイズについては、例えば個別被写体ＳＢＪ０、ＳＢＪ１ごとに、その検出された顔が占有するとされる画素数を求めることとすればよい。
続いては、図１１〜図１３を参照して、本実施の形態における第１例としての構図制御により得られる構図についての説明を行う。
図１１には、被写体探索の結果により被写体を検出したときの撮像画像データとして、１つの個別被写体ＳＢＪが撮像された画内容が得られた場合の画枠３００を示している。
なお、本実施の形態にあっては、デジタルスチルカメラ１を取り付けた雲台１０を通常に設置した場合には、横長の画像が撮像されるようにしてデジタルスチルカメラ１の向きが設定される。従って、第１例や後述する第２例、第３例、第４例にあっては、撮像により横長の画像が得られることを前提とする。
上記図１１に示したようにして１つの個別被写体が検出された場合には、まず、この個別被写体ＳＢＪの撮像画像データの画面内における占有率が、最適とみなされる所定値となるように個別被写体のサイズを変更する。例えば、個別被写体が検出された段階において、この個別被写体の画面内における占有率が上記の所定値より小さい場合、個別被写体の占有率が所定値にまで大きくなるように画角を狭くしていくズーム制御を実行させる。また、個別被写体の画面内における占有率が所定値より大きい場合には、個別被写体の占有率が所定値にまで小さくなるように画角を広くしていくズーム制御を実行させる。このようなズーム制御により、構図として先ずは、検出された個別被写体被が１つの場合における被写体サイズが適正となるようにされる。
次に、検出された個別被写体被が１つの場合における画面上での被写体の位置(被写体位置)は、次のようにして調整される。
この被写体位置については、検出された顔方向の情報を利用する。この図１１の場合の個別被写体ＳＢＪは、顔方向が左であるとして検出されているものとする。このとき、この図１１に示される画内容の画面を実際に見たとした場合、これを見る者からは、画面において、個別被写体ＳＢＪの顔が左側を向いているようにして見えることになる。ちなみに、この個別被写体ＳＢＪとしての実際の人物自身は、現実には、撮像を行った撮像装置と相対する方向を正面として、これより右側を向いていることになる。
また、この被写体位置調整にあたっては、画像中の原点座標Ｐ(0,0)を通過する垂直線、即ちＹ軸線と一致する直線であって、被写体位置調整の基準線となる垂直画像領域分割線Ｌｄ１を仮想的に設定する。
そして、この場合のようにして顔方向が左であると検出された場合には、個別被写体ＳＢＪの重心Ｇを、上記垂直画像領域分割線Ｌｄ１に対応する位置（Ｘ＝０）から、水平オフセット量θｘで表される右方向への移動量に従って移動させた位置（水平シフト位置）に配置させる。このためには、重心Ｇが、上記水平シフト位置にくるようにして、雲台１０のパン機構を駆動させる制御を実行する。
一般に、被写体を画面の中央に位置させた構図は、良くない構図の典型とされている。そこで、例えば三分割法であるとか黄金率法などに代表されるようにして、画面中央から在る規則に従って被写体の位置をずらした方が、良い構図が得られるものとされている。本実施の形態としては、このような構図決定の手法に従い、先ずは、画面水平方向における個別被写体ＳＢＪの位置(重心Ｇ)について、画面中央に対して一定量（水平オフセット量θｘ）だけ移動させるようにしているものである。
そのうえで、さらに、本実施の形態では、図１１に例示するように、検出された個別被写体の顔方向が左であれば、その重心Ｇの水平方向における位置について、Ｙ軸線に沿った垂直画像領域分割線Ｌｄ１により２分割される左右の画像領域(分割領域)のうちで、顔方向が示す「左」とは反対側の「右」側の画像領域に在るようにさせることで、画面においては、個別被写体ＳＢＪの顔が向いている方向である左側において空間が得られるようにしている。このような構図とすることで、例えば、顔方向が左であるとされる個別被写体ＳＢＪの重心Ｇを、左右方向における画面中央に対応させた(一致させた)被写体位置とする場合や、垂直画像領域分割線Ｌｄ１に対して左方向の画像領域とするような場合と比較して、より良好な構図を得ることができる。
本実施の形態における水平オフセット量θｘとしての実値を決定するアルゴリズムについては多様に考えられるが、ここでは、三分割法に基づいて行うものとしている。三分割法は、最も基本的な構図設定手法の１つであり、方形の画面を垂直方向と水平方向のそれぞれに沿って三等分する仮想線上に被写体を位置させることにより良好な構図を得ようとするものである。
例えば、図１１は、水平画サイズCxを三等分するようにされた画面縦方向に沿った２本の仮想線のうち、右側の仮想線上において重心Ｇが位置するようにして、水平オフセット量θｘが設定されているものである。これにより、個別被写体の顔方向に応じた水平方向における被写体位置として最適とされる構図の１つが得られることになるわけである。
また、図示による説明は省略するが、検出された１つの個別被写体ＳＢＪについて、顔方向について右であることが検出されている場合には、図１１に示される位置に対して、垂直画像領域分割線Ｌｄ１を基準にして線対称となる水平位置に個別被写体ＳＢＪの重心Ｇが位置するようにされる。つまり、この場合の水平オフセット量θｘとしては、図１１の場合の実値の正／負を反転した値が設定され、この水平オフセット量θｘに基づいたパン制御が行われる。
また、図１２（ａ）のように、画枠３００内において、検出被写体として２つの個別被写体ＳＢＪ０、ＳＢＪ１が検出された場合には、構図制御として、先ず、個別被写体ＳＢＪ０、ＳＢＪ１の画像部分の集合から成るとされる総合被写体画像部分のサイズ（例えば画面全体に対する被写体画像部分の占有率としても捉えることができる）について、例えば個別被写体数が２である場合に対応して最適であるとして設定された値となるようにして調整(ズーム制御)を行う。
なお、上記の総合被写体画像部分をどのようにして定義してそのサイズを求めるのかについてはいくつか考えられるが、例えば、検出された複数の個別被写体ごとの画像部分のサイズを足し合わせるようにして求めることができる。あるいは、検出された複数の個別被写体が全て含まれるようにして仮想的に描いた線により囲まれる画像部分のサイズとして求めることも考えられる。
また、これら２つの個別被写体ＳＢＪ０、ＳＢＪ１についての水平方向における被写体位置に関しては、これら２つの個別被写体ＳＢＪ０、ＳＢＪ１ごとの顔方向の情報を利用する。
この図１２（ａ）に示される２つの個別被写体ＳＢＪ０、ＳＢＪ１の顔方向は、何れも左であると検出されているものとする。つまり、２つ在る個別被写体の全ての顔方向が同一とされており、これらの顔方向がこの場合には左とされているものである。
この場合には、図１１に示した１つの個別被写体ＳＢＪの顔方向が左であった場合に準じて、画面左側に空間ができるように、個別被写体ＳＢＪ０、ＳＢＪ１から成る総合被写体画像部分を、顔方向が示す「左」とは反対となる、垂直画像領域分割線Ｌｄ１の右側に寄せて位置させるようにする。このためには、例えば図示しているように、右側に所定量ずらすための水平オフセット量θｘを設定した上で、２つの個別被写体ＳＢＪ０、ＳＢＪ１から成る総合被写体画像部分の重心である、総合被写体重心Ｇｔについて、垂直画像領域分割線Ｌｄ１である原点座標Ｐ(0,0)を通過する垂直線（Ｙ軸線）から水平オフセット量θｘだけ移動した位置にくるように、パン制御を行うようにされる。
また、図示はしていないが、２つの個別被写体ＳＢＪ０、ＳＢＪ１の顔方向が何れも右で同一である場合には、図１２（ａ）の位置に対して、垂直画像領域分割線Ｌｄ１を基準にして線対称となる位置（Ｙ軸線に対して左側の画面領域において同じ水平オフセット量θｘの絶対値分移動した位置）に総合被写体重心Ｇｔが在るようにしてパン制御を行うことになる。
ただし、このように個別被写体が複数である場合において、個別被写体数が１の場合のときに最適とされる水平オフセット量θｘを与えたとすると、右（あるいは左）に寄りすぎた印象の構図となりやすい。そこで、図１２（ａ）に示されるように個別被写体数が２の場合においては、水平オフセット量θｘについて、図１１に示した個別被写体数が１の場合よりも小さい値（絶対値）を所定規則によって設定することとしている。
また、図１２（ｂ）には、２つの個別被写体ＳＢＪ０、ＳＢＪ１について検出された顔方向が、それぞれ左、右となっている場合の例を示している。なお、これは、個別被写体数が２である場合において、それぞれの顔方向が同一ではない場合の一例を示している。
この場合の水平方向における総合被写体画像部分の位置については、図示するようにして、２つの個別被写体ＳＢＪ０、ＳＢＪ１の総合被写体重心Ｇｔが、垂直画像領域分割線Ｌｄ１上に位置するようにして調整（パン制御）を行う。
これにより得られる構図では、２つの個別被写体ＳＢＪ０、ＳＢＪ１から成る総合被写体画像部分は、水平方向において画面のほぼ中央に位置することとなる。しかし、被写体が複数とされて、かつ、これらの被写体が同一の方向を向いていないような画の場合、総合被写体画像部分が中央にきたとしても、その構図は相応に良好なものとなる。
また、図１３においては、検出被写体として、画枠３００内に３つの個別被写体ＳＢＪ０、ＳＢＪ１、ＳＢＪ２が検出された場合を示している。
この場合の構図制御としても、先ず、個別被写体ＳＢＪ０、ＳＢＪ１、ＳＢＪ２から成る総合被写体画像部分のサイズについて、個別被写体数が３である場合に対応して最適であるとして設定された値となるようにして調整(ズーム制御)を行う。
そのうえで、総合被写体画像部分の水平方向における位置については、この場合にも、各個別被写体ごとに検出された顔方向の情報を利用することになる。図１３においては、３つの個別被写体ＳＢＪ０、ＳＢＪ１、ＳＢＪ２の顔方向が全て左で同一であるものとする。
この場合には、図１２（ａ）の場合に準じて、個別被写体ＳＢＪ０、ＳＢＪ１、ＳＢＪ２から成る画像領域部分を垂直画像領域分割線Ｌｄ１よりも右側の画像領域に寄せて位置させるようにして、水平オフセット量θｘの設定と、これによって決まる所要位置への総合被写体重心Ｇｔの移動のためのパン制御を行うようにされる。また、仮に３つの個別被写体ＳＢＪ０、ＳＢＪ１、ＳＢＪ２の顔方向が全て右で同一である場合には、総合被写体重心Ｇｔは、図１３の位置に対して、垂直画像領域分割線Ｌｄ１を基準にして線対称となる水平位置に在るようにしてパン制御が行われることになる。
また、このときに設定される水平オフセット量θｘは、図１２（ａ）のように検出された個別被写体が２つの場合よりも、小さな絶対値を設定するようにされる。これにより、例えば個別被写体数が３とされる場合に応じて、水平方向における被写体位置はより最適となって、良好な構図が得られることになる。
また、この第１例の構図制御にあって、３つの個別被写体ＳＢＪ０、ＳＢＪ１、ＳＢＪ２の顔方向が全て同一ではなかった場合には、図１２（ｂ）に準じて、垂直画像領域分割線Ｌｄ１（Ｙ軸線）上に総合被写体重心Ｇｔが位置する構図が得られるようにする。
これまでの説明によると第１例の構図制御における水平方向の位置調整は、先ず、個別被写体ごとに検出される顔方向に対応させていることが分かる。つまり、最も基本的な制御として、個別被写体数が１の場合には、その個別被写体で検出された顔方向が左、右の何れであるのかに対応して、その重心Ｇ（総合被写体重心Ｇｔ）について、垂直画像領域分割線Ｌｄ１（Ｙ軸線）の右側領域、あるいは左側領域に対して所定量だけずらして位置させる（重心Ｇの水平オフセットを行う）ようにして、画面内では被写体の向いているほうに空間ができるようにしている。
そして、個別被写体数が複数（２以上）の場合には、個別被写体の顔方向が全て同一ならば、上記の位置調整に倣い、総合被写体重心Ｇｔの水平オフセットを行うようにされ、全て同一でないならば、水平オフセットを行うことなく、総合被写体重心Ｇｔには垂直画像領域分割線Ｌｄ１に対応したX座標を与えて、総合被写体画像部分が画面内のほぼ中央に在るようにする。
そのうえで、総合被写体重心Ｇｔ（重心Ｇは個別被写体数が１の場合の総合被写体重心Ｇｔとみなす）の水平オフセットを行うのにあたっては、図１１〜図１３により述べたようにして、水平オフセット量θｘを、個別被写体数に応じて変更するものとしている。これにより、画面における総合被写体画像部分の水平方向に沿った位置について、個別被写体数に応じた最適な位置が得られるように配慮している。
図１４は、上記図１１〜図１３により説明した第１例としての構図制御に対応して、図８に示した被写体検出処理ブロック６１、構図制御処理ブロック６２、及び通信制御処理ブロック６３が実行するものとされる手順例を示している。また、この図に示す処理は、ＤＳＰとしての信号処理部２４、制御部２７におけるＣＰＵがプログラムを実行することで実現されるものとしてみることができる。このようなプログラムは、例えばＲＯＭなどに対して製造時などに書き込んで記憶させるほか、リムーバブルの記憶媒体に記憶させておいたうえで、この記憶媒体からインストール(アップデートも含む)させるようにしてＤＳＰ対応の不揮発性の記憶領域やフラッシュメモリ３０などに記憶させることが考えられる。また、ＵＳＢやＩＥＥＥ１３９４などのデータインターフェース経由により、他のホストとなる機器からの制御によってプログラムのインストールを行えるようにすることも考えられる。さらに、ネットワーク上のサーバなどにおける記憶装置に記憶させておいたうえで、デジタルスチルカメラ１にネットワーク機能を持たせることとし、サーバからダウンロードして取得できるように構成することも考えられる。
また、以降のフローチャートの説明においては、これまでに使用してきた「総合被写体重心（Ｇｔ）」、及び「総合被写体画像部分」の語句は、検出されている個別被写体数が２以上の場合のみに適用するのではなく、１の場合にも適用する。つまり、例えば図１１に示した重心Ｇが、検出されている個別被写体数が１の場合の総合被写体重心Ｇｔとなるものであり、また、図１１の個別被写体ＳＢＪのみからなる画像部分が、検出されている個別被写体数が１の場合の総合被写体画像部分となる。
先ず、ステップＳ１０１〜ステップＳ１０６までは、被写体を探索して検出するための手順となり、主に被写体検出処理ブロック６１が実行するものとされる。
ステップＳ１０１では、イメージセンサ２２からの撮像信号に基づいた撮像画像データを取り込んで取得する。ステップＳ１０２では、上記ステップＳ１０１により取得した撮像画像データを利用して被写体検出処理を実行する。ここでの被写体検出処理としては、例えば先ず、先に述べた顔検出などの手法により、撮像画像データとしての画面内容において個別被写体が存在するか否かについての検出を行う。そして、個別被写体が存在する場合には、個別被写体数、個別被写体ごとの位置（重心）、サイズ、及び個別被写体ごとの顔方向を、検出情報として得るようにされる。
ステップＳ１０３では、上記ステップＳ１０２による被写体検出処理の結果として、個別被写体の存在が検出されたか否かについての判別を行う。ここで個別被写体の存在が検出されなかった（検出される個別被写体数が０である）として否定の判別結果が得られた場合には、ステップＳ１０４に進み、画角を広くするためのズームレンズの移動制御（ズームアウト制御）を実行する。このようにして画角を広くすることで、より広い範囲が撮像されることになるので、それだけ個別被写体を補足しやすくなる。また、これとともに、ステップＳ１０５により、被写体探索のために雲台１０のパン・チルト機構を動かすための制御（パン・チルト制御）を実行する。このときには、被写体検出処理ブロック６１がパン・チルト制御のための制御信号を通信制御処理ブロック６３に渡し、雲台１０の通信部５２に対して送信されるようにして制御を行う。
なお、上記被写体探索のためのパン・チルト制御として、雲台１０のパン・チルト機構をどのようなパターンで動かすのかについては、例えば探索が効率的に行われることを配慮して決めることとすればよい。
また、ステップＳ１０６においては、モードフラグｆについて０を設定（ｆ＝０）し、ステップＳ１０１に戻るようにされる。
このようにして、撮像画像データの画内容において少なくとも１つの個別被写体が検出されるまでは、ステップＳ１０１〜ステップＳ１０６の手順が繰り返される。このとき、デジタルスチルカメラ１と雲台１０から成るシステムは、被写体探索のために、デジタルスチルカメラ１がパン方向及びチルト方向に動かされている状態となっている。
そして、ステップＳ１０３において個別被写体の存在が検出されたとして肯定の判別結果が得られたとされると、ステップＳ１０７以降の手順に進む。ステップＳ１０７以降の手順は、主に構図制御処理ブロック６２が実行するものとなる。
ステップＳ１０７においては、現在のモードフラグｆに設定されている値が何であるのかを判別する。
ｆ==0であると判別された場合には、構図制御として、最初のラフな被写体捕捉モードを実行すべき場合であることを示すものであり、図のようにしてステップＳ１０８から始まる手順を実行する。
ステップＳ１０８においては、総合被写体重心Ｇｔが、撮像画像データの画面（撮像画像データの画内容を表したとするときに得られる画面）における原点座標Ｐ(0,0)(図１０参照)に位置しているか否かについての判別を行う。ここで、総合被写体重心Ｇｔは、未だ原点座標に位置していないとして否定の判別結果が得られた場合には、ステップＳ１０９により、総合被写体重心Ｇｔが原点座標に位置するようにして、雲台１０のパン・チルト機構を動かすための制御を実行し、ステップＳ１０１に戻る。このようにして、個別被写体の存在が検出されている状態での最初の構図制御の手順である捕捉モードは、総合被写体重心Ｇｔを、先ずは初期の基準位置である原点座標に対して位置させるようにして雲台１０のパン・チルト機構を制御することで、検出された個別被写体が写っているとされる画像領域を画面内の中央に位置させようとするものである。
なお、上記ステップＳ１０９としてのパン・チルト制御を実際に行うのにあたってのアルゴリズムの一例をここで示しておく。
モードフラグｆ==0の状態で個別被写体が検出される状態では、被写体検出処理ブロック６１は、下記の（数１）により示される演算を行って、パン方向における必要移動量Ｓpanとチルト方向における必要移動量Stiltを求めるようにされる。下記の（数１）において、ｎは検出された個別被写体数を示し、Ｐ（Xi，Yi）は０番からｎ−１番までの番号が与えられた個別被写体のうちのｉ番目の個別被写体の重心のX,Y座標を示す。確認のために、図７に示したように、この場合における原点座標(0,0)は、画面における水平方向における中点と垂直方向における中点との交点となる。
Figure 2011029831
例えばステップＳ１０８では、上記のようにして求められる必要移動量Span,Stiltの絶対値が所定値(厳密には０となるが、０より大きな値とされてもよい)以内であるか否かを判別することを以て、総合被写体重心Ｇｔが原点座標Ｐに在るか否かと同等の判別を行うことができる。そして、ステップＳ１０９においては、必要移動量Span,Stiltの絶対値が所定値以内となるようにしてパン・チルト制御を実行するようにされる。なお、このときのパン・チルト制御に際してのパン機構部５３、チルト機構部５６の速度は一定としても良いのであるが、例えば、必要移動量Span,Stiltが大きくなるのに応じて速度を高くしていくなどして可変させることが考えられる。このようにすれば、パンニングあるいはチルティングによる必要移動量が大きくなったときも、比較的短時間で総合被写体重心Ｇｔを原点座標に近づけることが可能になる。
そして、ステップＳ１０８において、総合被写体重心Ｇｔが原点座標に位置したとして肯定の判別結果が得られたとされると、ステップＳ１１０によりモードフラグｆについて１を設定（ｆ＝１）してステップＳ１０１に戻る。このステップＳ１１０によりモードフラグｆについて１が設定された状態は、構図制御における最初の手順である捕捉モードは完了し、次の第１の構図の調整制御(構図調整モード)を実行すべき状態であることを示す。
そして、モードフラグｆ==1とされて第１の構図調整モードを実行すべき場合には、ステップＳ１０７からステップＳ１１１に進むことになる。第１の構図調整モードは、検出された個別被写体数と個別被写体ごとの顔方向の組み合わせに応じた最適構図を得るためズーム(画角)調整とパン制御を行うものである。なお、画角調整とパン制御によっては画面内における個別被写体のサイズや個別被写体の位置が変化する結果を生じる。
ステップＳ１１１においては、現在検出されている個別被写体数がいくつであるかを判別し、１であればステップＳ１１２から始まる手順を実行する。
ステップＳ１１２においては、検出されている個別被写体数が１であることに対応した目標被写体サイズを設定する。ここでの目標被写体サイズとは、画面における総合被写体画像部分のサイズとして構図的に最適であるとみなされるものをいい、例えば図１１との対応では、「（１つの）個別被写体ＳＢＪの撮像画像データの画面内における占有率が、最適とみなされる所定の範囲値」に相当する。
ステップＳ１１３においては、個別被写体のサイズがＯＫであるか否かについて判別する。個別被写体のサイズがＯＫである状態とは、そのときに検出されている個別被写体のサイズが、上記ステップＳ１１２により設定された目標被写体サイズとなっている状態である。ステップＳ１１３において否定の判別結果が得られた場合には、ステップＳ１１４に進み、個別被写体のサイズが目標被写体サイズとなるようにズームレンズの駆動制御（ズーム制御）を実行し、ステップＳ１０１に戻る。
なお、このときには、総合被写体重心Ｇｔの水平方向（左右方向）における位置に関しては、ステップＳ１０９にて設定されたＸ座標（X=０）に対応する位置を維持するようにしてズーム制御を行うようにされる。これにより、個別被写体を左右方向においてほぼ中央に位置させた状態を維持することができる。また、被写体探索動作の実行時においては、ステップＳ１０４によりズームアウト制御が行われるので、ステップＳ１１４としてのズーム制御に際してはズームイン制御となる場合が多いと考えられる。しかし、何らかの原因で、そのときに検出された個別被写体のサイズが、目標被写体サイズよりも大きくなっている状態に応じてステップＳ１１３にて否定の判別結果が得られた場合、ステップＳ１１４ではズームアウトを実行させて、実際の個別被写体のサイズが目標被写体サイズとなるように制御することになる。
そして、ステップＳ１１３において肯定の判別結果が得られたのであればステップＳ１１５以降の手順に進むようにされる。
ステップＳ１１５においては、水平オフセット量θｘを設定する。
ここで、本実施の形態における第１の構図制御にあっては、水平オフセット量θｘについては、下記の（式１）により求めるものとする。
θｘ＝Ｄ×（Ｃｘ／６）／ｎ・・・（式１）
上記（式１）において、Ｄは、顔方向若しくは複数の顔方向の組み合わせ（関係性）に基づいて、＋１、−１、０のいずれかが設定される係数である。Ｃｘは、水平画サイズを示す。Ｃｘ／６の項は、三分割法に基づいて得られる縦方向に沿った仮想線のX座標に対応したものである。ｎは、検出されている個別被写体数を示す。
ステップＳ１１５に至った場合、検出されている個別被写体数は１であるので、ｎ＝１となる。また、この図のアルゴリズムの場合には、顔方向は、左、右の２段階により検出されるものとする。この場合、係数Ｄは、顔方向が左である場合には＋１となり、右である場合には−１となる。
すると、検出されている１つの個別被写体の顔方向が左である場合には、θｘ＝−Ｃｘ／６となる。この水平オフセット量θｘは、原点座標P(0,0)を通過する垂直線（垂直画像領域分割線Ｌｄ１：Ｙ軸線）から、Ｃｘ／６だけ右に移動した垂直線の位置を示すことになるが、この垂直線の位置は、ちょうど、三分割法に従った２本の仮想線のうち、右側にある仮想線と同じになる。
一方、検出されている１つの個別被写体の顔方向が右である場合には、水平オフセット量θｘ＝Ｃｘ／６となり、原点座標P(0,0)を通過する垂直線（垂直画像領域分割線Ｌｄ１：Ｙ軸線）から、Ｃｘ／６だけ左に移動した垂直線の位置を示すことになる。そして、この垂直線の位置は、ちょうど、三分割法に従った2本の仮想線のうち、左側にある仮想線と同じになる。
ステップＳ１１６においては、総合被写体重心Ｇｔ（この場合には、個別被写体数が１なので、図１１の重心Ｇと総合被写体重心Ｇｔは同じになる）が、上記ステップＳ１１５により設定された水平オフセット量θｘに対応するX座標上に位置しているか否かの判別処理を行う。ここで否定の判別結果が得られた場合には、ステップＳ１１７に進む。
ステップＳ１１７では、水平オフセット量θｘに対応するX座標上に総合被写体重心Ｇｔが位置する状態となるようにパン制御を実行し、ステップＳ１０１に戻る。
そして、上記ステップＳ１１７の制御により、水平オフセット量θｘに対応するX座標上に総合被写体重心Ｇｔが位置する状態に至ったとされると、ステップＳ１１６にて肯定の判別結果が得られることになる。このようにしてステップＳ１１６にて肯定の判別結果が得られたときには、個別被写体ＳＢＪの重心は、図１１により示したようにして、その顔方向に応じて、垂直画像領域分割線Ｌｄ１ら水平オフセット量θｘだけ左又は右に移動した位置にあることになる。
ステップＳ１１６において肯定の判別結果が得られた場合には、ステップＳ１１８に進み、モードフラグｆについて２を設定してステップＳ１０１に戻る。このモードフラグｆ==２となっている状態は、後の説明からも理解されるように、第１の構図調整が完了して、次の第２の構図調整モードを実行したうえでレリーズ動作を実行すべきであることを示す。
また、ステップＳ１１１において、検出されている個別被写体数が２以上であると判別した場合には、ステップＳ１１９から始まる手順を実行する。
ステップＳ１１９においては、目標被写体サイズを設定する処理を行う。個別被写体数が２以上とされる場合、最適構図を得るための目標被写体サイズは、例えば個別被写体数に応じて異なってくるものとされる。そこで、ステップＳ１１９においては、ステップＳ１０２において検出された個別被写体数に応じた所定の目標被写体サイズを設定する。また、確認のために述べておくと、個別被写体数が２以上の場合の目標被写体サイズは、検出されている全ての個別被写体から成る総合被写体画像部分を対象としたものとなる。
ステップＳ１２０においては、個別被写体のサイズがＯＫであるか否かについて判別する。つまり、このときの個別被写体についての検出情報から求められる総合被写体画像部分のサイズが、上記ステップＳ１２０により設定された目標被写体サイズとなっているか否かについて判別する。
ステップＳ１２０において否定の判別結果が得られた場合には、ステップＳ１２１に進む。ステップＳ１２１においては、ステップＳ１１４に準じて、このとき検出されている個別被写体の総合被写体画像部分のサイズが、ステップＳ１１９により設定された目標被写体サイズとなるようにズームレンズの駆動制御（ズーム制御）を実行し、ステップＳ１０１に戻る。
これに対して、ステップＳ１２０において肯定の判別結果が得られた場合には、ステップＳ１２２に進む。
ステップＳ１２２では、複数の個別被写体ごとに検出された顔方向について、これらが全て同一であるか否かの判別処理を行う。
先ず、ステップＳ１２２において肯定の判別結果が得られた場合には、ステップＳ１２３以降の手順を実行する。ステップＳ１２３においては、先に述べた(式１)により水平オフセット量θｘを設定する。
この場合には、(式１)における係数Ｄには、検出されている同一の顔方向が、左、右の何れを示しているのかに応じて、＋１と−１のいずれかが代入される。また、ｎには、検出されている個別被写体数に応じた２以上の数が代入されることになる。このことからも理解されるように、(式１)によっては、個別被写体数が多くなるのに応じて、求められるθｘの絶対値は小さくなる。つまり、図１１、図１２（ａ）、図１３によっても説明したように、個別被写体数が多くなるのに応じて、総合被写体画像部分の左右における垂直画像領域分割線Ｌｄ１からのオフセット量は少なくなっていくようにされる。
これに対して、ステップＳ１２２において、否定の判別結果が得られた場合には、ステップＳ１２４により、水平オフセット量θｘ＝０を設定する。
なお、このステップＳ１２４の処理にあっても、（式１）による演算を行うことで、θｘ＝０を設定することができる。つまり、ステップＳ１２２にて否定の判別結果が得られた場合（即ち複数の顔方向が同一でない場合）には、ステップＳ１２４にて、係数Ｄについて０を代入して（式１）の演算を行うようにアルゴリズムを構成するものである。
ステップＳ１２３、又はステップＳ１２４の手順を実行した後は、ステップＳ１２５以降の手順に進む。
ステップＳ１２５、１２６、Ｓ１２７では、先に説明したステップＳ１１６、Ｓ１１７、Ｓ１１８と同様にして、総合被写体重心Ｇｔが、ステップＳ１２３又はステップＳ１２４により設定された水平オフセット量θｘに対応するX座標上に位置する状態に至るまでパン制御を実行する。この制御により、複数の個別被写体の顔方向が同一である場合には、その数に応じた水平オフセット量θｘ分だけ、左又は右方向に総合被写体画像部分（総合被写体重心Ｇｔ）が移動された状態が得られていることになる。この状態に至ると、ステップＳ１２５にて肯定の判別結果が得られることとなって、ステップＳ１２７によりモードフラグｆについて２を設定し、ステップＳ１０１に戻る。
このようにして、モードフラグｆについて２が設定された状態では、構図制御として、図１１〜図１３により説明した、個別被写体数に応じたサイズ調整と、これらの個別被写体ごとの顔方向若しくはその組み合わせに応じた水平方向における位置調整までの手順が完了した状態であることになる。そこで、ステップＳ１０７にてモードフラグｆが２であると判別された場合には、ステップＳ１２８以降の手順により、第２の構図調整モードを実行する。
例えば、図１１〜図１３での構図制御の説明にあっては、その説明を簡単なものとするために、画面上下方向における個別被写体の重心の位置をどのようにして設定するのかについては言及していないが、実際においては、画面の中央から例えば或る必要量だけ上方向に移動（オフセット）させたほうが、より良い構図となる場合がある。そこで、本実施の形態の構図制御の実際としては、最適構図としてより良好なものが得られるようにして総合被写体重心Ｇｔの縦（垂直）方向のオフセット量も設定することとしている。このための手順が、第２の構図調整モードとなるものであり、ステップＳ１２８及び次に説明するステップＳ１２９として実行される。
ステップＳ１２８では、総合被写体重心Ｇｔ（個別被写体が１つの場合はその個別被写体の重心Ｇとなる）の位置について、画面上の原点座標Pを通過する水平直線（Ｘ軸）から所定の垂直オフセット量θｙだけオフセットしている状態にあるか否か（重心オフセットがＯＫであるか否か）を判別する。
ステップＳ１２８にて否定の判別結果が得られた場合には、ステップＳ１２９により、設定された垂直オフセット量θyだけ重心がオフセットされるようにして、雲台１０のチルト機構が動くようにチルト制御を実行し、ステップＳ１０１に戻る。そして、ステップＳ１２８において肯定の判別結果が得られた段階では、総合被写体画像部分の水平方向における位置と、垂直方向における位置との双方について、最適構図に対応したものが得られている、さらに、総合被写体画像部分のサイズも最適構図に対応したものが得られていることになる。即ち、最適構図が得られている状態となる。
なお、このステップＳ１２８、Ｓ１２９に対応した垂直オフセット量θｙの実値をどのようにして設定するのかについては、いくつかの手法が考えられることから、ここでは特に限定されるべきものではない。最も簡単な設定の１つとしては、例えば三分割法に基づいて、縦方向における中心位置から、垂直画サイズCyの1/6に相当する長さの値を与えることが考えられる。もちろん、例えば個別被写体数であるとか、顔方向及びその組み合わせに応じた異なる値を所定の規則に従って設定するように構成することも考えられる。
そして、ステップＳ１２８により肯定の判別結果が得られた場合には、ステップＳ１３０から始まる、レリーズ動作に対応した処理手順を実行する。ここでのレリーズ動作とは、そのときに得られている撮像画像データを、静止画像データとして記憶媒体（メモリカード４０）に記憶させるための動作をいう。つまり、手動によるシャッター操作を行っている場合では、このシャッター操作に応答して、そのときに得られていた撮像画像データを静止画像データとして記憶媒体に対して記録する動作にあたる。
ステップＳ１３０においては、現在においてレリーズ動作を実行可能な条件を満たしているか否かを判別する。条件としては例えば、合焦状態にあること（オートフォーカス制御が有効に設定されている場合）、雲台１０のパン・チルト機構が停止状態にあること、などを挙げることができる。
上記ステップＳ１３０で否定の判別結果が得られた場合には、処理をステップＳ１０１へ戻す。これにより、レリーズ動作を実行できる条件が満たされる状態となるのを待機することができる。そして、ステップＳ１３０において肯定の判別結果が得られると、ステップＳ１３１によりレリーズ動作を実行する。このようにして、本実施の形態では、最適構図の撮像画像データを記録することができる。
レリーズ動作が終了したとされると、ステップＳ１３２により所要のパラメータについて初期設定を行う。この処理により、モードフラグｆについては初期値の０が設定される。また、ズームレンズの位置も、予め設定された初期位置に戻される。
そして、ステップＳ１３２の処理を実行した後は処理をステップＳ１０１へ戻す。このようにして処理をステップＳ１３２からステップＳ１０１へ戻すことにより、被写体を探索し、この探索により検出されることとなった個別被写体の向いている方向と個別被写体数に応じた最適構図を得て撮像記録（レリーズ動作）を行うという動作が、自動的に繰り返し実行されることになる。
なお、上記図１４の場合におけるレリーズ動作は、撮像画像から静止画像を記録媒体に記録する動作となるものであるが、本実施の形態におけるレリーズ動作は、より広義には、上記の静止画像を記録媒体に記録することを含め、例えば撮像画像から必要な静止画像データを取得することを指す。従って、例えば本実施の形態のデジタルスチルカメラ１により、データインターフェースなどを経由して他の記録装置などに伝送するために、撮像画像から静止画像データを取得するような動作も、レリーズ動作となるものである。
これまでに述べた図１４の手順では、先ず、ステップＳ１０８、Ｓ１０９により、先の（数１）で求められる必要移動量Span,Stiltに基づいて、検出された１以上の個別被写体の総合被写体重心Ｇｔを画面における原点座標Ｐに位置させるという、捕捉のためのパン・チルト制御を行うこととしている。そして、次の段階として、個別被写体数、及び個別被写体ごとに検出される顔方向の関係性（同一であるか否か）に基づき、水平オフセット量θｘを求め、総合被写体重心Ｇｔについて、原点座標Ｐを通過する垂直線（垂直画像領域分割線Ｌｄ１：Ｙ軸線）を基準に、水平オフセット量θｘに対応する距離だけ、左若しくは右方向に移動させるためのパン制御を行う。さらに、設定された垂直オフセット量θｙが示す移動量に基づいて、総合被写体重心Ｇｔについて、原点座標Ｐを通過する水平直線（Ｘ軸）を基準に、垂直オフセット量θｙに対応する距離だけ、上方向（若しくは下方向）に移動させるためのチルト制御を行う。
このことからすると、図１１の手順におけるパン・チルト制御は、
Figure 2011029831
により必要移動量Span,Stiltを求めたうえで、必要移動量Spanに対応した画面内での移動量を得るためのパン機構の制御と、必要移動量Stiltに対応した画面内での移動量を得るためのチルト機構の制御とを行っているものである、ということがいえる。
＜４．顔方向と被写体数に応じた構図制御（第２例）＞
続いては、構図制御の第２例について説明する。この第２例は、顔方向と検出される被写体数に応じて構図を変更する、という点では、第１例と同様になる。
第２例の構図制御を説明するものとして、図１５には、画枠３００において３つの個別被写体ＳＢＪ０、ＳＢＪ１、ＳＢＪ２が検出された状態を示している。これらの個別被写体のうち、個別被写体ＳＢＪ０、ＳＢＪ２について検出されている顔方向は左であるのに対して、個別被写体ＳＢＪ１について検出されている顔方向は右であるものとする。この場合、全ての個別被写体の顔方向が同一にはなっていないので、第１例の場合であれば、図１２（ｂ）などで説明したように、総合被写体重心Ｇｔは、原点座標Ｐを通過する垂直線（垂直画像領域分割線Ｌｄ１：Ｙ軸線）上に在るように構図が設定される。
しかし、３つの個別被写体のうちで、例えば過半数を占める２つの個別被写体ＳＢＪ０、ＳＢＪ２が同じ方向を向いている（顔方向が同一である）ということは、残る１つの個別被写体ＳＢＪ１の顔方向に対応して向いているとする反対方向よりも、これら２つの個別被写体ＳＢＪ０、ＳＢＪ２が向いているとする先に、何かしら重要性の高いものが存在している可能性が高いということがいえる。このような考え方に基づけば、これら２つの個別被写体ＳＢＪ０、ＳＢＪ２の顔方向が示す先の画面領域に空間を設けることのほうが良い構図となる可能性が高いといえる。この場合であれば、２つの個別被写体ＳＢＪ０、ＳＢＪ２の顔方向が左であるとして検出されているので、画面において、３つの個別被写体ＳＢＪ０、ＳＢＪ１、ＳＢＪ２から成る総合被写体画像部分を垂直画像領域分割線Ｌｄ１よりも右側の画像領域に寄せて良い構図を得ようとするものである。
そこで、第２例の構図制御としては、複数の個別被写体ごとに検出される顔方向の関係性として、同一となる顔方向の数が、個別被写体の全体数における所定割合以上を占めるときには、この同一となる顔方向を基準顔方向とする。この基準顔方向は、例えば複数の個別被写体群の総体を１つの個別被写体としてみた場合において、画面内にて向いているとする方向を指すものといえる。そして、この基準顔方向に基づいて、水平オフセット量θｘを求めて設定するようにされる。このような構図制御により、図１５の場合には、原点座標Ｐを通過する垂直線よりも右側に総合被写体重心Ｇｔが位置するようにして構図が設定されることになる。
また、ここでは図示しないが、上記の所定割合以上を占めるだけの、同一の顔方向数が得られていない状態、即ち上記の基準顔方向が決定できなかった場合、本実施の形態としては、総合被写体画像部分が左右方向においてほぼ中央に位置する構図を設定することのほうが好ましいとの考えにたつものとする。そこで、この場合には、水平オフセット量θｘについては０を設定することとする。
図１６は、上記した第２の構図制御に対応して図８に示した被写体検出処理ブロック６１、構図制御処理ブロック６２、及び通信制御処理ブロック６３が実行するものとされる手順例を示している。
この図１６に示される手順のうちで、ステップＳ２２２−１、Ｓ２２２−２を除くステップＳ２０１〜Ｓ２３２までの手順は、図１４におけるステップＳ１０１〜Ｓ１３２までの手順と、それぞれ同じとなる。
そして、ステップＳ２２１−１とこれに続くステップＳ２２２−２は、ステップＳ２２２において否定の判別結果が得られた場合において実行すべき手順として挿入されている。つまり、ステップＳ２２２−１、Ｓ２２２−２は、検出されている個別被写体数が複数の場合であって、先ずは、総合被写体画像部分のサイズ調整が完了した段階において、これらの個別被写体の顔方向の関係性として、全ての顔方向が同一ではなかった場合に実行されるものである。
ステップＳ２２２−１では、基準顔方向を決定するための処理を実行する。
このためには、例えば、先にも述べたように、検出されている複数の個別被写体ごとの顔方向の関係性として、同一の顔方向を持つ個別被写体の組のうちで、その組を成す個別被写体数が、全ての検出されている個別被写体数における所定割合以上を示すものがあるかどうかについて判断し、このような個別被写体の組があれば、この組の個別被写体の顔方向を、有効な基準顔方向として決定するようにされる。また、このような個別被写体の組が無ければ、基準顔方向も無いものとする決定を行うようにされる。
なお、上記の所定割合について、実際にどのような値を設定するのかについては、実際における個別被写体数及び個別被写体ごとの顔方向の関係性との対応で、どのような構図が適当となるのかを考慮したうえで、適宜決定されて良い。また、この所定割合としての値は、基本的には固定の１つの値が設定されればよいが、例えば、決定された個別被写体数などに応じて、異なる所定値が設定されるようにされてもよい。
さらに、基準顔方向決定処理のためのアルゴリズムとしては、上記以外にも考えることができる。例えば、全ての個別被写体数における割合は考慮せずに、単に、同一の顔方向を持つ個別被写体の組のうちで、個別被写体数が最多の組の顔方向を、有効な基準顔方向として決定するような処理も考えることができる。この場合には、例えば同一の顔方向を持つ各組を成す個別被写体数が同じであるようなときに、基準顔方向は無いものとしての決定が行われることになる。
ステップＳ２２２−２においては、上記ステップＳ２２２−１の顔方向決定処理の結果として、有効な基準顔方向が決定されたか否かについての判別を行う。
ここで、肯定の判別結果が得られた場合には、ステップＳ２２３に進む。この場合のステップＳ２２３においては、ステップＳ２２２−１にて決定された基準顔方向に基づいて係数Ｄを決定して、水平オフセット量θｘを求めて設定する。
一方、ステップＳ２２２−２において否定の判別結果が得られた場合には、先のステップＳ２２２−１にて、左若しくは右を示す有効な基準顔方向を決定することができなかったことになる。そこで、この場合には、ステップＳ２２４に進むことで、水平オフセット量θｘについては０を設定する。このようにして、ステップＳ２２２−１、Ｓ２２２−２を挿入することで、図１５により説明したような第２例としての構図制御が実現されることになるものである。
なお、先の図１４及び上記図１６に示される各構図制御の手順は、その全体の流れからしてみると、検出される個別被写体の数に応じて最適とみなされる構図を判定、決定し、この判定した構図の撮像画像データが実際に得られる（反映される）ようにして、ズーム制御、及びパン・チルト制御を適宜実行しているものであるとみることができる。
また、上記構図制御にあっては、顔方向の検出は、左、右の２段階による検出であることを前提としていたが、実際においては、例えば左、右に加えて、正面もあるようにして顔方向検出処理を構成する場合もあると考えられる。この場合にも、本願発明に基づいた構図制御は有効に適用できる。
例えば図１１のようにして１つの個別被写体が検出された場合において、さらに顔方向については正面であることが検出された場合であるが、１つには、水平方向における被写体位置を、画面のほぼ中央に位置させる（重心Ｇがほぼ垂直画像領域分割線Ｌｄ１（Ｙ軸線）上に在るようにする）ことが考えられる。しかし、このような構図は、良くない構図の代表的なものとされることが多い。そこで、検出される個別被写体が１つである場合において、顔方向が正面の場合には、図１１と同様の構図、若しくは、図１１の構図に対して垂直画像領域分割線Ｌｄ１を基準に線対称となるような構図とするようにして水平オフセット量θｘを決定することも考えられる。このようにすれば、三分割法に則った良好な構図が得られる。
また、２以上の個別被写体が検出されている場合に、例えば全ての個別被写体の顔方向が正面を示している、あるいは基準顔方向が正面である場合には、（式１）の係数Ｄを０に設定したうえでの水平オフセット量θxを求めるようにして構成することが考えられる。
また、顔方向として、例えば顔を上向きにした状態、また、顔を俯かせるようにした下向きの状態についても検出可能とされている場合には、この上向き、下向き状態の顔方向の検出結果に応じて構図制御を行うことも可能とされる。
さらに、顔方向について、左右方向と、上記の上向き、下向き状態とを合成した斜め方向の検出も可能とされているときには、この斜め方向が検出された顔方向に応じた構図制御も行うことが可能である。
さらに、例えば、顔方向について、左右方向において、例えば２段階、若しくは３段階よりも多い段階により、向きの検出を行えるようにされている場合には、このようにして検出された向きの段階（度合い）に応じて水平オフセット量θｘを可変するようなアルゴリズムを採用することが考えられる。この点については、次に説明する第３例、第４例の構図制御における、上下方向の顔方向検出（第１，第２の構図制御の左右方向の顔検出に相当する）に応じた垂直オフセット量θyの可変に関しても同様である。
また、基準線の通過する基準点は、この場合には、図１０にて示したように、画面における原点座標としているが、この基準点の位置については、例えばより良好な構図を得ることなどを目的として、原点座標以外の位置が設定されても良いものである。この点についても、次に説明する第３例、第４例の構図制御についても同様のことがいえる。
＜５．顔回転角度に応じた構図制御：通常姿勢時（第３例）＞
また、被写体検出処理ブロック６１は、被写体検出により得られる情報として、顔回転角度も得ることができる。この第３例と、後述の第４例の構図制御は、顔回転角度の情報を利用する。
顔回転角度の検出手法例を図１７により説明する。
先ず、図１７（ａ）には、１つの検出された個別被写体ＳＢＪの顔（特定の対象部位）について、その顔方向としては正面となっている状態が模式的に示されている。
この個別被写体ＳＢＪに対して、例えば検出された左右の目を結ぶ直線F0に平行で、個別被写体ＳＢＪの重心Ｇを通過する直線F1を設定し、さらに、この直線F1と直交して重心Ｇを通過する直線F2を設定する。また、絶対的に垂直な垂直基準線Vを設定する。この垂直基準線Vが、0°の顔回転角度に対応する。この場合、垂直基準線Vは、重心Gを通過させた状態で示している。
図１７（ａ）の場合、直線F2と垂直基準線Vが一致しており、このとき、両者により形成される角度は０°とみることができる。このとき、顔回転角度は０°となる。
これに対して、例えば図１７（ｂ）に示すようにして、個別被写体ＳＢＪの顔方向は図１７（ａ）と同じく正面ではあるが、顔自体が時計回り方向（右側）に回転するようにして傾いている状態にあるとする。この場合、垂直基準線Vと直線F2とによっては、その顔自体の時計回り方向への傾きの度合いに応じて、+α°として示されるように正の角度値が得られる。
同様に、例えば図１７（ｃ）に示すようにして、顔自体が反時計回り方向（左側）に回転するようにして傾いている状態にあるとする。この場合、垂直基準線Vと直線F2とによっては、その顔自体の反時計回り方向への傾きの度合いに応じて、-α°として示されるように負の角度値が得られる。
上記図１７（ｂ）（ｃ）に示されるような顔の傾きは、例えば図１７（ａ）を基準にして、顔を回転させているものとして捉えられる。本実施形態では、このような個別被写体ＳＢＪの顔の傾きに応じて得られる垂直基準線Vと直線F2とにより形成される角度値を、顔回転角度を示すものとして扱う。
そして、個別被写体ＳＢＪごとの顔回転角度を実際に検出するためには、被写体検出処理ブロック６１は、例えば上記図１７の説明に準ずればよい。
つまり、個別被写体ＳＢＪごとにおいて左右の目の位置を特定し、この目の位置に基づいて、被写体ＳＢＪごとに直線F2を設定する。そして、設定した直線F2と垂直基準線Vが形成する角度値を、顔回転角度の値として扱う。
なお、以降の説明において、顔回転角度としては、例えば所定の分解能に応じて得られる角度値として扱われる場合と、或る角度値から他の角度値までの範囲（角度範囲）を示す場合とがある。つまり、本願でいう顔回転角度は、角度値として、角度範囲もその概念に含まれる。
図１８により、顔回転角度に応じた構図制御の基本例について説明する。
図１８（ａ）には、検出被写体として、画枠３００において１つの個別被写体ＳＢＪが存在している状態が示されている。先ず、この場合においては、これまでに説明した第１例又は第２例の構図制御に従って得られる構図としては、この図１８（ａ）に示すものであるとする。つまり、個別被写体ＳＢＪの重心Ｇ（X,Y）は、水平方向においては垂直画像領域分割線Ｌｄ１に対応した水平画サイズの中間点に位置させ、垂直方向においては、三分割法に従って、垂直画サイズCyを３等分する２本の水平仮想線h1,h2のうち上側に在る水平仮想線h2上に位置させるものである。この重心Ｇ（X,Y）は、水平オフセット量θx＝0、垂直オフセット量θy＝Cy/6として表すことができる。
水平オフセット量θxは、垂直画像領域分割線Ｌｄ１(X=0)を基準にして、紙面においてこれより左側の領域において負の値をとり、これより右側の領域において正の値をとる。垂直オフセット量θyは、水平画像領域分割線Ｌｄ２（Y=0）を基準にして、紙面においてこれより上側の領域が正の値をとり、これより下側の領域が負の値をとる。
次に、例えば図１８（ｂ）に示すようにして、画枠３００にて検出された個別被写体ＳＢＪが時計回り方向に顔が傾くようにして回転した状態にあったとする。この場合には、図１７により説明したようにして、顔回転角度として、その傾きの度合いに応じた正の値（+α°）が検出される。
なお、ここでの「時計回り方向（反時計回り方向）に顔が傾くようにして回転した状態」に対応する顔回転角度（±α°）としては、その絶対値が９０°とみなされる角度範囲よりも小さい角度範囲になる。この顔回転角度範囲は、例えば被写体としての人が通常に立ったり座ったりしているような状態において、なにかにもたれたり、首を傾けたりすることによって得られる角度範囲と見ることができる。これに対して絶対値が９０°とみなされる回転角度範囲は、後述する横臥姿勢に対応するものとみることができる。
例えば、このようにして個別被写体ＳＢＪの顔が時計回り方向（右側）に或る程度回転した状態の場合には、その個別被写体ＳＢＪの右側において重要性の高いものが存在している可能性が高い。より具体的には、個別被写体ＳＢＪの顔が回転しているときには、その個別被写体ＳＢＪとしての実際の人物が、何かにもたれている可能性が高くなる。そして、そのもたれているものは、個別被写体ＳＢＪの顔が回転している方向にある可能性が高い。つまり、図１８（ｂ）の場合であれば、画枠３００において、個別被写体ＳＢＪが顔を傾けている右側の空間に、もたれているものが存在する可能性が高い。
そこで、本実施形態では、時計回り方向に傾くようにして回転している状態に対応した顔回転角度の範囲（顔回転角度範囲）が検出されたことに応じては、同じ図１８（ｂ）として示すように、図１８（ａ）に示される重心Ｇの位置（垂直画像領域分割線Ｌｄ１上）に対して、より左側に重心Ｇを移動して得られる構図を最適構図であるとして判定し、この構図が得られるようにして構図制御を行う。
図１８（ｂ）の例では、水平画サイズCxを三等分した２本の垂直仮想線v1,v2のうち、左側の垂直仮想線v1上に重心Ｇが位置するように移動させている。つまり、図１８（ｂ）の重心Ｇは、水平オフセット量θx＝-Cx/6、垂直オフセット量θy＝Cy/6として表せる。これにより、個別被写体ＳＢＪの右側により多くの空間があることになって、良好な構図が得られる。
なお、図示は省略するが、個別被写体ＳＢＪが、反時計回り方向に傾くようにして回転している状態に対応した顔回転角度範囲が検出されたことに応じては、図１８（ｂ）とは反対に、垂直画像領域分割線Ｌｄ１の右側に位置させる。例えば、水平オフセット量θx＝Cx/6、垂直オフセット量θy＝Cy/6として表される重心Ｇの位置となるようにして構図制御を行う。
また、図１９（ａ）は、検出被写体として、画枠３００において２つの個別被写体ＳＢＪ０，ＳＢＪ１が検出されている状態を示している。また、ここでの個別被写体ＳＢＪ０，ＳＢＪ１は、何れも、時計回り方向に傾くようにして回転している状態であり、個別被写体ＳＢＪ０，ＳＢＪ１ごとに、この状態に応じた範囲の顔回転角度が検出されている。
このようにして、２つの個別被写体が検出され、かつ、これらの個別被写体ごとに、同じ方向に傾くようにして回転している状態の顔回転角度であることが検出されたときには、この図に示すようにして、総合被写体重心Ｇｔについて、顔回転角度（顔の傾きの方向）と、個別被写体数＝２に応じた水平オフセット量θxを与える。
なお、例えば２つの個別被写体がそれぞれ異なる顔の傾き（回転）の方向であることが検出された場合には水平オフセット量θx＝０として、総合被写体重心Ｇｔが垂直画像領域分割線Ｌｄ１上に在るようにすればよい。
また、図１９（ｂ）においては、検出被写体として、３つの個別被写体ＳＢＪ０，ＳＢＪ１，ＳＢＪ２が検出されている。また、顔の回転については、個別被写体ＳＢＪ０、ＳＢＪ２は、何れも時計回り方向に回転するようにして傾いており、同じ範囲の顔回転角度にあるといえる。これに対して、個別被写体ＳＢＪ１は、回転することなく成立しており、例えば0°の顔回転角度の状態にある。つまり、３つの個別被写体ＳＢＪ０，ＳＢＪ１，ＳＢＪ２の顔回転角度の関係として、個別被写体ＳＢＪ０，ＳＢＪ２は同じであるのに対して、個別被写体ＳＢＪ１が異なっている。
この場合の構図制御としては、第１例に準じて、総合被写体重心Ｇｔを垂直画像領域分割線Ｌｄ１上に位置させることが先ず考えられる。
また、第２例に準じて、３つの個別被写体のうち過半数を占める２つの個別被写体が傾いている方向に重要性の高いものが存在するとの考え方を採り、総合被写体重心Ｇｔを垂直画像領域分割線Ｌｄ１よりも左側の画像領域に位置させるという構図制御でもよい。
つまり、第２例に準じた顔回転角度に基づく構図制御は、複数の個別被写体ごとに検出される顔回転角度範囲の関係性として、同じ顔回転角度範囲の個別被写体数が、個別被写体の全体数における所定割合以上を占めるときには、この同一となる顔回転角度範囲を基準（基準顔回転角度）とする。そして、この基準顔回転角度に基づいて、水平オフセット量θxを設定するというものである。図１９（ｂ）は、この第２例に準じた構図制御が行われた状態が示されている。
＜６．顔回転角度に応じた構図制御例：横臥姿勢時（第４例）＞
次に、例えば図２０（ａ）に示すようにして、１つの個別被写体ＳＢＪの顔が左向き真横となっている状態が示されている。これは、例えば顔回転角度としては、-90°としてみなされる角度範囲にある。
このようにして個別被写体ＳＢＪの顔が横向きの状態は、個別被写体ＳＢＪが横臥している姿勢状態にあるとみることができる。
ここで、例えば図２０（ａ）に示す個別被写体ＳＢＪが横臥しているとして、例えば、単純に、第１例、若しくは第２例に従った構図制御により、重心Ｇを垂直画像領域分割線Ｌｄ１と水平仮想線h1との交点に位置させたとする。
すると、この図２０（ａ）に示すようにして、構図としては、横臥した姿勢の個別被写体ＳＢＪが、画枠３００において右に寄りすぎてしまう。また、この場合には、垂直オフセット量θy=Cv/6も与えていることから、個別被写体ＳＢＪは上側にも寄りすぎてしまっているといえる。このような構図は、一般的に、あまり良いものとは思われない。
そこで、図２０（ａ）の例のようにして、個別被写体ＳＢＪの顔がほぼ左真横にまで回転している状態、つまり、-90°とみなせる顔回転角度範囲であると検出した場合には、例えば図２０（ｂ）に示す構図が得られるようにして制御する。
つまり、個別被写体ＳＢＪの重心Ｇについて、先ず、垂直方向においては、水平画像領域分割線Ｌｄ２上に位置させる。一方の水平方向においては、垂直画像領域分割線Ｌｄ１よりも左側に位置させるものとする。この場合には、水平オフセット量θx＝-Cx/6を設定して垂直仮想線v1上に位置させることとしている。
この図２０（ｂ）に示す構図であれば、先ず、横臥している被写体ＳＢＪの顔は、画枠３００の上下方向においてほぼ中央に位置させることができる。これとともに、画枠３００内で左向きに横臥している被写体ＳＢＪの顔より下の部位も、適切な占有率で配置させることができる。つまり、図２０（ａ）と比較してはるかに良好な構図が得られることになる。
なお、上記図２０とは反対に、個別被写体ＳＢＪの顔がほぼ右真横にまで回転して+９０°とみなせる顔回転角度範囲であることが検出されている場合には、図２０（ｂ）の左右を反転させた状態の構図となるように制御することになる。
つまり、図２１に示すように、重心Ｇを、例えば水平画像領域分割線Ｌｄ２と、垂直画像領域分割線Ｌｄ１よりも右側の垂直仮想線v2（θx＝Cx/6）との交点に位置させる。
そのうえで、本実施形態としては、上記図２０（ｂ）により説明した１つの横臥姿勢の個別被写体ＳＢＪの構図制御を基本としたうえで、本実施形態では、顔方向の検出結果も、構図制御に反映できるようにする。
図２２（ａ）は、画枠３００における左向き横臥姿勢の個別被写体ＳＢＪについて、その顔方向が下となっている状態を示している。
この場合、実際において個別被写体ＳＢＪとしての人は、横臥した状態で、右を向いているのであるが、画枠３００内においては、顔方向が下であるとして検出されるものとする。
このようにして顔方向が下であると検出されているときには、第1例での考え方に従い、その顔が向いている先の空間、つまり、画枠３００の下側領域に重要性の高いものが存在している可能性が高いと考えることができる。そこで、この場合には、図２２（ａ）に示すようにして、垂直方向における重心Ｇの位置については、水平画像領域分割線Ｌｄ２よりも上の領域に移動させる．この場合には、三分割法に従い、垂直オフセット量θy＝Cy/6を設定している。水平オフセット量θxは、図２０（ｂ）と同様に-Cx/6である。
これに対して、図２２（ｂ）に示すようにして、画枠３００における左向き横臥姿勢の個別被写体ＳＢＪについて、その顔方向が上であるとして検出されているときには、垂直方向における重心Ｇの位置を水平画像領域分割線Ｌｄ２よりも下の領域に移動させる。この場合には、例えば、図２２（ａ）とは上下対称に、水平オフセット量θx＝-Cx/6、垂直オフセット量θy＝-Cy/6を設定している。
また、図２３（ａ）に示すように、画枠３００において、左向き横臥姿勢の個別被写体ＳＢＪについて、その顔方向が下であるとして検出されているときにも、垂直方向における重心Ｇの位置を水平画像領域分割線Ｌｄ２よりも上の領域に移動させるようにする。例えば、水平オフセット量θx＝Cx/6、垂直オフセット量θy＝Cy/6を設定する。
これに対して、図２３（ｂ）に示すように、同じ左向き横臥姿勢の個別被写体ＳＢＪについて、その顔方向が上であるとして検出されているときにも、垂直方向における重心Ｇの位置を水平画像領域分割線Ｌｄ２よりも下の領域に移動させる。例えば、水平オフセット量θx＝Cx/6、垂直オフセット量θy＝-Cy/6を設定する。
また、例えば図２４（ａ）（ｂ）、図２５（ａ）（ｂ）には、個別被写体ＳＢＪの顔が左向き若しくは右向きによる横向きの状態、つまり、横臥姿勢の状態が示されている。ただし、例えば横向きの顔に対応する顔回転角度としては、±90°とみなされる角度範囲に対して、さらに或る角度が与えられている状態も考えることができる。具体例として、個別被写体ＳＢＪとしての人物が、横臥姿勢の状態で首を左右のいずれかにかしげているような状態がこれに相当する。
このような場合には、先に図１８の説明に従い、個別被写体ＳＢＪの顔が傾くようにして回転している方向に重要性の高いものが存在するものとして考える。従って、図２４（ａ）のようにして、個別被写体ＳＢＪが左向き横臥姿勢（個別被写体ＳＢＪの顔が左横向き）で、かつ、その顔自体が、-９０°からさらに反時計回り方向に回転するようにして傾いている状態では、垂直方向における重心Ｇの位置を水平画像領域分割線Ｌｄ２よりも上の領域に移動させる。つまり、例えば水平オフセット量θx＝-Cx/6、垂直オフセット量θy＝Cy/6を設定する。
また、図２４（ｂ）に示すように、個別被写体ＳＢＪが左向き横臥姿勢で、その顔自体が-９０°からさらに時計回り方向に回転するようにして傾いている状態では、垂直方向における重心Ｇの位置を水平画像領域分割線Ｌｄ２よりも下の領域に移動させ、例えば水平オフセット量θx＝-Cx/6、垂直オフセット量θy＝-Cy/6を設定する。
また、図２５（ａ）に示すように、個別被写体ＳＢＪが右向き横臥姿勢（個別被写体ＳＢＪの顔が右横向き）で、その顔自体が９０°からさらに時計回り方向に回転するようにして傾いている状態では、垂直方向における重心Ｇの位置を水平画像領域分割線Ｌｄ２よりも上の領域に移動させ、例えば水平オフセット量θx＝Cx/6、垂直オフセット量θy＝Cy/6を設定する。
また、図２５（ｂ）に示すように、個別被写体ＳＢＪが右向き横臥姿勢で、その顔自体が９０°からさらに時計回り方向に回転するようにして傾いている状態では、垂直方向における重心Ｇの位置を水平画像領域分割線Ｌｄ２よりも下の領域に移動させ、例えば水平オフセット量θx＝Cx/6、垂直オフセット量θy＝-Cy/6を設定する。
また、図２６（ａ）（ｂ）には、それぞれ、画枠３００において、左向き横臥姿勢、右向き横臥姿勢の個別被写体として、２つの個別被写体ＳＢＪ０，ＳＢＪ１が存在し、かつ、両者が同じ向きにより横臥する姿勢状態を示している。
この場合において、上記の状態は、個別被写体ＳＢＪ０，ＳＢＪ１が均等の重要度を持っているとみなすこととする。そこで、個別被写体ＳＢＪ０，ＳＢＪ１の総合被写体重心Ｇｔの垂直方向における位置としては、垂直オフセット量θy＝０を設定して、水平画像領域分割線Ｌｄ２上に在るようにする。また、水平方向における総合被写体重心Ｇｔとしては、個別被写体ＳＢＪ０，ＳＢＪ１の顔回転角度が-90°（とみなされる角度範囲）と+90°（とみなされる角度範囲）の何れに該当するのかに応じて、水平オフセット量θx＝-Cx/6とθx＝Cx/6の何れかを設定する。
また、図２７（ａ）には、画枠３００において、２つの個別被写体ＳＢＪ０，ＳＢＪ１が共に左向き横臥姿勢（顔回転角度 = -90°）とされ、かつ、顔方向としては、何れの個別被写体ＳＢＪ０，ＳＢＪ１も下を向いている状態が示されている。
この場合には、図２２の例に倣い、個別被写体ＳＢＪ０，ＳＢＪ１の総合被写体重心Ｇｔは、垂直方向においては水平画像領域分割線Ｌｄ２よりも上の領域に移動させることになる。また、その移動量は、図１２などの例に倣って、例えば、個別被写体数が１のときよりも小さい値（絶対値）の垂直オフセット量θyを設定する。この場合には、垂直オフセット量θy = Cy/12を設定した例が示される。なお、水平オフセット量θx = -Cx/6である。
これにより、個別被写体ＳＢＪ０，ＳＢＪ１による総合被写体画像部分が上に寄りすぎる印象の構図が避けられ、より適切な構図が得られる。
また、図２７（ａ）に対して、２つの個別被写体ＳＢＪ０，ＳＢＪ１の顔方向は何れも下であるが、横臥姿勢が右向き（顔回転角度 = +90°）で反対となるときには、例えば総合被写体重心Ｇｔの移動量は、垂直オフセット量θy = Cy/12で同じであるが、水平オフセット量θxについては反転して、θx = Cx/6となる。
また、図２７（ａ）に対して、２つの個別被写体ＳＢＪ０，ＳＢＪ１の横臥姿勢は左向きで同じであるが、顔方向が上向きで反対となるときの総合被写体重心Ｇｔの移動量は、例えば、水平オフセット量θx = -Cx/6で同じであるが、垂直オフセット量θyが反転されて、θy = -Cy/12となる。
また、図２７（ｂ）には、２つの個別被写体ＳＢＪ０，ＳＢＪ１が、図２４（ａ）のように、左向き横臥姿勢で、かつ、顔回転角度範囲としては、-９０°とみなされる角度範囲から、さらに時計回り方向に傾くようにして回転している状態が示されている。
この場合にも、図２４（ａ）に倣い、総合被写体重心Ｇｔは、水平画像領域分割線Ｌｄ２よりも上に移動させることになる。また、個別被写体数が１のときよりも少ない移動量を設定する。この図では、垂直オフセット量θy＝Cy/12を設定している。水平オフセット量θx＝-Cy/6である。
なお、図２７（ｂ）に対して、２つの個別被写体ＳＢＪ０，ＳＢＪ１が左向き横臥姿勢であるのは同じであるが、顔回転角度範囲として、-９０°とみなされる角度範囲からさらに反時計回り方向に傾くようにして回転している状態では、総合被写体重心Ｇｔの移動量は、例えば次のようになる。つまり、水平オフセット量θxについては、θx = -Cx/6で同じであるが、垂直オフセット量θyについては反転させて、θy= -Cy/12とする。
また、図２７（ｂ）に対して、２つの個別被写体ＳＢＪ０，ＳＢＪ１が右向き横臥姿勢とされ、かつ、顔回転角度範囲として、+90°とみなされる角度範囲からさらに反時計回り方向に傾くようにして回転している状態では、総合被写体重心Ｇｔの移動量は次のようになる。つまり、例えば水平オフセット量θxについては、右向き横臥姿勢に応じてθx = Cx/6とし、垂直オフセット量θyについてはθy = Cy/12として、水平画像領域分割線Ｌｄ２より上に移動させる。
また、２つの個別被写体ＳＢＪ０，ＳＢＪ１が右向き横臥姿勢とされ、かつ、顔回転角度範囲として、+90°とみなされる角度範囲からさらに時計回り方向に傾くようにして回転している状態では、総合被写体重心Ｇｔの移動量は次のようになる。例えば水平オフセット量θx = Cx/6、垂直オフセット量θyについてはθy = -Cy/12として、水平画像領域分割線Ｌｄ２より下に移動させる。
また、図２７（ａ）に対して、横臥姿勢の個別被写体ＳＢＪ０，ＳＢＪ１の顔方向が異なっている。また、図２７（ｂ）に対して、横臥姿勢の個別被写体ＳＢＪ０，ＳＢＪ１の顔回転角度が異なっている場合には、例えば、垂直オフセット量θy = 0として、垂直方向における移動量は与えないようにすればよい。
また、図２８（ａ）には、画枠３００において、左向き横臥姿勢の３つの個別被写体ＳＢＪ０，ＳＢＪ１，ＳＢＪ２が存在しており、その顔方向について、個別被写体ＳＢＪ０は下向き、個別被写体ＳＢＪ１は正面、個別被写体ＳＢＪ２は下向きとなっている状態が示される。
このようにして、例えば３以上の横臥姿勢の個別被写体が検出された状態で、それぞれの顔方向が同一でない場合には、図１５に準じて、基準顔方向を決定し、この決定された基準顔方向に従って垂直方向における移動量である垂直オフセット量θyを設定する。
図２８（ａ）の場合には、３つの個別被写体の顔方向のうち、２つの個別被写体ＳＢＪ０、ＳＢＪ２が向いている下方向が過半数を占める。そこで、この場合には、基準顔方向＝下であるとして決定し、これに応じては、総合被写体重心Ｇｔを、水平画像領域分割線Ｌｄ２よりも上に移動させるようにして、垂直オフセット量θyを設定することになる。ここでは、垂直オフセット量θy = Cy/18を設定している。このときの垂直オフセット量θyは、例えば検出される個別被写体数が２のときよりも小さい値となる。水平オフセット量θxについては、左向き横臥姿勢に応じてθx = -Cx/6を設定している。
また、図２８（ｂ）にも、画枠３００において、左向き横臥姿勢の３つの個別被写体ＳＢＪ０，ＳＢＪ１，ＳＢＪ２が存在している状態が示されている。ここでは、その顔回転角度について、個別被写体ＳＢＪ１は、-90°とみなされる角度範囲であるのに対して、個別被写体ＳＢＪ０，ＳＢＪ２は、何れも、-90°とみなされる角度範囲から、さらに反時計回り方向に傾くようにして回転したとされる角度範囲にあることが示される。
このようにして、例えば３以上の横臥姿勢の個別被写体が検出された状態で、それぞれの顔回転角度（範囲）が同一でない場合にも、図１５に準じて、基準顔回転角度（ここでの回転角度は角度範囲の概念も含む）を決定し、この決定された基準顔回転角度に従って垂直方向における移動量である垂直オフセット量θyを設定する。
図２８（ｂ）の場合には、３つの個別被写体のうち、２つの個別被写体ＳＢＪ０、ＳＢＪ２の顔回転角度が同じであり、従って過半数を占める。そこで、この場合には、個別被写体ＳＢＪ０、ＳＢＪ２について検出されている顔回転角度（範囲）を、基準顔回転角度として決定する。
そして、この決定された基準顔回転角度に応じては、総合被写体重心Ｇｔを、水平画像領域分割線Ｌｄ２よりも上に移動させるようにして、例えば図２８（ａ）と同じく、垂直オフセット量θy = Cy/18を設定する。水平オフセット量θxについては、左向き横臥姿勢に応じてθx = -Cx/6を設定している。
＜７．顔回転角度に応じた構図制御のアルゴリズム＞
［７−１．顔回転角度の範囲設定］
続いては、顔回転角度に応じた構図制御のアルゴリズム例について説明する。
ここで、本実施形態では、これまでに説明した構図制御に対応して、顔回転角度について次のようにして区分設定する。
図２９は、顔回転角度についての区分設定例を模式的に示している。なお、顔回転角度の値の求め方については、図１７にて説明したとおりである。また、以降においては顔回転角度をfangとして表す。
先ず、0°（とみなされる範囲）の顔回転角度fangは、図１８（ａ）に示したように、顔が正立しており、回転していない状態に対応する。また、-90°（とみなされる範囲）の顔回転角度fangは、図２０（ｂ）に示した、顔が左向き真横の状態に対応する。+90°（とみなされる範囲）の顔回転角度fanは、図２１に示した、顔が右向きで真横の状態に対応する。
なお、上記0°，+90°，-90°としての顔回転角度は、実際には、在る程度の角度範囲が与えられて良い。0°，+90°，-90°の顔回転角度の値を、それぞれ、厳密に、顔が正立、右向き真横、左向き真横の各状態に対応させたとしても、かえって、これらの顔回転角度に対応するとされる顔の向きを、期待通りに的確に検出、判定できなくなる。
そこで、図２９には示してはいないが、構図制御にあたっては、0°，+90°，-90°としての厳密な値に対して、それぞれ±m°（例えば数度）のマージンを与えて形成される角度範囲を、0°，+90°，-90°の顔回転角度として扱うようにすることが好ましいといえる。
また、0°< fang < (+90°-ａ°)による角度範囲１は、図１８（ｂ）に示したように、横臥姿勢ではない通常姿勢とされる状態のもとで、顔が時計回り方向に回転するようにして傾けられた状態に対応する。
また、図２９における、０°> fang > (-90°+ａ°)までの角度範囲２は、図１８（ｂ）が反転した、横臥姿勢ではない通常姿勢とされる状態のもとで、顔が反時計回り方向に回転するようにして傾けられた状態に対応する。
また、(+90°-ａ°)< fang < +90°までの角度範囲３は、図２５（ｂ）に示した、右向き横臥姿勢で、顔が反時計回り方向に回転するようにして傾けられた状態に対応する。
また、+90°< fang < (+90°+ａ°)までの角度範囲４は、図２５（ａ）に示した、右向き横臥姿勢で、顔が時計回り方向に回転するようにして傾けられた状態に対応する。

また、(-90°+ａ°)> fang > -90°までの角度範囲５は、図２４（ｂ）に示した、左向き横臥姿勢で、顔が時計回り方向に回転するようにして傾けられた状態に対応する。
また、-90°> fang > (-90°-ａ°)までの角度範囲６は、図２４（ａ）に示した、右向き横臥姿勢で、顔が反時計回り方向に回転するようにして傾けられた状態に対応する。
本実施形態の顔回転角度検出は、例えば顔回転角度としての角度値を求めたうえで、その角度値が、0°，+90°，-90°，角度範囲１〜６の何れに該当するのかを判定することになる。
［７−２．通常姿勢に対応するアルゴリズム］
これまでの説明において、顔回転角度に応じた構図制御は、通常姿勢に対応する第３例と、横臥姿勢に対応する第４例とを挙げた。ここで説明する顔回転角度に応じた構図制御のアルゴリズムは、左右の顔方向に応じた構図制御である第２例に対して、第３例と第４例を組み合わせた場合のアルゴリズムとする。なお、第１例に第３例及び第４例を組み合わせたアルゴリズムも当然に構成できるが、ここでは、複数の個別被写体に対応する制御が第１例よりは高度な第２例と組み合わせることとしている。
第２例の構図制御に対応したアルゴリズムは、先に図１６のフローチャートにより説明したものとなる。本実施形態として、これに第３例と第４例の構図制御を組み合わせるとした場合には、先ず、ステップＳ２０３の判別処理として、被写体が検出されたとして肯定の判別結果が得られたとの判別結果が得られたのであれば、さらに、図３０のフローチャートに示す手順を実行することとする。
ここで、第２例に対して第３例及び第４例の構図制御を組み合わせる場合には、ステップＳ２０２に対応して実行する被写体検出によっては、検出される個別被写体ごとの顔回転角度の情報も取得する。
そこで、図３０のステップＳ３０１においては、個別被写体について検出された顔回転角度fangについて、fang == +90°±a°と、fang == -90°±a°との角度範囲のいずれかに含まれるか否かについて判別する。
図２９によれば、顔回転角度fang == +90°±a°の範囲は、下記のａ，ｂ，ｃの３状態の何れかに該当する。
ａ．顔回転角度fang == +90とみなされる範囲であって右向き横臥姿勢で真横になっている状態
ｂ．顔回転角度fang == +90°+a°の範囲に含まれ、角度範囲４に対応する状態、即ち、右向き横臥姿勢で、+90°からさらに時計回り方向に回転した状態
ｃ．顔回転角度fang == +90°-a°の範囲に含まれ、角度範囲３に対応する状態、即ち、右向き横臥姿勢で、+90°からさらに反時計回り方向に回転した状態
つまり、顔回転角度fang == +90°±a°は、右向き横臥姿勢である、つまり、個別被写体として検出された顔が、右横向きであることを示している。
また、顔回転角度fang == -90°±a°の範囲は、下記のｄ，ｅ，ｆの３状態の何れかに該当する。
ｄ．顔回転角度fang == -90°とみなされる範囲であって左向き横臥姿勢で真横になっている状態
ｅ．顔回転角度fang == -90°+a°とされて、角度範囲５に対応する状態、即ち、左向き横臥姿勢で、-90°からさらに時計回り方向に回転した状態
ｆ．顔回転角度fang == -90°-a°とされて、角度範囲６に対応する状態、即ち、右向き横臥姿勢で、-90°からさらに反時計回り方向に回転した状態
つまり、顔回転角度fang == -90°±a°は、左向き横臥姿勢である、つまり、個別被写体として検出された顔が、左横向きであることを示している。ことを示している。
従って、ステップＳ３０１は、左向き、右向きにかかわらず、検出された個別被写体が横臥姿勢であるか否か、つまり、検出された顔が横向きであるか否かについて判別していることになる。
ここで、検出された個別被写体の数が２以上の場合には、ステップＳ３０１として、いくつかのアルゴリズムの態様を考えることができる。
最も簡単なアルゴリズムとしては、検出された全ての個別被写体の顔回転角度がfang == +90°±a°に該当するとき、又は、検出された全ての個別被写体の顔回転角度がfang == -90°±a°に該当するときに、肯定の判別結果が成立する、とするものである。
また、例えばfang == +90°±a°に該当する個別被写体が、全体の一定以上の比率であるとき、または、fang == -90°±a°に該当する個別被写体が、全体の一定以上の比率であるときに肯定の判別結果が得られる、とするアルゴリズムも考えられる。
先ず、ステップＳ３０１にて否定の判別結果が得られた場合には、検出された個別被写体は、横臥姿勢ではなく、通常姿勢であることになる。つまり、個別被写体として検出された顔は、縦向きであることになる。図２９との対応では、検出された顔回転角度fangについて、0°とみなされる角度範囲であるか、角度範囲１，２の何れかに該当する場合となる。
そこで、この場合には、ステップＳ３０２として示すように、通常姿勢対応処理を実行する。これは、実際には、図１６のステップＳ２０７以降の処理を実行していくことを意味する。
ただし、この場合の図１６のステップＳ２０７以降の処理は、第３例に対応した通常姿勢時の顔回転角度に応じた構図制御が組み合わされることになる。これにより、図１６のステップＳ２１５としては、図３１のフローチャートに示す処理を実行すべきことになる。また、図１６において破線で括って示す、ステップＳ２２２〜Ｓ２２４の処理に代えて図３２のフローチャートに示す処理を実行すべきことになる。
図３１は、上記もしたように、図１６のステップＳ２１５として、第３例の構図制御の組み合わせに対応して実行すべき処理となるもので、検出された個別被写体数が１の場合に対応して水平オフセット量θxを設定する処理となる。
図３１のステップＳ４０１においては、個別被写体について検出された顔方向について、正面と正面以外（即ち、左又は右）の何れであるのかについて判別する。
先の第２例においては顔方向について左、右の２段階で検出するものとしていたが、この判別処理から理解されるように、第３例、第４例の構図制御を組み合わせる場合には、左、右、正面の３段階による顔方向検出を行うようにする。これは、本実施形態としては、顔方向が正面である場合において、0°，+90°、-90°以外とみなされる顔回転角度範囲が得られるものとしていることに対応している。実際との対応では、顔方向が左か右であるときに0°以外の顔回転角度が得られてもよいし、また、顔方向が上か下向きのときに±90°以外の顔回転角度が得られてもよい。しかし、ここでは本実施形態の顔回転角度に対応する構図制御について、その説明、理解を簡単で分かりやすいものとすることの都合上、顔方向が正面の場合にのみ、顔回転角度が得られるものとしている。
ステップＳ４０１において、検出された顔方向が正面以外（左又は右）であるとの判別結果が得られた場合には、ステップＳ４０２に進む。
ステップＳ４０２においては、左又は右の顔方向の検出結果に応じて、例えば図１４のステップＳ１１５（図１６のステップＳ２１５）として説明したのと同様の処理によって、（式１）を利用して水平オフセット量θxを設定する。
これに対してステップＳ４０１において顔方向が正面であるとの判別結果が得られた場合には、ステップＳ４０３に進む。
ステップＳ４０３以降の手順は、顔回転角度に応じて、水平オフセット量θxを設定するための処理となる。
ステップＳ４０３においては、個別被写体について検出された顔回転角度について、fang == 0°とみなされる範囲に該当するか否かを判別する。ここで、肯定の判別結果が得られた場合には、個別被写体ＳＢＪの顔は、傾くようにして回転しておらず、ほぼ正立しているとみてよい状態であることになる。この場合には、（式１）における係数Dについて、D=0として、ステップＳ４０８により、（式１）を利用した演算により水平オフセット量θxを求める．この場合、D=0なので、水平オフセット量θx＝０となる。つまり、水平方向における重心Ｇの移動は行われず、垂直画像領域分割線Ｌｄ１上に位置することになる。
これに対して、ステップＳ４０３において、否定の判別結果が得られた場合には、ステップＳ４０５に進む。
ステップＳ４０５に進んだ場合、個別被写体について検出された顔回転角度fangは、図２９の第１角度範囲又は第２角度範囲の何れかに該当するようにして含まれることになる。そこで、ステップＳ４０５では、検出された顔回転角度fangが第１角度範囲に該当するか否かについて判別する。
ステップＳ４０５にて肯定の判別結果が得られた場合には、個別被写体の顔が右側に傾くようにして回転している状態である。そこで、この場合には、ステップＳ４０６により係数Ｄ=-1を設定したうえで、ステップＳ４０８により（式１）を用いた演算により、水平オフセット量θxを求める。この場合にはθx=-Cx/6が設定されることになり、これにより、図１８（ｂ）に示したように、画枠３００において垂直画像領域分割線Ｌｄ１よりも左側の領域に被写体が偏倚する構図が得られる。
これに対して、ステップＳ４０６にて否定の判別結果が得られた場合には、顔回転角度fangは、図２９の第２角度範囲に該当していることになる。つまり、個別被写体の顔が左側に傾くようにして回転している状態である。
この場合には、ステップＳ４０７により係数Ｄ=1を設定したうえで、ステップＳ４０８により（式１）を用いた演算により、水平オフセット量θxを求める。この場合にはθx=Cx/6が設定されることになる。これにより、図１８（ｂ）に対して左右が反転して、画枠３００において垂直画像領域分割線Ｌｄ１よりも右側の領域に被写体が偏倚する構図が得られる。
図３２は、第３例の構図制御との組み合わせに対応して、図１６において、ステップＳ２２２〜Ｓ２２４（破線で括った処理）に代えて実行すべき処理を示す。この図３２の処理は、検出された個別被写体数が２以上（複数）の場合に対応して水平オフセット量θxを設定する処理となる。
ステップＳ５０１においては、元の図１６のステップＳ２２２と同様に、複数の個別被写体ごとに検出された顔方向が全て同一であるか否かについて判別する。なお、ここでも、第３例の構図制御との組み合わせに対応して、検出される顔方向は、左、右、正面の三段階であることとする。
ステップＳ５０１にて肯定の判別結果が得られた場合には、ステップＳ５０２をスキップしてステップＳ５０３に進む。これに対して否定の判別結果が得られた場合には、ｓｙ５０２による基準顔方向決定処理を実行してからステップＳ５０３に進む。基準顔方向決定処理は、元の図１６のステップＳ２２２−１と同様の処理を実行すればよい。また、基準顔方向決定処理を実行したとしても、１つの基準顔方向を決定できない場合もあると考えられるが、この場合には、例えば正面であるとの決定結果とすればよい。
ステップＳ５０３においては、ステップＳ５０１にて全て同一であるとして判別された顔方向、若しくは、ステップＳ５０２により決定された基準顔方向について、正面と正面以外（右又は左）の何れであるのかを判別する。
ここで、正面以外（右又は左）であるとして判別された場合には、ステップＳ５０４に進み、左又は右であるとして検出された顔方向に応じて、ステップＳ２２３と同様にして（式１）を利用した演算による水平オフセット量θxを算出する。
これに対して、ステップＳ５０３にて、顔方向が正面であるとの判別結果が得られた場合には、ステップＳ５０５以降の処理に進む。
ステップＳ５０５においては、複数の個別被写体ごとに検出された顔回転角度fangについて、全て同一の角度範囲に該当するものであるか否かについて判別する。ここで、肯定の判別結果が得られた場合には、ステップＳ５０６をスキップしてステップＳ５０７に進む。これに対して、ステップＳ５０５にて否定の判別結果が得られた場合には、ステップＳ５０６により基準顔回転角度rfangを決定する処理を実行してステップＳ５０７に進む。
なお、この基準顔回転角度rfangを決定する処理は、ステップＳ５０２の基準顔方向決定処理に準ずればよい。また、ここでは、基準顔回転角度決定処理としては、例えば正確な角度値を求めることとしても良いが、例えば、図２９との対応であれば、0°（とみなされる角度範囲）、第１角度範囲、第２角度範囲のうちの何れに該当するものであるのかを決定することとしてもよい。
ステップＳ５０７〜Ｓ５１２までの処理は、ステップＳ５０７，Ｓ５０８にて判定対象となる顔回転角度の情報が、複数の個別被写体に対応したものであること、また、ステップＳ５１２にて算出される水平オフセット量θxが、複数の個別被写体の総合被写体重心Ｇｔについてのものであることを除けば、図３１のステップＳ４０３〜Ｓ４０８と同様となる。
このようにして、図１６に、図３１，図３２に示した処理を適用することで、第２例に対して第３例を組み合わせた構図制御が実現できる。つまり、通常姿勢の個別被写体について、その顔方向と顔回転角度とに基づいた構図制御が実現できる。
［７−３．横臥姿勢に対応するアルゴリズム］
また、先の図３０においてステップＳ３０１にて肯定の判別結果が得られたことに応じては、ステップＳ３０３の横臥姿勢対応処理を実行する。この横臥姿勢対応処理は、図３３のフローチャートにおけるステップＳ６０７以降の手順に相当するもので、図２０〜図２８により説明した構図を得るための処理となる。
この図において、ステップＳ２０１〜Ｓ２０６は、図３１，図３２を適用した図１６の処理におけるステップＳＳ２０１〜Ｓ２０６と共通の処理であることを示している。図３０に示すステップＳ２０３における判定処理により、通常姿勢対応処理を実行すべきと判定されたときには、図１６のステップＳ２０７以降の処理を実行する。これに対して、横臥姿勢対応処理を実行すべきと判定されたときには、図３３のステップＳ６０７以降の処理を実行する。
また、図３３において、ステップＳ６０８〜Ｓ６１０，Ｓ６１１〜Ｓ６１４，Ｓ６１９〜Ｓ６２１，Ｓ６３０〜Ｓ６３２、また、モードフラグｆの設定のためのステップＳ６１０，Ｓ６１８、Ｓ６２７の各処理は、図１６のステップＳ２０８〜Ｓ２１０，Ｓ２１１〜Ｓ２１４，Ｓ２１９〜Ｓ２２１，Ｓ２３０〜Ｓ２３２，Ｓ２１０，Ｓ２１８、Ｓ２２７と同じとなる。
検出された個別被写体が１つの場合、この個別被写体が横臥姿勢であることに応じて、ステップ６１５においては、水平オフセット量θxに代えて、垂直オフセット量θyを設定することになる。第１，第２の構図制御では、顔方向に基づいた個別被写体の画像部分の重心位置を設定する基準として、垂直画像領域分割線Ｌｄ１を設定していた。これに対して、第３例、及び第４例の構図制御では、顔回転角度に基づいた個別被写体の画像部分の重心位置を設定する基準として、水平画像領域分割線Ｌｄ２を設定しているとみることができる。
ステップＳ６１６、Ｓ６１７によっては、ステップＳ６０１５により設定された垂直オフセット量θyに対応するｙ座標上に総合被写体重心Ｇｔ（被写体重心Ｇ）が位置するようにして、チルト制御を実行することになる。
図３４のフローチャートは、ステップＳ６１５としての、検出された横臥姿勢の個別被写体が１つの場合における、垂直オフセット量θyを設定するためのアルゴリズム例を示している。
この場合、個別被写体は既に横臥姿勢にあることが検出されているので、検出される顔方向としては、上、下、正面の３段階における何れかとなる。
図３４のステップ７０１においては、個別被写体について検出された顔方向について、上、下、正面の何れであるのかを判別する。
先ず、顔方向が上であるとして判別された場合には、個別被写体は、左向き又は右向きの横臥姿勢の状態で、顔方向が下向きであることになる。この場合、ステップＳ７０４により係数D1=-1を設定する。つまり、係数D1に-1を代入する。ここでの係数D1は、次に説明する垂直オフセット量θyを算出するための（式２）において用いられる係数となる。
ステップＳ７０７においては、垂直オフセット量θyを算出する。ここでは、下記の（式２）により求めるものとする。
θy＝Ｄ１×（Ｃy／６）／ｎ・・・（式２）
（式２）において、係数D1は、以降の説明から理解されるように、１つの個別被写体の顔方向若しくは顔回転角度、また、複数の個別被写体の顔方向の組み合わせ（関係性）、若しくは顔回転角度の組み合わせ（関係性）に基づいて得られる係数であって、+1，0，-1の何れかが設定される。また、（式２）における変数ｎは、検出された個別被写体数である。図３４の処理では、検出された個別被写体数は１であるから、変数ｎ＝１となる。
ここで、上記のようにステップＳ７０１において顔方向が下であるとして判別され、ステップＳ７０４にてD1=-1が設定された場合には、ステップＳ７０７によっては、
θy＝-1×（Ｃy／６）／1
の演算によって、θy＝-Cy／6が算出される。そして、この垂直オフセット量θy＝-Cy／6に基づいてステップＳ６１６，６１７によるチルト制御が行われることで、図２２（ｂ）若しくは図２３（ｂ）に示した垂直方向での被写体重心Ｇの位置が得られる。なお、横臥姿勢が左向きと右向きの何れであるのかに応じた水平オフセット量θxの設定と、この設定に応じたパン制御は、この場合には、ステップＳ６２９により行われる。ステップＳ６２９については後述する。
また、ステップＳ７０１にて顔方向が下向きであると判別された場合には、ステップＳ７０５により係数Ｄ１＝１を設定して、ステップＳ７０７により垂直オフセット量θy＝Cy／6が求められることになる。この垂直オフセット量θyに基づいたステップＳ６１６，６１７が実行される結果、例えば図２２（ａ）若しくは図２３（ａ）に示した垂直方向での被写体重心Ｇの位置が得られる。
また、ステップＳ７０１にて顔方向が正面であるとして判別された場合には、ステップＳ７０２に進む。
ステップＳ７０２においては、個別被写体について検出された顔回転角度fangが、+90°としてみなされる角度範囲、又は-90°としてみなされる角度範囲にあるか否かについて判別する。ここで、肯定の判別結果が得られた場合には、個別被写体は、右向き横臥姿勢又は左向き横臥姿勢の状態において、顔については、ほぼ真横で、回転させるようにして傾けてはいない状態であることになる。
この場合には、ステップＳ７０６により変数D1＝0を設定して、ステップＳ７０７により垂直オフセット量θy＝0を算出することになる。つまり、この場合には、被写体重心Ｇｔを、水平画像領域分割線Ｌｄ２上に位置させることになり、例えば図２０（ｂ）若しくは図２１に示した垂直方向での被写体重心Ｇの位置が得られる。
これに対して、ステップＳ７０２において否定の判別結果が得られた場合には、個別被写体の顔回転角度は、図２９の第３角度範囲、第４角度範囲、第５角度範囲、第６角度範囲のいずれかに該当していることになる。そこで、この場合には、ステップＳ７０３に進んで、顔回転角度fangが、第３角度範囲と第５角度範囲のいずれかに該当するか否かについて判別する。第３角度範囲と第５角度範囲は、何れも、横向きの顔が、上側に傾くようにして回転した状態になる。
ステップＳ７０３にて肯定の判別結果が得られた場合には、ステップＳ７０４により係数Ｄ１＝−１を設定したうえで、ステップＳ７０７により垂直オフセット量θy＝-Cy／6を算出する。これにより、図２４（ｂ）若しくは図２５（ｂ）に示される垂直方向での被写体重心Ｇの位置が得られる。
ステップＳ７０３において否定の判別結果が得られた場合には、個別被写体の顔回転角度は、第４角度範囲又は第６角度範囲の何れかに該当していることになる。第３角度範囲と第５角度範囲は、何れも、横向きの顔が、下側に傾くようにして回転した状態になる。
そこで、この場合には、ステップＳ７０５にて係数Ｄ１＝１を設定し、ステップＳ７０７により垂直オフセット量θy＝Cy／6を算出する。これにより、図２４（ａ）若しくは図２５（ａ）に示される垂直方向での被写体重心Ｇの位置が得られる。
次に、図３３において複数の個別被写体が検出された場合の垂直オフセット量θyを設定するための処理である、ステップＳ６２３としてのアルゴリズムを、図３５のフローチャートに示す。
図３５において、ステップＳ８０１〜ステップＳ８０３は、図３２に示したステップＳ５０１〜Ｓ５０３と同様となる。但し、ステップＳ８０３においては、全て同一とされた顔方向、若しくはステップＳ５０２により決定された基準顔方向について、上、下、正面の何れであるのかについて判別することとしている。
そして、顔方向（基準顔方向）が上であるとして判別した場合には、ステップＳ８０８に進んで係数D1＝-1を設定したうえで、ステップＳ８１１により、先の（式２）を利用した演算により垂直オフセット量θyを求める。この場合の垂直オフセット量θyは、負の値とされた上で、検出された個別被写体数ｎに応じて変化する。つまり、θy＝-(Cy/6)/2として表される値をとる。
また、ステップＳ８０３において、顔方向（基準顔方向）が下であると判別した場合には、ステップＳ８０９にて係数D1=1を設定して、個別被写体数ｎに応じた、垂直オフセット量θy＝(Cy/6)/2で表される値を求めることになる。例えば、このステップＳ８０３からステップＳ８０９に至る処理によって、図２７（ａ）や図２８（ａ）に示した垂直方向における総合被写体重心Ｇｔの位置が得られる。
次に、ステップＳ８０３において顔方向（基準顔方向）が正面であるとして判別された場合には、ステップＳ８０４に進む。
ステップＳ８０４においては、個別被写体ごとの顔回転角度fangが該当する角度範囲が、全て同一であるか否かについてについて判別する。この場合、個別被写体は、横臥姿勢であることが既に判定されている。従って、ここでの角度範囲は、図２９との対応では、+90°とみなされる角度範囲、-90°とみなされる角度範囲、角度範囲３、角度範囲４、角度範囲５、角度範囲６の６つのうちの何れかとなる。一例として、全ての個別被写体の顔回転角度が、角度範囲３に該当するのであれば、ステップＳ８０４にて肯定の判別結果が得られる。
ステップＳ８０４にて肯定の判別結果が得られた場合には、ステップＳ８０５をスキップしてステップＳ８０６に進む。これに対して、ステップＳ８０４にて否定の判別結果が得られたのであれば，ステップＳ８０５により基準顔回転角度rfangを決定する処理を実行してからステップＳ８０６に進む。ステップＳ８０５の基準顔回転角度決定処理についても、図３２のステップＳ５０７と同様に、元の図１６のステップＳ２２２−１に準じた処理とすればよい。
ただし、ステップＳ７０３においては+90°とみなされる角度範囲、角度範囲３、角度範囲４、-90°とみなされる角度範囲、角度範囲５、角度範囲６のうちの何れかとしての基準顔回転角度rfangを決定すべきことになる。ステップＳ５０７では、基準顔回転角度rfangとして、0°とみなされる角度範囲、角度範囲１、角度範囲２のうちの何れかにより決定する。
ステップＳ８０６においては、ステップＳ８０４にて同一と判定された顔回転角度fang、若しくはステップＳ８０５において決定された基準顔回転角度rfangが、+90°若しくは-90°の何れかに該当するか否かについて判別する。
ステップＳ８０６にて肯定の判別結果が得られた場合には、複数の個別被写体の顔は、ほぼ真横とされて、上又は下方向に傾いているようにして回転してはいない傾向の状態であることになる。
そこで、この場合には、ステップＳ８１０により係数D1＝0を設定したうえで、ステップＳ８１１により垂直オフセット量θy=0を算出する。これにより、例えば、図２６（ａ）（ｂ）に示した垂直方向における総合被写体重心Ｇｔの位置が得られる。
ステップＳ８０６にて否定の判別結果が得られた場合、個別被写体の顔は、上又は下方向に傾いているようにして回転している傾向の状態であることになる。つまり、顔回転角度fang若しくは基準顔回転角度rfangとしては、図２９の第３〜第６角度範囲のいずれかに該当している状態である。
そこで、この場合にはステップＳ８０７により、図３４のステップＳ７０３と同様にして、顔回転角度fang（基準顔回転角度rfang）が、第３角度範囲と第５角度範囲のいずれかに該当するか否かについて判別し、肯定の判別結果が得られたのであれば、ステップＳ８０８により係数D1 = -1を設定する。
また、ステップＳ８０７にて否定の判別結果が得られた場合には、個別被写体の顔回転角度(又は基準顔回転角度)は、第４角度範囲又は第６角度範囲の何れかに該当していることになる。そこで、この場合には、ステップＳ８０９により係数Ｄ１＝１を設定する。
これにより、例えば図２７（ｂ）や図２８（ｂ）に示すような垂直方向における総合被写体重心Ｇｔの位置が得られる。
図３６のフローチャートは、図３３におけるステップＳ６２９としての水平オフセット対応パン制御における、水平オフセット量θxの設定処理例を示している。
ここでは、先ず、ステップＳ９０１により、顔回転角度fangについて、+90°±a°の範囲に該当するか否かについて判別する。つまり、+90°とみなされる角度範囲、角度範囲３、角度範囲４の何れかに該当するか否かについて判別する。これは、即ち、個別被写体が右向きの横臥姿勢であるか否かについて判別していることに相当する。
なお、個別被写体が複数の場合には、複数の個別被写体について同一であると判定された顔回転角度fang、若しくは図３５のステップＳ８０５にて判定された基準顔回転角度rfangによりステップＳ９０１での判別を行う。
ステップＳ９０１において肯定の判別結果が得られた場合には、例えばこれまでの説明に対応した最も単純な処理として、ステップＳ９０２により、水平オフセット量θx＝Cx/6を設定する。
これに対して、ステップＳ９０１において肯定の判別結果が得られた場合には、顔回転角度fang（又は基準顔回転角度rfang）は、図２９において-90°とみなされる角度、角度範囲５、角度範囲６の何れかに該当しており、従って、個別被写体が左向きの横臥姿勢であることになる。
そこで、この場合には、ステップＳ９０３により、水平オフセット量θx＝-Cx/6を設定する。
そして、ステップＳ６２９では、総合被写体重心Ｇｔが、上記のようにして設定した水平オフセット量θxに対応するＸ座標に位置するようにしてパン制御を実行する。これにより、例えば図２６（ａ）（ｂ）などに示すように、個別被写体の横臥姿勢が左向きと右向きの何れであるのかに応じて、水平方向における総合被写体重心Ｇｔの位置が適切に移動されることになる。
なお、これまでの説明では、先ず、通常姿勢時においては、顔回転角度については、0°（基準）とみなされる角度範囲、角度範囲１、角度範囲２の３段階に応じて構図が変更される制御となっている。しかし、例えば0°（とみなされる角度範囲）、角度範囲１、角度範囲２から成る角度範囲全体をさらに多段階に分割して、顔回転角度（範囲）の検出を行い、このようにして検出された顔回転角度（範囲）の段階に応じて、さらに細かく垂直オフセット量θyを可変するアルゴリズムとすることが考えられる。
また、横臥姿勢時も同様にして、左向き横臥に対応しては、-90°±a°の範囲を、-90°、回転角度範囲５、回転角度範囲６の３段階よりもさらに多段階で検出する。また、右向き横臥に対応しても、+90°±a°の範囲を、+90°（とみなされる角度範囲）、回転角度範囲３、回転角度範囲４の３段階よりもさらに多段階で検出する。そして、この検出結果に基づいて、さらに細かく垂直オフセット量θyを可変するように構成することが考えられる。
また、上記第３例、第４例の構図制御では、回転角度を検出する個別被写体の対象部位を人物の顔としているが、人物の顔以外の何らかの特定の対象部位の回転角度を検出して、例えば第３例、第４例に倣った構図制御を行う構成も考えられる。
＜８．セルフタイマ自動起動機能＞
次に、これまでに説明した顔回転角度に基づく構図制御の構成を、セルフタイマ自動起動機能に適用した例について説明する。なお、このセルフタイマ自動起動機能を適用するのに際しては、必ずしも、本実施形態の撮像システムのようにして、デジタルスチルカメラと雲台とが組み合わされる必要はない。例えばデジタルスチルカメラ１のみで対応できる。
ここでのセルフタイマ自動起動機能とは、次のようなものとなる。
例えばユーザは、デジタルスチルカメラ１に対する操作によって、セルフタイマ自動起動機能をオンに設定することができる。
セルフタイマ自動起動機能がオンに設定されると、デジタルスチルカメラ１は、例えば撮像により得られる画像の画枠３００において、図３７（ａ）に示すようにして、セルフタイマ起動範囲２００を設定する。
このセルフタイマ起動範囲２００は、画枠３００よりも小さい、所定の形状サイズによる枠として設定される。
この場合のセルフタイマ起動範囲２０は、先ず、図３７（ａ）において水平方向に対応する水平方向幅Wxについては、その左右において、画枠３００に対して画素数ｂ分のマージン（不感領域）が設定されている。つまり、画枠３００の水平画素数をCxとすると、Wx＝Cx-2bであり、かつ、Wxの中点が、Cxの中点と一致するようにされている。
また、図３７（ａ）において垂直方向に対応する垂直方向幅Wyについても、その上下において、画枠３００に対して画素数ａ分のマージン（不感領域）が設定されている。この場合、画枠３００の垂直画素数をCyとすると、Wy＝Cy-2bとされたうえで、Wyの中点が、Cxの中点と一致するようにされている。
また、セルフタイマ自動起動機能としては、セルフタイマを自動起動させる条件として、セルフタイマ起動範囲２００にて検出される個別被写体数をユーザ操作によって設定できるようになっている。ここでは、上記の個別被写体数を２に設定したとする。
このようにしてセルフタイマ自動起動機能をオンに設定した操作を行って、例えばユーザは、デジタルスチルカメラ１をしかるべき位置に置くようにする。この後、被写体としてセルフタイマで撮影されようとする人は、例えば、デジタルスチルカメラ１の撮像視野範囲に収まるようにして動いたりすることになる。
このとき、例えば画枠３００内に２つの個別被写体ＳＢＪ０，ＳＢＪ１が収まっているとしても、このうちの少なくとも何れか一方がセルフタイマ起動範囲２００内に収まっていなければ、セルフタイマ撮影の動作は起動しないで待機している。
そして、例えば図３７（ａ）に示すようにして、セルフタイマ起動範囲２００において２つの個別被写体が検出されたとする。これをトリガとして、デジタルスチルカメラは、セルフタイマを起動させる。そして、予め設定したセルフタイマとしての待ち時間が経過したタイミングで、そのときに撮影されている撮像画像を記録する。
このようにして、セルフタイマ自動起動機能では、必要な数の被写体が、必ず画枠内に収まっている画内容の撮像画像データを記録することができる。
ここで、上記図３７（ａ）に示される状態は、デジタルスチルカメラ１が、通常に、撮像画像に対して画枠３００の短手方向が縦（垂直）になる状態に対応するようにして置かれている状態に対応する。つまり、いわゆる横置きといわれる状態でデジタルスチルカメラ１が置かれている状態である。
これに対して、例えばユーザが、セルフタイマ自動起動機能をオンにしてデジタルスチルカメラを置く際に、上記の横置きではなく、縦置きの状態にしたとする。つまり、図３７（ｂ）に示すようにして、撮像画像に対して画枠３００の短手方向が横（水平）になる状態でデジタルスチルカメラ１を置いたとする。
このようにして、デジタルスチルカメラ１を縦置きにした状態では、当然のこととして、セルフタイマ起動範囲２００の短手方向に対応する垂直方向幅Wyも水平方向に沿うことになる。
すると、図３７（ｂ）の状態では、水平方向におけるセルフタイマ起動範囲２００の幅が狭くなり、それだけ、被写体がセルフタイマ起動範囲２００に収まりにくくなる。
そこで、本実施形態では、デジタルスチルカメラ１が縦置きの状態でセルフタイマ自動起動機能がオンとされたときには、同じ図３７（ｂ）に示すようにして、垂直方向幅Wyに対応する方向の不感領域について、画素数ａよりも少ない画素数cに対応した幅に変更設定する。つまり、垂直方向幅Wyを拡大する。これにより、被写体となる人は、セルフタイマ起動範囲２００の水平方向において、より収まりやすくなる。
図３８は、上記図３７のようにして、デジタルスチルカメラ１の置かれた向きに応じて、セルフタイマ起動範囲２００の垂直方向幅Wyを変更設定するためのアルゴリズム例を示している。
先ず、ステップＳ１００１において、デジタルスチルカメラ１は、画枠３００において、予め設定したセルフタイマ起動条件を満たす数の個別被写体が検出されるのを待機している。
ステップＳ１００１において必要数の個別被写体が検出されたとすると、ステップＳ１００２により、図３０のステップＳ３０１と同様に、個別被写体について検出された顔回転角度fangについて、fang == +90°±a°と、fang == -90°±a°のいずれかの範囲に該当するか否かについて判別する。これは、図３０のステップＳ３０１においては、検出される個別被写体が、横臥姿勢であるか否かについての判別に相当するものであった。
このセルフタイマ自動起動機能に関しては、デジタルスチルカメラ１は、図３７（ａ）に示すようにして撮像画像の画枠３００の短手方向が縦（垂直）となる状態が正規であるとして認識するようにされている。従って、ステップＳ３０１は、被写体としての人が通常姿勢であることを前提にすれば、デジタルスチルカメラ１自体が、図３７（ｂ）に対応する縦置きの状態であるのか否かについて判別していることになる。
ステップＳ１００２にて否定の判別結果が得られた場合には、デジタルスチルカメラ１は通常の横置きの状態であることになる。そこで、この場合にはステップＳ１００３に進んで、セルフタイマ起動範囲２００の垂直方向幅Wyについて、図３７（ａ）にて説明したように、Wy＝Cy-2aに設定する。
これに対して、ステップＳ１００３にて肯定の判別結果が得られた場合には、デジタルスチルカメラ１は縦置きの状態であることになる。そこで、この場合にはステップＳ１００４により、セルフタイマ起動範囲２００の垂直方向幅Wyについて、図３７（ｂ）にて説明したように、Wy＝Cy-2cに設定して、垂直方向幅Wyを拡大する。
上記ステップＳ１００３、又はステップＳ１００４による垂直方向幅Wyの設定の後は、ステップＳ１００５により、ステップＳ１００１にて検出されている必要数の個別被写体の全てが、セルフタイマ起動範囲２００内に位置している状態であるか否かについて判別する。
ステップＳ１００５にて否定の判別結果が得られた場合には、ステップＳ１００１に戻る。
そして、或る時点で、必要数の個別被写体の全てがセルフタイマ起動範囲２００内に位置した状態となると、ステップＳ１００５にて肯定の判別結果が得られることとなって、ステップＳ１００６に進む。
ステップＳ１００６では、セルフタイマ撮影の動作を起動させる。つまり、タイマによる計時を開始させ、タイマ時間が経過したタイミングで撮像画像の記録を実行する。
なお、この本実施形態としてのセルフタイマ自動起動機能では、先の第１例〜第４例の構図制御のようにして、画枠内における個別被写体の位置を移動させるという積極的な構図制御は行っていない。
しかし、例えば図３７（ｂ）のようにして垂直方向幅Wyを拡大するという変更設定を行う結果、セルフタイマ撮影により記録される撮像画像データにおける個別被写体の位置は、垂直方向幅Wyを拡大しない場合とは変わり得る。例えば、分かりやすい例では、個別被写体が複数のとき、水平方向における個別被写体の位置としては、垂直方向幅Wyが拡大されなければ、水平方向における被写体の間の距離が短くなり、画枠のかなり中央側に全ての個別被写体が収まるような構図となる。
これに対して、垂直方向幅Wyが拡大されれば、その分、水平方向における全ての個別被写体が収まる範囲も拡大して、水平方向における被写体の間の距離が長くなって余裕のある構図となる。
つまり、本実施形態としてのセルフタイマ自動起動機能は、個別被写体について検出された顔回転角度に応じて垂直方向幅Wyを拡大するという処理によって、結果的には、垂直方向幅Wyを拡大しない場合とは異なる構図を得ることができる。この点で、セルフタイマ自動起動機能も、先の第３例、第４例の構図制御と同様にして、個別被写体の顔回転角度に応じて構図を判定しているということがいえる。
＜９．本実施形態の撮像システムの変形例＞
図３９は、先に図７，図８に示した本実施の形態の撮像システムに対する変形例としての構成例を示している。これは、先に説明した第１例〜第４例の構図制御を実現する構成についての変形例となる。
この図では、先ず、デジタルスチルカメラ１から通信制御処理ブロック６３を経由して、撮像に基づいて信号処理部２４にて生成される撮像画像データを、雲台１０に対して送信するようにされている。
この図においては、雲台１０の構成として通信制御処理ブロック７１、パン・チルト制御処理ブロック７２、被写体検出処理ブロック７３、及び構図制御処理ブロック７４が示されている。
通信制御処理ブロック７１は、図７の通信部５２に対応する機能部位であって、デジタルスチルカメラ１側の通信制御処理ブロック部６３（雲台対応通信部３４）との通信処理を所定のプロトコルに従って実行するようにして構成される部位である。
通信制御処理ブロック７１により受信された撮像画像データは、被写体検出処理ブロック７３に渡される。この被写体検出ブロッ７３は、例えば図８に示した被写体検出処理ブロック６１と同等の被写体検出処理が少なくとも可能なだけの信号処理部を備えて構成され、取り込んだ撮像画像データを対象として被写体検出処理を実行し、その検出情報を構図制御処理ブロック７４に出力する。
構図制御処理ブロック７４は、図８の構図制御処理ブロック６２と同等の構図制御を実行可能とされており、この構図制御処理の結果としてパン制御、チルト制御を行うときには、そのための制御信号をパン・チルト制御処理ブロック７２に対して出力する。
パン・チルト制御処理ブロック７２は、例えば図７における制御部５１が実行する制御処理のうちで、パン・チルト制御に関する処理の実行機能に対応するもので、入力される制御信号に応じてパン機構部５３、チルト機構部５６の動きをコントロールするための信号をパン用駆動部５５、チルト用駆動部５８に対して出力する。これにより、構図制御処理ブロック６２にて判定した構図が得られるようにしてパンニング、チルティングが行われる。
このようにして、図３９に示す撮像システムは、デジタルスチルカメラ１から雲台１０に撮像画像データを送信させることとして、雲台１０側により、取り込んだ撮像画像データに基づく被写体検出処理と構図制御とを実行するようにして構成しているものである。
図４０は、本実施の形態の撮像システムについての他の変形例としての構成例を示している。なお、この図において、図３９と同一部分には同一符号を付して説明を省略する。
このシステムにおいては、雲台１０側において撮像部７５が備えられる。この撮像部７５は、例えば撮像のための光学系と撮像素子（イメージャ）を備えて、撮像光に基づいた信号（撮像信号）を得るようにされているとともに、この撮像信号から撮像画像データを生成するための信号処理部から成る。これは、例えば図６に示した光学系部２１、イメージセンサ２２、Ａ／Ｄコンバータ２３、及び信号処理部２４において撮像画像データを得るまでの信号処理段から成る部位に対応する構成となる。撮像部７５により生成される撮像画像データは被写体検出処理ブロック７３に出力される。なお、撮像部７５が撮像光を取り込む方向（撮像方向）は、例えば雲台１０に載置されるデジタルスチルカメラ１の光学系部２１（レンズ部３）の撮像方向とできるだけ一致するようにして設定される。
この場合の被写体検出処理ブロック７３及び構図制御処理ブロック７４は、上記図３９と同様にして被写体検出処理、構図制御処理を実行する。但し、この場合の構図制御処理ブロック７４は、パン・チルト制御に加えて、レリーズ動作を実行させるタイミングに対応してはレリーズ指示信号を、通信制御処理ブロック７１からデジタルスチルカメラ１に対して送信させる。デジタルスチルカメラ１では、レリーズ指示信号が受信されることに応じてレリーズ動作を実行するようにされる。
このようにして他の変形例では、被写体検出処理と構図制御に関して、レリーズ動作自体に関する以外の全ての制御・処理を雲台１０側で完結して行うことができる。
また、先に説明した第１例〜第４例の構図制御において実行されるパン制御、チルト制御は、雲台１０のパン・チルト機構の動きを制御することにより行うこととしているが、雲台１０に代えて、例えば、デジタルスチルカメラ１のレンズ部３に対しては、反射鏡により反射された撮像光が入射されるようにしたうえで、撮像光に基づいて得られる画像についてパンニング・チルティングされた結果が得られるようにして上記反射光を動かす構成を採用することも考えられる。
また、デジタルスチルカメラ１のイメージセンサ２２から画像として有効な撮像信号を取り込むための画素領域を水平方向と垂直方向にシフトさせるという制御を行うことによっても、パンニング・チルティングが行われるのと同等の結果を得ることができる。この場合には、雲台１０若しくはこれに準ずる、デジタルスチルカメラ１以外のパン・チルトのための装置部を用意する必要が無く、デジタルスチルカメラ１単体により本実施の形態としての構図制御を完結させることが可能となる。
また、光学系部２１におけるレンズの光軸を水平・垂直方向に変更することのできる機構を備えて、この機構の動きを制御するように構成しても、パンニング・チルティングを行うことが可能である。
＜１０．本実施形態の構図制御の適用例＞
また、本願発明に基づく構図判定のための構成は、これまでに実施の形態として説明してきた撮像システム以外にも適用することができる。そこで以降、本願発明による構図判定の適用例について述べる。
先ず、図４１は、本願発明による構図判定を、デジタルスチルカメラなどの撮像装置単体に対して適用したもので、例えば撮像モード時において撮像装置により撮像している画像が適正な構図になったときに、このことを表示によってユーザに通知しようとするものである。
このために撮像装置が備えるべき構成として、ここでは被写体検出・構図判定処理ブロック８１、通知制御処理ブロック８２、表示部８３を示している。
被写体検出・構図判定処理ブロック８１は、撮像画像データを取り込んで、例えば図８の被写体検出処理ブロック６１と同等の被写体検出処理と、この被写体検出処理の結果としての検出情報を利用して、例えば図８の構図制御処理ブロックと同等の構図判定のための処理とを行うようにされた部位である。
例えばユーザは、撮像装置を撮像モードに設定したうえで、撮像装置を手に持っており、いつでもレリーズ操作（シャッターボタン操作）を行えば撮像画像の記録が行える状況にあるものとする。
このような状態の下、被写体検出・構図判定処理ブロック８１では、そのときに撮像して得られる撮像画像データを取り込んで被写体検出を行う。すると構図制御処理によっては、先ず、検出された個別被写体の数等に応じて最適構図がどのようなものであるのかが特定されることになるが、この場合の構図判定処理としては、そのときに得られている撮像画像データの画内容の構図と、最適構図との一致性、類似度を求めるようにされる。そして、例えば類似度が一定以上になったときに、実際に撮影して得られている撮像画像データの画内容が最適構図になったと判定するようにされる。なお、例えば実際においては、撮像画像データの画内容の構図と最適構図とが一致したとみなされる程度の、所定以上の類似度が得られたら、最適構図と判断するようにしてアルゴリズムを構成することが考えられる。また、ここでの一致性、類似度をどのようにして求めるのかについては多様なアルゴリズムを考えることができるので、ここでは、その具体例については特に言及しない。
このようにして撮像画像データの画面内容が最適構図になったことの判定結果の情報は通知制御処理ブロック８２に対して出力される。通知制御処理ブロック８２は、上記の情報の入力に応じて、現在において撮像されている画像が最適構図であることをユーザに通知するための所定態様による表示が表示部８３にて行われるように表示制御を実行する。なお、通知制御処理ブロック８２は、撮像装置が備えるマイクロコンピュータ（ＣＰＵ）などによる表示制御機能と、表示部８３に対する画像表示を実現するための表示用画像処理機能などにより実現される。なお、ここでの最適構図であることのユーザへの通知は、電子音、若しくは合成音声などをはじめとした音により行われるように構成してもよい。
また、表示部８３は、例えば本実施の形態のデジタルスチルカメラ１の表示部３３に対応するもので、例えば撮像装置における所定位置に対してそのディスプレイパネルが表出するようにして設けられ、撮影モード時にはいわゆるスルー画といわれる、そのときに撮像されている画像が表示されることが一般的である。従って、この撮像装置の実際にあっては、表示部８３において、スルー画に対して重畳される態様で最適構図であることを通知する内容の画像が表示されることになる。ユーザは、この最適構図であることを通知する表示が現れたときにレリーズ操作を行うようにされる。これにより、写真撮影の知識や技術に長けていないようなユーザであっても、良好な構図の写真撮影を簡単に行うことが可能になる。
また、図４２も、上記図４１と同様にデジタルスチルカメラなどの撮像装置単体に対して本願発明による構図判定を適用したものとなる。
先ず、この図に示す構成においては、図４１と同様に、被写体検出・構図判定処理ブロック８１により、そのときの撮像により得られる撮像画像データを取り込んで被写体検出処理を行うとともに、被写体検出情報に基づいて、上記の撮像画像データの画内容が最適構図であるか否かを判定するようにされる。そして、最適構図になったことを判定すると、このことをレリーズ制御処理ブロック８４に対して通知する。
レリーズ制御処理ブロック８４は、撮像画像データを記録するための制御を実行する部位とされ、例えば撮像装置が備えるマイクロコンピュータが実行する制御などにより実現される。上記の通知を受けたレリーズ制御処理ブロック８４は、そのときに得られている撮像画像データが、例えば記憶媒体に記憶されるようにして画像信号処理、記録制御処理を実行する。
このような構成であれば、例えば最適な構図の画像が撮像されたときには、自動的にその撮像画像の記録が行われるようにした撮像装置を得ることができる。
なお、上記図４１及び図４２の構成は、例えばスチルカメラの範疇であれば、例えばデジタルスチルカメラに適用できるほか、銀塩フィルムなどに撮像画像を記録するいわゆる銀塩カメラといわれるものにも、例えば光学系により得られた撮像光を分光して取り入れるイメージセンサと、このイメージセンサからの信号を入力して処理するデジタル画像信号処理部などを設けることで適用が可能である。
また、図４３は、既に存在する画像データに対して画像編集を行う編集装置に本願発明を適用した例である。
この図においては編集装置９０が示されている。ここでの編集装置９０は、既に存在する画像データとして、例えば記憶媒体に記憶されていたものを再生して得た画像データ（再生画像データ）を得るようにされている。なお、記憶媒体から再生したものの他に、例えばネットワーク経由でダウンロードしたものを取り込んでもよい。即ち、編集装置９０が取り込むべき撮像画像データをどのような経路で取得するのかについては、特に限定されるべきものではない。
編集装置９０が取り込んだとされる再生撮像画像データは、トリミング処理ブロック９１と被写体検出・構図判定処理ブロック９２のそれぞれに対して入力される。
先ず、被写体検出・構図判定処理ブロック９２は、例えば先ず、図４１、図４２と同様の被写体検出処理を実行して検出情報を出力する。そして、この検出情報を利用した構図判定処理として、この場合には、入力される再生撮像画像データとしての全画面において、最適構図が得られるとされる所定の縦横比による画像部分（最適構図の画像部分）がどこであるのかを特定する。そして、最適構図の画像部分が特定されると、例えばその画像部分の位置を示す情報（トリミング指示情報）をトリミング処理ブロック９１に対して出力する。
トリミング処理ブロック９１は、上記のようにしてトリミング指示情報が入力されたことに応答して、入力される再生撮像画像データから、トリミング指示情報が示す画像部分を抜き出すための画像処理を実行し、抜き出した画像部分を１つの独立した画像データとして出力する。これが編集撮像画像データとなる。
このような構成であれば、例えば画像データの編集処理として、元々ある画像データの画内容から最適構造となる部分を抜き出した内容の画像データを新規に得るというトリミングが自動的に行われることになる。このような編集機能は、例えばパーソナルコンピュータなどにインストールされる画像データ編集のためのアプリケーションであるとか、画像データを管理するアプリケーションにおける画像編集機能などで採用することが考えられる。
図４４は、本願発明の構図判定をデジタルスチルカメラなどの撮像装置に適用した構成の一例である。
ここでは図示していない撮像部により撮像して得られる撮像画像データは、撮像装置１００内の被写体検出・構図判定処理ブロック１０１、ファイル作成処理ブロック１０３に対して入力することとしている。なお、この場合において、撮像装置１００内に入力された撮像画像データは、例えばレリーズ操作などに応じて記憶媒体に記憶されるべきこととなった撮像画像データであり、ここでは図示していない、撮像部での撮像により得られた撮像信号を基に生成されたものである。
先ず被写体検出・構図判定処理ブロック１０１では、入力された撮像画像データを対象に被写体検出を行い、その検出情報に基づいて最適構図がどのようなものであるのかを判定するようにされる。具体的には、例えば図４３の場合と同様にして、入力された撮像画像データの全画面において最適構図となる画像部分を特定した情報が得られるようにされればよい。そして、このようにして得た最適構図についての判定結果を表す情報を、メタデータ作成処理ブロック１０２に対して出力する。
メタデータ作成処理ブロック１０２では、入力された情報に基づいて、対応する撮像画像データから最適構図を得るために必要な情報から成るメタデータ（構図編集メタデータ）を作成し、ファイル作成処理ブロック１０３に対して出力する。この構図編集メタデータの内容としては、例えば、対応する撮像画像データとしての画面においてトリミングする画像領域部分がどこであるのかを示し得る位置情報などとなる。
この図に示す撮像装置１００では、撮像画像データについて、所定形式による静止画像ファイルとして管理されるようにして記憶媒体に記録するものとされる。これに対応して、ファイル作成処理ブロック１０３は、撮像画像データを、静止画像ファイル形式に変換（作成）する。
ファイル作成処理ブロック１０３は、先ず、入力される撮像画像データについて、画像ファイル形式に対応した画像圧縮符号化を行い、撮像画像データから成るファイル本体部分を作成する。これとともに、メタデータ作成処理ブロック１０２から入力された構図編集メタデータを、所定の格納位置に対して格納するようにしてヘッダ及び付加情報ブロックなどのデータ部分を作成する。そして、これらファイル本体部分、ヘッダ、付加情報ブロックなどから静止画像ファイルを作成し、これを出力する。これにより、図示するようにして、記憶媒体に記録すべき静止画像ファイルとしては、撮像画像データとともにメタデータ（構図編集メタデータ）が含まれる構造を有したものが得られることになる。
図４５は、上記図４４の装置により作成された静止画像ファイルについて編集を行う編集装置の構成例を示している。
図に示す編集装置１１０は、静止画像ファイルのデータを取り込んで、先ずメタデータ分離処理ブロック１１１に入力する。メタデータ分離処理ブロック１１１は、静止画像ファイルのデータから、ファイル本体部分に相当する撮像画像データとメタデータとを分離する。分離して得られたメタデータについてはメタデータ解析処理ブロック１１２に対して出力し、撮像画像データについてはトリミング処理ブロック１１３に対して出力する。
メタデータ解析処理ブロック１１２は、取り込んだメタデータを解析する処理を実行する部位とされる。そして、解析処理として、構図編集メタデータについては、その内容である最適構図を得るための情報から、すくなくとも、対応の撮像画像データを対象としてトリミングを行う画像領域を特定する。そして、この特定された画像領域のトリミングを指示するトリミング指示情報をトリミング処理ブロック１１３に対して出力する。
トリミング処理ブロック１１３は、先の図４３のトリミング処理ブロック９１と同様に、メタデータ解析処理ブロック１１１側から入力した撮像画像データから、上記メタデータ分離処理ブロック１１２から入力されるトリミング指示情報が示す画像部分を抜き出すための画像処理を実行し、抜き出した画像部分を１つの独立した画像データである、編集撮像画像データとして出力する。
上記図４４、図４５に示される撮像装置と編集装置から成るシステムによれば、例えば撮影などにより得たオリジナルの静止画像データ（撮像画像データ）はそのまま無加工で保存しておけるようにしたうえで、このオリジナル静止画像データからメタデータを利用して、最適構図となる画像を抜き出す編集が行えることになる。また、このような最適構図に対応した抜き出し画像部分の決定は、自動的に行われるものとなる。
図４６は、ビデオカメラなどとしての動画像の撮影記録が可能な撮像装置に本願発明を適用した例である。
この図に示す撮像装置１２０には、動画像データが入力される。この動画像データは、例えば同じ撮像装置１２０が有するとされる撮像部により撮像を行って得られる撮像信号に基づいて生成されるものである。この動画像データは、撮像装置１２０における被写体検出・構図判定処理ブロック１２２、及び動画像記録処理ブロック１２４に対して入力される。
この場合の被写体検出・構図判定処理ブロック１２２は、入力されてくる動画像データについての構図の良否判定を行う。例えば、被写体検出・構図判定処理ブロック１２２では、予め良好とされる構図がどのようなものであるのかについてのパラメータ（良好構図対応パラメータ）を保持している。このパラメータとしては、検出される個別被写体数と、個別被写体ごとに検出して得た顔方向の情報に応じて適切であるとして設定された目標被写体サイズや水平オフセット量θxなどとなる、そして、被写体検出・構図判定処理ブロック１２２は、入力されてくる動画像データについて、例えば継続的にどのような構図となっているかについての構図判定を行う（例えば動画像データにおける実際の個別被写体の占有率、被写体間距離Ｋなどの構図パラメータを求める）と共に、この判定結果として得られた動画像データの構図パラメータと、上記の良好構図パラメータとを比較する。そして、動画像データの構図パラメータが良好構図対応パラメータに対して一定以上の類似度を有していれば良好な構図であると判定され、上記類似度が一定以下であれば、良好な構図ではないと判定される。
被写体検出・構図判定処理ブロック１２２は、上記のようにして動画像データについて良好な構図が得られていると判定したときには、メタデータ作成処理ブロック１２３に対して、動画像データにおいて、今回、上記の良好な構図が得られていると判定した画像区間(良好構図画像区間)がどこであるのかを示す情報(良好構図画像区間指示情報)を出力する。良好構図画像区間指示情報)は、例えば動画像データにおける良好構図画像区間としての開始位置と終了位置を示す情報などとされる。
この場合のメタデータ作成処理ブロック１２３は、次に説明する動画像記録処理ブロック１２４により記憶媒体にファイルとして記録される動画像データについての、各種所要のメタデータを生成するものとされる。そのうえで、上記のようにして被写体検出・構図判定処理ブロック１２２から良好構図画像区間指示情報を入力した場合には、入力された良好構図画像区間指示情報が示す画像区間が良好な構図であることを示すメタデータを生成し、動画像記録処理ブロック１２４に対して出力する。
動画像記録処理ブロック１２４は、入力された動画像データについて、所定形式による動画像ファイルとして管理されるようにして記憶媒体に記録するための制御を実行する。そして、メタデータ作成処理ブロック１２３からメタデータが出力されてきた場合には、このメタデータが、動画像ファイルに付随するメタデータに含められるようにして記録されるようにするための制御を実行する。
これにより、図示するようにして、記憶媒体に記録される動画像ファイルは、撮像により得られたとする動画像データに、良好な構図が得られている画像区間を示すメタデータが付随された内容を有することになる。
なお、上記のようにしてメタデータにより示される、良好な構図が得られている画像区間は、或る程度の時間幅を有する動画像による画像区間とされてもよいし、動画像データから抜き出した静止画像によるものとされてもよい。また、上記のメタデータに代えて、良好な構図が得られている画像区間の動画像データ若しくは静止画像データを生成して、これを動画像ファイルに付随する副次的な画像データ静止画像データ（或いは動画像ファイルと独立したファイル）として記録する構成も考えられる。
また、図４６に示されるようにして、撮像装置１２０に対して被写体検出・構図判定処理ブロック１２２を備える構成では、被写体検出・構図判定処理ブロック１２２により良好構図画像区間であると判定された動画像の区間のみを動画像ファイルとして記録するように構成することも考えられる。さらには、被写体検出・構図判定処理ブロック１２２により良好構図であると判定された画像区間に対応する画像データを、データインターフェースなどを経由して外部機器に出力するような構成も考えることができる。
図４７は、印刷を行う印刷装置に本願発明を適用した例である。
この場合には、印刷装置１３０が、印刷すべき画像内容を有する画像データ（静止画）を取り込むこととされており、このようにして取り込んだデータは、トリミング処理ブロック１３１、及び被写体検出・構図判定処理ブロック１３２に対して入力される。
先ず、被写体検出・構図判定処理ブロック１３２は、図４３の被写体検出・構図判定処理ブロック９２と同様の被写体検出処理・構図判定処理を実行することで、入力される画像データの全画面における最適構図の画像部分を特定する処理を実行し、この処理結果に応じた内容のトリミング指示情報を生成してトリミング処理ブロック１３１に対して出力する。
トリミング処理ブロック１３１は、図４３のトリミング処理ブロック９１と同様にして、入力した画像データから、トリミング指示情報が示す画像部分を抜き出すための画像処理を実行する。そして、この抜き出した画像部分のデータを、印刷用画像データとして印刷制御処理ブロック１３３に対して出力する。
印刷制御処理ブロック１３３は、入力された印刷用画像データを利用して、ここでは図示していない印刷機構を動作させるための制御を実行する。
このような動作により、印刷装置１３０によっては、入力した画像データの画内容から、最適構図が得られているとされる画像部分が自動的に抜き出されて、１枚の画として印刷されることになる。
図４８に示される例は、例えば静止画像ファイルを多数記憶し、これらの静止画像ファイルを利用したサービスを提供するための装置、システムに適用して好適である。
記憶部１４１には、多数の静止画像ファイルが記憶される。
被写体検出・構図判定処理ブロック１４２は、所定のタイミングで、記憶部１４１に記憶されている静止画ファイルを取り込み、そのファイル本体部に格納される静止画像データを取り出す。そして、この静止画像データを対象として、例えば図４４の被写体検出・構図判定処理ブロック１０１と同様の処理を実行して最適構図についての判定結果を表す情報を得て、この情報をメタデータ作成処理ブロック１４３に対して出力する。
メタデータ作成処理ブロック１４３は、入力された情報に基づいて、先の図４４のメタデータ作成処理ブロック１０２と同様に、メタデータ（構図編集メタデータ）を作成する。その上で、この場合には、作成したメタデータを、記憶部１４１に記憶されるメタデータテーブルに登録する。このメタデータテーブルは、同じ記憶部１４１に記憶される静止画像データとの対応関係が示されるようにしてメタデータを格納して成る情報単位とされる。つまり、メタデータテーブルによっては、メタデータ（構図編集メタデータ）と、このメタデータを作成するために被写体検出・構図判定処理ブロック１４２により被写体検出処理及び構図判定処理の対象となった静止画像ファイルとの対応が示される。
そして、例えば外部からの静止画ファイルの要求に応じて、記憶部１４１に記憶されている静止画像ファイルを出力する（例えばサーバであれば、クライアントからのダウンロード要求に応じて静止画像ファイルをダウンロードする場合などとなる）際には、静止画ファイル出力処理ブロック１４４が、記憶部１４１から要求された静止画像ファイルを検索して取り込むとともに、この検索した静止画ファイルに対応するメタデータ（構図編集メタデータ）も、メタデータテーブルから検索して取り込むようにされる。
そして、この静止画像ファイル出力処理ブロック１４４は、例えば図４５に示したメタデータ解析処理ブロック１１２、及びトリミング処理ブロック１１３に相当する機能ブロックを少なくとも有して成る。
静止画像ファイル出力処理ブロック１４４においては、内部のメタデータ解析処理ブロックにより、取り込んだメタデータを解析してトリミング指示情報を得る。そして、同じ内部のトリミング処理ブロックにより、取り込んだ静止画像ファイルに格納される静止画像データを対象として、上記トリミング指示情報に応じたトリミングを実行する。そして、トリミングにより得られた画像部分を改めて１つの静止画像データとして生成し、これを出力する。
上記図４８のシステム構成は、多様なサービスへの適用を考えることができる。
例えば、１つにはネットワーク経由での写真のプリントサービスに適用できる。つまり、ユーザは、プリントサービスのサーバに、プリント（印刷）してもらいたい画像データ（静止画像ファイル）をネットワーク経由でアップロードする。サーバでは、このようしてアップロードされてきた静止画像ファイルを記憶部１４１に記憶しておき、このファイルに対応するメタデータも作成してメタデータテーブルに登録しておく。そして、実際に印刷出力するときには、静止画像ファイル出力処理ブロック１４４により、最適構図を抜き出した静止画像データを印刷用の画像データとして出力する。つまり、このサービスによっては、写真プリントを依頼すると、最適構図に補正されてプリントされたものが送られてくるものである。
また１つには、例えばブログなどのサーバにも適用することができる。記憶部１４１には、ブログのテキストのデータと共にアップロードされた画像データを記憶させることとする。これにより、例えばブログのページには、ユーザがアップロードした画像データから最適構図を抜き出した画像を貼り付けさせることが可能になる。
なお、上記図３９〜図４８により説明した例は一部であって、本願発明による構図判定を適用できる装置、システム、アプリケーションソフトウェアなどはほかにも考えられる。
また、これまでの実施の形態の説明にあっては、被写体（個別被写体）は、人であることを前提としているが、例えば、人以外の動物を被写体とする場合にも、本願発明を適用することが考えられる。
また、被写体検出の対象となる画像データは、撮像に由来して得られるもの（撮像画像データ）のみに限定されるべきものではなく、例えば、絵であるとかデザイン画などの画内容を有する画像データを対象とすることも考えられる。
また、本願発明のもとで判定される構図（最適構図）は、必ずしも、三分割法などの構図設定手法に対して、検出された個別被写体の数の要素を加味する手法によって決定された構図に限定されるものではない。例えば一般的には良くないとされる構図であっても、構図の設定次第では、ユーザがおもしろみを感じたり、かえって良いと感じるような場合もあると考えられる。従って、本願発明のもとで判定される構図（最適構図）としては、実用性、エンタテイメント性などを考慮して任意に設定されればよく、実際においては特に制限はない。
１ デジタルスチルカメラ、２ シャッターボタン、３ レンズ部、１０ 雲台、２１ 光学系、２２ イメージセンサ、２３ Ａ／Ｄコンバータ、２４ 信号処理部、２５ エンコード／デコード部、２６ メディアコントローラ、２７ 制御部、２８ ＲＯＭ、２９ ＲＡＭ、３０ フラッシュメモリ、３１ 操作部、３２ 表示ドライバ、３３ 表示部、３４ 雲台対応通信部、４０ メモリカード、５１ 制御部、５２ 通信部、５３ パン機構部、５４ パン用モータ、５５ パン用駆動部、５６ チルト機構部、５７ チルト用モータ、５８ チルト用駆動部、６１ 被写体検出処理ブロック、６２ 構図制御処理ブロック、６３ 通信制御処理ブロック、ＳＢＪ（ＳＢＪ０〜ｎ） 個別被写体、７１ 通信制御処理ブロック、７２ パン・チルト制御処理ブロック、７３ 被写体検出処理ブロック、７４ 構図制御処理ブロック、７５ 撮像部

Claims (11)

  1. 画像データに基づく画像における特定の被写体を検出する被写体検出手段と、
    上記被写体検出手段により検出される被写体である検出被写体ごとに、上記検出被写体に対応する画像部分における特定の対象部位についての、上記画像内での回転角度を検出する回転角度検出手段と、
    上記回転角度に基づいて構図を判定する構図判定手段と、
    を備える構図判定装置。
  2. 上記構図判定手段は、
    上記画像に対して画像領域分割線を設定したうえで、
    上記回転角度に応じて移動量を求め、
    上記画像内の１以上の上記検出被写体から成る画像部分に設定した重心を、上記画像領域分割線から上記移動量分により移動させた位置とした構図を判定結果として得る、
    請求項１に記載の構図判定装置。
  3. 上記構図判定手段は、
    上記回転角度について、上記検出被写体の特定の対象部位が縦向きとみなされる角度範囲に該当する場合には、上記画像に対して、垂直方向の上記画像領域分割線を設定する、
    請求項２に記載の構図判定装置。
  4. 上記構図判定手段は、
    上記回転角度について、上記検出被写体の特定の対象部位が横向きとみなされる角度範囲に該当する場合には、上記画像に対して、水平方向の上記画像領域分割線を設定する、
    請求項２又は請求項３に記載の構図判定装置。
  5. 上記構図判定手段は、
    複数の検出被写体ごとの回転角度が全て同じとなる関係である場合には、この全て同じとされた回転角度に基づいて構図を判定する、
    請求項１乃至請求項４の何れかに記載の構図判定装置。
  6. 上記構図判定手段は、
    複数の検出被写体ごとの回転角度が全て同じではないとされる関係である場合には、複数の検出被写体の総体について基準となる基準回転角度を決定し、
    この決定された基準回転角度に基づいて構図を判定する、
    請求項１乃至請求項５の何れかに記載の構図判定装置。
  7. 上記構図判定手段は、
    上記判定結果として得る構図において、上記画像領域分割線から上記重心までの上記移動量については、上記検出被写体の数に基づいて設定する、
    請求項２乃至請求項６の何れかに記載の構図判定装置。
  8. 上記構図判定手段は、
    上記回転角度について、上記検出被写体の特定の対象部位が横向きとみなされる角度範囲に該当する場合には、上記画像の画枠内に設定する範囲枠について、自身が垂直方向であると認識している方向の幅を、上記検出被写体の特定の対象部位が縦向きとみなされる角度範囲に該当する場合よりも拡大して設定するとともに、
    上記範囲枠に対して検出被写体が収まったとされる状態を検出したことに応じて、このときの画像データを記録媒体に記録する記録手段をさらに備える、
    請求項１乃至請求項７の何れかに記載の構図判定装置。
  9. 撮像装置部と、
    上記撮像装置部の撮像視野範囲を変更するようにして可動する機構を有する可動装置部と、
    上記撮像装置部が撮像して得られる撮像画像の画像データを取得する画像データ取得手段と、
    上記画像データに基づく画像における特定の被写体を検出する被写体検出手段と、
    上記被写体検出手段により検出される被写体である検出被写体ごとに、上記検出被写体に対応する画像部分における特定の対象部位についての、上記画像内での回転角度を検出する回転角度検出手段と、
    上記回転角度に基づいて構図を判定する構図判定手段と、
    上記構図判定手段により判定された構図が得られるための上記撮像視野範囲となるように、少なくとも上記可動装置部の制御を実行する構図制御手段と、
    を備える撮像システム。
  10. 画像データに基づく画像における特定の被写体を検出する被写体検出手順と、
    上記被写体検出手順により検出される被写体である検出被写体ごとに、上記検出被写体に対応する画像部分における特定の対象部位についての、上記画像内での回転角度を検出する回転角度検出手順と、
    上記回転角度に基づいて構図を判定する構図判定手順と、
    を実行する構図判定方法。
  11. 構図判定装置に、
    画像データに基づく画像における特定の被写体を検出する被写体検出手順と、
    上記被写体検出手順により検出される被写体である検出被写体ごとに、上記検出被写体に対応する画像部分における特定の対象部位についての、上記画像内での回転角度を検出する回転角度検出手順と、
    上記回転角度に基づいて構図を判定する構図判定手順と、
    を実行させるためのプログラム。
JP2009172327A 2009-07-23 2009-07-23 構図判定装置、撮像システム、構図判定方法、プログラム Expired - Fee Related JP5359645B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2009172327A JP5359645B2 (ja) 2009-07-23 2009-07-23 構図判定装置、撮像システム、構図判定方法、プログラム
US12/797,993 US8908057B2 (en) 2009-07-23 2010-06-10 Composition determination device, imaging system, composition determination method, and program
TW099122328A TW201127029A (en) 2009-07-23 2010-07-07 Composition determination device, imaging system, composition determination method, and program
CN201010233543XA CN101964872A (zh) 2009-07-23 2010-07-19 构图确定器件、成像系统、构图确定方法以及程序

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009172327A JP5359645B2 (ja) 2009-07-23 2009-07-23 構図判定装置、撮像システム、構図判定方法、プログラム

Publications (3)

Publication Number Publication Date
JP2011029831A true JP2011029831A (ja) 2011-02-10
JP2011029831A5 JP2011029831A5 (ja) 2012-07-12
JP5359645B2 JP5359645B2 (ja) 2013-12-04

Family

ID=43496967

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009172327A Expired - Fee Related JP5359645B2 (ja) 2009-07-23 2009-07-23 構図判定装置、撮像システム、構図判定方法、プログラム

Country Status (4)

Country Link
US (1) US8908057B2 (ja)
JP (1) JP5359645B2 (ja)
CN (1) CN101964872A (ja)
TW (1) TW201127029A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017063340A (ja) * 2015-09-25 2017-03-30 キヤノン株式会社 像ブレ補正装置、撮像装置および制御方法
WO2021235086A1 (ja) * 2020-05-18 2021-11-25 ソニーグループ株式会社 情報処理装置及び情報処理方法、並びにコンピュータプログラム

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5206095B2 (ja) 2008-04-25 2013-06-12 ソニー株式会社 構図判定装置、構図判定方法、プログラム
JP5453953B2 (ja) * 2009-06-24 2014-03-26 ソニー株式会社 可動機構部制御装置、可動機構部制御方法、プログラム
JP5347802B2 (ja) * 2009-07-27 2013-11-20 ソニー株式会社 構図制御装置、撮像システム、構図制御方法、プログラム
JP5434338B2 (ja) 2009-07-29 2014-03-05 ソニー株式会社 撮像制御装置、撮像方法、プログラム
JP5434339B2 (ja) 2009-07-29 2014-03-05 ソニー株式会社 撮像制御装置、撮像システム、撮像方法、プログラム
US8605158B2 (en) * 2009-12-28 2013-12-10 Sony Corporation Image pickup control apparatus, image pickup control method and computer readable medium for changing an image pickup mode
JP5803184B2 (ja) * 2010-11-19 2015-11-04 株式会社リコー 画像投影装置、メモリアクセス方法
JP5978639B2 (ja) * 2012-02-06 2016-08-24 ソニー株式会社 画像処理装置、画像処理方法、プログラム、及び記録媒体
JP2013172446A (ja) * 2012-02-23 2013-09-02 Sony Corp 情報処理装置、端末装置、撮像装置、情報処理方法、及び撮像装置における情報提供方法
US10006909B2 (en) 2012-09-28 2018-06-26 Vibrant Holdings, Llc Methods, systems, and arrays for biomolecular analysis
JP6107844B2 (ja) * 2015-01-28 2017-04-05 カシオ計算機株式会社 検出装置、検出制御方法、及びプログラム
JP6565212B2 (ja) * 2015-02-24 2019-08-28 セイコーエプソン株式会社 表示装置、表示方法およびプログラム
CN105657265A (zh) * 2016-01-06 2016-06-08 卢锦霞 一种全自动拍摄成像系统及方法
US10498968B1 (en) 2017-03-01 2019-12-03 Altia Systems, Inc. Intelligent zoom method and video system implementing same
CN107018322B (zh) * 2017-03-09 2020-02-11 Oppo广东移动通信有限公司 旋转摄像头辅助构图的控制方法、控制装置及电子装置
CN110221626B (zh) * 2019-06-06 2022-03-25 睿魔智能科技（深圳）有限公司 一种跟拍控制方法、装置、计算机设备及存储介质
JP7383438B2 (ja) * 2019-09-27 2023-11-20 キヤノン株式会社 撮像制御装置、撮像装置、及び撮像制御方法
CN111277752B (zh) * 2020-01-22 2021-08-31 Oppo广东移动通信有限公司 提示方法、装置、存储介质及电子设备
JP2022128941A (ja) * 2021-02-24 2022-09-05 キヤノン株式会社 撮像装置、コンピュータプログラム、記憶媒体及び撮像装置の制御方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003219239A (ja) * 2002-01-24 2003-07-31 Canon I-Tech Inc デジタルカメラ
JP2005003852A (ja) * 2003-06-11 2005-01-06 Nikon Corp 自動撮影装置
JP2007110575A (ja) * 2005-10-17 2007-04-26 Fujifilm Corp 対象画像検索装置およびディジタル・カメラならびにそれらの制御方法
JP2008277904A (ja) * 2007-04-25 2008-11-13 Sony Corp 画像処理装置、画像方向判別方法及び画像方向判別プログラム、再生装置、再生方法及び再生プログラム、並びにデジタルスチルカメラ

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0614698B2 (ja) 1983-05-13 1994-02-23 株式会社日立製作所 自動追尾カメラ
JP2001268425A (ja) 2000-03-16 2001-09-28 Fuji Photo Optical Co Ltd 自動追尾装置
US6661450B2 (en) * 1999-12-03 2003-12-09 Fuji Photo Optical Co., Ltd. Automatic following device
US7574016B2 (en) * 2003-06-26 2009-08-11 Fotonation Vision Limited Digital image processing using face detection information
US7565030B2 (en) * 2003-06-26 2009-07-21 Fotonation Vision Limited Detecting orientation of digital images using face detection information
JP4130641B2 (ja) * 2004-03-31 2008-08-06 富士フイルム株式会社 ディジタル・スチル・カメラおよびその制御方法
JP4770178B2 (ja) * 2005-01-17 2011-09-14 ソニー株式会社 カメラ制御装置、カメラシステム、電子会議システムおよびカメラ制御方法
JP2006221355A (ja) * 2005-02-09 2006-08-24 Hitachi Ltd 監視装置及び監視システム
JP4427515B2 (ja) * 2006-01-27 2010-03-10 富士フイルム株式会社 対象画像検出表示制御装置およびその制御方法
JP2007274017A (ja) * 2006-03-30 2007-10-18 Fujifilm Corp 自動トリミング方法および装置ならびにプログラム
JP5115139B2 (ja) * 2007-10-17 2013-01-09 ソニー株式会社 構図判定装置、構図判定方法、プログラム
JP5048468B2 (ja) * 2007-11-28 2012-10-17 富士フイルム株式会社 撮像装置およびその撮像方法
US8111874B2 (en) * 2007-12-04 2012-02-07 Mediatek Inc. Method and apparatus for image capturing
JP4944055B2 (ja) * 2008-03-19 2012-05-30 富士フイルム株式会社 撮像装置及び撮像制御方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003219239A (ja) * 2002-01-24 2003-07-31 Canon I-Tech Inc デジタルカメラ
JP2005003852A (ja) * 2003-06-11 2005-01-06 Nikon Corp 自動撮影装置
JP2007110575A (ja) * 2005-10-17 2007-04-26 Fujifilm Corp 対象画像検索装置およびディジタル・カメラならびにそれらの制御方法
JP2008277904A (ja) * 2007-04-25 2008-11-13 Sony Corp 画像処理装置、画像方向判別方法及び画像方向判別プログラム、再生装置、再生方法及び再生プログラム、並びにデジタルスチルカメラ

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017063340A (ja) * 2015-09-25 2017-03-30 キヤノン株式会社 像ブレ補正装置、撮像装置および制御方法
WO2021235086A1 (ja) * 2020-05-18 2021-11-25 ソニーグループ株式会社 情報処理装置及び情報処理方法、並びにコンピュータプログラム

Also Published As

Publication number Publication date
JP5359645B2 (ja) 2013-12-04
CN101964872A (zh) 2011-02-02
TW201127029A (en) 2011-08-01
US20110019021A1 (en) 2011-01-27
US8908057B2 (en) 2014-12-09

Similar Documents

Publication Publication Date Title
JP5359645B2 (ja) 構図判定装置、撮像システム、構図判定方法、プログラム
JP5115139B2 (ja) 構図判定装置、構図判定方法、プログラム
JP4894712B2 (ja) 構図判定装置、構図判定方法、プログラム
US8594390B2 (en) Composition determination device, composition determination method, and program
JP4640456B2 (ja) 画像記録装置、画像記録方法、画像処理装置、画像処理方法、プログラム
JP5407640B2 (ja) 画像対応装置、動作設定方法、プログラム
JP4983784B2 (ja) 撮像システム、画像提示方法、制御装置、プログラム
JP5434339B2 (ja) 撮像制御装置、撮像システム、撮像方法、プログラム
JP5434338B2 (ja) 撮像制御装置、撮像方法、プログラム
JP5347802B2 (ja) 構図制御装置、撮像システム、構図制御方法、プログラム
JP6950793B2 (ja) 電子機器およびプログラム
JP5440588B2 (ja) 構図判定装置、構図判定方法、プログラム
JP2010074399A (ja) 構図判定装置、構図判定方法、画像処理装置、画像処理方法、プログラム
JP5098917B2 (ja) 構図判定装置、構図判定方法、プログラム
KR20230135513A (ko) 촬상장치, 그 제어방법 및 컴퓨터 판독가능한 매체

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20110812

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120530

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120530

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130418

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130423

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130531

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130806

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130819

LAPS Cancellation because of no payment of annual fees