JP2009267787A - 構図判定装置、構図判定方法、プログラム - Google Patents

構図判定装置、構図判定方法、プログラム Download PDF

Info

Publication number
JP2009267787A
JP2009267787A JP2008115298A JP2008115298A JP2009267787A JP 2009267787 A JP2009267787 A JP 2009267787A JP 2008115298 A JP2008115298 A JP 2008115298A JP 2008115298 A JP2008115298 A JP 2008115298A JP 2009267787 A JP2009267787 A JP 2009267787A
Authority
JP
Japan
Prior art keywords
subject
composition
detected
size
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008115298A
Other languages
English (en)
Other versions
JP5206095B2 (ja
JP2009267787A5 (ja
Inventor
Shingo Yoshizumi
真吾 善積
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2008115298A priority Critical patent/JP5206095B2/ja
Priority to US12/423,150 priority patent/US8594390B2/en
Priority to BRPI0900750-4A priority patent/BRPI0900750A2/pt
Priority to EP09158642A priority patent/EP2120210B1/en
Priority to CN2009101369192A priority patent/CN101567973B/zh
Priority to RU2009115762/09A priority patent/RU2009115762A/ru
Publication of JP2009267787A publication Critical patent/JP2009267787A/ja
Publication of JP2009267787A5 publication Critical patent/JP2009267787A5/ja
Application granted granted Critical
Publication of JP5206095B2 publication Critical patent/JP5206095B2/ja
Priority to US14/062,599 priority patent/US9679394B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping

Abstract

【課題】必要とする構図判定結果がより的確に得られるようにする。
【解決手段】取り込んだ画像データに基づく画像内から検出した被写体ごとに、選別パラメータ（被写体距離、画像内サイズ、実サイズのいずれか）を求め、この選別パラメータが所定の条件を満たしているとする被写体を、構図判定のために本来必要となる必要被写体であるとして選別する。そして、構図判定は、これらの選別された必要被写体のみを対象として行うようにされる。
【選択図】図１５

Description

本発明は、画像データの画内容が有する構図についての判定を行うようにされた装置である、構図判定装置とその方法に関する。また、このような装置が実行するプログラムに関する。
例えば、鑑賞者に良い印象を与えることのできる写真を撮影するためのテクニック的な一要素として、構図設定が挙げられる。ここでいう構図は、フレーミングともいわれるもので、例えば写真としての画枠内における被写体の配置状態をいう。
良好な構図とするための一般的、基本的な手法はいくつかあるものの、一般のカメラユーザが良い構図の写真を撮影することは、写真撮影に関する充分な知識、技術を持っていない限り、決して簡単なことではない。このことからすると、例えば良好な構図の写真画像を手軽で簡単に得ることのできる技術が求められることになる。
例えば特許文献１には、自動追尾装置として、一定時間間隔の画像間の差を検出して、画像間の差の重心を算出し、この重心の移動量、移動方向から被写体画像の撮像画面に対する移動量、移動方向を検出して撮像装置を制御し、被写体画像を撮像画面の基準領域内に設定する技術が開示されている。
また、特許文献２には、自動追尾装置として、人物を自動追尾する場合に、人物の顔が画面中央となるように画面上の人物像全体の面積に対してその人物上の上側から２０％の面積となる位置を画面中央にして追尾することによって人物の顔を確実に撮影しながら追尾できるようにした技術が開示されている。
これらの技術構成を構図決定の観点から見れば、人物としての被写体を自動的に探索して、撮影画面において或る決まった構図でその被写体を配置させることが可能となる。
また、特許文献３には、認識対象の被写体の基準被写体距離に対して許容範囲に収まる被写体距離の被写体を、上記認識対象の被写体とともに主要被写体に指定する構成、また、検出された顔領域のサイズが閾値以上である被写体を、認識対象の被写体とともに主要被写体に指定する構成が記載されている。
特開昭５９−２０８９８３号公報 特開２００１−２６８４２５号公報 特開２００７−２８２１１８号公報
本願発明としては、１つの例として、或る被写体を対象に構図判定を行うものとした場合において、構図判定には不要であるとして扱われるべき被写体が対象に含まれることなく、適切に排除されるようにして、本来必要な被写体のみを対象とした構図判定が行われるようにすることを目的とする。
そこで本発明は上記した課題を考慮して、構図判定装置として次のように構成する。
つまり、取り込んだ画像データに基づく画像内における被写体を検出する被写体検出手段と、この被写体検出手段により検出される被写体ごとに、その実寸に相当するものとしてみることのできる実サイズを検出する被写体実サイズ検出手段と、この被写体実サイズ検出手段により検出された実サイズが、必要被写体に対応して適正であるとされる値であるか否かの判別に基づいて、上記被写体検出手段により検出される被写体から必要被写体を選別する被写体選別手段と、この被写体選別手段により選別された必要被写体のみを対象として構図を判定する構図判定手段とを備える。
また、構図判定装置として次のようにも構成する。
つまり、取り込んだ画像データに基づく画像内における被写体を検出する被写体検出手段と、この被写体検出手段により検出される被写体ごとの、画像内サイズを検出する被写体サイズ検出手段と、この被写体サイズ検出手段により検出された画像内サイズが必要被写体に対応して適正であるとされる値であるか否かの判別に基づいて、被写体検出手段により検出される被写体から必要被写体を選別する被写体選別手段と、この被写体選別手段により選別された必要被写体のみを対象として構図を判定する構図判定手段とを備える。
また、構図判定装置として次のようにも構成する。
つまり、取り込んだ画像データに基づく画像内における被写体を検出する被写体検出手段と、被写体検出手段により検出される被写体ごとの被写体距離を検出する被写体距離検出手段と、この被写体距離検出手段により検出された被写体距離が必要被写体に対応して適正であるとされる値であるか否かの判別に基づいて、被写体検出手段により検出される被写体から必要被写体を選別する被写体選別手段と、この被写体選別手段により選別された必要被写体のみを対象として構図を判定する構図判定手段とを備える。
上記各構成によっては、画像データから検出した被写体ごとについての、選別パラメータ（実サイズ、画像内サイズ、若しくは被写体距離）を検出したうえで、この選別パラメータが必要被写体に対応して適正であるとされる値であるか否かの判別を行う。そして、この判別結果に基づいて、被写体検出手段により検出される被写体から必要被写体を選別し、この選別した必要被写体のみを対象とする構図判定を行うようにされる。これにより、本願発明によっては、検出される被写体において、必要被写体には該当しないと推定されるものについては除外され、必要被写体に該当すると推定されるもののみを対象として構図判定処理が行われることになる。
このようにして本発明は、構図判定には本来不要とされる被写体を適切に排除して、必要な被写体のみを対象とした的確な構図判定が行われるものである。
以降、本願発明を実施するための最良の形態（以降、実施形態という）についての説明を行っていくのであるが、その説明に際しては、「構図」、「画枠」、「画角」、「撮像視野角」なる語を用いることとする。
「構図」は、フレーミングともいわれるもので、例えば画枠内における被写体の配置状態をいう。
「画枠」は、例えば画像が嵌め込まれるようにしてみえる一画面相当の領域範囲をいい、一般には縦長若しくは横長の長方形としての外枠形状を有する。
「画角」は、ズーム角などともいわれるもので、撮像装置の光学系におけるズームレンズの位置によって決まる画枠に収まる範囲を角度により表したものである。一般的には、撮像光学系の焦点距離と、像面（イメージセンサ、フィルム）のサイズによって決まるものとされているが、ここでは、焦点距離に対応して変化し得る要素を画角といっている。
「撮像視野角」は、定位置に置かれた撮像装置により撮像して得られる画像の画枠に収まる範囲について、上記の画角に加え、パン（水平）方向における振り角度と、チルト（垂直）方向における角度（仰角、俯角）により決まるものをいう。
例えば、構図は、画像視野角によって決まる画枠内に収まる被写体の配置状態を指すものとなる。
本実施形態は、構図判定を行うようにして構成される装置あるいはシステムとなるが、本実施形態の構成を説明するのに先立ち、例えば撮像により得られた被写体を対象として、自動的に構図の調整を行うこととした場合を考えてみる。なお、ここでの被写体は、人であることとする。
例えば、撮像によって得られた画像から或る数の人としての被写体が検出されたとする。すると、構図判定処理としては、画枠内において、これらの検出された全ての被写体が収まるようにされたうえで、これらの被写体の配置が画枠内において適切となるような最適構図を判定するようにされる。
上記のような構図判定処理にあたって、人としての被写体検出は、例えば顔検出の技術を適用することができる。しかし、顔検出技術を単純に用いただけでは次のような不都合が生じ得る。
例えば、撮像により得られた画像の画枠内において、現実の人である被写体だけではなく、その近くに置いてある顔写真なども存在するような場合を考えてみる。この場合には、単純に顔検出のみにより被写体検出を行った場合には、構図判定の対象となる被写体として、現実の人だけではなく、上記の顔写真の顔の部分も検出することになる。
この場合において、本来求められる最適構図としては、顔写真については除外して、現実の人の被写体のみが画枠内にて適切に収まるように考慮したものとなる。しかし、実際には、顔写真も被写体として検出したことに基づいて、現実の人と顔写真とが画枠内にて適切に収まるように考慮した構図判定結果が得られることになってしまう。
また、例えばレストランで或るテーブルに座っている二人を被写体として構図判定を行おうとする場合を考えてみる。この場合には、現実の人であっても、例えば他のテーブルに座っている人であるとか、レストラン内で立っている店員などの周囲の無関係な人については、構図判定の対象から外すべきことになる。しかし、この場合においても、単純に顔検出技術を利用して被写体検出を行ったのでは、これらの周囲の無関係な人も構図判定対象の被写体として検出されることになり、結果、本来望む構図が得られないことになってしまう。
そこで、本実施形態としては、以降説明するようにして、構図判定には不要な被写体と必要な被写体とが混在するような状況においても、必要な被写体のみを対象とする的確な構図判定が行われるようにする技術構成を提案するものである。
図１は、第１の実施形態としての構図判定についての基本構成例を示す図である。
この図には、構図判定を実行する部位として構図判定ブロック２００が示されている。この構図判定ブロック２００は、画像データを取り込んで構図判定を実行するものとされており、図示するようにして、被写体検出処理部２０１、被写体距離検出部２０２Ａ、構図判定処理部２０３から成るものとしている。
被写体検出処理部２０１は、取り込んだ画像データを利用して被写体検出処理を実行する部位とされる。
ここでの被写体検出処理は、先ず画像データの画内容から、人としての被写体を弁別して検出する処理をいうものであり、ここでの検出結果として得られる情報（検出個別被写体情報）は、人としての被写体の数と、個々の被写体（個別被写体）ごとについての画枠内での位置情報（例えば画枠内の位置であれば画素のマトリクスの下でのＸ座標、Ｙ座標により表現できる）、及び個別被写体ごとについての画像（画枠）内におけるサイズ（占有面積）などとなる。
上記被写体検出処理の具体的手法としては、顔検出の技術を用いることができる。この顔検出の方式、手法はいくつか知られているが、本実施形態においてはどの方式を採用するのかについては特に限定されるべきものではなく、検出精度や設計難易度などを考慮して適当とされる方式が採用されればよい。
そして、この場合の被写体検出処理部２０１は、上記検出個別被写体情報の集合から成る情報を検出被写体情報として出力する。
また、この被写体検出処理部２０１が実行する被写体検出処理は、画像信号処理として実現することができる。例えば画像信号処理をＤＳＰ(Digital Signal Processor)により実行するように構成する場合、この被写体検出処理は、ＤＳＰに与えるプログラム、インストラクションにより実現できる。
被写体距離検出部２０２Ａは、上記被写体検出処理部２０１により検出された個別被写体（検出個別被写体）ごとについての被写体距離を検出し、その検出情報（被写体距離情報）を出力するための部位となる。
ここでの被写体距離とは、被写体検出処理部２０１に入力される画像を撮像装置により撮像して得たとされるときの、撮像装置における光学系において撮像光が入射するとされる位置（撮像位置ということにする）から被写体までの直線距離をいう。なお、より厳密には、例えば撮像装置における光学系（レンズ）の前側主点から被写体までの直線距離とみなすこともできる。
この被写体距離検出部２０２Ａの実際としては、例えば撮像装置において自動焦点調整制御（オートフォーカス制御）のために構成を利用することができる。
ちなみに、オートフォーカス制御としては、コントラスト方式と測距方式とが知られている。コントラスト方式は、例えばフォーカスレンズの位置を移動させながら、そのときに撮像により得られる画像における被写体部分の領域の輝度レベル差（コントラスト）がピークとなるフォーカスレンズの位置を探索する。この探索されたフォーカスレンズの位置が合焦状態に対応する。本実施形態における被写体距離は、フォーカスレンズの位置から求めることができる。
また、測距方式としては、アクティブ方式とパッシブ方式とが知られている。
アクティブ方式は、測距装置側から被写体側に投光を行って得られた反射光の入射位置を検出し、この検出情報に基づいて被写体までの距離を測定する。なお、被写体側に照射する光としては、可視光のほか、赤外線光を利用できる。また、光のほかに、超音波、電波なども使用できる。
また、パッシブ方式として、例えば位相差検出方式は、被写体の像を複数の光学系を用いて、それぞれ異なる水平位置に結像させる。被写体像が結像される位置にはそれぞれラインセンサが配置されており、これらのラインセンサにより結像光に応じた信号が得られる。従って、これらのラインセンサも、同一水平軸に沿って配置される。これらのラインセンサは、例えば視野内における或る高さの１水平ラインの結像光を検出して検出信号を出力する。このようにしてラインセンサから得られた信号に基づいて、光学系ごとに対応する像についての相互の位相差を検出する。この位相差の検出には、ラインセンサから得られた信号を利用した所定の演算（相関演算）を実行する。そして、この検出結果に基づいて被写体までの距離が測定される。
本実施形態において、被写体距離検出部２０２Ａを実際に構成するのにあたっては、上記した方式のいずれも採用することができる。
一例として、コントラスト方式に基づくのであれば、被写体距離検出部２０２Ａとしては、コントラスト方式に基づいたオートフォーカス制御に必要となる機構部及び信号処理部を有して構成することになる。つまり、例えば撮像装置におけるフォーカスレンズとこれを駆動する駆動機構部、及び上記撮像装置により撮像して得られる画像データ（撮像画像データ）についてのコントラストを検出する信号処理機能と、この検出結果に応じてフォーカスレンズ駆動のための制御を上記駆動機構部に対して行うことのできる制御機能とを有するものとして構成する。
そのうえで、被写体検出部２０１に入力される画像データとしては、そのときに上記撮像装置により撮像して得られる撮像画像データとし、被写体距離検出部２０２Ａは、被写体検出部２０１からの検出被写体情報とともに、上記撮像画像データを入力するようにする。
被写体距離検出部２０２Ａは、入力した撮像画像データにより得られる画枠内の画像において、入力した検出被写体情報が示す検出個別被写体ごとの位置に対応する部分画像領域を先ず特定する。そして、しかるべきタイミングで、フォーカスレンズを所定の範囲において動かすようにして駆動しながら、そのときに得られる上記部分画像領域ごとのコントラストを検出していき、各部分画像領域ごとに検出したコントラストがピークとなるフォーカスレンズ位置の情報を得る。このようにして得たフォーカスレンズ位置ごとに被写体距離を求める。なお、光学的な原理に基づいて被写体距離はフォーカスレンズ位置から一義的に求めることができる。このようにして、被写体距離検出部２０１は、検出個別被写体ごとの被写体距離の情報を得ることができる。
この場合の構図判定処理部２０３は、被写体検出処理部２０１から出力される検出被写体情報と、被写体距離検出部２０２Ａから出力される、検出個別被写体ごとの被写体距離の情報（被写体距離情報）とを取り込んで入力する。そして、これらの情報を利用して、最終的に、構図判定に本来必要な被写体（必要被写体）のみを判定対象として最適構図を判定する、構図判定処理を実行する。
なお、構図判定処理部２０３としての構図判定の処理は、例えばＣＰＵ(Central Processing Unit)がプログラムを実行することにより実現できる。つまり、ソフトウェアにより実現できる。また、必要に応じて、ソフトウェア若しくはハードウェアによる画像信号処理を併用する構成とされてもよい。
図２は、第１の実施形態としての構図判定ブロック２００についての他の基本構成例を示している。
この図に示す構成は、上記図１に示した構成を基としたうえで、図１においては構図判定処理部２０３が行うべきものとなる必要被写体を選別する処理を、被写体選別処理部２０４として抜き出したものとしてみることができる。
つまり、この場合においては、先ず、図１と同様に、被写体検出処理部２０１が取り込んだ画像データに基づいて被写体検出処理を行って検出被写体情報を出力し、被写体距離検出部２０２Ａも、被写体検出処理部２０１により検出された個別被写体（検出個別被写体）ごとの被写体距離を検出し、被写体距離検出情報を出力する。
そのうえで、この場合においては、上記検出被写体情報と被写体距離検出情報を、被写体選別処理部２０４が入力する。
被写体選別処理部２０４は、検出被写体情報と被写体距離検出情報を利用して、被写体検出処理部２０１により検出された個別被写体のうちから、構図判定のためには不要とされる被写体（不要被写体）は除外して、必要被写体を選別するための処理(選別処理)を実行する。そして、被写体選別処理部２０４は、この被写体選別処理によって必要被写体であるとして選別された個別被写体ごとについての検出個別被写体情報を、構図判定処理部２０３に出力する。
構図判定処理部２０３は、被写体選別処理部２０４から出力される必要被写体であるとして選別された個別被写体ごとについての検出個別被写体情報に基づいて構図判定処理を実行する。つまり、必要被写体のみを対象とした構図判定処理が行われる結果となる。
図３のフローチャートは、上記図１又は図２に示した第１の実施形態に対応する構図判定ブロック２００が実行するものとされる処理の手順例を示している。
なお、この図に示す処理手順例は、あくまでも一例であり、図４に示す構図判定ブロック２００が実行する処理手順は、これに限定されるべきではない。図４としては、あくまでも、結果的に、構図判定処理部２０３が、被写体検出処理部２０１からの検出被写体情報と、被写体距離検出部２０２Ａ（選別パラメータの検出部）からの被写体距離検出情報（選別パラメータの情報）とに基づいて必要被写体のみを対象として最適構図を判定するようにさればよい。この点については、以降説明する第２の実施形態、及び第３の実施形態についても同様である。
また、ここで述べている、図１、図２におけるブロック構成と図３のステップとの対応関係は、順当に考えられる１つの例であって、それ以外の対応が採られてよい。この点についても、以降において説明するブロック図とフローチャートとの関係において、同様である。
ステップＳ１０１においては、先ず、被写体検出処理部２０１が画像データの取り込み（入力）を実行する。
ステップＳ１０２、Ｓ１０３は、被写体検出処理部２０１が実行する手順となる。
被写体検出処理部２０１は、ステップＳ１０２により上述の被写体検出処理を実行し、ステップＳ１０３により、その検出結果である検出被写体情報を出力する。
ステップＳ１０４は、被写体距離検出部２０２Ａが、被写体検出処理部２０１により検出した個別被写体（検出個別被写体）ごとの被写体距離を検出し、被写体距離検出情報を出力する手順となる。検出個別被写体ごとの被写体距離を検出するための構成例は、例えば先に述べたものとなる。
ステップＳ１０５では、被写体選別処理、即ち、検出個別被写体のうちから必要被写体を選別する処理を実行する。この被写体選別処理は、図１の対応では構図判定処理部２０３が実行し、図２との対応では被写体選別処理部２０４が実行する。
図４は、上記ステップＳ１０５としての被写体選別処理の手順例を示している。
ステップＳ２０１においては、先ず、初期設定として、選別対象とする検出個別被写体の順番を示す変数ｎについて１を代入する。
ステップＳ２０２においては、現在の変数ｎについて個別被写体総数を越えたか否かについて判別することとしている。ここでの個別被写体総数とは、被写体検出処理部２０１により検出された個別被写体（検出個別被写体）の総数をいうものであり、被写体検出処理部２０１から取り込んだ検出被写体情報から分かる。
ステップＳ２０２において否定の判別結果が得られた場合には、選別が行われていない検出個別被写体が未だ残っている、ということになる。そこでこの場合には、ステップＳ２０３に進む。
ステップＳ２０３においては、ｎ番目の個別被写体について検出された被写体距離Ｄｎと、予め設定した下限閾値Ｄmin、上限閾値Ｄmaxとについて、
Ｄmin＜Ｄｎ＜Ｄmax
の条件（条件式）が成立するか否かについて判別する。
ここで、ステップＳ２０３において肯定の判別結果が得られた場合には、ｎ番目の検出個別被写体は、撮像装置にて撮像しているとされる位置（撮像位置）から近すぎもせず、遠すぎもせず、構図を決める際の主体として有効な被写体として撮像されるのに適切な距離の範囲に在るということを意味する。ここでは、このような適切な被写体距離の範囲に在る検出個別被写体を必要被写体として扱うものとする。つまり、Ｄmin＜Ｄｎ＜Ｄmaxの条件を満たす検出個別被写体は、必要被写体であるものとして推定される。
そして、ステップＳ２０３において肯定の判別結果が得られた場合にはステップＳ２０４に進んで、このｎ番目の検出個別被写体を必要被写体、即ち、構図判定の対象とすべき対象個別被写体として設定する。この処理の実際としては、例えば、このｎ番目の検出個別被写体についての検出個別被写体情報を、構図判定処理部２０３が実行する構図判定処理のために出力するものとなる。
この後、ステップＳ２０５にて変数ｎについてインクリメントしたうえでステップＳ２０２に進む。
また、ステップＳ２０３において否定の判別結果が得られた場合には、ｎ番目の検出個別被写体は、撮像位置から一定以上遠い距離に在る（Ｄｎ≧Ｄmax）、もしくは一定以内の近い距離に在る（Ｄmin≧Ｄｎ）ということになる。
被写体が撮像位置から一定以上に遠い距離に在るということは、構図内において主体となる被写体として扱うには被写体距離が遠すぎるということを意味している。
具体例として、レストランなどにおいて、本来の被写体が客として座っているテーブルとは違う他のテーブルに座っている客であるとか、後で立っている店員などが個別被写体として検出された場合に、この個別被写体が、撮像位置から一定以上に遠い距離に在るものとして判断される。
また、被写体が撮像位置から一定以内の近い距離に在るということも、構図内において主体となる被写体として扱うには被写体距離が遠すぎるということを意味している。これは、例えば撮像視野内において、本来の被写体よりもはるか手前において、例えば顔写真などがあるような状況を挙げることができる。この場合、顔写真に対応して検出された個別被写体が、撮像位置から一定以内の近い距離に在るものとして判定される。
そして、このようにして否定の判別結果が得られた場合には、ステップＳ２０４をスキップしてステップＳ２０５に進む。これにより、今回のｎ番目の検出個別被写体は、必要被写体（対象個別被写体）として設定されないことになる。つまり、構図判定処理のために、その検出個別被写体情報は構図判定処理部２０３に対して出力されない。ステップＳ２０５では変数ｎをインクリメントしたうえで、ステップＳ２０２に戻る。
このようにして、図４に示す被写体選別処理では、検出個別被写体ごとに、被写体距離が適正範囲内に在るか否かについての判定が行われ、適正範囲内に在るものについて、必要被写体、つまり、対象個別被写体として設定（選別）するものである。
そして、全ての検出個別被写体を対象とする選別の処理が行われたとすると、ステップＳ２０２において肯定の判別結果が得られることとなって、この図に示す処理を抜け、図３のステップＳ１０５に進むことになる。
なお、被写体検出処理部２０１の検出結果として、個別被写体が１つも検出されない場合がある。この場合には、最初のステップＳ２０２にて肯定の判別結果が得られることとなって、図３のステップＳ１０５に進むことになる。このとき、結果的に、対象個別被写体の設定数は０となる。
説明を図３に戻す。
ステップＳ１０５としての被写体選別処理を実行した後は、ステップＳ１０６以降の手順を実行する。ここではステップＳ１０６、及びステップＳ１０７の手順を構図判定処理部２０３が実行するものとしてみることができる。
ステップＳ１０６においては、被写体選別処理により出力された検出個別被写体情報に基づいて、被写体選別処理の結果として、設定された対象個別被写体が１以上有るか否かについて判別することとしている。
ここで否定の判別結果が得られた場合には、構図判定の対象となるべき個別被写体が無かったということになるので、ステップＳ１０１に戻る。
これに対して肯定の判別結果が得られた場合には、構図判定の対象となるべき個別被写体が存在することになるので、ステップＳ１０７に進む。
次に、構図判定処理部２０３は、ステップＳ１０７としての処理を実行する。
ステップＳ１０７では、上記ステップＳ１０６により設定された対象個別被写体の検出被写体情報を利用して、所定のアルゴリズムにより構図判定のための処理を実行する。
なお、構図判定のアルゴリズムについての例、また、構図判定の結果の利用例などについては後述する。
上記第１の実施形態としての被写体選別のアルゴリズムに応じた構図判定についての実際例を、図５、図６により模式的に示す。
先ず、図５には、被写体検出処理により検出された被写体（個別被写体）のうちで、撮像位置から一定以上遠い距離に被写体が存在する場合を示している。
ここで、図５（ａ）には、破線により検出画枠３００Ａが示されている。この検出画枠３００Ａは、被写体検出処理部２０１が入力する画像データの画像に応じた画枠である。そして、この検出画枠３００Ａ内にて、被写体検出処理部２０１により、図のようにして被写体（個別被写体）１、２、３が検出されたものとする。なお、ここでは、被写体については、例えば顔検出に基づいて得られるものとした検出枠に相当する矩形形状の枠により示している。
また、図５（ｂ）（ｃ）（ｄ）に、それぞれ、コントラスト方式に基づいて検出された被写体１、２、３の各被写体距離Ｄ1、Ｄ2、Ｄ3を示す。これらの図は、被写体１、２、３が検出された部分画像領域ごとについて、フォーカスレンズを移動させていくことで検出されるコントラストの変化が縦軸に示されている。横軸は、フォーカスレンズの位置に応じて決まる被写体距離を示している。
ここで、図５においては、被写体１の被写体距離Ｄ1が上限閾値Ｄmax以上であり、被写体２、３の被写体距離Ｄ2、Ｄ3については、下限閾値Ｄminより大きく、かつ、上限閾値Ｄmax未満の適切な範囲内であるとする。
この場合、被写体選別処理によっては、対象個別被写体（必要被写体）として被写体２、３が選別されることになる。
そして、その後の構図判定処理としては、被写体２、３のみを対象として被写体１は除外して構図判定を行うことになる。例えば図５（ａ）においては、構図判定の結果を、判定構図画枠３００Ｂと被写体１、２、３との関係により示している。判定構図画枠３００Ｂとは、構図判定の結果として得られる画像に応じた画枠となる。
この判定構図画枠３００Ｂ内においては、被写体２、３がほぼ中央となるようにして配置されているが、これは被写体２、３を対象として扱って構図を判定したことを意味する。これに対して被写体１は、例えばこの図では、その一部分のみが判定構図画枠３００Ｂ内にかかっているが、これは、被写体１が構図判定の対象として除外されていることを表している。
次に、図６は、撮像位置から一定以内の距離に被写体が存在する場合を示している。
図６（ａ）に示すようにして、ここでも、検出画枠３００Ａにおいて、３つの被写体１、２、３が検出されたものとしている。また、図６（ｂ）（ｃ）（ｄ）に、コントラスト方式に基づいて検出された被写体１、２、３の各被写体距離Ｄ1、Ｄ2、Ｄ3が示される。
この場合には、被写体１の被写体距離Ｄ1が下限閾値Ｄmin以下であるのに対して、被写体２、３の被写体距離Ｄ2、Ｄ3については、下限閾値Ｄminより大きく、かつ、上限閾値Ｄmax未満の適切な範囲内にあるものとする。
すると、この場合においても、被写体選別処理によって、被写体２，３のみが対象個別被写体として選別され、構図判定処理としては、被写体１を除外し、被写体２，３のみを対象として行うことになる。
この構図判定処理の結果は、図６（ａ）における判定構図画枠３００Ｂと、各被写体１、２、３との関係によって示されている。
この場合にも、判定構図画枠３００Ｂにおいては、そのほぼ中央にて被写体２，３が配置されている。これに対して、被写体１は判定構図画枠３００Ｂからほぼ外れている。
なお、これら図５、図６において示される構図判定後の画枠（判定構図画枠３００Ｂ）における被写体の配置、サイズなどは、あくまでも構図判定対象として選別された被写体（対象個別被写体）のみを対象として構図判定が行われるのだということを示しているのに過ぎない。具体的な構図判定のアルゴリズムなどについては、後述する。
また、あくまでも一例であるが、実用を考慮した実値として、下限閾値Ｄminについては３０ｃｍ程度、上限閾値Ｄmaxについては５ｍ程度とすることが考えられる。
図７は、第２の実施形態としての構図判定のための基本構成例を示している。
この図に示される構図判定ブロック２００は、被写体検出処理部２０１、被写体サイズ検出部２０２Ｂ、及び構図判定処理部２０３から成るものとしている。この構成は、例えば第１の実施形態に対応する図１において、被写体距離検出部２０２Ａが被写体サイズ検出部２０２Ｂに置き換わったものとしてみることができる。
この構成においても、第１の実施形態と同様にして、被写体検出処理部２０１は、取り込んだ画像データを利用して被写体検出処理を実行し、検出被写体情報を出力する。
被写体サイズ検出部２０２Ｂは、被写体検出処理部２０１からの検出被写体情報を取り込んで、検出個別被写体ごとの画像内におけるサイズを検出する。
なお、先にも述べたように、検出個別被写体ごとの画像内におけるサイズは、被写体検出処理部２０１による被写体検出処理が顔検出に基づくようなものである場合には、この被写体検出処理の段階で得ることが可能である。この場合、被写体サイズ検出部２０２Ｂは、被写体検出処理部２０１に含まれるものとして考えることができる。あるいは、被写体サイズ検出部２０２Ｂについて、被写体検出処理部２０１から入力した検出被写体情報から、検出個別被写体ごとのサイズの情報を抜き出して取得するような構成とすることも考えられる。
もちろん、例えば、検出個別被写体の画像内のサイズが得られないような被写体検出処理のアルゴリズムの場合には、被写体サイズ検出部２０２Ｂが例えば画像データを入力して、改めて検出個別被写体ごとのサイズを検出するように構成することになる。この際、被写体サイズ検出部２０２Ｂがサイズ検出にあたって、検出個別被写体ごとの位置の情報を外部から取得する必要があれば、検出被写体情報における検出個別被写体ごとの位置情報を利用できる。
いずれにせよ、被写体サイズ検出部２０２Ｂは、被写体検出処理部２０１により検出された個別被写体ごとの画面内におけるサイズの情報（被写体サイズ情報）を取得し、これを構図判定処理部２０３に出力するようにされる。
この場合の構図判定処理部２０３は、被写体検出処理部２０１からの検出被写体情報と、被写体サイズ検出部２０２Ｂからの被写体サイズ情報を取り込んで入力し、これらの情報を利用して、最終的に、対象個別被写体（必要被写体）のみを判定対象とする構図判定処理を実行する。
図８は、第２の実施形態としての構図判定ブロック２００についての他の基本構成例を示している。
この図に示す構成は、上記図７においては構図判定処理部２０３が行うべきものとなる必要被写体を選別する処理を、被写体選別処理部２０４として抜き出したものとしてみることができる。
この場合の被写体選別処理部２０４は、被写体検出処理部２０１からの検出被写体情報と、被写体サイズ検出部２０２Ｂからの被写体サイズ情報とを入力する。そして、これらの情報を利用して、検出個別被写体のうちから、必要被写体に対応する対象個別被写体を選別し、これらの対象個別被写体ごとに対応する検出個別被写体情報を、構図判定処理部２０３に出力する。
そして、構図判定処理部２０３は、第１の実施形態と同様、被写体選別処理部２０４から出力される対象個別被写体ごとの検出個別被写体情報に基づき、対象個別被写体（必要被写体）のみを対象とした構図判定処理を行う。
図９のフローチャートは、上記図７又は図８に示した第２の実施形態に対応の構図判定ブロック２００が実行するものとされる処理の手順例を示している。
ステップＳ３０１〜Ｓ３０３は、図３のステップＳ１０１〜Ｓ１０３と同様にして、被写体検出処理部２０１が画像データを取り込んで被写体検出処理を実行し、検出被写体情報を出力する。
ステップＳ３０４は、被写体サイズ検出部２０２Ｂにより、先の説明のようにして、検出個別被写体ごとの画像内におけるサイズの情報を取得し、被写体サイズ情報として出力する処理となる。
ステップＳ３０５では、被写体選別処理を実行する。この被写体選別処理も、図７の対応では構図判定処理部２０３が実行し、図８との対応では被写体選別処理部２０４が実行する。
図１０は、ステップＳ３０５としての被写体選別処理の手順例を示している。
ステップＳ４０１は、先の図４のステップＳ２０１と同様にして、選別対象とする検出個別被写体の順番を示す変数ｎについて１を代入する手順となる。また、ステップＳ４０２は、図４のステップＳ２０２と同様に、現在の変数ｎについて個別被写体総数を越えているか否かを判別する手順となる。ここで否定の判別結果が得られれば、ステップＳ４０３に進む。
ステップＳ４０３においては、ｎ番目の検出個別被写体について検出されたサイズＳｎと、下限閾値Ｋ1とについて、Ｓｎ＞Ｋ1の条件（条件式）が成立するか否かについて判別する。
ここで、下限閾値Ｋ1は、必要被写体であるとして推定するには小さすぎるとされる被写体のサイズに基づいて決められている。従って、Ｓｎ＞Ｋ1の条件式が成立して肯定の判別結果が得られる場合とは、そのｎ番目の個別被写体は、必要被写体として扱える程度のサイズを有しているということになる。そこで、この場合には、ステップＳ４０４に進んで、このｎ番目の検出個別被写体を対象個別被写体（必要被写体）として設定することとして、その検出個別被写体情報を構図判定処理のために出力するものである。ステップＳ４０４の後は、ステップＳ４０５により変数ｎをインクリメントしてステップＳ４０２に戻る。
また、ステップＳ４０３にて否定の判別結果が得られた場合には、ｎ番目の検出個別被写体は、必要被写体として推定できる程度までに大きなサイズではない、ということになる。この場合には、ステップＳ４０４をスキップしてステップＳ４０５に進んだうえでステップＳ４０２に戻る。
このようにして、ステップＳ４０３以降の手順は、個別被写体総数分繰り返される。そして、ステップＳ４０２にて肯定の判別結果が得られると、図に示す処理を抜けることになる。
この図１０に示される被写体選別処理では、検出個別被写体ごとに、その画像内におけるサイズが、必要被写体として推定できる程度の大きさを有しているものを対象個別被写体（必要被写体）として設定（選別）するものである。
説明を図９に戻す。
ステップＳ３０５の被写体選別処理を実行した後は、ステップＳ３０６、またステップＳ３０７の手順を実行する。
これらステップＳ３０６、Ｓ３０７の手順は、先の図３の場合のステップＳ１０６、Ｓ１０７と同様の処理を構図判定処理部２０３が実行するものとなる。
上記した第２の実施形態としての被写体選別のアルゴリズムに応じた構図判定についての実際例を図１２により模式的に示す。
図１２（ａ）に示すようにして、ここでは、被写体検出処理によって、検出画枠３００Ａにおいて、３つの被写体１、２、３が検出されたものとしている。
また、被写体１、２、３ごとに検出された画像内のサイズは、被写体に対応する枠内において、それぞれ、Ｓ１、Ｓ２、Ｓ３として示している。ここでは、被写体１のサイズＳ１は下限閾値Ｋ１以下であるが、被写体２、３のサイズＳ２、Ｓ３については、それぞれ、下限閾値Ｋ１を越えているものとする。
この場合、被写体選別処理によっては、被写体２，３のみが対象個別被写体（必要被写体）として選別されることになる。そして、構図判定処理としては、被写体１を除外し、被写体２，３のみを対象として行うことになる。
この構図判定処理の結果を、図１２（ａ）における判定構図画枠３００Ｂと、各被写体１、２、３との関係によって示す。このように、判定構図画枠３００Ｂにおいては、そのほぼ中央にて被写体２，３が配置されているのに対して、被写体１は判定構図画枠３００Ｂから外れている。つまり、被写体検出処理により検出された被写体１，２，３のうち、被写体２，３のみを必要被写体として構図判定を行っている。
ところで、図１０に示した被写体選別処理では、検出個別被写体のサイズＳｎについて、下限閾値Ｋ１のみとの比較を行っており、上限閾値との比較を行っていない。これは、検出個別被写体のサイズが大きいぶんには構わないものとして、必要被写体として扱おうという意図からである。
しかし、場合によっては、逆に、画面（画枠）内にて一定以上に大きな被写体が存在する場合、このような被写体のほうを必要被写体から除外することのほうが好ましい状況もあると考えられる。
そこで、ステップＳ３０５の被写体選別処理として、一定以上に大きなサイズの検出個別被写体のほうを必要被写体から除外するように構成した手順例を図１１に示す。
図１１におけるステップＳ５０１、Ｓ５０２、Ｓ５０４、Ｓ５０５は、図１０のステップＳ４０１、Ｓ４０２、Ｓ４０４、Ｓ４０５と同様となる。
そして、ステップＳ５０３においては、ｎ番目の検出個別被写体のサイズＳｎと上限閾値Ｋ2（Ｋ1＜Ｋ2）とについて、Ｓｎ＜Ｋ2の条件（条件式）が成立するか否かについて判別することとしている。上限閾値Ｋ2は、必要被写体として扱う（推定する）には大きすぎるとされる被写体のサイズを基にして設定される。
ここで、上記Ｓn＜Ｋ2が成立するとして肯定の判別結果が得られた場合には、ｎ番目の検出個別被写体のサイズＳｎには、必要被写体として推定できる一定以下の適正なサイズにあるということになるので、ステップＳ５０４に進むことになる。これに対して、否定の判別結果が得られた場合には、ｎ番目の検出個別被写体は、ステップＳ５０４をスキップしてステップＳ５０５に進む。
図１３は、上記図１１に示した被写体選別のアルゴリズムに応じた構図判定の実際例を模式的に示している。
図１３（ａ）では、被写体検出処理によって、検出画枠３００Ａにおいて、２つの被写体１、２が検出されたものとしている。被写体１、２ごとに検出された画像内のサイズは、被写体に対応する枠内において、それぞれ、Ｓ１、Ｓ２として示している。そして、ここでは、被写体１のサイズＳ１は上限閾値Ｋ2以上であるが、被写体２のサイズＳ2については、上限閾値Ｋ2未満であるものとする。この場合、被写体選別処理によっては、被写体２のみが対象個別被写体として選別され、構図判定処理としては、被写体１を除外し、被写体２のみを対象として行うことになる。
この構図判定処理の結果は、図１３（ａ）における判定構図画枠３００Ｂと、各被写体１、２との関係によって示す。この場合の判定構図画枠３００Ｂにおいては、そのほぼ中央にて被写体２が或る程度に拡大されたサイズで配置されている。これに対して、被写体１は判定構図画枠３００Ｂから外れている。これは即ち、被写体検出処理により検出された被写体１，２のうち、被写体２のみを必要被写体として構図判定を行っている結果を示したものとなる。
なお、この図１３（ａ）では、検出画枠３００Ａと判定構図画枠３００Ｂの大きさが異なっている。これは、構図判定の結果として、検出画枠３００Ａとしての画像を撮像していたときよりも、画角を狭く（ズーム倍率を大きく）変更したことを表している。
また、被写体サイズに基づいた被写体選別処理として、上記の下限閾値Ｋ1より小さいサイズの被写体と、上限閾値Ｋ2より大きなサイズの被写体との両者を必要被写体から排除するようにして構成することもできる。
つまり、例えば図１１のステップＳ５０３において（ ）内に示すようにして、ｎ番目の検出個別被写体のサイズＳｎ、下限閾値Ｋ1、上限閾値Ｋ2とについて、
Ｋ1＜Ｓn＜Ｋ2
の条件が成立するか否かについて判別し、肯定の判別結果が得られたのであれば、ステップＳ５０４に進み、否定の判別結果が得られたのであれば、ステップＳ５０４をスキップしてステップＳ５０５に進むようにすればよい。このような選別処理であれば、検出個別被写体のうちから必要被写体を選別するのにあたり、被写体として推定するには小さすぎるものと大きすぎるものとの両者を排除することができる。
また、実際の撮像装置においては、画角（ズーム倍率）を可変するズームレンズを備えることが通常である。画角が変更されれば、撮像により得られる画像の画枠内における被写体のサイズも変化する。そこで、例えば図１０、図１１のステップＳ４０３、Ｓ５０３において、可変された画角に応じて下限閾値Ｋ1、上限閾値Ｋ2を可変することが考えられる。
一具体例としては、ステップＳ４０３、Ｓ５０３での判別処理にあたり、下限閾値Ｋ1、上限閾値Ｋ2については標準画角（ズーム倍率値＝１）のときに対応させて設定しておく。そして、ズーム制御によって得られる画角の情報をズーム倍率値Zに換算して取り込み、ステップＳ４０３では、Ｓｎ＞Ｋ1・Zの条件式が成立するか否かを判別し、ステップＳ５０３では、Ｓｎ＜Ｋ2・Zの条件式が成立するか否かを判別するようにして構成する。また、ステップＳ４０３では、条件式をＳｎ/Z＞Ｋ1とし、ステップＳ５０３ではＳｎ/Z＜Ｋ2としてもよい。このことから理解されるように、ズーム倍率値Zを用いたこれらの条件式は、ズーム可変に応じて変化する画像内サイズＳｎについて、閾値（下限閾値Ｋ1、上限閾値Ｋ2）との比較が適正に行われるようにして補正しているものとしてみることができる。
図１４は、第３の実施形態としての構図判定のための基本構成例を示している。
この図に示される構図判定ブロック２００は、図示するようにして、被写体検出処理部２０１、被写体距離検出部２０２Ａ、被写体サイズ検出部２０２Ｂ、構図判定処理部２０３、及び被写体実サイズ算出部２０５を有して成るものとしている。
被写体検出処理部２０１では、これまでの実施形態と同様の被写体検出処理を実行して、検出被写体情報を被写体距離検出部２０２Ａ、被写体サイズ２０２Ｂ、構図判定処理部２０３にそれぞれ出力する。
被写体距離検出部２０２Ａは、先に述べた第１、第２の実施形態と同様にして、検出個別被写体ごとの被写体距離を検出して被写体距離情報を出力する。また、被写体サイズ検出部２０２Ｂは、先に述べた第２の実施形態と同様にして、検出個別被写体ごとの画像内のサイズを検出して被写体サイズ情報を出力する。
被写体実サイズ算出部２０５は、上記被写体距離検出部２０２Ａ、被写体サイズ検出部２０２Ｂから出力される、検出個別被写体ごとの被写体距離情報、被写体サイズ情報を取り込んで、検出個別被写体ごとに対応した「実サイズ」を求め、検出個別被写体ごとの実サイズの情報（被写体実サイズ情報）を出力する。
なお、ここでの被写体実サイズ算出部２０５は、「実サイズ」としては、検出個別被写体が現実に有するとされる実寸サイズにほぼ正確な値を求めることもできるが、後述のようにして、例えば検出個別被写体の被写体距離とサイズとに基づき、実寸に相当するものとしてみることのできる値であって、より簡易に扱える値を求めるようにすることもできる。
この場合の構図判定処理部２０３は、被写体検出処理部２０１からの検出被写体情報と、被写体実サイズ検出部２０５からの被写体実サイズ情報を取り込んで入力し、これらの情報を利用して、最終的に、対象個別被写体（必要被写体）のみを判定対象とする構図判定処理を実行する。
図１５は、第３の実施形態としての構図判定ブロック２００についての他の基本構成例を示すもので、上記図１４においては構図判定処理部２０３が行うべきものとなる必要被写体を選別する処理を、被写体選別処理部２０４として抜き出した構成となる。
この場合の被写体選別処理部２０４は、被被写体検出処理部２０１からの検出被写体情報と、被写体実サイズ検出部２０５からの被写体実サイズ情報とを入力し、これらの情報を利用して、検出個別被写体のうちから、対象個別被写体（必要被写体）を選別し、これらの対象個別被写体ごとに対応する検出個別被写体情報を、構図判定処理部２０３に出力する。構図判定処理部２０３は、上記被写体選別処理部２０４からの対象個別被写体ごとの検出個別被写体情報に基づき、対象個別被写体（必要被写体）のみを対象とした構図判定処理を行う。
図１６のフローチャートは、上記図１４又は図１５に示した第３の実施形態に対応の構図判定ブロック２００が実行するものとされる処理の手順例を示している。
ステップＳ６０１〜Ｓ６０３は、例えば図３のステップＳ１０１〜Ｓ１０３などと同様にして、被写体検出処理部２０１が画像データを取り込んで被写体検出処理を実行し、検出被写体情報を出力する。
ステップＳ６０４においては、被写体距離検出部２０２Ａにより、検出個別被写体ごとの被写体距離を検出して、被写体距離情報を出力する。
ステップＳ６０５においては、被写体サイズ検出部２０２Ｂにより、検出個別被写体ごとの画像内におけるサイズの情報を取得し、被写体サイズ情報として出力する。
なお、ここではフローチャートによる表記の都合上、ステップＳ６０４、Ｓ６０５は、順次的な処理として示されているが、図１４、図１５との対応では、同時的に併行して実行すべき処理として考えてよい。
ステップＳ６０６は、被写体実サイズ算出部２０５が、検出個別被写体ごとの実サイズを算出して求める処理となる。先に述べたように、実サイズとして、実寸サイズに相当するものとして扱うことのできる値（簡易値）を求めることができる。この簡易値としての実サイズの求め方の一例としては次のようになる。
被写体実サイズ算出部２０５は、ステップＳ６０４により得られた被写体距離情報と、ステップＳ６０５により得られた被写体サイズ情報を取り込む。被写体距離情報には検出個別被写体ごとの被写体距離が示され、被写体サイズ情報には検出個別被写体ごとの画像内のサイズの情報が示されている。また、ここでは画像内のサイズの情報は、その検出個別被写体が検出された部分画像領域の垂直画素数であるものとする。つまり、ここでは画像内のサイズについて、検出個別被写体が検出された部分画像領域の面積とするのではなく、一次元方向における長さに相当する量としているものである。なお、垂直画素数に代えて、例えば水平画素数としてもよい。
そこで被写体実サイズ算出部２０５は、ｎ番目の検出個別被写体の実サイズＳｒnについて、同じｎ番目の検出個別被写体の被写体距離をＤn、サイズ（垂直画素数）をＦｙnとして、
Ｓｒn＝Ｄn・Ｆｙn・・・（式１）
により求めるようにされる。
上記式（１）により求められる実サイズＳｒnは、被写体距離と、サイズとしての垂直画素数を乗算したものであり、これによっては、現実の検出個別被写体の実寸サイズに一義的に対応するＳｒnの数値が求められることになる。つまり、実寸サイズに相当するものとして扱うことのできる値（簡易値）が得られるものである。また、上記（式１）により求められる実サイズＳｒnは、基準として設定した被写体距離（例えば１ｍ）のときに撮像して得られるとされる検出個別被写体についての画像内のサイズ（垂直画素数）に統一するための演算であるとしてもみることができる。
なお、実サイズＳｒnについては、
Ｓｒn＝sprt（Ｄｎ^2・Ｓn）・・・（式２）
により求めることも可能である。なお、上記（式２）において、Ｄｎはｎ番目の検出個別被写体について検出された被写体距離を示し、Ｓnは、面積として検出されたｎ番目の検出個別被写体の画像内サイズを示す。また、Sprtは平方根であることを示し、^はべき乗であることを示す。
また、先にも述べたように、現実の検出個別被写体の実寸サイズにほぼ対応した実サイズＳｒnを得ようとすることも可能である。このためには、例えば説明を簡単にするために画角が固定であるとして、上記の被写体距離Ｄn（ｍ）、サイズ（垂直画素数）Ｆｙnとともに、撮像画像の垂直画素数py、基準として設定した被写体距離（例えば１ｍとする）に対応する撮像画像の画枠垂直方向の実寸サイズSyをパラメータとして利用することで、例えば下記の演算により求めることができる。
Ｓｒn＝Sy・｛（Ｄn・Ｆｙn）／py｝・・・（式３）
ステップＳ６０７は被写体選別処理となる。この被写体選別処理は、図１４の対応では構図判定処理部２０３が実行し、図１５との対応では被写体選別処理部２０４が実行する。
図１７は、上記ステップＳ６０７としての被写体選別処理の手順例を示している。
この図において、ステップＳ７０１、Ｓ７０２、Ｓ７０４、Ｓ７０５は、例えば図４におけるステップＳ２０１、Ｓ２０２、Ｓ２０４、Ｓ２０５と同様となる。
ステップＳ７０３においては、ステップＳ６０６により求められた、ｎ番目の検出個別被写体の実サイズＳｒn、上限閾値Ｋmax、下限閾値Ｋminとについて、
Ｋmax＞Ｓｒn＞Ｋmin
の条件が成立するか否かについて判別する。
ここで、上限閾値Ｋmaxは、通常の被写体ではあり得ないとされる程度に大きい実サイズを考慮して設定され、下限閾値Ｋminは、通常の被写体ではあり得ないとされる程度に小さい実サイズを考慮して設定される。
従って、実サイズＳｒnが上記のＫmax＞Ｓｒn＞Ｋminの条件を満たしている場合、その実サイズＳｒnは、通常の被写体として考えられる程度の適切な範囲に収まっている、ということがいえる。このことは、その実サイズＳｒnに対応する検出個別被写体は、必要被写体として推定できるということを意味する。
そこで、本実施形態としては、ステップＳ７０３にて肯定の判別結果が得られた場合には、ｎ番目の検出個別被写体について、ステップＳ７０４により、対象個別被写体として設定するようにされる。
これに対して、実サイズＳｒnが上記のＫmax＞Ｓｒn＞Ｋminの条件を満たさない場合としては、Ｓｒn≧Ｋmax、若しくはＳｒn≦Ｋminが成立する場合となる。つまり、その実サイズＳｒnは、通常の被写体として想定できる範囲を外れて、これより小さい、あるいは大きい値を有していることになる。これは、その実サイズＳｒnに対応する検出個別被写体は、必要被写体としては推定されるべきでない、ということを意味する。
そこで、ステップＳ７０３にて否定の判別結果が得られた場合には、ステップＳ７０４をスキップしてステップＳ７０５に進むようにされる。
このようにして、図１７に示される被写体選別処理では、検出個別被写体ごとに、その画実サイズが、必要被写体として推定できる程度の適切な範囲に収まっているものを対象個別被写体（必要被写体）として設定（選別）するものである。
説明を図１６に戻す。
ステップＳ６０７の被写体選別処理を実行した後は、ステップＳ６０８、またステップＳ６０９の手順を実行する。
これらステップＳ６０８、Ｓ６０９の手順は、先の図３の場合のステップＳ１０６、Ｓ１０７と同様の処理を構図判定処理部２０３が実行するものとなる。
図２０及び図２１は、上記図１６及び図１７に示した被写体選別のアルゴリズムに応じた構図判定の実際例を模式的に示している。
先ず、図２０により、実サイズが必要被写体として推定できない程度に小さいものを除外して構図判定を行った例を示す。
図２０（ａ）では、被写体検出処理によって、検出画枠３００Ａにおいて、３つの被写体１、２、３が検出されたものとしている。被写体１、２、３ごとに検出された画像内のサイズは、ここでは、例えば顔検出に基づいて検出された被写体に対応する矩形の検出枠の垂直画素数により表すものとする。この垂直画素数によるサイズについては、被写体１はFy1、被写体２はFy2、被写体３はFy3として示している。また、図２０（ｂ）（ｃ）（ｄ）には、コントラスト方式に基づいて検出された被写体１、２、３の各被写体距離Ｄ1、Ｄ2、Ｄ3を示している。
ここで、先ず、被写体１、２、３ごとに検出された被写体距離Ｄ1、Ｄ2、Ｄ3は、ほぼ同じとみてよい値の範囲に収まっているものとする。
また、一方のサイズについては、被写体２，３のサイズFy2，Fy3は、その被写体距離Ｄ2、Ｄ3と照らし合わせてみて必要被写体として推定できるような適切なサイズであるのに対して、被写体１のサイズFy1は、その被写体距離Ｄ1と照らし合わせてみると、必要被写体として推定するのには小さすぎるサイズであるとする。
そして、この図２０に示される被写体１、２、３ごとに求めた実サイズＳｒ1、Ｓｒ2、Ｓｒ3を図１７のステップＳ７０３にて判別したところ、実サイズＳｒ1については、Ｓｒ1≦Ｋminとなって、Ｋmax＞Ｓｒ1＞Ｋminが成立せずに否定の判別結果が得られたものとする。これに対して、実サイズＳｒ2については、Ｋmax＞Ｓｒ2＞Ｋminが成立し、実サイズＳｒ3についても、Ｋmax＞Ｓｒ3＞Ｋminが成立したものとする。この場合、被写体選別処理の結果としては、被写体２、３が必要被写体（対象個別被写体）として選別され、被写体１については除外されることになる。そして、構図判定処理としては、被写体１を除外し、被写体２，３のみを対象として行う。
この構図判定処理の結果は、図２０（ａ）における判定構図画枠３００Ｂと、各被写体１、２、３との関係によって示される。判定構図画枠３００Ｂにおいては、そのほぼ中央にて被写体２，３が配置されている。これに対して、被写体１は判定構図画枠３００Ｂから外れている。
また、図２１により、実サイズが必要被写体として推定できない程度に大きいものを除外して構図判定を行った例を示す。
図２１（ａ）においても、被写体検出処理によって、検出画枠３００Ａにおいて、３つの被写体１、２、３が検出されたものとしている。被写体１、２、３ごとに検出された画像内のサイズ（垂直画素数）は、ここでも、それぞれFy1、Fy2、Fy3として示している。また、図２１（ｂ）（ｃ）（ｄ）には、コントラスト方式に基づいて検出された被写体１、２、３の各被写体距離Ｄ1、Ｄ2、Ｄ3を示している。
ここでも、先ず、被写体１、２、３ごとに検出された被写体距離Ｄ1、Ｄ2、Ｄ3は、ほぼ同じとみてよい値の範囲に収まっているものとする。
また、サイズについては、被写体２，３のサイズFy2，Fy3は、その被写体距離Ｄ2、Ｄ3と照らし合わせてみて必要被写体として推定できるような適切なサイズであるのに対して、被写体１のサイズFy1は、その被写体距離Ｄ1と照らし合わせてみると、必要被写体として推定するのには大きすぎるサイズであるとする。
そして、この図２１に示される被写体１、２、３ごとに求めた実サイズＳｒ1、Ｓｒ2、Ｓｒ3を図１７のステップＳ７０３にて判別したところ、実サイズＳｒ1については、Ｓｒ1≧Ｋmaxとなって、Ｋmax＞Ｓｒ1＞Ｋminが成立せずに否定の判別結果が得られたものとする。これに対して、実サイズＳｒ2については、Ｋmax＞Ｓｒ2＞Ｋminが成立し、実サイズＳｒ3についても、Ｋmax＞Ｓｒ3＞Ｋminが成立したものとする。
この場合も、被写体選別処理の結果としては、被写体２、３が必要被写体（対象個別被写体）として選別され、被写体１については除外されることになる。そして、構図判定処理としては、被写体１を除外し、被写体２，３のみを対象として行う。
この構図判定処理の結果は、図２０（ａ）における判定構図画枠３００Ｂと、各被写体１、２、３との関係によって示される。判定構図画枠３００Ｂにおいては、そのほぼ中央にて被写体２，３が配置されている。これに対して、被写体１は判定構図画枠３００Ｂから外れている。なお、この図２１（ａ）では、検出画枠３００Ａと判定構図画枠３００Ｂの大きさが異なっている。これも、図１３（ａ）と同様に、構図判定の結果として、検出画枠３００Ａとしての画像を撮像していたときよりも、画角を狭く（ズーム倍率を大きく）変更したことを表している。
ここで、ステップＳ７０３の処理にて用いられる上限閾値Ｋmax、下限閾値Ｋminの具体例を挙げておく。なお、説明を簡単で分かりやすいものとすることの便宜上、画角に対応するズーム倍率は固定されているものとする。
図２２（ａ）（ｂ）は、ともに被写体距離＝１ｍの位置にある被写体１、２を撮像して得られた画像とする。この画像の画枠３００は、垂直方向が２４０ｐｘ、水平方向が３２０ｐｘであるとする。この画枠３００内に存在する被写体１、２の画像内サイズ（垂直画素数）を比較すると、被写体１のほうが１６０ｐｘと大きく、被写体２の方が４０ｐｘと小さい。ここでは、先ず、被写体距離＝１ｍを基準とする。そのうえで、この基準の被写体距離＝１により撮像したとする被写体の画像内サイズが、１６０ｐｘ以上のものと、４０ｐｘ以下のものを必要被写体から除外することとする。
これらの被写体は、被写体距離＝１により撮像したときに、画像内での垂直方向におけるサイズが、画枠垂直方向に対して２／３（＝１６０／２４０）以上となるような被写体、また、画枠垂直方向に対して１／６（＝４０／２４０）以下となるような被写体であることになる。このような被写体は、必要被写体として適正な範囲の実寸サイズから外れているものであり、写真、ポスターなどである可能性が高く、必要被写体からは除外すべきものとして扱う。
これに応じて、上限閾値Ｋmax、下限閾値Ｋminの具体値として、それぞれ、Ｋmax＝１６０、Ｋmin＝４０を設定することになる。
この場合、ステップＳ７０３において利用するＫmax＞Ｓｒn＞Ｋminの条件式は、実際には１６０＞Ｓｒn＞４０であることになる。
なお、前述のように、実サイズＳｒnは、例えば被写体距離Ｄn（ｍ）と、画像内サイズ（垂直画素数）Fynの乗算（Ｄn・Fyn）により表される。
上記の条件式によると、被写体１の実サイズＳｒ1は、Ｄ1・Fy1＝１×１６０＝１６０となり、ステップＳ７０３においては、否定の判別結果が得られる。つまり、必要被写体からは除外される。また、被写体２の実サイズＳｒ2は、Ｄ2・Fy2＝１×４０＝４０となり、ステップＳ７０３においては、これも否定の判別結果が得られ、必要被写体からは除外される。
このようにして、上限閾値Ｋmax＝１６０、下限閾値Ｋmin＝４０を設定することにより、「被写体距離＝１により撮像したとする被写体の画像内サイズが、１６０ｐｘ以上のものと、４０ｐｘ以下のものを必要被写体から除外する」という規則に適ったステップＳ７０３の処理結果が得られているものである。
また、図２２（ｃ）は、図２２（ａ）と同じ上限閾値Ｋmaxに対応する被写体１を被写体距離＝２ｍに位置させた状態で撮影して得られる画像の様子を示したものとされる。この場合の被写体距離は、図２２（ａ）の場合に対して２倍となっているので、画枠３００内の被写体１の画像内サイズ（垂直画素数）は、図２２（ａ）の１６０ｐｘに対して１／２の８０ｐｘとなる。
また、図２２（ｄ）は、図２２（ｂ）と同じ下限閾値Ｋminに対応する被写体２を被写体距離＝２ｍに位置させた状態で撮影して得られる画像の様子を示したものとされる。この場合にも、画枠３００内の被写体２の画像内サイズ（垂直画素数）は、図２２（ａ）の４０ｐｘに対して１／２の２０ｐｘとなる。
今回の規則設定「被写体距離＝１により撮像したとする被写体の画像内サイズが、１６０ｐｘ以上のものと、４０ｐｘ以下のものを必要被写体から除外する」に従えば、飛車距離＝２ｍで撮像した被写体については、図２２（ｃ）に示される８０ｐｘ以上のサイズの被写体、及び図２２（ｄ）に示される２０ｐｘ以下のサイズの被写体が必要被写体から除外されることになる。
例えば、図２２（ｃ）に示す被写体１について、ステップＳ７０３により判定することとした場合には、実サイズＳｒ1については、Ｓｒ1＝Ｄ1・Fy1＝２×８０＝１６０が得られることとなる。また、図２２（ｃ）に示す被写体２について、ステップＳ７０３により判定することとした場合には、実サイズＳｒnについては、Ｓｒ2＝Ｄ2・Fy2＝２×２０＝４０が得られることとなる。
上記の計算により得られる被写体１、２の実サイズＳｒnからも理解されるようにして、実際のステップＳ７０３の処理によっては、図２２（ｃ）に示す被写体１より大きなサイズの被写体、若しくは図２２（ｄ）の被写体２より小さなサイズの被写体はいずれも否定の判別結果が得られることとなって、上記の規則設定のとおりに必要被写体からは除外される。
また、この第３の実施形態においても、第２の実施形態と同様に、被写体選別処理に際しては、検出個別被写体についての画像内のサイズの情報を利用する。このことから、第３の実施の形態における被写体選別処理としても、被写体検出処理部２０１が入力する画像データを撮像して得るための撮像装置の画角（ズーム倍率）の変更に対応させるアルゴリズムの構成とすることが考えられる。
撮像装置の画角（ズーム倍率）の変更に対応させた被写体選別処理を、図１８のフローチャートに示す。この図に示す手順も、図１７と同様に、図１６のステップＳ６０７として実行されるものとなる。
図１８において、ステップＳ８０１、Ｓ８０２、Ｓ８０４、Ｓ８０５は、図１７のステップＳ７０１、Ｓ７０２、Ｓ７０４、Ｓ７０５と同じ処理となる。
そして、ステップＳ８０３においては、そのときに撮像装置にて設定されている画角に対応して求められるズーム倍率値Zの値を取り込むこととして、
Ｋmax＞Ｓｒn/Z＞Ｋmin
の条件が成立するか否かについて判別するようにする。なお、この場合の上限閾値Ｋmax、下限閾値Ｋminは、ズーム倍率が１倍、つまりＺ=1のときに対応して設定する。
この条件式であれば、ズーム倍率の変更にかかわらず、常に、実サイズは、ズーム倍率値Ｚ=1とされるときの値に補正され、常に、適正に上限閾値Ｋmax、下限閾値Ｋminと比較させることが可能となる。これにより、この被写体選別のアルゴリズムを採用した構図判定を、ズーム（画角変更）機能を有する撮像装置を利用する場合にも適用することが可能になる。
なお、例えば上記の条件式についてＫmax・Z＞Ｓｒn＞Ｋmin・Zとしてもよい。
また、既に現状においては、顔認識技術の発達により、顔として検出した部分画像領域における特徴量などの情報から、その被写体としての人物の顔が大人、子供（さらには赤ちゃん）のいずれであるのかを相応に高い精度で判定できるようになっている。
一般に、大人と子供では顔の大きさは異なる。つまり、被写体としてみたときには、同じ被写体距離であっても、検出される画像内サイズは相当に異なるものとなる。従って、第２の実施形態、若しくは第３の実施形態のようにして、選別パラメータに画像内サイズの要素を含むものについては、大人・子供の判定結果を加味して被写体選別を実行することで、さらに、本実施形態の被写体選別の精度を高めることが可能になる。
そこで、第３の実施形態に大人・子供の判定結果を応用した被写体選別のアルゴリズムを適用した場合の構成例について説明しておくこととする。
先ず、図１４若しくは図１５における被写体検出処理部２０１によっては、被写体検出を実行する過程において、所定の大人・子供判定のためのアルゴリズムに従った処理により、検出個別被写体ごとに、その属性の１つとして、それが大人・子供のいずれであるのかについても判定（属性判定）するように構成する。そして、被写体検出処理部２０１は、大人・子供の判定結果に基づき、検出個別被写体ごとの検出個別被写体情報について、それが大人・子供のいずれであるのかを示す属性情報（大人・子供属性情報）を持たせるようにする。
なお、属性判定に対応する図１４、図１５のブロック構成の態様としては、例えば、属性判定のためのブロック（属性判定処理部）を、被写体検出処理部２０１とは個別に設けるものとして示すこともできる。この場合には、例えば、属性判定処理部は、被写体検出処理部２０１からの検出被写体情報が示す個別被写体ごとに、入力される画像データにおいて、その顔が検出された部分画像領域を対象にして属性判定処理を実行し、例えば大人と子供のいずれであるのかを認識する。そして、この認識結果に応じて大人、子供のいずれかであることを示す属性情報を生成し、これを検出被写体情報の検出個別被写体情報の情報に付加するような構成を想定できる。
そのうえで、図１４、図１５に示す第３の実施形態としての構図判定ブロック２００における被写体選別処理部２０３は、例えば図１９のフローチャートに示される処理を実行する。
この図において、ステップＳ９０１、Ｓ９０２、Ｓ９０５、Ｓ９０６は、例えば図１７のステップＳ７０１、Ｓ７０２、Ｓ７０４．Ｓ７０５と同様となる。
この場合、ステップＳ９０２において否定の判別結果が得られた場合には、ステップＳ９０３の手順を実行する。
ステップＳ９０３では、ｎ番目の検出個別被写体に対応する検出個別被写体情報における大人・子供属性情報を参照して、大人、子供のいずれであるのかを認識し、その認識結果に基づいて属性係数Ａｎを設定する。
なお、属性係数Ａｎは、予め、大人、子供に応じてそれぞれ異なる値が設定されている。大人に対応する属性係数Ａｎと子供に対応する属性係数Ａｎとでは、子供のほうが大きな値を設定するようにされる。
続くステップＳ９０４においては、図１６のステップＳ６０６により得られた実サイズＳｒnと、上記ステップＳ９０３により得られた属性係数Ａｎとを利用して、
Ｋmax＞Ｓｒn・Ａｎ＞Ｋmin
の条件（条件式）が成立するか否かについて判別し、成立する場合にはステップＳ９０５により、ｎ番目の検出個別被写体を必要被写体（対象個別被写体）として設定するが、否定の判別結果が得られた場合には、ステップＳ９０５の手順をスキップしてステップＳ９０６に進めることとする。
ここで、最も簡単な例の１つとして、大人に対応する属性係数Ａｎ＝１とし、子供に対応する属性係数Ａｎ＝1.5を設定しているとする。これは、平均的に、子供の顔の検出枠の縦（垂直）、横（水平）のサイズをそれぞれ1.5倍すると大人の顔の検出枠のサイズと同等になるという根拠を想定したものである。
この場合、Ｋmax＞Ｓｒn・Ａｎ＞Ｋminの条件式は、大人に対応してはＫmax＞Ｓｒn＞Ｋminとなり、子供に対応してはＫmax＞1.5・Ｓｒn＞Ｋminとなる。つまり、この場合においてステップＳ９０４において用いられる条件式におけるＳｒn・Ａｎの項は、子供の顔の実サイズを、大人の顔の実サイズに変換、正規化することで、同じ上限閾値Ｋmax、下限閾値Ｋminを使用できるようにしたものである。従って、ステップＳ９０４において用いる条件式（一般式）としては、例えば、Ｋmax/Ａｎ＞Ｓｒn＞Ｋmin/Ａｎとしてもよい。
上記の説明から分かるように、ステップＳ９０４の条件式は、大人に対応する場合には、図１７と同様になるので、ここでの説明は省略し、子供に対応する場合について説明する。
ｎ番目の検出個別被写体が子供であることに対応して、条件式がＫmax＞1.5・Ｓｒn＞Ｋminとされたうえで、先ず、1.5・Ｓｒn≧Ｋmaxとなって否定の判別結果が得られる場合には、その子供である検出個別被写体の実サイズは、通常想定されるサイズよりも大きいということになる。これは、例えば、比較的大きく引き延ばされた子供の顔写真、ポスターなどを個別被写体として検出したような場合を考えることができる。
また、1.5・Ｓｒn≦Ｋminとなって否定の判別結果が得られる場合には、その子供である検出個別被写体の実サイズは、通常想定されるサイズよりも小さいということになる。これは、大人の場合に準じて、やはり、非常に小さなサイズの子供の顔写真などが個別被写体として検出された場合を考えることができる。
このようにして、ステップＳ９０４によっては、サイズの異なる子供と大人が混在して個別被写体として検出される状況であっても、此に対応して実サイズに基づく被写体選別処理が適切に行われる。
図２３は、上記第３の実施形態として、大人・子供判定の結果を加味した被写体選別と、これに応じた構図判定についての模式的な例を示している。また、この説明にあたっては、先の図２２において挙げた上限閾値Ｋmax、下限閾値Ｋminの具体値を用いる。つまり、上限閾値Ｋmax＝１６０、下限閾値Ｋmin＝４０を設定しているものとする。また、属性係数Ａｎについては、上記と同様に、大人に対応しては１、子供に対応しては1.5であることとする。
この図においては、先ず、検出画枠３００Ａにおいて、被写体１、２の２つの被写体が検出されている。この場合の検出画枠３００Ａは、その水平・垂直サイズが、それぞれ３２０ｐｘ、２４０ｐｘとしている。
被写体１は、対応する検出個別被写体情報の大人・子供属性情報により子供であることが示されているものとする。これに対して被写体２は、対応する検出個別被写体情報の大人・子供属性情報により大人であることが示されているものとする。
また、被写体１、２について検出された被写体距離は、ともに１ｍであるとする。また、画像内サイズ（垂直画素数）は、被写体１、２ともに１２０ｐｘと検出されたものとする。
この場合には、被写体１、２はいずれも同じ被写体距離ではあるが、それぞれが大人、子供であるので、本来（いずれも現実の人）であれば、その実サイズ異なることに応じて画像内サイズも異なってくるべきである。しかし、検出された画像内サイズは、ともに１２０ｐｘとされて、同じ画像内サイズになっている。ここで、画枠垂直サイズが２４０ｐｘであるのに対してその１／２である１２０ｐｘとなるサイズは、例えば現実の大人としては一般的な実寸の被写体を撮像したときに得られるものとする。すると、子供である被写体１のほうは、現実の人としては、例外的に大きいことになる。これは、ここでは、例えば被写体１が比較的大きめに引き延ばされた写真などであることが原因であるとする。このような写真などの被写体は、必要被写体からは排除すべきものとされる。
このような場合において、先ず、ステップＳ９０４により被写体１について判定する際には、
Ｓｒ1・Ａｎ＝Ｄ1・Fy1・Ａｎ＝１×120×1.5＝180
となる。すると、1.5・Ｓｒnの項の値は180となって、上限閾値Ｋmax＝160より大きいこととなり、ステップＳ９０４において否定の判別結果が得られる。つまり、例えば子供の顔写真などであることが推定される被写体１は、必要被写体（対象個別被写体）として設定されることなく除外される。
これに対して、次にステップＳ９０４により被写体２について判定する際には、
Ｓｒ2・Ａｎ＝Ｄ2・Fy2・Ａｎ＝１×120×1＝120
となり、Ｋmax＞Ｓｒn・Ａｎ＞Ｋminが成立するので、肯定の判別結果が得られることになる。従って、この大人の被写体１は、必要被写体（対象個別被写体）として設定され、構図判定処理に用いられることになる。
このときの構図判定処理の結果は、図２３において判定構図画枠３００Ｂと、被写体１，２の位置関係により示される。この図に示すようにして、判定構図画枠３００Ｂにおいては、大人である被写体２が適当な画像内サイズにより、ほぼ中央に位置するようにして配置されている。これに対して子供である被写体１は、構図判定から除外されたことに応じて、ここでは、判定構図画枠３００Ｂから外れている。
なお、この図の場合においても、構図判定の結果として、被写体２の画像内サイズを大きくするためにズーム倍率は高く設定されているものであり、このために、図における判定構図画枠３００Ｂは、相対的に検出画枠３００Ａよりも小さいものとして示されている。確認のために述べておくと、現実の検出画枠３００Ａと判定構図画枠３００Ｂもサイズとしては、３２０ｐｘ×２４０ｐｘで変わらない。また、判定構図画枠３００Ｂにおいて存在する被写体２のサイズ（垂直画素数）は、ズーム倍率に応じて、１２０ｐｘよりも多い所定値となる。
また、フローチャートの図示などによる説明は省略するが、属性係数Ａｎを利用した被写体選別は、図１８に示した、ズーム倍率を考慮した被写体選別にも応用できる。この場合には、例えば図１８のステップＳ８０３の処理に先立って、大人・子供の判定結果に応じた属性係数Ａｎを設定したうえで、ステップＳ８０３において、Ｋmax＞Ｓｒn・Ａｎ/Z＞Ｋmin（Zはズーム倍率値）が成立するか否かを判別するように構成すればよい。
なお、大人・子供判定の結果を加味した被写体選別処理は、画像内サイズのみを選別パラメータとして利用する第２の実施形態にも適用できる。
即ち、この場合にも、被写体検出処理部２０１による被写体検出処理の際に、検出個別被写体ごとに大人、子供の属性判定を行って、検出個別被写体情報ごとに大人・子供属性情報を含める。これとともに、例えば図１０のステップＳ４０３を実行するのに先立って、大人・子供の属性に応じた属性係数Ａｎを求める。そして、ステップＳ４０３においては、面積として表されるサイズＳｎについて、Ｓｎ＞Ｋ1・Ａｎ^2（^はべき乗であることを示す）が成立するか否かについて判定するようにされる。なお、面積によるサイズＳｎに代えて、例えば垂直（又は水平）画素数Fynとするのであれば、Fyn＞Ｋ1・Ａｎが成立するか否かについて判定する。図１１のステップＳ５０３の場合についても、これに準ずる。
また、上記の例では、説明を簡単で分かりやすいものとすることの都合上、大人・子供の２分岐による判定を行うこととしたが、例えば現在では、大人、子供、赤ちゃんのようにして、さらに分岐して判定することも可能とされている。そこで、本実施形態としても、例えば大人、子供、赤ちゃんの３分岐で判定するようにしたうえで、この判定結果に応じて異なる３つの属性係数Ａｎを設定して被写体選別処理を実行させるようにすることが可能である。
また、上記の例では、人のみを対象としているが、例えば被写体検出処理の段階で、例えば人とともに、犬、猫の動物などの弁別を行いながら被写体を検出し、被写体検出処理においては、これらの人、動物の種類などに応じて設定した属性係数Ａｎを用いて、人、動物ごとに必要被写体の選別処理が行えるようにすることも可能である。このことから、属性係数Ａｎに応じて判定する被写体の属性というのは、被写体としての存在についての実寸での大きさの違いに関連したものであるということができる。
これまでに説明した第１例〜第３例による構図判定ブロック２００の構成、つまり、実施形態としての基本的な構図判定の構成によっては、検出個別被写体の被写体距離、画像内サイズ、及び実サイズのいずれかを利用して必要被写体の選別を行うこととしている。なお、被写体距離、画像内サイズ、及び実サイズについては、一括して、「選別パラメータ」ともいうことにする。
上記のように選別パラメータとしての被写体距離、画像内サイズ、実サイズに基づいて被写体を選別することによっては、例えば、被写体距離が極端に近かったり遠かったりする被写体であるとか、通常範囲を超えて画像内サイズ、若しくは実サイズが大きかったり小さかったりする被写体が必要被写体から除外される。このことから、選別パラメータを利用した被写体選別は、選別パラメータとして得られた値が、必要被写体に対応して適正であるとして設定された値（範囲値）に該当するものである否かを判別しているといえる。
そして、上記の被写体選別処理によっては、必要被写体として適正、適当なもののみが的確に選別されることとなり，その結果、例えば構図判定装置として、これまでよりも性能的に優れ、また、より使い易いものを提供できる。
そして、これまでに述べた本実施形態の構図判定のための構成は、多様な装置、システムなどに適用できる。そこで続いては、本実施形態の構図判定の構成を適用した装置例、システム構成例をいくつか挙げていくこととする。
先ずは、本実施形態の構図判定を、デジタルスチルカメラと、このデジタルスチルカメラが取り付けられる雲台とからなる撮像システムに適用したものについて説明する。この本実施形態に対応する撮像システムによっては、構図判定により判定した構図に合わせて静止画の撮像記録が可能とされる。
図２４は、本実施形態に対応する撮像システムの外観構成例を、正面図により示している。
この図に示されるように、本実施形態の撮像システムは、デジタルスチルカメラ１と雲台１０とから成る。
デジタルスチルカメラ１は、本体正面側のパネルに設けられているレンズ部３によって撮像して得られる撮像光に基づいて静止画像データを生成し、これを内部に装填されている記憶媒体に記憶させることが可能とされている。つまり、写真として撮影した画像を、静止画像データとして記憶媒体に記憶保存させる機能を有する。このような写真撮影を手動で行うときには、ユーザは、本体上面部に設けられているシャッター（レリーズ）ボタンを押し操作する。
雲台１０には、上記デジタルスチルカメラ１を固定するようにして取り付けることができる。つまり、雲台１０とデジタルスチルカメラ１は、相互の取り付けを可能とするための機構部位を備えている。
そして、雲台１０においては、取り付けられたデジタルスチルカメラ１を、パン方向（水平方向）とチルト方向との両方向により動かすためのパン・チルト機構を備える。
雲台１０のパン・チルト機構により与えられるデジタルスチルカメラ１のパン方向、チルト方向それぞれの動き方は例えば図２５（ａ）（ｂ）に示されるものとなる。図２５（ａ）（ｂ）は、雲台１０に取り付けられているとされるデジタルスチルカメラ１を抜き出して、それぞれ、平面方向、側面方向より見たものである。
先ずパン方向については、デジタルスチルカメラ１の本体横方向と図２５（ａ）に示される直線Ｘ１とが同じ向きとなる位置状態を基準にして、例えば回転軸Ｃｔ１を回転中心として回転方向＋αに沿った回転が行われることで、右方向へのパンニングの動きが与えられる。また、回転方向−αに沿った回転が行われることで、左方向へのパンニングの動きが与えられる。
また、チルト方向については、デジタルスチルカメラ１の本体縦方向が垂直方向の直線Ｙ１と一致する位置状態を基準にして、例えば回転軸Ｃｔ２を回転中心として回転方向＋βへの回転が行われることで、下方向へのパンニングの動きが与えられる。また、回転方向−βへの回転が行われることで、上方向へのパンニングの動きが与えられる。
なお、図２５（ａ）（ｂ）に示される、±α方向、及び±β方向のそれぞれにおける最大可動回転角度については言及していないが、被写体の捕捉の機会をできるだけ多くするべきことを考慮するのであれば、できるだけ最大可動回転角度を大きく取ることが好ましいことになる。
図２６は、本実施形態に対応する撮像システムの内部を、機能動作ごとに対応したブロック構成により示している。
この図において、デジタルスチルカメラ１は、撮像ブロック６１、構図判定ブロック６２、パン・チルト・ズーム制御ブロック６３、及び通信制御処理ブロック６４を備えて成るものとされている。
撮像ブロック６１は、撮像により得られた画像を画像信号のデータ（撮像画像データ）として出力する部位であり、撮像のための光学系、撮像素子（イメージセンサ）、及び撮像素子から出力される信号から撮像画像データを生成する信号処理回路などを有して成る部位である。
構図判定ブロック６２は、撮像ブロック６１から出力される撮像画像データを取り込んで入力し、この撮像画像データを基にして構図判定のための処理を実行する。この構図判定ブロック６２としては、先に第１〜第３の実施形態として図１、図２、図７、図８、図１４、図１５に示した構図判定ブロック２００のいずれかを適用することができる。即ち、この構図判定ブロック６２は、撮像画像データの画像内において存在する被写体のうちから、必要被写体とされたもののみを対象とした構図判定を実行する。
パン・チルト・ズーム制御ブロック６３は、構図判定ブロック６２から入力した構図判定結果の情報が示す撮像画像の構図となる撮像視野角を得るためのパン・チルト・ズーム制御（構図制御）を実行する。
つまり、判定結果が示す構図となる撮像方向をデジタルスチルカメラ１が向くための、雲台１０のパン・チルト機構についての移動量を求め、この求めた移動量に応じた移動を指示するパン・チルト制御信号を生成する。
また、判定結果が示す構図となる画角を得るためのズーム位置を求め、このズーム位置となるようにして、撮像ブロック６１が備えるとされるズーム機構を制御する。
通信制御ブロック６４は、雲台１０側に備えられる通信制御ブロック７１との間で所定の通信プロトコルに従って通信を実行するための部位となる。上記パン・チルト・ズーム制御ブロック６３が生成したパン・チルト制御信号は、通信制御ブロック６４の通信により、雲台１０の通信制御ブロック７１に対して送信される。
雲台１０は、例えば図示するようにして、通信制御ブロック７１、及びパン・チルト制御処理ブロック７２を有している。
通信制御ブロック７１は、デジタルスチルカメラ１側の通信制御ブロック６４との間での通信を実行するための部位であり、上記のパン・チルト制御信号を受信した場合には、このパン・チルト制御信号をパン・チルト制御処理ブロック７２に対して出力する。
パン・チルト制御処理ブロック７２は、ここでは図示していない雲台１０側のマイクロコンピュータなどが実行する制御処理のうちで、パン・チルト制御に関する処理の実行機能に対応するものとなる。
このパン・チルト制御処理ブロック７２は、入力したパン・チルト制御信号に応じて、ここでは図示していないパン駆動機構部、チルト駆動機構部を制御する。これにより、判定された構図に応じた水平視野角と垂直視野角を得るためのパンニング、チルティングが行われる。
また、構図判定ブロック６２により被写体が検出されないときには、パン・チルト・ズーム制御ブロック６３は、例えば指令に応じて被写体探索のためのパン・チルト・ズーム制御を行うことができるようになっている。
上記図２６に示した構成のデジタルスチルカメラ１と雲台１０から成る撮像システムについて、ここでは一例として、人を構図判定対象の被写体（以降は単に被写体という）として扱うこととしたうえで、この被写体を探索するとともに、被写体の存在が検出されたのであれば、この被写体が写っている画像として最適とされる構図（最適構図）が得られるように（フレーミングが行われるように）して雲台１０のパン・チルト機構を駆動する。そして、最適構図が得られたタイミングで、そのときの撮像画像データを記憶媒体に記録（撮像記録）させることが可能とされる。
図２９は、上記図２６に示した撮像システムによる撮像記録のための手順例を示すフローチャートである。
この図では、先ず、構図判定ブロック６４が、ステップＳ１００１により、撮像画像データを取り込む。
次のステップＳ１００２においては、構図判定ブロック６２により、被写体検出処理、選別パラメータの検出、及び被写体選別処理を実行する。これらの処理については、第１〜第３の実施形態において述べたとおりに、被写体検出処理部２０１、被写体距離検出部２０２Ａ、被写体サイズ検出部２０２Ｂ、実サイズ検出部２０５、被写体選別処理部２０４、構図判定処理部２０３などが必要に応じて適宜実行するものとなる。
ステップＳ１００３においては、構図判定ブロック６２における構図判定処理部２０３が、ステップＳ１００２による被写体選別処理の結果として、対象個別被写体（必要被写体）が有るか否かについての判別を行う。
構図判定処理部２０３は、上記ステップＳ１００２における被写体選別処理に応じて出力される、選別された検出個別被写体の検出個別被写体情報の取り込みを行うが、その結果として、有効な検出個別被写体情報が１つも存在しない場合には、対象個別被写体（現実被写体）は残っていないということになる。これに対して、有効な検出個別被写体情報が存在しているのであれば、対象個別被写体は有るということになる。
ステップＳ１００３にて否定の判別結果が得られた場合には、あらためて被写体検出を行う必要から、ステップＳ１００１に戻るべきことになるが、この場合の構図判定ブロック６２としては、ステップＳ１００８により、被写体探索のためのパン・チルト・ズーム制御を指示した上で、ステップＳ１００１に戻るようにされる。つまり、この場合のステップＳ１００１〜Ｓ１００３の手順は、被写体探索時において得られる撮像画像データを基にして被写体検出を実行するものとなる。
これに対して、ステップＳ１００３にて少なくとも１つの個別被写体が検出されたことで肯定の判別結果が得られたのであれば、ステップＳ１００４以降の手順に進む。
ステップＳ１００４は、構図判定処理部２０３が、被写体選別処理部２１１から取り込んだ対象個別被写体の検出個別被写体情報に基づいて構図判定処理を実行し、その判定結果の情報をパン・チルト・ズーム制御ブロック６３に送信する。
ステップＳ１００５は、パン・チルト・ズーム制御ブロック６３における処理となる。つまり、パン・チルト・ズーム制御ブロック６３は、構図判定結果に応じた撮像視野角が得られるようにするための制御、即ち構図合わせのためのパン・チルト・ズーム制御を実行する。
上記ステップＳ１００５による構図合わせの制御が開始されて以降においては、ステップＳ１００６により、実際にそのときの撮像画像データの画像として得られている構図が、ステップＳ１００７により判定した構図と同じであるみなされる状態（例えば一定以上の近似度となる状態）となったか否か（構図がＯＫであるか否か）を判別することとしている。なお、この判別は、例えば構図判定処理部２０３において、構図判定結果を出力した後に得られる対象個別被写体の検出個別被写体情報の位置情報の変化などを検出することで実現できる。
ここで、例えば何らかの原因で、必要なだけのパン・チルト・ズームの移動、駆動を行わせたとしても構図がＯＫにはならなかった場合には、ステップＳ１００６にて否定の判別結果が出力される。この場合には、ステップＳ１００８を経たうえでステップＳ１００１に戻ることで、被写体探索を再開させることとしている。
これに対して、ステップＳ１００６において構図がＯＫになったとの判別結果が得られた場合には、ステップＳ１００７により、レリーズ動作、つまり、そのときに得られている撮像画像データを静止画として記録する動作の実行を指示する。このレリーズ指示の処理も、例えばここでは、構図判定処理部２０３が実行するものとして捉えればよい。
なお、撮像記録の指示（レリーズ動作の指示）は、例えば図２６の構成の下では、パン・チルト・ズーム制御ブロック６３が、構図合わせのためのパン・チルト・ズーム制御が完了したタイミングでもって、例えば撮像ブロック６１などのしかるべき部位に対して行うようにされればよい。あるいは、構図判定ブロック６２において、撮像画像データの画像において得られている実際の構図と、判定した最適構図との近似度が一定以上になったと判断したタイミングで、レリーズの指示が行われるようにしてもよい。
このように、図２６の撮像システムでは、デジタルスチルカメラによるいわゆる写真撮影を行うのにあたり、先ず、探索された被写体について最適構図を決定（判定）して撮影記録を行うという動作が自動的に実行される。これにより、ユーザ自身が構図を判断して撮影を行わなくとも、相応に良質な写真の画像を得ることが可能になる。また、このようなシステムでは、誰かがカメラを持って撮影する必要が無くなるので、その撮影が行われる場所に居る全員が被写体となることができる。また、被写体となるユーザが、カメラの視野角範囲に入ろうと特に意識しなくとも、被写体が収まった写真が得られることになる。つまり、その撮影場所に居る人の自然な様子を撮影する機会が増えるものであり、これまでにはあまりなかった雰囲気の写真を多く得ることができる。
そのうえで、上記の撮像システムは、先に説明した第１〜第２の実施形態としての構図判定を行うようにされていることで、例えば顔写真であるとか、本来の被写体としたい人物などの対象の周囲に存在する、他の被写体としたくない対象を適切に除外して、必要被写体のみを対象とする適切な構図を持つ画像の撮像記録が可能となっているものである。
図２８は、上記図２６に示した本実施形態対応の撮像システムについての変形例を示している。
この図では、先ず、デジタルスチルカメラ１において、撮像ブロック６１により得られる撮像画像データを、通信制御処理ブロック６４から雲台１０側の通信制御ブロック７１に対して送信するようにされている。
この図においては、雲台１０の構成として通信制御処理ブロック７１、パン・チルト制御処理ブロック７２、及び構図判定ブロック７３が示されている。
通信制御処理ブロック７１により受信された撮像画像データは、構図判定ブロック７３に対して出力される。この構図判定ブロック７３も、先に第１〜第３の実施形態として図１、図２、図７、図８、図１４、図１５に示した構図判定ブロック２００のいずれかの構成が適用されるもので、入力した撮像画像データを基として必要被写体のみを対象とする構図判定処理を実行する。そして、この場合には、構図判定結果に基づいて、例えば、図２６のパン・チルト・ズーム制御ブロック６３のようにして、判定された構図が得られる撮像方向とするためのパン機構部とチルト機構部の移動量を求め、この移動量を指示するパン・チルト制御信号をパン・チルト制御処理ブロック７２に対して出力する。これにより、構図制御処理ブロック７３にて判定した構図が得られるようにしてパンニング、チルティングが行われる。
このようにして、図２８に示す撮像システムは、デジタルスチルカメラ１から雲台１０に撮像画像データを送信させることとして、雲台１０側により、取り込んだ撮像画像データに基づく構図判定とこれに応じたパン・チルト制御（構図制御）とを実行するようにして構成しているものである。また、この図２８に示す構成においては、撮像視野角の制御（構図制御）として、ズーム（画角）制御を行っていないが、これは、実施形態のもとでは、構図制御として、パン・チルト・ズームの各制御が必須ではないことを示している。例えば、条件・状況に応じては、パン制御のみ、チルト制御のみ、あるいはズーム制御のみによっても、判定された構図に応じた構図制御を実現できるものである。
図２９は、本実施形態に対応する撮像システムについての他の変形例としての構成例を示している。なお、この図において、図２８と同一部分には同一符号を付して説明を省略する。
このシステムにおいては、雲台１０側において撮像ブロック７５が備えられる。この撮像ブロック７５は、例えば図２６、図２８の撮像ブロックと同様に、撮像のための光学系と撮像素子（イメージセンサ）を備えて、撮像光に基づいた信号（撮像信号）を得るようにされているとともに、この撮像信号から撮像画像データを生成するための信号処理部から成る。
撮像ブロック７５により生成される撮像画像データは、構図判定ブロック７３に出力される。
なお、撮像ブロック７５が撮像光を取り込む方向（撮像方向）は、例えば雲台１０に載置されるデジタルスチルカメラの撮像方向とできるだけ一致するようにして設定することが好ましい。
この場合の構図判定ブロック７３、及びパン・チルト制御処理ブロック７２は、上記図２８と同様にして、構図判定処理と、この構図判定結果に応じたパン・チルト機構の駆動制御を実行する。
但し、この場合の構図判定ブロック７３は、デジタルスチルカメラ１にレリーズ動作を実行させるタイミング（撮像ブロック７５からの撮像画像データの画像について、判定構図が得られたとするタイミング）に対応しては、通信制御処理ブロック７１経由でデジタルスチルカメラ１に対して、レリーズ指示信号を送信させる。デジタルスチルカメラ１では、レリーズ指示信号が受信されることに応じてレリーズ動作を実行し、そのときに撮像ブロック７５により得られているとされる撮像画像データを基とした画像データの撮像記録を実行する。
このようにして他の変形例では、構図判定及び構図制御に関して、レリーズ動作自体に関する以外の全ての制御・処理を雲台１０側で完結して行うことができる。
なお、上記の説明では、パン制御、チルト制御に関しては、雲台１０のパン・チルト機構の動きを制御することにより行うこととしているが、雲台１０に代えて、例えば、デジタルスチルカメラ１の光学系部（２１）に対しては、反射鏡により反射された撮像光が入射されるようにしたうえで、撮像光に基づいて得られる画像についてパンニング・チルティングされた結果が得られるようにして上記反射光を動かす構成を採用することも考えられる。
また、デジタルスチルカメラ１の撮像素子（イメージセンサ２２）から画像として有効な撮像信号を取り込むための画素領域を水平方向と垂直方向にシフトさせるという制御を行うことによっても、パンニング・チルティングが行われるのと同等の結果を得ることができる。この場合には、雲台１０若しくはこれに準ずる、デジタルスチルカメラ１以外のパン・チルトのための装置部を用意する必要が無く、デジタルスチルカメラ１単体により本実施形態としての構図制御を完結させることが可能となる。
また、画角制御（ズーム制御）についても、ズームレンズの駆動に代えて、撮像画像データから一部画像領域を切り出すという画像処理を実行することによって実現可能である。
また、デジタルスチルカメラ１の光学系部におけるレンズの光軸を水平・垂直方向に変更することのできる機構を備えて、この機構の動きを制御するように構成しても、パンニング・チルティングを行うことが可能である。
続いては、本実施形態（第１〜第３の実施形態）の構図判定の構成を、上記撮像システム以外に適用した例について挙げていく。
先ず、図３０は、実施形態としての構図判定を、デジタルスチルカメラなどの撮像装置単体に対して適用したもので、例えば撮像モード時において撮像装置により撮像している画像が、判定結果に応じた適正な構図になったときに、このことを表示によってユーザに通知しようとするものである。
このために撮像装置が備えるべき構成として、ここでは構図判定ブロック８１、通知制御処理ブロック８２、表示部８３を示している。ここでの構図判定ブロック８１が、図１、図２、図７、図８、図１４、図１５に示した第１〜第３の実施形態における構図判定ブロック２００としてのいずれかの構成を採るものとされる。
例えばユーザは、撮像装置を撮像モードに設定したうえで、撮像装置を手に持っており、いつでもレリーズ操作（シャッターボタン操作）を行えば撮像画像の記録が行える状況にあるものとする。
このような状態の下、構図判定ブロック８１では、先ず、そのときに撮像して得られる撮像画像データを取り込んで、本実施形態に対応する一連の構図判定の処理を実行して、最適構図を判定する。
そのうえで、さらに、この場合の構図判定ブロック８１としては、そのときに実際に得られている撮像画像データの画内容の構図と、判定された最適構図との一致性、類似度を求めるようにされる。そして、例えば類似度が一定以上になったときに、実際に撮影して得られている撮像画像データの画内容が最適構図になったと判定する。なお、例えば実際においては、撮像画像データの画内容の構図と最適構図とが一致したとみなされる程度の、所定以上の類似度が得られたら、最適構図と判断するようにしてアルゴリズムを構成することが考えられる。また、ここでの一致性、類似度をどのようにして求めるのかについては多様なアルゴリズムを考えることができるので、ここでは、その具体例については特に言及しない。
このようにして撮像画像データの画面内容が最適構図になったことの判定結果の情報は通知制御処理ブロック８２に対して出力される。通知制御処理ブロック８２は、上記の情報の入力に応じて、現在において撮像されている画像が最適構図であることをユーザに通知するための所定態様による表示が表示部８３にて行われるように表示制御を実行する。なお、通知制御処理ブロック８２は、撮像装置が備えるマイクロコンピュータ（ＣＰＵ）などによる表示制御機能と、表示部８３に対する画像表示を実現するための表示用画像処理機能などにより実現される。なお、ここでの最適構図であることのユーザへの通知は、電子音、若しくは合成音声などをはじめとした音により行われるように構成してもよい。
また、表示部８３は、例えば本実施形態のデジタルスチルカメラ１の表示部３３に対応するもので、例えば撮像装置における所定位置に対してそのディスプレイパネルが表出するようにして設けられ、撮影モード時にはいわゆるスルー画といわれる、そのときに撮像されている画像が表示されることが一般的である。従って、この撮像装置の実際にあっては、表示部８３において、スルー画に対して重畳される態様で最適構図であることを通知する内容の画像が表示されることになる。ユーザは、この最適構図であることを通知する表示が現れたときにレリーズ操作を行うようにされる。これにより、写真撮影の知識や技術に長けていないようなユーザであっても、良好な構図の写真撮影を簡単に行うことが可能になる。
また、図３１も、上記図３０と同様にデジタルスチルカメラなどの撮像装置単体に対して実施形態の構図判定の構成を適用したものとなる。
先ず、この図に示す構成においては、図３０と同様に、構図判定ブロック８１により、入力される撮像画像データを基にして最適構図を判定する処理を実行するとともに、その後のタイミングにおいて得られる撮像画像データの画内容が上記の最適構図であるか否かを判定するようにされる。そして、最適構図になったことを判定すると、このことをレリーズ制御処理ブロック８４に対して通知する。
レリーズ制御処理ブロック８４は、撮像画像データを記録するための制御を実行する部位とされ、例えば撮像装置が備えるマイクロコンピュータが実行する制御などにより実現される。上記の通知を受けたレリーズ制御処理ブロック８４は、そのときに得られている撮像画像データが、例えば記憶媒体に記憶されるようにして画像信号処理、記録制御処理を実行する。
このような構成であれば、例えば最適な構図の画像が撮像されたときには、自動的にその撮像画像の記録が行われるようにした撮像装置を得ることができる。
なお、上記図３０及び図３１の構成は、例えばスチルカメラの範疇であれば、例えば図１により示されるような構成のデジタルスチルカメラに適用できるほか、銀塩フィルムなどに撮像画像を記録するいわゆる銀塩カメラといわれるものにも適用し得る。この場合には、例えば銀塩カメラにおいて、光学系により得られた撮像光を分光して取り入れるイメージセンサと、このイメージセンサからの信号を入力して処理するデジタル画像信号処理部などを設けることになる。
図３２は、実施形態の構図判定の構成をデジタルスチルカメラなどの撮像装置に適用した構成の一例である。この図に示す撮像装置１００は、図示するようにして、構図判定ブロック１０１、メタデータ作成処理ブロック１０２、ファイル作成処理ブロック１０３を備える。ここでは、構図判定ブロック１０１が、先の第１〜第３の実施形態における図１、図２、図７、図８、図１４、図１５のいずれかに示した構図判定ブロック２００の構成を有するものとなる。
ここでは図示していない撮像ブロックにより撮像して得られる撮像画像データは、撮像装置１００内の構図判定ブロック１０１、ファイル作成処理ブロック１０３とに対して入力することとしている。なお、この場合において、撮像装置１００内に入力された撮像画像データは、例えばレリーズ操作などに応じて記憶媒体に記憶されるべきこととなった撮像画像データであり、ここでは図示していない、撮像ブロックでの撮像により得られた撮像信号を基に生成されたものである。
先ず構図判定ブロック１０１では、不要被写体（静止被写体）を除外した必要被写体を対象とする構図判定を行う。そのうえで、この場合の構図判定処理としては、さらに、この構図判定結果に基づき、入力された撮像画像データの全画像領域において、判定された最適構図が得られるとされる所定の縦横比による画像部分（最適構図の画像部分）がどこであるのかを特定する処理を実行する。そして、特定した最適構図の画像部分を示す情報を、メタデータ作成処理ブロック１０２に対して出力する。
メタデータ作成処理ブロック１０２では、入力された情報に基づいて、対応する撮像画像データから最適構図を得るために必要な情報から成るメタデータ（構図編集メタデータ）を作成し、ファイル作成処理ブロック１０３に対して出力する。この構図編集メタデータの内容としては、例えば、対応する撮像画像データとしての画面においてトリミングする画像領域部分がどこであるのかを示し得る位置情報などとなる。
この図に示す撮像装置１００では、撮像画像データについて、所定形式による静止画像ファイルとして管理されるようにして記憶媒体に記録するものとされる。これに対応して、ファイル作成処理ブロック１０３は、撮像画像データを、静止画像ファイル形式に変換（作成）する。
ファイル作成処理ブロック１０３は、先ず、入力される撮像画像データについて、画像ファイル形式に対応した画像圧縮符号化を行い、撮像画像データから成るファイル本体部分を作成する。これとともに、メタデータ作成処理ブロック１０２から入力された構図編集メタデータを、所定の格納位置に対して格納するようにしてヘッダ及び付加情報ブロックなどのデータ部分を作成する。そして、これらファイル本体部分、ヘッダ、付加情報ブロックなどから静止画像ファイルを作成し、これを出力する。これにより、図示するようにして、記憶媒体に記録すべき静止画像ファイルとしては、撮像画像データとともにメタデータ（構図編集メタデータ）が含まれる構造を有したものが得られることになる。
図３３は、上記図３２の装置により作成された静止画像ファイルについて編集を行う編集装置の構成例を示している。
図に示す編集装置１１０は、静止画像ファイルのデータを取り込んで、先ずメタデータ分離処理ブロック１１１に入力する。メタデータ分離処理ブロック１１１は、静止画像ファイルのデータから、ファイル本体部分に相当する撮像画像データとメタデータとを分離する。分離して得られたメタデータについてはメタデータ解析処理ブロック１１２に対して出力し、撮像画像データについてはトリミング処理ブロック１１３に対して出力する。
メタデータ解析処理ブロック１１２は、取り込んだメタデータを解析する処理を実行する部位とされる。そして、解析処理として、構図編集メタデータについては、その内容である最適構図を得るための情報から、すくなくとも、対応の撮像画像データを対象としてトリミングを行う画像領域を特定する。そして、この特定された画像領域のトリミングを指示するトリミング指示情報をトリミング処理ブロック１１３に対して出力する。
トリミング処理ブロック１１３は、先の図３２のトリミング処理ブロック９１と同様に、メタデータ分離処理ブロック１１１側から入力した撮像画像データから、上記メタデータ分離処理ブロック１１２から入力されるトリミング指示情報が示す画像部分を抜き出すための画像処理を実行し、抜き出した画像部分を１つの独立した画像データである、編集撮像画像データとして出力する。
上記図３２、図３３に示される撮像装置と編集装置から成るシステムによれば、例えば撮影などにより得たオリジナルの静止画像データ（撮像画像データ）はそのまま無加工で保存しておけるようにしたうえで、このオリジナル静止画像データからメタデータを利用して、最適構図となる画像を抜き出す編集が行えることになる。また、このような最適構図に対応した抜き出し画像部分の決定は、自動的に行われるものであり、ユーザにとっては、非常に編集が簡単になる。
なお、図３３に示す編集装置としての機能は、例えばパーソナルコンピュータなどにインストールされる画像データ編集のためのアプリケーションであるとか、画像データを管理するアプリケーションにおける画像編集機能などで採用することが考えられる。
図３４は、ビデオカメラなどとしての動画像の撮影記録が可能な撮像装置に、実施形態の構図判定の構成を適用した例である。
この図に示す撮像装置１２０には、動画像データが入力される。この動画像データは、例えば同じ撮像装置１２０が有するとされる撮像部により撮像を行って得られる撮像信号に基づいて生成されるものである。この動画像データは、撮像装置１２０における構図判定ブロック１２２、及びファイル作成・記録処理ブロック１２４に対して入力される。
この場合の構図判定ブロック１２２は、先の図１、図２、図７、図８、図１４、図１５のいずれかに示した構図判定ブロック２００の構成により、入力されてくる動画像データの画像について、必要被写体のみを対象とする構図判定を行って最適構図を求める。そのうえで、さらに、上記動画像データの画像の実際に構図について、判定した最適構図との差違を比較することにより、良否判定を行う。例えば後述する構図判定の具体例との対応では、構図判定により、最適構図に対応した、画像内の対象個別被写体の占有率（サイズ）、被写体間距離などのパラメータが求められる。そこで、上記の比較の際には、これらの最適構図に対応するパラメータと、動画像データの画像において現に得られているパラメータとを比較すればよい。
そして、この比較結果として双方のパラメータが一定以上の類似度を有していれば良好な構図であると判定され、上記類似度が一定以下であれば、良好な構図ではないと判定される。
構図判定ブロック１２２は、上記のようにして動画像データについて良好な構図が得られていると判定したときには、メタデータ作成処理ブロック１２３に対して、動画像データにおいて、今回、上記の良好な構図が得られていると判定した画像区間(良好構図画像区間)がどこであるのかを示す情報(良好構図画像区間指示情報)を出力する。良好構図画像区間指示情報)は、例えば動画像データにおける良好構図画像区間としての開始位置と終了位置を示す情報などとされる。
この場合のメタデータ作成処理ブロック１２３は、次に説明する動画像記録処理ブロック１２４により記憶媒体にファイルとして記録される動画像データについての、各種所要のメタデータを生成するものとされる。そのうえで、上記のようにして構図判定ブロック１２２から良好構図画像区間指示情報を入力した場合には、入力された良好構図画像区間指示情報が示す画像区間が良好な構図であることを示すメタデータを生成し、動画像記録処理ブロック１２４に対して出力する。
動画像記録処理ブロック１２４は、入力された動画像データについて、所定形式による動画像ファイルとして管理されるようにして記憶媒体に記録するための制御を実行する。そして、メタデータ作成処理ブロック１２３からメタデータが出力されてきた場合には、このメタデータが、動画像ファイルに付随するメタデータに含められるようにして記録されるようにするための制御を実行する。
これにより、図示するようにして、記憶媒体に記録される動画像ファイルは、撮像により得られたとする動画像データに、良好な構図が得られている画像区間を示すメタデータが付随された内容を有することになる。
なお、上記のようにしてメタデータにより示される、良好な構図が得られている画像区間は、或る程度の時間幅を有する動画像による画像区間とされてもよいし、動画像データから抜き出した静止画像によるものとされてもよい。また、上記のメタデータに代えて、良好な構図が得られている画像区間の動画像データ若しくは静止画像データを生成して、これを動画像ファイルに付随する副次的な画像データ（或いは動画像ファイルと独立したファイル）として記録する構成も考えられる。
また、図３４に示されるようにして、撮像装置１２０に対して構図判定ブロック１２２を備える構成では、構図判定ブロック１２２により良好構図画像区間であると判定された動画像の区間のみを動画像ファイルとして記録するように構成することも考えられる。さらには、構図判定ブロック１２２により良好構図であると判定された画像区間に対応する画像データを、データインターフェースなどを経由して外部機器に出力するような構成も考えることができる。
また、図３２の撮像装置１００に対応する装置としては、図３３に示した編集装置以外に、図３５に示す印刷装置１３０を考えることができる。
この場合には、印刷装置１３０が、印刷すべき画像として、静止画像ファイルを取り込むこととされている。この静止画像ファイルは、例えば撮像装置１００により生成して記録されたものを含み、図示するようにして、静止画としての画像データの実体と、メタデータとを有する構造を持っている。従って、このメタデータは、図３２、図３３に示した静止画像ファイルにおけるものと同意義の内容の構図編集メタデータを含んでいるものである。
このようにして取り込んだファイルは、メタデータ分離処理ブロック１３１が入力する。メタデータ分離処理ブロック１３１は、図３３のメタデータ分離処理ブロック１１１と同様にして、静止画像ファイルのデータから、ファイル本体部分に相当する画像データと、これに付随するメタデータとを分離する。分離して得られたメタデータについてはメタデータ解析処理ブロック１３２に対して出力し、画像データについてはトリミング処理ブロック１３３に対して出力する。
メタデータ解析処理ブロック１３２は、取り込んだメタデータについて、図３３のメタデータ分離処理ブロック１１１と同様の解析処理を実行し、トリミング処理ブロック１３３に対してトリミング指示情報を出力する。
トリミング処理ブロック１３３は、図３３におけるトリミング処理ブロック１１３と同様にして、メタデータ分離処理ブロック１３１より入力した画像データから、上記メタデータ分離処理ブロック１３２から入力されるトリミング指示情報が示す画像部分を抜き出すための画像処理を実行する。そして、この抜き出した画像部分から生成した印刷用の形式の画像データを、印刷用画像データとして、印刷制御処理ブロック１３４に出力する。
印刷制御処理ブロック１３４は、入力された印刷用画像データを利用して、ここでは図示していない印刷機構を動作させるための制御を実行する。
このような動作により、印刷装置１３０によっては、入力した画像データの画内容から、最適構図が得られているとされる画像部分が自動的に抜き出されて、１枚の画として印刷されることになる。
続いては、本実施形態の構図判定を適用した装置、システムについてのより具体的な構成例について説明する。この説明にあたっては、先に図２４、図２５、及び図２６により説明したシステム構成のデジタルスチルカメラ１と雲台１０から成る撮像システムを例に挙げることとする。
先ず、図３６により、デジタルスチルカメラ１についてのより実際的な内部構成例をブロックとして示す。
この図において、先ず、光学系部２１は、例えばズームレンズ、フォーカスレンズなども含む所定枚数の撮像用のレンズ群、絞りなどを備えて成り、入射された光を撮像光としてイメージセンサ２２の受光面に結像させる。
また、光学系部２１においては、上記のズームレンズ、フォーカスレンズ、絞りなどを駆動させるための駆動機構部も備えられているものとされる。これらの駆動機構部は、例えば制御部２７が実行するとされるズーム（画角）の変更制御、自動焦点調整制御、自動露出制御などのいわゆるカメラ制御によりその動作が制御される。
イメージセンサ２２は、上記光学系部２１にて得られる撮像光を電気信号に変換する、いわゆる光電変換を行う。このために、イメージセンサ２２は、光学系部２１からの撮像光を光電変換素子の受光面にて受光し、受光された光の強さに応じて蓄積される信号電荷を、所定タイミングにより順次出力するようにされる。これにより、撮像光に対応した電気信号(撮像信号)が出力される。なお、イメージセンサ２２として採用される光電変換素子（撮像素子）としては、特に限定されるものではないが、現状であれば、例えばＣＭＯＳセンサやＣＣＤ(Charge Coupled Device)などを挙げることができる。また、ＣＭＯＳセンサを採用する場合には、イメージセンサ２２に相当するデバイス(部品)として、次に述べるＡ／Ｄコンバータ２３に相当するアナログ−デジタル変換器も含めた構造とすることができる。
上記イメージセンサ２２から出力される撮像信号は、Ａ／Ｄコンバータ２３に入力されることで、デジタル信号に変換され、信号処理部２４に入力される。
信号処理部２４では、Ａ／Ｄコンバータ２３から出力されるデジタルの撮像信号について、例えば１つの静止画 (フレーム画像)に相当する単位で取り込みを行い、このようにして取り込んだ静止画単位の撮像信号について所要の信号処理を施すことで、１枚の静止画に相当する画像信号データである撮像画像データ（撮像静止画像データ）を生成することができる。
上記のようにして信号処理部２４にて生成した撮像画像データを画像情報として記憶媒体（記憶媒体装置）であるメモリカード４０に記録させる場合には、例えば１つの静止画に対応する撮像画像データを信号処理部２４からエンコード／デコード部２５に対して出力するようにされる。
エンコード／デコード部２５は、信号処理部２４から出力されてくる静止画単位の撮像画像データについて、所定の静止画像圧縮符号化方式により圧縮符号化を実行したうえで、例えば制御部２７の制御に応じてヘッダなどを付加して、所定形式に圧縮された撮像画像データの形式に変換する。そして、このようにして生成した撮像画像データをメディアコントローラ２６に転送する。メディアコントローラ２６は、制御部２７の制御に従って、メモリカード４０に対して、転送されてくる撮像画像データを書き込んで記録させる。この場合のメモリカード４０は、例えば所定規格に従ったカード形式の外形形状を有し、内部には、フラッシュメモリなどの不揮発性の半導体記憶素子を備えた構成を採る記憶媒体である。なお、画像データを記憶させる記憶媒体については、上記メモリカード以外の種別、形式などとされてもよい。
また、本実施形態としての信号処理部２４は、先の説明のようにして取得される撮像画像データを利用して、被写体検出としての画像処理を実行することも可能とされている。本実施形態における被写体検出処理がどのようなものであるのかについては後述する。
また、デジタルスチルカメラ１は信号処理部２４にて得られる撮像画像データを利用して表示部３３により画像表示を実行させることで、現在撮像中の画像であるいわゆるスルー画を表示させることが可能とされる。例えば信号処理部２４においては、先の説明のようにしてＡ／Ｄコンバータ２３から出力される撮像信号を取り込んで１枚の静止画相当の撮像画像データを生成するのであるが、この動作を継続することで、動画におけるフレーム画像に相当する撮像画像データを順次生成していく。そして、このようにして順次生成される撮像画像データを、制御部２７の制御に従って表示ドライバ３２に対して転送する。
表示ドライバ３２では、上記のようにして信号処理部２４から入力されてくる撮像画像データに基づいて表示部３３を駆動するための駆動信号を生成し、表示部３３に対して出力していくようにされる。これにより、表示部３３においては、静止画単位の撮像画像データに基づく画像が順次的に表示されていくことになる。これをユーザが見れば、そのときに撮像しているとされる画像が表示部３３において動画的に表示されることになる。つまり、スルー画が表示される。
また、デジタルスチルカメラ１は、メモリカード４０に記録されている撮像画像データを再生して、その画像を表示部３３に対して表示させることも可能とされる。
このためには、制御部２７が撮像画像データを指定して、メディアコントローラ２６に対してメモリカード４０からのデータ読み出しを命令する。この命令に応答して、メディアコントローラ２６は、指定された撮像画像データが記録されているメモリカード４０上のアドレスにアクセスしてデータ読み出しを実行し、読み出したデータを、エンコード／デコード部２５に対して転送する。
エンコード／デコード部２５は、例えば制御部２７の制御に従って、メディアコントローラ２６から転送されてきた撮像画像データから圧縮静止画データとしての実体データを取り出し、この圧縮静止画データについて、圧縮符号化に対する復号処理を実行して、１つの静止画に対応する撮像画像データを得る。そして、この撮像画像データを表示ドライバ３２に対して転送する。これにより、表示部３３においては、メモリカード４０に記録されている撮像画像データの画像が再生表示されることになる。
また、表示部３３に対しては、上記のモニタ画像や撮像画像データの再生画像などとともに、ユーザインターフェイス画像も表示させることができる。この場合には、例えばそのときの動作状態などに応じて制御部２７が必要なユーザインターフェイス画像としての表示用画像データを生成し、これを表示ドライバ３２に対して出力するようにされる。これにより、表示部３３においてユーザインターフェイス画像が表示されることになる。なお、このユーザインターフェイス画像は、例えば特定のメニュー画面などのようにモニタ画像や撮像画像データの再生画像とは個別に表示部３３の表示画面に表示させることも可能であるし、モニタ画像や撮像画像データの再生画像上の一部において重畳・合成されるようにして表示させることも可能である。
制御部２７は、例えば実際においてはＣＰＵ(Central Processing Unit)を備えて成るもので、ＲＯＭ２８、ＲＡＭ２９などとともにマイクロコンピュータを構成する。ＲＯＭ２８には、例えば制御部２７としてのＣＰＵが実行すべきプログラムの他、デジタルスチルカメラ１の動作に関連した各種の設定情報などが記憶される。ＲＡＭ２９は、ＣＰＵのための主記憶装置とされる。
また、この場合のフラッシュメモリ３０は、例えばユーザ操作や動作履歴などに応じて変更(書き換え)の必要性のある各種の設定情報などを記憶させておくために使用する不揮発性の記憶領域として設けられるものである。なおＲＯＭ２８について、例えばフラッシュメモリなどをはじめとする不揮発性メモリを採用することとした場合には、フラッシュメモリ３０に代えて、このＲＯＭ２８における一部記憶領域を使用することとしてもよい。
操作部３１は、デジタルスチルカメラ１に備えられる各種操作子と、これらの操作子に対して行われた操作に応じた操作情報信号を生成してＣＰＵに出力する操作情報信号出力部位とを一括して示している。制御部２７は、操作部３１から入力される操作情報信号に応じて所定の処理を実行する。これによりユーザ操作に応じたデジタルスチルカメラ１の動作が実行されることになる。
雲台対応通信部３４は、雲台１０側とデジタルスチルカメラ１側との間での所定の通信方式に従った通信を実行する部位であり、例えばデジタルスチルカメラ１が雲台１０に対して取り付けられた状態において、雲台１０側の通信部との間での有線若しくは無線による通信信号の送受信を可能とするための物理層構成と、これより上位となる所定層に対応する通信処理を実現するための構成とを有して成る。
図３７は、雲台１０の構成例をブロック図により示している。
先に述べたように、雲台１０は、パン・チルト機構を備えるものであり、これに対応する部位として、パン機構部５３、パン用モータ５４、チルト機構部５６、チルト用モータ５７を備える。
パン機構部５３は、雲台１０に取り付けられたデジタルスチルカメラ１について、図２５（ａ）に示したパン（横）方向の動きを与えるための機構を有して構成され、この機構の動きは、パン用モータ５４が正逆方向に回転することによって得られる。同様にして、チルト機構部５６は、雲台１０に取り付けられたデジタルスチルカメラ１について、図２５（ｂ）に示したチルト（縦）方向の動きを与えるための機構を有して構成され、この機構の動きは、チルト用モータ５７が正逆方向に回転することによって得られる。
制御部５１は、例えばＣＰＵ、ＲＯＭ、ＲＡＭなどが組み合わされて形成されるマイクロコンピュータを有して成り、上記パン機構部５３、チルト機構部５６の動きをコントロールする。例えば制御部５１がパン機構部５３の動きを制御するときには、パン機構部５３に必要な移動量と移動方向に対応した制御信号をパン用駆動部５５に対して出力する。パン用駆動部５５は、入力される制御信号に対応したモータ駆動信号を生成してパン用モータ５４に出力する。このモータ駆動信号によりパン用モータ５４が、例えば所要の回転方向及び回転角度で回転し、この結果、パン機構部５３も、これに対応した移動量と移動方向により動くようにして駆動される。
同様にして、チルト機構部５６の動きを制御するときには、制御部５１は、チルト機構部５６に必要な移動量と移動方向に対応した制御信号をチルト用駆動部５８に対して出力する。チルト用駆動部５８は、入力される制御信号に対応したモータ駆動信号を生成してチルト用モータ５７に出力する。このモータ駆動信号によりチルト用モータ５７が、例えば所要の回転方向及び回転角度で回転し、この結果、チルト機構部５６も、これに対応した移動量と移動方向により動くようにして駆動される。
通信部５２は、雲台１０に取り付けられたデジタルスチルカメラ１内の雲台対応通信部３４との間で所定の通信方式に従った通信を実行する部位であり、雲台対応通信部３４と同様にして、相手側通信部と有線若しくは無線による通信信号の送受信を可能とするための物理層構成と、これより上位となる所定層に対応する通信処理を実現するための構成とを有して成る。
ここで、図２６に示した撮像システムの構成と、図３６、図３７に示したデジタルスチルカメラ１、雲台１０の構成との対応は、例えば次のようになる。なお、ここで述べる対応は、あくまでも順当に考えられるものの１つとして捉えられるべきものであり、ここで述べる以外の対応の態様も採り得るものである。
図２６のデジタルスチルカメラ１における撮像ブロック６１は、例えば図３６における光学系部２１、イメージセンサ２２、Ａ／Ｄコンバータ２３、及び信号処理部２４において撮像画像データを得るまでの信号処理段から成る部位が対応する。
図２６のデジタルスチルカメラ１における構図判定ブロック６２は、例えば図３６の信号処理部２４における被写体検出（ここでは大人・子供判定などの属性判定処理も含むものとする）、静止検出、被写体選別、マスキングなどを始めとする所要の処理に対応する画像信号処理機能と、制御部（ＣＰＵ）２７が実行するものとされる構図判定に関連する所要の処理機能が対応する。
なお、先にも述べたように、光学系部２１においては、ズームレンズと、これを駆動する駆動機構部を備える。そして、制御部２７は、ズーム制御のために、光学系部２１から、現在のズームレンズの位置を示すズーム位置情報を取り込むようにされている。先の第２、第３の実施形態における被写体選別処理においてズーム倍率値Zを条件式に与える際には、制御部２７が上記のようにして取り込んだズーム位置情報からズーム倍率値Zを求めることができる。
図２６のパン・チルト・ズーム制御処理ブロック６３は、例えば図３６における制御部２７がパン・チルト・ズーム制御のために実行する処理機能が対応する。
図２６のデジタルスチルカメラ１における通信制御処理ブロック６４は、例えば図３６における雲台対応通信部３４と、この雲台対応通信部３４を利用する通信のために制御部２７が実行する処理機能が対応する。
図２６の雲台１０における通信制御ブロック７１は、例えば図３７における通信部５２と、この通信部を利用した通信のために制御部５１が実行する処理が対応する。
図２６のパン・チルト制御処理ブロック７２は、例えば図３７における制御部５１が実行する制御処理のうちで、パン・チルト制御に関する処理の実行機能に対応するもので、入力される制御信号に応じてパン機構部５３、チルト機構部５６の動きをコントロールするための信号をパン用駆動部５５、チルト用駆動部５８に対して出力する。
続いては、これまでに述べてきた実施形態の撮像システム（デジタルスチルカメラ１、雲台１０）による構図判定処理、及び構図合わせの制御（構図制御）についてのより具体的な例について、説明していくこととする。なお、ここで挙げる例は、あくまでも一例である。構図判定のアルゴリズム、制御の実際については多様に考えることができるからである。
先ず、図３８を参照して、被写体検出処理部２０１が実行するとされる被写体検出処理のより具体的な例を挙げておく。なお、ここでは顔検出を基とした被写体検出を行うことを前提とする。
ここで、被写体検出処理部２０１が、図３８（ａ）に示す画内容の撮像画像データを取り込んだとする。この撮像画像データの画内容としては、人としての被写体が１つ存在した画を撮影して得られたものである。また、図３８（ａ）（及び図３８（ｂ））には、１画面をマトリクス状に区切った状態を示しているが、これは、撮像画像データとしての画面が、所定数による水平・垂直画素の集合から成るものであることを模式的に示している。
図３８（ａ）に示す画内容の撮像画像データを対象に被写体検出（顔検出）を行うことによっては、図において示される１つの個別被写体ＳＢＪの顔が検出されることになる。即ち、顔検出処理によって１つの顔が検出されることを以て、ここでは１つの個別被写体が検出されることとしている。そして、このようにして個別被写体を検出した結果としては、個別被写体の数、向き、位置、画像内のサイズの情報を得るようにされる。
個別被写体数に関しては、例えば顔検出により検出された顔の数を求めればよい。図３８（ａ）の場合には、検出される顔が１つであるから、個別被写体数としても１であるとの結果が得られる。
また、個別被写体ごとの位置情報としては、先に述べたように、画枠内の位置情報、また絶対位置情報となるが、これらの位置情報が具体的に示すものとしては、個別被写体ＳＢＪの重心であることとする。
例えば、撮像画像の画枠内における個別被写体ＳＢＪの重心Ｇとしては、先にも述べたように、（X,Y）により表現されることになる。なお、確認のために、この場合の重心Ｇ（X,Y）の基準となる撮像画像データの画面上のX,Y原点座標Ｐ(0,0)は、例えば図３９に示すようにして、画面サイズに対応したX軸方向(水平方向)の幅(水平画サイズ)Cxの中間点と、Y軸方向（垂直方向）の幅(垂直画サイズ)Cyの中間点との交点であることとしている。
また、この重心Ｇについての個別被写体の画像内における位置の定義であるとか、重心Ｇをどのようにして設定するのかについては、例えばこれまでに知られている被写体重心検出方式を採用することができる。
また、個別被写体ごとのサイズについては、例えば顔検出処理により顔部分であるとして特定、検出される部分領域の水平又は垂直方向の画素数を求めればよい。若しくは、水平画素数×垂直画素数に対応した面積相当の数値を求めるようにしてもよい。なお、本実施形態においては、このサイズは、被写体サイズ検出部２０２Ｂとしての機能によって求めるべきものとなる。
また、個別被写体ごとの顔方向に関しては、先にも述べたように、顔検出処理に基づいて、例えば左、右の何れであるのかが検出されることになる。
さらに、例えば顔認識技術などを応用して、検出された顔の特徴量などを求めることにより、大人・子供判定などを行って大人・子供属性情報を得ることも可能になる。
また、図３８（ｂ）に示す撮像画像データを取り込んで被写体検出処理部２０１が被写体検出処理を実行したとされると、先ずは、顔検出により２つの顔の存在することが特定されることになるので、個別被写体数については２であるとの結果が得られることになる。ここでは、２つの個別被写体のうち、左側を個別被写体ＳＢＪ０、右側を個別被写体ＳＢＪ１として識別性を持たせている。また、個別被写体ＳＢＪ０、ＳＢＪ１ごとに求めた重心の座標については、それぞれ、Ｇ0(X0，Y0)、Ｇ1(X1,Y1)として示されている。
また、このようにして、２以上の個別被写体が検出される場合には、これら複数の個別被写体をひとまとまりの被写体（総合被写体）としてみた場合の重心である、総合被写体重心Ｇｔ（Xg,Yg）を求めるようにされる。
この総合被写体重心Ｇｔをどのようにして設定するのかについては、いくつか考えることができるが、ここでは、最も簡易な例として、検出された複数の個別被写体のうちで、画面の左端と右端の両端に位置する個別被写体の重心を結ぶ線分上の中間点を総合被写体重心Ｇｔとして設定した場合を示している。この総合被写体重心Ｇｔは、例えば後述するようにして構図制御において利用することができる情報であり、個別被写体の重心の情報が取得されれば演算により求められる情報である。従って、総合被写体重心Ｇｔについては、被写体検出処理部２０１により求め、これを検出情報として出力することとしてもよいが、構図制御処理ブロック６２が、検出情報として取得した個別被写体の重心の位置を示す情報のうちから、左右両端に位置する個別被写体の重心に関する情報を利用して求めるようにしてもよい。
なお、ほかには例えば、複数の個別被写体のサイズに応じて重み付け係数を与え、この重み付け係数を利用して、例えばサイズの大きな個別被写体に総合被写体重心Ｇｔの位置が近くなるように配慮した設定手法も考えることができる。
また、個別被写体のサイズについては、例えば個別被写体ＳＢＪ０、ＳＢＪ１ごとに、その検出された顔が占有するとされる画素数を求めることとすればよい。
そして、本実施形態としては、上記のようにして検出した個別被写体（検出個別被写体）について、先に説明したようにして、必要被写体と不要被写体（静止被写体）との間での選別を行い、必要被写体として選別したものを、構図判定対象に適う対象個別被写体として設定する。
続いては、図４０〜図４２を参照して、本実施形態における第１例としての構図制御により得られる構図についての説明を行う。
確認のために、ここでの構図制御とは、構図判定処理と、この構図判定処理により判定した最適構図となるように構図合わせを行うための制御処理とを合わせていう。
図４０には、被写体検出処理、被写体選別処理の結果として、撮像画像データの画枠内において、１つの対象個別被写体ＳＢＪｓ０の存在が検出された場合を示している。
なお、例えばこの図に示される画枠内においては、実際には、不要被写体として検出された個別被写体が存在している可能性があるが、ここでは、例えば図を見やすくすることの便宜などを考えて、ここでの不要被写体の図示は省略している。
また、本実施形態にあっては、デジタルスチルカメラ１を取り付けた雲台１０を通常に設置した場合には、横長の画像が撮像されるようにしてデジタルスチルカメラ１の向きが設定される。従って、第１例や後述する第２例の構図制御にあっては、撮像により横長の画像が得られることを前提とする。
上記図４０に示したようにして１つの対象個別被写体が検出された場合には、まず、この対象個別被写体ＳＢＪｓ０の撮像画像データの画像内における占有率が、最適とみなされる所定値となるように対象個別被写体のサイズを変更する。例えば、対象個別被写体が検出された段階において、この対象個別被写体の画像内における占有率が上記の所定値より小さい場合、対象個別被写体の占有率が所定値にまで大きくなるように画角を狭くしていくズーム制御を実行させる。また、対象個別被写体の画像内における占有率が所定値より大きい場合には、対象個別被写体の占有率が所定値にまで小さくなるように画角を広くしていくズーム制御を実行させる。このようなズーム制御により、構図として先ずは、対象個別被写体が１つの場合における被写体サイズが適正となるようにされる。つまり、先ずは構図として、被写体の最適サイズを判定し、この最適サイズとなるようにして構図合わせを行うものである。
次に、対象個別被写体が１つの場合における画面上での被写体の位置(被写体位置)は、次のようにして調整する。
構図判定としてこの被写体位置の判定に関しては、検出された顔方向の情報を利用する。この図４０の場合の対象個別被写体ＳＢＪｓ０は、顔方向が左であるとして検出されているものとする。このとき、この図４０に示される画内容の画面を実際に見たとした場合、これを見る者からは、画面において、対象個別被写体ＳＢＪｓ０の顔が左側を向いているようにして見えることになる。ちなみに、この対象個別被写体ＳＢＪｓ０としての実際の人物自身は、現実には、撮像を行った撮像装置と相対する方向を正面として、これより右側を向いていることになる。
また、この被写体位置調整にあたっては、画像中の原点座標Ｐ(0,0)を通過する垂直線、即ちＹ軸線と一致する直線であって、被写体位置調整の基準線となる画像領域分割線Ｌｄを仮想的に設定する。
そして、この場合のようにして顔方向が左であると検出された場合には、対象個別被写体ＳＢＪｓ０の重心Ｇが、上記画像領域分割線Ｌｄに対応する位置（Ｘ＝０）から、水平オフセット量Δｘで表される右方向への移動量に従って移動させた位置（水平シフト位置）となるのが最適構図であると判定する。そして、この位置に上記重心Ｇを配置させるための構図合わせを行う。このためには、重心Ｇが、上記水平シフト位置にくるようにして、雲台１０のパン機構を駆動させる制御を実行する。
一般に、被写体を画面の中央に位置させた構図は、良くない構図の典型とされている。むしろ、例えば三分割法であるとか黄金率法などに代表されるようにして、或る規則に従って被写体の位置を画面中央からずらした方が、良い構図が得られるものとされている。本実施形態としては、このような構図決定の手法に従い、先ずは、画面水平方向における個別被写体ＳＢＪの位置(重心Ｇ)について、画面中央に対して一定量（水平オフセット量Δｘ）だけ移動させるようにしているものである。
そのうえで、さらに、本実施形態では、図４０に例示するように、対象個別被写体の顔方向が左であれば、その重心Ｇの水平方向における位置について、Ｙ軸線に沿った画像領域分割線Ｌｄにより２分割される左右の画像領域(分割領域)のうちで、顔方向が示す「左」とは反対側の「右」側の画像領域に在るようにさせることで、画面においては、検出被写体ＳＢＪの顔が向いている方向である左側において空間が得られるようにしている。このような構図とすることで、例えば、顔方向が左であるとされる対象個別被写体ＳＢＪｓの重心Ｇを、左右方向における画面中央に対応させた(一致させた)被写体位置とする場合や、画像領域分割線Ｌｄに対して左方向の画像領域とするような場合と比較して、より良好な構図を得ることができる。
本実施形態における水平オフセット量Δｘとしての実値を決定するアルゴリズムについては多様に考えられるが、ここでは、三分割法に基づいて行うものとしている。三分割法は、最も基本的な構図設定手法の１つであり、方形の画面を垂直方向と水平方向のそれぞれに沿って三等分する仮想線上に被写体を位置させることにより良好な構図を得ようとするものである。
例えば、図４０は、水平画枠サイズCxを三等分するようにされた画面縦方向に沿った２本の仮想線のうち、右側の仮想線上において重心Ｇが位置するようにして、水平オフセット量Δｘが設定されているものである。これにより、個別被写体の顔方向に応じた水平方向における被写体位置として最適とされる構図の１つが得られることになるわけである。
また、図示による説明は省略するが、１つの対象個別被写体ＳＢＪｓについて、顔方向について右であることが検出されている場合には、図４０に示される位置に対して、画像領域分割線Ｌｄを基準にして線対称となる水平位置に対象個別被写体ＳＢＪｓの重心Ｇが位置するようにされる。つまり、この場合の水平オフセット量Δｘとしては、図４０の場合の実値の正／負を反転した値が設定され、この水平オフセット量Δｘに基づいたパン制御が行われる。
また、図４１（ａ）のように、２つの対象個別被写体ＳＢＪｓ０、ＳＢＪｓ１の存在が検出された場合には、構図制御として、先ず、対象個別被写体ＳＢＪｓ０、ＳＢＪｓ１の画像部分の集合から成るとされる総合被写体画像部分のサイズ（例えば画面全体に対する被写体画像部分の占有率としても捉えることができる）について、例えば対象個別被写体数が２である場合に対応して最適であるとして設定（判定）された値となるようにして調整(ズーム制御)を行う。
なお、上記の総合被写体画像部分をどのようにして定義してそのサイズを求めるのかについてはいくつか考えられるが、例えば、検出された複数の対象個別被写体ごとの画像部分のサイズを足し合わせるようにして求めることができる。あるいは、検出された複数の個別被写体が全て含まれるようにして仮想的に描いた線により囲まれる画像部分のサイズとして求めることも考えられる。
また、これら２つの対象個別被写体ＳＢＪｓ０、ＳＢＪｓ１についての水平方向における被写体位置に関しては、これら２つの対象個別被写体ＳＢＪｓ０、ＳＢＪｓ１ごとの顔方向の情報を利用する。
この図４１（ａ）に示される２つの対象個別被写体ＳＢＪｓ０、ＳＢＪｓ１の顔方向は、何れも左であると検出されているものとする。つまり、２つある対象個別被写体の全ての顔方向が同一とされており、これらの顔方向がこの場合には左とされているものである。
この場合には、図４０に示した１つの対象個別被写体ＳＢＪｓの顔方向が左であった場合に準じて、画面左側に空間ができるように、対象個別被写体ＳＢＪｓ０、ＳＢＪｓ１から成る総合被写体画像部分を、顔方向が示す「左」とは反対となる、画像領域分割線Ｌｄの右側に寄せて位置させるようにする。つまり、この被写体配置が最適構図であるとしてこの場合には判定されているものである。このためには、例えば図示しているように、右側に所定量ずらすための水平オフセット量Δｘを設定した上で、２つの対象個別被写体ＳＢＪｓ０、ＳＢＪｓ１から成る総合被写体画像部分の重心である、総合被写体重心Ｇｔについて、画像領域分割線Ｌｄである原点座標Ｐ(0,0)を通過する垂直線（Ｙ軸線）から水平オフセット量Δｘだけ移動した位置にくるように、パン制御を行うようにされる。
また、図示はしていないが、２つの対象個別被写体ＳＢＪｓ０、ＳＢＪｓ１の顔方向が何れも右で同一である場合には、図４１（ａ）の位置に対して、画像領域分割線Ｌｄを基準にして線対称となる位置（Ｙ軸線に対して左側の画面領域において同じ水平オフセット量Δｘの絶対値分移動した位置）に総合被写体重心Ｇｔが在る状態を最適構図として判定するので、この状態となるようにしてパン制御を行うことになる。
ただし、このように対象個別被写体が複数である場合において、対象個別被写体数が１の場合のときに最適とされる水平オフセット量Δｘを与えたとすると、右（あるいは左）に寄りすぎた印象の構図となりやすい。そこで、図４１（ａ）に示されるように対象個別被写体数が２の場合においては、水平オフセット量Δｘについては、図４０に示した対象個別被写体数が１の場合よりも小さい値（絶対値）を所定規則によって設定（判定）することとしている。
また、図４１（ｂ）には、２つの対象個別被写体ＳＢＪｓ０、ＳＢＪｓ１について検出された顔方向が、それぞれ左、右となっている場合の例を示している。なお、これは、個別被写体数が２である場合において、それぞれの顔方向が同一ではない場合の一例を示している。
この場合の水平方向における総合被写体画像部分の位置については、図示するようにして、２つの対象個別被写体ＳＢＪｓ０、ＳＢＪｓ１の総合被写体重心Ｇｔが、画像領域分割線Ｌｄ上に位置する状態が最適構図であると判定し、この状態となるようにして調整（パン制御）を行う。
これにより得られる構図では、２つの対象個別被写体ＳＢＪｓ０、ＳＢＪｓ１から成る総合被写体画像部分は、水平方向において画面のほぼ中央に位置することとなる。しかし、被写体が複数とされて、かつ、これらの被写体が同一の方向を向いていないような画の場合、総合被写体画像部分が中央にきたとしても、その構図は相応に良好なものとなる。
また、図４２においては、３つの対象個別被写体ＳＢＪｓ０、ＳＢＪｓ１、ＳＢＪｓ２が検出された場合を示している。
この場合の構図制御としても、先ず、対象個別被写体ＳＢＪｓ０、ＳＢＪｓ１、ＳＢＪｓ２から成る総合被写体画像部分のサイズについて、個別被写体数が３である場合に対応して最適であるとして設定された値となるようにして調整(ズーム制御)を行う。
そのうえで、総合被写体画像部分の水平方向における位置については、この場合にも、各個別被写体ごとに検出された顔方向の情報を利用することになる。図４２においては、３つの対象個別被写体ＳＢＪｓ０、ＳＢＪｓ１、ＳＢＪｓ２の顔方向が全て左で同一であるものとする。
この場合には、図４１（ａ）の場合に準じて、対象個別被写体ＳＢＪｓ０、ＳＢＪｓ１から成る画像領域部分を画像領域分割線Ｌｄよりも右側の画像領域に寄せて位置させるようにして、水平オフセット量Δｘの設定（判定）と、これによって決まる（判定される）所要位置への総合被写体重心Ｇｔの移動のためのパン制御を行うようにされる。また、仮に３つの対象個別被写体ＳＢＪｓ０、ＳＢＪｓ１、ＳＢＪｓ２の顔方向が全て右で同一である場合には、総合被写体重心Ｇｔは、図４２の位置に対して、画像領域分割線Ｌｄを基準にして線対称となる水平位置に在るようにしてパン制御が行われることになる。
また、このときに設定される水平オフセット量Δｘは、図４１（ａ）の対象個別被写体が２つの場合よりも、小さな絶対値を設定するようにされる。これにより、例えば対象個別被写体数が３とされる場合に応じて、水平方向における被写体位置はより最適となって、良好な構図が得られることになる。
また、この第１例の構図制御にあって、３つの対象個別被写体ＳＢＪｓ０、ＳＢＪｓ１、ＳＢＪｓ２の顔方向が全て同一ではなかった場合には、図４１（ｂ）に準じて、画像領域分割線Ｌｄ（Ｙ軸線）上に総合被写体重心Ｇｔが位置する構図が得られるようにする。
これまでの説明によると第１例の構図制御による水平方向の位置調整は、先ず、対象個別被写体ごとに検出される顔方向に対応させていることが分かる。つまり、最も基本的な制御として、対象個別被写体数が１の場合には、その対象個別被写体で検出された顔方向が左、右の何れであるのかに対応して、その重心Ｇ（総合被写体重心Ｇｔ）について、画像領域分割線Ｌｄ（Ｙ軸線）の右側領域、あるいは左側領域に対して所定量だけずらして位置させる（重心Ｇの水平オフセットを行う）ようにして、画像内では被写体の向いているほうに空間ができるようにしている。
そして、構図制御として、対象個別被写体数が複数（２以上）の場合には、対象個別被写体の顔方向が全て同一ならば、上記の位置調整に倣い、総合被写体重心Ｇｔの水平オフセットを行うようにされ、全て同一でないならば、水平オフセットを行うことなく、総合被写体重心Ｇｔには画像領域分割線Ｌｄに対応したX座標を与えて、総合被写体画像部分が画面（画枠）内のほぼ中央に在るようにする。
そのうえで、総合被写体重心Ｇｔ（重心Ｇは個別被写体数が１の場合の総合被写体重心Ｇｔとみなす）の水平オフセットを行うのにあたっては、図４０〜図４２により述べたようにして、水平オフセット量Δｘを、対象個別被写体数に応じて変更するものとしている。これにより、画面における総合被写体画像部分の水平方向に沿った位置について、対象個別被写体数に応じた最適な位置が得られるように配慮している。
図４３は、上記図４０〜図４２により説明した第１例としての構図制御に対応して、構図判定ブロック６２、パン・チルト・ズーム制御ブロック６３が実行するものとされる手順例を示している。なお、この図に示される手順は、図２９、図３２、図３４に示したいずれの構成にも適用できる。
また、この図に示す処理は、ＤＳＰとしての信号処理部２４、制御部２７におけるＣＰＵがプログラムを実行することで実現されるものとしてみることができる。
また、以降のフローチャートの説明においては、これまでに使用してきた「総合被写体重心（Ｇｔ）」、及び「総合被写体画像部分」の語句は、検出されている個別被写体数が２以上の場合のみに適用するのではなく、１の場合にも適用する。つまり、例えば図４０に示した重心Ｇが、検出されている個別被写体数が１の場合の個別被写体重心Ｇｔとなるものであり、また、図４０の個別被写体ＳＢＪのみからなる画像部分が、検出されている個別被写体数が１の場合の総合被写体画像部分となる。
先ず、ステップＳ１１０１〜ステップＳ１１０６までは、被写体を探索して検出するための手順、及び被写体選別するための手順となり、主に被写体検出処理部２０１が実行するものとされる。
ステップＳ１１０１では、イメージセンサ２２からの撮像信号に基づいた撮像画像データを取り込んで取得する。ステップＳ１１０２では、上記ステップＳ１１０１により取得した撮像画像データを利用して被写体検出処理、及び被写体選別処理を実行する。ここでの被写体検出処理は、これまでの説明のようにして、被写体検出処理部２０１が実行するものとなる。また、ここでの被写体検出処理では、先にも述べたように、検出個別被写体ごとの顔方向についても検出して、その情報を得るようにされている。また、被写体選別処理は、これまでの説明に従って被写体選別処理部２１１が実行するものとなる。
ステップＳ１１０３では、上記ステップＳ１１０２による被写体検出処理、被写体選別処理の結果として、構図判定対象となる必要被写体の存在、即ち対象個別被写体が存在しているか（選別されたか）否かについての判別を行う。ここで対象個別被写体の存在が検出されなかった（選別された対象個別被写体数が０である）として否定の判別結果が得られた場合には、ステップＳ１１０４に進み、被写体探索時に応じた所定の画角（水平・垂直画角）にまで広くするためのズームレンズの移動制御（ズームアウト制御）を実行する。このようにして画角を広くすることで、より広い範囲が撮像されることになるので、それだけ被写体を補足しやすくなる。また、これとともに、ステップＳ１１０５により、被写体探索のために雲台１０のパン・チルト機構を動かすための制御（パン・チルト制御）を実行する。このときには、被写体検出処理部２０１がパン・チルト制御のための制御信号を通信制御処理ブロック６４に渡し、雲台１０の通信部５２に対して送信されるようにして制御を行う。
なお、上記被写体探索のためのパン・チルト制御として、雲台１０のパン・チルト機構をどのようなパターンで動かすのかについては、例えば探索が効率的に行われることを配慮して決めることとすればよい。
また、ステップＳ１１０６においては、モードフラグｆについて０を設定（ｆ＝０）し、ステップＳ１１０１に戻るようにされる。
このようにして、撮像画像データの画内容において少なくとも１つの個別被写体が検出されるまでは、ステップＳ１１０１〜ステップＳ１１０６の手順が繰り返される。このとき、デジタルスチルカメラ１と雲台１０から成るシステムは、被写体探索のために、デジタルスチルカメラ１がパン方向及びチルト方向に動かされている状態となっている。
そして、ステップＳ１１０３において対象個別被写体が存在しているとして肯定の判別結果が得られたとされると、ステップＳ１１０７以降の手順に進む。
ステップＳ１１０７においては、現在のモードフラグｆに設定されている値が何であるのかを判別する。
ｆ==0であると判別された場合には、構図制御として、最初のラフな被写体捕捉モードを実行すべき場合であることを示すものであり、図のようにしてステップＳ１１０８から始まる手順を実行する。
ステップＳ１１０８においては、総合被写体重心Ｇｔが、撮像画像データの画面（撮像画像データの画内容を表したとするときに得られる画面）における原点座標Ｐ(0,0)(図３９参照)に位置しているか否かについての判別を行う。ここで、総合被写体重心Ｇｔは、未だ原点座標に位置していないとして否定の判別結果が得られた場合には、ステップＳ１１０９により、総合被写体重心Ｇｔが原点座標に位置するようにして、雲台１０のパン・チルト機構を動かすための制御を実行し、ステップＳ１１０１に戻る。このようにして、個別被写体の存在が検出されている状態での最初の構図制御の手順である捕捉モードは、総合被写体重心Ｇｔを、先ずは初期の基準位置である原点座標に対して位置させるようにして雲台１０のパン・チルト機構を制御することで、検出された対象個別被写体が写っているとされる画像領域を画面内の中央に位置させようとするものである。
なお、上記ステップＳ１１０９としてのパン・チルト制御を実際に行うのにあたってのアルゴリズムの一例をここで示しておく。
モードフラグｆ==0の状態で個別被写体が検出される状態では、被写体検出処理部２０１は、下記の（数１）により示される演算を行って、パン方向における必要移動量Ｓpanとチルト方向における必要移動量Stiltを求めるようにされる。下記の（数１）において、ｎは選別された対象対象個別被写体数を示し、Ｐ（Xi，Yi）は０番からｎ−１番までの番号が与えられた対象個別被写体のうちのｉ番目の対象個別被写体の重心のX,Y座標を示す。確認のために、図３９に示したように、この場合における原点座標(0,0)は、画面における水平方向における中点と垂直方向における中点との交点となる。
Figure 2009267787
例えばステップＳ１１０８では、上記のようにして求められる必要移動量Span,Stiltの絶対値が所定値(厳密には０となるが、０より大きな値とされてもよい)以内であるか否かを判別することを以て、総合被写体重心Ｇｔが原点座標Ｐに在るか否かと同等の判別を行うことができる。そして、ステップＳ１１０９においては、必要移動量Span,Stiltの絶対値が所定値以内となるようにしてパン・チルト制御を実行するようにされる。なお、このときのパン・チルト制御に際してのパン機構部５３、チルト機構部５６の速度は一定としても良いのであるが、例えば、必要移動量Span,Stiltが大きくなるのに応じて速度を高くしていくなどして可変させることが考えられる。このようにすれば、パンニングあるいはチルティングによる必要移動量が大きくなったときも、比較的短時間で総合被写体重心Ｇｔを原点座標に近づけることが可能になる。
そして、ステップＳ１１０８において、総合被写体重心Ｇｔが原点座標に位置したとして肯定の判別結果が得られたとされると、ステップＳ１１１０によりモードフラグｆについて１を設定（ｆ＝１）してステップＳ１１０１に戻る。このステップＳ１１１０によりモードフラグｆについて１が設定された状態は、構図制御における最初の手順である捕捉モードは完了し、次の第１の構図の調整制御(構図調整モード)を実行すべき状態であることを示す。
そして、モードフラグｆ==1とされて第１の構図調整モードを実行すべき場合には、ステップＳ１１０７からステップＳ１１１１に進むことになる。第１の構図調整モードは、検出された個別被写体数と個別被写体ごとの顔方向の組み合わせに応じた最適構図を得るためズーム(画角)調整とパン制御を行うものである。なお、画角調整とパン制御によっては画面（画枠）内における個別被写体のサイズや個別被写体の位置が変化する結果を生じる。
ステップＳ１１１１においては、現在において設定されている対象個別被写体数がいくつであるかを判別し、１であればステップＳ１１１２から始まる手順を実行する。
ステップＳ１１１２においては、検出されている対象個別被写体数が１であることに対応した目標被写体サイズを設定する。ここでの目標被写体サイズとは、画面における総合被写体画像部分のサイズとして構図的に最適であるとみなされるものをいい、例えば図４０との対応では、「（１つの）対象個別被写体ＳＢＪｓ０の撮像画像データの画面内における占有率が、最適とみなされる所定の範囲値」に相当する。
ステップＳ１１１３においては、対象個別被写体のサイズがＯＫであるか否かについて判別する。対象個別被写体のサイズがＯＫである状態とは、そのときに検出されている対象個別被写体のサイズが、上記ステップＳ１１１２により設定された目標被写体サイズとなっている状態である。ステップＳ１１１３において否定の判別結果が得られた場合には、ステップＳ１１１４に進み、対象個別被写体のサイズが目標被写体サイズとなるようにズームレンズの駆動制御（ズーム制御）を実行し、ステップＳ１１０１に戻る。
なお、このときには、総合被写体重心Ｇｔの水平方向（左右方向）における位置に関しては、ステップＳ１１０９にて設定されたＸ座標（X=０）に対応する位置を維持するようにしてズーム制御を行うようにされる。これにより、対象個別被写体を左右方向においてほぼ中央に位置させた状態を維持することができる。また、被写体探索動作の実行時においては、ステップＳ１１０４によりズームアウト制御が行われるので、ステップＳ１１１４としてのズーム制御に際してはズームイン制御となる場合が多いと考えられる。しかし、何らかの原因で、そのときに検出された個別被写体のサイズが、目標被写体サイズよりも大きくなっている状態に応じてステップＳ１１１３にて否定の判別結果が得られた場合、ステップＳ１１１４ではズームアウトを実行させて、実際の対象個別被写体のサイズが目標被写体サイズとなるように制御することになる。
そして、ステップＳ１１１３において肯定の判別結果が得られたのであればステップＳ１１１５以降の手順に進むようにされる。
ステップＳ１１１５においては、水平オフセット量Δｘを設定する。
ここで、本実施形態における第１例の構図制御にあっては、水平オフセット量Δｘについては、下記の（式４）により求めるものとする。
θｘ＝Ｄ×（Ｃｘ／６）／ｎ・・・（式４）
上記（式４）において、Ｄは、顔方向若しくは複数の顔方向の組み合わせ（関係性）に基づいて、＋１、−１、０のいずれかが設定される係数である。Ｃｘは、水平画サイズを示す。Ｃｘ／６の項は、三分割法に基づいて得られる縦方向に沿った仮想線のX座標に対応したものである。ｎは、選別（設定）されている対象個別被写体数を示す。
ステップＳ１１１５に至った場合、検出されている対象個別被写体数は１であるので、ｎ＝１とになる。また、顔方向は、左か右の何れか一方となる。係数Ｄは、顔方向が左である場合には＋１となり、右である場合には−１となる。
すると、選別された１つの対象個別被写体の顔方向が左である場合には、θｘ＝−Ｃｘ／６となる。この水平オフセット量Δｘは、原点座標P(0,0)を通過する垂直線（画像領域分割線Ｌｄ：Ｙ軸線）から、Ｃｘ／６だけ右に移動した垂直線の位置を示すことになるが、この垂直線の位置は、ちょうど、三分割法に従った２本の仮想線のうち、右側にある仮想線と同じになる。
一方、選別された１つの対象個別被写体の顔方向が右である場合には、水平オフセット量Δｘ＝Ｃｘ／６となり、原点座標P(0,0)を通過する垂直線（画像領域分割線Ｌｄ：Ｙ軸線）から、Ｃｘ／６だけ左に移動した垂直線の位置を示すことになる。そして、この垂直線の位置は、ちょうど、三分割法に従った2本の仮想線のうち、左側にある仮想線と同じになる。
ステップＳ１１１６においては、総合被写体重心Ｇｔ（この場合には、対象個別被写体数が１なので、図４０の重心Ｇと総合被写体重心Ｇｔは同じになる）が、上記ステップＳ１１１５により設定された水平オフセット量Δｘに対応するX座標上に位置しているか否かの判別処理を行う。ここで否定の判別結果が得られた場合には、ステップＳ１１１７に進む。
ステップＳ１１１７では、水平オフセット量Δｘに対応するX座標上に総合被写体重心Ｇｔが位置する状態となるようにパン制御を実行し、ステップＳ１１０１に戻る。
そして、上記ステップＳ１１１７の制御により、水平オフセット量Δｘに対応するX座標上に総合被写体重心Ｇｔが位置する状態に至ったとされると、ステップＳ１１１６にて肯定の判別結果が得られることになる。このようにしてステップＳ１１１６にて肯定の判別結果が得られたときには、対象個別被写体（ＳＢＪ）の重心は、図４０により示したようにして、その顔方向に応じて、画像領域分割線Ｌｄから水平オフセット量Δｘだけ左又は右に移動した位置にあることになる。
ステップＳ１１１６において肯定の判別結果が得られた場合には、ステップＳ１１１８に進み、モードフラグｆについて２を設定してステップＳ１１０１に戻る。このモードフラグｆ==２となっている状態は、後の説明からも理解されるように、第１の構図調整が完了して、次の第２の構図調整モードを実行したうえでレリーズ動作を実行すべきであることを示す。
また、ステップＳ１１１１において、検出されている対象個別被写体数が２以上であると判別した場合には、ステップＳ１１１９から始まる手順を実行する。
ステップＳ１１１９においては、目標被写体サイズを設定する処理を行う。対象個別被写体数が２以上とされる場合、最適構図を得るための目標被写体サイズは、例えば対象個別被写体数に応じて異なってくるものとされる。そこで、ステップＳ１１１９においては、ステップＳ１１０２において検出された個別被写体数に応じた所定の目標被写体サイズを設定する。また、確認のために述べておくと、対象個別被写体数が２以上の場合の目標被写体サイズは、検出されている全ての個別被写体から成る総合被写体画像部分を対象としたものとなる。
ステップＳ１１２０においては、対象個別被写体のサイズがＯＫであるか否かについて判別する。つまり、このときの対象個別被写体についての検出情報から求められる総合被写体画像部分のサイズが、上記ステップＳ１１２０により設定された目標被写体サイズとなっているか否かについて判別する。
ステップＳ１１２０において否定の判別結果が得られた場合には、ステップＳ１１２１に進む。ステップＳ１１２１においては、ステップＳ１１１４に準じて、このとき検出されている対象個別被写体の総合被写体画像部分のサイズが、ステップＳ１１１９により設定された目標被写体サイズとなるようにズームレンズの駆動制御（ズーム制御）を実行し、ステップＳ１１０１に戻る。
これに対して、ステップＳ１１２０において肯定の判別結果が得られた場合には、ステップＳ１１２２に進む。
ステップＳ１１２２では、複数の対象個別被写体ごとに検出された顔方向について、これらが全て同一であるか否かの判別処理を行う。
先ず、ステップＳ１１２２において肯定の判別結果が得られた場合には、ステップＳ１１２３以降の手順を実行する。ステップＳ１１２３においては、先に述べた(式４)により水平オフセット量Δｘを設定する。
この場合には、(式４)における係数Ｄには、検出されている同一の顔方向が、左、右の何れを示しているのかに応じて、＋１と−１のいずれかが代入される。また、ｎには、検出されている対象個別被写体数に応じた２以上の数が代入されることになる。このことからも理解されるように、(式４)によっては、対象個別被写体数が多くなるのに応じて、求められるθｘの絶対値は小さくなる。つまり、図４０、図４１（ａ）、図４２によっても説明したように、対象個別被写体数が多くなるのに応じて、総合被写体画像部分の左右における画像領域分割線Ｌｄからのオフセット量は少なくなっていくようにされる。
これに対して、ステップＳ１１２２において、否定の判別結果が得られた場合には、ステップＳ１１２４により、水平オフセット量Δｘ＝０を設定する。
なお、このステップＳ１１２４の処理にあっても、(式４)による演算を行うことで、θｘ＝０を設定することができる。つまり、ステップＳ１１２２にて否定の判別結果が得られた場合（即ち複数の顔方向が同一でない場合）には、ステップＳ１１２４にて、係数Ｄについて０を代入して(式４)の演算を行うようにアルゴリズムを構成するものである。
ステップＳ１１２３、又はステップＳ１１２４の手順を実行した後は、ステップＳ１１２５以降の手順に進む。
ステップＳ１１２５、Ｓ１１２６、Ｓ１１２７では、先に説明したステップＳ１１１６、Ｓ１１１７、Ｓ１１１８と同様にして、総合被写体重心Ｇｔが、ステップＳ１１２３又はステップＳ１１２４により設定された水平オフセット量Δｘに対応するX座標上に位置する状態に至るまでパン制御を実行する。この制御により、複数の対象個別被写体の顔方向が同一である場合には、その数に応じた水平オフセット量Δｘ分だけ、左又は右方向に総合被写体画像部分（総合被写体重心Ｇｔ）が移動された状態が得られていることになる。この状態に至ると、ステップＳ１１２５にて肯定の判別結果が得られることとなって、ステップＳ１１２７によりモードフラグｆについて２を設定し、ステップＳ１１０１に戻る。
このようにして、モードフラグｆについて２が設定された状態では、構図制御として、図４０〜図４２により説明した、対象個別被写体数に応じたサイズ調整と、これらの対象個別被写体ごとの顔方向若しくはその組み合わせに応じた水平方向における位置調整までの手順が完了した状態であることになる。そこで、ステップＳ１１０７にてモードフラグｆが２であると判別された場合には、ステップＳ１１２８以降の手順により、第２の構図調整モードを実行する。
例えば、図４０〜図４２での構図制御の説明にあっては、その説明を簡単なものとするために、画面上下方向における対象個別被写体の重心の位置をどのようにして設定するのかについては言及していないが、実際においては、画面の中央から例えば或る必要量だけ上方向に移動（オフセット）させたほうが、より良い構図となる場合がある。そこで、本実施形態の構図制御の実際としては、最適構図としてより良好なものが得られるようにして総合被写体重心Ｇｔの縦（垂直）方向のオフセット量も設定することとしている。このための手順が、第２の構図調整モードとなるものであり、ステップＳ１１２８及び次に説明するステップＳ１１２９として実行される。
ステップＳ１１２８では、総合被写体重心Ｇｔ（対象個別被写体が１つの場合はその対象個別被写体の重心Ｇとなる）の位置について、画面上の原点座標Pを通過する水平直線（Ｘ軸）から所定の垂直オフセット量Δｙだけオフセットしている状態にあるか否か（重心オフセットがＯＫであるか否か）を判別する。
ステップＳ１１２８にて否定の判別結果が得られた場合には、ステップＳ１１２９により、設定された垂直オフセット量Δyだけ重心がオフセットされるようにして、雲台１０のチルト機構が動くようにチルト制御を実行し、ステップＳ１１０１に戻る。そして、ステップＳ１１２８において肯定の判別結果が得られた段階では、総合被写体画像部分の水平方向における位置と、垂直方向における位置との双方について、最適構図に対応したものが得られている、さらに、総合被写体画像部分のサイズも最適構図に対応したものが得られていることになる。即ち、最適構図が得られている状態となる。
なお、このステップＳ１１２８、Ｓ１１２９に対応した垂直オフセット量Δyの実値をどのようにして設定するのかについては、いくつかの手法が考えられることから、ここでは特に限定されるべきものではない。最も簡単な設定の１つとしては、例えば三分割法に基づいて、縦方向における中心位置から、垂直画サイズCyの1/6に相当する長さの値を与えることが考えられる。もちろん、例えば対象個別被写体数であるとか、顔方向及びその組み合わせに応じた異なる値を所定の規則に従って設定するように構成することも考えられる。
そして、ステップＳ１１２８により肯定の判別結果が得られた場合には、ステップＳ１１３０から始まる、レリーズ動作に対応した処理手順を実行する。ここでのレリーズ動作とは、これまでにも述べてきているように、そのときに得られている撮像画像データを、静止画像データとして記憶媒体（メモリカード４０）に記憶させるための動作をいう。つまり、手動によるシャッター操作を行っている場合では、このシャッター操作に応答して、そのときに得られていた撮像画像データを静止画像データとして記憶媒体に対して記録する動作にあたる。
ステップＳ１１３０においては、現在においてレリーズ動作を実行可能な条件を満たしているか否かを判別する。条件としては例えば、合焦状態にあること（オートフォーカス制御が有効に設定されている場合）、雲台１０のパン・チルト機構が停止状態にあること、などを挙げることができる。
上記ステップＳ１１３０で否定の判別結果が得られた場合には、処理をステップＳ１１０１へ戻す。これにより、レリーズ動作を実行できる条件が満たされる状態となるのを待機することができる。そして、ステップＳ１１３０において肯定の判別結果が得られると、ステップＳ１１３１によりレリーズ動作を実行する。このようにして、本実施形態では、最適構図の撮像画像データを記録することができる。
レリーズ動作が終了したとされると、ステップＳ１１３２により所要のパラメータについて初期設定を行う。この処理により、モードフラグｆについては初期値の０が設定される。また、ズームレンズの位置も、予め設定された初期位置に戻される。
そして、ステップＳ１１３２の処理を実行した後は処理をステップＳ１１０１へ戻す。このようにして処理をステップＳ１１３２からステップＳ１１０１へ戻すことにより、被写体を探索し、この探索により検出されることとなった対象個別被写体の向いている方向と対象個別被写体数に応じた最適構図を得て撮像記録（レリーズ動作）を行うという動作が、自動的に繰り返し実行されることになる。
なお、上記図４３の場合におけるレリーズ動作は、撮像画像から静止画像を記録媒体に記録する動作となるものであるが、本実施形態におけるレリーズ動作は、より広義には、上記の静止画像を記録媒体に記録することを含め、例えば撮像画像から必要な静止画像データを取得することを指す。従って、例えば本実施形態のデジタルスチルカメラ１により、データインターフェースなどを経由して他の記録装置などに伝送するために、撮像画像から静止画像データを取得するような動作も、レリーズ動作となるものである。
これまでに述べた図４３の手順では、先ず、ステップＳ１１０８、Ｓ１１０９により、先の（数１）で求められる必要移動量Span,Stiltに基づいて、１以上の対象個別被写体の総合被写体重心Ｇｔを画面における原点座標Ｐに位置させるという、捕捉のためのパン・チルト制御を行うこととしている。そして、次の段階として、対象個別被写体数、及び対象個別被写体ごとに検出される顔方向の関係性（同一であるか否か）に基づき、水平オフセット量Δｘを求め、総合被写体重心Ｇｔについて、原点座標Ｐを通過する垂直線（画像領域分割線Ｌｄ：Ｙ軸線）を基準に、水平オフセット量Δｘに対応する距離だけ、左若しくは右方向に移動させるためのパン制御を行う。さらに、設定された垂直オフセット量Δｙが示す移動量に基づいて、総合被写体重心Ｇｔについて、原点座標Ｐを通過する水平直線（Ｘ軸）を基準に、垂直オフセット量Δｙに対応する距離だけ、上方向（若しくは下方向）に移動させるためのチルト制御を行う。
このことからすると、図４３の手順におけるパン・チルト制御は、
Figure 2009267787
 により必要移動量Span,Stiltを求めたうえで、必要移動量Spanに対応した画面内での移動量を得るためのパン機構の制御と、必要移動量Stiltに対応した画面内での移動量を得るためのチルト機構の制御とを行っているものである、ということがいえる。
続いては、本実施形態における第２例としての構図制御について説明する。
第２例の構図制御に対応する事例として、図４４には、３つの対象個別被写体ＳＢＪｓ０、ＳＢＪｓ１、ＳＢＪｓ２が選別された状態を示している。これらの対象個別被写体のうち、対象個別被写体ＳＢＪｓ０、ＳＢＪｓ２について検出されている顔方向は左であるのに対して、対象個別被写体ＳＢＪｓ１について検出されている顔方向は右であるものとする。この場合、全ての対象個別被写体の顔方向が同一にはなっていないので、第１の構図制御の場合であれば、図４１（ｂ）などで説明したように、総合被写体重心Ｇｔは、原点座標Ｐを通過する垂直線（画像領域分割線Ｌｄ：Ｙ軸線）上に在るように構図が設定される。
しかし、３つの対象個別被写体のうちで、例えば過半数を占める２つの対象個別被写体ＳＢＪｓ０、ＳＢＪｓ２が同じ方向を向いている（顔方向が同一である）ということは、残る１つの対象個別被写体ＳＢＪｓ１の顔方向に対応して向いているとする反対方向よりも、これら２つの対象個別被写体ＳＢＪｓ０、ＳＢＪｓ２が向いているとする先に、何かしら重要性の高いものが存在している可能性が高いということがいえる。このような考え方に基づけば、これら２つの対象個別被写体ＳＢＪｓ０、ＳＢＪｓ２の顔方向が示す先の画面領域に空間を設けることのほうが良い構図となる可能性が高いといえる。この場合であれば、２つの対象個別被写体ＳＢＪｓ０、ＳＢＪｓ２の顔方向が左であるとして検出されているので、画面において、３つの対象個別被写体ＳＢＪｓ０、ＳＢＪｓ１、ＳＢＪｓ２から成る総合被写体画像部分を画像領域分割線Ｌｄよりも右側の画像領域に寄せて良い構図を得ようとするものである。
そこで、第２例の構図制御としては、複数の個別被写体ごとに検出される顔方向の関係性として、同一となる顔方向の数が、対象個別被写体の全体数における所定割合以上を占めるときには、この同一となる顔方向を基準顔方向とする。この基準顔方向は、例えば複数の対象個別被写体群の総体を１つの対象個別被写体としてみた場合において、画面内にて向いているとする方向を指すものといえる。そして、この基準顔方向に基づいて、水平オフセット量Δｘを求めて設定するようにされる。このような構図制御により、図４４の場合には、原点座標Ｐを通過する垂直線よりも右側に総合被写体重心Ｇｔが位置するようにして構図が設定されることになる。
また、ここでは図示しないが、上記の所定割合以上を占めるだけの、同一の顔方向数が得られていない状態、即ち上記の基準顔方向が決定できなかった場合、本実施形態としては、総合被写体画像部分が左右方向においてほぼ中央に位置する構図を設定することのほうが好ましいとの考えにたつものとする。そこで、この場合には、水平オフセット量Δｘについては０を設定することとする。
図４５は、上記した第２例の構図制御に対応して図５に示した被写体検出処理部２０１、構図制御処理ブロック６２、及び通信制御処理ブロック６４が実行するものとされる手順例を示している。
この図４５に示される手順のうちで、ステップＳ１２２１−１、Ｓ１２２２−２を除くステップＳ１２０１〜Ｓ１２３２までの手順は、図４３におけるステップＳ１１０１〜Ｓ１１３２までの手順と、それぞれ同じとなる。
そして、ステップＳ１２２１−１とこれに続くステップＳ１２２２−２は、ステップＳ１２２２において否定の判別結果が得られた場合において実行すべき手順として挿入されている。つまり、ステップＳ１２２２−１、Ｓ１２２２−２は、対象個別被写体数が複数の場合であって、先ずは、総合被写体画像部分のサイズ調整が完了した段階において、これらの個別被写体の顔方向の関係性として、全ての顔方向が同一ではなかった場合に実行されるものである。
ステップＳ１２２２−１では、基準顔方向を決定するための処理を実行する。
このためには、例えば、先にも述べたように、検出されている複数の対象個別被写体ごとの顔方向の関係性として、同一の顔方向を持つ対象個別被写体の組のうちで、その組を成す対象個別被写体数が、全ての対象個別被写体数における所定割合以上を示すものがあるかどうかについて判断し、このような対象個別被写体の組があれば、この組の対象個別被写体の顔方向を、有効な基準顔方向として決定するようにされる。また、このような対象個別被写体の組が無ければ、基準顔方向も無いものとする決定を行うようにされる。
なお、上記の所定割合について、実際にどのような値を設定するのかについては、実際における対象個別被写体数及び対象個別被写体ごとの顔方向の関係性との対応で、どのような構図が適当となるのかを考慮したうえで、適宜決定されて良い。また、この所定割合としての値は、基本的には固定の１つの値が設定されればよいが、例えば、決定された対象個別被写体数などに応じて、異なる所定値が設定されるようにされてもよい。
さらに、基準顔方向決定処理のためのアルゴリズムとしては、上記以外にも考えることができる。例えば、全ての対象個別被写体数における割合は考慮せずに、単に、同一の顔方向を持つ対象個別被写体の組のうちで、対象個別被写体数が最多の組の顔方向を、有効な基準顔方向として決定するような処理も考えることができる。この場合には、例えば同一の顔方向を持つ各組を成す対象個別被写体数が同じであるようなときに、基準顔方向は無いものとしての決定が行われることになる。
ステップＳ１２２２−２においては、上記ステップＳ１２２２−１の顔方向決定処理の結果として、有効な基準顔方向が決定されたか否かについての判別を行う。
ここで、肯定の判別結果が得られた場合には、ステップＳ１２２３に進む。この場合のステップＳ１２２３においては、ステップＳ１２２２−１にて決定された基準顔方向に基づいて係数Ｄを決定して、水平オフセット量Δｘを求めて設定する。
一方、ステップＳ１２２２−２において否定の判別結果が得られた場合には、先のステップＳ１２２２−１にて、左若しくは右を示す有効な基準顔方向を決定することができなかったことになる。そこで、この場合には、ステップＳ１２２４に進むことで、水平オフセット量Δｘについては０を設定する。このようにして、ステップＳ１２２２−１、Ｓ１２２２−２を挿入することで、図４４により説明したような第２例の構図制御が実現されることになるものである。
なお、先の図４３及び上記図４５に示される手順では、構図判定の処理としてみることのできる手順と、その判定結果に応じた構図合わせの制御（構図制御）のための手順が入り組んだものになっており、また、ステップによっては、構図判定と構図合わせの制御とを同時的に行っているようなものもあるが、これは、図４３及び図４５に示す手順が、実際に応じた具体的なものとされていることによる。あくまでも実施形態の基本的な概念は、これまでに説明してきた構図判定ブロック２００、あるいは構図判定ブロック６２などに示した構図判定の構成を適用したものとして捉えられるべきものである。つまり、実施形態の撮像システムでは、対象個別被写体の数に応じて最適とみなされる構図を判定、決定し、この判定した構図の撮像画像データが実際に得られる（反映される）ようにして、ズーム制御、及びパン・チルト制御を適宜実行しているものであるとみることができる。
また、図３８以降により説明した構図判定、構図制御の具体例にあっては、顔方向の検出は、左、右の２段階による検出であることを前提としていたが、実際においては、例えば左、右に加えて、正面もあるようにして顔方向検出処理を構成する場合もあると考えられる。この場合にも、本願発明に基づいた構図制御は有効に適用できる。
例えば図４０のようにして１つの対象個別被写体が検出された場合において、さらに顔方向については正面であることが検出された場合であるが、１つには、水平方向における被写体位置を、画面のほぼ中央に位置させる（重心Ｇがほぼ画像領域分割線Ｌｄ（Ｙ軸線）上に在るようにする）ことが考えられる。しかし、このような構図は、良くない構図の代表的なものとされることが多い。そこで、検出される個別被写体が１つである場合において、顔方向が正面の場合には、図４０と同様の構図、若しくは、図４０の構図に対して画像領域分割線Ｌｄを基準に線対称となるような構図とするようにして水平オフセット量Δｘを決定することも考えられる。このようにすれば、三分割法に則った良好な構図が得られる。
また、２以上の対象個別被写体が検出されている場合に、例えば全ての対象個別被写体の顔方向が正面を示している、あるいは基準顔方向が正面である場合には、(式４)の係数Ｄを０に設定したうえでの水平オフセット量θを求めるようにして構成することが考えられる。
また、顔方向として上下方向についても検出可能とされている場合には、この上下方向における顔方向の検出結果に応じて、本願発明に基づいた構図制御を行うことも可能である。この場合には、水平方向に沿った画像領域分割線Ｌｄ（例えば原点座標を通過する水平方向の線（Ｘ軸線）とすることができる）を基準にして、上下方向での総合被写体重心Ｇｔの移動を行うことになる。
さらに、顔方向について、左右方向と上下方向とを合成した斜め方向の検出も可能とされているときには、この斜め方向が検出された顔方向に応じた構図制御も行うことが可能である。この場合には、検出された斜めの顔方向に直交して画面を横切る線（（例えば原点座標を通過する線）を画像領域分割線Ｌｄとして設定し、この画像領域分割線Ｌｄにより分割された画像領域の何れか一方の側に総合被写体重心Ｇｔを移動させるようにすることが考えられる。
さらに、例えば、顔方向について、左右方向（あるいは上下方向）において、例えば２段階、若しくは３段階よりも多い段階により、向きの検出を行えるようにされている場合には、このようにして検出された向きの段階（度合い）に応じて水平オフセット量Δｘ（若しくは垂直オフセット量Δｙ）を可変するようなアルゴリズムを採用することが考えられる。
また、基準線の通過する基準点は、この場合には、図３９にて示したように、画面における原点座標としているが、この基準点の位置については、例えばより良好な構図を得ることなどを目的として、原点座標以外の位置が設定されても良いものである。
また、先に図２４〜図３５により説明した例は一部であって、本願発明による構図判定を適用できる装置、システム、アプリケーションソフトウェアなどはほかにも考えられる。
また、これまでの実施形態の説明にあっては、被写体（対象個別被写体）は、人であることを前提としているが、例えば、人以外の動物を被写体とするような場合にも、本願発明を適用することが考えられる。
また、本願発明のもとで判定される構図（最適構図）は、必ずしも、三分割法などの構図設定手法に対して、対象個別被写体の数の要素を加味する手法によって決定された構図に限定されるものではない。例えば一般的には良くないとされる構図であっても、構図の設定次第では、ユーザがおもしろみを感じたり、かえって良いと感じるような場合もあると考えられる。従って、本願発明のもとで判定される構図（最適構図）としては、実用性、エンタテイメント性などを考慮して任意に設定されればよく、実際においては特に制限はない。
また、先に述べた第１〜第３の実施形態においては、例えば顔写真であったり、また、通常の被写体距離範囲や、サイズ（画像内サイズ、若しくは実サイズ）範囲から外れる被写体を不要被写体であるとみなして排除して、通常の被写体距離範囲やサイズ範囲にあるとされる被写体を必要被写体であるとみなすこととしている。
しかし、これまでの説明から自明なように、本願発明に基づいては、先の第１〜第３の実施形態により不要被写体として扱っていた被写体のほうを必要被写体であるとみなして構図判定の対象として選別するように構成することも当然に可能である。先の第１〜第３実施形態における必要被写体を選別することは、即ち、同じ第１〜第３実施形態において不要被写体として扱っていた被写体も選別しているものとしてみることができるからである。そして、このような構成も、本願発明に基づく構図判定の構成として各種の装置に適用できるものであり、その用途によって有用となるものである。
また、このことに関して、本願発明に基づく構図判定としては、例えばユーザ操作や、所定の機器の動作条件などに基づいた判別に応じて、構図判定の対象とする被写体を、必要被写体と不要被写体とで切り換えられるようにする構成も考えることができる。
また、これまでにも述べてきたように、本願に基づく構成における少なくとも一部は、ＣＰＵやＤＳＰにプログラムを実行させることで実現できる。
このようなプログラムは、例えばＲＯＭなどに対して製造時などに書き込んで記憶させるほか、リムーバブルの記憶媒体に記憶させておいたうえで、この記憶媒体からインストール(アップデートも含む)させるようにしてＤＳＰ対応の不揮発性の記憶領域やフラッシュメモリ３０などに記憶させることが考えられる。また、ＵＳＢやＩＥＥＥ１３９４などのデータインターフェース経由により、他のホストとなる機器からの制御によってプログラムのインストールを行えるようにすることも考えられる。さらに、ネットワーク上のサーバなどにおける記憶装置に記憶させておいたうえで、デジタルスチルカメラ１にネットワーク機能を持たせることとし、サーバからダウンロードして取得できるように構成することも考えられる。
本願発明の第１の実施形態に対応する構図判定についての基本構成例を示すブロック図である。 第１の実施形態に対応する構図判定についての他の基本構成例を示すブロック図である。 第１の実施形態の構図判定ブロックが実行する処理手順例を示すフローチャートである。 図３における被写体選別処理の手順例を示すフローチャートである。 第１の実施形態としての被写体選別のアルゴリズムに応じた構図判定についての実際例を模式的に示す図である。 第１の実施形態としての被写体選別のアルゴリズムに応じた構図判定についての他の実際例を模式的に示す図である。 第２の実施形態に対応する構図判定についての基本構成例を示すブロック図である。 第２の実施形態に対応する構図判定についての他の基本構成例を示すブロック図である。 第２の実施形態の構図判定ブロックが実行する処理手順例を示すフローチャートである。 図９における被写体選別処理の手順例を示すフローチャートである。 図９における被写体選別処理の他の手順例を示すフローチャートである。 第２の実施形態としての被写体選別のアルゴリズムに応じた構図判定についての実際例を模式的に示す図である。 第２の実施形態としての被写体選別のアルゴリズムに応じた構図判定についての他の実際例を模式的に示す図である。 第３の実施形態に対応する構図判定についての基本構成例を示すブロック図である。 第３の実施形態に対応する構図判定についての他の基本構成例を示すブロック図である。 第３の実施形態の構図判定ブロックが実行する処理手順例を示すフローチャートである。 図１６における被写体選別処理の手順例を示すフローチャートである。 図１６における被写体選別処理の他の手順例を示すフローチャートである。 図１６における被写体選別処理のさらに他の手順例を示すフローチャートである。 第３の実施形態としての被写体選別のアルゴリズムに応じた構図判定についての実際例を模式的に示す図である。 第３の実施形態としての被写体選別のアルゴリズムに応じた構図判定についての他の実際例を模式的に示す図である。 第３の実施形態における上限閾値Ｋmax、下限閾値Ｋminの具体値例に応じた、画枠サイズと被写体の画像内サイズとの関係例を示す図である。 第３の実施形態において、大人・子供判定の結果を反映した被写体選別処理行うこととした場合の実際例を模式的に示す図である。 実施形態の構図判定ブロックを適用した、実施形態としての撮像システムを構成する、デジタルスチルカメラと雲台とを示す図である。 実施形態の撮像システムの動作として、雲台に取り付けられたデジタルスチルカメラのパン方向及びチルト方向に沿った動きの例を模式的に示す図である。 実施形態の撮像システムについての内部システム構成例を示すブロック図である。 図２４〜図２６による撮像システムが実行するとされる撮像記録のための手順例を示すフローチャートである。 実施形態の撮像システムについての他の内部システム構成例を示すブロック図である。 実施形態の撮像システムについての他の内部システム構成例を示すブロック図である。 撮像システム以外の実施形態の構図判定ブロックについての適用例を示すブロック図である。 撮像システム以外の実施形態の構図判定ブロックについての適用例を示すブロック図である。 撮像システム以外の実施形態の構図判定ブロックについての適用例を示すブロック図である。 撮像システム以外の実施形態の構図判定ブロックについての適用例を示すブロック図である。 撮像システム以外の実施形態の構図判定ブロックについての適用例を示すブロック図である。 撮像システム以外の実施形態の構図判定ブロックについての適用例を示すブロック図である。 実施形態の撮像システムを構成するデジタルスチルカメラの内部構成例を示すブロック図である。 実施形態の撮像システムを構成する雲台の内部構成例を示すブロック図である。 個別被写体の具体的な検出の仕方とともに、検出個別被写体の重心と、複数の個別被写体の総合被写体重心の求め方の例を説明する図である。 撮像画像データの画枠内に設定した原点座標を説明する図である。 第１例の構図制御における、検出された個別被写体数が１である場合の構図制御例を模式的に示す図である。 第１例の構図制御における、検出された個別被写体数が２である場合の構図制御例を模式的に示す図である。 第１例の構図制御における、検出された個別被写体数が３である場合の構図制御例を模式的に示す図である。 第１例の構図制御のための処理手順例を示すフローチャートである。 第２例の構図制御における、検出された個別被写体数が３である場合の構図制御例を模式的に示す図である。 第２例の構図制御のための処理手順例を示すフローチャートである。
符号の説明
１ デジタルスチルカメラ、２ シャッターボタン、３ レンズ部、１０ 雲台、２１ 光学系、２２ イメージセンサ、２３ Ａ／Ｄコンバータ、２４ 信号処理部、２５ エンコード／デコード部、２６ メディアコントローラ、２７ 制御部、２８ ＲＯＭ、２９ ＲＡＭ、３０ フラッシュメモリ、３１ 操作部、３２ 表示ドライバ、３３ 表示部、３４ 雲台対応通信部、４０ メモリカード、５１ 制御部、５２ 通信部、５３ パン機構部、５４ パン用モータ、５５ パン用駆動部、５６ チルト機構部、５７ チルト用モータ、５８ チルト用駆動部、６１・７５ 撮像ブロック、６２・７３・８１・１０１ 構図判定ブロック、６３ パン・チルト・ズーム制御ブロック、６４・７１ 通信制御処理ブロック、７２ パン・チルト制御処理ブロック、８２ 通知制御処理ブロック、８３ 表示部、８４ レリーズ制御処理ブロック、１００ 撮像装置、１０２ メタデータ作成処理ブロック、１０３ ファイル作成処理ブロック、１１１・１３１ メタデータ分離処理ブロック、１１２・１３２ メタデータ解析処理ブロック、１１３・１３３ トリミング処理ブロック、１２３ メタデータ作成処理ブロック、１２４ 動画像記録処理ブロック、１３４ 印刷制御処理ブロック、２０１ 被写体検出処理部、２０２ 被写体距離検出部、２０２Ｂ 被写体サイズ検出部、２０５ 被写体実サイズ検出部、２０３ 構図判定処理部、２０４ 被写体選別処理部、３００ 画枠、３００Ａ 検出画枠、３００Ｂ 判定構図画枠

Claims (14)

  1. 取り込んだ画像データに基づく画像内における被写体を検出する被写体検出手段と、
    上記被写体検出手段により検出される被写体ごとに、その実寸に相当するものとしてみることのできる実サイズを検出する被写体実サイズ検出手段と、
    上記被写体実サイズ検出手段により検出された実サイズが、必要被写体に対応して適正であるとされる値であるか否かの判別に基づいて、上記被写体検出手段により検出される被写体から必要被写体を選別する被写体選別手段と、
    上記被写体選別手段により選別された必要被写体のみを対象として構図を判定する構図判定手段と、
    を備える構図判定装置。
  2. 上記被写体検出手段により検出される被写体ごとの被写体距離を検出する被写体距離検出手段と、上記被写体検出手段により検出される被写体ごとの上記画像内における被写体のサイズである画像内サイズを検出する被写体サイズ検出手段とをさらに備え、
    上記被写体実サイズ検出手段は、
    上記被写体検出手段により検出される被写体ごとに、上記被写体距離と上記画像内サイズを少なくとも利用して上記実サイズを求めることにより、実サイズの検出を行うようにされている、
    請求項１に記載の構図判定装置。
  3. 上記被写体選別手段は、
    上記被写体距離及び上記画像内サイズを少なくとも利用して求められた上記実サイズについて、撮像により上記画像データを得るための撮像装置において設定されているズーム倍率値を利用して補正したうえで、必要被写体に対応して適正であるとされる値であるか否かの判別を行うようにされている、
    請求項２に記載の構図判定装置。
  4. 上記被写体検出手段は、
    検出する被写体ごとに、その実寸での大きさの違いに関連した所定の属性の判定を行うようにされているとともに、
    上記被写体選別手段は、
    上記被写体距離及び上記画像内サイズを少なくとも利用して求められた上記実サイズについて、上記判定された属性に応じた係数を利用して補正したうえで、必要被写体に対応して適正であるとされる値であるか否かの判別を行うようにされている、
    請求項２又は請求項３に記載の構図判定装置。
  5. 取り込んだ画像データに基づく画像内における被写体を検出する被写体検出手順と、
    上記被写体検出手順により検出される被写体ごとに、その実寸に相当するものとしてみることのできる実サイズを検出する被写体実サイズ検出手順と、
    上記被写体実サイズ検出手順により検出された実サイズが必要被写体に対応して適正であるとされる値であるか否かの判別に基づいて、上記被写体検出手順により検出される被写体から必要被写体を選別する被写体選別手順と、
    上記被写体選別手順により選別された必要被写体のみを対象として構図を判定する構図判定手順と、
    を実行する構図判定方法。
  6. 取り込んだ画像データに基づく画像内における被写体を検出する被写体検出手順と、
    上記被写体検出手順により検出される被写体ごとに、その実寸に相当するものとしてみることのできる実サイズを検出する被写体実サイズ検出手順と、
    上記被写体実サイズ検出手順により検出された実サイズが必要被写体に対応して適正であるとされる値であるか否かの判別に基づいて、上記被写体検出手順により検出される被写体から必要被写体を選別する被写体選別手順と、
    上記被写体選別手順により選別された必要被写体のみを対象として構図を判定する構図判定手順と、
    を構図判定装置に実行させるプログラム。
  7. 取り込んだ画像データに基づく画像内における被写体を検出する被写体検出手段と、
    上記被写体検出手段により検出される被写体ごとの、上記画像内サイズを検出する被写体サイズ検出手段と、
    上記被写体サイズ検出手段により検出された上記画像内サイズが必要被写体に対応して適正であるとされる値であるか否かの判別に基づいて、上記被写体検出手段により検出される被写体から必要被写体を選別する被写体選別手段と、
    上記被写体選別手段により選別された必要被写体のみを対象として構図を判定する構図判定手段と、
    を備える構図判定装置。
  8. 上記被写体選別手段は、
    上記画像内サイズについて、撮像により上記画像データを得るための撮像装置において設定されているズーム倍率値を利用して補正したうえで、必要被写体に対応して適正であるとされる値であるか否かの判別を行うようにされている、
    請求項７に記載の構図判定装置。
  9. 上記被写体検出手段は、
    検出する被写体ごとに、その実寸での大きさの違いに関連した所定の属性の判定を行うようにされているとともに、
    上記被写体選別手段は、
    上記画像内サイズについて、上記判定された属性に応じた係数を利用して補正したうえで、必要被写体に対応して適正であるとされる値であるか否かの判別を行うようにされている、
    請求項７又は請求項８に記載の構図判定装置。
  10. 取り込んだ画像データに基づく画像内における被写体を検出する被写体検出手順と、
    上記被写体検出手順により検出される被写体ごとの、上記画像内サイズを検出する被写体サイズ検出手順と、
    上記被写体サイズ検出手順により検出された上記画像内サイズが必要被写体に対応して適正であるとされる値であるか否かの判別に基づいて、上記被写体検出手順により検出される被写体から必要被写体を選別する被写体選別手順と、
    上記被写体選別手順により選別された必要被写体のみを対象として構図を判定する構図判定手順と、
    を実行する構図判定方法。
  11. 取り込んだ画像データに基づく画像内における被写体を検出する被写体検出手順と、
    上記被写体検出手順により検出される被写体ごとの、上記画像内サイズを検出する被写体サイズ検出手順と、
    上記被写体サイズ検出手順により検出された上記画像内サイズが必要被写体に対応して適正であるとされる値であるか否かの判別に基づいて、上記被写体検出手順により検出される被写体から必要被写体を選別する被写体選別手順と、
    上記被写体選別手順により選別された必要被写体のみを対象として構図を判定する構図判定手順と、
    構図判定装置に実行させるプログラム。
  12. 取り込んだ画像データに基づく画像内における被写体を検出する被写体検出手段と、
    上記被写体検出手段により検出される被写体ごとの被写体距離を検出する被写体距離検出手段と、
    上記被写体距離検出手段により検出された被写体距離が必要被写体に対応して適正であるとされる値であるか否かの判別に基づいて、上記被写体検出手段により検出される被写体から必要被写体を選別する被写体選別手段と、
    上記被写体選別手段により選別された必要被写体のみを対象として構図を判定する構図判定手段と、
    を備える構図判定装置。
  13. 取り込んだ画像データに基づく画像内における被写体を検出する被写体検出手順と、
    上記被写体検出手順により検出される被写体ごとの被写体距離を検出する被写体距離検出手順と、
    上記被写体距離検出手順により検出された被写体距離が必要被写体に対応して適正であるとされる値であるか否かの判別に基づいて、上記被写体検出手順により検出される被写体から必要被写体を選別する被写体選別手順と、
    上記被写体選別手順により選別された必要被写体のみを対象として構図を判定する構図判定手順と、
    を実行する構図判定方法。
  14. 取り込んだ画像データに基づく画像内における被写体を検出する被写体検出手順と、
    上記被写体検出手順により検出される被写体ごとの被写体距離を検出する被写体距離検出手順と、
    上記被写体距離検出手順により検出された被写体距離が必要被写体に対応して適正であるとされる値であるか否かの判別に基づいて、上記被写体検出手順により検出される被写体から必要被写体を選別する被写体選別手順と、
    上記被写体選別手順により選別された必要被写体のみを対象として構図を判定する構図判定手順と、
    を構図判定装置に実行させるプログラム。
JP2008115298A 2008-04-25 2008-04-25 構図判定装置、構図判定方法、プログラム Expired - Fee Related JP5206095B2 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP2008115298A JP5206095B2 (ja) 2008-04-25 2008-04-25 構図判定装置、構図判定方法、プログラム
US12/423,150 US8594390B2 (en) 2008-04-25 2009-04-14 Composition determination device, composition determination method, and program
BRPI0900750-4A BRPI0900750A2 (pt) 2008-04-25 2009-04-22 dispositivo de determinação de composição, método de determinação de composição, e, programa que faz um dispositivo de determinação de composição executar
EP09158642A EP2120210B1 (en) 2008-04-25 2009-04-23 Composition determination device, composition determination method, and program
CN2009101369192A CN101567973B (zh) 2008-04-25 2009-04-24 构图确定装置以及构图确定方法
RU2009115762/09A RU2009115762A (ru) 2008-04-25 2009-04-24 Устройство определения композиции, способ определения композиции и программа
US14/062,599 US9679394B2 (en) 2008-04-25 2013-10-24 Composition determination device, composition determination method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008115298A JP5206095B2 (ja) 2008-04-25 2008-04-25 構図判定装置、構図判定方法、プログラム

Publications (3)

Publication Number Publication Date
JP2009267787A true JP2009267787A (ja) 2009-11-12
JP2009267787A5 JP2009267787A5 (ja) 2011-06-16
JP5206095B2 JP5206095B2 (ja) 2013-06-12

Family

ID=40823568

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008115298A Expired - Fee Related JP5206095B2 (ja) 2008-04-25 2008-04-25 構図判定装置、構図判定方法、プログラム

Country Status (6)

Country Link
US (2) US8594390B2 (ja)
EP (1) EP2120210B1 (ja)
JP (1) JP5206095B2 (ja)
CN (1) CN101567973B (ja)
BR (1) BRPI0900750A2 (ja)
RU (1) RU2009115762A (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011217229A (ja) * 2010-04-01 2011-10-27 Victor Co Of Japan Ltd 撮像装置および表示方法
JP2013070265A (ja) * 2011-09-22 2013-04-18 Olympus Corp 画像読出し装置及び画像処理システム
US9300904B2 (en) 2011-09-22 2016-03-29 Olympus Corporation Image processing apparatus, image processing system, and image reading apparatus
JP2017134176A (ja) * 2016-01-26 2017-08-03 キヤノン株式会社 撮像装置およびその制御方法、プログラム、記憶媒体

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5347802B2 (ja) * 2009-07-27 2013-11-20 ソニー株式会社 構図制御装置、撮像システム、構図制御方法、プログラム
JP5434339B2 (ja) * 2009-07-29 2014-03-05 ソニー株式会社 撮像制御装置、撮像システム、撮像方法、プログラム
JP5434338B2 (ja) 2009-07-29 2014-03-05 ソニー株式会社 撮像制御装置、撮像方法、プログラム
EP2502203A4 (en) * 2009-11-20 2017-05-17 Hewlett-Packard Development Company, L.P. Determining a visual balance of an image
US8605158B2 (en) * 2009-12-28 2013-12-10 Sony Corporation Image pickup control apparatus, image pickup control method and computer readable medium for changing an image pickup mode
JP2011193125A (ja) * 2010-03-12 2011-09-29 Sony Corp 画像処理装置および方法、プログラム、並びに撮像装置
WO2012002047A1 (ja) * 2010-06-30 2012-01-05 Ｎｅｃソフト株式会社 属性判定方法、属性判定装置、プログラム、記録媒体および属性判定システム
US9715751B2 (en) 2011-07-13 2017-07-25 Apple Inc. Zooming to faces depicted in images
US20130205201A1 (en) * 2012-02-08 2013-08-08 Phihong Technology Co.,Ltd. Touch Control Presentation System and the Method thereof
JP5800082B2 (ja) * 2012-03-01 2015-10-28 日産自動車株式会社 距離計測装置及び距離計測方法
JP6330905B2 (ja) * 2014-05-26 2018-05-30 ヤマハ株式会社 接続確認システム、接続確認プログラム、接続確認方法、及び接続検出装置
JP6436761B2 (ja) * 2014-12-24 2018-12-12 キヤノン株式会社 ズーム制御装置、撮像装置、ズーム制御装置の制御方法、及びズーム制御装置の制御プログラム
CN105744148A (zh) 2014-12-24 2016-07-06 佳能株式会社 变焦控制装置和变焦控制装置的控制方法
JP6107844B2 (ja) * 2015-01-28 2017-04-05 カシオ計算機株式会社 検出装置、検出制御方法、及びプログラム
JP6478777B2 (ja) * 2015-04-13 2019-03-06 キヤノン株式会社 制御装置及びその制御方法、プログラム
CN108206910B (zh) * 2016-12-20 2021-04-06 北京小米移动软件有限公司 图像拍摄的方法及装置
KR20180081918A (ko) 2017-01-09 2018-07-18 삼성전자주식회사 전자 장치 및 전자 장치의 영상 촬영 방법
US10218901B2 (en) * 2017-04-05 2019-02-26 International Business Machines Corporation Picture composition adjustment
JP6885896B2 (ja) * 2017-04-10 2021-06-16 富士フイルム株式会社 自動レイアウト装置および自動レイアウト方法並びに自動レイアウトプログラム
US10321069B2 (en) * 2017-04-25 2019-06-11 International Business Machines Corporation System and method for photographic effects
JP6897442B2 (ja) * 2017-09-12 2021-06-30 株式会社Ｊｖｃケンウッド 車両用装置、キャリブレーション結果判定システム、および、キャリブレーション結果判定方法、ならびに、プログラム
CN108896961B (zh) * 2018-06-29 2022-03-01 天津大学 一种基于信号功率估计的提高可见光定位精度的方法
CN109165557A (zh) * 2018-07-25 2019-01-08 曹清 景别判断系统及景别判断方法
CN109743493A (zh) * 2018-08-27 2019-05-10 幻想动力(上海)文化传播有限公司 自动摄影构图方法、装置、自动摄影设备、电子装置及计算机可读存储介质
US11070717B2 (en) * 2019-04-23 2021-07-20 Adobe Inc. Context-aware image filtering
CN110533637B (zh) * 2019-08-02 2022-02-11 杭州依图医疗技术有限公司 一种检测对象的方法及装置
US11825212B2 (en) * 2021-10-18 2023-11-21 International Business Machines Corporation Automatic creation of a tiled image based on user interests

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004320287A (ja) * 2003-04-15 2004-11-11 Nikon Gijutsu Kobo:Kk デジタルカメラ
JP2006253805A (ja) * 2005-03-08 2006-09-21 Olympus Corp 撮影装置及び撮影方法
JP2007208922A (ja) * 2006-02-06 2007-08-16 Fujifilm Corp 撮像装置
JP2007259035A (ja) * 2006-03-23 2007-10-04 Fujifilm Corp 撮像装置および撮像条件案内方法
JP2008011264A (ja) * 2006-06-29 2008-01-17 Canon Inc 撮像装置及びその制御方法及びプログラム及び記憶媒体

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0614698B2 (ja) 1983-05-13 1994-02-23 株式会社日立製作所 自動追尾カメラ
JP2001268425A (ja) 2000-03-16 2001-09-28 Fuji Photo Optical Co Ltd 自動追尾装置
JP2003179811A (ja) 2001-12-10 2003-06-27 Cta Co Ltd 画像合成装置
JP3970046B2 (ja) * 2002-02-19 2007-09-05 オリンパス株式会社 カメラ
TW523635B (en) 2002-03-28 2003-03-11 Asia Optical Co Inc Camera with ranging function
JP2005033508A (ja) 2003-07-14 2005-02-03 Minolta Co Ltd 撮像装置
EP1653279B1 (en) 2003-07-15 2019-02-06 Omron Corporation Object decision device and imaging device
JP4428159B2 (ja) * 2003-11-05 2010-03-10 セイコーエプソン株式会社 画像データ生成装置、画質補正装置、画像データ生成方法および画質補正方法
JP2005167517A (ja) 2003-12-01 2005-06-23 Olympus Corp 画像処理装置、画像処理装置のキャリブレーション方法及び画像処理プログラム
JP4489608B2 (ja) 2004-03-31 2010-06-23 富士フイルム株式会社 ディジタル・スチル・カメラ，画像再生装置および顔画像表示装置ならびにそれらの制御方法
JP4687451B2 (ja) * 2005-12-27 2011-05-25 カシオ計算機株式会社 撮像装置、及びスルー画像表示方法
JP2007282118A (ja) 2006-04-11 2007-10-25 Nikon Corp 電子カメラおよび画像処理装置
US8306280B2 (en) * 2006-04-11 2012-11-06 Nikon Corporation Electronic camera and image processing apparatus
JP4207980B2 (ja) 2006-06-09 2009-01-14 ソニー株式会社 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム
JP4894712B2 (ja) 2007-10-17 2012-03-14 ソニー株式会社 構図判定装置、構図判定方法、プログラム
JP5115139B2 (ja) 2007-10-17 2013-01-09 ソニー株式会社 構図判定装置、構図判定方法、プログラム
JP4508257B2 (ja) 2008-03-19 2010-07-21 ソニー株式会社 構図判定装置、構図判定方法、プログラム
JP4640456B2 (ja) 2008-06-25 2011-03-02 ソニー株式会社 画像記録装置、画像記録方法、画像処理装置、画像処理方法、プログラム
JP4983784B2 (ja) 2008-12-18 2012-07-25 ソニー株式会社 撮像システム、画像提示方法、制御装置、プログラム
JP5453953B2 (ja) 2009-06-24 2014-03-26 ソニー株式会社 可動機構部制御装置、可動機構部制御方法、プログラム
JP2011009929A (ja) 2009-06-24 2011-01-13 Sony Corp 可動機構部制御装置、可動機構部制御方法、プログラム
JP5359645B2 (ja) 2009-07-23 2013-12-04 ソニー株式会社 構図判定装置、撮像システム、構図判定方法、プログラム
JP5347802B2 (ja) 2009-07-27 2013-11-20 ソニー株式会社 構図制御装置、撮像システム、構図制御方法、プログラム
JP5446546B2 (ja) 2009-07-28 2014-03-19 ソニー株式会社 撮像制御装置、撮像制御方法、プログラム、撮像システム
JP5434339B2 (ja) 2009-07-29 2014-03-05 ソニー株式会社 撮像制御装置、撮像システム、撮像方法、プログラム
JP5434338B2 (ja) 2009-07-29 2014-03-05 ソニー株式会社 撮像制御装置、撮像方法、プログラム
JP5407640B2 (ja) 2009-07-29 2014-02-05 ソニー株式会社 画像対応装置、動作設定方法、プログラム
JP2011139231A (ja) 2009-12-28 2011-07-14 Sony Corp 画像処理装置、画像処理方法、プログラム
US8605158B2 (en) 2009-12-28 2013-12-10 Sony Corporation Image pickup control apparatus, image pickup control method and computer readable medium for changing an image pickup mode
JP2011188065A (ja) 2010-03-05 2011-09-22 Sony Corp 撮像制御装置、被写体検出方法、プログラム
JP5533048B2 (ja) 2010-03-08 2014-06-25 ソニー株式会社 撮像制御装置、撮像制御方法
JP5577900B2 (ja) 2010-07-05 2014-08-27 ソニー株式会社 撮像制御装置、撮像制御方法、プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004320287A (ja) * 2003-04-15 2004-11-11 Nikon Gijutsu Kobo:Kk デジタルカメラ
JP2006253805A (ja) * 2005-03-08 2006-09-21 Olympus Corp 撮影装置及び撮影方法
JP2007208922A (ja) * 2006-02-06 2007-08-16 Fujifilm Corp 撮像装置
JP2007259035A (ja) * 2006-03-23 2007-10-04 Fujifilm Corp 撮像装置および撮像条件案内方法
JP2008011264A (ja) * 2006-06-29 2008-01-17 Canon Inc 撮像装置及びその制御方法及びプログラム及び記憶媒体

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011217229A (ja) * 2010-04-01 2011-10-27 Victor Co Of Japan Ltd 撮像装置および表示方法
JP2013070265A (ja) * 2011-09-22 2013-04-18 Olympus Corp 画像読出し装置及び画像処理システム
US9300904B2 (en) 2011-09-22 2016-03-29 Olympus Corporation Image processing apparatus, image processing system, and image reading apparatus
JP2017134176A (ja) * 2016-01-26 2017-08-03 キヤノン株式会社 撮像装置およびその制御方法、プログラム、記憶媒体

Also Published As

Publication number Publication date
CN101567973A (zh) 2009-10-28
EP2120210B1 (en) 2013-01-02
EP2120210A3 (en) 2011-01-12
US8594390B2 (en) 2013-11-26
JP5206095B2 (ja) 2013-06-12
US9679394B2 (en) 2017-06-13
EP2120210A2 (en) 2009-11-18
BRPI0900750A2 (pt) 2010-07-20
RU2009115762A (ru) 2010-10-27
US20140119601A1 (en) 2014-05-01
US20090268943A1 (en) 2009-10-29
CN101567973B (zh) 2012-02-15

Similar Documents

Publication Publication Date Title
JP5206095B2 (ja) 構図判定装置、構図判定方法、プログラム
JP4508257B2 (ja) 構図判定装置、構図判定方法、プログラム
JP5115139B2 (ja) 構図判定装置、構図判定方法、プログラム
JP4894712B2 (ja) 構図判定装置、構図判定方法、プログラム
CN103081455B (zh) 从手持设备所捕获的多个图像进行肖像图像合成
JP4553346B2 (ja) 焦点調節装置及び焦点調節方法
US9025044B2 (en) Imaging device, display method, and computer-readable recording medium
JP2010010936A (ja) 画像記録装置、画像記録方法、画像処理装置、画像処理方法、プログラム
KR20170000311A (ko) 디지털 촬영 장치 및 그 동작 방법
JP2008172342A (ja) 立体画像記録装置および立体画像記録方法
JP6752685B2 (ja) 撮像装置、撮像方法およびプログラム
JP2009258005A (ja) 三次元測定装置及び三次元測定方法
JP6257260B2 (ja) 撮像装置及びその制御方法
JP5440588B2 (ja) 構図判定装置、構図判定方法、プログラム
JP2010200084A (ja) 撮像装置
JP2013175805A (ja) 表示装置および撮像装置
JP5098917B2 (ja) 構図判定装置、構図判定方法、プログラム
JP2016036081A (ja) 画像処理装置、方法及びプログラム並びに記録媒体
JP2018042092A (ja) 画像処理装置、撮像装置、制御方法およびプログラム
JP2004317917A (ja) 撮像装置
JP2010217915A (ja) 撮像装置及びその制御方法
JP2009267824A (ja) 撮影装置
JP2009284075A (ja) 撮影装置および撮影方法
JP2011160334A (ja) カメラ
JP2011061857A (ja) 画像処理装置、画像処理方法、プログラム、撮像装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110422

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110422

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120618

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120626

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120824

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20120925

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121214

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20121226

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130122

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130204

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160301

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160301

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees