JP2009231922A - 構図判定装置、構図判定方法、プログラム - Google Patents

構図判定装置、構図判定方法、プログラム Download PDF

Info

Publication number
JP2009231922A
JP2009231922A JP2008071721A JP2008071721A JP2009231922A JP 2009231922 A JP2009231922 A JP 2009231922A JP 2008071721 A JP2008071721 A JP 2008071721A JP 2008071721 A JP2008071721 A JP 2008071721A JP 2009231922 A JP2009231922 A JP 2009231922A
Authority
JP
Japan
Prior art keywords
subject
detected
information
composition
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008071721A
Other languages
English (en)
Other versions
JP4508257B2 (ja
Inventor
Shingo Yoshizumi
真吾 善積
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2008071721A priority Critical patent/JP4508257B2/ja
Priority to KR1020090016148A priority patent/KR20090100242A/ko
Priority to TW098108465A priority patent/TWI398826B/zh
Priority to US12/381,982 priority patent/US8810673B2/en
Priority to EP09155492A priority patent/EP2104336A3/en
Priority to CN2009101288689A priority patent/CN101540844B/zh
Publication of JP2009231922A publication Critical patent/JP2009231922A/ja
Application granted granted Critical
Publication of JP4508257B2 publication Critical patent/JP4508257B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

【課題】必要とする構図判定結果がより的確に得られるようにする。
【解決手段】取り込んだ画像データに基づく画像内における被写体を検出する被写体検出処理と、
画像データに基づく画像、又は被写体検出処理により検出される被写体を対象として静止の状態を検出する静止検出処理と、この静止検出処理の検出結果に基づいて、被写体検出処理により検出される被写体のうちで、現実被写体、若しくは非現実被写体のみを対象として構図を判定する構図判定処理とを実行するようにして構成する。
【選択図】図３５

Description

本発明は、画像データの画内容が有する構図についての判定を行うようにされた装置である、構図判定装置とその方法に関する。また、このような装置が実行するプログラムに関する。
例えば、鑑賞者に良い印象を与えることのできる写真を撮影するためのテクニック的な一要素として、構図設定が挙げられる。ここでいう構図は、フレーミングともいわれるもので、例えば写真としての画枠内における被写体の配置状態をいう。
良好な構図とするための一般的、基本的な手法はいくつかあるものの、一般のカメラユーザが良い構図の写真を撮影することは、写真撮影に関する充分な知識、技術を持っていない限り、決して簡単なことではない。このことからすると、例えば良好な構図の写真画像を手軽で簡単に得ることのできる技術が求められることになる。
例えば特許文献１には、自動追尾装置として、一定時間間隔の画像間の差を検出して、画像間の差の重心を算出し、この重心の移動量、移動方向から被写体画像の撮像画面に対する移動量、移動方向を検出して撮像装置を制御し、被写体画像を撮像画面の基準領域内に設定する技術が開示されている。
また、特許文献２には、自動追尾装置として、人物を自動追尾する場合に、人物の顔が画面中央となるように画面上の人物像全体の面積に対してその人物上の上側から２０％の面積となる位置を画面中央にして追尾することによって人物の顔を確実に撮影しながら追尾できるようにした技術が開示されている。
これらの技術構成を構図決定の観点から見れば、人物としての被写体を自動的に探索して、撮影画面において或る決まった構図でその被写体を配置させることが可能となる。
また、特許文献３には、監視カメラにより撮像される画像により顔認識を行う場合において、ポスターや立て看板などに含まれる顔画像を効果的にマスキングするための技術として、例えば遊技店において遊技者や従業員が存在しない時間帯において、撮像により得た画像の一部をマスキングするマスキングパターンを発生させ、顔画像抽出手段により、画像より到来者ではない顔画像が抽出できない状態までマスキングパターンを変化させながら繰り返し、このマスキングパターンを用いて、画像がマスキングされることにより画像より到来者ではない顔画像が抽出できない状態となったマスキングパターンを記憶し、この記憶したマスキングパターンにより画像にマスキングを施して顔画像検出を行う構成が開示されている。
特開昭５９−２０８９８３号公報 特開２００１−２６８４２５号公報 特開２００７−１５６６９３号公報
本願発明としては、１つの例として、人としての被写体を対象に構図判定を行うものとして、この際にポスターなどに写されている顔やオブジェの顔など、単なる像のみで現実には人として存在しない被写体を、構図判定の対象から除外する、あるいはこのような被写体のみを構図判定の対象とすることが可能なようにして、必要とする構図判定結果がより的確に得られるようにすることを目的とする。そのうえで、このような構図判定を行う装置などとして、これまでよりも応用範囲が広く優れたものを提供できるようにすることを目的とする。
そこで本発明は上記した課題を考慮して、構図判定装置として次のように構成する。
つまり、取り込んだ画像データに基づく画像内における被写体を検出する被写体検出手段と、画像データに基づく画像、又は被写体検出手段により検出される被写体を対象として静止しているか否かを検出する静止検出手段と、この静止検出手段の検出結果に基づいて、上記被写体検出手段により検出される被写体のうちで、現実被写体、若しくは非現実被写体のみを対象として構図を判定する構図判定手段とを備えることとした。
上記構成では、画像データに基づく画像、又は被写体検出手段により検出される被写体を対象として静止検出が行われることで、上記画像における静止領域、あるいは被写体検出により検出された被写体のうちで静止しているものが認識される。そして、このような静止検出の結果を利用することで、被写体検出手段により検出される被写体のうちから現実被写体、若しくは非現実被写体のいずれか一方のみを構図判定の対象として設定することができる。
このように本願発明の構図判定処理では、現実被写体、若しくは非現実被写体のいずれかのみを構図判定の対象とするのにあたり、画像若しくは被写体についての静止検出を利用している。このようして静止検出を利用することにより、例えば画像内において、同じ被写体として、現実に存在するものと、例えば単なる像などとして現実には存在しないものとが混在する状態であっても、的確に、そのいずれかを構図判定の対象とすることが可能になる。
このようにして本発明は、同じ被写体として、現実に存在するものと、例えば単なる像などとして現実には存在しないものとが混在している状況において、そのいずれかを対象として構図判定を的確に行えるものを提供できる。これにより、例えばこれまでのようにして、現実に存在する被写体と、現実には存在しない被写体とを同じ被写体として検出する技術を適用して構図判定を行うものと比較すれば、その応用範囲は大幅に拡がって、ユーザにとっても使い易いものとなる。
以降、本願発明を実施するための最良の形態（以降、実施の形態という）についての説明を行っていくのにあたり、構図、画枠、画角、撮像視野角なる語を用いることとする。
構図は、フレーミングともいわれるもので、例えば画枠内における被写体の配置状態をいう。
画枠は、例えば画像が嵌め込まれるようにしてみえる一画面相当の領域範囲をいい、一般には縦長若しくは横長の長方形としての外枠形状を有する。
画角は、ズーム角などともいわれるもので、撮像装置の光学系におけるズームレンズの位置によって決まる画枠に収まる範囲を角度により表したものである。一般的には、撮像光学系の焦点距離と、像面（イメージセンサ、フィルム）のサイズによって決まるものとされているが、ここでは、焦点距離に対応して変化し得る要素を画角といっている。
撮像視野角は、定位置に置かれた撮像装置により撮像して得られる画像の画枠に収まる範囲について、上記の画角に加え、パン（水平）方向における振り角度と、チルト（垂直）方向における角度（仰角、俯角）により決まるものをいう。
例えば、構図は、画像視野角によって決まる画枠内に収まる被写体の配置状態を指すものとなる。
先ず、本願発明を実施するための最良の形態（以降、実施の形態という）は、構図判定を行うようにして構成される装置あるいはシステムとなるが、本実施の形態の構成を説明するのに先立ち、例えば撮像により得られた被写体を対象として、自動的に構図の調整を行うこととした場合を考えてみる。なお、ここでの被写体は、人であることとする。
図１（ａ）には、例えば撮像によって得られた画像内容例として、画枠内に１つの被写体３０１が存在している状態が示されている。
そして、構図判定処理のアルゴリズムとしては、例えば図１（ａ）に示される画像から、先ず、被写体３０１が１つ存在することを検出し、この検出結果に基づいて、この被写体３０１が写っている画像として最適とされる構図（最適構図）は、図１（ｂ）に示すものであるとして判定するように構成できる。例えば、この場合には、画枠３００内の被写体３０１を或るサイズにまで拡大してほぼ中央に位置させた配置状態（構図）となっている。
また、図２においては、構図判定処理として、例えば図２（ａ）に画像を入力した場合には、この画像から２つの被写体３０１Ａ、３０１Ｂが存在することを検出し、この検出結果に基づいて、図２（ｂ）の画像内容を最適構図として判定していることが示されている。なお、図２（ｂ）は、これらの被写体３０１Ａ、３０１Ｂを或る程度のサイズまでに拡大して、左右にほぼ均等に配置させた構図となっている。
ここで、上記した構図判定にあたって、人としての被写体検出は、例えば顔検出の技術を適用することができるが、単純に、顔検出技術を用いることとした場合には、次のような不都合が生じる。
つまり、例えば図３に示すようにして、画枠３００内において、現実には人である被写体３０１とともに、人物の顔が写されている（描かれている）ようなポスター（顔画像ポスター）３０２も存在するような場合、被写体検出として顔検出技術を用いている場合には、構図判定に利用すべき被写体として、被写体３０１だけではなく、顔画像ポスター３０２に写っている顔の部分も被写体であるとして検出することになる。
この場合、正しくは現実の人としての被写体は１つのみであるから、本来であれば、図１（ｂ）に準じて被写体３０１のみをクローズアップするような構図判定結果が得られるべきである。しかし、実際には２つの被写体が存在すると検出したことに基づいて、構図判定結果としても、例えば図２（ｂ）に準じて、被写体３０１と顔画像ポスター３０２の顔とを共にクローズアップするような画を最適構図であるとして判定してしまうことになる。
そこで、本実施の形態としては、以降説明するようにして、例えば人を主体的な被写体（以降、単に被写体という）としたうえでの構図判定にあたって、ポスター、立て看板などに写っている（描かれている）顔（人物）であるとか、立体的な銅像や彫刻などの人や顔に代表される、現実に人として存在しているものではない被写体（非現実被写体）は除外して、現実に人としてそこに存在している被写体（現実被写体）のみを対象とした的確な構図判定結果が得られるようにする技術構成を提案するものである。
図４は、本実施の形態としての構図判定についての構成を概念的に示した図（第１例）である。
この図には、構図判定を実行する部位として構図判定ブロック２００が示されている。この構図判定ブロック２００は、画像データを取り込んで構図判定を実行するものとされており、図示するようにして、被写体検出処理部２０１、静止検出処理部２０２、構図判定処理部２０３から成るものとしている。
被写体検出処理部２０１は、取り込んだ画像データを利用して被写体検出処理を実行する部位とされる。
ここでの被写体検出処理は、先ず画像データの画内容から、人としての被写体を弁別して検出する処理をいうものであり、ここでの検出結果として得られる情報（個別被写体検出情報）は、人としての被写体の数と、個々の被写体（個別被写体）ごとについての画枠内での位置情報（例えば画枠内の位置であれば画素のマトリクスの下でのＸ座標、Ｙ座標により表現できる）、及び個別被写体ごとについての画像内におけるサイズ（占有面積）などとなる。
上記被写体検出処理の具体的手法としては、顔検出の技術を用いることができる。この顔検出の方式、手法はいくつか知られているが、本実施の形態においてはどの方式を採用するのかについては特に限定されるべきものではなく、検出精度や設計難易度、また、後述する静止検出に採用する手法との兼ね合いなどを考慮して適当とされる方式が採用されればよい。
また、この段階での被写体検出処理の手法、アルゴリズムは、現実の人として存在しているものが写った現実被写体と、非現実被写体とを区別することなく被写体として検出するものであってよい。
そして、この場合の被写体検出処理部２０１は、上記個別被写体検出情報の集合から成る情報を検出被写体情報として出力する。
また、この被写体検出処理部２０１が実行する被写体検出処理は、画像信号処理として実現することができる。例えば画像信号処理をＤＳＰ(Digital Signal Processor)により実行するように構成する場合、この被写体検出処理は、ＤＳＰに与えるプログラム、インストラクションにより実現できる。なお、次の静止検出処理部２０２をはじめ、以降において説明する、画像信号処理によりその機能を実現可能な部位については、上記のことが同様にいえるものである。
また、取り込んだ画像データは、分岐して、静止検出処理部２０２も入力する。
ここでの静止検出処理部２０２は、例えば画像信号処理によって、取り込んだ画像データの画像(画枠)において、動きが無く、静止しているとされる領域(静止領域)を検出する処理を実行する。この検出処理によっては、画像データの画像において静止領域の位置、分布を示す情報(検出静止領域情報)が得られる。なお、検出静止領域情報としては、例えば静止領域として検出された画素についての分布を示すものを考えることができる。
この場合の構図判定処理部２０３は、被写体検出処理部２０１から出力される検出被写体情報と、静止検出処理部２０２から出力される検出静止領域情報とを取り込んで入力し、最終的に、現実被写体のみを対象として最適構図を判定する、構図判定処理を実行する。
なお、構図判定処理部２０３としての構図判定の処理は、例えばＣＰＵ(Central Processing Unit)がプログラムを実行することにより実現できる。つまり、ソフトウェアにより実現できる。また、必要に応じて、ソフトウェア若しくはハードウェアによる画像信号処理を併用する構成とされてもよい。
図１０のフローチャートは、上記図４に示す構図判定ブロック２００において被写体検出処理部２０１、静止検出処理部２０２、構図判定処理部２０３が実行する処理の手順例を示している。
なお、この図に示す処理手順例は、あくまでも一例であり、図４に示す構図判定ブロック２００が実行する処理手順は、これに限定されるべきではない。図４としては、あくまでも、結果的に、構図判定処理部２０３が、被写体検出処理部２０１からの出被写体情報と、静止検出処理部２０２からの検出静止領域情報とに基づいて現実被写体のみを対象として最適構図を判定するようにさればよい。この点については、以降説明する第２例〜第６例についても同様である。
また、ここで述べている、図４におけるブロック構成と図１０のステップとの対応関係は、順当に考えられる１つの例であって、それ以外の対応が採られてよい。この点についても、以降において説明するブロック図とフローチャートとの関係において、同様である。
ステップＳ１０１においては、先ず、被写体検出処理部２０１と静止検出処理部２０２が画像データの取り込み（入力）を実行する。
ステップＳ１０２、Ｓ１０３は、被写体検出処理部２０１が実行する手順となる。
被写体検出処理部２０１は、ステップＳ１０２により上述の被写体検出処理を実行し、ステップＳ１０３により、その検出結果である検出被写体情報を出力する。
また、静止検出処理部２０２は、上記ステップＳ１０２、Ｓ１０３と併行して、ステップＳ１０４、Ｓ１０５の手順を実行する。
ステップＳ１０４では、入力した画像データの画枠内の画像における静止領域を検出する。
この第１例に対応する静止領域の検出には、例えば、動き検出の手法を応用することができる。つまり、例えばフレーム（あるいはフィールド）に相当する時間的に前後する画像において変化（動き）量が一定以下である領域を検出するようにされる。そして、ステップＳ１０５により検出結果である検出静止領域情報を出力する。
ステップＳ１０６は、構図判定処理部２０３が実行するものとなる。
ステップＳ１０６として、構図判定処理部２０３は、ステップＳ１０３により出力される検出被写体情報と、ステップＳ１０５により出力される検出静止領域情報とを入力することになる。そのうえで、先ず、構図判定処理部２０３は、検出被写体情報が示す個別被写体(検出個別被写体)のうちから、非現実被写体を除外して、現実被写体のみを選別する処理(選別処理)を実行する。
例えば実際において、現実の人は、例えば顔自体が揺れたり、また、顔自体が動かなくとも、瞬きをしたり、顔の表情が変化したりするなど、顔の部分について動きとして捉えることのできる変化を生じる。従って、ステップＳ１０４に対応する静止検出処理部２０２による静止検出処理によっては、画像において現実の人が写っているとされる領域、即ち現実被写体が検出された位置を含む領域は動きがあるものとして検知され、静止領域としては検出されない領域となる。
これに対して、非現実被写体に相当するポスターや立て看板の顔などは、上記の現実の人のような動きが全くないことから、上記の静止検出処理によっては、非現実被写体が検出された位置を含む領域は、静止領域として検出されることになる。
そこで、構図判定処理部２０３は、上記の選別処理のために、検出被写体情報が示す検出個別被写体ごとの位置情報と、検出静止領域情報が示す静止領域の分布とを比較するようにされる。つまり、この比較処理の結果として、検出個別被写体のうちで、その位置情報が静止領域に含まれていたものが、動きの無い静止している被写体、即ち非現実被写体であることになる。これに対して、その位置情報が静止領域に含まれていないものが、動きのある被写体、即ち現実被写体であることになる。このようにして、本実施の形態では、現実被写体のみを選別することができる。また、このような処理は、概念的には、検出個別被写体について、現実被写体と非現実被写体のいずれであるのかを判定しているものであるとして見ることもできる。
そして、構図判定処理部２０３は、上記のようにして選別した現実被写体のみを、構図判定に利用すべき個別被写体（対象個別被写体）として設定する。
次に、構図判定処理部２０３は、ステップＳ１０７としての処理を実行する。
ステップＳ１０７では、上記ステップＳ１０６により設定された対象個別被写体の検出被写体情報を利用して、所定のアルゴリズムにより構図判定のための処理を実行する。
なお、構図判定のアルゴリズムについての例、また、構図判定の結果の利用例などについては後述する。
図５は、実施の形態における第２例としての構図判定ブロック２００の構成を示している。
この図における構図判定ブロック２００も、図４の第１例と同様に、被写体検出処理部２０１、静止検出処理部２０２、及び構図判定処理部２０３を備えて成る。
この場合には、先ず、被写体検出処理部２０１が画像データを取り込んで個別被写体（現実被写体と非現実被写体を含む）の検出を行い、その検出結果である検出被写体情報を、構図判定処理部２０３と、静止検出処理部２０２とに対して出力する。
この場合の静止検出処理部２０２は、静止検出処理として、入力した検出被写体情報に基づいて、検出された個別被写体のうちから静止しているとされる被写体(静止被写体)を検出する。なお、ここで検出される静止被写体は、即ち、非現実被写体に相当するものとなる。
ここでの第２例における静止被写体の検出にも、例えば、１つには動き検出を用いることができる。つまり、前後の検出個別被写体のサンプルタイミングにより得られる検出被写体情報が示す位置情報の変化を検知することとして、その変化量が一定以下となるものを静止被写体であるとして検出すればよい。
また、この第２例のようにして、被写体検出を行った後の段階にて、静止しているとされる被写体(静止被写体)を検出しようとうする構成においては、次のような静止検出の手法も考えることができる。
１つには、表情検出の手法を応用できる。顔の表情に関しては、現実被写体であれば当然変化し得るが、非現実被写体では顔の表情が変化することはないからである。
例えば、被写体検出処理部２０１が所定方式による顔検出処理により個別被写体検出を行うものとしたうえで、この顔検出処理により検出された個別被写体の顔の画像部分を抜き出した画像（顔画像）の情報を、静止検出処理部２０２が受け取るようにする。静止検出処理部２０２は、受け取った顔画像を対象として、表情の変化量を求め、この変化量が一定以下となる顔画像に対応する検出個別被写体を、静止被写体であるとして検出する。
なお、一例として、上記の表情検出については、先に本出願人が出願した特開２００８−４２３１９号公報に記載される表情評価の手法を適用できる。ここでの表情評価は、正規化した顔画像と判別軸情報を基に、顔画像における顔の表情の度合いを評価する演算を行い、表情評価値を得ようとするものである。例えば、単位時間における表情評価値の変化量を求めることとして、この変化量が一定以下である顔画像に対応する検出個別被写体を静止被写体であるとして検出することができる。
また、もう１つには、まぶたのうごき、即ち、瞬きを検出する手法を応用することも考えられる。これも、現実被写体であれば当然瞬きをするが、非現実被写体では、通常、瞬きすることはありえない、ということがいえる。
この場合にも、例えば、被写体検出処理部２０１が所定方式による顔検出処理により個別被写体検出を行うものとしたうえで、この顔検出処理により検出された個別被写体の顔の画像部分を抜き出した画像（顔画像）の情報を、静止検出処理部２０２が受け取るようにする。静止検出処理部２０２は、受け取った顔画像から目の部分をさらに抜き出す。そして、この抜き出した目画像のうちで瞬きをしないと判定したものに対応する検出個別被写体を、静止被写体であるとして検出するものである。
このような瞬き検出の手法として、１つには、先に本出願人が出願した特開２００４−３４３３１５号公報に記載される手法を適用できる。ここでの手法は、先ず肌色検出を含む顔検出処理により顔検出を行い、検出された肌色領域内の白色の領域（白領域）、つまり目の部分を検出し、この目の部分を含む領域（目領域）を取り込む。そして、この目領域における白の情報の割合を算出する。この算出結果としては、時間経過に応じて、瞬きをしていない状態では白の情報の割合が多く、瞬きしたことに応じてまぶたが閉じたときには白の情報が最小となるようにして変化するものとなる。そして、例えば、時間経過に応じた白の情報の算出結果が一定であって、上記のような変化を生じることがない目領域に対応する検出個別被写体を静止被写体として検出すればよい。
このようにして、静止検出の手法、アルゴリズムは、上記した例をはじめとしていくつか考えることができる。本実施形態としては、これらの手法、アルゴリズムのうちのいずれか１つを応用することとしてもよいし、２以上を複合的に応用してもよい。
そして、静止検出処理部２０２は、上記のようにして検出した静止被写体ごとの検出個別被写体情報を有して成る情報を、検出静止被写体情報として出力する。
構図判定処理部２０３は、被写体検出処理部２０１からの検出被写体情報と、静止検出処理部２０２からの検出静止被写体情報とを利用して最終的に、現実被写体を対象とする構図判定を行う。
このための構図判定処理部２０３の処理例としては、先ず、現実被写体を選別する処理を実行する。この処理としては、取り込んだ検出被写体情報が示す検出個別被写体の位置情報と、検出静止被写体情報が示す静止被写体の位置情報とを比較する。このようにして比較を行い、検出被写体情報が示す検出個別被写体のうちで、その位置情報が検出静止被写体情報が示す静止被写体の位置情報と一致したものが非現実被写体であり、一致しないものが現実被写体であることになる。
そして、現実被写体であるとして認識された検出個別被写体を対象個別被写体として設定する。
そのうえで、構図判定処理部２０３は、入力した検出被写体情報のうちから、対象個別被写体とされた個別被写体についての個別被写体検出情報を取り出して、この個別被写体検出情報を利用して構図判定処理を実行する。
なお、上記の表情検出、瞬き検出を応用した静止検出は、先に図４に示した第１例の構成においても適用し得る。例えば、静止検出部２０２は、取り込んだ画像データについて先ず顔検出を行い、これにより得られる顔画像を利用して、上記の表情検出、瞬き検出による静止検出を行う。そして、構図判定処理部２０３は、被写体検出処理部２０１からの検出被写体情報が示す各検出個別被写体の位置と、静止検出処理部２０２にて静止状態にあるとしているとされた顔画像の位置とを比較することにより、現実被写体を選別することができる。
図１１のフローチャートは、上記図５により述べた構成による第２例の構図判定ブロック２００において実行される処理の手順例を示したものである。
なお、図５の構成においても、構図判定処理部２０３は、被写体検出処理部２０１からの検出被写体情報と、静止検出処理部２０２からの検出静止被写体情報とを利用して最終的に、現実被写体を対象とする構図判定が行われるようにされればよいものであり、図１１により示す処理の手順は、あくまでも一例となるものである。
ここでは、先ず、被写体検出処理部２０１が、ステップＳ２０１〜Ｓ２０３の処理を実行する。ステップＳ２０１では、画像データの取り込み（入力）を行う。
ステップＳ２０２では、入力した画像データを基に被写体検出処理を実行し、ステップＳ２０３によりその検出結果である検出被写体情報を出力する。
ステップＳ２０４、Ｓ２０５は、静止検出処理部２０２が実行する処理となる。
ステップＳ２０４では、上記ステップＳ２０３により被写体検出処理部２０１から出力される検出被写体情報を入力し、上記のようにして、検出被写体情報が示す検出個別被写体のうちから静止被写体を検出し、ステップＳ２０５により、この検出結果を示す検出静止被写体情報を出力する。
ステップＳ２０６、Ｓ２０７は、構図判定処理部２０３が実行する処理となる。
ステップＳ２０６では、ステップＳ２０３により被写体検出処理部２０１から出力された検出被写体情報と、ステップＳ２０５により静止検出処理部２０２から出力された検出静止被写体情報とを入力したうえで、これらの情報に基づいて、図５による説明のようにして検出被写体情報が示す検出個別被写体のうちから現実被写体を選別し、選別した現実被写体を、対象個別被写体として設定する。そして、ステップＳ２０７により、上記対象個別被写体の検出個別被写体情報に基づいて、構図判定の処理を実行する。
図６は、実施に形態における第３例としての構図判定ブロック２００の構成例を示している。この図に示す構成は、図４に示した第１例の構成を基として、構図判定処理部２０３が行っていた現実被写体を選別する処理を、被写体選別処理部２０４として抜き出したものとしてみることができる。
つまり、この場合においては、先ず、図４と同様に、被写体検出処理部２０１が取り込んだ画像データに基づいて被写体検出処理を行って検出被写体情報を出力し、静止検出処理部２０２も、取り込んだ画像データに基づいて、画枠内における静止領域の検出を行って検出静止領域情報を出力する。
この場合においては、上記検出被写体情報と検出静止領域情報を、被写体選別処理部２０４が入力する。被写体検出処理部２０４は、検出被写体情報と検出静止領域情報を利用して、図４における構図判定処理部２０３が実行していたのと同様にして現実被写体を選別するための処理(選別処理)を実行する。そして、被写体選別処理部２０４は、この被写体選別処理によって現実被写体であるとして選別された個別被写体ごとについての検出個別被写体情報を、構図判定処理部２０３に出力する。
構図判定処理部２０３は、被写体選別処理部２０４から出力される現実被写体であるとして選別された個別被写体ごとについての検出個別被写体情報を、対象個別被写体の個別被写体情報であるとして扱って、構図判定処理を実行する。
図１２のフローチャートは、上記図６に示した構成による第３例の構図判定ブロック２００において実行される処理の手順例を示している。
ステップＳ３０１〜Ｓ３０５までの手順は、図１０のステップＳ１０１〜Ｓ１０５と同様にして、画像データの取り込みを実行したうえで、この画像データに基づいて、被写体検出処理部２０１が被写体検出処理を行って検出被写体情報を出力し、また、静止検出処理部２０２静止領域の検出を行って検出静止領域情報を出力するものとなる。
この場合のステップＳ３０６は、被写体選別処理部２０４が実行するものとなる。
ステップＳ３０６においては、図１０のステップＳ１０６として説明したのと同様の処理による選別処理を実行して、検出個別被写体のうちから現実被写体を選別する。
そのうえで、ステップＳ３０６においては、検出被写体情報を成す検出個別被写体情報のうちから、上記選別処理により現実被写体として選別された検出個別被写体の検出個別被写体情報を、構図判定処理部２０４に対して出力する。
ステップＳ３０７は、構図判定処理部２０３が、上記ステップＳ３０６により出力された検出個別被写体情報を対象個別被写体についてのものとして入力し、この検出個別被写体情報に基づいて構図判定処理を実行する。
図７は、実施の形態における第４例としての構図判定ブロック２００の構成例を示している。この図に示す構成は、図５に示した第２例の構成を基として、構図判定処理部２０３が行っていた現実被写体を選別する処理を、被写体選別処理部２０４として抜き出したものとしてみることができる。
この場合には、先ず、被写体検出処理部２０１が画像データを取り込んで、図５と同様の被写体検出処理を実行する。そして、その検出結果である検出被写体情報を、この場合には、静止検出処理部２０２と、被写体検出処理部２０４に対して出力する。
静止検出処理部２０２は、図５と同様の静止被写体の検出処理を実行し、その検出結果である検出静止被写体情報を被写体選別処理部２０４に対して出力する。
被写体選別処理部２０４は、上記のようにして出力される検出被写体情報と検出静止被写体情報とを入力して、先に図５にて述べたようにして構図判定処理部２０３にて実行していたの同様の選別処理を実行して現実被写体を選別し、検出個別被写体情報から、選別した現実被写体に対応する検出個別被写体情報を抜き出して集め、これを構図判定処理部２０３に出力する。
構図判定処理部２０３は、上記被写体選別処理部２０４からの検出個別被写体情報を、対象個別被写体に対応する検出個別被写体情報として入力し、この検出個別被写体情報に基づいて構図判定を行う。
図１３のフローチャートは、上記図７に示した構成による第４例の構図判定ブロック２００において実行される処理の手順例を示している。
ステップＳ４０１〜Ｓ４０５までの手順は、図１１のステップＳ２０１〜Ｓ２０５と同様にして、画像データの取り込みを実行したうえで、この画像データに基づいて、被写体検出処理部２０１が被写体検出処理を行って検出被写体情報を出力し、また、静止検出処理部２０２静止領域の検出を行って検出静止領域情報を出力するものとなる。
この場合のステップＳ４０６は、被写体選別処理部２０４が実行するものとなる。
ステップＳ４０６においては、図１１のステップＳ２０６として説明したのと同様の処理による選別処理を実行して、検出個別被写体のうちから現実被写体を選別する。
そのうえで、ステップＳ４０６においては、検出被写体情報を成す検出個別被写体情報のうちから、上記選別処理により現実被写体として選別された検出個別被写体の検出個別被写体情報を、構図判定処理部２０４に対して出力する。
ステップＳ４０７は、構図判定処理部２０３が、上記ステップＳ４０６により出力された検出個別被写体情報を対象個別被写体についてのものとして入力し、この検出個別被写体情報に基づいて構図判定処理を実行する。
図８は、実施の形態の第５例としての構図判定ブロック２００の構成例を示している。
この図に示す構図判定ブロック２００は、被写体検出処理部２０１、静止検出処理部２０２、及び構図判定処理部２０３に加え、マスキング処理部２０５が備えられて成る。
この場合、構図判定ブロック２００が外部から取り込んだとされる画像データは、先ず、マスキング処理部２０５と静止検出処理部２０２とが入力する。
静止検出処理部２０２は、取り込んだ画像データの画像（画枠）における静止領域を検出し、その検出結果である検出静止領域情報を、マスキング処理部２０５に出力する。
マスキング処理部２０５は、静止検出処理部２０２からの検出静止領域情報に基づいて、入力した画像データの画像（画枠）において、被写体検出処理部２０１による被写体検出処理の対象から除外すべき無効領域（検出対象無効領域）を設定する。このためには、マスキング処理部２０５は、入力した画像データに対応する全画像領域のうちで、検出静止領域情報が示す静止領域と一致する領域を、検出対象無効領域として設定する。なお、画像データの全画像領域において、検出対象無効領域以外の領域については検出対象有効領域ということにする。
次にマスキング処理部２０５は、マスキング処理として、入力した画像データについて、上記のようにして設定した検出対象無効領域を反映させる処理を実行する。つまり、この場合の、被写体検出処理部２０１は、被写体検出処理を実行するのにあたり、検出対象無効領域を対象としては被写体検出処理を実行しないように構成するのであるが、被写体検出処理部２０１により、画像データにおける検出対象無効領域が認識できるようにするための処理を実行する。このような処理の具体例として、１つには、画像データのメタデータとして、検出対象無効領域となる画素範囲を示すデータ（あるいは逆に検出対象有効領域となる画素範囲を示すデータとされてもよい）を付加することが考えられる。あるいは、画像データについて、検出対象無効領域については例えば所定の固定色に書き換えるなど、被写体が現れないような内容に変更してしまう画像処理を実行することも考えられる。
そして、マスキング処理部２０５は、上記のマスキング処理が施された画像データ（マスキング画像データ）を被写体検出処理部２０１に対して出力する。
被写体検出処理部２０１では、入力したマスキング画像データを利用して被写体検出処理を実行する。
マスキング画像データについては、上記したようにマスキング処理によって、静止状態にある画像領域は、被写体検出処理の対象とならないようにされている。従って、被写体検出処理部２０１は、動きのあるとされる画像領域のみを対象として被写体検出処理を実行することになる。従って、この場合の被写体検出処理によっては、検出された個別被写体が、そのまま現実被写体であることになる。つまり、この図に示される構成では、静止検出の結果に基づいてマスキング処理部２０５がマスキング処理を実行することを以て、検出個別被写体から、非現実被写体を除外して現実被写体のみを選別する処理（即ち、検出個別被写体であるか非現実被写体であるのかの判定処理）を行っているものとみることができる。
そこで、この場合の被写体検出処理部２０１は、上記のようにして検出した個別被写体ごとの個別被写体情報から成る検出被写体情報を、構図判定処理部２０３に出力する。
構図判定処理部２０３は、上記のようにして出力される検出被写体情報を入力して構図判定処理を実行する。これにより得られる構図判定結果は、画像データの画像において存在するとされる被写体のうち、非現実被写体を除外し、現実被写体としての個別被写体のみを対象とした適正なものが得られることになる。
図１４のフローチャートは、上記図８に示した構成による第５例の構図判定ブロック２００において実行される処理の手順例を示している。
ステップＳ５０１においては、静止検出処理部２０２とマスキング処理部２０５とが画像データの取り込みを行う。
ステップＳ５０２〜Ｓ５０４は、マスキング処理部２０５が実行する。
ステップＳ５０２は、現在において静止検出処理部２０２から入力している検出静止領域情報に基づいて先の図８における説明のようにして検出無効領域を設定し、ステップＳ５０３により、同じく図８により説明したマスキング処理を実行する。そして、ステップＳ５０４によりマスキング処理を経た画像データであるマスキング画像データを出力する。
また、ステップＳ５０２〜５０４と併行して行われるものとされているステップＳ５０５、Ｓ５０６は、静止検出処理部２０２が実行する。
ステップＳ５０５は、ステップＳ５０１により取り込んで入力した画像データから静止領域を検出し、ステップＳ５０６は、その検出結果である検出静止領域情報を、マスキング処理部２０５に対して出力する。確認のために、ステップＳ５０２では、このようにして出力される検出静止領域情報を利用している。
ステップＳ５０７、Ｓ５０８は、被写体検出処理部２０１が実行する。
ステップＳ５０７は、ステップＳ５０４により出力されたマスキング画像データを対象にして、先の図８による説明のようにして被写体検出処理を実行し、ステップＳ５０８により、その検出結果である検出被写体情報を構図判定処理部２０３に対して出力する。
ステップＳ５０９では、構図判定処理部２０３が、上記検出被写体情報を利用して構図判定を実行する。
図９は、実施の形態の第６例としての構図判定ブロック２００の構成例を示している。
この図に示す構図判定ブロック２００も、被写体検出処理部２０１、静止検出処理部２０２、及び構図判定処理部２０３、及びマスキング処理部２０５を有して形成されている点では、図８の第５例と同様であるが、そのうえで、第６例にあっては、次のような構成を有する。
この場合、構図判定ブロック２００が取り込んだとされる画像データは、マスキング処理部２０５が入力する。マスキング処理部２０５は、図８の場合と同様の処理により、静止検出処理部２０２から入力する検出静止被写体情報を利用して入力した画像データに対するマスキング処理を実行して、マスキング画像データを被写体検出処理部２０１に対して出力する。
被写体検出処理部２０１では、入力したマスキング画像データを利用して被写体検出処理を実行し、検出した個別被写体についての検出個別被写体情報から成る検出被写体情報を構図判定処理部２０３に対して出力する。
構図判定処理部２０３は、入力した検出被写体情報に基づいて構図判定処理を実行する。
この場合の静止検出処理部２０２は、被写体検出処理部２０１から出力される検出被写体情報を入力して、例えば図５、図７の静止検出処理部２０２と同様の処理によって、検出被写体情報が示す検出個別被写体のうちで、静止状態にあるとされる静止被写体を検出する。そしてこの場合には、検出結果として、検出した静止被写体ごとについての位置情報、即ち、画像データの画像において静止被写体がどこに在るのかを示すことのできる情報を、検出静止被写体情報として出力するようにする。
マスキング処理部２０５は、入力した画像データについて、その画像領域内において、入力した検出静止被写体情報が示す静止被写体ごとの位置情報が対応する領域を検出対象無効領域として設定してマスキング処理を実行し、マスキング画像データを生成して出力する。
このようにして生成されるマスキング画像データは、上記もしているように静止被写体として検出された検出個別被写体が位置しているとされる領域について検出対象無効領域として設定されているものであり、逆に言えば、現実被写体としての検出個別被写体が位置している領域については検出対象有効領域とされている。従って、このマスキング画像データを入力する被写体検出処理部２０１によっては、画像内に存在している被写体のうちから、非現実被写体（静止被写体）を除外した現実被写体のみが個別被写体として検出することができる。
そして、構図判定処理部２０３は、このようにして検出された個別被写体の検出個別被写体情報に基づいて構図判定を実行することになる。つまり、現実被写体のみを対象とした構図判定が適正に行われることになる。
なお、このような構成では、適切な所定のトリガ、タイミングでもって、マスキング処理部２０５での検出対象無効領域の設定をクリアする。
図１５のフローチャートは、上記図９に示した構成による第６例の構図判定ブロック２００において実行される処理を手順として示している。
この場合のステップＳ６０１は、マスキング処理部２０５が画像データを取り込んで入力する手順となる。
次に、マスキング処理部２０５は、ステップＳ６０２〜Ｓ６０４の手順を実行する。
ステップＳ６０２では、現在において静止検出処理部２０２から出力されている検出静止被写体情報を入力して、入力した画像データの画像におけるマスキング領域（検出対象無効領域）を設定し、ステップ６０３により、設定したマスキング領域を反映させるためのマスキング処理を画像データに施してマスキング画像データを得て、ステップＳ６０３にてマスキング画像データを出力する。
ステップＳ６０５、Ｓ６０６は被写体検出処理部２０１が実行する。
ステップＳ６０５では、上記ステップＳ６０４により出力されたマスキング画像データを入力して被写体検出処理６０５を実行し、ステップＳ６０６により、検出された個別被写体ごとの検出個別被写体情報から成る検出被写体情報を出力する。このようにして出力される検出個別被写体情報を、構図判定処理部２０３が実行するステップＳ６０９と、静止検出処理部２０２が実行するステップＳ６０７にて利用することになる。
先ず、静止検出処理部２０２は、ステップＳ６０７により、入力した検出個別被写体情報に基づいて静止被写体を検出し、その検出結果として、先にも述べたように、例えば検出した静止被写体ごとの位置情報（検出個別被写体情報）から成る検出静止被写体情報をマスキング処理部２０５に対して出力する。
また、構図判定処理部２０３は、入力した検出被写体情報に基づいて構図判定処理を実行する。
これまでに説明した第１例〜第６例による構図判定ブロック２００の構成、つまり、実施の形態としての基本的な構図判定の構成によっては、画像データの画像において存在する被写体として、現実被写体と非現実被写体とが混在しているとしても、構図判定の対象として除外すべき非現実被写体については的確に除外して、現実被写体のみを対象とする適切な構図判定を行うことが可能になる。
そのうえで、現実被写体と非現実被写体とを選別するのにあたっては、画像データの画像、若しくは検出被写体についての静止検出の結果、即ち、画像の動きに関する検出を利用することとしている。従って、画像データの画内容が時間進行に応じて変化したとしても、そのときの画内容に応じて静止している領域又は被写体をダイナミックに特定していくことが可能であり、常に、現実被写体と非現実被写体とを的確に選別することが可能となる。
例えば、特許文献３においては、顔画像検出に際して、ポスターの顔などの顔画像（本実施の形態の非現実被写体に相当）が検出されないようにマスキングパターンを発生させる構成が記載されている。しかし、この構成では、段落００６０にも記載されているように、適切なマスキングパターンの発生は、本実施の形態での現実被写体に相当する遊技者や従業員などの現実の人の顔が検出対象の画像内に存在していない条件で、キャリブレーション（初期設定）として行われるべきものであり、換言すれば、非現実被写体と現実被写体が混在する画像内容に対応しては、適切なマスキングパターンを発生させることは難しい。
これに対して、本実施の形態では、上記もしたように、画像（画枠）内に現実被写体と非現実被写体とが混在し、なおかつ、時間経過に応じて画内容が変化する状況にも対応して、適切にマスキング処理が行われ、結果として、現実被写体のみを対象とした構図判定を実行させることができる。これにより、本実施の形態としては、例えば、特許文献１などにおける定点監視システムなどに適用した場合にも、上記のようなキャリブレーション的な動作を予め実行させる必要が無く、また、何らかの事情で、営業時間中にポスターが貼られたような状況にも対応して、ポスターの顔などは除外できることになる。このようにして、本実施の形態の構成は、これまでよりも使い易く、性能的にも優れたものを提供できる。
そしてまた、本実施の形態の構成を採ることで、例えば特許文献３におけるような定点監視システム程度の用途に限定されることなく、多様な用途に使用できる柔軟性が与えられることにもなる。
そこで、続いては、本実施の形態の構図判定の構成を適用した装置例、システム構成例をいくつか挙げていくこととする。
先ずは、本実施の形態の構図判定を、デジタルスチルカメラと、このデジタルスチルカメラが取り付けられる雲台とからなる撮像システムに適用したものについて説明する。この本実施の形態に対応する撮像システムによっては、構図判定により判定した構図に合わせて静止画の撮像記録が可能とされる。
図１６は、本実施の形態に対応する撮像システムの外観構成例を、正面図により示している。
この図に示されるように、本実施の形態の撮像システムは、デジタルスチルカメラ１と雲台１０とから成る。
デジタルスチルカメラ１は、本体正面側のパネルに設けられているレンズ部３によって撮像して得られる撮像光に基づいて静止画像データを生成し、これを内部に装填されている記憶媒体に記憶させることが可能とされている。つまり、写真として撮影した画像を、静止画像データとして記憶媒体に記憶保存させる機能を有する。このような写真撮影を手動で行うときには、ユーザは、本体上面部に設けられているシャッター（レリーズ）ボタンを押し操作する。
雲台１０には、上記デジタルスチルカメラ１を固定するようにして取り付けることができる。つまり、雲台１０とデジタルスチルカメラ１は、相互の取り付けを可能とするための機構部位を備えている。
そして、雲台１０においては、取り付けられたデジタルスチルカメラ１を、パン方向（水平方向）とチルト方向との両方向により動かすためのパン・チルト機構を備える。
雲台１０のパン・チルト機構により与えられるデジタルスチルカメラ１のパン方向、チルト方向それぞれの動き方は例えば図１７（ａ）（ｂ）に示されるものとなる。図１７（ａ）（ｂ）は、雲台１０に取り付けられているとされるデジタルスチルカメラ１を抜き出して、それぞれ、平面方向、側面方向より見たものである。
先ずパン方向については、デジタルスチルカメラ１の本体横方向と図１７（ａ）に示される直線Ｘ１とが同じ向きとなる位置状態を基準にして、例えば回転軸Ｃｔ１を回転中心として回転方向＋αに沿った回転が行われることで、右方向へのパンニングの動きが与えられる。また、回転方向−αに沿った回転が行われることで、左方向へのパンニングの動きが与えられる。
また、チルト方向については、デジタルスチルカメラ１の本体縦方向が垂直方向の直線Ｙ１と一致する位置状態を基準にして、例えば回転軸Ｃｔ２を回転中心として回転方向＋βへの回転が行われることで、下方向へのパンニングの動きが与えられる。また、回転方向−βへの回転が行われることで、上方向へのパンニングの動きが与えられる。
なお、図１７（ａ）（ｂ）に示される、±α方向、及び±β方向のそれぞれにおける最大可動回転角度については言及していないが、被写体の捕捉の機会をできるだけ多くするべきことを考慮するのであれば、できるだけ最大可動回転角度を大きく取ることが好ましいことになる。
図１８は、本実施の形態に対応する撮像システムの内部を、機能動作ごとに対応したブロック構成により示している。
この図において、デジタルスチルカメラ１は、撮像ブロック６１、構図判定ブロック６２、パン・チルト・ズーム制御ブロック６３、及び通信制御処理ブロック６４を備えて成るものとされている。
撮像ブロック６１は、撮像により得られた画像を画像信号のデータ（撮像画像データ）として出力する部位であり、撮像のための光学系、撮像素子（イメージセンサ）、及び撮像素子から出力される信号から撮像画像データを生成する信号処理回路などを有して成る部位である。
構図判定ブロック６２は、撮像ブロック６１から出力される撮像画像データを取り込んで入力し、この撮像画像データを基にして構図判定のための処理を実行する。この構図判定ブロック６２としては、先に図４〜図９により示した構図判定ブロック２００のいずれかを適用することができる。即ち、この構図判定ブロック６２は、撮像画像データの画像内に非現実被写体が存在している状況にあっても、これを除外して、現実被写体のみを対象とした構図判定を実行する。
パン・チルト・ズーム制御ブロック６３は、構図判定ブロック６２から入力した構図判定結果の情報が示す撮像画像の構図となる撮像視野角を得るためのパン・チルト・ズーム制御（構図制御）を実行する。
つまり、判定結果が示す構図となる撮像方向をデジタルスチルカメラ１が向くための、雲台１０のパン・チルト機構についての移動量を求め、この求めた移動量に応じた移動を指示するパン・チルト制御信号を生成する。
また、判定結果が示す構図となる画角を得るためのズーム位置を求め、このズーム位置となるようにして、撮像ブロック６１が備えるとされるズーム機構を制御する。
通信制御ブロック６４は、雲台１０側に備えられる通信制御ブロック７１との間で所定の通信プロトコルに従って通信を実行するための部位となる。上記パン・チルト・ズーム制御ブロック６３が生成したパン・チルト制御信号は、通信制御ブロック６４の通信により、雲台１０の通信制御ブロック７１に対して送信される。
雲台１０は、例えば図示するようにして、通信制御ブロック７１、及びパン・チルト制御処理ブロック７２を有している。
通信制御ブロック７１は、デジタルスチルカメラ１側の通信制御ブロック６４との間での通信を実行するための部位であり、上記のパン・チルト制御信号を受信した場合には、このパン・チルト制御信号をパン・チルト制御処理ブロック７２に対して出力する。
パン・チルト制御処理ブロック７２は、ここでは図示していない雲台１０側のマイクロコンピュータなどが実行する制御処理のうちで、パン・チルト制御に関する処理の実行機能に対応するものとなる。
このパン・チルト制御処理ブロック７２は、入力したパン・チルト制御信号に応じて、ここでは図示していないパン駆動機構部、チルト駆動機構部を制御する。これにより、判定された構図に応じた水平視野角と垂直視野角を得るためのパンニング、チルティングが行われる。
また、構図判定ブロック６２により被写体が検出されないときには、パン・チルト・ズーム制御ブロック６３は、例えば指令に応じて被写体探索のためのパン・チルト・ズーム制御を行うことができるようになっている。
上記図１８に示した構成のデジタルスチルカメラ１と雲台１０から成る撮像システムでは、例えば、人を主体的な被写体（以降は単に被写体という）として扱うこととしたうえで、この被写体を探索するとともに、被写体の存在が検出されたのであれば、この被写体が写っている画像として最適とされる構図（最適構図）が得られるように（フレーミングが行われるように）して雲台１０のパン・チルト機構を駆動する。そして、最適構図が得られたタイミングで、そのときの撮像画像データを記憶媒体に記録（撮像記録）させることが可能になる。なお、撮像記録の指示（レリーズ動作の指示）は、例えば図１８の構成の下では、パン・チルト・ズーム制御ブロック６３が、構図合わせのためのパン・チルト・ズーム制御が完了したタイミングでもって、例えば撮像ブロック６１などのしかるべき部位に対して行うようにされればよい。あるいは、構図判定ブロック６２において、撮像画像データの画像において得られている実際の構図と、判定した最適構図との近似度が一定以上になったと判断したタイミングで、レリーズの指示が行われるようにしてもよい。
このように、図１８の撮像システムでは、デジタルスチルカメラによる写真撮影を行うのにあたり、先ず、探索された被写体について最適構図を決定（判定）して撮影記録を行うという動作が自動的に実行される。これにより、ユーザ自身が構図を判断して撮影を行わなくとも、相応に良質な写真の画像を得ることが可能になる。また、このようなシステムでは、誰かがカメラを持って撮影する必要が無くなるので、その撮影が行われる場所に居る全員が被写体となることができる。また、被写体となるユーザが、カメラの視野角範囲に入ろうと特に意識しなくとも、被写体が収まった写真が得られることになる。つまり、その撮影場所に居る人の自然な様子を撮影する機会が増えるものであり、これまでにはあまりなかった雰囲気の写真を多く得ることができる。
また、被写体が向いているとされる方向により、最適とされる構図は異なってくるとの考え方をとることができるが、本実施の形態によれば、複数の被写体が存在する場合の、これら被写体の向いている方向の関係性に応じて、異なる最適構図が決定されるようにして構成される。これにより、本実施の形態に対応する構成の装置を利用するユーザは、面倒な手間を掛けることなく、最適構図の画像を得ることが可能になる。
そのうえで、上記の撮像システムは、本実施の形態としての構図判定を行うようにされていることで、例えばポスターの人物など（非現実被写体）に誤って反応することなく、現実の人（現実被写体）のみを対象とする適切な構図を持つ画像の撮像記録が可能となっているものである。
図１９は、上記図１８に示した本実施の形態対応の撮像システムについての変形例を示している。
この図では、先ず、デジタルスチルカメラ１において、撮像ブロック６１により得られる撮像画像データを、通信制御処理ブロック６４から雲台１０側の通信制御ブロック７１に対して送信するようにされている。
この図においては、雲台１０の構成として通信制御処理ブロック７１、パン・チルト制御処理ブロック７２、及び構図判定ブロック７３が示されている。
通信制御処理ブロック７１により受信された撮像画像データは、構図判定ブロック７３に対して出力される。この構図判定ブロック７３も、先に図４〜図９により示した構図判定ブロック２００のいずれかの構成が適用されるもので、入力した撮像画像データを基として現実被写体のみを対象とする構図判定処理を実行する。そして、この場合には、構図判定結果に基づいて、例えば、図１８のパン・チルト・ズーム制御ブロック６３のようにして、判定された構図が得られる撮像方向とするためのパン機構部とチルト機構部の移動量を求め、この移動量を指示するパン・チルト制御信号をパン・チルト制御処理ブロック７２に対して出力する。これにより、構図制御処理ブロック７３にて判定した構図が得られるようにしてパンニング、チルティングが行われる。
このようにして、図１９に示す撮像システムは、デジタルスチルカメラ１から雲台１０に撮像画像データを送信させることとして、雲台１０側により、取り込んだ撮像画像データに基づく構図判定とこれに応じたパン・チルト制御（構図制御）とを実行するようにして構成しているものである。また、この図１９に示す構成においては、撮像視野角の制御（構図制御）として、ズーム（画角）制御を行っていないが、これは、実施の形態のもとでは、構図制御として、パン・チルト・ズームの各制御が必須ではないことを示している。例えば、条件・状況に応じては、パン制御のみ、チルト制御のみ、あるいはズーム制御のみによっても、判定された構図に応じた構図制御を実現できるものである。
図２０は、本実施の形態に対応する撮像システムについての他の変形例としての構成例を示している。なお、この図において、図１９と同一部分には同一符号を付して説明を省略する。
このシステムにおいては、雲台１０側において撮像ブロック７５が備えられる。この撮像ブロック７５は、例えば図１８、図１９の撮像ブロックと同様に、撮像のための光学系と撮像素子（イメージセンサ）を備えて、撮像光に基づいた信号（撮像信号）を得るようにされているとともに、この撮像信号から撮像画像データを生成するための信号処理部から成る。
撮像ブロック７５により生成される撮像画像データは、構図判定ブロック７３に出力される。
なお、撮像ブロック７５が撮像光を取り込む方向（撮像方向）は、例えば雲台１０に載置されるデジタルスチルカメラの撮像方向とできるだけ一致するようにして設定することが好ましい。
この場合の構図判定ブロック７３、及びパン・チルト制御処理ブロック７２は、上記図１９と同様にして構図判定と、この構図判定結果に応じたパン・チルト機構の駆動制御を実行する。
但し、この場合の構図判定ブロック７３は、デジタルスチルカメラ１にレリーズ動作を実行させるタイミング（撮像ブロック７５からの撮像画像データの画像について、判定構図が得られたとするタイミング）に対応しては、通信制御処理ブロック７１経由でデジタルスチルカメラ１に対して、レリーズ指示信号を送信させる。デジタルスチルカメラ１では、レリーズ指示信号が受信されることに応じてレリーズ動作を実行し、そのときに撮像ブロック７５により得られているとされる撮像画像データを基とした画像データの撮像記録を実行する。
このようにして他の変形例では、構図判定及び構図制御に関して、レリーズ動作自体に関する以外の全ての制御・処理を雲台１０側で完結して行うことができる。
なお、上記の説明では、パン制御、チルト制御に関しては、雲台１０のパン・チルト機構の動きを制御することにより行うこととしているが、雲台１０に代えて、例えば、デジタルスチルカメラ１の光学系部（２１）に対しては、反射鏡により反射された撮像光が入射されるようにしたうえで、撮像光に基づいて得られる画像についてパンニング・チルティングされた結果が得られるようにして上記反射光を動かす構成を採用することも考えられる。
また、デジタルスチルカメラ１の撮像素子（イメージセンサ２２）から画像として有効な撮像信号を取り込むための画素領域を水平方向と垂直方向にシフトさせるという制御を行うことによっても、パンニング・チルティングが行われるのと同等の結果を得ることができる。この場合には、雲台１０若しくはこれに準ずる、デジタルスチルカメラ１以外のパン・チルトのための装置部を用意する必要が無く、デジタルスチルカメラ１単体により本実施の形態としての構図制御を完結させることが可能となる。
また、画角制御（ズーム制御）についても、ズームレンズの駆動に代えて、撮像画像データから一部画像領域を切り出すという画像処理を実行することによって実現可能である。
また、デジタルスチルカメラ１の光学系部におけるレンズの光軸を水平・垂直方向に変更することのできる機構を備えて、この機構の動きを制御するように構成しても、パンニング・チルティングを行うことが可能である。
続いては、本実施の形態の構図判定の構成を、上記撮像システム以外に適用した例について挙げていく。
先ず、図２１は、実施の形態としての構図判定を、デジタルスチルカメラなどの撮像装置単体に対して適用したもので、例えば撮像モード時において撮像装置により撮像している画像が、判定結果に応じた適正な構図になったときに、このことを表示によってユーザに通知しようとするものである。
このために撮像装置が備えるべき構成として、ここでは構図判定ブロック８１、通知制御処理ブロック８２、表示部８３を示している。ここでの構図判定ブロック８１が、図４〜図９に示した構図判定ブロック２００としてのいずれかの構成を採るものとされる。
例えばユーザは、撮像装置を撮像モードに設定したうえで、撮像装置を手に持っており、いつでもレリーズ操作（シャッターボタン操作）を行えば撮像画像の記録が行える状況にあるものとする。
このような状態の下、構図判定ブロック８１では、先ず、そのときに撮像して得られる撮像画像データを取り込んで、先に述べた一連の構図判定の処理を実行して、最適構図を判定する。
そのうえで、さらに、この場合の構図判定ブロック８１としては、そのときに実際に得られている撮像画像データの画内容の構図と、判定された最適構図との一致性、類似度を求めるようにされる。そして、例えば類似度が一定以上になったときに、実際に撮影して得られている撮像画像データの画内容が最適構図になったと判定する。なお、例えば実際においては、撮像画像データの画内容の構図と最適構図とが一致したとみなされる程度の、所定以上の類似度が得られたら、最適構図と判断するようにしてアルゴリズムを構成することが考えられる。また、ここでの一致性、類似度をどのようにして求めるのかについては多様なアルゴリズムを考えることができるので、ここでは、その具体例については特に言及しない。
このようにして撮像画像データの画面内容が最適構図になったことの判定結果の情報は通知制御処理ブロック８２に対して出力される。通知制御処理ブロック８２は、上記の情報の入力に応じて、現在において撮像されている画像が最適構図であることをユーザに通知するための所定態様による表示が表示部８３にて行われるように表示制御を実行する。なお、通知制御処理ブロック８２は、撮像装置が備えるマイクロコンピュータ（ＣＰＵ）などによる表示制御機能と、表示部８３に対する画像表示を実現するための表示用画像処理機能などにより実現される。なお、ここでの最適構図であることのユーザへの通知は、電子音、若しくは合成音声などをはじめとした音により行われるように構成してもよい。
また、表示部８３は、例えば本実施の形態のデジタルスチルカメラ１の表示部３３に対応するもので、例えば撮像装置における所定位置に対してそのディスプレイパネルが表出するようにして設けられ、撮影モード時にはいわゆるスルー画といわれる、そのときに撮像されている画像が表示されることが一般的である。従って、この撮像装置の実際にあっては、表示部８３において、スルー画に対して重畳される態様で最適構図であることを通知する内容の画像が表示されることになる。ユーザは、この最適構図であることを通知する表示が現れたときにレリーズ操作を行うようにされる。これにより、写真撮影の知識や技術に長けていないようなユーザであっても、良好な構図の写真撮影を簡単に行うことが可能になる。
また、図２２も、上記図２１と同様にデジタルスチルカメラなどの撮像装置単体に対して実施の形態の構図判定の構成を適用したものとなる。
先ず、この図に示す構成においては、図２１と同様に、構図判定ブロック８１により、入力される撮像画像データを基にして最適構図を判定する処理を実行するとともに、その後のタイミングにおいて得られる撮像画像データの画内容が上記の最適構図であるか否かを判定するようにされる。そして、最適構図になったことを判定すると、このことをレリーズ制御処理ブロック８４に対して通知する。
レリーズ制御処理ブロック８４は、撮像画像データを記録するための制御を実行する部位とされ、例えば撮像装置が備えるマイクロコンピュータが実行する制御などにより実現される。上記の通知を受けたレリーズ制御処理ブロック８４は、そのときに得られている撮像画像データが、例えば記憶媒体に記憶されるようにして画像信号処理、記録制御処理を実行する。
このような構成であれば、例えば最適な構図の画像が撮像されたときには、自動的にその撮像画像の記録が行われるようにした撮像装置を得ることができる。
なお、上記図２１及び図２２の構成は、例えばスチルカメラの範疇であれば、例えば図１により示されるような構成のデジタルスチルカメラに適用できるほか、銀塩フィルムなどに撮像画像を記録するいわゆる銀塩カメラといわれるものにも、例えば光学系により得られた撮像光を分光して取り入れるイメージセンサと、このイメージセンサからの信号を入力して処理するデジタル画像信号処理部などを設けることで適用が可能である。
図２３は、実施の形態の構図判定の構成をデジタルスチルカメラなどの撮像装置に適用した構成の一例である。この図に示す撮像装置１００は、図示するようにして、構図判定ブロック１０１、メタデータ作成処理ブロック１０２、ファイル作成処理ブロック１０３を備える。ここでは、構図判定ブロック１０１が、先の図４〜図９のいずれかに示した構成を有するものとなる。
ここでは図示していない撮像ブロックにより撮像して得られる撮像画像データは、撮像装置１００内の構図判定ブロック１０１、ファイル作成処理ブロック１０３とに対して入力することとしている。なお、この場合において、撮像装置１００内に入力された撮像画像データは、例えばレリーズ操作などに応じて記憶媒体に記憶されるべきこととなった撮像画像データであり、ここでは図示していない、撮像ブロックでの撮像により得られた撮像信号を基に生成されたものである。
先ず構図判定ブロック１０１では、非現実被写体（静止被写体）を除外した現実被写体を対象とする構図判定を行う。そのうえで、この場合の構図判定処理としては、さらに、この構図判定結果に基づき、入力された撮像画像データの全画像領域において、判定された最適構図が得られるとされる所定の縦横比による画像部分（最適構図の画像部分）がどこであるのかを特定する処理を実行する。そして、特定した最適構図の画像部分を示す情報を、メタデータ作成処理ブロック１０２に対して出力する。
メタデータ作成処理ブロック１０２では、入力された情報に基づいて、対応する撮像画像データから最適構図を得るために必要な情報から成るメタデータ（構図編集メタデータ）を作成し、ファイル作成処理ブロック１０３に対して出力する。この構図編集メタデータの内容としては、例えば、対応する撮像画像データとしての画面においてトリミングする画像領域部分がどこであるのかを示し得る位置情報などとなる。
この図に示す撮像装置１００では、撮像画像データについて、所定形式による静止画像ファイルとして管理されるようにして記憶媒体に記録するものとされる。これに対応して、ファイル作成処理ブロック１０３は、撮像画像データを、静止画像ファイル形式に変換（作成）する。
ファイル作成処理ブロック１０３は、先ず、入力される撮像画像データについて、画像ファイル形式に対応した画像圧縮符号化を行い、撮像画像データから成るファイル本体部分を作成する。これとともに、メタデータ作成処理ブロック１０２から入力された構図編集メタデータを、所定の格納位置に対して格納するようにしてヘッダ及び付加情報ブロックなどのデータ部分を作成する。そして、これらファイル本体部分、ヘッダ、付加情報ブロックなどから静止画像ファイルを作成し、これを出力する。これにより、図示するようにして、記憶媒体に記録すべき静止画像ファイルとしては、撮像画像データとともにメタデータ（構図編集メタデータ）が含まれる構造を有したものが得られることになる。
図２４は、上記図２３の装置により作成された静止画像ファイルについて編集を行う編集装置の構成例を示している。
図に示す編集装置１１０は、静止画像ファイルのデータを取り込んで、先ずメタデータ分離処理ブロック１１１に入力する。メタデータ分離処理ブロック１１１は、静止画像ファイルのデータから、ファイル本体部分に相当する撮像画像データとメタデータとを分離する。分離して得られたメタデータについてはメタデータ解析処理ブロック１１２に対して出力し、撮像画像データについてはトリミング処理ブロック１１３に対して出力する。
メタデータ解析処理ブロック１１２は、取り込んだメタデータを解析する処理を実行する部位とされる。そして、解析処理として、構図編集メタデータについては、その内容である最適構図を得るための情報から、すくなくとも、対応の撮像画像データを対象としてトリミングを行う画像領域を特定する。そして、この特定された画像領域のトリミングを指示するトリミング指示情報をトリミング処理ブロック１１３に対して出力する。
トリミング処理ブロック１１３は、先の図２３のトリミング処理ブロック９１と同様に、メタデータ分離処理ブロック１１１側から入力した撮像画像データから、上記メタデータ分離処理ブロック１１２から入力されるトリミング指示情報が示す画像部分を抜き出すための画像処理を実行し、抜き出した画像部分を１つの独立した画像データである、編集撮像画像データとして出力する。
上記図２３、図２４に示される撮像装置と編集装置から成るシステムによれば、例えば撮影などにより得たオリジナルの静止画像データ（撮像画像データ）はそのまま無加工で保存しておけるようにしたうえで、このオリジナル静止画像データからメタデータを利用して、最適構図となる画像を抜き出す編集が行えることになる。また、このような最適構図に対応した抜き出し画像部分の決定は、自動的に行われるものであり、ユーザにとっては、非常に編集が簡単になる。
なお、図２４に示す編集装置としての機能は、例えばパーソナルコンピュータなどにインストールされる画像データ編集のためのアプリケーションであるとか、画像データを管理するアプリケーションにおける画像編集機能などで採用することが考えられる。
図２５は、ビデオカメラなどとしての動画像の撮影記録が可能な撮像装置に、実施の形態の構図判定の構成を適用した例である。
この図に示す撮像装置１２０には、動画像データが入力される。この動画像データは、例えば同じ撮像装置１２０が有するとされる撮像部により撮像を行って得られる撮像信号に基づいて生成されるものである。この動画像データは、撮像装置１２０における構図判定ブロック１２２、及びファイル作成・記録処理ブロック１２４に対して入力される。
この場合の構図判定ブロック１２２は、先に図４〜図９のいずれかに示した構成により、入力されてくる動画像データの画像について、現実被写体のみを対象とする構図判定を行って最適構図を求める。そのうえで、さらに、上記動画像データの画像の実際に構図について、判定した最適構図との差違を比較することにより、良否判定を行う。例えば後述する構図判定の具体例との対応では、構図判定により、最適構図に対応した、画像内の対象個別被写体の占有率（サイズ）、被写体間距離などのパラメータが求められる。そこで、上記の比較の際には、これらの最適構図に対応するパラメータと、動画像データの画像において現に得られているパラメータとを比較すればよい。
そして、この比較結果として双方のパラメータが一定以上の類似度を有していれば良好な構図であると判定され、上記類似度が一定以下であれば、良好な構図ではないと判定される。
構図判定ブロック１２２は、上記のようにして動画像データについて良好な構図が得られていると判定したときには、メタデータ作成処理ブロック１２３に対して、動画像データにおいて、今回、上記の良好な構図が得られていると判定した画像区間(良好構図画像区間)がどこであるのかを示す情報(良好構図画像区間指示情報)を出力する。良好構図画像区間指示情報)は、例えば動画像データにおける良好構図画像区間としての開始位置と終了位置を示す情報などとされる。
この場合のメタデータ作成処理ブロック１２３は、次に説明する動画像記録処理ブロック１２４により記憶媒体にファイルとして記録される動画像データについての、各種所要のメタデータを生成するものとされる。そのうえで、上記のようにして構図判定ブロック１２２から良好構図画像区間指示情報を入力した場合には、入力された良好構図画像区間指示情報が示す画像区間が良好な構図であることを示すメタデータを生成し、動画像記録処理ブロック１２４に対して出力する。
動画像記録処理ブロック１２４は、入力された動画像データについて、所定形式による動画像ファイルとして管理されるようにして記憶媒体に記録するための制御を実行する。そして、メタデータ作成処理ブロック１２３からメタデータが出力されてきた場合には、このメタデータが、動画像ファイルに付随するメタデータに含められるようにして記録されるようにするための制御を実行する。
これにより、図示するようにして、記憶媒体に記録される動画像ファイルは、撮像により得られたとする動画像データに、良好な構図が得られている画像区間を示すメタデータが付随された内容を有することになる。
なお、上記のようにしてメタデータにより示される、良好な構図が得られている画像区間は、或る程度の時間幅を有する動画像による画像区間とされてもよいし、動画像データから抜き出した静止画像によるものとされてもよい。また、上記のメタデータに代えて、良好な構図が得られている画像区間の動画像データ若しくは静止画像データを生成して、これを動画像ファイルに付随する副次的な画像データ（或いは動画像ファイルと独立したファイル）として記録する構成も考えられる。
また、図２５に示されるようにして、撮像装置１２０に対して構図判定ブロック１２２を備える構成では、構図判定ブロック１２２により良好構図画像区間であると判定された動画像の区間のみを動画像ファイルとして記録するように構成することも考えられる。さらには、構図判定ブロック１２２により良好構図であると判定された画像区間に対応する画像データを、データインターフェースなどを経由して外部機器に出力するような構成も考えることができる。
また、図２３の撮像装置１００に対応する装置としては、図２４に示した編集装置以外に、図２６に示す印刷装置１３０を考えることができる。
この場合には、印刷装置１３０が、印刷すべき画像として、静止画像ファイルを取り込むこととされている。この静止画像ファイルは、例えば撮像装置１００により生成して記録されたものを含み、図示するようにして、静止画としての画像データの実体と、メタデータとを有する構造を持っている。従って、このメタデータは、図２３、図２４に示した静止画像ファイルにおけるものと同意義の内容の構図編集メタデータを含んでいるものである。
このようにして取り込んだファイルは、メタデータ分離処理ブロック１３１が入力する。メタデータ分離処理ブロック１３１は、図２４のメタデータ分離処理ブロック１１１と同様にして、静止画像ファイルのデータから、ファイル本体部分に相当する画像データと、これに付随するメタデータとを分離する。分離して得られたメタデータについてはメタデータ解析処理ブロック１３２に対して出力し、画像データについてはトリミング処理ブロック１３３に対して出力する。
メタデータ解析処理ブロック１３２は、取り込んだメタデータについて、図２４のメタデータ分離処理ブロック１１１と同様の解析処理を実行し、トリミング処理ブロック１３３に対してトリミング指示情報を出力する。
トリミング処理ブロック１３３は、図２４におけるトリミング処理ブロック１１３と同様にして、メタデータ分離処理ブロック１３１より入力した画像データから、上記メタデータ分離処理ブロック１３２から入力されるトリミング指示情報が示す画像部分を抜き出すための画像処理を実行する。そして、この抜き出した画像部分から生成した印刷用の形式の画像データを、印刷用画像データとして、印刷制御処理ブロック１３４に出力する。
印刷制御処理ブロック１３４は、入力された印刷用画像データを利用して、ここでは図示していない印刷機構を動作させるための制御を実行する。
このような動作により、印刷装置１３０によっては、入力した画像データの画内容から、最適構図が得られているとされる画像部分が自動的に抜き出されて、１枚の画として印刷されることになる。
続いては、本実施の形態の構図判定を適用した装置、システムについてのより具体的な構成例について説明する。この説明にあたっては、先に図１６、図１７に示した及び図１８により説明したシステム構成のデジタルスチルカメラ１と雲台１０から成る撮像システムを例に挙げることとする。
先ず、図２７により、デジタルスチルカメラ１についてのより実際的な内部構成例をブロックとして示す。
この図において、先ず、光学系部２１は、例えばズームレンズ、フォーカスレンズなども含む所定枚数の撮像用のレンズ群、絞りなどを備えて成り、入射された光を撮像光としてイメージセンサ２２の受光面に結像させる。
また、光学系部２１においては、上記のズームレンズ、フォーカスレンズ、絞りなどを駆動させるための駆動機構部も備えられているものとされる。これらの駆動機構部は、例えば制御部２７が実行するとされるズーム（画角）制御、自動焦点調整制御、自動露出制御などのいわゆるカメラ制御によりその動作が制御される。
イメージセンサ２２は、上記光学系部２１にて得られる撮像光を電気信号に変換する、いわゆる光電変換を行う。このために、イメージセンサ２２は、光学系部２１からの撮像光を光電変換素子の受光面にて受光し、受光された光の強さに応じて蓄積される信号電荷を、所定タイミングにより順次出力するようにされる。これにより、撮像光に対応した電気信号(撮像信号)が出力される。なお、イメージセンサ２２として採用される光電変換素子（撮像素子）としては、特に限定されるものではないが、現状であれば、例えばＣＭＯＳセンサやＣＣＤ(Charge Coupled Device)などを挙げることができる。また、ＣＭＯＳセンサを採用する場合には、イメージセンサ２２に相当するデバイス(部品)として、次に述べるＡ／Ｄコンバータ２３に相当するアナログ−デジタル変換器も含めた構造とすることができる。
上記イメージセンサ２２から出力される撮像信号は、Ａ／Ｄコンバータ２３に入力されることで、デジタル信号に変換され、信号処理部２４に入力される。
信号処理部２４では、Ａ／Ｄコンバータ２３から出力されるデジタルの撮像信号について、例えば１つの静止画 (フレーム画像)に相当する単位で取り込みを行い、このようにして取り込んだ静止画単位の撮像信号について所要の信号処理を施すことで、１枚の静止画に相当する画像信号データである撮像画像データ（撮像静止画像データ）を生成することができる。
上記のようにして信号処理部２４にて生成した撮像画像データを画像情報として記憶媒体（記憶媒体装置）であるメモリカード４０に記録させる場合には、例えば１つの静止画に対応する撮像画像データを信号処理部２４からエンコード／デコード部２５に対して出力するようにされる。
エンコード／デコード部２５は、信号処理部２４から出力されてくる静止画単位の撮像画像データについて、所定の静止画像圧縮符号化方式により圧縮符号化を実行したうえで、例えば制御部２７の制御に応じてヘッダなどを付加して、所定形式に圧縮された撮像画像データの形式に変換する。そして、このようにして生成した撮像画像データをメディアコントローラ２６に転送する。メディアコントローラ２６は、制御部２７の制御に従って、メモリカード４０に対して、転送されてくる撮像画像データを書き込んで記録させる。この場合のメモリカード４０は、例えば所定規格に従ったカード形式の外形形状を有し、内部には、フラッシュメモリなどの不揮発性の半導体記憶素子を備えた構成を採る記憶媒体である。なお、画像データを記憶させる記憶媒体については、上記メモリカード以外の種別、形式などとされてもよい。
また、本実施の形態としての信号処理部２４は、先の説明のようにして取得される撮像画像データを利用して、被写体検出としての画像処理を実行することも可能とされている。本実施の形態における被写体検出処理がどのようなものであるのかについては後述する。
また、デジタルスチルカメラ１は信号処理部２４にて得られる撮像画像データを利用して表示部３３により画像表示を実行させることで、現在撮像中の画像であるいわゆるスルー画を表示させることが可能とされる。例えば信号処理部２４においては、先の説明のようにしてＡ／Ｄコンバータ２３から出力される撮像信号を取り込んで１枚の静止画相当の撮像画像データを生成するのであるが、この動作を継続することで、動画におけるフレーム画像に相当する撮像画像データを順次生成していく。そして、このようにして順次生成される撮像画像データを、制御部２７の制御に従って表示ドライバ３２に対して転送する。これにより、スルー画の表示が行われる。
表示ドライバ３２では、上記のようにして信号処理部２４から入力されてくる撮像画像データに基づいて表示部３３を駆動するための駆動信号を生成し、表示部３３に対して出力していくようにされる。これにより、表示部３３においては、静止画単位の撮像画像データに基づく画像が順次的に表示されていくことになる。これをユーザが見れば、そのときに撮像しているとされる画像が表示部３３において動画的に表示されることになる。つまり、モニタ画像が表示される。
また、デジタルスチルカメラ１は、メモリカード４０に記録されている撮像画像データを再生して、その画像を表示部３３に対して表示させることも可能とされる。
このためには、制御部２７が撮像画像データを指定して、メディアコントローラ２６に対してメモリカード４０からのデータ読み出しを命令する。この命令に応答して、メディアコントローラ２６は、指定された撮像画像データが記録されているメモリカード４０上のアドレスにアクセスしてデータ読み出しを実行し、読み出したデータを、エンコード／デコード部２５に対して転送する。
エンコード／デコード部２５は、例えば制御部２７の制御に従って、メディアコントローラ２６から転送されてきた撮像画像データから圧縮静止画データとしての実体データを取り出し、この圧縮静止画データについて、圧縮符号化に対する復号処理を実行して、１つの静止画に対応する撮像画像データを得る。そして、この撮像画像データを表示ドライバ３２に対して転送する。これにより、表示部３３においては、メモリカード４０に記録されている撮像画像データの画像が再生表示されることになる。
また表示部３３に対しては、上記のモニタ画像や撮像画像データの再生画像などとともに、ユーザインターフェイス画像も表示させることができる。この場合には、例えばそのときの動作状態などに応じて制御部２７が必要なユーザインターフェイス画像としての表示用画像データを生成し、これを表示ドライバ３２に対して出力するようにされる。これにより、表示部３３においてユーザインターフェイス画像が表示されることになる。なお、このユーザインターフェイス画像は、例えば特定のメニュー画面などのようにモニタ画像や撮像画像データの再生画像とは個別に表示部３３の表示画面に表示させることも可能であるし、モニタ画像や撮像画像データの再生画像上の一部において重畳・合成されるようにして表示させることも可能である。
制御部２７は、例えば実際においてはＣＰＵ(Central Processing Unit)を備えて成るもので、ＲＯＭ２８、ＲＡＭ２９などとともにマイクロコンピュータを構成する。ＲＯＭ２８には、例えば制御部２７としてのＣＰＵが実行すべきプログラムの他、デジタルスチルカメラ１の動作に関連した各種の設定情報などが記憶される。ＲＡＭ２９は、ＣＰＵのための主記憶装置とされる。
また、この場合のフラッシュメモリ３０は、例えばユーザ操作や動作履歴などに応じて変更(書き換え)の必要性のある各種の設定情報などを記憶させておくために使用する不揮発性の記憶領域として設けられるものである。なおＲＯＭ２８について、例えばフラッシュメモリなどをはじめとする不揮発性メモリを採用することとした場合には、フラッシュメモリ３０に代えて、このＲＯＭ２８における一部記憶領域を使用することとしてもよい。
操作部３１は、デジタルスチルカメラ１に備えられる各種操作子と、これらの操作子に対して行われた操作に応じた操作情報信号を生成してＣＰＵに出力する操作情報信号出力部位とを一括して示している。制御部２７は、操作部３１から入力される操作情報信号に応じて所定の処理を実行する。これによりユーザ操作に応じたデジタルスチルカメラ１の動作が実行されることになる。
雲台対応通信部３４は、雲台１０側とデジタルスチルカメラ１側との間での所定の通信方式に従った通信を実行する部位であり、例えばデジタルスチルカメラ１が雲台１０に対して取り付けられた状態において、雲台１０側の通信部との間での有線若しくは無線による通信信号の送受信を可能とするための物理層構成と、これより上位となる所定層に対応する通信処理を実現するための構成とを有して成る。
図２８は、雲台１０の構成例をブロック図により示している。
先に述べたように、雲台１０は、パン・チルト機構を備えるものであり、これに対応する部位として、パン機構部５３、パン用モータ５４、チルト機構部５６、チルト用モータ５７を備える。
パン機構部５３は、雲台１０に取り付けられたデジタルスチルカメラ１について、図１７（ａ）に示したパン（横）方向の動きを与えるための機構を有して構成され、この機構の動きは、パン用モータ５４が正逆方向に回転することによって得られる。同様にして、チルト機構部５６は、雲台１０に取り付けられたデジタルスチルカメラ１について、図１７（ｂ）に示したチルト（縦）方向の動きを与えるための機構を有して構成され、この機構の動きは、チルト用モータ５７が正逆方向に回転することによって得られる。
制御部５１は、例えばＣＰＵ、ＲＯＭ、ＲＡＭなどが組み合わされて形成されるマイクロコンピュータを有して成り、上記パン機構部５３、チルト機構部５６の動きをコントロールする。例えば制御部５１がパン機構部５３の動きを制御するときには、パン機構部５３に必要な移動量と移動方向に対応した制御信号をパン用駆動部５５に対して出力する。パン用駆動部５５は、入力される制御信号に対応したモータ駆動信号を生成してパン用モータ５４に出力する。このモータ駆動信号によりパン用モータ５４が、例えば所要の回転方向及び回転角度で回転し、この結果、パン機構部５３も、これに対応した移動量と移動方向により動くようにして駆動される。
同様にして、チルト機構部５６の動きを制御するときには、制御部５１は、チルト機構部５６に必要な移動量と移動方向に対応した制御信号をチルト用駆動部５８に対して出力する。チルト用駆動部５８は、入力される制御信号に対応したモータ駆動信号を生成してチルト用モータ５７に出力する。このモータ駆動信号によりチルト用モータ５７が、例えば所要の回転方向及び回転角度で回転し、この結果、チルト機構部５６も、これに対応した移動量と移動方向により動くようにして駆動される。
通信部５２は、雲台１０に取り付けられたデジタルスチルカメラ１内の雲台対応通信部３４との間で所定の通信方式に従った通信を実行する部位であり、雲台対応通信部３４と同様にして、相手側通信部と有線若しくは無線による通信信号の送受信を可能とするための物理層構成と、これより上位となる所定層に対応する通信処理を実現するための構成とを有して成る。
ここで、図１８に示した撮像システムの構成と、図２７、図２８に示したデジタルスチルカメラ１、雲台１０の構成との対応は、例えば次のようになる。なお、ここで述べる対応は、あくまでも順当に考えられるものの１つとして捉えられるべきものであり、ここで述べる以外の対応の態様も採り得るものである。
図１８のデジタルスチルカメラ１における撮像ブロック６１は、例えば図２７における光学系部２１、イメージセンサ２２、Ａ／Ｄコンバータ２３、及び信号処理部２４において撮像画像データを得るまでの信号処理段から成る部位が対応する。
図１８のデジタルスチルカメラ１における構図判定ブロック６２は、例えば図２７の信号処理部２４における被写体検出、静止検出、被写体選別、マスキングなどを始めとする所要の処理に対応する画像信号処理機能と、制御部（ＣＰＵ）２７が実行するものとされる構図判定に関連する所要の処理機能が対応する。
図１８のパン・チルト・ズーム制御処理ブロック６３は、例えば図２７における制御部２７がパン・チルト・ズーム制御のために実行する処理機能が対応する。
図１８のデジタルスチルカメラ１における通信制御処理ブロック６４は、例えば図２７における雲台対応通信部３４と、この雲台対応通信部３４を利用する通信のために制御部２７が実行する処理機能が対応する。
図１８の雲台１０における通信制御ブロック７１は、例えば図２８における通信部５２と、この通信部を利用した通信のために制御部５１が実行する処理が対応する。
図１８のパン・チルト制御処理ブロック７２は、例えば図２８における制御部５１が実行する制御処理のうちで、パン・チルト制御に関する処理の実行機能に対応するもので、入力される制御信号に応じてパン機構部５３、チルト機構部５６の動きをコントロールするための信号をパン用駆動部５５、チルト用駆動部５８に対して出力する。
ところで、先に図１４〜図１５により述べてきた、本実施の形態の基本的な構図判定（構図判定ブロック２００）の構成では、常に静止検出処理がはたらいている。実施の形態の構図判定の適用の仕方によっては、静止検出処理を定常的に実行させることについて特に問題がない、あるいは、積極的にその必要性を持つ可能性もある。
しかし、例えばここで挙げている撮像システムは、先にも述べたように、雲台１０のパン・チルト機構を動かしながら被写体探索を行い、被写体が検出されたのであれば実施の形態の構図判定を実行し、その判定結果に応じたパン・チルト・ズーム制御により構図合わせを行って撮像記録をするというものである。
しかし、この撮像システムの場合、デジタルスチルカメラ１は、定点に置かれた雲台１０の上でパンニング、チルティング、さらにはズーム可変が行われることで、撮像方向、撮像視野角が変更されることになる。従って、被写体探索が可能な範囲は、そのときの撮像システムの配置に応じて決まってくることになる。そして、この被写体探索可能範囲においてポスターの顔などの非現実被写体が存在しているとすると、例えば被写体探索において、この非現実被写体が個別被写体として検出される都度、静止検出処理により非現実被写体であるとして除外する処理を実行することになる。
この場合において、非現実被写体は、撮像システムの周囲において固定した位置において存在するものであり、この点で、その位置が不定の存在ではない。このように位置が固定であるのにもかかわらず、その非現実被写体が検出個別被写体として検出される都度、静止検出処理を伴って、これを非現実被写体として除外する処理を実行しなければならないのは、効率的ではない。そこで、本実施の形態としては、これまでの構図判定に加えて、一度、非現実被写体であるとして選別したものについては、以降において、再度、静止検出処理を用いての非現実被写体であるか否かの判定に相当する処理を実行することなく、対象個別被写体から除外できる機能（重複検出回避機能）が与えられるように構成する。以下、この点について説明する。
図２９は、上記した重複検出回避機能が与えられた構図判定ブロック６２の構成例を示している。なお、この図に示す構図判定ブロック６２は、以降の説明より理解されるように、図７に示した第４例としての構成を基としたうえで、重複検出回避機能を与えたものとなっている。
図２９（ａ）は、構図判定処理ブロック６２として、静止検出処理に対応した構成を抜き出して示している。
静止検出処理に際しては、先ず、図７の場合と同様にして、被写体検出処理部２０１が撮像画像データを取り込んで入力して被写体検出処理を実行し、検出した個別被写体ごとの検出個別被写体情報から成る検出被写体情報を静止検出処理部２０２に対して出力する。
静止検出処理部２０２は、入力した検出被写体情報に基づいて、個々の検出個別被写体ごとについての静止検出を実行し、その検出結果である静止被写体情報を得る。そして、この場合には、このようにして得た静止被写体情報を、静止被写体情報保持部２１０に対して保持させる。
なお、静止被写体情報保持部２１０は、例えば、制御部２７と接続されるＲＡＭ２９に設定した静止被写体情報を保持するための領域とされる。これにより静止被写体情報保持部２１０には、静止被写体、即ち非現実被写体についての検出個別被写体情報が保持されることになる。
そのうえで、図２９（ａ）に示される静止検出処理部２０２は、静止被写体の検出を行うのにあたって、そのときに静止被写体情報保持部２１０にて保持されている静止被写体の検出個別被写体情報と、被写体検出部２０１から入力する検出被写体情報を成す検出個別被写体情報とを比較して、被写体検出部２０１にて検出された個別被写体（検出個別被写体情報）のうちで、既に静止被写体情報保持部２１０において保持されているものについては静止検出対象から除外し、静止被写体情報保持部２１０において保持されていない被写体のみを対象として静止検出を実行する。
このようにして、静止検出処理部２０２が、先ず、静止被写体情報保持部２１０にて保持されている静止被写体の検出個別被写体情報を利用して静止検出処理を実行することによって、静止検出処理としては、これまでにおいて一度静止被写体であると検出された検出個別被写体については改めて静止検出を実行する必要がない。このようにして、重複検出回避機能が実現されている。
また、被写体検出部２０１による検出結果である検出個別被写体情報と、静止被写体情報保持部２１０において保持される検出個別被写体情報とにより、正しく、被写体選別処理が行われるためには、被写体検出部２０１が生成する検出個別被写体情報に含まれる情報として、同じ静止被写体を検出するごとに得られる検出個別被写体情報において、少なくともその静止被写体には固有で不変な情報が含まれている必要がある。このような静止被写体に不変の情報を比較対象として一致・不一致を判定することで、被写体選別が可能となるからである。
このような比較対象となる情報として、１つには、その静止被写体の位置情報を挙げることができる。ただし、実施の形態として挙げている撮像システムは、パン・チルト・ズームによって画枠に収まる撮像視野角が変化するので、ここでの位置情報について、単純に撮像画像内における静止被写体の位置を示すものであるとすると、パン・チルト・ズームの位置状態によって変化してしまう。そこで、比較対象となる位置情報としては、そのときに撮像システムが設置されている状態での、静止被写体についての絶対的な位置を示し得る情報（絶対位置情報）を利用する。
なお、絶対位置情報の求め方の手法例については後述する。
図２９（ｂ）は、同じ構図判定ブロック６２として、被写体選別を含む構図判定処理に対応した構成を抜き出して示している。この構成としては、被写体検出処理部２０１、構図判定処理部２０３、静止被写体情報保持部２１０、被写体選別処理部２１１から成るものとされる。また、この図では、説明の便宜上、構図判定ブロック６２とともにパン・チルト・ズーム制御ブロック６３を示している。
ここでの被写体検出部２０１は、図２９（ａ）と同様のものであり、被写体検出処理を実行して検出被写体情報を出力する。
上記検出被写体情報は、被写体選別処理部２１１が取り込む。被写体選別処理部２１１は、基本的には、図７の場合と同様の検出アルゴリズムにより被写体選別の処理を実行する。但し、この場合の被写体選別処理部２１１は、選別処理に際して、静止検出処理部２０２による検出結果を（静止被写体の検出個別被写体情報）を直接に利用するのではなく、静止被写体情報保持部２１０において保持されている静止被写体の検出個別被写体情報を下記のように利用する。
この図２９（ｂ）における静止被写体情報保持部２１０は、図２９（ａ）に示したものと同一である。従って、静止被写体情報保持部２１０には、これまでの静止検出処理部２０２の静止検出処理により検出された静止被写体の検出個別被写体情報が保持されていることになる。
そこで、被写体選別処理部２１１は、図７の場合と同様の検出アルゴリズムにより被写体選別の処理を実行するのにあたって、静止被写体の検出個別被写体情報は、この静止被写体情報保持部２１０に保持されているものを取り込んで利用する。
例えば、静止検出処理部２０２からの静止被写体の検出個別被写体情報は、そのときの撮像画像データにおいてリアルタイムとされるタイミングで得られている静止被写体についての情報となる。従って、静止検出処理部２０２からの静止被写体の検出個別被写体情報を直接に利用して被写体選別の処理を実行する場合には、先にも述べたように、一度、非現実被写体であるとして選別した被写体であっても、例えば、以降において、その被写体が再び検出されたときには、静止検出処理により、静止被写体（非現実被写体）であることを検出することになってしまう。
これに対して、静止被写体情報保持部２１０に保持される静止被写体の検出個別被写体情報は、これまでに静止被写体であるとして検出された被写体についてのものとなる。図２９（ｂ）の被写体選別処理部２１１が、これらの静止被写体の検出個別被写体情報により被写体選別処理を行うことによっては、現時点に対応するまでのタイミングにおいて、静止被写体であると検出されたものについては全て非現実被写体として除外され、ここから残ったものが現実被写体として選別される結果となる。つまり、過去において一度静止被写体であるとして検出されたものを除外するという選別が行われるものであり、現在おいて検出される被写体のうちで、現実被写体とされるもののみが的確に選別される結果が得られることとなる。
この図２９（ｂ）の構図判定処理部２０３は、図７の場合と同様にして、被写体選別処理部２１１から出力される、選別された個別被写体ごとについての検出個別被写体情報に基づいて構図判定処理を実行し、その判定結果の情報を出力する。そして、パン・チルト・ズーム制御ブロック６３は、図１８と同様にして、構図判定ブロック６２（構図判定処理部２０３）からの構図判定結果の情報が示す撮像画像の構図となる撮像視野角を得るためのパン・チルト・ズーム制御（構図制御）を実行する。
なお、図２９の構成は、図７に示した第４例を基としたものであると先に述べた。例えば図２９における静止検出処理部２０２と静止被写体情報保持部２１０から成る部位を、図７における静止検出処理部２０２であると捉えると、図２９の構成は、図７に示した第４例に対応したものとなる。
また、ここでは、構図判定ブロック６２として、図２９（ａ）と図２９（ｂ）とで、静止検出処理と、被写体選別・構図判定処理とを分けて示しているが、これは、構図判定ブロック６２において、静止検出処理と、被写体選別・構図判定処理とを、それぞれ独立して実行させることが可能であることを示している。よって、例えば図２９（ａ）と図２９（ｂ）の構成を１つにまとめて示すこともできる。この場合には、図２９（ｂ）の構成において、静止検出処理部２０２を備えることとして、被写体検出処理部２０１からの出力を、被写体選別処理部２１１と静止検出処理部２０２とに対して分岐して入力させる。また、静止検出処理部２０２が静止被写体情報保持部２１０にアクセスして静止被写体情報（静止被写体の個別被写体情報）の読み出し、書き込みができるようにして接続する。
図３０のフローチャートは、図２９（ａ）に示した構成により実行される静止検出処理の手順例を示したものである。
先ずは、被写体検出処理部２０１が、ステップＳ７０１により撮像画像データを取り込み、ステップＳ７０２により被写体検出処理を実行する。
また、ここでは、被写体検出処理部２０１は、上記ステップＳ７０２による検出処理の結果として、少なくとも１つの個別被写体が検出されたか否かについての判別を行うこととしており、ここで個別被写体が１つも検出されないとして否定の判別結果が得られたのであれば、ステップＳ７０１に戻ることで、撮像画像データの取り込みと被写体検出処理を繰り返すようにされる。
ステップＳ７０３にて被写体が検出されたとして肯定の判別結果が得られたのであれば、ステップＳ７０４に進む。
ステップＳ７０４以降の手順は、静止検出処理部２０２によるものとなる。ステップＳ７０４では、最後のステップＳ７０２により検出された個別被写体に付すべき番号を示す変数ｎについて、１を代入する初期化を行う。なお、変数ｎの最大値は、最後のステップＳ７０２により検出された個別被写体数（検出個別被写体情報数）となる。
ステップＳ７０５では、ｎ番目の個別被写体（検出個別被写体）を検出処理対象として選択する設定処理を行ったうえで、ステップＳ７０６により、静止被写体情報保持部２１０において保持されている静止被写体の検出個別被写体情報を読み込む。そして、ステップＳ７０７により、ｎ番目の個別被写体の検出個別被写体情報と一致する被写体を示検出個別被写体情報が、上記ステップＳ７０６により読み込んだ静止被写体の検出個別被写体情報のなかに存在するか否かについて判別する。
先ず、ステップＳ７０７にて、否定の判別結果が得られた場合には、このｎ番目の個別被写体は、少なくとも、現在までにおいて、静止被写体であるとして検出されたことはない、ということになる。この段階では、ｎ番目の個別被写体は、静止被写体（非現実被写体）であるのか、あるいは現実被写体であるのかについての特定はされていない。そこで、この場合にはステップＳ７０８により、静止検出処理部２０２が、被写体検出処理部２０１から出力されるこのｎ番目の被写体に対応する検出個別被写体情報に基づいて、このｎ番目の個別被写体を対象とする静止検出処理を実行する。
ステップＳ７０８では、上記ステップＳ７０８の検出結果として、静止状態であるとの検出結果が得られたか否かについて判別する。ここで、否定の判別結果が得られた場合には、ｎ番目の個別被写体は、静止被写体ではなく現実被写体であることになるが、この場合には、ステップＳ７１０をスキップしてステップＳ７１１に進む。
これに対して、ステップＳ７０９において肯定の判別結果が得られた場合には、ｎ番目の被写体は、はじめて静止被写体であるとして検出されたことになる。そこで、この場合にはステップＳ７１０により、このｎ番目の個別被写体の検出個別被写体情報を、静止被写体情報保持部２１０に対して書き込んで保持させる。これにより、静止被写体情報保持部２１０に対して、新規に、１つの静止被写体が登録されることとなる。
また、ステップＳ７０７にて肯定の判別結果が得られた場合には、ｎ番目の個別被写体は、既に静止被写体情報保持部２１０に登録されている静止被写体であることになる。そこで、この場合には、ステップＳ７０８〜Ｓ７１０の手順をスキップしてステップＳ７１１に進む。
ステップＳ７１１では、現在の変数ｎについて最大値以上であるか否かについて判別し、否定の判別結果が得られたのであれば、ステップＳ７１２により変数ｎについてインクリメントしてステップＳ７０５に戻ることで、次の個別被写体（検出個別被写体）を静止検出対象とした処理を繰り返す。
そして、全ての検出個別被写体を対象とする静止検出処理を実行したとして、ステップＳ７１１にて肯定の判別結果が得られたとされると、ステップＳ７０１に戻る。
図３１のフローチャートは、図２９（ｂ）に示した構成により実行される静止検出処理の手順例を示したものである。
この図では、先ず、被写体検出処理部２０１が、ステップＳ８０１〜Ｓ８０３により、図３０のステップＳ７０１、Ｓ８０２、Ｓ８０３と同様にして、撮像画像データの取り込み、被写体検出処理、及び個別被写体の検出の有無を判別する。
ステップＳ８０３にて否定の判別結果が得られた場合には、ステップＳ８０１に戻るべきことになるが、この場合の被写体検出処理部２０１としては、ステップＳ８１１により、被写体探索のためのパン・チルト・ズーム制御を指示した上で、ステップＳ８０１に戻るようにされる。つまり、この場合のステップＳ８０１〜Ｓ８０４の手順は、被写体探索として被写体検出を実行するものとなる。
この被写体探索の結果として、ステップＳ８０３にて少なくとも１つの個別被写体が検出されたことで肯定の判別結果が得られたのであれば、ステップＳ８０４以降の手順に進む。
ステップＳ８０４、Ｓ８０５は、例えば被写体選別処理部２１１が実行する処理となる。
ステップＳ８０４では、静止被写体情報保持部２１０から静止被写体情報の読み込みを行い、ステップＳ８０５により、上記の静止被写体情報を成す静止被写体ごとの検出個別被写体情報と、被写体検出処理部２０１からの検出被写体情報を成す検出個別被写体情報とを利用して、被写体選別処理を実行する。先に図２９（ｂ）においても述べたように、ここで実行される被写体選別処理によっては、被写体検出処理部２０１により検出された個別被写体のうちで、これまでにおいて静止被写体であるとして検出されたものは全て除外されることになる。
ステップＳ８０６は、例えば構図判定処理部２０３が実行する。
ステップＳ８０６においては、今回、被写体検出処理部２０１により検出された個別被写体のうちで、対象個別被写体、即ち現実被写体が残っているか否かについて判別する。構図判定処理部２０３は、上記ステップＳ８０５の選別処理によって選別された検出個別被写体の検出個別被写体情報の取り込みを行うが、その結果として、有効な検出個別被写体情報が１つも存在しない場合には、対象個別被写体（現実被写体）は残っていないということになる。これに対して、有効な検出個別被写体情報が存在しているのであれば、対象個別被写体は残っていることになる。
ここで、対象個別被写体が残っていないとして否定の判別結果が得られた場合には、ステップＳ８１１により被写体探索を指示した上で、ステップＳ８０１に戻る。これに対して、ステップＳ８０６において肯定の判別結果が得られた場合には、ステップＳ８０７に進む。
ステップＳ８０７は、構図判定処理部２０３が、被写体選別処理部２１１から取り込んだ対象個別被写体の検出個別被写体情報に基づいて構図判定処理を実行し、その判定結果の情報をパン・チルト・ズーム制御ブロック６３に送信する。
ステップＳ８０８は、パン・チルト・ズーム制御ブロック６３における処理となる。つまり、パン・チルト・ズーム制御ブロック６３は、構図判定結果に応じた撮像視野角が得られるようにするための、即ち構図合わせのためのパン・チルト・ズーム制御を実行する。
上記ステップＳ８０８の構図合わせの処理が開始されて以降においては、ステップＳ８０９により、実際にそのときの撮像画像データの画像として得られている構図が、ステップＳ８０７により判定した構図と同じであるみなされる状態（例えば一定以上の近似度となる状態）となったか否か（構図がＯＫであるか否か）を判別することとしている。なお、この判別は、例えば構図判定処理部２０３において、構図判定結果を出力した後に得られる対象個別被写体の検出個別被写体情報の位置情報の変化などを検出することで実現できる。
ここで、例えば何らかの原因で、必要なだけのパン・チルト・ズームの移動、駆動を行わせたとしても構図がＯＫにはならなかった場合には、ステップＳ８０９にて否定の判別結果が出力される。この場合には、ステップＳ８１１を経たうえでステップＳ８０１に戻ることで、被写体探索を再開させることとしている。
これに対して、ステップＳ８０９において構図がＯＫになったとの判別結果が得られた場合には、ステップＳ８１０により、レリーズ動作、つまり、そのときに得られている撮像画像データを静止画として記録する動作の実行を指示する。このレリーズ指示の処理も、例えばここでは、構図判定処理部２０３が実行するものとして捉えればよい。
ところで、本実施の形態の撮像システムは、例えば使用中において、ユーザが、雲台１０とともにデジタルスチルカメラ１を動かしてこれまでとは別の位置状態で配置し直す可能性がある。
また、上記のようにして静止検出処理及び被写体判別処理に、静止被写体情報保持部２１０にて保持している静止被写体情報（静止被写体の検出個別被写体情報）を利用する構成においては、個別被写体情報における位置情報は、そのときのデジタルスチルカメラ１の配置位置を基本とする絶対位置情報であるとした。
すると、上記のようにして、デジタルスチルカメラ１（及び雲台１０）の位置が動かされた段階で、静止被写体情報保持部２１０に保持されている静止被写体情報（静止被写体の個別被写体情報）が有している絶対位置情報は誤ったものとなってしまうので、以降において、この絶対位置情報を利用することは避けなければならない。このためには、例えばユーザが、デジタルスチルカメラ１（及び雲台１０）を動かして置き直した後、例えばデジタルスチルカメラ１に対する所定操作により、静止被写体情報保持部２１０にこれまで保持させていた静止被写体情報をクリア（消去）させて、改めて、静止検出を伴う静止被写体情報保持部２１０への静止被写体の登録処理をはじめから実行させるようにすることが考えられる。
そして、この考え方をさらに推し進めれば、デジタルスチルカメラ１（及び雲台１０）が動かされたことに応じた静止被写体情報保持部２１０の静止被写体情報のクリアが自動実行されるようにして、そのための操作を不要とすれば、ユーザへの便宜が図られることになる。
図３２は、静止被写体情報保持部２１０の静止被写体情報を自動的にクリアするための構成を示している。この図においては、これまでの説明の流れを考慮して、静止被写体情報の自動クリアの構成を、図２９に示した構成を基とした構図判定ブロック６２に対して付加した例を示している。この図において図２９（ｂ）と同一部分には同一符号を付して説明を省略する。また、この場合の静止検出についての構成は、図２９（ａ）と同様であればよい。
図３２においては、図２９の構成に対して、クリア制御部２１２、及び加速度センサ２１３が備えられる。加速度センサ２１３は、例えば実際においてはデジタルスチルカメラ１における所定位置に固定して取り付けられ、自身に生じる加速度、即ちデジタルスチルカメラ１自体に加えられる力による動きを検出する。クリア制御部２１２は、パン・チルト・ズーム制御ブロック６３から出力されるパン・チルト制御信号と、加速度センサ２１３にて検出された加速度値とに基づいて、静止被写体情報保持部２１０にて保持している静止被写体情報をクリアする処理を実行する。
図３３のフローチャートは、上記図３２に示したクリア制御部２１２が実行するとされる処理手順例を示している。
クリア制御部２１２は、先ず、ステップＳ９０１により加速度センサ２１３から出力されている検出信号の取り込みを実行し、ステップＳ９０２において、取り込んだ検出信号が示す加速度値が、所定の閾値以上であるか否かを判別する。このステップＳ９０２において設定される閾値は、例えばデジタルスチルカメラ１を人が持って動かしたとするときに加速度センサ２１３により検出される一般的、平均的な加速度値を基にして設定される。つまり、ステップＳ９０１においては、そのときのデジタルスチルカメラ１の状態として、人が持って動かしたとする場合に対応した程度の動きをしているか否かを判別するものである。
ステップＳ９０２において否定の判別結果が得られた場合には、デジタルスチルカメラ１は、パン・チルト方向の移動に応じた動きも含め、動きがない状態にあるものとしてみることができる。そこで、この場合には、ステップＳ９０１に戻る。
これに対して、ステップＳ９０２において肯定の判別結果が得られた場合には、ステップＳ９０３以降の手順を実行する。
ステップＳ９０３においては、パン・チルト・ズーム制御ブロック６３からパン・チルト制御信号を取り込む処理を実行し、次のステップＳ９０４により、現在においてパン・チルト駆動、即ち、雲台１０によるパン方向及び／又はチルト方向に対する移動が行われているか否かについての判別を行う。例えば、ステップＳ９０３により有効なパン・チルト制御信号を取り込むことができなかった場合には、そのときにパン・チルト・ズーム制御ブロック６３は、パン・チルト制御を行っておらず、従って、これに応じた雲台１０によるデジタルスチルカメラ１の移動も行われていないことになるので、ステップＳ９０４としては否定の判別結果が得られる。これに対して、ステップＳ９０３により有効なパン・チルト制御信号が取り込まれたのであれば、これに応じた雲台１０によるデジタルスチルカメラ１の移動が実行中であることになり、肯定の判別結果が得られる。
ステップＳ９０４にて否定の判別結果が得られた場合には、ステップＳ９０５、Ｓ９０６をスキップしてステップＳ９０７に進むが、肯定の判別結果が得られたのであれば、ステップＳ９０５、Ｓ９０６の手順を実行する。
ステップＳ９０５に至った段階では、雲台１０によりデジタルスチルカメラ１のパンニング、チルティングが実行中であることは分かっているが、このパンニング、チルティングが実行中の状態において、さらに、デジタルスチルカメラ１（及び雲台１０）が人為的に動かされている状態にあるか否かは分かっていない。そこで、ステップＳ９０５、Ｓ９０６においては、この点についての判別を行う。
このために、ステップＳ９０５においては、期待加速度値を算出する。この期待加速度値は、デジタルスチルカメラ１を固定した雲台１０が人為的に動かされずに定位置にて静止した状態の下で現在のパンニング・チルティングを実行しているときに得られるものとして推定、期待される加速度値のことをいう。この期待加速度値は、例えばステップＳ９０３にて取り込んだパン・チルト制御信号が示す移動量と、パンニング・チルティングの移動速度をパラメータとして所定の関数を用いた演算を実行することで得ることが可能である。パン・チルト制御信号が示す移動量と、パンニング・チルティングの移動速度に対応して、加速度センサ１２３にて検出される加速度値はほぼ決まるものとしてみることができる。なお、パンニング・チルティングの移動速度は、雲台１０において採用されるパン機構部、チルト機構部の構造であるとか、各機構部のモータを駆動する電圧、電流などにより一義的に求めることができる。
ステップＳ９０６では、上記ステップＳ９０５により算出した期待加速度値と、先のステップＳ９０１にて取り込んだ検出信号が示す実の加速度値とを比較して、両者の差が一定以上であるか否かについて判別する。なお、期待加速度値と実の加速度値との差を求めるのではなく、期待加速度値と実の加速度値との比率を求め、この比率が一定以上であるか否かを判別するようにしてもよい。
ステップＳ９０６にて否定の判別結果が得られた場合には、雲台１０は人為的に動かされておらず静止しておかれた状態で、パンニング・チルティングの動作を実行中であることになる。この場合には、そのままステップＳ９０１に戻る。これに対してステップＳ９０６にて肯定の判別結果が得られた場合には、雲台１０はパンニング・チルティングの動作を実行中であり、かつ、雲台１０とこれに固定されているデジタルスチルカメラ１が人為的に動かされている状態であることになる。この場合には、ステップＳ９０７に進む。このようにして、本実施の形態では、パンニング・チルティングの動作が実行中であっても、的確に、雲台１０とこれに固定されているデジタルスチルカメラ１自体が、雲台１０のパン・チルト機構（可動機構部）以外の力により動かされている状態であることを検知できるようになっている。
これまでの説明から分かるように、ステップＳ９０７に至る場合とは、雲台１０がパンニング・チルティングの動作を実行している、いないに関わらず、雲台１０とこれに固定されているデジタルスチルカメラ１が人為的に動かされている状態のときとなる。そして、ステップＳ９０７においては、静止被写体情報保持部２１０において保持されている静止被写体情報をクリア（消去）するための処理を実行する。
なお、上記の説明では、デジタルスチルカメラ１及び雲台１０から成る実施の形態の撮像システムにおいて必要性があることを前提として述べた。しかし、この静止被写体情報保持部２１０に保持される静止被写体情報を自動的にクリアする構成は、実施の形態の撮像システム以外の装置、システムにおいて必要に応じて適用されてよいものである。
また、静止被写体情報保持部２１０に保持されている静止被写体情報を基にして被写体選別処理部２１１が被写体選別を行うように構成した場合には、構図判定ブロック６２として、上記図２９（及び図３２）に示したもの以外に、図３４に示す構成を採ることも可能になる。
なお、図３４において、図２９と同一部分には同一符号を付して重複する説明については省略する。また、静止被写体情報保持部２１０の静止被写体情報を自動的にクリアする構成は、ここでは省略しているが、この構成については、図３２及び図３３により説明した構成を適用すればよい。
図３４においては、静止検出処理部２０２を、被写体選別処理部２１１と構図判定処理部２０３の間に挿入した構成としている。また、静止検出処理部２０２は静止被写体情報保持部２１０にアクセスできるようにされている。そのうえで、この場合の静止検出処理部２０２は、次の説明から理解されるようにして、被写体選別処理としてもみることのできる静止検出処理を行う。
図３５のフローチャートは、図３４に示した構成の構図判定処理ブロック６２（及びパン・チルト・ズーム制御ブロック６３）によって実行される処理の手順例を示している。
先ずステップＳ１００１、ステップＳ１００２によっては、図３１のステップＳ８０１、Ｓ８０２と同様にして、被写体検出処理部２０１が撮像画像データを取り込んで被写体検出処理を実行する。
次のステップＳ１００３〜Ｓ１００５は、被写体選別処理部２１１が実行する。
被写体選別処理部２１１は、ステップＳ１００３により、静止被写体情報保持部２１０において現在保持されている静止被写体情報の読み込みを行う。続いて、ステップＳ１００４により、被写体検出処理部２０１から取り込んだ検出被写体情報を形成する検出個別被写体情報と、読み込んだ静止被写体情報を形成する個別被写体情報とを利用して、図３１のステップＳ８０５と同様の被写体選別処理を実行する。
また、この場合の被写体選別処理部２０３は、ステップＳ１００５により、自身の被写体選別処理結果として、選別された個別被写体が残っているか否かについての判別を行うこととしている。ここで否定の判別結果が得られた場合には、ステップＳ１０１８により被写体探索のためのパン・チルト・ズーム制御を指示して、ステップＳ１００１に戻る。なお、このステップＳ１０１８の被写体探索の指示も、ここでは被写体選別処理部２１１が実行するものとして構成してよい。
これに対してステップＳ１００５において肯定の判別結果が得られたのであれば、ステップＳ１００６以降の手順に進む。
なお、この場合において、ステップＳ１００４の被写体選別処理のために、被写体選別処理部２１１が被写体検出処理部２０１から取り込む検出被写体情報は、例えば被写体検出処理部２０１が実行した最後の被写体選別処理により得られたものとなる。これに対して、このときに静止被写体情報保持部２１０にて保持されている静止被写体情報は、上記最後の被写体選別処理より前のタイミングで実行された最後の静止検出処理と、これより以前に行われた静止検出処理により得られたものとなっている。このような被写体選別処理と、静止検出処理との間での処理タイミングのずれは、以降の説明から分かるように、この場合の静止検出処理部２０２は、被写体選別処理部２１１の被写体選別処理結果として得られる、選別された検出個別被写体情報を対象に静止被写体検出を行うことにより生じるものとされる。
従って、この場合の被写体選別処理部２１１が被写体選別処理によって選別した個別被写体には、今回の被写体選別処理のために取り込んだ検出個別被写体情報を得るための被写体検出処理よりも前のタイミングで行われた静止検出処理により検出された（静止被写体情報保持部２１０に登録された）静止被写体については除外されているが、最後の被写体検出処理の対象となった撮像画像データにはじめて現れたもので、未だ静止被写体情報保持部２１０には未登録の非現実被写体は、除外されることなく選別されて残っている可能性がある。
そこで、次に述べるようにして、静止被写体情報保持部２１０は、静止被写体の検出と、これに応じた静止被写体情報保持部２１０への登録処理を実行するとともに、静止被写体の検出結果を用いて、被写体検出処理部２１１を経るまでの段階では除外されずに残っている非現実被写体を、この段階で改めて除外する。
ここでの静止検出処理部２０２が実行するものとされる処理は、ステップＳ１００６〜Ｓ１０１２となる。
先ず、ステップＳ１００６では、被写体選別処理部２１１にて選別された個別被写体（現実被写体の候補）に付す番号を示す変数ｎについて、１を代入する初期化を行う。
次に、ステップＳ１００７においては、ｎ番目の個別被写体について静止検出処理を実行する。このときの静止検出処理は、例えば所定の検出期間内において、被写体選別処理部２１１から取り込むｎ番目の個別被写体についての検出個別被写体情報の変化（例えば絶対位置情報の変化）を検出し、その変化量に基づいて、ｎ番目の個別被写体は静止被写体であるか否かの判定を行うようにして実行される。
ステップＳ１００８では、上記ステップＳ１００７による静止検出処理の結果として、ｎ番目の個別被写体が静止被写体として検出されたか否かを判別することとしている。
ステップＳ１００８にて肯定の判別結果が得られた場合には、ステップＳ１００９に進んで、ｎ番目の個別被写体に対応する検出個別被写体情報を静止被写体情報保持部に対して登録したうえでステップＳ１０１１に進む。これに対して、否定の判別結果が得られたのであれば、ステップＳ１０１０に進み、ｎ番目の個別被写体を、後段の構図判定処理の対象である対象個別被写体として設定して、ステップＳ１０１１に進む。
ステップＳ１０１１においては、現在の変数ｎについて最大値以上であるか否かについての判別を行い、否定の判別結果が得られている限りは、未だ静止検出処理の対象となる個別被写体が残っているとして、ステップＳ１０１２により変数ｎについてインクリメントしたうえで、ステップＳ１００７に戻る。
これに対して、ステップＳ１０１１にて肯定の判別結果が得られた場合には、静止検出処理の対象となる個別被写体の全てについての静止検出処理を完了したことになるので、ステップＳ１０１３以降の手順に進む。
ステップＳ１０１３は、例えば構図判定処理部２０３が実行するものとしてみることができる。
ステップＳ１０１１にて肯定の判別結果が得られた段階では、ステップＳ１０１０までの手順が実行されていることにより、対象個別被写体として設定された個別被写体についての検出個別被写体情報が、構図判定処理部２０３にて取り込まれている状態にある。そこで、ステップＳ１０１３においては、構図判定処理部２０３は、検出個別被写体情報の取り込み状況から、対象個別被写体が存在するか否かについて判別する。このときに構図判定処理部２０３が、対象個別被写体として有効な検出個別被写体情報を、１つも取り込んでいなければ、ステップＳ１００３では否定の判別結果が得られ、１つでも取り込んでいれば、肯定の判別結果が得られる。
ステップＳ１０１３にて否定の判別結果が得られた場合には、構図判定処理を実行する必要性は無い。そこで、この場合には、ステップＳ１０１８により被写体探索を指示したうえで、ステップＳ１００１に戻る。このときのステップＳ１０１８は、例えば構図判定処理部２０３が実行するものとしてみればよい。
これに対して、ステップＳ１０１３において肯定の判別結果が得られた場合には、ステップＳ１０１４以降の手順を実行する。
ステップＳ１０１４〜Ｓ１０１７は、図３１におけるステップＳ８０７〜Ｓ８１０と同様となる。つまり、構図判定処理部２０３は、対象個別被写体の検出個別被写体情報に基づいて構図判定処理を実行し、この判定結果に応じてパン・チルト・ズーム制御ブロック６３により、構図合わせのためのパン・チルト・ズーム制御を実行させる。そして、このパン・チルト・ズーム制御により撮像視野角が変化された結果、構図がＯＫであると判定されたのであれば、レリーズ動作を指示して、そのときの撮像画像データから静止画像データを取り出して記録させる。
ところで、先に述べたように、本実施の形態では、被写体情報保持部２１０に保持されている静止被写体情報を利用して被写体選別処理を適正に実行できるようにするために、検出個別被写体情報において、その個別被写体の位置を示す位置情報としては、絶対位置情報であることとした。そこで、ここでは、この絶対位置情報を求めるための手法例について説明していくこととする。
図３６（ａ）は、雲台１０と、これに取り付けられているデジタルスチルカメラ１とを平面から見ている。また、この図においては、デジタルスチルカメラ１は、雲台１０のパン機構部５３によるパン方向（横方向）における可動範囲内において、基準として設定した位置（基準位置：例えば可動範囲における中間位置）にあるものとされる。基準線Ｌは、デジタルスチルカメラ１がこのパン方向における基準位置に在るとした場合において、そのレンズ部３（光学系部２１）の光軸（撮像光軸）と一致、平行となる線である。
また、ここでは、設定している画角（ズーム角）を、画角中央angC、画角左端angL、画角右端angRにより表現している。なお、画角中央angCは、デジタルスチルカメラ１の撮像光軸と一致するものであり、画角中央angCから画角左端angLまでの角度の大きさと、画角中央angCから画角右端angRまでの角度の大きさは同じになる。
なお、ここで設定されている画角は、被写体探索動作の実行時において設定される画角であるとする。被写体探索時においては、できるだけ効率よく被写体が探索（検出）できるようにすることを配慮して、広めであるとしてみることのできる所定の画角に設定される。
また、このデジタルスチルカメラ１及び雲台１０が設置されている周囲において、図示するように、デジタルスチルカメラ１に対して、紙面上で右手前となる方向の位置に１つの被写体ＳＢＪｓが存在しているものとする。
例えば、ここで被写体探索のために、デジタルスチルカメラ１を、パン方向において、上記図３６（ａ）に示す位置状態から、図の紙面上で時計周りの方向に回転させるようにして動かしていったとする。すると、あるときに図３６（ｂ）に示すようにして、被写体ＳＢＪｓが画角右端angRに対応する画角内の限界位置にはじめて収まる状態が得られることになる。このときのパン角度、即ち、基準線Ｌから撮像光軸（画角中央angC）との間の角度は、αleft°により表している。また、このときに実際に得られるとされる撮像画像では、被写体ＳＢＪｓは、画枠内において最も右に寄っている状態となる。
また、図３６（ｂ）の状態から、さらに図の紙面上で右（時計方向）にデジタルスチルカメラ１を回転させるようにして動かしていったとすると、ある時に、図３６（ｃ）に示すようにして、被写体ＳＢＪｓは、画角左端angLに対応する画角内の限界位置に在る状態で撮像される状態に至ることになる。ときのパン角度はαright°により表している。また、このときの撮像画像では、被写体ＳＢＪｓは、画枠内において最も左に寄っている状態となる。
被写体探索時においては上記のような状況が当然に生じることに基づいて、絶対位置情報を求めるための手法の１つとしては、次のようなものを考えることができる。
例えば、上記図３６（ａ）から図３６（ｂ）への遷移へと示すようにして、はじめて撮像画像の画枠内に被写体ＳＢＪｓが現れてこれが被写体として検出されたタイミングで静止検出を実行し、その静止検出結果に基づいて、この被写体ＳＢＪｓが静止被写体であるか否かを判定するようにする。ここでは、被写体ＳＢＪｓは非現実被写体であるとしているから、静止被写体であるとして判定されることになる。このようにして静止被写体であると判定したのであれば、この被写体ＳＢＪｓについての検出個別被写体情報として、画枠内に被写体ＳＢＪｓがはじめて現れたときのパン角度αleftを含めるようにされる。そして、この検出個別被写体情報を、静止被写体情報保持部２１０に登録するようにされる。そして、例えば被写体選別処理では、静止被写体情報において示されるパン角度が得られているときに、はじめて画枠内に入ってきて検出される個別被写体については、選別対象から除外するという処理を実行させる。なお、この被写体選別処理を被写体探索時においてのみ実行させることとすれば、パン角度も被写体探索時の画角のもとで得られたものであるから、被写体選別は適正に行われる。
このようにして、上記の処理にあっては、静止被写体として検出される個別被写体がはじめて撮像画像の画枠内に収まることとなるパン角度（パン位置）を、絶対位置情報として扱うようにされる。
なお、上記の被写体選別処理では、そのときのパン角度を認識する必要があるが、これについては、例えば雲台１０からパン位置に相当する情報を受け取るようにすればよい。パン位置（パン回転角度）の情報としては、例えばパン用モータ５７がステッピングモータであれば、駆動パルス信号の入力数に基づいて得ることができる。また、ステッピングモータ以外であっても、駆動信号が与えられた時間、モータに付加したセンサなどからの情報、モータのフィードバック制御により得られる情報などを用いて得ることができる。
また、被写体選別処理時において、例えば被写体ＳＢＪｓについての絶対位置情報としてのパン角度を求めたときと異なる画角が設定されている状況であっても、そのときに現に設定されている画角と、絶対位置情報のパン角度を求めたときの画角との比に基づいて、そのときに被写体ＳＢＪｓがはじめて画角に現れるパン角度を求めることができる。絶対位置情報のパン角度を求めたときの画角については、例えば、絶対位置情報のパン角度を求める処理が被写体探索時においてしか行われないのであれば、被写体探索時に設定される所定の画角を用いればよい。また、絶対位置情報のパン角度を求める処理が、被写体探索時以外にも行われる、あるいは被写体探索時においても画角が変更される可能性があれば、絶対位置情報としてパン角度と共に、そのときの画角情報も含めるようにすればよい。
また、例えば、パン角度αright°よりも大きなパン角度の状態から、図の紙面のおける反時計方向にデジタルスチルカメラ１を回転移動させていけば、図３６（ｃ）の状態となって、撮像画像の画枠内の最も左に被写体ＳＢＪｓが現れることになる。これに対応しては、静止被写体ＳＢＪｓの絶対位置情報は、パン角度αright°とすることになる。
また、絶対位置情報としては、次のようなものも考えることができる。
上記図３６によれば、被写体ＳＢＪｓは、パン角度αleft°〜αright°までのパン位置の範囲において撮像されて、撮像画像の画枠内において例えば見切られることなく収まっていることになる。
そこで、この被写体ＳＢＪｓの絶対位置情報として、上記したパン角度αleft°、αright°のような点としての情報ではなく、パン角度αleft°〜αright°までの角度範囲を示す情報とすることが考えられる。
そして、上記図３６により説明した絶対位置情報は、同じく、チルト方向に対応しても持つようにされる。つまり、上記図３６に準じて、チルト角度（チルト位置）を同様に求める。このようにして、実際においては、絶対位置情報としてパン角度の情報とチルト角度の情報（パン・チルト位置情報）を得るようにされる。
ただし、場合によっては、パン方向とチルト方向のいずれかのみが可変とされる雲台１０の構成を考えることもできるが、この場合には、可変となる方向に応じて、パン角度とチルト角度のいずれかを絶対位置情報とすればよい。この点については、次に説明する絶対位置情報に関しても同様である。
さらに、絶対値情報については、次のようにして求めることもできる。
図３７（ａ）は、デジタルスチルカメラ１が、基準線Ｌに対して時計回りの方向にパン角度αx°分回転した位置にあって、かつ、水平画角内において被写体ＳＢＪｓが撮像されている状態が示されている。この場合において、水平画角はθx°により表しており、また、被写体ＳＢＪｓは、中心画角angCから反時計回りの方向に角度βx°だけ回転した角度に対応する線上に、その水平方向における中心位置（重心）が対応するようにして位置している。
また、図３７（ａ）によると、被写体ＳＢＪｓは、基準線Ｌを基準とすると、ここから時計回りの方向に角度γx°だけ回転した位置に対応する線上に、その水平方向における中心位置（重心）が対応するようにして位置しているということがいえる。
ここで、基準線Ｌは、そのときの雲台１０の配置の状態に応じて決まる絶対的なものとなる。従って、上記の角度γx°によって示される被写体ＳＢＪｓの位置は、基準線Ｌを基とする絶対的なものとなる。つまり、絶対位置情報として扱うことができる。なお、以降、この角度γx°のようにして、被写体の絶対的位置を示し得る角度については、絶対位置対応角度ということにする。また、角度βx°については、そのときのパン角度αx°のもとで、中心画角angCを基にして決まる被写体ＳＢＪｓの位置を示すものであるから、相対位置対応角度ということにする。
そして、絶対位置対応角度は、下記のようにして求めることができる。
図３７（ｂ）は、上記図３７（ａ）に示した位置状態のデジタルスチルカメラ１により撮像して得られる撮像画像を示している。
ここで、撮像画像の画枠３００における水平画枠サイズ（例えば画素数により表現できる）をCxとし、この水平画枠サイズにおける中点を通過する垂直線をＭとして、この垂直線Ｍを撮像画像の画枠における水平方向の基準（Ｘ軸座標の基準：Ｘ＝０）とする。水平方向に沿ったＸ軸座標としては、垂直線Ｍより右の領域が正となり、左の領域が負となる。そして、撮像画像の画枠３００内において存在する被写体ＳＢＪｓについての、水平方向における座標値はＸ＝aとして表している。なお、図３７（ｂ）の場合のＸ座標値aは、負の数となる。
ここで、図３７（ｂ）における被写体ＳＢＪｓの重心までのＸ座標の座標値aと水平画枠サイズCxとの関係（比）は、図３７（ａ）における相対位置対応角度βx°と水平画角θx°との関係（比）に相当する。
よって、相対位置角度βx°は、
βx°＝（a/Cx）*θx・・・（式１）
により表される。
また、図３７（ｂ）によれば、パン角度αx°、相対位置対応角度βx°、及び絶対位置対応角度γx°の関係は、
αx°＝γx°−βx°・・・（式２）
で表される。
よって、絶対位置対応角度γ°としては、下記のようにして求めることができる。
γx°＝（a/Cx）*θx°＋αx°・・・（式３）
つまり、絶対位置対応角度γ°は、水平画枠サイズCx、撮像画像の画枠内における被写体ＳＢＪｓのＸ座標値a、水平画角θx°、及びパン角度αx°のパラメータにより求められることになる。
ここで、上記パラメータのうち、水平画枠サイズCxは既知であり、撮像画像の画枠内における被写体ＳＢＪｓのＸ座標値βは、撮像画像内にて検出される被写体についての水平方向における位置情報に他ならないから、本実施の形態の被写体検出処理により得ることできる。また、水平画角θx°の情報は、画角（ズーム）制御の情報に基づいて得ることができる。より具体的には、例えば光学系部２１が備えるズームレンズのズーム倍率１倍を設定しているときの標準画角の情報を保持しておいたうえで、ズーム制御に応じて得られるズーム位置と、上記標準画角とを利用して求めることができる。また、パン角度αx°についてもパン制御の情報として得ることができる。
このようにして、本実施の形態の撮像システムでは、絶対位置対応角度γx°について、特に支障なく簡単に求めることができる。
また、このような絶対位置対応角度は、画枠３００の端に対応した限界位置付近ではなく、画枠３００におけるより内側の領域にて被写体を検出しているときにも、上記のパラメータさえ取得できれば的確に求めることができる。従って、動きのある現実被写体についても、逐次、追跡するようにして、その絶対位置対応角度を求めていくことが可能である。
そして、例えば実際の被写体探索時においては、検出個別被写体のうちで、静止被写体であるものが検出されると、この検出された静止被写体を、上記図３７の被写体ＳＢＪｓとして扱って、上記の水平画枠サイズCx、撮像画像の画枠内における被写体ＳＢＪｓのＸ座標値であるa、水平画角θx°、及びパン角度αx°のパラメータから、この静止被写体についての絶対位置対応角度γx°を求めるようにすればよい。
また、実際においては、同様にして、垂直方向における絶対位置対応角度（γy°）も求めるようにされる。確認のために、垂直方向における絶対位置対応角度γy°は、垂直画枠サイズCy、撮像画像の画枠内における被写体ＳＢＪｓのY座標値b（垂直画枠サイズCyの中点をY=0とする）、垂直画角θy°、及びチルト角度αy°のパラメータにより、
γy°＝（b/Cy）*θy°＋αy°・・・（式４）
により求めることができる。
続いて、上記のようにして得られる絶対位置情報を利用した被写体選別処理のための構成例について、図３８を参照して説明する。なお、確認のために述べておくと、この処理は、先に挙げた、図２９、図３２、図３４のいずれの構図判定ブロック６２にも適用できる。また、ここでの説明にあたっては、図３８により説明した、絶対位置対応角度としての絶対位置情報を採用する場合を採り上げることとする。
図３８に示す被写体選別処理部２１１は、被写体位置算出部２２１と選別処理部２２２とから成るものとしている。なお、図２９、図３２、図３４との対応では、例えば被写体選別処理部２１１については被写体検出処理部２０１に含まれ、選別処理部２２２については被写体選別処理部２１１に含まれるものとしてみることができる。
被写体検出処理部２２１では、撮像画像データを対象とする被写体検出処理により、先ず、検出個別被写体ごとの検出個別被写体情報における位置情報（検出個別被写体位置情報）として、撮像画像内での位置情報（撮像画像内位置情報）を取得することになる。この撮像画像内位置情報は、撮像画像としての画枠内におけるＸ座標値、Ｙ座標値により表現される。従って、例えば撮像画像内位置情報は、検出個別被写体１〜ｎに対応して、（X1，Y1）（X2，Y2）・・・（Xn，Yn）のようにして得られるものとなる。
被写体位置算出部２２１は、検出個別被写体ごとの位置情報として、上記の撮像画像内位置情報を取り込むこととしている。
また、被写体位置算出部２２１は、そのときのパン角度αx°、チルト角度αy°の情報と、画角情報として水平画角θx、垂直画角θyの情報を取り込む。これの情報は、図３８での説明のようにして得ることができる。
そして、被写体位置算出部２２１は、これらの情報（パラメータ）を利用して、検出個別被写体ごとの絶対位置情報として、図３８にて説明したようにして水平（パン）方向における絶対位置対応角度（水平絶対位置対応角度γx°）と、垂直（チルト）方向における絶対位置対応角度（垂直絶対位置対応角度γy°）を演算により求める処理を実行する。
このようにして求められた検出個別被写体ごとの絶対位置情報（水平・垂直絶対位置対応角度）は被写体選別処理部２１１にあるとされる選別処理部２２２に対して渡される。
選別処理部２２２は、静止被写体情報保持部２１０にて保持されている静止被写体情報として、この静止被写体情報を形成する静止被写体ごとの個別被写体情報のうちから、位置情報（静止被写体位置情報）を取り込む。
ここで、上記静止被写体位置情報の各々は、画角内におけるＸ，Ｙ座標により表現されるものではなく、絶対値位置情報（水平・垂直絶対位置対応角度）により表現されるものとされる。
このための仕組みは、例えば次のようになる。つまり、図２９（ａ）に示される静止検出の構成を例に採ると、被写体検出処理部２０１では、静止検出処理部２０２に渡すべき検出個別被写体情報位置情報として、上記被写体位置算出部２２１により算出した絶対位置情報（水平・垂直絶対位置対応角度）を含めるようにされる。そして、静止検出処理部２０２は、検出した静止被写体ごとの個別被写体情報を静止被写体情報保持部２１０に保持させるのにあたり、その個別被写体情報に、上記の絶対値位置情報を含めるようにされる。これにより、図３８の選別処理部２２２は、静止被写体情報保持部２１０から、静止被写体として登録されている被写体ごとの位置情報として、絶対値位置情報を取り込むことができる。
選別処理部２２２は、上記のようにして、静止被写体情報保持部２１０に保持されているｍ個の静止被写体ごとの静止被写体位置情報として、絶対位置情報である水平・垂直絶対位置対応角度（γx°1，γy°1）（γx°2，γy°2）・・・（γx°m，γy°m）と、被写体位置算出部２２１から渡される、撮像画像データから検出された検出個別被写体ごとの絶対位置情報である水平・垂直絶対位置対応角度とを比較する。そして、この比較結果として、静止被写体と同じであるとみなされる絶対位置情報を持つ検出個別被写体は、対象として除外して、静止被写体とは異なるとしてみなされる絶対位置情報を持つ検出個別被写体を、対象個別被写体として選別する。そして、このようにして選別した対象個別被写体位置情報を、構図判定処理部２０３に渡す。なお、ここで構図判定処理部２０３に渡すべき位置情報は、絶対位置情報とされてもよいが、画枠内での構図判定に利用されるのであるから、撮像画像内位置情報であることが構図判定処理にとっては扱いやすいので好ましい。この図に示される構成との対応であれば、選別処理部２２２が例えば被写体位置算出部２２１から撮像画像内位置情報を受け取るようにすれば、構図判定処理部２０３に撮像画像内位置情報を渡すことができる。
また、ここで写体選別処理の変形例として、被写体検出処理によって、例えば顔の特徴などを検出することによって、被写体ごとの個別認識（個人認識、固体認識）が可能とされる場合の構成例を図３９に示す。なお、この図に示す構成は、例えば被写体選別処理部２１１が備えるものとしてみることができる。
この場合の被写体検出処理部２０１は、上記のようにして被写体検出処理として、検出個別被写体ごとの画像の特徴を検出することなどにより個別認識を行うようにされている。このような個別認識のための技術は、ここでは特に限定されるべきものではなく、例えばこれまでに知られているものを採用すればよい。
このような被写体検出処理によって得られる検出個別被写体情報としては、例えばこれまでに説明した位置情報をはじめとする情報のほかに、個別認識を可能とするための属性情報（例えばその個別被写体の画像的特徴を表す情報）を含めるようにされる。
そこで、図３９における選別処理部２２３は、被写体検出処理部２１１から、検出個別被写体ごとの検出個別被写体情報として、上記した検出個別被写体ごとの属性情報（検出個別被写体属性情報）を取り込む。
また、この場合において、静止被写体情報保持部２１０が保持する静止被写体ごとの個別被写体情報にも、上記の属性情報が含まれるようにする仕組みを与えておくこととする。この仕組みは、例えば図３８において説明した、静止被写体ごとの個別被写体情報に、絶対位置情報を含めるための構成に準ずればよい。
選別処理部２２３は、検出個別被写体属性情報とともに、静止被写体情報保持部２１０から、静止被写体ごとの個別被写体情報に含まれる属性情報（静止被写体属性情報）を取り込む。
そして、選別処理部２２３は、上記検出個別被写体が持つ属性情報と、静止被写体属性情報とを比較して、静止被写体属性情報と一致するとみなされる検出個別被写体を除外して、静止被写体属性情報と一致しないとみなされる検出個別被写体を選別する。そして選別結果として、選別された検出個別被写体に対応する検出個別被写体属性情報を、位置情報変換部２２４に対して出力する。
ここで、検出個別被写体属性情報には、同じ検出個別被写体情報において含まれる位置情報と対応付けるタグ、IDの機能を持つ情報（対応データ）を含ませているとする。
位置情報変換部２２４は、選別処理部２２３から出力される検出個別被写体属性情報と、全ての検出個別被写体の検出個別被写体位置情報とを取り込む。そして、取り込んだ検出個別被写体位置情報のうちから、選別処理部２２３から取り込んだ検出個別被写体属性情報と対応付けられているものを選択する。そして、選択した検出個別被写体位置情報を、対象個別被写体位置情報として、構図判定処理部２０３に対して出力する。
続いては、これまでに述べてきた実施の形態の撮像システム（デジタルスチルカメラ１、雲台１０）による構図判定処理、及び構図合わせの制御（構図制御）についてのより具体的な例について、説明していくこととする。
なお、ここで挙げる例は、あくまでも一例であって、例えば静止被写体（非現実被写体）を除外した現実被写体のみを対象とする限り、構図制御の具体例については多様に考えることができるものである。
先ず、図４０を参照して、被写体検出処理部２０１が実行するとされる被写体検出処理のより具体的な例を挙げておく。なお、ここでは顔検出を基とした被写体検出を行うことを前提とする。
ここで、被写体検出処理部２０１が、図４０（ａ）に示す画内容の撮像画像データを取り込んだとする。この撮像画像データの画内容としては、人としての被写体が１つ存在した画を撮影して得られたものである。また、図４０（ａ）（及び図４０（ｂ））には、１画面をマトリクス状に区切った状態を示しているが、これは、撮像画像データとしての画面が、所定数による水平・垂直画素の集合から成るものであることを模式的に示している。
図４０（ａ）に示す画内容の撮像画像データを対象に被写体検出（顔検出）を行うことによっては、図において示される１つの個別被写体ＳＢＪの顔が検出されることになる。即ち、顔検出処理によって１つの顔が検出されることを以て、ここでは１つの個別被写体が検出されることとしている。そして、このようにして個別被写体を検出した結果としては、個別被写体の数、向き、位置、サイズの情報を得るようにされる。
また、個別被写体数に関しては、例えば顔検出により検出された顔の数を求めればよい。図４０（ａ）の場合には、検出される顔が１つであるから、個別被写体数としても１であるとの結果が得られる。
また、個別被写体ごとの位置情報としては、先に述べたように、画枠内の位置情報、また絶対位置情報となるが、これらの位置情報が具体的に示すものとしては、個別被写体ＳＢＪの重心であることとする。
例えば、撮像画像の画枠内における個別被写体ＳＢＪの重心Ｇとしては、先にも述べたように、（X,Y）により表現されることになる。なお、確認のために、この場合の重心Ｇ（X,Y）の基準となる撮像画像データの画面上のX,Y原点座標Ｐ(0,0)は、例えば図４１に示すようにして、画面サイズに対応したX軸方向(水平方向)の幅(水平画サイズ)Cxの中間点と、Y軸方向（垂直方向）の幅(垂直画サイズ)Cyの中間点との交点であることとしている。
また、この重心Ｇについての個別被写体の画像内における位置の定義であるとか、重心Ｇをどのようにして設定するのかについては、例えばこれまでに知られている被写体重心検出方式を採用することができる。
また、個別被写体ごとのサイズについては、例えば顔検出処理により顔部分であるとして特定、検出される領域の画素数を求めるようにすればよい。
また、個別被写体ごとの顔方向に関しては、先にも述べたように、顔検出処理に基づいて、例えば左、右の何れであるのかが検出されることになる。
また、図４０（ｂ）に示す撮像画像データを取り込んで被写体検出処理部２０１が被写体検出処理を実行したとされると、先ずは、顔検出により２つの顔の存在することが特定されることになるので、個別被写体数については２であるとの結果が得られることになる。ここでは、２つの個別被写体のうち、左側を個別被写体ＳＢＪ０、右側を個別被写体ＳＢＪ１として識別性を持たせている。また、個別被写体ＳＢＪ０、ＳＢＪ１ごとに求めた重心の座標については、それぞれ、Ｇ0(X0，Y0)、Ｇ1(X1,Y1)として示されている。
また、このようにして、２以上の個別被写体が検出される場合には、これら複数の個別被写体をひとまとまりの被写体（総合被写体）としてみた場合の重心である、総合被写体重心Ｇｔ（Xg,Yg）を求めるようにされる。
この総合被写体重心Ｇｔをどのようにして設定するのかについては、いくつか考えることができるが、ここでは、最も簡易な例として、検出された複数の個別被写体のうちで、画面の左端と右端の両端に位置する個別被写体の重心を結ぶ線分上の中間点を総合被写体重心Ｇｔとして設定した場合を示している。この総合被写体重心Ｇｔは、例えば後述するようにして構図制御において利用することができる情報であり、個別被写体の重心の情報が取得されれば演算により求められる情報である。従って、総合被写体重心Ｇｔについては、被写体検出処理部２０１により求め、これを検出情報として出力することとしてもよいが、構図制御処理ブロック６２が、検出情報として取得した個別被写体の重心の位置を示す情報のうちから、左右両端に位置する個別被写体の重心に関する情報を利用して求めるようにしてもよい。
なお、ほかには例えば、複数の個別被写体のサイズに応じて重み付け係数を与え、この重み付け係数を利用して、例えばサイズの大きな個別被写体に総合被写体重心Ｇｔの位置が近くなるように配慮した設定手法も考えることができる。
また、個別被写体のサイズについては、例えば個別被写体ＳＢＪ０、ＳＢＪ１ごとに、その検出された顔が占有するとされる画素数を求めることとすればよい。
そして、本実施の形態としては、上記のようにして検出した個別被写体について、先に説明したようにして、現実被写体と非現実被写体（静止被写体）との間での選別を行い、現実被写体として選別したものを、構図判定対象に適う対象個別被写体として設定する。
続いては、図４２〜図４４を参照して、本実施の形態における第１例としての構図制御により得られる構図についての説明を行う。
確認のために、ここでの構図制御とは、構図判定処理と、この構図判定処理により判定した最適構図となるように構図合わせを行うための制御処理とを合わせていう。
図４２には、被写体検出処理、被写体選別処理の結果として、撮像画像データの画枠内において、１つの対象個別被写体ＳＢＪｓ０の存在が検出された場合を示している。
なお、例えばこの図に示される画枠内においては、実際には、非現実被写体として検出された個別被写体が存在している可能性があるが、ここでは、例えば図を見やすくすることの便宜などを考えて、ここでの非現実被写体の図示は省略している。
また、本実施の形態にあっては、デジタルスチルカメラ１を取り付けた雲台１０を通常に設置した場合には、横長の画像が撮像されるようにしてデジタルスチルカメラ１の向きが設定される。従って、第１例や後述する第２例の構図制御にあっては、撮像により横長の画像が得られることを前提とする。
上記図４２に示したようにして１つの対象個別被写体が検出された場合には、まず、この対象個別被写体ＳＢＪｓ０の撮像画像データの画面内における占有率が、最適とみなされる所定値となるように対象個別被写体のサイズを変更する。例えば、対象個別被写体が検出された段階において、この対象個別被写体の画面内における占有率が上記の所定値より小さい場合、対象個別被写体の占有率が所定値にまで大きくなるように画角を狭くしていくズーム制御を実行させる。また、対象個別被写体の画面内における占有率が所定値より大きい場合には、対象個別被写体の占有率が所定値にまで小さくなるように画角を広くしていくズーム制御を実行させる。このようなズーム制御により、構図として先ずは、対象個別被写体が１つの場合における被写体サイズが適正となるようにされる。つまり、先ずは構図として、被写体の最適サイズを判定し、この最適サイズとなるようにして構図合わせを行うものである。
次に、対象個別被写体が１つの場合における画面上での被写体の位置(被写体位置)は、次のようにして調整する。
構図判定としてこの被写体位置の判定に関しては、検出された顔方向の情報を利用する。この図４２の場合の対象個別被写体ＳＢＪｓ０は、顔方向が左であるとして検出されているものとする。このとき、この図４２に示される画内容の画面を実際に見たとした場合、これを見る者からは、画面において、対象個別被写体ＳＢＪｓ０の顔が左側を向いているようにして見えることになる。ちなみに、この対象個別被写体ＳＢＪｓ０としての実際の人物自身は、現実には、撮像を行った撮像装置と相対する方向を正面として、これより右側を向いていることになる。
また、この被写体位置調整にあたっては、画像中の原点座標Ｐ(0,0)を通過する垂直線、即ちＹ軸線と一致する直線であって、被写体位置調整の基準線となる画像領域分割線Ｌｄを仮想的に設定する。
そして、この場合のようにして顔方向が左であると検出された場合には、対象個別被写体ＳＢＪｓ０の重心Ｇが、上記画像領域分割線Ｌｄに対応する位置（Ｘ＝０）から、水平オフセット量Δｘで表される右方向への移動量に従って移動させた位置（水平シフト位置）となるのが最適構図であると判定する。そして、この位置に上記重心Ｇを配置させるための構図合わせを行う。このためには、重心Ｇが、上記水平シフト位置にくるようにして、雲台１０のパン機構を駆動させる制御を実行する。
一般に、被写体を画面の中央に位置させた構図は、良くない構図の典型とされている。そこで、例えば三分割法であるとか黄金率法などに代表されるようにして、画面中央から在る規則に従って被写体の位置をずらした方が、良い構図が得られるものとされている。本実施の形態としては、このような構図決定の手法に従い、先ずは、画面水平方向における個別被写体ＳＢＪの位置(重心Ｇ)について、画面中央に対して一定量（水平オフセット量Δｘ）だけ移動させるようにしているものである。
そのうえで、さらに、本実施の形態では、図４２に例示するように、対象個別被写体の顔方向が左であれば、その重心Ｇの水平方向における位置について、Ｙ軸線に沿った画像領域分割線Ｌｄにより２分割される左右の画像領域(分割領域)のうちで、顔方向が示す「左」とは反対側の「右」側の画像領域に在るようにさせることで、画面においては、検出被写体ＳＢＪの顔が向いている方向である左側において空間が得られるようにしている。このような構図とすることで、例えば、顔方向が左であるとされる対象個別被写体ＳＢＪｓの重心Ｇを、左右方向における画面中央に対応させた(一致させた)被写体位置とする場合や、画像領域分割線Ｌｄに対して左方向の画像領域とするような場合と比較して、より良好な構図を得ることができる。
本実施の形態における水平オフセット量Δｘとしての実値を決定するアルゴリズムについては多様に考えられるが、ここでは、三分割法に基づいて行うものとしている。三分割法は、最も基本的な構図設定手法の１つであり、方形の画面を垂直方向と水平方向のそれぞれに沿って三等分する仮想線上に被写体を位置させることにより良好な構図を得ようとするものである。
例えば、図４２は、水平画枠サイズCxを三等分するようにされた画面縦方向に沿った２本の仮想線のうち、右側の仮想線上において重心Ｇが位置するようにして、水平オフセット量Δｘが設定されているものである。これにより、個別被写体の顔方向に応じた水平方向における被写体位置として最適とされる構図の１つが得られることになるわけである。
また、図示による説明は省略するが、１つの対象個別被写体ＳＢＪｓについて、顔方向について右であることが検出されている場合には、図４２に示される位置に対して、画像領域分割線Ｌｄを基準にして線対称となる水平位置に対象個別被写体ＳＢＪｓの重心Ｇが位置するようにされる。つまり、この場合の水平オフセット量Δｘとしては、図４２の場合の実値の正／負を反転した値が設定され、この水平オフセット量Δｘに基づいたパン制御が行われる。
また、図４３（ａ）のように、２つの対象個別被写体ＳＢＪｓ０、ＳＢＪｓ１の存在が検出された場合には、構図制御として、先ず、対象個別被写体ＳＢＪｓ０、ＳＢＪｓ１の画像部分の集合から成るとされる総合被写体画像部分のサイズ（例えば画面全体に対する被写体画像部分の占有率としても捉えることができる）について、例えば対象個別被写体数が２である場合に対応して最適であるとして設定（判定）された値となるようにして調整(ズーム制御)を行う。
なお、上記の総合被写体画像部分をどのようにして定義してそのサイズを求めるのかについてはいくつか考えられるが、例えば、検出された複数の対象個別被写体ごとの画像部分のサイズを足し合わせるようにして求めることができる。あるいは、検出された複数の個別被写体が全て含まれるようにして仮想的に描いた線により囲まれる画像部分のサイズとして求めることも考えられる。
また、これら２つの対象個別被写体ＳＢＪｓ０、ＳＢＪｓ１についての水平方向における被写体位置に関しては、これら２つの対象個別被写体ＳＢＪｓ０、ＳＢＪｓ１ごとの顔方向の情報を利用する。
この図４３（ａ）に示される２つの対象個別被写体ＳＢＪｓ０、ＳＢＪｓ１の顔方向は、何れも左であると検出されているものとする。つまり、２つある対象個別被写体の全ての顔方向が同一とされており、これらの顔方向がこの場合には左とされているものである。
この場合には、図４２に示した１つの対象個別被写体ＳＢＪｓの顔方向が左であった場合に準じて、画面左側に空間ができるように、対象個別被写体ＳＢＪｓ０、ＳＢＪｓ１から成る総合被写体画像部分を、顔方向が示す「左」とは反対となる、画像領域分割線Ｌｄの右側に寄せて位置させるようにする。つまり、この被写体配置が最適構図であるとしてこの場合には判定されているものである。このためには、例えば図示しているように、右側に所定量ずらすための水平オフセット量Δｘを設定した上で、２つの対象個別被写体ＳＢＪｓ０、ＳＢＪｓ１から成る総合被写体画像部分の重心である、総合被写体重心Ｇｔについて、画像領域分割線Ｌｄである原点座標Ｐ(0,0)を通過する垂直線（Ｙ軸線）から水平オフセット量Δｘだけ移動した位置にくるように、パン制御を行うようにされる。
また、図示はしていないが、２つの対象個別被写体ＳＢＪｓ０、ＳＢＪｓ１の顔方向が何れも右で同一である場合には、図４３（ａ）の位置に対して、画像領域分割線Ｌｄを基準にして線対称となる位置（Ｙ軸線に対して左側の画面領域において同じ水平オフセット量Δｘの絶対値分移動した位置）に総合被写体重心Ｇｔが在る状態を最適構図として判定するので、この状態となるようにしてパン制御を行うことになる。
ただし、このように対象個別被写体が複数である場合において、対象個別被写体数が１の場合のときに最適とされる水平オフセット量Δｘを与えたとすると、右（あるいは左）に寄りすぎた印象の構図となりやすい。そこで、図４３（ａ）に示されるように対象個別被写体数が２の場合においては、水平オフセット量Δｘについては、図４２に示した対象個別被写体数が１の場合よりも小さい値（絶対値）を所定規則によって設定（判定）することとしている。
また、図４３（ｂ）には、２つの対象個別被写体ＳＢＪｓ０、ＳＢＪｓ１について検出された顔方向が、それぞれ左、右となっている場合の例を示している。なお、これは、個別被写体数が２である場合において、それぞれの顔方向が同一ではない場合の一例を示している。
この場合の水平方向における総合被写体画像部分の位置については、図示するようにして、２つの対象個別被写体ＳＢＪｓ０、ＳＢＪｓ１の総合被写体重心Ｇｔが、画像領域分割線Ｌｄ上に位置する状態が最適構図であると判定し、この状態となるようにして調整（パン制御）を行う。
これにより得られる構図では、２つの対象個別被写体ＳＢＪｓ０、ＳＢＪｓ１から成る総合被写体画像部分は、水平方向において画面のほぼ中央に位置することとなる。しかし、被写体が複数とされて、かつ、これらの被写体が同一の方向を向いていないような画の場合、総合被写体画像部分が中央にきたとしても、その構図は相応に良好なものとなる。
また、図４４においては、３つの対象個別被写体ＳＢＪｓ０、ＳＢＪｓ１、ＳＢＪｓ２が検出された場合を示している。
この場合の構図制御としても、先ず、対象個別被写体ＳＢＪｓ０、ＳＢＪｓ１、ＳＢＪｓ２から成る総合被写体画像部分のサイズについて、個別被写体数が３である場合に対応して最適であるとして設定された値となるようにして調整(ズーム制御)を行う。
そのうえで、総合被写体画像部分の水平方向における位置については、この場合にも、各個別被写体ごとに検出された顔方向の情報を利用することになる。図４４においては、３つの対象個別被写体ＳＢＪｓ０、ＳＢＪｓ１、ＳＢＪｓ２の顔方向が全て左で同一であるものとする。
この場合には、図４３（ａ）の場合に準じて、対象個別被写体ＳＢＪｓ０、ＳＢＪｓ１から成る画像領域部分を画像領域分割線Ｌｄよりも右側の画像領域に寄せて位置させるようにして、水平オフセット量Δｘの設定（判定）と、これによって決まる（判定される）所要位置への総合被写体重心Ｇｔの移動のためのパン制御を行うようにされる。また、仮に３つの対象個別被写体ＳＢＪｓ０、ＳＢＪｓ１、ＳＢＪｓ２の顔方向が全て右で同一である場合には、総合被写体重心Ｇｔは、図４４の位置に対して、画像領域分割線Ｌｄを基準にして線対称となる水平位置に在るようにしてパン制御が行われることになる。
また、このときに設定される水平オフセット量Δｘは、図４３（ａ）の対象個別被写体が２つの場合よりも、小さな絶対値を設定するようにされる。これにより、例えば対象個別被写体数が３とされる場合に応じて、水平方向における被写体位置はより最適となって、良好な構図が得られることになる。
また、この第１例の構図制御にあって、３つの対象個別被写体ＳＢＪｓ０、ＳＢＪｓ１、ＳＢＪｓ２の顔方向が全て同一ではなかった場合には、図４３（ｂ）に準じて、画像領域分割線Ｌｄ（Ｙ軸線）上に総合被写体重心Ｇｔが位置する構図が得られるようにする。
これまでの説明によると第１例の構図制御による水平方向の位置調整は、先ず、対象個別被写体ごとに検出される顔方向に対応させていることが分かる。つまり、最も基本的な制御として、対象個別被写体数が１の場合には、その対象個別被写体で検出された顔方向が左、右の何れであるのかに対応して、その重心Ｇ（総合被写体重心Ｇｔ）について、画像領域分割線Ｌｄ（Ｙ軸線）の右側領域、あるいは左側領域に対して所定量だけずらして位置させる（重心Ｇの水平オフセットを行う）ようにして、画面内では被写体の向いているほうに空間ができるようにしている。
そして、構図制御として、対象個別被写体数が複数（２以上）の場合には、対象個別被写体の顔方向が全て同一ならば、上記の位置調整に倣い、総合被写体重心Ｇｔの水平オフセットを行うようにされ、全て同一でないならば、水平オフセットを行うことなく、総合被写体重心Ｇｔには画像領域分割線Ｌｄに対応したX座標を与えて、総合被写体画像部分が画面内のほぼ中央に在るようにする。
そのうえで、総合被写体重心Ｇｔ（重心Ｇは個別被写体数が１の場合の総合被写体重心Ｇｔとみなす）の水平オフセットを行うのにあたっては、図４２〜図４４により述べたようにして、水平オフセット量Δｘを、対象個別被写体数に応じて変更するものとしている。これにより、画面における総合被写体画像部分の水平方向に沿った位置について、対象個別被写体数に応じた最適な位置が得られるように配慮している。
図４５は、上記図４２〜図４４により説明した第１例としての構図制御に対応して、構図判定ブロック６２、パン・チルト・ズーム制御ブロック６３が実行するものとされる手順例を示している。なお、この図に示される手順は、図２９、図３２、図３４に示したいずれの構成にも適用できる。
また、この図に示す処理は、ＤＳＰとしての信号処理部２４、制御部２７におけるＣＰＵがプログラムを実行することで実現されるものとしてみることができる。
また、以降のフローチャートの説明においては、これまでに使用してきた「総合被写体重心（Ｇｔ）」、及び「総合被写体画像部分」の語句は、検出されている個別被写体数が２以上の場合のみに適用するのではなく、１の場合にも適用する。つまり、例えば図４２に示した重心Ｇが、検出されている個別被写体数が１の場合の個別被写体重心Ｇｔとなるものであり、また、図４２の個別被写体ＳＢＪのみからなる画像部分が、検出されている個別被写体数が１の場合の総合被写体画像部分となる。
先ず、ステップＳ１１０１〜ステップＳ１１０６までは、被写体を探索して検出、及び被写体選別のための手順となり、主に被写体検出処理部２０１が実行するものとされる。
ステップＳ１１０１では、イメージセンサ２２からの撮像信号に基づいた撮像画像データを取り込んで取得する。ステップＳ１１０２では、上記ステップＳ１１０１により取得した撮像画像データを利用して被写体検出処理、及び被写体選別処理を実行する。ここでの被写体検出処理は、これまでの説明のようにして、被写体検出処理部２０１が実行するものとなる。また、ここでの被写体検出処理では、先にも述べたように、検出個別被写体ごとの顔方向についても検出して、その情報を得るようにされている。また、被写体選別処理は、これまでの説明に従って被写体選別処理部２１１が実行するものとなる。
ステップＳ１１０３では、上記ステップＳ１１０２による被写体検出処理、被写体選別処理の結果として、構図判定対象となる現実被写体の存在、即ち対象個別被写体が存在しているか（選別されたか）否かについての判別を行う。ここで対象個別被写体の存在が検出されなかった（選別された対象個別被写体数が０である）として否定の判別結果が得られた場合には、ステップＳ１１０４に進み、被写体探索時に応じた所定の画角（水平・垂直画角）にまで広くするためのズームレンズの移動制御（ズームアウト制御）を実行する。このようにして画角を広くすることで、より広い範囲が撮像されることになるので、それだけ被写体を補足しやすくなる。また、これとともに、ステップＳ１１０５により、被写体探索のために雲台１０のパン・チルト機構を動かすための制御（パン・チルト制御）を実行する。このときには、被写体検出処理部２０１がパン・チルト制御のための制御信号を通信制御処理ブロック６４に渡し、雲台１０の通信部５２に対して送信されるようにして制御を行う。
なお、上記被写体探索のためのパン・チルト制御として、雲台１０のパン・チルト機構をどのようなパターンで動かすのかについては、例えば探索が効率的に行われることを配慮して決めることとすればよい。
また、ステップＳ１１０６においては、モードフラグｆについて０を設定（ｆ＝０）し、ステップＳ１１０１に戻るようにされる。
このようにして、撮像画像データの画内容において少なくとも１つの個別被写体が検出されるまでは、ステップＳ１１０１〜ステップＳ１１０６の手順が繰り返される。このとき、デジタルスチルカメラ１と雲台１０から成るシステムは、被写体探索のために、デジタルスチルカメラ１がパン方向及びチルト方向に動かされている状態となっている。
そして、ステップＳ１１０３において対象個別被写体が存在しているとして肯定の判別結果が得られたとされると、ステップＳ１１０７以降の手順に進む。
ステップＳ１１０７においては、現在のモードフラグｆに設定されている値が何であるのかを判別する。
ｆ==0であると判別された場合には、構図制御として、最初のラフな被写体捕捉モードを実行すべき場合であることを示すものであり、図のようにしてステップＳ１１０８から始まる手順を実行する。
ステップＳ１１０８においては、総合被写体重心Ｇｔが、撮像画像データの画面（撮像画像データの画内容を表したとするときに得られる画面）における原点座標Ｐ(0,0)(図４１参照)に位置しているか否かについての判別を行う。ここで、総合被写体重心Ｇｔは、未だ原点座標に位置していないとして否定の判別結果が得られた場合には、ステップＳ１１０９により、総合被写体重心Ｇｔが原点座標に位置するようにして、雲台１０のパン・チルト機構を動かすための制御を実行し、ステップＳ１１０１に戻る。このようにして、個別被写体の存在が検出されている状態での最初の構図制御の手順である捕捉モードは、総合被写体重心Ｇｔを、先ずは初期の基準位置である原点座標に対して位置させるようにして雲台１０のパン・チルト機構を制御することで、検出された対象個別被写体が写っているとされる画像領域を画面内の中央に位置させようとするものである。
なお、上記ステップＳ１１０９としてのパン・チルト制御を実際に行うのにあたってのアルゴリズムの一例をここで示しておく。
モードフラグｆ==0の状態で個別被写体が検出される状態では、被写体検出処理部２０１は、下記の（数１）により示される演算を行って、パン方向における必要移動量Ｓpanとチルト方向における必要移動量Stiltを求めるようにされる。下記の（数１）において、ｎは選別された対象対象個別被写体数を示し、Ｐ（Xi，Yi）は０番からｎ−１番までの番号が与えられた対象個別被写体のうちのｉ番目の対象個別被写体の重心のX,Y座標を示す。確認のために、図４１に示したように、この場合における原点座標(0,0)は、画面における水平方向における中点と垂直方向における中点との交点となる。
Figure 2009231922
例えばステップＳ１１０８では、上記のようにして求められる必要移動量Span,Stiltの絶対値が所定値(厳密には０となるが、０より大きな値とされてもよい)以内であるか否かを判別することを以て、総合被写体重心Ｇｔが原点座標Ｐに在るか否かと同等の判別を行うことができる。そして、ステップＳ１１０９においては、必要移動量Span,Stiltの絶対値が所定値以内となるようにしてパン・チルト制御を実行するようにされる。なお、このときのパン・チルト制御に際してのパン機構部５３、チルト機構部５６の速度は一定としても良いのであるが、例えば、必要移動量Span,Stiltが大きくなるのに応じて速度を高くしていくなどして可変させることが考えられる。このようにすれば、パンニングあるいはチルティングによる必要移動量が大きくなったときも、比較的短時間で総合被写体重心Ｇｔを原点座標に近づけることが可能になる。
そして、ステップＳ１１０８において、総合被写体重心Ｇｔが原点座標に位置したとして肯定の判別結果が得られたとされると、ステップＳ１１１０によりモードフラグｆについて１を設定（ｆ＝１）してステップＳ１１０１に戻る。このステップＳ１１１０によりモードフラグｆについて１が設定された状態は、構図制御における最初の手順である捕捉モードは完了し、次の第１の構図の調整制御(構図調整モード)を実行すべき状態であることを示す。
そして、モードフラグｆ==1とされて第１の構図調整モードを実行すべき場合には、ステップＳ１１０７からステップＳ１１１１に進むことになる。第１の構図調整モードは、検出された個別被写体数と個別被写体ごとの顔方向の組み合わせに応じた最適構図を得るためズーム(画角)調整とパン制御を行うものである。なお、画角調整とパン制御によっては画面内における個別被写体のサイズや個別被写体の位置が変化する結果を生じる。
ステップＳ１１１１においては、現在において設定されている対象個別被写体数がいくつであるかを判別し、１であればステップＳ１１１２から始まる手順を実行する。
ステップＳ１１１２においては、検出されている対象個別被写体数が１であることに対応した目標被写体サイズを設定する。ここでの目標被写体サイズとは、画面における総合被写体画像部分のサイズとして構図的に最適であるとみなされるものをいい、例えば図４２との対応では、「（１つの）対象個別被写体ＳＢＪｓ０の撮像画像データの画面内における占有率が、最適とみなされる所定の範囲値」に相当する。
ステップＳ１１１３においては、対象個別被写体のサイズがＯＫであるか否かについて判別する。対象個別被写体のサイズがＯＫである状態とは、そのときに検出されている対象個別被写体のサイズが、上記ステップＳ１１１２により設定された目標被写体サイズとなっている状態である。ステップＳ１１１３において否定の判別結果が得られた場合には、ステップＳ１１１４に進み、対象個別被写体のサイズが目標被写体サイズとなるようにズームレンズの駆動制御（ズーム制御）を実行し、ステップＳ１１０１に戻る。
なお、このときには、総合被写体重心Ｇｔの水平方向（左右方向）における位置に関しては、ステップＳ１１０９にて設定されたＸ座標（X=０）に対応する位置を維持するようにしてズーム制御を行うようにされる。これにより、対象個別被写体を左右方向においてほぼ中央に位置させた状態を維持することができる。また、被写体探索動作の実行時においては、ステップＳ１１０４によりズームアウト制御が行われるので、ステップＳ１１１４としてのズーム制御に際してはズームイン制御となる場合が多いと考えられる。しかし、何らかの原因で、そのときに検出された個別被写体のサイズが、目標被写体サイズよりも大きくなっている状態に応じてステップＳ１１１３にて否定の判別結果が得られた場合、ステップＳ１１１４ではズームアウトを実行させて、実際の対象個別被写体のサイズが目標被写体サイズとなるように制御することになる。
そして、ステップＳ１１１３において肯定の判別結果が得られたのであればステップＳ１１１５以降の手順に進むようにされる。
ステップＳ１１１５においては、水平オフセット量Δｘを設定する。
ここで、本実施の形態における第１例の構図制御にあっては、水平オフセット量Δｘについては、下記の（式１）により求めるものとする。
θｘ＝Ｄ×（Ｃｘ／６）／ｎ・・・（式５）
上記（式５）において、Ｄは、顔方向若しくは複数の顔方向の組み合わせ（関係性）に基づいて、＋１、−１、０のいずれかが設定される係数である。Ｃｘは、水平画サイズを示す。Ｃｘ／６の項は、三分割法に基づいて得られる縦方向に沿った仮想線のX座標に対応したものである。ｎは、選別（設定）されている対象個別被写体数を示す。
ステップＳ１１１５に至った場合、検出されている対象個別被写体数は１であるので、ｎ＝１とになる。また、顔方向は、左か右の何れか一方となる。係数Ｄは、顔方向が左である場合には＋１となり、右である場合には−１となる。
すると、選別された１つの対象個別被写体の顔方向が左である場合には、θｘ＝−Ｃｘ／６となる。この水平オフセット量Δｘは、原点座標P(0,0)を通過する垂直線（画像領域分割線Ｌｄ：Ｙ軸線）から、Ｃｘ／６だけ右に移動した垂直線の位置を示すことになるが、この垂直線の位置は、ちょうど、三分割法に従った２本の仮想線のうち、右側にある仮想線と同じになる。
一方、選別された１つの対象個別被写体の顔方向が右である場合には、水平オフセット量Δｘ＝Ｃｘ／６となり、原点座標P(0,0)を通過する垂直線（画像領域分割線Ｌｄ：Ｙ軸線）から、Ｃｘ／６だけ左に移動した垂直線の位置を示すことになる。そして、この垂直線の位置は、ちょうど、三分割法に従った2本の仮想線のうち、左側にある仮想線と同じになる。
ステップＳ１１１６においては、総合被写体重心Ｇｔ（この場合には、対象個別被写体数が１なので、図４２の重心Ｇと総合被写体重心Ｇｔは同じになる）が、上記ステップＳ１１１５により設定された水平オフセット量Δｘに対応するX座標上に位置しているか否かの判別処理を行う。ここで否定の判別結果が得られた場合には、ステップＳ１１１７に進む。
ステップＳ１１１７では、水平オフセット量Δｘに対応するX座標上に総合被写体重心Ｇｔが位置する状態となるようにパン制御を実行し、ステップＳ１１０１に戻る。
そして、上記ステップＳ１１１７の制御により、水平オフセット量Δｘに対応するX座標上に総合被写体重心Ｇｔが位置する状態に至ったとされると、ステップＳ１１１６にて肯定の判別結果が得られることになる。このようにしてステップＳ１１１６にて肯定の判別結果が得られたときには、対象個別被写体（ＳＢＪ）の重心は、図４２により示したようにして、その顔方向に応じて、画像領域分割線Ｌｄから水平オフセット量Δｘだけ左又は右に移動した位置にあることになる。
ステップＳ１１１６において肯定の判別結果が得られた場合には、ステップＳ１１１８に進み、モードフラグｆについて２を設定してステップＳ１１０１に戻る。このモードフラグｆ==２となっている状態は、後の説明からも理解されるように、第１の構図調整が完了して、次の第２の構図調整モードを実行したうえでレリーズ動作を実行すべきであることを示す。
また、ステップＳ１１１１において、検出されている対象個別被写体数が２以上であると判別した場合には、ステップＳ１１１９から始まる手順を実行する。
ステップＳ１１１９においては、目標被写体サイズを設定する処理を行う。対象個別被写体数が２以上とされる場合、最適構図を得るための目標被写体サイズは、例えば対象個別被写体数に応じて異なってくるものとされる。そこで、ステップＳ１１１９においては、ステップＳ１１０２において検出された個別被写体数に応じた所定の目標被写体サイズを設定する。また、確認のために述べておくと、対象個別被写体数が２以上の場合の目標被写体サイズは、検出されている全ての個別被写体から成る総合被写体画像部分を対象としたものとなる。
ステップＳ１１２０においては、対象個別被写体のサイズがＯＫであるか否かについて判別する。つまり、このときの対象個別被写体についての検出情報から求められる総合被写体画像部分のサイズが、上記ステップＳ１１２０により設定された目標被写体サイズとなっているか否かについて判別する。
ステップＳ１１２０において否定の判別結果が得られた場合には、ステップＳ１１２１に進む。ステップＳ１１２１においては、ステップＳ１１１４に準じて、このとき検出されている対象個別被写体の総合被写体画像部分のサイズが、ステップＳ１１１９により設定された目標被写体サイズとなるようにズームレンズの駆動制御（ズーム制御）を実行し、ステップＳ１１０１に戻る。
これに対して、ステップＳ１１２０において肯定の判別結果が得られた場合には、ステップＳ１１２２に進む。
ステップＳ１１２２では、複数の対象個別被写体ごとに検出された顔方向について、これらが全て同一であるか否かの判別処理を行う。
先ず、ステップＳ１１２２において肯定の判別結果が得られた場合には、ステップＳ１１２３以降の手順を実行する。ステップＳ１１２３においては、先に述べた(式５)により水平オフセット量Δｘを設定する。
この場合には、(式５)における係数Ｄには、検出されている同一の顔方向が、左、右の何れを示しているのかに応じて、＋１と−１のいずれかが代入される。また、ｎには、検出されている対象個別被写体数に応じた２以上の数が代入されることになる。このことからも理解されるように、(式５)によっては、対象個別被写体数が多くなるのに応じて、求められるθｘの絶対値は小さくなる。つまり、図４２、図４３（ａ）、図４４によっても説明したように、対象個別被写体数が多くなるのに応じて、総合被写体画像部分の左右における画像領域分割線Ｌｄからのオフセット量は少なくなっていくようにされる。
これに対して、ステップＳ１１２２において、否定の判別結果が得られた場合には、ステップＳ１１２４により、水平オフセット量Δｘ＝０を設定する。
なお、このステップＳ１１２４の処理にあっても、（式５）による演算を行うことで、θｘ＝０を設定することができる。つまり、ステップＳ１１２２にて否定の判別結果が得られた場合（即ち複数の顔方向が同一でない場合）には、ステップＳ１１２４にて、係数Ｄについて０を代入して（式５）の演算を行うようにアルゴリズムを構成するものである。
ステップＳ１１２３、又はステップＳ１１２４の手順を実行した後は、ステップＳ１１２５以降の手順に進む。
ステップＳ１１２５、１２６、Ｓ１１２７では、先に説明したステップＳ１１１６、Ｓ１１１７、Ｓ１１１８と同様にして、総合被写体重心Ｇｔが、ステップＳ１１２３又はステップＳ１１２４により設定された水平オフセット量Δｘに対応するX座標上に位置する状態に至るまでパン制御を実行する。この制御により、複数の対象個別被写体の顔方向が同一である場合には、その数に応じた水平オフセット量Δｘ分だけ、左又は右方向に総合被写体画像部分（総合被写体重心Ｇｔ）が移動された状態が得られていることになる。この状態に至ると、ステップＳ１１２５にて肯定の判別結果が得られることとなって、ステップＳ１１２７によりモードフラグｆについて２を設定し、ステップＳ１１０１に戻る。
このようにして、モードフラグｆについて２が設定された状態では、構図制御として、図４２〜図４４により説明した、対象個別被写体数に応じたサイズ調整と、これらの対象個別被写体ごとの顔方向若しくはその組み合わせに応じた水平方向における位置調整までの手順が完了した状態であることになる。そこで、ステップＳ１１０７にてモードフラグｆが２であると判別された場合には、ステップＳ１１２８以降の手順により、第２の構図調整モードを実行する。
例えば、図４２〜図４４での構図制御の説明にあっては、その説明を簡単なものとするために、画面上下方向における対象個別被写体の重心の位置をどのようにして設定するのかについては言及していないが、実際においては、画面の中央から例えば或る必要量だけ上方向に移動（オフセット）させたほうが、より良い構図となる場合がある。そこで、本実施の形態の構図制御の実際としては、最適構図としてより良好なものが得られるようにして総合被写体重心Ｇｔの縦（垂直）方向のオフセット量も設定することとしている。このための手順が、第２の構図調整モードとなるものであり、ステップＳ１１２８及び次に説明するステップＳ１１２９として実行される。
ステップＳ１１２８では、総合被写体重心Ｇｔ（対象個別被写体が１つの場合はその対象個別被写体の重心Ｇとなる）の位置について、画面上の原点座標Pを通過する水平直線（Ｘ軸）から所定の垂直オフセット量Δｙだけオフセットしている状態にあるか否か（重心オフセットがＯＫであるか否か）を判別する。
ステップＳ１１２８にて否定の判別結果が得られた場合には、ステップＳ１１２９により、設定された垂直オフセット量Δyだけ重心がオフセットされるようにして、雲台１０のチルト機構が動くようにチルト制御を実行し、ステップＳ１１０１に戻る。そして、ステップＳ１１２８において肯定の判別結果が得られた段階では、総合被写体画像部分の水平方向における位置と、垂直方向における位置との双方について、最適構図に対応したものが得られている、さらに、総合被写体画像部分のサイズも最適構図に対応したものが得られていることになる。即ち、最適構図が得られている状態となる。
なお、このステップＳ１１２８、Ｓ１１２９に対応した垂直オフセット量Δyの実値をどのようにして設定するのかについては、いくつかの手法が考えられることから、ここでは特に限定されるべきものではない。最も簡単な設定の１つとしては、例えば三分割法に基づいて、縦方向における中心位置から、垂直画サイズCyの1/6に相当する長さの値を与えることが考えられる。もちろん、例えば対象個別被写体数であるとか、顔方向及びその組み合わせに応じた異なる値を所定の規則に従って設定するように構成することも考えられる。
そして、ステップＳ１１２８により肯定の判別結果が得られた場合には、ステップＳ１１３０から始まる、レリーズ動作に対応した処理手順を実行する。ここでのレリーズ動作とは、これまでにも述べてきているように、そのときに得られている撮像画像データを、静止画像データとして記憶媒体（メモリカード４０）に記憶させるための動作をいう。つまり、手動によるシャッター操作を行っている場合では、このシャッター操作に応答して、そのときに得られていた撮像画像データを静止画像データとして記憶媒体に対して記録する動作にあたる。
ステップＳ１１３０においては、現在においてレリーズ動作を実行可能な条件を満たしているか否かを判別する。条件としては例えば、合焦状態にあること（オートフォーカス制御が有効に設定されている場合）、雲台１０のパン・チルト機構が停止状態にあること、などを挙げることができる。
上記ステップＳ１１３０で否定の判別結果が得られた場合には、処理をステップＳ１１０１へ戻す。これにより、レリーズ動作を実行できる条件が満たされる状態となるのを待機することができる。そして、ステップＳ１１３０において肯定の判別結果が得られると、ステップＳ１１３１によりレリーズ動作を実行する。このようにして、本実施の形態では、最適構図の撮像画像データを記録することができる。
レリーズ動作が終了したとされると、ステップＳ１１３２により所要のパラメータについて初期設定を行う。この処理により、モードフラグｆについては初期値の０が設定される。また、ズームレンズの位置も、予め設定された初期位置に戻される。
そして、ステップＳ１１３２の処理を実行した後は処理をステップＳ１１０１へ戻す。このようにして処理をステップＳ１１３２からステップＳ１１０１へ戻すことにより、被写体を探索し、この探索により検出されることとなった対象個別被写体の向いている方向と対象個別被写体数に応じた最適構図を得て撮像記録（レリーズ動作）を行うという動作が、自動的に繰り返し実行されることになる。
なお、上記図４５の場合におけるレリーズ動作は、撮像画像から静止画像を記録媒体に記録する動作となるものであるが、本実施の形態におけるレリーズ動作は、より広義には、上記の静止画像を記録媒体に記録することを含め、例えば撮像画像から必要な静止画像データを取得することを指す。従って、例えば本実施の形態のデジタルスチルカメラ１により、データインターフェースなどを経由して他の記録装置などに伝送するために、撮像画像から静止画像データを取得するような動作も、レリーズ動作となるものである。
これまでに述べた図４５の手順では、先ず、ステップＳ１１０８、Ｓ１１０９により、先の（数１）で求められる必要移動量Span,Stiltに基づいて、１以上の対象個別被写体の総合被写体重心Ｇｔを画面における原点座標Ｐに位置させるという、捕捉のためのパン・チルト制御を行うこととしている。そして、次の段階として、対象個別被写体数、及び対象個別被写体ごとに検出される顔方向の関係性（同一であるか否か）に基づき、水平オフセット量Δｘを求め、総合被写体重心Ｇｔについて、原点座標Ｐを通過する垂直線（画像領域分割線Ｌｄ：Ｙ軸線）を基準に、水平オフセット量Δｘに対応する距離だけ、左若しくは右方向に移動させるためのパン制御を行う。さらに、設定された垂直オフセット量Δｙが示す移動量に基づいて、総合被写体重心Ｇｔについて、原点座標Ｐを通過する水平直線（Ｘ軸）を基準に、垂直オフセット量Δｙに対応する距離だけ、上方向（若しくは下方向）に移動させるためのチルト制御を行う。
このことからすると、図４５の手順におけるパン・チルト制御は、
Figure 2009231922
 により必要移動量Span,Stiltを求めたうえで、必要移動量Spanに対応した画面内での移動量を得るためのパン機構の制御と、必要移動量Stiltに対応した画面内での移動量を得るためのチルト機構の制御とを行っているものである、ということがいえる。
続いては、本実施の形態における第２例としての構図制御について説明する。
第２例の構図制御に対応する事例として、図４６には、３つの対象個別被写体ＳＢＪｓ０、ＳＢＪｓ１、ＳＢＪｓ２が選別された状態を示している。これらの対象個別被写体のうち、対象個別被写体ＳＢＪｓ０、ＳＢＪｓ２について検出されている顔方向は左であるのに対して、対象個別被写体ＳＢＪｓ１について検出されている顔方向は右であるものとする。この場合、全ての対象個別被写体の顔方向が同一にはなっていないので、第１の構図制御の場合であれば、図４３（ｂ）などで説明したように、総合被写体重心Ｇｔは、原点座標Ｐを通過する垂直線（画像領域分割線Ｌｄ：Ｙ軸線）上に在るように構図が設定される。
しかし、３つの対象個別被写体のうちで、例えば過半数を占める２つの対象個別被写体ＳＢＪｓ０、ＳＢＪｓ２が同じ方向を向いている（顔方向が同一である）ということは、残る１つの対象個別被写体ＳＢＪｓ１の顔方向に対応して向いているとする反対方向よりも、これら２つの対象個別被写体ＳＢＪｓ０、ＳＢＪｓ２が向いているとする先に、何かしら重要性の高いものが存在している可能性が高いということがいえる。このような考え方に基づけば、これら２つの対象個別被写体ＳＢＪｓ０、ＳＢＪｓ２の顔方向が示す先の画面領域に空間を設けることのほうが良い構図となる可能性が高いといえる。この場合であれば、２つの対象個別被写体ＳＢＪｓ０、ＳＢＪｓ２の顔方向が左であるとして検出されているので、画面において、３つの対象個別被写体ＳＢＪｓ０、ＳＢＪｓ１、ＳＢＪｓ２から成る総合被写体画像部分を画像領域分割線Ｌｄよりも右側の画像領域に寄せて良い構図を得ようとするものである。
そこで、第２例の構図制御としては、複数の個別被写体ごとに検出される顔方向の関係性として、同一となる顔方向の数が、対象個別被写体の全体数における所定割合以上を占めるときには、この同一となる顔方向を基準顔方向とする。この基準顔方向は、例えば複数の対象個別被写体群の総体を１つの対象個別被写体としてみた場合において、画面内にて向いているとする方向を指すものといえる。そして、この基準顔方向に基づいて、水平オフセット量Δｘを求めて設定するようにされる。このような構図制御により、図４６の場合には、原点座標Ｐを通過する垂直線よりも右側に総合被写体重心Ｇｔが位置するようにして構図が設定されることになる。
また、ここでは図示しないが、上記の所定割合以上を占めるだけの、同一の顔方向数が得られていない状態、即ち上記の基準顔方向が決定できなかった場合、本実施の形態としては、総合被写体画像部分が左右方向においてほぼ中央に位置する構図を設定することのほうが好ましいとの考えにたつものとする。そこで、この場合には、水平オフセット量Δｘについては０を設定することとする。
図４７は、上記した第２例の構図制御に対応して図５に示した被写体検出処理部２０１、構図制御処理ブロック６２、及び通信制御処理ブロック６４が実行するものとされる手順例を示している。
この図４７に示される手順のうちで、ステップＳ１２２１−１、Ｓ１２２２−２を除くステップＳ１２０１〜Ｓ１２３２までの手順は、図４５におけるステップＳ１１０１〜Ｓ１１３２までの手順と、それぞれ同じとなる。
そして、ステップＳ１２２１−１とこれに続くステップＳ１２２２−２は、ステップＳ１２２２において否定の判別結果が得られた場合において実行すべき手順として挿入されている。つまり、ステップＳ１２２２−１、Ｓ１２２２−２は、対象個別被写体数が複数の場合であって、先ずは、総合被写体画像部分のサイズ調整が完了した段階において、これらの個別被写体の顔方向の関係性として、全ての顔方向が同一ではなかった場合に実行されるものである。
ステップＳ１２２２−１では、基準顔方向を決定するための処理を実行する。
このためには、例えば、先にも述べたように、検出されている複数の対象個別被写体ごとの顔方向の関係性として、同一の顔方向を持つ対象個別被写体の組のうちで、その組を成す対象個別被写体数が、全ての対象個別被写体数における所定割合以上を示すものがあるかどうかについて判断し、このような対象個別被写体の組があれば、この組の対象個別被写体の顔方向を、有効な基準顔方向として決定するようにされる。また、このような対象個別被写体の組が無ければ、基準顔方向も無いものとする決定を行うようにされる。
なお、上記の所定割合について、実際にどのような値を設定するのかについては、実際における対象個別被写体数及び対象個別被写体ごとの顔方向の関係性との対応で、どのような構図が適当となるのかを考慮したうえで、適宜決定されて良い。また、この所定割合としての値は、基本的には固定の１つの値が設定されればよいが、例えば、決定された対象個別被写体数などに応じて、異なる所定値が設定されるようにされてもよい。
さらに、基準顔方向決定処理のためのアルゴリズムとしては、上記以外にも考えることができる。例えば、全ての対象個別被写体数における割合は考慮せずに、単に、同一の顔方向を持つ対象個別被写体の組のうちで、対象個別被写体数が最多の組の顔方向を、有効な基準顔方向として決定するような処理も考えることができる。この場合には、例えば同一の顔方向を持つ各組を成す対象個別被写体数が同じであるようなときに、基準顔方向は無いものとしての決定が行われることになる。
ステップＳ１２２２−２においては、上記ステップＳ１２２２−１の顔方向決定処理の結果として、有効な基準顔方向が決定されたか否かについての判別を行う。
ここで、肯定の判別結果が得られた場合には、ステップＳ１２２３に進む。この場合のステップＳ１２２３においては、ステップＳ１２２２−１にて決定された基準顔方向に基づいて係数Ｄを決定して、水平オフセット量Δｘを求めて設定する。
一方、ステップＳ１２２２−２において否定の判別結果が得られた場合には、先のステップＳ１２２２−１にて、左若しくは右を示す有効な基準顔方向を決定することができなかったことになる。そこで、この場合には、ステップＳ１２２４に進むことで、水平オフセット量Δｘについては０を設定する。このようにして、ステップＳ１２２２−１、Ｓ１２２２−２を挿入することで、図４６により説明したような第２例の構図制御が実現されることになるものである。
なお、先の図４５及び上記図４７に示される手順では、構図判定の処理としてみることのできる手順と、その判定結果に応じた構図合わせの制御（構図制御）のための手順が入り組んだものになっており、また、ステップによっては、構図判定と構図合わせの制御とを同時的に行っているようなものもあるが、これは、図４５及び図４７に示す手順が、実際に応じた具体的なものとされていることによる。あくまでも実施の形態の基本的な概念は、これまでに説明してきた構図判定ブロック２００、あるいは構図判定ブロック６２などに示した構図判定の構成を適用したものとして捉えられるべきものである。つまり、実施の形態の撮像システムでは、対象個別被写体の数に応じて最適とみなされる構図を判定、決定し、この判定した構図の撮像画像データが実際に得られる（反映される）ようにして、ズーム制御、及びパン・チルト制御を適宜実行しているものであるとみることができる。
また、図４０以降により説明した構図判定、構図制御の具体例にあっては、顔方向の検出は、左、右の２段階による検出であることを前提としていたが、実際においては、例えば左、右に加えて、正面もあるようにして顔方向検出処理を構成する場合もあると考えられる。この場合にも、本願発明に基づいた構図制御は有効に適用できる。
例えば図４２のようにして１つの対象個別被写体が検出された場合において、さらに顔方向については正面であることが検出された場合であるが、１つには、水平方向における被写体位置を、画面のほぼ中央に位置させる（重心Ｇがほぼ画像領域分割線Ｌｄ（Ｙ軸線）上に在るようにする）ことが考えられる。しかし、このような構図は、良くない構図の代表的なものとされることが多い。そこで、検出される個別被写体が１つである場合において、顔方向が正面の場合には、図４２と同様の構図、若しくは、図４２の構図に対して画像領域分割線Ｌｄを基準に線対称となるような構図とするようにして水平オフセット量Δｘを決定することも考えられる。このようにすれば、三分割法に則った良好な構図が得られる。
また、２以上の対象個別被写体が検出されている場合に、例えば全ての対象個別被写体の顔方向が正面を示している、あるいは基準顔方向が正面である場合には、（式１）の係数Ｄを０に設定したうえでの水平オフセット量θを求めるようにして構成することが考えられる。
また、顔方向として上下方向についても検出可能とされている場合には、この上下方向における顔方向の検出結果に応じて、本願発明に基づいた構図制御を行うことも可能である。この場合には、水平方向に沿った画像領域分割線Ｌｄ（例えば原点座標を通過する水平方向の線（Ｘ軸線）とすることができる）を基準にして、上下方向での総合被写体重心Ｇｔの移動を行うことになる。
さらに、顔方向について、左右方向と上下方向とを合成した斜め方向の検出も可能とされているときには、この斜め方向が検出された顔方向に応じた構図制御も行うことが可能である。この場合には、検出された斜めの顔方向に直交して画面を横切る線（（例えば原点座標を通過する線）を画像領域分割線Ｌｄとして設定し、この画像領域分割線Ｌｄにより分割された画像領域の何れか一方の側に総合被写体重心Ｇｔを移動させるようにすることが考えられる。
さらに、例えば、顔方向について、左右方向（あるいは上下方向）において、例えば２段階、若しくは３段階よりも多い段階により、向きの検出を行えるようにされている場合には、このようにして検出された向きの段階（度合い）に応じて水平オフセット量Δｘ（若しくは垂直オフセット量Δｙ）を可変するようなアルゴリズムを採用することが考えられる。
また、基準線の通過する基準点は、この場合には、図４１にて示したように、画面における原点座標としているが、この基準点の位置については、例えばより良好な構図を得ることなどを目的として、原点座標以外の位置が設定されても良いものである。
また、上記図１４〜図２３により説明した例は一部であって、本願発明による構図判定を適用できる装置、システム、アプリケーションソフトウェアなどはほかにも考えられる。
また、これまでの実施の形態の説明にあっては、被写体（対象個別被写体）は、人であることを前提としているが、例えば、人以外の動物を被写体とするような場合にも、本願発明を適用することが考えられる。
また、本願発明のもとで判定される構図（最適構図）は、必ずしも、三分割法などの構図設定手法に対して、対象個別被写体の数の要素を加味する手法によって決定された構図に限定されるものではない。例えば一般的には良くないとされる構図であっても、構図の設定次第では、ユーザがおもしろみを感じたり、かえって良いと感じるような場合もあると考えられる。従って、本願発明のもとで判定される構図（最適構図）としては、実用性、エンタテイメント性などを考慮して任意に設定されればよく、実際においては特に制限はない。
また、上記実施の形態においては、検出された個別被写体から現実被写体と非現実被写体（静止被写体）とを選別して、現実被写体のほうを構図判定の対象としている。これは、先にも述べたように、例えばポスターの顔などは排除して、現実の人としての被写体のみを対象とする最適構図を得ることが要求される用途を前提としている。
しかし、これまでの説明から自明なように、本願発明に基づいては、非現実被写体（静止被写体）のほうを構図判定の対象とするように構成することも当然に可能である。現実被写体を選別することによっては、非現実被写体も選別しているものとしてみることができるからである。そして、このような構成も、本願発明に基づく構図判定の構成として各種の装置に適用できるものであり、その用途によって有用となるものである。
また、このことに関して、本願発明に基づく構図判定としては、例えばユーザ操作や、所定の機器の動作条件などに基づいた判別に応じて、構図判定の対象とする被写体を、現実被写体と非現実被写体とで切り換えられるようにする構成も考えることができる。
また、上記実施の形態においては、動き検出を利用することで、静止状態にあるとされる検出個別被写体を静止被写体として検出する構成を採っているが、動き検出に基づく以外の手法を採ることも考えられる。
例えば、温度にも基づいた弁別の仕方を考えることができる。つまり、現実の人である現実被写体は体温相当の温度を有しているので、周囲温度とは異なる温度となっていることが通常である。これに対して、ポスターなどの非現実被写体は、物であることから周囲温度と同じになることが通常である。このことに基づいて、現実被写体と非現実被写体とを弁別できる。
そのための構成の一例としては、いわゆるサーモグラフィの技術を採り入れるなどして，撮像画像の画枠内における温度分布を検知することが考えられる。画枠内にて検出される個別被写体のうちで周囲と温度が同じものについては非現実被写体（静止被写体）として、同じでないものについては現実被写体であるとして弁別すればよい。
また、これまでにも述べてきたように、本願に基づく構成における少なくとも一部は、ＣＰＵやＤＳＰにプログラムを実行させることで実現できる。
このようなプログラムは、例えばＲＯＭなどに対して製造時などに書き込んで記憶させるほか、リムーバブルの記憶媒体に記憶させておいたうえで、この記憶媒体からインストール(アップデートも含む)させるようにしてＤＳＰ対応の不揮発性の記憶領域やフラッシュメモリ３０などに記憶させることが考えられる。また、ＵＳＢやＩＥＥＥ１３９４などのデータインターフェース経由により、他のホストとなる機器からの制御によってプログラムのインストールを行えるようにすることも考えられる。さらに、ネットワーク上のサーバなどにおける記憶装置に記憶させておいたうえで、デジタルスチルカメラ１にネットワーク機能を持たせることとし、サーバからダウンロードして取得できるように構成することも考えられる。
単純に顔検出技術などを用いて検出した被写体が１つの場合の構図判定例を示す図である。 単純に顔検出技術などを用いて検出した被写体が２つの場合の構図判定例を示す図である。 単純に顔検出技術などを用いて被写体検出を行う場合、現実の人だけではなく、ポスターの顔なども検出されることを説明する図である。 実施の形態の構図判定ブロックの構成例（第１例）を示す図である。 実施の形態の構図判定ブロックの構成例（第２例）を示す図である。 実施の形態の構図判定ブロックの構成例（第３例）を示す図である。 実施の形態の構図判定ブロックの構成例（第４例）を示す図である。 実施の形態の構図判定ブロックの構成例（第５例）を示す図である。 実施の形態の構図判定ブロックの構成例（第６例）を示す図である。 第１例の構図判定ブロックにおける処理手順例を示すフローチャートである。 第２例の構図判定ブロックにおける処理手順例を示すフローチャートである。 第３例の構図判定ブロックにおける処理手順例を示すフローチャートである。 第４例の構図判定ブロックにおける処理手順例を示すフローチャートである。 第５例の構図判定ブロックにおける処理手順例を示すフローチャートである。 第６例の構図判定ブロックにおける処理手順例を示すフローチャートである。 実施の形態の構図判定ブロックを適用した、実施の形態としての撮像システムを構成する、デジタルスチルカメラと雲台とを示す図である。 実施の形態の撮像システムの動作として、雲台に取り付けられたデジタルスチルカメラのパン方向及びチルト方向に沿った動きの例を模式的に示す図である。 実施の形態の撮像システムについての内部システム構成例を示すブロック図である。 実施の形態の撮像システムについての他の内部システム構成例を示すブロック図である。 実施の形態の撮像システムについての他の内部システム構成例を示すブロック図である。 撮像システム以外の実施の形態の構図判定ブロックについての適用例を示すブロック図である。 撮像システム以外の実施の形態の構図判定ブロックについての適用例を示すブロック図である。 撮像システム以外の実施の形態の構図判定ブロックについての適用例を示すブロック図である。 撮像システム以外の実施の形態の構図判定ブロックについての適用例を示すブロック図である。 撮像システム以外の実施の形態の構図判定ブロックについての適用例を示すブロック図である。 撮像システム以外の実施の形態の構図判定ブロックについての適用例を示すブロック図である。 実施の形態の撮像システムを構成するデジタルスチルカメラの内部構成例を示すブロック図である。 実施の形態の撮像システムを構成する雲台の内部構成例を示すブロック図である。 実施の形態の撮像システム（デジタルスチルカメラ）に適用できる、重複検出回避機能を備える構図判定ブロックの構成例を示すブロック図である。 図２９に示す構図判定ブロックにおける静止検出のための処理手順例を示すフローチャートである。 図２９に示す構図判定ブロックにおける被写体選別、構図判定のための処理手順例を示すフローチャートである。 実施の形態の撮像システム（デジタルスチルカメラ）に適用できる、重複検出回避機能及び静止被写体情報のクリア機能を備える構図判定ブロックの構成例を示すブロック図である。 図３２における静止被写体情報のクリア機能に対応する部位が実行するとされる処理手順例を示すフローチャートである。 実施の形態の撮像システム（デジタルスチルカメラ）に適用できる、重複検出回避機能を備える構図判定ブロックの他の構成例を示すブロック図である。 図３４に示す構図判定ブロックが実行する処理手順例を示すフローチャートである。 被写体の絶対位置情報を求める手法例を説明するための図である。 被写体の絶対位置情報を求める他の手法例を説明するための図である。 絶対位置情報を利用した被写体選別処理のための構成例を示すブロック図である。 個別認識が可能な被写体検出処理が実行される場合に対応した被写体選別処理のための構成例を示すブロック図である。 個別被写体の具体的な検出の仕方とともに、検出個別被写体の重心と、複数の個別被写体の総合被写体重心の求め方の例を説明する図である。 撮像画像データの画枠内に設定した原点座標を説明する図である。 第１例の構図制御における、検出された個別被写体数が１である場合の構図制御例を模式的に示す図である。 第１例の構図制御における、検出された個別被写体数が２である場合の構図制御例を模式的に示す図である。 第１例の構図制御における、検出された個別被写体数が３である場合の構図制御例を模式的に示す図である。 第１例の構図制御のための処理手順例を示すフローチャートである。 第２例の構図制御における、検出された個別被写体数が３である場合の構図制御例を模式的に示す図である。 第２例の構図制御のための処理手順例を示すフローチャートである。
符号の説明
１ デジタルスチルカメラ、２ シャッターボタン、３ レンズ部、１０ 雲台、２１ 光学系、２２ イメージセンサ、２３ Ａ／Ｄコンバータ、２４ 信号処理部、２５ エンコード／デコード部、２６ メディアコントローラ、２７ 制御部、２８ ＲＯＭ、２９ ＲＡＭ、３０ フラッシュメモリ、３１ 操作部、３２ 表示ドライバ、３３ 表示部、３４ 雲台対応通信部、４０ メモリカード、５１ 制御部、５２ 通信部、５３ パン機構部、５４ パン用モータ、５５ パン用駆動部、５６ チルト機構部、５７ チルト用モータ、５８ チルト用駆動部、６１・７５ 撮像ブロック、６２・７３・８１・１０１ 構図判定ブロック、６３ パン・チルト・ズーム制御ブロック、６４・７１ 通信制御処理ブロック、７２ パン・チルト制御処理ブロック、８２ 通知制御処理ブロック、８３ 表示部、８４ レリーズ制御処理ブロック、１００ 撮像装置、１０２ メタデータ作成処理ブロック、１０３ ファイル作成処理ブロック、１１１・１３１ メタデータ分離処理ブロック、１１２・１３２ メタデータ解析処理ブロック、１１３・１３３ トリミング処理ブロック、１２３ メタデータ作成処理ブロック、１２４ 動画像記録処理ブロック、１３４ 印刷制御処理ブロック、２０１ 被写体検出処理部、２０２ 静止検出処理部２０２ 構図判定処理部、２０４ 被写体選別処理部、２１０ 静止被写体情報保持部、２１１ 被写体選別処理部、２１２ クリア制御部、２１３ 加速度センサ、３００ 画枠、３０１（３０１Ａ、３０１Ｂ） 被写体、３０２ 顔画像ポスター、ＳＢＪｓ０〜ＳＢＪｓ２ 対象個別被写体

Claims (16)

  1. 取り込んだ画像データに基づく画像内における被写体を検出する被写体検出手段と、
    上記画像データに基づく画像、又は上記被写体検出手段により検出される被写体を対象として静止の状態を検出する静止検出手段と、
    上記静止検出手段の検出結果に基づいて、上記被写体検出手段により検出される被写体のうちで、現実被写体、若しくは非現実被写体のみを対象として構図を判定する構図判定手段と、
    を備えることを特徴とする構図判定装置。
  2. 上記静止検出手段は、画像データに基づく画像を対象とする検出結果として、この画像内において静止しているとされる静止領域を検出するとともに、
    上記静止検出手段による静止領域の検出結果に基づいて、上記被写体検出手段により検出される被写体について、現実被写体と非現実被写体とを選別する選別手段をさらに備え、
    上記構図判定手段は、上記選別手段により選別された現実被写体、若しくは非現実被写体を対象として構図を判定する、
    ことを特徴とする請求項１に記載の構図判定装置。
  3. 上記静止検出手段は、上記被写体検出手段により検出される被写体を対象とする検出結果として、静止しているとされる静止被写体を検出するとともに、
    上記被写体検出手段により検出される被写体について、上記静止被写体として検出された被写体については非現実被写体とし、上記静止被写体として検出されない被写体については現実被写体として選別する選別手段をさらに備え、
    上記構図判定手段は、上記選別手段により選別された現実被写体、若しくは非現実被写体を対象として構図を判定する、
    ことを特徴とする請求項１に記載の構図判定装置。
  4. 上記静止検出手段は、画像データに基づく画像を対象とする検出結果として、この画像内において静止しているとされる静止領域を検出するとともに、
    上記画像データの画面から上記静止領域又は静止領域以外を被写体判定のための対象から除外するマスキング処理を実行するマスキング手段をさらに備え、
    上記被写体検出手段は、上記マスキング手段によるマスキング処理が施された画像データを取り込んで被写体検出を実行することで、現実被写体又は非現実被写体のいずれかのみを被写体として検出するようにされ、
    上記構図判定手段は、上記被写体検出手段により検出される被写体を対象として構図を判定する、
    ことを特徴とする請求項１に記載の構図判定装置。
  5. 上記静止検出手段は、上記被写体検出手段により検出される被写体を対象とする検出結果として、静止しているとされる静止被写体を検出するとともに、
    上記画像データの画面から上記静止被写体の領域、又は上記静止被写体以外の領域を被写体判定のための対象から除外するマスキング処理を実行するマスキング手段をさらに備え、
    上記被写体検出手段は、上記マスキング手段によるマスキング処理が施された画像データを取り込んで被写体検出を実行することで、現実被写体又は非現実被写体のいずれかのみを被写体として検出するようにされ、
    上記構図判定手段は、上記被写体検出手段により検出される被写体を対象として構図を判定する、
    ことを特徴とする請求項１に記載の構図判定装置。
  6. 上記静止検出手段は、上記被写体検出手段により検出される被写体を対象とする検出結果として、静止しているとされる静止被写体を検出するとともに、
    上記静止被写体ごとに関連した所定の情報から成る静止被写体関連情報を保持する情報保持手段と、
    上記静止被写体関連情報に基づいて、上記被写体検出手段により検出される被写体から、上記静止被写体と一致するとされる被写体を非現実被写体とし、上記静止被写体と一致しないとされる被写体を現実被写体として選別する選別手段とをさらに備え、
    上記構図判定手段は、上記選別手段により選別された現実被写体、若しくは非現実被写体を対象として構図を判定する、
    ことを特徴とする請求項１に記載の構図判定装置。
  7. 上記静止検出手段は、上記被写体検出手段により検出されたうえで、さらに上記選別手段により選別された上記静止被写体と一致するとされる現実被写体の候補を対象として静止被写体を検出するようにされ、
    上記構図判定手段は、上記静止検出手段により検出された静止被写体を、対象の現実被写体として構図を判定する、
    ことを特徴とする請求項６に記載の構図判定装置。
  8. この構図判定装置自体の動きを検出する動き状態検出手段と、
    上記動き状態検出手段により、上記構図判定装置自体の動きが検出されたことに応じて、上記情報保持手段にて保持されている静止被写体関連情報を消去する消去手段とをさらに備える、
    ことを特徴とする請求項６に記載の構図判定装置。
  9. 上記動き状態検出手段は、
    この構図判定装置を所定の態様で動かすことのできる可動機構部の動作のみによる、上記構図判定装置自体の動きについては、動きであると検出しないようにされ、
    上記可動機構部が動作中であり、かつ、この可動機構部以外の力によっても上記構図判定装置自体が動かされるときには、上記動きであると検出するようにされている、
    ことを特徴とする請求項８に記載の構図判定装置。
  10. パン方向及び／又はチルト方向に沿って撮像視野角が変更される撮像装置が撮像することにより上記撮像画像データを得るようにされているうえで、
    上記静止検出手段により検出される上記静止被写体の位置情報として、上記撮像画像データに基づく画像の画枠内における水平及び／又は垂直方向における限界位置にて上記静止被写体が位置しているときの、上記撮像装置のパン位置及び／又はチルト位置を示すパン・チルト位置情報を設定するようにされた位置情報設定手段をさらに備える、
    ことを特徴とする請求項１に記載の構図判定装置。
  11. 上記情報保持手段は、上記静止被写体関連情報として上記パン・チルト位置情報を含むものとされ、
    上記選別手段は、上記静止被写体関連情報に含まれる静止被写体ごとの上記パン・チルト位置情報と、上記被写体検出手段により上記限界位置にて検出された被写体についての上記パン・チルト位置情報とを比較し、上記静止被写体関連情報に含まれるパン・チルト位置情報と一致するとされる被写体を非現実被写体とし、上記静止被写体関連情報に含まれるパン・チルト位置情報と一致しないとされる被写体を現実被写体として選別する、
    ことを特徴とする請求項１０に記載の構図判定装置。
  12. パン方向及び／又はチルト方向に沿って撮像視野角が変更される撮像装置が撮像することにより上記撮像画像データを得るようにされているうえで、
    上記撮像画像データに基づく画像の水平及び／又は垂直方向における画枠サイズと、この上記撮像画像データに基づく画像内において検出された被写体の位置とに基づいて、パン方向及び／又は垂直方向における絶対的な角度を示す絶対位置対応角度情報を求め、この絶対位置対応角度情報を、被写体検出手段により検出される被写体についての位置情報とする、位置情報設定手段をさらに備える、
    ことを特徴とする請求項１に記載の構図判定装置。
  13. 上記情報保持手段は、上記静止被写体関連情報として上記絶対位置対応角度情報の位置情報を含むものとされ、
    上記選別手段は、上記静止被写体関連情報に含まれる静止被写体ごとの上記絶対位置対応角度情報の位置情報と、上記被写体検出手段により上記限界位置にて検出された被写体についての上記絶対位置対応角度情報の位置情報とを比較し、上記静止被写体関連情報に含まれる絶対位置対応角度情報の位置情報と一致するとされる被写体を非現実被写体とし、上記静止被写体関連情報に含まれる絶対位置対応角度情報の位置情報と一致しないとされる被写体を現実被写体として選別する、
    ことを特徴とする請求項１２に記載の構図判定装置。
  14. 上記被写体検出手段は、被写体ごとの特徴を個別に認識して被写体検出を行って、検出情報として、被写体を個別に認識可能とする個別認識情報を含めるようにされているとともに、
    上記情報保持手段は、上記静止被写体関連情報として、上記静止被写体ごとの個別認識情報を含むものとされ、
    上記選別手段は、上記静止被写体関連情報に含まれる静止被写体ごとの個別認識情報と、上記被写体検出手段の検出情報に含まれる被写体ごとの個別認識情報とを比較し、上記静止被写体関連情報に含まれる個別認識情報と一致するとされる被写体を非現実被写体とし、上記静止被写体関連情報に含まれる個別認識情報と一致しないとされる被写体を現実被写体として選別する、
    ことを特徴とする請求項１に記載の構図判定装置。
  15. 取り込んだ画像データに基づく画像内における被写体を検出する被写体検出手順と、
    上記画像データに基づく画像、又は上記被写体検出手順により検出される被写体を対象として静止の状態を検出する静止検出手順と、
    上記静止検出手順の検出結果に基づいて、上記被写体検出手順により検出される被写体のうちで、現実被写体、若しくは非現実被写体のみを対象として構図を判定する構図判定手順と、
    を実行することを特徴とする構図判定方法。
  16. 取り込んだ画像データに基づく画像内における被写体を検出する被写体検出手順と、
    上記画像データに基づく画像、又は上記被写体検出手順により検出される被写体を対象として静止の状態を検出する静止検出手順と、
    上記静止検出手順の検出結果に基づいて、上記被写体検出手順により検出される被写体のうちで、現実被写体、若しくは非現実被写体のみを対象として構図を判定する構図判定手順と、
    を構図判定装置に実行させるプログラム。
JP2008071721A 2008-03-19 2008-03-19 構図判定装置、構図判定方法、プログラム Expired - Fee Related JP4508257B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2008071721A JP4508257B2 (ja) 2008-03-19 2008-03-19 構図判定装置、構図判定方法、プログラム
KR1020090016148A KR20090100242A (ko) 2008-03-19 2009-02-26 구도 판정 장치, 구도 판정 방법, 프로그램
TW098108465A TWI398826B (zh) 2008-03-19 2009-03-16 構圖判定裝置、構圖判定方法、程式
US12/381,982 US8810673B2 (en) 2008-03-19 2009-03-18 Composition determination device, composition determination method, and program
EP09155492A EP2104336A3 (en) 2008-03-19 2009-03-18 Composition determination device, composition determination method, and program
CN2009101288689A CN101540844B (zh) 2008-03-19 2009-03-19 构图确定设备和构图确定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008071721A JP4508257B2 (ja) 2008-03-19 2008-03-19 構図判定装置、構図判定方法、プログラム

Publications (2)

Publication Number Publication Date
JP2009231922A true JP2009231922A (ja) 2009-10-08
JP4508257B2 JP4508257B2 (ja) 2010-07-21

Family

ID=40707663

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008071721A Expired - Fee Related JP4508257B2 (ja) 2008-03-19 2008-03-19 構図判定装置、構図判定方法、プログラム

Country Status (6)

Country Link
US (1) US8810673B2 (ja)
EP (1) EP2104336A3 (ja)
JP (1) JP4508257B2 (ja)
KR (1) KR20090100242A (ja)
CN (1) CN101540844B (ja)
TW (1) TWI398826B (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023248806A1 (ja) * 2022-06-20 2023-12-28 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、情報処理方法、及び、記録媒体

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5206095B2 (ja) 2008-04-25 2013-06-12 ソニー株式会社 構図判定装置、構図判定方法、プログラム
JP5189913B2 (ja) * 2008-07-14 2013-04-24 イーストマン コダック カンパニー 画像処理装置
JP5159515B2 (ja) * 2008-08-26 2013-03-06 キヤノン株式会社 画像処理装置およびその制御方法
JP5434339B2 (ja) * 2009-07-29 2014-03-05 ソニー株式会社 撮像制御装置、撮像システム、撮像方法、プログラム
JP5434338B2 (ja) 2009-07-29 2014-03-05 ソニー株式会社 撮像制御装置、撮像方法、プログラム
WO2011025234A2 (en) * 2009-08-24 2011-03-03 Samsung Electronics Co., Ltd. Method for transmitting image and image pickup apparatus applying the same
EP2701123B1 (en) * 2011-04-20 2018-10-17 NEC Corporation Individual identification character display system, terminal device, individual identification character display method, and computer program
CN102819725A (zh) * 2011-06-07 2012-12-12 鸿富锦精密工业（深圳）有限公司 疲劳状态检测系统及方法
TWI446087B (zh) * 2012-08-03 2014-07-21 Wistron Corp 具有自動對焦功能之影像擷取裝置及自動對焦方法
US8825664B2 (en) * 2012-08-17 2014-09-02 Splunk Inc. Indexing preview
KR101800617B1 (ko) 2013-01-02 2017-12-20 삼성전자주식회사 디스플레이 장치 및 이의 화상 통화 방법
CN104655288A (zh) * 2013-11-25 2015-05-27 杭州美盛红外光电技术有限公司 热像检测装置和热像检测方法
US10235587B2 (en) * 2014-03-04 2019-03-19 Samsung Electronics Co., Ltd. Method and system for optimizing an image capturing boundary in a proposed image
US10776754B2 (en) * 2014-11-26 2020-09-15 Adobe Inc. Content creation, deployment collaboration, and subsequent marketing activities
WO2016125352A1 (ja) * 2015-02-02 2016-08-11 富士フイルム株式会社 カメラ装置、撮像システム、制御方法及びプログラム
CN105991925A (zh) * 2015-03-06 2016-10-05 联想(北京)有限公司 场景构图指示方法和指示装置
CN105323491B (zh) * 2015-11-27 2019-04-23 小米科技有限责任公司 图像拍摄方法及装置
KR20170131101A (ko) * 2016-05-20 2017-11-29 엘지전자 주식회사 이동 단말기 및 그 제어방법
JP6745682B2 (ja) * 2016-08-30 2020-08-26 キヤノン株式会社 撮像装置、制御方法、プログラム、及び記憶媒体
CN106973224B (zh) * 2017-03-09 2020-08-07 Oppo广东移动通信有限公司 辅助构图的控制方法、控制装置及电子装置
JP6843439B2 (ja) * 2017-05-17 2021-03-17 エバ・ジャパン 株式会社 情報探索システム及び方法、情報探索プログラム
JP6938270B2 (ja) * 2017-08-09 2021-09-22 キヤノン株式会社 情報処理装置および情報処理方法
CN109963068A (zh) * 2017-12-25 2019-07-02 深圳市优必选科技有限公司 一种图像处理方法、系统及终端设备
JP6951753B2 (ja) * 2018-03-27 2021-10-20 エバ・ジャパン 株式会社 情報探索システム及びプログラム
CN108307120B (zh) * 2018-05-11 2020-07-17 阿里巴巴（中国）有限公司 图像拍摄方法、装置及电子终端
JP7456385B2 (ja) * 2018-10-25 2024-03-27 ソニーグループ株式会社 画像処理装置、および画像処理方法、並びにプログラム
WO2020131037A1 (en) * 2018-12-18 2020-06-25 Rovi Guides, Inc. Systems and methods for automated tracking on a handheld device using a remote camera
CN110248104B (zh) * 2019-07-22 2021-03-19 联想(北京)有限公司 一种图像处理方法、装置及电子设备
CN111263063A (zh) * 2020-02-17 2020-06-09 深圳传音控股股份有限公司 拍摄图像的方法、装置及设备
CN114025097B (zh) * 2020-03-09 2023-12-12 Oppo广东移动通信有限公司 构图指导方法、装置、电子设备及存储介质
CN114764891A (zh) 2021-09-16 2022-07-19 杭州天眼智联科技有限公司 用于确定物料构成的方法、装置、电子设备和可读介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001245278A (ja) * 2000-02-28 2001-09-07 Ty Assist:Kk 監視装置及び方法
JP2004151523A (ja) * 2002-10-31 2004-05-27 Mitsubishi Electric Corp 地図データ更新装置
JP2004356718A (ja) * 2003-05-27 2004-12-16 Sony Corp 情報記録制御装置および情報記録制御方法、記録媒体、並びにプログラム
JP2007179569A (ja) * 2007-03-09 2007-07-12 Toshiba Corp 人物認識装置、人物認識方法および通行制御装置
JP2008042729A (ja) * 2006-08-09 2008-02-21 Matsushita Electric Ind Co Ltd ネットワークカメラ

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS59898A (ja) 1982-06-28 1984-01-06 松下電工株式会社 高圧放電灯点灯装置
JPH0614698B2 (ja) 1983-05-13 1994-02-23 株式会社日立製作所 自動追尾カメラ
TW373396B (en) * 1997-10-30 1999-11-01 Hewlett Packard Co Automatic digital camera image rotation
EP1033879A4 (en) * 1998-09-18 2004-05-19 Mitsubishi Electric Corp CAMERA CONTROL SYSTEM
EP1107584B1 (en) 1999-12-03 2008-08-27 Fujinon Corporation Automatic following device
JP2001268425A (ja) 2000-03-16 2001-09-28 Fuji Photo Optical Co Ltd 自動追尾装置
US6516154B1 (en) 2001-07-17 2003-02-04 Eastman Kodak Company Image revising camera and method
US20040207743A1 (en) * 2003-04-15 2004-10-21 Nikon Corporation Digital camera system
JP2004343315A (ja) 2003-05-14 2004-12-02 Sony Corp 撮像装置
US7317815B2 (en) 2003-06-26 2008-01-08 Fotonation Vision Limited Digital image processing composition using face detection information
US7453506B2 (en) * 2003-08-25 2008-11-18 Fujifilm Corporation Digital camera having a specified portion preview section
US7349020B2 (en) * 2003-10-27 2008-03-25 Hewlett-Packard Development Company, L.P. System and method for displaying an image composition template
JP4489608B2 (ja) * 2004-03-31 2010-06-23 富士フイルム株式会社 ディジタル・スチル・カメラ，画像再生装置および顔画像表示装置ならびにそれらの制御方法
US8289399B2 (en) * 2004-08-09 2012-10-16 Hewlett-Packard Development Company, L.P. System and method for image capture device
JP2006140695A (ja) * 2004-11-11 2006-06-01 Konica Minolta Photo Imaging Inc 撮像装置
JP4623368B2 (ja) * 2005-03-16 2011-02-02 ソニー株式会社 移動物体検出装置、移動物体検出方法及びプログラム
JP4779610B2 (ja) 2005-12-02 2011-09-28 オムロン株式会社 画像処理装置および方法、並びにプログラム
JP4457358B2 (ja) * 2006-05-12 2010-04-28 富士フイルム株式会社 顔検出枠の表示方法、文字情報の表示方法及び撮像装置
JP4197019B2 (ja) 2006-08-02 2008-12-17 ソニー株式会社 撮像装置および表情評価装置
JP2008071721A (ja) 2006-09-15 2008-03-27 Furukawa Electric Co Ltd:The 絶縁電線およびその製造方法
US20080166052A1 (en) * 2007-01-10 2008-07-10 Toshinobu Hatano Face condition determining device and imaging device
GB2448221B (en) * 2007-04-02 2012-02-01 Samsung Electronics Co Ltd Method and apparatus for providing composition information in digital image processing device
CN100514353C (zh) * 2007-11-26 2009-07-15 清华大学 一种基于人脸生理性运动的活体检测方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001245278A (ja) * 2000-02-28 2001-09-07 Ty Assist:Kk 監視装置及び方法
JP2004151523A (ja) * 2002-10-31 2004-05-27 Mitsubishi Electric Corp 地図データ更新装置
JP2004356718A (ja) * 2003-05-27 2004-12-16 Sony Corp 情報記録制御装置および情報記録制御方法、記録媒体、並びにプログラム
JP2008042729A (ja) * 2006-08-09 2008-02-21 Matsushita Electric Ind Co Ltd ネットワークカメラ
JP2007179569A (ja) * 2007-03-09 2007-07-12 Toshiba Corp 人物認識装置、人物認識方法および通行制御装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023248806A1 (ja) * 2022-06-20 2023-12-28 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、情報処理方法、及び、記録媒体

Also Published As

Publication number Publication date
EP2104336A2 (en) 2009-09-23
US20090256925A1 (en) 2009-10-15
CN101540844B (zh) 2011-12-14
TWI398826B (zh) 2013-06-11
KR20090100242A (ko) 2009-09-23
US8810673B2 (en) 2014-08-19
TW200947356A (en) 2009-11-16
CN101540844A (zh) 2009-09-23
EP2104336A3 (en) 2010-04-28
JP4508257B2 (ja) 2010-07-21

Similar Documents

Publication Publication Date Title
JP4508257B2 (ja) 構図判定装置、構図判定方法、プログラム
JP5206095B2 (ja) 構図判定装置、構図判定方法、プログラム
JP4640456B2 (ja) 画像記録装置、画像記録方法、画像処理装置、画像処理方法、プログラム
US10419672B2 (en) Methods and apparatus for supporting burst modes of camera operation
JP4586709B2 (ja) 撮像装置
JP2009100301A (ja) 構図判定装置、構図判定方法、プログラム
JP2009100300A (ja) 構図判定装置、構図判定方法、プログラム
JP2005128156A (ja) 焦点調節装置及び焦点調節方法
JP5378135B2 (ja) 画像レイアウト決定方法ならびにそのプログラムおよび情報処理装置
JP2018050146A (ja) 探索装置及び、その撮像装置及び、探索方法
JP2008109552A (ja) 追跡機能付き撮像装置
JP2007081682A (ja) 画像処理装置、画像処理方法、及び、情報処理装置が実行可能なプログラム
JP2020053774A (ja) 撮像装置および画像記録方法
JP2008172342A (ja) 立体画像記録装置および立体画像記録方法
JP5440588B2 (ja) 構図判定装置、構図判定方法、プログラム
CN115812177A (zh) 图像处理装置、摄像装置、图像处理方法及程序
JP5383207B2 (ja) 情報処理装置、制御方法、コンピュータプログラム、および記憶媒体
JP6545229B2 (ja) 画像処理装置、撮像装置、画像処理装置の制御方法およびプログラム
JP2020043544A (ja) 撮像装置およびその制御方法、プログラムならびに記憶媒体
JP2011061857A (ja) 画像処理装置、画像処理方法、プログラム、撮像装置
JP2023166863A (ja) 画像処理装置、画像処理方法および撮像装置
JP2020043528A (ja) 画像処理装置、画像処理装置の制御方法およびプログラム
JP2019049643A (ja) 画像処理装置、システム、およびそれらの制御方法、プログラム

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100128

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100202

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100319

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100413

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100426

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130514

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130514

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees