JP2011030015A - 構図制御装置、撮像システム、構図制御方法、プログラム - Google Patents

構図制御装置、撮像システム、構図制御方法、プログラム Download PDF

Info

Publication number
JP2011030015A
JP2011030015A JP2009174575A JP2009174575A JP2011030015A JP 2011030015 A JP2011030015 A JP 2011030015A JP 2009174575 A JP2009174575 A JP 2009174575A JP 2009174575 A JP2009174575 A JP 2009174575A JP 2011030015 A JP2011030015 A JP 2011030015A
Authority
JP
Japan
Prior art keywords
subject
composition
control
imaging
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009174575A
Other languages
English (en)
Other versions
JP2011030015A5 (ja
JP5347802B2 (ja
Inventor
Shingo Yoshizumi
真吾 善積
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2009174575A priority Critical patent/JP5347802B2/ja
Priority to US12/813,039 priority patent/US8786722B2/en
Priority to CN2010102338955A priority patent/CN101969531B/zh
Publication of JP2011030015A publication Critical patent/JP2011030015A/ja
Publication of JP2011030015A5 publication Critical patent/JP2011030015A5/ja
Application granted granted Critical
Publication of JP5347802B2 publication Critical patent/JP5347802B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/64Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/69Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

【課題】効率の良い構図制御が行われるようにする。
【解決手段】判定された構図が獲得されているとした画内容から、判定されたズーム倍率により変更された画角を、変更前に戻したとするときに、画枠において得られる被写体の位置を予備位置として求める。そして、画枠内の被写体がこの予備位置となるようにして可動機構部を制御し、この後、判定されたズーム倍率によるズーム制御を実行する。これによって、ズーム制御を完了した段階で、判定した構図を獲得することを可能とする。
【選択図】図18

Description

本発明は、例えば画像データを対象として、その画内容において所望の構図が得られるようにするための制御を行う構図制御装置とその方法に関する。また、構図制御装置に必要な手順を実行させるためのプログラムに関する。
先に本出願人は、特許文献1に示す構図制御の構成を提案している。つまり、撮像装置により得る撮像画像データの画像中に存在する被写体を検出し、検出される被写体数、また、被写体ごとに検出される顔方向の関係性などに応じて最適構図を判定する。そして、撮像画像データの画内容について、この判定した最適構図となるようにして、撮像装置が取り付けられた雲台のパン・チルト制御、また、撮像装置の光学系のズーム制御などにより構図合わせを行おうというものである。
特開2009−100300号公報
特許文献1において判定された構図を得るための構図合わせ制御は、上記もしたように、その要素として、雲台のパン方向における駆動制御若しくはチルト方向における駆動制御、及びズーム制御の組み合わせによって行われているといえる。
本願発明は、このような構図合わせ制御のシーケンスについてさらに改良を図り、例えば、より効率的に制御が実行されるようにすることを、その課題とする。
そこで本発明は上記した課題を考慮して、構図制御装置として次のように構成する。
つまり、撮像部により撮像して得られる画像から検出した被写体情報に基づいて目標構図を判定するもので、この目標構図を得るためのズーム倍率、及び上記目標構図を得るための被写体の画像部分の目標位置を判定する構図判定手段と、上記構図判定手段により判定された目標構図が得られているとする場合に、上記ズーム倍率による画角変更を行う前において、上記画像において得られているとされる被写体の位置を予備位置として求める、予備位置取得手段と、上記被写体の画像部分の位置が、取得された上記予備位置となるようにして、上記撮像部の撮像視野範囲を変更する可動機構部に対する制御を実行する可動機構部制御手段と、上記可動機構部制御手段により上記被写体の画像部分が上記予備位置に在るようにされた後において、上記構図判定手段により判定されたズーム倍率に応じた画角が得られるようにして、上記撮像部のズームレンズを駆動制御する、ズーム制御手段とを備えることとした。
また、撮像システムとして次のように構成する。
つまり、撮像装置と、上記撮像装置の撮像視野範囲を変更するようにして可動する機構を有する可動機構装置とから成り、上記撮像部により撮像して得られる画像から検出した被写体情報に基づいて目標構図を判定するもので、この目標構図を得るためのズーム倍率、及び上記目標構図を得るための被写体の画像部分の目標位置を判定する構図判定手段と、上記構図判定手段により判定された目標構図が得られているとする場合に、上記ズーム倍率による画角変更を行う前において、上記画像において得られているとされる被写体の位置を予備位置として求める、予備位置取得手段と、上記被写体の画像部分の位置が、取得された上記予備位置となるようにして、上記可動機構装置に対する制御を実行する可動機構装置制御手段と、上記可動機構装置制御手段により上記被写体の画像部分が上記予備位置に在るようにされた後において、上記構図判定手段により判定されたズーム倍率に応じた画角が得られるようにして、上記撮像装置のズームレンズを駆動制御する、ズーム制御手段とを備えることとした。
上記構成では、判定された構図が獲得されているとした画内容から、判定されたズーム倍率により変更された画角を、変更前に戻したとするときに、画像において得られる被写体の位置を予備位置として求める。そして、画像内の被写体がこの予備位置となるようにして可動機構部を制御し、この後、判定されたズーム倍率によるズーム制御を実行する。これによって、本願では、ズーム制御を完了した段階で、判定した構図が得られることになる。
これにより、例えば構図制御としての可動機構部の制御、及びズーム制御に応じた物理的な動きに無駄がなくなり、判定した構図が得られるまでの時間も短縮可能になるなど、効率の良い構図制御が行われることになる。
実施形態の撮像システムを成す撮像装置であるデジタルスチルカメラの外観を簡単に示す正面図及び背面図である。 実施形態の撮像システムを成す雲台の外観例を示す斜視図である。 実施形態の撮像システムとして、雲台にデジタルスチルカメラが取り付けられた形態例を示す正面図である。 実施形態の撮像システムとして、雲台にデジタルスチルカメラが取り付けられた形態例を、パン方向における動きの態様例とともに示す平面図である。 実施形態の撮像システムとして、雲台にデジタルスチルカメラが取り付けられた形態例を示す側面図である。 デジタルスチルカメラの構成例を示すブロック図である。 雲台の構成例を示すブロック図である。 実施の形態のデジタルスチルカメラが構図制御に対応して備えるものとされる機能をブロック単位の構成により示す図である。 画像データの画枠内に被写体が検出されたときの画内容例を示す図である。 図9にて検出された被写体に対応して獲得すべきとして判定された構図による画枠内の画内容例を示す図である。 第1例の構図制御でのパン・チルト制御の段階で得られる、画枠内の被写体の位置を示す図である。 図11の状態からズーム制御を実行した段階で得られる、画枠内の画内容を示す図である。 第1例の構図制御でのパン・チルト制御の段階で得られる、画枠内の被写体の位置(水平オフセット量が0でない場合)を示す図である。 図13の状態からズーム制御を実行した段階で得られる、画枠内の画内容を示す図である。 第3例の構図制御でのパン・チルト制御の段階で得られる、画枠内の被写体の位置を示す図である。 第1例としての構図制御のための処理手順例を示すフローチャートである。 第2例としての構図制御のための処理手順例を示すフローチャートである。 第3例としての構図制御のための処理手順例を示すフローチャートである。 被写体が複数の場合のズーム倍率Zの判定手法例を説明するための図である。 被写体が複数の場合のズーム倍率Zの判定手法例を説明するための図である。 実施の形態の撮像システムの変形例としての構成例を示す図である。 実施の形態の撮像システムの他の変形例としての構成例を示す図である。
以下、本願発明を実施するための形態(以下、実施形態という)について、下記の順により説明する。
<1.撮像システムの構成>
[1−1.全体構成]
[1−2.デジタルスチルカメラ]
[1−3.雲台]
<2.実施形態の構図制御に対応する機能構成例>
<3.構図制御(第1例)>
<4.構図制御(第2例)>
<5.構図制御(第3例:実施形態)>
[5−1.アルゴリズム例]
[5−2.被写体数が複数の場合]
<6.本実施形態の撮像システムの変形例>

また、本明細書においては、以降の説明にあたり、画枠、画角、撮像視野範囲、構図なる語を用いることとする。
画枠は、例えば画像が嵌め込まれるようにしてみえる一画面相当の領域範囲をいい、一般には縦長若しくは横長の長方形としての外枠形状を有する。
画角は、ズーム角などともいわれるもので、撮像装置の光学系におけるズームレンズの位置によって決まる画枠に収まる範囲を角度により表したものである。一般的には、撮像光学系の焦点距離と、像面(イメージセンサ、フィルム)のサイズによって決まるものとされているが、ここでは、焦点距離に対応して変化し得る要素を画角といっている。
撮像視野範囲は、定位置に置かれた撮像装置により撮像して得られる画像の画枠に収まる範囲について、上記の画角に加え、パン(水平)方向における振り角度と、チルト(垂直)方向における角度(仰角、俯角)により決まるものをいう。
構図は、ここでは、フレーミングともいわれるもので、例えば撮像視野範囲によって決まる画枠内における被写体についてのサイズ設定も含めたうえでの配置状態をいう。
また、本実施形態としては、本願発明に基づく構成を、デジタルスチルカメラと、このデジタルスチルカメラが取り付けられる雲台とからなる撮像システムに適用した場合を例に挙げることとする。
<1.撮像システムの構成>
[1−1.全体構成]
本実施形態の撮像システムは、デジタルスチルカメラ1と、このデジタルスチルカメラ1が載置される雲台10から成る。
先ず、図1にデジタルスチルカメラ1の外観例を示す。図1(a)、(b)は、それぞれデジタルスチルカメラ1の正面図、背面図となる。
この図に示されるデジタルスチルカメラ1は、先ず、図1(a)に示すように、本体部2の前面側においてレンズ部21aを備える。このレンズ部21aは、撮像のための光学系として本体部2の外側に表出している部位である。
また、本体部2の上面部には、レリーズボタン31aが設けられている。撮像モードにおいてはレンズ部21aにより撮像された画像(撮像画像)が画像信号として生成される。そして、この撮像モードにおいてレリーズボタン31aに対する操作が行われると、この操作タイミングのときに得られていたとする撮像画像が、静止画の画像データとして記憶媒体に記録される。つまり、写真撮影が行われる。
また、デジタルスチルカメラ1は、図1(b)に示すようにして、その背面側に表示画面部33aを有する。
この表示画面部33aには、撮像モード時においては、スルー画などといわれ、そのときにレンズ部21aにより撮像している画像が表示される。また、再生モード時においては、記憶媒体に記録されている画像データが再生表示される。さらに、ユーザがデジタルスチルカメラ1に対して行った操作に応じて、GUI(Graphical User Interface)としての操作画像が表示される。
なお、本実施形態のデジタルスチルカメラ1は、表示画面部33aに対してタッチパネルが組み合わされているものとする。これにより、ユーザは、表示画面部33aに対して指を当てることによって、しかるべき操作を行うことができる。
また、本実施形態の撮像システム(撮像装置)は、このデジタルスチルカメラ1としての撮像部と、次に説明する雲台10としての可動機構部(可動装置部)から成るものとしているが、ユーザは、デジタルスチルカメラ1単体のみを使用しても、通常のデジタルスチルカメラと同じように、写真撮影を行うことができる。
図2は、雲台10の外観を示す斜視図である。また、図3〜図5は、本実施形態の撮像システムの外観として、雲台10に対してデジタルスチルカメラ1が適切な状態で載置された状態を示している。図3は正面図、図4は平面図、図5(a)は側面図であり、図5(b)は側面図によりチルト機構の可動範囲を示したものである。
図2、及び図3,図4,図5(a)に示すように、雲台10は、大きくは接地台部13の上に本体部11が組み合わされたうえで、さらに本体部11に対してカメラ台座部12が取り付けられた構造を有する。
雲台10にデジタルスチルカメラ1を載置しようとするときには、デジタルスチルカメラ1の底面側を、カメラ台座部12の上面側に対して置くようにようにする。
この場合のカメラ台座部12の上面部には、図2に示すようにして、突起部13とコネクタ14が設けられている。
その図示は省略するが、デジタルスチルカメラ1の本体部2の下面部には、突起部13と係合する孔部が形成されている。デジタルスチルカメラ1がカメラ台座部12に対して適正に置かれた状態では、この孔部と突起部13とが係合した状態となる。この状態であれば、通常の雲台10のパンニング・チルティングの動作であれば、デジタルスチルカメラ1が雲台10からずれたり、外れてしまったりすることがないようにされている。
また、デジタルスチルカメラ1においては、その下面部の所定位置にもコネクタが設けられている。上記のようにして、カメラ台座部12にデジタルスチルカメラ1が適正に載置される状態では、デジタルスチルカメラ1のコネクタと雲台10のコネクタ14とが接続され、少なくとも、相互間の通信が可能な状態となる。
なお、例えばコネクタ14と突起部13は、実際においては、カメラ台座部12において可動できるようになっている。そのうえで、例えばデジタルスチルカメラ1の底面部の形状に合わせたアダプタなどを併用することで、異なる機種のデジタルスチルカメラを、雲台10と通信可能な状態で、カメラ台座部12に載置できるようになっている。
また、デジタルスチルカメラ1とカメラ台座部12との通信は無線により行われるようにしてもよい。
また、例えば雲台10に対してデジタルスチルカメラ1が載置された状態では、雲台10からデジタルスチルカメラ1に対して充電が行えるように構成しても良い。さらには、デジタルスチルカメラ1にて再生している画像などの映像信号を雲台10側にも伝送し、雲台10からさらにケーブルや無線通信などを介して、外部モニタ装置に出力させるような構成とすることも考えられる。つまり、雲台10について、単に、デジタルスチルカメラ1の撮像視野範囲を変更させるためだけに用いるのではなく、いわゆるクレードルとしての機能を与えることが可能である。
次に、雲台10によるデジタルスチルカメラ1のパン・チルト方向の基本的な動きについて説明する。
まず、パン方向の基本的な動きは次のようになる。
この雲台10を床面などに置いた状態では、接地台部13の底面が接地する。この状態において、図4に示すように、回転軸11aを回転中心として、本体部11は時計回り方向、及び反時計回り方向に回転できるようになっている。これにより、雲台10に載置されているデジタルスチルカメラ1の撮像視野範囲は、左右方向(水平方向)に沿って変化することになる。つまり、パンニングの動きが与えられる。
そのうえで、この場合の雲台10のパン機構は、時計回り方向及び反時計回り方向の何れについても、360°以上の回転が無制限で自在に行える構造を有しているものとする。
また、この雲台のパン機構においては、パン方向における基準位置が決められている。
ここでは、図4に示すようにして、パン基準位置を0°(360°)としたうえで、パン方向に沿った本体部11の回転位置、即ちパン位置を0°〜360°により表すものとする。
また、雲台10のチルト方向の基本的な動きについては次のようになる。
チルト方向の動きは、図5(a)及び図5(b)に示すようにして、カメラ台座部12が回転軸12aを回転中心として、仰角、俯角の両方向に可動することにより得られる。
ここで、図5(a)は、カメラ台座部12がチルト基準位置Y0(0°)にある状態が示されている。この状態では、レンズ部21a(光学系部)の撮像光軸と一致する撮像方向F1と、接地台部13が接地する接地面部GRとが平行となる。
そのうえで、図5(b)に示すように、先ず、仰角方向においては、カメラ台座部12は、回転軸12aを回転中心として、チルト基準位置Y0(0°)から所定の最大回転角度+f°の範囲で動くことができる。また、俯角方向においても、回転軸12aを回転中心として、チルト基準位置Y0(0°)から所定の最大回転角度−g°の範囲で動くことができるようになっている。このようにして、カメラ台座部12がチルト基準位置Y0(0°)を基点として、最大回転角度+f°〜最大回転角度−g°の範囲で動くことで、雲台10(カメラ台座部12)に載置されたデジタルスチルカメラ1の撮像視野範囲は、上下方向(垂直方向)沿って変化することになる。つまりチルティングの動作が得られる。
なお、図2〜図5に示した雲台10の外観構成はあくまでも一例であり、載置されたデジタルスチルカメラ1をパン方向及チルト方向に動かすことができるようにされていれば、他の物理的構成、構造が採られてもかまわない。
[1−2.デジタルスチルカメラ]
先ず、図6のブロック図は、デジタルスチルカメラ1の実際的な内部構成例を示している。
この図において、先ず、光学系部21は、例えばズームレンズ、フォーカスレンズなども含む所定枚数の撮像用のレンズ群、絞りなどを備えて成り、入射された光を撮像光としてイメージセンサ22の受光面に結像させる。
また、光学系部21においては、上記のズームレンズ、フォーカスレンズ、絞りなどを駆動させるための駆動機構部も備えられているものとされる。これらの駆動機構部は、例えば制御部27が実行するとされるズーム(画角)制御、自動焦点調整制御、自動露出制御などのいわゆるカメラ制御によりその動作が制御される。
イメージセンサ22は、上記光学系部21にて得られる撮像光を電気信号に変換する、いわゆる光電変換を行う。このために、イメージセンサ22は、光学系部21からの撮像光を光電変換素子の受光面にて受光し、受光された光の強さに応じて蓄積される信号電荷を、所定タイミングにより順次出力する。これにより、撮像光に対応した電気信号(撮像信号)が出力される。なお、イメージセンサ22として採用される光電変換素子(撮像素子)としては、特に限定されるものではないが、現状であれば、例えばCMOSセンサやCCD(Charge Coupled Device)などを挙げることができる。また、CMOSセンサを採用する場合には、イメージセンサ22に相当するデバイス(部品)として、次に述べるA/Dコンバータ23に相当するアナログ−デジタル変換器も含めた構造とすることができる。
上記イメージセンサ22から出力される撮像信号は、A/Dコンバータ23に入力されることで、デジタル信号に変換され、信号処理部24に入力される。
信号処理部24では、A/Dコンバータ23から出力されるデジタルの撮像信号について、例えば1つの静止画 (フレーム画像)に相当する単位で取り込みを行い、このようにして取り込んだ静止画単位の撮像信号について所要の信号処理を施すことで、1枚の静止画に相当する画像信号データである撮像画像データ(撮像静止画像データ)を生成することができる。
上記のようにして信号処理部24にて生成した撮像画像データを画像情報として記憶媒体(記憶媒体装置)であるメモリカード40に記録させる場合には、例えば1つの静止画に対応する撮像画像データを信号処理部24からエンコード/デコード部25に対して出力する。
エンコード/デコード部25は、信号処理部24から出力されてくる静止画単位の撮像画像データについて、所定の静止画像圧縮符号化方式により圧縮符号化を実行したうえで、例えば制御部27の制御に応じてヘッダなどを付加して、所定形式に圧縮された画像データの形式に変換する。そして、このようにして生成した画像データをメディアコントローラ26に転送する。メディアコントローラ26は、制御部27の制御に従って、メモリカード40に対して、転送されてくる画像データを書き込んで記録させる。この場合のメモリカード40は、例えば所定規格に従ったカード形式の外形形状を有し、内部には、フラッシュメモリなどの不揮発性の半導体記憶素子を備えた構成を採る記憶媒体である。なお、画像データを記憶させる記憶媒体については、上記メモリカード以外の種別、形式などとされてもよい。
また、本実施の形態としての信号処理部24は、先の説明のようにして取得される撮像画像データを利用して、後述するように、被写体検出としての画像処理を実行させるように構成される。
また、デジタルスチルカメラ1は信号処理部24にて得られる撮像画像データを利用して表示部33により画像表示を実行させることで、現在撮像中の画像であるいわゆるスルー画を表示させることが可能とされる。例えば信号処理部24においては、先の説明のようにしてA/Dコンバータ23から出力される撮像信号を取り込んで1枚の静止画相当の撮像画像データを生成するのであるが、この動作を継続することで、動画におけるフレーム画像に相当する撮像画像データを順次生成していく。そして、このようにして順次生成される撮像画像データを、制御部27の制御に従って表示ドライバ32に対して転送する。これにより、スルー画の表示が行われる。
表示ドライバ32では、上記のようにして信号処理部24から入力されてくる撮像画像データに基づいて表示部33を駆動するための駆動信号を生成し、表示部33に対して出力していくようにされる。これにより、表示部33においては、静止画単位の撮像画像データに基づく画像が順次的に表示されていくことになる。これをユーザが見れば、そのときに撮像しているとされる画像が表示部33において動画的に表示されることになる。つまり、スルー画が表示される。
また、デジタルスチルカメラ1は、メモリカード40に記録されている画像データを再生して、その画像を表示部33に対して表示させることも可能とされる。
このためには、制御部27が画像データを指定して、メディアコントローラ26に対してメモリカード40からのデータ読み出しを命令する。この命令に応答して、メディアコントローラ26は、指定された画像データが記録されているメモリカード40上のアドレスにアクセスしてデータ読み出しを実行し、読み出したデータを、エンコード/デコード部25に対して転送する。
エンコード/デコード部25は、例えば制御部27の制御に従って、メディアコントローラ26から転送されてきた撮像画像データから圧縮静止画データとしての実体データを取り出し、この圧縮静止画データについて、圧縮符号化に対する復号処理を実行して、1つの静止画に対応する撮像画像データを得る。そして、この撮像画像データを表示ドライバ32に対して転送する。これにより、表示部33においては、メモリカード40に記録されている撮像画像データの画像が再生表示されることになる。
また表示部33に対しては、上記のスルー画や画像データの再生画像などとともに、ユーザインターフェース画像(操作画像)も表示させることができる。この場合には、例えばそのときの動作状態などに応じて制御部27が必要なユーザインターフェース画像としての表示用画像データを生成し、これを表示ドライバ32に対して出力するようにされる。これにより、表示部33においてユーザインターフェース画像が表示されることになる。なお、このユーザインターフェース画像は、例えば特定のメニュー画面などのようにモニタ画像や撮像画像データの再生画像とは個別に表示部33の表示画面に表示させることも可能であるし、モニタ画像や撮像画像データの再生画像上の一部において重畳・合成されるようにして表示させることも可能である。
制御部27は、例えば実際においてはCPU(Central Processing Unit)を備えて成るもので、ROM28、RAM29などとともにマイクロコンピュータを構成する。ROM28には、例えば制御部27としてのCPUが実行すべきプログラムの他、デジタルスチルカメラ1の動作に関連した各種の設定情報などが記憶される。RAM29は、CPUのための主記憶装置とされる。
また、この場合のフラッシュメモリ30は、例えばユーザ操作や動作履歴などに応じて変更(書き換え)の必要性のある各種の設定情報などを記憶させておくために使用する不揮発性の記憶領域として設けられるものである。なおROM28について、例えばフラッシュメモリなどをはじめとする不揮発性メモリを採用することとした場合には、フラッシュメモリ30に代えて、このROM28における一部記憶領域を使用することとしてもよい。
操作部31は、デジタルスチルカメラ1に備えられる各種操作子と、これらの操作子に対して行われた操作に応じた操作情報信号を生成してCPUに出力する操作情報信号出力部位とを一括して示している。制御部27は、操作部31から入力される操作情報信号に応じて所定の処理を実行する。これによりユーザ操作に応じたデジタルスチルカメラ1の動作が実行されることになる。
音声出力部35は、制御部27の制御により、例えば所定内容の通知のために、所定の音色と発音パターンによる電子音を出力する部位である。
LED部36は、例えばデジタルスチルカメラ1の筐体前面部に表出して設けられるLED(Light Emitting Diode)と、このLEDを点灯駆動する回路部などから成り、制御部27の制御に応じて、LEDを点灯、消灯する。このLEDを点灯、消灯パターンにより、所定内容の通知が行われる。
雲台対応通信部34は、雲台10側とデジタルスチルカメラ1側との間での所定の通信方式に従った通信を実行する部位であり、例えばデジタルスチルカメラ1が雲台10に対して取り付けられた状態において、雲台10側の通信部との間での有線若しくは無線による通信信号の送受信を可能とするための物理層構成と、これより上位となる所定層に対応する通信処理を実現するための構成とを有して成る。上記物理層構成として、図2との対応では、コネクタ14と接続されるコネクタの部位が含まれる。
[1−3.雲台]
図7のブロック図は、雲台10の内部構成例を示している。
先に述べたように、雲台10は、パン・チルト機構を備えるものであり、これに対応する部位として、パン機構部53、パン用モータ54、チルト機構部56、チルト用モータ57を備える。
パン機構部53は、雲台10に取り付けられたデジタルスチルカメラ1について、図4に示したパン(横・左右)方向の動きを与えるための機構を有して構成され、この機構の動きは、パン用モータ54が正逆方向に回転することによって得られる。同様にして、チルト機構部56は、雲台10に取り付けられたデジタルスチルカメラ1について、図5(b)に示したチルト(縦・上下)方向の動きを与えるための機構を有して構成され、この機構の動きは、チルト用モータ57が正逆方向に回転することによって得られる。
制御部51は、例えばCPU、ROM、RAMなどが組み合わされて形成されるマイクロコンピュータを有して成り、上記パン機構部53、チルト機構部56の動きをコントロールする。例えば制御部51がパン機構部53の動きを制御するときには、移動させるべき方向と移動速度を指示する信号をパン用駆動部55に対して出力する。パン用駆動部55は、入力される信号に対応したモータ駆動信号を生成してパン用モータ54に出力する。このモータ駆動信号は、例えばモータがステッピングモータであれば、PWM制御に対応したパルス信号となる。
このモータ駆動信号によりパン用モータ54が、例えば所要の回転方向、回転速度により回転し、この結果、パン機構部53も、これに対応した移動方向と移動速度により動くようにして駆動される。
同様にして、チルト機構部56の動きを制御するときには、制御部51は、チルト機構部56に必要な移動方向、移動速度を指示する信号をチルト用駆動部58に対して出力する。チルト用駆動部58は、入力される信号に対応したモータ駆動信号を生成してチルト用モータ57に出力する。このモータ駆動信号によりチルト用モータ57が、例えば所要の回転方向及び回転速度で回転し、この結果、チルト機構部56も、これに対応した移動方向,速度により動くようにして駆動される。
また、パン機構部53は、ロータリーエンコーダ(回転検出器)53aを備えている。ロータリーエンコーダ53aは、パン機構部53の回転の動きに応じて、その回転角度量を示す検出信号を制御部51に出力する。同様に、チルト機構部56はロータリーエンコーダ56aを備える。このロータリーエンコーダ56aも、チルト機構部56の回転の動きに応じて、その回転角度量を示す信号を制御部51に出力する。
通信部52は、雲台10に取り付けられたデジタルスチルカメラ1内の雲台対応通信部34との間で所定の通信方式に従った通信を実行する部位であり、雲台対応通信部34と同様にして、相手側通信部と有線若しくは無線による通信信号の送受信を可能とするための物理層構成と、これより上位となる所定層に対応する通信処理を実現するための構成とを有して成る。上記物理層構成として、図2との対応では、カメラ台座部12のコネクタ14が含まれる。
<2.実施形態の構図制御に対応する機能構成例>
次に、図8のブロック図により、本実施形態に対応する撮像システムを成すデジタルスチルカメラ1及び雲台10についての、ハードウェア及びソフトウェア(プログラム)により実現される機能構成例を示す。
この図において、デジタルスチルカメラ1は、撮像記録ブロック61、構図判定ブロック62、パン・チルト・ズーム制御ブロック63、及び通信制御処理ブロック64を備えて成るものとされている。
撮像記録ブロック61は、撮像により得られた画像を画像信号のデータ(撮像画像データ)として得て、この撮像画像データを記憶媒体に記憶するための制御処理を実行する部位である。この部位は、例えば撮像のための光学系、撮像素子(イメージセンサ)、及び撮像素子から出力される信号から撮像画像データを生成する信号処理回路、また、撮像画像データを記憶媒体に書き込んで記録(記憶)させるための記録制御・処理系などを有して成る部位である。
この場合の撮像記録ブロック61における撮像画像データの記録(撮像記録)は、構図判定ブロックの指示、制御により実行される。
構図判定ブロック62は、撮像記録ブロック61から出力される撮像画像データを取り込んで入力し、この撮像画像データを基にして、先ず被写体検出を行い、最終的には構図判定のための処理を実行する。
本実施形態においては、この構図判定に際して、被写体検出により検出された被写体ごとに、後述する属性についての検出も行う。そして、構図判定処理に際しては、この検出された属性を利用して最適とされる構図を判定する。さらに、判定した構図による画内容の撮像画像データが得られるようにするための構図合わせ制御も実行する。
ここで、構図判定ブロック62が実行する被写体検出処理(初期顔枠の設定を含む)は、図6との対応では信号処理部24が実行するようにして構成できる。また、この信号処理部24による被写体検出処理は、DSP(Digital signal Processor)による画像信号処理として実現できる。つまり、DSPに与えるプログラム、インストラクションにより実現できる。
また、構図判定ブロック62が実行する顔枠の修正、及び構図判定、構図合わせ制御は、制御部27としてのCPUがプログラムに従って実行する処理として実現できる。
パン・チルト・ズーム制御ブロック63は、構図判定ブロック62の指示に応じて、判定された最適構図に応じた構図、撮像視野範囲が得られるように、パン・チルト・ズーム制御を実行する。つまり、構図合わせ制御として、構図判定ブロック62は、例えば判定された最適構図に応じて得るべき上記構図、撮像視野範囲をパン・チルト・ズーム制御ブロック63に指示する。パン・チルト・ズーム制御ブロック63は、指示された構図、撮像視野範囲が得られる撮像方向にデジタルスチルカメラ1が向くための、雲台10のパン・チルト機構についての移動量を求め、この求めた移動量に応じた移動を指示するパン・チルト制御信号を生成する。
また、例えば判定された適切画角を得るためのズームレンズの位置(ズーム倍率)を求め、このズーム位置となるようにして、撮像記録ブロック61が備えるとされるズーム機構を制御する。
通信制御処理ブロック64は、雲台10側に備えられる通信制御処理ブロック71との間で所定の通信プロトコルに従って通信を実行するための部位となる。上記パン・チルト・ズーム制御ブロック63が生成したパン・チルト制御信号は、通信制御処理ブロック64の通信により、雲台10の通信制御処理ブロック71に対して送信される。
雲台10は、例えば図示するようにして、通信制御処理ブロック71、及びパン・チルト制御処理ブロック72を有している。
通信制御処理ブロック71は、デジタルスチルカメラ1側の通信制御処理ブロック64との間での通信を実行するための部位であり、上記のパン・チルト制御信号を受信した場合には、このパン・チルト制御信号をパン・チルト制御処理ブロック72に対して出力する。
パン・チルト制御処理ブロック72は、例えば図7に示した雲台10側の制御部51(マイクロコンピュータ)が実行する制御処理のうちで、パン・チルト制御に関する処理の実行機能に対応するものとなる。
このパン・チルト制御処理ブロック72は、入力したパン・チルト制御信号に応じて、ここでは図示していないパン駆動機構部、チルト駆動機構部を制御する。これにより、最適構図に応じて必要な水平視野角と垂直視野角を得るためのパンニング、チルティングが行われる。
また、パン・チルト・ズーム制御ブロック63は、例えば、構図判定ブロック62の指令に応じて被写体探索のためのパン・チルト・ズーム制御を行うことができるようになっている。
<3.構図制御(第1例)>
これまでに説明したデジタルスチルカメラ1と雲台10の構成により実現可能な構図制御として、その第1例について説明する。
ここで、構図判定ブロック62が、被写体検出処理のために、図9の画枠300に示す画内容の撮像画像データを取り込んだとする。この撮像画像データの画内容としては、人としての被写体が1つ存在した画を撮影して得られたものとなる。
この場合の画枠300は、撮像画像データの1フレーム相当の画像領域に相当する。ここでは、画枠300としてのフレーム画像について、水平画素数を(水平画サイズ)をCx、垂直画素数(垂直画サイズ)をCyとして、Cx=320,Cy=240により形成されているものとしている。
また、この場合の画枠300における位置は、座標(X,Y)により表されるものとしており、ここでは画枠300の右上端を座標(0,0)として定義している。
また、この画枠300に対しては、垂直基準線Ld1及び水平基準線Ld2が仮想的に設定されている。垂直基準線Ld1は、画枠300の水平方向における中点を通過する直線で、水平基準線Ld2は、画枠300の垂直方向における中点を通過する直線となる。これら垂直基準線Ld1及び水平基準線Ld2は、それぞれ、構図制御として、画枠300における被写体の位置を水平/垂直方向で移動させる際の基準線となる。また、垂直基準線Ld1と水平基準線Ld2の交点座標(160,-120)は、構図制御における基準点Pとして扱われる。
図9に示す画内容の撮像画像データを対象に被写体検出(顔検出)を行うことによっては、検出被写体として、図において示される1つの被写体SBJの顔が検出されることになる。即ち、顔検出処理によって1つの顔が検出されることを以て、ここでは1つの被写体が検出されることとしている。そして、このようにして被写体を検出した結果としては、先にも述べたように、被写体の数、向き、位置、サイズの情報を得るようにされる。
また、被写体数に関しては、例えば顔検出により検出された顔の数を求めればよい。図9(a)の場合には、検出される顔が1つであるから、被写体数としても1であるとの結果が得られる。
また、構図判定ブロック62が、顔検出の手法を用いて被写体検出を行う場合、検出結果として、検出した被写体の顔部分に対して枠を設定する。ここでは、この枠を顔枠という。図9においては、顔枠FRとして、被写体SBJの画像の顔部分に対応して配置されるようにして示されている。この場合の顔枠FRは、検出された被写体における顔の画像部分に対応して方形により配置されるものとなる。なお、ここでの顔枠FRは、正方形であるものとする。また、この顔枠FRは、画枠300における顔としての画像部分に対して設定されるものとなる。従って、そのときに顔検出処理により検出される画枠300における被写体の顔の位置、大きさなどに応じて、顔枠FRの画枠300における位置、サイズも変更設定される。
また、被写体ごとの位置情報に関しては、少なくとも、撮像画像データとしての画像内における被写体SBJの重心である被写体重心G(X,Y)を求めることとする。
また、この被写体重心Gをどのようにして設定するのかについては、例えばこれまでに知られている被写体重心検出方式を採用することができる。1つの例としては、被写体SBJに対応して検出された顔枠FRとしての四角形の対角線の交点を、被写体重心とすることが考えられる。
また、被写体のサイズについては、ここでは、顔枠FRの垂直又は水平方向の一辺のサイズ(画素数)により表すものとする。図9では、例として、顔枠FRの垂直サイズsizey=32として検出されている状態が示されている。
また、ここでの被写体ごとの顔方向に関しては、例えば左、正面、右の3段階での何れであるのかを検出することとする。図9の被写体SBJについては、顔方向については正面であると検出されているものとする。
この図9に示すようにして検出された被写体SBJについての被写体検出情報に基づき、構図制御処理ブロック62は、構図判定処理により、図10に示す構図とすべきであるとの判定結果を得たとする。
つまり、先ず、被写体サイズについては、sizey=64とし、被写体重心Gについては、G(160,-120+Δy)に位置させる、という構図である。
例えば、その検出された数に応じても異なってくるが、良い構図とするためには、画枠300における被写体のサイズが小さすぎず、また、大きすぎず、適切であることが求められる。図10において示されるsizey=64としての被写体サイズは、被写体SBJが画枠300において最適サイズとなる値として判定されたものである。
また、上記の被写体重心Gは、例えば次のような根拠により求められる。
被写体SBJが1つの場合、最も単純で基本的な被写体SBJの位置は、画枠300の中央に配置するというものになる。つまり、被写体重心Gを基準点Pに位置させるというものである。
しかし、このような被写体を画面の中央に位置させた構図は、一般に良くない構図の典型とされている。例えば三分割法であるとか黄金率法などに代表されるようにして、画面中央から在る規則に従って被写体の位置をずらした方が、良い構図が得られるものとされている。
そこで、この場合には、先ず、画枠300の垂直方向における被写体SBJの位置(被写体重心G)について、水平基準線Ld2に対して一定量だけ移動させるようにすることとした。このようにして被写体重心Gに設定する、水平基準線Ld2を基準とした垂直方向における被写体重心Gについての移動量を、ここでは、垂直オフセット量Δyとして規定している。この垂直オフセット量Δy,及び後述する水平オフセット量Δxは、例えば画素数により表すことができる。これにより、図10の被写体重心GのY座標は、(-120+Δy)として表されるものとなる。なお、ここでは、垂直オフセット量Δyとして正の値を与えることとしており、これにより、図示するようにして、被写体重心Gは、画枠300において、水平基準線Ld2より上側の領域に位置するようにされている。
また、本実施形態では、水平方向における被写体の位置は、被写体について検出された顔方向に基づくこととしている。
図9にて説明したように、この場合の被写体SBJの顔方向は、右、正面、左の3段階のうち、正面であるとして検出されている。
ここでは、1つの被写体SBJの顔方向が正面であるとして検出されている場合には、水平方向については中央に位置させることとしている。つまり、被写体重心GのX座標については水平方向における中点、つまり垂直基準線Ld1(基準点P)と同じX座標(160)とするものである。この場合、垂直基準線Ld1を基準にした水平方向における被写体重心Gの移動量として規定される、水平オフセット量Δxは0として設定されていることになる。
図10の場合には、このような構図判定の規則、アルゴリズムに従って、被写体重心G(160,-120+Δy)を設定した。
また、ここでは図示していないが、検出された個別被写体の顔方向が左であるとする。なお、ここでの左の顔方向とは、画枠300の画内容を実際に見たとした場合、これを見る者からは、画枠300において、個別被写体SBJの顔が左側を向いているようにして見える状態をいう。ちなみに、この個別被写体SBJとしての実際の人物自身は、現実には、撮像を行った撮像装置と相対する方向を正面として、これより右側を向いていることになる。
この場合には、被写体重心Gの水平方向における位置については、垂直基準線Ld1により2分割される左右の画像領域(分割領域)のうちで、顔方向が示す「左」とは反対側の「右」側の画像領域に在るようにさせる。これにより、画枠300においては、個別被写体SBJの顔が向いている方向である左側において空間が得られるようする。このような構図とすることで、例えば、顔方向が左であるとされる個別被写体SBJの重心Gを、左右方向における画面中央に対応させた(一致させた)被写体位置とする場合や、垂直基準線Ld1に対して左方向の画像領域とするような場合と比較して、より良好な構図を得ることができる。
また、検出された個別被写体の顔方向が右である場合には、左の場合とは逆に、被写体重心Gを垂直基準線Ld1により2分割される左右の画像領域(分割領域)のうち、左側の画像領域に在るようにさせる。
これまでの説明から理解されるように、本実施形態において判定される構図は、被写体サイズと、被写体重心Gの位置とによって決まる。そして、構図合わせに際しては、この判定された被写体サイズと、被写体重心Gの位置が実際に得られるようにして制御することになる。
被写体サイズの変更は、先に述べたように、例えばデジタルスチルカメラ1の光学系部21におけるズームレンズを移動する制御(ズーム制御)、若しくは撮像画像データに対する画像切り出しなどの画像信号処理の何れか一方を行えばよいが、ここでは、ズーム制御によって行うものとする。
また、被写体重心Gの位置の変更であるが、水平方向については雲台10のパン機構に対するパン制御により行うことになる。また、垂直方向については雲台10のチルト機構に対するチルト制御により行うことになる。
つまり、本実施形態では、判定構図を獲得するための構図合わせ制御として、ズーム制御による画像の拡大縮小と、パン・チルト制御による画像の水平/垂直方向における移動とを組み合わせている。
図16のフローチャートは、構図制御のときのズーム制御及びパン/チルト制御の実行手順として順当に考えられるものの一例(第1例)を示している。なお、この図に示す処理は、例えば図9に示すようにして画枠300において被写体を検出したことに応じて実行されるものとなる。また、この図に示す処理は、例えばデジタルスチルカメラ1として、図8に示した構図判定ブロック62、パン・チルト・ズーム制御ブロック63が、適宜実行するものとしてみることができる。
この図に示す処理としては、先ず構図判定ブロック62は、ステップS101により、所定の規則に従って、最適構図(目標構図)に応じた水平オフセット量Δxを判定する。次に、ステップS102により、パン・チルト・ズーム制御ブロック63は、上記ステップS102により判定された水平オフセット量Δxに応じたX座標上に被写体重心Gが位置するようにしてパン制御を実行する。
図9,図10に例示した構図制御との対応では、水平オフセット量Δx=0として判定され、これに応じて、被写体重心Gは、X座標=160に位置するようにして水平方向における移動が行われる。
続いて、構図判定ブロック62は、ステップS103により垂直オフセット量Δyを判定する。パン・チルト・ズーム制御ブロック63は、ステップS103により、判定された垂直オフセット量Δyに応じたY座標上に被写体重心Gが位置するようにしてチルト制御を実行する。
図9,図10に例示した構図制御との対応では、図10に示したように、水平基準線Ld2に対して上方向に所定の絶対値分移動する垂直オフセット量Δyが設定され、被写体重心Gは、Y座標=-120+Δyに位置するようにして垂直方向において移動が行われる。
次に、構図判定ブロック62は、ステップS103により、ズーム倍率Zを判定する。
先にも述べたように、画枠300における被写体SBJのサイズ変更は、ズーム制御によって画角を変更することによって行う。ここでいうズーム倍率は、被写体検出処理によって被写体が検出されたときの被写体サイズから、最適構図に対応して判定される被写体サイズを得るために必要な画角の倍率をいう。
このためには、先ず、構図判定ブロック62は、検出された被写体の条件に応じて、所定の規則に従って、最適構図として必要される目標被写体サイズ(ズーム制御目標値)を判定する。この被写体サイズは、例えば検出された被写体が1つの場合の例では、図9,図10にて説明したように、例えば正方形の顔枠FRの垂直方向(又は水平方向)の一辺のサイズ(画素数)を求めればよい。
そして、上記のようにして求めた目標被写体サイズsize_trgと、被写体検出処理時に得られた被写体サイズsize_org(顔枠FRの垂直方向(又は水平方向)の一辺のサイズ(画素数))との比を求めて、これをズーム倍率Zとする。つまり、
Z=size_trg/size_org・・・(式1)
により、ズーム倍率Zを算出する。
図9,図10との対応では、目標被写体サイズが64画素、被写体検出処理時に得られた被写体サイズが32画素であるから、ズーム倍率Z=64/32=2となる。
そして、パン・チルト・ズーム制御ブロック63は、ステップS106により、上記ステップS105にて求められたズーム倍率Zによるズーム制御を実行する。図9,図10との対応では、ズーム倍率Z=2であるから、画角が1/2となるようにしてズームレンズを駆動する制御を実行する。
上記図16の手順は、先に、水平オフセット量Δx、垂直オフセット量Δyを判定して、これらの判定結果に応じてパン・チルト制御を行う。これにより、先ず、被写体重心Gを、判定されたオフセット量Δx、Δyに応じた、画枠内の目標座標に位置させている。そして、この後に、ズーム制御を実行して目標被写体サイズとするようにしている。
ここで、先に例示した、図9の状態から図10の状態とするための構図制御を、上記図16に示した手順により実際に実行した場合には、例えば次のようになる。
図11は、先ず、図9の状態から、ステップS101〜S105を実行して、被写体重心Gを、目標座標(G(160,-120+Δy)に位置させた状態を示している。
図16の手順では、上記図11の状態の後、ズーム倍率Z=2によるズーム制御を実行することになるが、その結果は、図12に示すものとなってしまう。
つまり、画角を可変した場合には、画枠300における画像は、レンズ光軸に対応した画枠300の中心位置である基準点Pを中心にして拡大、縮小する。このために、例えば、この場合のようにして、図11の状態から、ズーム倍率Z=2による画角変更を行ったとすると、図12に示すようにして、被写体重心Gの座標は、X座標については垂直基準線Ld1と一致しているために動かないが、Y座標については、2倍に拡大されたことに応じて、Y=-120+Δyから、Y=-120+2Δyに移動してしまう。つまり、目標座標から外れてしまう。そして、結果としては、図12に示しているように、被写体SBJが、画枠300の上側にはみ出したような状態になってしまう。
これは、図13,図14に示すようにして、水平オフセット量Δxとして0以外の絶対値が与えられた場合にも同様である。
図13は、被写体SBJについて検出した顔方向が左向きであった場合に応じて、図16のステップS101〜S106の処理によって、先ず、被写体重心Gを目標座標に位置させたときの画枠300の画内容を示している。
顔方向が左向きとして検出された場合には、先に述べたようにして、水平方向における被写体重心Gは、垂直基準線Ld1に対して右側の領域における所定の座標となるようにして設定される。これに応じて、被写体重心Gの目標座標は、G(160+Δx,-120+Δy)で表されるものとなる。なお、このときの垂直オフセット量Δxとしては正の値が設定される。
図16の手順では、この図13の状態から、ズーム制御を行うことになる。図13の被写体サイズ(sizey)は32画素となっている。ここで、目標被写体サイズが、図10の場合と同様に64画素であるとすると、ズーム倍率Z=2となる。
そこで、図13の状態からズーム倍率Z=2によるズーム制御を実行したとすると、図14に示すようにして、被写体重心Gの基準点Pからの距離は、垂直方向においてはΔyから2Δyに拡大し、水平方向においてもΔxから2Δxに拡大する。つまり、被写体重心Gは、(160+Δx,-120+Δy)から(160+2Δx,-120+2Δy)に移動してしまって、目標座標から大きく外れ、例えば、図示するようにして被写体SBJが画枠300の右上からはみ出るような状態となる。
つまり、図16の手順では、ズーム制御を実行した段階で、被写体重心Gが目標座標から外れてしまって、判定された構図とは異なるものとなってしまう。
このために、実際においては、図16の手順を実行した後に、再度、被写体重心Gを目標座標に戻すためのパン・チルト制御が必要になってくることになる。ただし、例えば図14に例示したように、ズーム制御が実行されたことで、被写体SBJ(顔枠FR)が画枠300からはみ出たような場合には、この段階で被写体が検出できなくなって、再度、被写体探索の制御に戻らなければならない場合もある。
このような構図制御の手順は、合理的ではないといえる。また、実際の雲台10のパン・チルト機構の動きに応じたデジタルスチルカメラ1の物理的な動きも、スムーズには見えず、ユーザに対して良い印象を与えにくい。
<4.構図制御(第2例)>
そこで、例えば第2例として、図17のフローチャートに示す構図制御の手順とすることが考えられる。
なお、この図に示す処理も、例えば画枠300において被写体処理によって被写体を検出したことに応じて、適宜、構図判定ブロック62、パン・チルト・ズーム制御ブロック63が実行するものとしてみることができる。
先ず、構図判定ブロック62は、ステップS201として示すように、検出された被写体SBJの被写体重心Gを、基準点Pに位置させるためのパン/チルト制御を実行する。
次に、構図判定ブロック62は、ステップS202によりズーム倍率Zを判定し、ステップS203により、ズーム倍率Zに応じたズーム制御を実行する。
次に、構図判定ブロック62、パン・チルト・ズーム制御ブロック63は、ステップS204〜S207により、図16のステップS101〜S106と同様にして、水平オフセット量Δxを判定し、この水平オフセット量Δxに応じたパン制御を実行し、さらに垂直オフセット量θyを判定し、この垂直オフセット量θyに応じたチルト制御を実行する。
このような構図制御の手順であれば、先ず、被写体重心Gを基準点Pに位置させてからパン・チルト制御を実行することになるので、ズーム倍率Zが適切である限り、被写体SBJの顔枠が画枠300からはみ出ることはない。そして、この段階から被写体サイズGを目標座標に位置させるようにしてパン・チルト制御を実行して、判定構図を得ることができる。
しかし、この第2例の手順では、ズーム制御の後に、画枠内の目標座標に被写体重心Gを位置させるためのパン・チルト制御を実行する。
ズーム倍率Zは、これまでの図9〜図14の説明のようにして、1より大きな正の値を設定して、被写体をクローズアップしたような構図とすることはしばしば行われるものと想定できる。
また、被写体重心Gを目標座標に位置させるための制御として、例えばパン制御であれば、構図判定ブロック62は、水平方向において被写体重心Gが目標のX座標に近づいていく向きに動くようにして、雲台10に対してパン方向移動の指示を行う。そして、取り込まれる撮像画像データの画枠において被写体重心Gが目標のX座標に一致したと判定したタイミングで、雲台10に対してパン方向移動の停止を指示する。同様にして、チルト制御も、垂直方向において被写体重心Gが目標のY座標に近づいていく向きに動くようにして、雲台10に対してパン方向移動の指示を行い、被写体重心Gが目標のY座標に一致したタイミングで、パン方向移動の停止を指示する、というものになる。
しかし、当然のこととして、パン・チルト方向におけるデジタルスチルカメラ1自体の少しの移動であっても、ズーム倍率が大きいほど、撮像画像の画枠内における画像の動き量は大きなものとなる。このことは、ズーム倍率が大きい状態での画像であるほど、上記したような被写体重心Gを目標座標に一致させるパン・チルト制御を細かく実行することが困難であることを意味している。つまり、図17に示した手順では、ズーム倍率によっては、判定された構図に応じた画枠内の位置に被写体を正確に位置させることが難しい場合がある。このようなときには、例えば被写体が適正位置に納まるまでに必要以上に時間がかかってしまうことになり、そのときのパン・チルト機構に応じたデジタルスチルカメラ1の挙動も、やはりユーザによい印象を与えにくい。
<5.構図制御(第3例:実施形態)>
[5−1.アルゴリズム例]
そこで、本実施形態としては、以降説明する第3例としての構図制御を採用する。
図18のフローチャートは、第3例としての構図制御のためのアルゴリズム例を示している。先の図16,図17では、被写体処理によって画枠300において被写体を検出した後の構図制御の手順例を示していた。図18では、被写体検出(被写体探索処理)を含んだ処理手順例を示している。
また、この図に示す処理は、図8に示されるデジタルスチルカメラ1の各機能部位が必要に応じて適宜実行するものとしてみることができる。また、これらの各機能部位が実行する処理は、図1の制御部(CPU)27、また、DSPとしての信号処理部24がプログラム(インストラクション)を実行することにより実現される制御、処理の手順としてみることができる。
なお、このようなプログラムは、例えばROMなどに対して製造時などに書き込んで記憶させるほか、リムーバブルの記憶媒体に記憶させておいたうえで、この記憶媒体からインストール(アップデートも含む)させるようにしてDSP対応の不揮発性の記憶領域やフラッシュメモリ30などに記憶させることが考えられる。また、データインターフェース経由により、他のホストとなる機器からの制御によってプログラムのインストールを行えるようにすることも考えられる。さらに、ネットワーク上のサーバなどにおける記憶装置に記憶させておいたうえで、デジタルスチルカメラ1にネットワーク機能を持たせることとし、サーバからダウンロードして取得できるように構成することも考えられる。
図18においては、先ず、ステップS301にて、構図判定ブロック62(信号処理部24)により、撮像記録ブロック61にてそのときに得られているとされる撮像画像データの取り込み(入力)を開始する。
次のステップS302では、構図判定ブロック62(信号処理部24)が、取り込んだ撮像画像データを利用して被写体検出処理を実行する。
この被写体検出処理としては、例えば先に述べたようにして顔検出技術を応用し、その検出結果として、これまでに述べたようにして、検出した被写体ごとに、その顔の画像部分の領域に対応して顔枠FRを設定する。例えば、被写体数であるとか、被写体検出時点での被写体サイズ及び画枠内の位置などの被写体に関する基本的情報は、この顔枠FRの数、サイズ、位置などにより得ることができる。また、顔枠FRが設定されることに応じて、この段階で、被写体の被写体重心Gも取得される。
ステップS303において構図判定ブロック62は、上記ステップS302による被写体検出処理によって被写体が検出されたか否かについて判別する。ここで否定の判別結果が得られた場合にはステップS302に戻り、被写体探索のための被写体検出処理を実行する。ここでの被写体探索とは、デジタルスチルカメラ1側にて雲台10のパン/チルト方向への移動を制御するとともに、ズーム制御も行って撮像視野範囲を変更していくことで、被写体が存在する撮像画像データが得られる状態とすることをいう。
ステップS303において被写体が検出されたとして肯定の判別結果が得られた場合には、ステップS304に進む。
ステップS304において構図判定ブロック62は、検出された被写体に応じて、所定の判定アルゴリズムによって、目標水平オフセット量Δxを判定する。また、ステップS305においては、検出された被写体に応じて、所定の判定アルゴリズムによって、目標垂直オフセット量Δyを判定する。
これらの目標水平オフセット量Δx、目標垂直オフセット量Δyは、それぞれ、例えば先の第1例、第2例として、図16,図17のステップS101,S204、S103,S206にて判定した水平オフセット量Δx、垂直オフセット量Δyに相当する。つまり、判定した構図に対応して被写体重心Gが最終的に位置すべき座標に対応する、基準点Pからの水平/垂直方向における距離を示す。
続いて、ステップS306において構図判定ブロック62は、ズーム制御目標値を判定する。ズーム制御目標値は、例えば、先の第1例、第2例に応じた説明との対応では、図10に示した獲得すべき構図での被写体サイズである、顔枠FRの垂直サイズである、size_trgとなる。
次のステップS307において構図判定ブロック62は、上記ステップS306において判定したズーム制御目標値を利用して、ズーム倍率Zを判定する。このズーム倍率Zの判定のためには、第1例、第2例に応じた説明との対応では、ズーム制御目標をsize_trgと、被写体検出処理による検出時における被写体SBJの顔枠FRの垂直サイズ/size_orgとを利用して、先の(式1)によりズーム倍率Zを算出することになる。
そして、この場合には、構図判定ブロック62は、ステップS308,S309によりそれぞれ、水平制御オフセット量Δx1,垂直制御オフセット量Δy1とを求める。
水平制御オフセット量Δx1は、後述するステップS310,S311によるパン制御により実際にパンニングを行って被写体重心Gを位置させるべき、垂直基準線Ld1に対する距離を表すものとなる。同様に、垂直制御オフセット量Δx2は、後述するステップS312、S313によるパン制御により実際にパンニングを行って被写体重心Gを位置させるべき、水平基準線Ld2に対する距離を表すものとなる。
先ず、水平制御オフセット量Δx1は、目標水平オフセット量Δxと、ズーム倍率Zとに基づいて、例えば次のようにして求める。
Δx1=Δx/Z・・・(式2)
また、制御垂直オフセット量Δy1は、目標垂直オフセット量Δyと、ズーム倍率Zとに基づいて、例えば次のようにして求める。
Δy1=Δy/Z・・・(式3)
上記(式2)(式3)により求められる制御水平オフセット量Δx1、制御垂直オフセット量Δy1は、例えば図10に示した判定構図が得られた状態から、ズーム倍率Zにより拡大する前の状態に戻したときに得られているとされる水平オフセット量Δx、垂直オフセット量Δyに相当するといえる。
即ち、逆にいえば、被写体重心Gについて、予め、制御水平オフセット量Δx1、制御垂直オフセット量Δy1に応じた座標位置としておいたうえで、ズーム倍率Zによるズームを行えば、その結果、被写体重心Gは、目標水平オフセット量Δx、目標垂直オフセット量Δyに応じた座標に位置できることになる。
そこで、パン・チルト・ズーム制御ブロック63は、次のステップS310により、制御水平オフセット量Δx1に対応するX座標上に被写体重心Gが位置する状態となるようにパン制御を実行する。このためには、被写体探索処理ブロック61は、通信制御処理ブロック63を経由して、雲台10の制御部51に対して、被写体重心Gが、制御水平オフセット量Δx1に対応するX座標に対して近づくようにして移動するように、パン方向の指示とともに、パン機構部53の駆動を命令する。
そして、構図判定ブロック62は、上記のパン制御を実行させながら、例えばステップS311により、被写体重心Gが制御オフセット量Δx1に対応するX座標に位置する状態が得られたか否かについて判別する。ここで、パン制御の結果、被写体重心Gが制御水平オフセット量Δx1に対応するX座標に位置したとされれば、ステップS312に進む。
これに対して、例えばパン制御中に被写体としての人物が移動したなどの原因で、例えば或る規定時間を経過しても被写体重心Gが制御水平オフセット量Δx1に対応するX座標に位置する状態が得られなかった場合には、ステップS301の被写体検出処理(被写体探索処理)に戻る。
ステップS312においてパン・チルト・ズーム制御ブロック63は、制御オフセット量Δy1に対応するY座標上に被写体重心Gが位置する状態となるようにチルト制御を実行しながら、ステップS313により、被写体重心Gが制御垂直オフセット量Δy1に対応するY座標に位置する状態が得られたか否かについて判別する。ここで、パン制御の結果、被写体重心Gが制御垂直オフセット量Δy1に対応するY座標に位置したとして肯定の判別結果が得られたのであれば、ステップS314に進み、否定の判別結果が得られた場合には、ステップS302に戻る。
ステップS314に至った段階では、ステップS303に対応して検出された被写体SBJの被写体重心Gは、画枠300において、制御水平オフセット量Δx1,制御垂直オフセット量Δx2に対応したX、Y座標に位置していることになる。
そこで、構図判定ブロック62は、次のステップS314により、先のステップS307により判定されたズーム倍率Zに応じたズーム制御を実行する。ズーム倍率Zに応じたズーム制御は、例えばズーム倍率Zに応じた移動量によってズームレンズを移動させるようにして光学系に対するカメラ制御を実行すればよい。
具体例については後述するが、第3例では、ここまでの制御によって、画枠300において、被写体重心Gの座標と、被写体サイズを要素とした判定構図が獲得されている状態にある。
そこで、この場合の構図判定ブロック62は、ステップS315により、例えば撮像画像データの画内容について判定したとおりの構図が得られた状態の下、撮像記録すべきタイミングとなるのを待機する。
例えば、本実施形態のデジタルスチルカメラ1は、検出された被写体の顔の表情として少なくとも笑顔を検出可能とされている。そのうえで、例えば予めのユーザ操作などにより、検出された被写体が笑顔であることが検出されているタイミングのときに撮像記録を行うべきモードが設定されているとする。ステップS315は、例えばこのような笑顔撮影のモードに応じて、撮影記録すべきタイミングであるか否かについての判別を行う。つまり、現在得られている撮像画像データにおいて検出されている被写体の表情が笑顔となっているか否かについて判別する。
ステップS316においては、構図判定ブロック62は、撮像記録タイミングがOKと成ったか否かについての判別を行っている。
例えば、上記ステップS316として実行する記録タイミングの判定処理期間において、検出されている被写体の表情が笑顔になったことが検出されたとする。すると、ステップS109により肯定の判別結果が得られることとなり、ステップS317に進む。これに対して、上記記録タイミングの判定処理期間を越えても検出されている被写体の表情について笑顔が検出されなければ、ステップS109において否定の判別結果が得られる。この場合には、ステップS302に戻り、被写体探索を伴う被写体検出処理を実行する。
ステップS317においては、例えば構図判定ブロック62は、撮像記録ブロック61により撮像記録を実行させる。これに応じて、撮像記録ブロック61においては、そのときに得られている撮像画像データを、メモリカード40に対して静止画のファイルとして記録する動作が実行される。
図18の処理に対応した実際例として、被写体検出処理によって、図9に示す被写体SBJが検出されたとする。また、この場合にも、この図9の被写体SBJに応じて獲得すべき構図としては、図10に示すものであるとする。ただし、説明の便宜上、ここでは、被写体検出処理により検出された被写体サイズ(sizey)については、図9において( )内に示すようにして、sizey=40であるとする。
この場合、ステップS306によるズーム制御目標値は、図10に示されるsizey=64であるとして判定されることになる。そして、ステップS307においては、例えば(式1)を利用して、Z=size_trg/size_org=1.6として求められる。
これに応じて、制御水平オフセット量Δx1,制御垂直オフセット量Δy1は、それぞれ、(式2),(式3)を用いた、Δx1=Δx/1.6、Δy1=Δy/1.6の演算によって、その値が求められる。図10の構図とするためには、目標水平オフセット量Δx=0であるから、上記(式2)により制御水平オフセット量Δx1=0が求められる。また、目標垂直オフセット量Δy=40とすれば、制御垂直オフセット量Δy1=40/1.6=25となる。
目標水平オフセット量Δx=0に対応するX座標は、160+0=160となる。また、目標垂直オフセット量Δy=25に対応するY座標は、-120+25=-95となる。そこで、構図判定ブロック62は、ステップS310、S311によっては、被写体重心GのX座標が160となるようにして移動させ、ステップS310、S311によっては、被写体重心GのY座標が-95となるようにして移動させることになる。
上記のようにして、ステップS313までの制御が実行された段階での画枠300の画内容を図15に示す。
この図における、ステップS313までの制御が実行された段階での被写体SBJは、その被写体重心Gの座標は、(160+Δx1,-120+Δy1)で表されることになる。この場合、Δx1=0、Δy1=-25であるから、被写体重心G(160,-95)となっている。
そして、この図15に示す状態とされたうえで、ステップS314によってズーム倍率Z=1.6に応じたズーム制御を行う。これにより、図10に示すように、被写体サイズ(sizey)は、sizey=40からsize64に拡大されることになる。また、被写体重心Gについては、上記の画像の拡大に従って、X座標については(160+Δx1・1.6)、Y座標については(-120+Δy1・1.6)で示される位置に移動する。つまり、図10にも示しているように、被写体重心Gの座標は(160+Δx,-120+Δy)となるものであり、目標水平オフセット量Δx、目標垂直オフセット量Δyに応じた座標が得られている。より具体的には、この例でのΔx=0,Δy=40としているから、被写体重心G(160,-80)となる。そして、これはステップS314のズーム制御を完了させた段階で、判定された構図が獲得されていることを意味する。
このようにして、本実施形態としての第3例では、判定構図の要素であるズーム倍率Zと、目標水平オフセット量Δx、目標垂直オフセット量Δyとにより、制御水平オフセット量Δx1、制御垂直オフセット量Δy1とを求めることとしている。そして、制御水平オフセット量Δx1、制御垂直オフセット量Δy1により決まる座標(予備座標)に対して、被写体重心Gを先ず位置させることとしている。
この制御水平オフセット量Δx1、制御垂直オフセット量Δy1は、先にも説明したように、ズーム倍率Zによるズーム制御を完了させたときに、目標水平オフセット量Δx、目標垂直オフセット量Δyが得られるものとして逆算して得られる値である。従って、被写体重心Gが予備座標に位置している状態で、ズーム倍率Zによるズーム制御を行えば、その結果として、被写体重心Gは、目標水平オフセット量Δx、目標垂直オフセット量Δyにより決まる目標座標に位置した状態が得られる。
このような第3例の構図制御では、先ず、第1例の場合のようにして、ズーム制御の結果、被写体重心Gが、大きく目標座標から外れてしまうということはなくなる。
また、被写体重心Gを画枠内にて移動させるためのパン・チルト制御は、ズーム制御の前段階において実行される。従って、第2例と比較すれば、被写体重心Gを予備座標に対して正確に位置させることが容易となって、その精度も高くなる。これにより、必要とする構図がより的確に得られることにもなる。
[5−2.被写体数が複数の場合]
なお、先の図9〜図15による説明では、説明を簡単で分かりやすいものとすることの便宜上、画枠300において検出される被写体が1つの場合を例に挙げた。
しかし、本実施形態の構図制御は、検出される被写体が複数の場合にも適用できる。
例えば、図示による説明は省略するが、複数の被写体が検出された場合には、これらの検出された複数の被写体から成る画像領域をひとまとまりの総合的な被写体(総合被写体)としてみることとして、この総合被写体を対象として1つの被写体重心(総合被写体重心)Gtを求めることとする。そして、この総合被写体重心Gtを、これまでの説明における被写体重心Gとして扱って、例えば図18にて説明した処理を実行すればよい。
上記の総合被写体重心Gをどのようにして設定するのかについては、いくつか考えることができるが、ここでは、最も簡易な例として、検出された複数の個々の被写体のうちで、画枠300の左端と右端の両端に位置する被写体の重心を結ぶ線分上の中間点を総合被写体重心Gtとして設定することが考えられる。
また、被写体が複数のときには、個別の被写体ごとに検出される顔方向が異なる場合がある。この場合には、複数の個別の被写体ごとに検出される顔方向の関係性に基づいて、総合被写体としての1つの顔方向を決定することとすればよい。複数の個別の被写体ごとに検出される顔方向の関係性として、同一となる顔方向の数が、個別の被写体の全体数における所定割合以上を占めるときに、この同一となる顔方向を、総合被写体の顔方向として決定し、これを構図判定に使用する。
また、被写体数が複数の場合には、例えば次のようにして、ズーム倍率Zを判定することができる。
図19においては、画枠300内において2つの被写体SBJ0,SBJ1が検出されている状態が示されている。
例えば、この図に示される検出時の被写体SBJ0、SBJ1のサイズでは、最適構図を満足するにはサイズが小さすぎるとする。そこで、この場合には、構図判定処理により、しかるべきサイズにまで被写体SBJ0、SBJ1を拡大するための拡大率が設定されることになる。なお、ここでいう拡大率は、撮像により得られた画像についてのものとなるので、本実施形態の構図制御におけるズーム倍率Zに相当するものとなる。
次に、図20は、上記図19に示す画内容の下で設定された拡大率に従って構図合わせ制御としてのズーム制御を行って得られたとする画内容を示している。
図20に示される画内容は、被写体が横方向において並んでいるとみて良い位置関係にある。このような場合には、最も左の被写体の顔枠FRから最も右の被写体の顔枠FRまでの距離を、被写体総体の水平(横方向)サイズKとして扱う。
そして、この場合における適正な被写体サイズとは、上記被写体総体の水平サイズKについて、画枠300の水平画素数Cxに対して一定の比率(占有率)n(0<n<1)を占めるときであるとして規定する。つまり、K=Cx・nが成立するようにして拡大率を設定すればよい。なお、この例では、K=Cx・nが、図18のステップS306にて判定するズーム目標値となる。
そして、例えば、図19に対応して得られている被写体検出時の被写体総体の水平サイズをK1、図13に対応して得られている構図制御後の被写体総体の水平サイズ(画素す)をK2とし、拡大率(ここでは拡大率を長さとして捉えている)、即ちズーム倍率をZとすれば、K2=K1×Zとなるのであるから、ズーム倍率Zは、
Z=Cx・n/K1・・・(式4)
により求めることができる。
このようにして求められたズーム倍率Zにより、図19に示した状態からズーム制御を行った結果が、図20となる。
<6.本実施形態の撮像システムの変形例>
図21は、先に図7,図8に示した本実施の形態の撮像システムに対する変形例としての構成例を示している。
この図では、先ず、デジタルスチルカメラ1から通信制御処理ブロック63を経由して、撮像に基づいて信号処理部24にて生成される撮像画像データを、雲台10に対して送信するようにされている。
この図においては、雲台10の構成として通信制御処理ブロック71、パン・チルト制御処理ブロック72、被写体検出処理ブロック73、及び構図制御処理ブロック74が示されている。
通信制御処理ブロック71は、図7の通信部52に対応する機能部位であって、デジタルスチルカメラ1側の通信制御処理ブロック部63(雲台対応通信部34)との通信処理を所定のプロトコルに従って実行するようにして構成される部位である。
通信制御処理ブロック71により受信された撮像画像データは、被写体検出処理ブロック73に渡される。この被写体検出ブロッ73は、例えば図8に示した構図判定ブロック62と同等の被写体検出処理が少なくとも可能なだけの信号処理部を備えて構成され、取り込んだ撮像画像データを対象として被写体検出処理を実行し、その検出情報を構図制御処理ブロック74に出力する。
構図制御処理ブロック74は、図8の構図制御処理ブロック62と同等の構図制御を実行可能とされており、この構図制御処理の結果としてパン制御、チルト制御を行うときには、そのための制御信号をパン・チルト制御処理ブロック72に対して出力する。
パン・チルト制御処理ブロック72は、例えば図7における制御部51が実行する制御処理のうちで、パン・チルト制御に関する処理の実行機能に対応するもので、入力される制御信号に応じてパン機構部53、チルト機構部56の動きをコントロールするための信号をパン用駆動部55、チルト用駆動部58に対して出力する。これにより、構図制御処理ブロック62にて判定した構図が得られるようにしてパンニング、チルティングが行われる。
このようにして、図21に示す撮像システムは、デジタルスチルカメラ1から雲台10に撮像画像データを送信させることとして、雲台10側により、取り込んだ撮像画像データに基づく被写体検出処理と構図制御とを実行するようにして構成しているものである。
なお、ズーム制御を可能とする場合については、例えば、構図制御ブロック74が、通信制御処理ブロック71経由で、デジタルスチルカメラ1側にズーム制御を指示するように構成すればよい。
図22は、本実施の形態の撮像システムについての他の変形例としての構成例を示している。なお、この図において、図21と同一部分には同一符号を付して説明を省略する。
このシステムにおいては、雲台10側において撮像部75が備えられる。この撮像部75は、例えば撮像のための光学系と撮像素子(イメージャ)を備えて、撮像光に基づいた信号(撮像信号)を得るようにされているとともに、この撮像信号から撮像画像データを生成するための信号処理部から成る。これは、例えば図6に示した光学系部21、イメージセンサ22、A/Dコンバータ23、及び信号処理部24において撮像画像データを得るまでの信号処理段から成る部位に対応する構成となる。撮像部75により生成される撮像画像データは被写体検出処理ブロック73に出力される。なお、撮像部75が撮像光を取り込む方向(撮像方向)は、例えば雲台10に載置されるデジタルスチルカメラ1の光学系部21(レンズ部3)の撮像方向とできるだけ一致するようにして設定される。
この場合の被写体検出処理ブロック73及び構図制御処理ブロック74は、上記図21と同様にして被写体検出処理、構図制御処理を実行する。但し、この場合の構図制御処理ブロック74は、パン・チルト制御に加えて、レリーズ動作を実行させるタイミングに対応してはレリーズ指示信号を、通信制御処理ブロック71からデジタルスチルカメラ1に対して送信させる。デジタルスチルカメラ1では、レリーズ指示信号が受信されることに応じてレリーズ動作を実行するようにされる。
このようにして他の変形例では、被写体検出処理と構図制御に関して、レリーズ動作自体に関する以外の全ての制御・処理を雲台10側で完結して行うことができる。
また、先に説明した本実施形態としての構図制御において実行されるパン制御、チルト制御は、雲台10のパン・チルト機構の動きを制御することにより行うこととしているが、雲台10に代えて、例えば、デジタルスチルカメラ1のレンズ部3に対しては、反射鏡により反射された撮像光が入射されるようにしたうえで、撮像光に基づいて得られる画像についてパンニング・チルティングされた結果が得られるようにして上記反射光を動かす構成を採用することも考えられる。
また、デジタルスチルカメラ1のイメージセンサ22から画像として有効な撮像信号を取り込むための画素領域を水平方向と垂直方向にシフトさせるという制御を行うことによっても、パンニング・チルティングが行われるのと同等の結果を得ることができる。この場合には、雲台10若しくはこれに準ずる、デジタルスチルカメラ1以外のパン・チルトのための装置部を用意する必要が無く、デジタルスチルカメラ1単体により本実施の形態としての構図制御を完結させることが可能となる。
また、光学系部21におけるレンズの光軸を水平・垂直方向に変更することのできる機構を備えて、この機構の動きを制御するように構成しても、パンニング・チルティングを行うことが可能である。
なお、本実施形態としての構図制御における目標水平オフセット量Δx、目標垂直オフセット量Δy、また、ズーム倍率Zなどのパラメータを判定するアルゴリズムとしては、これまでに説明した例に限定されない。例えば、これらのパラメータを、検出された個別の被写体数に応じて変更することも考えられる。また、人としての個別の被写体ごとに、性別、年齢などの属性を検出し、この検出結果に応じて上記パラメータを変更することも考えられる。また、個別の被写体ごとに個人認識を実行し、認識される個人に応じて上記パラメータを変更すると言うことも考えられる。
また、これまでの説明では、本実施形態の撮像システムを、互いに別体のデジタルスチルカメラ1と雲台10から成るものとしているが、例えば、撮像装置部と、雲台に相当する可動機構部とが一体化された撮像装置などとされて構成されてもよい。
また、これまでの実施の形態の説明にあっては、被写体(個別被写体)は、人であることを前提としているが、例えば、人以外の動物を被写体とする場合にも、本願発明を適用することが考えられる。
また、被写体検出の対象となる画像データは、撮像に由来して得られるもの(撮像画像データ)のみに限定されるべきものではなく、例えば、絵であるとかデザイン画などの画内容を有する画像データを対象とすることも考えられる。
また、本願発明のもとで判定される構図(最適構図)は、必ずしも、三分割法などの構図設定手法に対して、検出された個別被写体の数の要素を加味する手法によって決定された構図に限定されるものではない。例えば一般的には良くないとされる構図であっても、構図の設定次第では、ユーザがおもしろみを感じたり、かえって良いと感じるような場合もあると考えられる。従って、本願発明のもとで判定される構図(最適構図)としては、実用性、エンタテイメント性などを考慮して任意に設定されればよく、実際においては特に制限はない。
1 デジタルスチルカメラ、2 シャッターボタン、3 レンズ部、10 雲台、21 光学系、22 イメージセンサ、23 A/Dコンバータ、24 信号処理部、25 エンコード/デコード部、26 メディアコントローラ、27 制御部、28 ROM、29 RAM、30 フラッシュメモリ、31 操作部、32 表示ドライバ、33 表示部、34 雲台対応通信部、40 メモリカード、51 制御部、52 通信部、53 パン機構部、54 パン用モータ、55 パン用駆動部、56 チルト機構部、57 チルト用モータ、58 チルト用駆動部、61 撮像記録ブロック、62 構図判定ブロック、63 パン・チルト・ズーム制御ブロック、64 通信制御処理ブロック、SBJ(SBJ0〜n) 被写体、71 通信制御処理ブロック、72 パン・チルト制御処理ブロック、73 被写体検出処理ブロック、74 構図制御処理ブロック、75 撮像部

Claims (8)

  1. 撮像部により撮像して得られる画像から検出した被写体情報に基づいて目標構図を判定するもので、この目標構図を得るためのズーム倍率、及び上記目標構図を得るための被写体の画像部分の目標位置を判定する構図判定手段と、
    上記構図判定手段により判定された目標構図が得られているとする場合に、上記ズーム倍率による画角変更を行う前において、上記画像において得られているとされる被写体の位置を予備位置として求める、予備位置取得手段と、
    上記被写体の画像部分の位置が、取得された上記予備位置となるようにして、上記撮像部の撮像視野範囲を変更する可動機構部に対する制御を実行する可動機構部制御手段と、
    上記可動機構部制御手段により上記被写体の画像部分が上記予備位置に在るようにされた後において、上記構図判定手段により判定されたズーム倍率に応じた画角が得られるようにして、上記撮像部のズームレンズを駆動制御する、ズーム制御手段と、
    を備える構図制御装置。
  2. 上記構図判定手段は、
    上記被写体の目標位置について、撮像部の撮像光軸に対応する上記画像内の基準位置に対する水平方向における目標水平移動量、及び上記基準位置に対する垂直方向における目標垂直移動量として求め、
    上記予備位置取得手段は、
    上記予備位置について、上記目標水平移動量と上記ズーム倍率とにより算出した制御水平移動量、及び上記目標垂直移動量とズーム倍率とにより算出した制御水平移動量として求め、
    上記可動機構部制御手段は、上記制御水平移動量に応じて決まるX座標、及び上記制御垂直移動量に応じて決まるY座標に、上記被写体に設定した重心が位置するようにして、可動機構部を制御する、
    請求項1に記載の構図制御装置。
  3. 上記撮像部は、
    上記構図判定手段、上記予備位置取得手段、上記可動機構部制御手段、及び上記ズーム制御手段を備え、上記可動機構部制御手段は、上記可動機構部との通信により、上記撮像部とは別体の上記可動機構部を制御する、
    請求項1又は請求項2に記載の構図制御装置。
  4. 上記可動機構部を有する上記撮像部とは別体の可動機構装置は、上記撮像部から出力される上記画像データを入力する入力手段と、上記構図判定手段、上記予備位置取得手段、及び上記可動機構部制御手段を少なくとも備える、
    請求項1又は請求項2に記載の構図制御装置。
  5. 撮像装置と、
    上記撮像装置の撮像視野範囲を変更するようにして可動する機構を有する可動機構装置とから成り、
    上記撮像部により撮像して得られる画像から検出した被写体情報に基づいて目標構図を判定するもので、この目標構図を得るためのズーム倍率、及び上記目標構図を得るための被写体の画像部分の目標位置を判定する構図判定手段と、
    上記構図判定手段により判定された目標構図が得られているとする場合に、上記ズーム倍率による画角変更を行う前において、上記画像において得られているとされる被写体の位置を予備位置として求める、予備位置取得手段と、
    上記被写体の画像部分の位置が、取得された上記予備位置となるようにして、上記可動機構装置に対する制御を実行する可動機構装置制御手段と、
    上記可動機構装置制御手段により上記被写体の画像部分が上記予備位置に在るようにされた後において、上記構図判定手段により判定されたズーム倍率に応じた画角が得られるようにして、上記撮像装置のズームレンズを駆動制御する、ズーム制御手段と、
    を備える撮像システム。
  6. 上記構図判定手段、上記予備位置取得手段、上記可動機構装置制御手段、及び上記ズーム制御手段は、上記撮像装置において備えられ、
    上記可動装置制御手段は、上記可動機構装置との通信により、上記可動機構装置を制御する、
    請求項5に記載の撮像システム。
  7. 撮像部により撮像して得られる画像から検出した被写体情報に基づいて目標構図を判定するもので、この目標構図を得るためのズーム倍率、及び上記目標構図を得るための被写体の画像部分の目標位置を判定する構図判定手順と、
    上記構図判定手順により判定された目標構図が得られているとする場合に、上記ズーム倍率による画角変更を行う前において、上記画像において得られているとされる被写体の位置を予備位置として求める、予備位置取得手順と、
    上記被写体の画像部分の位置が、取得された上記予備位置となるようにして、上記撮像部の撮像視野範囲を変更する可動機構部に対する制御を実行する可動機構部制御手順と、
    上記可動機構部制御手順により上記被写体の画像部分が上記予備位置に在るようにされた後において、上記構図判定手順により判定されたズーム倍率に応じた画角が得られるようにして、上記撮像部のズームレンズを駆動制御する、ズーム制御手順と、
    を実行する構図制御方法。
  8. 構図制御装置に、
    撮像部により撮像して得られる画像から検出した被写体情報に基づいて目標構図を判定するもので、この目標構図を得るためのズーム倍率及び上記目標構図を得るための被写体の画像部分の目標位置を判定する構図判定手順と、
    上記構図判定手順により判定された目標構図が得られているとする場合に、上記ズーム倍率による画角変更を行う前において、上記画像において得られているとされる被写体の位置を予備位置として求める、予備位置取得手順と、
    上記被写体の画像部分の位置が、取得された上記予備位置となるようにして、上記撮像部の撮像視野範囲を変更する可動機構部に対する制御を実行する可動機構部制御手順と、
    上記可動機構部制御手順により上記被写体の画像部分が上記予備位置に在るようにされた後において、上記構図判定手順により判定されたズーム倍率に応じた画角が得られるようにして、上記撮像部のズームレンズを駆動制御する、ズーム制御手順と、
    を実行させるためのプログラム。
JP2009174575A 2009-07-27 2009-07-27 構図制御装置、撮像システム、構図制御方法、プログラム Expired - Fee Related JP5347802B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2009174575A JP5347802B2 (ja) 2009-07-27 2009-07-27 構図制御装置、撮像システム、構図制御方法、プログラム
US12/813,039 US8786722B2 (en) 2009-07-27 2010-06-10 Composition control device, imaging system, composition control method, and program
CN2010102338955A CN101969531B (zh) 2009-07-27 2010-07-20 构图控制设备、成像系统、构图控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009174575A JP5347802B2 (ja) 2009-07-27 2009-07-27 構図制御装置、撮像システム、構図制御方法、プログラム

Publications (3)

Publication Number Publication Date
JP2011030015A true JP2011030015A (ja) 2011-02-10
JP2011030015A5 JP2011030015A5 (ja) 2012-07-12
JP5347802B2 JP5347802B2 (ja) 2013-11-20

Family

ID=43496959

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009174575A Expired - Fee Related JP5347802B2 (ja) 2009-07-27 2009-07-27 構図制御装置、撮像システム、構図制御方法、プログラム

Country Status (3)

Country Link
US (1) US8786722B2 (ja)
JP (1) JP5347802B2 (ja)
CN (1) CN101969531B (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5206095B2 (ja) 2008-04-25 2013-06-12 ソニー株式会社 構図判定装置、構図判定方法、プログラム
JP5347802B2 (ja) * 2009-07-27 2013-11-20 ソニー株式会社 構図制御装置、撮像システム、構図制御方法、プログラム
JP5434338B2 (ja) 2009-07-29 2014-03-05 ソニー株式会社 撮像制御装置、撮像方法、プログラム
JP5434339B2 (ja) 2009-07-29 2014-03-05 ソニー株式会社 撮像制御装置、撮像システム、撮像方法、プログラム
US8605158B2 (en) * 2009-12-28 2013-12-10 Sony Corporation Image pickup control apparatus, image pickup control method and computer readable medium for changing an image pickup mode
CN102098499B (zh) * 2011-03-24 2013-01-30 杭州华三通信技术有限公司 一种云台摄像机控制方法及其装置和系统
CN104144295A (zh) * 2014-08-12 2014-11-12 北京智谷睿拓技术服务有限公司 成像控制方法和装置及成像设备
JP2021022840A (ja) * 2019-07-29 2021-02-18 ソニー株式会社 医療用観察システム、制御装置、および制御方法
CN111486537B (zh) * 2020-06-15 2020-10-02 江苏新科电器有限公司 一种带安防和监控功能的空调器

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05236319A (ja) * 1992-02-25 1993-09-10 Fuji Photo Optical Co Ltd 雲台を用いたテレビカメラ動作制御装置
JP2005094406A (ja) * 2003-09-18 2005-04-07 Casio Comput Co Ltd 画像撮影装置およびプログラム
JP2008124812A (ja) * 2006-11-13 2008-05-29 Fujinon Corp リモコン雲台システム
JP2009100300A (ja) * 2007-10-17 2009-05-07 Sony Corp 構図判定装置、構図判定方法、プログラム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0908846A3 (en) * 1997-10-07 2000-03-29 Canon Kabushiki Kaisha Moving object detection apparatus and method
WO2006004043A1 (ja) * 2004-07-07 2006-01-12 Nec Corporation 広視野画像入力方法及び装置
CN101305596B (zh) * 2005-11-11 2010-06-16 索尼株式会社 图像处理设备、图像处理方法以及图像拾取设备
JP4894712B2 (ja) * 2007-10-17 2012-03-14 ソニー株式会社 構図判定装置、構図判定方法、プログラム
JP4904243B2 (ja) * 2007-10-17 2012-03-28 富士フイルム株式会社 撮像装置及び撮像制御方法
JP5315696B2 (ja) 2008-01-07 2013-10-16 ソニー株式会社 撮像制御装置、撮像制御方法
JP5206095B2 (ja) * 2008-04-25 2013-06-12 ソニー株式会社 構図判定装置、構図判定方法、プログラム
JP4640456B2 (ja) * 2008-06-25 2011-03-02 ソニー株式会社 画像記録装置、画像記録方法、画像処理装置、画像処理方法、プログラム
JP4983784B2 (ja) * 2008-12-18 2012-07-25 ソニー株式会社 撮像システム、画像提示方法、制御装置、プログラム
JP5359645B2 (ja) * 2009-07-23 2013-12-04 ソニー株式会社 構図判定装置、撮像システム、構図判定方法、プログラム
JP5347802B2 (ja) * 2009-07-27 2013-11-20 ソニー株式会社 構図制御装置、撮像システム、構図制御方法、プログラム
US8605158B2 (en) * 2009-12-28 2013-12-10 Sony Corporation Image pickup control apparatus, image pickup control method and computer readable medium for changing an image pickup mode
JP2011139231A (ja) * 2009-12-28 2011-07-14 Sony Corp 画像処理装置、画像処理方法、プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05236319A (ja) * 1992-02-25 1993-09-10 Fuji Photo Optical Co Ltd 雲台を用いたテレビカメラ動作制御装置
JP2005094406A (ja) * 2003-09-18 2005-04-07 Casio Comput Co Ltd 画像撮影装置およびプログラム
JP2008124812A (ja) * 2006-11-13 2008-05-29 Fujinon Corp リモコン雲台システム
JP2009100300A (ja) * 2007-10-17 2009-05-07 Sony Corp 構図判定装置、構図判定方法、プログラム

Also Published As

Publication number Publication date
CN101969531A (zh) 2011-02-09
US20110019012A1 (en) 2011-01-27
CN101969531B (zh) 2012-12-26
US8786722B2 (en) 2014-07-22
JP5347802B2 (ja) 2013-11-20

Similar Documents

Publication Publication Date Title
JP5347802B2 (ja) 構図制御装置、撮像システム、構図制御方法、プログラム
US8514285B2 (en) Image processing apparatus, image processing method and program
JP5407640B2 (ja) 画像対応装置、動作設定方法、プログラム
JP6192940B2 (ja) 撮影機器及び連携撮影方法
JP4983784B2 (ja) 撮像システム、画像提示方法、制御装置、プログラム
US8994831B2 (en) Image pickup control apparatus, image pickup control method and computer readable medium for changing an image pickup mode
JP5434338B2 (ja) 撮像制御装置、撮像方法、プログラム
JP5359645B2 (ja) 構図判定装置、撮像システム、構図判定方法、プログラム
JP5434339B2 (ja) 撮像制御装置、撮像システム、撮像方法、プログラム
US10931855B2 (en) Imaging control based on change of control settings
JP2011188065A (ja) 撮像制御装置、被写体検出方法、プログラム
JP2009100300A (ja) 構図判定装置、構図判定方法、プログラム
JP2011155362A (ja) 撮像制御装置、撮像制御方法、プログラム
JP5251779B2 (ja) 携帯型電子機器、制御方法、プログラム、撮像システム
JP5651951B2 (ja) 撮像制御装置、撮像制御方法、プログラム
JP5504887B2 (ja) 撮像制御装置、撮像制御方法、プログラム
JP6412222B2 (ja) 撮影機器、連携撮影方法及び連携撮影プログラム
KR20230135513A (ko) 촬상장치, 그 제어방법 및 컴퓨터 판독가능한 매체

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20110812

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120530

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120530

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130516

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130521

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130628

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130723

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130805

LAPS Cancellation because of no payment of annual fees