JP2011030015A5 - - Google Patents

Description

また、撮像システムとして次のように構成する。
つまり、撮像装置と、上記撮像装置の撮像視野範囲を変更するようにして可動する機構を有する可動機構装置とから成り、上記撮像装置により撮像して得られる画像から検出した被写体情報に基づいて目標構図を判定するもので、この目標構図を得るためのズーム倍率、及び上記目標構図を得るための被写体の画像部分の目標位置を判定する構図判定手段と、上記構図判定手段により判定された目標構図が得られているとする場合に、上記ズーム倍率による画角変更を行う前において、上記画像において得られているとされる被写体の位置を予備位置として求める、予備位置取得手段と、上記被写体の画像部分の位置が、取得された上記予備位置となるようにして、上記可動機構装置に対する制御を実行する可動機構装置制御手段と、上記可動機構装置制御手段により上記被写体の画像部分が上記予備位置に在るようにされた後において、上記構図判定手段により判定されたズーム倍率に応じた画角が得られるようにして、上記撮像装置のズームレンズを駆動制御する、ズーム制御手段とを備えることとした。

次に、雲台１０によるデジタルスチルカメラ１のパン・チルト方向の基本的な動きについて説明する。
まず、パン方向の基本的な動きは次のようになる。
この雲台１０を床面などに置いた状態では、接地台部１５の底面が接地する。この状態において、図４に示すように、回転軸１１ａを回転中心として、本体部１１は時計回り方向、及び反時計回り方向に回転できるようになっている。これにより、雲台１０に載置されているデジタルスチルカメラ１の撮像視野範囲は、左右方向（水平方向）に沿って変化することになる。つまり、パンニングの動きが与えられる。
そのうえで、この場合の雲台１０のパン機構は、時計回り方向及び反時計回り方向の何れについても、３６０°以上の回転が無制限で自在に行える構造を有しているものとする。

また、雲台１０のチルト方向の基本的な動きについては次のようになる。
チルト方向の動きは、図５（ａ）及び図５（ｂ）に示すようにして、カメラ台座部１２が回転軸１２ａを回転中心として、仰角、俯角の両方向に可動することにより得られる。
ここで、図５（ａ）は、カメラ台座部１２がチルト基準位置Ｙ0（０°）にある状態が示されている。この状態では、レンズ部２１ａ(光学系部)の撮像光軸と一致する撮像方向Ｆ１と、接地台部１５が接地する接地面部ＧＲとが平行となる。
そのうえで、図５（ｂ）に示すように、先ず、仰角方向においては、カメラ台座部１２は、回転軸１２ａを回転中心として、チルト基準位置Ｙ0（０°）から所定の最大回転角度＋ｆ°の範囲で動くことができる。また、俯角方向においても、回転軸１２ａを回転中心として、チルト基準位置Ｙ0（０°）から所定の最大回転角度−ｇ°の範囲で動くことができるようになっている。このようにして、カメラ台座部１２がチルト基準位置Ｙ0（０°）を基点として、最大回転角度＋ｆ°〜最大回転角度−ｇ°の範囲で動くことで、雲台１０（カメラ台座部１２）に載置されたデジタルスチルカメラ１の撮像視野範囲は、上下方向（垂直方向）沿って変化することになる。つまりチルティングの動作が得られる。

この場合の画枠３００は、撮像画像データの１フレーム相当の画像領域に相当する。ここでは、画枠３００としてのフレーム画像について、水平画素数を（水平画サイズ）をCx、垂直画素数（垂直画サイズ）をCyとして、Cx=320，Cy=240により形成されているものとしている。
また、この場合の画枠３００における位置は、座標（Ｘ，Ｙ）により表されるものとしており、ここでは画枠３００の左上端を座標（０，０）として定義している。
また、この画枠３００に対しては、垂直基準線Ｌｄ１及び水平基準線Ｌｄ２が仮想的に設定されている。垂直基準線Ｌｄ１は、画枠３００の水平方向における中点を通過する直線で、水平基準線Ｌｄ２は、画枠３００の垂直方向における中点を通過する直線となる。これら垂直基準線Ｌｄ１及び水平基準線Ｌｄ２は、それぞれ、構図制御として、画枠３００における被写体の位置を水平／垂直方向で移動させる際の基準線となる。また、垂直基準線Ｌｄ１と水平基準線Ｌｄ２の交点座標(160,-120)は、構図制御における基準点Ｐとして扱われる。

図９に示す画内容の撮像画像データを対象に被写体検出（顔検出）を行うことによっては、検出被写体として、図において示される１つの被写体ＳＢＪの顔が検出されることになる。即ち、顔検出処理によって１つの顔が検出されることを以て、ここでは１つの被写体が検出されることとしている。そして、このようにして被写体を検出した結果としては、先にも述べたように、被写体の数、向き、位置、サイズの情報を得るようにされる。
また、被写体数に関しては、例えば顔検出により検出された顔の数を求めればよい。図９の場合には、検出される顔が１つであるから、被写体数としても１であるとの結果が得られる。

この図に示す処理としては、先ず構図判定ブロック６２は、ステップＳ１０１により、所定の規則に従って、最適構図(目標構図)に応じた水平オフセット量Δxを判定する。次に、ステップＳ１０２により、パン・チルト・ズーム制御ブロック６３は、上記ステップＳ１０１により判定された水平オフセット量Δxに応じたＸ座標上に被写体重心Ｇが位置するようにしてパン制御を実行する。
図９，図１０に例示した構図制御との対応では、水平オフセット量Δx=0として判定され、これに応じて、被写体重心Ｇは、Ｘ座標=160に位置するようにして水平方向における移動が行われる。

これは、図１３，図１４に示すようにして、水平オフセット量Δxとして０以外の絶対値が与えられた場合にも同様である。
図１３は、被写体ＳＢＪについて検出した顔方向が左向きであった場合に応じて、図１６のステップＳ１０１〜Ｓ１０６の処理によって、先ず、被写体重心Ｇを目標座標に位置させたときの画枠３００の画内容を示している。
顔方向が左向きとして検出された場合には、先に述べたようにして、水平方向における被写体重心Ｇは、垂直基準線Ｌｄ１に対して右側の領域における所定の座標となるようにして設定される。これに応じて、被写体重心Ｇの目標座標は、Ｇ（160+Δx，-120+Δｙ）で表されるものとなる。なお、このときの垂直オフセット量Δｙとしては正の値が設定される。

このような構図制御の手順であれば、先ず、被写体重心Ｇを基準点Ｐに位置させてからパン・チルト制御を実行することになるので、ズーム倍率Zが適切である限り、被写体ＳＢＪの顔枠が画枠３００からはみ出ることはない。そして、この段階から被写体重心Ｇを目標座標に位置させるようにしてパン・チルト制御を実行して、判定構図を得ることができる。

しかし、この第２例の手順では、ズーム制御の後に、画枠内の目標座標に被写体重心Ｇを位置させるためのパン・チルト制御を実行する。
ズーム倍率Zは、これまでの図９〜図１４の説明のようにして、１より大きな正の値を設定して、被写体をクローズアップしたような構図とすることはしばしば行われるものと想定できる。
また、被写体重心Ｇを目標座標に位置させるための制御として、例えばパン制御であれば、構図判定ブロック６２は、水平方向において被写体重心Ｇが目標のＸ座標に近づいていく向きに動くようにして、雲台１０に対してパン方向移動の指示を行う。そして、取り込まれる撮像画像データの画枠において被写体重心Ｇが目標のＸ座標に一致したと判定したタイミングで、雲台１０に対してパン方向移動の停止を指示する。同様にして、チルト制御も、垂直方向において被写体重心Ｇが目標のＹ座標に近づいていく向きに動くようにして、雲台１０に対してチルト方向移動の指示を行い、被写体重心Ｇが目標のＹ座標に一致したタイミングで、チルト方向移動の停止を指示する、というものになる。
しかし、当然のこととして、パン・チルト方向におけるデジタルスチルカメラ１自体の少しの移動であっても、ズーム倍率が大きいほど、撮像画像の画枠内における画像の動き量は大きなものとなる。このことは、ズーム倍率が大きい状態での画像であるほど、上記したような被写体重心Ｇを目標座標に一致させるパン・チルト制御を細かく実行することが困難であることを意味している。つまり、図１７に示した手順では、ズーム倍率によっては、判定された構図に応じた画枠内の位置に被写体を正確に位置させることが難しい場合がある。このようなときには、例えば被写体が適正位置に納まるまでに必要以上に時間がかかってしまうことになり、そのときのパン・チルト機構に応じたデジタルスチルカメラ１の挙動も、やはりユーザによい印象を与えにくい。

続いて、ステップＳ３０６において構図判定ブロック６２は、ズーム制御目標値を判定する。ズーム制御目標値は、例えば、先の第１例、第２例に応じた説明との対応では、図１０に示した獲得すべき構図での被写体サイズである、顔枠FRの垂直サイズである、size_trgとなる。
次のステップＳ３０７において構図判定ブロック６２は、上記ステップＳ３０６において判定したズーム制御目標値を利用して、ズーム倍率Zを判定する。このズーム倍率Zの判定のためには、第１例、第２例に応じた説明との対応では、ズーム制御目標size_trgと、被写体検出処理による検出時における被写体ＳＢＪの顔枠FRの垂直サイズsize_orgとを利用して、先の(式１)によりズーム倍率Zを算出することになる。

そして、この場合には、構図判定ブロック６２は、ステップＳ３０８，Ｓ３０９によりそれぞれ、水平制御オフセット量Δx1，垂直制御オフセット量Δｙ1とを求める。
水平制御オフセット量Δx1は、後述するステップＳ３１０，Ｓ３１１によるパン制御により実際にパンニングを行って被写体重心Ｇを位置させるべき、垂直基準線Ｌｄ１に対する距離を表すものとなる。同様に、垂直制御オフセット量Δx2は、後述するステップＳ３１２、Ｓ３１３によるチルト制御により実際にチルティングを行って被写体重心Ｇを位置させるべき、水平基準線Ｌｄ2に対する距離を表すものとなる。

ステップＳ３１６においては、構図判定ブロック６２は、撮像記録タイミングがＯＫと成ったか否かについての判別を行っている。
例えば、上記ステップＳ３１６として実行する記録タイミングの判定処理期間において、検出されている被写体の表情が笑顔になったことが検出されたとする。すると、ステップＳ３１６により肯定の判別結果が得られることとなり、ステップＳ３１７に進む。これに対して、上記記録タイミングの判定処理期間を越えても検出されている被写体の表情について笑顔が検出されなければ、ステップＳ３１６において否定の判別結果が得られる。この場合には、ステップＳ３０２に戻り、被写体探索を伴う被写体検出処理を実行する。

上記の総合被写体重心Ｇｔをどのようにして設定するのかについては、いくつか考えることができるが、ここでは、最も簡易な例として、検出された複数の個々の被写体のうちで、画枠３００の左端と右端の両端に位置する被写体の重心を結ぶ線分上の中間点を総合被写体重心Ｇｔとして設定することが考えられる。

次に、図２０は、上記図１９に示す画内容の下で設定された拡大率に従って構図合わせ制御としてのズーム制御を行って得られたとする画内容を示している。
図２０に示される画内容は、被写体が横方向において並んでいるとみて良い位置関係にある。このような場合には、最も左の被写体の顔枠ＦＲから最も右の被写体の顔枠ＦＲまでの距離を、被写体総体の水平（横方向）サイズＫとして扱う。
そして、この場合における適正な被写体サイズとは、上記被写体総体の水平サイズＫについて、画枠３００の水平画素数Ｃｘに対して一定の比率（占有率）ｎ（０＜ｎ＜１）を占めるときであるとして規定する。つまり、K=Cx・nが成立するようにして拡大率を設定すればよい。なお、この例では、K=Cx・nが、図１８のステップＳ３０６にて判定するズーム目標値となる。
そして、例えば、図１９に対応して得られている被写体検出時の被写体総体の水平サイズをK1、図１３に対応して得られている構図制御後の被写体総体の水平サイズ（画素数）をK2とし、拡大率（ここでは拡大率を長さとして捉えている）、即ちズーム倍率をZとすれば、K2=K1×Zとなるのであるから、ズーム倍率Zは、
Z=Cx・n/K1・・・（式４）
により求めることができる。
このようにして求められたズーム倍率Zにより、図１９に示した状態からズーム制御を行った結果が、図２０となる。

Claims (8)

1. 撮像部により撮像して得られる画像から検出した被写体情報に基づいて目標構図を判定するもので、この目標構図を得るためのズーム倍率、及び上記目標構図を得るための被写体の画像部分の目標位置を判定する構図判定手段と、
   上記構図判定手段により判定された目標構図が得られているとする場合に、上記ズーム倍率による画角変更を行う前において、上記画像において得られているとされる被写体の位置を予備位置として求める、予備位置取得手段と、
   上記被写体の画像部分の位置が、取得された上記予備位置となるようにして、上記撮像部の撮像視野範囲を変更する可動機構部に対する制御を実行する可動機構部制御手段と、
   上記可動機構部制御手段により上記被写体の画像部分が上記予備位置に在るようにされた後において、上記構図判定手段により判定されたズーム倍率に応じた画角が得られるようにして、上記撮像部のズームレンズを駆動制御する、ズーム制御手段と、
   を備える構図制御装置。
2. 上記構図判定手段は、
   上記被写体の目標位置について、撮像部の撮像光軸に対応する上記画像内の基準位置に対する水平方向における目標水平移動量、及び上記基準位置に対する垂直方向における目標垂直移動量として求め、
   上記予備位置取得手段は、
   上記予備位置について、上記目標水平移動量と上記ズーム倍率とにより算出した制御水平移動量、及び上記目標垂直移動量とズーム倍率とにより算出した制御垂直移動量として求め、
   上記可動機構部制御手段は、上記制御水平移動量に応じて決まるＸ座標、及び上記制御垂直移動量に応じて決まるＹ座標に、上記被写体に設定した重心が位置するようにして、可動機構部を制御する、
   請求項１に記載の構図制御装置。
3. 上記撮像部は、
   上記構図判定手段、上記予備位置取得手段、上記可動機構部制御手段、及び上記ズーム制御手段を備え、上記可動機構部制御手段は、上記可動機構部との通信により、上記撮像部とは別体の上記可動機構部を制御する、
   請求項１又は請求項２に記載の構図制御装置。
4. 上記可動機構部を有する上記撮像部とは別体の可動機構装置は、上記撮像部から出力される上記画像データを入力する入力手段と、上記構図判定手段、上記予備位置取得手段、及び上記可動機構部制御手段を少なくとも備える、
   請求項１又は請求項２に記載の構図制御装置。
5. 撮像装置と、
   上記撮像装置の撮像視野範囲を変更するようにして可動する機構を有する可動機構装置とから成り、
   上記撮像装置により撮像して得られる画像から検出した被写体情報に基づいて目標構図を判定するもので、この目標構図を得るためのズーム倍率、及び上記目標構図を得るための被写体の画像部分の目標位置を判定する構図判定手段と、
   上記構図判定手段により判定された目標構図が得られているとする場合に、上記ズーム倍率による画角変更を行う前において、上記画像において得られているとされる被写体の位置を予備位置として求める、予備位置取得手段と、
   上記被写体の画像部分の位置が、取得された上記予備位置となるようにして、上記可動機構装置に対する制御を実行する可動機構装置制御手段と、
   上記可動機構装置制御手段により上記被写体の画像部分が上記予備位置に在るようにされた後において、上記構図判定手段により判定されたズーム倍率に応じた画角が得られるようにして、上記撮像装置のズームレンズを駆動制御する、ズーム制御手段と、
   を備える撮像システム。
6. 上記構図判定手段、上記予備位置取得手段、上記可動機構装置制御手段、及び上記ズーム制御手段は、上記撮像装置において備えられ、
   上記可動機構装置制御手段は、上記可動機構装置との通信により、上記可動機構装置を制御する、
   請求項５に記載の撮像システム。
7. 撮像部により撮像して得られる画像から検出した被写体情報に基づいて目標構図を判定するもので、この目標構図を得るためのズーム倍率、及び上記目標構図を得るための被写体の画像部分の目標位置を判定する構図判定手順と、
   上記構図判定手順により判定された目標構図が得られているとする場合に、上記ズーム倍率による画角変更を行う前において、上記画像において得られているとされる被写体の位置を予備位置として求める、予備位置取得手順と、
   上記被写体の画像部分の位置が、取得された上記予備位置となるようにして、上記撮像部の撮像視野範囲を変更する可動機構部に対する制御を実行する可動機構部制御手順と、
   上記可動機構部制御手順により上記被写体の画像部分が上記予備位置に在るようにされた後において、上記構図判定手順により判定されたズーム倍率に応じた画角が得られるようにして、上記撮像部のズームレンズを駆動制御する、ズーム制御手順と、
   を実行する構図制御方法。
8. 構図制御装置に、
   撮像部により撮像して得られる画像から検出した被写体情報に基づいて目標構図を判定するもので、この目標構図を得るためのズーム倍率及び上記目標構図を得るための被写体の画像部分の目標位置を判定する構図判定手順と、
   上記構図判定手順により判定された目標構図が得られているとする場合に、上記ズーム倍率による画角変更を行う前において、上記画像において得られているとされる被写体の位置を予備位置として求める、予備位置取得手順と、
   上記被写体の画像部分の位置が、取得された上記予備位置となるようにして、上記撮像部の撮像視野範囲を変更する可動機構部に対する制御を実行する可動機構部制御手順と、
   上記可動機構部制御手順により上記被写体の画像部分が上記予備位置に在るようにされた後において、上記構図判定手順により判定されたズーム倍率に応じた画角が得られるようにして、上記撮像部のズームレンズを駆動制御する、ズーム制御手順と、
   を実行させるためのプログラム。