JP2012015660A - 撮像装置及び撮像方法 - Google Patents

Abstract

【課題】操作者のジェスチャに応じた撮像制御を行う際に、操作者の存在位置の制約を減少させた撮像装置及び撮像方法を提供する。
【解決手段】操作者のジェスチャに応じた撮像を行う撮像装置であって、所定の撮像範囲の画像データを取得する撮像部と、撮像部の撮像方向と撮像画角の少なくとも一方を変更して撮像範囲を変更する撮像範囲変更部と、撮像部で取得した画像データから、操作者のジェスチャを検出するジェスチャ検出部と、検出されたジェスチャに応じて、記録すべき撮像範囲の変更制御、及び撮像部に対する撮像指示を含む制御を行う撮像制御部と、を備え、撮像制御部は、変更制御に際して、撮像範囲の変更を優先して行う主変更制御と、撮像範囲に操作者が含まれる範囲内で撮像範囲変更部による撮像範囲の変更を行う代替変更制御とを切換えて行い、主変更制御を行った場合に撮像部の撮像範囲内に操作者が含まれなくなるときは、代替変更制御によって撮像部の撮像範囲を変更する。
【選択図】図４

Description

本発明は、撮像装置及び撮像方法に関する。

従来、撮像装置の撮像範囲に存在している被写体のジェスチャを検出し、検出したジェスチャに応じて所定の撮像動作を自動で行う撮像装置が知られている（特許文献１、２参照）。

特許文献１には、撮像装置の撮像範囲に存在している被写体の顔の表情又はジェスチャを検出し、所定の顔の表情又はジェスチャを検出したときに自動的に撮像処理を行い、取得された撮像画像の記録を行う撮像装置が記載されている。

特許文献２には、予め設定された追尾エリア内において、被写体の位置とその被写体が任意の位置を指し示すジェスチャを検出し、検出した被写体の位置とジェスチャによって指し示された位置とに基づいて、撮像画像から自動的に画像切り出しを行う撮像装置が記載されている。

しかし、特許文献１、２に記載された撮像装置は、撮像対象（記録画像、表示画像等の最終的な出力画像に含まれる対象）である被写体のジェスチャに応じて所定の撮像動作を自動で行うものであり、ジェスチャを検出すべき人物等は、常に撮像装置の撮像範囲内に存在していることを前提としている。

特開２０１０−３４６８５号公報 特開２００７−１５８６８０号公報

ところで、操作者の意図的なジェスチャに応じて撮像装置を制御することを想定した場合、操作者が撮像範囲に含まれなくなるような画角での撮像指示も想定されるが、特許文献１、２に記載された撮像装置では、操作者が撮像範囲に含まれなくなる画角での撮像は不可能である。

本発明は、操作者のジェスチャに応じた制御を行う際に、操作者の存在位置の制約を減少させた撮像装置及び撮像方法を提供する。

操作者のジェスチャに応じた撮像を行う撮像装置であって、
所定の撮像範囲の画像データを取得する撮像部と、
前記撮像部の撮像方向と撮像画角の少なくとも一方を変更して前記撮像範囲を変更する撮像範囲変更部と、
前記撮像部で取得した前記画像データから、前記操作者のジェスチャを検出するジェスチャ検出部と、
検出された前記ジェスチャに応じて、記録すべき前記撮像範囲の変更制御、及び前記撮像部に対する撮像指示を含む撮像制御を行う撮像制御部と、を備え、
前記撮像制御部は、前記変更制御に際して、前記撮像範囲の変更を優先して行う主変更制御と、前記撮像範囲に前記操作者が含まれる範囲内で前記撮像範囲変更部による前記撮像範囲の変更を行う代替変更制御とを切換えて行い、
前記主変更制御を行った場合に前記撮像部の前記撮像範囲内に前記操作者が含まれなくなるとき、前記代替変更制御によって前記撮像部の前記撮像範囲を変更する撮像装置。

操作者のジェスチャに応じた撮像を行う撮像装置の撮像方法であって、
所定の撮像範囲の画像データを撮像部から取得するステップと、
前記撮像部の撮像方向と撮像範囲の少なくとも一方を変更して前記撮像範囲を撮像範囲変更部によって変更するステップと、
前記撮像部で取得した前記画像データから、前記操作者のジェスチャをジェスチャ検出部によって検出するステップと、
検出された前記ジェスチャに応じて、記録すべき撮像範囲の変更制御、及び前記撮像部に対する撮像指示を含む撮像制御を撮像制御部によって行うステップと、
前記撮像制御部によって、前記記録すべき撮像範囲の変更制御に際して前記撮像範囲の変更を優先して行う主変更制御と、前記撮像範囲に前記操作者が含まれる範囲内で前記撮像範囲変更部による前記撮像範囲の変更を行う代替変更制御とを切換えるステップと、を含み、
前記主変更制御を行った場合に前記撮像部の前記撮像範囲内に前記操作者が含まれなくなるときは、前記代替変更制御によって前記撮像部の前記撮像範囲を変更する撮像方法。

本発明によれば、操作者のジェスチャに応じた制御を行うに際に、ジェスチャが検出できなくなることを防止できる撮像装置及び撮像方法を提供できる。

撮像装置の構成を示すブロック図である。 被写体を撮像している状態を示す図である。 取得した画像データに基づいて表示された画像の例を示す図である。 撮像の手順の一例を示すフローチャートである。 撮像の手順の一例を示すフローチャートである。 撮像の手順の一例を示すフローチャートである。 撮像の手順の一例を示すフローチャートである。 撮像の手順の一例を示すフローチャートである。 撮像の手順の一例を示すフローチャートである。 撮像の手順の一例を示すフローチャートである。

図１は、撮像装置の構成を示すブロック図である。なお、撮像装置としてデジタルカメラを例に説明する。

撮像装置は、撮像部として、撮像レンズ１と、ＣＣＤ型又はＣＭＯＳ型の固体撮像素子５と、この両者の間に設けられた絞り２と、赤外線カットフィルタ３と、光学ローパスフィルタ４とを備える。

撮像装置は、電気制御系全体を統括制御するシステム制御部１１を備える。システム制御部１１は、レンズ駆動部８を制御して撮像レンズ１の位置をフォーカス位置に調整したりズーム調整を行ったりし、絞り駆動部９を介し絞り２の開口量を制御して露光量調整を行う。

システム制御部１１は、発光部１２を制御し、撮像時に発光部１２を発光させて、露光を調整する。

また、システム制御部１１は、撮像素子駆動部１０を介して固体撮像素子５を駆動し、撮像レンズ１を通して撮像した被写体像を撮像信号として出力させる。システム制御部１１には、操作部１４を通してユーザからの指示信号が入力される。

撮像装置の電気制御系は、更に、固体撮像素子５の出力に接続された相関二重サンプリング処理等のアナログ信号処理を行うアナログ信号処理部６と、このアナログ信号処理部６から出力されたＲＧＢの色信号をデジタル信号に変換するＡ／Ｄ変換回路７とを備え、これらはシステム制御部１１によって制御される。

更に、この撮像装置の電気制御系は、メインメモリ１６と、メインメモリ１６に接続されたメモリ制御部１５と、補間演算やガンマ補正演算，ＲＧＢ／ＹＣ変換処理等を行って画像データを生成するデジタル信号処理部１７と、デジタル信号処理部１７で生成された画像データをＪＰＥＧ形式に圧縮したり圧縮画像データを伸張したりする圧縮伸張処理部１８と、測光データを積算しデジタル信号処理部１７が行うホワイトバランス補正のゲインを求める積算部１９と、着脱自在の記録媒体２１が接続される外部メモリ制御部２０と、カメラ背面等に搭載された液晶表示部２３が接続される表示制御部２２と、を備える。メモリ制御部１５、デジタル信号処理部１７、圧縮伸張処理部１８、積算部１９、外部メモリ制御部２０、及び表示制御部２２は、制御バス２４及びデータバス２５によって相互に接続され、システム制御部１１からの指令によって制御される。

撮像装置は、撮像を実行する前に、スルー画を表示部２３に表示させる。ここでスルー画とは、一般にライブビューとも称され、固体撮像素子５から取得される画像データを表示部２３に逐次に表示させたものをいう。ユーザは、撮像を実行する前に、表示部２３に表示されるスルー画によって、記録すべき撮像範囲に対応する画像を確認したうえで、撮像を実行することができる。

さらに、撮像装置には、画像認識部３１と、動作検出部３２と、撮像制御部３３と、を備える。画像認識部３１、動作検出部３２、撮像制御部３３は、制御バス２４及びデータバス２５によって相互に接続され、システム制御部１１からの指令によって制御される。画像認識部３１と、動作検出部３２とは、ジェスチャ検出部として機能する。

画像認識部３１は、撮像部で取得された画像データから顔検出を行って人物の顔画像を検出し、検出した顔画像に基づいて顔認識を行うことで操作者を認識する。

動作検出部３２は、画像認識部３１によって認識された操作者のジェスチャを検出する。ここで、ジェスチャとは、操作者が行う動作（例えば、手を挙げる等の動作）をいう。ジェスチャには、撮像範囲の変更制御、及び撮像部に対する撮像指示に関する所定の制御内容が設定されている。例えば、操作者の手をあげるというジェスチャに、光学ズームを駆動して撮像範囲を変更する制御が設定されている。

撮像制御部３３は、検出された前記ジェスチャに応じて、記録すべき撮像範囲の撮像範囲の変更制御、及び撮像部に対する撮像指示を含む制御を行う。記録すべき撮像範囲とは、操作者が、撮像を実行することによって実際に記録される画像における被写体全体の範囲という。

撮像装置は、認識された操作者のジェスチャを検出し、該ジェスチャに応じた制御を実行することができ、操作部１４で操作者が手指等の直接入力を行うことなく、自動で制御を実行する。

次に、撮像装置を用いて、ジェスチャに応じて撮像を実行する例を説明する。
図２は、図１の撮像装置を用いて、操作者を含む複数の人物を撮像している状態を示している。図２では、４人の人物が存在し、図中矢印で示す人物が操作者である。操作者は撮像装置から離れた位置に立っている。この例では、操作者が手をあげるジェスチャを行い、撮像装置は、このジェスチャを検出し、操作者が手をあげるジェスチャに予め関連付けられて設定された制御である、光学ズームを実行する。操作者は、撮像装置の表示部で、記録すべき撮像範囲に対応する画像を確認することができる。

図３は、図２の撮像状態において、取得した画像データに基づいて表示部に表示された画像を示している。図３Ａは、光学ズームを実行する前の、撮像部において所定の撮像範囲で取得された画像データに基づく画像である。図３Ｂは、光学ズームを実行している状態で、変更された撮像範囲で取得した画像データに基づく画像を示している。

図３Ａに示すように、光学ズームを行う前の状態では、撮像部の撮像範囲に操作者が含まれるため、操作者のジェスチャを検出することができる。一方で、図３Ｂに示すように、光学ズームを行った後の状態では、撮像範囲に操作者が含まれないため、操作者のジェスチャを検出することができない。つまり、操作者のジェスチャを検出するためには、撮像部の撮像範囲に操作者が含まれることが必要である。しかし、ジェスチャに応じて光学ズームを行うことで記録すべき撮像範囲の撮像範囲の変更制御を行ったときには、変更制御によって変更した撮像範囲に操作者が含まれなくなることがあり得る。例えば、図３Ｂに示すように、光学ズームを実行して変更された撮像範囲で撮像を行うと、取得する画像データからは操作者を認識することや、操作者のジェスチャを検出することができなくなる。すると、操作者は、撮像装置をジェスチャによって制御することができなくなる。

以下では、変更制御としては、記録すべき撮像範囲を光学ズームで変更する制御とする。この例では、光学ズームによって、操作者を含む複数の人物のうち、操作者以外の一人を拡大して、記録すべき撮像範囲におさめるように、撮像範囲を変更する。

撮像装置において、撮像制御部３３は、主変更制御と代替変更制御とを切替える。主変更制御は、操作者のジェスチャに応じて、光学ズームによって記録すべき撮像範囲の変更制御を行う際に、撮像部の撮像画角を光学ズームで変更して撮像範囲を変更する。代替変更制御は、撮像範囲に操作者が含まれる範囲内で、光学ズームによる撮像範囲の変更を、電子ズームによって代替的に行うものである。主変更制御時には、撮像範囲に操作者が含まれるか否かにかかわらず、撮像範囲の変更が優先して行われる。

光学ズームが撮像部の撮像画角を変更して撮像部の撮像範囲を変更する撮像範囲変更部として機能する。なお、撮像範囲変更部は、撮像部の撮像方向を変更するものであってもよく、例えば、撮像装置を保持する雲台の移動を制御する手段、パン・チルト機構を制御する手段、画像データのトリミング処理を行う手段、を用いてもよい。撮像範囲変更部は、撮像方向と撮像画角の少なくとも一方を変更して撮像範囲を変更するものであればよい。操作者のジェスチャに応じて光学ズームを行った場合に撮像部の撮像範囲内に操作者が含まれなくなるときは、表示部２３は、電子ズームによって撮像範囲を変更した撮像部によって取得された画像データに基づく画像を表示する

また、撮像装置が複数の撮像部を備える構成、所謂、複眼カメラの構成においては、複数の撮像部のうち少なくとも１つを撮像範囲変更部としてもよい。この構成では、この撮像範囲変更部である撮像部が操作者を撮像範囲に含めるように制御されてもよい。

次に、操作者のジェスチャを検出し、所定の制御を実行する手順を説明する。以下の説明では、図１で示す撮像装置の構成を例に説明する。

図４は、撮像の手順の一例を示すフローチャートである。
この例では、最初に、ステップＳ１において、画像認識部３１が、画像データに顔検出を行い、人物の被写体を検出する。そして、検出された被写体を顔認識し、認識された被写体の人物を操作者として設定する。顔認識は、画像データから検出された顔画像と予め登録された登録画像データとを比較し、両者がどの程度一致するか判断し、一致する場合には顔画像の人物を操作者として認識する。この手順後、ステップＳ２へ進む。このとき、表示部２３にはスルー画が表示されている。

ステップＳ２において、動作検出部３２が認識された操作者のジェスチャを検出する。ジェスチャは、例えば、画像データにおいて操作者の領域を取得して特徴点を算出し、この特徴点の変化パターンが所定のパターンに一致するか否かに基づいて判別する。そして、ステップＳ３へ進む。

ステップＳ３において、動作検出部３２が、ジェスチャの有無を判別する。ジェスチャを検出した場合には、ジェスチャに応じた変更制御である光学ズームを設定し、ステップＳ４へ進む。一方、ジェスチャを検出しなかった場合にはステップＳ１０へ進む。

ステップＳ４において、撮像制御部３３が、光学ズームを実行したときに光学ズームによって変更された撮像範囲に操作者が撮像されるか否かを判断する。撮像範囲に操作者が撮像されないと判断された場合には、ステップＳ５へ進む。撮像範囲に操作者が含まれる判断された場合には、ステップＳ７へ進む。

ステップＳ５において、この手順では、電子ズームを行ったときに、操作者を検出することが可能であるか否かを判別する。操作者を検出することが可能である場合には、ステップＳ６へ進む。一方で、操作者を検出することができない場合には、ステップＳ８へ進む。

ステップＳ６において、電子ズームを行う。電子ズームは、撮像範囲に操作者が含まれる範囲内で撮像範囲の変更を行う。電子ズームは画像データの一部を拡大する処理である。電子ズームを行っても、撮像部の撮像範囲から操作者がはずれてしまうことがなく、電子ズーム後の撮像部から取得される画像データによって引き続き操作者を認識することができる。このとき、表示部２３には、図３Ｂのように現在の撮像範囲で取得された画像データの一部を電子ズームで拡大した領域のみが表示されるが、電子ズーム中に取得される画像データの画角には操作者が撮像されている。

ステップＳ７では、ステップＳ４において、撮像制御部３３が光学ズームを実行しても操作者が検出可能と判断した結果をうけ、システム制御部１１がレンズ駆動部８及び絞り駆動部９を制御することによって光学ズームを実行する。その後、ステップＳ１０へ進む。

ステップＳ８では、ステップＳ５において、電子ズームを実行しても、操作者が検出不可能と判断した結果をうけ、警告動作を実行する。警告動作としてはタリーを点滅させる方法や、表示部２３に表示を行う方法などがある。警告動作は、操作者が検出不可能と判断してから所定時間経過後に行われることが望ましい。

ステップＳ１０において、撮像指示が行われた否かを判別する。撮像指示は、操作者がジェスチャによって行ってもよく、他の人物が撮像装置の操作部１４に直接入力したものであってもよい。撮像指示がある場合には、Ｓ１１へ進む。撮像指示がない場合には、ステップＳ１へ戻って、上記手順を繰り返す。

ステップＳ１１において、撮像指示が行われたときに、電子ズームが行われているか否かを判別する。電子ズームが行われている場合には、ステップＳ１２へ進む。電子ズームが行われていない場合には、ステップＳ１５へ進む。

ステップＳ１２において、撮像装置は、電子ズームを一時的に中断して、光学ズームに切り替える。このとき、中断された電子ズームの動作状態を示すデータがメインメモリ１６に記録される。そして、ステップＳ１３へ進む。

ステップＳ１３において、光学ズームを実行し、本撮像が実行される。なお、本撮像は、撮像制御部３３の撮像制御に基づいて、画像データを取得し、取得した画像データをメインメモリ１６に記録する動作である。この手順の後、ステップＳ１４へ進む。

ステップＳ１４において、撮像制御部３３は主変更制御から代替変更制御に再び切り替える。すなわち、光学ズームを動作前の状態に戻したうえで、メインメモリ１６から電子ズームの動作状態を示すデータを読み出し、撮像部の撮像範囲が電子ズームによって制御されている状態に戻す。その後、フローを終了する。

ステップＳ１５では、ステップＳ１１において、光学ズームが実行されていると判別された結果をうけ、ステップＳ１３と同様に、本撮像を実行する。その後、フローを終了する。

こうすれば、操作者は、ジェスチャに応じて変更制御によって該操作者が検出できなくなる場合においても、記録すべき撮像範囲を表示部で確認できる。したがって、操作者は、撮像範囲に対する存在位置の制約をうけることなく、撮像装置をジェスチャで制御することができる。

また、撮像装置は、撮像制御が行われたときに代替変更制御を主変更制御に切り替えた後で、撮像を実行する。つまり、操作者のジェスチャに対応する制御を実行したうえで撮像が行われるため、操作者の意図に沿った画像を得ることができる。

撮像指示による撮像を実行する前に代替変更制御を実行していた場合に、撮像指示による撮像後、代替変更制御に設定されるため、操作者が認識できなくなることを回避できる。また、操作者は、撮像後に直ぐにジェスチャによって撮像装置をコントロールすることができる。

次に、上述した手順の一部を変形した例を説明する。この例では、認識した複数の被写体に登録画像データとして登録された人物を複数含むか否かを判別する場合を説明する。図５はこの例の手順を示すフローチャートである。図５ではジェスチャを検出する手順以降のフローについては、図４に記載したものと同じであるため、記載せず省略している。

先ず、ステップＳ２１において、画像認識部３１が、画像データに基づいて顔画像を検出する顔検出を実行する。そして、顔検出で検出された顔画像に基づいて人物を認識する顔認識を行う。その後、ステップＳ２２へ進む。

ステップＳ２２において、検出された被写体の顔画像と予め登録された登録画像データとの一致があったかを判別する。登録画像データと一致する顔画像が１つでもあった場合にはステップＳ２３へ進む。登録画像データと一致する顔画像が１つもなかった場合には、ジェスチャを検出する手順（図４のステップＳ３参照）へ進む。

ステップＳ２３において、登録画像データと一致する顔画像が複数であったか否かを判別する。登録画像データと一致する顔画像が複数であった場合には、検出された被写体が複数であると判断し、ステップＳ２４へ進む。登録画像データと一致する顔画像が複数でなかった場合には、ステップＳ２５へ進む。

ステップＳ２４において、複数の被写体に操作者とすべき優先順位をつけ、これら複数の被写体のうち、最も操作者とすべき優先順位が高い人物を操作者に設定する。優先順位のつけ方としては、例えば、登録画像データに順位を予め設定する。その後、ジェスチャを検出する手順（図４のステップＳ３参照）へ進む。

ステップＳ２５では、ステップＳ２３において登録画像データと一致する顔画像と判別された人物を操作者に設定する。その後、ジェスチャを検出する手順（図４のステップＳ３参照）へ進む。

こうすれば、特定の操作者のジェスチャのみを検出し、撮像装置を制御することができる。

また、撮像装置は、登録画像データに順位を予め設定することで、最も優先順位が高い操作者のジェスチャを最優先で検出し、この操作者が検出できない場合に、次に優先順位が高い操作者のジェスチャを検出し、制御を実行してもよい。

次に、上述した手順の一部を変形した例を説明する。この例では、代替変更制御時に取得された画像データに対して所定の制御を行い、その後、撮像を実行する場合を説明する。図６はこの例の手順を示すフローチャートである。図６では、図４に示したステップＳ１からステップＳ１０と同じ手順を先に行うものであるため、これらの手順については説明せずに省略する。

ステップＳ３１において、図４のステップＳ１１と同じように、撮像指示の後、電子ズームが行われているか否かを判別する。電子ズームがあった場合には、ステップＳ３２へ進む。電子ズームがなかった場合には、ステップＳ３４へ進む。

ステップＳ３２において、電子ズームが行われているときの撮像範囲で取得された画像データに基づいて、ＡＥ（自動露出制御）、ＡＦ（自動焦点調節）、ＡＷＢ（オートホワイトバランス）のうち少なくとも１つを実行する。その後、撮像指示による撮像を実行するステップへ進む。

ステップＳ３４において、光学ズームが行われているときの撮像範囲で取得された画像データに基づいて、ＡＥ（自動露出制御）、ＡＦ（自動焦点調節）、ＡＷＢ（オートホワイトバランス）のうち少なくとも１つを実行する。その後、撮像を実行するステップへ進む。

こうすれば、取得される画像データを最適化することができる。また、ＡＥ、ＡＦ、ＡＷＢの値は、スルー画、撮像のいずれの画像データに適用してもよい。

次に、上述した手順の一部を変形した例を説明する。この例では、代替変更制御時の撮像範囲で取得された画像データに対して所定の制御を行い、その後、撮像を実行する場合を説明する。図７はこの例の手順を示すフローチャートである。図７では、ジェスチャを検出する手順以降のフローについては、図４に記載したものと同じであるため、記載せず省略している。

先ず、ステップＳ４１において、操作者の検出を実行する。ここでは。操作者の検出は、画像認識部３１が、画像データに基づいて顔検出を実行して人物を検出し、検出された人物について顔認識を行う。そして、ステップＳ４２へ進む。

ステップＳ４２において、顔認識を行うことで、検出された被写体の顔画像と予め登録された登録画像データと比較し、操作者として認識できるか否かを判別する。操作者として認識できる場合には、ステップＳ４３へ進む。操作者として認識できない場合には、撮像範囲には操作者が含まれていないと判断して、ステップＳ４４へ進む。

ステップＳ４３において、登録画像データと一致する顔画像の人物を操作者に設定する。そして、ジェスチャを検出するステップ（図４のステップＳ２）へ進む。

ステップＳ４４では、ステップＳ４２で検出された被写体には操作者が含まれていないと判断された結果をうけ、現在の撮像範囲で取得した画像データより以前の画像データに操作者が検出されていたかを判別する。この例では、画像データを１コマとしたとき、過去の１００コマから操作者を検出したか否かを判別する。過去の画像データと、操作者の検出の有無とに関する情報は、メインメモリ１６に記録されたものを読み出す。過去の１００コマから操作者を検出した場合には、操作者が撮像範囲に含まれなくなったと判断し、ステップＳ４５へ進む。過去の１００コマから操作者を検出できなかった場合には、ステップＳ４２へ戻る。なお、コマ数ではなく、所定時間前から現時点までに撮像された画像データにおける操作者の検出の有無から、操作者が撮像範囲に含まれているか否かを判別してもよい。

ステップＳ４５において、警告動作を実行する。警告動作としてはタリーを点滅させる方法や、表示部２３に表示を行う方法などがある。警告動作は、操作者が検出不可能と判断してから所定時間経過後に行われることが望ましい。

図８は、図７の手順の一部を変形した例を示すフローチャートである。この例では、画像データから操作者が検出されない場合に、撮像範囲を変更する。図８はこの例の手順を示すフローチャートである。この例においてステップＳ５１〜Ｓ５４は、図７の手順のステップＳ４１〜Ｓ４４と同じであるため、ここでは記載せずに説明を省略する。

ステップＳ５５では、ステップＳ５４で現在の撮像範囲で取得した画像データより以前の画像データに操作者が検出されていたという判別の結果をうけ、操作者を探すカメラ動作を実行する。操作者を探すカメラ動作は、例えば、パン・チルト機構や雲台の制御によって撮像部の撮像範囲を変更する。

こうすれば、撮像装置は、撮像範囲に操作者が含まれなくなったと判断したとき場合に、操作者を撮像範囲に含むように制御が行われる。

図９は、上記の手順の一部を変形した例を示すフローチャートである。この例では、画像データに基づき、撮像範囲に対する操作者の位置に応じて、撮像範囲を変更する。

先ず、ステップＳ６１において、上述の例の手順と同様に操作者を検出する。そして、ステップＳ６２へ進む。

ステップＳ６２において、現在の撮像範囲で取得した画像データに基づき、検出した操作者が所定の位置にいるか判別する。撮像範囲が中央領域と該中央領域を囲むように端部領域が設定されている場合に、該端部領域を所定の位置として設定する。検出した操作者が撮像範囲の端部領域に含まれるときには、ステップＳ６３へ進む。検出した操作者が撮像範囲の中央領域に含まれるときには、ジェスチャを検出する手順（図４のステップＳ３参照）へ進む。

ステップＳ６３において、操作者が撮像範囲の中央領域に含まれるように、撮像範囲変更部によって撮像部の撮像範囲を変更する。こうして、変更された撮像範囲に中央領域に操作者が含まれる。

こうすれば、操作者が撮像範囲に含まれなくなることを未然に防ぐことができる。

図１０は、上記の手順の一部を変形した例を示すフローチャートである。この例では、光学ズームで変更された撮像範囲と、電子ズームで変更された撮像範囲とで、それぞれ撮像を実行する制御を行う。図１０では、図４に示したステップＳ１からステップＳ１０と同じ手順を先に行うものであるため、これらの手順については説明せずに省略する。この手順では、前提として、先に撮像指示の制御があったものとする。

ステップ７１において、電子ズームが行われているか否かを判別する。電子ズームがあった場合には、ステップＳ７２へ進む。電子ズームがなかった場合には、ステップＳ７６へ進む。

ステップＳ７２において、電子ズームで変更された撮像範囲で撮像を行い、画像データを取得し、記録する。その後、ステップＳ７３へ進む。

ステップＳ７３において、光学ズームを実行する。その後、ステップＳ７４へ進む。

ステップＳ７４において、主変更制御を実行し、光学ズームで変更された撮像範囲で撮像を行い、画像データを取得し、記録する。その後、ステップＳ７５へ進む。

ステップＳ７５において、電子ズームで撮像範囲を変更する代替変更制御に切り替える。そして、フローを終了する。

ステップＳ７６では、電子ズームが実行されていないという判別をうけた結果、現在の撮像範囲（光学ズームが行われているときは、その撮像範囲）で撮像を行い、画像データを取得し、記録する。そして、フローを終了する。

こうすれば、主変更制御で変更された撮像範囲と、代替変更制御で変更された撮像範囲との両方で画像データを取得、記録でき、撮像時の状況がわかりやすくなる。また、シャッタスピードを重視したい場合には電子ズームで変更された撮像範囲で取得された画像データを使用することができ、一方で画質を重視したい場合には、光学ズームで変更された撮像範囲で取得された画像データを使用することができる。

次に、本発明の変形例を説明する。
上述の例では、撮像装置は、光学ズームを行った場合に撮像部の撮像範囲内に操作者が含まれなくなるとき、電子ズームによって撮像範囲を変更した撮像部によって取得された画像データに基づく画像を表示部に表示しているが、これに限定されない。撮像装置に通知手段として機能するＬＥＤが設けられていれば、光学ズームを行った場合に撮像部の撮像範囲内に操作者が含まれなくなるときに、ＬＥＤを点滅させることで、操作者に撮像部の撮像範囲内に操作者が含まれなくなったことを通知することができる。

ＬＥＤを備えた撮像装置の動作例を説明する。
先ず、上述の例と同様に操作者のジェスチャを検出する。そして、ジェスチャに基づく光学ズームを行った場合に撮像部の撮像範囲内に操作者が含まれなくなるとき、電子ズームを実行し、操作者の検出が可能である状態を維持する。このとき、電子ズームを実行していることをＬＥＤの点滅によって操作者に通知する。そして、本撮影をするときには、撮像部の動作を光学ズームに切り換えた状態で撮像部の画像データを取得する。このような構成であれば、操作者は、表示部で画像を確認しなくても、撮像装置の動作状態を確認することができる。

複数の撮像部を備える撮像装置では、ジェスチャに基づく光学ズームを行った場合に撮像部の撮像範囲内に操作者が含まれなくなるとき、複数の撮像部のうち少なくとも１つで電子ズームを実行して操作者の検出を継続する。このとき、ＬＥＤを点滅させるなどの手段によって、電子ズームを実行していることを操作者に通知する。

代替変更制御に基づく動作の他の例を説明する。
操作者のジェスチャに基づいて光学ズームを行った場合に撮像部の撮像範囲内に操作者が含まれなくなるとき、代替変更制御による動作としては、上述の例のように電子ズームに限定されず、光学ズームを停止する動作、又は、操作者に警告する動作、又は、光学ズームを実行する前の状態に戻す（逆転する）動作であってもよい。また、ジェスチャに基づく動作が光学ズームの場合には、代替変更制御による動作として、光学ズームのズームレンズの駆動を停止する動作、又は、光学ズームを実行する前のレンズ位置や広角側の位置に戻す動作であってもよい。

撮像装置は、外部表示装置（例えばテレビジョン）と接続可能なインターフェースを備え、撮像部で取得される画像データに基づく画像を、外部表示装置に表示可能であってもよい。このような構成の撮像装置は、通常の撮影時には、撮像装置の撮像部で操作者を撮影するとともに、撮影された操作者をズームアップした画像を外部表示装置に表示させることができる。外部表示装置においてズームアップした画像を表示させることで、ジェスチャ検出の精度を確保できる。操作者が撮像範囲から外れる場合には、外部表示装置のズームアップを解除して、撮像範囲の画角を広げることで、操作者のジェスチャを検出できる範囲を拡大することができる。なお、外部表示装置における、画像のズームアップの処理は撮像装置のデジタル処理でもよく、検出できる範囲を拡大する処理は外部表示装置における処理でもよい。また、撮像装置の撮像部が広角の撮像範囲で画像データを取得し、外部表示装置においてズームアップした画像を表示させてもよく、撮像装置が代替変更制御を行う際に外部表示装置に広角の画像を表示させてもよい。

また、複数の撮像部を備え、外部表示装置に接続された撮像装置では、通常時には複数の撮像部それぞれで操作者を撮像し、複数の撮像部のいずれか１つから取得される画像を外部表示装置に表示させることができる。光学ズームを行った場合に撮像部の撮像範囲内に操作者が含まれなくなるときには、複数の撮像部のうち少なくとも１つを電子ズームに切り替えることで操作者を撮像できる状態を維持する。このとき、外部表示装置には、記録される画像を表示させるか、又は、操作者を表示させることができる。例えば、撮像範囲に複数の人物が存在し、そのうち不特定の人物が操作者となる場合には、異なる撮像範囲である複数の撮像部のうち少なくとも１つの撮像部を操作者のジェスチャを検出する電子ズームに切り換え、電子ズームに切り換えられた撮像部で撮像された画像を外部表示装置に表示させることができる。

本明細書は、以下の事項を開示する。
（１）操作者のジェスチャに応じた撮像を行う撮像装置であって、
所定の撮像範囲の画像データを取得する撮像部と、
前記撮像部の撮像方向と撮像画角の少なくとも一方を変更して前記撮像範囲を変更する撮像範囲変更部と、
前記撮像部で取得した前記画像データから、前記操作者のジェスチャを検出するジェスチャ検出部と、
検出された前記ジェスチャに応じて、前記撮像範囲の変更制御、及び前記撮像部に対する撮像指示を含む撮像制御を行う撮像制御部と、を備え、
前記撮像制御部は、前記変更制御に際して、前記撮像範囲の変更を優先して行う主変更制御と、前記撮像範囲に前記操作者が含まれる範囲内で前記撮像範囲変更部による前記撮像範囲の変更を行う代替変更制御とを切換えて行い、
前記主変更制御を行った場合に前記撮像部の前記撮像範囲内に前記操作者が含まれなくなるとき、前記代替変更制御によって前記撮像部の前記撮像範囲を変更する撮像装置。
（２）（１）に記載の撮像装置であって、
前記撮像部で取得した前記画像データに基づいて、前記記録すべき撮像範囲に対応する画像を表示する表示部を備え、
前記表示部は、前記主変更制御を行った場合に前記撮像部の前記撮像範囲内に前記操作者が含まれなくなるときは、前記代替変更制御によって前記撮像範囲を変更した前記撮像部によって取得された前記画像データに基づく画像を表示する撮像装置。
（３）（１）又は（２）に記載の撮像装置であって、
撮像指示があった際には、前記撮像制御部が前記代替変更制御を前記主変更制御に切り替えた後で、撮像が実行される撮像装置。
（４）（１）から（３）のいずれか１つに記載の撮像装置であって、
前記撮像制御部は、撮像指示による撮像を実行する前に前記代替変更制御が行われていた場合には、撮像指示による撮像後、前記代替変更制御を行う撮像装置。
（５）（１）から（４）のいずれか１つに記載の撮像装置であって、
前記ジェスチャ検出部は、前記撮像部から取得した前記画像データに顔検出及び顔認識を行うことで前記操作者を決定する撮像装置。
（６）（１）から（５）のいずれか１つに記載の撮像装置であって、
前記ジェスチャ検出部は、前記撮像部で取得した前記画像データから複数の被写体を検出し、前記複数の被写体と予め登録された登録画像データとを比較して前記操作者とすべき優先順位を決定し、該優先順位に基づいて前記操作者を設定する撮像装置。
（７）（１）から（６）のいずれか１つに記載の撮像装置であって、
前記代替変更制御で変更された前記撮像範囲で取得された前記画像データに基づいて、自動露出制御、自動焦点調節、オートホワイトバランスのうち少なくとも１つを行う撮像装置。
（８）（１）から（７）のいずれか１つに記載の撮像装置であって、
前記画像データから前記操作者が検出されない場合に、警告を行う撮像装置。
（９）（１）から（８）のいずれか１つに記載の撮像装置であって、
前記画像データから前記操作者が検出されない場合に、前記撮像範囲を変更する撮像装置。
（１０）（１）から（９）のいずれか１つに記載の撮像装置であって、
前記画像データに基づき、前記撮像範囲に対する前記操作者の位置に応じて、該撮像範囲を変更する撮像装置。
（１１）（１）から（１０）のいずれか１つに記載の撮像装置であって、
前記撮像制御部は、前記主変更制御で変更された前記撮像範囲と、前記代替変更制御で変更された前記撮像範囲とで、それぞれ撮像を実行する制御を行う撮像装置。
（１２）操作者のジェスチャに応じた撮像を行う撮像装置の撮像方法であって、
所定の撮像範囲の画像データを撮像部から取得するステップと、
前記撮像部の撮像方向と撮像範囲の少なくとも一方を変更して前記撮像範囲を撮像範囲変更部によって変更するステップと、
前記撮像部で取得した前記画像データから、前記操作者のジェスチャをジェスチャ検出部によって検出するステップと、
検出された前記ジェスチャに応じて、記録すべき撮像範囲の変更制御、及び前記撮像部に対する撮像指示を含む撮像制御を撮像制御部によって行うステップと、
前記撮像制御部によって、前記記録すべき撮像範囲の変更制御に際して前記撮像範囲の変更を優先して行う主変更制御と、前記撮像範囲に前記操作者が含まれる範囲内で前記撮像範囲変更部による前記撮像範囲の変更を行う代替変更制御とを切換えるステップと、を含み、
前記主変更制御を行った場合に前記撮像部の前記撮像範囲内に前記操作者が含まれなくなるときは、前記代替変更制御によって前記撮像部の前記撮像範囲を変更する撮像方法。
（１３）（１２）に記載の撮像方法であって、
前記撮像部で取得した前記画像データに基づいて、前記記録すべき撮像範囲に対応する画像を表示部に表示するステップと、
前記主変更制御を行った場合に前記撮像部の前記撮像範囲内に前記操作者が含まれなくなるときは、前記代替変更制御によって前記撮像範囲を変更した前記撮像部によって取得された画像データに基づく画像を前記表示部に表示するステップと、を含む撮像方法。
（１４）（１２）又は（１３）に記載の撮像方法であって、
撮像指示があった際には、前記撮像制御部が前記代替変更制御を前記主変更制御に切り替えた後で、撮像が実行される撮像方法。
（１５）（１２）から（１４）のいずれか１つに記載の撮像方法であって、
前記撮像制御部は、撮像指示による撮像を実行する前に前記代替変更制御が行われていた場合には、撮像指示による撮像後、前記代替変更制御を行う撮像方法。
（１６）（１２）から（１５）のいずれか１つに記載の撮像方法であって、
前記ジェスチャ検出部において、前記撮像部から取得した前記画像データに顔検出及び顔認識を行うことで前記操作者を決定する撮像方法。
（１７）（１２）から（１６）のいずれか１つに記載の撮像方法であって、
前記ジェスチャ検出部は、前記撮像部で取得した前記画像データから複数の被写体を検出し、前記複数の被写体と予め登録された登録画像データとを比較して前記操作者とすべき優先順位を決定し、該優先順位に基づいて前記操作者を設定する撮像方法。
（１８）（１２）から（１７）のいずれか１つに記載の撮像方法であって、
前記代替変更制御で変更された前記撮像範囲で取得された前記画像データに基づいて、自動露出制御、自動焦点調節、オートホワイトバランスのうち少なくとも１つを行う撮像方法。
（１９）（１２）から（１８）のいずれか１つに記載の撮像方法であって、
前記画像データから前記操作者が検出されない場合に、警告を行う撮像方法。
（２０）（１２）から（１９）のいずれか１つに記載の撮像方法であって、
前記ジェスチャ検出部によって前記画像データから前記操作者が検出されない場合に、前記撮像範囲を変更する撮像方法。
（２１）（１２）から（２０）のいずれか１つに記載の撮像方法であって、
前記画像データに基づき、前記撮像範囲に対する前記操作者の位置に応じて、該撮像範囲を変更する撮像方法。
（２２）（１２）から（２１）のいずれか１つに記載の撮像方法であって、
前記撮像制御部によって、前記主変更制御で変更された前記撮像範囲と、前記代替変更制御で変更された前記撮像範囲とで、それぞれ撮像を実行する制御を行う撮像方法。

１１ システム制御部
３１ 画像認識部
３２ 動作検出部
３３ 撮像制御部

Claims (22)

1. 操作者のジェスチャに応じた撮像を行う撮像装置であって、
   所定の撮像範囲の画像データを取得する撮像部と、
   前記撮像部の撮像方向と撮像画角の少なくとも一方を変更して前記撮像範囲を変更する撮像範囲変更部と、
   前記撮像部で取得した前記画像データから、前記操作者のジェスチャを検出するジェスチャ検出部と、
   検出された前記ジェスチャに応じて、前記撮像範囲の変更制御、及び前記撮像部に対する撮像指示を含む撮像制御を行う撮像制御部と、を備え、
   前記撮像制御部は、前記変更制御に際して、前記撮像範囲の変更を優先して行う主変更制御と、前記撮像範囲に前記操作者が含まれる範囲内で前記撮像範囲変更部による前記撮像範囲の変更を行う代替変更制御とを切換えて行い、
   前記主変更制御を行った場合に前記撮像部の前記撮像範囲内に前記操作者が含まれなくなるとき、前記代替変更制御によって前記撮像部の前記撮像範囲を変更する撮像装置。
2. 請求項１に記載の撮像装置であって、
   前記撮像部で取得した前記画像データに基づいて、前記記録すべき撮像範囲に対応する画像を表示する表示部を備え、
   前記表示部は、前記主変更制御を行った場合に前記撮像部の前記撮像範囲内に前記操作者が含まれなくなるときは、前記代替変更制御によって前記撮像範囲を変更した前記撮像部によって取得された前記画像データに基づく画像を表示する撮像装置。
3. 請求項１又は２に記載の撮像装置であって、
   撮像指示があった際には、前記撮像制御部が前記代替変更制御を前記主変更制御に切り替えた後で、撮像が実行される撮像装置。
4. 請求項１から３のいずれか１項に記載の撮像装置であって、
   前記撮像制御部は、撮像指示による撮像を実行する前に前記代替変更制御が行われていた場合には、撮像指示による撮像後、前記代替変更制御を行う撮像装置。
5. 請求項１から４のいずれか１項に記載の撮像装置であって、
   前記ジェスチャ検出部は、前記撮像部から取得した前記画像データに顔検出及び顔認識を行うことで前記操作者を決定する撮像装置。
6. 請求項１から５のいずれか１項に記載の撮像装置であって、
   前記ジェスチャ検出部は、前記撮像部で取得した前記画像データから複数の被写体を検出し、前記複数の被写体と予め登録された登録画像データとを比較して前記操作者とすべき優先順位を決定し、該優先順位に基づいて前記操作者を設定する撮像装置。
7. 請求項１から６のいずれか１項に記載の撮像装置であって、
   前記代替変更制御で変更された前記撮像範囲で取得された前記画像データに基づいて、自動露出制御、自動焦点調節、オートホワイトバランスのうち少なくとも１つを行う撮像装置。
8. 請求項１から７のいずれか１項に記載の撮像装置であって、
   前記画像データから前記操作者が検出されない場合に、警告を行う撮像装置。
9. 請求項１から８のいずれか１項に記載の撮像装置であって、
   前記画像データから前記操作者が検出されない場合に、前記撮像範囲を変更する撮像装置。
10. 請求項１から９のいずれか１項に記載の撮像装置であって、
    前記画像データに基づき、前記撮像範囲に対する前記操作者の位置に応じて、該撮像範囲を変更する撮像装置。
11. 請求項１から１０のいずれか１項に記載の撮像装置であって、
    前記撮像制御部は、前記主変更制御で変更された前記撮像範囲と、前記代替変更制御で変更された前記撮像範囲とで、それぞれ撮像を実行する制御を行う撮像装置。
12. 操作者のジェスチャに応じた撮像を行う撮像装置の撮像方法であって、
    所定の撮像範囲の画像データを撮像部から取得するステップと、
    前記撮像部の撮像方向と撮像範囲の少なくとも一方を変更して前記撮像範囲を撮像範囲変更部によって変更するステップと、
    前記撮像部で取得した前記画像データから、前記操作者のジェスチャをジェスチャ検出部によって検出するステップと、
    検出された前記ジェスチャに応じて、記録すべき撮像範囲の変更制御、及び前記撮像部に対する撮像指示を含む撮像制御を撮像制御部によって行うステップと、
    前記撮像制御部によって、前記記録すべき撮像範囲の変更制御に際して前記撮像範囲の変更を優先して行う主変更制御と、前記撮像範囲に前記操作者が含まれる範囲内で前記撮像範囲変更部による前記撮像範囲の変更を行う代替変更制御とを切換えるステップと、を含み、
    前記主変更制御を行った場合に前記撮像部の前記撮像範囲内に前記操作者が含まれなくなるときは、前記代替変更制御によって前記撮像部の前記撮像範囲を変更する撮像方法。
13. 請求項１２に記載の撮像方法であって、
    前記撮像部で取得した前記画像データに基づいて、前記記録すべき撮像範囲に対応する画像を表示部に表示するステップと、
    前記主変更制御を行った場合に前記撮像部の前記撮像範囲内に前記操作者が含まれなくなるときは、前記代替変更制御によって前記撮像範囲を変更した前記撮像部によって取得された画像データに基づく画像を前記表示部に表示するステップと、を含む撮像方法。
14. 請求項１２又は１３に記載の撮像方法であって、
    撮像指示があった際には、前記撮像制御部が前記代替変更制御を前記主変更制御に切り替えた後で、撮像が実行される撮像方法。
15. 請求項１２から１４のいずれか１項に記載の撮像方法であって、
    前記撮像制御部は、撮像指示による撮像を実行する前に前記代替変更制御が行われていた場合には、撮像指示による撮像後、前記代替変更制御を行う撮像方法。
16. 請求項１２から１５のいずれか１項に記載の撮像方法であって、
    前記ジェスチャ検出部において、前記撮像部から取得した前記画像データに顔検出及び顔認識を行うことで前記操作者を決定する撮像方法。
17. 請求項１２から１６のいずれか１項に記載の撮像方法であって、
    前記ジェスチャ検出部は、前記撮像部で取得した前記画像データから複数の被写体を検出し、前記複数の被写体と予め登録された登録画像データとを比較して前記操作者とすべき優先順位を決定し、該優先順位に基づいて前記操作者を設定する撮像方法。
18. 請求項１２から１７のいずれか１項に記載の撮像方法であって、
    前記代替変更制御で変更された前記撮像範囲で取得された前記画像データに基づいて、自動露出制御、自動焦点調節、オートホワイトバランスのうち少なくとも１つを行う撮像方法。
19. 請求項１２から１８のいずれか１項に記載の撮像方法であって、
    前記画像データから前記操作者が検出されない場合に、警告を行う撮像方法。
20. 請求項１２から１９のいずれか１項に記載の撮像方法であって、
    前記ジェスチャ検出部によって前記画像データから前記操作者が検出されない場合に、前記撮像範囲を変更する撮像方法。
21. 請求項１２から２０のいずれか１項に記載の撮像方法であって、
    前記画像データに基づき、前記撮像範囲に対する前記操作者の位置に応じて、該撮像範囲を変更する撮像方法。
22. 請求項１２から２１のいずれか１項に記載の撮像方法であって、
    前記撮像制御部によって、前記主変更制御で変更された前記撮像範囲と、前記代替変更制御で変更された前記撮像範囲とで、それぞれ撮像を実行する制御を行う撮像方法。

Images