JP2012186743A - 追尾機能付き撮影装置及び方法 - Google Patents

追尾機能付き撮影装置及び方法 Download PDF

Info

Publication number
JP2012186743A
JP2012186743A JP2011049798A JP2011049798A JP2012186743A JP 2012186743 A JP2012186743 A JP 2012186743A JP 2011049798 A JP2011049798 A JP 2011049798A JP 2011049798 A JP2011049798 A JP 2011049798A JP 2012186743 A JP2012186743 A JP 2012186743A
Authority
JP
Japan
Prior art keywords
tracking
subject
iris
imaging
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011049798A
Other languages
English (en)
Other versions
JP5848507B2 (ja
Inventor
Hiroshi Takizawa
滝沢  浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2011049798A priority Critical patent/JP5848507B2/ja
Priority to US13/413,934 priority patent/US20120229651A1/en
Publication of JP2012186743A publication Critical patent/JP2012186743A/ja
Application granted granted Critical
Publication of JP5848507B2 publication Critical patent/JP5848507B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/72Combination of two or more compensation controls
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

【課題】 追尾する被写体が移動しても、追尾被写体を誤検出せず、且つ、自然な映像を出力する追尾機能付き撮影装置を提供する。
【解決手段】 アイリス及びフォーカス調整機能を有するレンズ装置と、該レンズ装置と接続し撮像素子を有する撮像装置と、該撮像装置で撮影された映像を表示する表示装置と、を含む、追尾機能付き撮影装置であって、撮影された映像内の複数の被写体から追尾対象を選択する選択手段と、撮影画面内における該追尾対象の移動の有無を検出する移動検出手段と、該移動検出手段によって検出された該追尾対象の移動の有無に応じて該アイリスの絞り値を変更する絞り制御手段と、を有する。
【選択図】 図1

Description

本発明は、被写体の動きに追従して映像を撮影するための追尾機能付き撮影装置及び追尾撮影方法に関するものである。
特定の被写体を追従して撮影する所謂追尾撮影機能は、デジタルカメラにおける人物の撮影パラメータ最適化調整機能や、監視カメラにおける不審人物の自動追尾撮影用途などに使われている。対象被写体の検出には、被写体の特徴を抽出してテンプレート化し、撮影した画像とテンプレートとを照合することで、特定の被写体の画像内での位置を検出する手法が知られている。しかし、似かよった被写体や背景が画面内に存在する場合、誤った位置を検出することや、検出精度を上げるための照合処理に時間がかかってしまい速い被写体の動きに対応できないことがあった。また、被写体の特徴点の抽出や照合をする時には撮影画像が鮮鋭であるほうがテンプレート作成や画像比較のためには望ましいため、追尾する被写体に対するフォーカス調整が正確に行われている必要がある。
特許文献1では、アイリスを絞って被写界深度を深くした状態にて複数の被写体の特徴を算出した後、アイリスを開いて被写界深度を浅くして、所望の被写体にのみ合焦するオートフォーカス(AF)の手法が開示されている。
特開昭62−251708号公報
特許文献1に開示された従来技術は、被写界深度の調整により所望の被写体にのみ合焦することを目的とするものであり、特定の被写体を検出して撮影する場合においては、被写体の前後に撮影対象以外の人物が存在しているとき、被写体の誤判定防止に有効である。しかしながら、通常、被写体が静止している状態の撮影では、被写界深度(背景のボケ具合)は撮影者の意図する映像づくりによって決定されるもので、AF精度のために被写界深度が設定されることは少ない。
そこで、本発明の目的は、被写体の移動方向や速度を検出し、被写体の移動に連動して、アイリス絞り値を適切に制御することによって、被写体を誤検出することなく追尾し且つ自然な映像出力を可能にした追尾機能付き撮影装置を提供することにある。
上記目的を達成するために、本発明の追尾機能付き撮影装置は、アイリス及びフォーカス調整機能を有するレンズ装置と、該レンズ装置と接続し撮像素子を有する撮像装置と、該撮像装置で撮影された映像を表示する表示装置と、を含む、追尾機能付き撮影装置であって、撮影された映像内の複数の被写体から追尾対象を選択する選択手段と、撮影画面内における該追尾対象の移動の有無を検出する移動検出手段と、該移動検出手段によって検出された該追尾対象の移動の有無に応じて該アイリスの絞り値を変更する絞り制御手段と、を有することを特徴とする。
本発明によれば、被写体または背景が動いている場合にのみ、その速度に応じて適当なアイリスの絞り制御を行うので、操作者や映像監視者に違和感を与えることなく、対象物の検出精度を上げ、誤動作しにくい追尾動作を備えた追尾機能付き撮影装置を提供することができる。
実施例1のカメラ雲台システムを示す図である。 実施例1における撮像装置から出力された映像のモニター表示例である。 実施例1における顔検出機能を動作させたときのモニター表示例である。 実施例1の動作手順を説明するためのフローチャートである。 実施例1において、追尾対象と表示指定位置が一致したときのモニター表示例である。 実施例1において、追尾対象が移動したときのモニター表示例である。
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。
図1は、追尾機能付き撮影装置として、遠隔操作される撮像装置を例にして本発明の実施形態を示したシステム図である。まず、図1を参照してシステム概要を説明する。
図1に示すように、本実施例の追尾機能付き撮影装置は、パン/チルト機能を有する雲台に接続され遠隔操作される撮像装置1、撮像装置1に接続されアイリス及びフォーカス調整機能を有するレンズ装置2、撮像装置1で撮像した映像を表示する映像モニター(表示装置)3、撮像装置1及びレンズ装置2を操作するための操作器4、から構成される。レンズ装置2を経由して撮像した被写体像は、撮像装置1の撮像素子11上に結像し撮像される。撮像された画像信号は、ゲイン変更手段である増幅部12において撮像ゲインを変更することによりレベル調整された後、画像信号処理部13において画素単位に処理され、画像データとしてメモリ15に一旦書き込まれ、後述の演算処理回路(CPU)14による被写体検出や動き検出のため必要に応じて読み出しが行われる。演算処理回路(CPU)14はメモリ制御や画像信号処理部13の制御を行う。メモリ15から読み出された画像データは、画像信号処理部13において映像モニター3で表示可能なフォーマットに変換され、映像出力端子17から映像モニター3に出力される。また、CPU14は、パン(P)・チルト(T)駆動回路やレンズ装置2のズーム(Z)・フォーカス(F)・アイリス(I)駆動回路の制御を行う。さらに、CPU14は、撮像装置1の遠隔操作器4から送られてくるP/T/Z/F/I制御データを通信端子16経由で受信し、パン(P)・チルト(T)モータを駆動するようパン・チルト駆動部18に対しパン/チルト(P/T)制御信号を送出し、レンズ装置2に対しズーム/フォーカス/アイリス(Z/F/I)制御信号を送出する。
遠隔操作器4は、撮像装置1、レンズ装置2の遠隔操作をするための操作器であり、パン及びチルト操作をするためのP/T操作部41、P/T操作部41の機能を設定する切換スイッチ45、ズーム操作をするためのズーム操作部42、フォーカスを操作するためのフォーカス操作部43、アイリスを操作するためのアイリス調整つまみ46、撮像ゲインを操作するためのゲイン調整つまみ49、撮像装置1の撮像素子11へ入射する光束の入射量を制限するシャッターを調整するためのシャッター調整つまみ50、誤検出防止機能の有効/無効を設定する誤検出防止スイッチ44、自動追尾モードの自動追尾モード/手動追尾モードを選択する追尾モード選択スイッチ47を有する。遠隔操作器4の機能については、具体的な操作の説明と共に後述する。
図2は撮像装置2から出力された被写体の映像を映像モニター3に表示した例である。図2の右端の人物(眼鏡を掛けた人)を追尾撮影する場合の動作を説明する。撮像装置2のCPU14は、顔検出のためのテンプレートを予め備え、全画面の領域で顔の目、鼻、口といった特徴部位を抽出し、拡大または縮小したテンプレートとの照合を行い、人物の顔であると推定できる領域を検出する。先の被写体例では3人の人物の顔を検出するとともに、初期値として追尾対象を設定する。
図3は、検出した顔推定領域を枠線31,32,33で示し、初期値として左端の人物を追尾対象と設定し太線枠31で表示した例である。これらの表示枠は、CPU14からの画面上の表示座標に基づき画像信号処理部13において、撮像された画像データに枠線を重ねて作成される。撮影画像上での枠の多重表示は、画像信号処理部13において、枠線部に対応する画像データ部分を枠線データに入れ替えることによって行ってもよいし、画像データはそのままにして、補助データとして画像データに枠線データを付加して表示モニター3に送信し、表示モニター3で画像データと枠線データの多重表示処理を行っても良い。
次に遠隔操作器4の操作を説明する。通常パン・チルト駆動部18の制御信号を発生させるP/T操作部41の機能(PT)を切換スイッチ45により、被写体選択機能(TG)に切り換える。この状態においては、P/T操作部41(選択手段)を上下左右に動かすことで、追尾対象の被写体を選択するための情報であることを示す信号と、追尾対象の被写体枠をP/T操作部41の操作棒の傾き方向に応じ上下左右の方向にある被写体枠に切替える切替え指示データと、が通信端子48、16を経由して撮像装置1に送出される。撮像装置1のCPU14では、この切替え指示データを検出された複数の人物から追尾対象を選ぶ選択信号として判断し、その時点で追尾対象を示す太線の被写体枠(図3の枠31)の指示方向側(P/T操作部41の操作棒の傾き方向側)にある枠を、追尾対象として切替える被写体枠として選択し、太線で描画する被写体枠を変更するように制御する。そして、新たな太線で描画された被写体枠の中心座標Sを追尾被写体の中心位置として記憶保持する。
次は、追尾対象の被写体を撮影された映像内のどの位置(撮影画面内の座標におけるどの座標位置)に表示するかを設定する。本例では、図3に示すように、十字線の位置を追尾被写体を表示する目標位置とする。P/T操作部41の機能を切換スイッチ45により、表示位置設定機能(DP)に切り換え、P/T操作部41を操作して撮影映像内の十字線の位置を移動するよう撮像装置1に移動指示データを送出する。撮像装置1のCPU14では、枠移動と同様、十字線が画面上で移動するよう画像信号処理部13を制御するとともに十字線停止座標Yを目標表示位置として記憶保持する。
上述した初期設定の後、撮影者は意図した映像が撮影できるように追尾対象被写体に対し、操作器4により焦点調整、絞り、撮像ゲイン及びシャッター設定を行う。これら絞り、撮像ゲイン及びシャッターの初期設定値は撮像装置1に制御値として送られCPU14に記憶保持される。
その後、誤検出防止スイッチ44の操作により誤検出防止MODEを「有効」にし、追尾モード選択スイッチ47の操作を行うことによって、操作器4から撮像装置1に追尾開始命令が送られ、手動モード(M)から自動追尾モード(A)に移行する。なお動作については詳述しないが、前述の焦点調整とは、被写体枠の中心の座標Sにある被写体に合焦するよう自動焦点機能(AF)の合焦域を設定し、自動追尾モードにおいて合焦域が追尾対象の被写体の中心座標Sに追従したAF動作をするものとする。
撮像装置1のCPU14では追尾開始命令を受け、撮影画面内(映像内)で定義される被写体中心座標Sと表示目標位置Yが一致するようにパン・チルト駆動部18に対しP/T制御信号を出力する。図5は、右端の人物を追尾対象の被写体(太枠)とし、太枠の被写体中心座標Sと表示目標位置Yが一致した状態を示している。
追尾撮影を開始してからの本発明の動作を図4のフローチャートを用いて説明する。
図6は、図5の状態から追尾対象が画面の中心方向に移動し、追尾のためのP/Tフィードバックがかかっていない状態を示している。追尾対象の移動検出手段及び速度検出手段でもあるCPU14(動きベクトル検出手段)において、現フレームで顔検出を行い、前フレームとの被写体中心座標S座標差及び顔検出枠サイズ比を計算することで、追尾対象の被写体の動きベクトルVを撮影画面内の座標より算出する。CPU14では算出した動きベクトルVの方向に応じて絞り制御係数k(0<k<1)を設定する。
図4のフローチャートのステップS1において、アイリス、ゲイン、シャッターの状態、及び、追尾被写体の輝度を保存し、ステップS2へ進む。
ステップS2においては、撮影画面内における追尾対象の被写体の中心位置の移動(撮影画面内における座標Sの変化)の有無を判定する。撮影画面内での追尾対象の中心位置が変化した場合はステップS3に移行し、中心位置が変化していない場合はステップS8に進む。
ステップS3では、絞り制御手段でもあるCPU14において変更する絞りの目標値が設定され、ステップS4に進む。変更する絞りの目標値は、例えば、被写体が移動する前の撮影時の絞り値Fに対する絞り制御係数k(0<k<1)として設定し、変更後の絞りの目標値をF×kとして、絞り値の変更をしてもよい。
ステップ3では、絞りの目標値に向けて絞りを変更する制御を開始し、ステップS5に移行する。ステップ4では、CPU14は、画像信号処理部13(輝度検出手段)で検出される被写体の輝度の移動前の輝度に対する差異が所定の範囲内にあるか否かを判定する。差異が所定の範囲以内であればステップS7に進み、差異が所定の範囲より大きい場合はステップS6に進む。ステップS6では、被写体の輝度が被写体の移動前の輝度と同程度となるように、輝度制御手段であるCPU14はシャッター及び撮像ゲインの少なくも一方を調整し、ステップS5に戻る。ここで、ステップ4において輝度の判定の基準となる所定の範囲とは、例えば、移動前の輝度の±10%、さらに好ましくは±5%、さらに好ましくは±3%と設定することができる。
ステップS7では、ステップS4で目標絞り値に向けて駆動を開始したアイリス制御が終了しているか否かを判定し、終了している場合はステップS2に戻り、終了していない場合は、ステップS5に戻る。
ステップS8では、アイリス、シャッター、撮像ゲインを被写体が移動する前の状態に復帰し、処理を終了する。
例えば図6のように、追尾対象の被写体枠が画面内で横に移動した場合は、図4のステップS3において制御係数、例えばk=0.5、が設定される。追尾撮影前に撮影者が設定した絞り値Fが4.8とすると、絞りの目標値は、F=2.4となる。つまり被写体が左右方向に移動した場合、開放する方向に絞りの目標値が設定され、アイリス制御ステップ(図4のステップS4〜S7)において被写界深度は浅くなるよう目標のF値に向けアイリスが開く方向(開放側)に駆動制御される。AF制御域は被写体に追従しているので、被写体の前後にいる人物に対する合焦精度は落ち、解像度が劣化する(所謂ピンボケ状態となる)ことになる。解像度が劣化することにより、枠61及び枠62内の顔検出の確からしさは下がるため、画面内を被写体枠63が移動しても、枠61及び枠62の人物を追尾対象の被写体であると誤検出してしまう確率を下げることができる。特に動き予測を被写体検出に用いている場合であって予測位置に追尾対象の被写体と似かよった被写体が存在する場合、所望の追尾対象の被写体との差別化がしやすくなるため誤検出を防ぐ効果が大きい。
また、図4に示した処理フローにおいて、画面内での追尾被写体の中心位置が移動している場合に対して、ステップS3以降の追尾対象の被写体枠の誤検出を未然に防止するためのアイリス制御を実施するが、追尾被写体がレンズに対する遠近方向の成分のみを有して移動している場合は画面内での追尾被写体の中心位置が変わらないので、ステップS3以降のアイリス制御は実施しない。しかし、この場合は、レンズに近づく方向又はレンズから離れる方向への移動に応じて、追尾する被写体枠の画面内での相対的な大きさは変化するものの、画面内で同じ位置にある追尾被写体がAFされている状態であるので、他の人物等を追尾被写体として誤検出してしまう確率は低いため、アイリス制御をして追尾被写体以外の鮮鋭度を低下させる処理の必要はない。
図6は追尾のためのパン/チルトフィードバックがかかっていない状態を示す。先に説明したように、追尾対象の被写体枠の画面内での動きベクトルを検出した場合、CPU14(パンチルト制御部)から動きベクトルの方向に撮像装置1を動かすようにパン/チルト制御が行われ、追尾対象の被写体が移動しても、初期の設定位置Y付近に追尾対象の被写体が表示される。つまり、追尾対象の移動にあわせてパン/チルト制御して駆動している間は、追尾対象でない背景や他の人物が画面上では移動したように表示されるため、被写界深度が浅くなることによって追尾対象以外の解像度が多少劣化しても、その変化は撮影画像を見る観察者には認知されにくい。
また、アイリス制御を行うので光の入射量が変わることになる。初期設定において、追尾対象の被写体中心S周辺の輝度の平均値をCPU14に保持しておき、追尾撮影中は、保持した輝度平均値と同程度になるようシャッター(非図示)及び増幅部12の撮像ゲインを、被写体の輝度変化を抑えるよう調整する(図4のステップS6)。追尾対象の被写体枠の中心座標が撮影画面内で変化するように移動すると、アイリスを開けることによって輝度が上がるので、シャッターを速く、撮像ゲインを下げる方向で調整する。なお、ビデオカメラの場合、撮像素子からの取り込み時間の長さを調整することにより、シャッターの機能を実現している。
追尾対象の被写体が撮影画面内で停止した場合、若しくはほとんど動きベクトルを検出しなくなった場合は、図4のステップS8に示すように自動追尾モードに移行する前の初期値に絞り値、撮像ゲイン及びシャッターを設定する。被写体が停止しているときは、解像度の劣化が認知され易いので、追尾対象以外の被写体のピンボケ状態を改善するためにもとの状態に戻して、映像の違和感を抑制する。
以上のように被写体の移動に伴って、アイリス制御を行い、撮像ゲインの調整、シャッターの制御を適宜行うことで撮影者の意図を逸脱することなく、追尾撮影時の追尾被写体の検出精度を高めることができる。基本的な考えを説明するために、制御係数やF値を具体的な数値を示したりして簡素化して記載したが、本発明はこれらの値や実施形態に限定されるものではない。
追尾対象の被写体の移動量を画像におけるフレーム間での位置の差分として説明したが、追尾のための撮像装置のパン/チルトフィードバック制御が行われ、所定位置に追尾被写体を表示するようにパン/チルト駆動されている場合は、パン/チルト移動量も加味されて移動量が算出されるが基本的な考え方に変わりは無い。
また、被写体が画面内で上下左右方向に移動した場合、被写界深度を浅くするように制御することを説明したが、被写体の移動速度が速い場合でパン/チルト追尾制御を行うと背景画像は画面上で速く流れ、解像度が劣化しても認識することがより難しくなり、被写界深度が低下することによる撮影画像を見る人に与える違和感は少なくなる。つまり、撮影画面内での追尾対象の被写体枠の中心座標が変化する場合で、その移動速度が大きい場合は、さらに被写界深度を浅くすることが可能となる。アイリス制御係数の決定条件に追尾対象の被写体の移動速度を加えることで、さらに追尾対象を誤検出する頻度を低下させることができる。
上述してきたように撮影者が設定した初期の絞り値より、見た目の映像に影響を与えないように被写界深度をより浅くするほど本発明の効果は大きい。しかしながら、撮影条件によっては絞りが開放に近い初期値を設定することや、本発明の効果を得るために、被写界深度が浅くなる方向に大きく変化させることができるよう、深い被写界深度に初期設定をすることも想定される。しかし、絞りが開放に近い状態で撮影する場合は、さらに絞りを開いて被写界深度を浅くして実施例1で説明したような本発明の効果を十分に享受することが難しく、一方で、深い被写界深度に初期設定して本発明の効果を得ようとすると、撮影者の意図する映像を撮影することができないことが考えられる。
そこで、本実施例においては、追尾対象の被写体の誤検出防止モードを有効にする場合、本発明の効果が大きく現れにくい設定である場合に、そのことを操作器上に表示する機能を備える。すなわち、撮影画面内において、追尾対象の被写体枠の中心位置が変化した場合に、絞りを開く方向に変更して被写界深度を浅くして、追尾対象以外の被写体の鮮鋭度を低下させて、追尾対象の誤検出の確率を低下させるという効果が大きく現れにくい、ということを示す表示をする。
アイリスを開く方向に変更できない状態や、絞り値Fを追尾対象の被写体が移動する前の1/2以下に変更することができない状態において、誤検出防止モードを有効にするための制御命令をCPU14が受けた場合、CPU14は、アイリス制御(アイリスを開く側への変更)に余裕が無い(目標とする変更後の絞り値が前記アイリスの可変範囲外である)旨のレスポンス信号を操作器に返す。また、増幅ゲイン、シャッターの調整で、追尾被写体の輝度を移動前の状態に保つことができないような初期設定の場合も同様にCPU14が判定し、絞り値が適当でない旨のレスポンス信号を操作器4に返す。操作器4は、このレスポンス信号を受けた場合、スイッチ44の表示器を点滅させるなどして操作者に知らせる手段を備える。表示器の点滅周期や発光色を変えるなどして、複数の状態を示しても良い。
操作者は、本発明が有効に作用するか否かを表示器の点滅によって事前に知ることができるので、絞り初期設定を再調整することで確実な効果を得ることができる。もちろん追尾誤検出効果が小さくても撮影したい被写界深度に拘って絞り値をそのままにしても良く、撮影者は、本発明に係る機能に制限されることなく自由な撮影をすることが可能である。
本発明は、図6に示したように追尾対象の候補となる複数の被写体が存在する場合であって、追尾対象の被写体枠の中心が撮影画面内で移動した場合、追尾対象の被写体枠の誤検出防止効果が顕著となる。撮影中に追尾対象以外の被写体の移動、或いは、追尾対象の被写体の移動により、撮影映像内に追尾対象以外の被写体候補が存在しなくなった場合は、本発明に係るアイリスの自動制御機能を無効にすることが、より自然な撮影をするためには望ましい。そこで被写体の検出数をCPU14でカウントし、撮像映像内に追尾対象以外の被写体が存在しなくなった場合、アイリスの自動制御機能を無効にするとともに、操作器4に対し、同機能が非動作状態であることを示す情報を送出する。操作器4ではこの情報を受け、誤検出防止スイッチ44の表示器を消灯する。追尾モード選択スイッチ47が自動(A)状態であれば、追尾対象の候補となる被写体が複数になった場合、再びアイリスの自動制御機能が自動的に有効になり、CPU14からの制御により操作器の誤検出防止スイッチ44の表示器は点灯し、操作者に知らせる。このように追尾対象の候補となる被写体の数に応じてアイリスの自動制御機能の有効/無効の切り換えを自動で行う機能を備えることにより、一層自然な追尾撮影が可能になる。
以上、本発明の好ましい実施形態について、平易に説明するため具体的に数値を記載したり、追尾対象を人の顔としてテンプレート比較による検出方法を示して説明したりしたが、本発明はこれらの値や実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形及び変更をすることができる。
1 撮像装置
2 レンズ
3 映像モニター
11 撮像素子
13 画像処理部
14 演算処理回路(CPU)

Claims (10)

  1. アイリス及びフォーカス調整機能を有するレンズ装置と、該レンズ装置と接続し撮像素子を有する撮像装置と、該撮像装置で撮影された映像を表示する表示装置と、を含む、追尾機能付き撮影装置であって、
    撮影された映像内の複数の被写体から追尾対象を選択する選択手段と、
    撮影画面内における該追尾対象の移動の有無を検出する移動検出手段と、
    該移動検出手段によって検出された該追尾対象の移動の有無に応じて該アイリスの絞り値を変更する絞り制御手段と、
    を有することを特徴とする追尾機能付き撮影装置。
  2. 前記絞り制御手段は、前記移動検出手段によって追尾対象の移動が有ると検出された場合は、前記アイリスを開く制御を行う、ことを特徴とする請求項1に記載の追尾機能付き撮影装置。
  3. 前記絞り制御手段は、前記移動検出手段によって追尾対象の移動が有ると検出された場合は、絞り値をF×kとするように制御を行う、ことを特徴とする請求項2に記載の追尾機能付き撮影装置。
    ここで、Fは追尾対象の移動前の前記アイリスの絞り値kは、0<k<1、である所定の値である。
  4. 撮影された映像内の追尾対象の輝度を検出する輝度検出手段と、
    前記撮像装置の撮像素子へ入射する光束の入射量を制限するシャッターと、
    前記アイリスの絞り制御を行った場合、追尾対象の輝度の移動する前の輝度に対する差異が所定の範囲内となるように、撮像ゲイン及びシャッターの少なくとも一方を制御する、輝度制御手段と、
    を有することを特徴とする請求項1乃至3のいずれか1項に記載の追尾機能付き撮影装置。
  5. 撮影された映像内における追尾対象の移動の速度を検出する速度検出手段を有し、
    前記絞り制御手段は、該速度検出手段によって検出された追尾対象の移動の速度が速いほど、前記アイリスをより開くよう制御する、
    ことを特徴とする請求項1乃至4のいずれか1項に記載の追尾機能付き撮影装置。
  6. 前記絞り制御手段による絞り値を変更する制御において、目標とする変更後の絞り値が前記アイリスの可変範囲外であることを表示する手段を有する、ことを特徴とする請求項3又は5に記載の追尾機能付き撮影装置。
  7. 前記輝度制御手段による、追尾対象の輝度の移動する前の輝度に対する差異が所定の範囲内となるように撮像ゲイン及びシャッターの少なくとも一方を制御する制御が実施できない撮像ゲイン、シャッターの設定値であることを表示する手段を備えることを特徴とする請求項4に記載の追尾機能付き撮影装置。
  8. 前記絞り制御手段の機能は、撮影された映像内に追尾対象の候補となる複数の被写体が検出されている場合に有効になる、ことを特徴とする請求項1乃至7のいずれか1項に記載の追尾機能付き撮影装置。
  9. 前記レンズ装置及び前記撮像装置のパン及びチルトの動作をするための雲台と、
    雲台のパン及びチルトの駆動を制御するパン・チルト制御部と、
    撮影された映像内における追尾対象の動きベクトルを検出する動きベクトル検出手段と、を有し、
    該パン・チルト制御部は、該動きベクトル検出手段で検出された動きベクトルに応じ、追尾対象を映像内の所定の位置に表示するよう、該雲台のパン及びチルトの駆動を制御する、
    ことを特徴とする請求項1乃至8のいずれか1項に記載の追尾機能付き撮影装置。
  10. アイリス及びフォーカス調整機能を有するレンズ装置と、該レンズ装置と接続し撮像素子を有する撮像装置と、該撮像装置で撮影された映像を表示する表示装置と、を含む撮影装置における、被写体を追尾する追尾撮影方法であって、
    撮像された映像内で、追尾被写体の候補となる被写体を抽出し、
    該抽出された被写体の中から追尾被写体を選択し、
    アイリスの絞り値、撮像ゲイン、シャッターの設定値、及び、該追尾被写体の輝度、を記憶し、
    撮影された映像内で該追尾被写体の移動を検出し、
    該追尾被写体の移動が検出された場合は、記憶された前記絞り値より開放側の目標絞り値を設定し、該追尾被写体の輝度の記憶された前記輝度に対する差異が所定の範囲内となるように撮像ゲイン及びシャッターの少なくとも一方を調整しながら、アイリスを該目標絞り値まで駆動し、アイリスを該目標絞り値まで駆動した後に、アイリスの絞り値、撮像ゲイン、シャッターの設定値を記憶された状態に復帰する、
    ことを特徴とする、
    追尾撮影方法。
JP2011049798A 2011-03-08 2011-03-08 追尾機能付き撮影装置及び方法 Active JP5848507B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2011049798A JP5848507B2 (ja) 2011-03-08 2011-03-08 追尾機能付き撮影装置及び方法
US13/413,934 US20120229651A1 (en) 2011-03-08 2012-03-07 Image pickup apparatus with tracking function and tracking image pickup method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011049798A JP5848507B2 (ja) 2011-03-08 2011-03-08 追尾機能付き撮影装置及び方法

Publications (2)

Publication Number Publication Date
JP2012186743A true JP2012186743A (ja) 2012-09-27
JP5848507B2 JP5848507B2 (ja) 2016-01-27

Family

ID=46795220

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011049798A Active JP5848507B2 (ja) 2011-03-08 2011-03-08 追尾機能付き撮影装置及び方法

Country Status (2)

Country Link
US (1) US20120229651A1 (ja)
JP (1) JP5848507B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017216675A (ja) * 2016-05-25 2017-12-07 ソニー株式会社 演算処理装置及び演算処理方法
JP2018133094A (ja) * 2018-03-14 2018-08-23 株式会社ニコン 画像処理装置、画像表示装置、撮像装置
JP2018139052A (ja) * 2017-02-24 2018-09-06 株式会社リコー 通信端末、画像通信システム、表示方法、及びプログラム
JP2020030325A (ja) * 2018-08-23 2020-02-27 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd 制御装置

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8121361B2 (en) 2006-05-19 2012-02-21 The Queen's Medical Center Motion tracking system for real time adaptive imaging and spectroscopy
WO2013032933A2 (en) 2011-08-26 2013-03-07 Kinecticor, Inc. Methods, systems, and devices for intra-scan motion correction
US9508119B2 (en) * 2012-07-13 2016-11-29 Blackberry Limited Application of filters requiring face detection in picture editor
US20140015854A1 (en) * 2012-07-13 2014-01-16 Research In Motion Limited Application of Filters Requiring Face Detection in Picture Editor
US9305365B2 (en) 2013-01-24 2016-04-05 Kineticor, Inc. Systems, devices, and methods for tracking moving targets
US9717461B2 (en) 2013-01-24 2017-08-01 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
US10327708B2 (en) 2013-01-24 2019-06-25 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
US9782141B2 (en) 2013-02-01 2017-10-10 Kineticor, Inc. Motion tracking system for real time adaptive motion compensation in biomedical imaging
US10004462B2 (en) 2014-03-24 2018-06-26 Kineticor, Inc. Systems, methods, and devices for removing prospective motion correction from medical imaging scans
CN106714681A (zh) 2014-07-23 2017-05-24 凯内蒂科尔股份有限公司 用于在医学成像扫描期间追踪和补偿患者运动的系统、设备和方法
US9943247B2 (en) 2015-07-28 2018-04-17 The University Of Hawai'i Systems, devices, and methods for detecting false movements for motion correction during a medical imaging scan
WO2017045116A1 (en) 2015-09-15 2017-03-23 SZ DJI Technology Co., Ltd. System and method for supporting smooth target following
WO2017091479A1 (en) 2015-11-23 2017-06-01 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
US10659676B2 (en) * 2015-12-08 2020-05-19 Canon Kabushiki Kaisha Method and apparatus for tracking a moving subject image based on reliability of the tracking state
US10536646B2 (en) * 2017-07-28 2020-01-14 Panasonic Intellectual Property Corporation Of America Imaging control device and imaging control method
US12022198B2 (en) * 2020-05-13 2024-06-25 Canon Kabushiki Kaisha Control apparatus, image pickup apparatus, control method, and memory medium
CN117544851A (zh) * 2021-07-31 2024-02-09 华为技术有限公司 拍摄方法及相关装置
US20230237890A1 (en) * 2022-01-26 2023-07-27 Electronics And Telecommunications Research Institute Intruder location-based dynamic virtual fence configuration and multiple image sensor device operation method

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0530458A (ja) * 1991-07-22 1993-02-05 Canon Inc 画像記録装置
JPH07154666A (ja) * 1993-11-26 1995-06-16 Victor Co Of Japan Ltd ビデオカメラ
JPH10336511A (ja) * 1997-06-05 1998-12-18 Sanyo Electric Co Ltd カメラ装置
JP2004310086A (ja) * 2003-04-02 2004-11-04 Hewlett-Packard Development Co Lp 複数のユーザインタフェイスマーカを使用して被写界深度を制御する方法及び装置
JP2009296030A (ja) * 2008-06-02 2009-12-17 Canon Inc 撮像装置
JP2010066728A (ja) * 2008-09-12 2010-03-25 Canon Inc 撮像装置および撮像装置の制御方法
JP2011035719A (ja) * 2009-08-03 2011-02-17 Canon Inc 撮像装置およびその制御方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1178467C (zh) * 1998-04-16 2004-12-01 三星电子株式会社 自动跟踪运动目标的方法和装置
JP3681152B2 (ja) * 1999-02-25 2005-08-10 株式会社日立国際電気 テレビカメラの制御方法及びテレビカメラ
JP4137085B2 (ja) * 2005-04-21 2008-08-20 キヤノン株式会社 撮像装置
JP4724577B2 (ja) * 2005-05-11 2011-07-13 キヤノン株式会社 撮像装置及びその制御方法
JP4217698B2 (ja) * 2005-06-20 2009-02-04 キヤノン株式会社 撮像装置及び画像処理方法
JP4654974B2 (ja) * 2006-05-23 2011-03-23 富士フイルム株式会社 撮影装置および撮影方法
JP4815330B2 (ja) * 2006-11-17 2011-11-16 富士フイルム株式会社 撮影装置及びその制御方法
US7646977B2 (en) * 2007-01-17 2010-01-12 Gateway, Inc. Depth of field bracketing
JP4732397B2 (ja) * 2007-04-11 2011-07-27 富士フイルム株式会社 撮像装置及びその合焦制御方法
JP5019939B2 (ja) * 2007-04-19 2012-09-05 パナソニック株式会社 撮像装置及び撮像方法
US8325268B2 (en) * 2007-12-28 2012-12-04 Sanyo Electric Co., Ltd. Image processing apparatus and photographing apparatus
JP5179223B2 (ja) * 2008-02-26 2013-04-10 オリンパス株式会社 撮像装置及び撮像プログラム
JP4582212B2 (ja) * 2008-06-24 2010-11-17 カシオ計算機株式会社 撮像装置及びプログラム
US8587681B2 (en) * 2008-11-21 2013-11-19 Omnivision Technologies, Inc. Extended depth of field for image sensor
KR101560184B1 (ko) * 2008-12-26 2015-10-14 삼성전자주식회사 디지털 촬영 장치 및 그 제어 방법
JP5350928B2 (ja) * 2009-07-30 2013-11-27 オリンパスイメージング株式会社 カメラ及びカメラの制御方法
JP2011078047A (ja) * 2009-10-02 2011-04-14 Sanyo Electric Co Ltd 撮像装置
JP5493942B2 (ja) * 2009-12-15 2014-05-14 ソニー株式会社 撮像装置と撮像方法
US8294785B2 (en) * 2010-07-02 2012-10-23 Altek Corporation Method for adjusting photosensitiveness of digital camera

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0530458A (ja) * 1991-07-22 1993-02-05 Canon Inc 画像記録装置
JPH07154666A (ja) * 1993-11-26 1995-06-16 Victor Co Of Japan Ltd ビデオカメラ
JPH10336511A (ja) * 1997-06-05 1998-12-18 Sanyo Electric Co Ltd カメラ装置
JP2004310086A (ja) * 2003-04-02 2004-11-04 Hewlett-Packard Development Co Lp 複数のユーザインタフェイスマーカを使用して被写界深度を制御する方法及び装置
JP2009296030A (ja) * 2008-06-02 2009-12-17 Canon Inc 撮像装置
JP2010066728A (ja) * 2008-09-12 2010-03-25 Canon Inc 撮像装置および撮像装置の制御方法
JP2011035719A (ja) * 2009-08-03 2011-02-17 Canon Inc 撮像装置およびその制御方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017216675A (ja) * 2016-05-25 2017-12-07 ソニー株式会社 演算処理装置及び演算処理方法
JP2018139052A (ja) * 2017-02-24 2018-09-06 株式会社リコー 通信端末、画像通信システム、表示方法、及びプログラム
JP2018133094A (ja) * 2018-03-14 2018-08-23 株式会社ニコン 画像処理装置、画像表示装置、撮像装置
JP2020030325A (ja) * 2018-08-23 2020-02-27 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd 制御装置

Also Published As

Publication number Publication date
JP5848507B2 (ja) 2016-01-27
US20120229651A1 (en) 2012-09-13

Similar Documents

Publication Publication Date Title
JP5848507B2 (ja) 追尾機能付き撮影装置及び方法
US7660519B2 (en) Autofocus apparatus
JP5088118B2 (ja) 焦点調節装置
JP4910462B2 (ja) カメラ
US8248516B2 (en) Focus detection apparatus and control method therefor
EP2168005B1 (en) Focus control apparatus, image sensing apparatus, and control method therefor
JP5512878B2 (ja) 撮影装置及び表示制御方法
JP4998308B2 (ja) 焦点調節装置および撮像装置
JP2006211139A (ja) 撮像装置
JP2008262049A (ja) オートフォーカス装置、撮像装置及びオートフォーカス方法
JP2010045625A (ja) 撮像装置
JP4645413B2 (ja) 撮像装置
JP4487811B2 (ja) 撮影装置
KR101038815B1 (ko) 고속 오토 포커스가 가능한 촬상 시스템
CN111149349B (zh) 摄影装置和其控制方法及存储介质
JP2008054031A (ja) デジタルカメラ及び表示制御方法
JP2006258943A (ja) オートフォーカスシステム
JP2006030972A (ja) 撮像装置及び撮像方法
JP2013205675A (ja) 撮像装置
JP5698499B2 (ja) フォーカス調整装置及び撮像装置
JP7342883B2 (ja) 撮像制御装置、撮像装置、撮像制御方法
JP2013135268A (ja) 画像処理装置及び画像処理方法
US20230162707A1 (en) Imaging apparatus, method of controlling imaging apparatus, and program
JP2004325833A (ja) カメラおよび焦点調整方法
JPH0993481A (ja) 交換レンズ式カメラシステム

Legal Events

Date Code Title Description
RD05 Notification of revocation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7425

Effective date: 20120730

RD05 Notification of revocation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7425

Effective date: 20120731

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20120831

RD05 Notification of revocation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7425

Effective date: 20130701

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140228

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20141208

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150203

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150406

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20151029

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20151127

R151 Written notification of patent or utility model registration

Ref document number: 5848507

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151