JP2012227737A - カメラ装置の自動追尾制御装置及びそれを有する自動追尾カメラシステム - Google Patents

カメラ装置の自動追尾制御装置及びそれを有する自動追尾カメラシステム Download PDF

Info

Publication number
JP2012227737A
JP2012227737A JP2011093636A JP2011093636A JP2012227737A JP 2012227737 A JP2012227737 A JP 2012227737A JP 2011093636 A JP2011093636 A JP 2011093636A JP 2011093636 A JP2011093636 A JP 2011093636A JP 2012227737 A JP2012227737 A JP 2012227737A
Authority
JP
Japan
Prior art keywords
subject
tracking
output position
camera
automatic tracking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011093636A
Other languages
English (en)
Other versions
JP5911201B2 (ja
Inventor
Jiichi Watanabe
渡辺  治一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2011093636A priority Critical patent/JP5911201B2/ja
Priority to US13/451,616 priority patent/US9438783B2/en
Publication of JP2012227737A publication Critical patent/JP2012227737A/ja
Application granted granted Critical
Publication of JP5911201B2 publication Critical patent/JP5911201B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635Region indicators; Field of view indicators

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

【課題】 自動追尾時に簡単な操作で、被写体の画面出力位置の変更ができる自動追尾カメラの制御装置を提供する。
【解決手段】 パン又はチルトの機能を有するカメラ装置の自動追尾制御装置は、カメラ装置からの撮影画像内で被写体を認識する被写体認識手段、該認識された被写体を追尾被写体として設定する追尾被写体設定手段、追尾被写体の画像の撮影画面内での出力位置を設定する出力位置設定手段、出力位置に追尾被写体が位置するようにカメラ装置を駆動する駆動信号を出力する制御演算手段、追尾被写体を識別する表示を撮影画像に重ねた画像を出力する画像出力手段とを備え、自動追尾中に出力位置を変更する際は、自動追尾を中止し、出力位置設定手段により追尾被写体の撮影画面内での位置を変更してその位置を新たな出力位置として設定し、出力位置に追尾被写体が位置するようカメラ装置を駆動する駆動信号をカメラ装置に出力して自動追尾動作を再開する。
【選択図】 図1

Description

本発明は、パン又はチルト(その両方の場合を含む)の機能を有し特定の被写体を追尾被写体として自動追尾する機能を有するカメラ装置の自動追尾制御装置及びそれを有する自動追尾カメラシステムに関するものである。
カメラにパン及びチルトの旋回動作が可能な電動雲台が取り付けられた電動雲台カメラは、遠隔から雲台制御、カメラ制御が可能なようにケーブル又は無線を介して操作器が接続されている。操作者はモニタ画面に表示される映像を見ながら、この操作器を操作してカメラや電動雲台を制御している。
近年、雲台カメラに画像認識技術を搭載して、被写体を自動追尾する自動追尾カメラシステムが提案されている。このようなシステムでは、自動追尾を開始すると追尾対象被写体がモニタ画面の指定位置にくるように雲台のパン・チルト制御が行われている。
特許文献1では、被写体がモニタ画面中心に出力されるように、モニタ中心座標と、被写体の位置座標の差分を求め、被写体を画面中心に移動させるように回転台のパン角、チルト角の制御を行うことが開示されている。特許文献2では、追尾中に、操作部で追尾対象被写体のテンプレートを変更し、新たな被写体を画面中心に移動させる手段が開示されている。
特開平5−28923号公報 特開2004−96292号公報
TV局でリポータやアナウンサを自動追尾するような場合、追尾中に最初に設定した被写体の画面出力位置を変更したい時がある。例えば、被写体がフリップボードや商品を持っている場合は、フリップボードや商品を画面中央に位置させたり、被写体を画面右端または左端などに位置させたりしたい。
しかし、特許文献1では、追尾開始後、被写体は、画面のほぼ中央位置に出力されるよう制御されており、被写体の画面出力位置を任意に変更することが出来ない。
特許文献2では、追尾中に新しいテンプレートに変更することで、追尾対象物を変更することは出来るが対象物を画面の任意の位置に移動させることは出来ない。
本発明の目的は、上述の問題点を解消し、自動追尾時に操作者が簡単な操作で被写体の画面出力位置の変更ができる自動追尾カメラの制御装置を提供することにある。
上記目的を達成するための本発明の一つの実施形態に係るパン又はチルト(その両方の場合を含む(以下の記載において同様))の機能を有するカメラ装置の自動追尾制御装置は、該カメラ装置からの撮影画像内で被写体を認識する被写体認識手段と、該被写体認識手段により認識された被写体を追尾被写体として設定する追尾被写体設定手段と、追尾被写体を出力する画像の撮影画面内での位置である出力位置を設定する出力位置設定手段と、該出力位置設定手段により設定された該出力位置に追尾被写体が位置するように該カメラ装置をパン又はチルトを駆動するための駆動信号を該カメラ装置に出力する制御演算手段と、追尾被写体を他の被写体と識別する表示を撮影画像に重ねた画像を出力する画像出力手段と、を備え、自動追尾中に該出力位置を変更する際は、自動追尾を中止し、該カメラ装置を駆動して追尾被写体の撮影画面内での位置を変更し、該出力位置設定手段によって、該追尾被写体の撮影画面内の位置を新たな出力位置として設定し、該出力位置に追尾被写体が位置するように該カメラ装置を駆動するための駆動信号を該制御演算手段が該カメラ装置に出力することをもって自動追尾を再開する、ことを特徴とする。
また、上記目的を達成するための本発明に係る別の実施形態である、パン又はチルトの機能を有するカメラ装置の自動追尾制御装置は、該カメラ装置からの撮影画像内で被写体を認識する被写体認識手段と、該被写体認識手段により認識された被写体を追尾被写体として設定する追尾被写体設定手段と、追尾被写体の画像を出力する撮影画面内での位置である出力位置を設定する出力位置設定手段と、該出力位置設定手段により設定された該出力位置に追尾被写体が位置するように該カメラ装置をパン又はチルトを駆動するための駆動信号を該カメラ装置に出力する制御演算手段と、追尾被写体を他の被写体と識別する表示、及び、該出力位置を再設定するためのマークを、撮影画像に重ねた画像を出力する画像出力手段と、該マークの位置を撮影画面内で移動し、かつ、該マークの位置を新たな出力位置として設定する出力位置再設定手段と、を備え、自動追尾中に該出力位置を変更する際は、該出力位置再設定手段によって該マークを撮影画面内で移動して新たな出力位置として設定し、該新たな出力位置に追尾被写体の画像を出力するように該カメラ装置を駆動するための駆動信号を該制御演算手段は該カメラ装置に出力する、ことを特徴とする
本発明に係る自動追尾カメラの制御装置及び自動追尾カメラシステム及び自動追尾カメラの制御方法によれば、自動追尾時に、操作者は簡単な操作で、被写体の画面上の出力位置の変更が可能となる。
実施例1の構成図である。 追尾対象枠・出力位置設定枠を表示したモニタ画面である。 実施例1の追尾動作前のフローチャート図とモニタ画面である。 実施例1の追尾動作中及び出力位置再設定のフローチャート図である。 実施例2のフローチャート図である。 実施例2の割り込み処理のフローチャート図とモニタ画面である。 実施例3のフローチャート図である。 出力位置制限領域枠を表示したモニタ画面である。
本発明を図示の実施例に基づいて詳細に説明する。
図1は、実施例1のパン又はチルト(その両方の場合を含む(以下の記載において同様))の機能を有するカメラ装置の自動追尾制御装置の構成図である。図1において、ズーム、フォーカス機能等を有するレンズ付きカメラ1は、パン動作、パン駆動を行うパンニング及びチルト動作、チルト駆動を行うチルティングの旋回動作が可能な電動雲台2に取り付けられている。カメラ1、電動雲台2は遠隔に設置された制御装置3により、ズーム、ゲイン調整などのカメラ制御、パン・チルト駆動する雲台制御が行われるようになっている。
カメラ1の撮像素子であるCCDから出力される映像信号は、操作者の操作に基づいて、カメラ1及びカメラ1を搭載した電動雲台2を駆動する制御装置3の画像信号処理部4に接続されている。制御装置3内には、画像信号処理部4の外に、CPU5、画像出力部6、雲台・カメラ制御インタフェース部7、モード切換ボタン8、操作部9、操作ボタン10が設けられている。また、CPU5内には被写体を認識する被写体認識手段である顔認識部11、追尾対象枠・出力位置設定マーク生成部12、制御演算部13が内蔵されている。
画像信号処理部4の出力は、顔認識部11、追尾対象枠・出力位置設定マーク生成部12を介して制御演算部13に接続されている。また、追尾対象枠・出力位置設定マーク生成部12の出力は画像出力部6を介して制御装置3外のモニタ14に接続されている。本実施例では、外部モニタに接続されているが、制御装置3の内部に液晶モニタ等の内部モニタを搭載して出力してもよい。制御演算部13は雲台・カメラ制御インタフェース部7を介して電動雲台2と接続され、更に制御演算部13にはモード切換ボタン8、操作部9、操作ボタン10の出力が接続されている。
画像信号処理部4では、入力されたアナログ信号の映像信号がデジタル信号に変換され、CPU5内部の顔認識部11に入力する。本実施例では、顔認識によるパターンで人物の追尾を行うようにしているが、色、輪郭、動体認識等の他の認識技術を使用しても支障はない。顔認識部11ではテンプレートマッチング法等による顔認識技術で顔認識が行われる。本実施例では、画面中央部に近い顔を優先して認識するようにしている。その後に、追尾すべき被写体Sの認識された顔の画面上の位置座標を追尾対象枠・出力位置設定マーク生成部12に入力し、認識された顔の位置座標を基に、追尾被写体を他の被写体と識別可能とするために図2に示すような追尾対象マークである追尾対象枠Ftを生成する。
また、追尾被写体Sの画面上の出力すべき位置が設定された場合は、その時の追尾対象枠Ftの中心の位置座標C1に、図2に示すような出力位置設定マークMp1を生成する。
追尾対象枠・出力位置設定マーク生成部12により、入力画像に追尾対象枠Ft、出力位置設定マークMp1を合成した信号は、画像出力部6に入力される。画像出力部6では、表示手段であるモニタ14の映像入力フォーマットに対応したDVI、VGA、NTSC等の映像信号に変換したモニタ信号を出力する。
操作部9は、操作者が電動雲台2のパン又はチルトを行う手動操作をするためのジョイスティックや、上下左右を表示した矢印キーボタンなどである。雲台・カメラ制御インタフェース部7は制御装置3とカメラ1、電動雲台2が既定の通信フォーマットで相互通信するためのものである。モード切換ボタン8は操作者が制御装置3を追尾操作なしの通常の制御装置として使用するのか、追尾用の制御装置として使用するのかの通常モード、追尾モードを選択するための切換手段としてのボタンである。
またCPU5では、モードに対応して操作部9、操作ボタン10の機能を切換えている。本実施例では、既存のボタンの1つを長押しすることでモード切換が行えるようにして設定しているため、新たにモード切換用の操作ボタンを設ける必要はない。操作ボタン10も既存の1つのボタンを利用して、CPU5によってモードの選択や押す順番により機能が変わるように設定されている。本実施例ではこの操作ボタン10に、オートフォーカスON/OFF機能、追尾すべき被写体Sを選定する被写体選定機能、被写体Sの画面上での出力位置を設定する出力位置設定機能の3つの機能を割り当てている。
図3は追尾すべき被写体Sを選定し、選定された被写体Sを画面上の任意の設定位置に出力し、追尾が開始されるまでの初期設定の手順についての制御方法を示したフローチャート図と各ステップに対応するモニタ画面である。ステップS1〜S10は処理フローであり、(a)〜(e)は主なステップにおけるモニタ14の表示例である。
追尾を行うときは、操作者は先ず図1のモード切換ボタン8を押して追尾モードにする(ステップS1)。次に、操作部9で電動雲台2をパン又はチルト動作させ、(a)のように追尾すべき被写体Sをモニタ14の画面中央付近に移動させる(ステップS2)。顔認識(ステップS3)がされると、(b)のように追尾対象枠Ftが顔周辺に破線で表示される(ステップS4)。追尾すべき被写体Sが追尾対象枠Ftで表示された被写体Sであれば、追尾被写体設定手段である操作ボタン10を押すことで選定され(ステップS5)、(c)のように、追尾対象枠Ftは実線で表示される(ステップS6)。ステップS6までで追尾する被写体を選定する。
続いて、再度操作部9で電動雲台2をパン又はチルト動作させ、(d)のように追尾被写体Sを画面の出力すべき位置に移動させる(ステップS7)。最後に操作ボタン10を押す(ステップS8)と、CPU5は、追尾対象枠Ftの中心座標C1を出力位置設定マークMp1の座標である出力位置座標Op1として取得する(ステップS9)。この時、(e)に示すように出力位置座標Op1に出力位置設定マークMp1が撮影画像内に重ねて表示される(ステップS10)。ステップS10まで実行することにより、追尾被写体を出力する撮影画面内の位置が設定される。
図4は、上述の図3に示した初期設定完了後、すなわち、出力位置設定ステップ完了後の自動追尾フロー、追尾被写体Sの画面上の出力位置を再設定する場合のフローチャート図である。最初に、CPU5の制御演算部13は、追尾対象枠Ftのモニタ画面上の中心座標C1を取得する(ステップS11)。次に、追尾対象枠Ftの中心座標C1と出力位置座標Op1の座標の差を計算する(ステップS12)。計算の結果(ステップS13)、C1とOp1に差がある場合は、差がなくなるようにカメラ1、電動雲台2を駆動制御するための雲台/カメラ制御信号としての駆動信号を出力する(ステップS14)。この結果、カメラ1の焦点距離を変化させるズーミング、電動雲台2のパン又はチルト動作の少なくとも1つを制御することによって画面上の被写体Sの位置を移動させることが出来る(ステップS15)。そして、操作者が、操作部9を操作して(ステップS17)、割り込み入力をしなければ(ステップS16)、ステップS11に戻り、ステップS16まで順次繰り返される。この、ステップS11からS16までのフローが自動追尾である。本実施例では、中心座標C1と出力位置座標Op1の差に対して、所定の範囲を設け、その差が所定の範囲内ならば、駆動信号を出力しないようにした。このように所定の範囲を設けたのは、少しでも差が存在することで電動雲台2を動作させたり、ズーミングを変化させたりして、頻繁に画面が動き、見づらくなるのを防止するためである。
次に、自動追尾中に追尾被写体Sを画面上の任意の位置に変更して再設定したい場合について説明する。操作者が操作部9を操作すると、制御演算部13は、割り込み入力があったと判断し(ステップS16)、追尾動作を中止する(ステップS17)。つまり、ステップS11からS16までのフローを中止する。次に制御演算部13は、引き続き操作部9からの信号入力有無を判断する(ステップS18)。操作部9からの信号入力がある場合、電動雲台2をパン又はチルト動作させる駆動信号を出力し(ステップS19)、画面上での被写体Sの位置を新たに設定する位置に移動させる(ステップS20)。ここで、ステップS19では、ジョイスティックの中点信号が制御演算部13に入力された時を、信号入力なしとしている。よって、ジョイスティックの中点信号が制御演算部13に入力されるまでは、ステップS20の駆動信号を出力し、S18からS20を繰り返す。中点信号のかわりに、操作部9からの信号変化がある既定時間ない場合に、信号入力なしと判断させてもよい。
操作部9は、出力位置を設定する出力位置設定手段、かつ、出力位置を再設定する出力位置再設定手段として機能を併せ持つ。
以上のステップで、被写体Sを画面上の任意の位置に自由に再設定することが可能となる。最後に、制御演算部13は、操作部9からの信号入力がないと判断すると(ステップS18)、ステップS21に進み、再度、追尾対象枠Ftの中心座標C1を出力位置座標Op1として取得する。そして、ステップS22で、出力位置設定マークを画面に表示して、ステップS11に戻り、自動追尾を再開する。
図5は実施例2のパン又はチルトの機能を有するカメラ装置の制御装置の制御を示すフローチャート図である。本実施例2では、追尾被写体Sの出力位置の再設定方法が実施例1と異なる。追尾動作前の出力位置設定ステップ等の初期設定のフローは、図3に示したフローと同様であるので省略する。
初期設定完了後は、本実施例の図5に記載の自動追尾2のフローに従って自動追尾が行われる。これは、図4に示した実施例1のステップS11〜S15と同様である(ステップS30〜S34)。実施例1の自動追尾1のフローと本実施例の自動追尾2のフローの差異は、制御演算部13は、自動追尾中に操作部9が操作されても、実施例1の図1のステップS16のような割り込み入力有無の判断を行わず、ステップS30〜S34の追尾被写体を自動追尾するフローをそのまま継続することである(図5)。つまり、図5の自動追尾2のフローに示されるように自動追尾は継続されたままの状態で、図6の割り込みフローが開始され、画面上の(f)のように出力位置再設定マークMp2が画面に表示される(ステップS35)。引き続き制御演算部13は、操作部9からの信号入力有無を判断し(ステップS36)、入力がある場合は出力位置再設定マークMp2を移動させる(ステップS37)。操作部9により出力位置再設定マークMp2を任意の位置に移動させ、操作部9からの信号入力がされなくなると(ステップS36)、画面上の出力位置再設定マークMp2の座標を取得する(ステップS38)。この時、Mp2の座標を新たな出力位置座標Op1とする(ステップS39)。最後に、出力位置再設定マークMp2を画面から消去し(ステップS40)、操作部割り込みフローを終了する。その後は、自動追尾2のS30以降のフローに従い自動追尾が再開され、被写体Sが、新たな出力位置座標に出力される。ところで本実施例では、出力位置設定マークMp1、出力位置再設定マークMp2の形を変えたが、色を変えたりしてもよい。
実施例1では、操作部9により、追尾動作を中止させ、電動雲台2をパン・チルト動作させ、被写体Sを画面の出力させたい位置に再移動させている。しかし、実施例2では、追尾動作を継続しながら、出力位置再設定マークMp2を表示させ、操作部9により表示画面内で出力位置再設定マークMp2を移動させて出力させたい位置に設定する。その後その位置に被写体Sを移動させて自動追尾を継続している。
本実施例のフローでは、被写体Sの動きが速い場合は、操作部9で出力位置再設定マークMp2だけを移動させているので、被写体Sの動きが速い場合に有効である。
図7は実施例3のパン又はチルトの機能を有するカメラ装置の制御装置の制御を示すフローチャート図である。追尾動作前の出力位置設定ステップ等の初期設定のフローは、図3に示したフローと同様であるので省略する。
実施例1、2では、操作部9を操作して、対象の被写体Sを画面の任意の位置に再設定できるようにしている。しかし、被写体Sとカメラ1との被写体距離、ズーム位置、被写体Sの移動速度によっては、追尾被写体を出力すべき位置を画面の端に再設定すると、被写体Sが少し動いただけでも画面から外れ、追尾できなくなる場合がある。そこで、本実施例3では、被写体距離、ズーム位置(焦点距離、画角)、追尾被写体の移動速度を基に、再設定できる画面出力位置の範囲に制約を持たせるようにしている。
ステップS50〜S55は、実施例1の図4のステップS11〜S16と同様である。ステップS50を実行すると、ステップS51〜S54と、これから説明するステップS60〜S64を並列処理する。
ステップS50で中心座標C1を取得する、CPU5はカメラ1のオートフォーカス情報(焦点情報)、ズーム位置情報を雲台・カメラ制御インタフェース部7を経由して制御演算部13に取り込む(ステップS60)。制御演算部13では、これらの情報を基に被写体距離、焦点距離を計算する(ステップS61)。
次に、被写体速度演算手段である制御演算部13は、ステップS51とステップS61の計算結果、つまり、撮影画面内での追尾被写体の移動量である中心座標C1と出力位置設定マークMp1の距離、焦点距離、被写体距離から、被写体Sの移動速度(被写体速度)を計算する(ステップS62)。移動速度が最大被写体速度記憶手段であるCPU5内のメモリに記憶されている値より大きいかを判断し(ステップS63)、大きければ値を更新する(ステップS64)。これにより、被写体Sの移動速度の最大値である最大移動速度(最大被写体速度)を記憶することが出来る。ステップS63において、ステップS62で算出された移動速度がメモリに記憶されている値よりも小さければ、ステップS55に進む。ところで、本実施例では、人の歩く速度を初期値としてメモリ内に記憶した。その後、操作部9からの割り込み信号が入力されるまで、ステップS50〜S55、S60〜64は繰り返し実行される。本実施例では、処理速度を速くするためにステップS50〜S55とステップS60〜S64を並列に行う場合を例示したが、本発明はこれに限定されることはなく、シリーズで実行してもよい。
続いてCPU5の制御演算部13に操作部9からの信号が入力され、被写体Sの画面上の出力位置を再設定する場合について説明する。制御演算部13に、操作部9からの信号が入力されると、実施例1の図4のステップS18と同様に自動追尾を中止し、ステップS55からステップS70に進む。
ステップS70において、制限領域設定手段である制御演算部13は、メモリに格納された被写体Sの最大移動速度、ステップS60で得られたカメラ1に含まれるレンズの焦点距離、ステップS61で得られた被写体距離、設計仕様である既知の電動雲台2のパン速度、チルティング速度による追尾速度、に基づき、被写体を表示する画面内位置として設定可能な領域を制限する出力位置制限領域を計算する。この出力位置制限領域は、被写体Sの最大移動速度が大きいほど、レンズ装置の焦点距離が長い(画角が狭い)ほど、被写体距離が短いほど、電動雲台2の追尾速度が遅いほど、画面の中心に近い狭い領域として設定される。また、出力位置制限領域は、被写体Sの最大移動速度が小さいほど、レンズ装置の焦点距離が短い(画角が広い)ほど、被写体距離が長いほど、電動雲台2の追尾速度が速いほど、広い領域として設定される。ここで、被写体Sの最大移動速度は、自動追尾時のある既定時間のみを計算しているので、マージンを見込んで少し大きめの値になるように係数を乗じておくことが好ましい。
そして、図8に示すように出力位置制限領域枠Frが画面に表示される(ステップS71)。制御演算部13は、引き続き操作部9からの信号有無を判断し(ステップS72)、入力がある場合は、ステップS73で追尾対象枠Ftの中心座標C1を取得する。中心座標C1が、出力位置制限領域枠Frの閾値内か否かを判断し(ステップS74)、閾値内であれば、電動雲台2をパン又はチルト動作させる駆動信号を出力し(ステップS76)、被写体Sを移動させる(ステップS77)。閾値の外であれば、駆動信号の制限を行った後(ステップS75)、駆動信号を出力する(ステップS76)。具体的には、これ以上パンニングまたはチルティングすると、出力位置制限枠Frから外れる場合、パンニングまたはチルティングの指令信号を0にして、出力位置制限枠Frの範囲外に出力位置を設定することができないようにする。以上のステップS72〜S77のフローを繰り返すことで、被写体Sの出力位置を出力位置制限領域枠Fr内で任意に移動させ再設定することが出来る。
最後に、ステップS72で、操作部9からの信号有無が無いと判断されると、ステップS78に進み、再度、追尾対象枠Ftの中心座標C1を出力位置座標Op1として取得し、ステップS79で、出力位置設定マークを画面に表示して、ステップS50に戻り、自動追尾を再開する。
本実施例では、実施例1の出力位置再設定を行うステップ内で、出力位置制限枠Frを設けたが、実施例2の出力位置再設定を行うステップ内で出力位置制限枠Frを設けてもよい。つまり、実施例2の出力位置再設定マークMp2を移動させる時に、出力位置制限枠Frを設け制限する。
本実施例3では、最大被写体移動速度を計算し、出力位置制限領域を算出することにより、被写体Sの動作速度を検知し、出力位置制限領域内に出力位置を制限することで自動追尾が外れることはない。これは、追尾被写体の最大の移動速度を予め記憶しておくことにより、撮影条件によって画角や被写体距離が変化しても、その撮影条件下において追尾被写体が最大の移動速度で移動しても電動雲台の追尾速度で撮影画面内に被写体を追尾撮影し続けることができる出力位置制限領域を設定できるというものである。なお、予め人の歩く速度、走る速度等を幾つかのテーブルをCPU5の内部に保有しておき、これらのテーブルを選択して出力位置制限領域を算出してもよい。
また、出力位置制限領域は、被写体が撮影画角内での移動速度と、電動雲台2のパンニング速度及びチルティング速度による追尾速度との比較に基づいて決定される。すなわち、直接的には、電動雲台2の追尾速度(単位時間当たりの回転角度)と、追尾被写体の撮影画面内での移動速度(或いは、自動追尾カメラを中心とする角速度)とを比較することに基づいて、出力位置制限領域は算出される。従って、ステップS70において、画面内速度演算手段である制御演算部13は、記憶されている最大被写体移動速度は、焦点距離、被写体距離に基づいて被写体の撮影画面内での移動速度(或いは、自動追尾カメラを中心とする角速度)を算出し、該被写体の移動速度と電動雲台2のパンニング速度及びチルティング速度による追尾速度(設計仕様での追尾速度あるいは最大追尾速度)に基づいて出力位置制限領域を算出する。
これにより、追尾被写体の物体距離が短い状態において遅い速度で移動している場合であっても、メモリに記憶されている最大被写体移動速度で移動する可能性があるため、最大被写体移動速度に対応した出力位置制限領域が設定され、より確実に追尾被写体を撮影画面内で追尾し続けることができる。
以上の実施例1〜3においては、自動追尾カメラの制御装置について説明したが、本発明は、自動追尾カメラシステム等にも適用可能である。具体的には、図1に記載したカメラ1や電動雲台2と制御装置3の全てを併せ持つ自動追尾カメラシステムにも適用できる。なお、カメラ1によって撮影される映像を観察するためのモニタ14等の表示手段を併せ持つことが好ましい。
つまり、自動追尾カメラシステムは、カメラ1と、このカメラ1を搭載した雲台2と、制御装置3とを備えていてもよい。また、制御装置3は、画面上において追尾被写体を出力する位置を設定する出力位置設定手段を備えている。そして、追尾動作中に、この出力位置設定手段により追尾被写体Sを再設定した位置に、追尾被写体Sの画像を出力するように、制御手段がカメラ1を搭載した電動雲台2を制御している。なお、出力位置設定手段は、出力位置再設定手段としての機能も有する構成として例示したが、本発明はこれに限定されることはなく、出力位置設定手段と出力位置再設定手段を別個に有する構成としてもよい。実施例では、制御装置3が出力位置設定手段を備えているが、出力位置設定手段は、例えばカメラ本体上、或いはカメラ1に装着された撮影レンズ上、或いは遠隔操作用制御装置上に配置してもよい。また、出力位置設定手段を、タッチパネル付き表示部に設けて、追尾被写体をタッチして、表示部上で移動できるようにしても良い。
1 カメラ
2 電動雲台
3 制御装置
4 画像信号処理部
5 CPU
6 画像出力部
7 雲台・カメラ制御インタフェース部
9 操作部
10 操作ボタン
11 顔認識部
12 追尾対象枠・出力位置設定マーク生成部
13 制御演算部
14 モニタ

Claims (6)

  1. パン又はチルトの機能を有するカメラ装置の自動追尾制御装置であって、該自動追尾制御装置は、
    該カメラ装置からの撮影画像内で被写体を認識する被写体認識手段と、
    該被写体認識手段により認識された被写体を追尾被写体として設定する追尾被写体設定手段と、
    撮影画面内で、追尾被写体を出力する位置である出力位置を設定する出力位置設定手段と、
    該出力位置設定手段により設定された該出力位置に追尾被写体が位置するように該カメラ装置をパン又はチルトを駆動するための駆動信号を該カメラ装置に出力する制御演算手段と、
    追尾被写体を他の被写体と識別する表示を撮影画像に重ねた画像を出力する画像出力手段と、
    を備え、
    自動追尾中に該出力位置を変更する際は、自動追尾を中止し、該カメラ装置を駆動して追尾被写体の撮影画面内での位置を変更し、該出力位置設定手段によって、該追尾被写体の撮影画面内の位置を新たな出力位置として設定し、該新たな出力位置に追尾被写体が位置するように該カメラ装置を駆動するための駆動信号を該制御演算手段が該カメラ装置に出力することをもって自動追尾を再開する、
    ことを特徴とする自動追尾制御装置。
  2. パン又はチルトの機能を有するカメラ装置の自動追尾制御装置であって、該自動追尾制御装置は、
    該カメラ装置からの撮影画像内で被写体を認識する被写体認識手段と、
    該被写体認識手段により認識された被写体を追尾被写体として設定する追尾被写体設定手段と、
    追尾被写体の画像を出力する撮影画面内での位置である出力位置を設定する出力位置設定手段と、
    該出力位置設定手段により設定された該出力位置に追尾被写体が位置するように該カメラ装置をパン又はチルトを駆動するための駆動信号を該カメラ装置に出力する制御演算手段と、
    追尾被写体を他の被写体と識別する表示、及び、該出力位置を再設定するためのマークを、撮影画像に重ねた画像を出力する画像出力手段と、
    該マークの位置を撮影画面内で移動し、かつ、該マークの位置を新たな出力位置として設定する出力位置再設定手段と、
    を備え、
    自動追尾中に該出力位置を変更する際は、該出力位置再設定手段によって該マークを撮影画面内で移動して新たな出力位置として設定し、該新たな出力位置に追尾被写体の画像を出力するように該カメラ装置を駆動するための駆動信号を該制御演算手段は該カメラ装置に出力する、
    ことを特徴とする自動追尾制御装置。
  3. 追尾被写体の撮影画面内の移動速度を算出する画面内速度演算手段と、
    前記カメラ装置のパンニング速度及びチルティング速度、該画面内速度演算手段で得られた移動速度に基づいて、前記出力位置再設定手段で前記出力位置を再設定することが可能な制限領域を設定する制限領域設定手段と、
    を有し、
    前記画像出力手段は、さらに該制限領域を前記撮影画像に重ねて出力する、
    ことを特徴とする請求項1又は2に記載の自動追尾制御装置。
  4. 前記カメラ装置の焦点距離と、前記カメラ装置の焦点情報に基づく追尾被写体の被写体 距離と、該追尾被写体の撮影画面内での移動量に基づいて、追尾被写体の移動速度である被写体速度を算出する被写体速度演算手段と、
    該被写体速度のうち最大値を最大被写体速度として記憶する最大被写体速度記憶手段と、
    を有し、
    前記画面内速度演算手段は、該カメラの焦点距離、追尾被写体の被写体距離、及び、該 最大被写体速度に基づいて、追尾被写体の前記移動速度を算出し、
    前記制限領域設定手段は、該最大被写体速度に基づく追尾被写体の移動速度、前記カメラ装置のパンニング速度及びチルティング速度に基づいて、前記制限領域を設定する、
    ことを特徴とする請求項3に記載の自動追尾制御装置。
  5. 前記制御演算手段は、撮影画面内での前記出力位置と追尾被写体の位置との差異が所定の閾値より大きいときに、該カメラ装置をパン又はチルトを駆動するための駆動信号を該カメラ装置に出力する、ことを特徴とする請求項1乃至4のいずれか1項に記載の自動追尾制御装置。
  6. パン又はチルトの機能を有するカメラ装置と、
    該カメラ装置に接続された請求項1乃至5のいずれか1項に記載の自動追尾制御装置と、
    該自動追尾制御装置に接続された表示手段であって、該自動追尾制御装置の前記画像出力手段から出力された画像を表示する表示手段と、
    を有する自動追尾カメラシステム。
JP2011093636A 2011-04-20 2011-04-20 カメラ装置の自動追尾制御装置及びそれを有する自動追尾カメラシステム Active JP5911201B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2011093636A JP5911201B2 (ja) 2011-04-20 2011-04-20 カメラ装置の自動追尾制御装置及びそれを有する自動追尾カメラシステム
US13/451,616 US9438783B2 (en) 2011-04-20 2012-04-20 Automatic tracking control apparatus for camera apparatus and automatic tracking camera system having same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011093636A JP5911201B2 (ja) 2011-04-20 2011-04-20 カメラ装置の自動追尾制御装置及びそれを有する自動追尾カメラシステム

Publications (2)

Publication Number Publication Date
JP2012227737A true JP2012227737A (ja) 2012-11-15
JP5911201B2 JP5911201B2 (ja) 2016-04-27

Family

ID=47021048

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011093636A Active JP5911201B2 (ja) 2011-04-20 2011-04-20 カメラ装置の自動追尾制御装置及びそれを有する自動追尾カメラシステム

Country Status (2)

Country Link
US (1) US9438783B2 (ja)
JP (1) JP5911201B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016125372A1 (ja) * 2015-02-02 2016-08-11 富士フイルム株式会社 追尾システム、端末装置、カメラ装置、追尾撮影方法及びプログラム
JP2017046290A (ja) * 2015-08-28 2017-03-02 キヤノン株式会社 撮像装置、その制御方法、および制御プログラム
JP2017092592A (ja) * 2015-11-05 2017-05-25 キヤノン株式会社 追尾制御装置および追尾制御方法、光学機器、撮像装置
JPWO2016125351A1 (ja) * 2015-02-02 2017-11-02 富士フイルム株式会社 操作装置、追尾システム、操作方法、及びプログラム

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6084026B2 (ja) 2012-12-17 2017-02-22 オリンパス株式会社 撮像装置、告知方法、告知プログラム、及び記録媒体
WO2014158113A2 (en) 2013-03-28 2014-10-02 Koymen Kadir A sliding system
DE102013224704A1 (de) * 2013-12-03 2015-06-03 Robert Bosch Gmbh Verfahren zur automatischen Fokussierung einer Kamera
US20160182814A1 (en) * 2014-12-19 2016-06-23 Microsoft Technology Licensing, Llc Automatic camera adjustment to follow a target
JP6516544B2 (ja) * 2015-04-22 2019-05-22 キヤノン株式会社 制御装置、光学機器、撮像装置および制御方法
US10659676B2 (en) * 2015-12-08 2020-05-19 Canon Kabushiki Kaisha Method and apparatus for tracking a moving subject image based on reliability of the tracking state
US11160688B2 (en) * 2016-11-10 2021-11-02 Samsung Electronics Co., Ltd. Visual aid display device and method of operating the same
TW201832131A (zh) * 2017-02-24 2018-09-01 小綠草股份有限公司 物件追蹤方法
US11546451B2 (en) * 2019-05-15 2023-01-03 Asustek Computer Inc. Electronic device
CN112613524A (zh) * 2020-10-30 2021-04-06 西安方元明科技股份有限公司 一种搜跟瞄转台图像处理系统
JP2022119382A (ja) * 2021-02-04 2022-08-17 キヤノン株式会社 光電変換装置、光電変換システム、移動体
JP2022175287A (ja) * 2021-05-13 2022-11-25 キヤノン株式会社 撮像装置、その制御方法及びプログラム
TWI813168B (zh) * 2022-02-11 2023-08-21 圓展科技股份有限公司 應用於可旋轉變焦攝像裝置的自動追蹤方法及追蹤系統
JP2024033741A (ja) * 2022-08-31 2024-03-13 キヤノン株式会社 制御装置、撮像装置、制御方法、及びプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002191046A (ja) * 2000-12-22 2002-07-05 Ffc:Kk 画像監視装置
JP2006229321A (ja) * 2005-02-15 2006-08-31 Matsushita Electric Ind Co Ltd 自動追尾撮像装置及び自動追尾撮像方法、並びにプログラム
JP2010081041A (ja) * 2008-09-24 2010-04-08 Canon Inc 自動追尾カメラの制御装置及び自動追尾カメラシステム及び自動追尾カメラの制御方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0528923A (ja) 1991-07-24 1993-02-05 Toshiba Corp ブラウン管の特性調整装置
JP2004096292A (ja) 2002-08-30 2004-03-25 Japan Aviation Electronics Industry Ltd 追尾雲台
US20040100563A1 (en) * 2002-11-27 2004-05-27 Sezai Sablak Video tracking system and method
JP4957721B2 (ja) * 2006-03-15 2012-06-20 オムロン株式会社 追尾装置、追尾方法、追尾装置の制御プログラム、およびコンピュータ読み取り可能な記録媒体
JP4709101B2 (ja) * 2006-09-01 2011-06-22 キヤノン株式会社 自動追尾カメラ装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002191046A (ja) * 2000-12-22 2002-07-05 Ffc:Kk 画像監視装置
JP2006229321A (ja) * 2005-02-15 2006-08-31 Matsushita Electric Ind Co Ltd 自動追尾撮像装置及び自動追尾撮像方法、並びにプログラム
JP2010081041A (ja) * 2008-09-24 2010-04-08 Canon Inc 自動追尾カメラの制御装置及び自動追尾カメラシステム及び自動追尾カメラの制御方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016125372A1 (ja) * 2015-02-02 2016-08-11 富士フイルム株式会社 追尾システム、端末装置、カメラ装置、追尾撮影方法及びプログラム
JPWO2016125351A1 (ja) * 2015-02-02 2017-11-02 富士フイルム株式会社 操作装置、追尾システム、操作方法、及びプログラム
US10192318B2 (en) 2015-02-02 2019-01-29 Fujifilm Corporation Tracking system, terminal device, camera device, tracking imaging method, and program
JP2017046290A (ja) * 2015-08-28 2017-03-02 キヤノン株式会社 撮像装置、その制御方法、および制御プログラム
JP2017092592A (ja) * 2015-11-05 2017-05-25 キヤノン株式会社 追尾制御装置および追尾制御方法、光学機器、撮像装置

Also Published As

Publication number Publication date
US9438783B2 (en) 2016-09-06
JP5911201B2 (ja) 2016-04-27
US20120268608A1 (en) 2012-10-25

Similar Documents

Publication Publication Date Title
JP5911201B2 (ja) カメラ装置の自動追尾制御装置及びそれを有する自動追尾カメラシステム
JP5591006B2 (ja) 自動追尾カメラシステムの制御装置及びそれを有する自動追尾カメラシステム
US9992421B2 (en) Image pickup apparatus having FA zoom function, method for controlling the apparatus, and recording medium
US8885069B2 (en) View angle manipulation by optical and electronic zoom control
US20130314547A1 (en) Controlling apparatus for automatic tracking camera, and automatic tracking camera having the same
US20190089893A1 (en) Image shooting apparatus for setting image shooting condition easily and method thereof
JP5809538B2 (ja) 自動追尾カメラシステム
JP2007028536A (ja) デジタルカメラ
JP2011107396A (ja) オートフォーカスシステム
KR102575196B1 (ko) 촬영 방법, 촬영 장치, 전자기기 및 저장매체
JP2010124120A (ja) オートフォーカスシステム
US20120105660A1 (en) Image producing apparatus
US11823715B2 (en) Image processing device and image processing method
JP5317607B2 (ja) 自動追尾カメラの制御装置及び自動追尾カメラシステム及び自動追尾カメラの制御方法
JP2021132383A (ja) 撮像装置、撮像方法、プログラム、及び記録媒体
JP2014039166A (ja) 自動追尾カメラの制御装置及びそれを備える自動追尾カメラ
US20220086361A1 (en) Electronic apparatus, camera, and program
US9679391B2 (en) Image pickup system and image pickup method
KR20110090623A (ko) 얼굴추적이 가능한 홈네트워크 단말 및 그 단말에서의 얼굴추적방법
JP5907184B2 (ja) 情報処理装置、情報処理方法およびプログラム
WO2020129620A1 (ja) 撮像制御装置、撮像装置、撮像制御方法
JP6137009B2 (ja) 画像処理装置、画像処理方法、プログラム及びカメラ
JP2014112759A (ja) 撮像装置及び撮像方法
JP2010224499A (ja) オートフォーカスシステム
KR200481796Y1 (ko) Ptz 카메라 컨트롤러

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20120831

RD05 Notification of revocation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7425

Effective date: 20130701

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140418

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150130

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150226

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150423

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151201

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160118

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160301

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160329

R151 Written notification of patent or utility model registration

Ref document number: 5911201

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151