JP2013247508A - 自動追尾カメラの制御装置及び該制御装置を有する自動追尾カメラ - Google Patents

自動追尾カメラの制御装置及び該制御装置を有する自動追尾カメラ Download PDF

Info

Publication number
JP2013247508A
JP2013247508A JP2012119815A JP2012119815A JP2013247508A JP 2013247508 A JP2013247508 A JP 2013247508A JP 2012119815 A JP2012119815 A JP 2012119815A JP 2012119815 A JP2012119815 A JP 2012119815A JP 2013247508 A JP2013247508 A JP 2013247508A
Authority
JP
Japan
Prior art keywords
subject
tracking
output position
reading
display size
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2012119815A
Other languages
English (en)
Other versions
JP2013247508A5 (ja
Inventor
Jiichi Watanabe
渡辺  治一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2012119815A priority Critical patent/JP2013247508A/ja
Priority to US13/901,114 priority patent/US20130314547A1/en
Publication of JP2013247508A publication Critical patent/JP2013247508A/ja
Publication of JP2013247508A5 publication Critical patent/JP2013247508A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635Region indicators; Field of view indicators

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

【課題】 操作者が、追尾したい被写体を含んだ構図、画角を事前に簡単に設定ができ、追尾中に被写体を含んだ構図、画角を瞬時に変更できる自動追尾カメラの制御装置を提供する。
【解決手段】 雲台装置に設置された撮影装置のパンチルト及びズームの駆動を制御して被写体を自動追尾する自動追尾カメラの制御装置は、撮影された映像内に、画像認識によって被写体を認識する被写体認識手段と、追尾被写体の追尾条件を設定する設定手段と、該設定手段によって設定された少なくとも1つの追尾条件を記憶する記憶手段と、該記憶手段に記憶された追尾条件の少なくとも1つを読み出す読み出し手段と、該読み出し手段によって該記憶手段から読み出された追尾条件で追尾被写体を追尾するように、該雲台装置のパンチルト駆動及び撮影装置のズーム駆動を制御する制御手段と、を備えること。
【選択図】 図1

Description

本発明は、追尾対象物を追尾する自動追尾カメラの制御装置及び該制御装置を有する自動追尾カメラに関し、特には、自動追尾カメラの操作装置及び自動追尾の制御方法に関するものである。
カメラにパン及びチルトの旋回動作が可能な電動雲台が取り付けられた電動雲台カメラは、遠隔地から雲台制御、カメラ制御が可能なようにケーブル又は無線を介して操作器が接続されている。操作者はモニタ画面に表示される映像を見ながら、この操作器を操作してカメラや電動雲台を制御している。
このような雲台システムでは、カメラや電動雲台のズーム、パン、チルト等の所望の撮影位置を操作器のショットボタンに事前に登録し、再度ショットボタンを押下することで現在の撮影位置から、登録された撮影位置に変更するプリセット機能が知られている。
また、近年、雲台カメラに画像認識技術を搭載して、被写体を自動追尾する自動追尾カメラシステムが提案されている。
特許文献1では登録された所望の撮影位置に、ショットボタンを押下することで構図を変更するプリセット機能について開示されている。
特許文献2では、初期画面中の人物の顔画像の中心位置データ、顔画像が占める横方向、縦方向の距離データを初期データとして構図、画角設定部に設定し、追尾を開始すると被写体が初期設定位置になるように自動追尾する手段が開示されている。
特開平6−086136号公報 特開平5−021941号公報
TV局等でリポータやアナウンサを自動追尾する場合、追尾中に現在の被写体の画面上の出力位置、大きさ、つまり、被写体の構図を変更したい場合がある。例えば、被写体がフリップボードや商品を持っている場合は、フリップボードや商品を画面中央に位置させ、被写体を画面右端または左端などに位置させたりしたい。
特許文献1に記載のプリセット機能は、カメラ、電動雲台の撮影位置(パン、チルト、ズーム位置等)を記憶しているが、被写体の画面上の出力位置、大きさ(画角)は記憶していない。よって、移動する被写体を自動追尾する場合は、ショットボタンを押しても、追尾したい被写体が画面に存在するとは限らず、被写体を含んだ構図、画角を変更することができない。つまり、自動追尾中は、従来のプリセット機能を使用することができない。
特許文献2は、追尾中に構図、画角を変更したい場合、初期データを変更しなければならず操作が煩雑となる。また、初期データを変更する方法に関しては開示されていない。
本発明の目的は、上述の問題点を解消し、追尾したい被写体を含んだ構図、画角を事前に簡単に設定ができ、追尾中に被写体を含んだ構図、画角を瞬時に変更できる自動追尾カメラの制御装置を提供することにある。
上記目的を達成するための本発明に係る自動追尾カメラの制御装置は、雲台装置に設置された撮影装置のパンチルト及びズームの駆動を制御して被写体を自動追尾する自動追尾カメラの制御装置であって、撮影された映像内に、画像認識によって被写体を認識する被写体認識手段と、追尾被写体の追尾条件を設定する設定手段と、該設定手段によって設定された少なくとも1つの追尾条件を記憶する記憶手段と、該記憶手段に記憶された追尾条件の少なくとも1つを読み出す読み出し手段と、該読み出し手段によって該記憶手段から読み出された追尾条件で追尾被写体を追尾するように、該雲台装置のパンチルト駆動及び撮影装置のズーム駆動を制御する制御手段と、を備えることを特徴とする。
本発明に係る自動追尾カメラの制御装置及び自動追尾カメラシステム及び自動追尾カメラの制御方法によれば、操作者は簡単な操作で追尾したい被写体を含んだ構図、画角を事前に設定でき、追尾中に被写体を所望の構図、画角に瞬時に変更することが可能となる。
実施例1の構成図である。 追尾対象枠を表示したモニタ画面である。 実施例1の追尾開始前のフローチャート図とモニタ画面である。 実施例1の追尾開始後のフローチャート図である。 実施例2の追尾開始前のフローチャート図とモニタ画面である。 実施例2の追尾開始後のフローチャート図である。 実施例3の追尾開始前のフローチャート図である。 実施例3の追尾開始後のフローチャート図である。
本発明を図示の実施例に基づいて詳細に説明する。
図1は実施例1の雲台装置に設置された撮影装置のパンチルト駆動とズーム駆動を制御して被写体を自動追尾する自動追尾カメラの制御装置の構成図である。
図1において、ズーム、フォーカス機能等を有するレンズ付きカメラ1は、パン方向に駆動するパンニング及びチルト方向に駆動するチルティングの旋回動作が可能な電動雲台2に取り付けられている。カメラ1、電動雲台2は遠隔に設置された操作器3により、ズーム、ゲイン調整などのカメラ制御、パン及びチルト動作(以後、パンチルト動作と記す)の雲台制御が行われるようになっている。
カメラ1のCCDから出力される映像信号は、操作者の操作に基いて、カメラ1及びカメラ1を搭載した電動雲台2を制御する操作器3の画像信号処理部4に接続されている。 操作器3内には、画像信号処理部4の外に、CPU5、画像出力部6、雲台・カメラ制御インタフェース部7、モード切換ボタン8、操作部9、操作ボタン10、登録設定ボタン15、複数のショットボタン16、メモリ17、ズームつまみ18が設けられている。また、CPU5内には顔認識部11、追尾対象枠生成部12、制御演算部13が内蔵されている。
画像信号処理部4の出力は、顔認識部11、追尾対象枠生成部12を介して制御演算部13に接続されている。また、追尾対象枠生成部12の出力は画像出力部6を介して操作器3外のモニタ14に接続されている。本実施例では、外部モニタに接続されているが、操作器3の内部に液晶モニタ等の内部モニタを搭載して出力してもよい。制御演算部13は雲台・カメラ制御インタフェース部7を介して電動雲台2と接続され、更に制御演算部13にはモード切換ボタン8、操作部9、登録設定ボタン15、複数のショットボタン16、メモリ17、ズームつまみ18が接続されている。
画像信号処理部4は、入力映像信号がアナログ信号の場合、デジタル信号に変換したり、画像のコントラスト、色相、彩度等の調整を行ったりする。画像信号処理部4からの出力映像信号はCPU5内部の顔認識部11に入力される。
画像信号処理部4から出力される撮影映像に人物が含まれている場合、被写体認識手段である顔認識部11では、テンプレートマッチング法等の画像認識による顔認識技術で顔認識が行われる。本実施例では、人物の顔認識を行ったが、車や飛行機などのテンプレートを使用して人物以外の認識を行っても構わない。
次に、認識された顔の画面上の位置座標を追尾対象枠生成部12に入力し、認識された顔の位置座標を基に、図2に示すような被写体Sに追尾対象マークである追尾対象枠Frを生成する。
追尾対象枠生成部12により、入力画像に追尾対象枠Frが合成された信号は、画像出力部6に入力される。画像出力部6では、表示手段であるモニタ14の映像入力フォーマットに対応したSDI、DVI、VGA、NTSC等の映像信号に変換したモニタ信号を出力する。
操作部9は操作者が電動雲台2のパン・チルトを行う手動操作のための操作部で、ジョイステック、上下左右を表示した矢印キーボタン、マウス等のポインティングデバイス、タッチパネル等である。
操作ボタン10は、本実施例では追尾開始を行うボタンとしているが既存のボタンを流用して、追尾モード時は追尾開始ボタン、通常モード時は、他の機能を行うボタンとなるようにCPU5で設定しても構わない。
雲台・カメラ制御インタフェース部7は操作器3とカメラ1、電動雲台2が既定の通信フォーマットで相互通信するためのものである。
モード切換ボタン8は操作者が操作器3を通常の操作器として使用するのか、追尾用の操作器として使用するのかの通常モード、追尾モードを選択するための切換手段としてのボタンである。本実施例では、図1のようにモード切換ボタン8を設けているが、既存のボタンを流用し、長押しすることでモード切換が行えるようにしても良い。
登録設定ボタン15は、モード切換ボタン8が通常モード時は、雲台2のパン位置、チルト位置、カメラ1のズーム位置、フォーカス位置等を記憶するため、ショットボタン16と併用して使用される。登録設定ボタン15を押した後、登録したい番号のショットボタン16のいずれか一つを押すと、その時の雲台2のパン、チルト、カメラ1のズーム、フォーカス位置等の所望の撮影位置を雲台2に内蔵のメモリ(図示せず)に記憶される。記憶された所望の撮影位置を読み出すには、ショットボタン16のいずれか一つを押下することで、雲台内部のメモリから所望の撮影位置が読み出され、その位置になるように制御される。
また、登録設定ボタン15は、モード切換ボタン8が追尾モードの時は、ショットボタン16と併用することで、追尾する被写体の画面上の出力位置、画面上の大きさ(撮影映像内(画面上)の表示サイズ)を追尾条件として記憶する機能に変わる。追尾したい被写体の画面上の出力位置、大きさの設定方法については後ほど記述する。登録設定ボタン15を押した後、登録したい番号のショットボタン16のいずれか一つを押すと、図2に示されるような追尾対象枠Frの画面上の中心座標Mpと追尾対象枠Frの大きさ(縦横の長さ)の組合せが操作器3のメモリ17に記憶される。ここでいう組合せとは、追尾対象枠の中心座標(中心以外の所定の位置、例えば枠の端部等の座標でも良い。)の値(座標値)と、追尾対象枠の大きさ(通常は対象枠の形状は長方形なので、縦、横の長さ)の値との組合せである。尚、追尾対象枠が長方形(正方形)とは異なる円形、楕円形、五つ以上の角を持つ多角形の場合には、それらを特定するパラメータ(半径、長径、短径等)の値が前記追尾対象枠の大きさとなる。操作ボタン10を押すことで追尾が開始され、登録した番号のショットボタン16のいずれか一つを押すと、CPU5は、現在の追尾被写体の画面上(撮影映像内)の追尾対象枠の中心座標、大きさを取得する。そして、メモリ17から読み出された追尾対象枠の中心座標、大きさを比較し、差分計算を行う。計算の結果、ある既定の差以上ならば、差がなくなるようにカメラ1、電動雲台2を駆動制御するための雲台/カメラ制御信号としての駆動信号を出力する。ここで駆動信号を出力する条件をある既定の差以上としたのは、少しの差で電動雲台2を動作させたり、ズーミングを変化させたりして、頻繁に画面が動き見づらくなるのを防止するためである。
図3は追尾動作開始前の追尾したい被写体の構図および画角を事前に設定および登録するための方法を示したフローチャート図と各ステップに対応するモニタ画面である。図3中の(a)〜(d)はステップS100〜S1200の処理フロー中のステップS100,S400,S500,S600の時のモニタ14における表示例である。
自動追尾を行う時は、操作者は先ず、操作部9で電動雲台2をパン、チルト動作させ、(a)のように追尾被写体Sがモニタ14内に表示されるように移動させる(ステップS100)。次に、図1のモード切換ボタン8を押して追尾モードにする(ステップS200)。顔認識部11で顔認識がされると(ステップS300)、(b)のように追尾対象枠Frが顔周辺に表示される(ステップS400)。再度、操作部9を操作して(c)のように追尾被写体Sを画面の出力すべき位置に移動させる(ステップS500)。次に、表示サイズ設定手段であるズームつまみ18を操作して、(d)のように撮影映像内(画面内)での追尾被写体Sを所望の大きさにする(ステップS600)。この時の追尾被写体Sの画面上の出力位置、大きさで追尾を開始したい場合は、ステップS1100へ、登録したい場合は、ステップS800へ進む(ステップS700)。登録する場合は、登録設定ボタン15を押し(ステップS800)、登録したいショットボタン16のいずれか一つを押す(ステップS900)と、追尾対象枠Frの中心座標Mp、大きさFtの組合せがメモリ17に記憶される(ステップS1000)。引き続き、構図および画角を設定したい場合は、ステップS500〜ステップS1000までを繰り返す。追尾を開始したい場合は、操作ボタン10を押すことで(ステップS1100)、追尾が開始される(ステップS1200)。以上までが、追尾開始前の追尾したい被写体の構図、画角の設定および登録する方法である。
次に追尾開始後の追尾したい被写体の構図および画角の変更方法に関してのフローチャートを図4に示す。
追尾が開始されると(ステップS1200)、追尾開始直後の追尾被写体Sの画面上の追尾対象枠の中心座標Mp1、大きさFt1の組合せを取得し(ステップS1300)、その値を初期値Mp0、Ft0とする(ステップS1400)。次にショットボタンの押下を判別し、ショットボタンが押下されていない場合、現在の追尾被写体の画面上の追尾対象枠の中心座標Mp2、大きさFt2を取得する(ステップS1800)。CPU5内の制御演算部13では、追尾対象枠の中心座標Mp0とMp2の差、追尾対象枠の大きさFt0とFt2の差を計算する(ステップS1900)。計算の結果、中心座標および大きさの差の有無を判別する(ステップS2000)。ステップS1800で差がある場合は、差がなくなるようにカメラ1、電動雲台2を駆動制御するための雲台/カメラ制御信号としての駆動信号を出力する(ステップS2100)。この結果、カメラ1の焦点距離を変化させるズーミング、電動雲台2のパン・チルト動作の少なくとも1つを制御することによって被写体Sが移動する。ステップS1500で、いずれか1つのショットボタン16が押下されるまでは、ステップS1800〜S2100が繰り返され自動追尾が行われる。
ステップS1500で、いずれか1つのショットボタン16が押下されると、メモリ17から登録された追尾対象枠の中心座標Mpm、大きさFtmの組合せがCPU5内に読み出され(ステップS1600)、この値を新たな初期値Mp0、Ft0とする(ステップS1700)。この時、メモリ17から読み出された追尾対象枠を画面上に色や線の太さ等を変えて表示しても良い。その後、再びステップS1500で、いずれか1つのショットボタン16が押下されるまでは、ステップS1600〜ステップS2100を繰り返す。つまり、追尾被写体をショットボタン16から読み出された位置、大きさになるようにカメラ1、電動雲台2を駆動制御するための雲台/カメラ制御信号としての駆動信号を出力する。このようにして、追尾動作中にショットボタン16のいずれか1つを押すことで、記憶された1以上の位置、大きさの組合せの中から1つの位置、大きさが読み出され、追尾中に追尾したい被写体の構図および画角の変更が可能となる。
図5は、実施例2の追尾開始前のフローチャート図と各ステップに対応するモニタ画面である。ステップS100〜S1200はフローであり、図5中の(e)〜(j)はステップS100〜S1200の処理フロー中のステップS100,S410,S500,S600の時のモニタ14における表示例である。本実施例2では、複数の被写体から追尾したい被写体Sを選択(指定)することが追加されること、および、ショットボタン16に被写体の特徴点も記憶するようにしたこと、が実施例1と異なる。
追尾を行う時は、先ず操作者は操作部9で電動雲台2をパン、チルト動作させ、(e)のように追尾被写体Sを含む被写体がモニタ14内に表示されるように移動させる(ステップS100)。次に実施例1と同じように図1のモード切換ボタン8を押して追尾モードにする(ステップS200)。画面上に複数の被写体が存在する場合、最初に顔認識(ステップS300)がされた被写体に(f)のように追尾対象枠Frが破線で表示される(ステップS410)。この時、追尾対象枠Frで表示された被写体が追尾すべき被写体Sでない場合は、(g)のように操作部9を操作して追尾対象枠Frを追尾すべき被写体Sに移動させる(ステップS420)。追尾対象枠Frで表示された被写体Sが追尾すべき目標被写体であれば、操作ボタン10を押すことで確定され(ステップS430)、(h)のように、追尾対象枠Frは実線で表示される(ステップS440)。本実施例では操作ボタン10はステップS430では追尾被写体を確定する機能、ステップS1100では、追尾を開始するときの追尾開始ボタンとなるようにCPU5で機能を割り当てている。このステップS440までが追尾したい被写体を選定する被写体選定ステップである。本実施例では、操作部9を操作して追尾したい被写体に追尾対象枠Frを移動させ被写体の選定を行ったが、タッチパネルを使用して、追尾したい被写体をタッチすることで被写体の選定を行っても良い。
その後のステップS500〜ステップS900までは、図3に示した実施例1のステップS500〜S900と同等のため詳細説明は省略する。
実施例1では、ステップS900で登録したいショットボタン16のいずれか1つを押すと、追尾対象枠の中心座標、大きさだけを記憶した。実施例2では、登録したいショットボタン16のいずれか1つを押すと(ステップS900)、追尾対象枠の中心座標、大きさに加えて、被写体を特定するための被写体特定情報である、被写体の特徴点、具体的には、両眼間、眼と鼻孔、眼と口の距離の比率を含めた組合せが記憶される(ステップS1010)。これにより個人登録(被写体の登録)を行うことが可能となる。被写体が人物の場合は、上記のように被写体特定情報は両眼間、眼と鼻孔、眼と口の距離の比率などを挙げることができる。しかし本発明はこれに限定されることはなく、自動車や航空機などの特徴的な部分のプロファイルや、輪郭など、既知の画像処理方法を使用して被写体特定情報を取得することができる。引き続き、同じ追尾被写体で構図および画角を設定したい場合は、ステップS500〜ステップS1020までを繰り返すことにより、1以上の追尾条件の組合せを登録することができる。別の被写体で構図および画角を設定したい場合は、モード切換ボタン8を押して一旦通常モードにし(ステップS1030)、再度、ステップS100から開始する。
追尾を開始したい場合は、ステップS700の時、操作ボタン10を押すことで(ステップS1100)、追尾動作が開始される(ステップS1200)。以上までが、追尾開始前の追尾したい被写体の構図、画角の設定および特定の被写体を追尾条件として登録する方法である。
次に追尾開始後の追尾したい被写体、構図、および画角の変更方法に関してのフローチャートを図6に示す。
追尾が開始されると(ステップS1200)、 追尾開始直後の追尾被写体Sの画面上の追尾対象枠の中心座標Mp1、大きさFt1、および特徴点を取得する(ステップS1310)。次に実施例1のステップS1400と同様に追尾対象枠の中心座標Mp1、大きさFt1を初期値Mp0、Ft0とする(ステップS1400)。その後、ステップS1500〜S2100までは、実施例1のステップS1500〜S2100まで同様なので詳細説明は省略する。
ステップS1500でいずれか1つのショットボタン16が押下されると、メモリ17から登録された被写体の特徴点、追尾対象枠の中心座標Mpm、大きさFtm(追尾条件)を読み出す(ステップS1610)。次に、追尾対象枠が表示されている被写体の特徴点と読み出された特徴点が同じか判別する(ステップS1620)。同じ場合は、メモリ17から読み出された追尾尾対象枠の中心座標Mpm、大きさFtmを新たな初期値Mp0、Ft0とする(ステップS1700)。その後、再びステップS1500で、いずれか1つのショットボタン16が押下されるまでは、ステップS1800〜ステップS2100を繰り返す。
ステップS1620で、特徴点(被写体特定情報)が一致しない場合は、特徴点が一致するまで画面上で他の被写体をサーチする(ステップS1630)。特徴点が一致した場合(ステップS1640)は、特徴点が一致した被写体に追尾対象枠を新たに表示する(ステップS1650)。その後は、ステップS1700に進み、再びステップS1500においていずれか1つのショットボタン16が押下されたと判断されるまでは、ステップS1800〜ステップS2100を繰り返す。
このようにして、追尾動作中にショットボタン16のいずれか1つを押すことで追尾中に追尾したい被写体、構図および画角からなる追尾条件の変更が可能となる。
実施例1では、ショットボタン16に追尾対象枠の中心座標と大きさの組合せを記憶、実施例2では、被写体の特徴点も併せてその組合せを記憶するようにした。実施例3では、登録設定ボタン15に被写体登録モードと構図・画角登録モードの登録モード切換機能を持たせた。更に被写体登録モード時は、ショットボタン16に被写体の特徴点のみを記憶させ、構図・画角登録モード時は、構図、画角のみを登録するようにした。これにより、追尾したい被写体と、画面上に出力したい位置、大きさを自由に組み合わせられるようにしたことが、実施例1、実施例2と異なる。
図7は、実施例3の追尾開始前のフローチャート図である。ステップS100〜S400は、実施例2のステップS100〜S400と同等なので詳細説明は省略する。
ステップS400で追尾対象枠が画面に表示された後、登録設定ボタン15を既定の回数押下する(ステップS710)ことで被写体登録モード(ステップS425〜)、または、構図・画角登録モード(ステップS510〜)に移行する。
具体的には、被写体の特徴点を登録したい場合は、登録設定ボタン15を1回押し、被写体登録モードに設定する。その後は、操作部9で追尾対象枠Frを登録したい被写体に移動させ(ステップS425)、登録したいショットボタン16のいずれかを押すと(ステップS910)、被写体の特徴点がメモリ17(第1の記憶手段)に記憶される(ステップS1011)。
被写体登録を続ける場合は、ステップS1012、S1013と進み、他の登録したい被写体が画面上に表示されている場合は、ステップS710からS1013を繰り返す。登録したい被写体が画面上に表示されていない場合は、モード切換ボタン8を押し(ステップS1030)、一旦通常モードにして、登録したい被写体が画面に表示されるように操作部9を操作する。つまり、最初のステップS100に戻り、その後のフローを行う。
被写体の構図、画角を登録する場合は、ステップS710で登録設定ボタン15を2回押し、構図・画角登録モードに設定する。その後は、実施例1や2と同様に、被写体の画面上の出力位置、大きさを設定し(ステップS510、S610)、登録したいショットボタン16のいずれかを押すと(ステップS920)、追尾対象枠の中心座標、大きさがメモリ17(第2の記憶手段)に記憶される(ステップS1015)。再度、登録設定を続ける場合は、ステップS710〜S1015を繰り返す。
追尾を開始したい場合は、ステップS1012または、S1016の時、操作ボタン10を押すことで(ステップS1100)、追尾動作が開始される(ステップS1200)。
以上までが、被写体の登録、構図・画角の設定を別々に行う方法である。
次に追尾開始後の追尾したい被写体、構図、および画角の変更方法に関してのフローチャートを図8に示す。
追尾が開始されると、ステップS1510でショットボタン16が2回押される以外は実施例2と同様なので、ステップS1510のみ説明する。
追尾したい被写体、構図、および画角を変更したい場合は、まず、追尾したい被写体の登録されたショットボタン16のいずれか(第1の読み出し手段)を押す。次に、所望の構図・画角が登録されたショットボタン16のいずれか(第2の読み出し手段)を押す。最初のショットボタン16の押下で追尾したい被写体の特徴点がメモリ17(第1の記憶手段)から読み出され、2回目のショットボタン16の押下で追尾対象枠の中心座標、大きさがメモリ17(第2の記憶手段)から読み出される。つまり、1回目と2回目の押下されたショットボタン16の組み合わせで、追尾したい被写体、構図・画角を自由に変更することができる。
本実施例では、構図・画角登録モードで被写体の出力位置と被写体の大きさの両方をショットボタン16のいずれかに登録したが、構図登録モード、画角登録モードを設け、構図のみ、画角のみをそれぞれ登録してもかまわない。つまり、被写体登録モ−ド、構図登録モード、画角登録モードを設け各々を組合わせることで追尾したい被写体、構図、画角を自由に変更するようにしてもかまわない。
また、登録したいショットボタン16のいずれかを押すことにより、被写体の画面上の出力位置と大きさを独立して、追尾対象枠の中心座標、大きさをメモリ17(第2の記憶手段、第3の記憶手段)に記憶し、登録したショットボタン(第2の読み出し手段、第3の読み出し手段)を押すことによって、登録した追尾対象枠の中心位置、大きさ(サイズ)を指定できるようにしても良い。
以上の実施例1、2、3においては、自動追尾カメラの制御装置について説明したが、本発明は、自動追尾カメラシステム等にも適用可能である。具体的には、図1に記載したカメラ1や電動雲台2と操作器3の全てを併せ持つ自動追尾カメラシステムにも適用できる。なお、カメラ1によって撮影される映像を観察するためのモニタ14等の表示手段を併せ持つことが好ましい。
つまり、自動追尾カメラシステムは、カメラ1と、このカメラ1を搭載した雲台2と、操作器3とを備えている。また、操作器3は、画面上において追尾被写体を出力する位置を設定する出力位置設定手段、追尾したい被写体を選択する選定手段、被写体の特徴点を、構図、画角を登録および読み出す手段とを備えている。また、被写体選択手段、出力位置等の追尾条件を設定する設定手段をタッチパネル付き表示部に設けて、追尾被写体をタッチして、被写体を選定したり、被写体を表示部上で移動できるようにしても良い。
1 カメラ
2 電動雲台
3 操作器
4 画像信号処理部
5 CPU
6 画像出力部
11 顔認識部
13 制御演算部
14 モニタ
16 ショットボタン
17 メモリ

Claims (9)

  1. 雲台装置に設置された撮影装置のパンチルト及びズームの駆動を制御して被写体を自動追尾する自動追尾カメラの制御装置であって、
    撮影された映像内に、画像認識によって被写体を認識する被写体認識手段と、
    追尾被写体の追尾条件を設定する設定手段と、
    該設定手段によって設定された少なくとも1つの追尾条件を記憶する記憶手段と、
    該記憶手段に記憶された追尾条件の少なくとも1つを読み出す読み出し手段と、
    該読み出し手段によって該記憶手段から読み出された追尾条件で追尾被写体を追尾するように、該雲台装置のパンチルト駆動及び撮影装置のズーム駆動を制御する制御手段と、
    を備えることを特徴とする自動追尾カメラの制御装置。
  2. 前記追尾条件は、撮影映像内において追尾被写体を出力する位置である出力位置と、追尾被写体を表示する撮影映像内での大きさである表示サイズであり、
    前記設定手段は、該出力位置を設定する出力位置設定手段と、該表示サイズを設定する表示サイズ設定手段、を含み、
    前記記憶手段は、該出力位置設定手段によって設定された出力位置、該表示サイズ設定手段によって設定された表示サイズの少なくとも1つを記憶し、
    前記読み出し手段は、該記憶手段に記憶された出力位置、表示サイズの少なくともいずれか1つを読み出す、
    ことを特徴とする請求項1に記載の自動追尾カメラの制御装置。
  3. 前記記憶手段は、前記出力位置設定手段によって設定された出力位置、前記表示サイズ設定手段によって設定された表示サイズの少なくとも1以上の組合せを記憶し、
    前記読み出し手段は、該記憶手段に記憶された出力位置、表示サイズの1以上の組合せの中から1の組合せを読み出し、
    前記制御手段は、該読み出し手段によって読み出された出力位置に読み出された表示サイズで追尾被写体を表示するように、該雲台装置のパンチルト駆動及び撮影装置のズーム駆動を制御する、
    ことを特徴とする請求項2に記載の自動追尾カメラの制御装置。
  4. 前記追尾条件は、追尾する被写体を指定することを含み、
    前記被写体認識手段によって認識される被写体から1の被写体を選定する被写体選定手段を有し、
    前記記憶手段は、該被写体選定手段によって選定された被写体を特定する被写体特定情報、該出力位置設定手段によって設定された出力位置、該表示サイズ設定手段によって設定された表示サイズの少なくとも1つを記憶し、
    前記読み出し手段は、該記憶手段に記憶された被写体特定情報、出力位置、表示サイズの少なくともいずれか1つを読み出す、
    ことを特徴とする請求項2に記載の自動追尾カメラの制御装置。
  5. 前記記憶手段は、前記被写体選定手段によって選定された被写体を特定する被写体特定情報、前記出力位置設定手段によって設定された出力位置、前記表示サイズ設定手段によって設定された表示サイズの少なくとも1以上の組合せを記憶し、
    前記読み出し手段は、該記憶手段に記憶された被写体特定情報、出力位置、表示サイズの1以上の組合せの中から1の組合せを読み出し、
    前記制御手段は、該読み出し手段によって読み出された該出力位置に、読み出された該被写体特定情報を有する被写体を追尾被写体として撮影映像内でサーチし、追尾被写体が認識されると、読み出された表示サイズで追尾被写体を表示するように、該雲台装置のパンチルト駆動及び撮影装置のズーム駆動を制御する、
    ことを特徴とする請求項4に記載の自動追尾カメラの制御装置。
  6. 前記記憶手段は、前記被写体選定手段によって選定された被写体を特定する被写体特定情報を記憶する第1の記憶手段と、前記出力位置設定手段によって設定された被写体の出力位置及び前記表示サイズ設定手段によって設定された表示サイズの1以上の組み合わせを記憶する第2の記憶手段からなり、
    前記読み出し手段は、該第1の記憶手段に記憶された被写体特定情報を読み出す第1の読み出し手段と、該第2の記憶手段に記憶された出力位置、表示サイズの1以上の組合せの中から1の組合せを読み出す第2の読み出し手段からなり、
    前記制御手段は、該第1の読み出し手段で該第1の記憶手段で記憶された被写体特定情報を読み出し、該第2の読み出し手段で該第2の記憶手段で記憶された出力位置、表示サイズを読み出すと、撮影映像において、該被写体特定情報を有する被写体を追尾被写体としてサーチし、追尾被写体が認識されると、読み出された出力位置に読み出された表示サイズで該追尾被写体を表示するように、該雲台装置のパンチルト駆動及び撮影装置のズーム駆動を制御する、
    ことを特徴とする請求項5に記載の自動追尾カメラの制御装置。
  7. 前記記憶手段は、前記被写体選定手段によって選定された被写体を特定する被写体特定情報を記憶する第1の記憶手段と、前記出力位置設定手段によって設定された被写体の出力位置を記憶する第2の記憶手段と、前記表示サイズ設定手段によって設定された表示サイズを記憶する第3の記憶手段からなり、
    前記読み出し手段は、該第1の記憶手段に記憶された被写体特定情報を読み出す第1の読み出し手段と、該第2の記憶手段に記憶された出力位置を読み出す第2の読み出し手段と、該第3の記憶手段に記憶された表示サイズを読み出す第2の読み出し手段からなり、
    前記制御手段は、該第1の読み出し手段で読み出された被写体特定情報と、該第2の読み出し手段で読み出された出力位置と、該第3の読み出し手段で読み出された表示サイズとに基づいて、撮影映像において、該被写体特定情報を有する被写体を追尾被写体としてサーチし、追尾被写体が認識されると、前記読み出された出力位置に読み出された表示サイズで該追尾被写体を表示するように、該雲台装置のパンチルト駆動及び撮影装置のズーム駆動を制御する、
    ことを特徴とする請求項4に記載の自動追尾カメラの制御装置。
  8. 前記記憶手段および読み出し手段は、自動追尾で撮影しない時は、前記自動追尾カメラのパン位置、チルト位置、ズーム位置、フォーカス位置の少なくとも1つ以上を記憶および読み出す1つまたは複数の登録手段および読み出し手段であることを特徴とする請求項1乃至7のいずれか1項に記載の自動追尾カメラの制御装置。
  9. 雲台装置に設置された撮影装置のパンチルト及びズームの駆動を制御して被写体を自動追尾する自動追尾カメラであって、請求項1乃至8のいずれか1項に記載の制御装置を備える自動追尾カメラ。
JP2012119815A 2012-05-25 2012-05-25 自動追尾カメラの制御装置及び該制御装置を有する自動追尾カメラ Pending JP2013247508A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2012119815A JP2013247508A (ja) 2012-05-25 2012-05-25 自動追尾カメラの制御装置及び該制御装置を有する自動追尾カメラ
US13/901,114 US20130314547A1 (en) 2012-05-25 2013-05-23 Controlling apparatus for automatic tracking camera, and automatic tracking camera having the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012119815A JP2013247508A (ja) 2012-05-25 2012-05-25 自動追尾カメラの制御装置及び該制御装置を有する自動追尾カメラ

Publications (2)

Publication Number Publication Date
JP2013247508A true JP2013247508A (ja) 2013-12-09
JP2013247508A5 JP2013247508A5 (ja) 2015-07-02

Family

ID=49621300

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012119815A Pending JP2013247508A (ja) 2012-05-25 2012-05-25 自動追尾カメラの制御装置及び該制御装置を有する自動追尾カメラ

Country Status (2)

Country Link
US (1) US20130314547A1 (ja)
JP (1) JP2013247508A (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017139701A (ja) * 2016-02-05 2017-08-10 パナソニックIpマネジメント株式会社 追跡支援装置、追跡支援システムおよび追跡支援方法
JP2018125612A (ja) * 2017-01-30 2018-08-09 キヤノン株式会社 撮像装置及びその制御方法
JP2018139052A (ja) * 2017-02-24 2018-09-06 株式会社リコー 通信端末、画像通信システム、表示方法、及びプログラム
WO2020241038A1 (ja) 2019-05-27 2020-12-03 ソニー株式会社 構図制御装置、構図制御方法、プログラム
US11064109B2 (en) 2019-09-27 2021-07-13 Canon Kabushiki Kaisha Shooting control apparatus, image capture apparatus, and shooting control method
US11206357B2 (en) 2019-09-27 2021-12-21 Canon Kabushiki Kaisha Shooting control apparatus, image capture apparatus, and shooting control method
WO2022024849A1 (ja) * 2020-07-30 2022-02-03 ソニーグループ株式会社 撮像装置、制御方法、プログラム
JP2022167992A (ja) * 2018-10-18 2022-11-04 日本電気株式会社 物体追跡装置、物体追跡方法、およびプログラム
US11823715B2 (en) 2019-03-20 2023-11-21 Sony Group Corporation Image processing device and image processing method
JP7506492B2 (ja) 2019-03-19 2024-06-26 株式会社ソニー・インタラクティブエンタテインメント 画像を取り込むシステムおよびカメラ機器

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10701274B2 (en) * 2014-12-24 2020-06-30 Canon Kabushiki Kaisha Controlling zoom magnification based on image size
JP6727791B2 (ja) * 2015-11-05 2020-07-22 キヤノン株式会社 追尾制御装置および追尾制御方法、撮像装置
US10652449B2 (en) 2016-03-08 2020-05-12 Sony Corporation Information processing apparatus, information processing method, and program
WO2020218738A1 (en) * 2019-04-24 2020-10-29 Samsung Electronics Co., Ltd. Method and system to calibrate electronic devices based on a region of interest

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001160916A (ja) * 1999-12-03 2001-06-12 Fuji Photo Optical Co Ltd 自動追尾装置
JP2002247440A (ja) * 2001-02-13 2002-08-30 Fuji Photo Optical Co Ltd 自動追尾装置
JP2006229321A (ja) * 2005-02-15 2006-08-31 Matsushita Electric Ind Co Ltd 自動追尾撮像装置及び自動追尾撮像方法、並びにプログラム
JP2010081041A (ja) * 2008-09-24 2010-04-08 Canon Inc 自動追尾カメラの制御装置及び自動追尾カメラシステム及び自動追尾カメラの制御方法
JP2012029136A (ja) * 2010-07-26 2012-02-09 Canon Inc 自動追尾カメラシステムの制御装置及びそれを有する自動追尾カメラシステム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4572815B2 (ja) * 2005-11-18 2010-11-04 富士フイルム株式会社 撮像装置及び撮像方法
JP5159390B2 (ja) * 2008-03-28 2013-03-06 キヤノン株式会社 物体検知方法及びその装置
JP2009268086A (ja) * 2008-03-31 2009-11-12 Panasonic Corp 撮像装置
JP5543180B2 (ja) * 2009-01-07 2014-07-09 キヤノン株式会社 撮像装置及びその制御方法及びプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001160916A (ja) * 1999-12-03 2001-06-12 Fuji Photo Optical Co Ltd 自動追尾装置
JP2002247440A (ja) * 2001-02-13 2002-08-30 Fuji Photo Optical Co Ltd 自動追尾装置
JP2006229321A (ja) * 2005-02-15 2006-08-31 Matsushita Electric Ind Co Ltd 自動追尾撮像装置及び自動追尾撮像方法、並びにプログラム
JP2010081041A (ja) * 2008-09-24 2010-04-08 Canon Inc 自動追尾カメラの制御装置及び自動追尾カメラシステム及び自動追尾カメラの制御方法
JP2012029136A (ja) * 2010-07-26 2012-02-09 Canon Inc 自動追尾カメラシステムの制御装置及びそれを有する自動追尾カメラシステム

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017139701A (ja) * 2016-02-05 2017-08-10 パナソニックIpマネジメント株式会社 追跡支援装置、追跡支援システムおよび追跡支援方法
WO2017134712A1 (ja) * 2016-02-05 2017-08-10 パナソニックIpマネジメント株式会社 追跡支援装置、追跡支援システムおよび追跡支援方法
RU2691057C1 (ru) * 2016-02-05 2019-06-10 Панасоник Интеллекчуал Проперти Менеджмент Ко., Лтд. Устройство помощи в слежении, система помощи в слежении и способ помощи в слежении
JP2018125612A (ja) * 2017-01-30 2018-08-09 キヤノン株式会社 撮像装置及びその制御方法
JP2018139052A (ja) * 2017-02-24 2018-09-06 株式会社リコー 通信端末、画像通信システム、表示方法、及びプログラム
JP2022167992A (ja) * 2018-10-18 2022-11-04 日本電気株式会社 物体追跡装置、物体追跡方法、およびプログラム
JP7506492B2 (ja) 2019-03-19 2024-06-26 株式会社ソニー・インタラクティブエンタテインメント 画像を取り込むシステムおよびカメラ機器
US11823715B2 (en) 2019-03-20 2023-11-21 Sony Group Corporation Image processing device and image processing method
WO2020241038A1 (ja) 2019-05-27 2020-12-03 ソニー株式会社 構図制御装置、構図制御方法、プログラム
US11991450B2 (en) 2019-05-27 2024-05-21 Sony Group Corporation Composition control device, composition control method, and program
US11064109B2 (en) 2019-09-27 2021-07-13 Canon Kabushiki Kaisha Shooting control apparatus, image capture apparatus, and shooting control method
US11206357B2 (en) 2019-09-27 2021-12-21 Canon Kabushiki Kaisha Shooting control apparatus, image capture apparatus, and shooting control method
WO2022024849A1 (ja) * 2020-07-30 2022-02-03 ソニーグループ株式会社 撮像装置、制御方法、プログラム

Also Published As

Publication number Publication date
US20130314547A1 (en) 2013-11-28

Similar Documents

Publication Publication Date Title
JP2013247508A (ja) 自動追尾カメラの制御装置及び該制御装置を有する自動追尾カメラ
US8493477B2 (en) Image-capturing apparatus with automatically adjustable angle of view and control method therefor
US8649574B2 (en) Imaging apparatus, control method of imaging apparatus, and computer program
JP6369538B2 (ja) 情報処理装置、情報処理方法、コンピュータ読み取り可能な媒体および撮像システム
JP5911201B2 (ja) カメラ装置の自動追尾制御装置及びそれを有する自動追尾カメラシステム
US7349020B2 (en) System and method for displaying an image composition template
TWI463392B (zh) 影像處理裝置,影像處理方法及程式
JP5591006B2 (ja) 自動追尾カメラシステムの制御装置及びそれを有する自動追尾カメラシステム
US20060044399A1 (en) Control system for an image capture device
US10171726B2 (en) Image shooting apparatus for setting image shooting condition easily and method thereof
KR102575196B1 (ko) 촬영 방법, 촬영 장치, 전자기기 및 저장매체
US10070048B2 (en) Panorama photographing method, panorama displaying method, and image capturing method
JP6518409B2 (ja) 撮影装置及び撮影方法
JP2022027841A (ja) 電子機器、プログラムおよび記憶媒体
JP2014228629A (ja) 撮像装置、その制御方法、およびプログラム、並びに記憶媒体
JP5317607B2 (ja) 自動追尾カメラの制御装置及び自動追尾カメラシステム及び自動追尾カメラの制御方法
JP2014039166A (ja) 自動追尾カメラの制御装置及びそれを備える自動追尾カメラ
JP2004297675A (ja) 移動撮影機器
JP2007258953A (ja) 自動撮影システム及び自動撮影装置
TW201616213A (zh) 全景影像的拍攝方法
WO2022041013A1 (zh) 控制方法、手持云台、系统及计算机可读存储介质
JP6630337B2 (ja) 電子機器およびその制御方法
JP6836306B2 (ja) 撮像制御装置、その制御方法、プログラム及び記録媒体
WO2023065125A1 (zh) 拍摄方法、拍摄设备、终端设备及存储介质
KR20230033367A (ko) 짐벌 카메라를 이용한 대상 트래킹 방법 및 장치

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150513

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150513

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160210

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160216

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160418

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160602

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160729

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20160830