JP2014039166A - Controller of automatic tracking camera and automatic tracking camera equipped with the same - Google Patents
Controller of automatic tracking camera and automatic tracking camera equipped with the same Download PDFInfo
- Publication number
- JP2014039166A JP2014039166A JP2012180513A JP2012180513A JP2014039166A JP 2014039166 A JP2014039166 A JP 2014039166A JP 2012180513 A JP2012180513 A JP 2012180513A JP 2012180513 A JP2012180513 A JP 2012180513A JP 2014039166 A JP2014039166 A JP 2014039166A
- Authority
- JP
- Japan
- Prior art keywords
- display size
- display
- subject
- camera
- setting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
Description
本発明は、追尾対象物を追尾する自動追尾カメラの制御装置及びそれを備える自動追尾カメラに関し、特に、自動追尾カメラの操作装置及び自動追尾の制御方法に関するものである。 The present invention relates to a control device for an automatic tracking camera that tracks a tracking object and an automatic tracking camera including the same, and more particularly to an operation device for an automatic tracking camera and a control method for automatic tracking.
カメラにパン及びチルトの旋回動作が可能な電動雲台が取り付けられた電動雲台カメラは、遠隔地から雲台制御、カメラ制御が可能なようにケーブル又は無線を介して操作器が接続されている。操作者はモニタ画面に表示される映像を見ながら、この操作器を操作してカメラや電動雲台を制御している。
近年、雲台カメラに画像認識技術を搭載して、被写体を自動追尾する自動追尾カメラシステムが提案されている。このようなシステムでは、自動追尾を行う前に追尾被写体を選定し、選定された被写体の画面の出力位置を設定することが必要である。
An electric pan head camera that has a pan head and a tilt pan head that can be pivoted is connected to an operating device via a cable or wireless so that the pan head and camera can be controlled from a remote location. Yes. The operator controls the camera and the electric pan / tilt head by operating the operating device while viewing the video displayed on the monitor screen.
In recent years, an automatic tracking camera system has been proposed in which an image recognition technology is mounted on a pan head camera to automatically track a subject. In such a system, it is necessary to select a tracking subject and set the output position of the screen of the selected subject before performing automatic tracking.
特許文献1ではモニタ画面内に映っている追尾したい被写体を、カメラ、電動雲台を遠隔制御する操作器を使用して選択し、モニタ画面内で出力したい任意の位置に追尾被写体を設定する手段が開示されている。
In
特許文献2では、画面中の人物の顔画像の中心位置データ、顔画像が占める横方向、縦方向の距離データを初期データとして構図、画角設定部に事前に設定する手段が開示されている。 Japanese Patent Application Laid-Open No. 2004-228688 discloses a means for preliminarily setting a position and angle of view setting unit as initial data using center position data of a person's face image on the screen, and horizontal and vertical distance data occupied by the face image. .
特許文献1、2とも、被写体が画面上に表示されている場合は、被写体の画面上での出力位置、大きさ、つまり構図、画面内で表示するサイズ(大きさ)(以後、表示サイズとも記す)を事前に設定することができる。しかし、撮影したい被写体が画面に表示されていない場合、または、撮影装置が撮影場所にない場合は、事前に撮影したい被写体の構図、表示サイズを設定しておくことができない。特にリハーサルのない結婚式の披露宴や、大学の講義、スポーツの生中継等は、本番前に撮影したい被写体が撮影場所にいないため、被写体の構図、表示サイズを設定しておきたくても事前に設定しておくことができない。
In both
本発明の目的は、上述の問題点を解消し、画面上での被写体の有無、または、撮影装置が撮影場所にある、ないにかかわらず事前に被写体の画面上の出力すべき位置、被写体の表示サイズの設定ができる自動追尾カメラの制御装置を提供することにある。 The object of the present invention is to solve the above-mentioned problems, whether or not there is a subject on the screen, or whether the subject should be output on the screen in advance, regardless of whether or not the photographing device is at the photographing location. An object of the present invention is to provide an automatic tracking camera control device capable of setting a display size.
上記目的を達成するための本発明に係る自動追尾カメラの制御装置は、ズーム機能を有するカメラ装置と、該カメラ装置をパン方向及びチルト方向に駆動する雲台と、該カメラ装置で撮影された画像を表示するモニタと、を含む、自動追尾カメラの制御装置であって、前記モニタに表示されている画像とは無関係に、追尾する被写体を表示すべき画像内の位置と表示サイズを設定するため、前記表示されている画像に構図・表示サイズ設定表示を重ねて表示する設定表示生成手段と、前記構図・表示サイズ設定表示を前記画像内に出力する位置を設定する出力位置設定手段と、前記構図・表示サイズ設定表示の前記画像内での表示サイズを設定する表示サイズ設定手段と、該カメラ装置により撮影された画像内で追尾する被写体を認識し、該被写体を、該出力位置設定手段によって設定された前記画像内の位置に、該表示サイズ設定手段によって設定された表示サイズで表示するように、前記雲台のパン方向及びチルト方向の回動と、前記カメラ装置のズーム機能を制御する、制御手段と、を備えることを特徴とする。 In order to achieve the above object, a control device for an automatic tracking camera according to the present invention is a camera device having a zoom function, a pan head for driving the camera device in a pan direction and a tilt direction, and an image taken by the camera device. An automatic tracking camera control device including a monitor for displaying an image, and sets a position and a display size in the image where the subject to be tracked should be displayed regardless of the image displayed on the monitor Therefore, a setting display generating unit that displays a composition / display size setting display superimposed on the displayed image, an output position setting unit that sets a position at which the composition / display size setting display is output in the image, A display size setting means for setting a display size in the image of the composition / display size setting display, and a subject to be tracked in the image photographed by the camera device; Rotation of the camera platform in the pan direction and tilt direction so that a subject is displayed at a position in the image set by the output position setting means with a display size set by the display size setting means. And a control means for controlling the zoom function of the camera device.
本発明に係る自動追尾カメラの制御装置及び該制御装置を備える自動追尾カメラ及び自動追尾カメラの制御方法によれば、画面上での被写体の有無にかかわらず事前に被写体の画面上の出力すべき位置、被写体の表示サイズの設定ができる。 According to the control device for the automatic tracking camera and the control method for the automatic tracking camera and the automatic tracking camera including the control device according to the present invention, the subject should be output on the screen in advance regardless of the presence or absence of the subject on the screen. You can set the position and display size of the subject.
本発明を図示の実施例に基づいて詳細に説明する。 The present invention will be described in detail based on the embodiments shown in the drawings.
図1は実施例1の自動追尾カメラ制御装置の構成図である。図1において、ズーム、フォーカス機能等を有するレンズ付きカメラ1は、パン方向へ駆動するパンニング及びチルト方向へ駆動するチルティングの旋回動作が可能な電動雲台2に取り付けられている。カメラ1、電動雲台2は遠隔に設置された操作器3により、ズーム、ゲイン調整などのカメラ制御、パン・チルト動作の雲台制御が行われるようになっている。
FIG. 1 is a configuration diagram of the automatic tracking camera control apparatus according to the first embodiment. In FIG. 1, a lensed
カメラ1のCCDから出力される映像信号は、操作者の操作に基づいて、カメラ1及びカメラ1を搭載した電動雲台2を制御する操作器3の画像信号処理部4に接続されている。操作器3内には、画像信号処理部4の外に、CPU5、画像出力部6、雲台・カメラ制御インタフェース部7、モード切換ボタン8、操作部9、操作ボタン10、登録設定ボタン15、複数のショットボタン16、メモリ17、ズームつまみ18が設けられている。また、CPU5内には顔認識部11、追尾対象表示生成部12、制御演算部13、構図・表示サイズ設定表示生成部19(設定表示生成手段)が内蔵されている。
The video signal output from the CCD of the
画像信号処理部4の出力は、顔認識部11と構図・表示サイズ設定表示生成部19に入力される。顔認識部11の出力は追尾対象表示生成部12を介して制御演算部13に接続されている。また、追尾対象表示生成部12の出力は画像出力部6を介して操作器3外のモニタ14に接続されている。
構図・表示サイズ設定表示生成部19からの出力も制御演算部13、画像出力部6を介して操作器3外のモニタ14に接続されている。
The output of the image
The output from the composition / display size setting
本実施例では、外部モニタに接続されているが、操作器3の内部に液晶モニタ等の内部モニタを搭載して出力してもよい。制御演算部13は雲台・カメラ制御インタフェース部7を介して電動雲台2と接続され、更に制御演算部13にはモード切換ボタン8、操作部9、登録設定ボタン15、複数のショットボタン16、メモリ17、ズームつまみ18が接続されている。
In this embodiment, it is connected to an external monitor, but an internal monitor such as a liquid crystal monitor may be mounted in the
画像信号処理部4は、入力映像信号がアナログ信号の場合、デジタル信号に変換したり、画像のコントラスト、色相、彩度等の調整を行ったりする。画像信号処理部4からの出力映像信号はCPU5内部の顔認識部11と構図・表示サイズ設定表示生成部19の両方に入力される。
When the input video signal is an analog signal, the image
画像信号処理部4からの出力映像信号に人物が含まれている場合、顔認識部11では、テンプレートマッチング法等による顔認識技術で顔認識が行われる。本実施例では、人物の顔認識を行ったが、車や飛行機などのテンプレートを使用して人以外の認識をおこなっても構わない。
When a person is included in the output video signal from the image
次に、認識された顔の撮影された画像内での位置座標を追尾対象表示生成部12に入力し、認識された顔の位置座標を基に、図2に示すような被写体Sに追尾対象表示である長方形の追尾対象表示Frを生成する。
追尾対象表示生成部12により、入力画像に追尾対象表示Frが合成された信号は、画像出力部6に入力される。画像出力部6では、表示手段であるモニタ14の映像入力フォーマットに対応したSDI、DVI、VGA、NTSC等の映像信号に変換したモニタ信号を出力する。
Next, the position coordinates in the captured image of the recognized face are input to the tracking target
A signal in which the tracking target display Fr is combined with the input image by the tracking target
構図・表示サイズ設定表示生成部19では、被写体の撮影画像内での出力位置、表示サイズを設定する際に使用する図2に示すような長方形の構図・表示サイズ設定表示Fzを生成する。詳細に関しては、後ほど記述する。構図・表示サイズ設定表示Fzは、入力画像に合成され、画像出力部6に入力される。
The composition / display size setting
操作部9は操作者が電動雲台2のパン・チルトを行う手動操作のための操作部で、ジョイスティック、上下左右を表示した矢印キーボタン、マウス等のポインティングデバイス、タッチパネル等である。
雲台・カメラ制御インタフェース部7は操作器3とカメラ1、電動雲台2が既定の通信フォーマットで相互通信するためのものである。
The
The camera platform / camera control interface unit 7 is for the
モード切換ボタン8は操作者が操作器3を通常の操作器として使用するのか、追尾用の操作器として使用するのかの通常モード、追尾モードを選択するための切換手段としてのボタンである。本実施例では、図1のようにモード切換ボタン8を設けているが、既存のボタンを流用し、長押しすることでモード切換が行えるようにしても良い。
The
操作ボタン10は、本実施例では追尾開始を行うボタンとしているが既存のボタンを流用して、追尾モード時は追尾開始ボタン、通常モード時は、他の機能を行うボタンとなるようにCPU5で設定できるようにしても構わない。
The
登録設定ボタン15は、モード切換ボタン8が通常モード時は、雲台2のパン、チルト位置、カメラ1のズーム、フォーカス位置等を記憶するため、ショットボタン16と併用して使用される。登録設定ボタン15を押した後、登録したい番号のショットボタン16のいずれか一つを押すと、その時の雲台2のパン、チルト、カメラ1のズーム、フォーカス位置等の所望の撮影位置を雲台2に内蔵のメモリ(図示せず)に記憶される。記憶された所望の撮影位置を呼び出すには、ショットボタン16のいずれか一つを押下することで、雲台内部のメモリから所望の撮影位置が呼び出され、その位置になるように制御される。
The
また、登録設定ボタン15は、モード切換ボタン8が追尾モードの時、構図・表示サイズ設定表示Fzを画面上に表示し、ショットボタン16と併用することで、構図・表示サイズ設定表示Fzの画面上の出力位置、画面上の大きさ(撮影映像内(画像内、画面上)の表示サイズ)を追尾条件として記憶する機能に変わる。この時、構図・表示サイズ設定表示Fzは、画面上の被写体の有無に関係なく表示される。構図・表示サイズ設定表示Fzの画像内での出力位置、表示サイズの設定は、操作部9(出力位置設定手段)、ズームつまみ18(表示サイズ設定手段)を操作して行われる。具体的な説明は後述する。その後、登録したい番号のショットボタン16のいずれか一つを押すと、図2に示されるような構図・表示サイズ設定表示Fzの画面上の中心座標Zpと表示サイズZtの組合せが操作器3のメモリ17に記憶される。ここでいう組合せとは、追尾対象表示の中心座標(中心以外の所定の位置、例えば枠の端部等の座標でも良い。)の値(座標値)と、追尾対象表示の表示サイズ(通常は対象枠の形状は長方形なので、縦、横の長さ)の値との組合せである。尚、追尾対象表示が長方形(正方形)とは異なる円形、楕円形、五つ以上の角を持つ多角形の場合には、それらを特定するパラメータ(半径、長径、短径等)の値が前記追尾対象表示の大きさとなる。
The
自動追尾を開始する場合は、モード切換ボタン8を押して追尾モードにし、操作ボタン10を押すことで追尾が開始される。画面上に被写体がある場合は、顔認識部11で顔認識が行われ追尾対象表示Frが画面に表示される。また、画面上の追尾対象表示Frの中心座標、表示サイズを取得する。そして、登録した番号のショットボタン16のいずれか一つが押されるまでは、追尾対象表示Frが表示された直後の被写体の出力位置、表示サイズになるように自動追尾が行われる。
When the automatic tracking is started, the
追尾が開始され、画面内の被写体の有無とは無関係に登録した番号のショットボタン16のいずれか一つを押すと、メモリ17から構図・表示サイズ設定表示Fzの中心座標Zp、表示サイズZtが呼び出され構図・表示サイズ設定表示Fzが画面上に表示される。被写体が画面上に存在する場合は、CPU5は、図2に示す現在の追尾被写体の画面上の追尾対象表示Frの中心座標Mp、表示サイズFtを取得する。そして、メモリ17から呼び出された構図・表示サイズ設定表示Fzの中心座標Zp、表示サイズZtを比較し、差分計算を行う。計算の結果、ある既定の差以上ならば、差がなくなるようにカメラ1、電動雲台2を駆動制御するための雲台/カメラ制御信号としての駆動信号を出力する。ここで駆動信号を出力する条件をある既定の差以上としたのは、少しの差で電動雲台2を動作させたり、ズーミングを変化させたりして、頻繁に画面が動き見づらくなるのを防止するためである。なお、本実施例では、追尾対象表示Frと構図・表示サイズ設定表示Fzが画面上で認識できるように枠の色を変えているが、枠線の太さを変えたり、どちらか一方の枠線を破線などにしても良い。
When tracking is started and one of the
また、追尾動作が開始され被写体が画面上に存在しない場合は、追尾被写体が画面上で認識され、追尾対象表示Frが画面に表示されるまで、現在のカメラ1のズーム、フォーカス位置、電動雲台2のパン位置、チルト位置を維持したまま待機する。
When the tracking operation is started and the subject does not exist on the screen, the current zoom, focus position, and electric cloud of the
図3は追尾動作開始前に、画面上または、撮影場所に追尾したい被写体の有無に関係なく被写体の画面上の出力位置、表示サイズを事前に設定および登録するためのフローチャート図と各ステップに対応するモニタ画面である。ステップS1〜S16はフローであり、(a)〜(c)は主なフローでのモニタ14における表示例である。
FIG. 3 is a flowchart for setting and registering in advance the output position and display size of the subject on the screen or regardless of the presence or absence of the subject to be tracked at the shooting location before starting the tracking operation, and corresponds to each step. This is a monitor screen. Steps S1 to S16 are flows, and (a) to (c) are display examples on the
操作者は先ず図1のモード切換ボタン8を押して追尾モードにする(ステップS1)。登録設定を行う場合は、ステップS3へ、追尾を開始する場合はステップS9へ進む(ステップS2)。登録設定ボタン15を押すと(ステップS3)、構図・表示サイズ設定表示Fzが画面の中央に所定の表示サイズで表示される(ステップS4)。本実施例では、所定の表示サイズを顔認識が可能な最低画素数の表示サイズに設定している。次に、操作部9を上下、左右に動作させ、(b)のように構図・表示サイズ設定表示Fzを画面上で出力させたい位置に移動させる(ステップS5)。本実施例では、構図・表示サイズ設定表示Fzを操作部9のジョイスティックを使用して移動させているが、モニタ14をタッチパネル付き表示部にして、出力させたい画面位置をタッチして、構図・表示サイズ設定表示Fzを移動させても良い。ここで、移動範囲は、設計仕様である既知の電動雲台のパンニング速度つまりパン動作の最大速度、チルティング速度つまりチルト動作の最大速度で追尾できない範囲には移動できないように設定範囲に制限を設けておくとよい。すなわち、構図・表示サイズ設定表示Fzの位置は、所定の画面内の範囲内でのみ設定できるようにしておくとよい。次に、ズームつまみ18を操作して、(c)のように構図・表示サイズ設定表示Fzを所望の表示サイズにする(ステップS6)。ただし、顔認識ができない最低画素未満の表示サイズ、パン動作の最大速度、チルト動作の最大速度で追尾できない表示サイズには設定できないように設定されている。すなわち、構図・表示サイズ設定表示Fzの表示サイズ(画面内での大きさ)は、所定の範囲内でのみ設定できるように設定可能な範囲が設定されている。ステップS5、S6で設定した出力位置、表示サイズを登録する場合は、登録したいショットボタン16のいずれか一つを押す(ステップS7)と、構図・表示サイズ設定表示Fzの中心座標Zp、表示サイズZtがメモリ17に記憶される(ステップS8)。引き続き登録したい場合は、ステップS3へ進み、ステップS3〜ステップS8までを繰り返す。
First, the operator presses the
追尾を開始する場合、ショットボタン16のいずれかに登録した構図・表示サイズ設定表示の出力位置、表示サイズで追尾を開始したい場合(ステップS9)は、ショットボタン16のいずれか一つを押す(ステップS10)。この時、メモリ17から構図・表示サイズ設定表示の中心座標Zp、 表示サイズZtが呼び出され(ステップS11)、CPU5にZp、Ztが初期値Mp0、Ft0として設定される(ステップS12)。ショットボタン16が押されない場合は、画面中央の座標、既定の表示サイズ(顔認識可能な最低画素数の大きさ)が初期値Mp0、Ft0として設定される(ステップS14)。ステップS12、または、ステップS14の後、構図・表示サイズ設定表示Fzが初期値の出力位置、表示サイズで画面に表示される(ステップS13)。最後に、操作ボタン10を押すことで(ステップS15)、追尾が開始される(ステップS16)。
When tracking is to be started and tracking is to be started at the output position and display size of the composition / display size setting display registered in any of the shot buttons 16 (step S9), one of the
以上までが、被写体の有無とは無関係に追尾開始前に事前に被写体の構図、表示サイズの設定および登録する方法である。 The above is the method for setting and registering the composition and display size of the subject in advance before the start of tracking regardless of the presence or absence of the subject.
次に追尾開始後の追尾したい被写体の構図および表示サイズの変更方法に関してのフローチャート図および各ステップに対応するモニタ画面を図4に示す。ステップS16〜S29はフローであり、(d)、(e)は主なフローでのモニタ14における表示例である。
Next, FIG. 4 shows a flowchart regarding the composition of the subject to be tracked after the start of tracking and a method for changing the display size, and a monitor screen corresponding to each step. Steps S16 to S29 are flows, and (d) and (e) are display examples on the
追尾が開始され(ステップS16)、ショットボタン16が押される(ステップS17)までは、 画面上で追尾被写体Sを捜索し(ステップS23)、顔認識を行う(ステップS24)。顔認識がされると、(d)のように追尾対象表示Frが画面上に表示され(ステップS25)、追尾対象表示の中心座標Mp1、表示サイズFt1を取得する(ステップS26)。CPU5内の制御演算部13では、追尾対象表示の初期値であるMp0、Ft0と、現在の追尾対象表示の中心座標Mp1、表示サイズFt1を比較し差分を計算する(ステップS27)。計算の結果、中心座標および表示サイズの差が既定値以上か判別する(ステップS28)。ステップS28で差が既定値以上ならば、差が既定値以内になるようにカメラ1、電動雲台2を駆動制御するための雲台/カメラ制御信号としての駆動信号を出力する(ステップS29)。この結果、カメラ1の焦点距離を変化させるズーミング、電動雲台2のパン・チルト動作の少なくとも1つを制御することによって被写体Sが移動する。ステップS17で、いずれか一つのショットボタン16が押下される割り込みが入るまでは、ステップS26〜S29が繰り返され自動追尾が行われる。
Until tracking is started (step S16) and the
ステップS17で、いずれか一つのショットボタン16が押下されると、メモリ17から登録された構図・表示サイズ設定表示Fzの中心座標Zp、表示サイズZtがCPU5内に呼び出され(ステップS19)、Zp、Ztの値を新たな初期値Mp0、Ft0とする(ステップS20)。また、構図・表示サイズ設定表示Fzが(e)のように画面に表示される(ステップS21)。次にステップS22で、既に被写体が認識され、追尾対象表示が表示されている場合は、ステップS26へ、被写体が認識されていない場合は、ステップS23へ進み、被写体認識後、自動追尾が行われる。その後、再びステップS17で、いずれか一つのショットボタン16が押下されるまでは、ステップS26〜ステップS29を繰り返す。つまり、追尾被写体をショットボタン16から呼び出された構図・表示サイズ設定表示Fzの出力位置、表示サイズになるようにカメラ1、電動雲台2を駆動制御するための雲台/カメラ制御信号としての駆動信号を出力する。このようにして、追尾動作中にショットボタン16のいずれか一つを押すことで追尾中に追尾したい被写体の構図および表示サイズの変更が可能となる。また、追尾開始後に被写体が存在していなくても、構図・表示サイズ設定表示を画面上に出力し、被写体が認識された時の被写体の構図および表示サイズの設定、変更を事前に設定しておくことができる。
When any one
図5は、実施例2の追尾開始後のフローチャート図である。本実施例2では、実施例1の図4のフローにステップS30〜S35を追加して追尾動作中でも、構図、表示サイズの登録設定ができるようにしたことが実施例1と異なる。 FIG. 5 is a flowchart after the start of tracking according to the second embodiment. The second embodiment is different from the first embodiment in that steps S30 to S35 are added to the flow of FIG. 4 of the first embodiment so that the composition and display size can be registered even during the tracking operation.
図5のステップS17でショットボタン16のいずれか一つが押下されるまで、ステップS23〜S29の追尾動作が行われる。これと並行して、登録ボタン15が押されると(ステップS30)、実施例1のステップS3〜S8と同様のフローで構図・表示サイズ設定表示Fzが画面に表示され、出力位置、表示サイズの登録設定を行う(ステップS30〜S35)。
The tracking operation of steps S23 to S29 is performed until any one of the
これにより、追尾動作中でも、新たに追尾被写体の構図・表示サイズの登録設定が可能となり、追尾動作を中止する必要がなくなる。 This makes it possible to newly register and set the composition and display size of the tracking subject even during the tracking operation, and there is no need to stop the tracking operation.
図6は、実施例3の追尾開始前のフローチャート図と各ステップに対応するモニタ画面である。ステップS40〜S58はフローであり、(f)、(g)は主なフローでのモニタ14における表示例である。本実施例3では、追尾開始前に画面上または、撮影場所に追尾したい被写体の有無に関係なく事前に追尾したい被写体を選択する方法を追加し、ショットボタン16に追尾したい被写体も記憶するようにしたことが実施例1と異なる。
FIG. 6 is a flowchart before starting tracking according to the third embodiment and a monitor screen corresponding to each step. Steps S40 to S58 are flows, and (f) and (g) are display examples on the
操作者は先ず実施例1の図3のステップS1〜S3と同様に登録設定を行う場合は、モード切換ボタン8を押して追尾モードとし(ステップS40)、登録設定ボタン15を押す(ステップS42)。モニタ14の画面上には、(f)のようにメモリ17にあらかじめ登録されている被写体登録リストが表示される(ステップS43)。被写体登録リストは、以前に撮影された映像、写真等の画像とともに、1以上の被写体の特徴点が記憶されているテンプレートである。具体的には、1以上の被写体の両眼間、眼と鼻孔、眼と口の距離等の比率が記憶されている。次に操作部9を上下させ、追尾したい被写体の番号を選択し(ステップS44)、この時(g)のようにリストの番号の背景色が変わり、操作ボタン10を押して確定する(ステップS45)。本実施例では操作ボタン10はステップS45では追尾被写体を確定する機能、ステップS57では、追尾を開始するときの追尾開始ボタンとなるようにCPU5で機能を割り当てている。このステップS45までが追尾したい被写体を選定する被写体選定ステップである。本実施例では、操作部9を操作して被写体リストから被写体の選定を行ったが、タッチパネルを使用して、追尾したい被写体画像をタッチすることで被写体の選定を行っても良い。
First, when performing the registration setting similarly to steps S1 to S3 in FIG. 3 of the first embodiment, the operator presses the
ステップS45で被写体が確定されると被写体の画像テンプレートとともに構図・表示サイズ設定表示が画面に表示される(ステップS46)。その後のステップS47〜S49は、実施例1の図3のステップS5〜S7と同様なので詳細説明は省略する。ステップS49でいずれか一つのショットボタン16を押すと、選定した追尾被写体のテンプレート、構図・表示サイズ設定表示Fzの中心座標Zp、表示サイズZtがメモリ17に記憶される。引き続き登録設定を続ける場合は、ステップS42〜S50を繰り返す。
When the subject is determined in step S45, a composition / display size setting display is displayed on the screen together with the image template of the subject (step S46). Subsequent steps S47 to S49 are the same as steps S5 to S7 of FIG. When any one
追尾を開始する場合、ショットボタン16のいずれかに登録した追尾被写体、構図・表示サイズ設定表示の出力位置、表示サイズで追尾を開始したい場合(ステップS51)は、ショットボタン16を押す(ステップS52)。この時、メモリ17から構図・表示サイズ設定表示の中心座標Zp、 表示サイズZt、被写体テンプレートが呼び出され(ステップS53)、CPU5にZp、Zt、被写体テンプレートの特徴点TP0が初期値として設定される(ステップS54)。ショットボタン16が押されない場合は、画面中央の座標、既定の表示サイズ(顔認識可能な最低画素数の大きさ)、被写体テンプレートなしが初期値として設定される(ステップS55)。ステップS54、または、ステップS55の後、被写体画像のテンプレート、構図・表示サイズ設定表示Fzが画面に表示される(ステップS56)。最後に、操作ボタン10を押すことで(ステップS57)、追尾が開始される(ステップS58)。
When starting tracking, if you want to start tracking with the tracking subject registered in any of the
以上までが、被写体の有無とは無関係に追尾開始前に事前に被写体の選定、構図、表示サイズの設定および登録する方法である。 The above is a method of selecting, composing, and setting and registering a subject in advance before starting tracking regardless of the presence or absence of the subject.
次に追尾開始後の被写体の変更、および、構図、表示サイズの変更方法に関してのフローチャート図を図7に示す。図7のステップS67以外は、図4の実施例1の追尾開始後のフローと同様なので、ステップS67のみ説明する。ステップS67では、顔認識された被写体の特徴点が、ショットボタン16で呼び出された被写体テンプレートの特徴点と一致するか判定する。特徴点が一致した場合は、次のフローに進み追尾動作を行う。特徴点が一致しない場合はステップS65に戻り、特徴点が一致するまで、または、ショットボタン16のいずれかが押されるまで(ステップS59)、画面上で被写体を捜索する。
Next, FIG. 7 shows a flowchart regarding the method for changing the subject, composition, and display size after the start of tracking. Except for step S67 in FIG. 7, the flow is the same as that after the start of tracking in the first embodiment in FIG. 4, so only step S67 will be described. In step S67, it is determined whether or not the feature point of the subject whose face has been recognized matches the feature point of the subject template called by the
このようにして、追尾動作中にショットボタン16のいずれか一つを押すことで追尾中に被写体の変更、および、構図、表示サイズの変更が可能となる。
In this way, by pressing any one of the
以上の実施例1、2、3においては、自動追尾カメラの制御装置について説明したが、本発明は、自動追尾カメラシステム等にも適用可能である。具体的には、図1に記載したカメラ1や電動雲台2と操作器3の全てを併せ持つ自動追尾カメラシステムにも適用できる。なお、カメラ1によって撮影される映像を観察するためのモニタ14等の表示手段を併せ持つことが好ましい。
In the first, second, and third embodiments, the control device for the automatic tracking camera has been described. However, the present invention can also be applied to an automatic tracking camera system and the like. Specifically, the present invention can also be applied to an automatic tracking camera system that includes all of the
つまり、自動追尾カメラシステムは、カメラ1と、このカメラ1を搭載した雲台2と、操作器3とを備えている。また、操作器3は、画面上において追尾被写体を出力する位置を設定する出力位置設定手段、被写体の表示サイズを設定する表示サイズ設定手段、構図、表示サイズを登録および呼び出す手段と、を備えている。更に、追尾したい被写体を選択する被写体選定手段も併せ持っていても良い。また、被写体選定手段、出力位置設定手段をタッチパネル付き表示部に設けて、追尾したい被写体をタッチして、被写体を選定したり、被写体を表示部上で移動できるようにしても良い。
That is, the automatic tracking camera system includes a
上記の実施例においては、追尾被写体の追尾位置や大きさを画面上に構図・表示サイズ設定枠(構図・表示サイズ設定表示)として、表示する構成とした。構図・表示サイズ設定表示としては、矩形、円形、楕円形など、様々な形状を使用しても良い。また、その形状の表示方法についても、輪郭を所定の色の線で描画しても良いし、その形状の輪郭で囲まれた領域内を他の領域と区別できる色で特定出来るように描画してもよい。更に、画面内の領域に直接描画することなく、直交する2方向(例えば、画面の横方向と縦方向)の座標範囲を数字で示すことによって画面内の領域を特定するようにしても良い。上記の実施例において、追尾被写体の物体距離の如何に関わらず、画面上に所望の表示サイズで表示するために、カメラ1はズーム機能を有する。このズーム機能は、カメラ装置に含まれるレンズ内の所定のレンズ群を光軸方向に移動させること(所謂、光学式ズーム)により、或いは、固体撮像素子で撮像された後の撮像データを所望の大きさに拡大或いは縮小すること(所謂、電子式ズームまたはデジタルズーム)により、画面上に所望の表示サイズで表示することができる。
In the above embodiment, the tracking position and size of the tracking subject are displayed as a composition / display size setting frame (composition / display size setting display) on the screen. As the composition / display size setting display, various shapes such as a rectangle, a circle, and an ellipse may be used. As for the display method of the shape, the outline may be drawn with a line of a predetermined color, or the area surrounded by the outline of the shape may be drawn with a color that can be distinguished from other areas. May be. Furthermore, the region in the screen may be specified by indicating the coordinate range in two orthogonal directions (for example, the horizontal direction and the vertical direction of the screen) with numerals without directly drawing in the region in the screen. In the above embodiment, the
1 カメラ
2 電動雲台
3 操作器(制御装置)
4 画像信号処理部
5 CPU
9 操作部
11 顔認識部
13 制御演算部
14 モニタ
1
4 Image signal processor 5 CPU
9 Operation unit 11
Claims (8)
前記モニタに表示されている画像とは無関係に、追尾する被写体を表示すべき画像内の位置と表示サイズを設定するため、前記表示されている画像に構図・表示サイズ設定表示を重ねて表示する設定表示生成手段と、
前記構図・表示サイズ設定表示を前記画像内に出力する位置を設定する出力位置設定手段と、
前記構図・表示サイズ設定表示の前記画像内での表示サイズを設定する表示サイズ設定手段と、
該カメラ装置により撮影された画像内で追尾する被写体を認識し、該被写体を、該出力位置設定手段によって設定された前記画像内の位置に、該表示サイズ設定手段によって設定された表示サイズで表示するように、前記雲台のパン方向及びチルト方向の駆動と、前記カメラ装置のズーム機能を制御する、制御手段と、
を備えることを特徴とする自動追尾カメラの制御装置。 A control device for an automatic tracking camera, comprising: a camera device having a zoom function; a pan head that drives the camera device in a pan direction and a tilt direction; and a monitor that displays an image captured by the camera device. ,
Regardless of the image displayed on the monitor, the composition / display size setting display is superimposed on the displayed image in order to set the position and display size in the image where the subject to be tracked should be displayed. Setting display generation means;
Output position setting means for setting a position for outputting the composition / display size setting display in the image;
Display size setting means for setting a display size in the image of the composition / display size setting display;
A subject to be tracked is recognized in an image captured by the camera device, and the subject is displayed at a position in the image set by the output position setting unit with a display size set by the display size setting unit. Control means for controlling the pan and tilt directions of the camera platform and the zoom function of the camera device;
An automatic tracking camera control device comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012180513A JP2014039166A (en) | 2012-08-16 | 2012-08-16 | Controller of automatic tracking camera and automatic tracking camera equipped with the same |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012180513A JP2014039166A (en) | 2012-08-16 | 2012-08-16 | Controller of automatic tracking camera and automatic tracking camera equipped with the same |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2014039166A true JP2014039166A (en) | 2014-02-27 |
Family
ID=50286978
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012180513A Pending JP2014039166A (en) | 2012-08-16 | 2012-08-16 | Controller of automatic tracking camera and automatic tracking camera equipped with the same |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2014039166A (en) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016125372A1 (en) * | 2015-02-02 | 2016-08-11 | 富士フイルム株式会社 | Tracking system, terminal device, camera device, tracking and image capturing method and program |
JPWO2016125351A1 (en) * | 2015-02-02 | 2017-11-02 | 富士フイルム株式会社 | Operating device, tracking system, operating method, and program |
JP2018139052A (en) * | 2017-02-24 | 2018-09-06 | 株式会社リコー | Communication terminal, image communication system, display method and program |
US10652449B2 (en) | 2016-03-08 | 2020-05-12 | Sony Corporation | Information processing apparatus, information processing method, and program |
-
2012
- 2012-08-16 JP JP2012180513A patent/JP2014039166A/en active Pending
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016125372A1 (en) * | 2015-02-02 | 2016-08-11 | 富士フイルム株式会社 | Tracking system, terminal device, camera device, tracking and image capturing method and program |
CN107211089A (en) * | 2015-02-02 | 2017-09-26 | 富士胶片株式会社 | Tracking system, terminal installation, camera apparatus, follow shot method and program |
JPWO2016125351A1 (en) * | 2015-02-02 | 2017-11-02 | 富士フイルム株式会社 | Operating device, tracking system, operating method, and program |
US10192318B2 (en) | 2015-02-02 | 2019-01-29 | Fujifilm Corporation | Tracking system, terminal device, camera device, tracking imaging method, and program |
US10652449B2 (en) | 2016-03-08 | 2020-05-12 | Sony Corporation | Information processing apparatus, information processing method, and program |
JP2018139052A (en) * | 2017-02-24 | 2018-09-06 | 株式会社リコー | Communication terminal, image communication system, display method and program |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5591006B2 (en) | Control device for automatic tracking camera system and automatic tracking camera system having the same | |
KR101813834B1 (en) | Image processing device, image processing method, image processing program and photographing assist equipment | |
JP5911201B2 (en) | Automatic tracking control device for camera device and automatic tracking camera system having the same | |
US20130314547A1 (en) | Controlling apparatus for automatic tracking camera, and automatic tracking camera having the same | |
US9025044B2 (en) | Imaging device, display method, and computer-readable recording medium | |
WO2016119301A1 (en) | Terminal, and image capturing method and device | |
US20110019066A1 (en) | Af frame auto-tracking system | |
KR101674586B1 (en) | Method and Apparatus for Setting Image of PTZ Camera | |
JP2011107396A (en) | Autofocus system | |
JP2010124120A (en) | Autofocus system | |
KR102575196B1 (en) | Photography method, photography apparatus, electronic device, and storage medium | |
JP6566626B2 (en) | Imaging device | |
JP2013106266A (en) | Automatic tracking camera system | |
US20100123790A1 (en) | Autofocus system | |
JP2014039166A (en) | Controller of automatic tracking camera and automatic tracking camera equipped with the same | |
JP2000270254A (en) | Remotely controlled universal head system | |
JP5317607B2 (en) | Automatic tracking camera control device, automatic tracking camera system, and automatic tracking camera control method | |
US9300878B2 (en) | Imaging apparatus and method for controlling imaging apparatus | |
JP2001036898A (en) | Camera system for generating panoramic video | |
JP2011215441A (en) | Projecting device | |
JP2010085530A (en) | Autofocus system | |
JP5081133B2 (en) | Auto focus system | |
JP2011188258A (en) | Camera system | |
KR20110090623A (en) | Home network terminal being capable of tracking face and method thereof | |
JP2011022203A (en) | Af frame automatic follow-up system and method for automatically following up af frame |