JP2019149659A - Moving object tracking device and program - Google Patents

Moving object tracking device and program Download PDF

Info

Publication number
JP2019149659A
JP2019149659A JP2018032790A JP2018032790A JP2019149659A JP 2019149659 A JP2019149659 A JP 2019149659A JP 2018032790 A JP2018032790 A JP 2018032790A JP 2018032790 A JP2018032790 A JP 2018032790A JP 2019149659 A JP2019149659 A JP 2019149659A
Authority
JP
Japan
Prior art keywords
unit
prediction information
camera
state value
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018032790A
Other languages
Japanese (ja)
Other versions
JP7049858B2 (en
Inventor
渡部 悟
Satoru Watabe
悟 渡部
隼 浅野
Hayato Asano
隼 浅野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Broadcasting Corp
Original Assignee
Nippon Hoso Kyokai NHK
Japan Broadcasting Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Hoso Kyokai NHK, Japan Broadcasting Corp filed Critical Nippon Hoso Kyokai NHK
Priority to JP2018032790A priority Critical patent/JP7049858B2/en
Publication of JP2019149659A publication Critical patent/JP2019149659A/en
Application granted granted Critical
Publication of JP7049858B2 publication Critical patent/JP7049858B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Studio Devices (AREA)

Abstract

To provide a moving object tracking device capable of smoothly tracking a moving object.SOLUTION: A moving object tracking device 30 comprises: a state value input unit 320 to which a state value is inputted; a prediction information requesting unit 321 which requests a prediction of sensor information; a prediction information generating unit 311 which generates the prediction information including past, current and future position data of the moving object; a position data acquisition unit 324 for acquiring the position data from the prediction information; a difference calculation unit 325 for calculating a difference of the prediction information; a control information generating unit 326 which generates control information on the basis of the difference and corrects the control information on the basis of the state value and the position data; and a command conversion unit 327 which converts the control information into an instruction command of a robot camera 40.SELECTED DRAWING: Figure 3

Description

本発明は、動体追尾装置及びそのプログラムに関する。   The present invention relates to a moving object tracking device and a program thereof.

従来より、航空機などの動体を自動追尾しながら撮影する自動追尾撮影システムが提案されている(特許文献1)。例えば、従来の自動追尾撮影システムは、センサカメラが取得した位置情報(センサ情報)に基づいて、撮影カメラが動体を追尾するように雲台を制御する雲台制御部を備えるものである。   2. Description of the Related Art Conventionally, an automatic tracking imaging system that captures images while automatically tracking moving objects such as aircraft has been proposed (Patent Document 1). For example, a conventional automatic tracking imaging system includes a camera platform control unit that controls the camera platform so that the imaging camera tracks a moving object based on position information (sensor information) acquired by the sensor camera.

特開2016−58986号公報Japanese Patent Laid-Open No. 2006-58986

従来の自動追尾撮影システムにおいて、一般のロボットカメラ雲台システムを利用する場合、雲台が撮影カメラの現在の方向を度数表記の極座標系で出力する。その一方、雲台の制御は、動作速度(パンやチルトなどの速度指示)でしか行えず、その動作指示も所定段階数(例えば、±63段階)の指令コマンドに変換して離散的な値でしか制御できない場合がある。また、撮影カメラは、一定の質量を有し、雲台の駆動トルクも有限のため、指令コマンドを受け取っても直ぐに意図した速度に到達するわけでなく、ゆっくり動きだして速度が上昇し、ある程度の時間で一定の速度となる。このため、撮影カメラでは、停止している場合に振り遅れ、動体の速度が変わった場合に追尾誤差が生じる。従って、従来の自動追尾撮影システムでは、雲台からのフィードバック信号を利用する必要があるが、遅延が多く、撮影カメラの方向を正確に把握するのが困難である。   When a general robot camera pan head system is used in a conventional automatic tracking photographing system, the pan head outputs the current direction of the photographing camera in a polar coordinate system expressed in degrees. On the other hand, the pan head can be controlled only by the operation speed (speed instruction such as pan and tilt), and the operation instruction is also converted into a command command of a predetermined number of steps (for example, ± 63 steps) to obtain discrete values. In some cases, it can only be controlled. In addition, since the camera has a constant mass and the driving torque of the pan head is limited, it does not reach the intended speed immediately after receiving the command command, but it moves slowly and the speed increases. The speed is constant over time. For this reason, in the photographing camera, a swing error occurs when the camera is stopped, and a tracking error occurs when the speed of the moving object changes. Therefore, in the conventional automatic tracking imaging system, it is necessary to use a feedback signal from the camera platform, but there are many delays, and it is difficult to accurately grasp the direction of the imaging camera.

本発明は、前記した課題を解決し、動体を滑らかに追尾できる動体追尾装置及びそのプログラムを提供することを課題とする。   An object of the present invention is to solve the above-described problems and to provide a moving object tracking device and a program thereof that can smoothly track a moving object.

前記した課題に鑑みて、本発明に係る動体追尾装置は、撮影カメラに対する動体の位置を表す位置情報を用いて、撮影カメラに動体を追尾させる動体追尾装置であって、状態値入力部と、予測情報要求部と、予測情報生成部と、位置データ取得部と、差分算出部と、制御情報生成部と、撮影カメラ制御部と、を備える構成とした。   In view of the above-described problem, the moving object tracking device according to the present invention is a moving object tracking device that causes a shooting camera to track a moving object using position information indicating the position of the moving object with respect to the shooting camera, and a state value input unit; The prediction information request unit, the prediction information generation unit, the position data acquisition unit, the difference calculation unit, the control information generation unit, and the photographing camera control unit are provided.

この動体追尾装置によれば、状態値入力部は、撮影カメラの状態変化中、所定の入力間隔で撮影カメラの状態値が入力される(フィードバック信号)。
予測情報要求部は、状態値入力部に状態値が入力されたとき、又は、状態値が入力されずに予め設定した待機時間が経過したとき、位置情報の予測を要求する。
予測情報生成部は、入力された位置情報に基づいて、撮影カメラに対する動体の過去位置及び現在位置から予測位置を求め、過去位置と現在位置と予測位置とが位置データとして含まれる予測情報を生成する。
位置データ取得部は、現在位置を基準として予め設定した遅延時間の位置データを取得する。
According to this moving object tracking device, the state value input unit receives the state value of the photographing camera at a predetermined input interval during the state change of the photographing camera (feedback signal).
The prediction information request unit requests prediction of position information when a state value is input to the state value input unit, or when a preset standby time has elapsed without the state value being input.
The prediction information generation unit obtains a prediction position from the past position and the current position of the moving object with respect to the imaging camera based on the input position information, and generates prediction information including the past position, the current position, and the prediction position as position data. To do.
The position data acquisition unit acquires position data of a delay time set in advance with the current position as a reference.

差分算出部は、撮影カメラを制御するときの制御時点での予測位置と、制御時点に予め設定した更新間隔を加えた時刻での予測位置との差分を算出する。
制御情報生成部は、差分算出部が算出した差分に基づいて、撮影カメラの動作速度を表す制御情報を生成し、状態値入力部に入力された状態値及び前記位置データ取得部が取得した位置データに基づいて、制御情報を補正する。
撮影カメラ制御部は、制御情報に基づいて、撮影カメラを制御する。
このように、動体追尾装置は、遅延時間として、撮影カメラから状態値(フィードバック信号)が入力されるときの遅延や、予測位置を求めるときの遅延を考慮するので、撮影カメラの方向を正確に把握できる。
The difference calculation unit calculates a difference between a predicted position at the time of control when the photographing camera is controlled and a predicted position at a time obtained by adding a preset update interval to the control time.
The control information generation unit generates control information indicating the operation speed of the photographing camera based on the difference calculated by the difference calculation unit, and the state value input to the state value input unit and the position acquired by the position data acquisition unit The control information is corrected based on the data.
The photographing camera control unit controls the photographing camera based on the control information.
In this way, the moving object tracking device takes into account the delay when the state value (feedback signal) is input from the photographing camera and the delay when obtaining the predicted position as the delay time, so the direction of the photographing camera is accurately determined. I can grasp.

本発明によれば、以下のような優れた効果を奏する。
本発明に係る動体追尾装置は、遅延時間及び更新間隔を考慮して制御情報を生成するので、動体を滑らかに追尾することができる。
According to the present invention, the following excellent effects can be obtained.
Since the moving body tracking device according to the present invention generates control information in consideration of the delay time and the update interval, the moving body can be tracked smoothly.

本発明の実施形態において、航空機追尾撮影システムの全体構成図である。1 is an overall configuration diagram of an aircraft tracking imaging system in an embodiment of the present invention. 図1のセンサカメラの設置方法を説明する説明図である。It is explanatory drawing explaining the installation method of the sensor camera of FIG. 図1の動体追尾装置の構成を示すブロック図である。It is a block diagram which shows the structure of the moving body tracking apparatus of FIG. 図3の動体追尾装置の動作を示すフローチャートである。It is a flowchart which shows operation | movement of the moving body tracking device of FIG. 本発明の実施形態において、動体の追尾を説明する説明図である。In embodiment of this invention, it is explanatory drawing explaining tracking of a moving body. 本発明の変形例において、動体の追尾を説明する説明図である。It is explanatory drawing explaining tracking of a moving body in the modification of this invention.

[航空機追尾撮影システムの概略]
以下、本発明の実施形態について、適宜図面を参照しながら詳細に説明する。
図1を参照し、航空機追尾撮影システム1の概略について説明する。
航空機追尾撮影システム1は、空港を離発着する航空機をロボットカメラ(撮影カメラ)40で追尾して撮影するものであり、図1に示すように、センサカメラ10(10,10,10)と、動体検出装置20(20,20,20)と、動体追尾装置30と、ロボットカメラ40とを備える。
[Outline of aircraft tracking system]
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings as appropriate.
An outline of the aircraft tracking imaging system 1 will be described with reference to FIG.
The aircraft tracking imaging system 1 tracks and images an aircraft that leaves and arrives at an airport with a robot camera (imaging camera) 40. As shown in FIG. 1, the sensor camera 10 (10 R , 10 C , 10 L ) And a moving object detection device 20 (20 R , 20 C , 20 L ), a moving object tracking device 30, and a robot camera 40.

なお、動体とは、移動する物体や人物のことであり、動体追尾装置30の追尾対象となる。本実施形態では、動体として、空港を離発着中の航空機を例示するが、動体が特に制限されないことは言うまでもない。   The moving object is a moving object or person and is a tracking target of the moving object tracking device 30. In the present embodiment, an aircraft taking off and landing at an airport is illustrated as a moving object, but it goes without saying that the moving object is not particularly limited.

センサカメラ10は、航空機を撮影してセンサ映像90を生成するものであり、例えば、撮影方向及び撮影画角が一定の固定カメラである。そして、センサカメラ10は、生成したセンサ映像90を動体検出装置20に出力する。
ここで、センサカメラ10は、1台以上、必要に応じた台数を設置できる。本実施形態では、センサカメラ10は、図2に示すように、滑走路全体を撮影できるように、空港中央の建物屋上に3台設置されている。図2では、センサカメラ10が滑走路右側を向き、センサカメラ10が滑走路中央を向き、センサカメラ10が滑走路左側を向いている。そして、センサカメラ10,10,10は、それぞれの撮影方向で滑走路を撮影したセンサ映像90,90,90を生成する。
The sensor camera 10 captures an aircraft and generates a sensor image 90. For example, the sensor camera 10 is a fixed camera with a constant shooting direction and shooting angle of view. Then, the sensor camera 10 outputs the generated sensor video 90 to the moving object detection device 20.
Here, one or more sensor cameras 10 can be installed as necessary. In this embodiment, as shown in FIG. 2, three sensor cameras 10 are installed on the building rooftop in the center of the airport so that the entire runway can be photographed. In Figure 2, the sensor camera 10 R faces the runway right sensor camera 10 C faces the runway center sensor camera 10 L is facing runway left. The sensor camera 10 R, 10 C, 10 L, the sensor image 90 R taken runways in each photographing direction, 90 C, to produce a 90 L.

動体検出装置20は、センサカメラ10より入力されたセンサ映像90から航空機を検出し、その検出結果(動体検出結果)を動体追尾装置30に出力するものである。動体検出装置20は、一般的な手法で航空機を検出できる。例えば、航空機の検出手法としては、航空機のADS-B(Automatic Dependent Surveillance-Broadcast)信号を利用する手法や、レーダ画像から航空機の進路を予測する手法があげられる。
本実施形態では、動体検出装置20は、センサカメラ10と1対1で対応するように、空港から離れた別の場所に3台設置されている。そして、動体検出装置20がセンサカメラ10のセンサ映像90を画像解析し、動体検出装置20がセンサカメラ10のセンサ映像90を画像解析し、動体検出装置20がセンサカメラ10のセンサ映像90を画像解析する。
The moving object detection device 20 detects an aircraft from the sensor video 90 input from the sensor camera 10 and outputs the detection result (moving object detection result) to the moving object tracking device 30. The moving object detection apparatus 20 can detect an aircraft by a general method. For example, as an aircraft detection method, there are a method using an aircraft ADS-B (Automatic Dependent Surveillance-Broadcast) signal and a method of predicting the course of an aircraft from a radar image.
In the present embodiment, three moving object detection devices 20 are installed at different locations away from the airport so as to correspond one-to-one with the sensor camera 10. Then, the moving object detection device 20 R performs image analysis on the sensor image 90 R of the sensor camera 10 R , the moving object detection device 20 C performs image analysis on the sensor image 90 C of the sensor camera 10 C , and the moving object detection device 20 L detects the sensor camera. Image analysis of 10 L sensor image 90 L is performed.

動体追尾装置30は、動体検出装置20から入力された動体検出結果を用いて、ロボットカメラ40に航空機を追尾させるものである。この動体追尾装置30は、ロボットカメラ40が航空機を追尾するように、ロボットカメラ40に指令コマンドを出力する。本実施形態では、動体追尾装置30は、動体検出装置20と同じ場所に1台設置されている。   The moving object tracking device 30 causes the robot camera 40 to track the aircraft using the moving object detection result input from the moving object detection device 20. The moving body tracking device 30 outputs a command command to the robot camera 40 so that the robot camera 40 tracks the aircraft. In the present embodiment, one moving body tracking device 30 is installed at the same place as the moving body detection device 20.

ロボットカメラ40は、動体追尾装置30からの指令コマンドに従って駆動し、航空機を撮影した撮影映像91を生成するものである。このロボットカメラ40は、パンやチルトなどの状態を変化させることが可能な一般的なロボットカメラである。ロボットカメラ40は、航空機の撮影映像91を生成するカメラ本体41と、搭載したカメラ本体41の姿勢を変化させる雲台43とを備える。本実施形態では、ロボットカメラ40は、センサカメラ10と同様、空港中央の建物屋上に1台設置されている。
本実施形態では、ロボットカメラ40及び動体追尾装置30は、低速のシリアル回線で接続されている。従って、ロボットカメラ40及び動体追尾装置30の間は、高ビットレートでの入出力が困難である。
The robot camera 40 is driven in accordance with a command command from the moving body tracking device 30 and generates a photographed image 91 obtained by photographing an aircraft. The robot camera 40 is a general robot camera capable of changing a state such as panning and tilting. The robot camera 40 includes a camera main body 41 that generates a captured image 91 of the aircraft, and a pan head 43 that changes the posture of the mounted camera main body 41. In the present embodiment, one robot camera 40 is installed on the building roof in the center of the airport, like the sensor camera 10.
In this embodiment, the robot camera 40 and the moving object tracking device 30 are connected by a low-speed serial line. Therefore, it is difficult to input / output between the robot camera 40 and the moving object tracking device 30 at a high bit rate.

また、ロボットカメラ40は、状態変化中、フィードバック信号として、所定の入力間隔(例えば、0.5秒)おきに状態値を動体追尾装置30に出力する。本実施形態では、ロボットカメラ40は、状態値として、ロボットカメラ40の撮影方向(AZ角、EL角)を出力する。
ここで、ロボットカメラ40は、AZ角(方位角)又はEL角(仰俯角)の一方、あるいは両方が変化している場合、変化しているAZ角又はEL角の値を動体追尾装置30に出力する。
一方、ロボットカメラ40は、姿勢が変化していないとき(つまり、AZ角及びEL角の両方が変化していないとき)、状態値を動体追尾装置30に出力しない。
Further, the robot camera 40 outputs a state value to the moving body tracking device 30 as a feedback signal during a state change at predetermined input intervals (for example, 0.5 seconds). In the present embodiment, the robot camera 40 outputs the shooting direction (AZ angle, EL angle) of the robot camera 40 as the state value.
Here, when one or both of the AZ angle (azimuth angle) and the EL angle (elevation angle) are changing, the robot camera 40 sends the changed value of the AZ angle or EL angle to the moving object tracking device 30. Output.
On the other hand, the robot camera 40 does not output the state value to the moving body tracking device 30 when the posture is not changed (that is, when both the AZ angle and the EL angle are not changed).

[動体追尾装置の構成]
図3を参照し、動体追尾装置30の構成について説明する。
図3に示すように、動体追尾装置30は、航空機の位置を特定し、その予測情報を生成する位置特定部31と、位置特定部31が生成した予測情報を利用してロボットカメラ40を制御するロボットカメラ制御部32とを備える。
位置特定部31は、センサ情報生成部310と、予測情報生成部311と、予測情報記憶部312と、要求入力部313と、予測情報出力部314とを備える。
[Configuration of moving object tracking device]
With reference to FIG. 3, the structure of the moving body tracking device 30 is demonstrated.
As illustrated in FIG. 3, the moving body tracking device 30 specifies the position of the aircraft, generates a prediction information thereof, and controls the robot camera 40 using the prediction information generated by the position specification unit 31. And a robot camera control unit 32.
The position specifying unit 31 includes a sensor information generation unit 310, a prediction information generation unit 311, a prediction information storage unit 312, a request input unit 313, and a prediction information output unit 314.

センサ情報生成部310は、動体検出装置20から入力された動体検出結果に基づいて、センサ情報(位置情報)を生成し、生成したセンサ情報を予測情報生成部311に出力するものである。本実施形態では、センサ情報生成部310は、所定の生成間隔(例えば、0.1秒間隔)で動体検出結果が入力されるので、動体検出結果が入力される都度、センサ情報を生成することになる。   The sensor information generation unit 310 generates sensor information (position information) based on the moving object detection result input from the moving object detection device 20, and outputs the generated sensor information to the prediction information generation unit 311. In the present embodiment, the sensor information generation unit 310 receives the moving object detection result at a predetermined generation interval (for example, every 0.1 second), and therefore generates sensor information each time the moving object detection result is input. become.

なお、センサ情報とは、ロボットカメラ40に対する航空機の位置(方向)を表す情報である。例えば、センサ情報は、ロボットカメラ40の状態値と同様、ロボットカメラ40から航空機を見たときのAZ角及びEL角で表される。このセンサ情報は、物理的には方向を意味するが、論理的には球面の極座標系で展開されるので位置情報と呼ばれることがある。   The sensor information is information representing the position (direction) of the aircraft with respect to the robot camera 40. For example, the sensor information is represented by the AZ angle and the EL angle when the aircraft is viewed from the robot camera 40, similarly to the state value of the robot camera 40. This sensor information physically means a direction, but is logically developed in a spherical polar coordinate system, so it may be called position information.

ここで、センサ情報生成部310は、任意の手法でセンサ情報を生成できる。例えば、センサ情報生成部310は、センサカメラ10毎に、センサ映像90の画像座標を極座標系に変換する変換パラメータを予め設定する。そして、センサ情報生成部310は、この変換パラメータを参照し、動体検出結果が示すセンサ映像90の画像座標をセンサ情報に変換する。   Here, the sensor information generation unit 310 can generate sensor information by an arbitrary method. For example, the sensor information generation unit 310 presets conversion parameters for converting the image coordinates of the sensor video 90 into a polar coordinate system for each sensor camera 10. Then, the sensor information generation unit 310 refers to this conversion parameter and converts the image coordinates of the sensor video 90 indicated by the moving object detection result into sensor information.

予測情報生成部311は、センサ情報生成部310からセンサ情報が入力されると、予測情報を生成するものである。具体的には、予測情報生成部311は、センサ情報生成部310から入力された現在のセンサ情報、及び、予測情報記憶部312に記憶されている過去のセンサ情報から未来のセンサ情報を予測し、予測情報を生成する。
その後、予測情報生成部311は、生成した予測情報及びセンサ情報を予測情報記憶部312に書き込む。
When the sensor information is input from the sensor information generation unit 310, the prediction information generation unit 311 generates prediction information. Specifically, the prediction information generation unit 311 predicts future sensor information from the current sensor information input from the sensor information generation unit 310 and past sensor information stored in the prediction information storage unit 312. , Generate prediction information.
Thereafter, the prediction information generation unit 311 writes the generated prediction information and sensor information in the prediction information storage unit 312.

この予測情報は、ロボットカメラ40に対する航空機の過去位置と現在位置と予測位置との位置データが含まれる。つまり、予測情報には、位置データとして、過去のセンサ情報(実測値)と、現在時点のセンサ情報(実測値)と、未来のセンサ情報(予測値)とが含まれる。   This prediction information includes position data of the past position, current position, and predicted position of the aircraft with respect to the robot camera 40. That is, the prediction information includes past sensor information (actually measured value), sensor information at the present time (actually measured value), and future sensor information (predicted value) as position data.

例えば、予測情報生成部311は、センサ情報の線形予測により予測情報を生成する。具体的には、予測情報生成部311は、過去及び現在のセンサ情報から、未来の航空機位置を線形的に予測する。この予測情報には、例えば、1.0秒分(0.1秒単位で10個)の過去の位置データと、現在から未来まで2.0秒分(0.1秒単位で20個)の位置データとが含まれる。この予測情報に含まれる過去及び未来の位置データの個数は任意であり、例えば、航空機追尾撮影システム1での各種遅延や航空機の移動速度などの要因を考慮して設定する。
なお、予測情報生成部311は、線形予測だけでなく、2次近似やスプライン関数を用いた方法によって予測情報を生成してもよい。
For example, the prediction information generation unit 311 generates prediction information by linear prediction of sensor information. Specifically, the prediction information generation unit 311 predicts a future aircraft position linearly from past and current sensor information. The prediction information includes, for example, past position data of 1.0 seconds (10 in 0.1 second units) and 2.0 seconds (20 in 0.1 second units) from the present to the future. Position data. The number of past and future position data included in this prediction information is arbitrary, and is set in consideration of factors such as various delays in the aircraft tracking imaging system 1 and the moving speed of the aircraft.
Note that the prediction information generation unit 311 may generate prediction information not only by linear prediction but also by a method using quadratic approximation or a spline function.

予測情報記憶部312は、予測情報及びセンサ情報を記憶するメモリ、HDD(Hard Disk Drive)、SSD(Solid State Drive)などの記憶装置である。この予測情報記憶部312は、予測情報生成部311によって最新の予測情報及びセンサ情報が逐次書き込まれ、それ以前のセンサ情報を過去のセンサ情報として蓄積する。   The prediction information storage unit 312 is a storage device such as a memory that stores prediction information and sensor information, an HDD (Hard Disk Drive), and an SSD (Solid State Drive). In the prediction information storage unit 312, the latest prediction information and sensor information are sequentially written by the prediction information generation unit 311, and previous sensor information is accumulated as past sensor information.

要求入力部313は、後記する予測情報要求部321から予測情報要求が入力されるものである。そして、要求入力部313は、予測情報要求部321から予測情報要求が入力されると、予測情報要求の入力を予測情報出力部314に通知する(予測情報要求通知)。   The request input unit 313 receives a prediction information request from a prediction information request unit 321 described later. Then, when the prediction information request is input from the prediction information request unit 321, the request input unit 313 notifies the prediction information output unit 314 of the input of the prediction information request (prediction information request notification).

予測情報出力部314は、予測情報要求部321からの要求に応じて、予測情報記憶部312に記憶されている予測情報を、予測情報入力部322に出力するものである。つまり、予測情報出力部314は、要求入力部313から予測情報要求通知が入力されたとき、その予測情報を即座に予測情報入力部322に出力する。   The prediction information output unit 314 outputs the prediction information stored in the prediction information storage unit 312 to the prediction information input unit 322 in response to a request from the prediction information request unit 321. That is, when the prediction information request notification is input from the request input unit 313, the prediction information output unit 314 immediately outputs the prediction information to the prediction information input unit 322.

ロボットカメラ制御部32は、状態値入力部320と、予測情報要求部321と、予測情報入力部322と、予測情報記憶部323と、位置データ取得部324と、差分算出部325と、制御情報生成部326と、コマンド変換部327とを備える。なお、コマンド変換部327が、請求項に記載の撮影カメラ制御部に対応する。   The robot camera control unit 32 includes a state value input unit 320, a prediction information request unit 321, a prediction information input unit 322, a prediction information storage unit 323, a position data acquisition unit 324, a difference calculation unit 325, and control information. A generation unit 326 and a command conversion unit 327 are provided. The command conversion unit 327 corresponds to the photographing camera control unit described in the claims.

状態値入力部320は、ロボットカメラ40の状態変化中、所定の入力間隔(例えば、0.5秒)でロボットカメラ40の状態値が入力されるものである。すると、状態値入力部320は、状態値の入力を予測情報要求部321に通知する(状態値入力通知)。さらに、状態値入力部320は、ロボットカメラ40の状態値を制御情報生成部326に出力する。   The state value input unit 320 is for inputting the state value of the robot camera 40 at a predetermined input interval (for example, 0.5 seconds) while the state of the robot camera 40 is changing. Then, the state value input unit 320 notifies the prediction information request unit 321 of the state value input (state value input notification). Further, the state value input unit 320 outputs the state value of the robot camera 40 to the control information generation unit 326.

予測情報要求部321は、状態値入力部320から状態値入力通知が入力されたとき、又は、状態値入力通知が入力されずに所定の待機時間が経過したとき、最新の予測情報を要求入力部313に要求する(予測情報要求)。
本実施形態では、予測情報要求部321は、ロボットカメラ40の状態変化中、入力があるたびに0.5秒おきに予測情報要求を要求入力部313に出力する。また、予測情報要求部321は、ロボットカメラ40の状態が変化せずに待機時間が経過した場合にタイムアウトと判定し、予測情報要求を要求入力部313に出力する。
なお、待機時間は、任意の値で予め設定する。例えば、待機時間は、ロボットカメラ40が状態値を出力する間隔で設定可能であり、0.55秒などのように、0.5秒毎に入力されるべき状態値が雲台43から入力されないことが確定する適当な時間を設定するとよい。
The prediction information request unit 321 requests and inputs the latest prediction information when a state value input notification is input from the state value input unit 320 or when a predetermined standby time has elapsed without input of the state value input notification. Request to the unit 313 (prediction information request).
In the present embodiment, the prediction information request unit 321 outputs a prediction information request to the request input unit 313 every 0.5 seconds every time there is an input while the state of the robot camera 40 is changing. Further, the prediction information request unit 321 determines that a timeout has occurred when the standby time has elapsed without the state of the robot camera 40 being changed, and outputs a prediction information request to the request input unit 313.
Note that the standby time is set in advance as an arbitrary value. For example, the standby time can be set at an interval at which the robot camera 40 outputs a state value, and a state value to be input every 0.5 seconds is not input from the pan head 43, such as 0.55 seconds. It is recommended to set an appropriate time to confirm this.

予測情報入力部322は、予測情報要求部321の予測情報要求に応じて、予測情報出力部314から予測情報が入力されるものである。そして、予測情報入力部322は、入力された予測情報を予測情報記憶部323に書き込む。
予測情報記憶部323は、予測情報を記憶するメモリ、HDD、SSDなどの記憶装置である。この予測情報記憶部323が記憶する予測情報は、位置データ取得部324及び差分算出部325によって参照される。
The prediction information input unit 322 receives prediction information from the prediction information output unit 314 in response to the prediction information request from the prediction information request unit 321. Then, the prediction information input unit 322 writes the input prediction information in the prediction information storage unit 323.
The prediction information storage unit 323 is a storage device such as a memory, HDD, or SSD that stores prediction information. The prediction information stored in the prediction information storage unit 323 is referred to by the position data acquisition unit 324 and the difference calculation unit 325.

位置データ取得部324は、予測情報記憶部323の予測情報から、現在時点を基準として予め設定した遅延時間の位置データを取得するものである。そして、位置データ取得部324は、取得した位置データを制御情報生成部326に出力する。
この遅延時間は、ロボットカメラ40から状態値が入力されるときの遅延(図5のD11)と、予測位置を求めるときの遅延(図5のD12)に基づいて設定する。例えば、遅延時間は、D11−D12より0.4秒に設定するとよい。
The position data acquisition unit 324 acquires position data of a delay time set in advance from the prediction information in the prediction information storage unit 323 with reference to the current time point. Then, the position data acquisition unit 324 outputs the acquired position data to the control information generation unit 326.
This delay time is set based on the delay when the state value is input from the robot camera 40 (D 11 in FIG. 5) and the delay when obtaining the predicted position (D 12 in FIG. 5). For example, the delay time may be set to 0.4 seconds from D 11 -D 12 .

差分算出部325は、予測情報記憶部323の予測情報から、ロボットカメラ40を制御する制御時点での予測位置と、制御時点に予め設定した更新間隔を加えた時刻での予測位置との差分を算出するものである。そして、差分算出部325は、算出した差分を制御情報生成部326に出力する。
この更新間隔として、ロボットカメラ40がコマンド変換部327からの指令コマンドを更新するときの周期を考慮したコマンド更新間隔を設定する(図5のD)。例えば、更新間隔は、任意の値で設定可能であり、0.1秒に設定するとよい。この更新間隔は、速く動く航空機を追尾できるように十分に短い時間でありながら、指令コマンドをロボットカメラ40に遅滞なく伝送できるように設定することが好ましい。
The difference calculation unit 325 obtains the difference between the prediction position at the control time point for controlling the robot camera 40 and the prediction position at the time obtained by adding a preset update interval to the control time point from the prediction information in the prediction information storage unit 323. Is to be calculated. Then, the difference calculation unit 325 outputs the calculated difference to the control information generation unit 326.
As the update interval, a command update interval is set in consideration of the cycle when the robot camera 40 updates the command command from the command conversion unit 327 (D 2 in FIG. 5). For example, the update interval can be set to an arbitrary value, and may be set to 0.1 seconds. The update interval is preferably set so that the command command can be transmitted to the robot camera 40 without delay while being sufficiently short so that a fast-moving aircraft can be tracked.

制御情報生成部326は、差分算出部325から入力された差分に基づいて、ロボットカメラ40の動作速度を表す制御情報を生成するものである。この制御情報とは、ロボットカメラ40のパン速度(単位時間当たりのパン角度変化)やチルト速度(単位時間当たりのチルト角度変化)のことである。本実施形態では、制御情報生成部326は、差分算出部325が算出した差分(AZ角、EL角)を、ロボットカメラ40に出力する制御情報(パン速度、チルト速度)に変換する。   The control information generation unit 326 generates control information representing the operation speed of the robot camera 40 based on the difference input from the difference calculation unit 325. This control information is the pan speed (pan angle change per unit time) and tilt speed (tilt angle change per unit time) of the robot camera 40. In the present embodiment, the control information generation unit 326 converts the difference (AZ angle, EL angle) calculated by the difference calculation unit 325 into control information (pan speed, tilt speed) output to the robot camera 40.

次に、制御情報生成部326は、状態値入力部320から入力された状態値Xuと、位置データ取得部324から入力された位置データXdとに基づいて、制御情報を補正する。本実施形態では、制御情報生成部326は、下記の式(1)のように、位置データXdと状態値Xuとの差を求める。そして、制御情報生成部326は、求めた差に補正係数を乗じ、補正値Rを求める。この補正係数は、後記する修正時間Tの逆数及びハンチング防止係数Kの積となる。さらに、制御情報生成部326は、求めた補正値Rを制御情報に加算し、制御情報を補正する。その後、制御情報生成部326は、補正した制御情報をコマンド変換部327に出力する。
R=(Xd−Xu)/T×K …式(1)
Next, the control information generation unit 326 corrects the control information based on the state value Xu input from the state value input unit 320 and the position data Xd input from the position data acquisition unit 324. In the present embodiment, the control information generation unit 326 obtains a difference between the position data Xd and the state value Xu as in the following formula (1). Then, the control information generation unit 326 obtains a correction value R by multiplying the obtained difference by a correction coefficient. This correction coefficient is the product of the reciprocal of the correction time T described later and the hunting prevention coefficient K. Further, the control information generation unit 326 corrects the control information by adding the obtained correction value R to the control information. Thereafter, the control information generation unit 326 outputs the corrected control information to the command conversion unit 327.
R = (Xd−Xu) / T × K (1)

なお、修正時間Tは、自動追尾の誤差を補正しようとする時間(秒数)を表す。すなわち、制御情報生成部326は、自動追尾の誤差をT秒かけて修正するような速度で補正する。ハンチング防止係数Kは、ハンチングを防止するための係数であり、通常1以下である。ここで、ハンチング防止係数のため補正速度がK倍となっている。このため、実際にはT/K秒で修正するような速度で補正される。例えば、修正時間Tが1.0秒、ハンチング防止係数Kが0.6の場合、自動追尾の誤差を1.67秒かけて修正することと同等である。
また、補正値Rは、状態値の入力間隔(例えば、0.5秒)毎に修正の機会がある。
The correction time T represents the time (seconds) for correcting the automatic tracking error. That is, the control information generation unit 326 corrects the automatic tracking error at a speed that corrects the error in T seconds. The hunting prevention coefficient K is a coefficient for preventing hunting and is usually 1 or less. Here, the correction speed is K times due to the anti-hunting coefficient. For this reason, the correction is actually performed at a speed that is corrected in T / K seconds. For example, when the correction time T is 1.0 second and the hunting prevention coefficient K is 0.6, this is equivalent to correcting the automatic tracking error over 1.67 seconds.
Further, the correction value R has an opportunity to be corrected every time the state value is input (for example, 0.5 seconds).

コマンド変換部327は、制御情報生成部326から入力された制御情報を、ロボットカメラ40への指令コマンドに変換するものである。例えば、指令コマンドは、パン及びチルトについては、−63から+63までの127段階の数値で表される。そして、コマンド変換部327は、パンやチルトの指示であることを表す識別コマンドと、これらの数値とをセットにした指令コマンドを、ロボットカメラ40に出力する。
ここで、コマンド変換部327は、ロボットカメラ40が意図したとおりに動くように、制御情報を指令コマンドに変換する。例えば、コマンド変換部327は、線形関数、LUT(ルックアップテーブル)、べき関数(指数関数)、又は、べき関数を組み合わせた関数を用いて、変換を行うことができる。
The command conversion unit 327 converts the control information input from the control information generation unit 326 into a command command for the robot camera 40. For example, the command command is represented by 127-step numerical values from −63 to +63 for pan and tilt. Then, the command conversion unit 327 outputs to the robot camera 40 an identification command that indicates an instruction for panning or tilting and a command command in which these numerical values are set.
Here, the command conversion unit 327 converts the control information into a command command so that the robot camera 40 moves as intended. For example, the command conversion unit 327 can perform conversion using a linear function, an LUT (lookup table), a power function (exponential function), or a function that combines power functions.

[動体追尾装置の動作]
図4,図5を参照し、動体追尾装置30による動体追尾を具体的に説明する(適宜図3参照)。
[Operation of moving object tracking device]
The moving body tracking by the moving body tracking device 30 will be specifically described with reference to FIGS. 4 and 5 (see FIG. 3 as appropriate).

ここで、ロボットカメラ40が0.1秒毎のコマンドを受け付けて動作し、動体追尾装置30が0.1秒単位で動作を行い、予測情報Aが0.1秒単位で生成されることとする。
図5に示すように、ロボットカメラ40から状態値が入力されるときの遅延D11=0.6秒、及び、予測情報Aを生成するときの遅延D12=0.2秒に基づいて、D11−D12より、遅延時間=0.4秒が設定されている。
また、コマンド更新間隔D=0.1秒が設定されている。
Here, the robot camera 40 operates by receiving a command every 0.1 second, the moving body tracking device 30 operates in units of 0.1 seconds, and the prediction information A is generated in units of 0.1 seconds. To do.
As shown in FIG. 5, based on the delay D 11 = 0.6 seconds when the state value is input from the robot camera 40 and the delay D 12 = 0.2 seconds when generating the prediction information A, From D 11 -D 12 , delay time = 0.4 seconds is set.
The command update interval D 2 = 0.1 second is set.

まず、ロボットカメラ制御部32の処理を説明する。
前記したように、ロボットカメラ40は、状態変化中であっても、0.5秒おきにしか、状態値Xuを状態値入力部320に出力しない。つまり、状態値入力部320は、最短0.5秒間隔でロボットカメラ40から状態値Xuが入力される(ステップS1)。
First, the processing of the robot camera control unit 32 will be described.
As described above, the robot camera 40 outputs the state value Xu to the state value input unit 320 only every 0.5 seconds even when the state is changing. That is, the state value input unit 320 receives the state value Xu from the robot camera 40 at the shortest intervals of 0.5 seconds (step S1).

図5に示すように、ロボットカメラ40から入力された状態値Xuには、例えば、0.6秒の遅延が含まれている(遅延D11)。ここで、状態値入力部320に状態値Xuが入力された時刻を状態値入力時点とする。 As shown in FIG. 5, the state value Xu input from the robot camera 40 includes, for example, a delay of 0.6 seconds (delay D 11 ). Here, the time when the state value Xu is input to the state value input unit 320 is set as the state value input time point.

状態値入力部320は、状態値入力通知を予測情報要求部321に出力する。そして、予測情報要求部321は、状態値入力部320から入力された状態値入力通知に応じて、予測情報要求を要求入力部313に出力する(ステップS2)。   The state value input unit 320 outputs a state value input notification to the prediction information request unit 321. And the prediction information request | requirement part 321 outputs a prediction information request | requirement to the request | requirement input part 313 according to the state value input notification input from the state value input part 320 (step S2).

ステップS1,S2の処理と並行して、位置特定部31は、以下の動作を行う。
センサ情報生成部310は、動体検出装置20から入力された動体検出結果に基づいて、センサ情報を生成する(ステップS10)。
予測情報生成部311は、ステップS10で生成した現在のセンサ情報、及び、予測情報記憶部312に記憶されている過去のセンサ情報から未来のセンサ情報を予測し、予測情報Aを生成する(ステップS11)。
In parallel with the processing of steps S1 and S2, the position specifying unit 31 performs the following operation.
The sensor information generation unit 310 generates sensor information based on the moving object detection result input from the moving object detection device 20 (step S10).
The prediction information generation unit 311 predicts future sensor information from the current sensor information generated in step S10 and the past sensor information stored in the prediction information storage unit 312, and generates prediction information A (step S11).

予測情報生成部311は、ステップS11で生成した予測情報A及びセンサ情報を予測情報記憶部312に書き込む(ステップS12)。
要求入力部313は、予測情報要求部321から予測情報要求が入力され、予測情報要求通知を予測情報出力部314に出力する(ステップS13)。
予測情報出力部314は、要求入力部313から入力された予測情報要求通知に応じて、予測情報記憶部312に記憶されている予測情報Aを予測情報入力部322に出力する(ステップS14)。
The prediction information generation unit 311 writes the prediction information A and sensor information generated in step S11 in the prediction information storage unit 312 (step S12).
The request input unit 313 receives the prediction information request from the prediction information request unit 321 and outputs a prediction information request notification to the prediction information output unit 314 (step S13).
In response to the prediction information request notification input from the request input unit 313, the prediction information output unit 314 outputs the prediction information A stored in the prediction information storage unit 312 to the prediction information input unit 322 (step S14).

以上のように、ロボットカメラ制御部32は、ロボットカメラ40から状態値Xuが入力されると、位置特定部31に最新の予測情報Aを要求する。常時、位置特定部31は、最新の予測情報Aを更新しながら保持しており、その要求があれば、最新の予測情報Aを即座にロボットカメラ制御部32に出力する。これにより、位置特定部31での予測情報Aの更新と、ロボットカメラ制御部32でのコマンド更新とのタイミングのばらつきが、センサカメラ10の映像更新の周期や位置検出方法、予測方法の変更などによらず一定の範囲に収まる。   As described above, when the state value Xu is input from the robot camera 40, the robot camera control unit 32 requests the latest prediction information A from the position specifying unit 31. The position specifying unit 31 always holds the latest prediction information A while updating it. If there is a request, the position specifying unit 31 immediately outputs the latest prediction information A to the robot camera control unit 32. As a result, the timing variation between the update of the prediction information A in the position specifying unit 31 and the command update in the robot camera control unit 32 is caused by a change in the video update cycle, the position detection method, and the prediction method of the sensor camera 10. Regardless of the range.

図5に示すように、予測情報Aは、10個の過去位置(位置データa〜a10)と、1個の現在位置(位置データa11)と、19個の予測位置(位置データa12〜a30)とが含まれている。つまり、予測情報Aには、0.1秒単位で生成された合計30個の位置データa〜a30が含まれている。 As shown in FIG. 5, the prediction information A includes 10 past positions (position data a 1 to a 10 ), one current position (position data a 11 ), and 19 prediction positions (position data a 12 ~a 30) and is included. That is, the prediction information A includes a total of 30 pieces of position data a 1 to a 30 generated in units of 0.1 seconds.

以下、ロボットカメラ制御部32の処理に戻り、説明を続ける。
予測情報入力部322は、予測情報出力部314から予測情報が入力され(ステップS3)、入力された予測情報Aを予測情報記憶部323に書き込む(ステップS4)。
Hereinafter, returning to the processing of the robot camera control unit 32, the description will be continued.
The prediction information input unit 322 receives the prediction information from the prediction information output unit 314 (step S3), and writes the input prediction information A in the prediction information storage unit 323 (step S4).

ここで、センサカメラ10がセンサ映像90を撮影してから、位置特定部31が予測情報Aを生成するまで、例えば、0.2秒の遅延が発生する(図5の遅延D12)。
従って、予測情報Aを参照する際、状態値Xuが入力されるときの遅延D11=0.6秒、及び、予測情報を生成するときの遅延D12=0.2秒を考慮する必要がある。つまり、予測情報Aの現在位置(センサ情報a11)を基準とすれば、ロボットカメラ40から入力された状態値Xuは、遅延D11から遅延D12を減算した0.4秒、過去の情報となる。
このため、位置データ取得部324は、ステップS4で記憶した予測情報Aから、現在位置から遅延時間(遅延D11−遅延D12)だけ遡った時刻の位置データXd(位置データa)を取得する(ステップS5)。
Here, for example, a delay of 0.2 seconds occurs after the sensor camera 10 captures the sensor video 90 until the position specifying unit 31 generates the prediction information A (delay D 12 in FIG. 5).
Therefore, when referring to the prediction information A, it is necessary to consider the delay D 11 = 0.6 seconds when the state value Xu is input and the delay D 12 = 0.2 seconds when generating the prediction information. is there. That is, if the current position (sensor information a 11 ) of the prediction information A is used as a reference, the state value Xu input from the robot camera 40 is the past information obtained by subtracting the delay D 12 from the delay D 11. It becomes.
For this reason, the position data acquisition unit 324 acquires position data Xd (position data a 7 ) at a time that is backed by the delay time (delay D 11 -delay D 12 ) from the current position from the prediction information A stored in step S4. (Step S5).

図5に示すように、ロボットカメラ制御部32が指令コマンドを出力してからロボットカメラ40が実際に駆動を始め、指定速度に達するまで、例えば、0.1秒以上、場合によっては1秒程度の遅延が発生する。このため、ロボットカメラ40を制御する際、この遅延によるカメラ方向のずれが発生するが、これは単純に位置のずれとして、後述の方法で連続的に補正処理することができる。   As shown in FIG. 5, after the robot camera control unit 32 outputs a command command, the robot camera 40 actually starts driving and reaches a specified speed, for example, 0.1 seconds or more, and in some cases about 1 second. Delay occurs. For this reason, when the robot camera 40 is controlled, a camera direction shift due to this delay occurs. This can be simply corrected as a positional shift and continuously corrected by a method described later.

基本的に、差分算出部325は、ステップS4で記憶した予測情報Aにおいて、制御時点での予測位置(位置データa13)と、制御時点に更新間隔Dを加えた時刻での予測位置(位置データa14)との差分を算出する(ステップS6)。
なお、図5の例では、予想情報Aの現在位置(予想情報Aが入力された時刻)から制御時点まで0.2秒が経過していることとする。
Basically, the difference calculation unit 325 includes, in the prediction information A stored in step S4, a predicted position at the control time (position data a 13 ) and a predicted position at the time obtained by adding the update interval D 2 to the control time ( A difference from the position data a 14 ) is calculated (step S6).
In the example of FIG. 5, it is assumed that 0.2 seconds have elapsed from the current position of the prediction information A (the time when the prediction information A is input) to the control time.

制御情報生成部326は、ステップS6で算出した差分に基づいて、ロボットカメラ40の制御情報を生成する。そして、制御情報生成部326は、図5に示すように、ロボットカメラ40の状態値とセンサ情報とのずれを補正するため、前記した式(1)で補正値を求め、求めた補正値Rで制御情報を補正する(ステップS7)。
ここで、制御情報生成部326は、状態値Xu及び位置データXdの両方ともAZ角及びEL角で表されるので、AZ角及びEL角のそれぞれに式(1)を適用し、パン速度及びチルト速度それぞれの補正値Rを求める。そして、制御情報生成部326は、パン速度及びチルト速度の補正値Rを、制御情報のパン速度及びチルト速度にそれぞれ加算する。
コマンド変換部327は、ステップS7で生成した制御情報を、ロボットカメラ40への指令コマンドに変換する(ステップS8)。
The control information generation unit 326 generates control information for the robot camera 40 based on the difference calculated in step S6. Then, as shown in FIG. 5, the control information generation unit 326 calculates a correction value by the above-described equation (1) and corrects the calculated correction value R in order to correct the deviation between the state value of the robot camera 40 and the sensor information. In step S7, the control information is corrected.
Here, since both the state value Xu and the position data Xd are expressed by the AZ angle and the EL angle, the control information generation unit 326 applies the expression (1) to each of the AZ angle and the EL angle, A correction value R for each tilt speed is obtained. Then, the control information generating unit 326 adds the pan speed and tilt speed correction values R to the pan speed and tilt speed of the control information, respectively.
The command conversion unit 327 converts the control information generated in step S7 into a command command for the robot camera 40 (step S8).

[作用・効果]
以上のように、動体追尾装置30は、遅延時間及び更新間隔を考慮するので、ロボットカメラ40の方向を正確に把握し、航空機のように高速で移動する動体を滑らかに追尾することができる。
さらに、動体追尾装置30は、ロボットカメラ40と動体追尾装置30とが低速のシリアル回線で接続されている場合でも、データ入出力量を抑えられ、状態値や指令コマンドの入出力が滞ることがない。
さらに、動体追尾装置30は、前記した式(1)により、制御情報を一定時間で補正するので、ロボットカメラ40の姿勢が急峻に変化することがなく、より滑らかに追尾することができる。
[Action / Effect]
As described above, since the moving object tracking device 30 considers the delay time and the update interval, the moving object tracking apparatus 30 can accurately grasp the direction of the robot camera 40 and smoothly track a moving object that moves at high speed like an aircraft.
Furthermore, even when the robot camera 40 and the moving body tracking device 30 are connected by a low-speed serial line, the moving body tracking device 30 can suppress the data input / output amount and the input / output of state values and command commands will not be delayed. .
Furthermore, since the moving body tracking device 30 corrects the control information in a predetermined time according to the above-described equation (1), the posture of the robot camera 40 does not change sharply and can be tracked more smoothly.

(変形例1)
以上、本発明の実施形態を詳述してきたが、本発明は前記した実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
図6に示すように、変形例1では、さらに調整時間D13を考慮して遅延時間を以下のように定義する。この調整時間D13は、ロボットカメラ40が撮影した撮影映像における航空機の位置を調整するための時間であり、任意に設定できる(例えば、調整時間D13=0.9秒)。
遅延時間=(遅延D11−遅延D12−調整時間D13
(Modification 1)
As mentioned above, although embodiment of this invention was explained in full detail, this invention is not limited to above-described embodiment, The design change etc. of the range which does not deviate from the summary of this invention are included.
As shown in FIG. 6, in the first modification, further define the adjustment time D 13 as follows delay time in consideration. The adjustment time D 13 is the time for adjusting the position of the aircraft in the captured image the robot camera 40 is taken, can be set arbitrarily (e.g., adjustment time D 13 = 0.9 sec).
Delay time = (delay D 11 - Delay D 12 - adjustment time D 13)

ここで、遅延時間が大きくなると、ロボットカメラ40が航空機の移動方向後側を向くようになる(つまり、振り遅れる)。一方、遅延時間が小さくなると、ロボットカメラ40が航空機の移動方向前側を向くようになる。また、遅延時間が負の値となるように調整時間D13を設定すれば、ロボットカメラ40が航空機の未来位置を向くようになる。通常の撮影映像では、航空機の移動方向前側が広くなる構図が好ましい。そこで、所望の構図に調整できるように、調整時間D13を設定できるようにした。 Here, when the delay time increases, the robot camera 40 turns to the rear side in the moving direction of the aircraft (that is, it is delayed). On the other hand, when the delay time becomes small, the robot camera 40 comes to face the front side in the moving direction of the aircraft. Further, by setting the adjusting time D 13 as the delay time is a negative value, the robot camera 40 comes to face the future position of the aircraft. In a normal captured image, a composition in which the front side of the aircraft in the moving direction is wide is preferable. Therefore, as can be adjusted to a desired composition, and to set the adjustment time D 13.

図6では、位置データ取得部324は、予測情報Aにおいて、さらに調整時間D13だけ進めた時間の予測位置Xdを取得する。つまり、位置データ取得部324は、遅延D12と調整時間D13を加算して遅延D11を減算した時刻の位置データa16を取得する。
なお、位置データa16を取得した後の処理は、前記した実施形態と同様のため、説明を省略する。
6, the position data acquisition unit 324, the prediction information A, to obtain further prediction position Xd of adjustment time D 13 only advances time. That is, the position data acquisition unit 324 acquires the position data a 16 at the time obtained by adding the delay D 12 and the adjustment time D 13 and subtracting the delay D 11 .
Note that the processing after obtaining the position data a 16 is the same as that in the above-described embodiment, and thus the description thereof is omitted.

(他の変形例)
前記した実施形態では、動体が航空機であることとして説明したが、本発明では、動体が特に限定されず、高速で移動する動体であっても滑らかに追尾することができる。
前記した実施形態では、センサカメラで動体を検出することとして説明したが、本発明では、特に限定されない。例えば、GPS(Global Positioning System)、赤外線センサなどで動体を検出してもよい。
(Other variations)
In the above-described embodiment, the moving object is described as an aircraft. However, in the present invention, the moving object is not particularly limited, and even a moving object that moves at high speed can be smoothly tracked.
In the above-described embodiment, the moving object is detected by the sensor camera. However, the present invention is not particularly limited. For example, the moving object may be detected by a GPS (Global Positioning System), an infrared sensor, or the like.

前記した実施形態では、センサカメラ及び動体検出装置を3台備えることとして説明したが、本発明では、これらの台数が特に制限されず、1台以上であればよい。
前記した実施形態では、遅延時間、更新間隔、入力間隔及び待機時間を例示したが、本発明では、これらの値が特に制限されない。例えば、これらの値は、ロボットカメラの性能や仕様、ネットワーク環境に応じて任意の値で設定可能である。
In the above-described embodiment, it has been described that the three sensor cameras and the moving object detection device are provided. However, in the present invention, the number of these is not particularly limited, and may be one or more.
In the above-described embodiment, the delay time, the update interval, the input interval, and the standby time are exemplified. However, in the present invention, these values are not particularly limited. For example, these values can be set to arbitrary values according to the performance and specifications of the robot camera and the network environment.

前記した実施形態では、位置特定部及びロボットカメラ制御部を同一の装置に実装することとして説明したが、本発明では、位置特定部及びロボットカメラ制御部を別々の装置に実装してもよい。
前記した実施形態では、ロボットカメラの状態値がAZ角及びEL角であり、ロボットカメラのパン及びチルトを制御することとして説明したが、本発明は、これに限定されない。つまり、動体追尾装置は、パン及びチルトと同様、ロボットカメラのズーム及び/又はフォーカスを制御してもよい。
In the above-described embodiment, the position specifying unit and the robot camera control unit are described as being mounted on the same device. However, in the present invention, the position specifying unit and the robot camera control unit may be mounted on separate devices.
In the above-described embodiment, the state values of the robot camera are the AZ angle and the EL angle, and the pan and tilt of the robot camera are controlled. However, the present invention is not limited to this. That is, the moving object tracking device may control the zoom and / or focus of the robot camera in the same manner as pan and tilt.

前記した実施形態では、動体追尾装置を独立したハードウェアとして説明したが、本発明は、これに限定されない。例えば、本発明は、コンピュータが備えるCPU、メモリ、ハードディスク等のハードウェア資源を、前記した動体追尾装置として協調動作させるプログラムで実現することもできる。このプログラムは、通信回線を介して配布してもよく、CD−ROMやフラッシュメモリ等の記録媒体に書き込んで配布してもよい。   In the above-described embodiment, the moving object tracking device is described as independent hardware, but the present invention is not limited to this. For example, the present invention can also be realized by a program that causes hardware resources such as a CPU, a memory, and a hard disk included in a computer to operate cooperatively as the moving object tracking device. This program may be distributed through a communication line, or may be distributed by writing in a recording medium such as a CD-ROM or a flash memory.

1 航空機追尾撮影システム
10 センサカメラ(センサ)
20 動体検出装置
30 動体追尾装置
31 位置特定部
310 センサ情報生成部
311 予測情報生成部
312 予測情報記憶部
313 要求入力部
314 予測情報出力部
32 ロボットカメラ制御部
320 状態値入力部
321 予測情報要求部
322 予測情報入力部
323 予測情報記憶部
324 位置データ取得部
325 差分算出部
326 制御情報生成部
327 コマンド変換部(撮影カメラ制御部)
40 ロボットカメラ
41 カメラ本体
43 雲台
1 Aircraft tracking imaging system 10 Sensor camera (sensor)
20 moving object detection device 30 moving object tracking device 31 position specifying unit 310 sensor information generation unit 311 prediction information generation unit 312 prediction information storage unit 313 request input unit 314 prediction information output unit 32 robot camera control unit 320 state value input unit 321 prediction information request Unit 322 Prediction information input unit 323 Prediction information storage unit 324 Position data acquisition unit 325 Difference calculation unit 326 Control information generation unit 327 Command conversion unit (shooting camera control unit)
40 robot camera 41 camera body 43 pan head

Claims (7)

撮影カメラに対する動体の位置を表す位置情報を用いて、前記撮影カメラに動体を追尾させる動体追尾装置であって、
前記撮影カメラの状態変化中、所定の入力間隔で前記撮影カメラの状態値が入力される状態値入力部と、
前記状態値入力部に前記状態値が入力されたとき、又は、前記状態値が入力されずに予め設定した待機時間が経過したとき、予測情報を要求する予測情報要求部と、
入力された前記位置情報に基づいて、前記撮影カメラに対する前記動体の過去位置及び現在位置から予測位置を求め、前記過去位置と前記現在位置と前記予測位置とが位置データとして含まれる前記予測情報を生成する予測情報生成部と、
前記現在位置を基準として予め設定した遅延時間の位置データを取得する位置データ取得部と、
前記撮影カメラを制御するときの制御時点での前記予測位置と、前記制御時点に予め設定した更新間隔を加えた時刻での前記予測位置との差分を算出する差分算出部と、
前記差分算出部が算出した差分に基づいて、前記撮影カメラの動作速度を表す制御情報を生成し、前記状態値入力部に入力された状態値及び前記位置データ取得部が取得した位置データに基づいて、前記制御情報を補正する制御情報生成部と、
前記制御情報に基づいて、前記撮影カメラを制御する撮影カメラ制御部と、
を備えることを特徴とする動体追尾装置。
A moving body tracking device for tracking a moving body with the shooting camera using position information indicating a position of the moving body with respect to the shooting camera,
A state value input unit for inputting a state value of the photographing camera at a predetermined input interval during a state change of the photographing camera;
When the state value is input to the state value input unit, or when a preset standby time has elapsed without the state value being input, a prediction information request unit that requests prediction information;
Based on the input position information, a predicted position is obtained from a past position and a current position of the moving object with respect to the photographing camera, and the prediction information including the past position, the current position, and the predicted position as position data is obtained. A prediction information generation unit to generate,
A position data acquisition unit for acquiring position data of a delay time set in advance with reference to the current position;
A difference calculating unit that calculates a difference between the predicted position at the time of control when controlling the photographing camera and the predicted position at a time obtained by adding a preset update interval to the control time;
Based on the difference calculated by the difference calculation unit, control information representing the operation speed of the photographing camera is generated, and based on the state value input to the state value input unit and the position data acquired by the position data acquisition unit. A control information generator for correcting the control information;
A shooting camera control unit for controlling the shooting camera based on the control information;
A moving body tracking device comprising:
前記予測情報生成部は、前記位置情報の線形予測、2次近似又はスプライン関数により前記予測位置を求めることを特徴とする請求項1に記載の動体追尾装置。   The moving object tracking device according to claim 1, wherein the prediction information generation unit obtains the predicted position by linear prediction of the position information, quadratic approximation, or a spline function. 前記制御情報生成部は、前記位置データ取得部が取得した位置データと前記状態値との差を求め、求めた前記差に修正時間及びハンチング防止を考慮して予め設定した補正係数を乗じて補正値を求め、求めた前記補正値で前記制御情報を補正することを特徴とする請求項1又は請求項2に記載の動体追尾装置。   The control information generating unit obtains a difference between the position data obtained by the position data obtaining unit and the state value, and corrects the obtained difference by multiplying the obtained correction coefficient in consideration of correction time and hunting prevention. The moving body tracking device according to claim 1, wherein a value is obtained, and the control information is corrected with the obtained correction value. 前記遅延時間は、前記撮影カメラから前記状態値が入力されるときの遅延、及び、前記予測位置を求めるときの遅延に基づいて予め設定され、
前記更新間隔は、前記撮影カメラが前記撮影カメラ制御部からの指令を更新するときの周期に基づいて予め設定されていることを特徴とする請求項1から請求項3の何れか一項に記載の動体追尾装置。
The delay time is preset based on a delay when the state value is input from the photographing camera and a delay when the predicted position is obtained,
4. The update interval is set in advance based on a period when the imaging camera updates a command from the imaging camera control unit. 5. Moving body tracking device.
前記位置データ取得部は、前記撮影カメラが撮影した撮影映像における動体の位置を調整する調整時間がさらに設定され、前記遅延時間から前記調整時間だけ進めた時間の位置データを取得することを特徴とする請求項1から請求項4の何れか一項に記載の動体追尾装置。   The position data acquisition unit further includes an adjustment time for adjusting the position of a moving object in a captured image captured by the imaging camera, and acquires position data for a time advanced by the adjustment time from the delay time. The moving body tracking device according to any one of claims 1 to 4. 前記予測情報生成部は、センサカメラで検出された前記動体についての前記位置情報が入力されることを特徴とする請求項1から請求項5の何れか一項に記載の動体追尾装置。   The moving object tracking device according to claim 1, wherein the position information on the moving object detected by a sensor camera is input to the prediction information generation unit. コンピュータを、請求項1から請求項6の何れか一項に記載の動体追尾装置として機能させるためのプログラム。   The program for functioning a computer as a moving body tracking device as described in any one of Claims 1-6.
JP2018032790A 2018-02-27 2018-02-27 Moving object tracking device and its program Active JP7049858B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018032790A JP7049858B2 (en) 2018-02-27 2018-02-27 Moving object tracking device and its program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018032790A JP7049858B2 (en) 2018-02-27 2018-02-27 Moving object tracking device and its program

Publications (2)

Publication Number Publication Date
JP2019149659A true JP2019149659A (en) 2019-09-05
JP7049858B2 JP7049858B2 (en) 2022-04-07

Family

ID=67850815

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018032790A Active JP7049858B2 (en) 2018-02-27 2018-02-27 Moving object tracking device and its program

Country Status (1)

Country Link
JP (1) JP7049858B2 (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012175157A (en) * 2011-02-17 2012-09-10 Toshiba Corp Mobile object image tracking device

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012175157A (en) * 2011-02-17 2012-09-10 Toshiba Corp Mobile object image tracking device

Also Published As

Publication number Publication date
JP7049858B2 (en) 2022-04-07

Similar Documents

Publication Publication Date Title
WO2017045315A1 (en) Method and apparatus for determining location information of tracked target, and tracking apparatus and system
WO2017166766A1 (en) Information processing method, and electronic device and computer storage medium
WO2018217260A3 (en) Systems and methods for tracking and controlling a mobile camera to image objects of interest
CA2837578C (en) Camera system control for correcting bore-sight offset
TW201328344A (en) System and method for controlling a unmanned aerial vehicle to capture images of a target location
KR20110134372A (en) Controlling an imaging apparatus over a delayed communication link
US10880464B1 (en) Remote active camera and method of controlling same
JP6626669B2 (en) Camera control system and camera control method
EP2946283A1 (en) Delay compensation while controlling a remote sensor
WO2019095210A1 (en) Smart glasses, method for controlling gimbal by means of same, gimbal, control method and unmanned aerial vehicle
US8749642B2 (en) Camera pose correction
US7184574B1 (en) Delayed video tracking
US11016276B2 (en) Imaging system
JP2006270404A (en) Device and method for controlling photographing and photographing control program
KR20200023974A (en) Method and apparatus for synchronization of rotating lidar and multiple cameras
JP7049858B2 (en) Moving object tracking device and its program
US20240022821A1 (en) Imaging system, and control apparatus and imaging apparatus constituting same
TWI726536B (en) Image capturing method and image capturing apparatus
JP5888115B2 (en) TRACKING DEVICE AND TRACKING METHOD
KR101407723B1 (en) Apparatus for compensating infra-red image
JP2009086471A (en) Overhead wire photographing system and method
WO2022141197A1 (en) Method and device for controlling cradle head, movable platform and storage medium
JP7568101B2 (en) Remote control system, method and program
CN116962649B (en) Image monitoring and adjusting system and line construction model
KR101418110B1 (en) Apparatus for compensating infra-red image

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210108

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210824

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211001

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220301

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220328

R150 Certificate of patent or registration of utility model

Ref document number: 7049858

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150