JP2020170892A - Controller for automatic tracking camera, automatic tracking camera, and control method therefor - Google Patents
Controller for automatic tracking camera, automatic tracking camera, and control method therefor Download PDFInfo
- Publication number
- JP2020170892A JP2020170892A JP2019070008A JP2019070008A JP2020170892A JP 2020170892 A JP2020170892 A JP 2020170892A JP 2019070008 A JP2019070008 A JP 2019070008A JP 2019070008 A JP2019070008 A JP 2019070008A JP 2020170892 A JP2020170892 A JP 2020170892A
- Authority
- JP
- Japan
- Prior art keywords
- tracking target
- influence
- unit
- tracking
- automatic tracking
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Abstract
Description
本発明は、自動追尾カメラの制御装置、自動追尾カメラ、自動追尾カメラの制御方法に関する。 The present invention relates to a control device for an automatic tracking camera, an automatic tracking camera, and a control method for the automatic tracking camera.
登録した追尾対象を自動追尾して撮像するシステムが知られている。特許文献１には、ターゲットの移動履歴に基づいて所定時間後のターゲットの位置を予測して、所定時間後のターゲットがカメラの撮像画面内の所定位置に位置するように、カメラのパンおよびチルトの調整量を演算する装置について記載されている。 A system that automatically tracks and images a registered tracking target is known. Patent Document 1 predicts the position of the target after a predetermined time based on the movement history of the target, and pans and tilts the camera so that the target after a predetermined time is positioned at a predetermined position in the imaging screen of the camera. A device for calculating the adjustment amount of is described.
追尾対象が等速で移動している状態であれば、特許文献１に記載されている方法で追尾対象を的確に追尾することができる。しかし、追尾対象の移動量が変化した場合、カメラのパンおよびチルト動作が追尾対象の動きと大きく異なってしまう場合がある。 If the tracking target is moving at a constant speed, the tracking target can be accurately tracked by the method described in Patent Document 1. However, when the movement amount of the tracking target changes, the panning and tilting operations of the camera may be significantly different from the movement of the tracking target.
本発明は、追尾対象の移動量が変化した場合でも的確に追尾対象を自動追尾することができる自動追尾カメラの制御装置、自動追尾カメラ、自動追尾カメラの制御方法を提供することを目的とする。 An object of the present invention is to provide a control device for an automatic tracking camera, an automatic tracking camera, and a control method for the automatic tracking camera, which can accurately and automatically track the tracking target even when the movement amount of the tracking target changes. ..
本発明は、追尾対象を自動的に追尾して撮像する自動追尾カメラの制御装置であって、前記追尾対象の情報に基づき、前記自動追尾カメラで撮像した画像から前記追尾対象を検出する追尾対象検出部と、前記追尾対象の移動量に影響を与える影響要因の情報に基づき、前記影響要因を検出して影響度を設定する影響要因検出部と、設定した前記影響度と前記追尾対象の過去の移動量とに基づいて、前記自動追尾カメラの撮像方向調整量を算出する調整量算出部とを備えることを特徴とする自動追尾カメラの制御装置を提供する。 The present invention is a control device for an automatic tracking camera that automatically tracks and captures a tracking target, and detects the tracking target from an image captured by the automatic tracking camera based on the information of the tracking target. Based on the information of the detection unit and the influence factor that affects the movement amount of the tracking target, the influence factor detection unit that detects the influence factor and sets the influence degree, the set influence degree and the past of the tracking target Provided is a control device for an automatic tracking camera, which comprises an adjustment amount calculation unit for calculating an image pickup direction adjustment amount of the automatic tracking camera based on the movement amount of the automatic tracking camera.
本発明は、上記自動追尾カメラの制御装置と、撮像部と、前記調整量算部で算出した撮像方向調整量に基づき、前記撮像部の撮像方向を移動させる撮像方向移動部と前記追尾対象の情報と、前記影響要因の情報とを記憶する記憶部とを備えることを特徴とする自動追尾カメラを提供する。 In the present invention, the control device of the automatic tracking camera, the image pickup unit, the image pickup direction moving unit that moves the image pickup direction of the image pickup unit based on the image pickup direction adjustment amount calculated by the adjustment amount calculation unit, and the tracking target. Provided is an automatic tracking camera including a storage unit for storing information and information on the influential factor.
本発明は、追尾対象を自動的に追尾して撮像する自動追尾カメラの制御方法であって、前記追尾対象の情報に基づき、前記自動追尾カメラで撮像した画像から前記追尾対象を検出する追尾対象検出ステップと、前記追尾対象の移動量に影響を与える影響要因の情報に基づき、前記影響要因を検出して、影響度を設定する影響要因検出ステップと、設定した前記影響度と前記追尾対象の過去の移動量とに基づいて、前記自動追尾カメラの撮像方向調整量を算出する調整量算出ステップとを有することを特徴とする自動追尾カメラの制御方法を提供する。 The present invention is a control method of an automatic tracking camera that automatically tracks and captures a tracking target, and detects the tracking target from an image captured by the automatic tracking camera based on the information of the tracking target. An influence factor detection step that detects the influence factor and sets the influence degree based on the information of the detection step and the influence factor that affects the movement amount of the tracking target, and the set influence degree and the tracking target. Provided is a control method of an automatic tracking camera, which comprises an adjustment amount calculation step for calculating an image pickup direction adjustment amount of the automatic tracking camera based on a past movement amount.
本発明の自動追尾カメラの制御装置、自動追尾カメラ、自動追尾カメラの制御方法によれば、追尾対象の移動量が変化した場合でも的確に追尾対象を自動追尾することができる。 According to the control device of the automatic tracking camera, the automatic tracking camera, and the control method of the automatic tracking camera of the present invention, the tracking target can be accurately and automatically tracked even when the movement amount of the tracking target changes.
以下、各実施形態の自動追尾カメラの制御装置、自動追尾カメラ、自動追尾カメラの制御方法について、添付図面を参照して説明する。 Hereinafter, the control device of the automatic tracking camera, the automatic tracking camera, and the control method of the automatic tracking camera of each embodiment will be described with reference to the attached drawings.
＜実施形態１＞
図１は本実施形態に係る自動追尾カメラ１００の構成例を示すブロック図である。図１に示すように、自動追尾カメラ１００は、制御装置１０、撮像部２０、撮像方向移動部２２、表示部２４、入力部２６、記憶部２８を備える。
<Embodiment 1>
FIG. 1 is a block diagram showing a configuration example of the automatic tracking camera 100 according to the present embodiment. As shown in FIG. 1, the automatic tracking camera 100 includes a control device 10, an imaging unit 20, an imaging direction moving unit 22, a display unit 24, an input unit 26, and a storage unit 28.
撮像部２０は被写体を撮像して映像信号を生成し、生成した映像信号を表示部２４と制御装置１０に送る。撮像方向移動部２２は、撮像部２０の撮像方向を移動させる機構（パン・チルト機構）を備え、制御部１０から受け取った制御信号に基づいて撮像部２０の撮像方向を移動させる。表示部２４は液晶モニタ等で構成され、撮像部２０から受け取った映像信号に基づき映像を表示する。入力部２６は、追尾対象および影響要因の情報の入力を受付け、受付けた情報を記憶部２８に送る。 The imaging unit 20 images a subject, generates a video signal, and sends the generated video signal to the display unit 24 and the control device 10. The image pickup direction moving unit 22 includes a mechanism (pan / tilt mechanism) for moving the image pickup direction of the image pickup unit 20, and moves the image pickup direction of the image pickup unit 20 based on a control signal received from the control unit 10. The display unit 24 is composed of a liquid crystal monitor or the like, and displays an image based on the image signal received from the image pickup unit 20. The input unit 26 receives the input of the information of the tracking target and the influential factor, and sends the received information to the storage unit 28.
記憶部２８は、入力部２６で入力された追尾対象の情報および影響要因の情報を記憶する。記憶部２８は、例えばＲＡＭ（Random Access Memory）で構成される。 The storage unit 28 stores the tracking target information and the influencing factor information input by the input unit 26. The storage unit 28 is composed of, for example, a RAM (Random Access Memory).
制御装置１０は、追尾対象検出部１２、影響要因検出部１４、調整量算出部１６を備える。追尾対象検出部１２、影響要因検出部１４、調整量算出部１６は、ハードウェアで構成されてもよいし、ソフトウェアで構成されてもよく、ハードウェアとソフトウェアとの使い分けは任意である。 The control device 10 includes a tracking target detection unit 12, an influential factor detection unit 14, and an adjustment amount calculation unit 16. The tracking target detection unit 12, the influential factor detection unit 14, and the adjustment amount calculation unit 16 may be configured by hardware or software, and the use of hardware and software is arbitrary.
追尾対象検出部１２は、記憶部２８から読み出した追尾対象の情報に基づき、撮像部２０で撮像した画像から追尾対象を検出する。影響要因検出部１４は記憶部２８から読み出した影響要因の情報に基づき、撮像部２０で撮像した画像から影響要因を検出し、影響要因の検出結果に基づいて影響度を設定する。調整量算出部１６は、後段で説明する方法で撮像部２０の撮像方向を移動させる調整量である、水平方向調整量Ｖｘ（ｎ）と垂直方向調整量Ｖｙ（ｎ）を算出し、算出した水平方向調整量Ｖｘ（ｎ）と垂直方向調整量Ｖｙ（ｎ）に基づき撮像方向移動部２２を制御する。水平方向調整量Ｖｘ（ｎ）と垂直方向調整量Ｖｙ（ｎ）とを総じて、撮像方向調整量ともいう。 The tracking target detection unit 12 detects the tracking target from the image captured by the imaging unit 20 based on the tracking target information read from the storage unit 28. The influencing factor detection unit 14 detects the influencing factor from the image captured by the imaging unit 20 based on the influencing factor information read from the storage unit 28, and sets the influence degree based on the detection result of the influencing factor. The adjustment amount calculation unit 16 calculates and calculates the horizontal adjustment amount Vx (n) and the vertical adjustment amount Vy (n), which are adjustment amounts for moving the imaging direction of the imaging unit 20 by the method described later. The imaging direction moving unit 22 is controlled based on the horizontal adjustment amount Vx (n) and the vertical adjustment amount Vy (n). The horizontal adjustment amount Vx (n) and the vertical adjustment amount Vy (n) are collectively referred to as an imaging direction adjustment amount.
撮像方向移動部２２は、水平方向調整量Ｖｘ（ｎ）がプラスの値であれば右方向に単位時間Ｔｄ当たり表示部２４の画面上の距離に換算してＶｘ（ｎ）移動するように、パン機構を制御する。同様に撮像方向移動部２２は、水平方向調整量Ｖｘ（ｎ）がマイナスの値であれば左方向に単位時間Ｔｄ当たり表示部２４の画面上の距離に換算してＶｘ（ｎ）移動するように、パン機構を制御する。 If the horizontal adjustment amount Vx (n) is a positive value, the image pickup direction moving unit 22 moves Vx (n) to the right in terms of the distance on the screen of the display unit 24 per unit time Td. Control the pan mechanism. Similarly, if the horizontal adjustment amount Vx (n) is a negative value, the imaging direction moving unit 22 moves Vx (n) to the left in terms of the distance on the screen of the display unit 24 per unit time Td. In addition, it controls the pan mechanism.
撮像方向移動部２２は、垂直方向調整量Ｖｙ（ｎ）がプラスの値であれば上方向に単位時間Ｔｄ当たり表示部２４の画面上の距離に換算してＶｙ（ｎ）移動するように、チルト機構を制御する。同様に撮像方向移動部２２は、垂直方向調整量Ｖｙ（ｎ）がマイナスの値であれば下方向に単位時間Ｔｄ当たり表示部２４の画面上の距離に換算してＶｙ（ｎ）移動するように、チルト機構を制御する。 If the vertical adjustment amount Vy (n) is a positive value, the image pickup direction moving unit 22 moves upward by Vy (n) in terms of the distance on the screen of the display unit 24 per unit time Td. Control the tilt mechanism. Similarly, if the vertical adjustment amount Vy (n) is a negative value, the imaging direction moving unit 22 moves Vy (n) downward in terms of the distance on the screen of the display unit 24 per unit time Td. In addition, the tilt mechanism is controlled.
単位時間Ｔｄは任意に設定可能であり、例えば１０フレーム期間とする。単位時間Ｔｄは１０フレーム期間に限定しないが、フレーム期間の倍数に相当する期間とすると良い。 The unit time Td can be set arbitrarily, for example, a 10-frame period. The unit time Td is not limited to the 10-frame period, but may be a period corresponding to a multiple of the frame period.
以下、具体的な実施例に基づき自動追尾カメラ１００の動作を詳細に説明する。 Hereinafter, the operation of the automatic tracking camera 100 will be described in detail based on a specific embodiment.
（実施例１）
本実施例は、バスケットボールの試合中に特定の選手を自動追尾することを想定して説明する。図２は、自動追尾カメラの動作を説明するためのフローチャートである。図２のステップＳ１で、追尾対象および影響要因の情報が登録される。
(Example 1)
This embodiment will be described on the assumption that a specific player is automatically tracked during a basketball game. FIG. 2 is a flowchart for explaining the operation of the automatic tracking camera. In step S1 of FIG. 2, information on the tracking target and the influencing factor is registered.
入力部２６は追尾対象の入力を受け付ける。追尾対象の入力方法としては、撮像部２０で撮像した画像から顔認識等で追尾対象候補を抽出し、抽出した候補の中から追尾したい対象を選択することで行なえば良い。入力部２６で受け付けた追尾対象の情報は記憶部２８に記憶され、追尾対象の登録が完了する。追尾する目標点は任意に設定すればよい。例えば追尾対象として登録した人物の顔の中心を追尾する目標点として設定しても良いし、追尾対象として登録した人物の体の中心を追尾する目標点として設定しても良い。 The input unit 26 accepts the input to be tracked. As the input method of the tracking target, the tracking target candidate may be extracted from the image captured by the imaging unit 20 by face recognition or the like, and the target to be tracked may be selected from the extracted candidates. The tracking target information received by the input unit 26 is stored in the storage unit 28, and the registration of the tracking target is completed. The target point to be tracked may be set arbitrarily. For example, it may be set as a target point for tracking the center of the face of a person registered as a tracking target, or may be set as a target point for tracking the center of the body of a person registered as a tracking target.
同様に、入力部２６は影響要因の入力を受け付ける。影響要因とは、追尾対象の移動量に影響を与えると想定される要因である。影響要因の入力は追尾対象の入力と同様に、撮像した画像を元に行なえば良い。また、影響要因入力時には影響要因毎に影響度の入力も受け付ける。入力部２６で受け付けた影響要因の情報は記憶部２８に記憶され、影響要因の登録が完了する。 Similarly, the input unit 26 accepts the input of the influencing factor. The influential factor is a factor that is expected to affect the movement amount of the tracking target. The input of the influential factor may be performed based on the captured image in the same manner as the input of the tracking target. In addition, when inputting influential factors, input of the degree of influence is also accepted for each influential factor. The information of the influencing factor received by the input unit 26 is stored in the storage unit 28, and the registration of the influencing factor is completed.
図３はバスケットコート３０及びゴールを表す図である。図３の左側が自ゴール３１、右側が相手ゴール３２とする。本実施例では相手ゴール３２付近の画像を影響要因として登録する例を説明する。 FIG. 3 is a diagram showing the basket court 30 and the goal. The left side of FIG. 3 is the own goal 31 and the right side is the opponent goal 32. In this embodiment, an example of registering an image near the opponent goal 32 as an influential factor will be described.
図４は、影響要因として入力した相手ゴール３２付近の画像４０を示す。次に、入力した影響要因に対応する影響度を入力する。ここでは、水平方向の影響度αを０．８、垂直方向の影響度βを１として入力する。影響要因の情報は記憶部２８に記憶される。影響要因の登録状態を図５に示す。 FIG. 4 shows an image 40 near the opponent goal 32 input as an influential factor. Next, enter the degree of influence corresponding to the entered influence factor. Here, the influence degree α in the horizontal direction is input as 0.8, and the influence degree β in the vertical direction is input as 1. Information on the influencing factors is stored in the storage unit 28. The registration status of influential factors is shown in FIG.
図２に戻り、ステップＳ２で自動追尾を開始する。ステップＳ３で追尾対象検出部１２は、記憶部２８から追尾対象の情報を読み出し、撮像部２０で撮像した画像から追尾対象を検出する動作を行なう。追尾対象を検出しない場合（Ｓ３／ｎｏ）、検出するまでステップＳ３を繰り返す。追尾対象を検出した場合（Ｓ３／ｙｅｓ）ステップＳ４に進む。 Returning to FIG. 2, automatic tracking is started in step S2. In step S3, the tracking target detection unit 12 reads the tracking target information from the storage unit 28, and performs an operation of detecting the tracking target from the image captured by the imaging unit 20. If the tracking target is not detected (S3 / no), step S3 is repeated until it is detected. When the tracking target is detected (S3 / yes), the process proceeds to step S4.
ステップＳ４で影響要因検出部１４は影響度の設定を行なう。先ず、影響要因検出部１４は記憶部２８から影響要因の情報を読み出し、撮像部２０で撮像した画像から影響要因を検出する動作を行なう。影響要因の検出方法は、登録した影響要因の画像４０と撮像した画像との類似度を評価し、例えば類似度が３０％以上であれば影響要因を検出したと判定する。 In step S4, the influencing factor detection unit 14 sets the degree of influence. First, the influencing factor detection unit 14 reads out the influencing factor information from the storage unit 28, and performs an operation of detecting the influencing factor from the image captured by the imaging unit 20. The method for detecting the influencing factor evaluates the similarity between the registered influential factor image 40 and the captured image, and if the similarity is, for example, 30% or more, it is determined that the influencing factor has been detected.
影響要因を検出した場合、影響要因検出部１４は、検出した影響要因に対応した水平方向の影響度αと、垂直方向の影響度βの値を記憶部２８から読み出し、読み出した値を影響度として設定する。影響要因を検出しない場合、水平方向の影響度α及び、垂直方向の影響度βを共に１と設定する。 When an influential factor is detected, the influential factor detection unit 14 reads out the values of the horizontal influence degree α and the vertical influence degree β corresponding to the detected influential factor from the storage unit 28, and reads the read values into the influence degree. Set as. When no influential factor is detected, the influence degree α in the horizontal direction and the influence degree β in the vertical direction are both set to 1.
ステップＳ５で、調整量算出部１６は直前の単位時間Ｔｄにおける追尾対象の移動量を算出する。先ず、調整量算出部１６は最新のフレームの画像と単位時間Ｔｄ遡ったフレームの画像とを比較し、追尾対象の画像内移動量を算出する。 In step S5, the adjustment amount calculation unit 16 calculates the movement amount of the tracking target in the immediately preceding unit time Td. First, the adjustment amount calculation unit 16 compares the image of the latest frame with the image of the frame retroactive to the unit time Td, and calculates the movement amount in the image to be tracked.
図６は、表示部２４に表示される画像の一例を示す。説明のため、画像の水平方向をｘ方向、垂直方向をｙ方向とし、画像の中心座標を（ｘ，ｙ）＝（０，０）とする。また、制御装置１０は、追尾対象が画像の中心となるように撮像方向移動部２２を制御するものとする。 FIG. 6 shows an example of an image displayed on the display unit 24. For the sake of explanation, the horizontal direction of the image is the x direction, the vertical direction is the y direction, and the center coordinates of the image are (x, y) = (0,0). Further, the control device 10 controls the imaging direction moving unit 22 so that the tracking target is the center of the image.
追尾対象が座標（ｘ１，ｙ１）である位置５１に検出されると、制御装置１０は追尾対象が画像の中心となるように、水平方向調整量Ｖｘ（ｎ−１）をｘ１、垂直方向調整量Ｖｙ（ｎ−１）をｙ１として制御する。撮像方向移動部２２によって撮像部２０の撮像方向が移動され、単位時間Ｔｄ後に撮像された画像において追尾対象の位置が、座標（ｘ２，ｙ２）である位置５２となったとする。このとき追尾対象の直前の単位時間Ｔｄにおける水平方向の移動量Ｍｘ（ｎ−１）は、ｘ１＋ｘ２と算出される。同様に追尾対象の直前の単位時間Ｔｄにおける垂直方向の移動量Ｍｙ（ｎ−１）は、ｙ１＋ｙ２と算出される。 When the tracking target is detected at the position 51 at the coordinates (x1, y1), the control device 10 adjusts the horizontal adjustment amount Vx (n-1) by x1 in the vertical direction so that the tracking target is at the center of the image. The quantity Vy (n-1) is controlled as y1. It is assumed that the imaging direction of the imaging unit 20 is moved by the imaging direction moving unit 22, and the position of the tracking target in the image captured after the unit time Td is the position 52 having the coordinates (x2, y2). At this time, the horizontal movement amount Mx (n-1) in the unit time Td immediately before the tracking target is calculated as x1 + x2. Similarly, the amount of movement My (n-1) in the vertical direction in the unit time Td immediately before the tracking target is calculated as y1 + y2.
追尾対象が等速で移動しているとすると、追尾対象が画像の中心となるように制御するためには、撮像部２０の水平方向調整量を、追尾対象が直前の単位時間Ｔｄ間に移動した移動量と、追尾対象の画像中心とのずれ量を加算した量とすれば良い。本実施形態では、影響要因により追尾対象の移動量が変化することを想定して撮像方向調整量を算出する。 Assuming that the tracking target is moving at a constant speed, in order to control the tracking target to be the center of the image, the horizontal adjustment amount of the imaging unit 20 is moved during the unit time Td immediately before the tracking target. The amount of movement may be the sum of the amount of movement and the amount of deviation from the center of the image to be tracked. In the present embodiment, the imaging direction adjustment amount is calculated on the assumption that the moving amount of the tracking target changes depending on the influential factor.
図２に戻り、ステップＳ６で、調整量算出部１６は水平方向の調整量Ｖｘ（ｎ）を式１で算出する。同様に、垂直方向の調整量Ｖｙ（ｎ）を式２で算出する。
Ｖｘ（ｎ）＝α×Ｍｘ（ｎ−１）＋ｘ２・・・（式１）
Ｖｙ（ｎ）＝β×Ｍｙ（ｎ−１）＋ｙ２・・・（式２）
すなわち、調整量算出部１６は、影響要因検出部１４で設定した影響度と追尾対象の過去の移動量とに基づいて、自動追尾カメラの撮像方向調整量を算出する。
Returning to FIG. 2, in step S6, the adjustment amount calculation unit 16 calculates the adjustment amount Vx (n) in the horizontal direction by the equation 1. Similarly, the adjustment amount Vy (n) in the vertical direction is calculated by Equation 2.
Vx (n) = α × Mx (n-1) + x2 ... (Equation 1)
Vy (n) = β × My (n-1) + y2 ... (Equation 2)
That is, the adjustment amount calculation unit 16 calculates the image pickup direction adjustment amount of the automatic tracking camera based on the influence degree set by the influence factor detection unit 14 and the past movement amount of the tracking target.
ステップＳ７で調整量算出部１６は、算出した水平方向調整量Ｖｘ（ｎ）と垂直方向調整量Ｖｙ（ｎ）とに基づき撮像方向移動部２２を制御する。撮像方向移動部２２は、水平方向調整量Ｖｘ（ｎ）に基づき撮像部２０の撮像方向を水平方向に移動させ、垂直方向調整量Ｖｙ（ｎ）に基づき撮像部２０の撮像方向を垂直方向に移動させる。ステップＳ２からステップＳ６を繰り返すことで自動追尾カメラ１００は追尾対象を自動追尾して撮像する。 In step S7, the adjustment amount calculation unit 16 controls the imaging direction moving unit 22 based on the calculated horizontal adjustment amount Vx (n) and vertical adjustment amount Vy (n). The imaging direction moving unit 22 moves the imaging direction of the imaging unit 20 in the horizontal direction based on the horizontal adjustment amount Vx (n), and vertically adjusts the imaging direction of the imaging unit 20 based on the vertical adjustment amount Vy (n). Move it. By repeating steps S2 to S6, the automatic tracking camera 100 automatically tracks and images the tracking target.
図７は、バスケットボールの試合中の追尾対象の動きの一例を連続的に表示した例である。ドリブルしながら相手ゴール３２に向かう追尾対象は、位置６１から位置６３までドリブルを続け、位置６４でシュート体勢に入り、位置６５でジャンプシュートし、位置６６で着地する。 FIG. 7 is an example of continuously displaying an example of the movement of the tracking target during the basketball game. The tracking target heading for the opponent goal 32 while dribbling continues to dribble from position 61 to position 63, enters the shooting position at position 64, jumps at position 65, and lands at position 66.
このとき、追尾対象の水平方向の速度は、位置６１から位置６３位まで等速に近い速度となり、相手ゴール付近の位置６４以降で減速する。位置６１から位置６６までの追尾対象を自動追尾することを想定する。自動追尾カメラ１００は、位置６１よりも前で追尾対象の追尾を開始しているものとする。 At this time, the horizontal speed of the tracking target becomes a speed close to a constant speed from the position 61 to the position 63, and decelerates after the position 64 near the opponent's goal. It is assumed that the tracking target from the position 61 to the position 66 is automatically tracked. It is assumed that the automatic tracking camera 100 starts tracking the tracking target before the position 61.
図８（ａ）は、追尾対象が位置６２にいる時の自動追尾カメラ１００の撮像画像例を示す。図８（ａ）の画像には影響要因である相手ゴール付近の画像が含まれないので、水平方向の影響度αと垂直方向の影響度βは共に１となる。このため、撮像方向の調整量は直前の単位時間Ｔｄにおける追尾対象の移動距離に相当する値となり、ほぼ等速で移動している追尾対象を追尾することができる。 FIG. 8A shows an example of a captured image of the automatic tracking camera 100 when the tracking target is at the position 62. Since the image of FIG. 8A does not include an image near the opponent's goal, which is an influential factor, both the horizontal influence α and the vertical influence β are 1. Therefore, the adjustment amount of the imaging direction becomes a value corresponding to the moving distance of the tracking target in the immediately preceding unit time Td, and the tracking target moving at a substantially constant speed can be tracked.
図８（ｂ）は位置６３における自動追尾カメラ１００の撮像画像例を示す。図８（ｂ）の画像には影響要因である相手ゴール付近の画像が含まれるので、水平方向の影響度αが０．８、垂直方向の影響度βが１となる。このため、撮像方向の横方向の調整量は直前の単位時間Ｔｄにおける追尾対象の移動距離に相当する値よりも小さくなり、水平方向の移動速度が減少する追尾対象を的確に追尾することができる。 FIG. 8B shows an example of a captured image of the automatic tracking camera 100 at the position 63. Since the image of FIG. 8B includes an image near the opponent's goal, which is an influential factor, the influence degree α in the horizontal direction is 0.8 and the influence degree β in the vertical direction is 1. Therefore, the amount of adjustment in the lateral direction of the imaging direction is smaller than the value corresponding to the moving distance of the tracking target in the immediately preceding unit time Td, and the tracking target whose horizontal movement speed decreases can be accurately tracked. ..
影響度合いとして固定物を登録する例としては上記のようにスポーツの試合におけるゴール付近の画像以外でも種々設定可能である。例えば、本実施形態の自動追尾カメラ１００を街中に設置する監視カメラとして使用する場合、建物の画像や横断歩道の画像等を影響要因として登録しても良い。 As an example of registering a fixed object as the degree of influence, various settings can be made other than the image near the goal in the sports game as described above. For example, when the automatic tracking camera 100 of the present embodiment is used as a surveillance camera installed in the city, an image of a building, an image of a pedestrian crossing, or the like may be registered as an influential factor.
（実施例２）
実施例１では影響要因をゴール付近の画像としたが、影響要因は固定物に限定せず、移動するものでも良い。例えば相手チームの選手を影響要因として登録しても良い。影響要因の登録方法は、実施例１で説明した追尾対象の登録方法と同様でよいが、相手チームの選手を影響要因として登録する場合、顔認識で登録するのではなく、ユニフォームの形や色等を登録する方法でも良い。
(Example 2)
In the first embodiment, the influential factor is an image near the goal, but the influential factor is not limited to a fixed object and may be a moving one. For example, a player of the opponent team may be registered as an influential factor. The method of registering the influential factor may be the same as the registration method of the tracking target described in the first embodiment, but when registering the player of the opponent team as the influential factor, the shape and color of the uniform are not registered by face recognition. Etc. may be registered.
移動体を影響要因として登録する場合、追尾対象と影響要因との位置関係によって、異なる影響度を登録しても良い。例えば、相手チームの選手を影響要因として登録する場合、追尾対象の進行方向に検出される相手チームの選手を選手１として登録し、追尾対象の進行方向の逆方向に検出される相手チームの選手を選手２として登録する。そして、選手１と選手２の影響度を異なる値とする。例えば、選手１の水平方向影響度αを０．７、選手２の水平方向影響度αを１．３と登録する。垂直方向影響度βはいずれも１とする。本実施例における影響要因の登録状態を図９に示す。 When registering a moving object as an influential factor, different degrees of influence may be registered depending on the positional relationship between the tracking target and the influential factor. For example, when registering a player of the opponent team as an influential factor, a player of the opponent team detected in the traveling direction of the tracking target is registered as player 1, and a player of the opponent team detected in the opposite direction of the traveling direction of the tracking target. Is registered as player 2. Then, the degree of influence of player 1 and player 2 is set to different values. For example, the horizontal influence degree α of the player 1 is registered as 0.7, and the horizontal influence degree α of the player 2 is registered as 1.3. The vertical influence β is set to 1. FIG. 9 shows the registration status of the influential factors in this embodiment.
実施例２における自動追尾の流れは図２で説明した実施例１の場合と基本的に同様であるが、実施例２ではステップＳ４での動作が一部異なる。実施例２ではステップＳ４において、影響要因検出部１４は、影響要因として登録された対象が追尾対象の進行方向に検出された場合と進行方向の反対側で検出された場合とで、異なる影響要因として検出する。 The flow of automatic tracking in the second embodiment is basically the same as that of the first embodiment described with reference to FIG. 2, but the operation in step S4 is partially different in the second embodiment. In the second embodiment, in step S4, the influencing factor detection unit 14 differs in influencing factors depending on whether the target registered as the influencing factor is detected in the traveling direction of the tracking target or on the opposite side of the traveling direction. Detect as.
すなわち、影響要因検出部１４は影響要因として登録された対象が追尾対象の進行方向に検出された場合、影響要因を選手１として検出し、水平方向の影響度αを０．７、垂直方向の影響度βを１と設定する。これにより、調整量算出部１６で生成される水平方向の調整量Ｖｘ（ｎ）は小さくなり、撮像部２０の水平方向の移動量は小さくなる。 That is, when the target registered as the influence factor is detected in the traveling direction of the tracking target, the influence factor detection unit 14 detects the influence factor as the player 1, sets the influence degree α in the horizontal direction to 0.7, and sets the influence factor in the vertical direction. The degree of influence β is set to 1. As a result, the horizontal adjustment amount Vx (n) generated by the adjustment amount calculation unit 16 becomes small, and the horizontal movement amount of the imaging unit 20 becomes small.
また、影響要因検出部１４は影響要因として登録された対象が追尾対象の進行方向の逆側に検出された場合、影響要因を選手２として検出し、水平方向の影響度αを１．３、垂直方向の影響度βを１と設定する。これにより、調整量算出部１６で生成される水平方向の調整量Ｖｘ（ｎ）は大きくなり、撮像部２０の水平方向の移動量は大きくなる。 Further, when the target registered as the influence factor is detected on the opposite side of the traveling direction of the tracking target, the influence factor detection unit 14 detects the influence factor as the player 2 and sets the influence degree α in the horizontal direction to 1.3. The degree of influence β in the vertical direction is set to 1. As a result, the horizontal adjustment amount Vx (n) generated by the adjustment amount calculation unit 16 becomes large, and the horizontal movement amount of the imaging unit 20 becomes large.
追尾対象は、進行方向に相手チームの選手が近付いた場合、速度を落とすことが想定される。また、進行方向の反対側から相手チームの選手が近付いた場合、速度を上げることが想定される。自動追尾カメラ１００は追尾対象の移動量に影響を与える影響要因を検出し、影響要因と追尾対象との位置関係に基づいて撮像部２０の撮像方向調整量を算出するので、追尾対象の移動量が変化した場合でも的確に追尾対象を追尾することができる。 It is assumed that the tracking target will slow down when a player of the opponent team approaches in the direction of travel. In addition, when a player of the opponent team approaches from the opposite side of the direction of travel, it is expected that the speed will be increased. Since the automatic tracking camera 100 detects an influential factor that affects the moving amount of the tracking target and calculates the imaging direction adjustment amount of the imaging unit 20 based on the positional relationship between the influential factor and the tracking target, the moving amount of the tracking target It is possible to accurately track the tracking target even when is changed.
影響度合いとして移動体を登録する例としては上記のようにスポーツの試合における相手チームの選手の画像以外でも種々設定可能である。例えば、本実施形態の自動追尾カメラ１００を街中に設置する監視カメラとして使用する場合、追尾対象以外の人や自動車等の画像を影響要因として登録し、追尾対象と影響要因との位置関係に基づいて影響度を変えても良い。 As an example of registering a moving body as the degree of influence, various settings can be made other than the image of the player of the opponent team in the sports game as described above. For example, when the automatic tracking camera 100 of the present embodiment is used as a surveillance camera installed in the city, images of people, automobiles, etc. other than the tracking target are registered as influential factors, and based on the positional relationship between the tracking target and the influential factor. You may change the degree of influence.
実施例１では固定物を影響要因として登録する例を説明し、実施例２では移動体を影響要因として登録する例を説明したが、影響要因は複数を同時に登録しても良く、固定物と移動体の両方を影響要因として同時に登録しても良い。影響要因検出部１４は、複数の影響要因を検出した場合、各影響要因に対応して登録された各影響度に基づいて算出した値を最終的な影響度として設定すれば良い。例えば影響要因がｍ個（ｍは２以上の整数）検出されて、検出された影響要因それぞれに対応する水平方向の影響度がα１，α２，・・αｍ、垂直方向の影響度がβ１，β２・・βｍであった場合、水平方向の最終的な影響度αと垂直方向の最終的な影響度βは、式３および式４で算出される。
α＝α１×α２×・・×αｍ・・・（式３）
β＝β１×β２×・・×βｍ・・・（式４）
In Example 1, an example of registering a fixed object as an influential factor was described, and in Example 2, an example of registering a moving body as an influential factor was described. However, a plurality of influencing factors may be registered at the same time, and the fixed object and Both mobiles may be registered as influencing factors at the same time. When a plurality of influencing factors are detected, the influencing factor detection unit 14 may set a value calculated based on each influencing degree registered corresponding to each influencing factor as the final influencing degree. For example, m influential factors (m is an integer of 2 or more) are detected, and the horizontal influences corresponding to each of the detected influential factors are α1, α2, ... αm, and the vertical influences are β1, β2. When it is βm, the final degree of influence α in the horizontal direction and the final degree of influence β in the vertical direction are calculated by Equations 3 and 4.
α = α1 × α2 × ・ ・ × αm ・ ・ ・ (Equation 3)
β = β1 × β2 × ・ ・ × βm ・ ・ ・ (Equation 4)
影響要因が複数検出された場合の、最終的な影響度の算出方法は上記に限定されない。例えば、各影響度の平均値を最終的な影響度としても良い。 When a plurality of influential factors are detected, the final calculation method of the degree of influence is not limited to the above. For example, the average value of each degree of influence may be used as the final degree of influence.
実施形態１の自動追尾カメラ１００によれば、追尾対象の移動量に影響を与える影響要因を検出して、検出した影響要因の影響度を設定し、設定した影響度と追尾対象の過去の移動量とに基づいて撮像部２０の撮像方向調整量を変化させるので、追尾対象の移動量が変化した場合でも的確に追尾対象を追尾することができる。 According to the automatic tracking camera 100 of the first embodiment, an influential factor that affects the movement amount of the tracking target is detected, the influence degree of the detected influential factor is set, and the set influence degree and the past movement of the tracking target are set. Since the image pickup direction adjustment amount of the imaging unit 20 is changed based on the amount, the tracking target can be accurately tracked even when the movement amount of the tracking target changes.
＜実施形態２＞
実施形態２について説明する。実施形態１では影響要因を画像として登録し、撮像した画像から影響要因を検出したが、実施形態２では撮像部２０の撮像方向を影響要因として登録する。以下、実施形態１と異なる部分を中心に説明する。実施形態１と同様の構成には同一の符号を付し、説明を省略する場合がある。
<Embodiment 2>
The second embodiment will be described. In the first embodiment, the influential factor is registered as an image and the influential factor is detected from the captured image, but in the second embodiment, the imaging direction of the imaging unit 20 is registered as the influential factor. Hereinafter, the parts different from those of the first embodiment will be mainly described. The same reference numerals may be given to the same configurations as those in the first embodiment, and the description thereof may be omitted.
図１０は本実施形態の自動追尾カメラ２００の構成例を示すブロック図である。本実施形態の自動追尾カメラ２００は、実施形態１の自動追尾カメラ１００に対し、撮像方向移動部２２から影響要因検出部１４に撮像部２０の撮像方向を示す信号が送られる部分が異なる。 FIG. 10 is a block diagram showing a configuration example of the automatic tracking camera 200 of the present embodiment. The automatic tracking camera 200 of the present embodiment is different from the automatic tracking camera 100 of the first embodiment in that a signal indicating the imaging direction of the imaging unit 20 is sent from the imaging direction moving unit 22 to the influential factor detection unit 14.
図２を用いて自動追尾カメラ２００の動作を説明する。ステップＳ１で、追尾対象および影響要因の情報が登録される。追尾対象の登録方法は実施形態１と同様であるが、影響要因については、本実施形態では撮像部２０の撮像方向に対応させて登録する。 The operation of the automatic tracking camera 200 will be described with reference to FIG. In step S1, information on the tracking target and the influencing factor is registered. The method of registering the tracking target is the same as that of the first embodiment, but in the present embodiment, the influential factors are registered in correspondence with the imaging direction of the imaging unit 20.
図１１は、バスケットコート３０を撮像部２０が撮像する様子を示している。図１１の破線矢印Ｈ１〜Ｈ４は、撮像部２０の撮像方向を示す。撮像部２０は少なくともＨ１からＨ４まで撮像方向を移動できるものとする。撮像部２０の撮像方向に応じて複数の領域を設定し、設定した領域それぞれに対し影響度を登録する。例えば、撮像方向Ｈ１からＨ２までを領域Ａ、撮像方向Ｈ２からＨ３までを領域Ｂ、撮像方向Ｈ３からＨ４までを領域Ｃとし、それぞれの領域に対応して影響度を登録する。 FIG. 11 shows how the image pickup unit 20 takes an image of the basket coat 30. The dashed arrows H1 to H4 in FIG. 11 indicate the imaging direction of the imaging unit 20. It is assumed that the imaging unit 20 can move the imaging direction from at least H1 to H4. A plurality of regions are set according to the imaging direction of the imaging unit 20, and the degree of influence is registered for each of the set regions. For example, the imaging directions H1 to H2 are designated as region A, the imaging directions H2 to H3 are designated as region B, and the imaging directions H3 to H4 are designated as region C, and the degree of influence is registered corresponding to each region.
例えば、領域ＡとＣの水平方向の影響度αを０．８とし、領域Ｂの水平方向の影響度を１として登録する。垂直方向の影響度は全領域で１として登録する。影響要因の登録状態を図１２に示す。 For example, the horizontal influence α of the areas A and C is set to 0.8, and the horizontal influence of the area B is set to 1. The degree of influence in the vertical direction is registered as 1 in all areas. The registration status of the influential factors is shown in FIG.
図２に戻る。ステップＳ２からＳ３までは実施形態１と同様である。ステップＳ４で影響要因検出部１４は撮像方向移動部２２から受け取った撮像方向の情報から、撮像方向がどの領域にあるのかを検出し、検出した領域に対応する水平方向の影響度αと垂直方向の影響度βの値を記憶部２８から読み出し、読み出した値を影響度として設定する。ステップＳ５以降は実施形態１と同様である。 Return to FIG. Steps S2 to S3 are the same as those in the first embodiment. In step S4, the influencing factor detection unit 14 detects in which region the imaging direction is located from the imaging direction information received from the imaging direction moving unit 22, and is in the direction perpendicular to the horizontal influence degree α corresponding to the detected region. The value of the influence degree β of is read from the storage unit 28, and the read value is set as the influence degree. Step S5 and subsequent steps are the same as in the first embodiment.
本実施形態の自動追尾カメラ２００は、撮像部１０の撮像方向がゴールに近付くと撮像部２０の水平方向の調整量Ｖｘ（ｎ）が小さくなるように制御される。これにより、ゴール付近で水平方向の移動速度が減速する追尾対象を的確に追尾することができる。 The automatic tracking camera 200 of the present embodiment is controlled so that the horizontal adjustment amount Vx (n) of the imaging unit 20 becomes smaller when the imaging direction of the imaging unit 10 approaches the goal. As a result, it is possible to accurately track the tracking target whose horizontal movement speed slows down near the goal.
実施形態２の自動追尾カメラ２００によれば、撮像方向と影響度との対応情報に基づいて影響度を設定し、設定した影響度と追尾対象の過去の移動量とに基づいて撮像部２０の撮像方向調整量を算出するので、追尾対象の移動量が追尾対象の位置によって変化する場合でも的確に追尾対象を追尾することができる。 According to the automatic tracking camera 200 of the second embodiment, the influence degree is set based on the correspondence information between the imaging direction and the influence degree, and the image pickup unit 20 is based on the set influence degree and the past movement amount of the tracking target. Since the imaging direction adjustment amount is calculated, the tracking target can be accurately tracked even when the movement amount of the tracking target changes depending on the position of the tracking target.
実施形態１と実施形態２を組み合わせた構成も可能である。複数の影響要因が検出された場合、実施形態１で説明した式３、式４により最終的な影響度を算出すればよい。 A configuration in which the first embodiment and the second embodiment are combined is also possible. When a plurality of influential factors are detected, the final degree of influence may be calculated by the formulas 3 and 4 described in the first embodiment.
実施形態１、２では説明を簡単にするために撮像部２０の垂直方向の影響度βをいずれも１と設定したが、垂直方向の影響度βも水平方向の影響度αと同様に任意に設定可能である。 In the first and second embodiments, the vertical influence β of the imaging unit 20 is set to 1 for the sake of simplicity, but the vertical influence β can be arbitrarily set as well as the horizontal influence α. It can be set.
＜実施形態３＞
実施形態３では、追尾対象の移動量に影響を与える複数の要因に基づいて、人工知能（ＡＩ）を用いて影響度を設定する。以下、実施形態１または２と異なる部分を中心に説明する。実施形態１または２と同様の構成には同一の符号を付し、説明を省略する場合がある。
<Embodiment 3>
In the third embodiment, the degree of influence is set by using artificial intelligence (AI) based on a plurality of factors that affect the movement amount of the tracking target. Hereinafter, the parts different from those of the first or second embodiment will be mainly described. The same reference numerals may be given to the same configurations as those of the first and second embodiments, and the description thereof may be omitted.
図１３は本実施形態の自動追尾カメラ３００の構成例を示すブロック図である。図１３に示すように、自動追尾カメラ３００は、制御装置７０、撮像部２０、撮像方向移動部２２、表示部２４、入力部２６、記憶部２８を備える。 FIG. 13 is a block diagram showing a configuration example of the automatic tracking camera 300 of the present embodiment. As shown in FIG. 13, the automatic tracking camera 300 includes a control device 70, an imaging unit 20, an imaging direction moving unit 22, a display unit 24, an input unit 26, and a storage unit 28.
制御装置７０は、追尾対象検出部１２、調整量算出部１６、ＡＩ解析部７２を備える。追尾対象検出部１２、調整量算出部１６、ＡＩ解析部７２は、ハードウェアで構成されてもよいし、ソフトウェアで構成されてもよく、ハードウェアとソフトウェアとの使い分けは任意である。記憶部２８は、例えばＲＡＭ（Random Access Memory）で構成され、追尾対象の情報を記憶する。 The control device 70 includes a tracking target detection unit 12, an adjustment amount calculation unit 16, and an AI analysis unit 72. The tracking target detection unit 12, the adjustment amount calculation unit 16, and the AI analysis unit 72 may be configured by hardware or software, and the use of hardware and software is arbitrary. The storage unit 28 is composed of, for example, a RAM (Random Access Memory) and stores information to be tracked.
ＡＩ解析部７２は、図示しない複数のセンサー等から入力される、追尾対象の移動量に影響を与える影響要因に基づき、水平方向の影響度αと垂直方向の影響度βを設定する。調整量算出部１６は、ＡＩ解析部７２で設定した影響度と追尾対象の過去の移動量とに基づいて、式１と式２で自動追尾カメラの撮像方向調整量を算出する。調整量算出部１６は、算出した撮像方向調整量に基づき撮像方向移動部２２を制御する。また、ＡＩ解析部７２は、設定した影響度に基づいて撮像部２０の撮像方向を制御して撮像した画像を追尾結果として、ディープラーニングする。 The AI analysis unit 72 sets the influence degree α in the horizontal direction and the influence degree β in the vertical direction based on the influence factors that affect the movement amount of the tracking target, which are input from a plurality of sensors (not shown). The adjustment amount calculation unit 16 calculates the image pickup direction adjustment amount of the automatic tracking camera by Equations 1 and 2 based on the influence degree set by the AI analysis unit 72 and the past movement amount of the tracking target. The adjustment amount calculation unit 16 controls the image pickup direction moving unit 22 based on the calculated image pickup direction adjustment amount. In addition, the AI analysis unit 72 controls the imaging direction of the imaging unit 20 based on the set degree of influence, and deep-learns the image captured as a tracking result.
図１４を使ってディープラーニングの具体例を説明する。図１４は、ＡＩ解析部７２で設定した水平方向の影響度αと垂直方向の影響度βを使い撮像部２０の撮像方向を制御して撮像した画像を示す。説明のため、画像の水平方向をｘ方向、垂直方向をｙ方向とし、画像の中心座標を（ｘ，ｙ）＝（０，０）とする。 A specific example of deep learning will be described with reference to FIG. FIG. 14 shows an image captured by controlling the imaging direction of the imaging unit 20 using the horizontal influence degree α and the vertical influence degree β set by the AI analysis unit 72. For the sake of explanation, the horizontal direction of the image is the x direction, the vertical direction is the y direction, and the center coordinates of the image are (x, y) = (0,0).
図１４に示すように、撮像画像における追尾対象の中心５３が、撮像方向の中心（ｘ，ｙ）＝（０，０）に対し、水平方向にｘ３、垂直方向にｙ３ずれているとする。追尾対象の中心が撮像方向の中心となるように算出した影響度が正解の影響度であるとすると、正解の影響度α’、β’は、式１及び式２から、式５及び式６のように算出される。
α’＝α＋ｘ３／（Ｖｘ（ｎ）＋ｘ３）・・・（式５）
β’＝β＋ｙ３／（Ｖｙ（ｎ）＋ｙ３）・・・（式６）
As shown in FIG. 14, it is assumed that the center 53 of the tracking target in the captured image is deviated by x3 in the horizontal direction and y3 in the vertical direction with respect to the center (x, y) = (0,0) in the imaging direction. Assuming that the degree of influence calculated so that the center of the tracking target is the center of the imaging direction is the degree of influence of the correct answer, the degrees of influence α'and β'of the correct answer are given by Equations 1 and 2 to Equations 5 and 6. It is calculated as.
α'= α + x3 / (Vx (n) + x3) ... (Equation 5)
β'= β + y3 / (Vy (n) + y3) ... (Equation 6)
上記のように、撮像した画像を元に正解の影響度α’、β’を算出することができる。また、算出した正解の影響度α’、β’と、入力した影響要因とをセットとした教師データとすることで、ＡＩ解析部７２をディープラーニングさせることができる。 As described above, the influence degrees α'and β'of the correct answer can be calculated based on the captured image. Further, the AI analysis unit 72 can be deep-learned by using the teacher data as a set of the calculated influence degrees α'and β'of the correct answer and the input influence factor.
すなわち、ＡＩ解析部７２は、調整量算出部１６で算出した撮像方向調整量に基づいて撮像方向を移動した自動追尾カメラ３００で撮像した画像を解析して影響度の正解を算出し、算出した影響度の正解と、追尾対象の移動量に影響を与える複数の要因とを教師データとしてディープラーニングを実行する。 That is, the AI analysis unit 72 analyzes the image captured by the automatic tracking camera 300 that has moved the imaging direction based on the imaging direction adjustment amount calculated by the adjustment amount calculation unit 16, and calculates and calculates the correct answer of the degree of influence. Deep learning is performed using the correct answer of the degree of influence and multiple factors that affect the movement amount of the tracking target as teacher data.
ＡＩ解析部７２は、学習済みＡＩモデルを使用すれば良いが、学習済みＡＩモデルを使用する場合、条件が近い試合においてディープラーニングさせたＡＩモデルを使用することが望ましい。具体的には、選手の年齢層や性別、レベル（プロ／アマチュアの違いなど）等の条件が近い試合でディープラーニングさせたＡＩモデルを使用する。更に好ましくは、ＡＩ解析部７２は学習済みＡＩモデルに対し当該試合における追尾対象の追尾状態をディープラーニングさせることで追尾対象特有のＡＩモデルを生成すればよい。 The AI analysis unit 72 may use the trained AI model, but when using the trained AI model, it is desirable to use the deep-learned AI model in a match in which the conditions are close. Specifically, we will use an AI model that has been deep-learned in games where the conditions such as the age group, gender, and level (difference between professionals / amateurs) of the players are close. More preferably, the AI analysis unit 72 may generate an AI model peculiar to the tracking target by deep learning the tracking state of the tracking target in the game with the trained AI model.
ＡＩ解析部７２に入力する、追尾対象の移動量に影響を与える複数の要因は、少なくとも、実施形態１で説明したように画像として登録する影響要因や、実施形態２で説明したように撮像部２０の撮像方向の情報の他に、試合開始からの経過時間、時刻、点数やファウル数などのスコア情報、気温、湿度、追尾対象の移動速度のいずれかを含むことが好ましい。 The plurality of factors that affect the movement amount of the tracking target input to the AI analysis unit 72 are at least the influential factors that are registered as images as described in the first embodiment and the imaging unit as described in the second embodiment. In addition to the information on the imaging directions of 20, it is preferable to include any one of score information such as elapsed time, time, points and fouls from the start of the game, temperature, humidity, and moving speed of the tracking target.
追尾対象を撮像した画像を解析して追尾対象の疲労度を数値化し、影響要因として入力しても良い。また、追尾対象の心拍数等のバイタルデータを影響要因として入力しても良い。追尾対象のバイタルデータを取得する方法としては、追尾対象に通信機能を有するセンサーを装着させて無線通信で制御装置７０が受信する方法や、追尾対象を撮像した画像を解析して数値化する方法が考えられる。 The image of the tracked object may be analyzed to quantify the fatigue level of the tracked object and input as an influential factor. In addition, vital data such as the heart rate to be tracked may be input as an influential factor. As a method of acquiring the vital data of the tracking target, a method of attaching a sensor having a communication function to the tracking target and receiving it by the control device 70 by wireless communication, or a method of analyzing and quantifying the image of the tracking target. Can be considered.
図２を用いて自動追尾カメラ３００の動作を説明する。ステップＳ１で、追尾対象が登録される。追尾対象の登録方法は実施形態１と同様である。ステップＳ２からＳ３までは実施形態１と同様である。 The operation of the automatic tracking camera 300 will be described with reference to FIG. In step S1, the tracking target is registered. The method of registering the tracking target is the same as that of the first embodiment. Steps S2 to S3 are the same as those in the first embodiment.
ステップＳ４でＡＩ解析部７２は、追尾対象の移動量に影響を与える複数の要因に基づき、水平方向の影響度αと垂直方向の影響度βを設定する。ステップＳ５以降は実施形態１、２と同様である。 In step S4, the AI analysis unit 72 sets the influence degree α in the horizontal direction and the influence degree β in the vertical direction based on a plurality of factors that affect the movement amount of the tracking target. Step S5 and subsequent steps are the same as those in the first and second embodiments.
実施形態３の自動追尾カメラ３００によれば、追尾対象の移動量に影響を与える複数の要因に基づいて人工知能を用いて追尾対象の移動量に対する影響度を設定し、設定した影響度と追尾対象の過去の移動量とに基づいて撮像部２０の撮像方向調整量を算出するので、追尾対象の移動量が変化した場合でも的確に追尾対象を追尾することができる。 According to the automatic tracking camera 300 of the third embodiment, the influence degree on the movement amount of the tracking target is set by using artificial intelligence based on a plurality of factors affecting the movement amount of the tracking target, and the set influence degree and the tracking are performed. Since the image pickup direction adjustment amount of the imaging unit 20 is calculated based on the past movement amount of the target, the tracking target can be accurately tracked even if the movement amount of the tracking target changes.
実施形態１〜３では、追尾対象が撮像画像の中心となることを目標として制御する例を説明したが、これに限定されず、追尾対象が撮像方向の中心以外となることを目標として制御してもよい。例えば、ある時点で追尾対象が撮像方向の中心に対してずれていたとすると、制御装置１０または制御装置７０は、単位時間Ｔｄ後に追尾対象が撮像方向の中心となるように撮像することを目標とするのではなく、追尾対象と撮像方向の中心とのずれを少なくするように撮像することを目標とする。 In the first to third embodiments, an example of controlling the tracking target to be the center of the captured image has been described, but the present invention is not limited to this, and the tracking target is controlled to be other than the center of the imaging direction. You may. For example, if the tracking target is deviated from the center of the imaging direction at a certain point in time, the control device 10 or the control device 70 aims to image the tracking target so that the tracking target becomes the center of the imaging direction after a unit time Td. The goal is to reduce the deviation between the tracking target and the center of the imaging direction.
図１５を使って、具体例を説明する。図１５は、撮像部２０で撮像した画像を示す。説明のため、画像の水平方向をｘ方向、垂直方向をｙ方向とし、画像の中心座標を（ｘ，ｙ）＝（０，０）とする。 A specific example will be described with reference to FIG. FIG. 15 shows an image captured by the imaging unit 20. For the sake of explanation, the horizontal direction of the image is the x direction, the vertical direction is the y direction, and the center coordinates of the image are (x, y) = (0,0).
ある時点で撮像した画像における追尾対象の撮像位置が、画像の中心（ｘ，ｙ）＝（０，０）に対し、水平方向にｘ４、垂直方向にｙ４ずれている位置５４であるとする。このとき、制御装置１０または制御装置７０は、追尾対象が画像の中心となるように撮像することを目標として制御するのではなく、画像の中心に対する追尾対象のずれの方向が同じで、ずれが小さくなる位置５５になるように撮像することを目標とする。位置５５の画像の中心に対するずれを水平方向にｘ５、垂直方向にｙ５とするとき、ｘ５、ｙ５は、式７、式８で示す範囲内とする。
ｘ５＝ａ×ｘ４ （０＜ａ＜１）・・・（式７）
ｙ５＝ｂ×ｙ４ （０＜ｂ＜１）・・・（式８）
ａおよびｂは、０．２〜０．３とすることが望ましい。
It is assumed that the imaging position of the tracking target in the image captured at a certain time is a position 54 deviated by x4 in the horizontal direction and y4 in the vertical direction with respect to the center (x, y) = (0,0) of the image. At this time, the control device 10 or the control device 70 does not control the image so that the tracking target is the center of the image, but the direction of the deviation of the tracking target with respect to the center of the image is the same, and the deviation is The goal is to take an image so that the position 55 becomes smaller. When the deviation of the position 55 from the center of the image is x5 in the horizontal direction and y5 in the vertical direction, x5 and y5 are within the ranges shown in the formulas 7 and 8.
x5 = a × x4 (0 <a <1) ... (Equation 7)
y5 = b × y4 (0 <b <1) ... (Equation 8)
It is desirable that a and b are 0.2 to 0.3.
追尾対象を画像の中心となるように撮像することを目標に制御するのではなく、追尾対象と画像の中心とのずれが少なくなるよう撮像することを目標として制御することで、撮像方向を過剰に移動させる恐れが少なくなり、より滑らかな追尾が可能となる。 Instead of controlling the tracking target so that it is centered on the image, the target is controlled so that the deviation between the tracking target and the center of the image is small, so that the imaging direction is excessive. There is less risk of moving to, and smoother tracking is possible.
実施形態１〜３では、撮像部の撮像方向を移動させることで追尾対象を自動追尾する構成を説明したが、本発明は撮像部の撮像方向を移動させる構成に限定するものではない。予め撮像範囲を広く撮像しておき、撮像した画像から追尾対象の画像を切り出して拡大することで追尾する自動追尾カメラにも適用可能である。 In the first to third embodiments, the configuration for automatically tracking the tracking target by moving the imaging direction of the imaging unit has been described, but the present invention is not limited to the configuration in which the imaging direction of the imaging unit is moved. It can also be applied to an automatic tracking camera that captures a wide imaging range in advance, cuts out an image to be tracked from the captured image, and enlarges it for tracking.
なお。本発明は上述した実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変更可能である。 In addition. The present invention is not limited to the above-described embodiment, and various modifications can be made without departing from the gist of the present invention.
１０ 制御装置、１２ 追尾対象検出部、１４ 影響要因検出部、
１６ 調整量算出部、２０ 撮像部、２２ 撮像方向移動部、
２４ 表示部、２６ 入力部、２８ 記憶部、７０ 制御装置
７２ ＡＩ解析部
１００，２００，３００ 自動追尾カメラ
10 Control device, 12 Tracking target detection unit, 14 Influencing factor detection unit,
16 Adjustment amount calculation unit, 20 Imaging unit, 22 Imaging direction moving unit,
24 Display unit, 26 Input unit, 28 Storage unit, 70 Control device 72 AI analysis unit 100, 200, 300 Automatic tracking camera
Claims (7)
前記追尾対象の情報に基づき、前記自動追尾カメラで撮像した画像から前記追尾対象を検出する追尾対象検出部と、
前記追尾対象の移動量に影響を与える影響要因の情報に基づき、前記影響要因を検出して影響度を設定する影響要因検出部と、
前記影響要因検出部で設定した前記影響度と前記追尾対象の過去の移動量とに基づいて、前記自動追尾カメラの撮像方向調整量を算出する調整量算出部と
を備えることを特徴とする自動追尾カメラの制御装置。 It is a control device of an automatic tracking camera that automatically tracks and images the tracking target.
Based on the information of the tracking target, the tracking target detection unit that detects the tracking target from the image captured by the automatic tracking camera, and the tracking target detection unit.
An influence factor detection unit that detects the influence factor and sets the degree of influence based on the information of the influence factor that affects the movement amount of the tracking target.
The automatic tracking unit is provided with an adjustment amount calculation unit that calculates an image pickup direction adjustment amount of the automatic tracking camera based on the influence degree set by the influence factor detection unit and the past movement amount of the tracking target. Tracking camera control device.
前記複数の影響要因それぞれに対応する影響度に基づいて算出した値を最終的な影響度として設定することを特徴とする、
請求項１に記載の自動追尾カメラの制御装置。 When the influential factor detection unit detects a plurality of influential factors,
A value calculated based on the degree of influence corresponding to each of the plurality of influence factors is set as the final degree of influence.
The control device for the automatic tracking camera according to claim 1.
請求項１または２に記載の自動追尾カメラの制御装置。 The information of the influential factor is image information, and the influential factor detecting unit detects the influential factor from an image captured by the automatic tracking camera.
The control device for the automatic tracking camera according to claim 1 or 2.
請求項１〜３のいずれか１項に記載の自動追尾カメラの制御装置 The influence factor is a moving body, and the degree of influence of the influence factor is a value different depending on the positional relationship between the tracking target and the influence factor, according to any one of claims 1 to 3. Auto-tracking camera control device
撮像部と、
前記調整量算部で算出した前記撮像方向調整量に基づき、前記撮像部の撮像方向を移動させる撮像方向移動部と、
前記追尾対象の情報と前記影響要因の情報とを記憶する記憶部と
を備えることを特徴とする
自動追尾カメラ。 The control device for the automatic tracking camera according to any one of claims 1 to 5.
Imaging unit and
An imaging direction moving unit that moves the imaging direction of the imaging unit based on the imaging direction adjustment amount calculated by the adjustment amount calculation unit.
An automatic tracking camera characterized by including a storage unit that stores information on the tracking target and information on the influencing factor.
前記追尾対象の情報に基づき、前記自動追尾カメラで撮像した画像から前記追尾対象を検出する追尾対象検出ステップと、
前記追尾対象の移動量に影響を与える影響要因の情報に基づき、前記影響要因を検出して、影響度を設定する影響要因検出ステップと、
前記影響要因検出ステップで設定した前記影響度と前記追尾対象の過去の移動量とに基づいて、前記自動追尾カメラの撮像方向調整量を算出する調整量算出ステップと
を有することを特徴とする自動追尾カメラの制御方法。
It is a control method of an automatic tracking camera that automatically tracks and captures the tracking target.
Based on the information of the tracking target, the tracking target detection step of detecting the tracking target from the image captured by the automatic tracking camera, and the tracking target detection step.
Based on the information of the influential factors that affect the movement amount of the tracking target, the influential factor detection step of detecting the influential factors and setting the degree of influence, and
It is characterized by having an adjustment amount calculation step for calculating the imaging direction adjustment amount of the automatic tracking camera based on the influence degree set in the influence factor detection step and the past movement amount of the tracking target. How to control the tracking camera.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019070008A JP7183920B2 (en) | 2019-04-01 | 2019-04-01 | Auto-tracking camera control device, auto-tracking camera, control method for auto-tracking camera |
| US16/836,989 US11277556B2 (en) | 2019-04-01 | 2020-04-01 | Control device for automatic tracking camera |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019070008A JP7183920B2 (en) | 2019-04-01 | 2019-04-01 | Auto-tracking camera control device, auto-tracking camera, control method for auto-tracking camera |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020170892A true JP2020170892A (en) | 2020-10-15 |
| JP7183920B2 JP7183920B2 (en) | 2022-12-06 |
Family
ID=72747305
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019070008A Active JP7183920B2 (en) | 2019-04-01 | 2019-04-01 | Auto-tracking camera control device, auto-tracking camera, control method for auto-tracking camera |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7183920B2 (en) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06347219A (en) * | 1993-06-10 | 1994-12-20 | Oyo Keisoku Kenkyusho:Kk | Measuring instrument of traveling object |
| JP2001285850A (en) * | 2000-03-30 | 2001-10-12 | Nec Corp | Device and method for automatic following, and recording medium for recording automatic following program |
| JP2015233259A (en) * | 2014-06-11 | 2015-12-24 | キヤノン株式会社 | Subject tracking device |
| JP2017212581A (en) * | 2016-05-25 | 2017-11-30 | キヤノン株式会社 | Tracker, tracking method and program |
| WO2018135095A1 (en) * | 2017-01-20 | 2018-07-26 | ソニー株式会社 | Information processor, information processing method, and information processing system |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6347219B2 (en) | 2015-03-13 | 2018-06-27 | 住友電装株式会社 | Band clip |
-
2019
- 2019-04-01 JP JP2019070008A patent/JP7183920B2/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06347219A (en) * | 1993-06-10 | 1994-12-20 | Oyo Keisoku Kenkyusho:Kk | Measuring instrument of traveling object |
| JP2001285850A (en) * | 2000-03-30 | 2001-10-12 | Nec Corp | Device and method for automatic following, and recording medium for recording automatic following program |
| JP2015233259A (en) * | 2014-06-11 | 2015-12-24 | キヤノン株式会社 | Subject tracking device |
| JP2017212581A (en) * | 2016-05-25 | 2017-11-30 | キヤノン株式会社 | Tracker, tracking method and program |
| WO2018135095A1 (en) * | 2017-01-20 | 2018-07-26 | ソニー株式会社 | Information processor, information processing method, and information processing system |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7183920B2 (en) | 2022-12-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11277556B2 (en) | Control device for automatic tracking camera | |
| CN107224261B (en) | Visual impairment detection system using virtual reality | |
| US10970559B2 (en) | People flow estimation device, people flow estimation method, and recording medium | |
| US9679258B2 (en) | Methods and apparatus for reinforcement learning | |
| US10264176B2 (en) | Gaze tracking device and method and recording medium for performing the same | |
| CN105749548B (en) | Information processing apparatus, information processing method, and program | |
| JP5875453B2 (en) | Automatic tracking device | |
| JP5030142B2 (en) | Concentration evaluation device and vehicle display device using the same | |
| JP2004171165A (en) | Moving apparatus | |
| CN110348332A (en) | The inhuman multiple target real-time track extracting method of machine under a kind of traffic video scene | |
| JP2020170894A (en) | Controller for automatic tracking camera, automatic tracking camera, and control method therefor | |
| KR20200134160A (en) | Living-body detection method and apparatus for face, electronic device ad computer readable medium | |
| US9019373B2 (en) | Monitoring device, method thereof | |
| JP7183920B2 (en) | Auto-tracking camera control device, auto-tracking camera, control method for auto-tracking camera | |
| JP2020170893A (en) | Controller for automatic tracking camera, automatic tracking camera, and control method therefor | |
| JP6822571B2 (en) | Terminal device, risk prediction method, program | |
| JP6336935B2 (en) | Moving object tracking device | |
| US11046247B1 (en) | System and method for predicting effects of forward glance durations on latent hazard detection | |
| JP2010246676A (en) | Exercise support system, exercise support method and program | |
| JP7148192B1 (en) | Display control device, method and program | |
| CN105763766B (en) | Control method, control device and electronic device | |
| JP3929819B2 (en) | Monitoring device, method and program | |
| CN113569693A (en) | Motion state identification method, device and equipment | |
| JP6451418B2 (en) | Gaze target determination device, gaze target determination method, and gaze target determination program | |
| JP2020175047A (en) | Operation analyzing device, operation analyzing method and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210630 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220607 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220622 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221025 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221107 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7183920 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |