JP2020096262A

JP2020096262A - Tracking device and method

Info

Publication number: JP2020096262A
Application number: JP2018231939A
Authority: JP
Inventors: 田中　章文; Akifumi Tanaka; 章文田中
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2018-12-11
Filing date: 2018-12-11
Publication date: 2020-06-18
Anticipated expiration: 2038-12-11
Also published as: JP7325180B2

Abstract

To restart tracking of a to-be-tracked object even when an object such as a to-be-tracked person is replaced with another object.SOLUTION: A tracking device includes: tracking means for tracking a main tracking object while changing an imaging range so that the main tracking object enters the imaging range in a plurality of images acquired along a time series; registration means for registering an object intersecting the main tracking object on the image or an object separated from the main tracking object as a tracking candidate object; and changing means for changing the imaging range so that the tracking candidate object enters the imaging range when it is determined that a current main tracking object is not a specified target.SELECTED DRAWING: Figure 1

Description

本発明は、追尾装置および方法に関する。 The present invention relates to a tracking device and method.

監視及びモニタリングシステムでは、パン・チルト・ズームを調整可能なＰＴＺカメラがよく用いられる。追尾対象が常に撮影され続けるように、自動的にＰＴＺカメラのパン・チルト・ズームを制御するＰＴＺ追尾技術が知られている。ここでパンとはカメラの向きを左右に振ること、チルトとはカメラの向きを上下に振ること、ズームとは画角を望遠または広角に変化させることを意味する。 In surveillance and monitoring systems, PTZ cameras with adjustable pan/tilt/zoom are often used. There is known a PTZ tracking technique that automatically controls pan/tilt/zoom of a PTZ camera so that a tracking target is always photographed. Here, pan means that the direction of the camera is swung left and right, tilt means that the direction of the camera is swung up and down, and zoom means that the angle of view is changed to the telephoto or wide angle.

この技術を用いて特定の人物などを追尾しようとしたとき、画像上での人物の交差や重なっていた人物の分離によって、ある人物Ａを追尾していたはずが、異なる人物Ｂを追尾してしまうという場合がある。このような問題に対応するために、特許文献１では、人が交差したり分離したりした場合に、各人物が誰かを判断する顔認証を行う頻度を上げる。これにより、追尾時に入れ替わりが発生し得る場面でも、各人物が誰かを素早く判断し、入れ替わりが起きたまま追尾することを減らすことができる。また、特許文献２では追尾対象を見失った際に、カメラをズームアウトさせて得られた画像から、追尾対象を探索することが開示されている。 When trying to track a specific person using this technique, a person A should have been tracked due to the intersection of the people on the image and the separation of overlapping people, but a different person B should be tracked. There are times when it ends up. In order to deal with such a problem, in Patent Document 1, when a person crosses or separates, the frequency of face authentication for determining who each person is is increased. This makes it possible to reduce the possibility that each person can quickly determine who the person is and track the person while the change occurs even when the change may occur at the time of tracking. Further, Patent Document 2 discloses searching for a tracking target from an image obtained by zooming out a camera when the tracking target is lost.

特開２０１５−０５３０３２号公報JP, 2005-053032, A 特開２００８−１０３８９０号公報JP, 2008-103890, A

しかしながら、特許文献１に記載の技術では、顔認証を用いて各人物が誰かを判断するため、カメラで撮影された画像に顔が映っている必要がある。追尾したい人物や、その人物と交差した人物の顔が画像になかなか映らない場合には、頻度を上げても追尾すべき人物の判断ができず、誤った追尾をしてしまう可能性がある。 However, in the technique described in Patent Document 1, it is necessary to show the face in the image captured by the camera because each person determines who is using face authentication. When the person to be tracked or the face of the person who intersects with the person is not clearly shown in the image, the person to be tracked cannot be determined even if the frequency is increased, and there is a possibility of erroneous tracking.

誤った追尾をしてしまうと、追尾したい人物が撮像範囲から外れてしまう場合があり、撮影範囲から外れてしまうと、入れ替わりが起きていることが判明しても、追尾したい人物を再度撮影することが難しくなる。 If you make a mistake in tracking, the person you want to track may be out of the shooting range, and if it goes out of the shooting range, the person you want to track will be shot again Becomes difficult.

特許文献２に記載の技術のようにズームアウトした場合でも、追尾したい人物と入れ替わった人物とが異なる方向に進んでいたり、２人の距離が離れてしまったりすると追尾したい人物を再度撮影することができない。そのため、画像内で探索を行っても追尾したい人物の追尾を再開することができない。 Even when zooming out as in the technique described in Patent Document 2, if the person to be tracked and the replaced person are moving in different directions, or if the distance between the two persons is increased, the person to be tracked can be photographed again. I can't. Therefore, even if a search is performed in the image, the tracking of the person who wants to be tracked cannot be resumed.

本発明はこうした課題に鑑みてなされたものであり、その目的は、追尾したい人物などの物体と他の物体との入れ替わりが発生した場合でも、追尾したい物体の追尾を再開することを可能とする技術の提供にある。 The present invention has been made in view of these problems, and an object thereof is to enable tracking of an object to be tracked to be restarted even when an object such as a person to be tracked is replaced with another object. It is in the provision of technology.

本発明のある態様は追尾装置に関する。この追尾装置は、時系列に沿って取得された複数の画像において、主追尾物体が入るよう撮像範囲を変更しながら該主追尾物体を追尾する追尾手段と、画像上で主追尾物体と交差した物体または主追尾物体から分離した物体を追尾候補物体として登録する登録手段と、現在の主追尾物体が指定された対象ではないと判断された場合、追尾候補物体が入るよう撮像範囲を変更する変更手段と、を備える。 One aspect of the present invention relates to a tracking device. This tracking device intersects with the main tracking object on the image with a tracking means for tracking the main tracking object while changing the imaging range so that the main tracking object enters in a plurality of images acquired in time series. Registration means for registering an object or an object separated from the main tracking object as a tracking candidate object, and changing the imaging range to include the tracking candidate object if it is determined that the current main tracking object is not the designated target And means.

本発明によれば、追尾したい人物などの物体と他の物体との入れ替わりが発生した場合でも、追尾したい物体の追尾を再開することができる。 According to the present invention, even when an object such as a person to be tracked is replaced with another object, tracking of an object to be tracked can be restarted.

実施の形態に係る追尾システムの構成の例を示す模式図である。It is a schematic diagram which shows the example of a structure of the tracking system which concerns on embodiment. 図１のＰＴＺカメラの機能および構成を示すブロック図である。It is a block diagram which shows the function and structure of the PTZ camera of FIG. 図１の追尾システムにおけるＰＴＺ追尾処理の流れを示すフローチャートである。3 is a flowchart showing a flow of PTZ tracking processing in the tracking system of FIG. 1. 図３の追尾処理ステップにおける処理の流れを示すフローチャートである。4 is a flowchart showing the flow of processing in the tracking processing step of FIG. 3. 撮像部により順に撮像された画像の列の例を示す図である。It is a figure which shows the example of the row|line|column of the image imaged in order by the imaging part. 入れ替わりの例を示す図である。It is a figure which shows the example of exchange. 図４の予測処理ステップにおける処理の流れを示すフローチャートである。5 is a flowchart showing a processing flow in a prediction processing step of FIG. 4. 優先度の付け方の例を示す図である。It is a figure which shows the example of how to give a priority.

以下、各図面に示される同一または同等の構成要素、部材、処理には、同一の符号を付するものとし、適宜重複した説明は省略する。また、各図面において説明上重要ではない部材の一部は省略して表示する。 Hereinafter, the same or equivalent constituent elements, members, and processes shown in each drawing will be denoted by the same reference numerals, and duplicated description will be omitted as appropriate. In addition, in each drawing, some of the members that are not important for explanation are omitted.

＜実施の形態＞
図１は、実施の形態に係る追尾システム２の構成の例を示す模式図である。追尾システム２は、ＰＴＺカメラ１０６と、インターネットやＬＡＮやＷＡＮや携帯電話網などのネットワーク１０４と、表示装置１０１と、入力装置１０３と、録画装置１０２と、認証情報記録装置１０７と、を備える。ＰＴＺカメラ１０６と表示装置１０１と録画装置１０２と認証情報記録装置１０７とはネットワーク１０４を介して互いに接続される。入力装置１０３は表示装置１０１と接続される。ＰＴＺカメラ１０６は、表示装置１０１、録画装置１０２からの要求に応じて、ネットワーク１０４を介してそれらの装置に映像１０５を送信する。録画装置１０２は、ＰＴＺカメラ１０６から得た映像１０５をＨＤＤやＳＤＤや光ディスクなどの記録媒体に保存する。表示装置１０１は、ＰＴＺカメラ１０６から得た映像１０５や、録画装置１０２に保存された映像を読みだして表示したり、入力装置１０３を通じてユーザからの要求を受け取り、ＰＴＺカメラ１０６へ要求を送信したりする。認証情報記録装置１０７は、物体を識別するための情報を保持する。 <Embodiment>
FIG. 1 is a schematic diagram showing an example of the configuration of a tracking system 2 according to the embodiment. Tracking system 2 includes PTZ camera 106, network 104 such as the Internet, LAN, WAN, and mobile phone network, display device 101, input device 103, recording device 102, and authentication information recording device 107. The PTZ camera 106, the display device 101, the recording device 102, and the authentication information recording device 107 are connected to each other via a network 104. The input device 103 is connected to the display device 101. The PTZ camera 106 transmits an image 105 to those devices via the network 104 in response to a request from the display device 101 and the recording device 102. The recording device 102 stores the image 105 obtained from the PTZ camera 106 in a recording medium such as an HDD, SDD, or an optical disc. The display device 101 reads out and displays the video 105 obtained from the PTZ camera 106 and the video stored in the recording device 102, receives a request from the user through the input device 103, and transmits the request to the PTZ camera 106. Or The authentication information recording device 107 holds information for identifying an object.

図２は、図１のＰＴＺカメラ１０６の機能および構成を示すブロック図である。ここに示す各ブロックは、ハードウエア的には、コンピュータのＣＰＵをはじめとする素子や機械装置で実現でき、ソフトウエア的にはコンピュータプログラム等によって実現されるが、ここでは、それらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックはハードウエア、ソフトウエアの組合せによっていろいろなかたちで実現できることは、本明細書に触れた当業者には理解されるところである。 FIG. 2 is a block diagram showing the functions and configuration of the PTZ camera 106 of FIG. Each block shown here can be realized by an element such as a CPU of a computer or a mechanical device in terms of hardware, and can be realized by a computer program or the like in terms of software. It depicts the functional blocks that are used. Therefore, it is understood by those skilled in the art who have touched the present specification that these functional blocks can be realized in various ways by a combination of hardware and software.

ＰＴＺカメラ１０６は、撮像部２００と制御部２５０とを含む。
撮像部２００は、ＣＭＯＳセンサやＣＣＤセンサなどの固体撮像素子と、雲台とを含んでおり、撮像範囲を撮像することで映像を生成する。撮像部２００は、パン、チルト、ズームを変化させることで撮像範囲を変えることができる。 The PTZ camera 106 includes an image capturing section 200 and a control section 250.
The imaging unit 200 includes a solid-state imaging device such as a CMOS sensor or a CCD sensor, and a pan head, and generates an image by imaging the imaging range. The imaging unit 200 can change the imaging range by changing the pan, tilt, and zoom.

通信Ｉ／Ｆ部２５１は、ＨＴＴＰやＴＣＰ／ＩＰなどの通信方式に基づき情報の送受信を担当し、ネットワーク１０４とのインタフェースとして機能する。
映像入力部２５２は、撮像部２００から撮像データを受け取る。ここで撮像データは、撮像部２００により撮像された映像、およびその映像の撮像時の撮像部２００の姿勢情報(パン値、チルト値、ズーム値)を含むデータである。 The communication I/F unit 251 is in charge of transmitting and receiving information based on a communication method such as HTTP or TCP/IP, and functions as an interface with the network 104.
The video input unit 252 receives image pickup data from the image pickup unit 200. Here, the image pickup data is data including an image picked up by the image pickup unit 200 and posture information (pan value, tilt value, zoom value) of the image pickup unit 200 at the time of picking up the image.

映像符号化部２５３は、映像入力部２５２から撮像データを受け取り、映像を所定の符号化方式で符号化する。ここで、符号化方式としてはＪＰＥＧ、ＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ．２６４、Ｈ．２６５などの方式がある。
映像送信部２５４は、映像符号化部２５３によって符号化された映像を、通信Ｉ／Ｆ部２５１経由で外部へ送信する。 The video encoding unit 253 receives the imaging data from the video input unit 252 and encodes the video with a predetermined encoding method. Here, the encoding method is JPEG, MPEG-2, MPEG-4, H.264. H.264, H.264. There are methods such as 265.
The video transmission unit 254 transmits the video coded by the video coding unit 253 to the outside via the communication I/F unit 251.

入力部２５５は、入力装置１０３を通じて取得されたユーザ入力や、ユーザ入力に基づいて選択されたデータなどを、通信Ｉ／Ｆ部２５１を通じて受け取る。
物体検出部２５６は、映像入力部２５２によって取得された撮像データから撮像画像を受け取る。そして、物体検出部２５６は、既知のパターン認識や機械学習などの各種手法を利用し、与えられた撮像画像から顔や人体などの物体を検出する。 The input unit 255 receives, through the communication I/F unit 251, a user input acquired through the input device 103, data selected based on the user input, and the like.
The object detection unit 256 receives a captured image from the captured data acquired by the video input unit 252. Then, the object detection unit 256 uses various methods such as known pattern recognition and machine learning to detect an object such as a face or a human body from the given captured image.

物体追尾部２５７は、時系列に沿って取得された複数の画像の間、すなわち時間的に連続する画像間において、対応する物体同士の対応付けを行う。対応付け処理は、画像間の物体の検出結果のうち、同一物体に対応する検出結果同士をペアリングするマッチング問題として定式化できる。まず、物体の類似度を、物体を表す図形の位置やサイズ、物体から抽出された特徴量などの値を使って定義する。次に、もっとも類似度の高い検出結果の組から順番にペアを作る方法や、全体の類似度の和が最大になるようペアを作る全体最適化方法を用いて、検出結果のマッチングを行うことができる。対応付けられた物体には同一のＩＤが付与される。 The object tracking unit 257 associates corresponding objects between a plurality of images acquired in time series, that is, between images that are temporally continuous. The association process can be formulated as a matching problem of pairing detection results corresponding to the same object among detection results of objects between images. First, the similarity of an object is defined using values such as the position and size of a figure representing the object and the feature amount extracted from the object. Next, match the detection results using the method that creates pairs in order from the set of detection results with the highest similarity or the global optimization method that creates pairs so that the sum of the overall similarities becomes maximum. You can The same ID is assigned to the associated objects.

判断部２６１は、入力部２５５から得られたユーザ入力やデータをもとに、物体追尾部２５７で追尾している物体が、ユーザによって指定された対象であるか否かを判断する。判断部２６１は、指定された対象であると判断された物体を主追尾物体として設定する。物体が指定された対象であるか否かの判断手法として、本実施の形態では人物認証、特に顔認証を用いる。顔認証は、予め登録されている人物の顔情報と、撮像画像上の人物の顔から抽出した情報と、を照らし合わせて同一人物か判定する技術である。本実施の形態において、予め登録されている人物の顔情報は認証情報記録装置１０７から取得される。なお、判断手法は顔認証に限定されず、個人または特定の物体を識別する手法であればどのような手法が採用されてもよい。また、個人または特定の物体を識別する手法の代わりに、判断部２６１はユーザからの入力を用いて、物体が指定された対象であるか否かを判定してもよい。 The determination unit 261 determines whether or not the object tracked by the object tracking unit 257 is the target designated by the user, based on the user input and data obtained from the input unit 255. The determination unit 261 sets the object determined to be the designated target as the main tracking object. In this embodiment, person authentication, particularly face authentication, is used as a method of determining whether or not an object is a designated target. The face authentication is a technique of comparing the face information of a person registered in advance and the information extracted from the face of the person on the captured image to determine whether they are the same person. In the present embodiment, face information of a person who is registered in advance is acquired from the authentication information recording device 107. The determination method is not limited to face authentication, and any method may be adopted as long as it is a method of identifying an individual or a specific object. Further, instead of the method of identifying an individual or a specific object, the determination unit 261 may use the input from the user to determine whether or not the object is the designated target.

登録部２５８は、物体追尾部２５７で得られた追尾結果と、主追尾物体として設定されている物体のＩＤとから、主追尾物体と入れ替わった可能性がある物体を追尾候補物体として不図示の保持部に登録する。主追尾物体と入れ替わった可能性がある物体は、主追尾物体と交差した物体や主追尾物体から分離した物体などように、現在または過去の画像において主追尾物体の近傍に存在する物体を指す。また、主追尾物体と交差した物体や分離した物体だけでなく、追尾候補物体と交差した物体や追尾候補物体から分離した物体も追尾候補物体として登録される。 Based on the tracking result obtained by the object tracking unit 257 and the ID of the object set as the main tracking object, the registration unit 258 does not show an object that may have been replaced with the main tracking object as a tracking candidate object. Register in the holding unit. The object that may have been replaced with the main tracking object refers to an object existing in the vicinity of the main tracking object in the current or past image, such as an object intersecting with the main tracking object or an object separated from the main tracking object. Further, not only the object intersecting with the main tracking object and the separated object, but also the object intersecting with the tracking candidate object and the object separated from the tracking candidate object are registered as the tracking candidate objects.

追尾候補軌跡記録部２５９は、登録部２５８によって登録された追尾候補物体の軌跡を、物体追尾部２５７の追尾結果を基に記録する。
追尾候補位置予測部２６０は、追尾候補物体が撮像部２００の撮像範囲内にいない場合、追尾候補軌跡記録部２５９が記録する情報から追尾候補物体の現在位置を予測する。
追尾制御部２６２は、主追尾物体または追尾候補物体が撮像部２００の撮像範囲に入るように撮像部２００を制御する。追尾制御部２６２はＰＴＺカメラ１０６のパンモータ、チルトモータおよびズームモータを制御するための命令を生成し、発行する。 The tracking candidate trajectory recording unit 259 records the trajectory of the tracking candidate object registered by the registration unit 258 based on the tracking result of the object tracking unit 257.
When the tracking candidate object is not within the imaging range of the imaging unit 200, the tracking candidate position prediction unit 260 predicts the current position of the tracking candidate object from the information recorded by the tracking candidate trajectory recording unit 259.
The tracking control unit 262 controls the imaging unit 200 so that the main tracking object or the tracking candidate object falls within the imaging range of the imaging unit 200. The tracking control unit 262 generates and issues a command for controlling the pan motor, tilt motor, and zoom motor of the PTZ camera 106.

図３〜図８を用いてＰＴＺ追尾処理の詳細を説明する。
図３は、図１の追尾システム２におけるＰＴＺ追尾処理の流れを示すフローチャートである。Ｓ３０１で、制御部２５０は、外部から通信Ｉ／Ｆ部２５１を通じて、ＰＴＺ追尾の開始要求を受け付けると、ＰＴＺ追尾モードを開始する。Ｓ３０２で、映像入力部２５２は、撮像部２００により取得された映像に含まれる画像を一枚取得する。図５は、撮像部２００により順に撮像された画像５００、５０１、５０２、５０３の列の例を示す図である。 Details of the PTZ tracking process will be described with reference to FIGS.
FIG. 3 is a flowchart showing a flow of PTZ tracking processing in the tracking system 2 of FIG. In step S301, when the control unit 250 receives a PTZ tracking start request from the outside through the communication I/F unit 251, the control unit 250 starts the PTZ tracking mode. In step S302, the video input unit 252 acquires one image included in the video acquired by the imaging unit 200. FIG. 5 is a diagram showing an example of a row of images 500, 501, 502, and 503 captured in order by the image capturing unit 200.

Ｓ３０３で、物体検出部２５６は、Ｓ３０２で取得した画像から顔や人体などの物体を検出する。検出された物体の例を、図５（ａ）に示す。図５（ａ）の画像５００には人物５１０、５１１が映っており、５２０、５２１は人体の検出結果、５４０は顔の検出結果を示す。人物５１０は画像に顔が映っていないため顔の検出結果が得られていない。このとき、顔の検出結果５４０は人体の検出結果５２１と重なっているため、顔の検出結果５４０は人体の検出結果５２１に対応付けられる。このように本実施の形態では、人体の検出結果と顔の検出結果とが所定の基準を満たす場合、例えば検出した物体を囲む枠が８割以上重なっている場合には、それらの検出結果同士が対応付けられる。 In S303, the object detection unit 256 detects an object such as a face or a human body from the image acquired in S302. An example of the detected object is shown in FIG. People 510 and 511 are shown in the image 500 of FIG. 5A, 520 and 521 show the detection results of the human body, and 540 shows the detection results of the face. Since the face of the person 510 is not shown in the image, the face detection result is not obtained. At this time, since the face detection result 540 overlaps with the human body detection result 521, the face detection result 540 is associated with the human body detection result 521. As described above, in the present embodiment, when the detection result of the human body and the detection result of the face satisfy a predetermined criterion, for example, when the frames surrounding the detected object overlap by 80% or more, the detection results are compared with each other. Are associated with.

Ｓ３０４で、物体追尾部２５７は、時間的に連続する画像と画像との間で、対応する物体同士の対応付けを行う。本実施の形態では物体追尾部２５７は人体の検出結果に基づいて対応付けを行う。図５（ａ）の画像５００と図５（ｂ）の画像５０１との間では、人体の検出結果５２０と人体の検出結果５２２とが互いに対応付けられ、両者に共通のＩＤであるＩＤ１が付与されている。また、人体の検出結果５２１と人体の検出結果５２３とが互いに対応付けられ、両者に共通のＩＤであるＩＤ２が付与されている。 In S304, the object tracking unit 257 associates corresponding objects between images that are temporally consecutive. In the present embodiment, the object tracking unit 257 performs matching based on the detection result of the human body. Between the image 500 of FIG. 5A and the image 501 of FIG. 5B, the human body detection result 520 and the human body detection result 522 are associated with each other, and the common ID ID1 is assigned to both. Has been done. Further, the human body detection result 521 and the human body detection result 523 are associated with each other, and the common ID ID2 is given to both.

また、このＳ３０４での対応付けでは、物体の分離も判定される。例えば図５（ｃ）の画像５０２における、人物５１２、５１３のように複数の人物が重なっていると、複数の人物に対して人体の検出結果が１つ（例えば、人体の検出結果５２６）しか得られない場合がある。この状態から、図５（ｄ）の画像５０３のように、人物５１２、５１３の距離が離れると、各人物に対応する人体の検出結果５２９、５３０が得られる。このとき人体の検出結果同士の対応付けを行うと、人体の検出結果５２６と人体の検出結果５２９、５３０のいずれかとが対応付けられることとなる。この例では人体の検出結果５２９が対応付けられ、人体の検出結果５２６と人体の検出結果５２９とに共通にＩＤ３を付与する。このとき、対応付けが得られなかった人体の検出結果５３０に関して、直前の画像５０２で検出されていた人体の検出結果のうち一定距離以内にあった人体の検出結果を探索する。そして、一定距離以内にある人体の検出結果があれば、その人体の検出結果から分離したものであると判定する。この例では、人体の検出結果５３０は、画像５０２の人体の検出結果５２６の近くにあるので、人体の検出結果５３０は人体の検出結果５２６から分離したものであると判定する。この場合、人体の検出結果５３０に対応するＩＤ４の人物は、画像５０２におけるＩＤ３の人物から分離したと記録しておく。 Further, in the association in S304, the separation of objects is also determined. For example, when a plurality of persons are overlapped like the persons 512 and 513 in the image 502 of FIG. 5C, there is only one human body detection result for the plurality of persons (for example, the human body detection result 526). You may not get it. From this state, when the distance between the persons 512 and 513 is increased as in the image 503 of FIG. 5D, the detection results 529 and 530 of the human body corresponding to the persons are obtained. At this time, when the human body detection results are associated with each other, the human body detection result 526 and the human body detection results 529 and 530 are associated with each other. In this example, the human body detection result 529 is associated with each other, and ID3 is commonly assigned to the human body detection result 526 and the human body detection result 529. At this time, regarding the detection result 530 of the human body for which no association has been obtained, the detection result of the human body within a certain distance is searched from the detection results of the human body detected in the immediately previous image 502. Then, if there is a detection result of a human body within a certain distance, it is determined that it is separated from the detection result of the human body. In this example, since the human body detection result 530 is near the human body detection result 526 of the image 502, it is determined that the human body detection result 530 is separated from the human body detection result 526. In this case, it is recorded that the person with ID4 corresponding to the human body detection result 530 is separated from the person with ID3 in the image 502.

なお、異なる画像上での検出結果間の距離は、各画像上の座標位置を用いて算出されてもよいし、画像撮影時のＰＴＺカメラ１０６のパン、チルト、ズームの設定値と画像上の座標とを基に算出される別の座標系上で算出されてもよい。なお、以下では絶対座標系を用いることとする。絶対座標系を用いることで、ＰＴＺカメラ１０６のパン、チルト、ズームの設定値が変更されて、画像上での検出結果の位置が変わっても、精度よく距離を算出することができる。 The distance between the detection results on different images may be calculated by using the coordinate position on each image, or the pan, tilt, and zoom set values of the PTZ camera 106 at the time of image capturing and the distance on the image. It may be calculated on another coordinate system calculated based on the coordinates. In the following, an absolute coordinate system will be used. By using the absolute coordinate system, the distance can be accurately calculated even if the pan, tilt, and zoom set values of the PTZ camera 106 are changed and the position of the detection result on the image is changed.

Ｓ３０５で、制御部２５０は、主追尾物体が設定されているか否かを判定する。もし主追尾物体が設定されていれば、Ｓ３１１に、設定されていなければステップＳ３０６に進む。特に、ＰＴＺ追尾モードが開始した直後はまだ主追尾物体が設定されておらず、追尾中ではないので、Ｓ３０６に進む。Ｓ３１１の詳細は後述する。 In S305, the control unit 250 determines whether or not the main tracking object is set. If the main tracking object is set, the process proceeds to step S311. If not, the process proceeds to step S306. In particular, immediately after the PTZ tracking mode is started, the main tracking object has not been set yet, and tracking is not in progress, so the process proceeds to S306. Details of S311 will be described later.

Ｓ３０６で、判断部２６１は入力部２５５から取得されるデータを基に、追尾したい対象をユーザが指定しているか否かを判断する。ここで追尾したい対象とは、ＰＴＺカメラ１０６の撮像範囲に映り続けるようにしたい対象のことであり、本実施の形態では撮影したい人物を指す。追尾したい対象をユーザが指定する方法としては、例えば予め登録されている人物の顔情報に紐づく人物の画像や名前を表示装置１０１に表示し、入力装置１０３の一例であるマウスのクリック操作で選択するという方法がある。マウスのクリックによって追尾したい人物が選択されたら、その人物に対応する顔情報が認証情報記録装置１０７から取得され、ネットワーク１０４を介して制御部２５０に送信される。Ｓ３０６で、追尾したい人物の顔情報がネットワーク１０４から取得できていればＳ３０７へ、取得できていなければステップＳ３１２へ進む。 In step S306, the determination unit 261 determines whether or not the user has designated a target to be tracked, based on the data acquired from the input unit 255. Here, the target to be tracked is a target to be continuously reflected in the image pickup range of the PTZ camera 106, and in the present embodiment, refers to a person to be photographed. As a method for the user to specify the target to be tracked, for example, an image or name of a person associated with face information of a person who is registered in advance is displayed on the display device 101, and a mouse click operation, which is an example of the input device 103, is used. There is a method of selecting. When the person to be tracked is selected by clicking the mouse, the face information corresponding to the person is acquired from the authentication information recording device 107 and transmitted to the control unit 250 via the network 104. In step S306, if the face information of the person to be tracked has been acquired from the network 104, the process proceeds to step S307, and if not, the process proceeds to step S312.

なお、追尾したい対象の指定方法は、上述の方法に限られるものではない。例えば、表示装置１０１に映像１０５を表示した状態で、ユーザが追尾したいと考える人物の近くで、マウスのクリック操作が行われる。マウスでクリックされた座標の近くにいる人物を追尾したい対象として識別し、その人物の顔が撮影された時点で、その撮影された顔から顔情報を抽出する。そして、その抽出した顔情報を追尾したい対象として、ネットワーク１０４を介して制御部２５０に送信するという方法もある。他の方法を用いて追尾したい対象を指定してもよい。 The method of specifying the target to be tracked is not limited to the above method. For example, while the image 105 is displayed on the display device 101, a mouse click operation is performed near the person the user wants to track. A person near the coordinates clicked with the mouse is identified as a target to be tracked, and when the face of the person is photographed, face information is extracted from the photographed face. Then, there is also a method of transmitting the extracted face information as a target to be tracked to the control unit 250 via the network 104. The target to be tracked may be specified using another method.

Ｓ３０７で、判断部２６１は画像のなかに指定された対象が映っているか否かを判断する。本実施の形態では、指定された対象が映っているか否かの判断に顔認証を用いるので、人体の検出結果に対応する顔が検出されていなければ、判断部２６１は映っていないと判断する。また、顔が検出されていても、検出した顔を顔認証した結果、別の人物であると判断された場合には判断部２６１は映っていないと判断する。顔が検出されていて、かつ検出した顔を顔認証した結果、同一人物であると判断された場合、判断部２６１は映っていると判断する。指定された対象が映っている場合にはＳ３０８へ、映っていない場合にはＳ３１２に進む。 In step S307, the determination unit 261 determines whether or not the designated target is included in the image. In the present embodiment, since face recognition is used to determine whether or not the designated object is reflected, if the face corresponding to the detection result of the human body is not detected, the determination unit 261 determines that it is not reflected. .. Further, even if the face is detected, the determination unit 261 determines that the face is not reflected when it is determined that the detected face is another person as a result of face authentication. When a face is detected and it is determined that the detected face is the same person as a result of face recognition, the determination unit 261 determines that the face is shown. If the designated object is reflected, the process proceeds to S308, and if not, the process proceeds to S312.

Ｓ３０８で、制御部２５０はＳ３０７で指定された対象であると判断された物体を主追尾物体として設定する。
Ｓ３０９で、追尾制御部２６２は、Ｓ３０８で設定された主追尾物体の位置に応じてＰＴＺカメラ１０６のパンモータ、チルトモータ、ズームモータを制御するための命令を生成し、発行する。このときの制御の例としては、主追尾物体が画像の中心付近に表示されるようにパンやチルトを調整して、主追尾物体の全体が画角内に収まるようにズームを調整するようにする。
Ｓ３１０で、撮像部２００はＳ３０９で生成された命令に基づいて撮像範囲を変更する。 In S308, the control unit 250 sets the object determined to be the target specified in S307 as the main tracking object.
In step S309, the tracking control unit 262 generates and issues a command for controlling the pan motor, tilt motor, and zoom motor of the PTZ camera 106 according to the position of the main tracking object set in step S308. As an example of control at this time, the pan and tilt are adjusted so that the main tracking object is displayed near the center of the image, and the zoom is adjusted so that the entire main tracking object is within the angle of view. To do.
In S310, the imaging unit 200 changes the imaging range based on the instruction generated in S309.

続いて、Ｓ３０９で主追尾物体を設定した結果、Ｓ３０５で主追尾物体が設定済みと判断され、Ｓ３１１に進んだ場合を説明する。
Ｓ３１１で、ＰＴＺカメラ１０６は設定された主追尾物体の追尾を行ったり、追尾候補物体の登録を行ったりする。 Subsequently, as a result of setting the main tracking object in S309, it is determined that the main tracking object has been set in S305, and the process proceeds to S311.
In step S311, the PTZ camera 106 tracks the set main tracking object or registers a tracking candidate object.

図４は、図３の追尾処理ステップＳ３１１における処理の流れを示すフローチャートである。
Ｓ４０１で、登録部２５８と追尾候補軌跡記録部２５９とが追尾候補物体の登録情報の更新を行う。追尾候補物体は主追尾物体と交差した物体、または主追尾物体から分離した物体を指すので、登録部２５８がまずこれらを求める。主追尾物体と交差した物体や主追尾物体から分離した物体は、Ｓ３０４で得られた物体の追尾結果を基に判断される。主追尾物体のＩＤと各物体の追尾結果とから、主追尾物体およびその他の物体の、現在位置と過去の位置とがわかるので、登録部２５８はその位置関係から主追尾物体と交差した物体を判断する。例えば、各物体の現在の位置と前の画像撮影時の位置とを絶対座標系上で結び、その線分が交わる場合には交差したと判断してもよい。また、主追尾物体と他の物体とがすれ違っているが、前述した線分は交わらない場合もあるので、過去または現在の検出位置が一定距離以内、例えば画像上で４０画素以下まで近づいた場合は交差したと判断してもよい。また、主追尾物体から分離した物体は、追尾結果から、主追尾物体と同じＩＤを持つ物体から分離した物体が存在するかどうかで判断できる。登録部２５８が追尾候補物体のＩＤを登録すると、登録されたＩＤとＳ３０４で得られた追尾結果とを基に、追尾候補軌跡記録部２５９が追尾候補物体の現在位置や過去の位置を記録する。 FIG. 4 is a flowchart showing the flow of processing in the tracking processing step S311 of FIG.
In S401, the registration unit 258 and the tracking candidate trajectory recording unit 259 update the registration information of the tracking candidate object. Since the tracking candidate object refers to an object that intersects with the main tracking object or an object separated from the main tracking object, the registration unit 258 first obtains these. An object intersecting with the main tracking object or an object separated from the main tracking object is determined based on the object tracking result obtained in S304. Since the current position and the past position of the main tracking object and other objects can be known from the ID of the main tracking object and the tracking result of each object, the registration unit 258 determines the object intersecting the main tracking object from the positional relationship. to decide. For example, the current position of each object and the position at the time of capturing the previous image may be connected on the absolute coordinate system, and if the line segments intersect, it may be determined that they intersect. Also, although the main tracking object and another object pass each other, the above-mentioned line segments may not intersect, so that the past or present detected position is within a certain distance, for example, 40 pixels or less on the image. May be judged to have intersected. The object separated from the main tracking object can be determined from the tracking result by whether or not there is an object separated from the object having the same ID as the main tracking object. When the registration unit 258 registers the ID of the tracking candidate object, the tracking candidate trajectory recording unit 259 records the current position and the past position of the tracking candidate object based on the registered ID and the tracking result obtained in S304. ..

Ｓ４０２で、制御部２５０は、既に、主追尾物体が指定された対象でないと判定されているか否かを判定する。主追尾物体の追尾を失敗して、異なる対象を追尾してしまっていた場合、後述するＳ４０４において主追尾物体は指定された対象ではないと判定される。Ｓ４０２では、過去に取得した画像に関して、Ｓ４０４で主追尾物体は指定された対象ではないと判定されていないかを調べる。主追尾物体は指定された対象ではないと判定されていない場合はＳ４０３へ、判定されている場合はＳ４１１へ進む。 In S402, control unit 250 determines whether or not the main tracking object has already been determined not to be the designated target. When the tracking of the main tracking object has failed and a different target has been tracked, it is determined that the main tracking object is not the designated target in S404 described later. In S402, it is checked with respect to the images acquired in the past whether the main tracking object is not determined to be the designated target in S404. If it is not determined that the main tracking object is not the designated target, the process proceeds to S403, and if it is determined, the process proceeds to S411.

Ｓ４０３で、判断部２６１は、主追尾物体が指定された対象であるか否か判定可能かを調べる。指定された対象であるかを判定するために、このＳ４０３では主追尾物体の顔が検出されているか否かを調べる。主追尾物体の顔が検出されていればＳ４０４へ、検出されていなければＳ４０９へ進む。 In step S403, the determination unit 261 checks whether it is possible to determine whether the main tracking object is the designated target. In order to determine whether or not it is the designated target, it is checked in step S403 whether or not the face of the main tracking object is detected. If the face of the main tracking object is detected, the process proceeds to S404, and if not, the process proceeds to S409.

Ｓ４０４で、判断部２６１は、主追尾物体が指定された対象であるか否か判定する。判断部２６１はユーザから指定された対象の顔情報と主追尾物体の顔から抽出した顔情報とを照合し、同一人物か否かを判断する。
Ｓ４０５で、制御部２５０は、Ｓ４０４で主追尾物体が指定された対象と同一人物であると判断されたか否かを調べる。同一人物であると判断されていればＳ４０６へ、異なる人物であると判断されていればＳ４０７へ進む。 In S404, the determination unit 261 determines whether or not the main tracking object is the designated target. The determination unit 261 compares the face information of the target designated by the user with the face information extracted from the face of the main tracking object, and determines whether they are the same person.
In S405, the control unit 250 checks whether or not it is determined that the main tracking object is the same person as the designated target in S404. If it is determined that the person is the same, the process proceeds to step S406, and if it is determined that the person is different, the process proceeds to step S407.

Ｓ４０６で、登録部２５８は、現在設定されている追尾候補物体の情報を削除する。このＳ４０６に進むのは、Ｓ４０５で主追尾物体が指定された対象であると判断されている場合であり、その場合には追尾候補物体は指定された対象ではないと判断できるので、この処理を行う。 In S406, the registration unit 258 deletes the currently set information of the tracking candidate object. The process proceeds to S406 when it is determined that the main tracking object is the designated target in S405, and in this case, it is possible to determine that the tracking candidate object is not the designated target. To do.

Ｓ４０９で、追尾制御部２６２は、主追尾物体の位置に応じてＰＴＺカメラ１０６のパンモータ、チルトモータ、ズームモータを制御するための命令を生成し、発行する。このＳ４０９はＳ３０９の処理と同様のものである。Ｓ４０９に進むのは、Ｓ４０３で主追尾物体が指定された対象であるか判定できないと判断された場合、またはＳ４０５で主追尾物体は指定された対象であると判定された場合である。Ｓ４０３から進んできた場合には、主追尾物体の顔は検出できていないので、指定された対象である可能性が一番高い主追尾物体を撮像範囲内に入れるようにするためにこの処理を行う。また、Ｓ４０５から進んできた場合には、主追尾物体は指定された対象であると判定されているので、主追尾物体を撮像範囲に入れるように追尾することで指定された対象を撮影し続けることができる。 In step S409, the tracking control unit 262 generates and issues a command for controlling the pan motor, tilt motor, and zoom motor of the PTZ camera 106 according to the position of the main tracking object. This S409 is similar to the process of S309. The process proceeds to S409 when it is determined that it cannot be determined whether the main tracking object is the designated target in S403 or when it is determined that the main tracking object is the designated target in S405. If the process proceeds from S403, the face of the main tracking object has not been detected, so this processing is performed in order to put the main tracking object that is most likely to be the designated target within the imaging range. To do. If the process proceeds from S405, it is determined that the main tracking object is the specified target, and thus the main tracking object is tracked so as to fall within the imaging range, and the specified target is continuously photographed. be able to.

次にＳ４０５において主追尾物体が指定された対象ではないと判定された場合について説明する。この場合、これまでの追尾処理の途中で、主追尾物体と他の追尾候補物体とが交差したり分離したりした結果、主追尾物体と他の追尾候補物体とが入れ替わったと考えられる。図６は、入れ替わりの例を示す図である。図６（ａ）はユーザの操作により人物６１１を追尾するよう指示が出され、主追尾物体として人物６１１を追尾しているときの画像６００を示す。人物６１１にはＩＤ５が付与されている。この状態から図６（ｂ）のように他の物体(人物６１２)がＩＤ６を付与されて入ってきたとする。この状態で人物６１１と人物６１２とがすれ違うと図６（ｃ）のようにＩＤが入れ替わり、人物６１１がＩＤ６として識別され、人物６１２がＩＤ５として識別されてしまう場合がある。この場合には人物６１１に対応付いたＩＤ６を追尾候補物体としてＳ４０１で登録することになる。この図６（ｃ）の状態から人物６１２の顔が検出されないまま自動追尾をしてしまうと図６（ｄ）のように、人物６１１が画面外に出てしまう可能性が高い。図６（ｄ）の状態から人物６１２の顔が検出されて、Ｓ４０５において主追尾物体が指定された対象(人物６１１)ではないと判定されると、Ｓ４０７に進む。 Next, a case where it is determined in S405 that the main tracking object is not the designated target will be described. In this case, it is considered that the main tracking object and the other tracking candidate objects are exchanged as a result of the main tracking object and the other tracking candidate objects intersecting or separating in the course of the tracking processing so far. FIG. 6 is a diagram showing an example of replacement. FIG. 6A shows an image 600 when a person 611 is instructed to be tracked by a user operation and the person 611 is tracked as a main tracking object. ID5 is assigned to the person 611. It is assumed that another object (person 612) enters from this state with the ID 6 as shown in FIG. 6B. If the person 611 and the person 612 pass each other in this state, the IDs may be exchanged as shown in FIG. 6C, the person 611 may be identified as ID6, and the person 612 may be identified as ID5. In this case, the ID 6 associated with the person 611 is registered as a tracking candidate object in S401. If the person 612 is automatically tracked from the state of FIG. 6C without the face of the person 612 being detected, the person 611 is likely to go out of the screen as shown in FIG. 6D. When the face of the person 612 is detected from the state of FIG. 6D and it is determined in S405 that the main tracking object is not the designated target (person 611), the process proceeds to S407.

図７は、図４の予測処理ステップＳ４０７における処理の流れを示すフローチャートである。
Ｓ７０１で、制御部２５０は追尾候補物体が登録されているか否か判定する。登録されていればＳ７０２へ、されていなければＳ７０３へ進む。
Ｓ７０２で、追尾候補位置予測部２６０は、Ｓ４０１で記録された情報をもとに追尾候補物体の位置の予測を行う。図６の例の場合、図６（ｃ）から図６（ｄ）までの間のＩＤ６が付与された人体の検出結果の位置は、Ｓ４０１において追尾候補物体の位置として記録されているので、その情報を基に現在のＩＤ６の人体の位置を予測する。なお、本実施の形態では追尾候補物体の位置の予測を行っているが、予測を行わずに最後に追尾候補物体が撮影された位置を追尾候補物体の現在の位置としてもよい。なお、図６の例の場合、追尾候補物体はＩＤ６の人体のみであるが、追尾候補物体が複数いる場合にはＳ４０１で登録部２５８が追尾候補物体に優先度を付与しておく。そして、優先度の最も高い追尾候補物体の位置を予測する。優先度の付け方としては、Ｓ３０４の追尾処理を行う際に求める類似度を用いる方法がある。例えば、主追尾物体と交差または分離した物体があった場合、その物体の前画像における主追尾物体に対する類似度を記録しておき、その類似度の高いものから優先度を高く設定する。このとき類似度は最大値１、最小値０の範囲になるように正規化しておく。また、追尾候補物体がさらに他の物体と交差または分離した場合、追尾候補物体に対する他の物体の類似度を算出する。そして、その類似度と、追尾候補物体の主追尾物体に対する類似度と、の積でその他の物体の優先度を決める。 FIG. 7 is a flowchart showing the flow of processing in the prediction processing step S407 of FIG.
In step S701, the control unit 250 determines whether a tracking candidate object is registered. If registered, the process proceeds to S702, and if not registered, the process proceeds to S703.
In step S702, the tracking candidate position prediction unit 260 predicts the position of the tracking candidate object based on the information recorded in step S401. In the case of the example of FIG. 6, since the position of the detection result of the human body to which the ID 6 is given in FIG. 6C to FIG. 6D is recorded as the position of the tracking candidate object in S401, The current position of the human body with ID6 is predicted based on the information. Although the position of the tracking candidate object is predicted in the present embodiment, the position at which the tracking candidate object was captured last may be set as the current position of the tracking candidate object without performing the prediction. In the example of FIG. 6, the tracking candidate object is only the human body with ID6. However, when there are a plurality of tracking candidate objects, the registration unit 258 gives a priority to the tracking candidate object in S401. Then, the position of the tracking candidate object having the highest priority is predicted. As a method of assigning a priority, there is a method of using the similarity obtained when performing the tracking process in S304. For example, when there is an object that intersects or separates from the main tracking object, the similarity of the object to the main tracking object in the previous image is recorded, and the priority is set to be higher from the one with the higher similarity. At this time, the degree of similarity is normalized so that the maximum value is 1 and the minimum value is 0. In addition, when the tracking candidate object further intersects with or separates from another object, the degree of similarity of the tracking candidate object to the other object is calculated. Then, the priority of the other objects is determined by the product of the similarity and the similarity of the tracking candidate object to the main tracking object.

図８は、優先度の付け方の例を示す図である。例えば、図８（ａ）の画像８００において、人物８１１にＩＤ７を付与し、主追尾物体として追尾しているとする。ここで人物８１１の人体の検出結果８２０と人物８１２の人体の検出結果８２１とが得られていて、人物８１２にはＩＤ８が付与されているとする。この状態から図８（ｂ）の画像８０１のように人物８１１と人物８１２とが交差したとする。このとき、人体の検出結果８２３と人体の検出結果８２０との類似度が０．９、人体の検出結果８２２と人体の検出結果８２０との類似度が０．８と得られたとする。この場合、人体の検出結果８２３が主追尾物体を追尾した結果であると判定され、人体の検出結果８２３にＩＤ７が対応付けられる。そして、人体の検出結果８２２にはＩＤ８が対応付けられる。この場合、ＩＤ７の人体とＩＤ８の人体とが交差したと判断されると、ＩＤ８が付与された人体の検出結果８２２は追尾候補物体として登録される。このとき、先述した人体の検出結果８２２と人体の検出結果８２０との類似度０．８も追尾候補物体に対応付けて記録される。 FIG. 8 is a diagram showing an example of how to assign priorities. For example, in the image 800 of FIG. 8A, it is assumed that the person 811 is assigned ID7 and is being tracked as a main tracking object. Here, it is assumed that the human body detection result 820 of the person 811 and the human body detection result 821 of the person 812 are obtained, and the person 812 is assigned ID8. It is assumed that a person 811 and a person 812 intersect from each other as in an image 801 of FIG. 8B from this state. At this time, it is assumed that the similarity between the human body detection result 823 and the human body detection result 820 is 0.9, and the similarity between the human body detection result 822 and the human body detection result 820 is 0.8. In this case, it is determined that the human body detection result 823 is a result of tracking the main tracking object, and ID 7 is associated with the human body detection result 823. The ID 8 is associated with the human body detection result 822. In this case, if it is determined that the human body of ID7 and the human body of ID8 intersect, the detection result 822 of the human body to which ID8 is added is registered as a tracking candidate object. At this time, the similarity 0.8 between the human body detection result 822 and the human body detection result 820 described above is also recorded in association with the tracking candidate object.

続いて図８（ｃ）の画像８０２のように、人物８１３が映り、人物８１２に対応する人体の検出結果８２５（ＩＤ８が付与されている）、人物８１３に対応する人体の検出結果８２６（ＩＤ９が付与されている）が得られたとする。この後、図８（ｄ）の画像８０３のように、人物８１２と人物８１３とが交差したとする。ここで、人体の検出結果８２７、８２８が得られたとし、人体の検出結果８２７と人体の検出結果８２５との類似度が０．８、人体の検出結果８２８と人体の検出結果８２５との類似度が０．７だったとする。この場合、人体の検出結果８２７にＩＤ８が付与され、人体の検出結果８２８にＩＤ９が付与される。このとき、ＩＤ８の人体とＩＤ９の人体とが交差したと判断されると、ＩＤ９が付与された人体の検出結果８２８は新たな追尾候補物体として登録される。ここで、ＩＤ８は類似度０．８で登録されているので、ＩＤ９は類似度０．８×０．７＝０．５６で登録され、ＩＤ８の方がＩＤ９より優先度が高いと判定される。このようにして各追尾候補物体に優先度を設定していく。 Subsequently, as in the image 802 of FIG. 8C, the person 813 is reflected, and the detection result 825 of the human body corresponding to the person 812 (ID8 is assigned) and the detection result 826 of the human body corresponding to the person 813 (ID9 Is given). After that, it is assumed that the person 812 and the person 813 intersect each other as in the image 803 of FIG. Here, assuming that the human body detection results 827 and 828 are obtained, the similarity between the human body detection result 827 and the human body detection result 825 is 0.8, and the similarity between the human body detection result 828 and the human body detection result 825 is similar. Suppose the degree is 0.7. In this case, the human body detection result 827 is given ID8, and the human body detection result 828 is given ID9. At this time, when it is determined that the human body of ID8 and the human body of ID9 intersect, the detection result 828 of the human body to which ID9 is added is registered as a new tracking candidate object. Here, since ID8 is registered with a similarity of 0.8, ID9 is registered with a similarity of 0.8×0.7=0.56, and it is determined that ID8 has a higher priority than ID9. .. In this way, the priority is set for each tracking candidate object.

なお、優先度の付け方は上述の方法に限らず、主追尾物体とより後に交差または分離した物体の優先度を高くするなど任意の方法を用いてもよい。また、優先度付けをした結果の上位一定数の物体、例えば１０個程度までを追尾候補物体として記録し、下位の物体についての情報を破棄するようにしてもよい。また、優先度付けに用いる類似度が所定の閾値以下、例えば０．５以下のものは追尾候補物体として登録しないとしてもよい。 The method of assigning the priority is not limited to the above method, and any method such as increasing the priority of an object that intersects or separates with the main tracking object later may be used. Alternatively, a certain number of upper objects as a result of prioritizing, for example, up to about 10 objects may be recorded as tracking candidate objects, and information about lower objects may be discarded. Moreover, the similarity used for prioritization may be equal to or less than a predetermined threshold, for example, 0.5 or less, and may not be registered as a tracking candidate object.

Ｓ７０４で、追尾制御部２６２は予測された追尾候補物体（ＩＤ６）の位置に応じてＰＴＺカメラ１０６のパンモータ、チルトモータ、ズームモータを制御するための命令を生成し、発行する。このときの各モータの制御の方法としては、追尾候補物体がカメラの中心に映るように制御してもよいし、追尾候補物体と現在の主追尾物体（ＩＤ５が付与されている人物６１２）の両方が映るように制御してもよい。追尾候補物体と現在の主追尾物体（ＩＤ５が付与されている人物６１２）の両方が映るようにする場合、追尾候補物体と主追尾物体との重心位置がカメラ中心となるようにして、かつ両方が映るようにズームを調整する方法がある。また、追尾候補物体の位置がカメラの中心に映るように制御する場合も、追尾候補物体と現在の主追尾物体の両方が映るように制御する場合も、画角を広角に設定しておいて追尾候補物体を撮影しやすいようにしてもよい。また、追尾候補物体が登録されてからの経過時間を記録しておいて、経過時間が短い場合には画角を広角にする度合を少なくしてもよい。 In step S704, the tracking control unit 262 generates and issues a command for controlling the pan motor, tilt motor, and zoom motor of the PTZ camera 106 according to the predicted position of the tracking candidate object (ID6). As a method of controlling each motor at this time, the tracking candidate object may be controlled so as to be displayed in the center of the camera, or the tracking candidate object and the current main tracking object (person 612 to which ID5 is assigned). You may control so that both may be reflected. When both the tracking candidate object and the current main tracking object (person 612 to which ID5 is assigned) are displayed, the barycentric position of the tracking candidate object and the main tracking object is set to the camera center, and both There is a method to adjust the zoom so that is displayed. Also, when controlling the position of the tracking candidate object so that it is displayed in the center of the camera or when controlling both the tracking candidate object and the current main tracking object, the angle of view is set to a wide angle. You may make it easy to image a tracking candidate object. Further, the time elapsed since the tracking candidate object was registered may be recorded, and if the elapsed time is short, the degree of widening the angle of view may be reduced.

なお、Ｓ７０１で追尾候補物体が登録されていないと判断されると、Ｓ７０３で制御部２５０は主追尾物体の設定を解除する。このとき、ネットワーク１０４を介してユーザに追尾対象を見失ったことを通知し、表示装置１０１に見失ったことを知らせる表示を行ってもよい。 When it is determined that the tracking candidate object is not registered in S701, the control unit 250 cancels the setting of the main tracking object in S703. At this time, the user may be notified via the network 104 that the tracking target has been lost, and the display device 101 may be notified that the tracking target has been lost.

図４に戻り、Ｓ４１０で、撮像部２００は、Ｓ４０９、Ｓ７０４、および後述するＳ４１３、Ｓ４１８で設定される制御のための命令に基づいて撮像範囲を変更する。
Ｓ７０４で追尾候補物体の位置を予測し、Ｓ４１０で予測位置が映るように撮像範囲を変更すると、次の画像取得後にはＳ４０２からＳ４１１に進むことになる。 Returning to FIG. 4, in S410, the imaging unit 200 changes the imaging range based on the control commands set in S409, S704, and S413 and S418 described below.
When the position of the tracking candidate object is predicted in S704 and the imaging range is changed so that the predicted position is reflected in S410, the process proceeds from S402 to S411 after the next image is acquired.

Ｓ４１１において、制御部２５０は、追尾候補物体が映っているか否かを判定する。追尾候補物体が映っているか否かは、画像から物体が検出されているか否かに基づいて判定可能である。本実施の形態の場合、人体の検出結果が得られていれば追尾候補物体が映っていると判定する。なお、このＳ４１１では予測された位置から一定以上離れた位置でしか人体の検出結果が得られていない場合には、追尾候補物体が得られていないと判定してもよい。また、一定距離内に複数の人体の検出結果が得られた場合には、各検出結果を優先度付けして追尾候補物体として登録してもよい。この場合、予測位置からの近さを利用して優先度付けしてもよいし、人体の検出結果の近辺の色などの特徴量を使って、指定された対象との特徴量の類似度で優先度付けしてもよい。追尾候補物体が映っている場合にはＳ４１２へ、映っていない場合にはＳ４０８へ進む。 In S411, the control unit 250 determines whether or not the tracking candidate object is reflected. Whether or not the tracking candidate object is reflected can be determined based on whether or not the object is detected from the image. In the case of the present embodiment, it is determined that the tracking candidate object is reflected if the human body detection result is obtained. It should be noted that in S411, when the detection result of the human body is obtained only at the position separated from the predicted position by a certain amount or more, it may be determined that the tracking candidate object is not obtained. When a plurality of human body detection results are obtained within a certain distance, each detection result may be prioritized and registered as a tracking candidate object. In this case, the proximity from the predicted position may be used to prioritize, or the feature amount such as the color in the vicinity of the detection result of the human body may be used to determine the similarity of the feature amount with the specified target. May be prioritized. If the tracking candidate object is reflected, the process proceeds to S412, and if not, the process proceeds to S408.

Ｓ４１２で、判断部２６１は、追尾候補物体が指定された対象であるかどうかの判定が可能であるか否かを判定する。このＳ４１２ではＳ４０３と同様、追尾候補物体である人体の検出結果に対応付けられた顔の検出結果が得られているか否かが判定される。顔が検出されていればＳ４１４へ、顔が検出されていなければＳ４１３へ進む。 In step S412, the determination unit 261 determines whether it is possible to determine whether the tracking candidate object is the designated target. In S412, similarly to S403, it is determined whether or not the face detection result associated with the detection result of the human body which is the tracking candidate object is obtained. If a face is detected, the process proceeds to S414, and if no face is detected, the process proceeds to S413.

Ｓ４１３で、追尾候補物体の顔が検出されるまで自動追尾を行うために追尾制御部２６２が追尾候補物体の位置に応じて、ＰＴＺカメラ１０６のパン、チルト、ズームの各モータを制御するための命令を生成し、発行する。その結果、撮像範囲内にある追尾候補物体が指定された対象であるか否かの判断が完了するまで、該追尾候補物体が入るよう撮像範囲が変更される。 In S413, the tracking control unit 262 controls the pan, tilt, and zoom motors of the PTZ camera 106 according to the position of the tracking candidate object in order to perform automatic tracking until the face of the tracking candidate object is detected. Generates and issues instructions. As a result, the imaging range is changed to include the tracking candidate object until the determination as to whether or not the tracking candidate object within the imaging range is the designated target is completed.

Ｓ４１４で、判断部２６１は、追尾候補物体が指定された対象であるか否かを判定をする。この判定方法はＳ４０４で用いられた判定方法と同様である。
Ｓ４１５で、制御部２５０は、追尾候補物体が指定された対象であると判定されたかを確認する。指定された対象であると判定されていれば、Ｓ４１６へ、判定されていなければＳ４０８へ進む。なお、Ｓ４０８へ進む場合には、制御部２５０は指定された対象でないと判定された追尾候補物体の情報を削除する。例えば図６（ｅ）の画像６０４が得られており、人物６１１の顔が検出結果６４０として検出されていれば、Ｓ４１６に進むことになる。 In S414, the determination unit 261 determines whether or not the tracking candidate object is the designated target. This determination method is the same as the determination method used in S404.
In step S415, the control unit 250 confirms whether the tracking candidate object is determined to be the designated target. If it is determined that the target is the designated target, the process proceeds to S416, and if not, the process proceeds to S408. In addition, in the case of proceeding to S408, the control unit 250 deletes the information of the tracking candidate object determined to be not the designated target. For example, when the image 604 of FIG. 6E is obtained and the face of the person 611 is detected as the detection result 640, the process proceeds to S416.

Ｓ４１６で、登録部２５８は、現在設定されている追尾候補物体の情報をすべて削除する。Ｓ４１４で指定された対象であると判定された追尾候補物体以外は指定された対象ではないと判断できるのでこの処理を行う。図６（ｅ）の例の場合、この時点で、人物６１１のＩＤを５に設定しなおしてもよい。 In S416, the registration unit 258 deletes all the currently set tracking candidate object information. This processing is performed because it can be determined that the target objects other than the tracking candidate objects determined to be the target specified in S414 are not the specified target. In the case of the example in FIG. 6E, the ID of the person 611 may be reset to 5 at this point.

Ｓ４１７で、制御部２５０は、Ｓ４１４で指定された対象であると判定された追尾候補物体を主追尾物体として設定する。これにより、一度、指定された対象である人物６１１の追尾を失敗して他の人物６１２を追尾してしまっていても、入れ替わりが判明した時点で人物６１１を自動的に追尾するよう再設定することが可能になる。
Ｓ４１８はＳ４０９と同様の処理である。Ｓ４０８Ｓ４０７と同様の処理である。 In S417, the control unit 250 sets the tracking candidate object determined to be the target specified in S414 as the main tracking object. As a result, even if the tracking of the designated person 611 is once failed and another person 612 is tracked, the person 611 is reset to be automatically tracked when the replacement is found. It will be possible.
S418 is the same process as S409. The processing is the same as S408 and S407.

なお、本実施の形態では、Ｓ４０３において主追尾物体のみについて、指定された対象であるかの判定が可能かを調べているが、ここで追尾候補物体が判定可能な場合には、追尾候補物体を判定してもよい。この場合、追尾候補物体を判定して、指定された対象でなかった場合にはその物体を追尾候補物体から外す。また、追尾候補物体が指定された対象であった場合にはその追尾候補物体を主追尾物体に設定し、Ｓ４０６に進む。 In the present embodiment, it is checked in S403 whether only the main tracking object can be determined to be the designated target. However, if the tracking candidate object can be determined here, the tracking candidate object is determined. May be determined. In this case, the tracking candidate object is determined, and if it is not the designated target, the object is excluded from the tracking candidate objects. If the tracking candidate object is the designated target, the tracking candidate object is set as the main tracking object, and the process proceeds to S406.

同様にＳ４１２において追尾候補物体が指定された対象であるかの判定が可能か調べる場合にも、優先度が最も高い追尾候補物体以外の追尾候補物体の判定が可能であれば判定してもよい。この場合にも、優先度が低い追尾候補物体を判定して、指定された対象でなかった場合にはその物体を追尾候補物体から外す。また、優先度の低い追尾候補物体が指定された対象であった場合にはその追尾候補物体を主追尾物体に設定し、Ｓ４１６に進む。 Similarly, when it is determined in S412 whether or not it is possible to determine whether the tracking candidate object is the designated target, it may be determined as long as the tracking candidate object other than the tracking candidate object having the highest priority can be determined. .. Also in this case, a tracking candidate object having a low priority is determined, and if it is not the designated target, the object is excluded from the tracking candidate objects. If the tracking candidate object having the low priority is the designated target, the tracking candidate object is set as the main tracking object, and the process proceeds to S416.

また、表示装置１０１において、主追尾物体、追尾候補物体、指定された対象でない物体をそれぞれ赤色、緑色、灰色の枠で示すなどして、ユーザに追尾状況を分かりやすく表示するようにしてもよい。 Further, on the display device 101, the main tracking object, the tracking candidate object, and the designated non-target object may be shown in red, green, and gray frames, respectively, so that the user can easily display the tracking situation. ..

なお、本実施の形態ではＰＴＺカメラでの自動追尾に関して説明したが、広画角カメラの撮影画像から特定の物体を追尾し、追尾対象の周りの領域を切り出して送信するシステムでも同様の処理が可能である。この場合、追尾対象を間違えたと判明したら、追尾候補物体の周りの領域を切り出して送信することができる。 It should be noted that although the present embodiment has described automatic tracking with a PTZ camera, similar processing can be performed in a system that tracks a specific object from a captured image of a wide-angle camera, cuts out a region around the tracking target, and transmits the area. It is possible. In this case, if it is determined that the tracking target is wrong, the area around the tracking candidate object can be cut out and transmitted.

以上説明したように、実施の形態によれば、追尾したい対象と交差した物体や、追尾したい対象から分離した物体を追尾候補物体として記録しておく。そして、追尾したい対象と追尾候補物体とが入れ替わっていたことが判明した場合、追尾したい対象の位置を追尾候補物体の位置として予測することで、再度追尾したい対象を撮影し、追尾しなおすことができる。 As described above, according to the embodiment, an object that intersects with a target to be tracked or an object separated from the target to be tracked is recorded as a tracking candidate object. Then, if it is found that the target to be tracked and the tracking candidate object have been exchanged, by predicting the position of the target to be tracked as the position of the tracking candidate object, the target to be tracked can be imaged again and retracked. it can.

以上、実施の形態に係る追尾システム２の構成と動作について説明した。この実施形態は例示であり、その各構成要素や各処理の組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。 The configuration and operation of the tracking system 2 according to the embodiment have been described above. It should be understood by those skilled in the art that this embodiment is an exemplification, and various modifications can be made to the combination of each component and each process, and such modifications are also within the scope of the present invention.

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。 (Other embodiments)
The present invention supplies a program that implements one or more functions of the above-described embodiments to a system or apparatus via a network or a storage medium, and one or more processors in a computer of the system or apparatus read and execute the program. It can also be realized by the processing. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.

２追尾システム、１０１表示装置、１０２録画装置、１０３入力装置、１０４ネットワーク、１０６ＰＴＺカメラ、１０７認証情報記録装置。 2 tracking system, 101 display device, 102 recording device, 103 input device, 104 network, 106 PTZ camera, 107 authentication information recording device.

Claims

In a plurality of images acquired along a time series, a tracking unit that tracks the main tracking object while changing the imaging range so that the main tracking object enters.
Registration means for registering an object intersecting the main tracking object on the image or an object separated from the main tracking object as a tracking candidate object,
A tracking device comprising: a changing unit that changes an imaging range so that a tracking candidate object is included when it is determined that the current main tracking object is not the designated target.

Further comprising means for predicting the position of the tracking candidate object from the trajectory of the registered tracking candidate object,
When it is determined that the current main tracking object is not the designated target, the changing unit changes the imaging range so that the tracking candidate object enters based on the position of the tracking candidate object obtained as a result of the prediction. The tracking device according to claim 1.

The tracking means calculates the degree of similarity between the imaged objects,
The registration unit registers the tracking candidate object and the similarity between the tracking candidate object and the main tracking object in association with each other,
The change means, when it is determined that the current main tracking object is not the designated target, sequentially selects a tracking candidate object with a high degree of similarity, and changes the imaging range so that the selected tracking candidate object is included. Item 2. The tracking device according to Item 1 or 2.

The tracking means calculates the degree of similarity between the imaged objects,
The tracking device according to claim 1, wherein the registration unit does not register the tracking candidate object if the degree of similarity between the tracking candidate object and the main tracking object does not satisfy the registration criterion.

After the change of the imaging range by the changing unit, the tracking unit keeps the tracking candidate object in the imaging range until the determination of whether the tracking candidate object within the imaging range is the designated target is completed. The tracking device according to claim 1, wherein the tracking device is changed.

The tracking device according to claim 1, further comprising a determination unit configured to determine whether the main tracking object or the tracking candidate object is a designated target by performing person authentication.

The tracking device according to claim 6, wherein the determination unit determines whether the main tracking object or the tracking candidate object is an object designated by a user input.

8. The registration unit, when it is determined that the main tracking object or the tracking candidate object is the designated target, cancels the registration of the tracking candidate object registered at that time. The tracking device described in.

When another object exists within the imaging range changed by the changing means, the registration means gives another object within a predetermined range based on the current position of the tracking candidate object by a predetermined method. The tracking device according to claim 1, wherein the tracking device is registered as a new tracking candidate object in association with the determined priority.

Tracking the main tracking object while changing the imaging range so that the main tracking object is included in the plurality of images acquired along the time series,
Registering an object that intersects with the main tracking object on the image or an object separated from the main tracking object as a tracking candidate object,
If it is determined that the current main tracking object is not the designated target, the imaging range is changed so that the tracking candidate object is included.

A program for causing a computer to function as each unit of the device according to claim 1.