JP2010136095A - Track imaging device, track imaging method, and computer program - Google Patents

Track imaging device, track imaging method, and computer program Download PDF

Info

Publication number
JP2010136095A
JP2010136095A JP2008309939A JP2008309939A JP2010136095A JP 2010136095 A JP2010136095 A JP 2010136095A JP 2008309939 A JP2008309939 A JP 2008309939A JP 2008309939 A JP2008309939 A JP 2008309939A JP 2010136095 A JP2010136095 A JP 2010136095A
Authority
JP
Japan
Prior art keywords
imaging
detection processing
target object
area
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008309939A
Other languages
Japanese (ja)
Other versions
JP5225047B2 (en
Inventor
Yoshinori Ito
嘉則 伊藤
Takahisa Yamamoto
貴久 山本
Masami Kato
政美 加藤
Katsuhiko Mori
克彦 森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2008309939A priority Critical patent/JP5225047B2/en
Publication of JP2010136095A publication Critical patent/JP2010136095A/en
Application granted granted Critical
Publication of JP5225047B2 publication Critical patent/JP5225047B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Studio Devices (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To improve an object tracking performance as compared with before when an area for detecting the object is limited to reduce the load of detecting the object. <P>SOLUTION: The track imaging device sets a position obtained by multiplying a position vector D of an "object 106 to be tracked" detected within the detection processing area 302 by a ratio α, as the next detection processing area 302. Then, even while reducing the load of detecting the object 106 to be tracked, the track imaging device exhibits satisfactory tracking performance. <P>COPYRIGHT: (C)2010,JPO&INPIT

Description

本発明は、追尾撮像装置、追尾撮像方法、及びコンピュータプログラムに関し、特に、撮像手段により撮像される画像内の対象物体を追尾するために用いて好適なものである。   The present invention relates to a tracking imaging device, a tracking imaging method, and a computer program, and is particularly suitable for tracking a target object in an image captured by an imaging unit.

従来から、パン軸及びチルト軸の２軸を回転軸として旋回動作することが可能な駆動装置を備え、撮像する方向（光軸方向）を所望の方向に移動させることが可能な撮像装置がある。このような撮像装置は監視カメラ等に用いられている。また、このような撮像装置として、自動追尾機能を備えた撮像装置が存在する。具体的に自動追尾機能を備えた撮像装置は、撮像した画像信号に基づいて、対象とする人物等の移動物体を検出し、検出した移動物体を常に撮像範囲内に収めるべく、光軸方向が移動物体を追尾するようにパン・チルト駆動制御を行う。   2. Description of the Related Art Conventionally, there is an image pickup apparatus that includes a drive device that can turn about two axes of a pan axis and a tilt axis as a rotation axis, and that can move an imaging direction (optical axis direction) in a desired direction. . Such an imaging device is used for a surveillance camera or the like. As such an imaging apparatus, there is an imaging apparatus having an automatic tracking function. Specifically, an imaging apparatus having an automatic tracking function detects a moving object such as a target person based on a captured image signal, and the optical axis direction is set so that the detected moving object is always within the imaging range. Pan / tilt drive control is performed to track a moving object.

このような自動追尾機能を備えた撮像装置には、移動物体の追尾性能を向上させるために、追尾対象の移動物体の移動方向や速度を予測するものがある。特許文献１では、追尾対象の移動物体の撮像画像中の位置と、その撮影画像が撮像されたときのパン・チルト角度とから、移動物体の位置を絶対座標に変換し、これを時系列的に記憶しておく。そして、このようにして時系列的に記憶した"移動物体の位置の絶対座標"から、移動物体の移動方向及び速度を推測し、推測した結果を次回のパン・チルト駆動角度に反映させる制御を行う。   Some imaging apparatuses having such an automatic tracking function predict the moving direction and speed of a moving object to be tracked in order to improve the tracking performance of the moving object. In Patent Document 1, the position of the moving object is converted into absolute coordinates from the position in the captured image of the moving object to be tracked and the pan / tilt angle when the captured image is captured, and this is converted in time series. Remember it. Then, based on the “absolute coordinates of the position of the moving object” stored in time series in this way, the moving direction and speed of the moving object are estimated, and the estimated result is reflected in the next pan / tilt driving angle. Do.

また、パン・チルト駆動機構を備えないビデオカメラやデジタルカメラ等においても、撮像領域内における移動物体を追尾し、撮像領域内で追尾視野領域を移動させるものも存在する（特許文献２、特許文献３を参照）。撮像領域内で移動させる追尾視野領域の画像信号は、自動焦点検出（オートフォーカス）処理等に用いられる。
尚、撮像画像における移動物体の抽出処理に、異なった時点での２つ以上の撮像画像による相関情報を利用しているものもある。 Also, some video cameras and digital cameras that do not have a pan / tilt drive mechanism track a moving object in the imaging region and move the tracking visual field region in the imaging region (Patent Document 2, Patent Document). 3). The image signal of the tracking visual field area to be moved within the imaging area is used for automatic focus detection (autofocus) processing or the like.
Note that there are cases in which correlation information obtained by two or more captured images at different points in time is used for extraction of a moving object in a captured image.

特許第３４４０９１６号公報Japanese Patent No. 3440916 特公平５−６０７１２号公報Japanese Patent Publication No. 5-60712 特許第３４４９４８９号公報Japanese Patent No. 3449489

ところで、追尾対象とする移動物体が単に「移動する物体」であれば何でも良い場合には、２つ以上の撮像画像による相関情報を用いる等の、比較的簡単な画像領域の検出処理を行えばよい。しかしながら、監視カメラ等の用途においては、移動している（あるいは一時的に停止しているかもしれない）「人物」や「動物」といった特定の移動物体を検出し、これを追尾対象としたい場合が多々ある。   By the way, if the moving object to be tracked is simply “moving object”, a relatively simple image area detection process such as using correlation information from two or more captured images may be performed. Good. However, in applications such as surveillance cameras, if you want to detect a specific moving object such as a "person" or "animal" that is moving (or may have stopped temporarily) and want to track it There are many.

このような特定の移動物体を、撮像画像から検出する物体検出処理の処理コストは、通常、前述した相関情報を用いるような処理よりも多大である。従って、移動物体の検出の応答性を高めるために、物体検出処理を行う領域を、撮像画像の一部の領域のみに制限するということが考えられる。パン・チルト機構を備え、自動追尾機能を備える追尾撮像装置では、撮像画像の極力中央付近に、追尾対象の物体が存在する状態が望ましい。このため、物体検出処理を行う一部の領域を撮像画像の中央付近に設定する場合が多い。   The processing cost of the object detection process for detecting such a specific moving object from the captured image is usually greater than the process using the correlation information described above. Therefore, in order to improve the response of detection of a moving object, it is conceivable to limit the area where object detection processing is performed to only a part of the captured image. In a tracking imaging apparatus including a pan / tilt mechanism and an automatic tracking function, it is desirable that an object to be tracked exists as close to the center of the captured image as possible. For this reason, a part of the area where the object detection process is performed is often set near the center of the captured image.

このようにして制限した領域における物体検出処理の性能が十分に高速であり、且つ、パン・チルト駆動機構が十分な応答性能を持っている場合には、撮像画像の中央付近に捕らえた追尾対象の物体を、撮像画像の中央付近に保持した状態で撮像し続けられる。すなわち、撮像画像（画面）の中心からの物体の相対位置に基づいてパン・チルト駆動を行うことにより、撮像画像の中央部付近に追尾対象の物体を保持した状態で撮像し続けることが可能である。   When the object detection processing performance in the restricted area is sufficiently high and the pan / tilt drive mechanism has sufficient response performance, the tracking target captured near the center of the captured image The object can be imaged while being held near the center of the captured image. In other words, by performing pan / tilt driving based on the relative position of the object from the center of the captured image (screen), it is possible to continue capturing an image with the tracking target object held near the center of the captured image. is there.

しかしながら、制限した領域における物体検出処理の性能、パン・チルト駆動機構の性能、追尾対象の物体の移動速度によっては、追尾対象の物体を見失い、当該物体の追尾を中断する状態になってしまうことが起こり得る。すなわち、ある時点での撮像画像に基づいて物体検出処理及びパン・チルト駆動を行った後の撮像画像（次の時点での撮像画像）に追尾対象の物体が捕らえられているにも関わらず、当該物体が物体検出処理を行う領域から外れてしまうことがある。そうすると、追尾対象の物体を見失って当該物体の追尾を中断する状態になる。   However, depending on the performance of the object detection processing in the restricted area, the performance of the pan / tilt drive mechanism, and the movement speed of the tracking target object, the tracking target object may be lost and tracking of the object may be interrupted. Can happen. That is, although the object to be tracked is captured in the captured image (captured image at the next time) after performing object detection processing and pan / tilt drive based on the captured image at a certain time, The object may be out of the area where the object detection process is performed. Then, the tracking target object is lost and tracking of the object is interrupted.

仮に、前述した特許文献１に記載されているようにして追尾対象の物体の移動速度や位置を推定できたとしても、パン・チルト駆動機構が、推定した追尾対象の物体の移動速度や位置に追従できる性能を持たない場合には、前述したのと同様の問題が発生する。   Even if the movement speed and position of the tracking target object can be estimated as described in Patent Document 1 described above, the pan / tilt drive mechanism determines that the tracking target object movement speed and position are the same. If it does not have the ability to follow, the same problem as described above occurs.

本発明は、このような問題点に鑑みてなされたものであり、物体を検出する領域を制限して物体の検出処理の負荷を低減した場合の物体の追尾性能を従来よりも向上させることを目的とする。   The present invention has been made in view of such problems, and it is intended to improve the object tracking performance when the object detection processing is reduced by limiting the object detection area as compared with the prior art. Objective.

本発明の追尾撮像装置は、撮像光軸の方向の画像を撮像する撮像手段と、前記撮像手段により撮像される画像内の対象物体を追尾するために、前記撮像光軸の方向を変化させるべく前記撮像手段を駆動する駆動手段と、前記撮像手段により撮像された画像の一部の領域に検出処理領域を設定する領域設定手段と、前記領域設定手段により設定された検出処理領域の画像を処理し、当該検出処理領域における前記対象物体の位置情報を検出する物体位置検出手段とを有し、前記領域設定手段は、前記物体位置検出手段により検出された対象物体の位置情報に基づいて、次回の撮像時における前記検出処理領域を設定することを特徴とする。   The tracking imaging apparatus according to the present invention is configured to change the direction of the imaging optical axis in order to track an imaging unit that captures an image in the direction of the imaging optical axis and a target object in the image captured by the imaging unit. A driving unit that drives the imaging unit, a region setting unit that sets a detection processing region in a partial region of an image captured by the imaging unit, and an image in the detection processing region set by the region setting unit And an object position detecting means for detecting position information of the target object in the detection processing area, and the area setting means is based on the position information of the target object detected by the object position detecting means next time. The detection processing area at the time of imaging is set.

本発明の追尾撮像方法は、撮像光軸の方向の画像を撮像手段により撮像する撮像ステップと、前記撮像ステップにより撮像される画像内の対象物体を追尾するために、前記撮像光軸の方向を変化させるべく前記撮像手段を駆動する駆動ステップと、前記撮像ステップにより撮像された画像の一部の領域に検出処理領域を設定する領域設定ステップと、前記領域設定ステップにより設定された検出処理領域の画像を処理し、当該検出処理領域における前記対象物体の位置情報を検出する物体位置検出ステップとを有し、前記領域設定ステップは、前記物体位置検出ステップにより検出された対象物体の位置情報に基づいて、次回の撮像時における前記検出処理領域を設定することを特徴とする。   In the tracking imaging method of the present invention, the imaging step of capturing an image in the direction of the imaging optical axis by the imaging unit, and the direction of the imaging optical axis in order to track the target object in the image captured by the imaging step. A driving step for driving the imaging means to change, a region setting step for setting a detection processing region in a partial region of the image captured by the imaging step, and a detection processing region set by the region setting step. An object position detecting step of processing an image and detecting position information of the target object in the detection processing region, wherein the region setting step is based on the position information of the target object detected by the object position detecting step. Thus, the detection processing area at the next imaging is set.

本発明のコンピュータプログラムは、撮像光軸の方向の画像を撮像する撮像手段により撮像される画像内の対象物体を追尾するために、前記撮像光軸の方向を変化させるべく前記撮像手段を駆動することを駆動手段に指示する駆動ステップと、前記撮像手段により撮像された画像の一部の領域に検出処理領域を設定する領域設定ステップと、前記領域設定ステップにより設定された検出処理領域の画像を処理し、当該検出処理領域における前記対象物体の位置情報を検出する物体位置検出ステップとをコンピュータに実行させ、前記領域設定ステップは、前記物体位置検出ステップにより検出された対象物体の位置情報に基づいて、次回の撮像時における前記検出処理領域を設定することを特徴とする。   The computer program of the present invention drives the imaging unit to change the direction of the imaging optical axis in order to track the target object in the image captured by the imaging unit that captures an image in the direction of the imaging optical axis. A driving step for instructing the driving means, an area setting step for setting a detection processing area in a partial area of the image captured by the imaging means, and an image of the detection processing area set by the area setting step. An object position detecting step for processing and detecting position information of the target object in the detection processing region, wherein the region setting step is based on the position information of the target object detected by the object position detecting step. Thus, the detection processing area at the next imaging is set.

本発明によれば、撮像された画像の一部の領域に設定した検出処理領域における対象物体の位置情報に基づいて、次回の撮像時における検出処理領域を設定するようにした。したがって、検出処理領域の位置を対象物体の位置に応じて変更することができる。これにより、物体を検出する領域を制限して物体の検出処理の負荷を低減しても、物体の追尾性能を従来よりも向上させることができる。   According to the present invention, the detection processing area at the time of the next imaging is set based on the position information of the target object in the detection processing area set as a partial area of the captured image. Therefore, the position of the detection processing area can be changed according to the position of the target object. As a result, even if the region for detecting an object is limited and the load of the object detection process is reduced, the tracking performance of the object can be improved as compared with the related art.

（第１の実施形態）
以下に、図面を参照しながら、本発明の第１の実施形態について説明する。
図１は、追尾撮像装置のハードウェア構成の一例を示すブロック図である。図１において、本実施形態では、追尾撮像装置は、撮像装置１００とコントローラ装置１１０とを備えている。
撮像装置１００は、光学的に撮像した映像を電気的な画像信号に変換するカメラ装置１０１と、カメラ装置１０１をパン方向及びチルト方向に駆動するための雲台１０５とを備えている。雲台１０５には、パン・チルト駆動機構（パン軸駆動モータ及びチルト軸駆動モータ）が備わっている。パン軸駆動モータは、カメラ装置１０１が撮像する方向である撮像光軸１０２の方向を、パン軸１０３を中心（回転軸）として所定の角度範囲内で回転させるためのものである。チルト軸駆動モータは、撮像光軸１０２の方向を、チルト軸１０４を中心（回転軸）として所定の角度範囲内で回転させるためのものである。尚、パン軸駆動モータ及びチルト軸駆動モータには、ステッピングモータや超音波モータ等が用いられ、後述するパン・チルト駆動制御部１１７によって制御される。 (First embodiment)
Hereinafter, a first embodiment of the present invention will be described with reference to the drawings.
FIG. 1 is a block diagram illustrating an example of a hardware configuration of the tracking imaging device. In FIG. 1, in the present embodiment, the tracking imaging device includes an imaging device 100 and a controller device 110.
The imaging apparatus 100 includes a camera apparatus 101 that converts an optically captured image into an electrical image signal, and a camera platform 105 that drives the camera apparatus 101 in the pan direction and the tilt direction. The pan head 105 is provided with a pan / tilt drive mechanism (pan axis drive motor and tilt axis drive motor). The pan axis drive motor is for rotating the direction of the imaging optical axis 102, which is the direction in which the camera apparatus 101 captures an image, within a predetermined angle range about the pan axis 103 (rotation axis). The tilt axis drive motor is for rotating the direction of the imaging optical axis 102 within a predetermined angle range around the tilt axis 104 (rotation axis). Note that a stepping motor, an ultrasonic motor, or the like is used as the pan axis drive motor and the tilt axis drive motor, and is controlled by a pan / tilt drive control unit 117 described later.

コントローラ装置１１０は、システムバス１１１に各装置が接続される構成をとっている。ＣＰＵ１１２は、ハードディスク又はフラッシュＲＯＭ等の不揮発性メモリ装置１１３に格納されている制御プログラムに基づいて動作し、システムバス１１１に接続された各装置を統括的に制御する。
揮発性メモリ（ＲＡＭ１１４）は、ＣＰＵ１１２が動作するときに作業領域として使用される。また、ＲＡＭ１１４の一部の領域には、画像バッファ１１５が含まれる。尚、本実施形態では、ＣＰＵ１１２の作業領域と画像バッファ１１５とが、同一のＲＡＭ１１４に含まれる場合を例に挙げて示しているが、これらを別々のＲＡＭに分割する構成としてもよい。また、画像バッファ１１５を、後述する画像取得部１１８或いは物体検出処理部１１９に内蔵する構成とすることも可能である。 The controller device 110 has a configuration in which each device is connected to the system bus 111. The CPU 112 operates based on a control program stored in a non-volatile memory device 113 such as a hard disk or a flash ROM, and comprehensively controls each device connected to the system bus 111.
The volatile memory (RAM 114) is used as a work area when the CPU 112 operates. In addition, an image buffer 115 is included in a partial area of the RAM 114. In the present embodiment, the case where the work area of the CPU 112 and the image buffer 115 are included in the same RAM 114 is shown as an example. However, these may be divided into separate RAMs. Further, the image buffer 115 may be built in an image acquisition unit 118 or an object detection processing unit 119 described later.

ユーザＩ／Ｆ装置１１６は、不図示のディスプレイ装置とキー入力装置とを備え、ＣＰＵ１１２からの指令に従って、ユーザに対して本装置の状態等の情報を通知する。また、ユーザＩ／Ｆ装置１１６は、撮像、追尾対象の検出、追尾動作の開始・停止等の指令をユーザから受け付けて、ＣＰＵ１１２に伝える。
パン・チルト駆動制御部１１７は、撮像装置１００のパン軸駆動モータ及びチルト軸駆動モータに接続されている。パン・チルト駆動制御部１１７は、不図示のパルス発生回路やドライバ回路等を内蔵し、ＣＰＵ１１２からの指令に基づき、所望のパン・チルト駆動を撮像装置１００に指示する。また、パン・チルト駆動制御部１１７は、撮像装置１００に内蔵される不図示の位置センサ（エンコーダ等）からの出力に基づき、現在のパン及びチルト角の位置情報を取得し、ＣＰＵ１１２に通知する。尚、本実施形態のように、パン・チルト駆動制御部１１７をシステムバス１１１に直接接続しなくてもよい。すなわち、パン・チルト駆動制御部１１７をコントローラ装置１１０の外部に独立した筐体として設け、シリアルやネットワーク回線等の所定のＩ／Ｆを介して、パン・チルト駆動制御部１１７とＣＰＵ１１２とが相互に通信する構成にすることもできる。 The user I / F device 116 includes a display device (not shown) and a key input device, and notifies the user of information such as the status of the device according to a command from the CPU 112. In addition, the user I / F device 116 receives commands from the user, such as imaging, detection of a tracking target, and start / stop of a tracking operation, and transmits them to the CPU 112.
The pan / tilt drive control unit 117 is connected to the pan axis drive motor and the tilt axis drive motor of the imaging apparatus 100. The pan / tilt drive control unit 117 includes a pulse generation circuit, a driver circuit, and the like (not shown), and instructs the imaging apparatus 100 to perform desired pan / tilt drive based on a command from the CPU 112. The pan / tilt drive control unit 117 acquires current pan and tilt angle position information based on an output from a position sensor (encoder or the like) (not shown) built in the imaging apparatus 100 and notifies the CPU 112 of the position information. . Note that the pan / tilt drive control unit 117 does not have to be directly connected to the system bus 111 as in the present embodiment. In other words, the pan / tilt drive control unit 117 is provided as an independent casing outside the controller device 110, and the pan / tilt drive control unit 117 and the CPU 112 are mutually connected via a predetermined I / F such as a serial or network line. It can also be configured to communicate with.

画像取得部１１８は、撮像装置１００のカメラ装置１０１に接続されている。画像取得部１１８は、ＣＰＵ１１２からの指令を受けてカメラ装置１０１の撮像制御を行い、撮像光軸１０２の方向の撮像範囲の画像を取得する。画像取得部１１８で取得した画像信号は画像データとして、画像バッファ１１５に格納される。尚、画像バッファ１１５は、複数枚の撮像範囲の画像データを格納することが可能な容量を有している。複数枚の画像データの夫々をページと呼ぶ。また、画像バッファ１１５には、画像取得部１１８だけでなく、ＣＰＵ１１２や後述する物体検出処理部１１９もアクセスすることが可能である。これら複数の装置からの画像バッファ１１５へのアクセスは、バス・アービタによって排他制御される。   The image acquisition unit 118 is connected to the camera device 101 of the imaging device 100. The image acquisition unit 118 receives an instruction from the CPU 112, performs imaging control of the camera device 101, and acquires an image in the imaging range in the direction of the imaging optical axis 102. The image signal acquired by the image acquisition unit 118 is stored in the image buffer 115 as image data. Note that the image buffer 115 has a capacity capable of storing image data of a plurality of imaging ranges. Each of a plurality of image data is called a page. The image buffer 115 can be accessed not only by the image acquisition unit 118 but also by the CPU 112 and an object detection processing unit 119 described later. Access to the image buffer 115 from these plural devices is exclusively controlled by the bus arbiter.

物体検出処理部１１９は、画像データ内（画像内）の追尾対象の物体１０６（対象物体）を検出する処理を行うものであって、画像処理ハードウェアにより構成されている。物体検出処理部１１９は、物体１０６の特性に応じて、例えば人物を検出するニューラルネットワーク等、最適の検出アルゴリズムを搭載している。また、物体検出処理部１１９は、処理領域設定部１２０を備え、特定のページの画像データの一部の領域のみを、物体１０６の検出処理を行う検出処理領域として指定することが可能なように構成されている。処理領域設定部１２０は、ハードウェア・レジスタであって、その値はＣＰＵ１１２から設定することが可能である。物体検出処理部１１９は、この他にも、不図示のレジスタやＣＰＵ１１２に接続された割り込み出力を備える。物体検出処理部１１９は、ＣＰＵ１１２からの物体１０６の検出の開始指令を受け付ける。また、物体検出処理部１１９は、物体１０６の検出完了を割り込みでＣＰＵ１１２に通知し、物体１０６の検出結果を、撮像画像中の座標値としてレジスタに格納し、その座標値をＣＰＵ１１２に知らせる機能を持つ。尚、本実施形態では、専用のハードウェア検出回路を用いて物体検出処理部１１９を構成する場合を例に挙げて示している。しかしながら、ＣＰＵ１１２が十分にパワフルである場合には、ＣＰＵ１１２で動作させるソフトウェア・プログラムとして物体検出処理部１１９を実装してもよい。また、ＤＳＰ（Digital Signal Processor）等の比較的汎用的な画像処理用チップを用いて物体検出処理部１１９を構成してもよい。   The object detection processing unit 119 performs processing for detecting the tracking target object 106 (target object) in the image data (in the image), and is configured by image processing hardware. The object detection processing unit 119 includes an optimal detection algorithm such as a neural network that detects a person according to the characteristics of the object 106. Further, the object detection processing unit 119 includes a processing region setting unit 120 so that only a partial region of the image data of a specific page can be designated as a detection processing region for performing the detection processing of the object 106. It is configured. The processing area setting unit 120 is a hardware register, and its value can be set by the CPU 112. In addition to this, the object detection processing unit 119 includes a register (not shown) and an interrupt output connected to the CPU 112. The object detection processing unit 119 receives a start command for detecting the object 106 from the CPU 112. Further, the object detection processing unit 119 notifies the CPU 112 of the completion of detection of the object 106 by interruption, stores the detection result of the object 106 in the register as a coordinate value in the captured image, and notifies the CPU 112 of the coordinate value. Have. In the present embodiment, a case where the object detection processing unit 119 is configured using a dedicated hardware detection circuit is shown as an example. However, when the CPU 112 is sufficiently powerful, the object detection processing unit 119 may be implemented as a software program that is operated by the CPU 112. Further, the object detection processing unit 119 may be configured using a relatively general-purpose image processing chip such as a DSP (Digital Signal Processor).

次に、図２のフローチャートを参照しながら、ＣＰＵ１１２で動作させる追尾制御プログラムの基本的な処理の一例を説明する。
ユーザＩ／Ｆ装置１１６からの指令、或いはコントローラ装置１１０の電源のオン、不図示のネットワーク回線を通じた指令等をトリガとして、ＣＰＵ１１２は、図２に示す処理を行う追尾制御プログラムを起動する。追尾制御プログラムは、起動すると、システムバス１１１に接続された各装置／処理部に対し所定の初期設定等を行う。
まず、ステップＳ２０１において、ＣＰＵ１１２は、撮像される画像領域内における検出処理領域の初期設定を行う。図３は、初期の検出処理領域の一例を示す図である。
図３に示すように、初期の検出処理領域３０２は、撮像領域全体３１０の中心位置Ｃを中心とする所定の大きさ（Ｓw，Ｓh）の領域として配置される。ここで、Ｓwは検出処理領域３０２の幅であり、Ｓhは検出処理領域３０２の高さを表す。本実施形態では、検出処理領域の大きさ（Ｓw，Ｓh）は、検出処理領域の位置に寄らず常に一定としている。 Next, an example of basic processing of the tracking control program operated by the CPU 112 will be described with reference to the flowchart of FIG.
The CPU 112 activates a tracking control program for performing the processing shown in FIG. 2 by using a command from the user I / F device 116 or power-on of the controller device 110, a command through a network line (not shown), or the like as a trigger. When started, the tracking control program performs predetermined initial settings for each device / processing unit connected to the system bus 111.
First, in step S201, the CPU 112 performs initial setting of a detection processing area in an image area to be captured. FIG. 3 is a diagram illustrating an example of an initial detection processing area.
As shown in FIG. 3, the initial detection processing area 302 is arranged as an area having a predetermined size (S w , S h ) centering on the center position C of the entire imaging area 310. Here, S w is the width of the detection processing area 302, and S h represents the height of the detection processing area 302. In the present embodiment, the size (S w , S h ) of the detection processing area is always constant regardless of the position of the detection processing area.

物体の追尾処理を行う際に、ＣＰＵ１１２は、通常、中心位置Ｃを基準位置（すなわち原点（０，０））として、各種座標を管理している。しかしながら、本実施形態における物体検出処理部１１９の回路においては、撮像領域全体３１０の左上端点Ｚの位置を原点(０，０)としている。このため、ＣＰＵ１１２は、処理領域設定部１２０の設定を、座標を変換した上で行う必要がある。ＣＰＵ１１２は、処理領域設定部１２０の設定として、検出処理領域３０２の開始位置（ａx，ａy）と大きさ（Ｓw，Ｓh）を、所定のレジスタに設定するようにしている。本実施形態では、ＣＰＵ１１２が、以下の（１）式、（２）式のようにして、初期の検出処理領域３０２の開始位置（ａx，ａy）を設定することにより、初期の検出処理領域３０２の中心点が中心位置Ｃと一致するようにしている。
ａx＝（Ｉw−Ｓw）／２ ・・・（１）
ａy＝（Ｉh−Ｓh）／２ ・・・（２）
ここで、Ｉwは、撮像領域全体３１０の幅であり、Ｉhは、撮像領域全体３１０の高さである。 When the object tracking process is performed, the CPU 112 normally manages various coordinates with the center position C as a reference position (that is, the origin (0, 0)). However, in the circuit of the object detection processing unit 119 in the present embodiment, the position of the upper left end point Z of the entire imaging region 310 is the origin (0, 0). Therefore, the CPU 112 needs to set the processing area setting unit 120 after converting the coordinates. The CPU 112 sets the start position (a x , a y ) and the size (S w , S h ) of the detection processing area 302 in a predetermined register as settings of the processing area setting unit 120. In the present embodiment, CPU 112 is, the following equation (1), as (2), the starting position of the initial detection processing region 302 (a x, a y) by setting the initial detection process The center point of the region 302 is made to coincide with the center position C.
a x = (I w −S w ) / 2 (1)
a y = (I h −S h ) / 2 (2)
Here, I w is the width of the entire imaging region 310, and I h is the height of the entire imaging region 310.

以上のようにして初期の検出処理領域３０２の設定が終わると、ステップＳ２０２の処理を行う。尚、以後は、ユーザからの指令等の終了トリガが入らない限り、ステップＳ２０２〜Ｓ２０９のループを繰り返し実行する。尚、コントローラ装置１１０の電源の投入で自動的にステップＳ２０１までの処理が行われるようにし、更に何らかのトリガをコントローラ装置１１０に与えたときに物体１０６の追尾状態に遷移してステップＳ２０２からの処理を開始するようにしてもよい。   When the initial detection processing area 302 has been set as described above, the process of step S202 is performed. Thereafter, unless an end trigger such as a command from the user is input, the loop of steps S202 to S209 is repeatedly executed. It should be noted that the processing up to step S201 is automatically performed when the controller device 110 is turned on, and when a certain trigger is given to the controller device 110, the tracking state of the object 106 is changed to the processing from step S202. May be started.

ステップＳ２０２において、ＣＰＵ１１２は、画像取得部１１８に対し、カメラ装置１０１で撮像される画像の取得動作の実行を指令する。この指令は、ＣＰＵ１１２が、画像取得部１１８が備える指令レジスタに値（命令コマンド）を書き込むことにより実行される。そして、画像取得部１１８は、ＣＰＵ１１２からの指令に基づいて、画像の取得を完了すると、画像データを、画像バッファ１１５の所定のページの領域に格納する。その後、画像取得部１１８は、画像データの取得の完了通知をＣＰＵ１１２に行う。   In step S <b> 202, the CPU 112 instructs the image acquisition unit 118 to execute an operation for acquiring an image captured by the camera device 101. This command is executed by the CPU 112 writing a value (command command) in a command register provided in the image acquisition unit 118. Then, when the image acquisition unit 118 completes the acquisition of the image based on the command from the CPU 112, the image acquisition unit 118 stores the image data in a predetermined page area of the image buffer 115. Thereafter, the image acquisition unit 118 notifies the CPU 112 of completion of acquisition of image data.

ＣＰＵ１１２は、画像データの取得の完了通知を受け取ると、ステップＳ２０３において、物体検出処理部１１９に対して、物体検出処理の実行を指令する。この指令は、物体検出処理部１１９に備わっている指令用レジスタに値を書き込むことによってなされる。また、ＣＰＵ１１２は、今回処理を行いたい画像データが格納された画像バッファ１１５の領域に関する情報（ページ又はアドレス）もこの指令に併せて物体検出処理部１１９に通知する。物体検出処理部１１９は、画像バッファ１１５の所定のページの領域にある画像データのうち、処理領域設定部１２０の設定値に基づく一部の領域の画像データを読み出し、例えばニューラルネットワークを用いて物体検出処理を実行する。この物体検出処理の結果、物体が検出された場合、物体検出処理部１１９は、結果格納レジスタの検出成功フラグをセットすると共に、座標レジスタに、検出された物体の位置座標を、左上端点Ｚを原点として書き込む。一方、物体の検出に失敗した場合、物体検出処理部１１９は、検出失敗フラグをセットする。そして、いずれの場合も、物体検出処理部１１９は、割り込み信号を発生してＣＰＵ１１２に検出処理の完了を通知する。
以上のように本実施形態では、例えば、ステップＳ２０３の処理を行うことにより物体位置検出手段の一例が実現される。
そして、ステップＳ２０４において、ＣＰＵ１１２は物体検出処理部１１９の検出処理結果フラグをチェックし、検出が成功した場合にはステップＳ２０６の処理を、失敗した場合にはステップＳ２０５の処理を実行する。 When the CPU 112 receives the image data acquisition completion notification, the CPU 112 instructs the object detection processing unit 119 to execute object detection processing in step S203. This command is made by writing a value in a command register provided in the object detection processing unit 119. The CPU 112 also notifies the object detection processing unit 119 of information (page or address) regarding the area of the image buffer 115 in which the image data to be processed this time is stored, together with this command. The object detection processing unit 119 reads out image data of a part of the region based on the setting value of the processing region setting unit 120 from the image data in the region of the predetermined page of the image buffer 115, and uses, for example, a neural network Perform detection processing. If an object is detected as a result of this object detection processing, the object detection processing unit 119 sets a detection success flag in the result storage register, and sets the position coordinate of the detected object in the coordinate register and the upper left end point Z. Write as origin. On the other hand, when the object detection fails, the object detection processing unit 119 sets a detection failure flag. In either case, the object detection processing unit 119 generates an interrupt signal to notify the CPU 112 of the completion of the detection process.
As described above, in the present embodiment, for example, an example of the object position detection unit is realized by performing the process of step S203.
In step S204, the CPU 112 checks the detection process result flag of the object detection processing unit 119. If the detection is successful, the process of step S206 is executed. If the detection is unsuccessful, the process of step S205 is executed.

追尾対象の物体の検出が成功した場合には、ステップＳ２０６において、ＣＰＵ１１２は、次の処理を行う。すなわちＣＰＵ１１２は、カメラ装置１０１の撮像光軸１０２の中心（図３の中心位置Ｃ）が、追尾対象の物体の相対位置に一致するための、パン軸駆動モータ及びチルト軸駆動モータの夫々の駆動量（パン、チルト方向の駆動量）を計算する。尚、本実施形態では、カメラ装置１０１の撮像光軸１０２の中心（図３の中心位置Ｃ）を、追尾対象の物体の相対位置に一致させるようにしている場合を例に挙げて示しているが、必ずしもこのようにする必要はない。すなわち、カメラ装置１０１の撮像光軸１０２の中心（図３の中心位置Ｃ）を、追尾対象の物体の相対位置に近づけるようにしてもよい。   If the tracking target object has been successfully detected, the CPU 112 performs the following process in step S206. That is, the CPU 112 drives each of the pan axis drive motor and the tilt axis drive motor so that the center of the imaging optical axis 102 of the camera device 101 (center position C in FIG. 3) matches the relative position of the tracking target object. The amount (drive amount in the pan and tilt directions) is calculated. In this embodiment, the case where the center of the imaging optical axis 102 of the camera apparatus 101 (center position C in FIG. 3) is made to coincide with the relative position of the object to be tracked is shown as an example. However, this is not always necessary. In other words, the center of the imaging optical axis 102 of the camera device 101 (center position C in FIG. 3) may be brought closer to the relative position of the tracking target object.

図４は、撮像領域内における追尾対象の物体の様子の一例を示す図である。具体的に図４（ａ）では、撮像領域４０１内の検出処理領域３０２内にて、追尾対象となる物体１０６（ここでは人物とする）が検出された様子を示している。物体検出処理部１１９からは、追尾対象の物体１０６の位置として左上端点Ｚを原点とした座標が出力される。前述したように、ＣＰＵ１１２ではこれを、撮像領域４０１の中心位置Ｃ（すなわち撮像光軸と一致する位置）を原点とする座標に変換している。すなわち、追尾対象の物体１０６の位置は、中心位置Ｃからの位置ベクトルＤ＝（Ｄx，Ｄy）によって表される。
このように本実施形態では、例えば、撮像領域４０１の中心位置Ｃが基準点の一例となり、中心位置Ｃからの位置ベクトルＤで表される位置が基準点からの相対位置の一例となる。 FIG. 4 is a diagram illustrating an example of the state of the tracking target object in the imaging region. Specifically, FIG. 4A shows a state in which an object 106 (here, a person) to be tracked is detected in the detection processing area 302 in the imaging area 401. The object detection processing unit 119 outputs coordinates with the upper left upper point Z as the origin as the position of the tracking target object 106. As described above, the CPU 112 converts this into coordinates having the origin at the center position C of the imaging area 401 (that is, the position matching the imaging optical axis). That is, the position of the tracking target object 106 is represented by a position vector D = (D x , D y ) from the center position C.
Thus, in the present embodiment, for example, the center position C of the imaging region 401 is an example of a reference point, and the position represented by the position vector D from the center position C is an example of a relative position from the reference point.

ここで、位置ベクトルＤの位置に撮像領域４０１の中心位置Ｃを移動するのに必要なパン、チルト方向の駆動量を夫々Ｍp、Ｍtとすると、パン、チルト方向の駆動量Ｍp、Ｍtは夫々、略位置ベクトルＤのｘ成分、ｙ成分Ｄx，Ｄyに比例するものと考えてよい。よって、パン、チルト方向の駆動量Ｍp、Ｍtは、夫々以下の（３）式、（４）式で簡単に表される。
Ｍp＝Ｃp・Ｄx ・・・（３）
Ｍt＝Ｃt・Ｄy ・・・（４）
ここで、Ｃp、Ｃtは、カメラ装置１０１の視野角及び分解能と、パン軸駆動モータ及びチルト軸駆動モータ夫々に対して指定された駆動量に対応する移動角度とによって定めることのできる定数である。
以上のように本実施形態では、例えば、ステップＳ２０６の処理を行うことにより駆動量算出手段の一例が実現される。 Here, assuming that the driving amounts in the pan and tilt directions necessary to move the center position C of the imaging region 401 to the position of the position vector D are M p and M t , respectively, the driving amounts M p and P in the pan and tilt directions M t are each, x component of the substantially position vector D, y components D x, it may be considered to be proportional to D y. Accordingly, the driving amounts M p and M t in the pan and tilt directions are simply expressed by the following equations (3) and (4), respectively.
M p = C p · D x (3)
M t = C t · D y (4)
Here, C p and C t are constants that can be determined by the viewing angle and resolution of the camera device 101 and the movement angle corresponding to the drive amount specified for each of the pan axis drive motor and the tilt axis drive motor. It is.
As described above, in the present embodiment, for example, an example of the drive amount calculation unit is realized by performing the process of step S206.

以上のようにしてパン、チルト方向の駆動量Ｍp、Ｍtを計算すると、ＣＰＵ１１２は、ステップＳ２０７において、ＰＴ駆動制御処理を行う。このＰＴ駆動制御処理は、ＣＰＵ１１２が、パン・チルト駆動制御部１１７の回路に含まれるレジスタに値を書き込むことによって行われる。ここでパン・チルト駆動制御部１１７に伝えられる値は、ステップＳ２０６で計算したパン、チルト方向の駆動量Ｍp、Ｍtである。更に、パン・チルト駆動機構（パン軸駆動モータ及びチルト軸駆動モータ）の駆動開始も、ＣＰＵ１１２が、パン・チルト駆動制御部１１７の回路に含まれる指令レジスタに値を書き込むことによってパン・チルト駆動制御部１１７に伝えられる。 When the driving amounts M p and M t in the pan and tilt directions are calculated as described above, the CPU 112 performs a PT drive control process in step S207. This PT drive control process is performed by the CPU 112 writing a value in a register included in the circuit of the pan / tilt drive control unit 117. Here, the values transmitted to the pan / tilt drive control unit 117 are the driving amounts M p and M t in the pan and tilt directions calculated in step S206. In addition, when the pan / tilt drive mechanism (pan axis drive motor and tilt axis drive motor) starts to be driven, the CPU 112 writes a value in a command register included in the circuit of the pan / tilt drive control unit 117 to perform pan / tilt drive. This is transmitted to the control unit 117.

パン・チルト駆動制御部１１７は、撮像装置１００のパン・チルト駆動機構（パン軸駆動モータ及びチルト軸駆動モータ）を制御し、ＣＰＵ１１２から指定された駆動量Ｍp、Ｍtに対応する角度だけカメラ装置１０１を旋回させる。カメラ装置１０１の旋回動作が完了したら、パン・チルト駆動制御部１１７は、ＣＰＵ１１２に旋回完了を通知する。この旋回完了の通知は、他の回路における処理と同様に、割り込みによるものとする。尚、パン・チルト駆動制御部１１７が所定の通信Ｉ／Ｆを介してコントローラ装置１１０の外部におかれる構成とする場合には、パン・チルト駆動制御部１１７とＣＰＵ１１２との情報のやり取りを、所定の通信プロトコルに則ったコマンドで行えばよい。
以上のように本実施形態では、例えば、ステップＳ２０７の処理を行うことにより駆動手段の一例が実現される。 The pan / tilt drive control unit 117 controls the pan / tilt drive mechanism (pan axis drive motor and tilt axis drive motor) of the imaging apparatus 100, and only an angle corresponding to the drive amounts M p and M t specified by the CPU 112. The camera device 101 is turned. When the turning operation of the camera apparatus 101 is completed, the pan / tilt drive control unit 117 notifies the CPU 112 of the completion of the turning. The notification of the completion of the turn is made by interruption, as in the processing in other circuits. When the pan / tilt drive control unit 117 is configured to be outside the controller device 110 via a predetermined communication I / F, information exchange between the pan / tilt drive control unit 117 and the CPU 112 is performed. What is necessary is just to carry out with the command according to a predetermined communication protocol.
As described above, in the present embodiment, for example, an example of a driving unit is realized by performing the process of step S207.

以上のようにしてステップＳ２０７のＰＴ駆動制御処理が完了したとき、理想的には、撮像領域の画像は、図４（ｂ）に示すように、撮像領域４０１の中心位置Ｃに追尾対象の物体が位置するものとなっていることが望ましい。パン・チルト駆動機構が十分に応答性の高いものである場合には、図４（ｂ）に示すように、撮像領域４０１の中心位置Ｃに追尾対象の物体１０６を位置させることができる。しかしながら、実際には、このような応答性の極めて高い駆動機構を備えることは、技術的にもコスト的にも困難である。従って、パン・チルト駆動機構の駆動が完了するまでの間にも、追尾対象の物体１０６は移動することになる。このときの物体１０６の移動速度等よっては、パン・チルト駆動機構の駆動が完了した後、図４（ｃ）に示すように、物体１０６は、撮像領域４０１には収まっているものの、検出処理領域３０２からは外れた状態となってしまうことが起こる。このまま次の画像を取得し、物体検出処理を実行したとしても、追尾撮像装置は、追尾対象の物体１０６を見失った状態となり、当該物体１０６の追尾を続けることができなくなる。   When the PT drive control process in step S207 is completed as described above, ideally, the image of the imaging region is an object to be tracked at the center position C of the imaging region 401 as shown in FIG. It is desirable that is located. When the pan / tilt driving mechanism is sufficiently responsive, the tracking target object 106 can be positioned at the center position C of the imaging region 401 as shown in FIG. However, in practice, it is technically and costly difficult to provide such a highly responsive drive mechanism. Therefore, the object 106 to be tracked also moves until the driving of the pan / tilt driving mechanism is completed. Depending on the moving speed of the object 106 at this time, after the driving of the pan / tilt driving mechanism is completed, the object 106 is within the imaging area 401 as shown in FIG. It may happen that the area 302 is out of the state. Even if the next image is acquired as it is and the object detection process is executed, the tracking imaging apparatus loses sight of the object 106 to be tracked and cannot continue tracking the object 106.

そこで本実施形態では、ステップＳ２０８において、ＣＰＵ１１２は、次回の検出処理領域３０２の位置の計算を行う。連続して検出及び追尾動作が実行されているときに、１回毎の一連の処理サイクルが十分に短ければ、撮像領域４０１内における追尾対象の物体１０６の移動方向は、パン・チルトの移動方向に、略一致することが多いと考えられる。従って、ＣＰＵ１１２は、図４（ｄ）に示すように、ステップＳ２０６で使用したのと同じ位置ベクトルＤを用い、撮像領域４０１の中心位置Ｃから、位置ベクトルＤの方向に割合αを掛けた位置を、検出処理領域の中心位置に一致させるための計算を行う。この割合αについては、後に詳述する。
前述したように、処理領域設定部１２０には、左上端点Ｚを原点として、検出処理領域３０２の開始位置の座標（ａx，ａy）を設定する必要がある。そこで、ＣＰＵ１１２は、以下の（５）式、（６）式に従って、次回の検出処理領域３０２の開始位置の座標（ａx，ａy）を計算する。
ａx＝（Ｉw−Ｓw）／２＋α・Ｄx ・・・（５）
ａy＝（Ｉh−Ｓh）／２＋α・Ｄy ・・・（６）
このように本実施形態では、（５）式、（６）式の計算を行うことにより、位置ベクトルＤの方向へ、位置ベクトルＤの長さに割合αを乗算した距離だけ、検出処理領域３０２を移動させることができる。
以上のように本実施形態では、例えば、ステップＳ２０８の処理を行うことにより領域位置算出手段の一例が実現される。 Therefore, in the present embodiment, in step S208, the CPU 112 calculates the position of the next detection processing area 302. If a series of processing cycles for each time is sufficiently short when the detection and tracking operations are continuously performed, the movement direction of the tracking target object 106 in the imaging region 401 is the pan / tilt movement direction. In many cases, it is considered that they generally coincide with each other. Accordingly, as shown in FIG. 4D, the CPU 112 uses the same position vector D as used in step S206, and a position obtained by multiplying the center position C of the imaging region 401 by the ratio α in the direction of the position vector D. Is calculated to match the center position of the detection processing area. This ratio α will be described in detail later.
As described above, the processing area setting unit 120 needs to set the coordinates (a x , a y ) of the start position of the detection processing area 302 with the upper left end point Z as the origin. Therefore, the CPU 112 calculates the coordinates (a x , a y ) of the start position of the next detection processing area 302 according to the following expressions (5) and (6).
a x = (I w −S w ) / 2 + α · D x (5)
a y = (I h −S h ) / 2 + α · D y (6)
As described above, in the present embodiment, the detection processing region 302 is calculated by the distance obtained by multiplying the length of the position vector D by the ratio α in the direction of the position vector D by calculating the expressions (5) and (6). Can be moved.
As described above, in the present embodiment, for example, an example of the region position calculation unit is realized by performing the process of step S208.

次に、ステップＳ２０９において、ＣＰＵ１１２は、ステップＳ２０８で計算された次回の検出処理領域３０２の開始位置の座標（ａx，ａy）を、処理領域設定部１２０が備えるレジスタに設定する。尚、前述したように本実施形態では、検出処理領域３０２の大きさ（Ｓw，Ｓh）は、固定値としている。したがって、ステップＳ２０９において、ＣＰＵ１１２は、ステップＳ２０１で設定した値と同じ値を次回の検出処理領域３０２の大きさ（Ｓw，Ｓh）として設定する。そして、ステップＳ２０２の処理に戻って、画像の取得から一連の処理を繰り返し行う。
以上のように本実施形態では、例えば、ステップＳ２０９の処理を行うことにより領域設定手段の一例が実現される。 Next, in step S209, the CPU 112 sets the coordinates (a x , a y ) of the start position of the next detection processing area 302 calculated in step S208 in a register included in the processing area setting unit 120. As described above, in the present embodiment, the size (S w , S h ) of the detection processing region 302 is a fixed value. Accordingly, in step S209, the CPU 112 sets the same value as the value set in step S201 as the size (S w , S h ) of the next detection processing area 302. Then, returning to the process of step S202, a series of processes are repeated from the acquisition of the image.
As described above, in the present embodiment, for example, an example of an area setting unit is realized by performing the process of step S209.

また、ステップＳ２０４において、追尾対象の物体１０６の検出が失敗したと判定した場合には、ステップＳ２０５に進み、ＣＰＵ１１２は、初期の検出処理領域３０２の設定を行う。このステップＳ２０５では、ステップＳ２０１で説明した処理と全く同じ処理を行うことになる。すなわち、追尾対象の物体１０６が撮像可能範囲から出てしまうこと等によって、追尾対象の物体１０６を見失った場合には、物体の検出処理領域３０２を撮像領域４０１の中心位置Ｃに戻すことになる。   If it is determined in step S204 that detection of the tracking target object 106 has failed, the process proceeds to step S205, and the CPU 112 sets an initial detection processing area 302. In step S205, exactly the same processing as that described in step S201 is performed. In other words, if the tracking target object 106 is lost due to the tracking target object 106 going out of the imaging range, the object detection processing area 302 is returned to the center position C of the imaging area 401. .

尚、本実施形態では、一度の物体検出処理で物体を検出できなかったら、追尾対象の物体１０６を見失ったものと見なしているが、必ずしもこのようにする必要はない。例えば、物体検出処理の精度等に応じて、複数回連続して物体が検出されなかった場合に初めて追尾対象の物体１０６を見失ったと見なし、検出処理領域３０２を初期状態に戻す処理を行うようにしてもよい。この場合、追尾対象の物体１０６を見失ったと見なすまでの検出失敗状態でのステップＳ２０６〜Ｓ２０９に代わる処理としては、例えば次のような処理が考えられる。すなわち、「パン・チルト駆動も検出処理領域の変更も行わない」、「パン・チルト駆動は前回と同じだけ行うが、検出処理領域は撮像領域の中心位置Ｃに戻す」等、幾つかのバリエーションが考えられる。そして、これら幾つかのバリエーションの中で追尾撮像装置が使用される状況に応じて、最適なものを選ぶようにする。   In the present embodiment, if an object cannot be detected by a single object detection process, it is considered that the tracking target object 106 has been lost. However, this is not necessarily required. For example, depending on the accuracy of the object detection process, for example, when the object is not detected a plurality of times in succession, it is assumed that the object 106 to be tracked is lost, and the process of returning the detection processing area 302 to the initial state is performed. May be. In this case, for example, the following process is conceivable as a process replacing steps S206 to S209 in the detection failure state until it is assumed that the tracking target object 106 has been lost. In other words, several variations such as “no pan / tilt drive or change of detection processing area”, “pan / tilt drive is performed only as before, but the detection processing area is returned to the center position C of the imaging area”, etc. Can be considered. Among these variations, the optimum one is selected according to the situation in which the tracking imaging device is used.

さらには、追尾対象の物体１０６を見失った場合に、検出処理領域３０２を初期状態に戻すだけではなく、撮像光軸１０２の方向、すなわちパン・チルト角度も、ホームポジションの位置に戻すようにしてもよい。また、追尾対象の物体１０６を見失った付近で当該物体１０６が再度検出されることが期待できるような場合には、何も行わずに、検出処理領域３０２も撮像光軸１０２の方向も、追尾対象の物体１０６を見失った時点の状態で保持し続けるようにしてもよい。
また、いくら追尾対象の物体１０６が速く動いていたとしても、検出処理領域３０２を撮像領域４０１からはみ出すような位置に配置してしまうと、検出可能範囲を狭めるだけであり意味がない。従って、本実施形態では、検出処理領域３０２の開始位置の座標（ａx，ａy）が、以下の（７）式で表される範囲に収まるように検出処理領域３０２の移動範囲を制限している。
（０，０）≦（ａx，ａy）＜（Ｉw−Ｓw，Ｉh−Ｓh） ・・・（７） Further, when the object 106 to be tracked is lost, not only the detection processing area 302 is returned to the initial state but also the direction of the imaging optical axis 102, that is, the pan / tilt angle is returned to the home position. Also good. Further, when it can be expected that the object 106 is detected again in the vicinity of losing sight of the tracking target object 106, the detection processing region 302 and the direction of the imaging optical axis 102 are tracked without performing anything. You may make it hold | maintain in the state at the time of losing sight of the target object 106. FIG.
Further, no matter how fast the tracking target object 106 moves, if the detection processing area 302 is placed at a position that protrudes from the imaging area 401, it is meaningless because it only narrows the detectable range. Accordingly, in the present embodiment, the start position of the detection processing region 302 coordinates (a x, a y) limits the movement range of the detection processing region 302 to fit in the range represented by the following equation (7) ing.
(0,0) ≦ (a x, a y) <(I w -S w, I h -S h) ··· (7)

ここで、追尾対象の物体１０６の検出位置を示す位置ベクトルＤの方向に、次回の検出処理領域３０２をずらす割合αについて説明する。本実施形態では、ＣＰＵ１１２は、次回の検出処理領域３０２をずらす割合αの値を、以下の（８）式に従って、ステップＳ２０８の処理を行う度に計算を行い、次回の検出処理領域をずらす割合αを算出し直している。
α＝β・｜Ｄ｜ ・・・（８）
ここで、βは、パン、チルト方向の駆動量Ｍp、Ｍtに応じて予め定められた定数値である。すなわち、次回の検出処理領域をずらす割合αは、パン、チルト方向の駆動量Ｍp、Ｍtが大きいときには大きな値となり、小さいときには小さな値となる。すなわち、物体を追尾する処理が連続して行われている場合であって、当該物体の移動が速い場合には、１回の物体の検出に対するパン・チルト方向の移動量Ｍp、Ｍtも大きくなる。一方、物体を追尾する処理が連続して行われている場合であって、当該物体の移動が遅い場合には、パン・チルト方向の駆動量Ｍp、Ｍtも小さくなる。一般にパン・チルト方向の駆動量Ｍp、Ｍtが大きければ、駆動が完了するまでの時間も長くなる。従って、追尾対象の物体１０６の移動が速ければ速いほど、パン・チルト駆動機構の駆動が完了するまでの間に、図４（ｃ）に示すように、追尾対象１０６の物体が撮像領域４０１の中心付近より遠くへ行ってしまうことになる。このため、このような場合には、（８）式に従って、次回の検出処理領域をずらす割合αを大きく設定することによって、検出処理領域３０２を大きく動かすようにする。このようにすることによって、追尾撮像装置が一旦捕らえた物体１０６を「見失う」ことが少なくなり、良好な追尾性能を発揮する。 Here, the ratio α of shifting the next detection processing area 302 in the direction of the position vector D indicating the detection position of the tracking target object 106 will be described. In the present embodiment, the CPU 112 calculates the value of the ratio α for shifting the next detection processing area 302 according to the following equation (8) every time the process of step S208 is performed, and the ratio for shifting the next detection processing area 302 α is recalculated.
α = β · | D | (8)
Here, β is a constant value determined in advance according to the driving amounts M p and M t in the pan and tilt directions. That is, the ratio α for shifting the next detection processing area becomes a large value when the driving amounts M p and M t in the pan and tilt directions are large, and becomes a small value when the driving amounts are small. That is, when the object tracking process is continuously performed and the movement of the object is fast, the movement amounts M p and M t in the pan / tilt direction for one detection of the object are also obtained. growing. On the other hand, in a case where the processing of tracking the object is continuously performed, when the movement of the object is slow, the driving amount M p of the pan-tilt direction, M t is also reduced. In general, if the drive amounts M p and M t in the pan / tilt direction are large, the time until the drive is completed also becomes long. Therefore, the faster the tracking target object 106 moves, the more the tracking target object 106 moves to the imaging region 401 as shown in FIG. 4C until the driving of the pan / tilt driving mechanism is completed. You will go farther from the center. Therefore, in such a case, the detection processing region 302 is moved greatly by setting the ratio α for shifting the next detection processing region large according to the equation (8). By doing so, it is less likely that the tracking image capturing apparatus once captures the object 106, and good tracking performance is exhibited.

もちろん、追尾対象の物体１０６を検出してからパン・チルト駆動機構の駆動が完了するまでの１サイクルの処理が短ければ短いほど、良好に且つ滑らかに追尾動作を行える。物体検出処理の処理負荷は、処理する画像データの面積（画素数）が大きいほど重くなるので、本実施形態に示した検出処理領域３０２の限定は１サイクルの処理時間を短くすることにも貢献している。
以上のように本実施形態では、例えば、ステップＳ２０８の処理を行うことにより移動量決定手段の一例が実現される。 Of course, the shorter the one-cycle processing from the detection of the tracking target object 106 to the completion of the driving of the pan / tilt driving mechanism, the better and more smoothly the tracking operation can be performed. Since the processing load of the object detection processing increases as the area (number of pixels) of the image data to be processed increases, the limitation of the detection processing region 302 shown in this embodiment also contributes to shortening the processing time of one cycle. is doing.
As described above, in the present embodiment, for example, an example of the movement amount determination unit is realized by performing the process of step S208.

尚、追尾撮像装置が使用される状況によっては、次回の検出処理領域３０２をずらす割合αは、パン・チルト駆動機構の応答速度と、追尾対象の物体の平均的な移動速度とに応じて、常に予め調整しておいた固定値としても、十分な性能を発揮する場合がある。更に特殊な例として、図５に示すように、次回の検出処理領域をずらす割合αを常に１００％としてしまうことが可能な場合もある。
このように、追尾対象の物体１０６を連続して検出し続けて当該物体１０６を追尾している最中は、当該物体の位置ベクトルＤに基づいて次回の検出処理領域３０２を設定することは、当該物体１０６の追尾を継続させるために極めて有効である。しかしながら、追尾対象の物体１０６が検出できていない状態から、当該物体１０６の検出が成功した１回目のみに関しては、このようにして次回の検出処理領域３０２を移動する処理を行うことによってかえって当該物体１０６を見失い易くなる場合がある。 Depending on the situation in which the tracking imaging device is used, the ratio α for shifting the next detection processing area 302 depends on the response speed of the pan / tilt drive mechanism and the average moving speed of the object to be tracked. Even if the fixed value is always adjusted in advance, sufficient performance may be exhibited. As a more specific example, as shown in FIG. 5, there may be a case where the ratio α for shifting the next detection processing area can always be set to 100%.
Thus, while the object 106 to be tracked is continuously detected and the object 106 is being tracked, setting the next detection processing area 302 based on the position vector D of the object This is extremely effective for continuing the tracking of the object 106. However, from the state in which the tracking target object 106 cannot be detected, only the first time when the detection of the object 106 is successful is performed by performing the process of moving the next detection processing area 302 in this way. 106 may be easily lost.

追尾対象の物体１０６が未検出の状態では、前述した通り、ステップＳ２０４、Ｓ２０５を経てステップＳ２０２に戻る処理を繰り返す。このとき、次の物体検出処理（ステップＳ２０３）で、追尾対象の物体１０６が検出されたとすると、この物体１０６は、撮像領域４０１の中心位置Ｃに中心が設定された検出処理領域３０２の枠の外から、検出処理領域３０２内に移動してきたことになる。この物体検出処理が行われる直前の"物体１０６が未検出の状態"が続いているときには、ＰＴ駆動制御処理（ステップＳ２０７）は行われていない。したがって、ステップＳ２０３の物体検出処理を実行する繰り返しサイクルは、追尾対象の物体１０６が検出されているときに比べて高速である。ここで、この高速な物体検出処理の繰り返しの中で、例えば図４（ａ）の位置ベクトルＤに示す位置で、追尾対象の物体１０６が検出されたとする。この場合、追尾対象の物体１０６は、位置ベクトルＤが指し示す方向と反対の方向（図に向かって右側）に近い方向から検出処理領域３０２内に入ってきたとは考えづらい。むしろ、追尾対象の物体１０６は、位置ベクトルＤが指し示す方向（図に向かって左側）に近い方向から検出処理領域３０２内に入ってきたと考えられる。そして、追尾対象の物体１０６は、位置ベクトルＤが指し示す方向と略正反対の方向に移動している可能性も高い。例えば、追尾対象の物体１０６が、図６の位置ベクトルＷに示すように移動していたとすると、（５）式、（６）式に示したようにして検出処理領域３０２を移動する処理を行うことにより、当該物体１０６をかえって見失ってしまうことになる。   In the state where the tracking target object 106 is not detected, the process of returning to step S202 through steps S204 and S205 is repeated as described above. At this time, if the tracking target object 106 is detected in the next object detection processing (step S203), this object 106 is the frame of the detection processing region 302 whose center is set at the center position C of the imaging region 401. It has moved from outside into the detection processing area 302. When the “state in which the object 106 is not detected” immediately before the object detection process is continued, the PT drive control process (step S207) is not performed. Therefore, the repetition cycle for executing the object detection process in step S203 is faster than when the tracking target object 106 is detected. Here, it is assumed that the tracking target object 106 is detected, for example, at the position indicated by the position vector D in FIG. 4A during the repetition of the high-speed object detection processing. In this case, it is difficult to consider that the tracking target object 106 has entered the detection processing region 302 from a direction close to the direction opposite to the direction indicated by the position vector D (right side in the figure). Rather, the tracking target object 106 is considered to have entered the detection processing area 302 from a direction close to the direction indicated by the position vector D (left side in the figure). It is also highly likely that the tracking target object 106 has moved in a direction substantially opposite to the direction indicated by the position vector D. For example, if the tracking target object 106 has moved as indicated by the position vector W in FIG. 6, a process of moving the detection processing area 302 is performed as shown in the equations (5) and (6). As a result, the object 106 is lost.

従って、本実施形態のステップＳ２０８では、ＣＰＵ１１２は、初回の物体検出であるかどうかを判断する処理を行う。そして、追尾対象の物体１０６が検出処理領域に検出されていない状態から、検出に成功した状態に遷移し、初回の物体検出となった場合に限っては、次回の検出処理領域３０２を設定するステップＳ２０９を省略する。このようにした場合には、例えば、検出処理領域３０２を初期状態の中央位置のままとする。ただし、必ずしも検出対象領域を初期状態の中央位置のままにする必要はない。例えば、移動ベクトルＷが指し示す方向に物体が移動している可能性が高いのであるから、ステップＳ２０３で得られた最新の位置ベクトルＤと正反対の方向へ若干ずらす（割合αを負の所定値とする）ようにすれば、更に物体１０６を見失い難くする効果を見込める。   Therefore, in step S208 of the present embodiment, the CPU 112 performs a process for determining whether or not it is the first object detection. Then, the next detection processing area 302 is set only when the detection target area 106 is not detected in the detection processing area and the state transitions to a state where the detection is successful and the first object detection is performed. Step S209 is omitted. In this case, for example, the detection processing area 302 is left at the center position in the initial state. However, it is not always necessary to leave the detection target area at the center position in the initial state. For example, since there is a high possibility that the object is moving in the direction indicated by the movement vector W, the object is slightly shifted in the opposite direction to the latest position vector D obtained in step S203 (the ratio α is set to a negative predetermined value). If this is done, the effect of making it difficult to lose sight of the object 106 can be expected.

また、本実施形態では、ステップＳ２０６、Ｓ２０７のＰＴ駆動処理、ステップＳ２０８、Ｓ２０９の検出処理領域設定処理をシーケンシャルに行っているが、必ずしもこのようにする必要はない。例えば、これらをＯＳ上で動作するタスクやプロセス等の独立した並行処理体による処理とし、並列処理するようにしてもよい。また、ステップＳ２０２の画像取得処理とステップＳ２０３の物体検出処理も含めてパイプライン化し、パン・チルト駆動機構が駆動している最中にも画像の取得を行うようにして更に高速化を図ることも可能である。   In this embodiment, the PT driving process in steps S206 and S207 and the detection process area setting process in steps S208 and S209 are performed sequentially. However, this is not necessarily required. For example, these may be processed by independent parallel processors such as tasks and processes operating on the OS and may be processed in parallel. Further, the image acquisition processing in step S202 and the object detection processing in step S203 are pipelined so that the image acquisition is performed even while the pan / tilt driving mechanism is being driven to further increase the speed. Is also possible.

以上のように本実施形態では、検出処理領域３０２内で検出された"追尾対象の物体１０６"の位置ベクトルＤに割合αを乗算した位置に、次回の検出処理領域３０２を移動するようにした。すなわち、追尾対象の物体１０６の撮像画像中における現在の位置情報を用いて、追尾対象の物体１０６が次回の検出時にどの位置に移動するのかを予測した上で次回の検出処理領域３０２を設定するようにした。したがって、追尾対象の物体１０６の検出処理の負荷を低減しながらも、良好な追尾性能を発揮することが可能となる。特に、追尾対象の物体１０６の移動速度に対して、パン・チルト駆動機構の応答速度が一時的に不足するような場合があっても、当該物体１０６を見失って、当該物体１０６の追尾を中断しなければならなくなる可能性を低減できる。また結果として、パン・チルト駆動機構や物体検出処理部１１９の性能を過剰にする必要がなくなり、コスト低減効果も見込むことができる。   As described above, in this embodiment, the next detection processing area 302 is moved to a position obtained by multiplying the position vector D of the “tracking target object 106” detected in the detection processing area 302 by the ratio α. . That is, the current position information in the captured image of the tracking target object 106 is used to set the next detection processing area 302 after predicting the position to which the tracking target object 106 moves at the next detection. I did it. Therefore, it is possible to exhibit good tracking performance while reducing the load of detection processing of the tracking target object 106. In particular, even when the response speed of the pan / tilt drive mechanism is temporarily insufficient with respect to the moving speed of the object 106 to be tracked, the tracking of the object 106 is interrupted by losing sight of the object 106. The possibility of having to do can be reduced. As a result, it is not necessary to make the performance of the pan / tilt driving mechanism and the object detection processing unit 119 excessive, and a cost reduction effect can be expected.

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。本実施形態では、前述した第１の実施のステップＳ２０８に相当する処理において、追尾対象の物体の移動速度及び方向の変化を考慮する処理を行っている。このように本実施形態と前述した第１の実施形態とは、図２のステップＳ２０８の処理の一部が主として異なる。例えば、本実施形態の追尾撮像装置のハードウェア構成は図１と同じであり、また、本実施形態の追尾撮像装置の基本的な処理の流れは図２と同等である。したがって、本実施形態の説明において、前述した第１の実施形態と同一の部分については、図１〜図６に付した符号と同一の符号を付すこと等により詳細な説明を省略する。 (Second Embodiment)
Next, a second embodiment of the present invention will be described. In this embodiment, in the process corresponding to step S208 of the first embodiment described above, a process that takes into account changes in the moving speed and direction of the tracking target object is performed. As described above, the present embodiment is different from the first embodiment described above mainly in part of the processing in step S208 in FIG. For example, the hardware configuration of the tracking imaging apparatus of the present embodiment is the same as that in FIG. 1, and the basic processing flow of the tracking imaging apparatus of the present embodiment is the same as that in FIG. Therefore, in the description of the present embodiment, the same parts as those in the first embodiment described above are denoted by the same reference numerals as those in FIGS.

図７、図８は、追尾対象の物体１０６の速度を推定する方法の第１、第２の例を説明する図である。尚、図７、図８においては、物体検出は継続して成功している（追尾動作継続状態）ものとする。   7 and 8 are diagrams illustrating first and second examples of a method for estimating the speed of the tracking target object 106. In FIGS. 7 and 8, it is assumed that the object detection continues and succeeds (tracking operation continuation state).

図７（ａ）は、図２で説明したフローチャートにおけるステップＳ２０２〜Ｓ２０９の繰り返しサイクルの（ｎ−１）サイクル目（ｎは２以上の自然数）に撮像された画像の一例を示す図である。このとき、追尾対象の物体は、位置ベクトルＤn-1が指し示す位置に検出されている。したがって、この時点での位置ベクトルＤn-1が指し示す位置を撮像領域４０１の中心位置Ｃに一致させるようにパン・チルト駆動機構を駆動させる。 FIG. 7A is a diagram illustrating an example of an image captured in the (n−1) cycle (n is a natural number of 2 or more) of the repetition cycle of steps S202 to S209 in the flowchart described in FIG. At this time, the tracking target object is detected at the position indicated by the position vector D n−1 . Accordingly, the pan / tilt driving mechanism is driven so that the position indicated by the position vector D n-1 at this time coincides with the center position C of the imaging region 401.

そして、次のｎサイクル目では、図７（ｂ）に示すように、位置ベクトルＤnが指し示す位置に、追尾対象の物体１０６が検出されたとする。つまり、図７（ａ）に示す画像を撮像してから、図７（ｂ）に示す画像が撮像されるまでの間に要した時間をｔn-1とすると、追尾対象の物体１０６は、時間ｔn-1の間に、位置ベクトルＤnだけ進んだことになる。よって、このときの速度ベクトルｖnは、略（９）式のようにみなしてよい。
ｖn＝Ｄn／ｔn-1 ・・・（９）
尚、時間ｔn-1の間に、追尾対象の物体１０６の位置ベクトルＤn-1の検出処理（ステップＳ２０３）と、位置ベクトルＤn-1に相当するパン・チルト駆動機構の駆動処理（ステップＳ２０６、Ｓ２０７）と、次の撮像で必要とされる各種設定が行われる。 Then, in the next n-th cycle, as shown in FIG. 7 (b), the position indicated by the position vector D n, the object 106 of the tracking target is detected. That is, if the time required from the time when the image shown in FIG. 7A is taken to the time when the image shown in FIG. 7B is taken is t n−1 , the tracking target object 106 is: During time t n−1 , the position vector D n has been advanced. Therefore, the velocity vector v n at this time may be regarded as substantially (9).
v n = D n / t n -1 ··· (9)
During time t n−1 , the position vector D n−1 of the tracking target object 106 is detected (step S203), and the pan / tilt driving mechanism driving process corresponding to the position vector D n−1 (step S203). Steps S206 and S207) and various settings necessary for the next imaging are performed.

同様に、（ｎ−１）サイクルのときの速度ベクトルｖn-1は、以下の（１０）式のようであったとみなせる。
ｖn-1＝Ｄn-1／ｔn-2 ・・・（１０）
更に、図７（ｂ）に示す撮像時から位置ベクトルＤnを得るまでの経過時間に、位置ベクトルＤnに相当するパン・チルト駆動機構の駆動処理を行うのに要すると推測される時間と、その後に必要な設定等の処理時間とを加えた時間をｔnとする。すなわち、今回の撮影を行った時から次回の撮像を開始するまでに要する時間をｔnとする。 Similarly, it can be considered that the velocity vector v n−1 at the (n−1) cycle is as shown in the following equation (10).
v n-1 = D n-1 / t n-2 (10)
Furthermore, it is estimated that it is necessary to perform the driving process of the pan / tilt driving mechanism corresponding to the position vector D n in the elapsed time from the time of imaging shown in FIG. 7B until the position vector D n is obtained. Then, a time obtained by adding a processing time such as necessary setting thereafter is defined as t n . That is, the time required from the time when the current shooting is performed until the next shooting is started is denoted by t n .

尚、時間ｔn-1以前の時間については、既に完了している処理動作の実績時間であるので、実際に掛かった時間を記憶しておきこれを使用する。これに対し、時間ｔnは、これから行う動作に対して掛かる時間であるので、このような推測計算を行っている。時間ｔnを決定する要素のうち、パン・チルト駆動機構の駆動処理を行うのに要する時間は、ン・チルト駆動機構の応答性能と、パン、チルト方向の駆動量（移動量）Ｍp、Ｍtとを用いて計算することにより求められる。本実施形態では、パン、チルト方向の駆動量Ｍp、Ｍtに対応する所要時間をＬＵＴ（Look up table）として不揮発性メモリ装置に記憶しておく。ＣＰＵ１１２は、位置ベクトルＤnに相当する駆動量Ｍp、Ｍtに対応する所要時間を、パン方向、チルト方向の夫々について独立してＬＵＴから検索する。ＣＰＵ１１２は、この検索の結果から、パン方向、チルト方向の夫々の所要時間を取得し、取得した所要時間のうち長い方の時間（パン、チルトのうち掛かる時間の長い方）を用いて時間ｔnを設定する。このようにパン方向、チルト方向の夫々の所要時間のうち長い方の時間を最長するのは、パンとチルトの駆動処理は同時に開始されるためである。
勿論、以降の計算や設定等の処理が間に合うなら、位置ベクトルＤnに相当するパン・チルト駆動機構の駆動処理の完了後に、図７（ｂ）の撮像時刻から実際に掛かった実績時間を取得し、その実績時間にその後の処理時間見込み分を加えて時間ｔnとしてもよい。 Since the time before the time t n-1 is the actual time of the processing operation that has already been completed, the time actually taken is stored and used. On the other hand, since the time t n is a time required for an operation to be performed in the future, such estimation calculation is performed. Of the elements that determine the time t n , the time required to perform the drive processing of the pan / tilt drive mechanism is the response performance of the pan / tilt drive mechanism and the drive amount (movement amount) M p in the pan / tilt direction. obtained by calculating by using the M t. In this embodiment, the required time corresponding to the driving amounts M p and M t in the pan and tilt directions is stored in the nonvolatile memory device as a LUT (Look up table). The CPU 112 retrieves the required time corresponding to the driving amounts M p and M t corresponding to the position vector D n from the LUT independently for each of the pan direction and the tilt direction. The CPU 112 acquires the required time in the pan direction and the tilt direction from the result of the search, and uses the longer time of the acquired required times (the longer time required for pan and tilt) to obtain the time t. Set n . The reason why the longer one of the required times in the pan direction and the tilt direction is the longest is that the pan and tilt drive processes are started simultaneously.
Of course, if the subsequent calculation and setting processes are in time, the actual time actually taken from the imaging time of FIG. 7B is acquired after the driving process of the pan / tilt driving mechanism corresponding to the position vector D n is completed. and it may be the time t n by adding subsequent processing time estimated amount to the actual time.

そして、図７（ｃ）に示すように、これらの値を用いて、次回のサイクルの画像の撮像時までに（つまり時間ｔnの間に）、追尾対象の物体１０６の速度ベクトルｖn+1を推定する。そして、推定した速度ベクトルｖn+1を用いて、撮像領域４０１上での"追尾対象の物体１０６の次回のサイクルにおける位置ベクトルＤn+1"を推定する。尚、図７（ｃ）は、推定方法のイメージを掴むために、各撮像間隔が常に単位時間であったとしたときの位置計算の様子を概略的に示した図であるが、実際の各撮像間隔は変化するものである。そこで、図９を用いて、次回の撮像時における物体１０６の位置ベクトルＤn+1の推定方法を詳細に説明する。 Then, as shown in FIG. 7C, by using these values, the velocity vector v n + of the tracking target object 106 is not detected until the next cycle of image capturing (that is, during time t n ). Estimate 1 . Then, using the estimated velocity vector v n + 1 , the “position vector D n + 1 in the next cycle of the tracking target object 106” on the imaging region 401 is estimated. FIG. 7 (c) is a diagram schematically showing the position calculation when each imaging interval is always a unit time in order to grasp the image of the estimation method. The interval varies. Therefore, a method for estimating the position vector D n + 1 of the object 106 at the next imaging will be described in detail with reference to FIG.

図７（ａ）の状態から図７（ｂ）の状態に至るまでに、追尾対象の物体１０６の速度ベクトルは、ｖn-1からｖnに変化している。このときに要した時間は、ｔn-1であるので、単位時間あたりの速度の変化量（平均加速度ベクトル）ｇn-1は、以下の（１１）式のように表される。
ｇn-1＝（ｖn−ｖn-1）／ｔn-1＝（Ｄn／ｔn-1−Ｄn-1／ｔn-2）／ｔn-1 ・・・（１１）
すなわち、単位時間あたりの速度の変化量（平均加速度ベクトル）ｇn-1は、図９に示すように変化していることが分かる。このように次回の撮像時（サイクル）における"追尾対象の物体１０６の速度ベクトルｖn+1"を求めるには、先に述べた時間ｔnと、このときの平均加速度ベクトルｇnが分かれば良い。そこで、本実施形態では、ＣＰＵ１１２は、平均加速度ベクトルｇn、ｇn-1が等しいとみなし、以下の（１２）式に従って、次回の撮像時における"追尾対象の物体１０６の速度ベクトルｖn+1"を計算（推定）する。
ｖn+1＝ｖn＋ｇn・ｔn ・・・（１２） From the state of FIG. 7A to the state of FIG. 7B, the velocity vector of the tracking target object 106 changes from v n −1 to v n . Since the time required at this time is t n−1 , the speed change amount (average acceleration vector) g n−1 per unit time is expressed by the following equation (11).
g n-1 = (v n −v n−1 ) / t n−1 = (D n / t n−1 −D n−1 / t n−2 ) / t n−1 (11)
That is, it can be seen that the amount of change in speed per unit time (average acceleration vector) gn -1 changes as shown in FIG. Thus, in order to obtain “the velocity vector v n + 1 of the tracking target object 106” at the time of the next imaging (cycle), the time t n described above and the average acceleration vector g n at this time are known. good. Therefore, in this embodiment, the CPU 112 considers that the average acceleration vectors g n and g n−1 are equal, and “the velocity vector v n + of the tracking target object 106 at the time of the next imaging according to the following equation (12)”. Calculate (estimate) 1 ".
v n + 1 = v n + g n · t n (12)

更に、ＣＰＵ１１２は、この速度ベクトルｖn+1を用いて、以下の（１３）式に従って、次回の撮影時における"追尾対象の物体１０６の位置ベクトルＤn+1"を計算（推定）する。
Ｄn+1＝ｖn+1・ｔn ・・・（１３）
尚、平均加速度ｇn-1は、検出処理領域を設定する毎に計算し直すようにしているので、平均加速度ｇn-1に誤差が蓄積されることはない。
そして図７（ｄ）に示すように、ＣＰＵ１１２は、このようにして求めた位置ベクトルＤn+1に、第１の実施形態で説明した割合αを掛けた位置が中心となるように、次回の検出処理領域３０２の位置を算出し設定する。 Further, the CPU 112 calculates (estimates) the “position vector D n + 1 of the tracking target object 106” at the time of the next shooting using the velocity vector v n + 1 according to the following equation (13).
D n + 1 = v n + 1 · t n (13)
The average acceleration g n-1 is recalculated every time the detection processing area is set, so that no error is accumulated in the average acceleration g n-1 .
Then, as shown in FIG. 7 (d), CPU 112 is, in this way the position vector D n + 1 obtained, so that the position multiplied by the ratio α described in the first embodiment is centered, next The position of the detection processing area 302 is calculated and set.

図８は、追尾対象の物体１０６が、図７に示すものと別の動き方をしたときの検出処理領域の計算例を示すものであるが、その方法は、図７に示したものと同じであるので、詳細な説明を省略する。本実施形態のようにして、追尾対象となる物体１０６の"次回の撮影時における速度"を推定して次回の検出処理領域３０２の位置を計算することにより、検出対象の物体１０６が図８に示すようにして動いても、次回の検出処理領域３０２を適切に設定できる。すなわち、図８（ａ）、図８（ｂ）に示すように、物体１０６が止まりかけているとき（又は今まで進んでいたのと反対の方向に物体が進行方向を変えようとしているとき）でも、図８（ｄ）に示すように適した位置に、次回の検出処理領域３０２を設定できる。
以上のように本実施形態では、例えば、ステップＳ２０８で、ＣＰＵ１１２が（１１）式〜（１３）式の計算を行うことにより、移動速度推定手段の一例が実現される。また、本実施形態では、例えば、位置ベクトルＤn、Ｄn-1が、既に検出された対象物体の位置情報の一例となり、時間ｔn-1、ｔn-2が、撮像間隔を示す時間情報の一例となる。 FIG. 8 shows an example of calculation of the detection processing area when the tracking target object 106 moves differently from that shown in FIG. 7, but the method is the same as that shown in FIG. Therefore, detailed description is omitted. As in the present embodiment, by estimating the “velocity at the next imaging” of the object 106 to be tracked and calculating the position of the next detection processing area 302, the object 106 to be detected is shown in FIG. Even if it moves as shown, the next detection processing area 302 can be set appropriately. That is, as shown in FIG. 8A and FIG. 8B, when the object 106 is stopping (or when the object is going to change the traveling direction in the opposite direction from that which has been progressing until now). However, the next detection processing area 302 can be set at a suitable position as shown in FIG.
As described above, in the present embodiment, for example, in step S208, the CPU 112 performs the calculations of Expressions (11) to (13), thereby realizing an example of the moving speed estimation unit. In the present embodiment, for example, the position vectors D n and D n-1 are examples of position information of the target object that has already been detected, and the times t n-1 and t n-2 are times indicating the imaging interval. An example of information.

以上のように本実施形態では、追尾対象の物体１０６の撮像画像中における現在及び過去の位置情報を用いて、次回の撮影時における当該物体１０６の速度及び位置を推定するようにした。したがって、第１の実施形態で説明した効果に加え、物体１０６の移動方向や速度の変化に追従し、より適した追尾性能を発揮する追尾撮像装置を実現できるという効果を奏する。   As described above, in the present embodiment, the current and past position information in the captured image of the tracking target object 106 is used to estimate the speed and position of the object 106 at the next shooting. Therefore, in addition to the effects described in the first embodiment, there is an effect that it is possible to realize a tracking imaging apparatus that follows changes in the moving direction and speed of the object 106 and exhibits more suitable tracking performance.

尚、本実施形態では、推定した速度ベクトルｖn+1及び位置ベクトルＤn+1の情報を、検出処理領域３０２の設定のみに用いる場合を例に挙げて説明した。しかしながら、これらの情報を加味して、パン・チルト方向の駆動量（移動量）Ｍp、Ｍtの計算を行うようにしてもよい。このようにすれば、パン・チルト駆動機構の性能によっては、更に追尾性能が上がり、一度捕らえた物体をより一層見失い難くすることができる。さらには、パン・チルト駆動機構の性能を加味し、推定した"次回の撮影時までの物体１０６の移動量"のうち、所望の時間内にパン・チルト駆動機構で移動可能な範囲を超える分だけ検出処理領域３０２を移動して、パン・チルト駆動機構を補佐してもよい。 In the present embodiment, the case where the information on the estimated velocity vector v n + 1 and the position vector D n + 1 is used only for setting the detection processing region 302 has been described as an example. However, in consideration of these pieces of information, the driving amounts (movement amounts) M p and M t in the pan / tilt direction may be calculated. In this way, depending on the performance of the pan / tilt driving mechanism, the tracking performance is further improved, and it is possible to make it difficult to lose sight of the object once captured. Furthermore, taking into consideration the performance of the pan / tilt drive mechanism, the estimated “amount of movement of the object 106 until the next shooting” exceeds the range that can be moved by the pan / tilt drive mechanism within a desired time. Only the detection processing area 302 may be moved to assist the pan / tilt driving mechanism.

また、本実施形態では、次回の撮像時における物体の速度を推定するのに、当該物体の現在とその一つ前の２つの撮像画像における位置等の情報を用いた場合を例に挙げて説明した。しかしながら、必ずしもこのようにする必要はなく、更に以前の情報を履歴として保持するようにし、統計的な処理を用いて、次回の撮像時における物体の速度（速度変化）を推定するようにしてもよい。   Further, in the present embodiment, an example in which information such as the current position of the object and the positions of the two previous captured images is used to estimate the speed of the object at the next imaging will be described as an example. did. However, it is not always necessary to do this. Further, the previous information is retained as a history, and the speed (change in speed) of the object at the next imaging is estimated using statistical processing. Good.

（本発明の他の実施形態）
前述した本発明の実施形態における追尾撮像装置を構成する各手段、並びに追尾撮像方法の各ステップは、コンピュータのＲＡＭやＲＯＭなどに記憶されたプログラムが動作することによって実現できる。このプログラム及び前記プログラムを記録したコンピュータ読み取り可能な記録媒体は本発明に含まれる。 (Other embodiments of the present invention)
Each unit constituting the tracking imaging apparatus and each step of the tracking imaging method in the embodiment of the present invention described above can be realized by operating a program stored in a RAM or ROM of a computer. This program and a computer-readable recording medium recording the program are included in the present invention.

また、本発明は、例えば、システム、装置、方法、プログラム若しくは記憶媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。   In addition, the present invention can be implemented as, for example, a system, apparatus, method, program, storage medium, or the like. Specifically, the present invention may be applied to a system including a plurality of devices. The present invention may be applied to an apparatus composed of a single device.

尚、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム（実施形態では図２に示すフローチャートに対応したプログラム）を、システムあるいは装置に直接、あるいは遠隔から供給するものを含む。そして、そのシステムあるいは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合も本発明に含まれる。   The present invention includes a software program (in the embodiment, a program corresponding to the flowchart shown in FIG. 2) that directly or remotely supplies a software program that implements the functions of the above-described embodiments. The present invention also includes a case where the system or apparatus computer achieves this by reading and executing the supplied program code.

したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。   Accordingly, since the functions of the present invention are implemented by computer, the program code installed in the computer also implements the present invention. In other words, the present invention includes a computer program itself for realizing the functional processing of the present invention.

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。   In that case, as long as it has the function of a program, it may be in the form of object code, a program executed by an interpreter, script data supplied to the OS, and the like.

プログラムを供給するための記録媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷなどがある。また、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などもある。   Examples of the recording medium for supplying the program include a floppy (registered trademark) disk, hard disk, optical disk, magneto-optical disk, MO, CD-ROM, CD-R, and CD-RW. In addition, there are magnetic tape, nonvolatile memory card, ROM, DVD (DVD-ROM, DVD-R), and the like.

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する。そして、前記ホームページから本発明のコンピュータプログラムそのもの、若しくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。   As another program supply method, a browser on a client computer is used to connect to an Internet home page. The computer program itself of the present invention or a compressed file including an automatic installation function can be downloaded from the homepage by downloading it to a recording medium such as a hard disk.

また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。   It can also be realized by dividing the program code constituting the program of the present invention into a plurality of files and downloading each file from a different homepage. That is, a WWW server that allows a plurality of users to download a program file for realizing the functional processing of the present invention on a computer is also included in the present invention.

また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、ダウンロードした鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。   In addition, the program of the present invention is encrypted, stored in a storage medium such as a CD-ROM, distributed to users, and key information for decryption is downloaded from a homepage via the Internet to users who have cleared predetermined conditions. Let It is also possible to execute the encrypted program by using the downloaded key information and install the program on a computer.

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。その他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現され得る。   Further, the functions of the above-described embodiments are realized by the computer executing the read program. In addition, based on the instructions of the program, an OS or the like running on the computer performs part or all of the actual processing, and the functions of the above-described embodiments can also be realized by the processing.

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現される。   Further, the program read from the recording medium is written in a memory provided in a function expansion board inserted into the computer or a function expansion unit connected to the computer. Thereafter, the CPU of the function expansion board or function expansion unit performs part or all of the actual processing based on the instructions of the program, and the functions of the above-described embodiments are realized by the processing.

尚、前述した各実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。   It should be noted that each of the above-described embodiments is merely a specific example for carrying out the present invention, and the technical scope of the present invention should not be construed in a limited manner. . That is, the present invention can be implemented in various forms without departing from the technical idea or the main features thereof.

本発明の第１の実施形態を示し、追尾撮像装置のハードウェア構成の一例を示すブロック図である。1 is a block diagram illustrating an example of a hardware configuration of a tracking imaging apparatus according to a first embodiment of this invention. 本発明の第１の実施形態を示し、追尾制御プログラムの基本的な処理の一例を説明するフローチャートである。It is a flowchart which shows the 1st Embodiment of this invention and demonstrates an example of the basic process of a tracking control program. 本発明の第１の実施形態を示し、初期の検出処理領域の一例を示す図である。It is a figure which shows the 1st Embodiment of this invention and shows an example of an initial detection process area | region. 本発明の第１の実施形態を示し、撮像領域内における追尾対象の物体の様子の一例を示す図である。It is a figure which shows the 1st Embodiment of this invention and shows an example of the mode of the object of tracking object in an imaging region. 本発明の第１の実施形態を示し、今回の物体検出処理で得られた物体の位置ベクトルと同じだけ移動させて次回の検出処理領域を設定する様子の一例を示す図である。It is a figure which shows the 1st Embodiment of this invention and shows an example of a mode that it moves only the same as the position vector of the object obtained by this object detection process, and sets the next detection process area | region. 本発明の第１の実施形態を示し、今回の物体検出処理で得られた物体の位置ベクトルと反対方向に物体が移動した場合に、当該位置ベクトルを使って次回の検出処理領域を設定する場合の問題点を説明する図である。In the first embodiment of the present invention, when an object moves in a direction opposite to the position vector of the object obtained in the current object detection process, the next detection processing area is set using the position vector. It is a figure explaining the problem of. 本発明の第２の実施形態を示し、追尾対象の物体の速度を推定する方法の第１の例を説明する図である。It is a figure which shows the 2nd Embodiment of this invention and demonstrates the 1st example of the method of estimating the speed of the object of tracking object. 本発明の第２の実施形態を示し、追尾対象の物体の速度を推定する方法の第１の例を説明する図である。It is a figure which shows the 2nd Embodiment of this invention and demonstrates the 1st example of the method of estimating the speed of the object of tracking object. 本発明の第２の実施形態を示し、次回の撮像時における物体の位置ベクトルの推定方法の一例を説明する図である。It is a figure which shows the 2nd Embodiment of this invention and demonstrates an example of the estimation method of the position vector of the object at the time of the next imaging.

符号の説明Explanation of symbols

１００ 撮像装置
１０１ カメラ装置
１０２ 光軸
１０３ パン軸
１０４ チルト軸
１０５ 雲台
１０６ 物体
１１０ コントローラ装置
１１２ ＣＰＵ
１１３ 不揮発性メモリ装置
１１４ ＲＡＭ
１１５ 画像バッファ
１１７ パン・チルト駆動制御部
１１８ 画像取得部
１１９ 物体検出処理部
１２０ 処理領域設定部 DESCRIPTION OF SYMBOLS 100 Image pick-up apparatus 101 Camera apparatus 102 Optical axis 103 Pan axis 104 Tilt axis 105 Pan head 106 Object 110 Controller apparatus 112 CPU
113 Nonvolatile memory device 114 RAM
115 Image buffer 117 Pan / tilt drive control unit 118 Image acquisition unit 119 Object detection processing unit 120 Processing region setting unit

Claims (13)

撮像光軸の方向の画像を撮像する撮像手段と、
前記撮像手段により撮像される画像内の対象物体を追尾するために、前記撮像光軸の方向を変化させるべく前記撮像手段を駆動する駆動手段と、
前記撮像手段により撮像された画像の一部の領域に検出処理領域を設定する領域設定手段と、
前記領域設定手段により設定された検出処理領域の画像を処理し、当該検出処理領域における前記対象物体の位置情報を検出する物体位置検出手段とを有し、
前記領域設定手段は、前記物体位置検出手段により検出された対象物体の位置情報に基づいて、次回の撮像時における前記検出処理領域を設定することを特徴とする追尾撮像装置。 Imaging means for imaging an image in the direction of the imaging optical axis;
Drive means for driving the imaging means to change the direction of the imaging optical axis in order to track the target object in the image imaged by the imaging means;
Area setting means for setting a detection processing area in a partial area of the image imaged by the imaging means;
Object position detection means for processing an image of the detection processing area set by the area setting means and detecting position information of the target object in the detection processing area;
The tracking imaging apparatus characterized in that the area setting means sets the detection processing area at the time of the next imaging based on the position information of the target object detected by the object position detection means. 前記検出処理領域における前記対象物体の位置情報は、前記撮像手段により撮像される画像領域内に予め設定された基準点からの相対位置を示す情報であることを特徴とする請求項１に記載の追尾撮像装置。   2. The position information of the target object in the detection processing area is information indicating a relative position from a reference point set in advance in an image area captured by the imaging unit. Tracking imaging device. 前記物体位置検出手段により検出された前記対象物体の位置情報に基づき、前記駆動手段により前記撮像手段を駆動するための駆動量を算出する駆動量算出手段を有し、
前記駆動量算出手段により算出される駆動量は、前記駆動手段による前記撮像手段の駆動が完了した後に、前記基準点が、前記相対位置に一致又は近づくように前記撮像手段を駆動するための駆動量であることを特徴とする請求項２に記載の追尾撮像装置。 Based on the position information of the target object detected by the object position detecting means, the driving means for calculating a driving amount for driving the imaging means by the driving means,
The driving amount calculated by the driving amount calculating unit is a driving amount for driving the imaging unit so that the reference point matches or approaches the relative position after the driving unit completes driving of the imaging unit. The tracking imaging apparatus according to claim 2, wherein the tracking imaging apparatus is an amount. 前記物体位置検出手段により検出された対象物体の位置情報である前記基準点からの相対位置に基づいて、次回の撮影時における前記検出処理領域の位置を算出する領域位置算出手段を有し、
前記領域設定手段は、前記領域位置算出手段により算出された位置に基づいて、前記検出処理領域を設定し、
前記領域位置算出手段は、今回の撮影時における前記検出処理領域を、前記基準点から前記相対位置の方向へ、当該基準点から当該相対位置までの長さに所定の割合を乗算した距離だけ移動させた位置を算出することを特徴とする請求項２又は３に記載の追尾撮像装置。 Area position calculating means for calculating the position of the detection processing area at the time of next shooting based on the relative position from the reference point which is position information of the target object detected by the object position detecting means;
The area setting means sets the detection processing area based on the position calculated by the area position calculation means,
The area position calculation means moves the detection processing area at the time of the current photographing from the reference point toward the relative position by a distance obtained by multiplying a length from the reference point to the relative position by a predetermined ratio. The tracking imaging apparatus according to claim 2, wherein the position is calculated. 前記所定の割合は、予め定められた固定値であることを特徴とする請求項４に記載の追尾撮像装置。   The tracking imaging apparatus according to claim 4, wherein the predetermined ratio is a predetermined fixed value. 前記所定の割合を、前記駆動量算出手段により算出された駆動量に応じた値として決定する移動量決定手段を有し、
前記領域設定手段は、今回の撮影時における前記検出処理領域を、前記基準点から前記相対位置の方向へ、当該基準点から当該相対位置までの長さに前記移動量決定手段により決定された割合を乗算した距離だけ移動させた位置を算出することを特徴とする請求項４に記載の追尾撮像装置。 Movement amount determining means for determining the predetermined ratio as a value corresponding to the driving amount calculated by the driving amount calculating means;
The area setting means is a ratio of the detection processing area at the time of the current photographing in the direction from the reference point to the relative position and the length from the reference point to the relative position determined by the movement amount determining means. The tracking imaging apparatus according to claim 4, wherein a position moved by a distance multiplied by is calculated. 前記物体位置検出手段により検出された対象物体の位置情報に基づいて、前記対象物体の移動速度を推定する移動速度推定手段を有し、
前記領域設定手段は、前記移動速度推定手段により推定された、前記対象物体の移動速度の情報に基づいて、次回の撮像時における前記検出処理領域を設定することを特徴とする請求項１〜６の何れか１項に記載の追尾撮像装置。 Based on the position information of the target object detected by the object position detection means, and having a movement speed estimation means for estimating the movement speed of the target object,
The area setting means sets the detection processing area at the time of next imaging based on information on the moving speed of the target object estimated by the moving speed estimating means. The tracking imaging device according to any one of the above. 前記移動速度推定手段は、前記物体位置検出手段により既に検出された対象物体の位置情報と、前記撮像手段による撮像間隔を示す時間情報とに基づいて、前記対象物体の速度の変化量を算出し、当該対象物体の速度の変化量を用いて、次回の撮像時における対象物体の移動速度を算出することを特徴とする請求項７に記載の追尾撮像装置。   The moving speed estimation means calculates the amount of change in speed of the target object based on position information of the target object already detected by the object position detection means and time information indicating an imaging interval by the imaging means. The tracking imaging apparatus according to claim 7, wherein a moving speed of the target object at the next imaging is calculated using a change amount of the speed of the target object. 前記駆動手段は、パン軸を回転軸として前記撮像手段を回転させる駆動機構と、チルト軸を回転軸として前記撮像手段を回転させる駆動機構とを備えることを特徴とする請求項１〜８の何れか１項に記載の追尾撮像装置。   9. The drive mechanism according to claim 1, further comprising: a drive mechanism that rotates the image pickup means about a pan axis as a rotation axis; and a drive mechanism that rotates the image pickup means about a tilt axis as a rotation axis. The tracking imaging device according to claim 1. 前記物体位置検出手段は、ニューラルネットワークを用いて、前記対象物体の位置情報を検出することを特徴とする請求項１〜９の何れか１項に記載の追尾撮像装置。   The tracking image pickup apparatus according to claim 1, wherein the object position detection unit detects position information of the target object using a neural network. 前記領域設定手段は、前記物体位置検出手段により、前記対象物体の位置の検出が継続されている場合に、前記物体位置検出手段により検出された対象物体の位置情報に基づいて、次回の撮像時における前記検出処理領域を設定することを特徴とする請求項１〜１０の何れか１項に記載の追尾撮像装置。   The area setting unit is configured to perform a next imaging based on position information of the target object detected by the object position detection unit when the detection of the position of the target object is continued by the object position detection unit. The tracking imaging device according to claim 1, wherein the detection processing area is set. 撮像光軸の方向の画像を撮像手段により撮像する撮像ステップと、
前記撮像ステップにより撮像される画像内の対象物体を追尾するために、前記撮像光軸の方向を変化させるべく前記撮像手段を駆動する駆動ステップと、
前記撮像ステップにより撮像された画像の一部の領域に検出処理領域を設定する領域設定ステップと、
前記領域設定ステップにより設定された検出処理領域の画像を処理し、当該検出処理領域における前記対象物体の位置情報を検出する物体位置検出ステップとを有し、
前記領域設定ステップは、前記物体位置検出ステップにより検出された対象物体の位置情報に基づいて、次回の撮像時における前記検出処理領域を設定することを特徴とする追尾撮像方法。 An imaging step of imaging an image in the direction of the imaging optical axis by an imaging means;
A driving step of driving the imaging means to change the direction of the imaging optical axis in order to track the target object in the image captured by the imaging step;
An area setting step for setting a detection processing area in a partial area of the image captured by the imaging step;
Processing the image of the detection processing region set by the region setting step, and detecting the position information of the target object in the detection processing region,
The tracking imaging method, wherein the region setting step sets the detection processing region at the next imaging based on position information of the target object detected by the object position detection step. 撮像光軸の方向の画像を撮像する撮像手段により撮像される画像内の対象物体を追尾するために、前記撮像光軸の方向を変化させるべく前記撮像手段を駆動することを駆動手段に指示する駆動ステップと、
前記撮像手段により撮像された画像の一部の領域に検出処理領域を設定する領域設定ステップと、
前記領域設定ステップにより設定された検出処理領域の画像を処理し、当該検出処理領域における前記対象物体の位置情報を検出する物体位置検出ステップとをコンピュータに実行させ、
前記領域設定ステップは、前記物体位置検出ステップにより検出された対象物体の位置情報に基づいて、次回の撮像時における前記検出処理領域を設定することを特徴とするコンピュータプログラム。 Instructs the drive means to drive the image pickup means to change the direction of the image pickup optical axis in order to track the target object in the image picked up by the image pickup means for picking up an image in the direction of the image pickup optical axis. A driving step;
An area setting step for setting a detection processing area in a partial area of the image captured by the imaging means;
Processing the image of the detection processing region set in the region setting step, and causing the computer to execute an object position detection step of detecting position information of the target object in the detection processing region;
The area setting step sets the detection processing area at the next imaging based on the position information of the target object detected by the object position detection step.
JP2008309939A 2008-12-04 2008-12-04 Tracking imaging apparatus, tracking imaging method, and computer program Active JP5225047B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008309939A JP5225047B2 (en) 2008-12-04 2008-12-04 Tracking imaging apparatus, tracking imaging method, and computer program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008309939A JP5225047B2 (en) 2008-12-04 2008-12-04 Tracking imaging apparatus, tracking imaging method, and computer program

Publications (2)

Publication Number Publication Date
JP2010136095A true JP2010136095A (en) 2010-06-17
JP5225047B2 JP5225047B2 (en) 2013-07-03

Family

ID=42346928

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008309939A Active JP5225047B2 (en) 2008-12-04 2008-12-04 Tracking imaging apparatus, tracking imaging method, and computer program

Country Status (1)

Country Link
JP (1) JP5225047B2 (en)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012199601A (en) * 2011-03-18 2012-10-18 Nikon Corp Image tracking device
JP2014230090A (en) * 2013-05-22 2014-12-08 キヤノン株式会社 Image processing apparatus, image processing method, and program
JP2015177333A (en) * 2014-03-14 2015-10-05 株式会社デンソー Camera control device
CN110443984A (en) * 2019-06-27 2019-11-12 维沃移动通信有限公司 A kind of monitoring method and mobile terminal
JP2020005122A (en) * 2018-06-28 2020-01-09 セコム株式会社 Monitoring device
JP2020096262A (en) * 2018-12-11 2020-06-18 キヤノン株式会社 Tracking device and method
US11430137B2 (en) 2018-03-30 2022-08-30 Samsung Electronics Co., Ltd. Electronic device and control method therefor

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0683963A (en) * 1992-09-04 1994-03-25 Nikon Corp Target tracking device
JPH08223467A (en) * 1995-02-20 1996-08-30 Fujitsu Ltd Method and circuit for calculating binary threshold level
JP2001285850A (en) * 2000-03-30 2001-10-12 Nec Corp Device and method for automatic following, and recording medium for recording automatic following program
JP2005160122A (en) * 2005-03-04 2005-06-16 Canon Inc Image pickup apparatus and computer-readable storage medium

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0683963A (en) * 1992-09-04 1994-03-25 Nikon Corp Target tracking device
JPH08223467A (en) * 1995-02-20 1996-08-30 Fujitsu Ltd Method and circuit for calculating binary threshold level
JP2001285850A (en) * 2000-03-30 2001-10-12 Nec Corp Device and method for automatic following, and recording medium for recording automatic following program
JP2005160122A (en) * 2005-03-04 2005-06-16 Canon Inc Image pickup apparatus and computer-readable storage medium

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012199601A (en) * 2011-03-18 2012-10-18 Nikon Corp Image tracking device
JP2014230090A (en) * 2013-05-22 2014-12-08 キヤノン株式会社 Image processing apparatus, image processing method, and program
US9826163B2 (en) 2013-05-22 2017-11-21 Canon Kabushiki Kaisha Image processing apparatus, control method, and recording medium
JP2015177333A (en) * 2014-03-14 2015-10-05 株式会社デンソー Camera control device
US11430137B2 (en) 2018-03-30 2022-08-30 Samsung Electronics Co., Ltd. Electronic device and control method therefor
JP2020005122A (en) * 2018-06-28 2020-01-09 セコム株式会社 Monitoring device
JP7204356B2 (en) 2018-06-28 2023-01-16 セコム株式会社 monitoring device
JP2020096262A (en) * 2018-12-11 2020-06-18 キヤノン株式会社 Tracking device and method
JP7325180B2 (en) 2018-12-11 2023-08-14 キヤノン株式会社 Tracking device and method
CN110443984A (en) * 2019-06-27 2019-11-12 维沃移动通信有限公司 A kind of monitoring method and mobile terminal

Also Published As

Publication number Publication date
JP5225047B2 (en) 2013-07-03

Similar Documents

Publication Publication Date Title
JP5225047B2 (en) Tracking imaging apparatus, tracking imaging method, and computer program
US7548256B2 (en) Image processing scheme
US8644556B2 (en) Image processing apparatus and method and program
JP4345722B2 (en) Moving object tracking control device, moving object tracking system, moving object tracking control method, and program
JP6806188B2 (en) Information processing system, information processing method and program
US9807299B2 (en) Image capture methods and systems with positioning and angling assistance
JP2012151796A (en) Image processing device, image processing method, and program
US20080231721A1 (en) Image capture systems and methods
JP2021517415A (en) Video recording methods and electronic devices
KR20140090078A (en) Method for processing an image and an electronic device thereof
US20120069223A1 (en) Camera device with rotary base
US10212364B2 (en) Zoom control apparatus, image capturing apparatus and zoom control method
JP5441151B2 (en) Facial image tracking device, facial image tracking method, and program
JP6866210B2 (en) Image processing equipment, image processing methods and programs
US9898828B2 (en) Methods and systems for determining frames and photo composition within multiple frames
JP6846963B2 (en) Video playback device, video playback method, video playback program and video playback system
JP2018201102A (en) Imaging apparatus
US11451705B2 (en) Imaging control apparatus, imaging control method, and storage medium
US20230179867A1 (en) Control apparatus, control method, and non-transitory storage medium
US20230177860A1 (en) Main object determination apparatus, image capturing apparatus, and method for controlling main object determination apparatus
US20240155226A1 (en) Information processing apparatus, control apparatus, and control method
JP2016225786A (en) Automatic tracking device
JP7207976B2 (en) Information processing device, information processing method, and program
JP2022086194A (en) Information processing device, control method thereof, and program
JP2001325597A (en) Image input device and computer-readable recording medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20111205

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121011

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121016

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121217

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130212

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130312

R151 Written notification of patent or utility model registration

Ref document number: 5225047

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160322

Year of fee payment: 3