JP2009260462A - Moving body tracking camera system - Google Patents

Moving body tracking camera system Download PDF

Info

Publication number
JP2009260462A
JP2009260462A JP2008104524A JP2008104524A JP2009260462A JP 2009260462 A JP2009260462 A JP 2009260462A JP 2008104524 A JP2008104524 A JP 2008104524A JP 2008104524 A JP2008104524 A JP 2008104524A JP 2009260462 A JP2009260462 A JP 2009260462A
Authority
JP
Japan
Prior art keywords
gaze
wide
moving body
imaging unit
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008104524A
Other languages
Japanese (ja)
Other versions
JP5152758B2 (en
Inventor
Xiaolin Zhang
暁林 張
Takeshi Kobayashi
剛 小林
Makoto Sato
佐藤  誠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tokyo Institute of Technology NUC
Original Assignee
Tokyo Institute of Technology NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tokyo Institute of Technology NUC filed Critical Tokyo Institute of Technology NUC
Priority to JP2008104524A priority Critical patent/JP5152758B2/en
Publication of JP2009260462A publication Critical patent/JP2009260462A/en
Application granted granted Critical
Publication of JP5152758B2 publication Critical patent/JP5152758B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

<P>PROBLEM TO BE SOLVED: To provide a moving body tracking camera system capable of detecting the position of a moving body at high speed from a taken image and exerting control to output the image while gazing at the position, in order to improve the tracking ability. <P>SOLUTION: The moving body tracking camera system tracks a moving body. The system includes a wide perspective imaging portion 10, a gaze imaging portion 20, a blurring portion 30, a mobile detection portion 40, and a control portion 50. The wide perspective imaging portion takes the moving body with a wide perspective, and outputs a wide perspective image. The gaze imaging portion takes the moving body with a perspective narrower than the wide perspective imaging portion, and outputs a gazed image. The blurring portion 30 applies blurring to the wide perspective image via the wide perspective imaging portion 10, and outputs a blurred image. The mobile detection portion 40 detects the position of the moving body from the blurred image via the blurring portion 30, and outputs location information. The control portion 50 controls the imaging position of the gaze imaging portion 20, based on the location information by the mobile detection portion 40. <P>COPYRIGHT: (C)2010,JPO&INPIT

Description

本発明は移動体追跡カメラシステムに関し、特に、人間の眼球網膜特性及び眼球運動制御原理を模倣して移動体を追跡する移動体追跡カメラシステムに関する。   The present invention relates to a moving body tracking camera system, and more particularly to a moving body tracking camera system that tracks a moving body by imitating human eyeball retina characteristics and eye movement control principles.

本願発明者は、これまでも人間の眼球の動きを模倣したシステムを種々開発している。例えば、特許文献1には、眼球の微小振動を模倣して立体形状のエッジを強調する技術が開示されている。   The inventor of the present application has developed various systems that imitate the movement of the human eyeball. For example, Patent Document 1 discloses a technique for emphasizing a three-dimensional edge by imitating minute vibrations of an eyeball.

また、特許文献2には、人間の眼球の網膜の構造を模倣してカメラの制御に応用した技術が開示されている。これは、人間の眼球の網膜が、中心窩を中心に上下左右に4分割されており、各々の分割された網膜からの情報は神経を経由して脳内の異なる視覚野で処理されていることを応用したものである。   Patent Document 2 discloses a technique applied to camera control by imitating the structure of the retina of a human eyeball. This is because the retina of the human eyeball is divided into four parts vertically and horizontally with the fovea as the center, and information from each divided retina is processed by different visual areas in the brain via nerves. It is an application of that.

さらに、特許文献3には、2つのカメラによる被測定点の対応付けを容易とするために光スポットを被測定点に形成する技術が開示されている。   Further, Patent Document 3 discloses a technique for forming a light spot at a measurement point in order to make it easy to associate measurement points with two cameras.

特開2006−258543号公報JP 2006-258543 A 特開2006−329747号公報JP 2006-329747 A 特開2007−120993号公報JP 2007-120993 A

しかしながら、これまでの従来技術では、カメラの視野内から特定の視標(追跡すべき移動体)を検出するのに時間がかかり、また、誤検出が発生する可能性もあった。さらに、高速に移動する移動体に対する追従性もより要求され、さらなる性能の向上が望まれていた。   However, in the conventional techniques so far, it takes time to detect a specific target (moving body to be tracked) from within the field of view of the camera, and erroneous detection may occur. Furthermore, followability to a moving body that moves at high speed is also required, and further improvement in performance has been desired.

本発明は、斯かる実情に鑑み、撮像された画像から移動体の位置を高速に検出し、その位置に注視して画像を出力するように制御して追従性を高めた移動体追跡カメラシステムを提供しようとするものである。   In view of such a situation, the present invention detects a position of a moving body from a captured image at high speed, controls the output of the image by gazing at the position, and improves the tracking performance. Is to provide.

上述した本発明の目的を達成するために、本発明による移動体追跡カメラシステムは、広い視野で移動体を撮像して広視野画像を出力する広視野撮像部と、広視野撮像部よりも狭い視野で移動体を撮像して注視画像を出力する注視撮像部と、広視野撮像部による広視野画像にぼかし処理を施しぼかし画像を出力するぼかし処理部と、ぼかし処理部によるぼかし画像から移動体の位置を検出して位置情報を出力する移動体検出部と、移動体検出部による位置情報に基づき注視撮像部の撮像位置を制御する制御部と、を具備するものである。   In order to achieve the above-described object of the present invention, a mobile tracking camera system according to the present invention has a wide-field imaging unit that captures a wide-field image and outputs a wide-field image, and is narrower than the wide-field imaging unit. A gaze imaging unit that captures a moving object in the field of view and outputs a gaze image, a blur processing unit that performs blur processing on the wide field image by the wide field imaging unit and outputs a blur image, and a moving object from the blurred image by the blur processing unit And a control unit that controls the imaging position of the gaze imaging unit based on the position information obtained by the mobile body detection unit.

ここで、制御部は、移動体検出部による位置情報を初期位置として注視撮像部の撮像位置を初動制御し、以降、注視撮像部による注視画像に基づき注視撮像部の撮像位置を制御すれば良い。   Here, the control unit may initially control the imaging position of the gaze imaging unit using the position information from the moving body detection unit as an initial position, and thereafter control the imaging position of the gaze imaging unit based on the gaze image from the gaze imaging unit. .

また、制御部は、移動体検出部による位置情報を補完的に用いながら注視撮像部の撮像位置を制御しても良い。   In addition, the control unit may control the imaging position of the gaze imaging unit while complementarily using the position information from the moving body detection unit.

また、広視野撮像部及び注視撮像部は、1つの光学系と1つの撮像素子とからなり、広視野画像を出力するときには撮像素子の画素を間引いて生成した広視野画像を出力し、注視画像を出力するときには撮像素子の一部の領域の画素を用いて生成した注視画像を出力するものであれば良い。   The wide-field image capturing unit and the gaze image capturing unit include one optical system and one image sensor. When outputting a wide-field image, the wide-field image generated by thinning out pixels of the image sensor is output, and the gaze image is output. May be output as long as it outputs a gaze image generated using pixels in a partial area of the image sensor.

また、広視野撮像部及び注視撮像部は、1つの光学系と、光軸が合せられる画素数の異なる2つの撮像素子とからなり、注視撮像部の撮像素子は広視野撮像部の撮像素子よりも画素数が多いものであれば良い。   The wide-field imaging unit and the gaze imaging unit include one optical system and two imaging elements having different numbers of pixels that can be aligned with the optical axis, and the imaging device of the gaze imaging unit is more than the imaging device of the wide-field imaging unit. As long as the number of pixels is large.

また、広視野撮像部及び注視撮像部は、1つの光学系と、光軸が合せられる撮像面積の異なる2つの撮像素子とからなり、注視撮像部の撮像素子は広視野撮像部の撮像素子よりも撮像面積が狭いものであっても良い。   The wide-field imaging unit and the gaze imaging unit include one optical system and two imaging elements having different imaging areas that are aligned with the optical axis, and the imaging device of the gaze imaging unit is more than the imaging device of the wide-field imaging unit. Alternatively, the imaging area may be narrow.

また、広視野撮像部は広角カメラからなり、注視撮像部は望遠カメラからなり、望遠カメラの回転軸は広角カメラの回転軸に連動又は独立していれば良い。   Further, the wide-field imaging unit is composed of a wide-angle camera, the gaze imaging unit is composed of a telephoto camera, and the rotational axis of the telephoto camera only needs to be linked or independent of the rotational axis of the wide-angle camera.

さらに、広視野撮像部は連続的に広い視野で撮像して複数の広視野フレームを出力し、広視野フレーム間で時間上微分処理、及び/又は広視野フレームごとに空間上積分処理を行えば良い。   Further, the wide-field imaging unit continuously captures images with a wide field of view and outputs a plurality of wide-field frames, and performs temporal differentiation processing between the wide-field frames and / or spatial integration processing for each wide-field frame. good.

また、注視撮像部は移動体を連続的に撮像して複数の注視フレームを出力し、注視フレーム間で時間上積分処理、及び/又は注視フレームごとに空間上微分処理を行っても良い。   Further, the gaze imaging unit may continuously image the moving body and output a plurality of gaze frames, and may perform temporal integration processing between the gaze frames and / or spatial differentiation processing for each gaze frame.

さらに、注視撮像部よりもさらに狭い視野で移動体を撮像して第2注視画像を出力する第2注視撮像部を具備し、ぼかし処理部は、注視撮像部による注視画像にぼかし処理を施し第2ぼかし画像を出力し、移動体検出部は、ぼかし処理部による第2ぼかし画像から移動体の位置を検出して第2位置情報を出力し、制御部は、移動体検出部による第2位置情報に基づき第2注視撮像部の撮像位置を制御するものであっても良い。   Furthermore, a second gaze imaging unit that captures a moving body with a narrower field of view than the gaze imaging unit and outputs a second gaze image is provided, and the blurring processing unit performs blurring processing on the gaze image by the gaze imaging unit. 2 blur images are output, the moving body detection unit detects the position of the moving body from the second blurred image by the blur processing unit and outputs second position information, and the control unit outputs the second position by the moving body detection unit. The imaging position of the second gaze imaging unit may be controlled based on the information.

本発明の移動体追跡カメラシステムには、広い視野から移動体の位置を高速に検出し、その位置に注視して高精細な画像を出力できるという利点がある。   The moving body tracking camera system of the present invention has an advantage that the position of the moving body can be detected at high speed from a wide field of view, and a high-definition image can be output by gazing at the position.

人間の眼球の網膜は、周辺視野と中心窩が存在し、それぞれ異なる視覚認識機能と運動制御に対する役割を有している。周辺視野は観察範囲が広く、危険探知や興味を持つ物体を高速に探索する機能を備え、特に、運動する物体に対する認識能力が高い部分である。また、周辺視野は、サッカード運動及び運動刺激を追従する眼球運動である視機性反射運動に関係していることが分かった。さらに、周辺視野にしか存在していない桿状体には、ローパスフィルタ機能があることが分かった。一方、中心窩は狭い視野しか持っておらず、注視物体に対する解析機能と、その移動を検出する機能を有している。また、中心窩は、移動体を追跡するときの円滑で連続的な眼球運動であるスムーズパーシュート運動に関係していることが分かった。本願発明者は、これらの眼球の生理学特性を考慮して、以下の発明をするに至った。   The retina of the human eyeball has a peripheral visual field and a fovea, and each has a different role in visual recognition function and motion control. The peripheral visual field has a wide observation range, and has a function to detect a dangerous object or an object of interest at high speed, and is particularly a part having high recognition ability for a moving object. In addition, it was found that the peripheral visual field is related to visual reflex movement, which is an eye movement that follows saccade movement and movement stimulation. Furthermore, it was found that the rod-shaped body that exists only in the peripheral visual field has a low-pass filter function. On the other hand, the fovea has only a narrow visual field, and has an analysis function for a gaze object and a function for detecting movement thereof. In addition, the fovea was found to be involved in a smooth perchute movement, which is a smooth and continuous eye movement when tracking a moving object. The inventor of the present application has made the following invention in consideration of the physiological characteristics of these eyeballs.

以下、本発明を実施するための最良の形態を図示例と共に説明する。図1は、本発明の移動体追跡カメラシステムの構成を説明するための概略図である。図示の通り、本発明の移動体追跡カメラシステムは、広視野撮像部10と、注視撮像部20と、ぼかし処理部30と、移動体検出部40と、制御部50とから主に構成されるものである。広視野撮像部10は、広い視野で移動体1を撮像して広視野画像を出力するものである。これは、例えば広角レンズにより撮像するカメラである。注視撮像部20は、広視野撮像部10よりも狭い視野で移動体1を撮像して注視画像を出力するものである。これは、例えば望遠レンズにより撮像するカメラである。ぼかし処理部30は、広視野撮像部による広視野画像にぼかし処理を施し、ぼかし画像を出力するものである。これは、例えば電子計算機等のコンピュータにより、広視野画像を画像処理により加工するものである。移動体検出部40は、ぼかし処理部30によるぼかし画像から移動体1の位置を検出して位置情報を出力するものである。これは、例えば電子計算機等のコンピュータにより、ぼかし画像から移動体1の特徴点を抽出し、位置や移動量を検出するものである。そして、制御部50は、移動体検出部40による位置情報に基づき、注視撮像部20の撮像位置を制御するものである。これは、例えば注視撮像部20を移動させるアクチュエータ25を制御し、移動体1の位置に注視撮像部20を向けるよう制御するものである。なお、図示例では、アクチュエータ25は広視野撮像部10にも接続されており、広視野撮像部10が注視撮像部20と連動して移動するものを示している。そして、注視撮像部20の出力は制御部50に入力され、注視撮像部20で移動体1を捉えると、注視画像を用いて移動体1に追従するようにアクチュエータ25をフィードバック制御する。   The best mode for carrying out the present invention will be described below with reference to the drawings. FIG. 1 is a schematic diagram for explaining the configuration of a mobile tracking camera system of the present invention. As shown in the figure, the moving body tracking camera system of the present invention mainly includes a wide-field imaging unit 10, a gaze imaging unit 20, a blur processing unit 30, a moving body detection unit 40, and a control unit 50. Is. The wide-field imaging unit 10 captures the moving body 1 with a wide field of view and outputs a wide-field image. This is a camera that captures an image with, for example, a wide-angle lens. The gaze imaging unit 20 captures the moving body 1 with a field of view narrower than that of the wide-field imaging unit 10 and outputs a gaze image. This is, for example, a camera that takes an image with a telephoto lens. The blur processing unit 30 performs blur processing on the wide-field image obtained by the wide-field imaging unit and outputs a blur image. In this method, a wide-field image is processed by image processing using a computer such as an electronic computer. The moving body detection unit 40 detects the position of the moving body 1 from the blurred image by the blur processing unit 30 and outputs position information. In this method, for example, a feature point of the moving body 1 is extracted from the blurred image by a computer such as an electronic computer, and the position and the movement amount are detected. And the control part 50 controls the imaging position of the gaze imaging part 20 based on the positional information by the mobile body detection part 40. FIG. This controls, for example, the actuator 25 that moves the gaze imaging unit 20 and directs the gaze imaging unit 20 to the position of the moving body 1. In the illustrated example, the actuator 25 is also connected to the wide-field imaging unit 10, and the wide-field imaging unit 10 moves in conjunction with the gaze imaging unit 20. The output of the gaze imaging unit 20 is input to the control unit 50, and when the moving body 1 is captured by the gaze imaging unit 20, the actuator 25 is feedback-controlled so as to follow the moving body 1 using a gaze image.

本発明では、上述のような構成を用いて、広視野撮像部は所望の移動体の探索のみに特化し、注視撮像部は移動体の運動を追跡するための視覚フィードバック信号の抽出のための画像処理に特化するように構成している。   In the present invention, using the configuration as described above, the wide-field imaging unit specializes only in searching for a desired moving body, and the gaze imaging unit is used to extract a visual feedback signal for tracking the movement of the moving body. It is configured to specialize in image processing.

本発明の移動体追跡カメラシステムの処理過程について、図2も用いながら説明する。図2は、本発明の移動体追跡カメラシステムの処理を説明するためのフローチャートである。まず、広視野撮像部10により広視野撮像を行う(ステップ100)。なお、広視野撮像部10や注視撮像部20の詳細な構成例については後述する。広視野撮像部10から出力された広視野画像は、次にぼかし処理部30に入力される(ステップ101)。ぼかし処理部30は、人間の眼球の周辺視野に対応する機能を実現するためのものであり、入力された広視野画像にぼかし処理を施す。ぼかし処理としては、ぼかしフィルタ、ガウスフィルタ、平滑化、ローパスフィルタ、ピラミッド画像等が挙げられる。また、広視野撮像部10のピントをずらして撮像することでぼかし画像を生成しても良い。このように、ぼかし処理部では、入力された広視野画像に対して空間上積分処理を行う。   The process of the mobile tracking camera system of the present invention will be described with reference to FIG. FIG. 2 is a flowchart for explaining the processing of the mobile tracking camera system of the present invention. First, wide-field imaging is performed by the wide-field imaging unit 10 (step 100). Detailed configuration examples of the wide-field imaging unit 10 and the gaze imaging unit 20 will be described later. The wide-field image output from the wide-field imaging unit 10 is then input to the blurring processing unit 30 (step 101). The blur processing unit 30 is for realizing a function corresponding to the peripheral visual field of the human eyeball, and performs blur processing on the input wide-field image. Examples of the blur processing include a blur filter, a Gaussian filter, smoothing, a low-pass filter, and a pyramid image. Further, a blurred image may be generated by shifting the focus of the wide-field imaging unit 10 and capturing an image. As described above, the blur processing unit performs spatial integration processing on the input wide-field image.

そして、このようにぼかし処理が施されたぼかし画像は、移動体検出部40に入力され、移動体1の位置が検出される(ステップ102)。ぼかし処理が施された画像では、移動体1とそれ以外の部分の情報の変化が急峻ではなくなだらかとなるため、ぼかし画像の任意のある点に対して移動体の位置する方向がある程度推測できるようになる。したがって、通常、情報量が多い詳細な画像の中から特定の移動体1の位置を検出しようとすると非常に時間がかかるが、本発明の移動体追跡カメラシステムの移動体検出部40では、広視野画像にぼかし処理が施されることで、高速に移動体1の位置を大まかに推測することが可能となる。移動体検出部40における具体的な検出手法としては、例えば特徴点の抽出・追跡を行う手法であるHarris法やSIFT法、KLT−Tracker法等を用いれば良い。また、単に微分幾何学的な特徴点、即ち極大点や極小点、停留点を用いて移動体を検出しても良い。   Then, the blurred image subjected to the blurring process in this way is input to the moving object detection unit 40, and the position of the moving object 1 is detected (step 102). In the blurred image, the change in the information of the moving object 1 and the other parts is not steep and gentle, so that the direction in which the moving object is positioned can be estimated to some extent with respect to an arbitrary point in the blurred image. It becomes like this. Therefore, it usually takes a very long time to detect the position of a specific moving body 1 from a detailed image with a large amount of information. However, the moving body detection unit 40 of the moving body tracking camera system of the present invention has a wide range. By performing the blurring process on the visual field image, the position of the moving body 1 can be roughly estimated at high speed. As a specific detection method in the moving body detection unit 40, for example, a Harris method, a SIFT method, a KLT-Tracker method, or the like, which is a method for extracting and tracking feature points, may be used. Alternatively, the moving object may be detected simply using differential geometric feature points, that is, local maximum points, local minimum points, and stationary points.

また、広視野撮像部10が移動体を連続的に撮像して複数の広視野フレームを出力する場合には、移動体検出部40では、さらに、ぼかし処理部30により出力されるぼかし処理された広視野フレーム間で時間上微分処理を行うことが好ましい。時間上微分処理とは、例えばフレーム間の差分やオプティカルフロー、移動体1の特徴点のフレーム間移動量検出等の処理である。このように、本発明の移動体追跡カメラシステムでは、広視野画像に対して空間上積分処理を行い、広視野フレームごとに時間上微分処理を行う。なお、積分処理と微分処理は、積分処理のみを行うものであっても良い。また、連続的に撮像した広視野フレームに対して、移動体の特徴点のフレーム間の移動を検出することによって、視野全体の画像内の平均移動量や特異的な運動をする特徴点や複数の特徴点で構成される特徴点グループを検出することも可能である。特徴点の移動量検出についても、従来から知られた各種手法を用いれば良い。   In addition, when the wide-field imaging unit 10 continuously captures the moving body and outputs a plurality of wide-field frames, the moving body detection unit 40 further performs the blurring process output by the blurring processing unit 30. It is preferable to perform differential processing in time between wide-field frames. The temporal differentiation process is, for example, a process such as a difference between frames, an optical flow, or a movement amount detection between feature points of the moving object 1. As described above, in the moving body tracking camera system of the present invention, spatial integration processing is performed on a wide-field image, and temporal differentiation processing is performed for each wide-field frame. It should be noted that the integration process and the differentiation process may perform only the integration process. In addition, by detecting the movement of feature points of moving objects between frames for a wide field of view imaged continuously, the average amount of movement in the image of the entire field of view or the number of feature points that perform specific motion It is also possible to detect a feature point group composed of feature points. Various known methods may be used for detecting the movement amount of the feature point.

これにより、本発明の移動体追跡カメラシステムでは、広視野画像内で移動している物体を確実に検出することが可能となる。そして、移動体検出部40では、検出された移動体1の位置に関する位置情報を出力する。位置情報は、例えば絶対軸座標上や相対軸座標上の座標位置等であれば良い。また、広視野画像内のXY座標位置等であっても良い。   Thereby, in the moving body tracking camera system of the present invention, it is possible to reliably detect the moving object in the wide-field image. Then, the moving body detection unit 40 outputs position information regarding the detected position of the moving body 1. The position information may be, for example, a coordinate position on absolute axis coordinates or relative axis coordinates. Moreover, the XY coordinate position etc. in a wide-field image may be sufficient.

次に、検出された移動体1の位置情報に基づき、制御部50において注視撮像部20の撮像位置を制御する(ステップ103)。これは眼球のサッカード運動を模倣したものである。制御部50は、例えば注視撮像部20に接続されたアクチュエータ25を制御し、移動体検出部40にて検出された移動体1の検出位置に注視撮像部20を向けるように制御するものである。即ち、制御部50は、注視撮像部20を広視野撮像部10内に捉えられた移動体1に向け、移動体1を例えば望遠レンズで高詳細に撮像するように制御するものである。広視野撮像部10は撮像範囲が広視野であるが、注視撮像部20はそれよりも視野が狭いため、広視野画像内の任意の位置に注視撮像部の視線を移動可能に構成すれば良い。なお、広視野撮像部10及び注視撮像部20を、それぞれ広角カメラと望遠カメラで構成した場合には、これらの回転軸がそれぞれ連動するように構成することも可能である。例えば、アクチュエータ上の固定カメラヘッドを共用するように広角カメラと望遠カメラを固定すれば、制御部50では、連動して両方の撮像部を容易に制御可能となる。   Next, based on the detected position information of the moving body 1, the control unit 50 controls the imaging position of the gaze imaging unit 20 (step 103). This mimics the saccade movement of the eyeball. The control unit 50 controls, for example, the actuator 25 connected to the gaze imaging unit 20 so as to direct the gaze imaging unit 20 to the detection position of the moving body 1 detected by the moving body detection unit 40. . In other words, the control unit 50 controls the gaze imaging unit 20 toward the moving body 1 captured in the wide-field imaging unit 10 so that the moving body 1 is imaged in high detail with, for example, a telephoto lens. The wide-field imaging unit 10 has a wide imaging range, but the gaze imaging unit 20 has a narrower field of view, so that the line of sight of the gaze imaging unit can be moved to any position in the wide-field image. . In addition, when the wide-field imaging unit 10 and the gaze imaging unit 20 are configured by a wide-angle camera and a telephoto camera, respectively, it is also possible to configure the rotation axes to be interlocked with each other. For example, if the wide-angle camera and the telephoto camera are fixed so as to share the fixed camera head on the actuator, the control unit 50 can easily control both the imaging units in conjunction with each other.

次に、移動体1に向けられた注視撮像部20にて、移動体1を撮像し、注視画像を出力する(ステップ104)。そして、注視撮像部20で撮像された注視画像内に移動体1があるか否か判断する(ステップ105)。なお、ここでは、特にステップ105を実行するセクションを明記していないが、これは注視撮像部20の出力を移動体検出部40にも入力し、移動体検出部40で移動体1の有無を判断しても良いし、別途検出部を設けても良い。これらの検出処理については、従来の種々の手法を用いれば良く、コンピュータ等の電子情報機械器具により実行すれば良い。また、これらの検出処理を行うときには、注視画像に対して空間上微分処理を行うことで、注視画像の移動体の特徴部分を強調させても良い。空間上微分処理とは、例えばエッジ強調やハイパスフィルタ、エンボスフィルタ等の処理をいう。さらに、空間上微分処理を行った画像は、微小な移動体の変化に対する影響も大きいため、必要により注視撮像部において連続的に撮像された複数の注視フレームのフレーム間で時間上積分処理を行っても良い。時間上積分処理とは、例えば複数の注視フレームの加算や平均化、補完処理をいう。なお、積分処理と微分処理はどちらか一方を行うものであっても良い。   Next, the gaze imaging unit 20 directed to the mobile body 1 captures the mobile body 1 and outputs a gaze image (step 104). Then, it is determined whether or not the moving object 1 is in the gaze image captured by the gaze imaging unit 20 (step 105). In addition, although the section which performs step 105 in particular is not specified here, the input of the gaze imaging part 20 is also input into the mobile body detection part 40, and the presence or absence of the mobile body 1 is detected by the mobile body detection part 40 here. It may be determined, or a separate detection unit may be provided. These detection processes may be performed using various conventional techniques, and may be executed by an electronic information machine such as a computer. Moreover, when performing these detection processes, you may emphasize the characteristic part of the moving body of a gaze image by performing a spatial differentiation process with respect to a gaze image. Spatial differential processing refers to processing such as edge enhancement, a high-pass filter, and an emboss filter. Furthermore, since the image that has undergone spatial differentiation has a great influence on changes in minute moving objects, if necessary, integration over time is performed between frames of a plurality of gaze frames that are continuously captured by the gaze imaging unit. May be. The temporal integration processing refers to, for example, addition, averaging, and complement processing of a plurality of gaze frames. Note that either integration processing or differentiation processing may be performed.

そして、注視画像内に移動体1が存在している場合には、再度、注視撮像部20の撮像位置を制御するステップ103へ戻り、移動体検出部40による移動体1の位置情報を用いてその位置に注視撮像部20を向けるように視覚フィードバック制御を行う。これを繰り返すことで、注視撮像部20にて移動体1を正確に追跡して撮像することが可能となる。   If the moving object 1 is present in the gaze image, the process returns to step 103 for controlling the imaging position of the gaze imaging unit 20 again, and the position information of the moving object 1 by the moving object detection unit 40 is used. Visual feedback control is performed so that the gaze imaging unit 20 is directed to the position. By repeating this, the gaze imaging unit 20 can accurately track and image the moving body 1.

一方、ステップ105において、注視画像内に移動体1が存在していない場合には、最初のステップ100の広視野撮像に戻って広視野撮像部10により移動体1を広域で撮像し、以降、ぼかし処理等のステップを同様に行う。制御部50では、このように広視野撮像部10に基づく位置情報を補完的に用いながら注視撮像部20の撮像位置を制御すれば良い。   On the other hand, if the moving object 1 is not present in the gaze image in step 105, the wide-field imaging unit 10 captures the moving object 1 in a wide area by returning to the first wide-field imaging in step 100, and thereafter Steps such as blurring are performed in the same way. The control unit 50 may control the imaging position of the gaze imaging unit 20 while complementarily using the position information based on the wide-field imaging unit 10 as described above.

このように、広視野撮像部10に基づく移動体検出部40による移動体1の位置情報を初期位置として注視撮像部20の撮像位置を初動制御し、以降、注視撮像部20による注視画像に基づき注視撮像部20の撮像位置を制御するように構成している。そして、移動体1がアクチュエータ25の動作よりも速い動きで移動した場合等、注視撮像部20の画角から移動体1が外れた場合には、再度広視野撮像部10により移動体1を広域で撮像することを繰り返し、移動体1を追跡撮像することが可能となる。これにより、広範囲な空間の中から特定の移動体を高速に見つけ出し、その移動体に注視して追跡しながら高詳細な画像を出力し続けることが可能となる。なお、移動体が仮に止まったとしても、それに注視し続けることが可能であることは言うまでもない。   In this way, the initial position of the imaging position of the gaze imaging unit 20 is controlled by using the position information of the moving body 1 by the moving body detection unit 40 based on the wide-field imaging unit 10 as an initial position. The imaging position of the gaze imaging unit 20 is configured to be controlled. When the moving body 1 deviates from the angle of view of the gaze imaging unit 20, such as when the moving body 1 moves faster than the operation of the actuator 25, the wide-field imaging unit 10 again moves the moving body 1 over a wide area. Thus, the moving body 1 can be tracked and imaged repeatedly. As a result, it is possible to find a specific moving body at high speed from a wide space, and continue to output a high-detail image while paying attention to and tracking the moving body. Needless to say, even if the moving body stops, it is possible to keep an eye on it.

本発明の移動体追跡カメラシステムでは、上述のように、移動体の位置や移動量を高精度且つ確実に検出するために、広視野画像をぼかし処理(空間上微分処理、特徴点抽出)して移動体の位置を検出し、ぼかし処理された広視野画像のフレーム間の特徴点の増強、補完、補償等を行う(時間上積分処理)。そして、このようにして検出された移動体に対して、注視撮像部を向け、撮像された注視画像のフレーム間の時間上積分処理を施し、また注視フレームごとに空間上微分処理を施す。これらを繰り返すことで、移動体を追跡することが可能となる。   In the moving body tracking camera system of the present invention, as described above, in order to detect the position and moving amount of the moving body with high accuracy and certainty, the wide-field image is subjected to blurring processing (spatial differential processing, feature point extraction). Then, the position of the moving body is detected, and the feature points between frames of the blurred wide-field image are enhanced, complemented, compensated, etc. (time integration processing). Then, the gaze imaging unit is directed toward the moving body detected in this way, and the temporal integration process between frames of the captured gaze image is performed, and the spatial differentiation process is performed for each gaze frame. By repeating these steps, it is possible to track the moving object.

このように、本発明の移動体追跡カメラシステムは、広視野撮像部により広範囲に撮像エリアをカバーすることが可能となり、また注視撮像部により高詳細に移動体を追跡撮像可能となる。注視撮像部では高詳細に移動体を撮像してこれを基に視覚フィードバックを行うため、移動体が小さい場合であっても見失うことや誤認識等を減少させることが可能となる。   As described above, the mobile tracking camera system of the present invention can cover an imaging area in a wide range by the wide-field imaging unit, and can track and capture the mobile body with high detail by the gaze imaging unit. Since the gaze imaging unit captures a moving object in high detail and performs visual feedback based on this, it is possible to reduce losing sight, misrecognition, and the like even when the moving object is small.

なお、広視野撮像部からの広視野画像がぼかし処理部でぼかし処理されるが、ぼかし処理前の広視野画像を別途利用することも可能である。   Note that the wide-field image from the wide-field imaging unit is blurred by the blur processing unit, but the wide-field image before the blur processing can also be used separately.

次に、広視野撮像部と注視撮像部の構成についてより詳細に説明する。図3は、本発明の第1実施例の移動体追跡カメラシステムの広視野撮像部と注視撮像部の構成を説明するための図であり、図3(a)が広視野撮像モードの撮像素子の画素イメージを、図3(b)が注視撮像モードの撮像素子の画素イメージを表している。第1実施例の移動体追跡カメラシステムでは、広視野撮像部及び注視撮像部が、1つの光学系(図示せず)と1つの撮像素子12とからなっている。光学系は、例えば広角レンズからなるものであり、移動体1を含めて広範囲で撮像できる画角を有するものである。撮像素子12は、CCDやCMOSセンサからなるものであり、画素数が多いものが好ましい。   Next, the configuration of the wide-field imaging unit and the gaze imaging unit will be described in more detail. FIG. 3 is a diagram for explaining the configuration of the wide-field imaging unit and the gaze imaging unit of the mobile tracking camera system according to the first embodiment of the present invention. FIG. 3A is an imaging device in the wide-field imaging mode. FIG. 3B shows a pixel image of the imaging element in the gaze imaging mode. In the moving body tracking camera system according to the first embodiment, the wide-field imaging unit and the gaze imaging unit include one optical system (not shown) and one imaging element 12. The optical system is composed of, for example, a wide-angle lens, and has an angle of view capable of capturing images in a wide range including the moving body 1. The image sensor 12 is composed of a CCD or CMOS sensor, and preferably has a large number of pixels.

このように構成された本発明の第1実施例の移動体追跡カメラシステムでは、まず広視野画像を出力するとき(広視野撮像モード)には、図3(a)に示されるように、撮像素子12の画素を間引いて生成した画像(間引き画像)を広視野画像として出力する。そして、注視画像を出力するとき(注視撮像モード)には、図3(b)に示されるように、撮像素子12の一部の領域の画素を用いて生成した画像(クロップ画像)を注視画像として出力する。   In the mobile tracking camera system according to the first embodiment of the present invention configured as described above, when a wide-field image is first output (wide-field imaging mode), as shown in FIG. An image (thinned image) generated by thinning out the pixels of the element 12 is output as a wide-field image. When a gaze image is output (gaze imaging mode), as shown in FIG. 3B, an image (crop image) generated using pixels in a partial area of the image sensor 12 is gaze image. Output as.

より具体的には、間引き画像を生成する広視野撮像部は、例えば、撮像素子12の撮像領域全体をカバーしつつ、画素数を減らすように、画素を数列、数行置き、又はランダムに間引いて画像情報を読み出すように構成されたものである。これにより、画角の広い広視野画像であっても、画素数を減らした画像情報を用いて後の処理を行うことが可能となるため、ぼかし処理部等を処理能力の高くないコンピュータ等を用いて安価に構成することができる。   More specifically, the wide-field imaging unit that generates the thinned image covers, for example, the entire imaging region of the image sensor 12 and thins out pixels in several rows, several rows, or randomly so as to reduce the number of pixels. The image information is read out. As a result, even a wide-field image with a wide angle of view can be processed later using image information with a reduced number of pixels. It can be used at low cost.

また、クロップ画像を生成する注視撮像部は、例えば、撮像素子12の撮像領域の中心部等の一部の領域のみの画素をフルに用いて画像情報を読み出すように構成されたものである。中心部等の一部の領域の画素をフルに用いることで、移動体に追従して撮像された注視撮像部の画像は、高精細なものとなる。   In addition, the gaze imaging unit that generates the cropped image is configured to read out the image information using, for example, pixels in only a part of the region such as the center of the imaging region of the image sensor 12. By fully using pixels in a part of the region such as the central portion, the image of the gaze imaging unit that is imaged following the moving body becomes high definition.

本発明の第1実施例の移動体追跡カメラシステムでは、このような構成により、1つの光学系と1つの撮像素子とからで構成可能である。したがって、1つのカメラを用いて、画像生成プロセスの部分を広視野撮像モードと注視撮像モードに切り替えて画像を出力すれば良い。   The moving body tracking camera system according to the first embodiment of the present invention can be configured with one optical system and one image sensor with such a configuration. Therefore, the image generation process may be switched between the wide-field imaging mode and the gaze imaging mode using one camera and the image may be output.

次に、本発明の移動体追跡カメラシステムの広視野撮像部と注視撮像部の他の構成例を説明する。図4は、本発明の第2実施例の移動体追跡カメラシステムの広視野撮像部と注視撮像部の構成を説明するための概略図である。第2実施例の移動体追跡カメラシステムでは、広視野撮像部と注視撮像部が、1つの光学系22と、光軸が合わせられる画素数の異なる2つの撮像素子11、21とからなっている。光学系22は、例えば所定の画角を有するレンズ220とプリズム221とからなるものであり、移動体1を含めてある程度の範囲で撮像できる画角を有すると共に、レンズ220に入射した光をプリズム221で光軸が合うように2つに分離するものである。このように、本発明の第2実施例の移動体追跡カメラシステムでは、広視野撮像部と注視撮像部の光軸が一致しているので、その視線の移動制御についてはそれぞれ連動するように構成されていることになる。   Next, another configuration example of the wide-field imaging unit and the gaze imaging unit of the moving body tracking camera system of the present invention will be described. FIG. 4 is a schematic diagram for explaining the configuration of the wide-field imaging unit and the gaze imaging unit of the mobile tracking camera system according to the second embodiment of the present invention. In the mobile tracking camera system of the second embodiment, the wide-field imaging unit and the gaze imaging unit are composed of one optical system 22 and two imaging elements 11 and 21 having different numbers of pixels with which the optical axis is matched. . The optical system 22 includes, for example, a lens 220 having a predetermined angle of view and a prism 221. The optical system 22 has an angle of view capable of capturing an image within a certain range including the movable body 1, and prisms light incident on the lens 220. In 221, it is separated into two so that the optical axes are aligned. As described above, in the moving body tracking camera system according to the second embodiment of the present invention, since the optical axes of the wide-field imaging unit and the gaze imaging unit coincide with each other, the movement control of the line of sight is configured to be interlocked with each other. Will be.

そして、広視野撮像部10を構成する撮像素子11及び注視撮像部20を構成する撮像素子21は、CCDやCMOSセンサからなるものであり、注視撮像部20の撮像素子21は、広視野撮像部10の撮像素子11よりも画素数が多い。広視野撮像部10では、広範囲の中から所定の移動体の位置を検出できるよう、ある程度低解像度で撮像すれば良く、低画素数の撮像素子11を用いる。そして、ぼかし処理部30によるぼかし処理と相まって高速な位置検出を行うことが可能となる。一方、広視野撮像部10により移動体1の位置が一旦分かれば、制御部50によりアクチュエータ25を制御し、例えば常に移動体1を広視野画像の中心に配置するように制御する。光学系は1つであるため、広視野画像の中心に配置された移動体1は、注視撮像部20でもその中心に位置することになる。したがって、注視画像の中心付近に移動体1が位置しているか否かを検出すれば良いため、注視撮像部20の撮像素子21が高画素数であっても、十分な処理速度が安価に実現可能である。また、高画素数の撮像素子21であるため、撮像された注視画像は高詳細なものであるため、鮮明に移動体1を撮像することが可能となる。   The imaging element 11 constituting the wide-field imaging unit 10 and the imaging element 21 constituting the gaze imaging unit 20 are composed of a CCD or a CMOS sensor, and the imaging element 21 of the gaze imaging unit 20 is a wide-field imaging unit. The number of pixels is larger than that of the ten image sensors 11. The wide-field imaging unit 10 may perform imaging at a certain low resolution so that the position of a predetermined moving body can be detected from a wide range, and uses an imaging element 11 having a low pixel count. In addition, high-speed position detection can be performed in combination with the blurring process performed by the blurring processing unit 30. On the other hand, once the position of the moving body 1 is known by the wide-field imaging unit 10, the controller 25 is controlled by the control unit 50, for example, so that the moving body 1 is always arranged at the center of the wide-field image. Since there is one optical system, the moving body 1 arranged at the center of the wide-field image is also located at the center of the gaze imaging unit 20. Therefore, since it is only necessary to detect whether or not the moving body 1 is located near the center of the gaze image, even if the imaging element 21 of the gaze imaging unit 20 has a high number of pixels, a sufficient processing speed is realized at a low cost. Is possible. In addition, since the imaging element 21 has a high number of pixels, the captured gaze image is highly detailed, and thus the moving body 1 can be captured clearly.

なお、図示例では光学系22は、レンズ220とプリズム221で構成された例を示したが、本発明はこれに限定されず、レンズは複数枚組み合わせて用いても良いし、光軸が合わされれば良いため、例えばプリズムの代わりにハーフミラーを用いても良い。また、撮像面が2層からなる2層撮像素子を用いても良い。さらに、プリズムと撮像素子の間にレンズを挿入することで、広視野撮像部や注視撮像部を実現しても良い。   In the illustrated example, the optical system 22 includes the lens 220 and the prism 221. However, the present invention is not limited to this, and a plurality of lenses may be used in combination, and the optical axes are aligned. For example, a half mirror may be used instead of the prism. Alternatively, a two-layer image sensor having two layers on the imaging surface may be used. Furthermore, a wide-field imaging unit or a gaze imaging unit may be realized by inserting a lens between the prism and the imaging device.

次に、本発明の移動体追跡カメラシステムの広視野撮像部と注視撮像部のさらに他の構成例を説明する。図5は、本発明の第3実施例の移動体追跡カメラシステムの広視野撮像部と注視撮像部の構成を説明するための概略図である。第3実施例の移動体追跡カメラシステムでは、広視野撮像部と注視撮像部が、1つの光学系22と、光軸が合わせられる撮像面積の異なる2つの撮像素子13、23とからなっている。光学系22は、例えば所定の画角を有するレンズ220とプリズム221とからなるものであり、移動体1を含めてある程度の範囲で撮像できる画角を有すると共に、レンズ220に入射した光をプリズム221で光軸が合うように2つに分離するものである。このように、本発明の第3実施例の移動体追跡カメラシステムでは、広視野撮像部と注視撮像部の光軸が一致しているので、その視線の移動制御についてはそれぞれ連動するように構成されていることになる。   Next, still another configuration example of the wide-field imaging unit and the gaze imaging unit of the moving body tracking camera system of the present invention will be described. FIG. 5 is a schematic diagram for explaining the configuration of the wide-field imaging unit and the gaze imaging unit of the mobile tracking camera system according to the third embodiment of the present invention. In the moving body tracking camera system of the third embodiment, the wide-field imaging unit and the gaze imaging unit are composed of one optical system 22 and two imaging elements 13 and 23 having different imaging areas with which the optical axes are aligned. . The optical system 22 includes, for example, a lens 220 having a predetermined angle of view and a prism 221. The optical system 22 has an angle of view capable of capturing an image within a certain range including the movable body 1, and prisms light incident on the lens 220. In 221, it is separated into two so that the optical axes are aligned. As described above, in the moving body tracking camera system according to the third embodiment of the present invention, the optical axes of the wide-field imaging unit and the gaze imaging unit coincide with each other. Will be.

そして、広視野撮像部10を構成する撮像素子13及び注視撮像部20を構成する撮像素子23は、CCDやCMOSセンサからなるものであり、注視撮像部20の撮像素子23は、広視野撮像部10の撮像素子13よりも撮像面積が狭い。即ち、広視野撮像部10の撮像素子13には、撮像素子がより小さいものを用いる。なお、画素数については特に限定されないが、広視野撮像部10よりも高詳細な注視画像を得ようとする場合には、広視野撮像部10の撮像素子13よりも注視撮像部20の撮像素子23のほうが、画素密度が高いものが好ましい。   The imaging element 13 constituting the wide-field imaging unit 10 and the imaging element 23 constituting the gaze imaging unit 20 are composed of a CCD or a CMOS sensor, and the imaging element 23 of the gaze imaging unit 20 is a wide-field imaging unit. The imaging area is narrower than the ten imaging elements 13. In other words, the image pickup device 13 of the wide-field image pickup unit 10 has a smaller image pickup device. Note that the number of pixels is not particularly limited, but in the case of obtaining a gaze image with higher detail than that of the wide-field imaging unit 10, the imaging element of the gazing imaging unit 20 rather than the imaging element 13 of the wide-field imaging unit 10. 23 is preferably one having a higher pixel density.

広視野撮像部10では、広範囲の中から所定の移動体の位置を検出するため、広い撮像面積の撮像素子13を用いて広視野で撮像する。なお、より広角となるように、光学系22の本来備えている最大画角となる程度の撮像面積を有する撮像素子を用いることが好ましい。一方、広視野撮像部10により移動体1の位置が一旦分かれば、制御部50によりアクチュエータ25を制御し、例えば常に移動体1を広視野画像の中心に配置するように制御する。光学系22は1つなため、広視野画像の中心に配置された移動体1は、注視撮像部20でもその中心に位置することになる。したがって、注視撮像部20はその撮像素子23の撮像面積が小さくても、十分に注視撮像部20で追跡することが可能である。   The wide-field imaging unit 10 captures an image with a wide field of view using the imaging element 13 having a wide imaging area in order to detect the position of a predetermined moving body from a wide range. In order to obtain a wider angle, it is preferable to use an image pickup element having an image pickup area that is about the maximum angle of view originally provided in the optical system 22. On the other hand, once the position of the moving body 1 is known by the wide-field imaging unit 10, the controller 25 is controlled by the control unit 50, for example, so that the moving body 1 is always arranged at the center of the wide-field image. Since there is only one optical system 22, the moving body 1 arranged at the center of the wide-field image is also located at the center of the gaze imaging unit 20. Therefore, the gaze imaging unit 20 can be sufficiently tracked by the gaze imaging unit 20 even if the imaging area of the imaging device 23 is small.

なお、図示例でも光学系22は、レンズ220とプリズム221で構成された例を示したが、上述のように本発明はこれに限定されず、レンズは複数枚組み合わせて用いても良いし、光軸が合わされれば良いため、例えばプリズムの代わりにハーフミラーを用いても良い。また、撮像面が2層からなる2層撮像素子を用いても良い。さらに、プリズムと撮像素子の間にレンズを挿入することで、広視野撮像部や注視撮像部を実現しても良い。   In the illustrated example, the optical system 22 is configured by the lens 220 and the prism 221. However, as described above, the present invention is not limited to this, and a plurality of lenses may be used in combination. Since the optical axes need only be aligned, for example, a half mirror may be used instead of the prism. Alternatively, a two-layer image sensor having two layers on the imaging surface may be used. Furthermore, a wide-field imaging unit or a gaze imaging unit may be realized by inserting a lens between the prism and the imaging device.

これまでの図示例では、広視野撮像部と注視撮像部の視線の制御がそれぞれ連動するも、即ち、各撮像部の回転軸が連動するものについて説明したが、本発明はこれに限定されず、各撮像部の回転軸はそれぞれ独立して回転可能に構成されていても良い。図6は、本発明の移動体追跡カメラシステムのアクチュエータによる広視野撮像部と注視撮像部の移動制御について説明するための概略図である。図中、図1と同一の符号を付した部分は同一物を表している。図示例の移動体追跡カメラシステムでは、広視野撮像部10が所定の向きに固定されて配置されており、注視撮像部20がアクチュエータ25に接続されている。広視野撮像部10により、固定画角であるが常に広い領域を撮像するように構成し、ぼかし処理や移動体検出処理を経て注視撮像部20の動きを制御する点については上述の図示例と同様である。   In the illustrated examples so far, the control of the line of sight of the wide-field imaging unit and the gaze imaging unit has been described, that is, the rotation axis of each imaging unit is interlocked, but the present invention is not limited to this. The rotation shafts of the imaging units may be configured to be independently rotatable. FIG. 6 is a schematic diagram for explaining the movement control of the wide-field imaging unit and the gaze imaging unit by the actuator of the moving body tracking camera system of the present invention. In the figure, the same reference numerals as those in FIG. 1 denote the same parts. In the mobile tracking camera system of the illustrated example, the wide-field imaging unit 10 is fixed and arranged in a predetermined direction, and the gaze imaging unit 20 is connected to the actuator 25. The wide-field imaging unit 10 is configured to always capture a wide area with a fixed angle of view, and the movement of the gaze imaging unit 20 is controlled through the blurring process and the moving body detection process as in the above-described illustrated example. It is the same.

例えば図示例のような移動体追跡カメラシステムを防犯カメラに応用した場合、広視野撮像部10はカメラシステムが設置される部屋全体をカバーするような広い画角とする。そして、移動体としての不審者が入室してきたときに、高速に移動体検出を行い、移動体を追跡するように注視撮像部を制御する。注視撮像部では、不審者を高詳細に撮像することが可能であるため、不審者特定が容易となる。さらに、注視撮像部にズームレンズ等を用いれば、例えば不審者の全身だけでなく、顔部分にのみ注視した注視画像を生成することも可能となる。   For example, when a moving body tracking camera system as shown in the illustrated example is applied to a security camera, the wide-field imaging unit 10 has a wide angle of view that covers the entire room where the camera system is installed. When a suspicious person as a moving body enters the room, the moving body is detected at high speed, and the gaze imaging unit is controlled so as to track the moving body. Since the gaze imaging unit can capture the suspicious person in high detail, the suspicious person can be easily identified. Furthermore, if a zoom lens or the like is used for the gaze imaging unit, for example, it is possible to generate a gaze image that gazes not only at the whole body of the suspicious person but also at the face portion.

このように、本発明の移動体追跡カメラシステムにおいて、広視野撮像部と注視撮像部は、回転軸がそれぞれ独立していても良い。   Thus, in the moving body tracking camera system of the present invention, the wide-field imaging unit and the gaze imaging unit may have independent rotation axes.

次に、本発明の移動体追跡カメラシステムの他の構成例について説明する。図7は、本発明の移動体追跡カメラシステムの他の構成例を説明するための概略図である。図中、図1と同一の符号を付した部分は同一物を表している。図示例の移動体追跡カメラシステムでは、広視野撮像部10と注視撮像部20以外に、さらに、注視撮像部20よりも狭い視野で移動体を撮像して第2注視画像を出力する第2注視撮像部70を具備するものである。また、第2注視撮像部70には、これを移動させるアクチュエータ26が接続されている。そして、注視撮像部20には、第2ぼかし処理部35が接続されている。第2ぼかし処理部35は、ぼかし処理部30と同様の構成であり、注視撮像部20による注視画像にぼかし処理を施し第2ぼかし画像を出力するものである。そして、移動体検出部41では、第2ぼかし画像からも移動体1の位置を検出して第2位置情報を出力する。広視野撮像部10に基づくぼかし処理部30からの位置情報と、この第2位置情報がそれぞれ制御部51に入力される。制御部51では、注視撮像部20を移動させるアクチュエータ25及び第2注視撮像部70を移動させるアクチュエータ26をそれぞれ制御する。   Next, another configuration example of the mobile tracking camera system of the present invention will be described. FIG. 7 is a schematic diagram for explaining another configuration example of the moving body tracking camera system of the present invention. In the figure, the same reference numerals as those in FIG. 1 denote the same parts. In the mobile tracking camera system of the illustrated example, in addition to the wide-field imaging unit 10 and the gaze imaging unit 20, the second gaze that outputs a second gaze image by capturing the mobile body with a field of view narrower than the gaze imaging unit 20 is provided. An imaging unit 70 is provided. The second gaze imaging unit 70 is connected to an actuator 26 that moves the second gaze imaging unit 70. A second blur processing unit 35 is connected to the gaze imaging unit 20. The second blur processing unit 35 has the same configuration as the blur processing unit 30, and performs a blur process on the gaze image from the gaze imaging unit 20 to output a second blur image. Then, the moving body detection unit 41 detects the position of the moving body 1 from the second blurred image and outputs second position information. Position information from the blur processing unit 30 based on the wide-field imaging unit 10 and the second position information are input to the control unit 51, respectively. The control unit 51 controls the actuator 25 that moves the gaze imaging unit 20 and the actuator 26 that moves the second gaze imaging unit 70, respectively.

図示例のような移動体追跡カメラシステムは、図1に示される移動体追跡カメラシステムと基本的には同様であるが、複数の撮像部を組み合わせて用いることにより、段階的に注視していくことが可能となるため、より正確に移動体に追従させることが可能となる。   The moving body tracking camera system as in the illustrated example is basically the same as the moving body tracking camera system shown in FIG. 1, but by using a combination of a plurality of image pickup units, attention is paid in stages. Therefore, it becomes possible to follow the moving body more accurately.

このように、本発明によれば、広範囲のところから移動体の検出を高速に行え、移動体の高解像度画像を生成でき、さらに移動体に対する追従性を向上させることが可能な移動体追跡カメラシステムを提供可能となる。   As described above, according to the present invention, a moving body tracking camera capable of detecting a moving body from a wide range at high speed, generating a high-resolution image of the moving body, and further improving the followability to the moving body. System can be provided.

なお、本発明の移動体追跡カメラシステムは、上述の図示例にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。   The mobile tracking camera system of the present invention is not limited to the above-described illustrated examples, and various changes can be made without departing from the scope of the present invention.

図1は、本発明の移動体追跡カメラシステムの構成を説明するための概略図である。FIG. 1 is a schematic diagram for explaining the configuration of a mobile tracking camera system of the present invention. 図2は、本発明の移動体追跡カメラシステムの処理を説明するためのフローチャートである。FIG. 2 is a flowchart for explaining the processing of the mobile tracking camera system of the present invention. 図3は、本発明の第1実施例の移動体追跡カメラシステムの広視野撮像部と注視撮像部の構成を説明するための図である。FIG. 3 is a diagram for explaining the configuration of the wide-field imaging unit and the gaze imaging unit of the moving body tracking camera system according to the first embodiment of the present invention. 図4は、本発明の第2実施例の移動体追跡カメラシステムの広視野撮像部と注視撮像部の構成を説明するための概略図である。FIG. 4 is a schematic diagram for explaining the configuration of the wide-field imaging unit and the gaze imaging unit of the mobile tracking camera system according to the second embodiment of the present invention. 図5は、本発明の第3実施例の移動体追跡カメラシステムの広視野撮像部と注視撮像部の構成を説明するための概略図である。FIG. 5 is a schematic diagram for explaining the configuration of the wide-field imaging unit and the gaze imaging unit of the mobile tracking camera system according to the third embodiment of the present invention. 図6は、本発明の移動体追跡カメラシステムのアクチュエータによる広視野撮像部と注視撮像部の移動制御について説明するための概略図である。FIG. 6 is a schematic diagram for explaining the movement control of the wide-field imaging unit and the gaze imaging unit by the actuator of the moving body tracking camera system of the present invention. 図7は、本発明の移動体追跡カメラシステムの他の構成例を説明するための概略図である。FIG. 7 is a schematic diagram for explaining another configuration example of the moving body tracking camera system of the present invention.

符号の説明Explanation of symbols

1 移動体
10 広視野撮像部
11、21 広視野撮像部の撮像素子
13、23 注視撮像部の撮像素子
12 撮像素子
20 注視撮像部
22 光学系
25、26 アクチュエータ
30 ぼかし処理部
35 第2ぼかし処理部
40、41 移動体検出部
50、51 制御部
70 第2注視撮像部
220 レンズ
221 プリズム
DESCRIPTION OF SYMBOLS 1 Mobile body 10 Wide-field imaging part 11, 21 Imaging element of wide-field imaging part 13, 23 Imaging element of gaze imaging part 12 Imaging element 20 Gaze imaging part 22 Optical system 25, 26 Actuator 30 Blur processing part 35 2nd blurring process Unit 40, 41 Moving object detection unit 50, 51 Control unit 70 Second gaze imaging unit 220 Lens 221 Prism

Claims (10)

移動体を追跡する移動体追跡カメラシステムであって、該移動体追跡カメラシステムは、
広い視野で移動体を撮像して広視野画像を出力する広視野撮像部と、
前記広視野撮像部よりも狭い視野で移動体を撮像して注視画像を出力する注視撮像部と、
前記広視野撮像部による広視野画像にぼかし処理を施しぼかし画像を出力するぼかし処理部と、
前記ぼかし処理部によるぼかし画像から移動体の位置を検出して位置情報を出力する移動体検出部と、
前記移動体検出部による位置情報に基づき注視撮像部の撮像位置を制御する制御部と、
を具備することを特徴とする移動体追跡カメラシステム。
A moving body tracking camera system for tracking a moving body, the moving body tracking camera system comprising:
A wide-field imaging unit that captures a moving object with a wide field of view and outputs a wide-field image;
A gaze imaging unit that images a moving object with a narrower field of view than the wide-field imaging unit and outputs a gaze image;
A blur processing unit that performs blur processing on the wide-field image by the wide-field imaging unit and outputs a blur image;
A moving body detection unit that detects the position of the moving body from the blurred image by the blur processing unit and outputs position information;
A control unit for controlling the imaging position of the gaze imaging unit based on the positional information by the moving body detection unit;
A moving body tracking camera system comprising:
請求項1に記載の移動体追跡カメラシステムにおいて、前記制御部は、移動体検出部による位置情報を初期位置として注視撮像部の撮像位置を初動制御し、以降、注視撮像部による注視画像に基づき注視撮像部の撮像位置を制御することを特徴とする移動体追跡カメラシステム。   2. The moving body tracking camera system according to claim 1, wherein the control unit initially controls the imaging position of the gaze imaging unit using position information from the moving body detection unit as an initial position, and thereafter, based on a gaze image from the gaze imaging unit. A moving body tracking camera system characterized by controlling an imaging position of a gaze imaging unit. 請求項2に記載の移動体追跡カメラシステムにおいて、前記制御部は、移動体検出部による位置情報を補完的に用いながら注視撮像部の撮像位置を制御することを特徴とする移動体追跡カメラシステム。   3. The moving body tracking camera system according to claim 2, wherein the control section controls the imaging position of the gaze imaging section while complementarily using position information from the moving body detection section. . 請求項1乃至請求項3の何れかに記載の移動体追跡カメラシステムにおいて、前記広視野撮像部及び前記注視撮像部は、1つの光学系と1つの撮像素子とからなり、広視野画像を出力するときには撮像素子の画素を間引いて生成した広視野画像を出力し、注視画像を出力するときには撮像素子の一部の領域の画素を用いて生成した注視画像を出力することを特徴とする移動体追跡カメラシステム。   4. The mobile tracking camera system according to claim 1, wherein the wide-field imaging unit and the gaze imaging unit include a single optical system and a single imaging device, and output a wide-field image. A wide-field image generated by thinning out pixels of the image sensor when outputting, and a gaze image generated using pixels in a partial area of the image sensor when outputting a gaze image Tracking camera system. 請求項1乃至請求項3の何れかに記載の移動体追跡カメラシステムにおいて、前記広視野撮像部及び前記注視撮像部は、1つの光学系と、光軸が合せられる画素数の異なる2つの撮像素子とからなり、注視撮像部の撮像素子は広視野撮像部の撮像素子よりも画素数が多いことを特徴とする移動体追跡カメラシステム。   4. The moving body tracking camera system according to claim 1, wherein the wide-field imaging unit and the gaze imaging unit have one optical system and two imaging units having different numbers of pixels with which the optical axis is aligned. A moving body tracking camera system characterized in that the imaging device of the gaze imaging unit has a larger number of pixels than the imaging device of the wide-field imaging unit. 請求項1乃至請求項3の何れかに記載の移動体追跡カメラシステムにおいて、前記広視野撮像部及び前記注視撮像部は、1つの光学系と、光軸が合せられる撮像面積の異なる2つの撮像素子とからなり、注視撮像部の撮像素子は広視野撮像部の撮像素子よりも撮像面積が狭いことを特徴とする移動体追跡カメラシステム。   4. The moving body tracking camera system according to claim 1, wherein the wide-field imaging unit and the gaze imaging unit are configured to have one optical system and two imagings having different imaging areas in which optical axes are aligned. A moving body tracking camera system characterized in that the imaging device of the gaze imaging unit has a smaller imaging area than the imaging device of the wide-field imaging unit. 請求項1乃至請求項3の何れかに記載の移動体追跡カメラシステムにおいて、前記広視野撮像部は広角カメラからなり、前記注視撮像部は望遠カメラからなり、望遠カメラの回転軸は広角カメラの回転軸に連動又は独立していることを特徴とする移動体追跡カメラシステム。   The mobile tracking camera system according to any one of claims 1 to 3, wherein the wide-field imaging unit is a wide-angle camera, the gaze imaging unit is a telephoto camera, and the rotation axis of the telephoto camera is the wide-angle camera. A moving body tracking camera system characterized by being linked or independent of a rotation axis. 請求項1乃至請求項7の何れかに記載の移動体追跡カメラシステムにおいて、前記広視野撮像部は連続的に広い視野で撮像して複数の広視野フレームを出力し、広視野フレーム間で時間上微分処理、及び/又は広視野フレームごとに空間上積分処理を行うことを特徴とする移動体追跡カメラシステム。   The mobile tracking camera system according to claim 1, wherein the wide-field imaging unit continuously captures an image with a wide field of view and outputs a plurality of wide-field frames. A moving body tracking camera system, wherein upper differential processing and / or spatial integration processing is performed for each wide-field frame. 請求項1乃至請求項8の何れかに記載の移動体追跡カメラシステムにおいて、前記注視撮像部は移動体を連続的に撮像して複数の注視フレームを出力し、注視フレーム間で時間上積分処理、及び/又は注視フレームごとに空間上微分処理を行うことを特徴とする移動体追跡カメラシステム。   9. The moving object tracking camera system according to claim 1, wherein the gaze imaging unit continuously images the moving object and outputs a plurality of gaze frames, and temporal integration processing between the gaze frames. And / or performing a spatial differentiation process for each gaze frame. 請求項1乃至請求項9の何れかに記載の移動体追跡カメラシステムであって、さらに、前記注視撮像部よりもさらに狭い視野で移動体を撮像して第2注視画像を出力する第2注視撮像部を具備し、
前記ぼかし処理部は、前記注視撮像部による注視画像にぼかし処理を施し第2ぼかし画像を出力し、
前記移動体検出部は、前記ぼかし処理部による第2ぼかし画像から移動体の位置を検出して第2位置情報を出力し、
前記制御部は、前記移動体検出部による第2位置情報に基づき第2注視撮像部の撮像位置を制御する、
ことを特徴とする移動体追跡カメラシステム。
10. The mobile tracking camera system according to claim 1, wherein the mobile object tracking camera system further captures a mobile object with a narrower field of view than the gaze imaging unit and outputs a second gaze image. 10. An imaging unit,
The blur processing unit performs a blur process on the gaze image by the gaze imaging unit and outputs a second blur image,
The moving body detection unit detects the position of the moving body from the second blurred image by the blur processing unit and outputs second position information;
The control unit controls an imaging position of a second gaze imaging unit based on second position information by the moving body detection unit;
A moving body tracking camera system.
JP2008104524A 2008-04-14 2008-04-14 Mobile tracking camera system Active JP5152758B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008104524A JP5152758B2 (en) 2008-04-14 2008-04-14 Mobile tracking camera system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008104524A JP5152758B2 (en) 2008-04-14 2008-04-14 Mobile tracking camera system

Publications (2)

Publication Number Publication Date
JP2009260462A true JP2009260462A (en) 2009-11-05
JP5152758B2 JP5152758B2 (en) 2013-02-27

Family

ID=41387356

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008104524A Active JP5152758B2 (en) 2008-04-14 2008-04-14 Mobile tracking camera system

Country Status (1)

Country Link
JP (1) JP5152758B2 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101359969B1 (en) 2012-11-06 2014-02-25 재단법인 포항산업과학연구원 Apparatus for photographing fast image and video and robot having the same
JP2017129839A (en) * 2016-01-20 2017-07-27 セイコーエプソン株式会社 projector
US10157329B2 (en) 2015-03-11 2018-12-18 Kabushiki Kaisha Toshiba Moving body detecting device and image processing system

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06217316A (en) * 1993-01-18 1994-08-05 Toshiba Corp Automatic tracking monitoring device
JPH09186917A (en) * 1995-12-29 1997-07-15 Kokusai Electric Co Ltd Image pickup device
JPH11127441A (en) * 1997-10-21 1999-05-11 Tokyo Electron Ind Co Ltd Image pickup device
JP2000251080A (en) * 1999-03-01 2000-09-14 Yazaki Corp Rear side monitoring device for vehicle
JP2007116666A (en) * 2005-09-20 2007-05-10 Fujinon Corp Surveillance camera apparatus and surveillance camera system
JP2007243289A (en) * 2006-03-06 2007-09-20 Sony Corp Video monitor system, and video monitoring program

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06217316A (en) * 1993-01-18 1994-08-05 Toshiba Corp Automatic tracking monitoring device
JPH09186917A (en) * 1995-12-29 1997-07-15 Kokusai Electric Co Ltd Image pickup device
JPH11127441A (en) * 1997-10-21 1999-05-11 Tokyo Electron Ind Co Ltd Image pickup device
JP2000251080A (en) * 1999-03-01 2000-09-14 Yazaki Corp Rear side monitoring device for vehicle
JP2007116666A (en) * 2005-09-20 2007-05-10 Fujinon Corp Surveillance camera apparatus and surveillance camera system
JP2007243289A (en) * 2006-03-06 2007-09-20 Sony Corp Video monitor system, and video monitoring program

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101359969B1 (en) 2012-11-06 2014-02-25 재단법인 포항산업과학연구원 Apparatus for photographing fast image and video and robot having the same
US10157329B2 (en) 2015-03-11 2018-12-18 Kabushiki Kaisha Toshiba Moving body detecting device and image processing system
JP2017129839A (en) * 2016-01-20 2017-07-27 セイコーエプソン株式会社 projector
CN113556524A (en) * 2016-01-20 2021-10-26 精工爱普生株式会社 Projector with a light source
CN113556524B (en) * 2016-01-20 2023-07-18 精工爱普生株式会社 Projector with a light source for projecting light

Also Published As

Publication number Publication date
JP5152758B2 (en) 2013-02-27

Similar Documents

Publication Publication Date Title
US10928622B2 (en) Medical image processing apparatus, medical image processing method, and medical observation system
CN109716268B (en) Eye and head tracking
US20050084179A1 (en) Method and apparatus for performing iris recognition from an image
US9373023B2 (en) Method and apparatus for robustly collecting facial, ocular, and iris images using a single sensor
KR101737085B1 (en) 3D camera
FR2912274A1 (en) Three dimensional/two dimensional virtual or real video camera capturing controlling method, involves generating ocular control signal from detected slow movement, and producing control from ocular control signal
JP5001930B2 (en) Motion recognition apparatus and method
JP4452836B2 (en) Method and apparatus for detecting pupils
KR100691348B1 (en) Method for tracking moving target with using stereo camera based on pan/tilt contol and system implementing thereof
US9420950B2 (en) Retro-reflectivity array for enabling pupil tracking
JP5152758B2 (en) Mobile tracking camera system
EP3042341A1 (en) Method and apparatus for eye detection from glints
WO2010010926A1 (en) Feature-point tracking method and feature-point tracking device
JP4243692B2 (en) Three-dimensional shape detection apparatus and three-dimensional shape detection method
JP2009244944A (en) Image-recovering apparatus and photographing apparatus
JP4452835B2 (en) Method and apparatus for detecting pupils
JP2012182738A (en) Stereo image pickup apparatus
US20220141382A1 (en) Systems and methods for obtaining a smart panoramic image
JP5004099B2 (en) Cursor movement control method and cursor movement control apparatus
TW202011154A (en) Method and apparatus for pre-load display of object information
JP2006287813A (en) Three-dimensional image display device
JP2008258806A (en) Image stabilizer and image stabilizing method
JP2017103627A (en) Vehicle rear view device
Gu et al. An active stereo vision system based on neural pathways of human binocular motor system
JP6940450B2 (en) Image judgment system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20101112

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120217

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120228

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120423

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121120

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121127

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151214

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 5152758

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250