JP2008271458A

JP2008271458A - Imaging apparatus

Info

Publication number: JP2008271458A
Application number: JP2007115000A
Authority: JP
Inventors: Norihiko Nakano; 中野憲彦; Shinichiro Hirooka; 廣岡慎一郎
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2007-04-25
Filing date: 2007-04-25
Publication date: 2008-11-06

Abstract

<P>PROBLEM TO BE SOLVED: To perform a zoom control suitable for a subject and an imaged image concerning a stereo imaging apparatus where a zoom is variable. <P>SOLUTION: The imaging apparatus includes: a zoom stereo imaging means 0001; a stereo image processing means 0102 for outputting a stereo image processing result; a stereo imaging control means; an external I/F means for exchanging data with the stereo imaging control means and performing communication with the outside of the apparatus; a control data holding means for recording and reading the data; a pan-tilt control means 0105; and a subject recognition processing means for recognizing a subject by using the imaged image and the stereo imaging processing result. The stereo imaging control part performs zoom control and pan-tilt control according to the recognition result of the subject recognition processing means. When the zoom control suitable for the subject and the imaged image is performed, monitoring is performed at a field angle, in a visual field, and with detection accuracy which correspond to the subject. <P>COPYRIGHT: (C)2009,JPO&INPIT

Description

本発明は、ズームが可変な複数の撮像手段を備える撮像装置に関する。 The present invention relates to an imaging apparatus including a plurality of imaging units with variable zoom.

本技術分野の背景技術として、例えば、特開平８−１４８６１号公報（特許文献１）がある。該公報には、「対象物体の3次元形状を精度良く計測すること」を目的とし、構成として、「ズームレンズ１０，２０を有する２つの撮像部３０，４０を用い、それぞれ撮像したステレオ画像から測距部８０においてステレオ測距法により被写体距離データＺS を得る。一方、ズーム比を変えながら測距部７０，９０においてズーム測距法により距離データＺR ，ＺL を得る。距離データ統合部１００は各データＺS ＺR ＺL を各々の信頼性に応じて荷重平均することにより、最終的な被写体距離を求める。」という技術が開示されている。 As background art of this technical field, for example, there is JP-A-8-14861 (Patent Document 1). The gazette aims at “measuring the three-dimensional shape of the target object with high accuracy” and has a configuration “from two image pickup units 30 and 40 having the zoom lenses 10 and 20 respectively, The subject distance data ZS is obtained by the stereo distance measuring method in the distance measuring unit 80. On the other hand, the distance data ZR and ZL are obtained by the zoom distance measuring method in the distance measuring units 70 and 90 while changing the zoom ratio. A technique is disclosed in which each data ZS ZR ZL is subjected to a weighted average according to each reliability to obtain a final subject distance.

特開平８−１４８６１号公報Japanese Patent Laid-Open No. 8-14861

上記特許文献1では、「撮像部３０，４０は連動して動作するズームレンズ１０，２０を有しており、即距（ママ）開始時には、短焦点側にセットされて被写体（対象物体）を広く捉えている。このズームレンズ１０，２０は測距開始後、連続的に焦点距離を長焦点側へ変化させていき、次第に被写体を多くの画素で捉えていくように動作する。 In the above-mentioned patent document 1, “the imaging units 30 and 40 have zoom lenses 10 and 20 that operate in conjunction with each other, and at the start of an immediate distance (mama), the object (target object) is set on the short focus side. The zoom lenses 10 and 20 operate so as to continuously change the focal length to the long focal point side after the start of distance measurement and gradually capture the subject with many pixels.

被写体が小さい場合などには、最初から中焦点距離や長焦点距離からズームを行っていっても良いし、逆に長焦点側から短焦点側へ変化させても構わない。本発明の請求の範囲を逸脱しない範囲においてズーム比の変化の仕方は自由である。」という技術が開示されている。（特許文献1の[0029]から[0030]に記載）
上記特許文献1は、「環境、障害物、地形、工業製品等の対象物体の３次元形状をその画像データを用いて計測する３次元形状計測方法及び装置に関するもの」（特許文献1の[0001]に記載）であり、静止した剛体の計測を行う３次元形状計測では、一方向に連続的にズームを制御し計測処理を行うことは有効である。 When the subject is small, zooming may be performed from the middle focal length or the long focal length from the beginning, or conversely, the long focal length may be changed to the short focal length. The zoom ratio can be freely changed without departing from the scope of the claims of the present invention. Is disclosed. (Described in [0029] to [0030] of Patent Document 1)
The above-mentioned Patent Document 1 relates to a “three-dimensional shape measuring method and apparatus for measuring a three-dimensional shape of a target object such as an environment, an obstacle, a terrain, or an industrial product using its image data” ([0001 of Patent Document 1] In the three-dimensional shape measurement that measures a stationary rigid body, it is effective to perform the measurement process by continuously controlling the zoom in one direction.

しかしながら、監視装置のように動く物体の検出、認識、計測を行う場合には、一方向の連続的なズーム制御では被写体や撮像画像に適した処理を行うことができない。 However, when detecting, recognizing, and measuring a moving object like a monitoring device, it is impossible to perform processing suitable for a subject or a captured image by continuous zoom control in one direction.

そこで、本発明は、ズームが可変なステレオ撮像装置において、被写体や撮像画像に適したズーム制御を行うことを目的とする。 Therefore, an object of the present invention is to perform zoom control suitable for a subject or a captured image in a stereo imaging device with variable zoom.

上記目的は、一例として特許請求の範囲に記載の発明により達成される。 The above object is achieved by the invention described in the claims as an example.

本発明によれば、ズームが可変なステレオ撮像装置において、被写体や撮像画像に適したズーム制御を行うことを実現できる。 According to the present invention, it is possible to realize zoom control suitable for a subject and a captured image in a stereo imaging device with variable zoom.

以下、図面を用いて本発明の実施例を説明する。 Embodiments of the present invention will be described below with reference to the drawings.

図１は、本発明の第１実施例に係るステレオ撮像装置を示す第１の模式図である。図１において、０００１はステレオ撮像装置であり、０１０１はズームステレオ撮像部、０１０２はステレオ画像処理部、０１０３はステレオ撮像制御部、０１０４は外部I/F部である。 FIG. 1 is a first schematic diagram showing a stereo imaging device according to a first embodiment of the present invention. In FIG. 1, 0001 is a stereo imaging device, 0101 is a zoom stereo imaging unit, 0102 is a stereo image processing unit, 0103 is a stereo imaging control unit, and 0104 is an external I / F unit.

ステレオ撮像装置０００１において、ズームステレオ撮像部０１０１は、ズームレンズやシャッタやアイリスや撮像素子やAGCやADやカメラ信号処理DSPやタイミングジェネレータ等から構成され、ズーム制御により焦点距離や画角が変更可能である。レンズにはフォーカスが可変なレンズを用いてもよい。また、ステレオ撮像部０１０１がミラーやプリズムを用いて構成され、１つの撮像素子から構成される形態としても良いし、単眼の２つのカメラから構成される形態としてもよい。ズームステレオ撮像部０１０１は、光電変換により撮像を行い、ステレオ撮像画像データを出力する。ステレオ撮像部０１０１で光電変換のために用いる撮像素子には、CCDやCMOSを用いればよい。ステレオ画像処理部０１０２は、ズームステレオ撮像部０１０１が出力するステレオ撮像画像データを用いてステレオ画像処理を行い、距離情報や情報の信頼度を演算し出力する。ステレオ画像処理部０１０２で行われるステレオ画像処理には、ノイズ除去を行うためのローパスフィルタ処理等の前処理や、エッジ検出等の特徴量演算処理、正規化相関や差分絶対値和等を用いてステレオ画像間すなわち２つの画像間の対応点検索を行い視差を検出するステレオマッチング処理、ローパスフィルタ処理やラベリング等により特異点の除去を行う後処理、視差情報を用いて距離情報を演算する距離計算処理、などがある。ステレオ画像処理部０１０２のステレオ画像処理の途中で得られる情報、例えばステレオマッチング処理で対応点検索を行った場合のテンプレート画像とマッチング画像の輝度情報や、視差情報、評価値すなわち演算スコアや、探索領域での評価値の分布、位置情報を出力することもできる。また、ステレオ画像処理部０１０２で行われるステレオマッチング処理は、特徴量演算処理の結果を用いて特徴量が閾値以上の点や領域のみについて行い、処理の軽減や高速化を図ってもよい。ステレオ撮像制御部０１０３は、ステレオ画像処理部０１０２から得られる距離情報や情報の信頼度、処理の途中で得られる情報を用いて、ステレオ画像処理部０１０２とズームステレオ撮像部０１０１の制御を行う。外部I/F部０１０４は、ステレオ撮像装置０００１の外部と通信を行い、ステレオ撮像制御部０１０３からの外部へのデータ送信や、外部からステレオ撮像制御部０１０３へのデータ受信を行う。通信には、LANやRS232C、USB、JTAG、電力線搬送通信などの汎用のプロトコルを用いればよい。 In the stereo imaging device 0001, the zoom stereo imaging unit 0101 is composed of a zoom lens, a shutter, an iris, an imaging device, an AGC, an AD, a camera signal processing DSP, a timing generator, and the like, and a focal length and an angle of view can be changed by zoom control. It is. A lens with variable focus may be used as the lens. Further, the stereo imaging unit 0101 may be configured using a mirror or a prism, and may be configured from one imaging element, or may be configured from two monocular cameras. The zoom stereo imaging unit 0101 performs imaging by photoelectric conversion and outputs stereo captured image data. A CCD or CMOS may be used as an imaging element used for photoelectric conversion in the stereo imaging unit 0101. The stereo image processing unit 0102 performs stereo image processing using the stereo captured image data output from the zoom stereo image capturing unit 0101, calculates distance information and reliability of information, and outputs the result. The stereo image processing performed in the stereo image processing unit 0102 uses preprocessing such as low-pass filter processing for noise removal, feature amount calculation processing such as edge detection, normalized correlation, sum of absolute differences, and the like. Stereo matching processing that searches for corresponding points between stereo images, that is, two images, detects parallax, post-processing that removes singular points by low-pass filter processing, labeling, etc., distance calculation that calculates distance information using parallax information Processing, etc. Information obtained during the stereo image processing of the stereo image processing unit 0102, for example, luminance information of the template image and matching image when the matching point search is performed in the stereo matching process, disparity information, evaluation value, that is, an operation score, search It is also possible to output evaluation value distribution and position information in the region. In addition, the stereo matching process performed by the stereo image processing unit 0102 may be performed only for points and regions where the feature amount is equal to or greater than the threshold value using the result of the feature amount calculation process, and the processing may be reduced or speeded up. The stereo imaging control unit 0103 controls the stereo image processing unit 0102 and the zoom stereo imaging unit 0101 using the distance information obtained from the stereo image processing unit 0102, the reliability of the information, and information obtained during the processing. The external I / F unit 0104 communicates with the outside of the stereo imaging device 0001, performs data transmission from the stereo imaging control unit 0103 to the outside, and data reception from the outside to the stereo imaging control unit 0103. For the communication, a general-purpose protocol such as LAN, RS232C, USB, JTAG, or power line carrier communication may be used.

ステレオ撮像装置０００１を監視カメラに用いた際には、撮像画像及びステレオ画像処理結果のモニタリングを監視員が行う。撮像画像及びステレオ画像処理結果のモニタリング中に、侵入者や侵入物、不審人物、置き去り物体等が発生した場合には、監視員は詳細な映像や被写体データをモニタリングするためにズーム制御行う。このための最適なズーム制御の制御方向や制御量は、被写体の大きさや被写体の移動、撮影の画角、撮影環境に応じて一定ではなく、また監視員が操作するため、一方向の連続的なズーム制御だけでは対応できない。本実施例に示したステレオ撮像装置０００１では、監視員が外部I/F部０１０４を介して制御データをステレオ撮像制御部０１０３へと送信し、ステレオ撮像制御部０１０３で制御データに応じてズームステレオ撮像部０１０１のズーム制御を行うことが可能であり、任意のズーム制御を行うことができる。また、一般的に知られるようにステレオカメラの計測精度すなわち検出精度は焦点距離に依存するため、監視員がステレオ撮像装置０００１のズーム制御を外部から行うことにより、被写体に応じて異なった焦点距離、すなわち異なった検出精度で、モニタリングが可能となる。 When the stereo imaging device 0001 is used as a monitoring camera, a monitor performs monitoring of a captured image and a stereo image processing result. If an intruder, an intruder, a suspicious person, an object left behind, or the like occurs during monitoring of the captured image and the stereo image processing result, the monitor performs zoom control to monitor detailed video and subject data. The optimal zoom control direction and control amount for this purpose are not constant depending on the size of the subject, movement of the subject, the angle of view of the subject, and the shooting environment. It cannot be handled only by simple zoom control. In the stereo imaging device 0001 shown in the present embodiment, the monitor transmits control data to the stereo imaging control unit 0103 via the external I / F unit 0104, and the stereo imaging control unit 0103 performs zoom stereo according to the control data. Zoom control of the imaging unit 0101 can be performed, and arbitrary zoom control can be performed. Further, as is generally known, since the measurement accuracy of the stereo camera, that is, the detection accuracy depends on the focal length, the focal length varies depending on the subject when the monitor performs zoom control of the stereo imaging device 0001 from the outside. That is, monitoring is possible with different detection accuracy.

かように本実施例によれば、ステレオ撮像装置で監視を行う場合に、監視映像をモニタリングしている監視員が被写体に応じてズーム制御を行うことが可能であり、被写体に応じた画角や検出精度でモニタリングすることができる。 Thus, according to the present embodiment, when monitoring is performed with a stereo imaging device, the monitoring person monitoring the monitoring video can perform zoom control according to the subject, and the angle of view according to the subject. And monitoring with detection accuracy.

図２は、本発明の第１実施例に係るステレオ撮像装置を示す第２の模式図である。本発明の第１実施例に係るステレオ撮像装置を示す第１の模式図である図１と比較して、パン・ティルト制御部０１０５を構成要素として持つ。 FIG. 2 is a second schematic diagram showing the stereo imaging apparatus according to the first embodiment of the present invention. Compared with FIG. 1, which is a first schematic diagram showing a stereo imaging apparatus according to the first embodiment of the present invention, it has a pan / tilt control unit 0105 as a component.

ステレオ撮像装置０００１において、ステレオ撮像制御部０１０３は、パン・ティルト制御部０１０５のパン制御及びティルト制御を行うことにより、ズームステレオ撮像部０１０１を左右に振るパンや、上下に振るティルトを行い撮影することが可能である。 In the stereo imaging device 0001, the stereo imaging control unit 0103 performs pan control and tilt control of the pan / tilt control unit 0105, thereby panning the zoom stereo imaging unit 0101 left and right and tilting up and down to shoot. It is possible.

ステレオ撮像装置０００１を監視カメラに用いた際には、撮像画像及びステレオ画像処理結果のモニタリングを監視員が行う。撮像画像及びステレオ画像処理結果のモニタリング中に、侵入者や侵入物、不審人物、置き去り物体等が発生した場合には、監視員は詳細な映像や被写体データをモニタリングするためにズーム制御行うが、ズーム制御だけでは被写体がフレームアウトし、被写体の大きさや被写体の移動、撮影の画角、撮影環境に適した制御できない場合が発生する。本実施例に示したステレオ撮像装置０００１では、監視員が外部I/F部０１０４を介して制御データをステレオ撮像制御部０１０３へと送信し、ステレオ撮像制御部０１０３で制御データに応じてズームステレオ撮像部０１０１のズーム制御とパン・ティルト制御部０１０５のパン制御及びティルト制御を行うことが可能であり、任意の焦点距離すなわち画角、視野すなわち画枠で、フレームアウトを生じさせることなく、撮影を行うことができる。 When the stereo imaging device 0001 is used as a monitoring camera, a monitor performs monitoring of a captured image and a stereo image processing result. When an intruder, an intruder, a suspicious person, a left-behind object, etc. occurs during monitoring of the captured image and the stereo image processing result, the monitor performs zoom control to monitor detailed video and subject data. If the zoom control alone is used, the subject may be out of the frame, and there may be a case where control suitable for the size of the subject, movement of the subject, the angle of view of the shooting, and the shooting environment cannot be performed. In the stereo imaging device 0001 shown in the present embodiment, the monitor transmits control data to the stereo imaging control unit 0103 via the external I / F unit 0104, and the stereo imaging control unit 0103 performs zoom stereo according to the control data. The zoom control of the imaging unit 0101 and the pan control and tilt control of the pan / tilt control unit 0105 can be performed, and shooting can be performed without causing a frame-out at an arbitrary focal length, that is, an angle of view, a visual field, that is, an image frame. It can be performed.

かように本実施例によれば、ステレオ撮像装置で監視を行う場合に、監視映像をモニタリングしている監視員が被写体に応じてズーム制御とパン制御、ティルト制御を行うことが可能であり、被写体に応じた画角や視野、検出精度でモニタリングすることができる。 Thus, according to the present embodiment, when monitoring with a stereo imaging device, the monitoring person monitoring the monitoring video can perform zoom control, pan control, and tilt control according to the subject, Monitoring can be performed with the angle of view, field of view, and detection accuracy according to the subject.

図３は、本発明の第１実施例に係るステレオ撮像装置を示す第３の模式図である。本発明の第１実施例に係るステレオ撮像装置を示す第２の模式図である図２と比較して、制御データ保持部０１０６を構成要素として持つ。 FIG. 3 is a third schematic diagram showing the stereo imaging apparatus according to the first embodiment of the present invention. Compared with FIG. 2, which is a second schematic diagram showing the stereo imaging apparatus according to the first embodiment of the present invention, it has a control data holding unit 0106 as a component.

ステレオ撮像装置０００１において、ステレオ撮像制御部０１０３は、外部I/F部０１０４から入手した制御データを制御データ保持部０１０６に記録する。制御データ保持部０１０６では制御データとして、ズーム制御値やフォーカス制御値、パン制御値、ティルト制御値を一組のデータとして複数組記録することができ、制御間隔、制御速度も記録可能である。ステレオ撮像制御部０１０３は、制御データ保持部０１０６に記録した制御データを読み出し、制御データに基づきズームステレオ撮像部０１０１のズーム制御とパン・ティルト制御部０１０５のパン制御及びティルト制御を行う。 In the stereo imaging device 0001, the stereo imaging control unit 0103 records the control data obtained from the external I / F unit 0104 in the control data holding unit 0106. The control data holding unit 0106 can record a plurality of sets of zoom control values, focus control values, pan control values, and tilt control values as control data, and can also record control intervals and control speeds. The stereo imaging control unit 0103 reads the control data recorded in the control data holding unit 0106, and performs zoom control of the zoom stereo imaging unit 0101 and pan control and tilt control of the pan / tilt control unit 0105 based on the control data.

ステレオ撮像装置０００１を監視カメラに用いた際には、複数の監視エリアに対し、ズーム制御やパン制御、ティルト制御を行うことにより、巡回してモニタリングを行うことが可能である。制御データ保持部０１０６に、ある監視エリアをモニタリングするために必要なズーム制御値やフォーカス制御値、パン制御値、ティルト制御値を一組のデータとして記録し、複数の監視エリアに対する制御データを複数保持することにより任意の監視エリアの巡回モニタリングが可能である。監視エリアによって検出する被写体、すなわち要求検出精度が異なる場合には、ズーム制御により焦点距離を変更し、検出する被写体に適した精度で撮像が可能である。また、同じ監視エリアに対し、パンとティルトを固定し、ズーム制御により焦点距離を変えて異なる精度で検出することも可能である。また、このような巡回モニタリングを、制御データ保持部０１０６に記録した制御データでなく、外部I/F部０１０４を介して外部から送信される制御データに基づいて、ステレオ撮像制御部０１０３が制御を行うことにより実現してもよい。 When the stereo imaging device 0001 is used as a monitoring camera, it is possible to perform monitoring in a circular manner by performing zoom control, pan control, and tilt control for a plurality of monitoring areas. The control data holding unit 0106 records a zoom control value, a focus control value, a pan control value, and a tilt control value necessary for monitoring a certain monitoring area as a set of data, and a plurality of control data for a plurality of monitoring areas. By holding it, patrol monitoring of any monitoring area is possible. When the object to be detected differs depending on the monitoring area, that is, when the required detection accuracy differs, the focal length is changed by zoom control, and imaging can be performed with an accuracy suitable for the object to be detected. It is also possible to detect with different accuracy by fixing the pan and tilt for the same monitoring area and changing the focal length by zoom control. In addition, the stereo imaging control unit 0103 controls such cyclic monitoring based on control data transmitted from the outside via the external I / F unit 0104 instead of the control data recorded in the control data holding unit 0106. It may be realized by doing.

ステレオ撮像制御部０１０３が、外部I/F部０１０４から入手した制御データを制御データ保持部０１０６に記録するのは、現場で設置時の初期設定時に行ってもよいし、運用時に外部I/F部０１０４を介して外部から制御データが送信される時に行ってもよい。また、工場調整時に行うことにより、１種類の筐体で複数の検出精度のステレオ撮像装置をラインアップ可能となる。 The stereo imaging control unit 0103 may record the control data obtained from the external I / F unit 0104 in the control data holding unit 0106 at the time of initial setting at the time of installation at the site or during operation. This may be performed when control data is transmitted from the outside via the unit 0104. In addition, by performing the adjustment at the factory, it is possible to line up a stereo imaging device having a plurality of detection accuracy in one type of housing.

かように本実施例によれば、ステレオ撮像装置で監視を行う場合に、一台のステレオ撮像装置で複数の監視エリアを異なる精度と画角で巡回モニタリングが可能であり、低コストでモニタリングすることができる。 Thus, according to the present embodiment, when monitoring with a stereo imaging device, it is possible to monitor a plurality of monitoring areas with different accuracy and angle of view with a single stereo imaging device, and monitor at low cost. be able to.

図４は、本発明の第２実施例に係るステレオ撮像装置を示す模式図である。本発明の第１実施例に係るステレオ撮像装置を示す第３の模式図である図３と比較して、被写体認識処理部０１０７を構成要素として持つ
ステレオ撮像装置０００１において、被写体認識処理部０１０７は、ズームステレオ撮像部０１０１が出力する画像データや、ステレオ画像処理部０１０２が出力する距離情報や情報の信頼度や処理の途中で得られる情報、ステレオ撮像制御部０１０３から得られるズームやフォーカスや露光やホワイトバランス等のカメラ制御情報を用いて、撮影画像から被写体の認識を行う。被写体認識処理部０１０７は、画像に撮影されている被写体が何であるかの情報や、信頼度、位置、大きさ、撮影画像内での位置、撮影画像内での大きさ等を認識処理結果と出力する。複数の被写体が画像に撮影されている場合には、複数の被写体に関する情報を出力するようにしてもよい。また、複数の被写体に関する情報は、ステレオ撮像装置０００１に近い被写体からデータをソート、出力すればよいし、被写体が何であるかで優先順位をつけてデータをソート、出力してもよい。このような優先順位は、例えば、物体より人間を優先、大人よりも子供を優先、男より女を優先、静止物体より運動物体を優先、とすればよく、ユーザが設定できるようにしてもよい。ステレオ撮像制御部０１０３では、被写体認識処理部０１０７が出力する処理結果を用いて、ズームステレオ撮像部０１０１のズーム制御とパン・ティルト制御部０１０５のパン制御及びティルト制御を行う。 FIG. 4 is a schematic diagram showing a stereo imaging device according to the second embodiment of the present invention. Compared with FIG. 3 which is a third schematic diagram showing the stereo imaging device according to the first embodiment of the present invention, in the stereo imaging device 0001 having the subject recognition processing unit 0107 as a component, the subject recognition processing unit 0107 is , Image data output from the zoom stereo imaging unit 0101, distance information output from the stereo image processing unit 0102, information reliability, information obtained in the middle of processing, zoom, focus, and exposure obtained from the stereo imaging control unit 0103 The camera recognizes the subject from the photographed image using camera control information such as white balance. The subject recognition processing unit 0107 recognizes information indicating what the subject is photographed in the image, reliability, position, size, position in the photographed image, size in the photographed image, and the like as the recognition processing result. Output. When a plurality of subjects are captured in an image, information regarding the plurality of subjects may be output. Information regarding a plurality of subjects may be output by sorting and outputting data from subjects close to the stereo imaging device 0001. Alternatively, the data may be sorted and output by giving priority to what the subject is. Such priorities may be set by the user, for example, humans over objects, children over adults, women over men, and moving objects over stationary objects. . The stereo imaging control unit 0103 performs zoom control of the zoom stereo imaging unit 0101 and pan control and tilt control of the pan / tilt control unit 0105 using the processing result output from the subject recognition processing unit 0107.

このようなズーム制御、パン・ティルト制御としては、被写体が撮影画像で大きく撮影されるように制御を行ったり、被写体が移動する場合には被写体を追尾するように制御を行えばよい。大きく撮影されるように制御としては、被写体がステレオ撮像画像の１つの撮影画像でフレームアウトしない大きさまで制御してもよいし、被写体がステレオ撮像画像の両方の画像でフレームアウトしない大きさまで制御してもよい。ステレオ画像処理部０１０２でステレオ画像処理を行う場合、ステレオ撮像画像のそれぞれの画像は視野が異なるため、ステレオ画像処理に用いられる画像は、ステレオ撮像画像の一部の画像領域となり、またこのステレオ画像処理に用いられる一部の画像領域は被写体の距離や大きさに依存する。よって、被写体がステレオ撮像画像の両方の画像でフレームアウトしない大きさまで制御するのではなく、被写体が画像内のステレオ画像処理に用いる一部の画像領域をはみださない大きさまで制御し、ステレオ画像処理部０１０２の処理に効果的なステレオ画像を撮像できるようにしてもよい。被写体が画像内のステレオ画像処理に用いる一部の画像領域をはみださない大きさまで制御する場合に、被写体の大きさでなく、ステレオ画像処理部０１０２の処理で行うステレオマッチング処理のテンプレートサイズを考慮し、ステレオマッチングのテンプレートサイズを考慮した被写体の大きさで制御を行ってもよい。また、被写体が撮影画像で大きく撮影されるように制御を行う際に、レンズ歪がステレオ画像処理部０１０２及び被写体認識処理部０１０７の処理に影響を及ぼす場合には、レンズ歪の影響が小さくなる画面中央領域に被写体が撮影されるように制御を行えばよい。また、被写体が撮影画像で大きく撮影されるように制御を行う際に、ズームを望遠に制御したことにより、撮影画像の視野すなわち検出エリアが狭くなる場合があるので、ステレオ画像処理部０１０２及び被写体認識処理部０１０７の処理において被写体を検出するのに必要な要求精度を満たすズーム倍率に制御してもよい。このような被写体を検出するのに必要な要求精度を満たすズーム倍率に制御する場合、被写体によって要求精度が異なる、すなわち被写体によってズーム倍率が異なっていてもよい。また、被写体が撮影画像で大きく撮影されるように制御を行う際に、ステレオ撮像画像のそれぞれのズーム倍率は、略等しくてもよいし、異なっていてもよく、異なっている場合には、ステレオ画像処理部０１０２で補正を行えばよい。このようなズーム制御、パン・ティルト制御を行う際に、複数の被写体が画像に撮影されている場合には、優先される被写体に対して上記処理を行ってもよいし、複数の被写体の塊を１つの被写体として上記処理を行ってもよい。また、以上の処理は、単独で行ってもよいし、いくつかの組み合わせで行ってもよい。 As such zoom control and pan / tilt control, control may be performed so that the subject is photographed largely in the captured image, or when the subject moves, the subject is tracked. Control can be performed so that the subject is photographed at a large size so that the subject is not out of frame with one captured image of the stereo image, or the subject is controlled to a size that is not out of frame with both images of the stereo image. May be. When the stereo image processing unit 0102 performs stereo image processing, each image of the stereo imaged image has a different field of view. Therefore, the image used for the stereo image processing becomes a partial image area of the stereo imaged image. Some image areas used for processing depend on the distance and size of the subject. Therefore, the subject is not controlled to a size that does not frame out of both images of the stereo image, but the subject is controlled to a size that does not protrude from a part of the image area used for stereo image processing in the image. A stereo image effective for the processing of the image processing unit 0102 may be captured. When the subject is controlled to a size that does not protrude a part of the image area used for stereo image processing in the image, the size of the template of the stereo matching process performed by the processing of the stereo image processing unit 0102 is not the size of the subject. In consideration of the above, control may be performed with the size of the subject in consideration of the template size for stereo matching. Further, when the control is performed so that the subject is photographed to be large in the captured image, if the lens distortion affects the processing of the stereo image processing unit 0102 and the subject recognition processing unit 0107, the influence of the lens distortion is reduced. Control may be performed so that the subject is photographed in the center area of the screen. Further, when the control is performed so that the subject is photographed to be large in the photographed image, the field of view of the photographed image, that is, the detection area may be narrowed by controlling the zoom to telephoto. You may control to the zoom magnification which satisfy | fills the required precision required in order to detect a to-be-photographed object in the process of the recognition process part 0107. When controlling to a zoom magnification that satisfies the required accuracy required for detecting such a subject, the required accuracy may differ depending on the subject, that is, the zoom magnification may differ depending on the subject. Further, when control is performed so that the subject is photographed at a large size, the respective zoom magnifications of the stereo captured images may be substantially the same or different, and if they are different, Correction may be performed by the image processing unit 0102. When performing such zoom control and pan / tilt control, if a plurality of subjects are photographed in the image, the above-described processing may be performed on the subject to be prioritized, or a group of subjects The above processing may be performed with one subject. Moreover, the above process may be performed independently and may be performed in several combinations.

かように、ステレオ画像処理の結果を用いて被写体認識処理を行い、被写体認識処理結果に応じて撮像部のズームやパン、ティルトを制御することにより、撮影画像の被写体に応じた画角や視野、検出精度で撮影することができる。 In this way, subject recognition processing is performed using the result of stereo image processing, and the angle of view and field of view according to the subject of the captured image are controlled by controlling zooming, panning, and tilting of the imaging unit according to the subject recognition processing result. It is possible to photograph with detection accuracy.

図５は、本発明の第２実施例に係るズーム制御処理の一例を示す図である。以下の処理は、被写体認識処理部０１０７で行ってもよいし、ステレオ撮像制御部０１０３で行ってもよいし、ステレオ撮像装置０００１が出力するデータを用いてステレオ撮像装置０００１外で行ってもよい。図５において、横軸は時間経過を、縦軸はズーム倍率を示している。図５では、時間経過におけるズーム倍率の変化すなわちズーム制御を示しており、ズームステレオ撮像部０１０１で撮像するステレオ撮像画像データの一方の画像を撮像画像例として図示している。また、図5において、ステレオ撮像装置０００１は、ｔ１で被写体を検出している。 FIG. 5 is a diagram illustrating an example of zoom control processing according to the second embodiment of the present invention. The following processing may be performed by the subject recognition processing unit 0107, may be performed by the stereo imaging control unit 0103, or may be performed outside the stereo imaging device 0001 using data output from the stereo imaging device 0001. . In FIG. 5, the horizontal axis indicates the passage of time, and the vertical axis indicates the zoom magnification. FIG. 5 shows a change in zoom magnification over time, that is, zoom control, and one image of stereo captured image data captured by the zoom stereo imaging unit 0101 is illustrated as a captured image example. In FIG. 5, the stereo imaging device 0001 detects the subject at t1.

ステレオ撮像装置０００１では、被写体検出前のｔ0からｔ1の期間は、画角を広角にすなわち視野や検出範囲が広くなるようにズーム制御を行う。一般的に知られるようにステレオカメラの計測精度すなわち検出精度は焦点距離に依存し、焦点距離が長いすなわち望遠の方が、分解能が高く精度がよい。よって、ｔ１で被写体を検出した後は、画角を望遠にすなわち検出精度が良くなるようにズーム制御を行い、被写体の詳細データのサンプリングを行う。被写体の詳細データのサンプリングは、例えば被写体が人間であれば、体全体アップ、バストアップ、顔アップというように、画角を異ならせて複数回行ってもよい。上記の被写体データの詳細サンプリングがｔ２で終了後は、被写体の追跡、追尾を行うため必要な要求制度に応じた焦点距離の画角になるようにズーム制御を行う。このときの画像の中心は、被写体を中心にしてもよいし、検知エリアが中心となっていてもよい。上記処理を図5に示す撮像画像例を用いて説明する。被写体検出前のｔ0からｔ1の期間は、図5の５−１に示すように、画角を広角にすなわち視野や検出範囲が広くなるようにズーム制御を行う。ｔ１で、図5の５−２に示すように被写体を検出した後は、画角を望遠に制御し、図5の５−３に示すように被写体を大きく撮像する。被写体検出後のｔ0からｔ1の期間では、被写体の詳細データのサンプリングを行うが、図5の５−３に示すように被写体が大きく撮像されているため、精度よくサンプリングを行うことが可能である。サンプリングする被写体の詳細データは、距離や３次元の大きさ、形状、移動速度、移動方向、色などである。被写体の詳細データのサンプリング後であるｔ２以降は、被写体の検出を精度よく行うために必要な要求制度に応じた焦点距離の画角になるようにズーム制御し、図５の５−４に示すように撮像を行う。上記処理により、例えば本技術を侵入検知に用いた場合、被写体検出前は図5の５−１に示すように広範囲で撮像することにより侵入の可能性がある接近者を検出し、図5の５−３に示すように被写体を大きくうつすことにより接近者の詳細データのサンプリングし、図５の５−４に示すように接近者の追跡、追尾を行いながら被写体が映っていない領域をモニタリングすることができる。この場合、ｔ２以降のズーム制御は、被写体の検出を精度よく行うために必要な要求制度に応じた焦点距離の画角で行ってもよいし、侵入検知エリア全体が撮像される画角で行ってもよい。接近者の追跡、追尾の結果、侵入検知エリアに侵入した場合、サンプリングした接近者の詳細データを用いて侵入検知エリアに侵入が許可された人物か否かにより非常事態判定を行うことができる。また、上記処理において、ｔ１で画角を望遠に制御するタイミングは、上記に示した被写体を検出したタイミングでなく、侵入検知エリアへの侵入のタイミングで行ってもよい。 In the stereo imaging device 0001, zoom control is performed so that the angle of view is wide, that is, the field of view and the detection range are widened during the period from t0 to t1 before subject detection. As is generally known, the measurement accuracy or detection accuracy of a stereo camera depends on the focal length, and a longer focal length, that is, telephoto has higher resolution and better accuracy. Therefore, after the subject is detected at t1, zoom control is performed so that the angle of view becomes telephoto, that is, the detection accuracy is improved, and the detailed data of the subject is sampled. For example, if the subject is a human, sampling of the detailed data of the subject may be performed a plurality of times with different angles of view, such as whole body up, bust up, and face up. After the detailed sampling of the subject data is completed at t2, zoom control is performed so that the angle of view of the focal length according to the required system necessary for tracking and tracking the subject is obtained. The center of the image at this time may be centered on the subject, or may be centered on the detection area. The above process will be described with reference to the captured image example shown in FIG. During the period from t0 to t1 before subject detection, zoom control is performed so that the angle of view is wide, that is, the field of view and detection range are widened, as indicated by 5-1 in FIG. After the subject is detected at t1, as shown by 5-2 in FIG. 5, the angle of view is controlled to telephoto, and the subject is imaged large as shown by 5-3 in FIG. In the period from t0 to t1 after the subject detection, the detailed data of the subject is sampled. However, since the subject is imaged large as shown in 5-3 of FIG. 5, it is possible to sample accurately. . Detailed data of the subject to be sampled includes a distance, a three-dimensional size, a shape, a moving speed, a moving direction, and a color. After t2 after the sampling of the detailed data of the subject, zoom control is performed so that the angle of view of the focal length conforms to the required system necessary for accurately detecting the subject, and is shown as 5-4 in FIG. Imaging is performed as follows. For example, when the present technology is used for intrusion detection by the above processing, an approaching person who may intrude is detected by imaging in a wide range as shown in FIG. The detailed data of the approaching person is sampled by largely moving the subject as shown in 5-3, and the area where the subject is not reflected is monitored while tracking and tracking the approaching person as shown in 5-4 of FIG. be able to. In this case, the zoom control after t2 may be performed at an angle of view with a focal length according to a required system necessary for accurately detecting a subject, or at an angle of view at which the entire intrusion detection area is imaged. May be. As a result of tracking and tracking of the approaching person, when entering the intrusion detection area, it is possible to make an emergency determination based on whether or not the person is permitted to enter the intrusion detection area using the sampled detailed data of the approaching person. Further, in the above processing, the timing at which the angle of view is telephotoly controlled at t1 may be set at the timing of entering the intrusion detection area instead of the timing at which the subject is detected as described above.

かように本実施例によれば、被写体検出前と、被写体検出後の被写体の詳細データサンプリング時と、被写体の詳細データサンプリング時後で、ズーム倍率を異ならせることにより、異なった検出精度で被写体の検出が可能であり、被写体や撮像画像、目的に応じた検出精度で被写体の認識が可能となる。 As described above, according to the present embodiment, the subject can be detected with different detection accuracy by changing the zoom magnification before and after the subject detection, during the detailed data sampling of the subject after the subject detection, and after the detailed data sampling of the subject. Can be detected, and the subject can be recognized with detection accuracy according to the subject, the captured image, and the purpose.

本発明は監視カメラや立体視カメラ、車載カメラに利用可能である。 The present invention can be used for surveillance cameras, stereoscopic cameras, and in-vehicle cameras.

本発明の第１実施例に係るステレオ撮像装置を示す第１の模式図である。1 is a first schematic diagram illustrating a stereo imaging device according to a first embodiment of the present invention. FIG. 本発明の第１実施例に係るステレオ撮像装置を示す第２の模式図である。It is a 2nd schematic diagram which shows the stereo imaging device which concerns on 1st Example of this invention. 本発明の第１実施例に係るステレオ撮像装置を示す第３の模式図である。It is a 3rd schematic diagram which shows the stereo imaging device which concerns on 1st Example of this invention. 本発明の第２実施例に係るステレオ撮像装置を示す模式図である。It is a schematic diagram which shows the stereo imaging device which concerns on 2nd Example of this invention. 本発明の第２実施例に係るズーム制御処理の一例を示す図である。It is a figure which shows an example of the zoom control process which concerns on 2nd Example of this invention.

Explanation of symbols

０００１ステレオ撮像装置
０１０１ズームステレオ撮像部
０１０２ステレオ画像処理部
０１０３ステレオ撮像制御部
０１０４外部I/F部
０１０５パン・ティルト制御部
０１０６制御データ保持部
０１０７被写体認識処理部 0001 Stereo imaging device 0101 Zoom stereo imaging unit 0102 Stereo image processing unit 0103 Stereo imaging control unit 0104 External I / F unit 0105 Pan / tilt control unit 0106 Control data holding unit 0107 Subject recognition processing unit

Claims

Zoom stereo imaging means for performing stereo imaging with variable zoom;
Stereo image processing means for performing stereo image processing using a stereo image output from the zoom stereo image pickup means and outputting a stereo image processing result;
Stereo imaging control means for controlling the zoom stereo imaging means and the stereo image processing means;
External I / F means for exchanging data with the stereo imaging control means and communicating with outside the apparatus,
With
The stereo imaging control means communicates control data with the outside of the apparatus via the external I / F means, and the stereo imaging means performs zoom control of the zoom stereo imaging means based on the control data;
An imaging apparatus characterized by the above.

Zoom stereo imaging means for performing stereo imaging with variable zoom;
Stereo image processing means for performing stereo image processing using a stereo image output from the zoom stereo image pickup means and outputting a stereo image processing result;
Stereo imaging control means for controlling the zoom stereo imaging means and the stereo image processing means;
External I / F means for exchanging data with the stereo imaging control means and communicating with outside the apparatus,
Pan / tilt control means for panning and tilting the zoom stereo imaging means;
With
The stereo imaging control unit communicates control data with the outside of the apparatus via the external I / F unit, and the stereo imaging unit performs zoom control and pan / tilt control of the zoom stereo imaging unit based on the control data. Controlling the pan and tilt of the means,
An imaging apparatus characterized by the above.

Zoom stereo imaging means for performing stereo imaging with variable zoom;
Stereo image processing means for performing stereo image processing using a stereo image output from the zoom stereo image pickup means and outputting a stereo image processing result; and
Stereo imaging control means for controlling the zoom stereo imaging means and the stereo image processing means;
External I / F means for exchanging data with the stereo imaging control means and communicating with outside the apparatus,
Pan / tilt control means for panning and tilting the zoom stereo imaging means;
Control data holding means for recording / reading data;
With
The stereo imaging control means communicates control data with the outside of the apparatus via the external I / F means, records control data in the control data holding means, and based on the control data recorded in the control data holding means The stereo imaging unit performs zoom control of the zoom stereo imaging unit and pan and tilt control of the pan / tilt control unit;
An imaging apparatus characterized by the above.

Zoom stereo imaging means for performing stereo imaging with variable zoom;
Stereo image processing means for performing stereo image processing using a stereo image output from the zoom stereo image pickup means and outputting a stereo image processing result;
Stereo imaging control means for controlling the zoom stereo imaging means and the stereo image processing means;
Subject recognition processing means for recognizing a subject using a captured image output by the zoom stereo imaging means and a stereo imaging processing result output by the stereo image processing means;
With
The stereo imaging control means performs zoom control of the zoom stereo imaging means according to the recognition result of the subject recognition processing means;
An imaging apparatus characterized by the above.

Zoom stereo imaging means for performing stereo imaging with variable zoom;
Stereo image processing means for performing stereo image processing using a stereo image output from the zoom stereo image pickup means and outputting a stereo image processing result; and
Stereo imaging control means for controlling the zoom stereo imaging means and the stereo image processing means;
External I / F means for exchanging data with the stereo imaging control means and communicating with outside the apparatus,
Pan / tilt control means for panning and tilting the zoom stereo imaging means;
Control data holding means for recording / reading data;
Subject recognition processing means for recognizing a subject using a captured image output by the zoom stereo imaging means and a stereo imaging processing result output by the stereo image processing means;
With
The stereo imaging control means performs zoom control of the zoom stereo imaging means and pan and tilt control of the pan / tilt control means according to a recognition result of the subject recognition processing means;
An imaging apparatus characterized by the above.

The imaging apparatus according to claim 5,
When the stereo imaging control means performs zoom control of the zoom stereo imaging means,
Different zoom magnification before subject detection and when subject detailed data sampling after subject detection and after subject detailed data sampling,
An imaging apparatus characterized by the above.