JP4723934B2 - Object search device - Google Patents

Object search device Download PDF

Info

Publication number
JP4723934B2
JP4723934B2 JP2005193721A JP2005193721A JP4723934B2 JP 4723934 B2 JP4723934 B2 JP 4723934B2 JP 2005193721 A JP2005193721 A JP 2005193721A JP 2005193721 A JP2005193721 A JP 2005193721A JP 4723934 B2 JP4723934 B2 JP 4723934B2
Authority
JP
Japan
Prior art keywords
search
image
frame
size
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005193721A
Other languages
Japanese (ja)
Other versions
JP2007013774A (en
Inventor
充彦 太田
映夫 深町
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Toyota Central R&D Labs Inc
Original Assignee
Toyota Motor Corp
Toyota Central R&D Labs Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp, Toyota Central R&D Labs Inc filed Critical Toyota Motor Corp
Priority to JP2005193721A priority Critical patent/JP4723934B2/en
Publication of JP2007013774A publication Critical patent/JP2007013774A/en
Application granted granted Critical
Publication of JP4723934B2 publication Critical patent/JP4723934B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Description

本発明は、車両に設けられて、撮影画像から周囲の歩行者などを探索する対象物探索装置に関する。   The present invention relates to an object search device that is provided in a vehicle and searches a surrounding pedestrian or the like from a captured image.

車両には、夜間走行中などに、車両前方を撮影し、ヘッドライトの照射領域外の歩行者などをディスプレイに表示することにより、運転者の視覚支援を図る車両用撮像装置を搭載したものがある。この車両用撮像装置では、例えば、近赤外光を車両前方に照射し、歩行者などで反射した光(近赤外光)を撮像素子によって受光して、可視光画像の映像信号として出力する。この映像信号をディスプレイに表示することにより、暗闇の中の歩行者などをディスプレイに映し出して、運転者が認識可能となるようにしている。   Some vehicles are equipped with a vehicle image pickup device that assists the driver's vision by photographing the front of the vehicle during night driving and displaying pedestrians outside the irradiation area of the headlight on the display. is there. In this vehicle imaging device, for example, near-infrared light is irradiated in front of the vehicle, and light reflected by a pedestrian or the like (near-infrared light) is received by the imaging device and output as a video signal of a visible light image. . By displaying this video signal on the display, a pedestrian or the like in the dark is displayed on the display so that the driver can recognize it.

このような車両用撮像装置では、歩行者などの動きを的確に表示するために、例えば、10フレーム/秒以上で各フレーム画像の映像信号を出力するようにしており、これにより、歩行者などの対象物の相対的な動きをディスプレイに表示できるようにしている。   In such a vehicle imaging device, in order to accurately display the movement of a pedestrian or the like, for example, the video signal of each frame image is output at 10 frames / second or more. The relative movement of the object can be displayed on the display.

ところで、近赤外光を用いて車両前方を撮影すると、車両前方の各種の物体からの反射光が受光される。運転者の視覚支援を行うためには、その中から、歩行者などの対象物を正確に抽出して表示する必要があり、このためには、映像信号に対して画像処理を行って、対象物の位置及び大きさを検出する対照物の抽出を行う必要がある。   By the way, when the front of the vehicle is photographed using near infrared light, reflected light from various objects in front of the vehicle is received. In order to provide visual assistance to the driver, it is necessary to accurately extract and display objects such as pedestrians, and for this purpose, image processing is performed on the video signal, It is necessary to extract a control that detects the position and size of the object.

フレーム画像中から歩行者などの対象物を抽出するときに、対象物の位置や大きさがわかれば、対象物の有無のみを判断すればよいが、一般には、対象物の位置及び大きさは不明である。すなわち、歩行者の有無が不明であり、また、車両(カメラ)と歩行者の相対位置によってフレーム画像上での対象物の位置及び大きさが異なり、また、対象物と車両の相対位置が変化することにより、フレーム画像上での対象物の位置及び大きさも変化してしまう。   When extracting an object such as a pedestrian from a frame image, if the position and size of the object are known, it is only necessary to determine the presence or absence of the object, but in general the position and size of the object are unknown. It is. That is, the presence or absence of a pedestrian is unknown, the position and size of the object on the frame image differ depending on the relative position of the vehicle (camera) and the pedestrian, and the relative position of the object and the vehicle changes. As a result, the position and size of the object on the frame image also change.

フレーム画像中からこのような対象物を抽出するためには、探索ウインドを設定し、フレーム画像全体を、探索ウインドでスキャンする方法がある。このときには、探索ウインドの大きさを変化させながらフレーム画像の全体をスキャンする必要があり、撮像装置から時系列的に出力される各フレーム画像のそれぞれに対して、対象物の探索処理を行うには、膨大な演算処理を必要とし、また、演算時間も長くなってしまう。   In order to extract such an object from the frame image, there is a method of setting a search window and scanning the entire frame image with the search window. At this time, it is necessary to scan the entire frame image while changing the size of the search window, and the object search process is performed on each frame image output in time series from the imaging device. Requires an enormous amount of computation processing and also requires a long computation time.

ここから、特定の対象物を探索するときの演算処理量の削減及び、処理時間の短縮を図る方法としては、近赤外光を用いる撮像手段に加えて、可視光を用いる撮像手段を設け、可視光画像から道路のレーンマーキングを検出し、検出したレーンマーキングに基づいて、探索領域を限定する方法が提案されている(例えば、特許文献1参照。)。   From here, as a method of reducing the amount of calculation processing when searching for a specific object and shortening the processing time, in addition to the imaging means using near infrared light, an imaging means using visible light is provided, A method of detecting a lane marking of a road from a visible light image and limiting a search area based on the detected lane marking has been proposed (for example, see Patent Document 1).

また、可視光を用いる撮像手段に換えて、レーザーレーダを設け、レーザーレーダによって対象物の距離及び方向を特定することにより、フレーム画像上での探査領域を限定するようにした提案がなされている(例えば、特許文献2参照。)。   In addition, a proposal has been made to limit the search area on the frame image by providing a laser radar instead of the imaging means using visible light and specifying the distance and direction of the object by the laser radar. (For example, refer to Patent Document 2).

すなわち、特許文献1、特許文献2では、可視光用の撮像手段やレーザーレーダを用いることにより、検索領域を限定することにより、探索のための演算量や処理時間の短縮を図るようにしている。
特開2002−362302号公報 特開2003−302470号公報
In other words, in Patent Document 1 and Patent Document 2, the search area is limited by using an imaging means for visible light and a laser radar, thereby reducing the amount of calculation for search and the processing time. .
JP 2002-362302 A JP 2003-302470 A

しかしながら、上記提案の何れにおいても、探索領域を限定するためには、近赤外光を用いた撮像手段に加え、可視光やレーザー光を用いた撮像手段が必要となってしまう。   However, in any of the above proposals, in order to limit the search area, an imaging unit using visible light or laser light is required in addition to an imaging unit using near infrared light.

また、レーザーレーダを用いる場合、レーザーレーダに検出されないものは、探索対象から外れてしまうという問題が生じる。   Further, in the case of using a laser radar, there arises a problem that anything not detected by the laser radar is excluded from the search target.

本発明は上記事実に鑑みてなされたものであり、表示のための撮像手段に加え、対象物の位置や大きさ等の検知のための撮像手段を別に設けることなく、効率的な探索処理を可能とすることにより、探索のための演算量や処理時間の短縮を図ることができる対象物探索装置を提案することを目的とする。   The present invention has been made in view of the above facts, and in addition to an imaging means for display, an efficient search process can be performed without separately providing an imaging means for detecting the position, size, etc. of an object. An object of the present invention is to propose an object search apparatus capable of reducing the amount of calculation for search and the processing time by making it possible.

上記目的を達成するために本発明は、所定のフレームレートで対象物を撮像し、撮像により得られたフレーム画像を時系列的に出力する撮像手段と、予め設定されたサイズの異なる複数の候補領域を用い、探索する前記フレーム画像の間隔とする探索時間間隔を、サイズの小さい候補領域程長くなるように前記候補領域ごとに設定し、前記候補領域ごとに前記探索時間間隔に応じた前記フレーム画像に対して候補領域のサイズに応じた大きさの前記対象物の画像を探索する探索手段と、を含む。 In order to achieve the above object, the present invention provides an imaging means for imaging a target object at a predetermined frame rate, and outputting frame images obtained by imaging in time series, and a plurality of candidates having different preset sizes. A search time interval, which is an interval between the frame images to be searched , is set for each candidate region so that the candidate region with a smaller size becomes longer, and the frame corresponding to the search time interval is set for each candidate region. Search means for searching for an image of the object having a size corresponding to the size of the candidate area with respect to the image .

また、本発明の対象物探索装置は、所定のフレームレートで対象物を撮像し、撮像により得られたフレーム画像を時系列的に出力する撮像手段と、予め設定されたサイズの異なる複数の候補領域を用い、探索する前記フレーム画像の間隔とする探索時間間隔を、サイズの大きい候補領域程短くなるように前記候補領域ごとに設定し、前記候補領域ごとに前記探索時間間隔に応じた前記フレーム画像に対して候補領域のサイズに応じた大きさの前記対象物の画像を探索する探索手段と、を含む。 The object search device according to the present invention includes an imaging unit that images a target at a predetermined frame rate and outputs a frame image obtained by the imaging in time series, and a plurality of candidates having different preset sizes. A search time interval, which is an interval between the frame images to be searched , is set for each candidate region so as to be shorter as the candidate region is larger in size, and the frame corresponding to the search time interval is set for each candidate region. Search means for searching for an image of the object having a size corresponding to the size of the candidate area with respect to the image .

この発明によれば、撮像手段によって時系列的に出力されるフレーム画像から対象物を探索する。   According to this invention, the object is searched from the frame image output in time series by the imaging means.

撮像手段によって撮像される対象物は、そこまでの距離が近いと大きいが、離れるほど小さくなる。また、距離が離れるほど、単位時間当たりの移動量が少なく写る。また、対象物を探索するときの候補領域は、対象物が遠いほど小さくて済む。   The object imaged by the imaging means is large when the distance to the object is short, but it is small as it is separated. In addition, as the distance increases, the amount of movement per unit time decreases. Further, the candidate area for searching for an object may be smaller as the object is farther away.

ここから、本発明では、距離の遠い対象物を探索するときには、候補領域のサイズを小さくすると共に、探索時間間隔を長くする。また、距離が近づくほど、対象物の探索に用いる候補領域のサイズを大きくすると共に探索時間間隔を短くする。フレーム画像を時系列的に出力するときの探索時間間隔は、フレーム画像のフレーム間隔に置き換えることができ、サイズの大きい候補領域に対しては、探索するフレーム間隔を短くするが、候補領域のサイズが小さくなるほど探索に用いるフレーム間隔を広くする。 From this point, in the present invention, when searching for a distant object, the size of the candidate area is reduced and the search time interval is increased. Further, as the distance gets closer, the size of the candidate region used for searching for the target object is increased and the search time interval is shortened. The search interval for the time of output frame image time series can be replaced by a frame interval of a frame image, with respect to a large candidate region size, but to shorten the frame interval to be searched, the size of the candidate region The smaller the becomes, the wider the frame interval used for the search.

これにより、時系列的に出力される各フレーム画像に対して、対象物の探索のための演算量の削減や、処理時間の短縮を図ることができる。   Accordingly, it is possible to reduce the amount of calculation for searching for an object and shorten the processing time for each frame image output in time series.

このような本発明の前記探索手段は、サイズの小さな前記候補領域の場合には第1の所定フレーム数毎に前記フレーム画像を探索し、サイズの大きな前記候補領域の場合には前記第1の所定フレーム数より少ない第2のフレーム数毎に前記フレーム画像を探索する。 It said searching means of the present invention as described above, in the case of small the candidate region size searches the frame image for each first number of predetermined frame, in the case of large the candidate region size the first The frame image is searched for every second frame number smaller than the predetermined number of frames.

また、本発明の前記撮像手段は、車速を検出する車速検出手段を備えた車両に設けられて該車両の前方を撮像し、前記探索手段は、前記車速検出手段により検出される車速が速い程前記候補領域ごとの前記探索時間間隔を短くして前記フレーム画像を探索する。 Further, the image pickup means of the present invention is provided in a vehicle provided with a vehicle speed detection means for detecting a vehicle speed and images the front of the vehicle, and the search means detects the faster the vehicle speed detected by the vehicle speed detection means. The frame image is searched by shortening the search time interval for each candidate region .

この発明によれば、探索時間間隔に応じてフレーム数を設定し、設定したフレーム数ごとに対応するサイズの候補領域を用いてフレーム画像から対象物の探索を行う。このときに、サイズの小さ候補領域に対しては、第1の所定フレーム数ごとに探索し、サイズの大きな候補領域に対しては、第1の所定フレーム数より少ない第2のフレーム数ごとに探索する。 According to the present invention, the number of frames is set according to the search time interval, and the object is searched from the frame image using the candidate area having a size corresponding to each set number of frames. In this case, for the not small candidate area size, searches for every first predetermined number of frames, for large candidate region size, each first number of the second frame is less than a predetermined number of frames To explore.

また、車両に設けて前方の対象物を探索するときには、対象物が自車に接近する方向に相対移動する。このときの対象物の移動量は車速に影響することから、車速に応じて、車速が高くなるほど、探索時間間隔が短くなるように、探索領域ごとの探索時間間隔を換える。これにより、車両前方の対象物の的確な探索が可能となる。 Further, when searching for a front object provided in the vehicle, the object relatively moves in a direction approaching the host vehicle. Since the amount of movement of the object at this time affects the vehicle speed, the search time interval for each search region is changed so that the search time interval becomes shorter as the vehicle speed increases according to the vehicle speed. This allows precise search of the vehicle front side objects.

さらに、本発明においては、探索に設ける候補領域のサイズの大きさを複数段階に設定し、設定した探索領域ごとにサイズに応じた探索時間間隔ないし探索するフレーム間隔であるフレーム数を設定し、核探索領域に対して設定したフレーム数ごとに対象物の探索を行うものであっても良い。 Furthermore, in the present invention, the size of the size of the candidate area to be provided for the search is set in a plurality of stages, and the number of frames that are the search time interval or the frame interval to search for each set search area is set, An object may be searched for every number of frames set for the nuclear search region.

以上説明したように本発明によれば、時系列的に入力されるフレーム画像から対象物を探索して抽出するときに、異なる大きさの候補領域及び、候補領域の大きさに応じた検索時間間隔を設定し、設定に基づいた探索を行うことにより、各フレーム画像に対する探索のための演算量の削減、処理時間の短縮を図ることができるという優れた効果が得られる。   As described above, according to the present invention, when searching for and extracting an object from a frame image input in time series, different size candidate areas and search times corresponding to the sizes of the candidate areas By setting the interval and performing a search based on the setting, it is possible to obtain an excellent effect that it is possible to reduce the amount of calculation for searching each frame image and shorten the processing time.

以下に図面を参照しながら本発明の実施の形態を説明する。図1には、本実施の形態に適用した車両用撮像システム10の概略構成を示している。この車両用撮像システム10は、撮像装置12と、本発明を適用した探索装置として設けられて撮像装置12から出力される映像信号に対して所定の画像処理を施す画像処理装置14及び、画像処理装置14から出力される映像出力に応じた画像を表示するディスプレイ16を含んでいる。   Embodiments of the present invention will be described below with reference to the drawings. FIG. 1 shows a schematic configuration of a vehicle imaging system 10 applied to the present embodiment. The vehicle imaging system 10 includes an imaging device 12, an image processing device 14 that is provided as a search device to which the present invention is applied and that performs predetermined image processing on a video signal output from the imaging device 12, and image processing A display 16 for displaying an image corresponding to the video output output from the device 14 is included.

この車両用撮像システム10は、車両に設けられて、車両の前方を撮像して、車室内に設けているディスプレイ16に表示することにより、運転者の視覚支援を図る。   The vehicle imaging system 10 is provided in a vehicle, captures the front of the vehicle, and displays it on a display 16 provided in the passenger compartment, thereby providing visual assistance to the driver.

撮像装置12は、ライトユニット18、カメラユニット20を含んでいる。ライトユニット18は、車両の前方へ向けて所定波長の光を発する。カメラユニット20は、CCD、CMOSイメージセンサなどの撮像素子及び、入射される光を撮像素子上に結像する光学系(何れも図示省略)を含んでおり、車両前方側から入射される所定波長の光を受光する。   The imaging device 12 includes a light unit 18 and a camera unit 20. The light unit 18 emits light having a predetermined wavelength toward the front of the vehicle. The camera unit 20 includes an imaging device such as a CCD or CMOS image sensor, and an optical system (both not shown) that forms incident light on the imaging device, and has a predetermined wavelength incident from the front side of the vehicle. Receive the light.

これにより、光学系によって撮像素子に結像された画像に応じた電気信号が得られえる。また、カメラユニット20では、撮像素子から出力される電気信号に対してA/D変換、相関二重サンプリング、ゲインコントロールなどの各処理及び、所定のデジタル信号処理を施すことにより、1フレーム分の映像信号(フレーム画像の画像データ)を出力する。   Thereby, an electrical signal corresponding to the image formed on the image sensor by the optical system can be obtained. Further, the camera unit 20 performs each process such as A / D conversion, correlated double sampling, gain control, and predetermined digital signal processing on the electrical signal output from the image sensor, and thereby corresponds to one frame. A video signal (image data of a frame image) is output.

また、撮像装置12には、撮像制御部22が設けられている。撮像制御部22は、所定の同期信号及び露光制御信号を出力する。これにより、撮像装置12では、ランプユニット18及びカメラユニット20の作動が制御されて撮像が行われる。また、撮像制御部22では、カメラユニット20から映像信号を時系列に出力するように制御している。このような撮像装置12の基本的構成は、撮影画像に応じた映像信号を出力する公知の構成を適用することができる。   In addition, the imaging device 12 is provided with an imaging control unit 22. The imaging control unit 22 outputs a predetermined synchronization signal and exposure control signal. Thereby, in the imaging device 12, the operation | movement of the lamp unit 18 and the camera unit 20 is controlled, and imaging is performed. Further, the imaging control unit 22 performs control so that the video signal is output from the camera unit 20 in time series. A known configuration for outputting a video signal corresponding to a captured image can be applied to the basic configuration of such an imaging apparatus 12.

車両用撮像システム10に用いる撮像装置12では、所定波長の光として、赤外光のうちの近赤外光を用いることができる。このときには、ライトユニット18が、車両前方へ向けて近赤外光を発し、カメラユニット20が、例えば、近赤外光透過フィルタ等を用いるなどして、近赤外光の受光が可能となっていればよい。   The imaging device 12 used in the vehicle imaging system 10 can use near infrared light of infrared light as light of a predetermined wavelength. At this time, the light unit 18 emits near infrared light toward the front of the vehicle, and the camera unit 20 can receive near infrared light by using, for example, a near infrared light transmission filter. It only has to be.

これにより、撮像装置12では、ランプユニット18から照射した光が、車両前方の対象物で反射して、カメラユニット20に入射されることにより、対象物が撮像される。このとき、近赤外光を用いることにより、夜間走行時に、ヘッドライトの照射領域外で、運転者の視認が難しい領域の撮像が可能となるようにし、車両用撮像システム10では、この撮像装置12によって撮像した画像を表示手段に表示することにより、運転者の視覚支援が可能となるようにしている。   Thereby, in the imaging device 12, the light irradiated from the lamp unit 18 is reflected by the object in front of the vehicle and is incident on the camera unit 20, whereby the object is imaged. At this time, by using near-infrared light, it is possible to image a region that is difficult for the driver to visually recognize outside the headlight irradiation region during night driving. By displaying the image picked up by 12 on the display means, the driver's visual assistance is made possible.

なお、撮像手段として設けられる撮像装置としては、これに限らず、対象物が発する赤外線(遠赤外線)をカメラユニット20で受光するものであってもよく、このときには、ランプユニット18を不要(省略)することができる。また、撮像装置12としては、近赤外光、遠赤外光などの赤外光に限らず、可視光による撮像を行うものであってもよく、このときには、可視光を発する投光手段を、必要に応じて設ければよく、以下では、光源種を特定せずに説明する。   The imaging device provided as the imaging means is not limited to this, and the camera unit 20 may receive infrared rays (far infrared rays) emitted from an object. In this case, the lamp unit 18 is unnecessary (omitted). )can do. The imaging device 12 is not limited to infrared light such as near-infrared light and far-infrared light, and may be one that performs imaging with visible light. In this case, a light projecting unit that emits visible light is used. These may be provided as necessary, and will be described below without specifying the light source type.

フレーム画像を表示するディスプレイ16としては、LCD(液晶ディスプレイ)など、画像を直接又は間接的に表示する任意の表示手段を適用することができる。なお、撮像装置12で近赤外光を用いた撮像を行うときには、ディスプレイ16には、単色画像が表示される。なお、カメラユニット20で可視光を受光するときには、ディスプレイ16にカラー画像を表示してもよい。   As the display 16 for displaying a frame image, any display means for directly or indirectly displaying an image, such as an LCD (liquid crystal display), can be applied. Note that when the imaging device 12 performs imaging using near-infrared light, a monochromatic image is displayed on the display 16. When the camera unit 20 receives visible light, a color image may be displayed on the display 16.

一方、画像処理装置14には、特定画像抽出部24及び画像重畳部26が設けられている。特定画像抽出部24では、撮像装置12からフレーム画像として入力される映像信号から、例えば、歩行者などの所定の対象物を抽出する。   On the other hand, the image processing apparatus 14 is provided with a specific image extracting unit 24 and an image superimposing unit 26. The specific image extraction unit 24 extracts, for example, a predetermined object such as a pedestrian from the video signal input as a frame image from the imaging device 12.

図2(A)及び図2(B)に示すように、撮像装置12のカメラユニット20は、例えば、車両28のフロントシールドウインドの中央部上方に取り付けられ、車両28の前方を撮像する。このときのカメラユニット20の撮像範囲は、例えば、図2(A)に示すように、垂直方向が垂直画角φVの範囲であり、図2(B)に示すように、水平方向が水平画角φHの範囲となる。 As shown in FIGS. 2A and 2B, the camera unit 20 of the imaging device 12 is attached, for example, above the center of the front shield window of the vehicle 28 and images the front of the vehicle 28. The imaging range of the camera unit 20 at this time is, for example, as shown in FIG. 2A, the vertical direction is the range of the vertical field angle φ V , and the horizontal direction is horizontal as shown in FIG. the range of the angle of view φ H.

また、撮像装置12では、このカメラユニット20によって撮像を行うことにより、図3(A)に示すごとにフレーム画像30に応じた映像信号を出力する。   Further, the imaging device 12 outputs a video signal corresponding to the frame image 30 as shown in FIG. 3A by performing imaging with the camera unit 20.

特定画像抽出部24では、探索領域として所定サイズ(ウインドサイズ)の探索ウインド32を設定し、この探索ウインド32を、フレーム画像30の横方向(水平方向、図3(A)の矢印方向)及び縦方向(垂直方向)に、所定画素ずつずらすことによりスキャンし、探索ウインド32内で、探索する対象物の有無を判定する。なお、この探索ウインド32を用いた対象物の探索は、例えば、映像信号に対して二値化処理を施した画像データに対して、探索ウインド32を、横方向に順に所定画素ずつ(例えば2画素ずつ)ずらしながらスキャンし、横方向に対して1列分のスキャンが終了すると、縦方向に所定画素(例えば2画素分)だけずらしてスキャンを行う。これを繰り返し、探索ウインド32内に、対象物に近似した画像があるか否かを判定するなどの公知の手法を適用することができ、ここでは詳細な説明を省略する。   In the specific image extraction unit 24, a search window 32 having a predetermined size (window size) is set as a search area, and the search window 32 is set in the horizontal direction (horizontal direction, arrow direction in FIG. 3A) of the frame image 30. Scanning is performed by shifting predetermined pixels in the vertical direction (vertical direction), and the presence or absence of an object to be searched is determined in the search window 32. The search for the target object using the search window 32 is performed by, for example, scanning the search window 32 with respect to image data obtained by binarizing the video signal in order in the horizontal direction by a predetermined number of pixels (for example, 2 When scanning is performed while shifting one pixel at a time, and scanning for one column is completed in the horizontal direction, scanning is performed while shifting by a predetermined pixel (for example, two pixels) in the vertical direction. By repeating this, it is possible to apply a known method such as determining whether or not there is an image approximated to the object in the search window 32, and a detailed description thereof will be omitted here.

特定画像抽出部24では、探索ウインド32を用いたスキャンによって対象物を抽出すると、抽出した対象物のフレーム画像32上の位置及び大きさを含めた画像データを生成し、生成した画像データを画像重畳部26へ出力する。   In the specific image extraction unit 24, when an object is extracted by scanning using the search window 32, image data including the position and size of the extracted object on the frame image 32 is generated, and the generated image data is converted into an image. Output to the superimposing unit 26.

画像重畳部26は、撮像装置12から入力されるフレーム画像の映像信号に、特定画像抽出部24で生成した対象物の画像データを合成することにより、フレーム画像32に対象物を重畳し、ディスプレイ16へ出力する。   The image superimposing unit 26 superimposes the object on the frame image 32 by combining the image data of the object generated by the specific image extracting unit 24 with the video signal of the frame image input from the imaging device 12, and displays 16 is output.

これにより、車両用撮像システム10では、カメラユニット20から出力されたフレーム画像32上で、対象物が明確に示された画像がディスプレイ16に表示される。   Thus, in the vehicle imaging system 10, an image clearly showing the object is displayed on the display 16 on the frame image 32 output from the camera unit 20.

ところで、図1に示されるように、本実施の形態に適用した車両用撮像システム10では、画像処理装置14に探索設定部34が設けられている。この探索設定部34では、カメラユニット20で撮像されて撮像装置12から時系列的に入力されるフレーム画像30(映像信号)を順にカウントし、カウント値に応じて、対象物の探索に用いる探索ウインド32のウインドサイズを設定するようにしている。 By the way, as shown in FIG. 1, in the vehicle imaging system 10 applied to the present embodiment, a search setting unit 34 is provided in the image processing device 14. The search setting unit 34 sequentially counts the frame images 30 (video signals) captured by the camera unit 20 and input from the imaging device 12 in time series, and a search used for searching for an object according to the count value. The window size of the window 32 is set.

前記した特定画像抽出部24は、探索設定部34で選択されたフレーム画像に対し、探索設定部34で設定されたウインドサイズの探索ウインド32を用いて対象物の探索処理を行うようにしている。   The specific image extraction unit 24 performs the object search process on the frame image selected by the search setting unit 34 using the search window 32 having the window size set by the search setting unit 34. .

図4に示すように、探索する対象物を、歩行者としたときに(以下、対象物36とする)、この対象物36の大きさは、車両28との距離に応じて変化し、車両28に接近していれば、対象物36が大きな画像となり、車両28から離れるほど、フレーム画像30上で小さくなる。   As shown in FIG. 4, when the object to be searched is a pedestrian (hereinafter referred to as object 36), the size of the object 36 changes according to the distance from the vehicle 28. If it is close to 28, the object 36 becomes a large image and becomes smaller on the frame image 30 as it is farther from the vehicle 28.

特定画像抽出部24で、この対象物36を的確に検出するためには、フレーム画像30上の対象物36の大きさ(ウインドサイズ)に応じた探索ウインド32を用いる必要がある。 In order for the specific image extraction unit 24 to accurately detect the object 36, it is necessary to use a search window 32 corresponding to the size (window size) of the object 36 on the frame image 30 .

ここから、本実施の形態では、カメラユニット20として、垂直画角φVが12.57°の光学系、垂直方向の画素数が420画素の撮像素子を用いるときに、探索ウインド32のウインドサイズとして縦方向の画素数(縦画素数)を複数段階に設定している。   Accordingly, in the present embodiment, when the camera unit 20 uses an optical system having a vertical angle of view φV of 12.57 ° and an image sensor having a vertical pixel count of 420 pixels, the window size of the search window 32 is The number of pixels in the vertical direction (the number of vertical pixels) is set in a plurality of stages.

このとき、図3(B)に示すように、最小サイズとして縦画素数を32画素の探索ウインド32aを設定し、さらに、ウインドサイズ(縦画素数)を20%ずつ大きくして、32画素の探索ウインド32bから、385画素の32oまでの、15の探索ウインド32を設定している。すなわち、特定画像抽出部24では、32画素(探索ウインド32a)、38画素(探索ウインド32b)、45画素、54画素、64画素、76画素、91画素、109画素(探索ウインド32h)、130画素、156画素、187画素、224画素、268画素、321画素(探索ウインド32n)及び、385画素の探索ウインド32oのそれぞれを用いて、フレーム画像30から対象物36の抽出を行うことができるようになっている。なお、垂直画角φ、画素、探索ウインド32のウインドサイズ、数等は、一例を示すものであり、上記数値に限定するものではない。   At this time, as shown in FIG. 3B, a search window 32a having a vertical pixel count of 32 pixels is set as the minimum size, and the window size (vertical pixel count) is increased by 20% by 32%. Fifteen search windows 32 from the search window 32b to 385 pixels 32o are set. That is, in the specific image extraction unit 24, 32 pixels (search window 32a), 38 pixels (search window 32b), 45 pixels, 54 pixels, 64 pixels, 76 pixels, 91 pixels, 109 pixels (search window 32h), 130 pixels. The object 36 can be extracted from the frame image 30 using each of the search window 32o of 156 pixels, 187 pixels, 224 pixels, 268 pixels, 321 pixels (search window 32n) and 385 pixels. It has become. Note that the vertical angle of view φ, the pixels, the window size and the number of search windows 32 are examples, and are not limited to the above numerical values.

前記したごとく、カメラユニット20によって対象物36が撮像されるときの垂直画角である仰角φ(図4参照)は、車両28と対象物36との距離が短いと大きくなり、車両28と対象物36の距離が長いと小さくなる。   As described above, the elevation angle φ (see FIG. 4), which is the vertical angle of view when the object 36 is imaged by the camera unit 20, increases as the distance between the vehicle 28 and the object 36 is short. The longer the distance of the object 36, the smaller.

このとき、カメラユニット20の撮像素子上では、対象物36の大きさに応じて結像される画素数が変化し、対象物36がディスプレイ16上で小さく写るほど、縦画素数も少なくなる。   At this time, on the image sensor of the camera unit 20, the number of pixels to be imaged changes according to the size of the object 36. The smaller the object 36 appears on the display 16, the smaller the number of vertical pixels.

ここで、表1には、カメラユニット20によって、高さHが1.6mの対象物36を撮像するとき、ウインドサイズに設定している縦画素数に対する対象物36との距離(m)、垂直画角である仰角φ(°)を示している。   Here, Table 1 shows the distance (m) from the object 36 to the number of vertical pixels set to the window size when the camera unit 20 images the object 36 having a height H of 1.6 m. The elevation angle φ (°), which is the vertical field angle, is shown.

Figure 0004723934
Figure 0004723934

このように設定しているときに、探索ウインド32aで探索される対象物36の距離は108mであり、そのときの仰角φは、0.85°であり、探索ウインド32oで探索される対象物36の距離は9mとなる。   When set in this way, the distance of the object 36 searched for in the search window 32a is 108 m, the elevation angle φ at that time is 0.85 °, and the object searched for in the search window 32o. The distance of 36 is 9 m.

また、例えば、対象物36が、探索ウインド32a(縦画素数32画素)で抽出されるときと、サイズが1サイズ大きい探索ウインド32b(縦画素数38画素)で抽出されるときの距離差Δは、17mとなる。表1には、距離差Δ(m)として、探索ウインド32のサイズを、1ステップ変化させたときの距離の差を示している。   Further, for example, the distance difference Δ between when the object 36 is extracted with the search window 32a (vertical pixel number 32 pixels) and when the object 36 is extracted with the search window 32b (vertical pixel number 38 pixels) that is one size larger. Is 17 m. Table 1 shows the distance difference when the size of the search window 32 is changed by one step as the distance difference Δ (m).

一方、単位時間当たりに出力されるフレーム画像30の数(フレーム数)が同じであれば、走行中の車両28と対象物36との間の距離の変化は、主として車両28の走行速度が大きく起因する。   On the other hand, if the number of frame images 30 output per unit time (the number of frames) is the same, the change in the distance between the traveling vehicle 28 and the object 36 is mainly caused by the traveling speed of the vehicle 28 being large. to cause.

撮像装置12では、フレーム画像30を時系列的に出力するようにしており、このとき、フレーム画像30の出力レートを30フレーム/secとすると、フレーム間は33msecとなる。   The imaging device 12 outputs the frame images 30 in time series. At this time, if the output rate of the frame images 30 is 30 frames / sec, the frame interval is 33 msec.

表2には、車両28の速度ごとに、フレーム間(33msec)での走行距離を示している。   Table 2 shows the travel distance between frames (33 msec) for each speed of the vehicle 28.

Figure 0004723934
Figure 0004723934

表2に示すように、例えば、速度が40(km/h)のときには、1フレーム分のフレーム画像30が得られる間に、車両28は、0.37037(m)移動し、対象物36に接近する。   As shown in Table 2, for example, when the speed is 40 (km / h), the vehicle 28 moves 0.37037 (m) while the frame image 30 for one frame is obtained, and moves to the object 36. approach.

表1に示すように、対象物36が、探索ウインド32aで抽出される位置から探索ウインド32bで抽出される位置に移動したときには、距離差Δが17mであることから、車両28が17m走行したことになる。このとき、車両28が、速度40(km/h)で走行していれば、表2から、約46フレーム分のフレーム画像30が、撮像装置12から出力されて、画像処理装置14へ入力される。   As shown in Table 1, when the object 36 moves from the position extracted by the search window 32a to the position extracted by the search window 32b, the vehicle 28 traveled 17 m because the distance difference Δ is 17 m. It will be. At this time, if the vehicle 28 is traveling at a speed of 40 (km / h), the frame image 30 for about 46 frames is output from the imaging device 12 and input to the image processing device 14 from Table 2. The

また、探索ウインド32の1ステップ分である64画素の探索ウインド32で抽出される位置(距離54m)から、76画素の探索ウインド32で検出される位置(距離45m)に、対象物36が移動したときには、9m移動したことになり、このとき、車両28が、速度40(km/h)で走行していると、約24フレーム分のフレーム画像30が、画像処理装置14へ入力されることになる。   Further, the object 36 moves from the position (distance 54 m) extracted by the search window 32 of 64 pixels, which is one step of the search window 32, to the position (distance 45 m) detected by the search window 32 of 76 pixels. In this case, if the vehicle 28 is traveling at a speed of 40 km / h, the frame image 30 for about 24 frames is input to the image processing device 14. become.

ここから、画像処理装置14の探索設定部34では、探索ウインド32のそれぞれに対して、車速に応じて、探索時間間隔を設定している。このとき、探索ウインド32が、1ステップ変化するまでの時間の約1/2を目安として探索時間間隔を設定し、この探索時間間隔に基づいて、探索に用いるフレーム間隔、すなわち何フレームごとに探索を行うかのフレーム数を設定している。   From here, the search setting unit 34 of the image processing apparatus 14 sets a search time interval for each of the search windows 32 according to the vehicle speed. At this time, the search window 32 sets a search time interval with reference to about ½ of the time until one step changes, and based on this search time interval, the frame interval used for the search, that is, every frame is searched. Set the number of frames to perform.

表3には、このときのフレーム数の設定の一例を示している。   Table 3 shows an example of setting the number of frames at this time.

Figure 0004723934
Figure 0004723934

探索設定部34では、表3に示す設定を、例えば、車速と探索ウインドのサイズのマップとして記憶するようにしている。   The search setting unit 34 stores the settings shown in Table 3 as, for example, a map of vehicle speed and search window size.

また、図1に示すように、探索設定部34には、車速センサ38が接続している。この車速センサ38は、例えば、車両28(図1では図示省略)の車輪の回転数に応じた信号を出力し、探索設定部34では、この車速センサ38の出力から、車両28の走行速度(車速)を判断するようにしている。   As shown in FIG. 1, a vehicle speed sensor 38 is connected to the search setting unit 34. For example, the vehicle speed sensor 38 outputs a signal corresponding to the number of rotations of the wheels of the vehicle 28 (not shown in FIG. 1), and the search setting unit 34 uses the output of the vehicle speed sensor 38 to determine the travel speed ( Vehicle speed).

これにより、探索設定部34では、車速に応じて、探索ウインド32ごとに、探索時間間隔(又はフレーム数)を設定し、例えば、フレーム番号に、探索に用いる探索ウインド32を設定するか、探索ウインド32ごとに、探索を行うフレーム番号を設定する。   Thereby, the search setting unit 34 sets a search time interval (or the number of frames) for each search window 32 according to the vehicle speed, for example, sets the search window 32 used for the search in the frame number, or searches A frame number to be searched is set for each window 32.

探索設定部34では、撮像装置12から入力されるフレーム画像30の順番(番号)をカウントし、カウント値である順番に基づいて、フレーム画像30ごとに対象物36の探索に使用する探索ウインド32のウインドサイズを設定し、特定画像抽出部24は、この設定に基づいて対象物36の抽出を行うようになっている。   The search setting unit 34 counts the order (numbers) of the frame images 30 input from the imaging device 12, and uses the search window 32 used for searching for the object 36 for each frame image 30 based on the order that is the count value. The specific image extraction unit 24 extracts the object 36 based on this setting.

これにより、画像処理装置14では、探索ウインド32のそれぞれに設定されたフレーム数ごとに周期的に対象物36の探索を行うようにしている。   As a result, the image processing apparatus 14 periodically searches for the object 36 for each number of frames set in the search window 32.

このように構成されている車両用撮像システム10では、車両の図示しないイグニッションスイッチがオンされた状態で、図示しない電源スイッチがオンされることにより、ライトユニット18の投光を制御しながら、カメラユニット20によって車両28の前方を撮像し、撮像したフレーム画像を時系列的に出力しながら、ディスプレイ16に表示する。   In the vehicular imaging system 10 configured as described above, a camera is controlled while controlling the light projection of the light unit 18 by turning on a power switch (not shown) in a state where an ignition switch (not shown) of the vehicle is turned on. The front of the vehicle 28 is imaged by the unit 20 and displayed on the display 16 while outputting the captured frame images in time series.

このとき、車両用撮像システム10に設けている画像処理部14では、探索ウインド32を用い、撮像装置12から入力されるフレーム画像32から、対象物36を抽出すると、抽出した対象物36の画像を、フレーム画像30に重畳して、ディスプレイ16に表示するようにしている。   At this time, in the image processing unit 14 provided in the vehicle imaging system 10, when the object 36 is extracted from the frame image 32 input from the imaging device 12 using the search window 32, an image of the extracted object 36 is obtained. Is superimposed on the frame image 30 and displayed on the display 16.

これにより、車両用撮像システム10では、車両28の運転者が、ディスプレイ16に表示された画像から、可視範囲を外れた領域内の歩行者などを的確に視認できるようにしている。   Thereby, in the vehicle imaging system 10, the driver of the vehicle 28 can accurately visually recognize a pedestrian or the like in an area outside the visible range from the image displayed on the display 16.

ところで、車両用撮像システム10には、画像処理装置14に探索設定部34が設けられており、この探索設定部34で、撮像装置12から入力されるフレーム画像30ごとに、対象物36の探索を行うか否かと共に、探索を行うときに用いる探索ウインド32のウインドサイズを設定するようにしている。   In the vehicle imaging system 10, a search setting unit 34 is provided in the image processing device 14, and the search setting unit 34 searches for an object 36 for each frame image 30 input from the imaging device 12. The window size of the search window 32 used when performing the search is set together with whether or not to perform.

フレーム画像30から対象物36を抽出する特定画像抽出部24では、探索設定部34で設定されたフレーム画像30に対して、探索設定部34で設定された探索ウインド32を用いた探索処理を行うことにより、対象物36を抽出するようにしている。   The specific image extraction unit 24 that extracts the object 36 from the frame image 30 performs a search process using the search window 32 set by the search setting unit 34 on the frame image 30 set by the search setting unit 34. Thus, the object 36 is extracted.

ここで、図5を参照しながら、探索設定部34での処理を説明する。このフローチャートは、車両用撮像システム10の図示しない電源スイッチがオンされることにより実行され、電源スイッチがオフされるなどして、車両用撮像システム10の作動が停止することにより終了する。   Here, the processing in the search setting unit 34 will be described with reference to FIG. This flowchart is executed when a power switch (not shown) of the vehicular imaging system 10 is turned on, and ends when the operation of the vehicular imaging system 10 is stopped, for example, when the power switch is turned off.

このフローチャートでは、ステップ100で車速センサ38によって検出する車両28の速度(走行速度)を読み込むと、ステップ102では、前回と速度が変化したか否かを確認する。なお、本実施の形態では、車速を40(km/h)、60(km/h)、80(km/h)及び100(km/h)の4段階に設定しており、それぞれの段階での速度を基準速度又は中心速度として適用範囲を設定する。このとき、例えば、車速が40(km/h)のレベルでは0〜50(km/h)、60(km/h)、80(km/h)及び100(km/h)のレベルでは、50〜70(km/h)、70〜90(km/h)及び90(km/h)以上、などとして、前回の適用範囲をはずれたか否から車速が変化したか否かを判定するものであっても良く、また、これに限らず、探索ウインド32が設定されている車速に応じた任意の判定方法を適用することができる。   In this flowchart, when the speed (traveling speed) of the vehicle 28 detected by the vehicle speed sensor 38 is read in step 100, in step 102, it is confirmed whether or not the speed has changed from the previous time. In the present embodiment, the vehicle speed is set to four levels of 40 (km / h), 60 (km / h), 80 (km / h), and 100 (km / h). The application range is set with the speed of the reference as the reference speed or the center speed. At this time, for example, when the vehicle speed is 40 (km / h), the level is 0 to 50 (km / h), 60 (km / h), 80 (km / h), and 100 (km / h). -70 (km / h), 70-90 (km / h), and 90 (km / h) or more, etc., to determine whether or not the vehicle speed has changed from whether or not the previous application range was deviated. In addition, the present invention is not limited to this, and any determination method according to the vehicle speed at which the search window 32 is set can be applied.

ここで、車速が変化していると、ステップ102で肯定判定してステップ104へ移行し、検出した車速に応じた探索ウインド32ごとの探索時間間隔から、探索時間間隔(フレーム間隔)を設定する。このとき、大きいウインドサイズの探索ウインド32に対しては、探索時間間隔が短く設定され、ウインドサイズが小さくなるにしたがって、探索時間間隔が長くなるように設定される。   Here, if the vehicle speed has changed, an affirmative determination is made in step 102 and the routine proceeds to step 104, where a search time interval (frame interval) is set from the search time interval for each search window 32 corresponding to the detected vehicle speed. . At this time, the search time interval is set to be short for the search window 32 having a large window size, and the search time interval is set to be longer as the window size is reduced.

また、一つの探索ウインド32に対しては、車速が早く(高く)なるにしたがって、探索時間間隔が短くなるように設定される。なお、実質的に車速の変化がないと判断されると、前回の設定がそのまま用いられる。   For one search window 32, the search time interval is set shorter as the vehicle speed becomes faster (higher). When it is determined that there is substantially no change in the vehicle speed, the previous setting is used as it is.

さらに、探索を行うときには、使用する探索ウインド32が分散されるように設定されることが好ましい。例えば、車速が40(km/h)のときには、224画素〜385画素の探索ウインド32が、1フレームおきとなる。このときには、例えば、224画素と385画素の探索ウインド32を奇数番目に設定し、268画素と321画素の探索ウインドを偶数番目に設定する。これにより、探索処理を分散させることができる。   Furthermore, when performing a search, it is preferable that the search window 32 to be used is set to be distributed. For example, when the vehicle speed is 40 (km / h), the search window 32 of 224 to 385 pixels is every other frame. At this time, for example, the search window 32 of 224 pixels and 385 pixels is set to an odd number, and the search window of 268 pixels and 321 pixels is set to an even number. Thereby, the search process can be distributed.

一方、車両用撮像システム10では、30フレーム/secで、撮像装置12からフレーム画像30となる映像信号(以下、フレーム画像30とする)が入力されるようになっており、ステップ106では、フレーム画像30が入力されたか否かを確認し、フレーム画像30が入力されるとステップ106で肯定判定してステップ108へ移行する。   On the other hand, in the vehicle imaging system 10, a video signal (hereinafter referred to as a frame image 30) that becomes a frame image 30 is input from the imaging device 12 at 30 frames / sec. It is confirmed whether or not the image 30 has been input. When the frame image 30 has been input, an affirmative determination is made at step 106 and the routine proceeds to step 108.

このステップ108では、フレーム番号をカウントする。なお、このフレーム番号は、撮像装置12から入力されるフレーム画像30に、入力順に付与する。また、このフレーム番号は、装置がオンされたときにリセットされて、オフされるまでの間の通し番号であってもよく、また、車速の変化を検出したときや、所定の時間間隔又は、所定値に達したときにリセットされて、再カウントされるものであっても良い。   In this step 108, the frame number is counted. This frame number is assigned to the frame image 30 input from the imaging device 12 in the order of input. Further, this frame number may be a serial number from when the device is turned on until it is turned off, or when a change in vehicle speed is detected, at a predetermined time interval, or at a predetermined time It may be reset when the value is reached and recounted.

前記したように、探索設定部34では、車速と探索ウインド32のウインドサイズに基づいて、フレーム画像30の順番ごとに探索ウインド32が設定されるか、探索ウインド32ごとに、探索を実行するフレーム番号が設定されており、次のステップ110では、フレーム画像30のカウント番号から、探索に適用するウインドサイズ(探索ウインド32)を設定する。   As described above, the search setting unit 34 sets the search window 32 for each order of the frame images 30 based on the vehicle speed and the window size of the search window 32, or the frame for executing the search for each search window 32. In step 110, the window size (search window 32) to be applied to the search is set from the count number of the frame image 30.

この後、ステップ112では、入力されたフレーム画像30に対して、設定している探索ウインド32を用いて対象物36の探索処理を実行するように、特定画像抽出部24に指示する。   Thereafter, in step 112, the specific image extraction unit 24 is instructed to execute a search process for the object 36 using the set search window 32 for the input frame image 30.

特定画像抽出部24では、この指示を受けて、該当フレーム画像30に対して設定されているウインドサイズの探索ウインド32を用いた探索処理を行う。これにより、対象物36が抽出されたときには、その画像位置及び大きさの画像データを、画像重畳部26へ出力する。   In response to this instruction, the specific image extraction unit 24 performs a search process using the search window 32 having the window size set for the frame image 30. Thereby, when the object 36 is extracted, the image data of the image position and size is output to the image superimposing unit 26.

これにより、ディスプレイ16には、対象物36が明確となるフレーム画像30が表示される。   Thereby, the frame image 30 in which the object 36 is clear is displayed on the display 16.

このとき、縦画素数が多い大きいウインドサイズの探索ウインド32で近い距離の対象物36を探索するようにし、縦画素数が少ない小さいウインドサイズの探索ウインド32で離れた対象物36を検索するようにし、ウインドサイズの小さい探索ウインド32に対しては、ウインドサイズの大きい探索ウインド32に比べて探索時間間隔が長くなるようにしている。   At this time, an object 36 in a close distance is searched using a large window size search window 32 having a large number of vertical pixels, and a distant object 36 is searched using a small window size search window 32 having a small number of vertical pixels. For the search window 32 having a small window size, the search time interval is made longer than that for the search window 32 having a large window size.

これにより、全てのフレーム画像30に対して、全ての探索ウインド32を用いることなく、対象物36の探索を行うので、探索を行うための演算量の削減、処理時間の短縮を図ることができる。   Thereby, since the object 36 is searched for all the frame images 30 without using all the search windows 32, it is possible to reduce the amount of calculation for the search and the processing time. .

また、車速を検出して、車速が高いときには、車速が低いときに比べて、各ウインドサイズの探索ウインド32の探索時間間隔を短くし、短い周期で対象物36の探索を行うので、対象物36及び対象物36の動きを的確に把握できる画像をディスプレイ16に表示することができ、運転者の視覚支援を行うときの適正を損ねることがない。   Further, when the vehicle speed is detected and the vehicle speed is high, the search time interval of the search window 32 of each window size is shortened and the search for the target object 36 is performed in a shorter cycle than when the vehicle speed is low. The image which can grasp | ascertain the motion of 36 and the target object 36 accurately can be displayed on the display 16, and the appropriateness at the time of performing a driver | operator's visual assistance is not impaired.

なお、以上説明した本実施の形態は、本発明の構成を限定するものではない。例えば、本実施の形態では、撮像装置として、車両用撮像システム10に、画像処理装置14及びディスプレイ16を設けて説明したが、本発明は、時系列的に撮像されて出力されるフレーム画像から、対象物を抽出する任意の構成の画像処理装置に適用することができる。   In addition, this Embodiment demonstrated above does not limit the structure of this invention. For example, in the present embodiment, the image processing apparatus 14 and the display 16 are provided in the vehicle imaging system 10 as the imaging apparatus, but the present invention is based on a frame image that is captured and output in time series. The present invention can be applied to an image processing apparatus having an arbitrary configuration for extracting an object.

また、本実施の形態では、車両28に設けた車両用撮像システム10に用いて説明したが、本発明は、これに限らず、撮像した映像信号をディスプレイ16等の表示手段に表示しながら、画像処理を実行する任意の構成の撮像システムに適用することができる。   In the present embodiment, the vehicle imaging system 10 provided on the vehicle 28 has been described. However, the present invention is not limited to this, and the captured video signal is displayed on a display unit such as the display 16. The present invention can be applied to an imaging system having an arbitrary configuration that executes image processing.

本実施の形態に適用した車両用撮像システムの概略構成図である。It is a schematic block diagram of the imaging system for vehicles applied to this Embodiment. (A)は車両側方側から見た撮像装置での撮像範囲を示す概略図、(B)は車両上方側から見た撮像装置での撮像範囲を示す概略図である。(A) is the schematic which shows the imaging range in the imaging device seen from the vehicle side, (B) is the schematic which shows the imaging range in the imaging device seen from the vehicle upper side. (A)は探索ウインドを用いたフレーム画像上の探索を示す概略図、(B)は、探索に用いる探索ウインドを例示する概略図である。(A) is a schematic diagram illustrating a search on a frame image using a search window, and (B) is a schematic diagram illustrating a search window used for the search. 対象物の撮像を示す車両側方側から見た概略図である。It is the schematic seen from the vehicle side which shows the imaging of a target object. 探索するフレーム及び探索に用いる探索ウインドの設定の一例を示す流れ図である。It is a flowchart which shows an example of the setting of the frame to search, and the search window used for a search.

符号の説明Explanation of symbols

10 車両用撮像システム
12 撮像装置(撮像手段)
14 画像処理装置
16 ディスプレイ
18 ライトユニット(撮像手段)
20 カメラユニット(撮像手段)
22 撮像制御部(撮像手段)
24 特定画像抽出部(探索手段)
26 画像重畳部
28 車両
30 フレーム画像
32 探索ウインド(探索領域)
34 探索設定部(探索手段)
36 対象物
DESCRIPTION OF SYMBOLS 10 Imaging system for vehicles 12 Imaging device (imaging means)
14 Image processing device 16 Display 18 Light unit (imaging means)
20 Camera unit (imaging means)
22 Imaging control unit (imaging means)
24 Specific image extraction unit (search means)
26 Image superposition unit 28 Vehicle 30 Frame image 32 Search window (search area)
34 Search setting section (search means)
36 Target

Claims (4)

所定のフレームレートで対象物を撮像し、撮像により得られたフレーム画像を時系列的に出力する撮像手段と、
予め設定されたサイズの異なる複数の候補領域を用い、探索する前記フレーム画像の間隔とする探索時間間隔を、サイズの小さい候補領域程長くなるように前記候補領域ごとに設定し、前記候補領域ごとに前記探索時間間隔に応じた前記フレーム画像に対して候補領域のサイズに応じた大きさの前記対象物の画像を探索する探索手段と、
を含む対象物探索装置。
Imaging means for imaging an object at a predetermined frame rate and outputting frame images obtained by imaging in time series;
A plurality of candidate areas having different sizes set in advance, and a search time interval as an interval between the frame images to be searched is set for each candidate area so that the candidate area with a smaller size becomes longer. Search means for searching for an image of the object having a size corresponding to a size of a candidate area with respect to the frame image corresponding to the search time interval ;
An object search device including:
所定のフレームレートで対象物を撮像し、撮像により得られたフレーム画像を時系列的に出力する撮像手段と、
予め設定されたサイズの異なる複数の候補領域を用い、探索する前記フレーム画像の間隔とする探索時間間隔を、サイズの大きい候補領域程短くなるように前記候補領域ごとに設定し、前記候補領域ごとに前記探索時間間隔に応じた前記フレーム画像に対して候補領域のサイズに応じた大きさの前記対象物の画像を探索する探索手段と、
を含む対象物探索装置。
Imaging means for imaging an object at a predetermined frame rate and outputting frame images obtained by imaging in time series;
A plurality of candidate areas having different preset sizes are used, and a search time interval as an interval between the frame images to be searched is set for each candidate area so as to be shorter as the candidate area is larger in size. Search means for searching for an image of the object having a size corresponding to a size of a candidate area with respect to the frame image corresponding to the search time interval ;
An object search device including:
前記探索手段は、サイズの小さな前記候補領域の場合には第1の所定フレーム数毎に前記フレーム画像を探索し、サイズの大きな前記候補領域の場合には前記第1の所定フレーム数より少ない第2のフレーム数毎に前記フレーム画像を探索する請求項1又は請求項2記載の対象物探索装置。 The search means, in the case of small the candidate region size searches the frame image for each first number of predetermined frame, the smaller than the number of said first predetermined frame in the case of large the candidate region size The object search device according to claim 1, wherein the frame image is searched for every two frames. 前記撮像手段は、車速を検出する車速検出手段を備えた車両に設けられて該車両の前方を撮像し、
前記探索手段は、前記車速検出手段により検出される車速が速い程前記候補領域ごとの前記探索時間間隔を短くして前記フレーム画像を探索する請求項1から請求項3の何れか1項記載の対象物探索装置。
The imaging means is provided in a vehicle provided with vehicle speed detection means for detecting a vehicle speed, and images the front of the vehicle,
4. The search unit according to claim 1, wherein the search unit searches the frame image by shortening the search time interval for each candidate region as the vehicle speed detected by the vehicle speed detection unit increases. 5. Object search device.
JP2005193721A 2005-07-01 2005-07-01 Object search device Expired - Fee Related JP4723934B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005193721A JP4723934B2 (en) 2005-07-01 2005-07-01 Object search device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005193721A JP4723934B2 (en) 2005-07-01 2005-07-01 Object search device

Publications (2)

Publication Number Publication Date
JP2007013774A JP2007013774A (en) 2007-01-18
JP4723934B2 true JP4723934B2 (en) 2011-07-13

Family

ID=37751611

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005193721A Expired - Fee Related JP4723934B2 (en) 2005-07-01 2005-07-01 Object search device

Country Status (1)

Country Link
JP (1) JP4723934B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007030603A (en) * 2005-07-25 2007-02-08 Mazda Motor Corp Vehicle travel assisting device
US8223218B2 (en) 2008-12-05 2012-07-17 Panasonic Corporation Face detection apparatus

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001167282A (en) * 1999-12-10 2001-06-22 Toshiba Corp Device and method for extracting moving object
JP2002099997A (en) * 2000-09-26 2002-04-05 Mitsubishi Motors Corp Detection device for moving object
JP2003173435A (en) * 2001-12-06 2003-06-20 Tietech Co Ltd Moving body detecting method and moving body detecting device
JP2004334836A (en) * 2003-04-14 2004-11-25 Fuji Photo Film Co Ltd Method of extracting image feature, image feature extracting program, imaging device, and image processing device

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001167282A (en) * 1999-12-10 2001-06-22 Toshiba Corp Device and method for extracting moving object
JP2002099997A (en) * 2000-09-26 2002-04-05 Mitsubishi Motors Corp Detection device for moving object
JP2003173435A (en) * 2001-12-06 2003-06-20 Tietech Co Ltd Moving body detecting method and moving body detecting device
JP2004334836A (en) * 2003-04-14 2004-11-25 Fuji Photo Film Co Ltd Method of extracting image feature, image feature extracting program, imaging device, and image processing device

Also Published As

Publication number Publication date
JP2007013774A (en) 2007-01-18

Similar Documents

Publication Publication Date Title
JP4970516B2 (en) Surrounding confirmation support device
JP5421072B2 (en) Approaching object detection system
JP5233583B2 (en) In-vehicle monitoring device
EP2698982B1 (en) Image processing device
US9286512B2 (en) Method for detecting pedestrians based on far infrared ray camera at night
US20110157184A1 (en) Image data visualization
WO2014084251A1 (en) Onboard image processing system
JP2009089158A (en) Imaging apparatus
JP2009071836A (en) Automobile driving assistance device comprising a stereoscopic image capturing system
JP2012027773A (en) Pseudo grayscale image generation device and program
KR20190129684A (en) Imaging Device, Imaging Module, and Control Method of Imaging Device
JP2020516093A (en) Camera device and method for recognizing peripheral area of vehicle
JP2006318059A (en) Apparatus, method, and program for image processing
CN110536814B (en) Camera device and method for detecting a region of the surroundings of a vehicle in response to the surroundings
JP4723934B2 (en) Object search device
JP2010092353A (en) Image processing apparatus and image processing method
JP4782491B2 (en) Imaging device
JP2006178652A (en) Vehicle environment recognition system and image processor
JP4615536B2 (en) Display device
JP2017212633A (en) Imaging apparatus, imaging display method and imaging display program
JP2010020557A (en) Image processor and image processing method
KR102023863B1 (en) Display method around moving object and display device around moving object
JP4710437B2 (en) Object search device
JP2012142832A (en) Imaging apparatus
KR101405327B1 (en) Apparatus for monitoring objects on road

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080620

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20101122

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101207

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110207

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110405

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110408

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140415

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4723934

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313532

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140415

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees