JP2010128768A - Vehicle periphery monitor - Google Patents

Vehicle periphery monitor Download PDF

Info

Publication number
JP2010128768A
JP2010128768A JP2008302461A JP2008302461A JP2010128768A JP 2010128768 A JP2010128768 A JP 2010128768A JP 2008302461 A JP2008302461 A JP 2008302461A JP 2008302461 A JP2008302461 A JP 2008302461A JP 2010128768 A JP2010128768 A JP 2010128768A
Authority
JP
Japan
Prior art keywords
vehicle
image
unit
image processing
periphery
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008302461A
Other languages
Japanese (ja)
Other versions
JP5195351B2 (en
Inventor
Kunihiko Toyofuku
邦彦 豊福
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2008302461A priority Critical patent/JP5195351B2/en
Publication of JP2010128768A publication Critical patent/JP2010128768A/en
Application granted granted Critical
Publication of JP5195351B2 publication Critical patent/JP5195351B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a vehicle periphery monitor properly detecting an object on the periphery of a vehicle according to a situation on the periphery of the vehicle. <P>SOLUTION: This vehicle periphery monitor performing image processing of a pickup image wherein the periphery of the vehicle is imaged to detect the object includes: an other vehicle detection means 15 detecting presence of another vehicle on the periphery of the vehicle; and a change means 16 changing an image area that is a target of the image processing inside the pickup image according to a detection result of the other vehicle detection means 15. <P>COPYRIGHT: (C)2010,JPO&INPIT

Description

本発明は、車両周辺が撮像されている撮像画像を画像処理して対象物を検出する車両周辺監視装置に関する。   The present invention relates to a vehicle periphery monitoring device that detects an object by performing image processing on a captured image in which the periphery of the vehicle is captured.

従来から、車両周辺が撮像されている撮像画像を画像処理して対象物を検出する車両周辺監視装置として、撮像画像を複数の画像領域に区分し、先行車両を検出する目的で撮像画像の中央の画像領域を画像処理し、歩行者を検出する目的で撮像画像の左端及び右端の2つの画像領域を画像処理するものが知られている(例えば、特許文献1参照)。上記特許文献1記載の車両周辺監視装置は、目的毎に所定の画像領域を画像処理することで、カメラの画角の調節を不要とし、処理時間の短縮を図るものである。
特開2008−60873号公報
Conventionally, as a vehicle periphery monitoring device that detects an object by performing image processing on a captured image in which the periphery of the vehicle is captured, the captured image is divided into a plurality of image areas, and the center of the captured image is detected for the purpose of detecting a preceding vehicle. In order to detect pedestrians and to detect pedestrians, two left and right image regions of a captured image are image-processed (for example, see Patent Document 1). The vehicle periphery monitoring device described in Patent Document 1 performs image processing on a predetermined image area for each purpose, thereby eliminating the need to adjust the angle of view of the camera and reducing the processing time.
JP 2008-60873 A

しかしながら、上記特許文献1記載の車両周辺監視装置は、目的毎に画像処理の対象となる画像領域を変更することについて説明するが、同一目的で画像処理の対象となる画像領域を変更することについて言及がない。このため、車両周辺の状況によっては、画像処理の対象となる画像領域が適切ではなく、対象物を適切に検出できないことが考えられる。   However, although the vehicle periphery monitoring apparatus described in Patent Document 1 describes changing the image area to be image-processed for each purpose, it is about changing the image area to be image-processed for the same purpose. There is no mention. For this reason, depending on the situation around the vehicle, it is conceivable that the image region to be subjected to image processing is not appropriate and the object cannot be detected properly.

本発明は、上記に鑑みてなされたものであって、車両周辺の状況に応じて車両周辺の対象物を適切に検出することができる車両周辺監視装置の提供を目的とする。   The present invention has been made in view of the above, and an object of the present invention is to provide a vehicle periphery monitoring device that can appropriately detect an object around the vehicle according to the situation around the vehicle.

前記目的を達成するため、本発明は、車両周辺が撮像されている撮像画像を画像処理して対象物を検出する車両周辺監視装置において、
車両周辺の他車両の存在を検出する他車両検出手段と、
前記他車両検出手段の検出結果に応じて、前記撮像画像中の画像処理の対象となる画像領域を変更する変更手段とを備える。
In order to achieve the above object, the present invention provides a vehicle periphery monitoring device that detects an object by performing image processing on a captured image in which the periphery of the vehicle is captured.
Other vehicle detection means for detecting the presence of other vehicles around the vehicle;
Changing means for changing an image region to be subjected to image processing in the captured image in accordance with a detection result of the other vehicle detecting means.

本発明によれば、車両周辺の状況に応じて車両周辺の対象物を適切に検出することができる車両周辺監視装置が得られる。   ADVANTAGE OF THE INVENTION According to this invention, the vehicle periphery monitoring apparatus which can detect the target object around a vehicle appropriately according to the condition around a vehicle is obtained.

以下、図面を参照して、本発明を実施するための最良の形態の説明を行う。   The best mode for carrying out the present invention will be described below with reference to the drawings.

図1は、本発明に係る車両周辺監視装置の一実施例を示すブロック図である。図2は、車両周辺監視装置の車両搭載状態の一例を示す側面図である。図1に示すように、車両周辺監視装置は、車両周辺が撮像されている撮像画像を画像処理して歩行者等の対象物を検出する電子制御ユニット(以下、「車両周辺監視ECU」と称する)10を中心に構成される。車両周辺監視ECU10は、図示しないバスを介して互いに接続されたCPU、ROM、及びRAM等からなるマイクロコンピュータとして構成されている。ROMには、CPUが実行するプログラムやデータが格納されている。   FIG. 1 is a block diagram showing an embodiment of a vehicle periphery monitoring device according to the present invention. FIG. 2 is a side view showing an example of a vehicle mounting state of the vehicle periphery monitoring device. As shown in FIG. 1, the vehicle periphery monitoring device performs electronic processing on a captured image in which the periphery of the vehicle is imaged to detect an object such as a pedestrian (hereinafter referred to as “vehicle periphery monitoring ECU”). ) 10 is the center. The vehicle periphery monitoring ECU 10 is configured as a microcomputer including a CPU, a ROM, a RAM, and the like that are connected to each other via a bus (not shown). The ROM stores programs and data executed by the CPU.

車両周辺監視ECU10には、CANやLIN等の車載ネットワークを介して、赤外線ランプ20、赤外線カメラ30、画像表示装置40、車両周辺監視スイッチ50、光センサ60が接続されている。   An infrared lamp 20, an infrared camera 30, an image display device 40, a vehicle periphery monitoring switch 50, and an optical sensor 60 are connected to the vehicle periphery monitoring ECU 10 via an in-vehicle network such as CAN or LIN.

赤外線ランプ20は、車両周辺に赤外線を照射するものであって、例えば可視光をカットするフィルタにより赤外線のみを車両前方に照射する。赤外線ランプ20から照射される赤外光は、人の目に感じない領域の波長を有しており、例えば夜間走行時に対向車の運転者がまぶしく感じることがないので、対向車の運行に支障を与えることなく、車両の前方に照射できる。また、赤外線は、可視光に比べて波長が長く、散乱しにくい性質があるため、雨や霧で視界が開けないときも、車両前方の対象物の画像を撮像しやすい。   The infrared lamp 20 irradiates the vehicle periphery with infrared rays, and irradiates only the infrared rays forward of the vehicle with a filter that cuts visible light, for example. The infrared light emitted from the infrared lamp 20 has a wavelength in a region that is not felt by human eyes. For example, the driver of the oncoming vehicle does not feel dazzling when driving at night, which hinders the operation of the oncoming vehicle. Irradiation in front of the vehicle without giving In addition, infrared rays have a longer wavelength than visible light and are difficult to scatter. Therefore, even when the field of view cannot be opened due to rain or fog, it is easy to capture an image of an object in front of the vehicle.

赤外線カメラ30は、車両周辺を撮像するものであって、車両周辺からの赤外線を受光して画像信号を出力する。例えば、赤外線カメラ30は、赤外線を照射された対象物から反射した赤外線の反射率の差により対象物を撮像する。具体的には、赤外線カメラ30は、レンズ部がフロントガラスの内側から車両の前方に向けて取り付けられており、車両前方からの近赤外線を受光するように車両の天井付近に設けられている。   The infrared camera 30 images the periphery of the vehicle, receives infrared rays from the periphery of the vehicle, and outputs an image signal. For example, the infrared camera 30 captures an image of an object based on a difference in reflectance of infrared light reflected from the object irradiated with infrared light. Specifically, the infrared camera 30 has a lens portion attached from the inside of the windshield toward the front of the vehicle, and is provided near the ceiling of the vehicle so as to receive near infrared light from the front of the vehicle.

画像表示装置40は、赤外線カメラ30が出力する画像信号を画像として表示する。例えば、画像表示装置40は、ヘッドアップディスプレイを用いる。ヘッドアップディスプレイは、運転席の前のメータ上面に取り付けられており、赤外線カメラ30が出力する画像信号から得られた画像(以下、「撮像画像」と称する)をフロントガラス2の内面に投影して表示する。   The image display device 40 displays an image signal output from the infrared camera 30 as an image. For example, the image display device 40 uses a head-up display. The head-up display is attached to the upper surface of the meter in front of the driver's seat, and projects an image (hereinafter referred to as “captured image”) obtained from the image signal output from the infrared camera 30 onto the inner surface of the windshield 2. To display.

車両周辺監視スイッチ50は、常態でオフに設定されており、ユーザによる操作に応じてオン信号を出力する。車両周辺監視装置は、車両周辺監視スイッチ50がユーザによってオンに操作されると、車両周辺監視ECU10、赤外線ランプ20、赤外線カメラ30、画像表示装置40を駆動して、運転者の運転操作を支援する。   The vehicle periphery monitoring switch 50 is normally set to OFF and outputs an ON signal in response to an operation by the user. When the vehicle periphery monitoring switch 50 is turned on by the user, the vehicle periphery monitoring device drives the vehicle periphery monitoring ECU 10, the infrared lamp 20, the infrared camera 30, and the image display device 40 to support the driving operation of the driver. To do.

夜間走行する場合等、運転者は、ヘッドランプ4からの可視光が照射される領域を目視により確認すると共に、画像表示装置40により投影された撮像画像をフロントガラス2の位置で見ながら車両を運行する。   When traveling at night or the like, the driver visually confirms the area irradiated with the visible light from the headlamp 4 and looks at the captured image projected by the image display device 40 at the position of the windshield 2. to operate.

光センサ60は、車両周辺からの光を受光して光量に応じた信号を出力するセンサである。例えば、光センサ60は、先行車両のテールランプ(赤色灯)からの光を受光して光量に応じた信号を出力する先行車両用光センサ62と、対向車両のヘッドランプからの光を受光して光量に応じた信号を出力する対向車両用光センサ64とを備える。   The optical sensor 60 is a sensor that receives light from around the vehicle and outputs a signal corresponding to the amount of light. For example, the optical sensor 60 receives light from a tail lamp (red light) of a preceding vehicle and outputs a signal corresponding to the amount of light, and light from a headlamp of an oncoming vehicle. And an on-vehicle optical sensor 64 that outputs a signal corresponding to the amount of light.

先行車両用光センサ62は、自車線上の所定範囲(例えば、車両前方50m以内の範囲)からの光を受光するように設けられている。先行車両用光センサ62は、受光部がフロントガラスの内側から車両の前方に向けて取り付けられており、先行車両のテールランプ(赤色灯)からの光を受光するようにインストルメントパネル部の上面に設けられている。   The preceding vehicle light sensor 62 is provided so as to receive light from a predetermined range on the own lane (for example, a range within 50 m ahead of the vehicle). The light sensor 62 for the preceding vehicle has a light receiving portion attached to the front of the vehicle from the inside of the windshield, and is provided on the upper surface of the instrument panel portion so as to receive light from the tail lamp (red light) of the preceding vehicle. Is provided.

対向車両用光センサ64は、対向車線上の所定範囲(走行道路が左側通行の場合、例えば車両右前方50m以内の範囲、走行道路が右側通行の場合、例えば車両左前方50m以内の範囲)からの光を受光するように設けられている。対向車両用光センサ64は、受光部がフロントガラスの内側から車両の斜め前方に向けて取り付けられており、対向車両のヘッドランプからの光を受光するようにインストルメントパネル部の上面に設けられている。   The oncoming vehicle light sensor 64 is from a predetermined range on the oncoming lane (for example, a range within 50 m forward right of the vehicle when the road is on the left, and a range within 50 m front left when the road is on the right). It is provided so as to receive the light. The oncoming vehicle light sensor 64 has a light receiving portion attached obliquely forward of the vehicle from the inside of the windshield, and is provided on the upper surface of the instrument panel portion so as to receive light from the headlamp of the oncoming vehicle. ing.

図3は、車両周辺監視ECU10の主要機能を示す機能ブロック図である。車両周辺監視ECU10は、画像作成手段11と、対象物検出手段12と、制御手段13と、強調手段14と、他車両検出手段15と、変更手段16とを備える。車両周辺監視ECU10は、各種手段11〜16に対応する制御プログラムをROM等に格納し、それらの制御プログラムをCPUに実行させることで各種機能を実現する。   FIG. 3 is a functional block diagram showing the main functions of the vehicle periphery monitoring ECU 10. The vehicle periphery monitoring ECU 10 includes an image creation unit 11, an object detection unit 12, a control unit 13, an enhancement unit 14, an other vehicle detection unit 15, and a change unit 16. The vehicle periphery monitoring ECU 10 stores control programs corresponding to the various means 11 to 16 in a ROM or the like, and realizes various functions by causing the CPU to execute these control programs.

画像作成手段11は、赤外線カメラ30が出力した画像信号から撮像画像を作成する手段である。   The image creating means 11 is a means for creating a captured image from the image signal output from the infrared camera 30.

対象物検出手段12は、画像作成手段11が作成した撮像画像を画像処理して、車両周辺の歩行者等の対象物を検出する手段である。例えば、エッジ処理、ガンマ補正、二値化処理等の画像処理を行い、ROM等に登録済みの画像データによるマッチング処理を行う方法がある。これにより、対象物の有無を検出する他、対象物の種別(歩行者、道路標識、建物等の種別)を判別してもよいし、対象物に対応する画像領域を抽出してもよい。   The object detection means 12 is a means for detecting an object such as a pedestrian around the vehicle by subjecting the captured image created by the image creation means 11 to image processing. For example, there is a method in which image processing such as edge processing, gamma correction, and binarization processing is performed, and matching processing is performed using image data registered in a ROM or the like. Thereby, in addition to detecting the presence or absence of an object, the type of the object (type of pedestrian, road sign, building, etc.) may be determined, or an image area corresponding to the object may be extracted.

制御手段13は、対象物検出手段12の検出結果が歩行者等の生体の存在を示すものである場合、画像表示装置40やスピーカ等の出力装置を駆動し、歩行者等の生体の存在を運転者に対して報知する。これにより、運転者の注意を喚起する。   When the detection result of the object detection means 12 indicates the presence of a living body such as a pedestrian, the control means 13 drives the output device such as the image display device 40 or a speaker to detect the presence of a living body such as a pedestrian. Notify the driver. This alerts the driver.

強調手段14は、画像作成手段11が作成した撮像画像を画像処理(加工)して、対象物検出手段12が検出、判別、抽出した歩行者等の生体の画像領域を強調する手段である。例えば、撮像画像中の歩行者の画像領域を所定色(例えば、白色)で塗りつぶして強調を行う方法や、撮像画像中の歩行者の画像領域を所定色(例えば、白色)の枠で囲むことで強調を行う方法がある。   The enhancement unit 14 is a unit that performs image processing (processing) on the captured image created by the image creation unit 11 and emphasizes an image region of a living body such as a pedestrian detected, identified, and extracted by the object detection unit 12. For example, a method for emphasizing a pedestrian image area in a captured image by filling it with a predetermined color (for example, white) or surrounding a pedestrian image area in a captured image with a frame of a predetermined color (for example, white) There is a way to emphasize.

また、強調手段14は、自車両から歩行者等の生体までの距離に応じて強調度を変更してもよい。具体的には、自車両から近い歩行者ほど強調する。   The emphasis unit 14 may change the emphasis degree according to the distance from the host vehicle to a living body such as a pedestrian. Specifically, emphasis is given to pedestrians that are closer to the vehicle.

制御手段13は、画像表示装置40を駆動して、強調手段14が画像処理(加工)した撮像画像を動画として表示する。これにより、運転者には歩行者等の生体が強調表示されて見える。また、運転者には距離が近く注目すべき生体が強調表示されて見えるので、注目すべき優先度を知ることができる。   The control unit 13 drives the image display device 40 to display the captured image processed (processed) by the enhancement unit 14 as a moving image. Thereby, a living body such as a pedestrian is highlighted for the driver. In addition, since the driver sees the living body that should be noticed at a short distance, the priority that should be noticed can be known.

他車両検出手段15は、車両周辺の他車両の存在(他車両のランプの点灯)を検出する手段である。例えば、他車両検出手段15は、先行車両用光センサ62が出力する信号を入力して、先行車両の有無を検出する。また、他車両検出手段15は、対向車両用光センサ64が出力する信号を入力して、対向車両の有無を検出する。他車両検出手段15は、これらの検出結果を変更手段16に出力する。出力される検出結果には、先行車両の有無、対向車両の有無を示す情報が含まれている。   The other vehicle detection means 15 is a means for detecting the presence of other vehicles around the vehicle (lighting of the lamps of other vehicles). For example, the other vehicle detection means 15 inputs a signal output from the preceding vehicle optical sensor 62 and detects the presence or absence of the preceding vehicle. Moreover, the other vehicle detection means 15 inputs the signal which the optical sensor 64 for oncoming vehicles outputs, and detects the presence or absence of an oncoming vehicle. The other vehicle detection means 15 outputs these detection results to the change means 16. The output detection result includes information indicating the presence / absence of a preceding vehicle and the presence / absence of an oncoming vehicle.

尚、本実施例の他車両検出手段15は、光センサ62、64が出力する信号を入力して車両周辺の他車両の存在を検出するとしたが、レーザレーダやミリ波レーダ、超音波センサ等を用いて車両周辺に電波等を送信しその反射波を受信することで車両周辺の他車両の存在を検出してもよく、車両周辺の他車両の存在を検出する検出方法に制限はない。   The other vehicle detection means 15 of the present embodiment inputs the signals output from the optical sensors 62 and 64 and detects the presence of other vehicles around the vehicle. However, a laser radar, a millimeter wave radar, an ultrasonic sensor, etc. The presence of other vehicles in the vicinity of the vehicle may be detected by transmitting a radio wave or the like around the vehicle and receiving the reflected wave using, and there is no limitation on the detection method for detecting the presence of the other vehicle in the vicinity of the vehicle.

尚、光センサ62、64を用いる場合、レーザレーダやミリ波レーダ、超音波センサ等を用いる場合に比較して、安価な構成で車両周辺の他車両の存在を検出することができる。一方、レーザレーダ等を用いる場合、光センサ62、64を用いる場合に比較して、他車両との車間距離及び相対速度を検出することができるので、例えば車両前方の他車両が先行車両か対向車両かを正確に判別することができる。   In the case where the optical sensors 62 and 64 are used, it is possible to detect the presence of other vehicles around the vehicle with an inexpensive configuration compared to the case where a laser radar, a millimeter wave radar, an ultrasonic sensor, or the like is used. On the other hand, when a laser radar or the like is used, the inter-vehicle distance and relative speed with respect to other vehicles can be detected as compared with the case where the optical sensors 62 and 64 are used. It is possible to accurately determine whether the vehicle is a vehicle.

変更手段16は、他車両検出手段15の検出結果に応じて、撮像画像中の画像処理の対象となる画像領域を変更する手段である。即ち、変更手段16は、車両周辺に他車両が存在する場合、他車両のヘッドランプによって自車両のヘッドランプの照射領域外が照明されており運転者が目視で確認できる範囲が変化することに着目して、撮像画像中の画像処理の対象となる画像領域を変更するものである。   The changing unit 16 is a unit that changes the image area to be subjected to image processing in the captured image in accordance with the detection result of the other vehicle detecting unit 15. That is, when there is another vehicle around the vehicle, the changing means 16 changes the range that the driver can visually confirm because the headlamp of the other vehicle illuminates the outside of the irradiation area of the headlamp of the own vehicle. Attention is paid to changing the image area to be subjected to image processing in the captured image.

図4は、画像作成手段11が作成した撮像画像、及び撮像画像中の画像処理の対象となる画像領域の一例を示す模式図であり、(A)は対向車両が有り且つ先行車両が無い場合の模式図、(B)は対向車両が無く且つ先行車両が有る場合の模式図、(C)は対向車両及び先行車両のいずれも無い場合の模式図である。   FIG. 4 is a schematic diagram illustrating an example of a captured image created by the image creating unit 11 and an image area to be subjected to image processing in the captured image. FIG. 4A illustrates a case where there is an oncoming vehicle and no preceding vehicle. (B) is a schematic diagram when there is no oncoming vehicle and there is a preceding vehicle, and (C) is a schematic diagram when there is neither an oncoming vehicle nor a preceding vehicle.

赤外線カメラ30が撮像した撮像画像は、例えば、図4に示すように、車両前方の方向を撮像したものであって、自車線L1や対向車線L2等の車道と、歩道や建物等の車道両脇とを含んでいる。尚、図4において、走行道路は左側通行である。   For example, as shown in FIG. 4, the captured image captured by the infrared camera 30 is an image of the direction in front of the vehicle, such as a roadway such as the own lane L1 or the oncoming lane L2, and a roadway such as a sidewalk or a building. Includes armpits. In FIG. 4, the traveling road is left-hand traffic.

図4(A)に示す例では、車両前方の所定範囲(例えば、50m以内の範囲)に対向車両C1が存在するので、対向車両C1のヘッドランプによって対向車線L2が照明されている。従って、運転者は、対向車線L2上の対象物を目視で確認でき、画像表示装置40が投影する撮像画像で確認する必要がない。   In the example shown in FIG. 4A, since the oncoming vehicle C1 exists in a predetermined range (for example, a range within 50 m) ahead of the vehicle, the oncoming lane L2 is illuminated by the headlamp of the oncoming vehicle C1. Therefore, the driver can visually confirm the object on the oncoming lane L2, and does not need to confirm the captured image projected by the image display device 40.

そこで、変更手段16は、他車両検出手段15の検出結果が対向車両C1の存在を示すものである場合、画像処理の対象となる画像領域を撮像画像P1中の画像領域A1(図4(A)参照)に設定する。画像領域A1は、自車線L1に対応する領域A1−1と、自車線L1を基準として対向車線L2と反対側(左側通行では自車線L1より左側、右側通行では自車線L1より右側)に対応する領域A1−2とを含む。   Therefore, when the detection result of the other vehicle detection unit 15 indicates the presence of the oncoming vehicle C1, the changing unit 16 selects the image region A1 in the captured image P1 as the image region to be subjected to image processing (FIG. 4 (A ))). The image area A1 corresponds to the area A1-1 corresponding to the own lane L1, and the opposite side of the opposite lane L2 with respect to the own lane L1 (left side from the own lane L1 for left-hand traffic, right side from the own lane L1 for right-hand traffic). Region A1-2.

このように、画像処理の対象となる画像領域を撮像画像P1中の特定の画像領域A1に設定することで、対象物検出手段12や強調手段14の画像処理の速度を向上することができる。これにより、例えば、歩行者等の生体の存在を運転者に対して比較的に早期に報知することができる。また、特定の画像領域A1の歩行者等の生体の画像領域が強調されるので、注目すべき優先度を運転者に提示することができる。   In this way, by setting the image region to be subjected to image processing to the specific image region A1 in the captured image P1, the speed of the image processing of the object detection unit 12 and the enhancement unit 14 can be improved. Thereby, for example, the presence of a living body such as a pedestrian can be notified to the driver relatively early. Further, since the image area of a living body such as a pedestrian in the specific image area A1 is emphasized, a priority to be noted can be presented to the driver.

図4(B)に示す例では、車両前方の所定範囲(例えば、50m以内の範囲)に先行車両C2が存在するので、先行車両C2のヘッドランプによって自車線L1上の遠方が照明されている。従って、運転者は、自車線L1上の遠方の対象物を目視で確認でき、画像表示装置40が投影する撮像画像で確認する必要がない。   In the example shown in FIG. 4B, since the preceding vehicle C2 exists in a predetermined range (for example, a range within 50 m) ahead of the vehicle, the distant portion on the own lane L1 is illuminated by the headlamp of the preceding vehicle C2. . Therefore, the driver can visually confirm a distant object on the own lane L1, and does not need to confirm the captured image projected by the image display device 40.

そこで、変更手段16は、他車両検出手段15の検出結果が先行車両C2の存在を示すものである場合、画像処理の対象となる画像領域を撮像画像P2中の画像領域A2(図4(B)参照)に設定する。画像領域A2は、自車線L1より左側に対応する領域A2−1と、自車線L1より右側に対応する領域A2−2とを含む。   Therefore, when the detection result of the other vehicle detection unit 15 indicates the presence of the preceding vehicle C2, the changing unit 16 selects the image region to be subjected to image processing as the image region A2 in the captured image P2 (FIG. 4B). ))). The image area A2 includes an area A2-1 corresponding to the left side of the own lane L1 and an area A2-2 corresponding to the right side of the own lane L1.

このように、画像処理の対象となる画像領域を撮像画像P2中の特定の画像領域A2に設定することで、対象物検出手段12や強調手段14の画像処理の速度を向上することができる。これにより、例えば、歩行者等の生体の存在を運転者に対して比較的に早期に報知することができる。また、特定の画像領域A2の歩行者等の生体の画像領域が強調されるので、注目すべき優先度を運転者に提示することができる。   In this way, by setting the image region to be subjected to image processing to the specific image region A2 in the captured image P2, the speed of the image processing of the object detection unit 12 and the enhancement unit 14 can be improved. Thereby, for example, the presence of a living body such as a pedestrian can be notified to the driver relatively early. In addition, since the image area of a living body such as a pedestrian in the specific image area A2 is emphasized, a priority to be noted can be presented to the driver.

図4(C)に示す例では、車両前方の所定範囲に対向車両及び先行車両が存在しないので、運転者が対向車線L2上の対象物や自車線L1上の遠方の対象物を目視で確認することは困難である。   In the example shown in FIG. 4C, since the oncoming vehicle and the preceding vehicle do not exist in a predetermined range in front of the vehicle, the driver visually confirms the object on the oncoming lane L2 and the object on the far side of the own lane L1. It is difficult to do.

そこで、変更手段16は、他車両検出手段15の検出結果が対向車両及び先行車両の不在を示すものである場合、画像処理の対象となる画像領域を撮像画像P3中の画像領域A3(図4(C)参照)に設定する。画像領域A3は、上述の画像領域A1及びA2を含み、撮像画像P3の車幅方向全域に及ぶ。   Therefore, when the detection result of the other vehicle detection unit 15 indicates the absence of the oncoming vehicle and the preceding vehicle, the changing unit 16 selects the image region to be subjected to image processing as the image region A3 in the captured image P3 (FIG. 4). (See (C)). The image area A3 includes the above-described image areas A1 and A2, and extends over the entire vehicle width direction of the captured image P3.

このように、画像処理の対象となる画像領域を撮像画像P3中の画像領域A3に設定することで、自車両のヘッドランプの照射領域外に潜在する、歩行者等の対象物の存在を確実に検出することができる。   In this way, by setting the image area to be subjected to image processing to the image area A3 in the captured image P3, it is possible to ensure the presence of an object such as a pedestrian that exists outside the irradiation area of the headlamp of the host vehicle. Can be detected.

ここで、車両監視ECU10が実行する処理の一例について図5を参照して説明する。図5は、車両監視ECU10が実行する処理の一例を示すフローチャートである。尚、図5において、走行道路は左側通行である。   Here, an example of processing executed by the vehicle monitoring ECU 10 will be described with reference to FIG. FIG. 5 is a flowchart illustrating an example of processing executed by the vehicle monitoring ECU 10. In FIG. 5, the traveling road is left-hand traffic.

車両監視ECU10は、車両周辺監視スイッチ50がオンに操作されてから、オフに操作されるまでの間、所定時間毎に図5のS100以降の処理を行う。   The vehicle monitoring ECU 10 performs the processing after S100 in FIG. 5 every predetermined time from when the vehicle periphery monitoring switch 50 is turned on until it is turned off.

先ず、画像作成手段11が、赤外線カメラ30から出力された画像信号を用いて撮像画像を作成する(S100)。続いて、他車両検出手段15が、光センサ62、64から出力された信号を入力して、車両前方の所定範囲の対向車両の有無、及び先行車両の有無を検出する(S102)。   First, the image creation means 11 creates a captured image using the image signal output from the infrared camera 30 (S100). Subsequently, the other vehicle detection means 15 inputs signals output from the optical sensors 62 and 64, and detects the presence or absence of an oncoming vehicle in a predetermined range in front of the vehicle and the presence or absence of a preceding vehicle (S102).

対向車両及び先行車両が存在する場合(S104、YES)、変更手段16が、画像処理の対象となる画像領域を、自車線L1を基準として対向車線L2と反対側に対応する画像領域A1−2に設定し(S106)、S118に進む。   When there is an oncoming vehicle and a preceding vehicle (S104, YES), the changing unit 16 sets the image area A1-2 corresponding to the opposite side of the oncoming lane L2 with respect to the own lane L1. (S106), and the process proceeds to S118.

また、対向車両のみ存在する場合(S108、YES)、変更手段16が、画像処理の対象となる画像領域を、自車線L1に対応する画像領域A1−1、及び自車線L1を基準として対向車線L2と反対側に対応する画像領域A1−2に設定し(S110)、S118に進む。   When only the oncoming vehicle exists (S108, YES), the changing unit 16 sets the image area to be subjected to image processing as the oncoming lane based on the image area A1-1 corresponding to the own lane L1 and the own lane L1. The image area A1-2 corresponding to the side opposite to L2 is set (S110), and the process proceeds to S118.

或いは、先行車両のみ存在する場合(S112、YES)、変更手段16が、画像処理の対象となる画像領域を、自車線L1より左側に対応する画像領域A2−1、及び自車線L1より右側に対応する画像領域A2−2に設定し(S114)、S118に進む。   Alternatively, when only the preceding vehicle exists (S112, YES), the changing unit 16 sets the image area to be subjected to image processing to the right side of the own lane L1 and the image area A2-1 corresponding to the left side of the own lane L1. The corresponding image area A2-2 is set (S114), and the process proceeds to S118.

一方、対向車両及び先行車両のいずれも不在の場合(S112、NO)、変更手段16が、画像処理の対象となる画像領域を、画像領域A1及びA2を含み、撮像画像の車幅方向全域に及ぶ画像領域A3に設定し(S116)、S118に進む。   On the other hand, when neither the oncoming vehicle nor the preceding vehicle is present (S112, NO), the changing unit 16 includes the image regions A1 and A2 as image processing target images in the entire vehicle width direction of the captured image. The image area A3 is set (S116), and the process proceeds to S118.

S118では、対象物検出手段12が、変更手段16によって設定された画像領域を画像処理して、歩行者等の対象物の有無を検出する。続いて、強調手段14が、画像作成手段11によって作成された撮像画像を画像処理(加工)して、対象物検出手段12によって検出、判別、抽出された歩行者等の生体の画像領域を強調する(S120)。最後に、制御手段13が、画像表示装置40を駆動して、強調手段14によって画像処理(加工)された撮像画像を表示し(S122)、今回の処理を終了する。   In S <b> 118, the object detection unit 12 performs image processing on the image area set by the change unit 16 and detects the presence or absence of an object such as a pedestrian. Subsequently, the enhancement unit 14 performs image processing (processing) on the captured image created by the image creation unit 11 and emphasizes an image region of a living body such as a pedestrian detected, determined, and extracted by the object detection unit 12. (S120). Finally, the control unit 13 drives the image display device 40 to display the captured image that has been subjected to image processing (processing) by the enhancement unit 14 (S122), and ends the current process.

以上説明したように、本実施例の車両周辺監視装置によれば、車両周辺の他車両の検出結果に応じて、撮像画像中の画像処理の対象となる画像領域を変更するので、車両周辺の状況に応じて対象物を適切に検出することができ、且つ、処理速度を向上することができる。   As described above, according to the vehicle periphery monitoring device of the present embodiment, the image region to be subjected to image processing in the captured image is changed according to the detection result of other vehicles around the vehicle. The object can be appropriately detected according to the situation, and the processing speed can be improved.

以上、本発明の好ましい実施例について詳説したが、本発明は、上述した実施例に制限されることはなく、本発明の範囲を逸脱することなく、上述した実施例に種々の変形及び置換を加えることができる。   The preferred embodiments of the present invention have been described in detail above. However, the present invention is not limited to the above-described embodiments, and various modifications and substitutions can be made to the above-described embodiments without departing from the scope of the present invention. Can be added.

例えば、上述した実施例において、車両周辺監視ECU10は強調手段14を備えるとしたが、強調手段14を備えずともよく、この場合、制御手段13は画像表示装置40を駆動して画像作成手段11が作成した撮像画像を動画として表示する。   For example, in the above-described embodiment, the vehicle periphery monitoring ECU 10 includes the emphasizing unit 14, but the emphasis unit 14 may not be included. In this case, the control unit 13 drives the image display device 40 to generate the image creating unit 11. The captured image created by is displayed as a moving image.

また、上述した実施例において、変更手段16は、対象物検出手段12及び強調手段14が画像処理する画像領域を変更するとしたが、本発明はこれに限定されない。例えば、変更手段16は、対象物検出手段12又は強調手段14のいずれか一方が画像処理する画像領域を変更してもよい。この場合も、車両周辺の状況に応じて対象物を適切に検出することができ、且つ、画像処理速度を向上することができる。   In the above-described embodiment, the changing unit 16 changes the image area on which the object detection unit 12 and the enhancement unit 14 perform image processing. However, the present invention is not limited to this. For example, the changing unit 16 may change the image area where either the object detection unit 12 or the enhancement unit 14 performs image processing. Also in this case, an object can be detected appropriately according to the situation around the vehicle, and the image processing speed can be improved.

また、上述した実施例において、変更手段16は、他車両検出手段15の検出結果に応じて、撮像画像中の画像処理の対象となる画像領域を車幅方向(画像横方向)について切り替えたが、本発明はこれに限定されない。例えば、車両前後方向(画像縦方向)について切り替えてもよい。具体的には、対向車両及び/又は先行車両の存在が検出された場合に自車両遠方に対応する画像領域を画像処理の対象とし、対向車両及び先行車両の不在が検出された場合に自車両近傍に対応する画像領域を画像処理の対象とする。或いは、撮像画像中の画像処理の対象となる画像領域を車幅方向及び車両前後方向の両方向について切り替えてもよい。いずれの場合であっても、車両周辺の状況に応じて対象物を適切に検出することができ、且つ、画像処理速度を向上することができる。   In the above-described embodiment, the changing unit 16 switches the image area to be subjected to image processing in the captured image in the vehicle width direction (image lateral direction) according to the detection result of the other vehicle detection unit 15. However, the present invention is not limited to this. For example, you may switch about the vehicle front-back direction (image vertical direction). Specifically, when the presence of an oncoming vehicle and / or a preceding vehicle is detected, an image region corresponding to a distance from the own vehicle is subjected to image processing, and when the absence of the oncoming vehicle and the preceding vehicle is detected, the own vehicle An image area corresponding to the vicinity is set as an object of image processing. Or you may switch the image area | region used as the object of the image process in a captured image about both the vehicle width direction and the vehicle front-back direction. In either case, the object can be detected appropriately according to the situation around the vehicle, and the image processing speed can be improved.

また、上述した実施例において、制御手段13は、他車両検出手段15の検出結果に応じて、ヘッドランプ4からの可視光が照射される領域を近傍、遠方に切り替えてもよい。   Further, in the above-described embodiment, the control unit 13 may switch the region irradiated with the visible light from the headlamp 4 between near and far according to the detection result of the other vehicle detection unit 15.

また、上述した実施例において、強調手段14は、自車両から近い歩行者ほど強調するとしたが、他車両検出手段15の検出結果に応じて、強調の仕方を変更してもよい。例えば、対向車両及び/又は先行車両が存在する場合に遠方の歩行者の画像領域を強調し、対向車両及び先行車両が不在の場合に近傍の歩行者の画像領域を強調してもよい。   In the above-described embodiment, the emphasis unit 14 emphasizes the pedestrian closer to the own vehicle. However, the emphasis method may be changed according to the detection result of the other vehicle detection unit 15. For example, the image area of a distant pedestrian may be emphasized when there is an oncoming vehicle and / or a preceding vehicle, and the image area of a nearby pedestrian may be emphasized when the oncoming vehicle and the preceding vehicle are absent.

本発明に係る車両周辺監視装置の一実施例を示すブロック図である。It is a block diagram which shows one Example of the vehicle periphery monitoring apparatus which concerns on this invention. 車両周辺監視装置の車両搭載状態の一例を示す斜視図である。It is a perspective view which shows an example of the vehicle mounting state of a vehicle periphery monitoring apparatus. 車両周辺監視ECU10の主要機能を示す機能ブロック図である。It is a functional block diagram which shows the main functions of vehicle periphery monitoring ECU10. 画像作成手段11が作成した撮像画像、及び撮像画像中の画像処理の対象となる画像領域の一例を示す模式図である。It is a schematic diagram which shows an example of the captured image which the image creation means 11 created, and the image area | region used as the object of the image process in a captured image. 車両周辺監視ECU10が実行する処理の一例を示すフローチャートである。It is a flowchart which shows an example of the process which vehicle periphery monitoring ECU10 performs.

符号の説明Explanation of symbols

10 車両周辺監視ECU
11 画像作成手段
12 対象物検出手段
13 制御手段
14 強調手段
15 他車両検出手段
16 変更手段
20 赤外線ランプ
30 赤外線カメラ
40 画像表示装置
60 光センサ
62 先行車両用光センサ
64 対向車両用光センサ
10 Vehicle perimeter monitoring ECU
DESCRIPTION OF SYMBOLS 11 Image preparation means 12 Object detection means 13 Control means 14 Emphasis means 15 Other vehicle detection means 16 Change means 20 Infrared lamp 30 Infrared camera 40 Image display device 60 Optical sensor 62 Optical sensor for preceding vehicle 64 Optical sensor for oncoming vehicle

Claims (1)

車両周辺が撮像されている撮像画像を画像処理して対象物を検出する車両周辺監視装置において、
車両周辺の他車両の存在を検出する他車両検出手段と、
前記他車両検出手段の検出結果に応じて、前記撮像画像中の画像処理の対象となる画像領域を変更する変更手段とを備える車両周辺監視装置。
In the vehicle periphery monitoring device that detects an object by performing image processing on a captured image in which the periphery of the vehicle is captured,
Other vehicle detection means for detecting the presence of other vehicles around the vehicle;
A vehicle periphery monitoring apparatus comprising: a changing unit that changes an image region to be subjected to image processing in the captured image in accordance with a detection result of the other vehicle detection unit.
JP2008302461A 2008-11-27 2008-11-27 Vehicle periphery monitoring device Expired - Fee Related JP5195351B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008302461A JP5195351B2 (en) 2008-11-27 2008-11-27 Vehicle periphery monitoring device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008302461A JP5195351B2 (en) 2008-11-27 2008-11-27 Vehicle periphery monitoring device

Publications (2)

Publication Number Publication Date
JP2010128768A true JP2010128768A (en) 2010-06-10
JP5195351B2 JP5195351B2 (en) 2013-05-08

Family

ID=42329121

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008302461A Expired - Fee Related JP5195351B2 (en) 2008-11-27 2008-11-27 Vehicle periphery monitoring device

Country Status (1)

Country Link
JP (1) JP5195351B2 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015098136A1 (en) * 2013-12-27 2015-07-02 トヨタ自動車株式会社 Information display device for vehicle and information display method for vehicle
JP2019074943A (en) * 2017-10-17 2019-05-16 矢崎総業株式会社 Alarm system
JP2020003837A (en) * 2018-06-25 2020-01-09 日本電気株式会社 Identification apparatus and identification method
JP2020107254A (en) * 2018-12-28 2020-07-09 株式会社AI−feed Image inspection device, learned model generator, image inspection system, image inspection program, learned model generation program, and learned model

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000030197A (en) * 1998-07-09 2000-01-28 Nissan Motor Co Ltd Device for detecting warm body
JP2005092857A (en) * 2003-08-11 2005-04-07 Hitachi Ltd Image processing system and vehicle control system
JP2008171097A (en) * 2007-01-10 2008-07-24 Calsonic Kansei Corp Vehicle recognition apparatus

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000030197A (en) * 1998-07-09 2000-01-28 Nissan Motor Co Ltd Device for detecting warm body
JP2005092857A (en) * 2003-08-11 2005-04-07 Hitachi Ltd Image processing system and vehicle control system
JP2008171097A (en) * 2007-01-10 2008-07-24 Calsonic Kansei Corp Vehicle recognition apparatus

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015098136A1 (en) * 2013-12-27 2015-07-02 トヨタ自動車株式会社 Information display device for vehicle and information display method for vehicle
JP2015128202A (en) * 2013-12-27 2015-07-09 トヨタ自動車株式会社 Vehicular information display apparatus and vehicular information display method
JP2019074943A (en) * 2017-10-17 2019-05-16 矢崎総業株式会社 Alarm system
JP2020003837A (en) * 2018-06-25 2020-01-09 日本電気株式会社 Identification apparatus and identification method
JP2020107254A (en) * 2018-12-28 2020-07-09 株式会社AI−feed Image inspection device, learned model generator, image inspection system, image inspection program, learned model generation program, and learned model
JP7340806B2 (en) 2018-12-28 2023-09-08 株式会社Ridge-i Image inspection equipment, image inspection systems, and image inspection programs

Also Published As

Publication number Publication date
JP5195351B2 (en) 2013-05-08

Similar Documents

Publication Publication Date Title
JP5680573B2 (en) Vehicle driving environment recognition device
US10127820B2 (en) Driver assistance apparatus and vehicle including the same
JP4730267B2 (en) Visibility state determination device for vehicle
JP6500814B2 (en) Vehicle lighting system
JP6075331B2 (en) Vehicle lighting device
JP6519355B2 (en) Camera apparatus and in-vehicle system
CN111634226B (en) Display system for vehicle
JP5742937B2 (en) Visibility support device for vehicle
JP5761002B2 (en) Lighting control device
WO2014188903A1 (en) Lighting control device
JP2000339589A (en) Traffic safety auxiliary system for vehicle and recording medium
JP5853947B2 (en) Night vision device
JP5125798B2 (en) Vehicle headlight control device
CN110087946B (en) Lighting system for vehicle and vehicle
JP2008094377A (en) Vehicular display device
JP2013097480A (en) Collision risk prediction device for vehicle and collision risk prediction system for vehicle
JPWO2018056104A1 (en) Vehicle control device, vehicle control method, and moving body
JP2012146142A (en) Object detecting device
JP2019051791A (en) Road surface determination device of vehicle
JP5195351B2 (en) Vehicle periphery monitoring device
JP2004185105A (en) Obstacle informing device
WO2013021795A1 (en) In-vehicle control device
JP4604971B2 (en) Vehicle communication device
WO2018076850A1 (en) Method and device for automatic prompting of overtaking action of vehicle
WO2021221013A1 (en) Control device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110520

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121023

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121024

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121211

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130108

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130121

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160215

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160215

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees