JP2011198114A - Vehicle surrounding monitoring device - Google Patents
Vehicle surrounding monitoring device Download PDFInfo
- Publication number
- JP2011198114A JP2011198114A JP2010064853A JP2010064853A JP2011198114A JP 2011198114 A JP2011198114 A JP 2011198114A JP 2010064853 A JP2010064853 A JP 2010064853A JP 2010064853 A JP2010064853 A JP 2010064853A JP 2011198114 A JP2011198114 A JP 2011198114A
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- image
- detection
- camera
- radar
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、車両に搭載されたレーダーにより検出される物体の位置の情報と車両に搭載された撮像手段による撮像画像を用いて、車両周辺に所在する監視対象物を検知する車両周辺監視装置に関する。 The present invention relates to a vehicle periphery monitoring device that detects a monitoring object located around a vehicle using information on the position of an object detected by a radar mounted on the vehicle and an image captured by an imaging unit mounted on the vehicle. .
従来より、車両にレーダーとカメラを併設し、レーダーによる物体の実空間位置の検出データに基づいて、カメラの撮像画像において該物体の画像が存在すると推定される画像領域を決定し、該画像領域を対象として監視対象物の画像部分を抽出する画像処理を行うようにした車両周辺監視装置が提案されている（例えば、特許文献１参照）。 Conventionally, a radar and a camera are provided in a vehicle, and based on detection data of the real space position of the object by the radar, an image area in which the image of the object is estimated to be present in a captured image of the camera is determined, and the image area There has been proposed a vehicle periphery monitoring device that performs image processing for extracting an image portion of a monitoring target object (see, for example, Patent Document 1).
上述したように、レーダーによる物体の実空間位置の検出データに基いてカメラの撮像画像における画像処理対象領域を決定する構成とした場合、レーダーとカメラの取付位置の相違等の要因により、歩行者等の監視対象物とカメラの間に壁等の遮蔽物が存在するときに、レーダーで検出された監視対象物がカメラでは撮像されない状況となる場合がある。そして、この場合に画像処理による監視対象物の検知を行うと、遮蔽物の画像部分を対象とした画像処理が行われるため、監視対象物ではないと誤まった判断がなされてしまうという不都合がある。 As described above, when the configuration is such that the image processing target area in the captured image of the camera is determined based on the detection data of the real space position of the object by the radar, the pedestrian is caused by factors such as the difference in the mounting position of the radar and the camera. When there is a shielding object such as a wall between the monitoring object such as the camera and the camera, the monitoring object detected by the radar may not be captured by the camera. In this case, when the monitoring object is detected by image processing, image processing is performed on the image portion of the shielding object, so that there is an inconvenience that an erroneous determination is made that the object is not the monitoring object. is there.
本発明は、上記不都合を解消し、カメラと監視対象物との間に遮蔽物が存在する状況で、カメラの撮像画像に基づく監視対象物の検知が行われることを回避した車両周辺監視装置を提供することを目的とする。 The present invention provides a vehicle periphery monitoring device that eliminates the above-described inconvenience and prevents detection of a monitoring object based on a captured image of the camera in a situation where a shielding object exists between the camera and the monitoring object. The purpose is to provide.
本発明は上記目的を達成するためになされたものであり、車両に搭載されて該車両の周辺の第１監視範囲内に所在する物体と該車両との相対位置を検出するレーダーと、該車両に搭載されて該第１監視範囲と重複する第２監視範囲を撮像するカメラと、該レーダーによる検出データと該カメラによる撮像画像とに基づいて監視対象物を検知する対象物検知部とを備えた車両周辺監視装置に関する。 The present invention has been made to achieve the above object, and a radar mounted on a vehicle for detecting a relative position between an object located within a first monitoring range around the vehicle and the vehicle, and the vehicle And a camera that images a second monitoring range that overlaps the first monitoring range, and an object detection unit that detects a monitoring object based on detection data from the radar and an image captured by the camera. The present invention relates to a vehicle periphery monitoring device.
そして、本発明の第１の態様は、前記撮像画像内に、前記レーダーにより検出された物体と前記車両との相対位置に対応する位置を含む判定領域を設定する判定領域設定手段と、所定の推定複雑度と前記判定領域の複雑度との差が所定値以上であるときに、前記対象物検知部による前記撮像画像に基づく監視対象物の検知を禁止する画像検知禁止部とを備えたことを特徴とする。 The first aspect of the present invention includes a determination area setting unit that sets a determination area including a position corresponding to a relative position between the object detected by the radar and the vehicle in the captured image, and a predetermined area. An image detection prohibition unit that prohibits detection of a monitoring object based on the captured image by the object detection unit when a difference between the estimated complexity and the complexity of the determination region is a predetermined value or more; It is characterized by.
かかる本発明において、前記判定領域の複雑度が前記推定複雑度よりも低くなるのは、前記判定領域の大部分を外観が単調な物体（壁、他車両の側面等）の画像が占めている場合である。そして、この場合には、本来の監視対象物（歩行者等）とカメラの間に、壁等の遮蔽物が存在している可能性が高い。そこで、前記画像検知禁止手段により、前記対象物検知部による前記撮像画像に基づく監視対象物の検知を禁止することによって、カメラと監視対象物との間に遮蔽物が存在する状況で、カメラの撮像画像に基づく監視対象物の検知が行われることを回避することができる。 In the present invention, the complexity of the determination region is lower than the estimated complexity because the image of a monotonous object (wall, side surface of another vehicle, etc.) occupies most of the determination region. Is the case. In this case, there is a high possibility that a shielding object such as a wall exists between the original monitoring object (pedestrian or the like) and the camera. Therefore, by prohibiting detection of the monitoring object based on the captured image by the object detection unit by the image detection prohibiting unit, in a situation where there is a shielding object between the camera and the monitoring object, It is possible to avoid the detection of the monitoring object based on the captured image.
また、前記推定複雑度が、前記レーダーにより検出された物体と前記車両との相対距離が長いほど、高く設定されていることを特徴とする。 Further, the estimated complexity is set higher as the relative distance between the object detected by the radar and the vehicle is longer.
かかる本発明によれば、前記カメラと物体間に遮蔽物がなかったときには、前記レーダーにより検出された物体と前記車両との相対距離が長くなるに従って、前記判定領域内に該物体以外の画像が入り込む割合が大きくなって、前記判定領域の複雑度が高くなると想定される。そこで、前記推定複雑度を前記レーダーにより検出された物体と前記車両との相対距離が長いほど高く設定することで、遮蔽物の存否を精度良く判断して、前記対象物検知部による前記撮像画像に基づく監視対象物の検知を禁止することができる。 According to the present invention, when there is no obstruction between the camera and the object, as the relative distance between the object detected by the radar and the vehicle becomes longer, an image other than the object appears in the determination area. It is assumed that the penetration rate increases and the complexity of the determination area increases. Therefore, by setting the estimated complexity higher as the relative distance between the object detected by the radar and the vehicle is longer, it is possible to accurately determine the presence or absence of an obstacle, and the captured image by the object detection unit. It is possible to prohibit detection of a monitoring object based on the above.
次に、本発明の第２の態様は、前記撮像画像内に、前記レーダーにより検出された物体と前記車両との相対位置に対応する位置を含む判定領域を設定する判定領域設定手段と、前記カメラにより所定時間間隔をもって撮像された複数の撮像画像のうち、直前又は直後の撮像画像との前記判定領域の相関度が所定レベル以下である撮像画像に基づく、前記対象物検知部による監視対象物の検知を禁止する画像検知禁止部とを備えたことを特徴とする。 Next, according to a second aspect of the present invention, a determination area setting unit that sets a determination area including a position corresponding to a relative position between the object detected by the radar and the vehicle in the captured image, Of the plurality of captured images captured at a predetermined time interval by the camera, the monitoring target by the target detection unit based on a captured image in which the degree of correlation of the determination region with a captured image immediately before or immediately after is equal to or lower than a predetermined level And an image detection prohibiting unit that prohibits detection of the image.
かかる本発明によれば、複数の物体が前記カメラの撮像方向で交差したときに、前記カメラに最も近い物体の画像部分に基づいてそれ以外の物体の検知がなされ、監視対象物の誤検知が生じることを防止することができる。 According to the present invention, when a plurality of objects cross in the imaging direction of the camera, the other objects are detected based on the image portion of the object closest to the camera, and the erroneous detection of the monitoring target is performed. It can be prevented from occurring.
また、前記第２の態様において、前記判定領域設定手段により、所定時点での前記撮像画像に複数の前記判定領域が設定され、その後、前記カメラにより所定時間間隔をもって撮像された複数の撮像画像間において、相関度が所定レベル以下となる前記判定領域が、前記撮像画像の左から右若しくは右から左に切り換わったときには、前記カメラの前方を横断する物体があると検知する横断物体検知部を備えたことを特徴とする。 In the second aspect, a plurality of the determination regions are set in the captured image at a predetermined time by the determination region setting means, and then a plurality of captured images captured at a predetermined time interval by the camera. A crossing object detection unit that detects that there is an object that crosses the front of the camera when the determination region where the degree of correlation is a predetermined level or less is switched from left to right or from right to left of the captured image. It is characterized by having.
かかる本発明によれば、複数の撮像画像間において、相関度が所定レベル以下となる前記判定領域が、前記撮像画像の左から右若しくは右から左に切り換わったときには、それまで撮像されていた物体が、他の物体により順次遮蔽されている状況にあると判断することができる。そのため、この場合には、前記横断物体検知部により、前記カメラの前方を横断する物体があると検知することができる。 According to the present invention, when the determination area in which the degree of correlation is equal to or lower than a predetermined level between a plurality of captured images is switched from left to right or from right to left of the captured image, the image has been captured so far. It can be determined that the object is in a situation where it is sequentially shielded by other objects. Therefore, in this case, the crossing object detection unit can detect that there is an object crossing the front of the camera.
次に、本発明の第３の態様は、前記レーダーにより検出される物体の位置の変化状況と、前記撮像画像における該物体の画像部分の位置の変化状況とを比較して、前記対象物検知部による前記撮像画像に基づく監視対象物の検知を禁止するか否かを決定する画像検知禁止部を備えたこと特徴とする。 Next, the third aspect of the present invention compares the change state of the position of the object detected by the radar with the change state of the position of the image portion of the object in the captured image, and detects the object. An image detection prohibiting unit that determines whether or not to prohibit detection of a monitoring object based on the captured image by the unit is provided.
かかる本発明によれば、例えば前記カメラの前方を他車両が通過して、前記レーダーの検出タイミングと前記カメラの撮像タイミングとの相違等により、前記レーダーで検出されている物体が、前記カメラでは撮像されない状況となったときには、前記対象物検知部による前記撮像画像に基づく監視対象物の検知を禁止することができる。 According to the present invention, for example, when another vehicle passes in front of the camera and an object detected by the radar due to a difference between the detection timing of the radar and the imaging timing of the camera is When the situation is such that the image is not captured, detection of the monitoring object based on the captured image by the object detection unit can be prohibited.
次に、本発明の第４の態様は、前記レーダーにより検出される物体の相対位置の時系列データにより、該物体の位置をトラッキングするトラッキング部と、前記トラッキング部により複数の物体がトラッキングされているときに、複数の物体の位置が前記カメラの撮像方向で重なったときには、前記カメラに最も近い物体以外の物体についての前記撮像画像に基づく、前記対象物検知部による監視対象物の検知を禁止する画像検知禁止部とを備えたことを特徴とする。 Next, according to a fourth aspect of the present invention, a tracking unit that tracks the position of an object based on time-series data of the relative position of the object detected by the radar, and a plurality of objects are tracked by the tracking unit. When the position of a plurality of objects overlaps in the imaging direction of the camera, the detection of the monitoring target by the target detection unit based on the captured image of an object other than the object closest to the camera is prohibited. And an image detection prohibiting unit that performs the above-described operation.
かかる本発明によれば、前記トラッキング部によりトラッキングしている複数の物体の位置が、前記カメラの撮像方向で重なったときに、前記カメラに最も近い物体により遮蔽された他の物体について、前記撮像画像に基づく監視対象物の検知を禁止することができる。 According to the present invention, when the positions of a plurality of objects tracked by the tracking unit overlap in the imaging direction of the camera, the imaging is performed with respect to another object shielded by the object closest to the camera. Detection of a monitoring object based on an image can be prohibited.
本発明の実施の形態について、図１〜図１１を参照して説明する。図１を参照して、本発明の車両周辺監視装置は、ＥＣＵ（Electronic Control Unit）１と、遠赤外線を検出可能な赤外線カメラ２（本発明のカメラに相当する）と、レーザー光線を物体に照射してその反射波を受信することにより物体と車両間の実空間上の相対位置（相対距離を含む）を検出するレーザーレーダー８（本発明のレーダーに相当する）と、車両のヨーレートを検出するヨーレートセンサ３と、車両の走行速度を検出する車速センサ４とを備えている。 Embodiments of the present invention will be described with reference to FIGS. Referring to FIG. 1, a vehicle periphery monitoring apparatus according to the present invention includes an ECU (Electronic Control Unit) 1, an infrared camera 2 (corresponding to the camera according to the present invention) capable of detecting far-infrared rays, and irradiating an object with a laser beam. By receiving the reflected wave, a laser radar 8 (corresponding to the radar of the present invention) that detects a relative position (including a relative distance) in the real space between the object and the vehicle, and a yaw rate of the vehicle are detected. A yaw rate sensor 3 and a vehicle speed sensor 4 for detecting the traveling speed of the vehicle are provided.
ＥＣＵ１は、レーザーレーダー８による物体の位置の検出データと赤外線カメラ２による撮像画像から、車両前方に所在する物体の種別を判別し、車両が接触する可能性が高い自転車又は歩行者を検知したときに警報を出力する。そして、車両周辺監視装置は、音声により警報を行うためのスピーカ５と、監視対象物を運転者に視認させる表示を行うためのヘッドアップディスプレイ（以下、ＨＵＤという）７とを備えている。 When the ECU 1 determines the type of the object located in front of the vehicle from the detection data of the position of the object by the laser radar 8 and the captured image by the infrared camera 2, and detects a bicycle or a pedestrian that is likely to come into contact with the vehicle Alarm is output to. And the vehicle periphery monitoring apparatus is provided with the speaker 5 for performing a warning by an audio | voice, and the head up display (henceforth HUD) 7 for performing the display which makes a driver | operator visually recognize the monitoring target object.
次に、図２を参照して、車両周辺監視装置の車両への取付け態様を説明する。レーザーレーダー８はスキャン方式のレーザーレーダーであり、車両１０の前部に配置されている。そして、レーザーレーダー８は、予め設定された前方（車両１０の進行方向）の第１監視範囲内を水平方向及び垂直方向に走査する。 Next, with reference to FIG. 2, the attachment aspect to the vehicle of the vehicle periphery monitoring apparatus is demonstrated. The laser radar 8 is a scanning type laser radar and is disposed in the front portion of the vehicle 10. Then, the laser radar 8 scans in a horizontal direction and a vertical direction within a first monitoring range set in advance (the traveling direction of the vehicle 10).
赤外線カメラ２は、撮像物の温度が高い程出力レベルが高くなる（輝度が大きくなる）特性を有している。そして、赤外線カメラ２は、車両１０の前部に配置されて予め設定された前方の第２監視範囲（上記第１監視範囲内と重複する）を撮像する。ＨＵＤ７は、車両１０のフロントウィンドウの運転者側の前方位置に画面７ａが表示されるように設けられている。 The infrared camera 2 has a characteristic that the output level increases (the luminance increases) as the temperature of the imaged object increases. The infrared camera 2 is arranged at the front portion of the vehicle 10 and images a second front monitoring range (overlapping with the first monitoring range) set in advance. The HUD 7 is provided so that the screen 7 a is displayed at a front position on the driver side of the front window of the vehicle 10.
また、図１を参照して、ＥＣＵ１は、赤外線カメラ２から出力されるアナログの映像信号をデジタルデータに変換して画像メモリに取り込む画像入力回路（図示しない）と、画像メモリに取り込まれた画像データにアクセス（読出し及び書込み）するためのインターフェース回路（図示しない）と、レーザーレーダー８による物体の位置（車両１０からの物体の相対位置）の検出信号を入力するためのインターフェース回路（図示しない）とを有している。 Referring to FIG. 1, the ECU 1 converts an analog video signal output from the infrared camera 2 into digital data and imports it into an image memory, and an image captured in the image memory. An interface circuit (not shown) for accessing (reading and writing) data and an interface circuit (not shown) for inputting a detection signal of an object position (relative position of the object from the vehicle 10) by the laser radar 8 And have.
ＥＣＵ１は、画像メモリに取り込まれた車両１０の前方の撮像画像のデータに対して各種の演算処理を行うコンピュータ（ＣＰＵ，メモリ，入出力回路等からなる演算回路、或いはこれらの機能を集約したマイクロコンピュータ）等を備えた電子ユニットである。 The ECU 1 is a computer (an arithmetic circuit composed of a CPU, a memory, an input / output circuit, etc., or a micro that integrates these functions) that performs various arithmetic processes on the captured image data in front of the vehicle 10 captured in the image memory. An electronic unit equipped with a computer.
そして、前記コンピュータに車両周辺監視用のプログラムを実行させることによって、前記コンピュータが、レーザーレーダー８の検出データから認識される物標情報（実空間における物体の位置情報）に基いて、撮像画像上に、該物体の位置に対応する位置を含む判定領域を設定する判定領域設定部２０、レーザーレーダー８による物体の位置の検出データに基いて物体の変位をトラッキングするトラッキング部２１、レーザーレーダー８による検出データと赤外線カメラ２の撮像画像から車両１０と接触する可能性が高い物体（監視対象物）を検知する対象物検知部２３、対象物検知部２３による画像処理に基く監視対象物の検知を禁止する画像検知禁止部２２、及び赤外線カメラ２の前方を横断する物体を検知する横断物体検知部２４として機能する。 Then, by causing the computer to execute a program for monitoring the vehicle periphery, the computer can display an image on the captured image based on target information (position information of an object in real space) recognized from detection data of the laser radar 8. In addition, a determination region setting unit 20 that sets a determination region including a position corresponding to the position of the object, a tracking unit 21 that tracks the displacement of the object based on detection data of the position of the object by the laser radar 8, and a laser radar 8 An object detection unit 23 that detects an object (monitoring object) that is highly likely to come into contact with the vehicle 10 from the detection data and the captured image of the infrared camera 2, and detection of the monitoring object based on image processing by the object detection unit 23. The prohibited image detection prohibition unit 22 and the crossing object detection unit 24 that detects an object crossing the front of the infrared camera 2 Functions in.
判定領域設定部２０は、物標情報から赤外線カメラ２による撮像画像上での物体の大きさを算出し、画像座標に物標情報を重ね合わせて、実空間での物体の位置に対応する位置を含む判定領域を、物体の画像部分が含まれるサイズで設定する。 The determination area setting unit 20 calculates the size of the object on the image captured by the infrared camera 2 from the target information, superimposes the target information on the image coordinates, and corresponds to the position of the object in the real space. Is set to a size that includes the image portion of the object.
トラッキング部２１は、車速センサ４とヨーレートセンサ３から出力される検出データを読み込んで、車両１０の回頭角を算出する。そして、トラッキング部２１は、レーザーレーダー８の検出データに基いて、回頭角補正を行いつつ第１監視領域内に所在する物体のトラッキングを行う。 The tracking unit 21 reads detection data output from the vehicle speed sensor 4 and the yaw rate sensor 3 and calculates the turning angle of the vehicle 10. Then, the tracking unit 21 tracks an object located in the first monitoring area while performing the turning angle correction based on the detection data of the laser radar 8.
図３（ａ）を参照して、赤外線カメラ２とレーザーレーダー８は、車両１０の前部の異なる位置に取り付けられており、レーザーレーダー８の検出範囲（第１監視範囲Ａ1）と、赤外線カメラ２の撮像範囲（第２監視範囲Ａ2）は重複している。そして、この重複範囲に物体Ｐが所在しているときには、レーザーレーダー８により物体Ｐが検出されると共に、赤外線カメラ２により物体Ｐが撮像される。 Referring to FIG. 3A, the infrared camera 2 and the laser radar 8 are mounted at different positions on the front portion of the vehicle 10, and the detection range (first monitoring range A1) of the laser radar 8 and the infrared camera. The two imaging ranges (second monitoring range A2) overlap. When the object P is located in this overlapping range, the object P is detected by the laser radar 8 and the object P is imaged by the infrared camera 2.
また、図３（ｂ）を参照して、トラッキング部２１は、所定の制御周期毎に第１監視範囲Ａ1を走査して物体Ｐを検出するが、複数の時点（図３（ｂ）では、ｔ1，ｔ2，ｔ3，ｔ4）での検出データを使用してトラッキングを行っている。そのため、一時的に物体が検出できなかった時（図３（ｂ）ではｔ2で、物体Ｐが検出できなかった）があっても、トラッキングを継続することが可能である。 In addition, referring to FIG. 3B, the tracking unit 21 scans the first monitoring range A1 for each predetermined control cycle to detect the object P, but at a plurality of time points (FIG. 3B) Tracking is performed using the detection data at t 1 , t 2 , t 3 , t 4 ). Therefore, (in FIG. 3 (b) in t 2, the object P can not be detected) temporarily when the object is not detected even if there is, it is possible to continue the tracking.
次に、図４，５を参照して、監視対象物（歩行者等）が、赤外線カメラ２と監視対象物との間に所在する他の物体（壁，他車両等）によって遮蔽される場合について説明する。 Next, referring to FIGS. 4 and 5, the monitoring object (pedestrian or the like) is shielded by another object (wall, other vehicle, or the like) located between the infrared camera 2 and the monitoring object. Will be described.
図４（ａ）に示したように、赤外線カメラ２と物体Ｐの間に壁Ｆが所在しているときには、赤外線カメラ２の視野の一部が壁Ｆにより遮蔽される。そして、この場合には、レーザーレーダー８は物体Ｐを検出できるが、赤外線カメラ２は物体Ｐを撮像することができない。 As shown in FIG. 4A, when the wall F is located between the infrared camera 2 and the object P, a part of the visual field of the infrared camera 2 is shielded by the wall F. In this case, the laser radar 8 can detect the object P, but the infrared camera 2 cannot capture the object P.
そのため、図４（ｂ）に示したように、赤外線カメラ２の撮像画像Ｉm1には、壁Ｆの画像部分Ｆaが含まれるが、物体Ｐの画像Ｐaは含まれない状態となる。そして、判定領域設定部２０により、物体Ｐの実空間位置に対応した位置に判定領域Ｊ1を設定すると、判定領域Ｊ1には、物体Ｐではなく壁Ｆの画像部分Ｆaが含まれることになってしまう。 Therefore, as shown in FIG. 4B, the captured image Im1 of the infrared camera 2 includes the image portion Fa of the wall F but does not include the image Pa of the object P. When the determination area J1 is set by the determination area setting unit 20 at a position corresponding to the real space position of the object P, the determination area J1 includes not the object P but the image portion Fa of the wall F. End up.
また、図５に示したように、自車両１０の前方を他車両Ｖが横断するときには、赤外線カメラ２及びレーザーレーダー８と物体Ｐの間が、他車両Ｖにより一時的に遮蔽される。そして、この場合に、トラッキング部２１によるレーザーレーダー８の検出データに基く物体Ｐのトラッキングは上述したように継続される。しかし、赤外線カメラ２の撮像画像は、図４（ｂ）と同様に、物体Ｐの画像を含まないものとなる。 As shown in FIG. 5, when the other vehicle V crosses the front of the host vehicle 10, the space between the infrared camera 2 and the laser radar 8 and the object P is temporarily shielded by the other vehicle V. In this case, tracking of the object P based on the detection data of the laser radar 8 by the tracking unit 21 is continued as described above. However, the captured image of the infrared camera 2 does not include the image of the object P, as in FIG.
そして、このように、レーザーレーダー８では物体が検出されているが、カメラ２の撮像画像にはこの物体の画像部分が含まれない状況で、対象物検知部２３により、撮像画像に対する画像処理を行って監視対象物を検知すると、本来の検知対象である物体Ｐではなく、遮蔽物Ｆ，Ｖの画像部分の情報に基づいて検知がなされるため、監視対象物ではないと誤検知されてしまう。 As described above, the object is detected by the laser radar 8, but in the situation where the captured image of the camera 2 does not include the image portion of the object, the object detection unit 23 performs image processing on the captured image. When the monitoring target is detected, detection is performed based on the information of the image portions of the shielding objects F and V, not the object P that is the original detection target. .
そこで、画像検知禁止部２２は、赤外線カメラ２と物体間の遮蔽物の存否を判定し、遮蔽物が存在するときには、対象物検知部２３による赤外線カメラ２の撮像画像に基く対象物の検知を禁止する処理を行う。以下、図６に示したフローチャートに従って、画像検知禁止部２２による処理の第１実施形態について説明する。 Therefore, the image detection prohibition unit 22 determines whether or not there is a shield between the infrared camera 2 and the object, and when there is a shield, the target detection unit 23 detects the target based on the captured image of the infrared camera 2. Prohibit processing. The first embodiment of the process performed by the image detection prohibition unit 22 will be described below according to the flowchart shown in FIG.
［第１実施形態］
画像検知禁止部２２は、ＳＴＥＰ１でレーザーレーダー８の検出データを取得し、ＳＴＥＰ２で、レーザーレーダー８の検出データから、赤外線カメラ２の前方に物体が所在するか否かを判断する。そして、赤外線カメラ２の前方に物体が所在しないと判断したときはＳＴＥＰ８に進み、この場合は、対象物検知部２３による対象物の検知処理は行われない。
[First Embodiment]
The image detection prohibition unit 22 acquires the detection data of the laser radar 8 in STEP 1, and determines whether or not an object is located in front of the infrared camera 2 from the detection data of the laser radar 8 in STEP 2. When it is determined that no object is present in front of the infrared camera 2, the process proceeds to STEP 8. In this case, the object detection process by the object detection unit 23 is not performed.
一方、赤外線カメラ２の前方に物体が所在すると判断したときにはＳＴＥＰ３に進む。ＳＴＥＰ３で、画像検知禁止部２２は、レーザーレーダー８の検出データにより赤外線カメラ２と物体間の相対距離を算出し、続くＳＴＥＰ４で、物体の実空間位置に対応する判定領域Ｊ1（図４（ｂ）参照）を設定する。 On the other hand, when it is determined that an object is located in front of the infrared camera 2, the process proceeds to STEP3. In STEP 3, the image detection prohibition unit 22 calculates the relative distance between the infrared camera 2 and the object based on the detection data of the laser radar 8, and in STEP 4, the determination area J 1 corresponding to the real space position of the object (FIG. 4B). ))).
次のＳＴＥＰ５で、画像検知禁止部２２は、赤外線カメラ２と物体間の相対距離に応じた推定複雑度Ｃd（遮蔽物がない場合を想定した判定領域の複雑度の推定値）を設定する。ここで、図７（ａ）に示したように、赤外線カメラ２と物体Ｐ間の距離が長くなるに従って、判定領域Ｊ1における物体Ｐの画像部分の背景に写り込むものが多くなるため、判定領域Ｊ1の複雑度（高周波成分、エッジ点数とエッジ間隔、スムージングを行う前後の画像の相関度等により算出する）が高くなると想定される。 In the next STEP 5, the image detection prohibition unit 22 sets an estimated complexity Cd (an estimated value of the complexity of the determination region assuming that there is no shielding object) according to the relative distance between the infrared camera 2 and the object. Here, as shown in FIG. 7 (a), as the distance between the infrared camera 2 and the object P increases, more of the image is reflected in the background of the image portion of the object P in the determination area J1. It is assumed that the complexity of J1 (calculated based on the high-frequency component, the number of edge points and the interval between edges, the degree of correlation between images before and after smoothing, etc.) is increased.
そのため、画像検知禁止部２２は、赤外線カメラ２と物体Ｐとの距離が長くなるほど、推定複雑度Ｃdを高い値に設定する。そして、続くＳＴＥＰ６で、画像検知禁止部２２は、判定領域Ｊ1の複雑度Ｃpを算出する。 Therefore, the image detection prohibition unit 22 sets the estimated complexity Cd to a higher value as the distance between the infrared camera 2 and the object P becomes longer. In subsequent STEP 6, the image detection prohibiting unit 22 calculates the complexity Cp of the determination area J1.
ここで、図７（ａ）に示したように、赤外線カメラ２と物体Ｐとの間に遮蔽物（壁Ｆ）が存在して、物体Ｐが赤外線カメラ２で撮像されない状況になると、図７（ｂ）に示したように、赤外線カメラ２の撮像画像Ｉm1に設定される判定領域Ｊ1に、壁Ｆの画像部分が含まれることになる。 Here, as shown in FIG. 7A, when there is a shield (wall F) between the infrared camera 2 and the object P and the object P is not captured by the infrared camera 2, FIG. As shown in (b), the image area of the wall F is included in the determination area J1 set in the captured image Im1 of the infrared camera 2.
そして、壁Ｆの画像部分（他車両のときも同様）は、遮蔽物が無いときの物体Ｐの画像部分Ｐaを含む判定領域Ｊ1よりも、複雑度Ｃpが低くなる。そこで、画像検知禁止部２２は、続くＳＴＥＰ７で、判定領域Ｊ1の複雑度Ｃpと推定複雑度Ｃdとの差（絶対値）が予め設定された閾値Ｃthよりも大きいときに、ＳＴＥＰ１０に分岐して、対象物検知部２３による画像処理に基く対象物の検知を禁止する。この場合、対象物検知部２３は、レーザーレーダー８の検出データのみに基いて対象物を検知する。 The image portion of the wall F (the same applies to other vehicles) has a lower complexity Cp than the determination region J1 including the image portion Pa of the object P when there is no obstruction. Therefore, the image detection prohibiting unit 22 branches to STEP 10 when the difference (absolute value) between the complexity Cp of the determination region J1 and the estimated complexity Cd is larger than a preset threshold Cth in STEP7. The detection of the object based on the image processing by the object detection unit 23 is prohibited. In this case, the object detection unit 23 detects the object based only on the detection data of the laser radar 8.
一方、ＳＴＥＰ７で、判定領域Ｊ1の複雑度Ｃpと推定複雑度Ｃdとの差が閾値Ｃth以下であるときにはＳＴＥＰ８に進んで、画像検知禁止部２２は処理を終了する。この場合は、対象物検知部２３による画像処理に基く対象物の検知は禁止されない。そのため、対象物検知部２３は、判定領域Ｊ1について、形状認識処理やパターンマッチング処理等を行って監視対象物の画像部分を抽出することにより、監視対象物を検知する。 On the other hand, when the difference between the complexity Cp of the determination area J1 and the estimated complexity Cd is equal to or less than the threshold Cth in STEP 7, the process proceeds to STEP 8, and the image detection prohibiting unit 22 ends the process. In this case, detection of the object based on the image processing by the object detection unit 23 is not prohibited. Therefore, the object detection unit 23 detects the monitoring object by extracting the image portion of the monitoring object by performing shape recognition processing, pattern matching processing, or the like for the determination region J1.
［第２実施形態］
次に、図８を参照して、画像検知禁止部２２による処理の第２実施形態について説明する。
[Second Embodiment]
Next, a second embodiment of the process performed by the image detection prohibition unit 22 will be described with reference to FIG.
図８（ａ）は、レーザーレーダー８及び赤外線カメラ２と物体Ｐとの間に遮蔽物Ｇが所在する状況を示している。この場合、レーザーレーダー８のトラッキングは、上述したように、遮蔽物Ｇにより物体Ｐの検出が一時的に途切れても継続される。それに対して、図８（ｂ）に示したように、遮蔽物Ｇにより物体Ｐが遮られた時には、物体Ｐの画像が遮蔽物Ｇの画像Ｇaに隠れてしまい、判定領域Ｊ3に物体Ｐの画像が含まれなくなる。そのため、赤外線カメラ２の時系列の撮像画像による物体Ｐの画像部分のオプティカルフローや特徴点抽出等による追跡処理は中断する。 FIG. 8A shows a situation where the shielding object G is located between the laser radar 8 and the infrared camera 2 and the object P. FIG. In this case, the tracking of the laser radar 8 is continued even when the detection of the object P is temporarily interrupted by the shielding object G as described above. On the other hand, as shown in FIG. 8B, when the object P is blocked by the shielding object G, the image of the object P is hidden by the image Ga of the shielding object G, and the object P is displayed in the determination region J3. The image is not included. Therefore, the tracking process by the optical flow of the image portion of the object P by the time-series captured image of the infrared camera 2 or the feature point extraction is interrupted.
そこで、トラッキングにより認識される物体Ｐの移動状況と、撮像画像による追跡処理により認識される物体Ｐの移動状況との相違が所定レベル以上となったときに、画像検知禁止部２２は、対象物検知部２３による撮像画像に基づく監視対象物の検知を禁止する。 Therefore, when the difference between the movement state of the object P recognized by tracking and the movement state of the object P recognized by the tracking process using the captured image is equal to or higher than a predetermined level, the image detection prohibiting unit 22 The detection of the monitoring object based on the captured image by the detection unit 23 is prohibited.
［第３実施形態］
次に、図９を参照して、画像検知禁止部２２による処理の第３実施形態について説明する。
[Third Embodiment]
Next, a third embodiment of the process performed by the image detection prohibition unit 22 will be described with reference to FIG.
図９は、赤外線カメラ２により所定間隔Δｔで撮像された時系列画像について、判定領域設定部２０によりレーザーレーダー８による物標情報に基づいて設定された判定領域Ｊ11〜Ｊ14を示したものである。 FIG. 9 shows determination areas J11 to J14 set by the determination area setting unit 20 based on the target information by the laser radar 8 with respect to the time-series images captured by the infrared camera 2 at a predetermined interval Δt. .
画像検知禁止部２２は、隣り合う判定領域間（Ｊ11とＪ12，Ｊ12とＪ13，Ｊ13とＪ14）の相関度を算出する。この場合、両隣との相関度が低いＪ13が設定された撮像画像については、他車両の横断等により赤外線カメラ２が遮蔽された状態で、撮像されたものと判断することができる。そこで、画像検知禁止部２２は、このように、相関度が低い判定領域が設定された撮像画像について、対象物検知部２３による撮像画像に基づく監視対象物の検知を禁止する。 The image detection prohibition unit 22 calculates the correlation between adjacent determination areas (J11 and J12, J12 and J13, J13 and J14). In this case, it is possible to determine that the captured image in which J13 having a low degree of correlation with both neighbors is set is captured in a state where the infrared camera 2 is shielded by crossing another vehicle or the like. Therefore, the image detection prohibition unit 22 prohibits the detection of the monitoring target based on the captured image by the target detection unit 23 for the captured image in which the determination region having the low correlation degree is set as described above.
なお、例えば最初の判定領域Ｊ11を基準パターンとして、他の判定領域Ｊ12〜Ｊ14との間でパターンマッチングを行い、マッチング度が低い判定領域（図９ではJ13）が設定された撮像画像については、他車両の横断等により赤外線カメラ２が遮蔽された状態で、撮像されたものと判断するようにしてもよい。 For example, for a captured image in which pattern matching is performed with other determination areas J12 to J14 using the first determination area J11 as a reference pattern, and a determination area with a low matching degree (J13 in FIG. 9) is set, It may be determined that the image is captured in a state where the infrared camera 2 is shielded by crossing another vehicle or the like.
また、図１０に示したように、赤外線カメラ２により所定間隔Δｔで撮像された時系列画像について、判定領域設定部２０により、レーザーレーダー８による物標情報に基づいて複数の判定領域Ｊ21〜Ｊ25が設定され、連続する画像間で相関度が所定レベル以下となる判定領域が、Ｊ25→Ｊ24→Ｊ23→Ｊ22→Ｊ21の順に右側から左側へと切り換わったときに、横断物体検知部２４は、赤外線カメラ２の前方を矢印Ｒ5の向きに物体が移動したと検知する。 Further, as shown in FIG. 10, for the time-series images captured by the infrared camera 2 at a predetermined interval Δt, the determination region setting unit 20 performs a plurality of determination regions J21 to J25 based on the target information by the laser radar 8. Is set, and when the determination region where the correlation degree between consecutive images is equal to or lower than a predetermined level is switched from the right side to the left side in the order of J25 → J24 → J23 → J22 → J21, It is detected that the object has moved in front of the infrared camera 2 in the direction of the arrow R5.
なお、連続する画像間で、相関度が所定レベル以下となる判定領域が左側から右側へと切り換わったときには、横断物体検知部２４は、赤外線カメラ２の前方を矢印Ｒ5とは逆向きに物体が移動したと検知する。 In addition, when the determination area where the degree of correlation is not more than a predetermined level is switched from the left side to the right side between consecutive images, the crossing object detection unit 24 sets the object in front of the infrared camera 2 in the direction opposite to the arrow R5. Detect that has moved.
［第４実施形態］
次に、図１１を参照して、画像検知禁止部２２による処理の第４実施形態について説明する。
[Fourth Embodiment]
Next, a fourth embodiment of the processing by the image detection prohibition unit 22 will be described with reference to FIG.
図１０は、レーザーレーダー８により、２つの物体Ｐ，Ｑについてトラッキングがなされている状況を示している。物体Ｐは矢印Ｒ1の向きに移動し、物体Ｑは矢印Ｒ2の向きに移動している。そして、物体Ｐと物体Ｑの位置が、図１０に示したようにレーザーレーダー８の中心軸Ｃの方向（≒赤外線カメラ２の撮像方向）で重なると、後側の物体Ｐは赤外線カメラ２で撮像されなくなる。 FIG. 10 shows a situation where tracking is performed for two objects P and Q by the laser radar 8. Object P moves in the direction of arrow R1, and object Q moves in the direction of arrow R2. When the positions of the object P and the object Q overlap with each other in the direction of the central axis C of the laser radar 8 (≈the imaging direction of the infrared camera 2) as shown in FIG. The image is not captured.
そこで、画像検知禁止部２２は、このように、トラッキング部２１により複数の物体のトラッキングが行われているときに、複数の物体の位置がレーザーレーダー８の中心軸Ｃの方向で重なっているときには、赤外線カメラ２に最も近い物体以外についての、対象物検知部２３による撮像画像に基づく監視対象物の検知を禁止する。 Therefore, the image detection prohibition unit 22 is configured to detect the position of the plurality of objects overlapping in the direction of the central axis C of the laser radar 8 when the tracking unit 21 is tracking the plurality of objects. The detection of the monitoring object based on the captured image by the object detection unit 23 other than the object closest to the infrared camera 2 is prohibited.
なお、本実施の形態においては、本発明の撮像手段として赤外線カメラ２を用いたが、可視光のみを検出可能な通常のビデオカメラを用いてもよい。 In the present embodiment, the infrared camera 2 is used as the imaging means of the present invention, but a normal video camera capable of detecting only visible light may be used.
また、本実施の形態では、本発明のレーダーとしてレーザーレーダーを用いたが、ミリ波レーダー等の他の種類のレーダーを用いてもよい。 In this embodiment, a laser radar is used as the radar of the present invention. However, other types of radar such as a millimeter wave radar may be used.
１…ＥＣＵ、２…赤外線カメラ、３…ヨーレートセンサ、４…車速センサ、５…スピーカ、７…ＨＵＤ、８…レーザーレーダー、１０…車両（自車両）、２０…判定領域設定部、２１…トラッキング部、２２…画像検知禁止部、２３…対象物検知部、２４…横断物体検知部。 DESCRIPTION OF SYMBOLS 1 ... ECU, 2 ... Infrared camera, 3 ... Yaw rate sensor, 4 ... Vehicle speed sensor, 5 ... Speaker, 7 ... HUD, 8 ... Laser radar, 10 ... Vehicle (own vehicle), 20 ... Determination area setting part, 21 ... Tracking , 22 ... Image detection prohibition unit, 23 ... Object detection unit, 24 ... Crossing object detection unit.
Claims (6)
前記撮像画像内に、前記レーダーにより検出された物体と前記車両との相対位置に対応する位置を含む判定領域を設定する判定領域設定手段と、
所定の推定複雑度と前記判定領域の複雑度との差が所定値以上であるときに、前記対象物検知部による前記撮像画像に基づく監視対象物の検知を禁止する画像検知禁止部とを備えたことを特徴とする車両周辺監視装置。 A radar for detecting a relative position between an object mounted in a vehicle and within a first monitoring range around the vehicle and the vehicle, and a second monitoring range mounted on the vehicle and overlapping the first monitoring range A vehicle periphery monitoring device comprising: a camera that captures an object; and an object detection unit that detects an object to be monitored based on detection data by the radar and an image captured by the camera,
A determination area setting means for setting a determination area including a position corresponding to a relative position between the object detected by the radar and the vehicle in the captured image;
An image detection prohibiting unit that prohibits detection of a monitoring object based on the captured image by the object detection unit when a difference between a predetermined estimated complexity and a complexity of the determination region is a predetermined value or more. A vehicle periphery monitoring device characterized by that.
前記推定複雑度が、前記レーダーにより検出された物体と前記車両との相対距離が長いほど、高く設定されていることを特徴とする車両周辺監視装置。 The vehicle periphery monitoring device according to claim 1,
The vehicle periphery monitoring device, wherein the estimated complexity is set higher as the relative distance between the object detected by the radar and the vehicle is longer.
前記撮像画像内に、前記レーダーにより検出された物体と前記車両との相対位置に対応する位置を含む判定領域を設定する判定領域設定手段と、
前記カメラにより所定時間間隔をもって撮像された複数の撮像画像のうち、直前又は直後の撮像画像との前記判定領域の相関度が所定レベル以下である撮像画像に基づく、前記対象物検知部による監視対象物の検知を禁止する画像検知禁止部とを備えたことを特徴とする車両周辺監視装置。 A radar for detecting a relative position between an object mounted in a vehicle and within a first monitoring range around the vehicle and the vehicle, and a second monitoring range mounted on the vehicle and overlapping the first monitoring range A vehicle periphery monitoring device comprising: a camera that captures an object; and an object detection unit that detects an object to be monitored based on detection data by the radar and an image captured by the camera,
A determination area setting means for setting a determination area including a position corresponding to a relative position between the object detected by the radar and the vehicle in the captured image;
A target to be monitored by the object detection unit based on a captured image in which the degree of correlation of the determination region with a captured image immediately before or immediately after the captured image is a predetermined level or less among a plurality of captured images captured by the camera at predetermined time intervals A vehicle periphery monitoring device comprising: an image detection prohibiting unit that prohibits detection of an object.
前記判定領域設定手段により、所定時点での前記撮像画像に複数の前記判定領域が設定され、その後、前記カメラにより所定時間間隔をもって撮像された複数の撮像画像間において、相関度が所定レベル以下となる前記判定領域が、前記撮像画像の左から右若しくは右から左に切り換わったときには、前記カメラの前方を横断する物体があると検知する横断物体検知部を備えたことを特徴とする車両周辺監視装置。 In the vehicle periphery monitoring device according to claim 3,
The determination area setting means sets a plurality of the determination areas in the captured image at a predetermined time point, and thereafter, the correlation degree is a predetermined level or less between the plurality of captured images captured at a predetermined time interval by the camera. A vehicle periphery comprising: a crossing object detection unit that detects that there is an object crossing the front of the camera when the determination region is switched from left to right or from right to left in the captured image. Monitoring device.
前記レーダーにより検出される物体の位置の変化状況と、前記撮像画像における該物体の画像部分の位置の変化状況とを比較して、前記対象物検知部による前記撮像画像に基づく監視対象物の検知を禁止するか否かを決定する画像検知禁止部を備えたこと特徴とする車両周辺監視装置。 A radar for detecting a relative position between an object mounted in a vehicle and within a first monitoring range around the vehicle and the vehicle, and a second monitoring range mounted on the vehicle and overlapping the first monitoring range A vehicle periphery monitoring device comprising: a camera that captures an object; and an object detection unit that detects an object to be monitored based on detection data by the radar and an image captured by the camera,
Detection of the monitoring object based on the captured image by the object detection unit by comparing the change of the position of the object detected by the radar and the change of the position of the image portion of the object in the captured image A vehicle periphery monitoring device comprising an image detection prohibition unit that determines whether or not to prohibit the control.
前記レーダーにより検出される物体の相対位置の時系列データにより、該物体の位置をトラッキングするトラッキング部と、
前記トラッキング部により複数の物体がトラッキングされているときに、複数の物体の位置が前記カメラの撮像方向で重なったときには、前記カメラに最も近い物体以外の物体についての前記撮像画像に基づく、前記対象物検知部による監視対象物の検知を禁止する画像検知禁止部とを備えたことを特徴とする車両周辺監視装置。 A radar for detecting a relative position between an object mounted in a vehicle and within a first monitoring range around the vehicle and the vehicle, and a second monitoring range mounted on the vehicle and overlapping the first monitoring range A vehicle periphery monitoring device comprising: a camera that captures an object; and an object detection unit that detects an object to be monitored based on detection data by the radar and an image captured by the camera,
A tracking unit that tracks the position of the object based on time-series data of the relative position of the object detected by the radar;
When a plurality of objects are tracked by the tracking unit and the positions of the plurality of objects overlap in the imaging direction of the camera, the target based on the captured image of an object other than the object closest to the camera A vehicle periphery monitoring device comprising: an image detection prohibiting unit that prohibits detection of an object to be monitored by an object detection unit.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010064853A JP5491242B2 (en) | 2010-03-19 | 2010-03-19 | Vehicle periphery monitoring device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010064853A JP5491242B2 (en) | 2010-03-19 | 2010-03-19 | Vehicle periphery monitoring device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2011198114A true JP2011198114A (en) | 2011-10-06 |
| JP5491242B2 JP5491242B2 (en) | 2014-05-14 |
Family
ID=44876214
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010064853A Expired - Fee Related JP5491242B2 (en) | 2010-03-19 | 2010-03-19 | Vehicle periphery monitoring device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5491242B2 (en) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101611242B1 (en) | 2013-03-29 | 2016-04-26 | 가부시키가이샤 덴소 | Vehicle-installation intersection judgement apparatus and program |
| WO2018135356A1 (en) * | 2017-01-20 | 2018-07-26 | 株式会社小糸製作所 | Vehicle lamp system, vehicle lamp control apparatus, and vehicle lamp control method |
| WO2019176200A1 (en) * | 2018-03-12 | 2019-09-19 | 日立オートモティブシステムズ株式会社 | Vehicle control device |
| CN114067608A (en) * | 2020-08-06 | 2022-02-18 | 丰田自动车株式会社 | Vehicle-mounted detection device and detection method |
| WO2022215323A1 (en) * | 2021-04-08 | 2022-10-13 | ソニーグループ株式会社 | Information processing system, information processing device, and information processing method |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7188394B2 (en) | 2017-10-02 | 2022-12-13 | ソニーグループ株式会社 | Image processing device and image processing method |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002098509A (en) * | 2000-09-22 | 2002-04-05 | Mazda Motor Corp | Vehicle detecting device |
| JP2006040029A (en) * | 2004-07-28 | 2006-02-09 | Daihatsu Motor Co Ltd | Obstacle recognition method and obstacle recognition device |
| JP2006163879A (en) * | 2004-12-08 | 2006-06-22 | Daihatsu Motor Co Ltd | Image processing method and image processing apparatus |
| JP2008026997A (en) * | 2006-07-18 | 2008-02-07 | Denso Corp | Pedestrian recognition device and pedestrian recognition method |
| JP2008045998A (en) * | 2006-08-16 | 2008-02-28 | Toyota Motor Corp | Object detecting device |
| JP2009230506A (en) * | 2008-03-24 | 2009-10-08 | Pioneer Electronic Corp | Warning apparatus, warning system and warning method |
-
2010
- 2010-03-19 JP JP2010064853A patent/JP5491242B2/en not_active Expired - Fee Related
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002098509A (en) * | 2000-09-22 | 2002-04-05 | Mazda Motor Corp | Vehicle detecting device |
| JP2006040029A (en) * | 2004-07-28 | 2006-02-09 | Daihatsu Motor Co Ltd | Obstacle recognition method and obstacle recognition device |
| JP2006163879A (en) * | 2004-12-08 | 2006-06-22 | Daihatsu Motor Co Ltd | Image processing method and image processing apparatus |
| JP2008026997A (en) * | 2006-07-18 | 2008-02-07 | Denso Corp | Pedestrian recognition device and pedestrian recognition method |
| JP2008045998A (en) * | 2006-08-16 | 2008-02-28 | Toyota Motor Corp | Object detecting device |
| JP2009230506A (en) * | 2008-03-24 | 2009-10-08 | Pioneer Electronic Corp | Warning apparatus, warning system and warning method |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101611242B1 (en) | 2013-03-29 | 2016-04-26 | 가부시키가이샤 덴소 | Vehicle-installation intersection judgement apparatus and program |
| WO2018135356A1 (en) * | 2017-01-20 | 2018-07-26 | 株式会社小糸製作所 | Vehicle lamp system, vehicle lamp control apparatus, and vehicle lamp control method |
| JPWO2018135356A1 (en) * | 2017-01-20 | 2019-11-07 | 株式会社小糸製作所 | VEHICLE LIGHT SYSTEM, VEHICLE LIGHT CONTROL DEVICE, AND VEHICLE LIGHT CONTROL METHOD |
| US11097653B2 (en) | 2017-01-20 | 2021-08-24 | Koito Manufacturing Co., Ltd. | Vehicle lamp system, vehicle lamp control device and vehicle lamp control method |
| WO2019176200A1 (en) * | 2018-03-12 | 2019-09-19 | 日立オートモティブシステムズ株式会社 | Vehicle control device |
| CN111819122A (en) * | 2018-03-12 | 2020-10-23 | 日立汽车系统株式会社 | Vehicle control device |
| JPWO2019176200A1 (en) * | 2018-03-12 | 2021-02-04 | 日立オートモティブシステムズ株式会社 | Vehicle control device |
| CN111819122B (en) * | 2018-03-12 | 2023-09-19 | 日立安斯泰莫株式会社 | vehicle control device |
| US11935307B2 (en) | 2018-03-12 | 2024-03-19 | Hitachi Automotive Systems, Ltd. | Vehicle control apparatus |
| CN114067608A (en) * | 2020-08-06 | 2022-02-18 | 丰田自动车株式会社 | Vehicle-mounted detection device and detection method |
| CN114067608B (en) * | 2020-08-06 | 2023-10-10 | 丰田自动车株式会社 | Vehicle-mounted detection device and detection method |
| WO2022215323A1 (en) * | 2021-04-08 | 2022-10-13 | ソニーグループ株式会社 | Information processing system, information processing device, and information processing method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5491242B2 (en) | 2014-05-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5959581B2 (en) | Vehicle periphery monitoring device | |
| JP5491242B2 (en) | Vehicle periphery monitoring device | |
| US8625850B2 (en) | Environment recognition device and environment recognition method | |
| JP2007334751A (en) | Vehicle periphery monitoring device | |
| JP2003216949A (en) | Infrared image processor | |
| JP4528283B2 (en) | Vehicle periphery monitoring device | |
| JP2008242571A (en) | Object detection device | |
| JP2015153162A (en) | Boundary line recognition device | |
| JP2016018371A (en) | On-vehicle system, information processing apparatus, and program | |
| JP6069938B2 (en) | Pop-up detection device | |
| JP5955291B2 (en) | Filtering device and environment recognition system | |
| KR101976392B1 (en) | System by detection of lane marking | |
| JP4930256B2 (en) | Adjacent vehicle detection device and adjacent vehicle detection method | |
| JP3999088B2 (en) | Obstacle detection device | |
| JP2016162130A (en) | Device and method for detecting pedestrian crossing and computer for pedestrian crossing detection | |
| JP5892254B2 (en) | Image processing apparatus, image processing method, and image processing program | |
| JP2010093569A (en) | Vehicle periphery monitoring device | |
| US9600988B2 (en) | Image processing device and method for processing image | |
| JP5950193B2 (en) | Disparity value calculation device, disparity value calculation system including the same, moving surface area recognition system, disparity value calculation method, and disparity value calculation program | |
| JP5900021B2 (en) | Pop-up detection device | |
| JP6201809B2 (en) | Perimeter monitoring apparatus and method | |
| JP6949090B2 (en) | Obstacle detection device and obstacle detection method | |
| JP6177632B2 (en) | Vehicle position detection device and vehicle rear side warning device | |
| JP2018163530A (en) | Object detection device, object detection method, and object detection program | |
| JP5974705B2 (en) | Pop-up detection device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20121128 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20131127 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20131203 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140130 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140218 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140227 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5491242 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |