JP2009244985A - Driving support device and pedestrian detecting device - Google Patents
Driving support device and pedestrian detecting device Download PDFInfo
- Publication number
- JP2009244985A JP2009244985A JP2008088114A JP2008088114A JP2009244985A JP 2009244985 A JP2009244985 A JP 2009244985A JP 2008088114 A JP2008088114 A JP 2008088114A JP 2008088114 A JP2008088114 A JP 2008088114A JP 2009244985 A JP2009244985 A JP 2009244985A
- Authority
- JP
- Japan
- Prior art keywords
- pedestrian
- shadow
- detected
- bicycle
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Traffic Control Systems (AREA)
Abstract
Description
この発明は、運転支援装置及び歩行者検出装置に係り、特に、自車両の前方を撮像した画像から歩行者又は自転車を検出する運転支援装置及び歩行者検出装置に関する。 The present invention relates to a driving support device and a pedestrian detection device, and more particularly to a driving support device and a pedestrian detection device that detect a pedestrian or a bicycle from an image obtained by imaging the front of the host vehicle.
従来、各センサによって検出されたデータを取り込み、死角及びバリアを検出し、飛び出し歩行者との衝突確率を推定し、衝突確率を基準値以下に保つ適正車速を設定して提示するよう制御する潜在危険度推定装置が知られている（特許文献１）。 Conventionally, the potential to control to capture data detected by each sensor, detect blind spots and barriers, estimate the collision probability with a jumping pedestrian, and set and present an appropriate vehicle speed that keeps the collision probability below the reference value A risk estimation device is known (Patent Document 1).
また、自車前方の状況を赤外線カメラで撮影し、撮影された画像に基づいて歩行者の位置を検出し、対向車の有無を検出してその位置を求め、これらの検出結果に基づいて、ランプユニットのマーキング光が歩行者に照射されるようにするとともに、赤外フィルタを移動させて対向車の運転者にマーキング光が照射されないように照射領域を制限する夜間移動体報知装置が知られている（特許文献２）。
しかしながら、上記の特許文献１に記載の技術では、歩行者の飛び出しが生じる危険のある死角領域の大きさを推定することで、間接的に歩行者の飛び出しによる衝突事故の生じる危険度を推定しているが、歩行者を直接検出していないため、精度よく危険度を算出することができない、という問題がある。 However, in the technique described in Patent Document 1 above, the risk of a collision accident due to a pedestrian jumping is estimated indirectly by estimating the size of a blind spot area where the pedestrian jumping may occur. However, since the pedestrian is not directly detected, there is a problem that the risk cannot be calculated with high accuracy.
また、上記の特許文献２に記載の技術では、画像で検出した歩行者に対してマーキング光を照射するが、画像の検出範囲外の歩行者は検出することができない、という問題がある。 Further, in the technique described in Patent Document 2, marking light is irradiated to a pedestrian detected by an image, but there is a problem that a pedestrian outside the image detection range cannot be detected.
本発明は、上記の問題点を解決するためになされたもので、画像の撮像範囲外に歩行者又は自転車が存在する場合であっても、精度よく衝突危険度を算出して、適切に運転支援を行なうことができる運転支援装置を提供することを第１の目的とする。 The present invention has been made to solve the above-described problems. Even when a pedestrian or a bicycle exists outside the imaging range of the image, the collision risk is accurately calculated and the vehicle is driven appropriately. It is a first object of the present invention to provide a driving support device that can perform support.
また、短い処理時間で、歩行者又は自転車を検出することができる歩行者検出装置を提供することを第２の目的とする。 Another object of the present invention is to provide a pedestrian detection device capable of detecting a pedestrian or a bicycle in a short processing time.
上記の目的を達成するために第１の発明に係る運転支援装置は、前方を照射する照明装置を備えた自車両の前方を撮像する撮像手段によって撮像された画像から、歩行者及び自転車の少なくとも一方を検出する歩行者検出手段と、前記歩行者検出手段によって歩行者及び自転車が検出されなかった場合、前記撮像された画像から、前記歩行者及び自転車の少なくとも一方の影を検出する影検出手段と、前記歩行者検出手段によって検出された前記歩行者及び自転車の少なくとも一方、又は前記影検出手段によって検出された前記歩行者及び自転車の少なくとも一方の影に基づいて、前記歩行者及び自転車の少なくとも一方と衝突する衝突危険度を算出する危険度算出手段と、前記危険度算出手段によって算出された衝突危険度に基づいて、運転支援を行なう運転支援手段とを含んで構成されている。 In order to achieve the above object, a driving support device according to a first aspect of the present invention provides at least a pedestrian and a bicycle from an image captured by an imaging unit that images the front of the host vehicle equipped with a lighting device that illuminates the front. Pedestrian detection means for detecting one, and shadow detection means for detecting at least one shadow of the pedestrian and bicycle from the captured image when no pedestrian and bicycle are detected by the pedestrian detection means And at least one of the pedestrian and bicycle detected by the pedestrian detection means, or at least one of the pedestrian and bicycle detected by the shadow detection means. A risk calculating means for calculating a collision risk that collides with the other, and an operation based on the collision risk calculated by the risk calculating means; It is configured to include a driving support means for supporting.
第１の発明に係る運転支援装置によれば、撮影手段によって、前方を照射する照明装置を備えた自車両の前方を撮像し、歩行者検出手段によって、撮像手段によって撮像された画像から、歩行者及び自転車の少なくとも一方を検出する。また、影検出手段によって、歩行者検出手段によって歩行者及び自転車が検出されなかった場合、撮像された画像から、歩行者及び自転車の少なくとも一方の影を検出する。 According to the driving support apparatus according to the first aspect of the present invention, the imaging unit images the front of the host vehicle equipped with the illumination device that irradiates the front, and the pedestrian detection unit performs the walking from the image captured by the imaging unit. At least one of a person and a bicycle is detected. Further, when the pedestrian and the bicycle are not detected by the pedestrian detection unit, the shadow detection unit detects at least one shadow of the pedestrian and the bicycle from the captured image.
そして、危険度算出手段によって、歩行者検出手段によって検出された歩行者及び自転車の少なくとも一方、又は影検出手段によって検出された歩行者及び自転車の少なくとも一方の影に基づいて、歩行者及び自転車の少なくとも一方と衝突する衝突危険度を算出する。運転支援手段によって、危険度算出手段によって算出された衝突危険度に基づいて、運転支援を行なう。 Then, based on the shadow of at least one of the pedestrian and the bicycle detected by the pedestrian detection unit, or at least one of the pedestrian and the bicycle detected by the shadow detection unit by the risk level calculation unit, The degree of collision risk of colliding with at least one is calculated. Driving assistance is performed by the driving assistance means based on the collision risk calculated by the risk calculation means.
このように、自車両の前方を撮像した画像から、歩行者及び自転車の少なくとも一方が検出されなかった場合に、歩行者及び自転車の少なくとも一方の影を検出して、衝突危険度を算出するため、画像の撮像範囲外に歩行者又は自転車が存在する場合であっても、精度よく衝突危険度を算出して、適切に運転支援を行なうことができる。 As described above, when at least one of a pedestrian and a bicycle is not detected from an image obtained by capturing the front of the host vehicle, a shadow risk of at least one of the pedestrian and the bicycle is detected and the collision risk is calculated. Even when a pedestrian or a bicycle exists outside the image capturing range, it is possible to calculate the collision risk with high accuracy and perform driving support appropriately.
第２の発明に係る運転支援装置は、前方を照射する照明装置を備えた自車両の前方を撮像する撮像手段によって撮像された画像から、歩行者及び自転車の少なくとも一方の影を検出する影検出手段と、前記影検出手段によって前記歩行者及び自転車の少なくとも一方の影が検出されたとき、前記撮像された画像の、前記影検出手段によって検出された歩行者又は自転車の影の周辺から、前記歩行者及び自転車の少なくとも一方を検出する歩行者検出手段と、前記歩行者検出手段によって前記歩行者及び自転車の少なくとも一方が検出されたとき、前記歩行者検出手段によって検出された前記歩行者及び自転車の少なくとも一方に基づいて、前記歩行者及び自転車の少なくとも一方と衝突する衝突危険度を算出し、前記歩行者検出手段によって歩行者及び自転車が検出されなかったとき、前記影検出手段によって検出された前記歩行者及び自転車の少なくとも一方の影に基づいて、前記歩行者及び自転車の少なくとも一方と衝突する衝突危険度を算出する危険度算出手段と、前記危険度算出手段によって算出された衝突危険度に基づいて、運転支援を行なう運転支援手段とを含んで構成されている。 According to a second aspect of the present invention, there is provided a driving support apparatus for detecting a shadow of at least one of a pedestrian and a bicycle from an image picked up by an image pickup means for picking up the front of the host vehicle equipped with an illumination device for illuminating the front. When a shadow of at least one of the pedestrian and bicycle is detected by the means and the shadow detection means, from the periphery of the shadow of the pedestrian or bicycle detected by the shadow detection means of the captured image, Pedestrian detection means for detecting at least one of a pedestrian and a bicycle, and the pedestrian and the bicycle detected by the pedestrian detection means when at least one of the pedestrian and the bicycle is detected by the pedestrian detection means. Based on at least one of the above, a collision risk of collision with at least one of the pedestrian and the bicycle is calculated, and the pedestrian detection means Risk of calculating the collision risk of collision with at least one of the pedestrian and the bicycle based on the shadow of at least one of the pedestrian and the bicycle detected by the shadow detection means when no pedestrian or bicycle is detected Degree calculating means and driving assistance means for providing driving assistance based on the collision risk calculated by the risk calculating means.
第２の発明に係る運転支援装置によれば、撮像手段によって、前方を照射する照明装置を備えた自車両の前方を撮像し、影検出手段によって、撮像手段によって撮像された画像から、歩行者及び自転車の少なくとも一方の影を検出する。また、歩行者検出手段によって、影検出手段によって歩行者及び自転車の少なくとも一方の影が検出されたとき、撮像された画像の、影検出手段によって検出された歩行者及び自転車の少なくとも一方の影の周辺から、歩行者及び自転車の少なくとも一方を検出する。 According to the driving support apparatus according to the second aspect of the invention, the imaging means images the front of the host vehicle equipped with the illumination device that illuminates the front, and the shadow detection means images the pedestrian from the image captured by the imaging means. And at least one shadow of the bicycle is detected. Further, when at least one shadow of the pedestrian and the bicycle is detected by the shadow detection unit by the pedestrian detection unit, the shadow of at least one of the pedestrian and the bicycle detected by the shadow detection unit is detected. At least one of a pedestrian and a bicycle is detected from the periphery.
そして、危険度算出手段によって、歩行者検出手段によって歩行者及び自転車の少なくとも一方が検出されたとき、歩行者検出手段によって検出された歩行者及び自転車の少なくとも一方に基づいて、歩行者及び自転車の少なくとも一方と衝突する衝突危険度を算出し、歩行者検出手段によって歩行者及び自転車が検出されなかったとき、影検出手段によって検出された歩行者及び自転車の少なくとも一方の影に基づいて、歩行者及び自転車の少なくとも一方と衝突する衝突危険度を算出する。 Then, when at least one of the pedestrian and the bicycle is detected by the pedestrian detection unit by the risk level calculation unit, based on at least one of the pedestrian and the bicycle detected by the pedestrian detection unit, the pedestrian and the bicycle A pedestrian is calculated based on the shadow of at least one of the pedestrian and the bicycle detected by the shadow detection means when the pedestrian and the bicycle are not detected by the pedestrian detection means by calculating a collision risk degree that collides with at least one And the risk of collision with at least one of the bicycles is calculated.
そして、運転支援手段によって、危険度算出手段によって算出された衝突危険度に基づいて、運転支援を行なう。 Then, driving assistance is performed by the driving assistance means based on the collision risk calculated by the risk calculation means.
このように、自車両の前方を撮像した画像から、歩行者及び自転車の少なくとも一方が検出されなかった場合に、検出された歩行者及び自転車の少なくとも一方の影に基づいて、衝突危険度を算出するため、画像の撮像範囲外に歩行者又は自転車が存在する場合であっても、精度よく衝突危険度を算出して、適切に運転支援を行なうことができる。 In this way, when at least one of a pedestrian and a bicycle is not detected from an image obtained by capturing the front of the host vehicle, the collision risk is calculated based on the detected shadow of at least one of the pedestrian and the bicycle. Therefore, even when a pedestrian or a bicycle exists outside the imaging range of the image, it is possible to accurately calculate the collision risk and perform driving support appropriately.
第３の発明に係る歩行者検出装置は、前方を照射する照明装置を備えた自車両の前方を撮像する撮像手段によって撮像された画像から、歩行者及び自転車の少なくとも一方の影を検出する影検出手段と、前記影検出手段によって前記歩行者及び自転車の少なくとも一方の影が検出されたとき、前記撮像された画像の、前記影検出手段によって検出された前記歩行者及び自転車の少なくとも一方の影の周辺から、前記歩行者及び自転車の少なくとも一方を検出する歩行者検出手段とを含んで構成されている。 A pedestrian detection device according to a third aspect of the present invention is a shadow for detecting at least one shadow of a pedestrian and a bicycle from an image picked up by an image pickup means for picking up the front of the host vehicle provided with a lighting device for illuminating the front. When at least one shadow of the pedestrian and bicycle is detected by the detection means and the shadow detection means, the shadow of at least one of the pedestrian and bicycle detected by the shadow detection means in the captured image. Pedestrian detection means for detecting at least one of the pedestrian and the bicycle.
第３の発明に係る歩行者検出装置によれば、撮像手段によって、前方を照射する照明装置を備えた自車両の前方を撮像し、影検出手段によって、撮像手段によって撮像された画像から、歩行者及び自転車の少なくとも一方の影を検出する。 According to the pedestrian detection device of the third invention, the front of the host vehicle equipped with the illumination device that illuminates the front is picked up by the image pickup means, and the walking is performed from the image picked up by the image pickup means by the shadow detection means. The shadow of at least one of a person and a bicycle is detected.
そして、歩行者検出手段によって、影検出手段によって歩行者及び自転車の少なくとも一方の影が検出されたとき、撮像された画像の、影検出手段によって検出された歩行者及び自転車の少なくとも一方の影の周辺から、歩行者及び自転車の少なくとも一方を検出する。 Then, when at least one shadow of the pedestrian and the bicycle is detected by the shadow detection unit by the pedestrian detection unit, the shadow of at least one of the pedestrian and the bicycle detected by the shadow detection unit is detected. At least one of a pedestrian and a bicycle is detected from the periphery.
このように、歩行者及び自転車の少なくとも一方の影を検出し、検出された影の周辺から、歩行者及び自転車の少なくとも一方を検出することにより、検出範囲を限定することができるため、短い処理時間で、歩行者又は自転車を検出することができる。 In this way, the detection range can be limited by detecting the shadow of at least one of the pedestrian and the bicycle, and detecting at least one of the pedestrian and the bicycle from the periphery of the detected shadow. By time, pedestrians or bicycles can be detected.
第３の発明に係る歩行者検出手段は、撮像された画像の、影検出手段によって検出された歩行者及び自転車の少なくとも一方の影の周辺に、検出候補領域を設定し、設定した検出候補領域から、歩行者及び自転車の少なくとも一方を検出することができる。これによって、検出範囲を検出候補領域に限定することができる。 The pedestrian detection means according to the third invention sets a detection candidate area around the shadow of at least one of the pedestrian and the bicycle detected by the shadow detection means in the captured image, and sets the detection candidate area. From this, at least one of a pedestrian and a bicycle can be detected. As a result, the detection range can be limited to the detection candidate region.
第３の発明に係る歩行者検出装置は、影検出手段によって検出された歩行者及び自転車の少なくとも一方の影に基づいて、歩行者及び自転車の少なくとも一方と衝突する衝突危険度を算出する危険度算出手段を更に含み、歩行者検出手段は、危険度算出手段によって算出された衝突危険度が所定値以上であるときに、撮像された画像の、影検出手段によって検出された歩行者及び自転車の少なくとも一方の影の周辺から、歩行者及び自転車の少なくとも一方を検出することができる。 The pedestrian detection device according to a third aspect of the present invention is based on the shadow of at least one of the pedestrian and the bicycle detected by the shadow detection means, and calculates the risk of collision with the pedestrian and at least one of the bicycle. The pedestrian detection unit further includes a calculation unit, and the pedestrian detection unit detects the pedestrian and the bicycle detected by the shadow detection unit when the collision risk calculated by the risk calculation unit is equal to or greater than a predetermined value. At least one of a pedestrian and a bicycle can be detected from the periphery of at least one of the shadows.
第４の発明に係る運転支援装置は、上記の危険度算出手段を含む第３の発明に歩行者検出装置と、歩行者検出装置によって歩行者及び自転車の少なくとも一方が検出されたときに、運転支援を行なう運転支援手段とを含んで構成されている。 A driving support device according to a fourth aspect of the present invention is the driving support device according to the third aspect of the invention including the risk calculating means, when at least one of a pedestrian and a bicycle is detected by the pedestrian detection device and the pedestrian detection device. And driving support means for providing support.
第４の発明に係る運転支援装置によれば、撮像手段によって、前方を照射する照明装置を備えた自車両の前方を撮像し、影検出手段によって、撮像手段によって撮像された画像から、歩行者及び自転車の少なくとも一方の影を検出する。また、危険度算出手段によって、影検出手段によって検出された歩行者及び自転車の少なくとも一方の影に基づいて、歩行者及び自転車の少なくとも一方と衝突する衝突危険度を算出する。 According to the driving support apparatus according to the fourth aspect of the invention, the imaging means images the front of the host vehicle equipped with the illumination device that illuminates the front, and the shadow detection means images the pedestrian from the image captured by the imaging means. And at least one shadow of the bicycle is detected. Further, the danger level calculating means calculates a collision risk level that collides with at least one of the pedestrian and the bicycle based on the shadow of at least one of the pedestrian and the bicycle detected by the shadow detection means.
そして、歩行者検出手段によって、影検出手段によって歩行者及び自転車の少なくとも一方の影が検出されたときであって、危険度算出手段によって算出された衝突危険度が所定値以上であるときに、撮像された画像の、影検出手段によって検出された歩行者及び自転車の少なくとも一方の影の周辺から、歩行者及び自転車の少なくとも一方を検出する。 And when the shadow detection means detects the shadow of at least one of the pedestrian and the bicycle by the pedestrian detection means, and when the collision risk calculated by the risk level calculation means is a predetermined value or more, At least one of the pedestrian and the bicycle is detected from the periphery of the shadow of at least one of the pedestrian and the bicycle detected by the shadow detection means in the captured image.
そして、運転支援手段によって、歩行者及び自転車の少なくとも一方が検出されたときに、運転支援を行なう。 When at least one of a pedestrian and a bicycle is detected by the driving support means, driving support is performed.
このように、検出された歩行者及び自転車の少なくとも一方の影に基づく衝突危険度が高い場合に、自車両の前方を撮像した画像から、歩行者及び自転車の少なくとも一方が検出されると、運転支援を行なうため、衝突する危険が高い場合に、適切に運転支援を行なうことができる。 As described above, when the collision risk based on the shadow of at least one of the detected pedestrian and the bicycle is high, driving is performed when at least one of the pedestrian and the bicycle is detected from the image captured in front of the host vehicle. Since the assistance is performed, the driving assistance can be appropriately performed when the risk of collision is high.
以上説明したように、本発明の運転支援装置によれば、自車両の前方を撮像した画像から検出された歩行者及び自転車の少なくとも一方、又は検出された歩行者及び自転車の少なくとも一方の影に基づいて、衝突危険度を算出するため、画像の撮像範囲外に歩行者又は自転車が存在する場合であっても、精度よく衝突危険度を算出して、適切に運転支援を行なうことができる、という効果が得られる。 As described above, according to the driving support device of the present invention, the shadow of at least one of the pedestrian and the bicycle detected from the image obtained by imaging the front of the host vehicle or at least one of the detected pedestrian and the bicycle. Based on this, in order to calculate the collision risk, even if there is a pedestrian or bicycle outside the imaging range of the image, the collision risk can be calculated accurately and driving assistance can be performed appropriately. The effect is obtained.
本発明の歩行者検出装置によれば、歩行者及び自転車の少なくとも一方の影を検出し、検出された影の周辺から、歩行者及び自転車の少なくとも一方を検出することにより、検出範囲を限定することができるため、短い処理時間で、歩行者又は自転車を検出することができる、という効果が得られる。 According to the pedestrian detection device of the present invention, the detection range is limited by detecting the shadow of at least one of the pedestrian and the bicycle and detecting at least one of the pedestrian and the bicycle from the periphery of the detected shadow. Therefore, the effect that a pedestrian or a bicycle can be detected in a short processing time can be obtained.
以下、図面を参照して、本発明の好適な実施の形態について説明する。なお、本実施の形態では、車両に搭載された運転支援装置に本発明を適用した場合について説明する。 Hereinafter, preferred embodiments of the present invention will be described with reference to the drawings. In the present embodiment, a case where the present invention is applied to a driving support device mounted on a vehicle will be described.
図１に示すように、第１の実施の形態に係る運転支援装置１０は、自車両に搭載された近赤外光を受光するカメラで構成され、かつ、自車両の前方の画像を撮像する近赤外カメラ１２と、自車両の前方に近赤外光を照射し、近赤外カメラ１２による撮像時に、照射する近赤外光を点滅させる近赤外ランプ１４と、近赤外カメラ１２によって撮像された画像に基づいて、出力部１８によって、歩行者との衝突の危険性を警報するコンピュータ１６とを備えている。 As shown in FIG. 1, the driving support device 10 according to the first embodiment is configured by a camera that receives near-infrared light mounted on the host vehicle and captures an image in front of the host vehicle. A near-infrared camera 12, a near-infrared lamp 14 that irradiates near-infrared light in front of the host vehicle, and blinks the irradiated near-infrared light during imaging by the near-infrared camera 12; And a computer 16 that warns the danger of a collision with a pedestrian by the output unit 18 based on the image captured by.
近赤外カメラ１２は、近赤外ランプ１４の点滅によって、近赤外ランプ１４から近赤外光が照射されているときの前方の画像を撮像すると共に、近赤外ランプ１４から近赤外光が照射されていないときの前方の画像を撮像する。 The near-infrared camera 12 picks up a front image when the near-infrared lamp 14 is flashing, and the near-infrared lamp 14 emits a near-infrared light. A front image when light is not irradiated is taken.
出力部１８は、例えばスピーカから構成され、警報メッセージをドライバに対して音声出力する。 The output unit 18 is composed of, for example, a speaker, and outputs a warning message to the driver.
コンピュータ１６は、ＣＰＵと、ＲＡＭと、後述する運転支援処理ルーチンを実行するためのプログラムを記憶したＲＯＭとを備え、機能的には次に示すように構成されている。コンピュータ１６は、近赤外光が照射されたときに近赤外カメラ１２によって撮像された画像から、自車両の前方に存在する歩行者を検出する歩行者検出部２０と、歩行者が検出されなかったときに、近赤外光が照射されたときに近赤外カメラ１２によって撮像された画像、及び近赤外光が照射されていないときに近赤外カメラ１２によって撮像された画像に基づいて、歩行者の影を検出する影検出部２２と、歩行者検出部２０によって検出された歩行者、又は影検出部２２によって検出された歩行者の影に基づいて、歩行者と衝突する衝突危険度を算出する危険度算出部２４と、算出された衝突危険度に基づいて、出力部１８によって警報メッセージを音声出力させる警報制御部２６とを備えている。 The computer 16 includes a CPU, a RAM, and a ROM that stores a program for executing a driving support processing routine to be described later, and is functionally configured as follows. The computer 16 detects a pedestrian detection unit 20 that detects a pedestrian existing in front of the host vehicle and a pedestrian from an image captured by the near-infrared camera 12 when the near-infrared light is irradiated. Based on an image captured by the near-infrared camera 12 when irradiated with near-infrared light and an image captured by the near-infrared camera 12 when not irradiated with near-infrared light. The collision that collides with the pedestrian based on the shadow detection unit 22 that detects the shadow of the pedestrian and the pedestrian detected by the pedestrian detection unit 20 or the shadow of the pedestrian detected by the shadow detection unit 22 A risk level calculation unit 24 that calculates the risk level, and an alarm control unit 26 that outputs an alarm message by voice based on the calculated collision risk level are provided.
歩行者検出部２０は、既知のＳＶＭ等の学習型パターン識別手法を用いて、図２に示すような、近赤外光が照射されたときに近赤外カメラ１２によって撮像された画像から、歩行者が存在する領域を検出する。 The pedestrian detection unit 20 uses a learning pattern identification method such as a known SVM, as shown in FIG. 2, from an image captured by the near-infrared camera 12 when irradiated with near-infrared light. An area where a pedestrian is present is detected.
影検出部２２は、歩行者検出部２０によって撮像画像から歩行者が検出されなかったときに、以下に説明するように、近赤外カメラ１２によって撮像された画像から、歩行者の影を検出する。 The shadow detection unit 22 detects the shadow of the pedestrian from the image captured by the near-infrared camera 12 as described below when no pedestrian is detected from the captured image by the pedestrian detection unit 20. To do.
まず、図３（Ａ）に示すような、近赤外光が照射されたときに近赤外カメラ１２によって撮像された画像と、図３（Ｂ）に示すような、近赤外光が照射されていないときに近赤外カメラ１２によって撮像された画像とから、図３（Ｃ）に示すような輝度値の差分画像を生成する。生成された輝度値の差分画像によって、近赤外カメラ１２の死角に存在する歩行者の影が強調される。 First, an image captured by the near-infrared camera 12 when irradiated with near-infrared light as shown in FIG. 3A, and irradiation with near-infrared light as shown in FIG. 3B. A difference image of luminance values as shown in FIG. 3C is generated from the image captured by the near-infrared camera 12 when it is not. The shadow image of the pedestrian existing in the blind spot of the near-infrared camera 12 is emphasized by the generated difference image of the brightness values.
そして、図３（Ｄ）に示すように、既知のエッジ検出手法を用いて、輝度値の差分画像から、エッジを検出し、検出されたエッジに基づいて、歩行者の影を検出する。 Then, as shown in FIG. 3D, using a known edge detection method, an edge is detected from a difference image of luminance values, and a pedestrian's shadow is detected based on the detected edge.
ここで、本実施の形態の原理について説明する。例えば、夜間の歩行者注意喚起用の近赤外カメラは、遠方１５０ｍの距離の歩行者を撮像するため、画角が１６度程度と狭い。そのため、図４に示すように、自車両が歩行者の側方を通過する際、自車両の横１〜２ｍ離れた位置に存在する歩行者は、自車両と歩行者との距離が１０ｍ〜２０ｍの距離に接近すると、近赤外カメラの撮像範囲外にはずれてしまう。画像に対する歩行者検出により歩行者を追跡していた場合には、自車両と歩行者とが近距離になると追跡が終了してしまう、という問題があった。また、近赤外ランプの照射範囲は、近赤外カメラの撮像範囲より広いため、近赤外カメラの死角に存在する歩行者に、近赤外光を照射することができ、これによって、歩行者の影が形成される。そこで、本実施の形態では、近赤外カメラの撮像画像から歩行者自体が検出できなくても、歩行者の影部分を継続して検出する。これによって、歩行者が近赤外カメラの死角に存在する場合でも歩行者を追跡し続けることができる。 Here, the principle of the present embodiment will be described. For example, a near-infrared camera for alerting pedestrians at night captures a pedestrian at a distance of 150 meters away, so the angle of view is as narrow as about 16 degrees. Therefore, as shown in FIG. 4, when the own vehicle passes the side of the pedestrian, the pedestrian existing at a position 1 to 2 m away from the own vehicle has a distance between the own vehicle and the pedestrian of 10 m to When approaching a distance of 20 m, it shifts outside the imaging range of the near infrared camera. When a pedestrian is tracked by detecting a pedestrian in the image, there is a problem that the tracking ends when the own vehicle and the pedestrian are in a short distance. Also, since the irradiation range of the near-infrared lamp is wider than the imaging range of the near-infrared camera, it is possible to irradiate pedestrians in the blind spot of the near-infrared camera with near-infrared light. A shadow of the person is formed. Therefore, in the present embodiment, even if the pedestrian itself cannot be detected from the captured image of the near-infrared camera, the shadow portion of the pedestrian is continuously detected. Thereby, even when a pedestrian exists in the blind spot of a near-infrared camera, it can continue tracking a pedestrian.
危険度算出部２４は、歩行者検出部２０によって撮像画像から歩行者が検出された場合には、以下に説明するように、車速センサ（図示省略）から取得した自車両の車速と、撮像画像からの歩行者の検出結果とに基づいて、歩行者との衝突危険度を算出する。 When the pedestrian is detected from the captured image by the pedestrian detection unit 20, the risk level calculation unit 24, as will be described below, the vehicle speed of the own vehicle acquired from the vehicle speed sensor (not shown), and the captured image. The collision risk with the pedestrian is calculated based on the detection result of the pedestrian.
まず、検出された歩行者と自車両との位置関係、及び検出された歩行者と周囲の物標との位置関係から、歩行者の横断意図を推定する。例えば、画像に対するパターン識別で判定される歩行者の姿勢（自車両の走行車線の車線方向に対する歩行者の体の向き）、及びナビ地図情報または路車間通信により得られる周辺の横断歩道、信号状態、道路周辺のバス停、駅、学校、商店、会社の存在を表わす情報と現在時刻とに基づいて、歩行者の横断意図を推定する。 First, the pedestrian's intention to cross is estimated from the positional relationship between the detected pedestrian and the vehicle, and the positional relationship between the detected pedestrian and surrounding targets. For example, the pedestrian's posture (direction of the pedestrian with respect to the lane direction of the vehicle's driving lane) determined by pattern identification with respect to the image, the surrounding pedestrian crossing obtained by navigation map information or road-to-vehicle communication, signal status The pedestrian's intention to cross is estimated based on the information indicating the presence of bus stops, stations, schools, shops, and companies around the road and the current time.
歩行者の姿勢は、歩行者を検出した領域に対して、さらにパターン識別処理を行うことにより検出される。自車両からみて背面向き及び正面向きの歩行者を表わす画像と、横向きの歩行者を表わす画像とに分けて記憶した画像のデータベースを各々生成しておき、各々のデータベースを既知のパターン識別手法で学習して、歩行者の姿勢を判定できる識別器を構成しておく。そして、識別器を用いてパターン識別処理を行えばよい。 The posture of the pedestrian is detected by further performing pattern identification processing on the area where the pedestrian is detected. A database of images stored separately for images representing pedestrians facing the back and front as viewed from the host vehicle and images representing pedestrians facing sideways is generated, and each database is created using a known pattern identification method. A classifier that can learn and determine the posture of the pedestrian is constructed. Then, pattern identification processing may be performed using a classifier.
歩行者が横向きであると検出された場合は、検出された歩行者が飛び出す可能性が高いと判定し、背面及び正面向きであると検出された場合は、検出された歩行者が飛び出す可能性が低いと判定される。 If it is detected that the pedestrian is facing sideways, it is determined that the detected pedestrian is likely to jump out. If it is detected that the pedestrian is facing back and front, the detected pedestrian may jump out. Is determined to be low.
また、画像処理で歩行者を検出した場合の歩行者検出領域の大きさ（身長）や歩行者の歩幅から、歩行者の年齢を推定し、歩行者が子供または老齢であると推定される場合は、検出された歩行者が飛び出す確率が高いと判定される。 When the pedestrian's age is estimated from the size (height) of the pedestrian detection area when the pedestrian is detected by image processing and the pedestrian's stride, and the pedestrian is estimated to be a child or an old age It is determined that the detected pedestrian has a high probability of jumping out.
また、ナビ地図情報が得られる場合には、歩行者の姿勢が横向き（横断方向）であると判定されると、歩行者の検出位置を基準に、以下の判定も行う。 When navigation map information is obtained, if it is determined that the posture of the pedestrian is horizontal (transverse direction), the following determination is also performed based on the detected position of the pedestrian.
ナビ地図情報により、歩行者が検出された位置の道路の反対側に、バス停、駅、学校、又は会社があり、現在時刻が通勤通学時間帯であると判断される場合は、検出された歩行者が飛び出す可能性が高いと判定される。 If the navigation map information indicates that there is a bus stop, station, school, or company on the other side of the road where the pedestrian is detected and the current time is in the commuting time zone, the detected walking It is determined that the person is likely to jump out.
また、ナビ地図情報により，歩行者の検出された位置の道路の反対側に商店があり、現在時刻が、買い物の時間帯であると判断される場合は、検出された歩行者が飛び出す可能性が高いと判定される。 In addition, if the navigation map information indicates that there is a store on the opposite side of the road where the pedestrian is detected and the current time is within the shopping time zone, the detected pedestrian may jump out. Is determined to be high.
また、最近傍の横断歩道の位置を、ナビ地図情報から得て、横断歩道の位置と歩行者との間隔を算出し、算出された間隔が設定値以上である場合、検出された歩行者は横断歩道外を横断するために飛び出す可能性が高いと判定される。 In addition, the position of the nearest pedestrian crossing is obtained from the navigation map information, the distance between the pedestrian crossing position and the pedestrian is calculated, and if the calculated interval is greater than or equal to the set value, the detected pedestrian is It is determined that the possibility of jumping out to cross the pedestrian crossing is high.
上記の各判定項目の寄与度を、予め表に設定しておき、判定条件が満たされる判定項目の寄与度の総和により、歩行者の横断意図の大きさを推定する。このとき、歩行者の姿勢に対する寄与度は、他の寄与度よりも大きくなるように設定しておく。各寄与度は、道路環境の実測に基づいて設定するか、または、優良なドライバの知見に基づいて設定しておけばよい。 The degree of contribution of each determination item is set in a table in advance, and the size of the pedestrian's intention to cross is estimated based on the sum of the contributions of the determination items that satisfy the determination condition. At this time, the contribution to the pedestrian's posture is set to be larger than other contributions. Each contribution may be set based on actual measurement of the road environment or based on the knowledge of a good driver.
上記のように推定された歩行者の横断意図の大きさに基づいて、検出された歩行者の横断確率ｐｃと並進確率ｐｔとが設定される。このとき、ｐｃ＋ｐｔ＝１となるように設定する。 Based on the size of the pedestrian's intention to cross as estimated above, the detected pedestrian's crossing probability pc and translation probability pt are set. At this time, setting is made so that pc + pt = 1.
次に、以下に説明するように、歩行者の横断意図推定の結果から、検出された歩行者が、自車両が走行している車線上に侵入して、自車両と衝突する可能性を予測し、歩行者と自車両との衝突危険度を算出する。 Next, as described below, from the result of the pedestrian crossing intention estimation, it is predicted that the detected pedestrian may enter the lane in which the host vehicle is traveling and collide with the host vehicle. Then, the risk of collision between the pedestrian and the host vehicle is calculated.
まず、歩行者が横断方向に移動している場合の歩行者との衝突確率を推定する。ここでは、歩行者の横断意図の推定処理で推定した横断確率で、歩行者が横断するものと仮定する。この仮定を用いて、物理的衝突としての衝突確率を計算する。このとき、車両前方の飛び出し歩行者との衝突確率は、車両と歩行者との相対位置及び相対速度に依存する。 First, the collision probability with the pedestrian when the pedestrian is moving in the crossing direction is estimated. Here, it is assumed that the pedestrian crosses with the crossing probability estimated by the pedestrian crossing intention estimation process. Using this assumption, the collision probability as a physical collision is calculated. At this time, the collision probability with the pedestrian jumping out in front of the vehicle depends on the relative position and relative speed between the vehicle and the pedestrian.
ここで以下の変数を定義する。
ｖｃ：自車両の速度
Ｘ０：歩行者検出時の歩行者横断方向の自車両に対する歩行者の相対位置
Ｚ０：歩行者検出時の自車両進行方向の自車両と歩行者との相対距離
ｖｐ：歩行者の移動速度（一般的には１．２ｍ／ｓ）
ｔｄ：歩行者の横断開始の遅れ時間
ｔｃ：自車両が歩行者に最接近する時刻（歩行者脇を自車両が通過する時刻、あるいは衝突する時刻）
Ｘｐ：時刻ｔｃにおける歩行者横断方向の自車両に対する歩行者の相対位置
ｗ：自車両の横幅
ｐｃ：歩行者が横断する確率
Δｖｐ：歩行者の横断速度の標準偏差
Δｔｄ：歩行者の横断開始の遅れ時間の標準偏差
Here we define the following variables:
vc: Speed of own vehicle X0: Relative position of pedestrian relative to own vehicle in pedestrian crossing direction when pedestrian is detected Z0: Relative distance between own vehicle and pedestrian in traveling direction when pedestrian is detected vp: Walking Movement speed (generally 1.2m / s)
td: Delay time of pedestrian crossing start tc: Time when own vehicle approaches pedestrian (time when own vehicle passes side by side of pedestrian or time when collision occurs)
Xp: Relative position of the pedestrian with respect to the own vehicle in the pedestrian crossing direction at time tc w: Horizontal width of the own vehicle pc: Probability that the pedestrian crosses Δvp: Standard deviation of the pedestrian crossing speed Δtd: Start of pedestrian crossing Standard deviation of delay time
このとき、時刻ｔｃにおける歩行者横断方向の自車両に対する歩行者の相対位置Ｘｐと自車両速度ｖｃとは、以下の（１）式で計算される。
Ｘｐ＝Ｘ０＋ｖｐ・（Ｚ０／ｖｃ−ｔｄ） ・・・（１）
At this time, the relative position Xp of the pedestrian with respect to the own vehicle in the pedestrian crossing direction at time tc and the own vehicle speed vc are calculated by the following equation (1).
Xp = X0 + vp · (Z0 / vc−td) (1)
時刻ｔｃにおいて、自車両の前面と歩行者とが重なり合う状況、すなわち、以下の（２）式で表される条件が満たされる場合に、衝突が発生する。
−ｗ／２＜Ｘｐ＜ｗ／２ ・・・（２）
At time tc, a collision occurs when the front of the host vehicle and the pedestrian overlap, that is, when the condition expressed by the following equation (2) is satisfied.
-W / 2 <Xp <w / 2 (2)
なお、上記の（２）式の条件では、歩行者の大きさが自動車の大きさに比べて無視できるものと仮定したが、余裕を持って計算する場合には、ｗに設定値（歩行者幅相当量０．４ｍ〜歩行者と車との安全な距離余裕１ｍ程度の値）を加算すればよい。 In the condition of the above formula (2), it is assumed that the size of the pedestrian is negligible compared to the size of the car. However, when calculating with a margin, the set value (pedestrian) What is necessary is just to add width equivalent amount 0.4m-the value of about 1m of safe distance margins between a pedestrian and a car.
そして、以下の（３）式に従って、時刻ｔｃにおける歩行者位置Ｘｐの標準偏差σ（Ｘｐ）を計算する。
σ（Ｘｐ）＝［（（Ｚ０／ｖｃ−ｔｄ)・Δｖｐ）２＋（ｖｐ・Δｔｄ）２］１／２
・・・（３）
上記のように、時刻ｔｃにおける歩行者の予測位置を上記（２）式で計算し、その標準偏差を（３）式で計算する。
Then, the standard deviation σ (Xp) of the pedestrian position Xp at time tc is calculated according to the following equation (3).
σ (Xp) = [((Z0 / vc−td) · Δvp) 2 + (vp · Δtd) 2 ] 1/2
... (3)
As described above, the predicted position of the pedestrian at time tc is calculated by the above equation (2), and the standard deviation is calculated by the equation (3).
歩行者と自車両との衝突確率ｐは、図５に示す面積で表わされ、以下の（４）式で表される。 The collision probability p between the pedestrian and the host vehicle is represented by the area shown in FIG. 5, and is represented by the following equation (4).
ただし、Ｎ（μ，σ２)は、正規分布の確率密度関数を表わし、μは平均を表わし、σ２は分散を表わしている。 Here, N (μ, σ 2 ) represents a probability density function of normal distribution, μ represents an average, and σ 2 represents variance.
次に、歩行者が道路に対して並進方向に移動している場合、歩行者が車道に並進して移動すると仮定して、以下のように、歩行者が並進方向に移動している場合の歩行者との衝突確率を算出する。 Next, when the pedestrian is moving in the translation direction with respect to the road, assuming that the pedestrian translates and moves on the road, the pedestrian moves in the translation direction as follows: The probability of collision with a pedestrian is calculated.
まず、歩行者の並進移動を仮定した場合に、自車両が歩行者の位置を通過する時刻ｔｃと、通過時の位置までの並進方向の距離Ｚｐとを求める。 First, when the translational movement of the pedestrian is assumed, the time tc when the own vehicle passes the position of the pedestrian and the distance Zp in the translational direction to the position at the time of passing are obtained.
並進方向の歩行者は、既に移動速度ｖｐで歩いているものとし、歩行者の移動速度ｖｐはセンシングによる観測により既知とする。 It is assumed that the pedestrian in the translation direction is already walking at the moving speed vp, and the moving speed vp of the pedestrian is known by observation by sensing.
このとき、通過時刻ｔｃは以下の（５）式で表され、通過時刻ｔｃにおける歩行者の並進方向の位置Ｚｐは、以下の（６）式で表される。
ｔｃ＝Ｚｐ／ｖｃ ・・・（５）
Ｚｐ＝Ｚ０・ｖｃ／（ｖｃ−ｖｐ） ・・・（６）
At this time, the passage time tc is represented by the following equation (5), and the position Zp of the pedestrian in the translation direction at the passage time tc is represented by the following equation (6).
tc = Zp / vc (5)
Zp = Z0 · vc / (vc−vp) (6)
また、歩行者の並進方向の位置Ｚｐにおけるバリアの車道側縁の位置を、撮像画像に対するバリア検出処理によって求め、バリアが検出された場合に、検出されたバリアの車道側縁の位置を、時刻ｔｃにおける歩行者の横断方向の位置Ｘｐとする。 Further, the position of the roadway side edge of the barrier at the position Zp in the translation direction of the pedestrian is obtained by the barrier detection process for the captured image, and when the barrier is detected, the position of the roadway side edge of the detected barrier is A position Xp in the transverse direction of the pedestrian at tc is assumed.
そして、上記（４）式により、衝突確率を計算する。このとき、σ（Ｘｐ）は、歩行者の横断方向のふらつき量の標準偏差であり、歩行者の観測結果より設定すればよい。 Then, the collision probability is calculated by the above equation (4). At this time, σ (Xp) is a standard deviation of the amount of wobbling in the transverse direction of the pedestrian, and may be set from the observation result of the pedestrian.
最終的な歩行者との衝突確率Ｐは、以下の（７）式によって求められる。
Ｐ＝ｐｃ・ｐｃｃ＋ｐｔ・ｐｔｃ ・・・（７）
The final collision probability P with a pedestrian is obtained by the following equation (7).
P = pc · pcc + pt · ptc (7)
ただし、ｐｃは、歩行者の横断確率、ｐｔは、歩行者の並進確率、ｐｃｃは、歩行者が横断している場合の歩行者との衝突確率、ｐｔｃは、歩行者が並進方向に移動している場合の歩行者との衝突確率を表わしている。 Where pc is the pedestrian crossing probability, pt is the pedestrian translation probability, pcc is the collision probability with the pedestrian when the pedestrian is crossing, and ptc is the pedestrian moving in the translation direction. This represents the probability of collision with a pedestrian.
そして、上記（７）式で算出された衝突確率Ｐを、歩行者との衝突危険度とする。 Then, the collision probability P calculated by the above equation (7) is set as the collision risk with the pedestrian.
なお、衝突確率に重みを積算して衝突危険度の推定値としてもよい。例えば、重みとして、歩行者の被害度が考えられる。特に、歩行者事故においては車速ｖｃにより歩行者の受ける被害度が変わり、車速が低速であればあるほど被害度が小さくなる。そこで、簡易的には、車両の運動エネルギーに比例する車速の２乗の項を衝突確率に積算すればよいため、重み付き衝突確率Ｄを以下の（８）式で計算することができる。 Note that the estimated value of the collision risk may be obtained by adding a weight to the collision probability. For example, the weight of a pedestrian can be considered as a weight. In particular, in a pedestrian accident, the degree of damage to a pedestrian varies depending on the vehicle speed vc, and the degree of damage decreases as the vehicle speed decreases. Therefore, simply, the term of the square of the vehicle speed proportional to the kinetic energy of the vehicle has only to be added to the collision probability, so the weighted collision probability D can be calculated by the following equation (8).
ただし、ｖｓは基準とする速度で、国内の一般道路であれば時速６０ｋｍに設定すればよい。また、被害度による重みは、実際の事故統計データから衝突時の車速と被害度との関係を統計的に調査して設定すればよい。 However, vs is a reference speed, and may be set to 60 km / h for a domestic general road. The weight based on the damage level may be set by statistically investigating the relationship between the vehicle speed at the time of the collision and the damage level from the actual accident statistical data.
危険度算出部２４は、影検出部２２によって撮像画像から歩行者の影が検出された場合には、以下に説明するように、車速センサ（図示省略）から取得した自車両の車速と、撮像画像からの歩行者の検出結果とに基づいて、歩行者との衝突危険度を算出する。なお、図６に示すように、近赤外カメラ１２の撮像範囲外に歩行者が存在する場合について説明する。 When the shadow detection unit 22 detects a pedestrian shadow from the captured image, the risk level calculation unit 24 captures the vehicle speed of the host vehicle acquired from the vehicle speed sensor (not shown) and the imaging as described below. The collision risk with the pedestrian is calculated based on the detection result of the pedestrian from the image. In addition, as shown in FIG. 6, the case where a pedestrian exists outside the imaging range of the near-infrared camera 12 is demonstrated.
まず、歩行者を垂直の立体で近似すると、ＸＺ車両座標（Ｘ軸方向を横断方向とし、Ｚ軸方向を自車両の進行方向、すなわち、並進方向とする座標系）上の歩行者の影の稜線は、以下の（９）式の直線で表される。
Ｘ＝Ｌ＋（Ｘ０−Ｌ）／Ｚ０＊Ｚ ・・・（９）
First, when a pedestrian is approximated by a vertical solid, the pedestrian's shadow on the XZ vehicle coordinates (a coordinate system in which the X-axis direction is the transverse direction and the Z-axis direction is the traveling direction of the host vehicle, ie, the translation direction). The ridge line is represented by a straight line of the following equation (9).
X = L + (X0−L) / Z0 * Z (9)
ただし、Ｘ０は、衝突危険度予測時の車両と歩行者との横断方向の相対位置であり、Ｚ０は、衝突危険度予測時の車両と歩行者との車両進行方向の相対位置であり、Ｌは、カメラと投光器との間隔である。 However, X0 is the relative position of the vehicle and the pedestrian in the crossing direction at the time of collision risk prediction, Z0 is the relative position of the vehicle and the pedestrian in the vehicle traveling direction at the time of collision risk prediction, and L Is the distance between the camera and the projector.
路面が平面であることを仮定すると、図７に示すように、歩行者の影の稜線をｘｙカメラ画像座標（ｘ軸方向を水平方向とし、ｙ軸方向を高さ方向とする座標系）上へ投影して、以下の（１０）式を得ることができる。
ｘ＝（Ｌ／ｈ）ｙ＋ｆ（Ｘ０−Ｌ）／Ｚ０ ・・・（１０）
Assuming that the road surface is a plane, as shown in FIG. 7, the ridgeline of the shadow of the pedestrian is on xy camera image coordinates (a coordinate system in which the x-axis direction is the horizontal direction and the y-axis direction is the height direction). The following expression (10) can be obtained.
x = (L / h) y + f (X0−L) / Z0 (10)
ただし、消失点をｘｙカメラ画像座標の原点とし、ｈは、カメラ高さであり、ｆは、焦点距離である。 However, the vanishing point is the origin of the xy camera image coordinates, h is the camera height, and f is the focal length.
また、この歩行者の影の稜線の延長線と水平線ｙ＝０との交点ｘｃは、以下の（１１）式によって求められる。
ｘｃ＝ｆ（Ｘ０−Ｌ）／Ｚ０ ・・・（１１）
Further, the intersection point xc between the extension line of the shadow line of the pedestrian's shadow and the horizontal line y = 0 is obtained by the following equation (11).
xc = f (X0−L) / Z0 (11)
ｘｃを時間微分すると、以下の（１２）式が得られる。
ｄ（ｘｃ）／ｄｔ＝ｆ［−（Ｘ０−Ｌ）ｖｃ＋ｖｐ・Ｚ０］／Ｚ０２ ・・・（１２）
When xc is differentiated with respect to time, the following equation (12) is obtained.
d (xc) / dt = f [− (X0−L) vc + vp · Z0] / Z0 2 (12)
ただし、ｖｃは自車両の車速、ｖｐは歩行者が横断方向に移動する速度である。 However, vc is the vehicle speed of the own vehicle, and vp is the speed at which the pedestrian moves in the transverse direction.
また、歩行者が自車両の右先端に衝突する場合は、以下の（１３）式が成立する。
［（Ｘ０−Ｌ）ｖｃ−ｖｐ・Ｚ０］＝０ ・・・（１３）
Further, when a pedestrian collides with the right tip of the host vehicle, the following equation (13) is established.
[(X0−L) vc−vp · Z0] = 0 (13)
ここで、上記（１３）式は、衝突する危険がある対象は、相対角度が変わらないように見えることを示している。 Here, the above equation (13) indicates that a subject that is in danger of colliding appears to have the same relative angle.
上記（１２）式、（１３）式から、自車両と歩行者とが衝突する場合は、以下の（１４）式が成立する。
ｄ（ｘｃ）／ｄｔ＝ｆ［−（Ｘ０−Ｌ）ｖｃ＋ｖｐ・Ｚ０］／Ｚ０２＝０
・・・（１４）
From the above equations (12) and (13), when the host vehicle and the pedestrian collide, the following equation (14) is established.
d (xc) / dt = f [− (X0−L) vc + vp · Z0] / Z0 2 = 0
(14)
上記（１４）式より、撮像画像上で検出した影の稜線の延長線と水平線とが交わる点ｘｃが静止して観測される場合は、衝突する危険度が高く、歩行者が車両に接近してきていることがわかる。従って、撮像画像上で検出した影の稜線の延長線と水平線とが交わる点ｘｃが静止して観測される場合に、高い衝突危険度が算出される。 From the above equation (14), when the point xc where the extended line of the shadow ridge detected on the captured image intersects with the horizontal line is observed stationary, the risk of collision is high, and the pedestrian approaches the vehicle. You can see that Accordingly, when the point xc where the extended line of the shadow ridge detected on the captured image intersects the horizontal line is observed stationary, a high collision risk is calculated.
また、警報制御部２６は、危険度算出部２４によって算出された衝突危険度が、閾値以上であると、出力部１８によって、警報メッセージを音声出力させて、ドライバに、歩行者と衝突する危険性があることを報知する。 Further, the alarm control unit 26 causes the output unit 18 to output a warning message by voice and cause the driver to collide with a pedestrian if the collision risk calculated by the risk calculation unit 24 is greater than or equal to the threshold value. Notify that there is sex.
次に、第１の実施の形態に係る運転支援装置１０の作用について説明する。まず、近赤外ランプ１４を点滅させながら近赤外光を前方に照射して、近赤外カメラ１２によって、近赤外ランプ１４から近赤外光が照射されているときの自車両の前方を撮像し、そして、近赤外ランプ１４から近赤外光が照射されていないときの自車両の前方を撮像する。 Next, the operation of the driving support apparatus 10 according to the first embodiment will be described. First, near-infrared light is emitted forward while blinking the near-infrared lamp 14, and the front of the host vehicle when the near-infrared light is emitted from the near-infrared lamp 14 by the near-infrared camera 12. Then, the front of the host vehicle when the near-infrared lamp 14 is not irradiated with near-infrared light is imaged.
そして、コンピュータ１６において、図８に示す運転支援処理ルーチンが実行される。 Then, the driving support processing routine shown in FIG.
まず、ステップ１００において、近赤外カメラ１２から、近赤外光が照射されているときの撮像画像と、近赤外光が照射されていないときの撮像画像との２枚の撮像画像を取得する。 First, in step 100, two captured images are acquired from the near-infrared camera 12: a captured image when the near-infrared light is irradiated and a captured image when the near-infrared light is not irradiated. To do.
そして、ステップ１０２において、上記ステップ１００で取得した近赤外光が照射されているときの撮像画像から、パターン識別手法を用いて歩行者を検出する。ステップ１０４では、上記ステップ１０２で撮像画像から歩行者が検出されたか否かを判定し、歩行者が検出された場合には、ステップ１０６において、上記で説明したように、検出した歩行者と衝突する衝突危険度を算出して、ステップ１１６へ移行する。 In step 102, a pedestrian is detected from the captured image when the near-infrared light acquired in step 100 is irradiated using a pattern identification method. In step 104, it is determined whether or not a pedestrian has been detected from the captured image in step 102. If a pedestrian is detected, in step 106, as described above, a collision with the detected pedestrian occurs. The risk of collision is calculated, and the process proceeds to step 116.
一方、上記ステップ１０４で、撮像画像から歩行者が検出されなかったと判定された場合には、ステップ１０８において、上記ステップ１００で取得した２枚の撮像画像から、輝度値の差分画像を生成する。そして、ステップ１１０において、上記ステップ１０８で生成された差分画像に対してエッジ検出を行ない、過去に検出した歩行者や影の近傍から、影を表わすエッジを抽出して、歩行者の影を検出する。 On the other hand, if it is determined in step 104 that a pedestrian has not been detected from the captured image, a difference image of luminance values is generated from the two captured images acquired in step 100 in step 108. In step 110, edge detection is performed on the difference image generated in step 108, and an edge representing a shadow is extracted from the vicinity of a pedestrian or shadow detected in the past to detect a pedestrian shadow. To do.
次のステップ１１２では、上記ステップ１１０で歩行者の影が検出されたか否かを判定する。差分画像から歩行者の影を表わすエッジが検出されなかった場合には、ステップ１００へ戻るが、一方、歩行者の影を表わすエッジが検出された場合には、ステップ１１４へ移行する。ステップ１１４では、上記で説明したように、検出された歩行者の影に基づいて、歩行者と衝突する衝突危険度を算出して、ステップ１１６へ移行する。 In the next step 112, it is determined whether or not a pedestrian shadow is detected in step 110. If an edge representing a pedestrian shadow is not detected from the difference image, the process returns to step 100. On the other hand, if an edge representing a pedestrian shadow is detected, the process proceeds to step 114. In step 114, as described above, the risk of collision with the pedestrian is calculated based on the detected shadow of the pedestrian, and the process proceeds to step 116.
ステップ１１６では、上記ステップ１０６又はステップ１１４で算出された衝突危険度が、閾値以上であるか否かを判定し、衝突危険度が、閾値未満である場合には、歩行者と衝突する危険性が低いと判断し、ステップ１００へ戻る。一方、上記ステップ１１６で、衝突危険度が、閾値以上である場合には、歩行者と衝突する危険性が高いと判断し、ステップ１１８において、出力部１８によって、警報メッセージを音声出力させて、ステップ１００へ戻る。 In step 116, it is determined whether or not the collision risk calculated in step 106 or 114 is greater than or equal to a threshold. If the collision risk is less than the threshold, there is a risk of collision with a pedestrian. Is determined to be low, and the process returns to step 100. On the other hand, if the collision risk is greater than or equal to the threshold value in step 116, it is determined that there is a high risk of collision with a pedestrian, and in step 118, the output unit 18 outputs a warning message by voice, Return to Step 100.
以上説明したように、第１の実施の形態に係る運転支援装置によれば、自車両の前方を撮像した画像から、歩行者が検出されなかった場合に、歩行者の影を検出して、衝突危険度を算出するため、画像の撮像範囲外に歩行者が存在する場合であっても、精度よく衝突危険度を算出して、ドライバに対して適切に警報を出力することができる。 As described above, according to the driving support apparatus according to the first embodiment, when no pedestrian is detected from an image obtained by imaging the front of the host vehicle, the shadow of the pedestrian is detected, In order to calculate the collision risk, even when a pedestrian is present outside the image capturing range, the collision risk can be calculated with high accuracy and an alarm can be appropriately output to the driver.
また、歩行者が近赤外カメラの死角の領域外へ位置して、撮像画像から歩行者が検出されなくなっても、歩行者の影を追跡しつづけることで、死角の歩行者の存在を検出して衝突危険度を推定することができる。また、歩行者側方を自車両が通過する際の追跡性能を向上させることができる。 Also, even if the pedestrian is located outside the blind spot area of the near-infrared camera and no pedestrian is detected from the captured image, the presence of the blind spot pedestrian is detected by continuing to track the pedestrian's shadow. Thus, the collision risk can be estimated. In addition, it is possible to improve the tracking performance when the host vehicle passes by the side of the pedestrian.
次に、第２の実施の形態に係る運転支援装置について説明する。なお、第１の実施の形態と同様の構成となる部分については、同一符号を付して、説明を省略する。 Next, a driving support apparatus according to a second embodiment will be described. In addition, about the part which becomes the structure similar to 1st Embodiment, the same code | symbol is attached | subjected and description is abbreviate | omitted.
第２の実施の形態では、歩行者の影を検出し、検出された歩行者の影の周辺から、歩行者を検出するようにしている点が、第１の実施の形態と異なっている。 The second embodiment is different from the first embodiment in that a pedestrian shadow is detected and a pedestrian is detected from the detected pedestrian shadow.
図９に示すように、第２の実施の形態に係る運転支援装置２１０のコンピュータ２１６は、近赤外光が照射されたときに近赤外カメラ１２によって撮像された画像、及び近赤外光が照射されていないときに近赤外カメラ１２によって撮像された画像に基づいて、歩行者の影を検出する影検出部２２０と、歩行者の影が検出されたときに、近赤外光が照射されたときに近赤外カメラ１２によって撮像された画像から、自車両の前方に存在する歩行者を検出する歩行者検出部２２２と、影検出部２２０によって検出された歩行者の影、又は歩行者検出部２２２によって検出された歩行者に基づいて、歩行者と衝突する衝突危険度を算出する危険度算出部２２４と、警報制御部２６とを備えている。 As illustrated in FIG. 9, the computer 216 of the driving assistance apparatus 210 according to the second embodiment includes an image captured by the near-infrared camera 12 when near-infrared light is irradiated, and near-infrared light. Based on the image captured by the near-infrared camera 12 when the pedestrian is not irradiated, the shadow detection unit 220 that detects the shadow of the pedestrian and the near-infrared light is detected when the shadow of the pedestrian is detected. A pedestrian detection unit 222 that detects a pedestrian existing in front of the host vehicle and an pedestrian shadow detected by the shadow detection unit 220 from an image captured by the near-infrared camera 12 when irradiated, or Based on the pedestrian detected by the pedestrian detection unit 222, a risk level calculation unit 224 that calculates a collision risk level that collides with a pedestrian and an alarm control unit 26 are provided.
影検出部２２０は、第１の実施の形態と同様に、図１０（Ａ）に示すような、近赤外光が照射されたときに近赤外カメラ１２によって撮像された画像と、図１０（Ｂ）に示すような、近赤外光が照射されていないときに近赤外カメラ１２によって撮像された画像とから、図１０（Ｃ）に示すような輝度値の差分画像を生成し、輝度値の差分画像から、図１０（Ｄ）に示すように、エッジを検出し、検出されたエッジに基づいて、歩行者の影を検出する。 As in the first embodiment, the shadow detection unit 220 includes an image captured by the near-infrared camera 12 when irradiated with near-infrared light, as shown in FIG. A difference image of luminance values as shown in FIG. 10C is generated from an image captured by the near-infrared camera 12 when the near-infrared light is not irradiated as shown in (B), As shown in FIG. 10D, an edge is detected from the difference image of luminance values, and a pedestrian's shadow is detected based on the detected edge.
歩行者検出部２２２は、近赤外光が照射されたときに近赤外カメラ１２によって撮像された画像において、上記の図１０（Ｄ）に示すように、影検出部２２０によって検出された歩行者の影の周辺に、歩行者検出候補領域を設定し、既知のＳＶＭ等の学習型パターン識別手法を用いて、設定した歩行者検出候補領域から、歩行者が存在する領域を検出する。 The pedestrian detection unit 222 is the walking detected by the shadow detection unit 220 in the image captured by the near-infrared camera 12 when irradiated with near-infrared light, as shown in FIG. A pedestrian detection candidate region is set around the shadow of the pedestrian, and a region where a pedestrian is present is detected from the set pedestrian detection candidate region using a known learning pattern identification method such as SVM.
危険度算出部２２４は、歩行者検出部２２２によって撮像画像から歩行者が検出された場合には、第１の実施の形態で説明したように、検出された歩行者に基づいて、歩行者との衝突危険度を算出する。また、危険度算出部２２４は、影検出部２２０によって歩行者の影が検出され、歩行者検出部２２２によって歩行者が検出されなかった場合には、第１の実施の形態で説明したように、検出された歩行者の影に基づいて、歩行者との衝突危険度を算出する。 When the pedestrian is detected from the captured image by the pedestrian detection unit 222, the risk level calculation unit 224 is based on the detected pedestrian and the pedestrian as described in the first embodiment. The collision risk is calculated. Further, when the shadow detection unit 220 detects the shadow of the pedestrian and the pedestrian detection unit 222 does not detect the pedestrian, the risk level calculation unit 224, as described in the first embodiment. Based on the detected shadow of the pedestrian, the collision risk with the pedestrian is calculated.
次に、第２の実施の形態に係る運転支援処理ルーチンについて、図１１を用いて説明する。なお、第１の実施の形態と同様の処理については、同一符号を付して詳細な説明を省略する。 Next, a driving support processing routine according to the second embodiment will be described with reference to FIG. In addition, about the process similar to 1st Embodiment, the same code | symbol is attached | subjected and detailed description is abbreviate | omitted.
まず、ステップ１００において、近赤外カメラ１２から、近赤外光が照射されているときの撮像画像と、近赤外光が照射されていないときの撮像画像との２枚の撮像画像を取得する。そして、次のステップ１０８において、上記ステップ１００で取得した２枚の撮像画像から、輝度値の差分画像を生成する。そして、ステップ２５０において、上記ステップ１０８で生成された差分画像に対してエッジ検出を行ない、影を表わすエッジを抽出して、歩行者の影を検出する。 First, in step 100, two captured images are acquired from the near-infrared camera 12: a captured image when the near-infrared light is irradiated and a captured image when the near-infrared light is not irradiated. To do. In the next step 108, a difference image of luminance values is generated from the two captured images acquired in step 100. In step 250, edge detection is performed on the difference image generated in step 108, an edge representing a shadow is extracted, and a pedestrian shadow is detected.
次のステップ２５２では、上記ステップ２５０で、歩行者の影が検出されたか否かを判定し、差分画像から歩行者の影を表わすエッジが検出されなかった場合には、自車両の前方に歩行者がいないと判断し、ステップ１００へ戻る。一方、歩行者の影を表わすエッジが検出された場合には、ステップ２５４において、上記ステップ１００で取得した、近赤外光が照射されているときの撮像画像に対して、検出された歩行者の影の周辺に、歩行者検出候補領域を設定する。 In the next step 252, it is determined whether or not a pedestrian shadow has been detected in step 250. If no edge representing the pedestrian shadow is detected from the difference image, the vehicle walks ahead of the host vehicle. It is determined that there is no person, and the process returns to step 100. On the other hand, when an edge representing the shadow of the pedestrian is detected, in step 254, the detected pedestrian is obtained with respect to the captured image obtained when the near-infrared light is irradiated obtained in step 100. A pedestrian detection candidate area is set around the shadow of the pedestrian.
そして、ステップ２５６において、近赤外光が照射されているときの撮像画像の歩行者検出候補領域から、パターン識別手法を用いて歩行者を検出する。ステップ２５８では、上記ステップ２５６で撮像画像から歩行者が検出されたか否かを判定し、歩行者が検出された場合には、ステップ１０６において、上記で説明したように、検出した歩行者と衝突する衝突危険度を算出して、ステップ１１６へ移行する。 And in step 256, a pedestrian is detected using a pattern identification method from the pedestrian detection candidate area | region of the captured image when near infrared light is irradiated. In step 258, it is determined whether or not a pedestrian has been detected from the captured image in step 256. If a pedestrian is detected, in step 106, as described above, a collision with the detected pedestrian occurs. The risk of collision is calculated, and the process proceeds to step 116.
一方、上記ステップ２５８で、撮像画像から歩行者が検出されなかったと判定された場合には、ステップ１１４において、上記で説明したように、検出された歩行者の影に基づいて、歩行者と衝突する衝突危険度を算出して、ステップ１１６へ移行する。 On the other hand, if it is determined in step 258 that no pedestrian has been detected from the captured image, in step 114, as described above, based on the shadow of the detected pedestrian, a collision with the pedestrian occurs. The risk of collision is calculated, and the process proceeds to step 116.
ステップ１１６では、上記ステップ１０６又はステップ１１４で算出された衝突危険度が、閾値以上であるか否かを判定し、衝突危険度が、閾値未満である場合には、ステップ１００へ戻る。一方、上記ステップ１１６で、衝突危険度が、閾値以上である場合には、ステップ１１８において、出力部１８によって、警報メッセージを音声出力させて、ステップ１００へ戻る。 In step 116, it is determined whether or not the collision risk calculated in step 106 or step 114 is greater than or equal to a threshold. If the collision risk is less than the threshold, the process returns to step 100. On the other hand, if the collision risk is equal to or greater than the threshold value in step 116, the output unit 18 outputs a warning message in voice in step 118, and the process returns to step 100.
以上説明したように、第２の実施の形態に係る運転支援装置によれば、自車両の前方を撮像した画像から、歩行者が検出されなかった場合に、撮像した画像から検出された歩行者の影に基づいて、衝突危険度を算出するため、近赤外カメラの撮像範囲外に歩行者が存在する場合であっても、精度よく衝突危険度を算出して、ドライバに対して適切に警報を出力することができる。 As described above, according to the driving support apparatus according to the second embodiment, when a pedestrian is not detected from an image obtained by imaging the front of the host vehicle, the pedestrian detected from the captured image. The collision risk is calculated based on the shadow of the vehicle, so even if there are pedestrians outside the imaging range of the near-infrared camera, the collision risk is accurately calculated and An alarm can be output.
また、歩行者の影を検出し、検出された影の周辺に設定された検出候補領域から、歩行者を検出することにより、検出範囲を限定することができるため、短い処理時間で、歩行者を検出することができる。 Moreover, since the detection range can be limited by detecting the pedestrian and detecting the pedestrian from the detection candidate area set around the detected shadow, the pedestrian can be obtained in a short processing time. Can be detected.
また、２枚の撮像画像の差分画像から、影の出現を検出し、歩行者の存在を予め推定することにより、夜間の飛び出し歩行者による潜在危険度を推定して、ドライバに警報することができ、事故を予防することができる。 In addition, by detecting the appearance of a shadow from the difference image between the two captured images and estimating the presence of a pedestrian in advance, the potential danger level caused by a pedestrian jumping out at night can be estimated to alert the driver. Can prevent accidents.
次に、第３の実施の形態に係る運転支援装置について説明する。なお、第１の実施の形態及び第２の実施の形態と同様の構成となる部分については、同一符号を付して、説明を省略する。 Next, a driving support apparatus according to a third embodiment will be described. In addition, about the part which becomes the same structure as 1st Embodiment and 2nd Embodiment, the same code | symbol is attached | subjected and description is abbreviate | omitted.
第３の実施の形態では、まず歩行者の影を検出し、検出された歩行者の影に基づいて算出される衝突危険度が高い場合に、歩行者の影の周辺から歩行者を検出するようにしている点が、第２の実施の形態と異なっている。 In the third embodiment, the shadow of a pedestrian is first detected, and when the collision risk calculated based on the detected shadow of the pedestrian is high, the pedestrian is detected from around the pedestrian's shadow. This is different from the second embodiment.
図１２に示すように、第３の実施の形態に係る運転支援装置３１０のコンピュータ３１６は、近赤外光が照射されたときに近赤外カメラ１２によって撮像された画像、及び近赤外光が照射されていないときに近赤外カメラ１２によって撮像された画像に基づいて、歩行者の影を検出する影検出部３２０と、影検出部３２０によって検出された歩行者の影に基づいて、歩行者と衝突する衝突危険度を算出する危険度算出部３２２と、歩行者の影が検出され、かつ、歩行者と衝突する危険度が大きいときに、近赤外光が照射されたときに近赤外カメラ１２によって撮像された画像から、自車両の前方に存在する歩行者を検出する歩行者検出部３２４と、歩行者検出部３２４によって歩行者が検出されたときに、出力部１８によって警報を出力させる警報制御部３２６とを備えている。 As shown in FIG. 12, the computer 316 of the driving assistance apparatus 310 according to the third embodiment includes an image captured by the near-infrared camera 12 when near-infrared light is irradiated, and near-infrared light. Based on the image captured by the near-infrared camera 12 when the light is not irradiated, the shadow detection unit 320 that detects the shadow of the pedestrian, and the shadow of the pedestrian detected by the shadow detection unit 320, When a near-infrared light is irradiated when a shadow calculation unit 322 that calculates a collision risk level that collides with a pedestrian and a shadow of the pedestrian is detected and the risk level of a collision with the pedestrian is large When an pedestrian is detected by the pedestrian detection unit 324 and a pedestrian detection unit 324 that detects a pedestrian existing in front of the host vehicle from an image captured by the near-infrared camera 12, the output unit 18 Output an alarm And a warning control unit 326.
影検出部３２０は、上記図３（Ａ）に示すような、近赤外光が照射されたときに近赤外カメラ１２によって撮像された画像と、上記図３（Ｂ）に示すような、近赤外光が照射されていないときに近赤外カメラ１２によって撮像された画像とから、輝度値の差分画像を生成し、輝度値の差分画像の左端領域及び右端領域の各々から、エッジを検出し、検出されたエッジに基づいて、歩行者の影を検出する。 The shadow detection unit 320 includes an image captured by the near-infrared camera 12 when irradiated with near-infrared light, as shown in FIG. 3A, and the image shown in FIG. A brightness difference image is generated from an image captured by the near-infrared camera 12 when the near-infrared light is not irradiated, and an edge is obtained from each of the left end region and the right end region of the brightness value difference image. Detecting a pedestrian's shadow based on the detected edge.
危険度算出部３２２は、影検出部３２０によって歩行者の影が検出された場合には、第１の実施の形態で説明したように、検出された歩行者の影に基づいて、歩行者との衝突危険度を算出する。 When the shadow detection unit 320 detects a pedestrian shadow, the risk level calculation unit 322 determines whether the pedestrian is based on the detected pedestrian shadow as described in the first embodiment. The collision risk is calculated.
歩行者検出部３２４は、検出された歩行者の影に基づいて算出された歩行者との衝突危険度が閾値以上である場合、近赤外光が照射されたときに近赤外カメラ１２によって撮像された画像において、第２の実施の形態と同様に、検出された歩行者の影の周辺に、歩行者検出候補領域を設定し、既知のＳＶＭ等の学習型パターン識別手法を用いて、設定した歩行者検出候補領域から、歩行者が存在する領域を検出する。 When the collision risk with the pedestrian calculated based on the detected shadow of the pedestrian is equal to or greater than the threshold, the pedestrian detection unit 324 uses the near-infrared camera 12 when the near-infrared light is irradiated. In the captured image, as in the second embodiment, a pedestrian detection candidate area is set around the detected pedestrian shadow, and using a learning pattern identification method such as a known SVM, A region where a pedestrian exists is detected from the set pedestrian detection candidate region.
警報制御部３２６は、算出された衝突危険度が閾値以上であって、かつ、歩行者が検出された場合に、出力部１８によって、警報メッセージを音声出力させて、ドライバに、歩行者と衝突する危険性があることを報知する。 When the calculated collision risk is equal to or greater than the threshold value and a pedestrian is detected, the alarm control unit 326 causes the output unit 18 to output a warning message by voice and cause the driver to collide with the pedestrian. Notify that there is a risk of
ここで、本実施の形態の原理について説明する。上記図３（Ａ）に示すように、歩行者が自車両の前方に飛び出してくる場合には、まず、近赤外カメラの撮像範囲内に、歩行者の影だけが出現し、歩行者が飛び出してくると、近赤外カメラの撮像範囲に、歩行者が出現する。 Here, the principle of the present embodiment will be described. As shown in FIG. 3A, when a pedestrian jumps out ahead of the host vehicle, first, only the shadow of the pedestrian appears in the imaging range of the near-infrared camera. When it pops out, a pedestrian appears in the imaging range of the near infrared camera.
そこで、本実施の形態では、撮像画像の左右端領域から、歩行者の影の出現を検出して、歩行者の存在を予め推定し、歩行者の影が検出された場合に、飛び出し歩行者と衝突する潜在危険度を推定する。推定された潜在危険度が高い場合に、撮像画像の左右端領域から歩行者を検出し、歩行者が検出されると、飛び出してきた歩行者と衝突する危険性が高いと判断して、ドライバに警報を報知する。 Therefore, in the present embodiment, the appearance of a pedestrian shadow is detected from the left and right end regions of the captured image, the presence of the pedestrian is estimated in advance, and the pedestrian jumps out when the pedestrian shadow is detected. Estimate the potential risk of collision. When the estimated potential risk is high, a pedestrian is detected from the left and right end regions of the captured image, and if a pedestrian is detected, the driver determines that there is a high risk of colliding with the pedestrian that has jumped out. An alarm is notified.
次に、第３の実施の形態に係る運転支援処理ルーチンについて、図１３を用いて説明する。なお、第１の実施の形態及び第２の実施の形態と同様の処理については、同一符号を付して詳細な説明を省略する。 Next, a driving support processing routine according to the third embodiment will be described with reference to FIG. In addition, about the process similar to 1st Embodiment and 2nd Embodiment, the same code | symbol is attached | subjected and detailed description is abbreviate | omitted.
まず、ステップ１００において、近赤外光が照射されているときの撮像画像と、近赤外光が照射されていないときの撮像画像との２枚の撮像画像を取得し、次のステップ１０８において、取得した２枚の撮像画像から、輝度値の差分画像を生成する。そして、ステップ３５０において、上記ステップ１０８で生成された差分画像の左端領域及び右端領域の各々に対してエッジ検出を行ない、左右端領域から影を表わすエッジを抽出して、歩行者の影を検出する。 First, in step 100, two captured images, that is, a captured image when the near-infrared light is irradiated and a captured image when the near-infrared light is not irradiated are acquired, and in the next step 108, Then, a difference image of luminance values is generated from the two acquired images. In step 350, edge detection is performed for each of the left end region and the right end region of the difference image generated in step 108, and an edge representing a shadow is extracted from the left and right end regions to detect a pedestrian shadow. To do.
次のステップ２５２では、上記ステップ３５０で、歩行者の影が検出されたか否かを判定し、差分画像の左右端領域から歩行者の影を表わすエッジが検出されなかった場合には、近赤外カメラ１２の撮影範囲外から自車両の前方に飛び出してくる可能性がある歩行者が存在しないと判断し、ステップ１００へ戻る。一方、差分画像の左右端領域から歩行者の影を表わすエッジが検出された場合には、ステップ１１４において、上記で説明したように、検出された歩行者の影に基づいて、歩行者と衝突する衝突危険度を算出する。 In the next step 252, it is determined whether or not a pedestrian shadow has been detected in step 350. If no edge representing the pedestrian shadow is detected from the left and right end regions of the difference image, It is determined that there is no pedestrian that may jump out of the shooting range of the outer camera 12 to the front of the host vehicle, and the process returns to step 100. On the other hand, when an edge representing a pedestrian shadow is detected from the left and right end regions of the difference image, in step 114, as described above, based on the detected pedestrian shadow, a collision with the pedestrian occurs. Calculate the collision risk.
そして、ステップ３５２において、上記ステップ１１４で算出された衝突危険度が、閾値以上であるか否かを判定し、衝突危険度が、閾値未満である場合には、ステップ１００へ戻る。一方、上記ステップ３５２で、衝突危険度が、閾値以上である場合には、ステップ２５４において、上記ステップ１００で取得した近赤外光が照射されているときの撮像画像に対して、検出された歩行者の影の周辺に、歩行者検出候補領域を設定する。 In step 352, it is determined whether or not the collision risk calculated in step 114 is greater than or equal to a threshold. If the collision risk is less than the threshold, the process returns to step 100. On the other hand, if the collision risk is greater than or equal to the threshold value in step 352, it is detected in step 254 with respect to the captured image when the near-infrared light acquired in step 100 is irradiated. A pedestrian detection candidate area is set around a pedestrian shadow.
そして、ステップ２５６において、近赤外光が照射されているときの撮像画像の歩行者検出候補領域から、パターン識別手法を用いて歩行者を検出する。ステップ３５４では、上記ステップ２５６で撮像画像から歩行者が検出されたか否かを判定し、歩行者が検出されなかったと判定された場合には、近赤外カメラ１２の撮影範囲外に存在する歩行者が飛び出しこないと判断し、ステップ１００へ戻る。一方、上記ステップ３５４において、歩行者が検出されたと判定された場合には、近赤外カメラ１２の撮影範囲外に存在していた歩行者が自車両の前方に飛び出してきたと判断し、ステップ１１８において、出力部１８によって、警報メッセージを音声出力させて、ステップ１００へ戻る。 And in step 256, a pedestrian is detected using a pattern identification method from the pedestrian detection candidate area | region of the captured image when near infrared light is irradiated. In step 354, it is determined whether or not a pedestrian has been detected from the captured image in step 256. If it is determined that no pedestrian has been detected, the walking that is outside the shooting range of the near-infrared camera 12 is determined. It is determined that the person does not jump out, and the process returns to step 100. On the other hand, if it is determined in step 354 that a pedestrian has been detected, it is determined that a pedestrian that has been outside the shooting range of the near-infrared camera 12 has jumped out ahead of the host vehicle. Then, the output unit 18 causes the warning message to be output by voice and returns to step 100.
以上説明したように、第３の実施の形態に係る運転支援装置によれば、検出された歩行者の影に基づく衝突危険度が高い場合に、自車両の前方を撮像した画像から、歩行者が検出されると、警報を出力するため、歩行者と衝突する危険性が高い場合に、ドライバに対して適切に警報を出力することができる。 As described above, according to the driving support apparatus according to the third embodiment, when the collision risk based on the detected shadow of the pedestrian is high, a pedestrian is obtained from an image obtained by capturing the front of the host vehicle. When is detected, an alarm is output. Therefore, when there is a high risk of collision with a pedestrian, the alarm can be appropriately output to the driver.
また、歩行者の影を検出し、検出された影の周辺に設定された検出候補領域から、歩行者を検出することにより、検出範囲を限定することができるため、短い処理時間で、歩行者を検出することができる。 Moreover, since the detection range can be limited by detecting the pedestrian and detecting the pedestrian from the detection candidate area set around the detected shadow, the pedestrian can be obtained in a short processing time. Can be detected.
また、２枚の撮像画像の差分画像の左右端領域から、影の出現を検出し、歩行者の存在を予め推定することにより、夜間の飛び出し歩行者による潜在危険度を推定することができる。 Further, by detecting the appearance of a shadow from the left and right end regions of the difference image between the two captured images and estimating the presence of a pedestrian in advance, the potential risk level due to a jumping pedestrian at night can be estimated.
また、近赤外カメラで撮像した画像の左右端領域から影を検出し、影が検出できた場合には、検出候補領域を設定して、歩行者検出の計算リソースを検出候補領域に集中させることで、早く確実に飛び出し歩行者を検出することができる。 In addition, when a shadow is detected from the left and right end regions of the image captured by the near-infrared camera, and the shadow is detected, a detection candidate region is set, and calculation resources for pedestrian detection are concentrated on the detection candidate region. Thus, it is possible to detect a pedestrian that jumps out quickly and reliably.
なお、上記の第１の実施の形態〜第３の実施の形態では、歩行者との衝突する衝突危険度が高いときに、警報メッセージを音声出力する場合を例に説明したが、これに限定されるものではなく、警報音や、振動、配光などで、歩行者と衝突する危険性をドライバに対して警報するようにしてもよい。また、歩行者との衝突する衝突危険度が高い場合に、歩行者との衝突を回避するように、運転介入制御を行うようにしてもよい。例えば、制動介入制御や操舵介入制御を行うようにしてもよい。 In the first to third embodiments described above, the case where a warning message is output as a voice when the risk of collision with a pedestrian is high has been described as an example. However, the present invention is not limited thereto. Instead, the driver may be warned of the danger of colliding with a pedestrian by an alarm sound, vibration, light distribution, or the like. Further, when the risk of collision with a pedestrian is high, driving intervention control may be performed so as to avoid a collision with a pedestrian. For example, braking intervention control or steering intervention control may be performed.
また、歩行者や歩行者の影を検出する場合を例に説明したが、これに限定されるものではなく、近赤外カメラで撮像された画像から、自転車や自転車の影を検出するようにしてもよい。この場合には、検出された自転車や自転車の影に基づいて、自転車との衝突危険度を算出して、衝突危険度に応じて警報出力するようにすればよい。また、近赤外カメラで撮像された画像から、歩行者と自転車とを検出すると共に、歩行者の影と自転車の影とを検出するようにしてもよい。この場合には、歩行者が検出された場合には、検出された歩行者や歩行者の影に基づいて、歩行者との衝突危険度を算出し、自転車が検出された場合には、検出された自転車や自転車の影に基づいて、自転車との衝突危険度を算出するようにすればよい。 In addition, the case where a pedestrian or a pedestrian's shadow is detected has been described as an example. However, the present invention is not limited to this, and a bicycle or a bicycle's shadow is detected from an image captured by a near-infrared camera. May be. In this case, the risk of collision with the bicycle may be calculated based on the detected bicycle or the shadow of the bicycle, and an alarm may be output according to the risk of collision. Further, a pedestrian and a bicycle may be detected from an image captured by a near-infrared camera, and a pedestrian shadow and a bicycle shadow may be detected. In this case, when a pedestrian is detected, the collision risk with the pedestrian is calculated based on the detected pedestrian and the shadow of the pedestrian, and when a bicycle is detected, the detection is performed. The collision risk with the bicycle may be calculated based on the bicycle or the shadow of the bicycle.
また、撮像装置として近赤外カメラを用いた場合を例に説明したが、これに限定されるものではなく、可視光に感度を有する通常のカメラを用いてもよい。この場合には、照明装置として、可視光ランプを用いればよく、自車両に設けられているヘッドライトを用いてもよい。 Moreover, although the case where the near-infrared camera was used as an imaging device was demonstrated to the example, it is not limited to this, You may use the normal camera which has a sensitivity to visible light. In this case, a visible light lamp may be used as the lighting device, and a headlight provided in the host vehicle may be used.
１０、２１０、３１０ 運転支援装置
１２ 近赤外カメラ
１４ 近赤外ランプ
１６、２１６、３１６ コンピュータ
１８ 出力部
２０、２２２、３２４ 歩行者検出部
２２、２２０、３２０ 影検出部
２４、２２４、３２２ 危険度算出部
２６、３２６ 警報制御部
10, 210, 310 Driving support device 12 Near infrared camera 14 Near infrared lamp 16, 216, 316 Computer 18 Output unit 20, 222, 324 Pedestrian detection unit 22, 220, 320 Shadow detection unit 24, 224, 322 Danger Degree calculation unit 26, 326 Alarm control unit
Claims (6)
前記歩行者検出手段によって歩行者及び自転車が検出されなかった場合、前記撮像された画像から、前記歩行者及び自転車の少なくとも一方の影を検出する影検出手段と、
前記歩行者検出手段によって検出された前記歩行者及び自転車の少なくとも一方、又は前記影検出手段によって検出された前記歩行者及び自転車の少なくとも一方の影に基づいて、前記歩行者及び自転車の少なくとも一方と衝突する衝突危険度を算出する危険度算出手段と、
前記危険度算出手段によって算出された衝突危険度に基づいて、運転支援を行なう運転支援手段と、
を含む運転支援装置。 Pedestrian detection means for detecting at least one of a pedestrian and a bicycle from an image captured by an imaging means for capturing the front of the host vehicle equipped with a lighting device that illuminates the front;
When no pedestrian and bicycle are detected by the pedestrian detection means, a shadow detection means for detecting a shadow of at least one of the pedestrian and the bicycle from the captured image;
Based on at least one of the pedestrian and bicycle detected by the pedestrian detection means, or at least one of the pedestrian and bicycle detected by the shadow detection means, and A risk calculation means for calculating the collision risk of collision;
Driving support means for performing driving support based on the collision risk calculated by the risk calculating means;
A driving support device including
前記影検出手段によって前記歩行者及び自転車の少なくとも一方の影が検出されたとき、前記撮像された画像の、前記影検出手段によって検出された歩行者及び自転車の少なくとも一方の影の周辺から、前記歩行者及び自転車の少なくとも一方を検出する歩行者検出手段と、
前記歩行者検出手段によって前記歩行者及び自転車の少なくとも一方が検出されたとき、前記歩行者検出手段によって検出された前記歩行者及び自転車の少なくとも一方に基づいて、前記歩行者及び自転車の少なくとも一方と衝突する衝突危険度を算出し、前記歩行者検出手段によって歩行者及び自転車が検出されなかったとき、前記影検出手段によって検出された前記歩行者及び自転車の少なくとも一方の影に基づいて、前記歩行者及び自転車の少なくとも一方と衝突する衝突危険度を算出する危険度算出手段と、
前記危険度算出手段によって算出された衝突危険度に基づいて、運転支援を行なう運転支援手段と、
を含む運転支援装置。 A shadow detection means for detecting a shadow of at least one of a pedestrian and a bicycle from an image taken by an imaging means for taking an image of the front of the host vehicle equipped with an illumination device for illuminating the front;
When at least one shadow of the pedestrian and bicycle is detected by the shadow detection means, from the periphery of the shadow of at least one of the pedestrian and bicycle detected by the shadow detection means in the captured image, Pedestrian detection means for detecting at least one of a pedestrian and a bicycle;
When at least one of the pedestrian and bicycle is detected by the pedestrian detection means, based on at least one of the pedestrian and bicycle detected by the pedestrian detection means, and at least one of the pedestrian and bicycle The collision risk is calculated based on the shadow of at least one of the pedestrian and the bicycle detected by the shadow detection unit when the pedestrian and the bicycle are not detected by the pedestrian detection unit. A risk calculation means for calculating a collision risk that collides with at least one of a person and a bicycle;
Driving support means for performing driving support based on the collision risk calculated by the risk calculating means;
A driving support device including
前記影検出手段によって前記歩行者及び自転車の少なくとも一方の影が検出されたとき、前記撮像された画像の、前記影検出手段によって検出された前記歩行者及び自転車の少なくとも一方の影の周辺から、前記歩行者及び自転車の少なくとも一方を検出する歩行者検出手段と、
を含む歩行者検出装置。 A shadow detection means for detecting a shadow of at least one of a pedestrian and a bicycle from an image taken by an imaging means for taking an image of the front of the host vehicle equipped with an illumination device for illuminating the front;
When at least one shadow of the pedestrian and bicycle is detected by the shadow detection means, from the periphery of the shadow of at least one of the pedestrian and bicycle detected by the shadow detection means of the captured image, Pedestrian detection means for detecting at least one of the pedestrian and the bicycle;
A pedestrian detection device.
前記歩行者検出手段は、前記危険度算出手段によって算出された前記衝突危険度が所定値以上であるときに、前記撮像された画像の、前記影検出手段によって検出された前記歩行者及び自転車の少なくとも一方の影の周辺から、前記歩行者及び自転車の少なくとも一方を検出する請求項３又は４記載の歩行者検出装置。 A risk degree calculating means for calculating a collision risk degree that collides with at least one of the pedestrian and the bicycle based on the shadow of at least one of the pedestrian and the bicycle detected by the shadow detecting means;
The pedestrian detection unit is configured to detect the pedestrian and the bicycle detected by the shadow detection unit in the captured image when the collision risk calculated by the risk calculation unit is a predetermined value or more. The pedestrian detection device according to claim 3 or 4, wherein at least one of the pedestrian and the bicycle is detected from the periphery of at least one shadow.
前記歩行者検出装置によって前記歩行者及び自転車の少なくとも一方が検出されたときに、運転支援を行なう運転支援手段と、
を含む運転支援装置。 A pedestrian detection device according to claim 5;
Driving assistance means for providing driving assistance when at least one of the pedestrian and the bicycle is detected by the pedestrian detection device;
A driving support device including
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008088114A JP5077017B2 (en) | 2008-03-28 | 2008-03-28 | Driving support device and pedestrian detection device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008088114A JP5077017B2 (en) | 2008-03-28 | 2008-03-28 | Driving support device and pedestrian detection device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2009244985A true JP2009244985A (en) | 2009-10-22 |
| JP5077017B2 JP5077017B2 (en) | 2012-11-21 |
Family
ID=41306829
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008088114A Active JP5077017B2 (en) | 2008-03-28 | 2008-03-28 | Driving support device and pedestrian detection device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5077017B2 (en) |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011143744A (en) * | 2010-01-12 | 2011-07-28 | Toyota Motor Corp | Support device for risk avoidance |
| WO2012073745A1 (en) * | 2010-11-30 | 2012-06-07 | トヨタ自動車株式会社 | Target status determination device for movable object, and program |
| CN102610104A (en) * | 2012-03-16 | 2012-07-25 | 南京航空航天大学 | Onboard front vehicle detection method |
| WO2012172629A1 (en) * | 2011-06-13 | 2012-12-20 | トヨタ自動車株式会社 | Pedestrian motion prediction device |
| JP5278776B2 (en) * | 2008-12-09 | 2013-09-04 | トヨタ自動車株式会社 | Object detection apparatus and object detection method |
| KR20130118116A (en) * | 2012-04-19 | 2013-10-29 | 현대모비스 주식회사 | Apparatus and method avoiding collision with moving obstacles in automatic parking assistance system |
| JP2015099509A (en) * | 2013-11-19 | 2015-05-28 | 東芝テック株式会社 | Age-group determination device and age-group determination program |
| KR20160009452A (en) * | 2014-07-16 | 2016-01-26 | 주식회사 만도 | Emergency braking system for preventing pedestrain and emergency braking conrol method of thereof |
| KR20170109806A (en) * | 2016-03-22 | 2017-10-10 | 현대자동차주식회사 | Apparatus for avoiding side crash in vehicle and method thereof |
| KR20180097398A (en) * | 2017-02-23 | 2018-08-31 | 계명대학교 산학협력단 | System for predicting pedestrian intention for vehicle in night time and method thereof |
| US11148666B2 (en) * | 2017-06-27 | 2021-10-19 | Honda Motor Co., Ltd. | Vehicle control apparatus |
| WO2022190630A1 (en) * | 2021-03-12 | 2022-09-15 | 本田技研工業株式会社 | Line-of-sight guidance device, alert system, alert method, and program |
| WO2023053355A1 (en) * | 2021-09-30 | 2023-04-06 | 株式会社Subaru | Driving assistance device, vehicle, and recording medium recording computer program |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017038166A1 (en) | 2015-08-28 | 2017-03-09 | ソニー株式会社 | Information processing device, information processing method, and program |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3574780B2 (en) * | 2000-08-29 | 2004-10-06 | 株式会社日立製作所 | Vehicle safe driving support system |
| JP2004309273A (en) * | 2003-04-04 | 2004-11-04 | Sumitomo Electric Ind Ltd | Distance detector and obstacle supervising apparatus for vehicle |
| JP2005309797A (en) * | 2004-04-22 | 2005-11-04 | Nissan Motor Co Ltd | Warning device for pedestrian |
| JP2006109171A (en) * | 2004-10-06 | 2006-04-20 | Niles Co Ltd | Display device for vehicle |
| JP2006185410A (en) * | 2004-12-02 | 2006-07-13 | Nissan Motor Co Ltd | Nighttime mobile object notification device and nighttime mobile object notification method |
| JP2007257338A (en) * | 2006-03-23 | 2007-10-04 | Toyota Central Res & Dev Lab Inc | Potential risk estimation device |
-
2008
- 2008-03-28 JP JP2008088114A patent/JP5077017B2/en active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3574780B2 (en) * | 2000-08-29 | 2004-10-06 | 株式会社日立製作所 | Vehicle safe driving support system |
| JP2004309273A (en) * | 2003-04-04 | 2004-11-04 | Sumitomo Electric Ind Ltd | Distance detector and obstacle supervising apparatus for vehicle |
| JP2005309797A (en) * | 2004-04-22 | 2005-11-04 | Nissan Motor Co Ltd | Warning device for pedestrian |
| JP2006109171A (en) * | 2004-10-06 | 2006-04-20 | Niles Co Ltd | Display device for vehicle |
| JP2006185410A (en) * | 2004-12-02 | 2006-07-13 | Nissan Motor Co Ltd | Nighttime mobile object notification device and nighttime mobile object notification method |
| JP2007257338A (en) * | 2006-03-23 | 2007-10-04 | Toyota Central Res & Dev Lab Inc | Potential risk estimation device |
Cited By (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5278776B2 (en) * | 2008-12-09 | 2013-09-04 | トヨタ自動車株式会社 | Object detection apparatus and object detection method |
| JP2011143744A (en) * | 2010-01-12 | 2011-07-28 | Toyota Motor Corp | Support device for risk avoidance |
| US9132775B2 (en) | 2010-11-30 | 2015-09-15 | Toyota Jidosha Kabushiki Kaisha | Mobile object target state determination device and program |
| WO2012073745A1 (en) * | 2010-11-30 | 2012-06-07 | トヨタ自動車株式会社 | Target status determination device for movable object, and program |
| CN103250196A (en) * | 2010-11-30 | 2013-08-14 | 丰田自动车株式会社 | Target status determination device for movable object, and program |
| JP2012118741A (en) * | 2010-11-30 | 2012-06-21 | Toyota Central R&D Labs Inc | Target state determination device for movable object and program |
| KR101512428B1 (en) | 2010-11-30 | 2015-04-16 | 도요타 지도샤（주） | Target status determination device for movable object, and method |
| US9507998B2 (en) | 2011-06-13 | 2016-11-29 | Toyota Jidosha Kabushiki Kaisha | Pedestrian motion predicting device |
| WO2012172629A1 (en) * | 2011-06-13 | 2012-12-20 | トヨタ自動車株式会社 | Pedestrian motion prediction device |
| JPWO2012172629A1 (en) * | 2011-06-13 | 2015-02-23 | トヨタ自動車株式会社 | Pedestrian motion prediction device |
| CN102610104B (en) * | 2012-03-16 | 2014-11-05 | 江苏苏科畅联科技有限公司 | Onboard front vehicle detection method |
| CN102610104A (en) * | 2012-03-16 | 2012-07-25 | 南京航空航天大学 | Onboard front vehicle detection method |
| KR20130118116A (en) * | 2012-04-19 | 2013-10-29 | 현대모비스 주식회사 | Apparatus and method avoiding collision with moving obstacles in automatic parking assistance system |
| JP2015099509A (en) * | 2013-11-19 | 2015-05-28 | 東芝テック株式会社 | Age-group determination device and age-group determination program |
| KR102209794B1 (en) | 2014-07-16 | 2021-01-29 | 주식회사 만도 | Emergency braking system for preventing pedestrain and emergency braking conrol method of thereof |
| KR20160009452A (en) * | 2014-07-16 | 2016-01-26 | 주식회사 만도 | Emergency braking system for preventing pedestrain and emergency braking conrol method of thereof |
| KR20170109806A (en) * | 2016-03-22 | 2017-10-10 | 현대자동차주식회사 | Apparatus for avoiding side crash in vehicle and method thereof |
| US9937905B2 (en) | 2016-03-22 | 2018-04-10 | Hyundai Motor Company | Side collision avoidance system and method for vehicle |
| KR101866014B1 (en) * | 2016-03-22 | 2018-06-08 | 현대자동차주식회사 | Apparatus for avoiding side crash in vehicle and method thereof |
| KR20180097398A (en) * | 2017-02-23 | 2018-08-31 | 계명대학교 산학협력단 | System for predicting pedestrian intention for vehicle in night time and method thereof |
| KR101958868B1 (en) * | 2017-02-23 | 2019-07-02 | 계명대학교 산학협력단 | System for predicting pedestrian intention for vehicle in night time and method thereof |
| US11148666B2 (en) * | 2017-06-27 | 2021-10-19 | Honda Motor Co., Ltd. | Vehicle control apparatus |
| WO2022190630A1 (en) * | 2021-03-12 | 2022-09-15 | 本田技研工業株式会社 | Line-of-sight guidance device, alert system, alert method, and program |
| WO2023053355A1 (en) * | 2021-09-30 | 2023-04-06 | 株式会社Subaru | Driving assistance device, vehicle, and recording medium recording computer program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5077017B2 (en) | 2012-11-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5077017B2 (en) | Driving support device and pedestrian detection device | |
| JP4775391B2 (en) | Obstacle detection device | |
| US20180215333A1 (en) | Pedestrian collision warning system | |
| EP2463843B1 (en) | Method and system for forward collision warning | |
| US7436982B2 (en) | Vehicle surroundings monitoring apparatus | |
| JP2018195301A (en) | Control device and control method | |
| JP4173901B2 (en) | Vehicle periphery monitoring device | |
| JP5592441B2 (en) | Light distribution control device | |
| US8810653B2 (en) | Vehicle surroundings monitoring apparatus | |
| CN105128836A (en) | Autonomous emergency braking system and method for recognizing pedestrian therein | |
| CN108263279A (en) | The pedestrian detection and pedestrian impact avoiding device and method integrated based on sensor | |
| JP6698163B2 (en) | METHOD FOR IDENTIFYING OBJECTS IN A ROUND AREA OF A MOTOR VEHICLE, DRIVER ASSISTANCE SYSTEM, AND VEHICLE | |
| JP5774770B2 (en) | Vehicle periphery monitoring device | |
| JP6418182B2 (en) | Vehicle lighting device | |
| JP6073358B2 (en) | Active warning and / or navigation assistance method for avoiding collision between vehicle body and / or wheel and object | |
| WO2017171082A1 (en) | Vehicle control device and vehicle control method | |
| JP2011069626A (en) | Obstacle detection apparatus | |
| KR20130007243A (en) | Method and system for warning forward collision using camera | |
| JP6068527B2 (en) | Irradiation apparatus and program | |
| JP2007241898A (en) | Stopping vehicle classifying and detecting device and vehicle peripheral monitoring device | |
| JP2007304033A (en) | Monitoring device for vehicle periphery, vehicle, vehicle peripheral monitoring method, and program for vehicle peripheral monitoring | |
| JP2009217495A (en) | Hazard warning device | |
| JP2010072947A (en) | Obstacle detection device | |
| KR20180000965A (en) | System and method for Autonomous Emergency Braking | |
| US10789850B2 (en) | Obstacle detection device, driving assistance system, and obstacle detection method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110127 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120723 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120731 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120813 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150907 Year of fee payment: 3 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 5077017 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150907 Year of fee payment: 3 |