JP2006311216A - Monitoring system for periphery of vehicle - Google Patents
Monitoring system for periphery of vehicle Download PDFInfo
- Publication number
- JP2006311216A JP2006311216A JP2005131421A JP2005131421A JP2006311216A JP 2006311216 A JP2006311216 A JP 2006311216A JP 2005131421 A JP2005131421 A JP 2005131421A JP 2005131421 A JP2005131421 A JP 2005131421A JP 2006311216 A JP2006311216 A JP 2006311216A
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- obstacle
- lighting device
- illumination
- lighting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
Description
本発明は、車両の周辺に存在する障害物の情報を乗員に提供する車両周辺監視システムに関する。 The present invention relates to a vehicle periphery monitoring system that provides an occupant with information on obstacles existing around a vehicle.
このような車両周辺監視システムとして、下記に示す特許文献1には、車両等の移動体周辺の環境を監視し、所望の位置での視界を画像表示する周辺監視装置の発明が記載されている。この文献では、一例として、車両の周辺を監視し駐車時に障害となる物体等を適宜表示する装置を示している。この例によれば、車両後部に後方を撮影するカメラを有しており、取得した画像や、車両の走行速度、操舵状態、旋回状態等を元にCPUにて、グラフィック演算や駐車案内の演算処理がなされる。そして、これらの演算結果が車両内のモニタに表示される。
As such a vehicle periphery monitoring system,
ここで、昼間時など周囲が明るい状況であれば、車両後部のカメラによって良好な画像を取得することができる。取得した画像は、種々の画像処理が施される。一例として、例えば車両周辺に駐車している車両等の障害物と、路面等との境界を明らかにするための輪郭強調やエッジ検出等がある。昼間時など、周囲が明るい状況では、取得する画像は充分なコントラストを有するため、輪郭強調やエッジ検出等も良好に実施できる。 Here, if the surroundings are bright, such as in the daytime, a good image can be acquired by the camera at the rear of the vehicle. The acquired image is subjected to various image processing. As an example, there are contour enhancement and edge detection for clarifying the boundary between an obstacle such as a vehicle parked around the vehicle and the road surface. In a situation where the surroundings are bright, such as during the daytime, the acquired image has sufficient contrast, so that contour enhancement, edge detection, and the like can be performed well.
一方、夜間など、周囲が暗い状況においては、カメラの感度不足のため、取得する画像が充分なコントラストを有することが困難となる。このため、例えばテールランプやリバースランプなどの灯火装置を点灯させて、撮影する範囲を明るくして、取得する画像が充分なコントラストを有するようにすることがよく行われる。しかし、対象となる車両が黒や濃紺などの濃い色であった場合、灯火装置による車両の影と、車両とのコントラストが弱くなる場合がある。このように灯火装置を点灯させる場合、当然昼間よりも周囲が暗いので、昼間時に比べて撮影画像のコントラストは弱くなっている。そのため、濃い色の車両とその影との境界のコントラストはさらに弱くなり、正確な輪郭強調やエッジ抽出の妨げとなる。 On the other hand, in a dark environment such as at night, it is difficult for the acquired image to have sufficient contrast due to insufficient sensitivity of the camera. For this reason, for example, a lighting device such as a tail lamp or a reverse lamp is turned on to brighten a shooting range so that an acquired image has sufficient contrast. However, when the target vehicle has a dark color such as black or dark blue, the contrast between the shadow of the vehicle by the lighting device and the vehicle may become weak. When the lighting device is turned on in this way, the surroundings are naturally darker than in the daytime, so the contrast of the captured image is weaker than in the daytime. For this reason, the contrast of the boundary between the dark-colored vehicle and its shadow is further weakened, which hinders accurate contour enhancement and edge extraction.
本願発明は、このような課題に鑑みてなされたものであり、夜間等周囲が暗い状況においても車両の灯火装置を点灯することによって生じた障害物の影に影響されず、この障害物の輪郭を抽出可能とする車両周辺監視システムを提供することを目的とする。 The present invention has been made in view of such a problem, and is not affected by the shadow of an obstacle caused by lighting a lighting device of a vehicle even in a dark environment such as at night, and the contour of the obstacle. An object of the present invention is to provide a vehicle periphery monitoring system that makes it possible to extract the vehicle.
上記目的を達成するための本発明に係る車両の周辺の情景を撮影装置により撮影し、周辺に存在する障害物の情報を報知装置により乗員に提供する車両周辺監視装置の特徴構成は、前記車両が有する灯火装置の点灯によって前記撮影装置の撮影範囲内にて発生する前記障害物の影に対し、影を抑制して前記障害物の輪郭を際立たせる第一の照明装置、及び前記障害物の存在を特定するために模様を有する特定パターンの照明光を前記撮影装置の撮影範囲内に投影する第二の照明装置の少なくとも何れか一方の照明装置を、前記撮影装置に備える点にある。 In order to achieve the above object, according to the present invention, a characteristic configuration of a vehicle periphery monitoring device that captures a scene around a vehicle with an image capturing device and provides information on obstacles existing in the vicinity to an occupant with a notification device includes the vehicle A first lighting device that suppresses the shadow and highlights the contour of the obstacle with respect to the shadow of the obstacle generated within the photographing range of the photographing device by lighting of the lighting device included in the lighting device; and The imaging device is provided with at least one illumination device of a second illumination device that projects illumination light of a specific pattern having a pattern for specifying the presence within the imaging range of the imaging device.
検出対象の障害物の存在位置は、その有無を含めて未知である。しかし、点灯することによって障害物を照射する灯火装置及び撮影装置の設置場所は既知である。よって、障害物が存在する場合にその存在位置によってどのあたりに点灯する灯火装置による影が生じ、それが撮影範囲に含まれるか否かを知ることができる。従って、この影(あるいは背景)と障害物との境界部分を含む所定方向を照明装置(第一の照明装置)により照明することで、撮影装置の撮影範囲内に含まれる影を淡くし、障害物の輪郭を際立たせることができる。境界部分は、障害物の存在位置によって異なるため、所定方向を照射する照明装置の照明光はある程度の幅をもって照射する必要がある。一方、障害物が車両から遠い場合には、障害物と背景との境界が明確でなくても、比較的輪郭を抽出する緊急性が低い。従って、障害物が近傍に存在する場合に想定される境界部分を照射するような方向を所定方向としておけばよい。このようにすれば、その有無を含めて存在位置が未知である障害物と背景との境界部分を照射するように照明装置を設置することができる。その結果、影の影響を排して良好に障害物の輪郭を抽出でき、障害物の情報を車室内のモニタ装置などの報知装置を通じて乗員に提供することができる。 The position of the obstacle to be detected is unknown including its presence or absence. However, the installation location of the lighting device and the photographing device that illuminates the obstacle by lighting is known. Therefore, when there is an obstacle, it is possible to know where the shadow is caused by the lighting device that is lit depending on the position of the obstacle, and whether or not it is included in the imaging range. Accordingly, by illuminating a predetermined direction including the boundary between the shadow (or background) and the obstacle with the illumination device (first illumination device), the shadow included in the photographing range of the photographing device is reduced, and the obstacle is obstructed. The outline of an object can be emphasized. Since the boundary portion varies depending on the position where the obstacle exists, it is necessary to irradiate the illumination light of the illumination device that irradiates the predetermined direction with a certain width. On the other hand, when the obstacle is far from the vehicle, the urgency of extracting the contour is relatively low even if the boundary between the obstacle and the background is not clear. Therefore, a direction that irradiates a boundary portion assumed when an obstacle exists in the vicinity may be set as a predetermined direction. If it does in this way, an illuminating device can be installed so that the boundary part of the obstruction and the background whose presence position is unknown including the presence or absence may be irradiated. As a result, the contour of the obstacle can be extracted satisfactorily without the influence of the shadow, and information on the obstacle can be provided to the occupant through a notification device such as a monitor device in the passenger compartment.
上述したように、照明装置は、障害物と背景との境界部分を照射できればよい。従って、最低限、撮影装置から障害物への視角と同一の方向へ照射すれば、撮影範囲内から灯火装置による障害物の影をなくすことができる。つまり、照明装置は、この視角と同一の方向を基準として、車両の幅方向の外側へ照射すれば、良好に障害物の影を抑制することができる。 As described above, the illumination device only needs to irradiate the boundary portion between the obstacle and the background. Therefore, at least, if the irradiation is performed in the same direction as the viewing angle from the photographing device to the obstacle, the shadow of the obstacle by the lighting device can be eliminated from the photographing range. That is, the illumination device can satisfactorily suppress the shadow of an obstacle if it is irradiated to the outside in the width direction of the vehicle with reference to the same direction as the viewing angle.
従って、撮影装置に照明装置(第一の照明装置)を備えれば、少なくとも視角とほぼ同一の方向へ照明することができる。また、照明装置を設置する際にその照明光の指向性に応じた調整が必要となるが、撮影装置に照明装置を備えればこの調整負荷が軽くなる。 Therefore, if the photographing apparatus is provided with an illumination device (first illumination device), it is possible to illuminate at least substantially in the same direction as the viewing angle. In addition, when the lighting device is installed, adjustment according to the directivity of the illumination light is necessary. However, if the photographing device is provided with the lighting device, the adjustment load is reduced.
また、照明装置(第二の照明装置)から所定パターンを有する照明光の投影を受けた障害物からの反射光は、撮影装置に入射し、所定パターンに応じたパターン画像を撮影画像に再現する。一方、障害物とは三次元空間上で異なる位置に存在する地面(路面)や壁面から反射する所定パターンの反射光は、障害物による反射に応じたパターン画像とは異なるパターン画像を形成する。あるいは、障害物よりも遠方であるために、照明光、反射光共に減衰が大きく、パターン画像の形成に至らない。従って、撮影装置から見て同一平面状に存在するようにも見える障害物と、背景(地面や壁面)とであってもその境界で、撮影画像上に再現されるパターン画像が不連続となる。通常の撮影画像では、上述したように障害物と障害物の影との境界が不明確となる場合がある。しかし、所定パターンの照明光を投影すれば、障害物と障害物の影との境界で生じるパターン画像の不連続性によって、この境界を明確に知ることができる。その結果、障害物の影に影響されず、この障害物の輪郭を抽出可能となる。 Also, the reflected light from the obstacle that has received the projection of the illumination light having a predetermined pattern from the illumination device (second illumination device) is incident on the imaging device, and the pattern image corresponding to the predetermined pattern is reproduced in the captured image. . On the other hand, the reflected light of a predetermined pattern reflected from the ground (road surface) and the wall surface present at a position different from the obstacle in the three-dimensional space forms a pattern image different from the pattern image corresponding to the reflection by the obstacle. Or since it is far away from an obstacle, attenuation of both illumination light and reflected light is large, and pattern images cannot be formed. Accordingly, the pattern image reproduced on the photographed image is discontinuous at the boundary between the obstacle that appears to be present on the same plane as viewed from the photographing device and the background (ground or wall surface). . In a normal captured image, the boundary between the obstacle and the shadow of the obstacle may be unclear as described above. However, if a predetermined pattern of illumination light is projected, the boundary can be clearly recognized by the discontinuity of the pattern image generated at the boundary between the obstacle and the shadow of the obstacle. As a result, the outline of the obstacle can be extracted without being affected by the shadow of the obstacle.
上述したように、灯火装置及び撮影装置の設置場所から、障害物が存在する場合にその存在位置によってどのあたりに灯火装置による影が生じ、それが撮影範囲に含まれるか否かを知ることができる。従って、この影(あるいは背景)と障害物との境界部分を含むように所定パターンの光を投影すれば、障害物と背景とを含む撮影範囲内に所定パターンの光を投影することができる。障害物と背景との両方に所定パターンの光が投影されれば、撮影装置は上述したように境界部分で不連続となる所定パターンの再現画像を得ることができる。 As described above, when there is an obstacle from the installation location of the lighting device and the photographing device, it is possible to know where the shadow is caused by the lighting device depending on the position of the obstacle and whether it is included in the photographing range. it can. Therefore, if a predetermined pattern of light is projected so as to include a boundary portion between the shadow (or background) and the obstacle, the predetermined pattern of light can be projected within the imaging range including the obstacle and the background. If a predetermined pattern of light is projected onto both the obstacle and the background, the imaging apparatus can obtain a reproduction image of the predetermined pattern that becomes discontinuous at the boundary as described above.
上述した第一の照明装置による照明と同様に、第二の照明装置による投影においても、最低限、境界部分を含んで障害物と背景とに所定パターンの照明光を投影できればよい。つまり、撮影装置から障害物への視角と同一の方向を光軸中心として、一定の幅を有する照明光を投影すればよい。従って、撮影装置に照明装置(第二の照明装置)を備えれば、少なくとも視角と同一の方向へ所定パターンの照明光を投影することができる。また、照明装置を設置する際にその照明光の指向性に応じた調整が必要となるが、撮影装置に照明装置を備えればこの調整負荷が軽くなる。 Similar to the illumination by the first illumination device described above, in the projection by the second illumination device, it is only necessary to project illumination light of a predetermined pattern onto the obstacle and the background at least including the boundary portion. That is, illumination light having a certain width may be projected with the same direction as the viewing angle from the imaging device to the obstacle as the center of the optical axis. Therefore, if the photographing apparatus includes an illumination device (second illumination device), it is possible to project illumination light of a predetermined pattern in at least the same direction as the viewing angle. In addition, when the lighting device is installed, adjustment according to the directivity of the illumination light is necessary. However, if the photographing device is provided with the lighting device, the adjustment load is reduced.
また、本発明係る車両の周辺の情景を撮影装置により撮影し、周辺に存在する障害物の情報を報知装置により乗員に提供する車両周辺監視システムの別の特徴構成は、前記車両が有する灯火装置の中で点灯する灯火装置の灯火光によって前記撮影装置の撮影範囲内にて発生する前記障害物の影に対し、影を抑制して前記障害物の輪郭を際立たせる第一の照明装置、及び前記障害物の存在を特定するために模様を有する特定パターンの照明光を前記撮影装置の撮影範囲内に投影する第二の照明装置の少なくとも何れか一方の照明装置を、前記車両が有する前記灯火装置に備える点にある。 In addition, another characteristic configuration of the vehicle periphery monitoring system that captures a scene around the vehicle according to the present invention with an image capturing device and provides information on obstacles existing in the vicinity to an occupant using a notification device is a lighting device included in the vehicle. A first illuminating device that suppresses the shadow and makes the contour of the obstacle stand out with respect to the shadow of the obstacle generated in the photographing range of the photographing device by the light of the lighting device that is lit in The lamp that the vehicle has at least one of the second illumination devices that projects the illumination light of a specific pattern having a pattern to identify the presence of the obstacle within the imaging range of the imaging device It is in the point to prepare for the device.
上述したように、本発明の課題は、夜間等周囲が暗い状況においても車両に備えられた既存の灯火装置の点灯によって生じた障害物の影に影響されず、この障害物の輪郭を抽出可能とする車両周辺監視システムを提供することにある。灯火装置は、車両に複数備えられており、障害物の影を生じさせる灯火装置以外の灯火装置も有している。従って、灯火装置に照明装置を備えていれば、障害物の影を生じさせる灯火装置とは異なる角度からの照明(投影)が可能となる。また、障害物に影を生じさせる灯火光の角度が予め想定できるので、それに応じた照明装置の照明(投影)方向を定めることができ、この方向に精度良く照明装置を設置することができる。灯火装置には、その灯火装置の点灯及び消灯を制御する制御線や電源線が敷設されている。従って、灯火装置に照明装置を備えれば制御線や電源線を兼用することもできて好適である。また、灯火装置及び照明装置の光学部品を一体的に構成することができて経済的、工数的にも有利である。 As described above, the problem of the present invention is that the outline of the obstacle can be extracted without being affected by the shadow of the obstacle caused by the lighting of the existing lighting device provided in the vehicle even in a dark surrounding such as at night. To provide a vehicle periphery monitoring system. A plurality of lighting devices are provided in the vehicle, and a lighting device other than the lighting device that causes the shadow of an obstacle is also provided. Therefore, if the lighting device includes an illumination device, illumination (projection) from an angle different from that of the lighting device that causes the shadow of an obstacle can be performed. Moreover, since the angle of the lamp light that causes a shadow on the obstacle can be assumed in advance, the illumination (projection) direction of the illumination device can be determined according to the angle, and the illumination device can be installed with high accuracy in this direction. The lighting device is provided with a control line and a power line for controlling lighting and extinguishing of the lighting device. Therefore, if the lighting device is provided with an illuminating device, it is preferable that the control line and the power line can also be used. In addition, the optical parts of the lighting device and the lighting device can be formed integrally, which is advantageous in terms of economy and man-hours.
また、本発明に係る車両の周辺の情景を撮影装置により撮影し、周辺に存在する障害物の情報を報知装置により乗員に提供する車両周辺監視システムの別の特徴構成は、前記車両が有する灯火装置の点灯によって前記撮影装置の撮影範囲内にて発生する前記障害物の影に対し、影を抑制して前記障害物の輪郭を際立たせる第一の照明装置、及び前記障害物の存在を特定するために模様を有する特定パターンの照明光を前記撮影装置の撮影範囲内に投影する第二の照明装置の少なくとも何れか一方の照明装置を、前記車両の外装部品に備える点にある。 Another feature of the vehicle periphery monitoring system according to the present invention is that a scene around the vehicle is photographed by a photographing device, and information about obstacles existing in the vicinity is provided to a passenger by a notification device. A first lighting device that suppresses the shadow and highlights the contour of the obstacle with respect to the shadow of the obstacle generated within the photographing range of the photographing device by lighting the device, and specifies the presence of the obstacle Therefore, at least one illumination device of the second illumination device that projects illumination light of a specific pattern having a pattern into the photographing range of the photographing device is provided in the exterior part of the vehicle.
上述したように、撮影装置と照明装置との位置関係は、障害物の輪郭を抽出する上で重要である。照明装置を外装部品に備えると、車体との関係からその位置関係を特定することができ、精度良く照明装置を設置できる。その結果、照明装置の設置の際にその指向性に応じた調整を行う工数を抑制することができる。 As described above, the positional relationship between the imaging device and the illumination device is important for extracting the contour of the obstacle. When the lighting device is provided in the exterior part, the positional relationship can be specified from the relationship with the vehicle body, and the lighting device can be installed with high accuracy. As a result, it is possible to suppress the man-hours for performing the adjustment according to the directivity when installing the lighting device.
また、前記灯火装置は、ストップランプ、テールランプ、リバースランプ、ターンランプ、ライセンスプレートランプ、及びこれらの複数を一体化したコンビネーションランプのうち何れか一つであると好適である。 Further, it is preferable that the lighting device is any one of a stop lamp, a tail lamp, a reverse lamp, a turn lamp, a license plate lamp, and a combination lamp in which a plurality of them are integrated.
上記各灯火装置は、撮影範囲の照度を向上するために点灯される灯火装置にもなり得るものである。互いの灯火装置の配置関係は既知であるから、障害物に影を生じさせる灯火装置と、この影の影響を抑制するための照明装置が備えられる灯火装置との配置関係を予め想定することができる。そして、照明装置の照明(投影)方向を精度良く定めることができるので、好適な車両周辺監視システムを構築できる。また、電源線や制御線等照明に必要な配線を兼用することができる可能性も高く車両全体の配線数を抑制することができる。 Each of the above lighting devices can also be a lighting device that is turned on to improve the illuminance in the photographing range. Since the arrangement relationship between the lighting devices of each other is known, it is possible to assume in advance the arrangement relationship between the lighting device that causes a shadow on the obstacle and the lighting device that includes the lighting device for suppressing the influence of the shadow. it can. And since the illumination (projection) direction of an illuminating device can be defined with a sufficient precision, a suitable vehicle periphery monitoring system can be constructed | assembled. In addition, there is a high possibility that wiring necessary for illumination such as power supply lines and control lines can be shared, and the number of wirings in the entire vehicle can be suppressed.
また、前記外装部品が、ガーニッシュ、バンパ、ボディーパネルのうち何れか一つであると好適である。 Further, it is preferable that the exterior part is any one of a garnish, a bumper, and a body panel.
上記外装部品は、撮影装置が設置される場所となる場合もある。従って、撮影装置と照明装置との位置関係を精度良く定めることができるので好ましい。 The exterior part may be a place where an imaging device is installed. Therefore, it is preferable because the positional relationship between the photographing device and the illumination device can be accurately determined.
以下、本発明の実施例を図面に基づいて説明する。図1は本発明に係る車両周辺監視システムの車両への搭載例を示す斜視図である。また、図2は、本発明に係る車両周辺監視システムの概略ブロック図である。図1に示す車両1は、本発明に係る車両周辺監視システムが搭載される移動体である。車両1には、撮影装置として車両1の後方側の情景を撮影するカメラ3が備えられている。撮影装置は車両1の前方側に備えられていてもよいし、前方側、後方側の双方に備えられていてもよいが、本例では後方側に備えられている場合について説明する。また、車両1は車幅灯等の灯火装置とは別の付加的な照明装置4も備えているが、これについては後述する。
Embodiments of the present invention will be described below with reference to the drawings. FIG. 1 is a perspective view showing an example of mounting a vehicle periphery monitoring system according to the present invention on a vehicle. FIG. 2 is a schematic block diagram of the vehicle periphery monitoring system according to the present invention. A
カメラ3によって撮影された画像は、周辺監視ECU(Electronic Control Unit)5に入力され、画像処理部でエッジ抽出や輪郭強調等の画像処理が施される。この画像処理の結果は、報知装置としてのモニタ6aやスピーカ6bを介して乗員に提供される。周辺監視ECU5には、画像処理部の他、表示制御部や制御部も備えている。表示制御部は、モニタ6aへの表示を制御するものである。カメラ3が撮影した画像を表示したり、この画像に画像処理結果や画像処理結果に基づいて制御部が判断した判断結果をスーパーインポーズとして重畳したり、ガイドラインを重畳したりする。制御部の判定結果は、車両1の他のECUにも伝達される。例えば、制動制御ECU8に障害物と接近しすぎているような情報を伝達すれば、制動制御ECU8が制動装置を作動させて、車両1を停止させる。
An image photographed by the
尚、これらの判定には、カメラ3によって撮影された画像のみでなく、種々の移動状態検出手段7からの情報が加味される。例えば、ステアリング9aの操作を検出する操舵角センサ7aや、車輪の回転を検出する車輪速度センサ7bや、シフトレバー9cのシフト位置を検出するシフトレバースイッチ7cなどが、移動状態検出手段に相当する。これら移動状態検出手段7からの情報に基づき、周辺監視ECU5は、車両1の進行方向、進行速度、予想進路などを演算する。
In addition, not only the image image | photographed with the
図3は、車両1が障害物としての駐車車両2の後方に縦列駐車する場合の初動を示す説明図である。車両1は、図3の矢印に示すような進路で駐車車両2の後方へと進行する。この時、車両1のカメラ3は、撮影範囲Vの情景を撮影する。
FIG. 3 is an explanatory diagram showing the initial movement when the
図4は、駐車車両2の影Sがカメラ3の撮影範囲Vに生じる場合の例を示す説明図である。図4では説明を容易にするため、車両1と駐車車両2とがほぼ平行している状態としている。図4において、右方視野限界VRと左方視野限界VLとの間に形成された撮影範囲Vは、車両1に搭載されたカメラ3の視野角を示している。夜間など、車両1の周囲の照度が充分ではない場合には、この視野角の範囲の照度を増大させる。実線LRと実線LLとの間は、車両1に搭載された灯火装置、例えばテールランプ、ストップランプなどのうち少なくとも一つを点灯させた時に灯火光が届く範囲を示している。
FIG. 4 is an explanatory diagram illustrating an example in which the shadow S of the parked
点線矢印で示された灯火光境界線LSは、駐車車両2の最外輪郭であるコーナー部Cと、上記点灯する灯火装置とを結ぶ線である。撮影範囲V内で、この灯火光境界線LSよりも車両1の車幅方向の外側に位置する部分には、灯火装置からの灯火光が遮られて影Sが現れる。カメラ3から駐車車両2のコーナー部Cを見たときの視角VS(実線矢印で示す)は、図4に示すように、灯火光境界線LSよりも車両1の外側の方向を向いている。従って、視角VSは、駐車車両2のコーナー部Cを超えて点灯する灯火装置によって生じた駐車車両2の影Sをも捉えることとなる。そして、図5に示すように、撮影画像上の通常路面や壁面である背景部分に駐車車両2の影Sが出現する。駐車車両2の車体色が黒や紺色などの濃い色である場合、駐車車両2と影Sとのコントラストが低くなる。その結果、周辺監視ECU5による画像処理において、駐車車両2の境界部分の判別が困難になる。つまり、車両1が図3に示すように移動する場合に最も接近するコーナー部Cの高精度な検出が困難となる。
A lamp light boundary line LS indicated by a dotted arrow is a line connecting the corner portion C which is the outermost contour of the parked
(第1実施形態)
そこで、本発明に係る車両周辺監視システムは、駐車車両2とのコントラストを弱くするほどに濃い影Sが撮影画像に含まれないようにしている。影Sは完全に無くす必要はなく、周辺監視ECU5において駐車車両2と背景との境界が充分に判別できる程度のコントラストを有するように淡くすることで充分である。本発明に係る車両周辺監視システムは、灯火装置とは別に影Sを淡くするための付加照明手段としての照明装置4(第一の照明装置)を備え、少なくとも視角VSよりも車両1の外側を照射するようにしている。尚、好適にはこの照明装置4による照射は、灯火装置が点灯状態においてなされるものであるとよい。灯火装置が消灯している状態は、昼間などで周囲が明るいか、或いは夜間であっても車両1を動かさない状態である場合が多いからである。
(First embodiment)
Therefore, the vehicle periphery monitoring system according to the present invention prevents the dark shadow S from being included in the captured image as the contrast with the parked
図6は、付加照明手段としての照明装置4と、撮影装置としてのカメラ3との配置の一例を示す説明図である。図6(a)は、カメラ3から車幅方向に所定間隔をおいて照明装置4を備え、カメラ3を挟んで車両1の幅方向の左右反対方向を照射する構成例である。詳細は後述するが、この構成であれば、カメラ3から駐車車両2への視角VSよりも車両1の外側を照射することができるので、良好に影Sを淡くすることができる。図6(b)は、車幅方向にカメラ3とほぼ同位置に照明装置4を備え、カメラ3の視角VSと同一の方向を照射する構成例である。詳細は後述するが、カメラ3から駐車車両2への視角VSの方向を基準として、この方向より車両1の外側を照射すれば、良好に影Sを淡くすることができる。
FIG. 6 is an explanatory diagram showing an example of the arrangement of the
尚、本例において照明装置4は、図7に示すようにプロジェクター4a、レンズ4bを備えており、照明範囲Pを有するスポット光を照射するものである。また、このスポット光Pは、図7(a)に示すような単一のスポット光Pであってもよいし、図7(b)に示すように複数のスポット光Pをたものであってもよい。
In this example, the
図8は、図6(a)に示す配置により影Sの影響を抑制する例を示す説明図である。カメラ3の視角VSは、点灯する灯火装置と駐車車両2の最外輪郭であるコーナー部Cとを結ぶ灯火光境界線LSよりも車両1の外側方向を向いている。しかし、駐車車両2とは反対側の端部に備えられた照明装置4からのスポット光Pの照射による光線PSは、視角VSよりもさらに外側を向いている。従って、光線PSよりも車両1の内側においては、照明装置4により照らされて影Sが淡くなる。その結果、視角VSはコーナー部Cを超えて路面や壁面などの背景を見ることができ、影Sの影響を抑制することができる。
FIG. 8 is an explanatory diagram showing an example in which the influence of the shadow S is suppressed by the arrangement shown in FIG. The viewing angle VS of the
図9は、図6(b)に示す配置により影Sの影響を抑制する例を示す説明図である。カメラ3と車両1の幅方向の同位置に備えられた照明装置4からのスポット光Pの照射による光線PSは、視角VSとほぼ一致する。光線PSよりも車両1の内側においては、影Sが照明装置4により照らされて影Sが淡くなる。影Sが濃く現れる部分は、視角VSを基準として車両1の幅方向外側となる。その結果、視角VSはコーナー部Cを超えて路面や壁面などの背景を見ることができ、影Sの影響を抑制することができる。
FIG. 9 is an explanatory diagram illustrating an example in which the influence of the shadow S is suppressed by the arrangement illustrated in FIG. The light beam PS generated by the irradiation of the spot light P from the
図10は、図8及び図9において撮影される撮影画像の例を示す図である。このように、駐車車両2と背景とのコントラストが強い撮影画像を得ることができる。
FIG. 10 is a diagram illustrating an example of the captured image captured in FIGS. 8 and 9. Thus, a captured image with a strong contrast between the parked
(第2実施形態)
第2実施形態では、駐車車両2とのコントラストを弱くするほどに濃い影Sが存在しても撮影画像に影響しないようにしている。つまり、周辺監視ECU5において駐車車両2と背景との境界が充分に判別できるようにしている。本発明に係る車両周辺監視システムは、灯火装置とは別に付加照明手段としての照明装置4(第二の照明装置)を備え、少なくとも視角VSを含んで、駐車車両2と背景とに所定パターンの照明光を投影するようにしている。尚、好適にはこの照明装置4による投影は、灯火装置が点灯状態においてなされるものであるとよい。灯火装置が消灯している状態は、昼間などで周囲が明るいか、或いは夜間であっても車両1を動かさない状態である場合が多いからである。
(Second Embodiment)
In the second embodiment, the captured image is not affected even if the shadow S is so deep that the contrast with the parked
図6(a)のように構成すれば、カメラ3から駐車車両2への視角VSよりも車両1の外側を投影することになる。つまり、駐車車両2によって反射される照明装置4の照明光を正反射光側に少し近づけることができる。反射光の光量は、正反射の場合が最大であるので、このようにすればカメラ3によって好適に所定パターンを再現できるようになる。図6(b)のように構成する場合、カメラ3から駐車車両2への視角VSの方向に一定の幅をもって、所定パターンの照明光を投影すれば、照明装置4は、駐車車両2と背景とに投影できる。その結果、駐車車両2と背景との境界を明確にすることができる。
If configured as shown in FIG. 6A, the outside of the
本例において照明装置4は、図11及び図12に示すようにプロジェクター4a、レンズ4bを備えており、所定パターンを有する照明光を投影するものである。図12は、直線状のスリット光を投影する場合の例を示している。図13には、その他の所定パターンの例を示している。図13(a)は、横方向に直線状のパターンである。このようなパターンを用いると、横方向の連続性がどこで途切れたかによって、良好に境界を見つけることができる。図13(b)は、縦方向に直線状のパターンである。このようなパターンを用いると、縦方向の連続性がどこで途切れたかによって良好に境界を見つけることができる。図13(c)は、格子状のパターンである。このようなパターンを用いると、縦横両方向の連続性によって、両方向の境界を見つけることができる。あるいは、格子状の正方形パターンの有無によって障害物の表面形状に準じた境界を見つけることができる。図13(d)は、網点状のパターンである。この場合も、網点パターンの再現の有無によって、障害物の表面形状に準じた境界を見つけることができる。
In this example, the
図14は、照明装置4によって図13(a)の所定パターンの照明光を投影した場合に撮影される撮影画像の例を示す図である。直線状のパターンが駐車車両2が存在する部分にのみ、再現される。このように、駐車車両2と背景とのコントラストが低い場合であっても、この直線状のパターンの連続性が途切れたことによって、駐車車両2と背景との境界を撮影画像から特定することができる。
FIG. 14 is a diagram illustrating an example of a captured image that is captured when the
また、照明装置4が投影する光の一部又は全てに近赤外光を含むように構成してもよい。この場合、カメラ3も近赤外光に感度を有するものとしておく。近赤外光は不可視の光であるので、影の影響を抑制したい場合に限らず、周囲の照度不足により、障害物と背景との境界が不明確となる場合にも好適にこの境界を見つけることができる。このとき、可視光が駐車車両2に投影されないので、第三者にも違和感を覚えさせること無く、周辺監視を行うことができる。
Moreover, you may comprise so that near infrared light may be included in part or all of the light which the illuminating
尚、第1実施形態、第2実施形態に共通し、図1、図2、図6には、照明装置4が2つ備えられている場合について示しているが、本発明の適用に際しては必ずしも2つ備える必要はない。例えば、運転席からの視認が容易な側を照射(投影)する照明装置4は設けず、運転席からの視認が困難な側を照射(投影)する照明装置4のみを設けてもよい。但し、上記実施形態のように複数設けた場合には、運転席からの視認の容易さに拘らず、良好な周辺監視システムが構築できるという利点を有する。また、照明装置4は、1つであっても照明装置4の照射(投影)方向を可変にし、1つの照明装置4によって複数の方向を照射(投影)してもよい。
Note that, in common with the first embodiment and the second embodiment, FIGS. 1, 2 and 6 show the case where two
このように2つ備える照明装置4のうち、何れか一方だけを用いて照射(投影)する場合や、1つの照明装置4による照射(投影)方向を可変にする場合には、移動状態検出手段7の検出結果に基づいて制御される。移動状態検出手段7には、上述したように操舵角センサ7aや車輪速度センサ7bやシフトレバースイッチ7cがある。例えば、シフトレバースイッチ7cがバックギアに入っていることを検出したことを利用して、後方への進行方向であることが判る。また、操舵角センサ7aによってステアリング9aが操作されている方向を検出したことで、左右どちらの方向へ進もうとしているかの進行方向を知ることができる。また、車輪速度センサ7bによって左右の車輪の回転差を検出することでも左右何れの方向へ進行しているかを知ることができる。さらに、この時の車両の進行速度も知ることができる。
Thus, in the case where irradiation (projection) is performed using only one of the two
(照明装置の設置例1)
以下、照明装置4の設置形態について種々の例を示すが、車両1としてステーションワゴンタイプの車両を用いて説明する。
図15は、照明装置4の第1の設置例を示す斜視図である。図15は、照明装置4をカメラ3と車両1の幅方向に所定間隔をおいて設置した場合の例である。図に示すように、撮影装置としてのカメラ3は車両1の幅方向の中央部に備えられ、照明装置4(4L、4R)はストップランプ等と共にリアコンビネーションランプ部に備えられる。
(Lighting device installation example 1)
Hereinafter, various examples of the installation form of the
FIG. 15 is a perspective view showing a first installation example of the
(照明装置の設置例2)
図16は、照明装置4の第2の設置例を示す斜視図である。図16は、照明装置4をカメラ3と車両1の幅方向に所定間隔をおいて設置した場合の例である。図に示すように、撮影装置としてのカメラ3は車両1の幅方向の中央部に備えられ、照明装置4(4L、4R)は車幅灯等と共にリアコンビネーションランプ部に備えられる。
(Example 2 of lighting device installation)
FIG. 16 is a perspective view illustrating a second installation example of the
(照明装置の設置例3)
図17は、照明装置4の第3の設置例を示す斜視図である。図17は、照明装置4をカメラ3と車両1の幅方向の同一位置に設置した場合の例である。ここで、照明装置4は、1つの装置から複数の方向を照射するものであってもよいし、複数の装置を一箇所に備えるものであってもよい。何れにせよ、照明装置4は、図に示すようにカメラ3と共に車両1の外装部品であるガーニッシュに備えられる。尚、この形態の場合、ライセンスプレートに備えられた灯火装置であるライセンスプレートランプに照明装置4を備えるものであってもよい。
(Lighting device installation example 3)
FIG. 17 is a perspective view showing a third installation example of the
尚、このとき照明装置4をカメラ3に備えてもよい。つまり、照明装置4とカメラ3とを一体化してもよい。例えば、図22に示すように中央にカメラ3としてのカメラ部3aを備え、その側面に左右それぞれ照明装置4としての照明部4aを備えて一体化して、カメラ3及び照明装置4としてもよい。また、図23に示すように、カメラ3としてのカメラ部材3Aと、照明装置4としての照明部材4Aとを接合して、カメラ3及び照明装置4としてもよい。
At this time, the
(照明装置の設置例4)
図18は、照明装置4の第4の設置例を示す斜視図である。図18は、照明装置4をカメラ3と車両1の幅方向に所定間隔をおいて設置した場合の例である。図に示すように、撮影装置としてのカメラ3は車両1の幅方向の中央部に備えられ、照明装置4(4L、4R)は外装部品であるバンパに備えられる。
(Example 4 of lighting device installation)
FIG. 18 is a perspective view illustrating a fourth installation example of the
(照明装置の設置例5)
図19は、照明装置4の第5の設置例を示す斜視図である。図19は、照明装置4をカメラ3と車両1の幅方向の同一位置に設置した場合の例である。ここで、照明装置4は、1つの装置から複数の方向を照射するものであってもよいし、複数の装置を一箇所に備えるものであってもよい。照明装置4は、図に示すようにカメラ3とは別に車両1の外装部品であるバンパに備えられる。
(Lighting device installation example 5)
FIG. 19 is a perspective view showing a fifth installation example of the
(照明装置の設置例6)
図20は、照明装置6の第6の設置例を示す斜視図である。図20は、照明装置4をカメラ3と車両1の幅方向に所定間隔をおいて設置した場合の例である。図に示すように、撮影装置としてのカメラ3は車両1の幅方向の中央部に備えられ、照明装置4(4L、4R)は外装部品であるスポイラーに備えられる。尚、このスポイラーにストップランプ等の灯火装置が備えられている場合には、照明装置4をこの灯火装置と共に設置してもよい。
(Example of installation of lighting device 6)
FIG. 20 is a perspective view illustrating a sixth installation example of the lighting device 6. FIG. 20 shows an example in which the
(照明装置の設置例7)
図21は、照明装置4の第5の設置例を示す斜視図である。図21は、照明装置4をカメラ3と車両1の幅方向の同一位置に設置した場合の例である。ここで、照明装置4は、1つの装置から複数の方向を照射するものであってもよいし、複数の装置を一箇所に備えるものであってもよい。照明装置4は、図に示すようにカメラ3とは別に車両1の外装部品であるスポイラーに備えられる。上記と同様に、このスポイラーにストップランプ等の灯火装置が備えられている場合には、照明装置4をこの灯火装置と共に設置してもよい。
(Example 7 of lighting device installation)
FIG. 21 is a perspective view showing a fifth installation example of the
1 車両
2 駐車車両(障害物)
3 カメラ(撮影装置)
4 照明装置
6a モニタ(報知装置)
6b スピーカ(報知装置)
V 撮影範囲
VS 視角
S 影
1
3 Camera (photographing device)
4
6b Speaker (notification device)
V Shooting range VS Viewing angle S Shadow
Claims (5)
前記車両が有する灯火装置の点灯によって前記撮影装置の撮影範囲内にて発生する前記障害物の影に対し、影を抑制して前記障害物の輪郭を際立たせる第一の照明装置、及び前記障害物の存在を特定するために模様を有する特定パターンの照明光を前記撮影装置の撮影範囲内に投影する第二の照明装置の少なくとも何れか一方の照明装置を、前記撮影装置に備える車両周辺監視システム。 In a vehicle periphery monitoring system that captures a scene around a vehicle with an imaging device and provides information on obstacles existing in the vicinity to an occupant with a notification device,
A first lighting device that suppresses a shadow and highlights an outline of the obstacle with respect to a shadow of the obstacle generated in a photographing range of the photographing device by lighting of a lighting device included in the vehicle, and the obstacle Vehicle periphery monitoring comprising at least one illumination device of a second illumination device that projects illumination light of a specific pattern having a pattern in order to identify the presence of an object within the imaging range of the imaging device system.
前記車両が有する灯火装置の中で点灯する灯火装置の灯火光によって前記撮影装置の撮影範囲内にて発生する前記障害物の影に対し、影を抑制して前記障害物の輪郭を際立たせる第一の照明装置、及び前記障害物の存在を特定するために模様を有する特定パターンの照明光を前記撮影装置の撮影範囲内に投影する第二の照明装置の少なくとも何れか一方の照明装置を、車両が有する前記灯火装置に備える車両周辺監視システム。 In a vehicle periphery monitoring system that captures a scene around a vehicle with an imaging device and provides information on obstacles existing in the vicinity to an occupant with a notification device,
The shadow of the obstacle that is generated in the photographing range of the photographing device by the light of the lighting device that is lit in the lighting device of the vehicle is suppressed and the outline of the obstacle is made to stand out. One illumination device and at least one illumination device of a second illumination device that projects illumination light of a specific pattern having a pattern to identify the presence of the obstacle into an imaging range of the imaging device, A vehicle periphery monitoring system provided in the lighting device of the vehicle.
前記車両が有する灯火装置の点灯によって前記撮影装置の撮影範囲内にて発生する前記障害物の影に対し、影を抑制して前記障害物の輪郭を際立たせる第一の照明装置、及び前記障害物の存在を特定するために模様を有する特定パターンの照明光を前記撮影装置の撮影範囲内に投影する第二の照明装置の少なくとも何れか一方の照明装置を、前記車両の外装部品に備える車両周辺監視システム。 In a vehicle periphery monitoring system that captures a scene around a vehicle with an imaging device and provides information on obstacles existing in the vicinity to an occupant with a notification device,
A first lighting device that suppresses a shadow and highlights an outline of the obstacle with respect to a shadow of the obstacle generated in a photographing range of the photographing device by lighting of a lighting device included in the vehicle, and the obstacle A vehicle including at least one illumination device of a second illumination device that projects illumination light of a specific pattern having a pattern in order to identify the presence of an object within an imaging range of the imaging device as an exterior part of the vehicle Perimeter monitoring system.
The vehicle periphery monitoring system according to claim 3, wherein the exterior part is one of a garnish, a bumper, and a body panel.
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005131421A JP4730589B2 (en) | 2005-04-28 | 2005-04-28 | Vehicle perimeter monitoring system |
EP06732264A EP1876829A4 (en) | 2005-04-28 | 2006-04-24 | Vehicle vicinity monitoring system |
US11/919,434 US20090309710A1 (en) | 2005-04-28 | 2006-04-24 | Vehicle Vicinity Monitoring System |
PCT/JP2006/308553 WO2006118076A1 (en) | 2005-04-28 | 2006-04-24 | System for monitoring periphery of vehicle |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005131421A JP4730589B2 (en) | 2005-04-28 | 2005-04-28 | Vehicle perimeter monitoring system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006311216A true JP2006311216A (en) | 2006-11-09 |
JP4730589B2 JP4730589B2 (en) | 2011-07-20 |
Family
ID=37477578
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005131421A Expired - Fee Related JP4730589B2 (en) | 2005-04-28 | 2005-04-28 | Vehicle perimeter monitoring system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4730589B2 (en) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014017624A1 (en) | 2012-07-27 | 2014-01-30 | 日産自動車株式会社 | Three-dimensional object detection device, and three-dimensional object detection method |
WO2014017625A1 (en) | 2012-07-27 | 2014-01-30 | 日産自動車株式会社 | Three-dimensional object detection device, and three-dimensional object detection method |
JP2016043756A (en) * | 2014-08-21 | 2016-04-04 | スズキ株式会社 | Parking support device and traverse line detection method of parking frame |
WO2017119557A1 (en) * | 2016-01-04 | 2017-07-13 | 엘지전자 주식회사 | Driving assistance device and control method therefor |
CN110654305A (en) * | 2015-04-10 | 2020-01-07 | 麦克赛尔株式会社 | Image projection apparatus and image projection method |
JPWO2020246483A1 (en) * | 2019-06-04 | 2020-12-10 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07264577A (en) * | 1994-03-23 | 1995-10-13 | Yazaki Corp | Vehicle periphery monitoring device |
JPH0818949A (en) * | 1994-06-27 | 1996-01-19 | Olympus Optical Co Ltd | On-vehicle image processing unit |
JP2001006097A (en) * | 1999-06-25 | 2001-01-12 | Fujitsu Ten Ltd | Device for supporting driving for vehicle |
WO2001028250A1 (en) * | 1999-10-12 | 2001-04-19 | Matsushita Electric Industrial Co., Ltd. | Monitor camera, method of adjusting camera, and vehicle monitor system |
JP2002114097A (en) * | 2000-10-10 | 2002-04-16 | Showa Electric Wire & Cable Co Ltd | On-board infrared imaging device |
JP2004274154A (en) * | 2003-03-05 | 2004-09-30 | Denso Corp | Vehicle crew protector |
-
2005
- 2005-04-28 JP JP2005131421A patent/JP4730589B2/en not_active Expired - Fee Related
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07264577A (en) * | 1994-03-23 | 1995-10-13 | Yazaki Corp | Vehicle periphery monitoring device |
JPH0818949A (en) * | 1994-06-27 | 1996-01-19 | Olympus Optical Co Ltd | On-vehicle image processing unit |
JP2001006097A (en) * | 1999-06-25 | 2001-01-12 | Fujitsu Ten Ltd | Device for supporting driving for vehicle |
WO2001028250A1 (en) * | 1999-10-12 | 2001-04-19 | Matsushita Electric Industrial Co., Ltd. | Monitor camera, method of adjusting camera, and vehicle monitor system |
JP2002114097A (en) * | 2000-10-10 | 2002-04-16 | Showa Electric Wire & Cable Co Ltd | On-board infrared imaging device |
JP2004274154A (en) * | 2003-03-05 | 2004-09-30 | Denso Corp | Vehicle crew protector |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9591274B2 (en) | 2012-07-27 | 2017-03-07 | Nissan Motor Co., Ltd. | Three-dimensional object detection device, and three-dimensional object detection method |
WO2014017625A1 (en) | 2012-07-27 | 2014-01-30 | 日産自動車株式会社 | Three-dimensional object detection device, and three-dimensional object detection method |
JPWO2014017624A1 (en) * | 2012-07-27 | 2016-07-11 | 日産自動車株式会社 | Three-dimensional object detection apparatus and three-dimensional object detection method |
JPWO2014017625A1 (en) * | 2012-07-27 | 2016-07-11 | 日産自動車株式会社 | Three-dimensional object detection apparatus and three-dimensional object detection method |
US9558546B2 (en) | 2012-07-27 | 2017-01-31 | Nissan Motor Co., Ltd. | Three-dimensional object detection device, and three-dimensional object detection method |
WO2014017624A1 (en) | 2012-07-27 | 2014-01-30 | 日産自動車株式会社 | Three-dimensional object detection device, and three-dimensional object detection method |
JP2016043756A (en) * | 2014-08-21 | 2016-04-04 | スズキ株式会社 | Parking support device and traverse line detection method of parking frame |
CN110654305A (en) * | 2015-04-10 | 2020-01-07 | 麦克赛尔株式会社 | Image projection apparatus and image projection method |
CN110654305B (en) * | 2015-04-10 | 2023-03-03 | 麦克赛尔株式会社 | Image projection apparatus and image projection method |
WO2017119557A1 (en) * | 2016-01-04 | 2017-07-13 | 엘지전자 주식회사 | Driving assistance device and control method therefor |
KR101768500B1 (en) * | 2016-01-04 | 2017-08-17 | 엘지전자 주식회사 | Drive assistance apparatus and method for controlling the same |
JPWO2020246483A1 (en) * | 2019-06-04 | 2020-12-10 | ||
WO2020246483A1 (en) * | 2019-06-04 | 2020-12-10 | 株式会社小糸製作所 | Lamp system |
Also Published As
Publication number | Publication date |
---|---|
JP4730589B2 (en) | 2011-07-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2006118076A1 (en) | System for monitoring periphery of vehicle | |
US10431185B2 (en) | Display system replacing side mirror and method for controlling output brightness thereof | |
JP5680573B2 (en) | Vehicle driving environment recognition device | |
US8009977B2 (en) | On-vehicle lighting apparatus | |
JP5459560B2 (en) | Perimeter monitoring device | |
JP5629521B2 (en) | Obstacle detection system and method, obstacle detection device | |
JP6014433B2 (en) | Image processing apparatus, image processing method, and image processing system | |
JP2017013784A (en) | On-board display system for vehicles such as commercial vehicles | |
JP4927647B2 (en) | Vehicle periphery monitoring device | |
JP4730589B2 (en) | Vehicle perimeter monitoring system | |
JP5082923B2 (en) | Vehicle obstacle detection device | |
JP2017202741A (en) | Vehicular visual observation apparatus | |
JP2014106200A (en) | Surrounding monitoring apparatus and parking support device | |
JP4731177B2 (en) | Infrared imaging display device and infrared imaging display method for vehicle | |
JP4735090B2 (en) | Infrared imaging device | |
KR101627500B1 (en) | Vehicle assistance apparatus and Method of thereof | |
JP4849298B2 (en) | Vehicle perimeter monitoring system | |
JP2004328240A (en) | Peripheral image display equipment | |
JP4730588B2 (en) | Vehicle perimeter monitoring system | |
JP2004051063A (en) | Device for visual recognition around vehicle | |
JP2011008459A (en) | In-vehicle camera device | |
WO2019194218A1 (en) | Device for displaying traveling direction | |
JP3929420B2 (en) | Vehicle light amount detection device and vehicle illumination control device | |
JP2007245970A (en) | Vehicular lighting device | |
KR101524787B1 (en) | Access road induction apparatus for vehicles |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070827 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100811 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101008 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110324 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110406 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140428 Year of fee payment: 3 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 4730589 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140428 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |