JP5299026B2 - Vehicle display device - Google Patents

Vehicle display device Download PDF

Info

Publication number
JP5299026B2
JP5299026B2 JP2009082598A JP2009082598A JP5299026B2 JP 5299026 B2 JP5299026 B2 JP 5299026B2 JP 2009082598 A JP2009082598 A JP 2009082598A JP 2009082598 A JP2009082598 A JP 2009082598A JP 5299026 B2 JP5299026 B2 JP 5299026B2
Authority
JP
Japan
Prior art keywords
luminance
image
vehicle
background image
display device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009082598A
Other languages
Japanese (ja)
Other versions
JP2010234851A (en
Inventor
友和 奥木
洋平 岩下
雅史 山本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mazda Motor Corp
Original Assignee
Mazda Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mazda Motor Corp filed Critical Mazda Motor Corp
Priority to JP2009082598A priority Critical patent/JP5299026B2/en
Publication of JP2010234851A publication Critical patent/JP2010234851A/en
Application granted granted Critical
Publication of JP5299026B2 publication Critical patent/JP5299026B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/167Driving aids for lane monitoring, lane changing, e.g. blind spot detection

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Instrument Panels (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)

Description

本発明は、自車両周囲の画像を表示する車両用表示装置に関する。   The present invention relates to a display device for a vehicle that displays an image around the host vehicle.

夜間の視認性の拡大、歩行者の見落としを防止するために、赤外光を照射して撮影する近赤外線カメラや人物や車両などの熱源から出る赤外線を撮影する遠赤外線カメラを使用して、可視化することで、モニタに動画や静止画を表示するナイトビジョンが実用化されている。   In order to prevent nighttime visibility and pedestrians from being overlooked, use a near-infrared camera that shoots by irradiating infrared light or a far-infrared camera that shoots infrared rays from heat sources such as people and vehicles, Night vision that displays moving images and still images on a monitor by visualization has been put into practical use.

このナイトビジョンに関する技術として、特許文献1には、車載センサが衝突可能性が高い対象物を検出し、警報を出力する場合に、警報ブザーだけではドライバが警報の意味を正しく理解できないという課題に対して、ヘッドアップディスプレイの表示を合わせて活用し、警報出力時のみ画像表示を高輝度化し、待機状態ではドライバが視認できない程度に、画像中の特定領域の輝度を低くする技術が記載されている。   As a technology related to this night vision, Patent Document 1 discloses a problem that when a vehicle-mounted sensor detects an object with a high possibility of collision and outputs an alarm, the driver cannot correctly understand the meaning of the alarm only with the alarm buzzer. On the other hand, a technology is described that uses the display of the head-up display together to increase the brightness of the image display only at the time of alarm output, and lower the brightness of a specific area in the image to the extent that the driver cannot visually recognize in the standby state. Yes.

また、特許文献2には、近赤外線カメラと遠赤外線カメラにより生体を検知して、近赤外線画像中に生体領域を強調表示する技術が記載され、特許文献3には、可視光カメラや赤外線カメラにより周囲物体のコントラスト向上処理やエッジ強調処理を行って表示する技術が記載されている。   Patent Document 2 describes a technique in which a living body is detected by a near-infrared camera and a far-infrared camera and a living body region is highlighted in a near-infrared image. Patent Document 3 discloses a visible light camera or an infrared camera. Describes a technique for performing display by performing contrast enhancement processing and edge enhancement processing of surrounding objects.

特開2001−315547号公報JP 2001-315547 A 特開2008−183933号公報JP 2008-183933 A 特開2000−019259号公報JP 2000-019259 A

しかしながら、従来のナイトビジョンでは、モニタに表示される画像は白黒で、輪郭もぼやけているため、何が表示されているのか認識しづらい。上記特許文献1では、歩行者を検知して枠で囲んで強調表示しているが、複数の歩行者が存在する場合は画面中に多数の枠が表示されて見づらくなる。また、ドライバは、モニタを凝視しなければ、モニタに表示された対象物や周囲環境を認識できないため、距離感や位置関係の理解も容易ではなく、十分な運転支援ができていない。   However, in the conventional night vision, since the image displayed on the monitor is black and white and the outline is blurred, it is difficult to recognize what is displayed. In Patent Document 1, a pedestrian is detected and surrounded by a frame and highlighted. However, when there are a plurality of pedestrians, a large number of frames are displayed on the screen, which makes it difficult to see. Further, since the driver cannot recognize the object displayed on the monitor and the surrounding environment without staring at the monitor, it is not easy to understand the sense of distance and the positional relationship, and sufficient driving support cannot be performed.

本発明は、上述の課題に鑑みてなされ、その目的は、夜間などの周囲の照度が低い状況において正確且つ容易に移動体や周囲環境を認識できる技術を実現することである。   The present invention has been made in view of the above-described problems, and an object thereof is to realize a technique capable of accurately and easily recognizing a moving body and the surrounding environment in a situation where ambient illuminance is low such as at night.

上述の課題を解決し、目的を達成するために、本発明に係る第1の形態は、自車両の位置を検出する位置検出手段と、自車両周囲の、地面に対して移動する移動体を検出する移動体検出手段と、自車両周囲の画像を撮影する画像撮影手段と、自車両周囲の照度を検出する照度検出手段と、前記照度検出手段により検出された照度が所定閾値以下であるか否かを判定する判定手段と、前記判定手段により照度が所定閾値を超えると判定された場合に、撮影された高輝度画像を前記自車両の位置情報とともに情報センタへ送信する送信手段と、前記判定手段により照度が前記所定閾値以下であると判定された場合に、前記情報センタから自車両の位置情報に対応する高輝度背景画像を受信する受信手段と、前記受信手段により取得した前記自車両の位置情報に対応する高輝度背景画像と、前記移動体検出手段により検出された移動体とを合成する合成手段と、前記合成手段により合成された画像を表示する表示手段と、を有する。前記情報センタは、前記高輝度画像を前記自車両の位置情報とともに記憶する高輝度画像記憶手段と、前記高輝度画像から抽出された移動体を前記高輝度画像から削除した高輝度背景画像を記憶する背景画像記憶手段とを有する。この形態によれば、夜間などの周囲の照度が低い状況において正確且つ容易に対象物や周囲環境を認識できる。また、他車両で撮影された高輝度画像データを背景画像として利用することができる。 In order to solve the above-described problems and achieve the object, a first embodiment according to the present invention includes a position detection unit that detects the position of the host vehicle, and a moving body that moves around the host vehicle and moves relative to the ground. The moving body detecting means for detecting, the image photographing means for photographing an image around the own vehicle, the illuminance detecting means for detecting the illuminance around the own vehicle, and whether the illuminance detected by the illuminance detecting means is a predetermined threshold value or less. determination means for determining whether, when the illuminance is determined to exceed the predetermined threshold value by the determination means, and transmitting means for transmitting a high-luminance image captured together with the position information of the vehicle to the information center, the If it is determined that the illuminance is equal to or less than the predetermined threshold value by the determination unit, the vehicle and the receiving means, obtained by the receiving means for receiving a high-brightness background image corresponding to the position information of the vehicle from the information center Has a high intensity background image corresponding to the position information, a synthesizing means for synthesizing the mobile object detected by said moving object detecting means, and display means for displaying the synthesized image by said synthesizing means. The information center stores a high-brightness image storage unit that stores the high-brightness image together with position information of the host vehicle, and a high-brightness background image obtained by deleting a moving body extracted from the high-brightness image from the high-brightness image. Background image storage means. According to this aspect, the object and the surrounding environment can be recognized accurately and easily in a situation where the ambient illuminance is low, such as at night. In addition, high-luminance image data taken with another vehicle can be used as a background image.

また、本発明に係る第の形態は、前記表示手段は、前記移動体をアイコンとして表示する。この形態によれば、正確且つ早期に移動体を認識することができる。 Moreover, the 2nd form which concerns on this invention WHEREIN: The said display means displays the said mobile body as an icon. According to this aspect, it is possible to recognize the moving body accurately and early.

また、本発明に係る第の形態は、前記情報センタから受信した高輝度背景画像の上方領域を暗く、下方領域を明るくなるように輝度を補正する輝度補正処理手段を更に有する。また、第の形態は、前記輝度補正処理手段は、前記照度が前記所定閾値以下の場合、前記画像撮影手段により撮影された画像と、前記高輝度背景画像とをオーバーラップすることにより輝度を補正する。また、第の形態は、前記輝度補正処理手段は、前記情報センタから受信した高輝度背景画像の上方領域の色調を変更する。これらの形態によれば、画面上における輝度の高い領域を小さくできるので、画面からドライバの目に入る光量を低減でき、暗い車外を視認しやすくなる。 The third aspect of the present invention further includes luminance correction processing means for correcting the luminance so that the upper region of the high luminance background image received from the information center is dark and the lower region is bright. According to a fourth aspect, the brightness correction processing unit controls the brightness by overlapping the image captured by the image capturing unit and the high brightness background image when the illuminance is equal to or less than the predetermined threshold. to correct. In the fifth embodiment, the brightness correction processing means changes the color tone of the upper region of the high brightness background image received from the information center. According to these forms, since the area | region with high brightness | luminance on a screen can be made small, the light quantity which enters into a driver | operator's eyes from a screen can be reduced, and it becomes easy to visually recognize the dark vehicle exterior.

また、本発明に係る第の形態は、前記合成手段は、前記高輝度背景画像から地面に対して静止した静止物の3次元データを作成し、当該3次元データを用いて自車両から遠い静止物ほど暗くなるよう輝度を補正する。また、第の形態は、前記合成手段は、前記高輝度背景画像から消失点を算出し、当該消失点に近いほど暗く、消失点から遠いほど明るくなるよう輝度を補正する。また、第の形態は、前記移動体検出手段により検出された移動体と自車両との間の距離を検出する距離検出手段と、前記距離検出手段により検出された移動体と自車両との間の距離に応じて前記高輝度背景画像に合成される移動体の表示サイズを変更する表示サイズ補正手段と、を更に有する。これらの形態によれば、移動体との距離を正確に認識することができる。 According to a sixth aspect of the present invention, the synthesizing unit creates three-dimensional data of a stationary object stationary with respect to the ground from the high-luminance background image, and is far from the host vehicle using the three-dimensional data. The brightness is corrected so that a stationary object becomes darker. In the seventh embodiment, the synthesizing unit calculates a vanishing point from the high-luminance background image, and corrects the luminance so that it is darker as it is closer to the vanishing point and brighter as it is farther from the vanishing point. In the eighth aspect, a distance detection unit that detects a distance between the mobile body detected by the mobile body detection unit and the host vehicle, and a mobile body detected by the distance detection unit and the host vehicle. Display size correction means for changing the display size of the moving object to be combined with the high-luminance background image according to the distance between them. According to these forms, the distance to the moving body can be accurately recognized.

また、本発明に係る第の形態は、前記合成手段は、前記高輝度背景画像からドライバに注意を向けさせたい対象物を特定し、当該特定された対象物を強調表示するよう補正する強調補正手段を更に有する。また、第10の形態は、前記強調補正手段は、前記高輝度背景画像からドライバに危険予知をさせたい領域を特定し、当該特定された領域を強調表示するよう補正する。これらの形態によれば、ドライバが注意を喚起すべき領域や危険予知をすべき領域を正確且つ容易に認識することができる。 Further, according to a ninth aspect of the present invention, in the emphasizing, the synthesizing unit specifies an object to be paid attention to the driver from the high-intensity background image, and corrects the identified object to be highlighted. It further has a correction means. In the tenth aspect, the emphasis correcting unit identifies an area that the driver wants to predict danger from the high-luminance background image, and corrects the identified area to be highlighted. According to these forms, it is possible to accurately and easily recognize the area where the driver should call attention and the area where the danger should be predicted.

また、本発明に係る第11の形態は、前記距離検出手段により検出された移動体と自車両との間の距離に応じて危険度を判定する危険度判定手段を更に有し、前記合成手段は、前記危険度の高い移動体ほど強調表示するよう補正する。この形態によれば、危険な対象物を正確且つ容易に認識することができる。 The eleventh aspect according to the present invention further includes a risk determination means for determining a risk according to a distance between the moving body detected by the distance detection means and the host vehicle, and the combining means Is corrected so that the moving object having a higher risk level is highlighted. According to this aspect, a dangerous object can be recognized accurately and easily.

本発明によれば、夜間などの周囲の照度が低い状況において正確且つ容易に移動体や周囲環境を認識できる。   ADVANTAGE OF THE INVENTION According to this invention, a mobile body and surrounding environment can be recognized correctly and easily in the condition where surrounding illumination intensity is low, such as nighttime.

本発明に係る実施形態の車両用表示装置を搭載した車両を示す平面図である。It is a top view which shows the vehicle carrying the vehicle display apparatus of embodiment which concerns on this invention. 本実施形態の車両及び情報センタの機能ブロック図である。It is a functional block diagram of the vehicle and information center of this embodiment. 本実施形態の車両及び情報センタにおける処理を示すフローチャートである。It is a flowchart which shows the process in the vehicle and information center of this embodiment. 本実施形態による合成画像の表示例を示す図である。It is a figure which shows the example of a display of the synthesized image by this embodiment. 本実施形態による合成画像の表示例を示す図である。It is a figure which shows the example of a display of the synthesized image by this embodiment. 本実施形態による合成画像の表示例を示す図である。It is a figure which shows the example of a display of the synthesized image by this embodiment. 本実施形態による合成画像の表示例を示す図である。It is a figure which shows the example of a display of the synthesized image by this embodiment. 本実施形態による合成画像の表示例を示す図である。It is a figure which shows the example of a display of the synthesized image by this embodiment. 本実施形態による合成画像の表示例を示す図である。It is a figure which shows the example of a display of the synthesized image by this embodiment. 本実施形態による合成画像の表示例を示す図である。It is a figure which shows the example of a display of the synthesized image by this embodiment.

以下に、本発明の実施の形態について添付図面を参照して詳細に説明する。尚、以下に説明する実施の形態は、本発明の実現手段としての一例であり、本発明は、その趣旨を逸脱しない範囲で下記実施形態を修正又は変形したものに適用可能である。また、後述する各実施形態の制御に対応するコンピュータプログラムや当該コンピュータプログラムが格納された記憶媒体を、車両に搭載されたコンピュータに供給して、当該コンピュータが記憶媒体に格納されたプログラムコードを読み出して実行するようにしてもよい。   Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. The embodiment described below is an example as means for realizing the present invention, and the present invention can be applied to a modified or modified embodiment described below without departing from the spirit of the present invention. In addition, a computer program corresponding to the control of each embodiment to be described later and a storage medium storing the computer program are supplied to a computer mounted on the vehicle, and the computer reads out the program code stored in the storage medium. May be executed.

[システム構成]
図1は本発明に係る実施形態の車両用表示装置を搭載した車両を示す平面図、図2は本実施形態の車両及び情報センタの機能ブロック図である。
[System configuration]
FIG. 1 is a plan view showing a vehicle on which a vehicle display device according to an embodiment of the present invention is mounted, and FIG. 2 is a functional block diagram of the vehicle and information center of the present embodiment.

図1に示すように、車両1には、車体フロント部に距離センサ2、インパネ上部に照度センサ3及びモニタ4、ルームミラー付近に自車両前方を撮影する外界カメラ5、車体中央部にGPS信号を受信する位置検出センサ6、車体後部に通信インタフェース7が搭載されている。ここで、距離センサ2は、自車両周囲の移動体と距離が計測可能であり、モニタ表示用画像を作成できる高精度且つ高解像度のものでなくてもよく、例えば、安価な赤外線カメラ、CCDやCMOSを用いた可視光カメラ、レーザレーダ、ミリ波レーダが適用できる。照度センサ3は、自車両周囲の照度を検出する。モニタ4は、ドライバが視認できるものであって、例えば、ヘッドアップディスプレイ、カーナビゲーションシステム用のディスプレイ、インパネ部のメータ表示部の切り替えモニタなどが適用できる。通信インタフェース7は、送受信処理部や通信アンテナなどを有し、情報センタ100と無線通信を行う。   As shown in FIG. 1, a vehicle 1 includes a distance sensor 2 at the front part of the vehicle body, an illuminance sensor 3 and a monitor 4 at the upper part of the instrument panel, an external camera 5 for photographing the front of the vehicle near the room mirror, and a GPS signal at the central part of the vehicle body. The position detection sensor 6 that receives the communication interface 7 is mounted on the rear part of the vehicle body. Here, the distance sensor 2 can measure a distance from a moving body around the host vehicle, and does not have to be a high-precision and high-resolution one that can generate a monitor display image. For example, an inexpensive infrared camera, CCD And a visible light camera, laser radar, and millimeter wave radar using CMOS can be applied. The illuminance sensor 3 detects the illuminance around the host vehicle. The monitor 4 can be visually recognized by the driver. For example, a head-up display, a display for a car navigation system, a monitor for switching a meter display unit of the instrument panel unit, and the like can be applied. The communication interface 7 includes a transmission / reception processing unit and a communication antenna, and performs wireless communication with the information center 100.

図2に示すように、車両1は、通信インタフェース7を介して情報センタ100と通信可能に接続される。画像取得部11は、外界カメラ5で撮影された画像データを取得する。照度判定部12は、画像取得部11から入力した撮影画像の平均輝度を算出し、昼間撮影された高輝度画像(昼間画像)か、夜間撮影された低輝度画像(夜間画像)かを判定する。なお、高輝度画像か否かは、照度センサ3により検出された照度や撮影時刻により判定することも可能である。表示画像出力部13は、照度判定部12により判定された昼間画像をモニタ4に出力する。   As shown in FIG. 2, the vehicle 1 is communicably connected to the information center 100 via the communication interface 7. The image acquisition unit 11 acquires image data captured by the external camera 5. The illuminance determination unit 12 calculates the average luminance of the captured image input from the image acquisition unit 11 and determines whether it is a high luminance image (daytime image) captured during the daytime or a low luminance image (nighttime image) captured at night. . Whether or not the image is a high-intensity image can also be determined based on the illuminance detected by the illuminance sensor 3 and the photographing time. The display image output unit 13 outputs the daytime image determined by the illuminance determination unit 12 to the monitor 4.

送信データ作成処理部14は、画像取得部11から撮影画像データ、位置検出センサ6から自車両の現在位置情報をそれぞれ入力し、照度判定部12での判定が昼間画像の場合には、昼間画像データと現在位置情報、夜間画像の場合には、現在位置情報のみを通信インタフェース7を介して情報センタ100に送信する。   The transmission data creation processing unit 14 inputs the captured image data from the image acquisition unit 11 and the current position information of the host vehicle from the position detection sensor 6, and when the determination by the illuminance determination unit 12 is a daytime image, the daytime image In the case of data, current position information, and night image, only the current position information is transmitted to the information center 100 via the communication interface 7.

背景画像受信部15は、照度判定部12での判定が夜間画像の場合、通信インタフェース7を介して情報センタ100へ高輝度背景画像データの配信要求を送信し、情報センタ100から受信した高輝度背景画像データを背景画像補正処理部16及び高精度移動体検出処理部21へ出力する。   When the determination by the illuminance determination unit 12 is a night image, the background image reception unit 15 transmits a high-luminance background image data distribution request to the information center 100 via the communication interface 7, and receives the high-luminance received from the information center 100. The background image data is output to the background image correction processing unit 16 and the high-precision moving body detection processing unit 21.

背景画像補正処理部16は、背景画像受信部15から入力した高輝度背景画像データ並びに照度センサ3により検出された現在の照度情報を入力し、輝度補正処理部16aが高輝度背景画像データの輝度を補正して、合成処理部20へ出力する。この輝度補正処理は、情報センタ100において自車両の現在位置情報、現在時刻情報、推定される照度情報から輝度補正値を算出するか、自車両に搭載された可視光カメラによる撮影画像と昼間画像とをオーバーラップする処理(例えば、画素平均又はアルファブレンディング)により実行される。   The background image correction processing unit 16 receives the high luminance background image data input from the background image receiving unit 15 and the current illuminance information detected by the illuminance sensor 3, and the luminance correction processing unit 16a receives the luminance of the high luminance background image data. Is output to the synthesis processing unit 20. This brightness correction processing is performed by calculating a brightness correction value from the current position information, current time information, and estimated illuminance information of the host vehicle in the information center 100, or a photographed image and a daytime image taken by a visible light camera mounted on the host vehicle. Are performed by a process (for example, pixel averaging or alpha blending).

移動体抽出処理部17は、画像取得部11から入力した昼間画像データから移動体を抽出し、移動体画像補正処理部19へ出力する。危険度判定部18は、距離センサ2により検出された移動体との距離や衝突時間などから危険度を判定し、移動体画像補正処理部19へ出力する。   The moving body extraction processing unit 17 extracts the moving body from the daytime image data input from the image acquisition unit 11 and outputs it to the moving body image correction processing unit 19. The risk level determination unit 18 determines the risk level from the distance from the mobile body detected by the distance sensor 2 and the collision time, and outputs the risk level to the mobile body image correction processing unit 19.

移動体画像補正処理部19では、表示サイズ補正処理部19aが移動体と背景画像中の静止物の位置関係に応じて移動体の表示サイズを補正する。あるいは、危険度判定部18で判定された危険度に応じて移動体の表示サイズを補正する。輝度補正処理部19bは危険度判定部18で判定された危険度に応じて移動体の輝度を補正する。   In the moving object image correction processing unit 19, the display size correction processing unit 19a corrects the display size of the moving object according to the positional relationship between the moving object and the stationary object in the background image. Alternatively, the display size of the moving object is corrected according to the risk determined by the risk determination unit 18. The luminance correction processing unit 19b corrects the luminance of the moving body according to the risk determined by the risk determination unit 18.

合成処理部20は、距離感の輝度補正処理部20aと強調補正処理部20bを有し、背景画像補正処理部16から入力した高輝度背景画像41と、移動体画像補正処理部19から入力した移動体の画像データ42又はアイコン43とを合成した合成画像データ(図4(a),(b))を作成し、モニタ4へ出力する。   The composition processing unit 20 includes a brightness correction processing unit 20a for distance feeling and an enhancement correction processing unit 20b. The high-intensity background image 41 input from the background image correction processing unit 16 and the mobile body image correction processing unit 19 are input. Composite image data (FIGS. 4A and 4B) obtained by combining the moving object image data 42 or the icon 43 is created and output to the monitor 4.

高精度移動体検出処理部21は、昼間画像の解析結果や情報センタ100から受信した自車両周囲の静止物の3次元データを利用して、距離センサ2による検出結果から静止物の3次元データを除去し、警報表示判定処理部22へ出力する。警報表示判定処理部22は、移動体の検出結果に応じて警報が必要な状態か判定し、モニタ4へ警報を出力する。   The high-precision moving object detection processing unit 21 uses the analysis result of the daytime image and the three-dimensional data of the stationary object around the host vehicle received from the information center 100, and the three-dimensional data of the stationary object from the detection result of the distance sensor 2. Is output to the alarm display determination processing unit 22. The alarm display determination processing unit 22 determines whether an alarm is necessary according to the detection result of the moving object, and outputs an alarm to the monitor 4.

情報センタ100は、サーバとして車両1と通信を行う通信インタフェース101、通信インタフェース101を介して車両1から受信した高輝度画像データと車両の位置情報、受信時刻情報を記憶する高輝度画像記憶部102、高輝度画像記憶部102に記憶された高輝度画像データから背景画像データを作成する背景画像作成部103、背景画像作成部103により作成された背景画像データを記憶する背景画像記憶部104とを有する。   The information center 100 is a communication interface 101 that communicates with the vehicle 1 as a server, and a high-luminance image storage unit 102 that stores high-luminance image data received from the vehicle 1 via the communication interface 101, vehicle position information, and reception time information. A background image creation unit 103 that creates background image data from the high brightness image data stored in the high brightness image storage unit 102, and a background image storage unit 104 that stores the background image data created by the background image creation unit 103. Have.

背景画像作成部103は、輝度補正値算出処理部103a、移動体削除処理部103b、送信データ作成処理部103cを有する。輝度補正値算出処理部103aは、車両1側に送信され、背景画像補正処理部16の輝度補正処理部16aでの輝度補正処理に利用する輝度補正値を算出する。移動体削除処理部103bは、高輝度画像記憶部102に記憶された高輝度画像から移動体を抽出する処理並びに高輝度画像から抽出した移動体を削除する処理を行うことにより背景画像データを作成し、背景画像記憶部104に記憶する。送信データ作成処理部103cは、車両1から受信した自車両の位置情報に応じた背景画像データを背景画像記憶部104から読み出し、通信インタフェース101を介して車両1に送信する。   The background image creation unit 103 includes a luminance correction value calculation processing unit 103a, a moving object deletion processing unit 103b, and a transmission data creation processing unit 103c. The luminance correction value calculation processing unit 103a calculates a luminance correction value that is transmitted to the vehicle 1 side and used for luminance correction processing in the luminance correction processing unit 16a of the background image correction processing unit 16. The moving object deletion processing unit 103b creates background image data by performing a process of extracting a moving object from the high luminance image stored in the high luminance image storage unit 102 and a process of deleting the moving object extracted from the high luminance image. And stored in the background image storage unit 104. The transmission data creation processing unit 103 c reads background image data corresponding to the position information of the host vehicle received from the vehicle 1 from the background image storage unit 104 and transmits the background image data to the vehicle 1 via the communication interface 101.

[処理フロー]
図3は、本実施形態の車両及び情報センタにおける処理を示すフローチャートである。
[Processing flow]
FIG. 3 is a flowchart showing processing in the vehicle and the information center of the present embodiment.

図3において、車両1では、先ず、画像取得部11が外界カメラ5から撮影画像データを取得し、位置検出センサ6から自車両の現在位置情報を取得する(S1)。次に、照度判定部12は、画像取得部11から入力した撮影画像データから平均輝度を算出し(S2)、撮影画像の平均輝度が所定閾値Kより大きいか否か判定する(S3)。ここで、撮影画像の平均輝度が所定閾値Kより大きいならば昼間画像と判定し、送信データ作成処理部14は、昼間画像としての撮影画像データと自車両の現在位置情報とを情報センタ100へ送信するとともに(S4)、昼間画像をモニタ4へ表示する(S5)。   In FIG. 3, in the vehicle 1, first, the image acquisition unit 11 acquires captured image data from the external camera 5 and acquires current position information of the host vehicle from the position detection sensor 6 (S <b> 1). Next, the illuminance determination unit 12 calculates the average luminance from the captured image data input from the image acquisition unit 11 (S2), and determines whether the average luminance of the captured image is greater than a predetermined threshold K (S3). Here, if the average luminance of the captured image is greater than the predetermined threshold value K, it is determined as a daytime image, and the transmission data creation processing unit 14 sends the captured image data as the daytime image and the current position information of the host vehicle to the information center 100. While transmitting (S4), the daytime image is displayed on the monitor 4 (S5).

一方、S3で撮影画像の平均輝度が所定閾値K以下ならば夜間画像と判定し、危険度判定部18が移動体の危険度を算出し(S6)、移動体抽出処理部17が夜間画像から移動体を抽出し(S7)、移動体画像補正処理部19の表示サイズ補正処理部19aが移動体との距離や衝突時間に応じた表示サイズの補正処理を行う(S8)。ここでは、移動体を画像又はアイコンで表示する場合に、図5(a),(b)のように距離センサ2により検出されたノイズを含む移動体の画像51又はアイコン52をそのままの大きさで表示するのではなく、図5(c),(d)のように、表示サイズ補正処理部19aが危険度判定部18で判定された危険度(自車両との距離や衝突時間など)や静止物との位置関係に応じて移動体の画像53又はアイコン54の表示サイズを補正する。   On the other hand, if the average luminance of the captured image is equal to or less than the predetermined threshold value K in S3, it is determined as a night image, the risk determination unit 18 calculates the risk of the moving object (S6), and the mobile object extraction processing unit 17 determines from the night image. The moving body is extracted (S7), and the display size correction processing section 19a of the moving body image correction processing section 19 performs display size correction processing according to the distance from the moving body and the collision time (S8). Here, when the moving object is displayed as an image or an icon, the moving object image 51 or the icon 52 including noise detected by the distance sensor 2 as shown in FIGS. As shown in FIGS. 5C and 5D, the risk level (distance to the host vehicle, collision time, etc.) determined by the risk level determination unit 18 by the display size correction processing unit 19a, The display size of the moving object image 53 or icon 54 is corrected according to the positional relationship with the stationary object.

次に、輝度補正処理部19bが移動体の危険度に応じた輝度補正処理を行う(S9)。ここでは、図6(a)に示すように、危険度判定部18で判定された危険度に応じて、例えば自車両との距離が最も近い歩道にいる歩行者を表す移動体の画像61(又はアイコン)の表示サイズを大きくしたり、輝度を上げつつ周辺領域の色調を変更したり、図6(b)に示すようにドライバの注意喚起を促すマーク62などで強調表示する。   Next, the luminance correction processing unit 19b performs luminance correction processing according to the risk of the moving body (S9). Here, as shown in FIG. 6A, according to the degree of risk determined by the degree-of-risk determination unit 18, for example, an image 61 of a moving body representing a pedestrian on the sidewalk that is closest to the host vehicle ( Alternatively, the display size of the icon) is increased, the color tone of the surrounding area is changed while the brightness is increased, or the icon 62 is highlighted with a mark 62 for alerting the driver as shown in FIG.

その後、送信データ作成処理部14が自車両の現在位置情報のみ(夜間のため)を情報センタ100へ送信する(S10)。   Thereafter, the transmission data creation processing unit 14 transmits only the current position information of the own vehicle (for nighttime) to the information center 100 (S10).

次に、背景画像受信部15が情報センタ100から自車両の現在位置情報に応じた高輝度背景画像データ(及び輝度補正値)を受信し(S11)、輝度補正処理部16aが輝度補正値に応じた高輝度背景画像データの輝度補正処理を行う(S12)。この輝度補正処理は、例えば、図7(a),(b)に示すように、現在時刻の照度に合わせて高輝度背景画像データの上方領域(例えば、空の領域)を暗くし、下方領域へ段階的に明るくなるように輝度を変更したり、図7(c),(d)に示すようにR、G、Bのトーンカーブを変換する処理を行って色調を変更する。あるいは、図8に示すように、可視光カメラの夜間画像81と高輝度画像82とをオーバーラップ手法などを用いて合成することにより輝度補正を行ってもよい。   Next, the background image receiving unit 15 receives high luminance background image data (and luminance correction value) corresponding to the current position information of the host vehicle from the information center 100 (S11), and the luminance correction processing unit 16a sets the luminance correction value. The brightness correction process of the corresponding high brightness background image data is performed (S12). For example, as shown in FIGS. 7A and 7B, the luminance correction process darkens the upper area (for example, an empty area) of the high-luminance background image data in accordance with the illuminance at the current time, and lowers the lower area. The color is changed by changing the brightness so that the brightness gradually increases or by converting the tone curves of R, G, and B as shown in FIGS. 7 (c) and 7 (d). Alternatively, as shown in FIG. 8, the luminance correction may be performed by combining the night image 81 and the high luminance image 82 of the visible light camera using an overlap method or the like.

次に、合成処理部20が、図4に示したように移動体画像補正処理部19から入力した移動体画像データと背景画像補正処理部16から入力した高輝度背景画像データとを合成する処理を行うとともに(S13)、距離感の輝度補正処理部20aでの輝度補正処理(S14)、強調補正処理部20bでの強調補正処理(S15)を行う。この距離感の輝度補正処理は、合成処理部20が、背景画像の集合や距離センサ2による検出結果から、3次元復元処理などの画像処理により自車両周囲の静止物(例えば、建物、電柱、標識などの地物)の3次元データを作成する。あるいは、情報センタ100から背景画像中の静止物の3次元データを取得する。そして、作成された3次元データを利用して、図9(a)に示すように自車両から遠い領域は暗く、近い領域は明るく表示されるように輝度を補正する。あるいは、輝度補正処理部20aが、背景画像の集合から、画像処理により道路白線や歩道縁石から消失点を検出し、図9(b)に示すように消失点付近を暗く、消失点から画面縁部に向かって段々に明るく表示されるように輝度を補正する。   Next, the composition processing unit 20 synthesizes the moving object image data input from the moving object image correction processing unit 19 and the high brightness background image data input from the background image correction processing unit 16 as shown in FIG. (S13), the luminance correction processing (S14) in the luminance correction processing unit 20a for the sense of distance, and the enhancement correction processing (S15) in the enhancement correction processing unit 20b are performed. In the brightness correction processing for the sense of distance, the composition processing unit 20 uses a set of background images and detection results from the distance sensor 2 to perform a stationary object (for example, a building, a power pole, 3D data of features such as signs). Alternatively, the three-dimensional data of the stationary object in the background image is acquired from the information center 100. Then, using the created three-dimensional data, the brightness is corrected so that the area far from the host vehicle is dark and the near area is bright as shown in FIG. Alternatively, the brightness correction processing unit 20a detects a vanishing point from a white road line or a sidewalk curb by image processing from a set of background images, darkens the vicinity of the vanishing point as shown in FIG. The brightness is corrected so that it is displayed brighter gradually toward the part.

また、強調補正処理では、ナビゲーションシステム8と連動して地図データベース上で経路誘導に使用している物体情報と背景画像データとを整合させ、図10(a)に示すように経路誘導のランドマーク111(例えば、白線、ガードレール、交通標識、信号機、道路案内表示、経路誘導における交差点方向指示案内)など、ドライバに注意を向けさせたい領域を特定し、その領域の輝度を上げて強調表示されるよう補正を行う。また、図10(b)に示すように交差点に接近したときに(例えば、交差点手前50m)、歩行者や自転車が駐車車両のわきから飛び出してくる可能性がある領域112や交差点に進入し巻込みの可能性がある領域113など、ドライバに危険予知をさせたい領域を特定し、その領域の輝度を上げて強調表示されるよう補正を行う。   Further, in the enhancement correction process, the object information used for route guidance on the map database and the background image data are matched with the navigation system 8 and the route guidance landmarks as shown in FIG. 111 (for example, white lines, guardrails, traffic signs, traffic lights, road guidance displays, intersection direction indication guidance in route guidance) is identified and highlighted by increasing the brightness of the area. Make corrections. Also, as shown in FIG. 10B, when approaching an intersection (for example, 50 m before the intersection), a pedestrian or a bicycle may enter the area 112 or the intersection where there is a possibility of jumping out from the side of the parked vehicle. A region where the driver wants to predict danger, such as the region 113 that may be included, is identified, and correction is performed so that the luminance of the region is increased and highlighted.

その後、高精度移動体検出処理部21での移動体検出処理(S16)、警報表示判定処理部22での警報出力判定処理(S17)を行った後、合成画像をモニタ4へ表示する(S18)。この移動体検出処理は、昼間画像の解析や情報センタ100から高輝度背景画像中の静止物の3次元データを取得し、撮影位置及びアングルが略同じ複数の高輝度背景画像から、当該高輝度背景画像中の静止物を除去した画像を比較することにより移動体を検出する。これにより、電柱や看板なども検出しノイズにより歩行者と誤検出しやすいレーザレーダや、距離検出精度が低いために遠方にいる歩行者を検出しにくいステレオカメラや、分解能が低いために物体識別性能が劣るミリ波レーダシステムなどを距離センサとして搭載した場合でも、道路領域や歩道領域を正確に検出し、高精度に歩行者などの移動体を検出する。   Then, after performing the mobile body detection process (S16) in the high precision mobile body detection process part 21, and the alarm output determination process (S17) in the alarm display determination process part 22, a synthesized image is displayed on the monitor 4 (S18). ). In this moving object detection process, the daytime image is analyzed, the three-dimensional data of the stationary object in the high-luminance background image is acquired from the information center 100, and the high-luminance is extracted from a plurality of high-luminance background images having substantially the same shooting position and angle. A moving object is detected by comparing images in which a stationary object is removed from a background image. This makes it possible to detect power poles, billboards, etc. and easily detect them as pedestrians due to noise, stereo cameras that are difficult to detect pedestrians in the distance due to low distance detection accuracy, and object identification due to low resolution Even when a millimeter-wave radar system or the like with inferior performance is mounted as a distance sensor, a road area and a sidewalk area are accurately detected, and a moving object such as a pedestrian is detected with high accuracy.

情報センタ100では、車両1から昼間画像データや自車両の現在位置情報を受信し(S21)、昼間画像データと自車両の位置情報、受信時刻情報を高輝度画像記憶部102へ記憶するとともに(S22)、背景画像作成部103が高輝度画像記憶部102からその昼間画像データを読み出し、移動体削除処理部103bが昼間画像データから移動体を抽出する処理並びに抽出した移動体を削除する処理を行って背景画像データを作成し、背景画像記憶部104に記憶する(S24、S25)。   The information center 100 receives the daytime image data and the current position information of the host vehicle from the vehicle 1 (S21), and stores the daytime image data, the position information of the host vehicle, and the reception time information in the high luminance image storage unit 102 ( S22), the background image creation unit 103 reads the daytime image data from the high-intensity image storage unit 102, and the moving body deletion processing unit 103b performs a process of extracting the moving body from the daytime image data and a process of deleting the extracted moving body. The background image data is generated and stored in the background image storage unit 104 (S24, S25).

次に、情報センタ100は、車両1から自車両の現在位置情報を受信し(S26)、背景画像作成部103が背景画像記憶部104から自車両の現在位置情報に応じた背景画像データを読み出し(S27)、輝度補正値算出処理部103aが輝度補正値算出処理を行い(S28)、送信データ作成処理部103cが背景画像データと輝度補正値とを車両1に送信する(S29)。   Next, the information center 100 receives the current position information of the host vehicle from the vehicle 1 (S26), and the background image creation unit 103 reads the background image data corresponding to the current position information of the host vehicle from the background image storage unit 104. (S27) The luminance correction value calculation processing unit 103a performs luminance correction value calculation processing (S28), and the transmission data creation processing unit 103c transmits the background image data and the luminance correction value to the vehicle 1 (S29).

[効果の説明]
本実施形態によれば、
(1)自車両又は他車両が昼間に走行したときに撮影した画像を位置情報とともに情報センタ100に送信する。
(2)情報センタ100では、略同じ位置及びアングルで撮影された複数枚の画像および、時系列で撮影された複数枚の画像から移動体を検出する。
(3)昼間画像中から移動体を削除することにより、移動体を削除した静止物及び地物だけの高輝度背景画像を作成し記憶する。
(4)自車両が夜間走行した場合に、現在位置情報を情報センタ100に送信して現在走行している位置での高輝度背景画像を取得する。
(5)距離センサ2によって自車両に接近する車両や歩行者などの移動体を検出し、移動体との距離を計測または3次元データを算出することで、高輝度背景画像に自車両と移動体との位置が一致するようにカラー合成画像を作成する(図4)。
(6)夜間やドライバの視程距離が短い場合に、カラー合成画像を自車両の現在位置情報に応じて更新しながら常時表示する。
[Description of effects]
According to this embodiment,
(1) An image taken when the host vehicle or another vehicle travels in the daytime is transmitted to the information center 100 together with position information.
(2) The information center 100 detects a moving object from a plurality of images taken at substantially the same position and angle and a plurality of images taken in time series.
(3) By deleting the moving object from the daytime image, a high-luminance background image of only the stationary object and the feature from which the moving object has been deleted is created and stored.
(4) When the host vehicle travels at night, the current position information is transmitted to the information center 100 to acquire a high-luminance background image at the current traveling position.
(5) A moving body such as a vehicle or a pedestrian approaching the host vehicle is detected by the distance sensor 2, and the distance from the moving body is measured or three-dimensional data is calculated to move the host vehicle to the high brightness background image. A color composite image is created so that the position with the body matches (FIG. 4).
(6) The color composite image is always displayed while being updated according to the current position information of the host vehicle at night or when the visibility distance of the driver is short.

上記処理(1)〜(6)により、以下の効果を奏する。
・ドライバが遠くにいる歩行者などの移動体の存在を早期に容易に認識できる。
・夜間であっても昼間と同じ輝度で視認できるので周囲環境を正確に認識することができ、例えば、移動体がガードレールの内側にいるのか、車道にいるのかなども容易に把握することができる。
・夜間であっても昼間と同じようにドライバが周囲環境を認識できるので、移動体の危険予知などが容易にできる。
・道路の構造も正確に把握できるので、ドライバがなすべき運転行動も正確に判断することができる。
・夜間も明るく撮影できる超高感度カメラを使用することなく実現できるので、低コスト化になる。
・距離センサやブラインドモニタ用カメラの転用によってもシステムが実現できるので、低コスト化になる。
The following effects are produced by the above processes (1) to (6).
・ Easily recognize the presence of moving objects such as pedestrians with distant drivers at an early stage.
・ Even at night, it can be seen with the same brightness as daytime, so the surrounding environment can be recognized accurately. .
-Even at night, the driver can recognize the surrounding environment in the same way as in the daytime, so it is easy to predict the danger of moving objects.
・ Because the structure of the road can be accurately grasped, the driving behavior to be performed by the driver can be accurately judged.
-Since it can be realized without using an ultra-sensitive camera that can shoot brightly at night, the cost is reduced.
-The system can be realized by diverting a distance sensor or a blind monitor camera, which reduces the cost.

また、本実施形態によれば、
(7)図7,図8に示すように、高輝度背景画像において、現在の時刻と照度に合わせて空領域の輝度を下げて暗くしたり、R、G、Bのトーンカーブの変換により色調を変更する。あるいは、背景画像の上方領域を暗くし、下方領域を明るくするように輝度を変更する。
Moreover, according to this embodiment,
(7) As shown in FIGS. 7 and 8, in a high-luminance background image, the brightness of the sky area is lowered and darkened in accordance with the current time and illuminance, or the tone is changed by converting the tone curves of R, G, and B. To change. Alternatively, the brightness is changed so that the upper area of the background image is darkened and the lower area is brightened.

これにより、モニタにおける輝度の高い領域を小さくできるので、モニタからのドライバの目に入る光量を低減でき、暗い車外を視認しやすくなる。モニタがまぶしくて、車外を見にくくなることを防げる。   Thereby, since the high brightness | luminance area | region in a monitor can be made small, the light quantity which enters into a driver | operator's eyes from a monitor can be reduced, and it becomes easy to visually recognize the dark vehicle exterior. This prevents the monitor from being dazzling and making it difficult to see outside the vehicle.

また、モニタ上において、ドライバが注意を払うべき移動体を強調表示し、背景領域をぼかすことで、ドライバが無駄に背景領域に注意を向けてしまったり、表示画像だけで運転行動を判断することを防ぐことができる。   Also, on the monitor, the driver should pay attention to the moving body and blur the background area, so that the driver can use his / her attention to the background area wastefully or judge the driving behavior based only on the display image. Can be prevented.

また、曇りの日や夕暮れ時などの街路灯が点灯する前で薄暗く、ドライバの視認性が低下する時間帯や条件においても、ドライバが周囲環境および移動体を認識しやすい画像を表示できる。   In addition, it is possible to display an image in which the driver can easily recognize the surrounding environment and the moving object even in a time zone or a condition that is dimmed before the street light is turned on such as a cloudy day or at dusk and the visibility of the driver is lowered.

また、昼間の撮影条件が、晴天の昼過ぎの明るい状況であったり、曇りの夕方の少し暗い状況であったとしても、現在走行している条件に近い画像を作り出すことができる。   Also, even if the daytime shooting conditions are a bright daylight condition in the middle of a sunny day or a slightly dark condition in a cloudy evening, an image close to the current driving condition can be created.

更に、本実施形態によれば、
(8)図9に示すように、背景画像の集合から静止物の3次元データを作成する。そして、背景領域の3次元データを利用して遠い領域は暗く、近い領域は明るく表示する。あるいは、画像処理により道路の白線や縁石から消失点を検出し、消失点を中心付近を暗くし、消失点から画面縁部に向けて段々に輝度が上がるように表示する。
Furthermore, according to this embodiment,
(8) As shown in FIG. 9, three-dimensional data of a stationary object is created from a set of background images. Then, using the three-dimensional data of the background area, the far area is dark and the near area is bright. Alternatively, the vanishing point is detected from the white line or curb of the road by image processing, the vanishing point is darkened near the center, and displayed so that the luminance gradually increases from the vanishing point toward the edge of the screen.

これにより、以下の効果を奏する。
・ドライバが正確に危険な対象物を認識できる。
・ドライバが対象物の危険度合いを判断できる。
・ドライバが距離感や遠近感を認識しやすくなるので、最も危険な対象物が何か、衝突可能性がどのくらいあるのか、どの方向や場所に走行すべきか、判断や操作をするための情報として活用できる。
・ブレーキタイミングや操舵タイミングを判断しやすくなる。
Thereby, the following effects are produced.
-The driver can accurately recognize dangerous objects.
・ The driver can determine the degree of danger of the object.
・ Because it is easy for the driver to recognize the sense of distance and perspective, as information for making judgments and operations as to what is the most dangerous object, how likely it is to collide, and in what direction and place Can be used.
・ It becomes easier to judge the brake timing and steering timing.

また、本実施形態によれば、
(9)図5に示すように、距離センサ2により検出した移動体の画像あるいはノイズを含んだデータをそのまま合成せずに、背景領域の位置関係だけでなく、自車両との距離に応じて表示サイズを変更する。
Moreover, according to this embodiment,
(9) As shown in FIG. 5, the image of the moving body detected by the distance sensor 2 or the data including noise is not synthesized as it is, but depending on not only the positional relationship of the background area but also the distance to the host vehicle. Change the display size.

これにより、上記(8)と同様の効果が得られる。   Thereby, the effect similar to said (8) is acquired.

また、本実施形態によれば、
(10)図10に示すように、移動体の行動予測がしやすい道路環境の特徴的な対象物(白線、ガードレール、など)と、ドライバが安全且つ適切な運転をするための道路標識や信号機などのランドマークを認識しやすく表示する。
Moreover, according to this embodiment,
(10) As shown in FIG. 10, characteristic objects (white lines, guardrails, etc.) in the road environment that make it easy to predict the behavior of the moving body, and road signs and traffic lights for the driver to drive safely and appropriately The landmarks such as are displayed easily.

これにより、以下の効果を奏する。
・ドライバが周囲環境を認識できるので、歩行者の行動が予測しやすくなる。
・ドライバが危険予知をしやすくなり、例えば、歩道にガードレールがあれば、歩行者は車道へ飛び出す危険が少ないなどの判断ができる。
・夜間でドライバの視程が短い場合でも、安全且つ適切な運転をするのに有効な交通標識や道路案内などを認識することができるので、運転負担を減らすことができる。
Thereby, the following effects are produced.
・ Because the driver can recognize the surrounding environment, the behavior of pedestrians can be easily predicted.
-It is easier for the driver to predict the danger. For example, if there is a guardrail on the sidewalk, the pedestrian can judge that there is little risk of jumping out onto the roadway.
Even when the driver's visibility is short at night, it is possible to recognize traffic signs and road guidance that are effective for safe and appropriate driving, so that the driving burden can be reduced.

また、本実施形態によれば、
(11)図10に示すように、ナビゲーションシステム8と連動して、地図データベース上で経路誘導に使用している物体と背景画像とを整合させ、経路誘導のランドマークの輝度を上げて強調表示する。また、交差点にある程度接近した場合に(例えば、交差点まで50m手前)、交差点進入時にドライバが注意を向けるべき領域の輝度を上げて強調表示し、ドライバへの注意喚起を促す。
Moreover, according to this embodiment,
(11) As shown in FIG. 10, in conjunction with the navigation system 8, the object used for route guidance on the map database is aligned with the background image, and the brightness of the landmarks for route guidance is increased and highlighted. To do. Further, when approaching the intersection to some extent (for example, 50 meters before the intersection), the brightness of the area where the driver should pay attention when entering the intersection is increased and highlighted to prompt the driver to be alerted.

これにより、以下の効果を奏する。
・夜間や雨天などドライバの視程が短い状況であっても、ナビゲーションの経路誘導と実空間の物体やマークとの整合を取りやすくなるので、ドライバの運転負担を減らすことができる。
・ナビゲーションシステムと連動することで、ナビゲーションの経路誘導の効果を高めることができる。
・危険が発生する可能性の高い領域を指定せず、明示的な注意誘導の表示ではないので、ドライバ自身による安全確認を阻害せずに、かつドライバの危険予知の能力を向上させることができる。
Thereby, the following effects are produced.
-Even in situations where the driver's visibility is short, such as at night or in the rain, it is easy to align navigation route guidance with objects and marks in the real space, so the driver's driving burden can be reduced.
-By linking with the navigation system, the navigation route guidance effect can be enhanced.
-The area where there is a high possibility of danger is not specified, and there is no explicit attention-guided display, so it is possible to improve the driver's ability to predict danger without impeding safety confirmation by the driver itself. .

また、本実施形態によれば、
(12)図6に示すように、自車両との距離や衝突時間などの危険度に応じて移動体の表示サイズを大きくしたり、輝度を上げるとともに周辺領域の色調を変更したり、注意喚起を意味するマークを表示することにより強調表示の度合いを切り替える。
Moreover, according to this embodiment,
(12) As shown in FIG. 6, the display size of the moving object is increased according to the degree of danger such as the distance to the host vehicle or the collision time, the brightness is increased, the color tone of the surrounding area is changed, and the attention is given. The degree of highlighting is switched by displaying a mark that means

これにより、上記(8)と同様の効果が得られる。   Thereby, the effect similar to said (8) is acquired.

また、本実施形態によれば、
(13)昼間画像の解析や情報センタ100から高輝度背景画像中の静止物の3次元データを取得し、撮影位置及びアングルが略同じ複数の高輝度背景画像から、当該高輝度背景画像中の静止物を除去した画像を比較することにより移動体を検出する。これにより、電柱や看板なども検出しノイズにより歩行者と誤検出しやすいレーザレーダや、距離検出精度が低いために遠方にいる歩行者を検出しにくいステレオカメラや、分解能が低いために物体識別性能が劣るミリ波レーダシステムなどを距離センサとして搭載した場合でも、道路領域や歩道領域を正確に検出し、高精度に歩行者などの移動体を検出する。
Moreover, according to this embodiment,
(13) Analyzing daytime images and acquiring three-dimensional data of stationary objects in the high-intensity background image from the information center 100, and from a plurality of high-intensity background images having substantially the same shooting position and angle, A moving object is detected by comparing images from which stationary objects have been removed. This makes it possible to detect power poles, billboards, etc. and easily detect them as pedestrians due to noise, stereo cameras that are difficult to detect pedestrians in the distance due to low distance detection accuracy, and object identification due to low resolution Even when a millimeter-wave radar system or the like with inferior performance is mounted as a distance sensor, a road area and a sidewalk area are accurately detected, and a moving object such as a pedestrian is detected with high accuracy.

これにより、以下の効果を奏する。
・正確な情報をドライバに提供できるので、ドライバのシステムへの不信感を低減できる。
・距離センサによる距離の計測や移動体の検出性能を向上できる。
・ノイズを除去するための、他のセンサや複雑な処理ロジックの追加などが不要になる。
Thereby, the following effects are produced.
-Since accurate information can be provided to the driver, the driver's distrust of the system can be reduced.
・ It is possible to improve the distance measurement by the distance sensor and the detection performance of the moving object.
・ Addition of other sensors and complicated processing logic to remove noise is unnecessary.

Claims (11)

自車両の位置を検出する位置検出手段と、
自車両周囲の、地面に対して移動する移動体を検出する移動体検出手段と、
自車両周囲の画像を撮影する画像撮影手段と、
自車両周囲の照度を検出する照度検出手段と、
前記照度検出手段により検出された照度が所定閾値以下であるか否かを判定する判定手段と、
前記判定手段により照度が所定閾値を超えると判定された場合に、撮影された高輝度画像を前記自車両の位置情報とともに情報センタへ送信する送信手段と、
前記判定手段により照度が前記所定閾値以下であると判定された場合に、前記情報センタから自車両の位置情報に対応する高輝度背景画像を受信する受信手段と、
前記受信手段により取得した前記自車両の位置情報に対応する高輝度背景画像と、前記移動体検出手段により検出された移動体とを合成する合成手段と、
前記合成手段により合成された画像を表示する表示手段とを有し、
前記情報センタは、
前記高輝度画像を前記自車両の位置情報とともに記憶する高輝度画像記憶手段と、
前記高輝度画像から抽出された移動体を前記高輝度画像から削除した高輝度背景画像を記憶する背景画像記憶手段とを有する
ことを特徴とする車両用表示装置。
Position detecting means for detecting the position of the host vehicle;
Moving body detecting means for detecting a moving body that moves relative to the ground around the host vehicle;
Image photographing means for photographing an image around the own vehicle;
Illuminance detection means for detecting the illuminance around the host vehicle,
Determination means for determining whether the illuminance detected by the illuminance detection means is equal to or less than a predetermined threshold;
A transmission unit that transmits a captured high-luminance image together with the position information of the host vehicle to the information center when the determination unit determines that the illuminance exceeds a predetermined threshold ;
Receiving means for receiving a high-intensity background image corresponding to the position information of the host vehicle from the information center when the determination means determines that the illuminance is equal to or less than the predetermined threshold ;
A high-luminance background image corresponding to the acquired position information of the vehicle by the receiving means, synthesizing means for synthesizing the mobile object detected by said moving object detecting means,
Display means for displaying the image synthesized by the synthesis means ,
The information center
High-luminance image storage means for storing the high-luminance image together with position information of the host vehicle;
The high vehicular display device, which comprises organic and background image storage means for the moving body that is extracted from the luminance image storing high intensity background image removed from the high luminance image.
前記表示手段は、前記移動体をアイコンとして表示することを特徴とする請求項1に記載の車両用表示装置。   The vehicle display device according to claim 1, wherein the display unit displays the moving body as an icon. 前記情報センタから受信した高輝度背景画像の上方領域を暗く、下方領域を明るくなるように輝度を補正する輝度補正処理手段を更に有することを特徴とする請求項1に記載の車両用表示装置。   2. The vehicle display device according to claim 1, further comprising luminance correction processing means for correcting the luminance so that the upper region of the high luminance background image received from the information center is dark and the lower region is bright. 前記輝度補正処理手段は、前記照度が前記所定閾値以下の場合、前記画像撮影手段により撮影された画像と、前記高輝度背景画像とをオーバーラップすることにより輝度を補正することを特徴とする請求項に記載の車両用表示装置。 The luminance correction processing unit corrects the luminance by overlapping the image captured by the image capturing unit and the high-luminance background image when the illuminance is equal to or less than the predetermined threshold. Item 4. The vehicle display device according to Item 3 . 前記輝度補正処理手段は、前記情報センタから受信した高輝度背景画像の上方領域の色調を変更することを特徴とする請求項に記載の車両用表示装置。 The vehicle display device according to claim 3 , wherein the brightness correction processing unit changes a color tone of an upper region of the high brightness background image received from the information center. 前記合成手段は、前記高輝度背景画像から地面に対して静止した静止物の3次元データを作成し、当該3次元データを用いて自車両から遠い静止物ほど暗くなるよう輝度を補正することを特徴とする請求項1に記載の車両用表示装置。 The synthesizing unit creates three-dimensional data of a stationary object stationary with respect to the ground from the high-luminance background image, and corrects the luminance so that the stationary object farther from the host vehicle becomes darker using the three-dimensional data. The vehicle display device according to claim 1, wherein 前記合成手段は、前記高輝度背景画像から消失点を算出し、当該消失点に近いほど暗く、消失点から遠いほど明るくなるよう輝度を補正することを特徴とする請求項1に記載の車両用表示装置。   2. The vehicle according to claim 1, wherein the synthesizing unit calculates a vanishing point from the high-luminance background image, and corrects the luminance so that the darker the closer to the vanishing point and the brighter the farther from the vanishing point. Display device. 前記移動体検出手段により検出された移動体と自車両との間の距離を検出する距離検出手段と、
前記距離検出手段により検出された移動体と自車両との間の距離に応じて前記高輝度背景画像に合成される移動体の表示サイズを変更する表示サイズ補正手段と、を更に有することを特徴とする請求項1に記載の車両用表示装置。
Distance detecting means for detecting a distance between the moving body detected by the moving body detecting means and the host vehicle ;
Display size correcting means for changing the display size of the moving object combined with the high-luminance background image according to the distance between the moving object detected by the distance detecting means and the host vehicle. The vehicle display device according to claim 1.
前記合成手段は、前記高輝度背景画像からドライバに注意を向けさせたい対象物を特定し、当該特定された対象物を強調表示するよう補正する強調補正手段を更に有することを特徴とする請求項1に記載の車両用表示装置。   The composition means further comprises an emphasis correction means for identifying an object to be paid attention to the driver from the high-luminance background image and correcting the object so as to highlight the identified object. The vehicle display device according to 1. 前記強調補正手段は、前記高輝度背景画像からドライバに危険予知をさせたい領域を特定し、当該特定された領域を強調表示するよう補正することを特徴とする請求項に記載の車両用表示装置。 The vehicle display according to claim 9 , wherein the emphasis correcting unit identifies an area that the driver wants to predict danger from the high-luminance background image, and corrects the identified area to be highlighted. apparatus. 前記距離検出手段により検出された移動体と自車両との間の距離に応じて危険度を判定する危険度判定手段を更に有し、
前記合成手段は、前記危険度の高い移動体ほど強調表示するよう補正することを特徴とする請求項に記載の車両用表示装置。
Further comprising a risk determination means for determining the risk according to the distance between the moving body and the vehicle detected by the distance detection means;
The vehicle display device according to claim 8 , wherein the synthesizing unit corrects the moving body having a higher degree of risk to be highlighted.
JP2009082598A 2009-03-30 2009-03-30 Vehicle display device Expired - Fee Related JP5299026B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009082598A JP5299026B2 (en) 2009-03-30 2009-03-30 Vehicle display device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009082598A JP5299026B2 (en) 2009-03-30 2009-03-30 Vehicle display device

Publications (2)

Publication Number Publication Date
JP2010234851A JP2010234851A (en) 2010-10-21
JP5299026B2 true JP5299026B2 (en) 2013-09-25

Family

ID=43089628

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009082598A Expired - Fee Related JP5299026B2 (en) 2009-03-30 2009-03-30 Vehicle display device

Country Status (1)

Country Link
JP (1) JP5299026B2 (en)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5310760B2 (en) * 2011-03-04 2013-10-09 トヨタ自動車株式会社 Approaching vehicle detection device
JP5774140B2 (en) * 2012-02-10 2015-09-02 三菱電機株式会社 Driving support device and driving support method
KR20140028210A (en) * 2012-08-27 2014-03-10 주식회사 만도 System for recognizing surroundings of a vehicle
JP6065766B2 (en) * 2013-06-28 2017-01-25 株式会社デンソー Information providing apparatus and information providing method
JP6233599B2 (en) * 2014-02-25 2017-11-22 マツダ株式会社 Display control device for vehicle
JP6598255B2 (en) * 2014-03-31 2019-10-30 エイディシーテクノロジー株式会社 Driving support device and driving support system
JP2017028349A (en) * 2015-07-15 2017-02-02 株式会社デンソー Video processing device, operation support display system and video processing method
JP6617610B2 (en) * 2016-03-02 2019-12-11 トヨタ自動車株式会社 Vehicle display device
EP3544293B1 (en) 2016-11-21 2024-02-28 Kyocera Corporation Image processing device, imaging device, and display system
JP6759072B2 (en) * 2016-11-21 2020-09-23 京セラ株式会社 Image processing equipment, imaging equipment, and display system
WO2019054092A1 (en) * 2017-09-12 2019-03-21 パナソニックIpマネジメント株式会社 Image generation device and image generation method
JP6820561B2 (en) * 2017-12-28 2021-01-27 パナソニックIpマネジメント株式会社 Image processing device, display device, navigation system, image processing method and program
JP7082538B2 (en) * 2018-07-10 2022-06-08 本田技研工業株式会社 Image processing equipment and programs
JP2020166584A (en) * 2019-03-29 2020-10-08 トヨタ自動車株式会社 Image information collection system and vehicle
JP7399226B1 (en) 2022-07-13 2023-12-15 三菱電機株式会社 Air traffic control support equipment, air traffic control support method, and air traffic support program

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3473321B2 (en) * 1997-05-09 2003-12-02 トヨタ自動車株式会社 Display device for vehicles
JP4366716B2 (en) * 2005-03-04 2009-11-18 株式会社デンソー Vehicle information display device
JP4501778B2 (en) * 2005-05-24 2010-07-14 日産自動車株式会社 Vehicle information display method and vehicle information display device
JP4888761B2 (en) * 2005-10-31 2012-02-29 株式会社エクォス・リサーチ Virtual lane display device

Also Published As

Publication number Publication date
JP2010234851A (en) 2010-10-21

Similar Documents

Publication Publication Date Title
JP5299026B2 (en) Vehicle display device
JP4970516B2 (en) Surrounding confirmation support device
US20050134479A1 (en) Vehicle display system
EP2851864B1 (en) Vehicular display apparatus, vehicular display method, and vehicular display program
JP4882285B2 (en) Vehicle travel support device
US8054201B2 (en) Surroundings monitoring device for vehicle
US8543254B1 (en) Vehicular imaging system and method for determining roadway width
JP5682304B2 (en) Image providing device
US20110228980A1 (en) Control apparatus and vehicle surrounding monitoring apparatus
JP6311646B2 (en) Image processing apparatus, electronic mirror system, and image processing method
JP2003200755A (en) Displaying device for vehicle
JPWO2012169029A1 (en) Lane departure prevention support apparatus, lane departure prevention method, and storage medium
US10546422B2 (en) System and method for augmented reality support using a lighting system&#39;s sensor data
JP2008222153A (en) Merging support device
JP2012027773A (en) Pseudo grayscale image generation device and program
JP2016196233A (en) Road sign recognizing device for vehicle
JP2011152865A (en) On-vehicle image pickup device
GB2550472A (en) Adaptive display for low visibility
JP2005202787A (en) Display device for vehicle
JP4986070B2 (en) Ambient monitoring device for vehicles
CN109987025B (en) Vehicle driving assistance system and method for night environment
JP5192009B2 (en) Vehicle periphery monitoring device
JP2012142832A (en) Imaging apparatus
JP2020121615A (en) Vehicular road sign recognition support device
US20190193634A1 (en) Vehicle

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20101001

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20101001

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120123

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20120312

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130118

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130226

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130423

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130521

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130603

R150 Certificate of patent or registration of utility model

Ref document number: 5299026

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees