JP4297045B2 - Display control apparatus and program for head-up display - Google Patents

Display control apparatus and program for head-up display Download PDF

Info

Publication number
JP4297045B2
JP4297045B2 JP2004360962A JP2004360962A JP4297045B2 JP 4297045 B2 JP4297045 B2 JP 4297045B2 JP 2004360962 A JP2004360962 A JP 2004360962A JP 2004360962 A JP2004360962 A JP 2004360962A JP 4297045 B2 JP4297045 B2 JP 4297045B2
Authority
JP
Japan
Prior art keywords
recommended
vehicle
display
course
recommended route
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004360962A
Other languages
Japanese (ja)
Other versions
JP2006171950A (en
Inventor
雄二 松本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2004360962A priority Critical patent/JP4297045B2/en
Publication of JP2006171950A publication Critical patent/JP2006171950A/en
Application granted granted Critical
Publication of JP4297045B2 publication Critical patent/JP4297045B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/149—Instrument input by detecting viewing direction not otherwise provided for

Landscapes

  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Instrument Panels (AREA)
  • Traffic Control Systems (AREA)

Description

本発明は、車両の推奨進路を示すラインをヘッドアップディスプレイに表示させるための表示制御装置およびプログラムに関するものである。   The present invention relates to a display control device and a program for displaying a line indicating a recommended course of a vehicle on a head-up display.

従来、自車両の前方の障害物の位置を検出し、ドライバに通知をするような装置が種々提案されている（例えば特許文献１、２参照）。   Conventionally, various devices that detect the position of an obstacle in front of the host vehicle and notify the driver have been proposed (see, for example, Patent Documents 1 and 2).

また、特許文献３には、自車両前方の障害物を検出すると同時に、自車両が障害物を避けて通り抜けられるか否かを示す表示として、自車両前方の障害物と、その障害物を通り抜けるために必要な空間枠とを、同時に画面に表示させる技術が開示されている。
特許第３２１２２３５号公報 特開２００４−１６８３０４号公報 特開平８−２２１６９８号公報 In Patent Document 3, an obstacle ahead of the host vehicle is detected, and at the same time, an indication indicating whether or not the host vehicle can pass through the obstacle is passed through the obstacle ahead of the host vehicle and the obstacle. For this reason, a technique for simultaneously displaying a space frame necessary for the display on a screen is disclosed.
Japanese Patent No. 3212235 JP 2004-168304 A JP-A-8-221698

しかし、この特許文献３に開示された技術を用いても、自車両が障害物を通り抜けるために具体的にどのような進路をとればよいのかがわからない。   However, even if the technique disclosed in Patent Document 3 is used, it is not clear what route the host vehicle should take in order to pass through an obstacle.

本発明は上記点に鑑み、車両の前方の障害物を避けるための進路をドライバに視覚的に把握させる手段を提供することを目的とする。   The present invention has been made in view of the above points, and it is an object of the present invention to provide means for allowing a driver to visually grasp a course for avoiding an obstacle ahead of a vehicle.

上記目的を達成するための請求項１に記載の発明は、自車両前方の障害物の位置を検出する障害物検出手段と、前記障害物検出手段が検出した障害物を避けるための、自車両の左右両端の推奨進路または左右両車輪の推奨進路を算出する推奨進路算出手段と、対向車両の位置を検出する対向車両検出手段と、前記推奨進路算出手段が算出した前記推奨進路を走行すれば前記対向車両検出手段が検出した前記対向車両と接触する恐れがあるか否かを判定する接触判定手段と、前記推奨進路算出手段が算出した前記推奨進路を走行すれば前記対向車両検出手段が検出した前記対向車両と接触する恐れがあると前記接触判定手段が判定すると、続いて、フロントガラス上への画像表示用のヘッドアップディスプレイに、ドライバから見て前記推奨進路算出手段が算出した前記推奨進路と重なるように、自車両の左右両端または左右両車輪についてのラインを表示させる表示制御手段と、を備えた表示制御装置である。 In order to achieve the above object, the invention according to claim 1 is an obstacle detection means for detecting the position of an obstacle ahead of the own vehicle, and the own vehicle for avoiding the obstacle detected by the obstacle detection means. If the vehicle travels along the recommended route calculated by the recommended route calculating means, the recommended route calculating means for calculating the recommended route of the left and right ends or the recommended route of the left and right wheels, the oncoming vehicle detecting means for detecting the position of the oncoming vehicle, Contact determination means for determining whether or not there is a risk of contact with the oncoming vehicle detected by the oncoming vehicle detection means, and the oncoming vehicle detection means detects if the vehicle travels on the recommended route calculated by the recommended route calculation means. When the said contact determination means that there is a risk of contact with the opposing vehicle which is determined, subsequently, the head-up display for image display on the front glass, the recommended proceeds as viewed from the driver Calculation means so as to overlap with the recommended route calculated is a display control apparatus and a display control means for displaying a line of the left and right ends or left and right wheels of the vehicle.

このようになっているので、ヘッドアップディスプレイは、ドライバから見て、自車両前方の障害物を避けるための推奨進路と重なるように、ラインを表示するので、ドライバは、車両の前方の障害物を避けるための進路を視覚的に把握することができる。また、ラインの表示はフロントガラス越しの実際の道路と重なっているので、自車両が障害物を避けて通ったときに車線を逸脱するかどうか等の、道路と推奨進路との比較に基づく判断が容易になる。また、ドライバは、自車両前方の障害物を避けて通ったときに対向車両と接触する恐れがある場合に、自動的に推奨進路の表示を受けることができる。 Since the head-up display shows the line so that it overlaps the recommended course to avoid obstacles ahead of the host vehicle as seen from the driver, the driver displays obstacles ahead of the vehicle. You can visually grasp the course to avoid. In addition, since the line display overlaps the actual road through the windshield, judgment based on the comparison between the road and the recommended route, such as whether the vehicle will deviate from the lane when passing by avoiding obstacles Becomes easier . In addition, the driver can automatically receive a recommended route display when there is a risk of contact with the oncoming vehicle when passing through an obstacle ahead of the host vehicle.

なお、ここでいう推奨進路とラインとの重なりは、必ずしも完全に重なることのみを意味するのではなく、前方道路上の障害物または車線と推奨進路との位置関係をドライバが把握できる程度の正確さで、ラインと推奨進路とが近似していれば足りる。   The overlap between the recommended route and the line here does not necessarily mean that the recommended route is completely overlapped, but is accurate enough to allow the driver to grasp the positional relationship between the obstacle or lane on the road ahead and the recommended route. Now, it is sufficient if the line and the recommended course are approximate.

また、請求項２に記載の発明は、請求項１に記載の表示制御装置において、前記表示制御手段は、前記推奨進路算出手段が算出した前記推奨進路を走行すれば前記対向車両検出手段が検出した前記対向車両と接触する恐れがあると前記接触判定手段が判定すると、続いて、前記ヘッドアップディスプレイに警告表示を行わせることを特徴とする。 Further, an invention according to claim 2, in the display control device according to claim 1, before Symbol display control means, the oncoming vehicle detecting means when traveling the recommended course of the recommended route calculating means is calculated When the contact determination means determines that there is a risk of contact with the detected oncoming vehicle , the head-up display subsequently displays a warning.

このようになっているので、ドライバは、対向車両との接触の危険性を前もってはっきり意識することができる。   In this way, the driver can clearly notice in advance the danger of contact with the oncoming vehicle.

また、請求項３に記載の発明は、請求項１に記載の表示制御装置において、ステアリング角度を検出するステアリング角度検出手段と、前記ステアリング角度検出手段の検出したステアリング角度に基づいて、自車両の左右両端の推測進路または左右両車輪の推測進路を算出する推測進路算出手段と、を備え、前記表示制御手段は、前記ヘッドアップディスプレイに、ドライバから見て前記推測進路算出手段が算出した前記推測進路と重なるように、自車両の左右両端または左右両車輪についてのラインを表示させることを特徴とする。 According to a third aspect of the present invention, in the display control device according to the first aspect, the steering angle detecting means for detecting the steering angle, and the steering angle detected by the steering angle detecting means, based on the steering angle detected by the own vehicle . and guess path calculating means for calculating a presumed course or the left and right wheels guess path of right and left ends, wherein the display control means, in the head-up display, the estimation of the presumed path calculation means when viewed from the driver is calculated Lines for the left and right ends or both left and right wheels of the host vehicle are displayed so as to overlap the driving path.

このようになっているので、ドライバは、自車両が推奨進路に沿った操舵を行っているか否かを容易に把握できるようになる。   Thus, the driver can easily grasp whether or not the host vehicle is steering along the recommended route.

また、請求項５に記載の発明は、自車両前方の障害物の位置を検出する障害物検出手段、前記障害物検出手段が検出した障害物を避けるための、自車両の左右両端の推奨進路または左右両車輪の推奨進路を算出する推奨進路算出手段、対向車両の位置を検出する対向車両検出手段、前記推奨進路算出手段が算出した前記推奨進路を走行すれば前記対向車両検出手段が検出した前記対向車両と接触する恐れがあるか否かを判定する接触判定手段、および、前記推奨進路算出手段が算出した前記推奨進路を走行すれば前記対向車両検出手段が検出した前記対向車両と接触する恐れがあると前記接触判定手段が判定すると、続いて、フロントガラス上への画像表示用のヘッドアップディスプレイに、ドライバから見て前記推奨進路算出手段が算出した前記推奨進路と重なるように、自車両の左右両端または左右両車輪についてのラインを表示させる表示制御手段として、コンピュータを機能させるプログラムである。 Further, the invention according to claim 5 is an obstacle detection means for detecting the position of an obstacle ahead of the host vehicle, and recommended courses at the left and right ends of the host vehicle for avoiding the obstacle detected by the obstacle detection means. Alternatively, the recommended course calculation means for calculating the recommended course of both the left and right wheels, the oncoming vehicle detection means for detecting the position of the oncoming vehicle, and the oncoming vehicle detection means detected if the vehicle travels on the recommended course calculated by the recommended course calculation means. Contact determination means for determining whether or not there is a risk of contact with the oncoming vehicle, and contact with the oncoming vehicle detected by the oncoming vehicle detection means if the vehicle travels on the recommended route calculated by the recommended route calculation means. When the contact determination means that there is a risk determination, subsequently, the head-up display for image display on the front glass, the recommended route calculating means calculates viewed from the driver So as to overlap with the recommended route, as a display control means for displaying a line of the left and right ends or left and right wheels of the vehicle, a program for causing a computer to function.

このように、本発明の特徴は、プログラムとしても実現可能である。また、請求項４に記載の発明は、請求項３に記載の表示制御装置において、前記推測進路算出手段は、前記ステアリング角度に基づいて、自車両の現在の正面方向に対する走行方向の変化を推定し、現在の自車両の前方左右端または前方左右車輪の位置を起点とする前記走行方向の変化後の方向と、前記推奨進路の方向とを比較し、当該変化後の方向が前記推奨進路より左なら、前記推奨進路に沿い、自車両から離れるほど前記推奨進路から左に遠くなるような、推奨進路と同程度の長さの推測進路を算出し、また、当該変化後の方向が前記推奨進路より右なら、前記推奨進路に沿い、自車両から離れるほど前記推奨進路から右に遠くなるような、前記推奨進路と同程度の長さの推測進路を算出することを特徴とする。
Thus, the features of the present invention can also be realized as a program. According to a fourth aspect of the present invention, in the display control device according to the third aspect , the estimated course calculation means estimates a change in the traveling direction of the host vehicle with respect to the current front direction based on the steering angle. Then, the direction after the change of the traveling direction starting from the position of the front left and right ends or the front left and right wheels of the current vehicle is compared with the direction of the recommended route, and the direction after the change is compared to the recommended route. If it is on the left, the estimated course of the same length as the recommended course is calculated so that it is farther left from the recommended course along the recommended course, and the direction after the change is the recommended course. If the route is to the right of the route, an estimated route having the same length as the recommended route is calculated such that the distance from the recommended vehicle is farther to the right along the recommended route.

（第１実施形態）
以下、本発明の第１実施形態について説明する。本実施形態においては、車両を運転するドライバが前方の障害物を避けるための進路を視覚的に把握できるよう、ヘッドアップディスプレイを用いてフロントガラス面に推奨進路を示すラインを表示させる機能を実現するようになっている。 (First embodiment)
Hereinafter, a first embodiment of the present invention will be described. In the present embodiment, a function for displaying a line indicating a recommended route on the windshield surface using a head-up display is realized so that a driver driving the vehicle can visually grasp a route for avoiding an obstacle ahead. It is supposed to be.

図１に、このような機能を実現するために、車両に搭載される装置の構成を示す。車両には、表示制御装置１、前方監視カメラ２、障害物距離測定器３、車速センサ４、ステアリングセンサ５、画像表示ＥＣＵ６、ヘッドアップディスプレイ７、および進路表示要求スイッチ８が搭載されている。   FIG. 1 shows a configuration of a device mounted on a vehicle in order to realize such a function. The vehicle is equipped with a display control device 1, a front monitoring camera 2, an obstacle distance measuring device 3, a vehicle speed sensor 4, a steering sensor 5, an image display ECU 6, a head-up display 7, and a course display request switch 8.

前方監視カメラ２は、定期的に（例えば数十ミリ秒ごとに）車両前方を撮影し、撮影した映像を示す信号を表示制御装置１に出力する装置である。   The front monitoring camera 2 is a device that periodically images the front of the vehicle (for example, every several tens of milliseconds) and outputs a signal indicating the captured image to the display control device 1.

障害物距離測定器３は、レーザ光やミリ波等の波を車両前方に送出し、それが前方の障害物や対向車両等で反射して戻ってきた反射波を受信し、その送出から受信までの時間差に基づいた信号を表示制御装置１に出力する装置である。また、障害物距離測定器３は、送出した波と受信した反射波の周波数のずれから、自車両と当該障害物や対向車両の自車両に対する相対速度を算出し、その相対速度情報も制御部１６に出力するようになっていてもよい。   The obstacle distance measuring device 3 transmits a wave such as a laser beam or a millimeter wave to the front of the vehicle, receives a reflected wave that is reflected back by an obstacle or an oncoming vehicle, and receives from the transmission. This is a device that outputs a signal based on the time difference up to the display control device 1. The obstacle distance measuring device 3 calculates the relative speed of the own vehicle and the obstacle or the oncoming vehicle with respect to the own vehicle from the difference between the frequencies of the transmitted wave and the received reflected wave, and the relative speed information is also controlled by the control unit. 16 may be output.

車速センサ４は、車輪の回転速度等に基づく速度信号を表示制御装置１に出力する装置である。   The vehicle speed sensor 4 is a device that outputs a speed signal based on the rotational speed of the wheels to the display control device 1.

ステアリングセンサ５は、車両の操舵角度（すなわちステアリング角度）を検出し、その操舵角の信号を表示制御装置１に出力する装置である。   The steering sensor 5 is a device that detects a steering angle of the vehicle (that is, a steering angle) and outputs a signal of the steering angle to the display control device 1.

画像表示ＥＣＵ６は、表示制御装置１から出力される映像信号を受け、その映像信号に基づいた画像をヘッドアップディスプレイ７に表示させる装置である。   The image display ECU 6 is a device that receives a video signal output from the display control device 1 and displays an image based on the video signal on the head-up display 7.

ヘッドアップディスプレイ７は、車両のフロントガラス面に埋め込まれた半透膜面と、車両のダッシュボード内にあり、画像表示ＥＣＵ６からの制御に基づいた映像光をその半透膜面に投影するプロジェクタを有している。   The head-up display 7 is a projector that projects a semi-permeable membrane surface embedded in a windshield surface of a vehicle and a video light based on control from the image display ECU 6 on the semi-permeable membrane surface of the vehicle dashboard. have.

このような画像表示ＥＣＵ６およびヘッドアップディスプレイ７の構成により、ヘッドアップディスプレイ７は、フロントガラス上に表示制御装置１から出力された映像信号に基づく画像を表示することができる。なお、フロントガラス上で、画像が表示される領域は、運転者６から見て前方の道路の視線方向に相当する部分のみであってもよいし、フロントガラス全体であってもよい。   With such a configuration of the image display ECU 6 and the head-up display 7, the head-up display 7 can display an image based on the video signal output from the display control device 1 on the windshield. It should be noted that the area where the image is displayed on the windshield may be only a portion corresponding to the line-of-sight direction of the road ahead when viewed from the driver 6, or the entire windshield.

進路表示要求スイッチ８は、ドライバのスイッチオン・オフ操作に基づいた信号を表示制御装置１に出力する装置である。   The route display request switch 8 is a device that outputs a signal based on the switch on / off operation of the driver to the display control device 1.

表示制御装置１は、図１に示すように、画像処理部１１、距離測定部１２、自車速度測定部１３、車両情報メモリ部１４、映像信号出力部１５、および制御部１６を有している。   As shown in FIG. 1, the display control device 1 includes an image processing unit 11, a distance measurement unit 12, a vehicle speed measurement unit 13, a vehicle information memory unit 14, a video signal output unit 15, and a control unit 16. Yes.

画像処理部１１は、前方監視カメラ２から出力された映像信号を受け、この映像信号に対して周知の画像解析処理を行うことで、画像中の自車両前方の道路上の障害物、反対車線上の対向車両、車線を分ける中央線等の白線の位置、速度を特定し、その特定結果のデータを制御部１６に出力するようになっている。なお、ここでいう位置は、その障害物、白線、対向車両等が占める、広がりをもった位置範囲である。   The image processing unit 11 receives the video signal output from the front monitoring camera 2 and performs a well-known image analysis process on the video signal, so that an obstacle on the road ahead of the host vehicle in the image, an opposite vehicle The position and speed of the white line such as the oncoming vehicle on the line and the center line dividing the lane are identified, and the data of the identification result is output to the control unit 16. In addition, the position here is an extended position range occupied by the obstacle, white line, oncoming vehicle, and the like.

例えば、画像解析処理によって特定した道路内に、ほぼ停止している（すなわち、自車両の速度とほぼ同じ速度で近づいてきているように、その物体の輪郭が増大する）物体があると判定すると、それを障害物であると特定する。また例えば、画像解析処理によって特定した道路内の中央線の反対側の車線に存在する物体があると判定すると、それを対向車両であると特定する。なお、画像処理部１１は、障害物や対向車両の速度（道路に対する速度または自車両に対する相対速度）を、前方監視カメラ２から取得した画像の時間変化に基づいて特定し、その速度情報も制御部１６に出力するようになっていてもよい。なお、画像処理部１１は、障害物、対向車両がない場合、その旨のデータを制御部１６に出力する。   For example, when it is determined that there is an object that is almost stopped (that is, the contour of the object increases so that it approaches at the same speed as the speed of the host vehicle) in the road specified by the image analysis process. , Identify it as an obstacle. Further, for example, if it is determined that there is an object in the lane on the opposite side of the center line in the road identified by the image analysis processing, it is identified as an oncoming vehicle. The image processing unit 11 specifies the speed of the obstacle or the oncoming vehicle (speed with respect to the road or relative speed with respect to the host vehicle) based on the time change of the image acquired from the front monitoring camera 2, and also controls the speed information. The information may be output to the unit 16. When there is no obstacle or oncoming vehicle, the image processing unit 11 outputs data to that effect to the control unit 16.

距離測定部１２は、障害物距離測定器３から時間差に基づく信号を受け、この信号に基づいて自車両から障害物や対向車両までの距離を算出し、その算出結果のデータを制御部１６に出力するようになっている。   The distance measuring unit 12 receives a signal based on the time difference from the obstacle distance measuring device 3, calculates the distance from the own vehicle to the obstacle or the oncoming vehicle based on the signal, and sends the calculation result data to the control unit 16. It is designed to output.

自車速度測定部１３は、車速センサ４から信号を受け、その信号に基づいて自車両の走行速度および累積走行距離を算出し、その算出結果のデータを制御部１６に出力するようになっている。   The own vehicle speed measuring unit 13 receives a signal from the vehicle speed sensor 4, calculates the traveling speed and the accumulated traveling distance of the own vehicle based on the signal, and outputs data of the calculation result to the control unit 16. Yes.

車両情報メモリ部１４は、ＲＡＭ、ＲＯＭ等の記憶媒体を有している。このＲＯＭには制御部１６が読み出して実行するプログラム、および前方監視カメラ２の位置とドライバの目の位置とのずれを補正するためのカメラ位置補正データ等が含まれている。   The vehicle information memory unit 14 has a storage medium such as a RAM and a ROM. The ROM includes a program read and executed by the control unit 16, camera position correction data for correcting a shift between the position of the front monitoring camera 2 and the eye position of the driver, and the like.

映像信号出力部１５は、制御部１６から出力された描画命令を受け、その描画命令に基づいた映像信号を画像表示ＥＣＵ６に出力するようになっている。描画命令は、表示させる文字や画像の表示位置、大きさ、形状、色調等を指定する命令から成る。   The video signal output unit 15 receives the drawing command output from the control unit 16 and outputs a video signal based on the drawing command to the image display ECU 6. The drawing command includes a command for designating the display position, size, shape, color tone, and the like of characters to be displayed and images.

なお、画像処理部１１、距離測定部１２、自車速度測定部１３、および映像信号出力部１５のそれぞれは、マイコンのＣＰＵに上記機能を実現させるプログラムを実行させることで実現することができる。   Each of the image processing unit 11, the distance measuring unit 12, the own vehicle speed measuring unit 13, and the video signal output unit 15 can be realized by causing a CPU of the microcomputer to execute a program that realizes the above functions.

制御部１６は、ＣＰＵ等から成り、車両情報メモリ部１４のＲＯＭからプログラムを読み出して実行し、その実行の際には、上記車両情報メモリ部１４から読み出したデータ、画像処理部１１、距離測定部１２、自車速度測定部１３、ステアリングセンサ５、進路表示要求スイッチ８から出力された信号に基づいて、描画コマンドを映像信号出力部１５に出力する。   The control unit 16 is composed of a CPU and the like, and reads out and executes a program from the ROM of the vehicle information memory unit 14, and at the time of execution, the data read from the vehicle information memory unit 14, the image processing unit 11, and the distance measurement. Based on the signals output from the unit 12, the vehicle speed measuring unit 13, the steering sensor 5, and the route display request switch 8, a drawing command is output to the video signal output unit 15.

以下、この制御部１６が実行するプログラムの説明と共に、表示制御装置１の作動を詳述する。   Hereinafter, the operation of the display control device 1 will be described in detail together with the description of the program executed by the control unit 16.

図２および図３に、制御部１６が実行する表示制御プログラム１００のフローチャートを示す。制御部１６は、起動と共にこのプログラムの実行を開始し、まず ステップ１０５で進路表示要求スイッチ８のドライバによるオン操作（具体的には押下）があったか否かを、進路表示要求スイッチ８からの信号に基づいて判定し、オン操作があるまでこのステップ１０５を繰り返し、オン操作があると続いてステップ１１０を実行する。   2 and 3 show a flowchart of the display control program 100 executed by the control unit 16. The control unit 16 starts executing the program upon activation. First, in step 105, a signal from the route display request switch 8 indicates whether or not the driver of the route display request switch 8 has been turned on (specifically, pressed). This step 105 is repeated until there is an on operation, and if there is an on operation, then step 110 is executed.

ステップ１１０では、自車両前方の道路上の白線の位置のデータ、自車両前方の道路上の障害物の位置、速度のデータを取得する。ここで、白線の位置のデータは、画像処理部１１から取得する。また、障害物の位置、速度のデータは、画像処理部１１から取得してもよいし、障害物距離測定器３から取得してもよいし、これらの両方からのデータに基づいて算出してもよい。   In step 110, data on the position of the white line on the road ahead of the host vehicle, data on the position and speed of the obstacle on the road ahead of the host vehicle are acquired. Here, the data of the position of the white line is acquired from the image processing unit 11. Further, the position and speed data of the obstacle may be acquired from the image processing unit 11, may be acquired from the obstacle distance measuring device 3, or calculated based on data from both of them. Also good.

続いてステップ１１５で、上記のように取得した障害物の位置、速度に基づいて、道路上でその障害物を避けるための自車両の推奨進路（具体的には、自車両の左右両端または左右両車輪の推奨進路）のデータを算出・生成する。制御部１６は、この推奨進路データを、自車両の前方の道路上の複数点の集まり（あるいは線）として算出する。なお、推奨進路は、当該障害物を完全に避けて元の走行車線の中央に戻る位置を端部とする。   Subsequently, in step 115, based on the position and speed of the obstacle acquired as described above, the recommended course of the own vehicle for avoiding the obstacle on the road (specifically, the left and right ends of the own vehicle or the left and right sides of the own vehicle). Calculate and generate (recommended courses for both wheels) data. The control unit 16 calculates the recommended route data as a collection (or line) of a plurality of points on the road ahead of the host vehicle. Note that the recommended route has an end at a position where the obstacle is completely avoided and the vehicle returns to the center of the original travel lane.

続いてステップ１２０では、ステップ１１０で取得した障害物および白線の位置、速度データ、および車両情報メモリ部１４中のカメラ位置補正データに基づいて、ドライバがフロントガラス越しに見た推奨進路と重なるようなフロントガラス上の位置に、２つの実線が表示されるよう、映像信号出力部１５に描画データを出力する。   Subsequently, in step 120, based on the position and speed data of the obstacle and the white line acquired in step 110, and the camera position correction data in the vehicle information memory unit 14, it overlaps with the recommended course viewed by the driver through the windshield. Drawing data is output to the video signal output unit 15 so that two solid lines are displayed at positions on the front windshield.

図４に、このような描画データに基づいたヘッドアップディスプレイ７のフロントガラス２０上の表示（より詳細には、描画データに基づいて映像信号出力部１５が出力した映像信号に基づいて、画像表示ＥＣＵ６がヘッドアップディスプレイ７に行わせるフロントガラス２０上の表示）、およびそのフロントガラス２０越しの車両前方の、ドライバから見た風景を示す。ドライバからは、フロントガラス２０越しに、道路枠線２１および２２によって挟まれた走行道路２３、走行道路２３中の車線を分ける白線である中央線４２、自車両の走行車線上の前方にある障害物２４、自車両のボンネット２５が見えている。そしてヘッドアップディスプレイ７は、自車両の右端または右前方車輪についての推奨進路ライン２６、自車両の左端または左前方車輪についての推奨進路ライン２７を、フロントガラス２０上に表示している。   FIG. 4 shows a display on the windshield 20 of the head-up display 7 based on such drawing data (more specifically, an image display based on the video signal output from the video signal output unit 15 based on the drawing data). The display on the windshield 20 that the ECU 6 causes the head-up display 7 to display) and the scenery seen from the driver in front of the vehicle over the windshield 20 are shown. From the driver, over the windshield 20, the traveling road 23 sandwiched between the road frame lines 21 and 22, the central line 42 that separates the lanes in the traveling road 23, and obstacles ahead on the traveling lane of the host vehicle The object 24 and the bonnet 25 of the own vehicle are visible. The head-up display 7 displays a recommended route line 26 for the right end or right front wheel of the host vehicle and a recommended route line 27 for the left end or left front wheel of the host vehicle on the windshield 20.

なお、この図に示すように、制御部１６は、走行道路２３の前方側の終点を越えないように、かつ、自車両ボンネット２５上にかからないように、推奨進路ライン２６、２７を描画する制御信号を映像信号出力部１５に出力する。   As shown in the figure, the control unit 16 controls the drawing of the recommended route lines 26 and 27 so as not to exceed the end point on the front side of the traveling road 23 and not on the own vehicle bonnet 25. The signal is output to the video signal output unit 15.

続いてステップ１２５では、自車両が推奨進路を通過済みか否か、すなわち、すべての推奨進路が自車両と同じ位置または自車両より後方となったか否かを、ステップ１０５でスイッチ押下と判定されて以降の自車速度測定部１３からの累積走行距離の変化と、推奨進路の前方の終端の位置に基づいて判定し、通過済みであると判定した場合、続いてステップ１３０で、ヘッドアップディスプレイ７の表示をオフにするような信号を映像信号出力部１５に出力し、その後ステップ１０５を再度実行する。また、まだ通過していないと判定した場合、続いてステップ１３５を実行する。   Subsequently, at step 125, whether or not the own vehicle has passed the recommended route, that is, whether or not all the recommended routes are at the same position as the own vehicle or behind the own vehicle is determined as a switch depression at step 105. If it is determined based on the change in the accumulated travel distance from the vehicle speed measuring unit 13 after that and the position of the end in front of the recommended route, and if it is determined that the vehicle has passed, then in step 130, the head-up display 7 is output to the video signal output unit 15 and then step 105 is executed again. If it is determined that it has not passed yet, step 135 is subsequently executed.

ステップ１３５では、ステップ１０５でスイッチ押下と判定されて以降の、自車速度測定部１３からの累積走行距離の変化に基づいて、推奨進路のデータを更新する。具体的には、ステップ１１５で生成した推奨進路のデータのうち、既に自車両の先端と同じ位置（より具体的には自車両のボンネットの先端によってドライバの視線から隠れる位置）または自車両の先端より後方にある位置にある部分を、当該推奨進路のデータから削除する。   In step 135, the recommended route data is updated based on the change in the accumulated travel distance from the vehicle speed measurement unit 13 after it is determined that the switch is pressed in step 105. Specifically, among the recommended route data generated in step 115, the same position as the front end of the own vehicle (more specifically, the position hidden from the driver's line of sight by the front end of the hood of the own vehicle) or the front end of the own vehicle. The part located at a later position is deleted from the recommended course data.

続いてステップ１４０では、ステップ１３５で更新した推奨進路に基づいて、ステップ１２０と同等の描画処理で、ヘッドアップディスプレイ７に推奨進路ライン２６、推奨進路ライン２７を描画させる。   Subsequently, in step 140, based on the recommended route updated in step 135, the recommended route line 26 and the recommended route line 27 are drawn on the head-up display 7 by the drawing process equivalent to step 120.

続いてステップ１４５では、ステアリングセンサ５からの信号に基づいて、ステアリング角度測定を行う。   Subsequently, at step 145, the steering angle is measured based on the signal from the steering sensor 5.

続いてステップ１５０では、ステップ１４５で測定したステアリング角度に基づいて、自車両の（より具体的には自車両の前方左右端または前方左右車輪の）推測進路データを生成する。推測進路は、現在のステアリング角に基づけば今後どのような進路となるかの推定結果の進路である。この生成は、具体的には、その測定したステアリング角度に基づいて、自車両の現在の正面方向に対する走行方向の変化を推定し、現在の自車両の前方左右端または前方左右車輪の位置を起点とするその変化後の方向と、推奨進路の方向とを比較する。そして、当該変化後の方向が推奨進路より左なら、推奨進路に沿い、自車両から離れるほど推奨進路から左に遠くなるような、推奨進路と同程度の長さの推測進路データを生成する。また、当該変化後の方向が推奨進路より右なら、推奨進路に沿い、自車両から離れるほど推奨進路から右に遠くなるような、推奨進路と同程度の長さの推測進路データを算出・生成する。   Subsequently, at step 150, based on the steering angle measured at step 145, estimated course data of the own vehicle (more specifically, front left and right ends or front left and right wheels of the own vehicle) is generated. The estimated course is a course of an estimation result of a future course based on the current steering angle. Specifically, the generation is based on the measured steering angle, and the change in the traveling direction with respect to the current front direction of the host vehicle is estimated, and the position of the front left and right ends or the front left and right wheels of the current host vehicle is used as a starting point. The direction after the change is compared with the direction of the recommended course. Then, if the direction after the change is to the left of the recommended route, the estimated route data having the same length as the recommended route is generated along the recommended route so that the distance from the recommended route is further to the left as the distance from the host vehicle increases. In addition, if the direction after the change is to the right of the recommended route, the estimated route data of the same length as the recommended route is calculated and generated, along the recommended route, and farther to the right from the recommended route as you move away from the vehicle. To do.

続いてステップ１５５では、ステップ１５０で生成した推測進路データに基づいて、ステップ１２０において推奨進路データに対して行ったのと同様に、ドライバがフロントガラス越しに見た推測進路と重なるようなフロントガラス上の位置に、２つの点線が表示されるよう、映像信号出力部１５に描画データを出力する。   Subsequently, in step 155, based on the estimated route data generated in step 150, the windshield that overlaps with the estimated route viewed by the driver through the windshield, in the same manner as performed for the recommended route data in step 120. Drawing data is output to the video signal output unit 15 so that two dotted lines are displayed at the upper position.

図５に、このような処理によってヘッドアップディスプレイ７がフロントガラス２０に推奨進路ライン２７、２８と同時に表示する推測進路ライン２８、２９を示す。この図の例では、推測進路ライン２８、推測進路ライン２９は、それぞれ推奨進路ライン２６、推奨進路ライン２７の左側にあり、推測進路ライン２９の一部が障害物２４に重なっているので、ドライバは、ステアリングをもっと右に切らないと障害物２４を回避できないことを容易に判断できるようになる。   FIG. 5 shows the estimated course lines 28 and 29 that the head-up display 7 displays on the windshield 20 simultaneously with the recommended course lines 27 and 28 by such processing. In the example of this figure, the estimated route line 28 and the estimated route line 29 are on the left side of the recommended route line 26 and the recommended route line 27, respectively, and a part of the estimated route line 29 overlaps the obstacle 24. Can easily determine that the obstacle 24 cannot be avoided unless the steering is turned to the right.

ステップ１５５に続いては、ステップ１６０で、対向車両の位置、速度のデータを取得する。ここで、対向車両の位置、速度のデータは、画像処理部１１から取得してもよいし、障害物距離測定器３から取得してもよいし、これらの両方からのデータに基づいて算出してもよい。   Subsequent to step 155, in step 160, data on the position and speed of the oncoming vehicle is acquired. Here, the position and speed data of the oncoming vehicle may be acquired from the image processing unit 11, may be acquired from the obstacle distance measuring device 3, or calculated based on data from both of them. May be.

続いてステップ１６５では、ステップ１６０の取得結果に基づいて、対向車両があるか否かを判定し、ある場合は続いてステップ１７０を実行し、ない場合は続いてステップ１２５を再度実行する。   Subsequently, in Step 165, it is determined whether or not there is an oncoming vehicle based on the acquisition result of Step 160. If there is an oncoming vehicle, Step 170 is subsequently executed. If not, Step 125 is executed again.

ステップ１７０では、ステップ１３５で特定した推奨進路、およびステップ１５０で特定した推測進路のいずれかが、対向車両と接触するか否かを、ステップ１６０で取得した対向車両の位置および速度との比較に基づいて判定する。推奨進路および推測進路のいずれかと対向車両が接触すると判定すると、続いてステップ１７５を実行し、推奨進路および推測進路のいずれとも対向車両は接触しないと判定すると、続いてステップ１２５を実行する。   In step 170, whether or not any of the recommended course specified in step 135 and the estimated course specified in step 150 is in contact with the oncoming vehicle is compared with the position and speed of the oncoming vehicle acquired in step 160. Judgment based on. If it is determined that the oncoming vehicle is in contact with either the recommended route or the estimated route, step 175 is subsequently executed. If it is determined that neither the recommended route nor the estimated route is in contact with the oncoming vehicle, step 125 is subsequently executed.

ステップ１７５では、対向車両との接触の恐れがある旨の文字列をヘッドアップディスプレイ７に表示させるための描画データを映像信号出力部１５に出力する。図６に、これによってヘッドアップディスプレイ７がフロントガラス２０上に表示する警告表示４１を示す。   In step 175, drawing data for causing the head-up display 7 to display a character string indicating the possibility of contact with the oncoming vehicle is output to the video signal output unit 15. FIG. 6 shows a warning display 41 displayed on the windshield 20 by the head-up display 7.

ステップ１７５に続いては、再度ステップ１２５を実行する。   Following step 175, step 125 is executed again.

以上のような表示制御プログラム１００を制御部１６が実行することで、表示制御装置１は、ドライバによる進路表示の要求を受け付けると（ステップ１０５参照）、障害物の位置および速度を特定し（ステップ１１０参照）、その障害物を避けるような推奨進路を算出・生成し（ステップ１１５参照）、その推奨進路を車両が通過するまで（ステップ１２５参照）、ドライバから見てフロントガラス２０上でその推奨進路と重なるように、推奨進路ライン２６、２７をヘッドアップディスプレイ７に表示させる（ステップ１２０参照）。   When the control unit 16 executes the display control program 100 as described above, the display control device 1 specifies the position and speed of the obstacle when receiving a request for a course display by the driver (see step 105) (step 105). 110), a recommended route that avoids the obstacle is calculated and generated (see step 115), and the recommended route on the windshield 20 is viewed from the driver until the vehicle passes the recommended route (see step 125). The recommended course lines 26 and 27 are displayed on the head-up display 7 so as to overlap the course (see step 120).

このようになっているので、ヘッドアップディスプレイ７は、ドライバから見て、自車両前方の障害物を避けるための推奨進路と重なるように、推奨進路ライン２６、２７を表示するので、ドライバは、自車両の前方の障害物２４を避けるための進路を視覚的に把握することができる。また、推奨進路ライン２６、２７の表示はフロントガラス２０越しの実際の道路と重なっているので、自車両が障害物を避けて通ったときに中央線４２を越えて反対車線に逸脱するかどうか等の、道路と推奨進路との比較に基づく判断が容易になる。   Since this is the case, the head-up display 7 displays the recommended route lines 26 and 27 so as to overlap with the recommended route for avoiding obstacles ahead of the host vehicle as viewed from the driver. It is possible to visually grasp the course for avoiding the obstacle 24 in front of the host vehicle. In addition, since the indications of the recommended route lines 26 and 27 overlap with the actual road through the windshield 20, whether or not the vehicle departs from the center line 42 to the opposite lane when passing by avoiding an obstacle. The judgment based on the comparison between the road and the recommended course becomes easy.

また、推奨進路ライン２６、２７は、自車両の左右両端または左右両車輪の進路に重なるラインとなっているので、自車両のどの程度の部分が中央線４２を越えるか、あるいは自車両のどの程度の部分が障害物２４に当たる恐れがあるかを、視覚的に容易に把握することができる。   In addition, the recommended course lines 26 and 27 are lines that overlap the courses of the left and right ends of the own vehicle or the left and right wheels, so that how much of the own vehicle exceeds the center line 42 or which of the own vehicle It is possible to easily grasp visually whether there is a possibility that the portion of the degree may hit the obstacle 24.

また表示制御装置１は、ステアリング角度を検出し（ステップ１４５参照）、それに基づいて自車両の推測進路を特定し（ステップ１５０参照）、推奨進路を車両が通過するまで（ステップ１２５参照）、ドライバから見てフロントガラス２０上でその推奨進路と重なるように、推測進路ライン２８、２９をヘッドアップディスプレイ７に表示させる（ステップ１５５参照）。   Further, the display control device 1 detects the steering angle (see step 145), identifies the estimated course of the host vehicle based on the detected steering angle (see step 150), and continues until the vehicle passes the recommended course (see step 125). The estimated course lines 28 and 29 are displayed on the head-up display 7 so as to overlap with the recommended course on the windshield 20 (see step 155).

このようになっているので、ドライバは、自車両が推奨進路に沿った操舵を行っているか否かを容易に把握できるようになる。   Thus, the driver can easily grasp whether or not the host vehicle is steering along the recommended route.

また、測進路ライン２８、２９は、自車両の左右両端または左右両車輪の進路に重なるラインとなっているので、自車両のどの程度の部分が中央線４２を越えるか、あるいは自車両のどの程度の部分が障害物２４に当たる恐れがあるかを、視覚的に容易に把握することができる。   In addition, the measuring path lines 28 and 29 are lines that overlap with the left and right ends of the own vehicle or the courses of both the left and right wheels, so that how much of the own vehicle exceeds the center line 42 or which of the own vehicle It is possible to easily grasp visually whether there is a possibility that the portion of the degree may hit the obstacle 24.

また表示制御装置１は、対向車両の位置および速度を特定し（ステップ１６０参照）、自車両が推奨進路または推測進路を走行するとその対向車両と接触するか否かを判定し（ステップ１７０参照）、接触すると判定すると、その旨の警告表示をヘッドアップディスプレイ７に行わせる（ステップ１７５参照）。   Further, the display control device 1 identifies the position and speed of the oncoming vehicle (see step 160), and determines whether or not the oncoming vehicle comes into contact with the oncoming vehicle when traveling on the recommended or estimated route (see step 170). If it is determined that contact is made, the head-up display 7 displays a warning to that effect (see step 175).

このようになっているので、ドライバは、自車両が推奨進路または推測進路を走行した場合の対向車両との接触の危険性を、前もってはっきり意識することができる。   Thus, the driver can clearly notice in advance the danger of contact with the oncoming vehicle when the host vehicle travels on the recommended route or the estimated route.

また表示制御装置１は、走行することによって走行済みとなった（すなわち自車両と同じ位置または自車両より後方となった）推奨進路ライン２６、２７、推測進路ライン２８、２９を順次消去した表示をヘッドアップディスプレイ７に行わせる（ステップ１３５、１４０参照）。   In addition, the display control device 1 sequentially deletes the recommended course lines 26 and 27 and the estimated course lines 28 and 29 that have been run by running (that is, at the same position as the host vehicle or behind the host vehicle). To the head-up display 7 (see steps 135 and 140).

ここで、前方監視カメラ２の車内への搭載位置について、図７および図８を用いて説明する。図７の例においては、前方監視カメラ２は、ドライバシート３１に座るドライバ３２の目の位置とほぼ同じ前後位置に搭載されてフロントガラス３３越しの前方を撮影するようになっている。この場合においては，カメラで撮像した画像とドライバの見ている画像がほぼ同じとなる。   Here, the mounting position of the front monitoring camera 2 in the vehicle will be described with reference to FIGS. 7 and 8. In the example of FIG. 7, the front monitoring camera 2 is mounted at approximately the same front-rear position as the position of the eyes of the driver 32 sitting on the driver seat 31 and images the front through the windshield 33. In this case, the image captured by the camera and the image viewed by the driver are almost the same.

図８の例においては、前方監視カメラ２は、ドライバの目の位置よりやや前方（具体的には距離Ｘだけ前方）に設置されている。前方監視カメラ２が車両のルームミラーと一体になっている場合も、この例に該当する。このような搭載位置は、前方監視カメラ２の搭載スペースの確保および前方監視カメラ２にとっての前方視界性確保の観点から優れている。ただし、この場合は図６の場合に比べて、前方監視カメラ２の視界とドライバの視界とのずれの補正量が大きくなる。
（第２実施形態）
次に、本発明の第２実施形態について、第１実施形態と異なる部分を中心に説明する。本実施形態の表示制御装置１は、ドライバが、自車両前方の障害物を避けて通ったときに対向車両と接触する恐れがある場合に、自動的に推奨進路、推測進路の表示、および接触の警告を受けることができるための作動を行う。 In the example of FIG. 8, the front monitoring camera 2 is installed slightly ahead of the driver's eyes (specifically, a distance X forward). The case where the front monitoring camera 2 is integrated with the vehicle rearview mirror also corresponds to this example. Such a mounting position is excellent from the viewpoint of securing a mounting space for the front monitoring camera 2 and ensuring forward visibility for the front monitoring camera 2. However, in this case, as compared with the case of FIG. 6, the amount of correction of the deviation between the field of view of the front monitoring camera 2 and the field of view of the driver is large.
(Second Embodiment)
Next, a second embodiment of the present invention will be described with a focus on differences from the first embodiment. The display control device 1 according to the present embodiment automatically displays a recommended route, an estimated route, and a contact when there is a possibility that the driver may come into contact with an oncoming vehicle when passing through an obstacle ahead of the host vehicle. The operation to receive the warning is performed.

本実施形態の表示制御装置１のハードウェア構成は、第１実施形態と同じである。また、本実施形態の制御部１６は、第１実施形態の表示制御プログラム１００に代えて、図９に示す表示制御プログラム２００を実行するようになっている。   The hardware configuration of the display control apparatus 1 of the present embodiment is the same as that of the first embodiment. Further, the control unit 16 of the present embodiment executes a display control program 200 shown in FIG. 9 instead of the display control program 100 of the first embodiment.

制御部１６は、起動と共にこの表示制御プログラム２００の実行を開始し、まずステップ２０５で、表示制御プログラム１００のステップ１１０と同様に、障害物、白線のデータを取得する。続いてステップ２１０で、表示制御プログラム１００のステップ１１５と同様に、推奨進路データを算出・生成する。続いてステップ２１５で、表示制御プログラム１００のステップ１６０と同様に、対向車両データを取得する。続いてステップ２２０で、ステップ１６５と同様に対向車両があるか否かを判定し、ある場合にはステップ２２５を実行し、ない場合には再度ステップ２０５を実行する。   The control unit 16 starts execution of the display control program 200 upon activation, and first acquires obstacle and white line data in step 205 as in step 110 of the display control program 100. Subsequently, in step 210, similar to step 115 of the display control program 100, recommended course data is calculated and generated. Subsequently, in step 215, the oncoming vehicle data is acquired in the same manner as in step 160 of the display control program 100. Subsequently, in step 220, it is determined whether or not there is an oncoming vehicle as in step 165. If there is an oncoming vehicle, step 225 is executed, and if not, step 205 is executed again.

ステップ２２５では、ステップ２１０で特定した推奨進路が、対向車両と接触するか否かを、ステップ２１５で取得した対向車両の位置および速度との比較に基づいて判定する。推奨進路と対向車両が接触すると判定すると、続いてステップ２３０を実行し、推奨進路と対向車両は接触しないと判定すると、続いて再びステップ２０５を実行する。   In step 225, it is determined based on the comparison with the position and speed of the oncoming vehicle acquired in step 215 whether the recommended route specified in step 210 is in contact with the oncoming vehicle. If it is determined that the recommended route and the oncoming vehicle are in contact, then step 230 is executed. If it is determined that the recommended route and the oncoming vehicle are not in contact, step 205 is executed again.

ステップ２３０では、表示制御プログラム１００のステップ１２０と同様の処理とステップ１７５と同様の処理を共に行うことで、ドライバから見て推奨進路と重なるように、ヘッドアップディスプレイ７に、推奨進路ラインの表示および対向車両と接触の恐れがある旨の表示を行わせる。   In step 230, the same process as step 120 of the display control program 100 and the same process as step 175 are performed, so that the recommended course line is displayed on the head-up display 7 so as to overlap the recommended course as seen from the driver. In addition, a message that there is a possibility of contact with the oncoming vehicle is displayed.

続いてステップ２３５では、表示制御プログラム１００のステップ１２５と同様に、推奨進路をすべて通過済みか否かを判定し、通過済みと判定した場合は、続いてステップ２４０で表示制御プログラム１００のステップ１３０と同様にヘッドアップディスプレイ７の表示をオフとし、さらに再度ステップ２０５を実行する。また、通過済みでないと判定した場合は、続いてステップ２４５で、表示制御プログラム１００のステップ１３５と同様に、推奨進路データの順次消去のための更新を行う。そして続いてステップ２５０で、表示制御プログラム１００のステップ１４０と同様に、更新後の推奨進路をヘッドアップディスプレイ７に表示させる。   Subsequently, in step 235, similarly to step 125 of the display control program 100, it is determined whether or not all the recommended routes have been passed. If it is determined that the passage has been completed, then in step 240, step 130 of the display control program 100 is performed. Similarly to the above, the display of the head-up display 7 is turned off, and step 205 is executed again. On the other hand, if it is determined that it has not been passed, update is performed in step 245 for sequentially erasing the recommended route data, as in step 135 of the display control program 100. Subsequently, in step 250, the updated recommended course is displayed on the head-up display 7 as in step 140 of the display control program 100.

続いてステップ２５５で、表示制御プログラム１００のステップ１４５と同様に、ステアリング角度の測定を行う。続いてステップ２６０で、表示制御プログラム１００のステップ１５０と同様に、推測進路データの生成を行う。続いてステップ２６５で、表示制御プログラム１００のステップ１５５と同様に、推測進路をヘッドアップディスプレイ７に表示させる。ステップ２６５に続いては、ステップ２３５を再度実行する。   Subsequently, in step 255, the steering angle is measured as in step 145 of the display control program 100. Subsequently, in step 260, the estimated course data is generated in the same manner as in step 150 of the display control program 100. Subsequently, in step 265, the estimated course is displayed on the head-up display 7 as in step 155 of the display control program 100. Following step 265, step 235 is executed again.

以上のような表示制御プログラム２００を制御部１６が実行することで、表示制御装置１は、ドライバによる進路表示の要求によらず自動的に、障害物の位置および速度を特定し（ステップ２０５参照）、その障害物を避けるような推奨進路を算出・生成し（ステップ２１０参照）、さらに、対向車両の位置および速度を特定し（ステップ２１５参照）、自車両が推奨進路を走行するとその対向車両と接触するか否かを判定し（ステップ２２５参照）、接触すると判定すると、その推奨進路を車両が通過するまで（ステップ２３５参照）、ドライバから見てフロントガラス２０上でその推奨進路と重なるように、推奨進路ラインをヘッドアップディスプレイ７に表示させ、それと同時に接触の恐れありの旨の警告表示をヘッドアップディスプレイ７に行わせ（ステップ２３０参照）、さらに第１実施形態と同様に推測進路表示（ステップ２６０参照）をヘッドアップディスプレイ７に行わせる。   When the control unit 16 executes the display control program 200 as described above, the display control device 1 automatically specifies the position and speed of the obstacle regardless of the request for the route display by the driver (see step 205). ) To calculate and generate a recommended route that avoids the obstacle (see step 210), further specify the position and speed of the oncoming vehicle (see step 215), and when the host vehicle runs on the recommended route, the oncoming vehicle (Refer to step 225), and if it is determined to contact, until the vehicle passes through the recommended course (see step 235), the recommended course is overlapped on the windshield 20 as viewed from the driver. In addition, the recommended route line is displayed on the head-up display 7, and at the same time, a warning display indicating that there is a risk of contact is displayed To perform the Lee 7 (see step 230), further carried out similarly guessed path displayed in the first embodiment (see step 260) to the head-up display 7.

このようになっているので、第１実施形態の効果に加え、ドライバは、自車両前方の障害物を避けて通ったときに対向車両と接触する恐れがある場合に、自動的に推奨進路の表示および接触の警告を受けることができる。   In this way, in addition to the effects of the first embodiment, the driver automatically recommends the recommended route when there is a risk of contact with the oncoming vehicle when passing through an obstacle ahead of the host vehicle. Display and contact warnings can be received.

なお、第１実施形態においては、制御部１６が、表示制御プログラム１００のステップ１１０を実行することで、障害物検出手段として機能し、ステップ１１５および１３５を実行することで、推奨進路算出手段として機能し、ステップ１４５を実行することで、ステアリング角度検出手段として機能し、ステップ１５０を実行することで、推測進路算出手段として機能し、ステップ１６０を実行することで、対向車両検出手段として機能し、ステップ１７０を実行することで、接触判定手段として機能し、ステップ１２０、１４０、１５５および１７５を実行することで、表示制御手段として機能する。   In the first embodiment, the control unit 16 functions as an obstacle detection unit by executing step 110 of the display control program 100, and as a recommended course calculation unit by executing steps 115 and 135. By performing step 145, it functions as a steering angle detection unit, by executing step 150, it functions as an estimated course calculation unit, and by executing step 160, it functions as an oncoming vehicle detection unit. By executing step 170, it functions as a contact determination means, and by executing steps 120, 140, 155 and 175, it functions as a display control means.

また、第２実施形態においては、制御部１６が、表示制御プログラム２００のステップ２０５を実行することで、障害物検出手段として機能し、ステップ２１０および２４５を実行することで、推奨進路算出手段として機能し、ステップ２５５を実行することで、ステアリング角度検出手段として機能し、ステップ２６０を実行することで、推測進路算出手段として機能し、ステップ２１５を実行することで、対向車両検出手段として機能し、ステップ２２５を実行することで、接触判定手段として機能し、ステップ２３０、２５０、２６５を実行することで、表示制御手段として機能する。   In the second embodiment, the control unit 16 functions as an obstacle detection unit by executing step 205 of the display control program 200, and as a recommended course calculation unit by executing steps 210 and 245. By performing step 255, it functions as steering angle detection means, by executing step 260, it functions as estimated course calculation means, and by executing step 215, it functions as oncoming vehicle detection means. By executing step 225, it functions as a contact determination means, and by executing steps 230, 250, 265, it functions as a display control means.

また、上記各実施形態において、制御部１６は、障害物距離測定器３からの制御により、レーザ光やミリ波を送出する方向を変化させることができるようになっていてもよい。そして、制御部１６は、障害物を検出する場合には、障害物距離測定器３が、画像処理部１１が検出した障害物の方向にレーザ光やミリ波を送出するよう制御し、対向車両を検出する場合には、障害物距離測定器３が、画像処理部１１が検出した対向車両の方向にレーザ光やミリ波を送出するよう制御するようになっていてもよい。   Moreover, in each said embodiment, the control part 16 may be able to change the direction which sends out a laser beam or a millimeter wave by control from the obstacle distance measuring device 3. FIG. Then, when detecting an obstacle, the control unit 16 controls the obstacle distance measuring device 3 so as to send a laser beam or a millimeter wave in the direction of the obstacle detected by the image processing unit 11, so that the oncoming vehicle When the obstacle distance measuring device 3 is detected, the obstacle distance measuring device 3 may be controlled to transmit a laser beam or a millimeter wave in the direction of the oncoming vehicle detected by the image processing unit 11.

また、第２実施形態において、ステップ２２５の判定は、推測進路を自車両が走行したときに対向車両と接触する恐れがあるか否かの判定を行ってもよいし、推奨進路および推測進路のいずれか一方でも自車両が走行したときに対向車両と接触する恐れがあるか否かの判定を行ってもよい。これを実現するためには、表示制御プログラム２００のステップ２５５および２６０の処理を、ステップ２１５と２２０の間にも行うようになっていればよい。   In the second embodiment, the determination in step 225 may determine whether or not there is a possibility of contact with the oncoming vehicle when the host vehicle travels on the estimated route, and the recommended route and the estimated route are determined. In any one of the cases, it may be determined whether or not there is a risk of contact with the oncoming vehicle when the host vehicle travels. In order to realize this, it is only necessary that the processing of steps 255 and 260 of the display control program 200 is also performed between steps 215 and 220.

本発明の実施形態における、車両に搭載される機器の構成および表示制御装置１のハードウェア構成を示す図である。It is a figure which shows the structure of the apparatus mounted in the vehicle, and the hardware structure of the display control apparatus 1 in embodiment of this invention. 第１実施形態において制御部１６が実行する表示制御プログラム１００のフローチャートである。It is a flowchart of the display control program 100 which the control part 16 performs in 1st Embodiment. 第１実施形態において制御部１６が実行する表示制御プログラム１００のフローチャートである。It is a flowchart of the display control program 100 which the control part 16 performs in 1st Embodiment. ドライバから見たフロントガラス越しの前方およびヘッドアップディスプレイ７の表示を示す図である。It is a figure which shows the display of the front through the windshield seen from the driver, and the head-up display. ドライバから見たフロントガラス越しの前方およびヘッドアップディスプレイ７の表示を示す図である。It is a figure which shows the display of the front through the windshield seen from the driver, and the head-up display. ドライバから見たフロントガラス越しの前方およびヘッドアップディスプレイ７の表示を示す図である。It is a figure which shows the display of the front through the windshield seen from the driver, and the head-up display. 車内における前方監視カメラ２の取り付け位置を示す図である。It is a figure which shows the attachment position of the front monitoring camera 2 in a vehicle. 車内における前方監視カメラ２の取り付け位置を示す図である。It is a figure which shows the attachment position of the front monitoring camera 2 in a vehicle. 第２実施形態において制御部１６が実行する表示制御プログラム２００のフローチャートである。It is a flowchart of the display control program 200 which the control part 16 performs in 2nd Embodiment.

符号の説明Explanation of symbols

１…表示制御装置、２…前方監視カメラ、３…障害物距離測定器、４…車速センサ、
５…ステアリングセンサ、６…画像表示ＥＣＵ、７…ヘッドアップディスプレイ、
８…進路表示要求スイッチ、１１…画像処理部、１２…距離測定部、
１３…自車速度測定部、１４…車両情報メモリ部、１５…映像信号出力部、
１６…制御部、２０…フロントガラス、２１…道路枠線、２２…道路枠線、
２３…走行道路、２４…障害物、２５…自車両ボンネット、２６…推奨進路ライン、
２７…推奨進路ライン、２８…推測進路ライン、２９…推測進路ライン、
３１…ドライバシート、３２…ドライバ、３３…フロントガラス、
３４…ステアリング、４０…対向車両、４１…警告表示、４２…中央線、
１００、２００…表示制御プログラム。 DESCRIPTION OF SYMBOLS 1 ... Display control apparatus, 2 ... Front monitoring camera, 3 ... Obstacle distance measuring device, 4 ... Vehicle speed sensor,
5 ... steering sensor, 6 ... image display ECU, 7 ... head-up display,
8 ... Route display request switch, 11 ... Image processing unit, 12 ... Distance measurement unit,
13 ... Own vehicle speed measurement unit, 14 ... Vehicle information memory unit, 15 ... Video signal output unit,
16 ... control unit, 20 ... windshield, 21 ... road border, 22 ... road border,
23 ... traveling road, 24 ... obstacle, 25 ... own vehicle bonnet, 26 ... recommended course line,
27 ... Recommended course line, 28 ... Estimated course line, 29 ... Estimated course line,
31 ... Driver sheet, 32 ... Driver, 33 ... Windshield,
34 ... Steering, 40 ... Oncoming vehicle, 41 ... Warning display, 42 ... Center line,
100, 200: Display control program.

Claims (5)

自車両前方の障害物の位置を検出する障害物検出手段と、
前記障害物検出手段が検出した障害物を避けるための、自車両の左右両端の推奨進路または左右両車輪の推奨進路を算出する推奨進路算出手段と、
対向車両の位置を検出する対向車両検出手段と、
前記推奨進路算出手段が算出した前記推奨進路を走行すれば前記対向車両検出手段が検出した前記対向車両と接触する恐れがあるか否かを判定する接触判定手段と、
前記推奨進路算出手段が算出した前記推奨進路を走行すれば前記対向車両検出手段が検出した前記対向車両と接触する恐れがあると前記接触判定手段が判定すると、続いて、フロントガラス上への画像表示用のヘッドアップディスプレイに、ドライバから見て前記推奨進路算出手段が算出した前記推奨進路と重なるように、自車両の左右両端または左右両車輪についてのラインを表示させる表示制御手段と、を備えた表示制御装置。 Obstacle detection means for detecting the position of the obstacle ahead of the host vehicle;
To avoid the obstacle detected by the obstacle detection means, a recommended course calculation means for calculating a recommended course of both left and right ends of the own vehicle or a recommended course of both left and right wheels ;
Oncoming vehicle detection means for detecting the position of the oncoming vehicle;
Contact determination means for determining whether or not there is a risk of contact with the oncoming vehicle detected by the oncoming vehicle detection means if traveling on the recommended route calculated by the recommended route calculation means;
If the contact determination means determines that there is a risk of contact with the oncoming vehicle detected by the oncoming vehicle detection means if the recommended route calculation means calculates , the image on the windshield is subsequently displayed. Display control means for displaying on the head-up display for display the lines for the left and right ends or both left and right wheels of the host vehicle so as to overlap the recommended course calculated by the recommended course calculation means as viewed from the driver; Display controller. 前記表示制御手段は、前記推奨進路算出手段が算出した前記推奨進路を走行すれば前記対向車両検出手段が検出した前記対向車両と接触する恐れがあると前記接触判定手段が判定すると、続いて、前記ヘッドアップディスプレイに警告表示を行わせることを特徴とする請求項１に記載の表示制御装置。 Before Symbol display control means, when the recommended route calculating means the contact determination unit and the oncoming vehicle detecting means when traveling the recommended route calculated there is a risk of contact with the opposing vehicle detected is determined, followed by The display control apparatus according to claim 1 , wherein warning display is performed on the head-up display. ステアリング角度を検出するステアリング角度検出手段と、
前記ステアリング角度検出手段の検出したステアリング角度に基づいて、自車両の左右両端の推測進路または左右両車輪の推測進路を算出する推測進路算出手段と、を備え、
前記表示制御手段は、前記ヘッドアップディスプレイに、ドライバから見て前記推測進路算出手段が算出した前記推測進路と重なるように、自車両の左右両端または左右両車輪についてのラインを表示させることを特徴とする請求項１に記載の表示制御装置。 Steering angle detection means for detecting the steering angle;
Based on the steering angle detected by the steering angle detection means, the estimated course calculation means for calculating the estimated course of the left and right ends of the host vehicle or the estimated course of both the left and right wheels, and
The display control means causes the head-up display to display lines for the left and right ends or both left and right wheels of the host vehicle so as to overlap the estimated course calculated by the estimated course calculation means when viewed from the driver. The display control apparatus according to claim 1. 前記推測進路算出手段は、前記ステアリング角度に基づいて、自車両の現在の正面方向に対する走行方向の変化を推定し、現在の自車両の前方左右端または前方左右車輪の位置を起点とする前記走行方向の変化後の方向と、前記推奨進路の方向とを比較し、当該変化後の方向が前記推奨進路より左なら、前記推奨進路に沿い、自車両から離れるほど前記推奨進路から左に遠くなるような、推奨進路と同程度の長さの推測進路を算出し、また、当該変化後の方向が前記推奨進路より右なら、前記推奨進路に沿い、自車両から離れるほど前記推奨進路から右に遠くなるような、前記推奨進路と同程度の長さの推測進路を算出することを特徴とする請求項３に記載の表示制御装置。 The estimated course calculation means estimates a change in the traveling direction with respect to the current front direction of the host vehicle based on the steering angle, and starts the traveling from the current position of the front left and right wheels or the front left and right wheels. Compare the direction after the direction change with the direction of the recommended route. If the direction after the change is to the left of the recommended route, along the recommended route, the further away from the host vehicle, the farther the left from the recommended route. If the direction after the change is to the right of the recommended route, along the recommended route and to the right from the recommended route as the distance from the host vehicle increases. The display control apparatus according to claim 3 , wherein an estimated course having a length similar to that of the recommended course that is far away is calculated. 自車両前方の障害物の位置を検出する障害物検出手段、
前記障害物検出手段が検出した障害物を避けるための、自車両の左右両端の推奨進路または左右両車輪の推奨進路を算出する推奨進路算出手段、
対向車両の位置を検出する対向車両検出手段、
前記推奨進路算出手段が算出した前記推奨進路を走行すれば前記対向車両検出手段が検出した前記対向車両と接触する恐れがあるか否かを判定する接触判定手段、および
前記推奨進路算出手段が算出した前記推奨進路を走行すれば前記対向車両検出手段が検出した前記対向車両と接触する恐れがあると前記接触判定手段が判定すると、続いて、フロントガラス上への画像表示用のヘッドアップディスプレイに、ドライバから見て前記推奨進路算出手段が算出した前記推奨進路と重なるように、自車両の左右両端または左右両車輪についてのラインを表示させる表示制御手段として、コンピュータを機能させるプログラム。 Obstacle detection means for detecting the position of the obstacle ahead of the host vehicle;
Recommended course calculation means for calculating recommended courses at both left and right ends of the host vehicle or recommended courses of both left and right wheels in order to avoid obstacles detected by the obstacle detection means ,
Oncoming vehicle detection means for detecting the position of the oncoming vehicle,
Contact determination means for determining whether or not there is a risk of contact with the oncoming vehicle detected by the oncoming vehicle detection means if traveling on the recommended route calculated by the recommended course calculation means; and
If the contact determination means determines that there is a risk of contact with the oncoming vehicle detected by the oncoming vehicle detection means if the recommended route calculation means calculates , the image on the windshield is subsequently displayed. A computer is used as display control means for displaying a line for the left and right ends or both left and right wheels of the host vehicle so as to overlap the recommended course calculated by the recommended course calculation means when viewed from the driver on the display head-up display. A program to function.
JP2004360962A 2004-12-14 2004-12-14 Display control apparatus and program for head-up display Expired - Fee Related JP4297045B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004360962A JP4297045B2 (en) 2004-12-14 2004-12-14 Display control apparatus and program for head-up display

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004360962A JP4297045B2 (en) 2004-12-14 2004-12-14 Display control apparatus and program for head-up display

Publications (2)

Publication Number Publication Date
JP2006171950A JP2006171950A (en) 2006-06-29
JP4297045B2 true JP4297045B2 (en) 2009-07-15

Family

ID=36672659

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004360962A Expired - Fee Related JP4297045B2 (en) 2004-12-14 2004-12-14 Display control apparatus and program for head-up display

Country Status (1)

Country Link
JP (1) JP4297045B2 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101816157B1 (en) * 2015-11-13 2018-01-09 현대오트론 주식회사 Apparatus for preventing the collision of vehicles using head-up display and method thereof
US10324470B2 (en) 2016-03-31 2019-06-18 Subaru Corporation Vehicle control device and vehicle

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4893531B2 (en) * 2007-08-21 2012-03-07 株式会社デンソー Driving support system
JP2010096874A (en) * 2008-10-15 2010-04-30 Nippon Seiki Co Ltd Display device for vehicle
EP2792529B1 (en) 2011-12-14 2019-10-16 Toyota Jidosha Kabushiki Kaisha Vehicle information transmitting device
JP6518497B2 (en) * 2014-09-30 2019-05-22 株式会社Ｓｕｂａｒｕ Vehicle gaze guidance device
JP6536340B2 (en) * 2014-12-01 2019-07-03 株式会社デンソー Image processing device
JP2016122308A (en) * 2014-12-25 2016-07-07 クラリオン株式会社 Vehicle controller
JP6428713B2 (en) * 2015-07-29 2018-11-28 株式会社デンソー Information display device
WO2017018192A1 (en) * 2015-07-29 2017-02-02 株式会社デンソー Information display apparatus
JP2017047739A (en) * 2015-08-31 2017-03-09 株式会社アドヴィックス Vehicle control device
JP6613795B2 (en) * 2015-10-16 2019-12-04 株式会社デンソー Display control device and vehicle control device
KR101756248B1 (en) * 2015-11-11 2017-07-11 현대오트론 주식회사 Apparatus for displaying lane change of head up display and method thereof
JP6806097B2 (en) * 2016-02-08 2021-01-06 株式会社リコー Image display device and image display method
KR102343329B1 (en) * 2017-02-07 2021-12-24 삼성전자주식회사 Electronic apparatus and method for assisting driving of a vehicle
JP6827202B2 (en) * 2017-03-24 2021-02-10 パナソニックＩｐマネジメント株式会社 Information display device, information display method and program
DE102017210219A1 (en) 2017-06-20 2018-12-20 Audi Ag A method for assisting a user of a motor vehicle in avoiding an obstacle, driver assistance device, and motor vehicle
JP2022126240A (en) * 2021-02-18 2022-08-30 トヨタ自動車株式会社 Display device for vehicle

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH079886A (en) * 1993-06-29 1995-01-13 Hitachi Ltd Drive information device for vehicle
JP4657495B2 (en) * 2001-05-29 2011-03-23 富士重工業株式会社 Vehicle driving support device
JP4161584B2 (en) * 2002-02-07 2008-10-08 トヨタ自動車株式会社 Safety device for moving objects
DE10245334A1 (en) * 2002-09-27 2004-04-08 Robert Bosch Gmbh navigation device
JP2004198211A (en) * 2002-12-18 2004-07-15 Aisin Seiki Co Ltd Apparatus for monitoring vicinity of mobile object

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101816157B1 (en) * 2015-11-13 2018-01-09 현대오트론 주식회사 Apparatus for preventing the collision of vehicles using head-up display and method thereof
US10324470B2 (en) 2016-03-31 2019-06-18 Subaru Corporation Vehicle control device and vehicle

Also Published As

Publication number Publication date
JP2006171950A (en) 2006-06-29

Similar Documents

Publication Publication Date Title
JP4297045B2 (en) Display control apparatus and program for head-up display
JP6669299B2 (en) Image processing device
EP3496069B1 (en) Travel assistance device and computer program
JP4791262B2 (en) Driving assistance device
JP5723106B2 (en) Vehicle display device and vehicle display method
US9126533B2 (en) Driving support method and driving support device
JP6272375B2 (en) Display control device for vehicle
JP6259482B2 (en) Display control device for vehicle
JP4855158B2 (en) Driving assistance device
US8094192B2 (en) Driving support method and driving support apparatus
JP5826375B2 (en) Driving assistance device
JP5114550B2 (en) How to display roadway progress
US20110199198A1 (en) Method for operating a heads-up display system, heads-up display system
JP4274111B2 (en) Proper inter-vehicle distance display control device
JP4946682B2 (en) Vehicle travel support device
JP2009029203A (en) Driving support device
JP2008280026A (en) Driving assistance device
JP7151073B2 (en) Display device and computer program
JP6674793B2 (en) Driving support information display device
JP6945933B2 (en) Display system
JP2010078387A (en) Lane determining apparatus
JP2007124097A (en) Apparatus for visually recognizing surrounding of vehicle
JP2007008382A (en) Device and method for displaying visual information
JP2007323333A (en) Vehicle display device, automobile and driving support information display method
JP2019064317A (en) Display device for vehicle

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070112

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080528

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080603

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080730

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090120

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090226

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090324

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090406

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120424

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120424

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130424

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130424

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140424

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees