JP2006232199A - Display device for vehicle - Google Patents

Display device for vehicle Download PDF

Info

Publication number
JP2006232199A
JP2006232199A JP2005052444A JP2005052444A JP2006232199A JP 2006232199 A JP2006232199 A JP 2006232199A JP 2005052444 A JP2005052444 A JP 2005052444A JP 2005052444 A JP2005052444 A JP 2005052444A JP 2006232199 A JP2006232199 A JP 2006232199A
Authority
JP
Japan
Prior art keywords
vehicle
line
sight
information
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005052444A
Other languages
Japanese (ja)
Other versions
JP4577564B2 (en
Inventor
Tatsuo Hasegawa
辰夫 長谷川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Seiki Co Ltd
Original Assignee
Nippon Seiki Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Seiki Co Ltd filed Critical Nippon Seiki Co Ltd
Priority to JP2005052444A priority Critical patent/JP4577564B2/en
Publication of JP2006232199A publication Critical patent/JP2006232199A/en
Application granted granted Critical
Publication of JP4577564B2 publication Critical patent/JP4577564B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide a display device for a vehicle capable of preventing a driver from having a feeling of discomfort or a stress even if vehicle information about speed etc. is output by voice. <P>SOLUTION: The display device for the vehicle is equipped with a line-of-view sensing means 1 to output a line-of-view sensing signal corresponding to the direction of the line of view of the vehicle driver, a combination meter 4 furnished with gauges 4a-4d for displaying information, a voice output means 5 to output the mentioned information by voice, and a microcomputer 3 to output the information of the gauge lying in the direction of the line of view by the voice output means 5 when judgement is passed that the line of view of the driver has shifted to the combination meter 4 on the basis of the line-of-view sensing signal given by the sensing means 1. <P>COPYRIGHT: (C)2006,JPO&NCIPI

Description

本発明は、車両のインストルメントパネルに近傍に設けられて各種情報を表示する情報表示手段を備えた車両用表示装置に関する。   The present invention relates to a vehicle display device provided with information display means provided in the vicinity of an instrument panel of a vehicle to display various information.

運転者は車両の安全走行のため、車外の周囲の状況を常時把握しつつ、車内の各種機器の操作を行っている。例えば片側2車線の道路の走行中に車線変更を行うときには、予めバックミラーやサイドミラー等の後視鏡を見ることにより、変更する車線側の状況を、近くに車が存在しないか、また、急速に接近する車両は存在しないか等を確認すると共に、更にミラーの死角になる位置に車が存在しないかを直接振り向いて確認する等の確認動作を行い、車線変更する適宜の手前でウインカー表示し、その後に車線変更するとういう操作を行う。この時、運転者によっては、車線変更を行う必要がある適宜の手前でウインカー表示を行い、その後にバックミラーやサイドミラー等の後視鏡を見ることによる安全確認等を行った後に車線変更を行うこともある。   For safe driving of the vehicle, the driver operates various devices in the vehicle while constantly grasping the surroundings outside the vehicle. For example, when changing lanes while driving on a road with two lanes on one side, see the rearview mirror, side mirror, etc. Confirm that there is no rapidly approaching vehicle, etc., and further confirm that there is no vehicle at the position where the blind spot of the mirror, and confirm the blinking signal before changing the lane. Then, the operation of changing the lane is performed. At this time, depending on the driver, the blinker is displayed in the appropriate front where it is necessary to change the lane, and then the lane change is performed after confirming safety by looking at the rearview mirror such as the rearview mirror and side mirror. Sometimes.

このような視線の移動による安全確認作業中においても、走行中の車線における前方に対しても常に注意を払い、例えば、前を走行している車が突然にブレーキをかけないか、他の車線から割り込みをする車がいないか等の注意を怠ることができない。しかも、バックミラーやサイドミラーは見にくく、特に雨天や、窓或いはミラーが曇っているときには極めて見にくくなる。したがって、車線変更には多くの注意力を必要とし、運転者にとって危険な作業であり、煩わしい作業でもある。   Always pay attention to the front of the driving lane during safety confirmation work by moving the line of sight. For example, if the car traveling in front does not suddenly brake, You can't neglect the caution that there is no car to interrupt. In addition, the rearview mirror and side mirror are difficult to see, especially when it is raining or when the window or mirror is cloudy. Therefore, a lot of attention is required for changing the lane, which is a dangerous work for the driver and a troublesome work.

しかしながら、視覚情報は知覚するのに時間がかかる上に、短期記憶の時間が短いので、通常の速度計表示を備えた車両においては、運転中に速度計を見る回数が多くなりがちである。これは、高速運転時で単位時間当たりに必要とされる情報量が多くなるほど顕著になる。   However, since visual information takes time to perceive and the short-term memory time is short, a vehicle equipped with a normal speedometer display tends to increase the number of times the speedometer is viewed during driving. This becomes more prominent as the amount of information required per unit time increases during high-speed operation.

このため、従来では、運転中の車両の速度を、通常の速度計表示に加え、音声出力により知らせる技術が提案されている。例えば、特許文献1に記載されているように、自動車が一定速度の上下許容範囲にあるときは連続音を発し、その許容範囲に近接する範囲内にあるときは断続音を発するなど、音声によってその車速を運転者に知らせている。
実開昭60−91533号公報
For this reason, conventionally, a technique has been proposed in which the speed of the vehicle being driven is notified by voice output in addition to the normal speedometer display. For example, as described in Patent Document 1, when a vehicle is in a constant upper and lower allowable range, it emits a continuous sound, and when it is within a range close to the allowable range, it emits an intermittent sound. The driver is informed of the vehicle speed.
Japanese Utility Model Publication No. 60-91533

しかしながら、このような従来の車両用音声出力装置にあっては、視覚情報の場合は運転者が必要なときに速度計に視線を向ければよいが、聴覚情報の場合は、車速が上下許容範囲あるいはその近辺にあるときに、音声による速度情報が一方的に出力されて運転者の耳に入るので、運転者に不快感やストレスを生じさせるなどの問題がある。   However, in such a conventional audio output device for a vehicle, in the case of visual information, it is only necessary to direct the line of sight to the speedometer when the driver needs it. Alternatively, when it is in the vicinity, speed information by voice is output unilaterally and enters the driver's ear, causing problems such as discomfort and stress to the driver.

また、音声の出力がない時に、運転者が表示画面内の必要とする情報を探したり見つめてしまうと、視野が狭くなり、車両の前方の状況に気付きにくくなるおそれがある。逆に、車両の前方の状況を気にすると表示画面の表示内容についてなかなか理解できず、車両外と表示画面を交互に繰り返して見るなど運転者の負担となってしまう問題があった。   In addition, when the driver searches for or looks at the necessary information in the display screen when there is no audio output, the field of view becomes narrow and it may be difficult to notice the situation in front of the vehicle. On the other hand, when the situation in front of the vehicle is concerned, there is a problem that it is difficult to understand the display contents of the display screen, and the driver is burdened by repeatedly viewing the display screen and the outside of the vehicle.

そこで本発明の目的とするところは、上述した課題に着目してなされたものであって、車両の速度情報などの車両情報を音声により出力しても、運転者に不快感やストレスを生じさせない車両用表示装置を提供することにある。また、車両の情報を迅速に察知できるようにした車両用表示装置を提供することにある。   Accordingly, an object of the present invention is to pay attention to the above-mentioned problems, and even if vehicle information such as vehicle speed information is output by voice, it does not cause discomfort or stress to the driver. The object is to provide a display device for a vehicle. Another object of the present invention is to provide a vehicle display device that can quickly detect vehicle information.

本発明の車両用表示装置は、請求項1に記載したように、車両の運転者の視線方向に応じた視線検出信号を出力する視線検出手段と、情報を表示するための表示部を設けてなる情報表示手段と、音声により前記情報を出力する音声出力手段と、前記視線検出手段からの前記視線検出信号に基づいて、前記運転者の視線が前記情報表示手段に移動したと判定した場合に、前記視線方向にある前記表示部の情報を前記音声出力手段にて出力させることを特徴とする制御手段と、を備えてなることを特徴とする。   The vehicle display device according to the present invention includes, as described in claim 1, a line-of-sight detection means for outputting a line-of-sight detection signal corresponding to the line-of-sight direction of the driver of the vehicle, and a display unit for displaying information. When it is determined that the driver's line of sight has moved to the information display unit, based on the information display unit, the voice output unit that outputs the information by voice, and the line-of-sight detection signal from the line-of-sight detection unit And control means for causing the audio output means to output information of the display unit in the line-of-sight direction.

また、請求項2に記載したように、請求項1に記載の車両用表示装置において、前記車両の速度に応じた車速検出信号を出力する車速検出手段を備え、前記制御手段は、前記車速検出手段からの車速検出信号に基づいて、前記音声出力手段の音圧を変更してなることを特徴とする。   The vehicle display device according to claim 1, further comprising vehicle speed detection means for outputting a vehicle speed detection signal corresponding to the speed of the vehicle, wherein the control means is configured to detect the vehicle speed. The sound pressure of the sound output means is changed based on a vehicle speed detection signal from the means.

また、請求項3に記載したように、請求項1に記載の車両用表示装置において、前記車両の速度に応じた車速検出信号を出力する車速検出手段を備え、前記制御手段は、前記車速検出手段からの前記車速検出信号に基づいて、前記車両の速度が所定速度以下の場合は、前記音声出力手段による出力を行わないようにすることを特徴とする。   The vehicle display device according to claim 1, further comprising vehicle speed detection means for outputting a vehicle speed detection signal corresponding to the speed of the vehicle, wherein the control means is configured to detect the vehicle speed. On the basis of the vehicle speed detection signal from the means, when the speed of the vehicle is equal to or lower than a predetermined speed, output by the sound output means is not performed.

また、請求項4に記載したように、請求項1に記載の車両用表示装置において、前記情報表示手段は、前記車両の異常状態を表示する警報表示部を設けてなり、前記制御手段は、前記車両に搭載される各種センサの検出信号に基づいて、前記車両が異常状態であり、かつ前記視線検出手段の前記視線検出信号に基づいて前記情報表示手段に視線を移動したと判断した場合に、前記異常状態を説明する音声を前記音声出力手段によって出力させることを特徴とする。   According to a fourth aspect of the present invention, in the vehicle display device according to the first aspect, the information display unit includes an alarm display unit that displays an abnormal state of the vehicle, and the control unit includes: When it is determined that the vehicle is in an abnormal state based on detection signals from various sensors mounted on the vehicle and the line of sight is moved to the information display unit based on the line-of-sight detection signal of the line-of-sight detection unit The sound output means outputs sound for explaining the abnormal state.

また、請求項5に記載したように、請求項1に記載の車両用表示装置において、前記制御手段は、前記視線検出手段の前記視線検出信号に基づいて、前記運転者が前記情報表示手段の前記表示部に視線を移動したと判断した場合に、前記表示部を照明する光源の照明輝度あるいは照明色を変化させてなることを特徴とする。   Further, as described in claim 5, in the vehicle display device according to claim 1, the control unit is configured so that the driver can control the information display unit based on the line-of-sight detection signal of the line-of-sight detection unit. When it is determined that the line of sight has been moved to the display unit, the illumination luminance or illumination color of the light source that illuminates the display unit is changed.

本発明は、車両のインストルメントパネル近傍に設けられて各種情報を表示する情報表示手段を備えた車両用表示装置に関し、車両の速度情報などの車両情報を音声により出力しても、運転者に不快感やストレスを生じさせない車両用表示装置となる。また、車両の情報を迅速に察知できるようにした車両用表示装置となる。   The present invention relates to a vehicular display device provided with an information display means provided in the vicinity of an instrument panel of a vehicle to display various types of information. Even if vehicle information such as vehicle speed information is output by voice, The vehicle display device does not cause discomfort or stress. In addition, the vehicle display device can quickly detect vehicle information.

以下、添付図面に基づいて本発明の実施の形態について説明する。   Hereinafter, embodiments of the present invention will be described with reference to the accompanying drawings.

図1,2に示すように、車両用表示装置は、視線検出手段1と、車速センサ(車速検出手段)2と、マイコン(制御手段)3と、コンビネーションメータ(情報表示手段)4と、音声出力手段5と、を車両内に備えている。   As shown in FIGS. 1 and 2, the vehicle display device includes a line-of-sight detection means 1, a vehicle speed sensor (vehicle speed detection means) 2, a microcomputer (control means) 3, a combination meter (information display means) 4, and a voice. Output means 5 is provided in the vehicle.

視線検出手段1は、車両の運転席に座る運転者の視線方向を検出するもので、ステレオカメラ1aと画像解析回路1bとから構成される。ステレオカメラ1aは、運転席の前方に位置するインストルメントパネルPの上部に設けられる2つのカメラからなり、互いに同期した状態で同一の対象物を撮像するようになっている。また、ステレオカメラ1aは、内部パラメータおよび相対的な位置関係は既知であり、検出対象となる目を含む運転者の顔画像を撮像し、画像解析回路1bに出力する。画像解析回路1bは、前記顔画像に基づいて所定のアルゴリズムを用いて視線(眼球)の移動状態を検出し、視線方向を算出することができる。また、画像解析回路1bによって算出された視線方向や視点位置に関する視線情報は、視線検出信号としてマイコン3に出力される。なお、画像解析回路1bは、例えば、ステレオカメラ1aの撮像に基づいて、運転者の目を特徴部分の3次元座標を算出し、この座標より算出される眼球の中心座標と別に算出される黒目の中心座標とを通過する線を視線として、視線方向を算出することもできる。   The line-of-sight detection means 1 detects the direction of the line of sight of the driver sitting in the driver's seat of the vehicle, and includes a stereo camera 1a and an image analysis circuit 1b. The stereo camera 1a is composed of two cameras provided on the upper part of the instrument panel P located in front of the driver's seat, and images the same object in a synchronized state. The stereo camera 1a has a known internal parameter and relative positional relationship, and captures a driver's face image including the eyes to be detected and outputs the image to the image analysis circuit 1b. The image analysis circuit 1b can detect the movement state of the line of sight (eyeball) using a predetermined algorithm based on the face image and calculate the line-of-sight direction. The line-of-sight information regarding the line-of-sight direction and the viewpoint position calculated by the image analysis circuit 1b is output to the microcomputer 3 as a line-of-sight detection signal. The image analysis circuit 1b calculates, for example, the three-dimensional coordinates of the characteristic part of the driver's eyes based on the image captured by the stereo camera 1a, and the black eye calculated separately from the center coordinates of the eyeball calculated from the coordinates. The line-of-sight direction can also be calculated using the line passing through the central coordinates of the line of sight as the line of sight.

車速センサ2は、車両の走行速度に応じた車速検出信号を発するものであって、例えば、車両のトランスミッションに取り付けられ、スピードメータ用のピニオン1回転あたり所定数のパルス信号を発生し、マイコン3に出力する。   The vehicle speed sensor 2 generates a vehicle speed detection signal corresponding to the traveling speed of the vehicle. For example, the vehicle speed sensor 2 is attached to the transmission of the vehicle, generates a predetermined number of pulse signals per one rotation of the pinion for the speedometer, and the microcomputer 3 Output to.

マイコン3は、マイクロコンピュータから構成されており、処理動作のプログラムが記憶されたROMと、演算値を一時的に記憶するRAMと、予め設定される各種設定値を記憶するEEPROMと、前記プログラムを実行するためのCPUと、入出力インターフェイス回路と、によって主に構成される。前記入出力インターフェイス回路は、画像解析回路1b、車速センサ2、コンビネーションメータ4の各計器、音声出力手段5と、図示しない各種センサなどに対してそれぞれ電気的な接続関係をなすための回路である。マイコン3は、視線検出手段1や車速センサ2などからの入力および前記プログラムに基づいて、コンビネーションメータ4の各計器や音声出力手段5に制御信号を出力し、所望の表示や音声出力を促すことができる。   The microcomputer 3 is composed of a microcomputer, and includes a ROM that stores a program for processing operations, a RAM that temporarily stores calculation values, an EEPROM that stores various preset values, and the program. It is mainly composed of a CPU for execution and an input / output interface circuit. The input / output interface circuit is a circuit for establishing an electrical connection relationship with the image analysis circuit 1b, the vehicle speed sensor 2, each instrument of the combination meter 4, the audio output means 5, and various sensors (not shown). . The microcomputer 3 outputs a control signal to each instrument of the combination meter 4 and the sound output means 5 based on the input from the line-of-sight detection means 1 and the vehicle speed sensor 2 and the program, and prompts desired display and sound output. Can do.

コンビネーションメータ4は、速度計4a、燃料計4b、走行距離計4c、時計4d、などの計器(表示部)を設けてなり、車両状態を示す情報や、時間を示す情報などを表示するものである。コンビネーションメータ4は、この場合、インストルメントパネルPの面に設けられ、運転席に着座した運転者にとって視認しやすい位置に各計器の表示部分が配置される。また、コンビネーションメータ4は、車両の異常状態を表示する警報表示部4eを備えている。なお、各計器4a〜4dや警報表示部4eは、それぞれの指針、指標、表示素子を照明するための光源を備えており、マイコン3の制御信号に基づいて照明される。   The combination meter 4 is provided with instruments (display units) such as a speedometer 4a, a fuel gauge 4b, an odometer 4c, and a clock 4d, and displays information indicating a vehicle state, information indicating time, and the like. is there. In this case, the combination meter 4 is provided on the surface of the instrument panel P, and the display portion of each instrument is arranged at a position that is easy for the driver seated on the driver's seat to visually recognize. The combination meter 4 includes an alarm display unit 4e that displays an abnormal state of the vehicle. In addition, each meter 4a-4d and the alarm display part 4e are provided with the light source for illuminating each indicator, a parameter | index, and a display element, and are illuminated based on the control signal of the microcomputer 3. FIG.

速度計4aは、マイコン3の制御信号に基づいて動作するステッピングモータを駆動源として回動する指針と、この指針の指示対象となる目盛りや単位などの指標が印刷された表示板などからなる。マイコン3は、車速センサ2から出力される単位時間あたりの前記パルス数またはパルス周期を検出することにより車両の走行速度を算出し、この走行速度を前記指針が指示するように促す制御信号を、速度計4aに出力する。運転者は、速度計4aの指針と指標とを対比判読することによって、車両の走行速度を把握することができる。   The speedometer 4a includes a pointer that rotates using a stepping motor that operates based on a control signal of the microcomputer 3 as a drive source, and a display board on which indices such as scales and units that are to be indicated by the pointer are printed. The microcomputer 3 calculates the traveling speed of the vehicle by detecting the number of pulses or the pulse period per unit time output from the vehicle speed sensor 2, and sends a control signal that prompts the traveling hand to instruct the traveling speed. Output to the speedometer 4a. The driver can comprehend the traveling speed of the vehicle by comparing and reading the pointer and index of the speedometer 4a.

燃料計4bは、速度計4aと同様に、マイコン3からの制御信号に基づいて動作する指針とこの指針の指示対象となる指標とによって、車両の燃料タンク内の燃料の残量を表示するものである。マイコン3は、図示しない、インジェクションに設けられる燃料噴射量センサや、燃料タンク内に設けられる液位センサなどからの情報に基づいて、燃料の残量を算出し、この算出結果を表示させる制御信号を燃料計4bに出力する。   Similar to the speedometer 4a, the fuel gauge 4b displays the remaining amount of fuel in the fuel tank of the vehicle based on a pointer that operates based on a control signal from the microcomputer 3 and an index that is the target of the pointer. It is. The microcomputer 3 calculates a remaining amount of fuel based on information from a fuel injection amount sensor provided in the injection, a liquid level sensor provided in the fuel tank, etc. (not shown), and displays a calculation result. Is output to the fuel gauge 4b.

走行距離計4cは、マイコン3の制御信号に基づいて、車両の積算走行距離を数字にて表示するものであって、液晶表示素子によって構成される。マイコン3は、車速センサ1から出力される単位時間あたりの前記パルス数をカウントすることにより車両の走行距離を算出し、この走行距離に応じた表示を促すように走行距離計4cに制御信号を出力する。   The odometer 4c displays the accumulated mileage of the vehicle as a number based on the control signal of the microcomputer 3, and is constituted by a liquid crystal display element. The microcomputer 3 calculates the travel distance of the vehicle by counting the number of pulses per unit time output from the vehicle speed sensor 1, and sends a control signal to the travel distance meter 4c so as to prompt the display according to the travel distance. Output.

時計4dは、マイコン3の振動子、または専用に設けられる振動子に基づいて算出される時間を表示するものであり、マイコン3からの制御信号に応じて表示する液晶表示素子によって構成される。   The timepiece 4d displays a time calculated based on a vibrator of the microcomputer 3 or a dedicated vibrator, and is constituted by a liquid crystal display element that displays according to a control signal from the microcomputer 3.

警報表示部4eは、車両に搭載される各種センサの検出信号に基づいて、ドアの閉め忘れ、シートベルトの締め忘れ、車間距離警報、排気温度の異常、電気系統の異常などの車両の状態に関する異常状態を表示して運転者に知らせるものである。警報表示部4eは、この場合、TFT型の液晶表示素子を適用でき、警報内容が記号、マーク、文字などによって表示することができる。   The alarm display unit 4e relates to vehicle conditions such as forgetting to close the door, forgetting to fasten the seat belt, an inter-vehicle distance alarm, an exhaust temperature abnormality, and an electrical system abnormality based on detection signals of various sensors mounted on the vehicle. An abnormal state is displayed to inform the driver. In this case, the alarm display unit 4e can apply a TFT-type liquid crystal display element, and the alarm contents can be displayed by symbols, marks, characters, and the like.

音声出力手段5は、マイコン3からの制御信号に基づいて、音声によって運転者に情報を伝えるものであり、この場合、専用に設けられるスピーカを適用できる。なお、音声出力手段5は、車両のオーディオ機器やナビゲーションシステムに用いられるスピーカと兼用してもよい。   The audio output means 5 conveys information to the driver by voice based on a control signal from the microcomputer 3, and in this case, a dedicated speaker can be applied. Note that the audio output means 5 may also be used as a speaker used in a vehicle audio device or a navigation system.

以上の構成によって、本発明の車両用表示装置を構成することができる。また、マイコン3によって、視線検出手段1からの視線検出信号に基づいて、音声出力手段5を作動させることができ、この処理方法について図3を用いて説明する。   With the above configuration, the vehicle display device of the present invention can be configured. Further, the microcomputer 3 can operate the sound output means 5 based on the line-of-sight detection signal from the line-of-sight detection means 1, and this processing method will be described with reference to FIG.

まず、マイコン3は、視線検出手段1からの視線検出信号に基づいて、運転者の視線情報を所定時間毎に入力する(ステップS1)。マイコン3は、この視線情報をRAMに格納し、現在と過去との視点や視線方向の情報に基づいて視線の移動状態を判定することができる。   First, the microcomputer 3 inputs the driver's line-of-sight information every predetermined time based on the line-of-sight detection signal from the line-of-sight detection means 1 (step S1). The microcomputer 3 stores the line-of-sight information in the RAM, and can determine the movement state of the line of sight based on information on the viewpoint and line-of-sight direction between the present and the past.

次にマイコン3は、ステップS1にて得た視線検出信号に基づいて、運転者の視線方向にある視線対象物を選定する(ステップS2)。なお、マイコン3は、フロントウィンドウWやコンビネーションメータ4などの車両部品の位置座標を予め格納しており、この車両部品の位置座標と視線検出手段1の視線検出信号に基づく視線方向や運転者の目の位置とから運転者が何れの車両部品に対して視線を向けているのかを選定することができる。例えば、マイコン3は、運転者がコンビネーションメータ4内の何れの計器4a〜4dに対して視線を向けたのかを、視線の通過路や注視時間などから特定し、視線対象となる計器を判定することができる。   Next, the microcomputer 3 selects a line-of-sight object in the driver's line-of-sight direction based on the line-of-sight detection signal obtained in step S1 (step S2). The microcomputer 3 stores in advance the position coordinates of vehicle parts such as the front window W and the combination meter 4. The line-of-sight direction based on the position coordinates of the vehicle parts and the line-of-sight detection signal of the line-of-sight detection means 1 and the driver's It is possible to select which vehicle component the driver is looking at from the position of the eyes. For example, the microcomputer 3 determines which instrument 4a to 4d in the combination meter 4 the gaze is directed to from the gaze passage and the gaze time, and determines the gaze target instrument. be able to.

マイコン3は、ステップS2にて選定された、視線対象物がコンビネーションメータ4であるか否かを判定する(ステップS3)。   The microcomputer 3 determines whether or not the line-of-sight object selected in step S2 is the combination meter 4 (step S3).

マイコン3は、車速センサ2からの車速検出信号に基づいて、車両の走行速度を算出し、所定走行速度よりも大きいか否かを判定する(ステップS4)。この場合、マイコン3は、車両の走行速度が所定走行速度として設定された時速20キロメートルより速いか否かを判定するようにしている。なお、この所定走行速度は、実用的に使用される走行速度域(例えば、時速0〜100キロメートル)から予め設定されるものであればよく、運転者によって任意の値に設定できるものであってもよい。   The microcomputer 3 calculates the traveling speed of the vehicle based on the vehicle speed detection signal from the vehicle speed sensor 2, and determines whether or not it is greater than the predetermined traveling speed (step S4). In this case, the microcomputer 3 determines whether or not the traveling speed of the vehicle is faster than 20 km / h set as the predetermined traveling speed. The predetermined traveling speed may be set in advance from a practically used traveling speed range (for example, 0 to 100 kilometers per hour), and can be set to an arbitrary value by the driver. Also good.

次にマイコン3は、ステップS3にて運転者がコンビネーションメータ4に視線を向けたと判定し、かつステップS4にて車両の走行速度が所定走行速度より大きいと判定した場合、車両の走行速度に応じて大きくなる走行ノイズなどを考慮した、運転者が聞き取りやすいであろう音圧を選択する(ステップS5)。なお、マイコン3は、車両の走行速度あるいは車両に取り付けられたノイズセンサ、車載オーディオ機器やナビゲーションシステムの音圧設定(ボリューム設定)の値などから、最適な音圧を選択することができる。   Next, if the microcomputer 3 determines in step S3 that the driver has turned his / her line of sight to the combination meter 4, and determines in step S4 that the vehicle traveling speed is greater than the predetermined traveling speed, the microcomputer 3 responds to the vehicle traveling speed. The sound pressure that is likely to be heard by the driver is selected in consideration of the increased driving noise (step S5). The microcomputer 3 can select an optimum sound pressure from the traveling speed of the vehicle, a noise sensor attached to the vehicle, a sound pressure setting (volume setting) value of the in-vehicle audio device or the navigation system, or the like.

次にマイコン3は、車両に搭載される各種センサからの検出信号に基づいて、警報表示部4eに表示するべく異常状態が有るか否かを判定する(ステップS6)。なお、マイコン3は、車両に異常状態が有る場合には、別のアルゴリズムによって、警報内容を表示するように促す制御信号を警報表示部4eに出力している。したがって、マイコン3は、ステップS6において、警報表示部4eの表示内容において警報表示の有無を判定するものであってもよい。   Next, the microcomputer 3 determines whether or not there is an abnormal state to display on the alarm display unit 4e based on detection signals from various sensors mounted on the vehicle (step S6). Note that the microcomputer 3 outputs a control signal for prompting the display of the alarm contents to the alarm display unit 4e by another algorithm when the vehicle is in an abnormal state. Therefore, the microcomputer 3 may determine whether or not an alarm is displayed in the display content of the alarm display unit 4e in step S6.

マイコン3は、ステップS6にて異常状態が有ると判定した場合に、警報表示部4eにて表示される警報内容について音声にて知らせるべく制御信号を音声出力手段5に出力する(ステップS7)。この際、マイコン3は、ステップS5にて選択された最適な音圧にて音声出力されるように音声出力手段5を制御する。   If the microcomputer 3 determines that there is an abnormal state in step S6, the microcomputer 3 outputs a control signal to the voice output means 5 to notify the alarm content displayed on the alarm display unit 4e by voice (step S7). At this time, the microcomputer 3 controls the sound output means 5 so that sound is output at the optimum sound pressure selected in step S5.

また、マイコン3は、ステップS3にて運転者がコンビネーションメータ4に視線を向けたと判定し、かつステップS4にて車両の走行速度が所定走行速度より大きいと判定した場合、視線対象となる計器が表示する情報を音声にて知らせるべく制御信号を音声出力手段5に出力する(ステップS8)。この際、マイコン3は、ステップS5にて選択された最適な音圧にて音声出力されるように音声出力手段5を制御する。例えば、ステップS2において速度計4aに視線を向けたと選定された場合、「時速60キロメートルです」のように読み上げて音声出力させることができる。また、ステップS7にて警報内容を音声出力している場合には、この警報内容の音声出力が終了するのを待ってから、その時点での情報(走行速度)を音声出力することもできる。   If the microcomputer 3 determines in step S3 that the driver has turned his / her line of sight to the combination meter 4 and determines in step S4 that the traveling speed of the vehicle is greater than the predetermined traveling speed, the target instrument is In order to notify the information to be displayed by voice, a control signal is output to the voice output means 5 (step S8). At this time, the microcomputer 3 controls the sound output means 5 so that sound is output at the optimum sound pressure selected in step S5. For example, when it is selected in step S2 that the line of sight is directed to the speedometer 4a, it can be read out as “It is 60 kilometers per hour” and output as a voice. Further, when the alarm content is output as a voice in step S7, the information (traveling speed) at that time can be output as a voice after waiting for the end of the voice output of the alarm content.

なお、音声を読み始めてから終えるまでに時間を要するため、急激に値が変わる情報(例えば、エンジン回転数)や細かな値変化を把握しなければならない情報については音声出力をしないで、燃料計4bの燃料残量(リットル単位)や走行距離計4cの走行距離(キロメートル単位)などの変化の少ない値を音声出力するものが好適である。したがって、マイコン3は、音声出力するのに好適な計器の情報のみ音声出力させるように、選択的に制御信号を音声出力手段5に出力することができる。   Since it takes time to start reading and finish reading the voice, do not output the fuel meter for information that changes suddenly (for example, the engine speed) or information that needs to know small value changes. It is preferable to output a value with little change such as the fuel remaining amount (liter unit) of 4b and the travel distance (kilometer unit) of the odometer 4c. Therefore, the microcomputer 3 can selectively output the control signal to the sound output means 5 so as to output only the information of the instrument suitable for outputting sound.

また、マイコン3は、視線対象として選定された計器の照明が、ステップS8の処理によって音声出力されている間に点滅するように、コンビネーションメータ4の光源に制御信号を出力する(ステップS9)。したがって、運転者は、ステップS8にて音声出力される情報が何れの計器に関する情報であるのかを、容易に察知することができる。なお、コンビネーションメータ4に通常の照明色と異なる色を発する光源を各計器毎に用意しておき、視線対象として選定された計器の照明色を変化させることもできる。   Further, the microcomputer 3 outputs a control signal to the light source of the combination meter 4 so that the illumination of the meter selected as the line-of-sight target blinks while the sound is output by the process of step S8 (step S9). Therefore, the driver can easily detect which instrument is the information that is output as a voice in step S8. Note that a light source that emits a color different from the normal illumination color is prepared in the combination meter 4 for each instrument, and the illumination color of the instrument selected as the line-of-sight target can be changed.

上述したステップS1〜S9の処理を繰り返すことによって、視線検出手段1からの視線検出信号に基づいて、音声出力手段5を作動させ、運転者にとって必要な情報を容易に認識することが可能な運転支援機能となる。   By repeating the processes of steps S1 to S9 described above, the voice output unit 5 is operated based on the line-of-sight detection signal from the line-of-sight detection unit 1, and the driving can easily recognize information necessary for the driver. It becomes a support function.

かかる車両用表示装置は、車両の運転者の視線方向に応じた視線検出信号を出力する視線検出手段1と、情報を表示するための計器4a〜4dを設けてなるコンビネーションメータ4と、音声により前記情報を出力する音声出力手段5と、視線検出手段1からの視線検出信号に基づいて、前記運転者の視線がコンビネーションメータ4に移動したと判定した場合に、前記視線方向にある計器の情報を音声出力手段5にて出力させることを特徴とするマイコン3と、を備えてなる。   Such a vehicle display device includes a line-of-sight detection means 1 that outputs a line-of-sight detection signal corresponding to the line-of-sight direction of the driver of the vehicle, a combination meter 4 provided with instruments 4a to 4d for displaying information, and voice. When it is determined that the driver's line of sight has moved to the combination meter 4 based on the line-of-sight detection signal from the sound output means 5 for outputting the information and the line-of-sight detection means 1, information on the instrument in the line-of-sight direction Is output by the audio output means 5.

したがって、運転者は、コンビネーションメータ4の何れかの計器を確認する際に、表示と音声によって情報を出力することができるため、視覚と聴覚とを用いて必要な情報を迅速に把握することが可能となる。また、視線検出手段1を用いたことによって、運転者が確認したい時にスイッチ操作など煩わしい作業を行わなくとも、的確なタイミングにて自動的に音声出力することができる。そのため、運転者に不快感やストレスを生じさせない車両用表示装置となる。   Therefore, the driver can output information by display and voice when checking any instrument of the combination meter 4, so that the driver can quickly grasp necessary information using vision and hearing. It becomes possible. In addition, by using the line-of-sight detection means 1, it is possible to automatically output a sound at an appropriate timing without performing troublesome work such as switch operation when the driver wants to confirm. Therefore, the vehicle display device does not cause discomfort or stress to the driver.

また、車両の速度に応じた車速検出信号を出力する車速検出手段2を備え、マイコン3は、車速検出手段2からの車速検出信号に基づいて、音声出力手段5の音圧を変更してなることによって、車両速度に応じて大きくなる走行ノイズなどを考慮して適当な音圧にて所望の情報を音声出力することができる。そのため、運転者は、音声出力された情報を容易に聞き取ることができ、迅速に把握することが可能となる。   Further, the vehicle speed detection means 2 for outputting a vehicle speed detection signal corresponding to the vehicle speed is provided, and the microcomputer 3 changes the sound pressure of the sound output means 5 based on the vehicle speed detection signal from the vehicle speed detection means 2. As a result, it is possible to output desired information by sound with an appropriate sound pressure in consideration of traveling noise that increases in accordance with the vehicle speed. Therefore, the driver can easily hear the information output by voice and can quickly grasp the information.

また、車両の速度に応じた車速検出信号を出力する車速検出手段2を備え、マイコン3は、ステップS4の処理によって、車速検出手段2からの車速検出信号に基づいて、車両の速度が所定速度以下の場合は、音声出力手段5による出力を行わないようにできる。したがって、例えば、停車中や徐行運転中など、計器を見る時間を十分に確保できると思われる時には、自動的に音声出力を行わないで、煩わしさを低減し、運転者に不快感やストレスを生じさせないようにできる。   Further, the vehicle speed detection means 2 for outputting a vehicle speed detection signal corresponding to the speed of the vehicle is provided, and the microcomputer 3 determines that the vehicle speed is a predetermined speed based on the vehicle speed detection signal from the vehicle speed detection means 2 by the process of step S4. In the following cases, output by the audio output means 5 can be prevented. Therefore, for example, when it is thought that sufficient time to look at the instrument can be secured, such as when the vehicle is stopped or driving slowly, the voice output is not performed automatically, reducing the annoyance and causing the driver to feel uncomfortable or stressful. It can be avoided.

また、コンビネーションメータ4は、車両の異常状態を表示する警報表示部4eを設けてなり、マイコンは、車両に搭載される各種センサの検出信号に基づいて、車両が異常状態であり、かつ視線検出手段1の視線検出信号に基づいてコンビネーションメータに視線を移動したと判断した場合に、前記異常状態を説明する音声を音声出力手段5によって出力させるものである。したがって、運転者に見落としがちな警報を迅速に把握させることが可能となる。また、警報表示部4eの表示スペースに表示しきれない情報を音声にて表現することができるため、わかりやすく警報を報知することができる。   The combination meter 4 is provided with an alarm display unit 4e for displaying an abnormal state of the vehicle, and the microcomputer detects that the vehicle is in an abnormal state based on detection signals from various sensors mounted on the vehicle and detects the line of sight. When it is determined that the line of sight has been moved to the combination meter based on the line-of-sight detection signal of the means 1, the sound output means 5 outputs a sound explaining the abnormal state. Therefore, it is possible to promptly grasp a warning that is likely to be overlooked by the driver. Further, since information that cannot be displayed in the display space of the alarm display unit 4e can be expressed by voice, the alarm can be notified in an easy-to-understand manner.

また、マイコン3は、視線検出手段1の視線検出信号に基づいて、運転者がコンビネーションメータ4の計器4a〜4dに視線を移動したと判断した場合に、計器4a〜4dを照明する光源の照明輝度あるいは照明色を変化させてなることによって、音声出力される情報とその情報を表示出力している計器との関連性を持たせることができるため、運転者は、音声出力されている内容を迅速に把握することができる。   Moreover, the microcomputer 3 illuminates the light sources that illuminate the instruments 4a to 4d when the driver determines that the driver has moved his / her line of sight to the instruments 4a to 4d of the combination meter 4 based on the sight line detection signal of the sight line detection means 1. By changing the brightness or illumination color, it is possible to have a relationship between the information that is output as voice and the instrument that displays and outputs that information. It is possible to grasp quickly.

なお、本発明の実施の形態では、上述した構成部品からなる車両用表示装置を例に挙げて説明したが、本発明はこれに限定されるものではなく、その構成や処理は同様の効果が得られるものであればよく、例えば、車両の異常状態に基づく上述した処理(ステップS6,S7)を行わないなど、上述の処理の手順と異なるものであっても良い。   In the embodiment of the present invention, the vehicle display device including the above-described components has been described as an example. However, the present invention is not limited to this, and the configuration and processing have the same effects. What is necessary is just to be obtained, for example, it may differ from the procedure of the above-mentioned processing, such as not performing the above-mentioned processing (Steps S6 and S7) based on the abnormal state of the vehicle.

また、本発明の実施の形態では、液晶表示素子や指針と指標とからなる計器を例に挙げて説明したが、本発明はこれに限定されるものではなく、例えば、インストルメントパネルP上部に表示像を投影する表示器と、この表示像を運転者の方向へ虚像として投射する反射ミラーとを少なくとも備えた虚像表示装置(ヘッドアップディスプレイ装置)を用いることで、虚像と車両の前方風景との距離を近づけることができるため、運転者の視線移動を更に抑制しつつ、車両の前方の状況を迅速に察知できる車両用表示装置となる。   Further, in the embodiment of the present invention, the liquid crystal display element and the instrument composed of the pointer and the index have been described as examples. However, the present invention is not limited to this, for example, on the upper part of the instrument panel P. By using a virtual image display device (head-up display device) including at least a display device that projects a display image and a reflection mirror that projects the display image as a virtual image toward the driver, Therefore, the vehicle display device can quickly detect the situation in front of the vehicle while further suppressing the movement of the driver's line of sight.

本発明の実施の形態である車両用表示装置のブロック図。The block diagram of the display apparatus for vehicles which is an embodiment of the invention. 同上実施の形態の車両用表示装置が車両に搭載された例を示す図。The figure which shows the example by which the vehicle display apparatus of embodiment same as the above was mounted in the vehicle. 同上実施の形態の音声出力に関する処理手順を示す図。The figure which shows the process sequence regarding the audio | voice output of embodiment same as the above.

符号の説明Explanation of symbols

1 視線検出手段
3 マイコン(制御手段)
4 コンビネーションメータ(情報表示手段)
4a 速度計(表示部)
4b 燃料計(表示部)
4c 時計(表示部)
4d 警報表示部
5 音声出力手段
1 Gaze detection means 3 Microcomputer (control means)
4 Combination meter (information display means)
4a Speedometer (display unit)
4b Fuel gauge (display unit)
4c Clock (display unit)
4d Alarm display section 5 Audio output means

Claims (5)

車両の運転者の視線方向に応じた視線検出信号を出力する視線検出手段と、
情報を表示するための表示部を設けてなる情報表示手段と、
音声により前記情報を出力する音声出力手段と、
前記視線検出手段からの前記視線検出信号に基づいて、前記運転者の視線が前記情報表示手段に移動したと判定した場合に、前記視線方向にある前記表示部の情報を前記音声出力手段にて出力させることを特徴とする制御手段と、
を備えてなることを特徴とする車両用表示装置。
Gaze detection means for outputting a gaze detection signal corresponding to the gaze direction of the driver of the vehicle;
Information display means provided with a display unit for displaying information;
Voice output means for outputting the information by voice;
Based on the line-of-sight detection signal from the line-of-sight detection means, when it is determined that the driver's line of sight has moved to the information display means, information on the display unit in the line-of-sight direction is output by the audio output means. Control means characterized by outputting, and
A vehicle display device comprising:
前記車両の速度に応じた車速検出信号を出力する車速検出手段を備え、
前記制御手段は、前記車速検出手段からの前記車速検出信号に基づいて、前記音声出力手段の音圧を変更してなることを特徴とする請求項1に記載の車両用表示装置。
Vehicle speed detection means for outputting a vehicle speed detection signal corresponding to the speed of the vehicle,
The vehicle display device according to claim 1, wherein the control unit changes a sound pressure of the sound output unit based on the vehicle speed detection signal from the vehicle speed detection unit.
前記車両の速度に応じた車速検出信号を出力する車速検出手段を備え、
前記制御手段は、前記車速検出手段からの前記車速検出信号に基づいて、前記車両の速度が所定速度以下の場合は、前記音声出力手段による出力を行わないようにすることを特徴とする請求項1に記載の車両用表示装置。
Vehicle speed detection means for outputting a vehicle speed detection signal corresponding to the speed of the vehicle,
The said control means is based on the said vehicle speed detection signal from the said vehicle speed detection means, When the speed of the said vehicle is below a predetermined speed, it does not perform the output by the said audio | voice output means. The vehicle display device according to 1.
前記情報表示手段は、前記車両の異常状態を表示する警報表示部を設けてなり、
前記制御手段は、前記車両に搭載される各種センサの検出信号に基づいて、前記車両が異常状態であり、かつ前記視線検出手段の前記視線検出信号に基づいて前記情報表示手段に視線を移動したと判断した場合に、前記異常状態を説明する音声を前記音声出力手段によって出力させることを特徴とする請求項1に記載の車両用表示装置。
The information display means includes an alarm display unit for displaying an abnormal state of the vehicle,
The control means moves the line of sight to the information display means based on the line-of-sight detection signal of the line-of-sight detection means based on detection signals of various sensors mounted on the vehicle. 2. The vehicular display device according to claim 1, wherein the sound output means outputs a sound explaining the abnormal state when it is determined.
前記制御手段は、前記視線検出手段の前記視線検出信号に基づいて、前記運転者が前記情報表示手段の前記表示部に視線を移動したと判断した場合に、前記表示部を照明する光源の照明輝度あるいは照明色を変化させてなることを特徴とする請求項1に記載の車両用表示装置。
The control means illuminates a light source that illuminates the display unit when the driver determines that the line of sight has moved to the display unit of the information display unit based on the gaze detection signal of the gaze detection unit The vehicle display device according to claim 1, wherein brightness or illumination color is changed.
JP2005052444A 2005-02-28 2005-02-28 Vehicle display device Active JP4577564B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005052444A JP4577564B2 (en) 2005-02-28 2005-02-28 Vehicle display device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005052444A JP4577564B2 (en) 2005-02-28 2005-02-28 Vehicle display device

Publications (2)

Publication Number Publication Date
JP2006232199A true JP2006232199A (en) 2006-09-07
JP4577564B2 JP4577564B2 (en) 2010-11-10

Family

ID=37040309

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005052444A Active JP4577564B2 (en) 2005-02-28 2005-02-28 Vehicle display device

Country Status (1)

Country Link
JP (1) JP4577564B2 (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008038435A1 (en) * 2006-09-28 2008-04-03 Sharp Kabushiki Kaisha Display control device, information display system for moving object, cockpit module and moving object
JP2008081031A (en) * 2006-09-28 2008-04-10 Clarion Co Ltd On-vehicle device with notifying function
JP2010126061A (en) * 2008-11-28 2010-06-10 Mitsubishi Motors Corp Display interlocking guidance system
JP2014130463A (en) * 2012-12-28 2014-07-10 Denso Corp Control device
CN113574590A (en) * 2019-03-11 2021-10-29 松下知识产权经营株式会社 Display control device, display system, display control method, and program
US11186294B2 (en) 2017-08-10 2021-11-30 Rohm Co., Ltd. In-vehicle timing controller and vehicle using the same

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS59223534A (en) * 1983-05-31 1984-12-15 Toyota Motor Corp Oral sound developing method of vehicle
JPH06321030A (en) * 1993-05-11 1994-11-22 Yazaki Corp Vehicular voice output device
JP2002166787A (en) * 2000-11-29 2002-06-11 Nissan Motor Co Ltd Vehicular display device

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS59223534A (en) * 1983-05-31 1984-12-15 Toyota Motor Corp Oral sound developing method of vehicle
JPH06321030A (en) * 1993-05-11 1994-11-22 Yazaki Corp Vehicular voice output device
JP2002166787A (en) * 2000-11-29 2002-06-11 Nissan Motor Co Ltd Vehicular display device

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008038435A1 (en) * 2006-09-28 2008-04-03 Sharp Kabushiki Kaisha Display control device, information display system for moving object, cockpit module and moving object
JP2008081031A (en) * 2006-09-28 2008-04-10 Clarion Co Ltd On-vehicle device with notifying function
US8130087B2 (en) 2006-09-28 2012-03-06 Sharp Kabushiki Kaisha Display control device, information display system for moving object, module for driver's seat and moving object
JP2010126061A (en) * 2008-11-28 2010-06-10 Mitsubishi Motors Corp Display interlocking guidance system
JP2014130463A (en) * 2012-12-28 2014-07-10 Denso Corp Control device
US11186294B2 (en) 2017-08-10 2021-11-30 Rohm Co., Ltd. In-vehicle timing controller and vehicle using the same
CN113574590A (en) * 2019-03-11 2021-10-29 松下知识产权经营株式会社 Display control device, display system, display control method, and program
CN113574590B (en) * 2019-03-11 2024-04-05 松下汽车电子系统株式会社 Display control device, display system, display control method, and program

Also Published As

Publication number Publication date
JP4577564B2 (en) 2010-11-10

Similar Documents

Publication Publication Date Title
US8566017B2 (en) Driving support apparatus for vehicle
US8653961B2 (en) Vehicle display device and display method
JP3414191B2 (en) Inter-vehicle distance alarm
JP5088669B2 (en) Vehicle periphery monitoring device
US9151615B2 (en) Navigation system and method for navigation
JP4577564B2 (en) Vehicle display device
JP2006163501A (en) Appropriate inter-vehicle distance display control device
JPH07117593A (en) Alarm device for vehicle
KR20150061943A (en) Device for detecting the status of the driver and method thereof
JP4259378B2 (en) Vehicle display device
US10207584B2 (en) Information providing apparatus for vehicle
JP7058800B2 (en) Display control device, display control method, and display control program
JP4858094B2 (en) Display display system
JP5383142B2 (en) Vehicle position warning method and vehicle position warning device
JP5073703B2 (en) Vehicle display device
JP2006015803A (en) Display device for vehicle and vehicle on which display device for vehicle is mounted
JP2019095892A (en) Vehicle drive supporting device and vehicle drive supporting program
JPH07195961A (en) Display device for vehicle
JP2019031176A (en) Display device for vehicle
JP5648493B2 (en) Vehicle periphery monitoring device, display method and program for vehicle periphery monitoring device
CN113661085B (en) Vehicle-mounted driving assistance device
KR200395097Y1 (en) Apparatus warning to restricted speed of vehicle
Benmimoun et al. Design and practical evaluation of an intersection assistant in real world tests
JP2018147479A (en) Driving support device
JP2018192890A (en) Display control device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080220

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100729

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100729

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100811

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130903

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4577564

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250