JP2010058631A - Vehicular information display device - Google Patents

Vehicular information display device Download PDF

Info

Publication number
JP2010058631A
JP2010058631A JP2008225832A JP2008225832A JP2010058631A JP 2010058631 A JP2010058631 A JP 2010058631A JP 2008225832 A JP2008225832 A JP 2008225832A JP 2008225832 A JP2008225832 A JP 2008225832A JP 2010058631 A JP2010058631 A JP 2010058631A
Authority
JP
Japan
Prior art keywords
hmd
illuminance
occupant
sensor
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2008225832A
Other languages
Japanese (ja)
Inventor
Masatomo Sumimoto
雅友 隅本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mazda Motor Corp
Original Assignee
Mazda Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mazda Motor Corp filed Critical Mazda Motor Corp
Priority to JP2008225832A priority Critical patent/JP2010058631A/en
Publication of JP2010058631A publication Critical patent/JP2010058631A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Navigation (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Instrument Panels (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a vehicular information display device capable of visually providing various kinds of information through an HMD (Head Mount Display), and preventing fatigue of eyes. <P>SOLUTION: When an occupant holding a portable terminal M wears an HMD 30, ID is acquired from the portable terminal M, the occupant is indirectly specified by the ID, and the light quantity passing through a lens 32 (a liquid crystal panel 40) of the HMD 30 is adjusted based on the target illuminance prepared in advance in a memory of the portable terminal M so that the light quantity corresponding to the occupant related to the ID enters eyes E. The target illuminance is adjusted based on these pieces of information by incorporating the attributes such as the pupil color, the sex, and the age included in a memory 92 of the portable terminal M, and then, the light transmittance of the liquid crystal panel 40 of the HMD 30 is controlled based on the target illuminance after the adjustment. <P>COPYRIGHT: (C)2010,JPO&INPIT

Description

本発明は車両用情報表示装置に関する。   The present invention relates to a vehicle information display device.

ナビゲーション装置などにより提供される運転支援情報は運転時の利便性向上に大きく役立っている。その一方で、そのような運転支援情報を車両のどの部分にどのようにして表示するとよいかが、車両走行における安全性の観点から問題となっている。   Driving support information provided by a navigation device or the like is greatly useful for improving convenience during driving. On the other hand, how to display such driving support information on which part of the vehicle is a problem from the viewpoint of safety in vehicle travel.

例えば、フロントウィンドウに運転支援情報を投影表示する技術が提案されている。しかし、ドライバは運転中、絶えず顔の向きや視線を動かしているのであり、フロントウィンドウの情報表示部に視線を固定しているわけにはいかない。   For example, a technique for projecting and displaying driving support information on a front window has been proposed. However, the driver constantly moves the face direction and line of sight while driving, and the line of sight cannot be fixed on the information display part of the front window.

これに対し、特許文献1は、頭部装着型表示装置(MHD:ヘッドマウントディスプレイ)に運転支援情報を表示することにより、ドライバの頭の向きにかかわらずドライバに運転支援情報を提供できるようにした技術が開示されている。HMDに関して、特許文献1は、ドライバの両目を覆う複眼タイプ(ゴーグルタイプ)のHMDを開示しており、このHMDは、左右のレンズがカラー表示液晶パネルで構成されている(特許文献1の図2を参照)。   On the other hand, Patent Document 1 displays driving support information on a head-mounted display device (MHD: head mounted display) so that the driving support information can be provided to the driver regardless of the head direction of the driver. Have been disclosed. Regarding HMD, Patent Document 1 discloses a compound eye type (goggles type) HMD that covers both eyes of a driver, and this HMD has left and right lenses formed of a color display liquid crystal panel (see FIG. 1). 2).

特許文献1と同様に、特許文献2もゴーグルタイプのHMDを開示し、このHMDの左右のレンズを通じて乗員の周囲の環境を見ることができると共に車両の外部状況をドライバの眼前に立体画像として表示することを提案している。   Similar to Patent Document 1, Patent Document 2 also discloses a goggle-type HMD, and the environment around the occupant can be seen through the left and right lenses of the HMD, and the external situation of the vehicle is displayed as a stereoscopic image in front of the driver's eyes. Propose to do.

特開平7−294842号公報JP-A-7-294842 特開平10−206789号公報JP-A-10-206789

複眼タイプのHMDは、これを装着した乗員が外部からの光を左右の目で受け止めるため、外部からの光の照度が大きいと眩しさを感じ、ひいては目の疲れを誘発してしまう可能性がある。   The compound eye type HMD receives the light from the outside with the left and right eyes of the occupant wearing it, so if the illuminance of the light from the outside is large, it may feel dazzling and eventually induce eye fatigue. is there.

本発明の目的は、HMDを通じて種々の情報を視覚的に提供するだけでなく、目の疲れを防止することのできる情報表示装置を提供することにある。   An object of the present invention is to provide an information display device capable of not only visually providing various information through an HMD but also preventing eye fatigue.

上記の技術的課題は、本発明によれば、
光透過度が制御可能な左右のレンズを備え、該左右のレンズを通じて周囲の環境を見ることができると共に車両の外部状況を眼前に立体画像として表示することのできるHMDを含む車両用情報表示装置であって、
前記HMDを装着した乗員に入射する光の照度を検出する照度センサと、
前記HMDを装着した乗員の瞳の開度を検出する瞳開度検出手段と、
該瞳開度検出手段により検出した乗員の瞳の開度と前記照度センサにより検出した光の照度とに基づいて前記左右のレンズの光透過度を制御する光透過度制御手段と、
前記照度センサ、前記瞳開度検出手段、前記光透過度制御手段との間でデータを送受信する通信ネットワーク手段とを有することを特徴とする車両用情報表示装置を提供することにより達成される。
According to the present invention, the above technical problem is
Vehicle information display apparatus including an HMD that includes left and right lenses whose light transmittance is controllable, and that can see the surrounding environment through the left and right lenses and can display the external situation of the vehicle as a stereoscopic image in front of the eyes Because
An illuminance sensor for detecting the illuminance of light incident on a passenger wearing the HMD;
Pupil opening degree detecting means for detecting an opening degree of a passenger's pupil wearing the HMD;
Light transmittance control means for controlling the light transmittance of the left and right lenses based on the opening degree of the occupant's pupil detected by the pupil opening degree detection means and the illuminance of the light detected by the illuminance sensor;
This is achieved by providing a vehicle information display device comprising communication network means for transmitting / receiving data to / from the illuminance sensor, the pupil opening degree detection means, and the light transmittance control means.

すなわち、本発明によれば、乗員に入射する光の照度及び乗員の瞳の開度によって左右のレンズの光透過度が調整されるため、乗員の目に好ましい光の量が入ることで目の疲れを抑えることができる。   That is, according to the present invention, the light transmittance of the left and right lenses is adjusted by the illuminance of the light incident on the occupant and the opening of the occupant's pupil. You can reduce fatigue.

本発明の好ましい実施の形態では、
前記通信ネットワーク手段の一部を構成する記憶手段を更に有し、
該記憶手段に、乗員毎に予め目標照度が記憶されており、
該記憶手段に記憶されている目標照度に基づいて前記光透過度制御手段が制御される。この実施の形態によれば、乗員がHMDを装着した早い段階で、乗員の目に入る光の照度を最適化することができる。
In a preferred embodiment of the present invention,
Storage means constituting part of the communication network means;
In the storage means, the target illuminance is stored in advance for each occupant,
The light transmittance control means is controlled based on the target illuminance stored in the storage means. According to this embodiment, the illuminance of light entering the eyes of the occupant can be optimized at an early stage when the occupant wears the HMD.

本発明の好ましい実施の形態では、また、
前記照度センサが、前記通信ネットワーク手段の一部を構成し且つ前記HMDに装着されたセンサノードで構成され、該センサノードのメモリに、乗員を間接的に特定することのできる属性データと、該属性データに関連付けて当該乗員の目標照度のデータとが記憶されている。このように、HMDに装着したセンサノードに照度センサの機能を付与することで、乗員に入射する光の照度を検出するのが容易となるだけでなく、乗員の目標照度をHMDのセンサノードに記憶させておくことで、乗員と目標照度との関連付けが明確になり、別の乗員の目標照度が設定されてしまう可能性を低減することができる。
In a preferred embodiment of the present invention,
The illuminance sensor is constituted by a sensor node that forms part of the communication network means and is attached to the HMD, and attribute data that can indirectly identify an occupant in the memory of the sensor node; The target illuminance data of the passenger is stored in association with the attribute data. Thus, by providing the sensor node attached to the HMD with the function of the illuminance sensor, it becomes easy not only to detect the illuminance of light incident on the occupant, but also to set the illuminance target illuminance to the sensor node of the HMD. By storing it, the association between the occupant and the target illuminance becomes clear, and the possibility that the target illuminance of another occupant is set can be reduced.

本発明の好ましい実施の形態では、また、
通信ネットワーク手段に組み込み可能な携帯端末を更に有し、
該携帯端末のIDに関連して、当該携帯端末を所有する乗員の目標照度のデータが該携帯端末のメモリに記憶されている。
In a preferred embodiment of the present invention,
A portable terminal that can be incorporated into the communication network means;
In relation to the ID of the portable terminal, data on the target illuminance of the occupant who owns the portable terminal is stored in the memory of the portable terminal.

上記携帯端末は典型的には携帯電話機である。携帯電話機は固有のIDが記憶されており、このIDを使うことで携帯電話機を特定することができる。携帯電話機は、これを所持する人間が特定されるのが通常であることから、携帯電話機のIDを介して、これを所持する乗員を特定することができる。また、この携帯電話機のメモリに、当該乗員の目標照度を記憶させておき、この目標照度に基づいてHMDのレンズの光透過度を制御することで、携帯電話機を所持する乗員と、当該乗員の目標照度とを間違えることなく目標照度を設定することができる。   The mobile terminal is typically a mobile phone. The mobile phone stores a unique ID, and the mobile phone can be specified by using this ID. Since it is normal that the person who possesses the mobile phone is specified, it is possible to specify the occupant who owns the mobile phone via the ID of the mobile phone. Further, by storing the target illuminance of the occupant in the memory of the mobile phone, and controlling the light transmittance of the lens of the HMD based on the target illuminance, the occupant carrying the mobile phone and the occupant's The target illuminance can be set without making a mistake with the target illuminance.

本発明の好ましい実施の形態では、通信ネットワーク手段を構成する複数のセンサノードが、HMDを装着した乗員を特定することのできる検出機能を備えている。具体的には、シートに設置したセンサノードに圧力センサの機能を付与しておき、シートに着座した乗員の体重を検出することで、この検出した体重から乗員を特定することができる。   In a preferred embodiment of the present invention, a plurality of sensor nodes constituting the communication network means have a detection function that can identify an occupant wearing an HMD. Specifically, the function of the pressure sensor is given to the sensor node installed on the seat, and the occupant can be identified from the detected weight by detecting the weight of the occupant seated on the seat.

本発明の好ましい実施の形態では、
前記目標照度が、前記瞳開度検出手段で検出した乗員の瞳開度及び前記照度センサからの光の照度に基づいて調整される。例えばドライバは、目線や顔の向きを変えながら運転するのが常である。この変化に対応して目標照度を調整することで、HMDのレンズの光透過度を状況変化に追従させることができる。
In a preferred embodiment of the present invention,
The target illuminance is adjusted based on the occupant's pupil opening detected by the pupil opening detection means and the illuminance of light from the illuminance sensor. For example, a driver usually drives while changing his / her eyes and face direction. By adjusting the target illuminance in response to this change, the light transmittance of the HMD lens can be made to follow the situation change.

本発明の好ましい実施の形態では、
前記携帯端末のメモリに、乗員の目に関する属性が記憶されており、
該乗員の属性を取り込んで、該属性に基づいて前記目標照度を調整した後に、前記レンズの光透過度の制御が実行される。乗員の目に関する属性として、瞳の色、性別、年齢を挙げることでき、これらの要素によって目標照度を調整することで、個体差に対応した目標照度を設定することができる。
In a preferred embodiment of the present invention,
Attributes relating to the eyes of the occupant are stored in the memory of the portable terminal,
After taking in the attribute of the occupant and adjusting the target illuminance based on the attribute, control of the light transmittance of the lens is executed. The attributes relating to the eyes of the occupant can include the color, sex, and age of the pupil. By adjusting the target illuminance according to these factors, the target illuminance corresponding to individual differences can be set.

以下、図面を参照して本発明の好適な実施形態について詳細に説明する。なお、本発明は以下の実施形態に限定されるものではなく、本発明の実施に有利な具体例を示すにすぎない。また、以下の実施形態の中で説明されている特徴の組み合わせの全てが本発明の課題解決手段として必須のものであるとは限らない。   DESCRIPTION OF EMBODIMENTS Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the drawings. In addition, this invention is not limited to the following embodiment, It shows only the specific example advantageous for implementation of this invention. In addition, not all combinations of features described in the following embodiments are indispensable as means for solving the problems of the present invention.

図1は、本実施形態に係る情報表示装置の基本構成を示す図である。   FIG. 1 is a diagram showing a basic configuration of an information display apparatus according to this embodiment.

図1において、10は制御部で、典型的には、図示しないCPU,RAM,ROM等を備えるコンピュータシステムで構成され、図示された制御部10内の各ブロックで示される処理が、CPUによって実行される。   In FIG. 1, reference numeral 10 denotes a control unit, which is typically configured by a computer system including a CPU, RAM, ROM, etc. (not shown), and the processing shown by each block in the illustrated control unit 10 is executed by the CPU. Is done.

この情報表示装置は、例えばドライバズシートのバックレスト12のショルダに車両前方に向けて設けられる第1前方撮影カメラ14、例えばインストルメントパネルの上部に車両前方に向けて設けられる第2前方撮影カメラ16、例えばフロントドア下部に車両外側斜め前方に向けて設けられ車両前方の死角を撮影する前方死角撮影カメラ18、例えばリヤダッシュボードの上部に車両後方に向けて設けられる後方死角撮影カメラ20を備え、これらは制御部10内のカメラ画像取得部22に接続されている。これらのカメラ14〜20は、自車の周囲の画像情報を取得する画像情報取得手段を構成するものであり、その組み合わせによって車両全周囲の画像を得る全方位カメラとして機能させるのが好ましい。また、個々のカメラはより広い範囲の画像を得るために超広角レンズを備えていることが好ましい。また、第2前方撮影カメラ16、前方死角撮影カメラ18、及び後方死角撮影カメラ20はそれぞれ、夜間撮影も行えるよう、赤外線カメラ(暗視カメラ)であることが望ましい。さらに、ドライバDの顔面に入射する光の照度を検出する照度センサ24が設けられ、この照度センサ24の出力もカメラ画像取得部22に供給される。   This information display device is, for example, a first front photographing camera 14 provided on the shoulder of the backrest 12 of the driver's seat toward the front of the vehicle, for example, a second front photographing camera provided on the upper portion of the instrument panel toward the front of the vehicle. 16, for example, a front blind spot photographing camera 18 which is provided at the lower part of the front door and obliquely forward on the outer side of the vehicle and photographs a blind spot ahead of the vehicle, for example, a rear blind spot photographing camera 20 which is provided at the upper part of the rear dashboard and directed toward the rear of the vehicle. These are connected to the camera image acquisition unit 22 in the control unit 10. These cameras 14 to 20 constitute image information acquisition means for acquiring image information around the own vehicle, and preferably function as an omnidirectional camera that obtains an image around the entire vehicle. Moreover, it is preferable that each camera is provided with a super-wide-angle lens in order to obtain a wider range of images. In addition, it is desirable that each of the second front photographing camera 16, the front blind spot photographing camera 18, and the rear blind spot photographing camera 20 is an infrared camera (a night vision camera) so that night photography can be performed. Furthermore, an illuminance sensor 24 that detects the illuminance of light incident on the face of the driver D is provided, and the output of the illuminance sensor 24 is also supplied to the camera image acquisition unit 22.

30はドライバDが装着する視角補助手段としてのHMD(ヘッドマウントディスプレイ)である。このHMD30は、図2に示されるような、眼鏡タイプのHMDであり、この眼鏡タイプのHMD30の左右のレンズ32は光透過液晶カラーモニタで構成されている。HMD30を装着した乗員は、左右のレンズ32を通じて乗員の周囲の環境を見ることができると共に、後に説明するように外部状況などを眼前に立体画像として見ることができる。勿論、HMD30は特許文献1に開示のようなゴーグルタイプであってもよい。   Reference numeral 30 denotes an HMD (head-mounted display) as viewing angle assisting means worn by the driver D. The HMD 30 is an eyeglass-type HMD as shown in FIG. 2, and the left and right lenses 32 of the eyeglass-type HMD 30 are configured by a light transmissive liquid crystal color monitor. The occupant wearing the HMD 30 can see the environment around the occupant through the left and right lenses 32, and can see the external situation as a stereoscopic image in front of the eyes as will be described later. Of course, the HMD 30 may be a goggle type as disclosed in Patent Document 1.

図3はHMD30のレンズ32の分解斜視図である。レンズ32は、一対の保護パネル34、36と、これら保護パネル34、36間に位置するカラー画像表示パネル38と液晶パネル40とで構成されており、カラー画像表示パネル38は、赤色用パネル38aと、緑色用パネル38bと、青色用パネル38cとで構成されている。   FIG. 3 is an exploded perspective view of the lens 32 of the HMD 30. The lens 32 includes a pair of protective panels 34 and 36, a color image display panel 38 and a liquid crystal panel 40 positioned between the protective panels 34 and 36. The color image display panel 38 is a red panel 38a. And a green panel 38b and a blue panel 38c.

レンズ32の一部を構成するカラー画像表示パネル38は、赤色、緑色、青色用のパネル38a〜38cが表示駆動回路42から供給される駆動信号に応じて動作することにより互いに協働してカラー画像を表示する。また、液晶パネル40は、液晶駆動回路44から供給される駆動信号の電圧が高くなる程、光透過度が低下する。換言すると、液晶駆動回路44から供給される駆動信号の電圧がゼロVとなると、光透過度が最大となる。   The color image display panel 38 constituting a part of the lens 32 is operated in cooperation with each other by the red, green, and blue panels 38a to 38c operating in accordance with the drive signal supplied from the display drive circuit 42. Display an image. Further, the light transmittance of the liquid crystal panel 40 decreases as the voltage of the drive signal supplied from the liquid crystal drive circuit 44 increases. In other words, when the voltage of the drive signal supplied from the liquid crystal drive circuit 44 becomes zero V, the light transmittance is maximized.

車室内の所定位置(例えば、ドライバズシート上方のルーフトリム)には位置センサ50が設けられている。この位置センサ50は例えば磁気センサ等で構成され、HMD30の位置姿勢を示す信号を出力するように構成されている。なお、この位置姿勢を示す信号には、位置センサ50を基準とする位置(x,y,z)及び姿勢(roll, pitch, yaw)のパラメータが含まれる。位置センサ50が出力するHMD30の位置姿勢を示す信号は制御部10内の視線方向推定部52に入力される。   A position sensor 50 is provided at a predetermined position in the passenger compartment (for example, a roof trim above the driver's seat). The position sensor 50 is composed of, for example, a magnetic sensor, and is configured to output a signal indicating the position and orientation of the HMD 30. The signal indicating the position and orientation includes parameters of position (x, y, z) and orientation (roll, pitch, yaw) with respect to the position sensor 50. A signal indicating the position and orientation of the HMD 30 output from the position sensor 50 is input to the line-of-sight direction estimation unit 52 in the control unit 10.

制御部10は、カメラキャリブレーションによって、予め位置センサ50の位置に対する、第1及び第2前方撮影カメラ14、16、前方死角撮影カメラ18、後方死角撮影カメラ20の位置関係が保持されている。よって、制御部10は位置センサ50より入力した信号に基づき、第1及び第2前方撮影カメラ14、16、前方死角撮影カメラ18、後方死角撮影カメラ20と、HMD30との位置関係を求めることが可能である。   The controller 10 holds the positional relationship of the first and second front photographing cameras 14, 16, the front blind spot photographing camera 18, and the rear blind spot photographing camera 20 with respect to the position of the position sensor 50 in advance by camera calibration. Therefore, the control unit 10 obtains the positional relationship between the first and second front photographing cameras 14 and 16, the front blind spot photographing camera 18, the rear blind spot photographing camera 20, and the HMD 30 based on the signal input from the position sensor 50. Is possible.

ドライバDの前方には、このHMD30を装着しているドライバDの瞳を含む顔画像を撮影する顔画像撮影カメラ54が設置されている。この顔画像撮影カメラ54が撮影したドライバの顔画像及び瞳開度データは、制御部10内の視線方向推定部52に供給される。顔画像撮影カメラ54の設置位置は任意であるが、例えば車両のダッシュボード等に取り付けるようにしてもよい。なお、制御部10とHMD30との接続は有線でもよいし無線でもよい。   In front of the driver D, a face image photographing camera 54 that photographs a face image including the pupil of the driver D wearing the HMD 30 is installed. The driver's face image and pupil opening degree data captured by the face image capturing camera 54 are supplied to the line-of-sight direction estimation unit 52 in the control unit 10. The installation position of the face image photographing camera 54 is arbitrary, but it may be attached to a dashboard of a vehicle, for example. The connection between the control unit 10 and the HMD 30 may be wired or wireless.

実施例の情報表示装置は、更に、GPS信号を受信して地図データに基づき経路情報、交通情報等(ナビゲーション情報)など自車の走行情報を取得するナビゲーションユニット60、車速センサ等の各種センサ類を含む車両状態センサ62を備えている。   The information display device according to the embodiment further includes various types of sensors such as a navigation unit 60 that receives GPS signals and acquires travel information of the vehicle such as route information and traffic information (navigation information) based on map data, and a vehicle speed sensor. Is included.

制御部10は、カメラ画像取得部22及び視線方向推定部52の他に、取得した画像のレンズ歪み(収差)を補正するレンズ歪み補正部64、画像の幾何変換及び画像切り出しを行う幾何変換・切り出し部66、画像の描画位置及びサイズを算出する描画位置・サイズ算出部68、カメラ画像の加工を行うカメラ画像加工処理部70、ナビゲーションユニット60及び車両状態センサ62から入力したデータに基づきナビゲーション情報等の情報画像を作成する情報画像作成部72、及び画像合成部74を備えている。ナビゲーションユニット60及び車両状態センサ62は、制御部10の情報画像作成部(2D画像作成部)72に接続されている。   The control unit 10 includes, in addition to the camera image acquisition unit 22 and the line-of-sight direction estimation unit 52, a lens distortion correction unit 64 that corrects lens distortion (aberration) of the acquired image, a geometric conversion / image cutting that performs image geometric transformation and image clipping. Navigation information based on data input from a clipping unit 66, a drawing position / size calculating unit 68 that calculates a drawing position and size of an image, a camera image processing unit 70 that processes a camera image, a navigation unit 60, and a vehicle state sensor 62 And the like, an information image creating unit 72 for creating an information image, and an image composition unit 74 are provided. The navigation unit 60 and the vehicle state sensor 62 are connected to an information image creation unit (2D image creation unit) 72 of the control unit 10.

図4は、本実施形態における制御部10によるHMD30の画像表示制御処理を示すフローチャートである。   FIG. 4 is a flowchart showing image display control processing of the HMD 30 by the control unit 10 in the present embodiment.

カメラ画像取得部11は、第1及び第2前方撮影カメラ14、16、前方死角撮影カメラ18、後方死角撮影カメラ20からそれぞれ画像データを受信するとともに、照度センサ24からの出力データを順次受信している(ステップS1)。またこれと並行して、視線方向推定部52は、位置センサ50からのHMD30の位置姿勢を示す信号及び、顔画像撮影カメラ54からの顔画像データを受信している(ステップS2)。視線方向推定部52は、位置センサ50からのHMD30の位置姿勢を示す信号からドライバの顔の向きを推定するとともに、顔画像撮影カメラ54からの顔画像データに基づき、ドライバの顔の肌領域と瞳領域との像域分離を行いその結果から顔の向きに対する視線方向を推定する。そして、これらの結果から、基準である位置センサ50に対する視線方向を推定する。   The camera image acquisition unit 11 receives image data from the first and second front photographing cameras 14 and 16, the front blind spot photographing camera 18, and the rear blind spot photographing camera 20, and sequentially receives output data from the illuminance sensor 24. (Step S1). In parallel with this, the line-of-sight direction estimation unit 52 receives a signal indicating the position and orientation of the HMD 30 from the position sensor 50 and face image data from the face image photographing camera 54 (step S2). The line-of-sight direction estimation unit 52 estimates the driver's face direction from the signal indicating the position and orientation of the HMD 30 from the position sensor 50, and based on the face image data from the face image capturing camera 54, The image area is separated from the pupil area, and the line-of-sight direction with respect to the face direction is estimated from the result. Then, from these results, the line-of-sight direction with respect to the reference position sensor 50 is estimated.

上記ステップS1では、例えば、推定された視線方向が車両前方と判断され、照度センサ24からの受信データに基づき照度が所定値より明るいと判断される場合には、第1前方撮影カメラ14と前方死角撮影カメラ18の画像データを取得する。また、推定された視線方向が車両前方と判断され、照度は上記所定値以下に暗いと判断される場合には、第2前方撮影カメラ(赤外線カメラ)16の画像データを取得する。また、推定された視線方向が車両後方と判断されたときは、後方死角撮影カメラ20の画像データを取得する。   In step S1, for example, when the estimated line-of-sight direction is determined to be in front of the vehicle, and the illuminance is determined to be brighter than a predetermined value based on the received data from the illuminance sensor 24, the first front photographing camera 14 and the front Image data of the blind spot photographing camera 18 is acquired. If the estimated line-of-sight direction is determined to be in front of the vehicle and the illuminance is determined to be dark below the predetermined value, the image data of the second front photographing camera (infrared camera) 16 is acquired. Further, when it is determined that the estimated line-of-sight direction is the rear of the vehicle, the image data of the rear blind spot photographing camera 20 is acquired.

次に、レンズ歪み補正部64は、ステップS1で取得した画像データに対して、当該画像データを取得したカメラのレンズ特性に依存して生じる歪み(収差)を補正する(ステップS3)。この補正は例えば、カメラキャリブレーションによって得られる、位置センサ50の位置に対する当該画像データを取得したカメラの位置を示すカメラ内部パラメータに基づいて行われる。   Next, the lens distortion correction unit 64 corrects distortion (aberration) that occurs depending on the lens characteristics of the camera that acquired the image data for the image data acquired in step S1 (step S3). This correction is performed based on camera internal parameters indicating the position of the camera that acquired the image data with respect to the position of the position sensor 50 obtained by camera calibration, for example.

一方、視線方向推定部52は、ステップS2で受信した位置センサ50からのHMD30の位置姿勢を示す信号に基づいて、HMD30の位置姿勢データを、予め行われた位置キャリブレーションによって得られる、センサ・HMD補正パラメータに基づいて補正する(ステップS4)。   On the other hand, the line-of-sight direction estimation unit 52 obtains the position / orientation data of the HMD 30 based on the signal indicating the position / orientation of the HMD 30 from the position sensor 50 received in step S2 by a position calibration performed in advance. Correction is performed based on the HMD correction parameter (step S4).

次に、幾何変換・切り出し部66は、ステップS3で得られたレンズ歪み補正後の画像データに対して、HMD30の表示領域に合わせた画像の切り出し及び幾何変換を行う(ステップS5)。具体的には例えばステップS3で得られたレンズ歪み後の画像データから、その画像が、ドライバの視点から視認される立体的な現実空間像Sと同じ方向、大きさになるように、HMD30の位置センサ50に対する位置姿勢及び視線方向推定部52が推定した視線方向に合わせて必要な画像領域を切り出し、アフィン変換を行う。   Next, the geometric conversion / cutout unit 66 performs cutout and geometric conversion of the image in accordance with the display area of the HMD 30 on the image data after the lens distortion correction obtained in step S3 (step S5). Specifically, for example, from the image data after lens distortion obtained in step S3, the HMD 30 has the same direction and size as the three-dimensional real space image S viewed from the driver's viewpoint. A necessary image region is cut out in accordance with the position and orientation with respect to the position sensor 50 and the line-of-sight direction estimated by the line-of-sight direction estimation unit 52, and affine transformation is performed.

次に、カメラ画像加工処理部70は、ステップS5での処理後の画像データに対して、グレア対策として、高輝度の物体を認識して、分光画像処理し、輝度分布を平滑にして違和感や不快がないように調光する、分光補正処理を行う(ステップS6)。なお、グレアには、眼球内での光の散乱の程度が増加し、これによって対象物が見えにくくなる減能グレアと、視野内に高輝度の物体があるときに不快に感じやすくなる不快グレアとがあり、両者とも一般に加齢とともに増大する。ステップS6の分光補正処理はこのようなグレアに対処するものである。   Next, as a countermeasure against glare, the camera image processing unit 70 recognizes a high-luminance object, performs spectral image processing, smoothes the luminance distribution, Spectral correction processing is performed to adjust the light so that there is no discomfort (step S6). Note that glare increases the degree of light scattering in the eyeball, which makes it difficult to see the object, and unpleasant glare that makes it easier to feel uncomfortable when there is a bright object in the field of view. Both generally increase with aging. The spectral correction process in step S6 deals with such glare.

図5は、このステップS6の分光補正処理の一例を示すフローチャートである。まず、ステップS5での処理後の画像データに対して、輝度分布分析を行う(ステップS61)。そして、得られた輝度分布に基づいて高輝度物体が存在するかどうかを判定し(ステップS62)、高輝度物体が存在する場合には輝度分布の平滑化を行う(ステップS63)。   FIG. 5 is a flowchart showing an example of the spectral correction process in step S6. First, luminance distribution analysis is performed on the image data processed in step S5 (step S61). Then, it is determined whether or not a high-luminance object exists based on the obtained luminance distribution (step S62). If a high-luminance object exists, the luminance distribution is smoothed (step S63).

次に、カメラ画像加工処理部70は、追従遅れ補正処理を行う(ステップS7)。これは、加齢により移動物を目で追う際の眼球運動が遅くなることに対処するものであり、その具体的処理例を図6のフローチャートに示す。   Next, the camera image processing unit 70 performs follow-up delay correction processing (step S7). This is to cope with the slowing of eye movement when chasing a moving object with aging, and a specific processing example is shown in the flowchart of FIG.

まず、入力した動画像データから移動物体を抽出し(ステップS71)、そこに高速移動物体が存在するかどうかを判定する(ステップS72)。ここで、高速移動物体が存在する場合には、その移動物体の移動方向、移動速度、及び位置を検出し(ステップS73)、その検出結果に基づいてその移動物体の予測位置を算出する(ステップS74)。その後、移動物体をその予測位置に描画する(ステップS75)。   First, a moving object is extracted from the input moving image data (step S71), and it is determined whether there is a high-speed moving object (step S72). If a high-speed moving object is present, the moving direction, moving speed, and position of the moving object are detected (step S73), and the predicted position of the moving object is calculated based on the detection result (step S73). S74). Thereafter, the moving object is drawn at the predicted position (step S75).

次に、カメラ画像加工処理部70は、危険対象物検出処理を実行する(ステップS8)。この処理の具体例を図7のフローチャートに示す。   Next, the camera image processing unit 70 executes a dangerous object detection process (step S8). A specific example of this process is shown in the flowchart of FIG.

まず、入力した画像データから、歩行者、他車両等の対象物を抽出し(ステップS81)、抽出した対象物の配置パターンを抽出する(ステップS82)。次に、予めメモリに記憶してある熟練ドライバDの注視行動モデルを読み出す(ステップS83)。図8に熟練ドライバDの注視行動モデルの概念図を示す。そして、熟練ドライバDの注視行動モデルに基づくニューラルネットワークあるいは強化学習を構成し、これを利用して、ステップS82で抽出した対象物の配置パターンから、高危険度対象物を抽出する(ステップS84)。   First, objects such as pedestrians and other vehicles are extracted from the input image data (step S81), and an arrangement pattern of the extracted objects is extracted (step S82). Next, the gaze behavior model of the skilled driver D stored in the memory in advance is read (step S83). FIG. 8 shows a conceptual diagram of the gaze behavior model of the skilled driver D. Then, a neural network or reinforcement learning based on the gaze behavior model of the skilled driver D is configured, and using this, a high risk object is extracted from the object arrangement pattern extracted in step S82 (step S84). .

高危険度対象物が抽出された場合にはその画像はカメラ画像としてHMD30のレンズ32に表示されることになる。このとき、その画像が高危険度対象物としてドライバに認知されやすいように、囲み枠線などの識別マークを重畳表示させるとよいであろう。   When the high risk object is extracted, the image is displayed on the lens 32 of the HMD 30 as a camera image. At this time, an identification mark such as a surrounding frame line may be superimposed and displayed so that the driver can easily recognize the image as a high risk object.

次に、描画位置・サイズ算出部68は、HMD30のレンズ32に表示する2D画像の描画位置およびそのサイズを計算する(ステップS9)。また、情報画像作成部72は、ナビゲーションユニット60及び車両状態センサ50から入力したデータに基づいて作成したナビゲーション情報等の情報画像(2D画像)を作成する。このとき、情報画像作成部72は、ステップS7の追従遅れ補正処理において検出した高速移動物体についてその移動方向を示す矢印画像等を情報画像に含めるようにしても良い。   Next, the drawing position / size calculation unit 68 calculates the drawing position and the size of the 2D image displayed on the lens 32 of the HMD 30 (step S9). In addition, the information image creation unit 72 creates an information image (2D image) such as navigation information created based on data input from the navigation unit 60 and the vehicle state sensor 50. At this time, the information image creation unit 72 may include an arrow image or the like indicating the moving direction of the high-speed moving object detected in the follow-up delay correction process in step S7 in the information image.

次に、画像合成部56は、カメラ画像をHMD30のレンズ32に表示するかどうかを判断する(ステップS10)。例えば、次の少なくともいずれかの場合には、車両走行上の危険度が相対的に高い状況であり、カメラ画像をHMD30のレンズ32に表示すると判断する。
(1)ステップS6の分光補正処理において、ステップS63の輝度分布平滑化が実行された場合。
(2)ステップS7の追従遅れ補正処理において、ステップS73〜S75の処理が実行された場合。
(3)ドライバの視線方向に死角がある場合。
(4)照度が暗い場合。
Next, the image composition unit 56 determines whether to display the camera image on the lens 32 of the HMD 30 (step S10). For example, in at least one of the following cases, it is determined that the degree of danger in traveling the vehicle is relatively high, and the camera image is displayed on the lens 32 of the HMD 30.
(1) When the luminance distribution smoothing in step S63 is executed in the spectral correction process in step S6.
(2) When the processes in steps S73 to S75 are executed in the follow-up delay correction process in step S7.
(3) When there is a blind spot in the driver's line of sight.
(4) When the illuminance is dark.

画像合成部56は、ステップS10でカメラ画像をHMD30のレンズ32に表示すると判断した場合は、ステップS9での計算結果に基づいて、上述のステップS5〜S8の処理で得られたカメラ画像と、情報画像作成部72がナビゲーションユニット60及び車両状態センサ50から入力したデータに基づいて作成したナビゲーション情報等の情報画像(2D画像)とを合成した画像を作成し(ステップS11)、その合成画像をHMD30のレンズ32に表示する(ステップS12)。   When it is determined that the camera image is displayed on the lens 32 of the HMD 30 in step S10, the image composition unit 56, based on the calculation result in step S9, the camera image obtained in the above-described steps S5 to S8, The information image creation unit 72 creates an image obtained by synthesizing the information image (2D image) such as navigation information created based on the data input from the navigation unit 60 and the vehicle state sensor 50 (step S11), and the synthesized image is displayed. The image is displayed on the lens 32 of the HMD 30 (step S12).

一方、画像合成部56は、ステップS10でカメラ画像をHMD30のレンズ32に表示しないと判断した場合は、情報画像作成部72がナビゲーションユニット60及び車両状態センサ50から入力したデータに基づいて作成したナビゲーション情報等の情報画像(2D画像)のみを描画して(ステップS13)、これをHMD30のレンズ32に表示する(ステップS12)。   On the other hand, if it is determined in step S10 that the camera image is not displayed on the lens 32 of the HMD 30, the image composition unit 56 creates the information image creation unit 72 based on data input from the navigation unit 60 and the vehicle state sensor 50. Only an information image (2D image) such as navigation information is drawn (step S13) and displayed on the lens 32 of the HMD 30 (step S12).

以上説明した制御部10によるHMD30の画像表示制御によって、ドライバに視認される画像の例を図9に示す。   An example of an image visually recognized by the driver by the image display control of the HMD 30 by the control unit 10 described above is shown in FIG.

図9の(a)に示される画像において、自車前方には晴天時の空が大きく広がっており、不快グレアが発生しやすい状況である。これに対して、本実施形態では、ステップS6において分光補正処理が施され、輝度分布が平滑化されるので、眩しさが軽減される。また、この図9の(a)において、自車前方左方からバス80が横切るように移動中である。これに対しては、本実施形態では、ステップS7において追従遅れ補正が施され、移動物体であるバス80の位置が補正される。このとき、図示の如く移動方向を示す矢印マーク81を重畳表示するとよい。   In the image shown in FIG. 9 (a), the sky in fine weather is greatly spread in front of the vehicle, and unpleasant glare is likely to occur. On the other hand, in the present embodiment, since the spectral correction process is performed in step S6 and the luminance distribution is smoothed, the glare is reduced. Further, in FIG. 9A, the bus 80 is moving so as to cross from the left front of the host vehicle. In contrast, in this embodiment, follow-up delay correction is performed in step S7, and the position of the bus 80, which is a moving object, is corrected. At this time, an arrow mark 81 indicating the moving direction may be superimposed and displayed as shown in the figure.

図9の(b)では、ナビゲーション情報である「100m先右折」との文字表示及び、そのことを示す矢印による右折マーク82が重畳表示されている。図9の(c)は、ステップS8の危険対象物抽出処理において先行車両が危険対象物と判定され、ドライバの注意を喚起するために、それに囲み枠線が重畳表示されるとともに、「前方障害物」、「車間確保」とのメッセージが表示されている。この図9の(c)の状態が所定時間経過しても解消されない場合には、図9の(d)に示されるように、音声による警告メッセージを発するようにしてもよい。   In FIG. 9B, a character display “100 m ahead right turn” as navigation information and a right turn mark 82 with an arrow indicating that are superimposed. FIG. 9C shows that the preceding vehicle is determined to be a dangerous object in the dangerous object extraction process in step S8, and a surrounding frame line is superimposed on it in order to call the driver's attention. The message “Goods” and “Securing distance” are displayed. If the state shown in FIG. 9C is not resolved even after a predetermined time has passed, a voice warning message may be issued as shown in FIG. 9D.

ここで、図9の(b)〜(d)に示されるような、ナビゲーション情報である右折マーク82は、ドライバの視線方向に適合した位置や態様で表示されることが好ましい。一方、図9の(d)に示すように、「5KM前方渋滞1KM」といったナビゲーション情報のうちの交通情報については、ドライバの視線方向には関係なく、図示のように下方端部などの固定された位置で表示されればよいであろう。   Here, it is preferable that the right turn mark 82 as the navigation information as shown in FIGS. 9B to 9D is displayed in a position and manner suitable for the line-of-sight direction of the driver. On the other hand, as shown in FIG. 9 (d), the traffic information in the navigation information such as “5KM forward traffic jam 1KM” is fixed at the lower end as shown in the figure regardless of the driver's line-of-sight direction. It may be displayed at the position.

以上、ドライバDに対する運転支援を説明したが、眼鏡タイプのHMD30はドライバDに限定されず助手席や後席の乗員が装着するのに都合がよい。運転席以外のシートに着座した乗員がHMD30を装着したときには、例えばHMD30を介して映画や周囲環境の案内などの表示が行われる。   Although the driving support for the driver D has been described above, the glasses-type HMD 30 is not limited to the driver D, and is convenient for a passenger in the front passenger seat or the rear seat to wear it. When an occupant seated on a seat other than the driver's seat wears the HMD 30, for example, a movie or guidance on the surrounding environment is displayed via the HMD 30.

図10及び図11は、車両に搭載されたネットワークの全体構成図であり、図12は、センサノードを示すブロック図であり、図13は、ゲートウェイポイントを示すブロック図であり、図14は、携帯端末を示すブロック図であり、図15は、センサノード及びゲートウェイ間のネットワーク情報を可視化すると共にゲートウェイポイントにより制御される機器を模式的に表した図であり、図16は、携帯端末、センサノード及びゲートウェイ間のネットワーク情報を可視化すると共にゲートウェイポイントにより制御される機器を模式的に表した図である。   10 and 11 are overall configuration diagrams of a network mounted on a vehicle, FIG. 12 is a block diagram showing sensor nodes, FIG. 13 is a block diagram showing gateway points, and FIG. FIG. 15 is a block diagram showing a mobile terminal, FIG. 15 is a diagram schematically showing devices controlled by a gateway point while visualizing network information between a sensor node and a gateway. FIG. It is the figure which represented typically the apparatus controlled by a gateway point while visualizing the network information between a node and a gateway.

先ず、図10及び図11に示すように、車両には、複数のセンサノードSN及びゲートウェイポイントGが搭載されている。また、前述したHMD30にも左右一対のセンサノードSNが組み込まれている。ゲートウェイポイントGは、本実施形態では、ナビゲーション装置に内蔵されたCPU、メモリ及び無線通信インターフェースで構成される。図10に示すように、ゲートウェイポイントGには、機器D(例えば複数の送風口を有する空調機器)が接続され、ゲートウェイポイントGの後述する機器制御部により各送風口から送出される空気の温度及び量が制御される。   First, as shown in FIGS. 10 and 11, a plurality of sensor nodes SN and gateway points G are mounted on the vehicle. The HMD 30 described above also incorporates a pair of left and right sensor nodes SN. In this embodiment, the gateway point G includes a CPU, a memory, and a wireless communication interface built in the navigation device. As shown in FIG. 10, a device D (for example, an air conditioner having a plurality of air outlets) is connected to the gateway point G, and the temperature of air sent from each air outlet by a device control unit (to be described later) of the gateway point G. And the amount is controlled.

センサノードSNはコイン大の大きさで比較的薄いものであり、車室内の様々な部位に取り付けることが出来るものである。本実施形態では、図11に示すように、各座席のシート内や各座席に対応したルーフ部分などに複数設けられている。この図11に示すように、センサノードSNは3次元的に配置することが出来る。これらのセンサノードSN及びHMD30に組み込まれたセンサノードSNは、互いに無線でネットワーク(図15参照)を形成する。   The sensor node SN is a coin-sized size and relatively thin, and can be attached to various parts in the passenger compartment. In the present embodiment, as shown in FIG. 11, a plurality of seats are provided in the seats of each seat or in the roof portion corresponding to each seat. As shown in FIG. 11, the sensor nodes SN can be arranged three-dimensionally. The sensor nodes SN and the sensor nodes SN incorporated in the HMD 30 form a network (see FIG. 15) wirelessly.

ゲートウェイポイントGは、各センサノードSNからの無線通信による情報を受けて、車載機器、例えば、ナビゲーション装置のナビ機能とテレビ機能の操作の制限や、空調装置の各座席に応じた冷暖の調整などを行う(図15参照)。ゲートウェイポイントGは、センサノードSNと情報(信号)の送受信を行うほか、例えば各座席の目標温度の算出や各座席に対応した空調装置の制御量の算出を行う。このゲートウェイポイントGも、上述した複数のセンサノードSNと無線でネットワーク(図15参照)を形成する。   The gateway point G receives information by wireless communication from each sensor node SN, limits the operation of the navigation function and the TV function of the in-vehicle device, for example, the navigation device, and adjusts the cooling / heating according to each seat of the air conditioner (See FIG. 15). The gateway point G transmits and receives information (signals) to and from the sensor node SN, and also calculates, for example, the target temperature of each seat and the control amount of the air conditioner corresponding to each seat. This gateway point G also forms a network (see FIG. 15) wirelessly with the plurality of sensor nodes SN described above.

図11に示すように、各センサノードSNには、例えばボタン電池のような電源、CPUであるプロセッサー、及び、センサノードSNに内蔵されており、その外部に取り付けられる各種センサを有する。例えば、HMD30に組み込まれたセンサノードSNには、前述した照度センサ24が組み込まれている。車両に搭載されたセンサノードSNには、照度センサ、温度センサ、圧力センサなどを含み、圧力センサは、乗員の着座を検知する着座センサとして機能する。また、センサノードSNには、他のセンサノードSN、携帯電話のような携帯端末M及び後述するゲートウェイポイントGと無線通信可能なインターフェースを有する。   As shown in FIG. 11, each sensor node SN has a power source such as a button battery, a processor as a CPU, and various sensors attached to the outside of the sensor node SN. For example, the illuminance sensor 24 described above is incorporated in the sensor node SN incorporated in the HMD 30. The sensor node SN mounted on the vehicle includes an illuminance sensor, a temperature sensor, a pressure sensor, and the like, and the pressure sensor functions as a seating sensor that detects the seating of an occupant. Further, the sensor node SN has an interface capable of wireless communication with other sensor nodes SN, a portable terminal M such as a cellular phone, and a gateway point G described later.

また、センサノードSNにはメモリが搭載されており、このメモリには、圧力センサの情報を処理したり、他の携帯端末Mや他のセンサノードSNとの信号の入出力を行うためのプログラムが内蔵されたソフトウェアが記憶されている。ソフトウェアは、オペレーティングソフトウェアと、アプリケーションソフトウェアとからなり、オペレーティングソフトウェアには、オペレーティングシステムが含まれ、アプリケーションソフトウェアにはプログラムモジュールが含まれる。また、メモリには、アプリケーションデータが記憶されている。   In addition, a memory is mounted on the sensor node SN, and a program for processing information on the pressure sensor and inputting / outputting signals to / from other portable terminals M and other sensor nodes SN is stored in the memory. The software with built-in is stored. The software includes operating software and application software. The operating software includes an operating system, and the application software includes a program module. Further, application data is stored in the memory.

このセンサノードSNのメモリは、そのセンサノードSNのセンサによる検出結果を記憶するようになっている。このセンサノードSNのプロセッサー(データ処理部)は、センサによる検出結果に基づいて機器Dを制御するための目標制御量を算出する。この算出は、センサによる検出結果をそのまま使用して行っても良いし、センサノードSNのメモリ、或いは、後述するゲートウェイポイントのメモリに記憶された検出結果を使用して行われる。また、センサノードSNのプロセッサーは、所定のデータベースに記憶された検出結果に基づいて機器Dを制御するための目標制御量を算出することも出来る。所定のデータベースは、センサノードSNのメモリ、或いは、ゲートウェイポイントのメモリに備えられるものである。   The memory of the sensor node SN stores the detection result of the sensor of the sensor node SN. The processor (data processing unit) of the sensor node SN calculates a target control amount for controlling the device D based on the detection result by the sensor. This calculation may be performed using the detection result by the sensor as it is, or by using the detection result stored in the memory of the sensor node SN or the memory of the gateway point described later. Further, the processor of the sensor node SN can calculate a target control amount for controlling the device D based on the detection result stored in the predetermined database. The predetermined database is provided in the memory of the sensor node SN or the memory of the gateway point.

算出された目標制御量は、ゲートウェイポイントGのプロセッサー及び機器制御部で使用され、ゲートウェイポイントGの機器制御部がその目標制御量が得られるように機器Dを制御する。また、算出された目標制御量は、センサノードSNのメモリ、或いは、後述するゲートウェイポイントのメモリに記憶され、ゲートウェイポイントGのプロセッサー及び機器制御部がその記憶された目標制御量を使用して、機器制御部によりその目標制御量が得られるように機器Dを制御するようにしても良い。   The calculated target control amount is used by the processor and device control unit of the gateway point G, and the device control unit of the gateway point G controls the device D so that the target control amount is obtained. Further, the calculated target control amount is stored in the memory of the sensor node SN or the gateway point memory described later, and the processor and the device control unit of the gateway point G use the stored target control amount, The device D may be controlled so that the target control amount is obtained by the device control unit.

このようなセンサノードSNの通信方式として、例えば、「ZigBee」といわれるものがある。これは、規格が「IEEE802.15.4」、伝送速度(bps)が「250K」、利用周波数帯が「2.4GHz(全世界)、868MHz(欧州)、915MHz(米国)」、伝送距離が「最大10-75m」、消費電力(通信)が「<60mW」のものである。これ以外にも、方式として、「微弱無線」、「特定小電力無線」、「Bluetooth」、「UWB」などの他の方式もある。   As such a communication method of the sensor node SN, for example, there is one called “ZigBee”. The standard is “IEEE802.15.4”, the transmission speed (bps) is “250K”, the frequency band used is “2.4GHz (worldwide), 868MHz (Europe), 915MHz (US)”, and the transmission distance is “up to 10”. -75m "and power consumption (communication) is" <60mW ". In addition to this, there are other methods such as “weak wireless”, “specific low power wireless”, “Bluetooth”, and “UWB”.

図13に示すように、ゲートウェイポイントGには、車両のバッテリーから引き出される電源、CPUであるプロセッサー、複数のセンサノードSNと無線通信可能なインターフェース、メモリ、及び、機器制御部を有する。このメモリには、センサノードSNや携帯端末Mとの信号の入出力を行うためのプログラムが内蔵されたソフトウェアが記憶されている。ソフトウェアは、オペレーティングソフトウェアと、アプリケーションソフトウェアとからなり、オペレーティングソフトウェアには、オペレーティングシステムが含まれ、アプリケーションソフトウェアにはプログラムモジュールが含まれる。また、メモリには、アプリケーションデータが記憶されている。   As illustrated in FIG. 13, the gateway point G includes a power source drawn from the battery of the vehicle, a processor as a CPU, an interface capable of wireless communication with a plurality of sensor nodes SN, a memory, and a device control unit. This memory stores software in which a program for inputting / outputting signals to / from the sensor node SN and the portable terminal M is built. The software includes operating software and application software. The operating software includes an operating system, and the application software includes a program module. Further, application data is stored in the memory.

ゲートウェイポイントGは、各センサノードSN及びそのネットワークから得られる情報を集中管理すると共に外部の機器、例えば、空調機器、ナビゲーション装置、電動シート装置、パワーウィンドウなどを制御する。また、ゲートウェイポイントGや携帯端末Mを通して車両の外部のサーバーに情報を蓄積することも可能である。また、ゲートウェイポイントGには、携帯端末MのIDなどの情報が記憶されている。なお、このような情報は各センサノードSNに記憶させても良い。   The gateway point G centrally manages information obtained from each sensor node SN and its network and controls external devices such as an air conditioner, a navigation device, an electric seat device, and a power window. It is also possible to store information in a server outside the vehicle through the gateway point G and the portable terminal M. The gateway point G stores information such as the ID of the mobile terminal M. Such information may be stored in each sensor node SN.

このゲートウェイポイントGのメモリ88は、そのセンサノードSNのセンサによる検出結果を記憶するようになっている。このゲートウェイポイントGのプロセッサー(データ処理部)は、センサノードSNのセンサによる検出結果に基づいて機器Dを制御するための目標制御量を算出する。この算出は、センサによる検出結果をそのまま使用して行っても良いし、上述したセンサノードSNのメモリ90、或いは、ゲートウェイポイントのメモリ88に記憶された検出結果を使用して行われる。また、ゲートウェイポイントGのプロセッサーは、上述した所定のデータベース、即ち、センサノードSNのメモリ90、或いは、ゲートウェイポイントのメモリ88に備えられたデータベースに記憶された検出結果に基づいて機器Dを制御するための目標制御量を算出することも出来る。   The memory 88 of the gateway point G stores the detection result by the sensor of the sensor node SN. The processor (data processing unit) of the gateway point G calculates a target control amount for controlling the device D based on the detection result of the sensor of the sensor node SN. This calculation may be performed using the detection result of the sensor as it is, or is performed using the detection result stored in the memory 90 of the sensor node SN or the memory 88 of the gateway point. The processor of the gateway point G controls the device D based on the detection result stored in the predetermined database described above, that is, the database provided in the memory 90 of the sensor node SN or the memory 88 of the gateway point. It is also possible to calculate a target control amount for this purpose.

算出された目標制御量は、ゲートウェイポイントGのプロセッサー及び機器制御部で使用され、ゲートウェイポイントGの機器制御部がその目標制御量が得られるように機器Dを制御する。また、センサノードSNのメモリ、或いは、後述するゲートウェイポイントのメモリ88に記憶された目標制御量を、ゲートウェイポイントGのプロセッサー及び機器制御部が使用して、機器制御部によりその目標制御量が得られるように機器Dを制御するようにしても良い。   The calculated target control amount is used by the processor and device control unit of the gateway point G, and the device control unit of the gateway point G controls the device D so that the target control amount is obtained. The target control amount stored in the memory of the sensor node SN or the gateway point memory 88 described later is used by the processor and device control unit of the gateway point G, and the target control amount is obtained by the device control unit. The device D may be controlled as described above.

図14に示すように、典型的には携帯電話機である携帯端末Mには、携帯電話基盤ミドルウェアと、CPUであるプロセッサー、複数のセンサノードSNと無線通信可能なインターフェース及びメモリを有する。このメモリには、センサノードSNとの信号の入出力を行うためのプログラムが内蔵されたソフトウェアが記憶されている。ソフトウェアは、オペレーティングソフトウェアと、アプリケーションソフトウェアとからなり、オペレーティングソフトウェアには、オペレーティングシステムが含まれ、アプリケーションソフトウェアにはプログラムモジュールが含まれる。また、メモリには、アプリケーションデータが記憶されている。この携帯端末Mも、上述した複数のセンサノードSNと無線でネットワーク(図16参照)を形成する。   As shown in FIG. 14, the mobile terminal M, which is typically a mobile phone, includes mobile phone base middleware, a processor that is a CPU, an interface and a memory that can wirelessly communicate with a plurality of sensor nodes SN. This memory stores software in which a program for inputting / outputting signals to / from the sensor node SN is incorporated. The software includes operating software and application software. The operating software includes an operating system, and the application software includes a program module. Further, application data is stored in the memory. This mobile terminal M also forms a network (see FIG. 16) wirelessly with the plurality of sensor nodes SN described above.

次に、センサネットワークの概念について説明する。上述したように、センサノードSNに、所定のセンシングを行うセンサの他に、メモリ、アプリケーション、無線機能などが内蔵されている。このセンサノードSNは、センサにより得られた情報を保持出来るほか、無線により他のセンサノードSNや携帯端末Mとの間で送受信することが出来る。そのような機能により、或るセンサノードSNは、他のセンサノードSNや携帯端末Mの情報、即ち、他のセンサノードSNが有するセンサにより得られた情報や記憶されている情報を得ることも出来る。このようにして、複数のセンサノードSN及び携帯端末Mがネットワークでつながっており(図15参照)、仮に1つのセンサノードSNが故障又は携帯端末Mが存在していない場合であっても、他のセンサノードSNでネットワークを形成することが出来る。これにより、配線でつながっている車内LANとは異なり、配線の不要なネットワークを形成することが出来る。また、或る位置のセンサノードSNの情報を他のセンサノードSNの情報と共に多角的に得ることが出来る。   Next, the concept of the sensor network will be described. As described above, the sensor node SN includes a memory, an application, a wireless function, and the like in addition to a sensor that performs predetermined sensing. The sensor node SN can hold information obtained by the sensor and can transmit and receive wirelessly to / from another sensor node SN and the portable terminal M. With such a function, a certain sensor node SN can obtain information on other sensor nodes SN and mobile terminals M, that is, information obtained by sensors included in other sensor nodes SN and stored information. I can do it. In this way, a plurality of sensor nodes SN and mobile terminals M are connected by a network (see FIG. 15), and even if one sensor node SN is out of order or the mobile terminal M is not present, A sensor node SN can form a network. This makes it possible to form a network that does not require wiring, unlike in-vehicle LANs that are connected by wiring. In addition, the information of the sensor node SN at a certain position can be obtained in a multifaceted manner together with the information of other sensor nodes SN.

図1に戻って、液晶駆動回路44には、HMD30に設置したセンサノードSNで構成された照度センサ24と、ドライバDの瞳を含む顔面像撮影カメラ54からの情報が入力される。顔面像撮影カメラ54と液晶駆動回路44との間には瞳開度検出処理回路86が介在しており、この瞳開度検出処理回路86によってドライバDの瞳の開度が検出され、この瞳開度情報が液晶駆動回路44に入力される。   Returning to FIG. 1, information from the illuminance sensor 24 configured by the sensor node SN installed in the HMD 30 and the face image photographing camera 54 including the pupil of the driver D is input to the liquid crystal drive circuit 44. A pupil opening degree detection processing circuit 86 is interposed between the facial image photographing camera 54 and the liquid crystal driving circuit 44, and the pupil opening degree detection processing circuit 86 detects the opening degree of the pupil of the driver D. The opening degree information is input to the liquid crystal drive circuit 44.

図17は、HMD30を装着した乗員が所持している、典型的には携帯電話機である携帯端末Mを組み込んだネットワークを模式的に示す。ゲートウェイポイントGには、過去に車両に乗車した人間の情報が記憶されている。この情報は、各人の体重と、当該個人の目に適した目標照度とを含む。また、HMD30を使用する人間が例えばドライバや家族に限定されているときには、当該HMD30のセンサノードSNのメモリ90(図17)に、各人の「体重―目標照度」データを記憶しておいてもよい。また、携帯端末Mには、そのメモリ92(図4)に、当該携帯端末MのIDや使用者のID、当該携帯端末Mの使用者の個人特性データ(体重、瞳の色、目標照度、年齢、平均血圧や最高、最小血圧、平均脈拍など)が予め記憶されている。   FIG. 17 schematically shows a network incorporating a mobile terminal M, typically a mobile phone, possessed by an occupant wearing the HMD 30. In the gateway point G, information of a person who has boarded the vehicle in the past is stored. This information includes the weight of each person and the target illuminance suitable for the eyes of the individual. Further, when the person who uses the HMD 30 is limited to, for example, a driver or a family, the “weight-target illuminance” data of each person is stored in the memory 90 (FIG. 17) of the sensor node SN of the HMD 30. Also good. Further, the mobile terminal M has its memory 92 (FIG. 4) stored in its memory 92 ID and user ID, personal characteristics data of the user of the mobile terminal M (weight, pupil color, target illuminance, Age, average blood pressure, maximum blood pressure, minimum blood pressure, average pulse, etc.) are stored in advance.

携帯端末Mを所持した乗員がHMD30を装着しているときには、携帯端末MからIDを取得し、このIDによって乗員を間接的に特定し、このIDに関連した乗員に対応した光量が目Eに入るように、予め用意した目標照度に基づいてHMD30のレンズ32(液晶パネル40)を通過する光量が調整される。この目標照度は、携帯端末Mのメモリに含まれる瞳の色、性別、年齢という属性を取り込んで、これらの情報に基づいて調整した後に、調整後の目標照度に基づいてHMD30の液晶パネル40の光透過度を制御するようにしてもよい。   When the occupant carrying the portable terminal M wears the HMD 30, the ID is obtained from the portable terminal M, the occupant is indirectly identified by this ID, and the light quantity corresponding to the occupant associated with this ID is in the eye E. The amount of light passing through the lens 32 (liquid crystal panel 40) of the HMD 30 is adjusted based on the target illuminance prepared in advance. This target illuminance takes in attributes such as the color, sex, and age of the pupil included in the memory of the mobile terminal M, and after adjusting based on these information, the target illuminance of the liquid crystal panel 40 of the HMD 30 is adjusted based on the adjusted target illuminance. The light transmittance may be controlled.

この基本制御に加えて、顔面像撮影カメラ54から取得した瞳開度及び実際の照度に基づいて液晶パネル40に対する目標値を修正して、HMD30を装着した乗員にとって好ましい光量が目Eに入るように液晶パネル40の光透過度合いがフィードバック制御される。このフィードバック制御によって、HMD30を装着した乗員にとって、実際の照度との関係で好ましい光量が目Eに入る状態を生成することができる。特に、ドライバは目線、顔の向きなどを変化させて運転しているが、このドライバの目線などの変化に対応して目に入る照度を好ましい照度に調整することができる。そして、フィードバック制御によって獲得した目標照度に基づいて、ゲートウェイポイントG、HMD30のセンサノードSN、携帯端末Mの各メモリ88、90、92の記憶値が更新される。   In addition to this basic control, the target value for the liquid crystal panel 40 is corrected based on the pupil opening obtained from the facial image photographing camera 54 and the actual illuminance so that the light amount preferable for the passenger wearing the HMD 30 enters the eye E. In addition, the light transmission degree of the liquid crystal panel 40 is feedback-controlled. With this feedback control, it is possible to generate a state in which a preferable amount of light enters the eye E in relation to actual illuminance for the passenger wearing the HMD 30. In particular, the driver is driving while changing the line of sight, the direction of the face, etc., and the illuminance entering the eye can be adjusted to a preferable illuminance in response to the change in the line of sight of the driver. Then, based on the target illuminance acquired by the feedback control, the stored values of the gateway point G, the sensor node SN of the HMD 30, and the memories 88, 90, 92 of the portable terminal M are updated.

図18、図19は、HMD30の光透過制御の一つの具体例を説明するためのフローチャートであり、図19は、図18に続くフローを示してある。先ず、図18を参照して、HMD30に内蔵されているセンサノードSNを含むセンサノードSNはゲートウェイポイントDとネットワークを形成し(S100)、そして各センサノードSNは他のセンサノードSNの中継処理(S101)によって、各センサノードSNの位置を検出する処理が行われる(S102)。   18 and 19 are flowcharts for explaining one specific example of the light transmission control of the HMD 30, and FIG. 19 shows a flow subsequent to FIG. First, referring to FIG. 18, the sensor node SN including the sensor node SN built in the HMD 30 forms a network with the gateway point D (S100), and each sensor node SN performs relay processing of other sensor nodes SN. By (S101), the process which detects the position of each sensor node SN is performed (S102).

また、各センサノードSNのデータ、例えば位置データ、乗員の瞳の開度データ、実際の照度データがゲートウェイポイントGに供給され(S103)、ゲートウェイポイントGはこれを受信する(S104)。   Further, data of each sensor node SN, for example, position data, occupant pupil opening degree data, and actual illuminance data are supplied to the gateway point G (S103), and the gateway point G receives this (S104).

携帯電話機などの携帯端末Mを所持した人間が乗車すると(S105)、当該携帯端末Mを含むネットワークが形成され(S106)、当該携帯端末Mの位置検出が行われる(S107)。次いで、この位置データと共に、携帯端末Mに予め記憶されているID、体重、血圧、脈拍などの個人特性データ、目標照度データがセンサノードSNを経由してゲートウェイポイントGに送信される(S108)。もし、この携帯IDが新規であれば、ゲートウェイポイントGのメモリ88に、これらの情報が記憶される(図19のS109)。   When a person carrying the portable terminal M such as a cellular phone gets on (S105), a network including the portable terminal M is formed (S106), and the position of the portable terminal M is detected (S107). Next, along with this position data, personal characteristic data such as ID, weight, blood pressure, pulse, and target illuminance data stored in advance in the portable terminal M are transmitted to the gateway point G via the sensor node SN (S108). . If this mobile ID is new, these pieces of information are stored in the memory 88 of the gateway point G (S109 in FIG. 19).

図19を参照して、ゲートウェイポイントGでは、受信した携帯端末Mの位置データとセンサノードSNの位置データとに基づいて、当該携帯端末Mに最も近いセンサノードSNを選択する(S110)。勿論、複数人が夫々携帯端末Mを所持しているときには各携帯端末M毎に最寄りのセンサノードSNが選択される。そして、各携帯端末MのIDの目標照度に基づいて各センサノードSNに対して目標照度データを送信し(S111)、該当するセンサノードSNは、これを受けて光量制御を実行して、HMD30のレンズ32を透過する光量が液晶パネル40の光透過度によって調整される(S112)。この液晶パネル40は前述したようにフィードバック制御される。   Referring to FIG. 19, at gateway point G, based on the received location data of mobile terminal M and the location data of sensor node SN, sensor node SN closest to mobile terminal M is selected (S110). Of course, when a plurality of persons each have a portable terminal M, the nearest sensor node SN is selected for each portable terminal M. Then, based on the target illuminance of the ID of each mobile terminal M, the target illuminance data is transmitted to each sensor node SN (S111), and the corresponding sensor node SN receives this and executes the light amount control, and the HMD 30 The amount of light transmitted through the lens 32 is adjusted by the light transmittance of the liquid crystal panel 40 (S112). The liquid crystal panel 40 is feedback controlled as described above.

HMD30を装着している乗員にとって、上記S112の光量制御によって、目Eに入る光量が好ましいものとなるが、この乗員の瞳開度は顔画像撮影カメラ54によって検出され(S113)、瞳開度が適正の範囲であれば、ステップS114からステップS115に進んで、目標照度の算出及びゲートウェイポイントGの記憶データの更新が実行される。これにより、眩しさの個人差を補償した各人の最適な目標照度を記憶させることができる。この更新用の目標照度データは、センサノードSN及び携帯端末Mに供給されてデータの更新が行われる(S116、S117)。   For the occupant wearing the HMD 30, the amount of light entering the eye E is preferable by the light amount control in S112, but the pupil opening degree of the occupant is detected by the face image photographing camera 54 (S113). Is within the proper range, the process proceeds from step S114 to step S115, and the calculation of the target illuminance and the update of the stored data of the gateway point G are executed. Thereby, the optimal target illuminance of each person who compensated for individual differences in glare can be stored. The target illuminance data for update is supplied to the sensor node SN and the portable terminal M, and the data is updated (S116, S117).

図20、図21は、HMD30の光透過制御の他の具体例を説明するためのフローチャートであり、図21は、図20に続くフローを示してある。これら図20、図21の例は、乗員が携帯端末Mを所持していない場合の例であり、乗員が着座したシートの圧力センサ(センサノードSN)によって乗員の体重を検出して、検出した体重から間接的に乗員を特定する。そして、予め記憶してある「体重-目標照度」のデータから、検出した体重に基づいて目標照度を抽出して、この目標照度に基づいてHMD30の液晶パネル40の光透過度合いを制御する。また、液晶パネル40の制御は、HMD30を装着している乗員の瞳開度によってフィードバック制御され、最適な照度となるように目標照度が修正される。そして、この修正した目標照度によってゲートウェイポイントGの記憶データが更新される。   20 and 21 are flowcharts for explaining another specific example of the light transmission control of the HMD 30. FIG. 21 shows a flow subsequent to FIG. These examples in FIGS. 20 and 21 are examples when the occupant does not have the portable terminal M, and the weight of the occupant is detected by the pressure sensor (sensor node SN) of the seat on which the occupant is seated. The occupant is identified indirectly from the weight. Then, the target illuminance is extracted based on the detected weight from the data of “weight-target illuminance” stored in advance, and the light transmission degree of the liquid crystal panel 40 of the HMD 30 is controlled based on the target illuminance. The control of the liquid crystal panel 40 is feedback-controlled by the pupil opening degree of the occupant wearing the HMD 30, and the target illuminance is corrected so as to obtain an optimum illuminance. Then, the stored data of the gateway point G is updated with the corrected target illuminance.

以上のことを前提として、図20を参照して、HMD30に内蔵されているセンサノードSNを含むセンサノードSNはゲートウェイポイントDとネットワークを形成し(S200)、そして、各センサノードSNは他のセンサノードSNの中継処理(S201)によって、各センサノードSNの位置を検出する処理が行われる(S202)。また、各センサノードSNのデータ、例えば位置データ、乗員の瞳の開度データ、実際の照度データがゲートウェイポイントGに供給され(S203)、ゲートウェイポイントGはこれを受信する(S204)。   Assuming the above, referring to FIG. 20, the sensor node SN including the sensor node SN built in the HMD 30 forms a network with the gateway point D (S200). A process of detecting the position of each sensor node SN is performed by the relay process (S201) of the sensor node SN (S202). Further, data of each sensor node SN, for example, position data, occupant pupil opening degree data, and actual illuminance data are supplied to the gateway point G (S203), and the gateway point G receives this (S204).

各シートに設置したセンサノードSNは、他のセンサノードSN及びゲートウェイポイントDとネットワークを形成し(S205)、そして、各センサノードSNは他のセンサノードSNの中継処理(S206)によって、各センサノードSNの位置を検出する処理が行われる(S207)。また、HMD30を装着した乗員が着座したシートの各センサノードSNは、シートに着座した乗員からの圧力を検出し、この圧力のデータは、センサノードSN毎にその位置データと共にゲートウェイポイントGに送信される(S208)。   The sensor node SN installed in each seat forms a network with other sensor nodes SN and gateway points D (S205), and each sensor node SN is connected to each sensor by relay processing (S206) of the other sensor nodes SN. Processing for detecting the position of the node SN is performed (S207). Each sensor node SN of the seat on which the occupant wearing the HMD 30 is seated detects the pressure from the occupant seated on the seat, and this pressure data is transmitted to the gateway point G together with the position data for each sensor node SN. (S208).

図21を参照して、ゲートウェイポイントGでは、受信したセンサノードSNの位置データに基づいて、当該圧力センサノードSNに最も近いHND30及び照度センサ24を選択する(S209)。勿論、複数人が乗車しているときには、該当するシートの圧力センサノードSNに最も近いHND30及び照度センサ24が夫々選択される。   Referring to FIG. 21, gateway point G selects HND 30 and illuminance sensor 24 that are closest to pressure sensor node SN based on the received position data of sensor node SN (S209). Of course, when a plurality of people are in the vehicle, the HND 30 and the illuminance sensor 24 closest to the pressure sensor node SN of the corresponding seat are selected.

圧力センサノードSNから送られてきた圧力つまり乗員を体重に基づいて乗員を間接的に特定し、そして、この体重に基づいて、予め記憶されている体重―目標照度データから、当該体重に対応する目標照度が抽出され、そして抽出した目標照度は該当するセンサノードSNに送信される(S210)。これを受信したセンサノードSNは(S211)、これを受けて光量制御を実行して、HMD30のレンズ32を透過する光量が液晶パネル40の光透過度によって調整される(S212)。この液晶パネル40は前述したようにフィードバック制御される。このフィードバック制御を行うことで、乗員の目線、顔の向きなどを変化させたときに、これに対応して目に入る照度を好ましい照度に調整することができる。   The pressure sent from the pressure sensor node SN, that is, the occupant is indirectly specified based on the weight, and the weight is determined based on the weight-target illuminance data stored in advance based on the weight. The target illuminance is extracted, and the extracted target illuminance is transmitted to the corresponding sensor node SN (S210). The sensor node SN that has received this (S211) receives this and executes light amount control, and the amount of light transmitted through the lens 32 of the HMD 30 is adjusted by the light transmittance of the liquid crystal panel 40 (S212). The liquid crystal panel 40 is feedback controlled as described above. By performing this feedback control, when the occupant's line of sight, face orientation, and the like are changed, the illuminance entering the eyes can be adjusted to a preferable illuminance correspondingly.

HMD30を装着している乗員にとって、上記S212の光量制御によって、目Eに入る光量が好ましいものとなるが、この乗員の瞳開度を顔画像撮影カメラ54によって検出してゲートウェイポイントGに送信され(S213)、これを受けたゲートウェイポイントG(S214)は、瞳開度が適正の範囲の判断を行って(S215)、瞳開度が適正の範囲であれば、ステップS215からステップS216に進んで、目標照度の算出及びゲートウェイポイントGのメモリ88の記憶値の更新が実行され、また、センサノードSNに送信される。これにより、眩しさの個人差を補償した各人の最適な目標照度をゲートウェイポイントG及びセンサノードSNのメモリ88、90のデータの更新が行われる(S217)。   For the occupant wearing the HMD 30, the amount of light entering the eye E is preferable by the light amount control in S212, but the pupil opening degree of the occupant is detected by the face image photographing camera 54 and transmitted to the gateway point G. (S213) The gateway point G (S214) that has received this determines the range of the pupil opening is appropriate (S215), and if the pupil opening is within the appropriate range, the process proceeds from step S215 to step S216. Then, the calculation of the target illuminance and the update of the stored value of the memory 88 of the gateway point G are executed and transmitted to the sensor node SN. Thereby, the data of the memories 88 and 90 of the gateway point G and the sensor node SN are updated with the optimum target illuminance of each person compensated for the individual difference in glare (S217).

実施例の車両用情報表示装置の基本構成を示す図である。It is a figure which shows the basic composition of the information display apparatus for vehicles of an Example. 実施例で採用した眼鏡タイプのHMDを示す図である。It is a figure which shows the spectacles type HMD employ | adopted in the Example. 図2の眼鏡タイプのHMDの左右のレンズの構造を説明するための分解斜視図である。It is a disassembled perspective view for demonstrating the structure of the lens on either side of the spectacles type HMD of FIG. 実施例における画像処理部によるHMDの画像表示制御処理を示すフローチャートである。It is a flowchart which shows the image display control process of HMD by the image process part in an Example. 実施例における分光補正処理の一例を示すフローチャートである。It is a flowchart which shows an example of the spectral correction process in an Example. 実施例における追従遅れ補正処理の一例を示すフローチャートである。It is a flowchart which shows an example of the follow-up delay correction process in an Example. 実施例における危険対象物抽出処理の一例を示すフローチャートである。It is a flowchart which shows an example of the dangerous object extraction process in an Example. 熟練ドライバの注視行動モデルの概念図である。It is a conceptual diagram of the gaze action model of an expert driver. 画像処理部によるHMDの画像表示制御によって、ドライバに視認される画像の例を示す図である。It is a figure which shows the example of the image visually recognized by a driver by the image display control of HMD by an image process part. センサノード及びゲートウェイポイントで構成される車両内通信ネットワークを平面視した図である。It is the figure which planarly viewed the communication network in a vehicle comprised with a sensor node and a gateway point. センサノードの配置を側面視した図である。It is the figure which looked at the arrangement | positioning of a sensor node from the side. センサノードのブロック図である。It is a block diagram of a sensor node. ゲートウェイポイントのブロック図である。It is a block diagram of a gateway point. 携帯端末のブロック図である。It is a block diagram of a portable terminal. センサノード及びゲートウェイ間のネットワーク情報の授受を可視化すると共にゲートウェイポイントにより制御される機器を模式的に表した図である。It is the figure which represented typically the apparatus controlled by a gateway point while visualizing transfer of the network information between a sensor node and a gateway. 携帯端末、センサノード及びゲートウェイ間のネットワーク情報を授受を可視化すると共にゲートウェイポイントにより制御される機器を模式的に表した図である。It is the figure which represented typically the apparatus controlled by a gateway point while visualizing transfer of the network information between a portable terminal, a sensor node, and a gateway. HMDのレンズの光透過度を制御するために、シートに装着したセンサノードと、HMDに装着したセンサノードと、ゲートウェイポイントとの間の通信ネットワークを模式的に表した図である。It is the figure which represented typically the communication network between the sensor node with which the light transmission of the lens of HMD was mounted | worn, the sensor node with which HMD was mounted | worn, and a gateway point. HMDのレンズの光透過度を制御に関する具体的な手順の第1の例を説明するためのフローチャートである。It is a flowchart for demonstrating the 1st example of the specific procedure regarding control of the light transmittance of the lens of HMD. 図18に続いて、HMDのレンズの光透過度を制御に関する具体的な手順の第1の例を説明するためのフローチャートである。FIG. 19 is a flowchart for describing a first example of a specific procedure for controlling light transmittance of an HMD lens, following FIG. 18. HMDのレンズの光透過度を制御に関する具体的な手順の第2の例を説明するためのフローチャートである。It is a flowchart for demonstrating the 2nd example of the specific procedure regarding control of the light transmittance of the lens of HMD. 図20に続いて、HMDのレンズの光透過度を制御に関する具体的な手順の第2の例を説明するためのフローチャートである。FIG. 21 is a flowchart for describing a second example of a specific procedure for controlling the light transmittance of the HMD lens, following FIG. 20.

符号の説明Explanation of symbols

14 第1前方撮影カメラ
16 第2前方撮影カメラ
18 前方死角撮影カメラ
20 後方死角撮影カメラ
24 照度センサ
30 HMD
32 レンズ(光透過液晶)
34、36 保護パネル
38 カラー画像表示パネル
40 液晶パネル
42 表示駆動回路
44 液晶駆動回路
50 位置センサ
52 視線方向推定部
54 顔画像撮影カメラ
62 車両状態センサ
86 瞳開度検出処理回路
88 ゲートウェイポイントのメモリ
90 HMDのセンサノードSNのメモリ
92 携帯端末のメモリ
M 携帯端末(携帯電話機)
14 First Front Shooting Camera 16 Second Front Shooting Camera 18 Front Blind Spot Shooting Camera 20 Back Blind Spot Shooting Camera 24 Illuminance Sensor 30 HMD
32 Lens (light transmissive liquid crystal)
34, 36 Protection panel 38 Color image display panel 40 Liquid crystal panel 42 Display drive circuit 44 Liquid crystal drive circuit 50 Position sensor 52 Gaze direction estimation unit 54 Face image camera 62 Vehicle state sensor 86 Pupil opening detection processing circuit 88 Gateway point memory 90 Memory of sensor node SN of HMD 92 Memory of mobile terminal M Mobile terminal (mobile phone)

Claims (7)

光透過度が制御可能な左右のレンズを備え、該左右のレンズを通じて周囲の環境を見ることができると共に車両の外部状況を眼前に立体画像として表示することのできるHMDを含む車両用情報表示装置であって、
前記HMDを装着した乗員に入射する光の照度を検出する照度センサと、
前記HMDを装着した乗員の瞳の開度を検出する瞳開度検出手段と、
該瞳開度検出手段により検出した乗員の瞳の開度と前記照度センサにより検出した光の照度とに基づいて前記左右のレンズの光透過度を制御する光透過度制御手段と、
前記照度センサ、前記瞳開度検出手段、前記光透過度制御手段との間でデータを送受信する通信ネットワーク手段とを有することを特徴とする車両用情報表示装置。
Vehicle information display apparatus including an HMD that includes left and right lenses whose light transmittance is controllable, and that can see the surrounding environment through the left and right lenses and can display the external situation of the vehicle as a stereoscopic image in front of the eyes Because
An illuminance sensor for detecting the illuminance of light incident on a passenger wearing the HMD;
Pupil opening degree detecting means for detecting an opening degree of a passenger's pupil wearing the HMD;
Light transmittance control means for controlling the light transmittance of the left and right lenses based on the opening degree of the occupant's pupil detected by the pupil opening degree detection means and the illuminance of the light detected by the illuminance sensor;
A vehicle information display device comprising: a communication network means for transmitting / receiving data to / from the illuminance sensor, the pupil opening degree detection means, and the light transmittance control means.
前記通信ネットワーク手段の一部を構成する記憶手段を更に有し、
該記憶手段に、乗員毎に予め目標照度が記憶されており、
該記憶手段に記憶されている目標照度に基づいて前記光透過度制御手段が制御される、請求項1に記載の車両用情報表示装置。
Storage means constituting part of the communication network means;
In the storage means, the target illuminance is stored in advance for each occupant,
The vehicle information display device according to claim 1, wherein the light transmittance control unit is controlled based on a target illuminance stored in the storage unit.
前記照度センサが、前記通信ネットワーク手段の一部を構成し且つ前記HMDに装着されたセンサノードで構成され、該センサノードのメモリに、乗員を間接的に特定することのできる属性データと、該属性データに関連付けて当該乗員の目標照度のデータとが記憶されている、請求項1に記載の車両用情報表示装置。   The illuminance sensor is constituted by a sensor node that forms part of the communication network means and is mounted on the HMD, and attribute data that can indirectly identify an occupant in the memory of the sensor node; The vehicle information display device according to claim 1, wherein data of target illuminance of the occupant is stored in association with attribute data. 前記通信ネットワーク手段に組み込み可能な携帯端末を更に有し、
該携帯端末のIDに関連して、当該携帯端末を所有する乗員の目標照度のデータが該携帯端末のメモリに記憶されている、請求項3に記載の車両用情報表示装置。
A portable terminal that can be incorporated into the communication network means;
The vehicle information display device according to claim 3, wherein data of target illuminance of an occupant who owns the mobile terminal is stored in a memory of the mobile terminal in association with the ID of the mobile terminal.
前記通信ネットワーク手段を構成する複数のセンサノードが、前記HMDを装着した乗員を特定することのできる検出機能を備えている、請求項3に記載の車両用情報表示装置。   The vehicle information display device according to claim 3, wherein a plurality of sensor nodes constituting the communication network means have a detection function capable of specifying an occupant wearing the HMD. 前記目標照度が、前記瞳開度検出手段で検出した乗員の瞳開度及び前記照度センサからの光の照度に基づいて調整される、請求項3又は4に記載の車両用情報表示装置。   The vehicle information display device according to claim 3 or 4, wherein the target illuminance is adjusted based on an occupant's pupil opening detected by the pupil opening detection means and an illuminance of light from the illuminance sensor. 前記携帯端末のメモリに、乗員の目に関する属性が記憶されており、
該乗員の属性を取り込んで、該属性に基づいて前記目標照度を調整した後に、前記レンズの光透過度の制御が実行される、請求項4に記載の車両用情報表示装置。
Attributes relating to the eyes of the occupant are stored in the memory of the portable terminal,
The vehicle information display device according to claim 4, wherein after taking in an attribute of the occupant and adjusting the target illuminance based on the attribute, control of light transmittance of the lens is executed.
JP2008225832A 2008-09-03 2008-09-03 Vehicular information display device Pending JP2010058631A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008225832A JP2010058631A (en) 2008-09-03 2008-09-03 Vehicular information display device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008225832A JP2010058631A (en) 2008-09-03 2008-09-03 Vehicular information display device

Publications (1)

Publication Number Publication Date
JP2010058631A true JP2010058631A (en) 2010-03-18

Family

ID=42185945

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008225832A Pending JP2010058631A (en) 2008-09-03 2008-09-03 Vehicular information display device

Country Status (1)

Country Link
JP (1) JP2010058631A (en)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102811308A (en) * 2011-05-31 2012-12-05 德尔福电子(苏州)有限公司 Vehicle-mounted eye movement control system
WO2014010179A1 (en) * 2012-07-12 2014-01-16 株式会社デンソー Field of view assistance device for vehicle
KR20160000457A (en) * 2013-04-25 2016-01-04 에씰로아 인터내셔날(콩파니에 제네랄 도프티크) A method of controlling a head mounted electro-optical device adapted to a wearer
JP2017510212A (en) * 2013-12-17 2017-04-06 マースピアル ホールディングス インコーポレイテッド Integrated micro-optic imager, processor and display {INTEGRATED MICROOPTIC IMAGER, PROCESSOR AND DISPLAY}
US9740009B2 (en) 2013-08-19 2017-08-22 Seiko Epson Corporation Head mounted display and method for controlling head mounted display
WO2017145645A1 (en) * 2016-02-25 2017-08-31 富士フイルム株式会社 Driving assistance apparatus, driving assistance method, and driving assistance program
JP2021056462A (en) * 2019-10-01 2021-04-08 株式会社Nttドコモ Display device and display method
CN117238228A (en) * 2023-11-14 2023-12-15 湖北星纪魅族集团有限公司 Display brightness adjustment method, wearable device and storage medium

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102811308B (en) * 2011-05-31 2016-08-31 德尔福电子(苏州)有限公司 A kind of vehicle-mounted eye movement control system
CN102811308A (en) * 2011-05-31 2012-12-05 德尔福电子(苏州)有限公司 Vehicle-mounted eye movement control system
WO2014010179A1 (en) * 2012-07-12 2014-01-16 株式会社デンソー Field of view assistance device for vehicle
KR102256992B1 (en) 2013-04-25 2021-05-27 에씰로 앙터나시오날 A method of controlling a head mounted electro-optical device adapted to a wearer
KR20160000457A (en) * 2013-04-25 2016-01-04 에씰로아 인터내셔날(콩파니에 제네랄 도프티크) A method of controlling a head mounted electro-optical device adapted to a wearer
US9740009B2 (en) 2013-08-19 2017-08-22 Seiko Epson Corporation Head mounted display and method for controlling head mounted display
JP2017510212A (en) * 2013-12-17 2017-04-06 マースピアル ホールディングス インコーポレイテッド Integrated micro-optic imager, processor and display {INTEGRATED MICROOPTIC IMAGER, PROCESSOR AND DISPLAY}
US10520736B2 (en) 2013-12-17 2019-12-31 Marsupial Holdings, Inc. Integrated Microoptic imager, processor, and display
CN108701415A (en) * 2016-02-25 2018-10-23 富士胶片株式会社 Drive assistance device, driving assistance method and driving auxiliary program
JP6410987B2 (en) * 2016-02-25 2018-10-24 富士フイルム株式会社 Driving support device, driving support method, and driving support program
JPWO2017145645A1 (en) * 2016-02-25 2018-12-27 富士フイルム株式会社 Driving support device, driving support method, and driving support program
WO2017145645A1 (en) * 2016-02-25 2017-08-31 富士フイルム株式会社 Driving assistance apparatus, driving assistance method, and driving assistance program
US11025836B2 (en) 2016-02-25 2021-06-01 Fujifilm Corporation Driving assistance device, driving assistance method, and driving assistance program
JP2021056462A (en) * 2019-10-01 2021-04-08 株式会社Nttドコモ Display device and display method
JP7339837B2 (en) 2019-10-01 2023-09-06 株式会社Nttドコモ Display device and display method
CN117238228A (en) * 2023-11-14 2023-12-15 湖北星纪魅族集团有限公司 Display brightness adjustment method, wearable device and storage medium

Similar Documents

Publication Publication Date Title
CN107415938B (en) Controlling autonomous vehicle functions and outputs based on occupant position and attention
JP2010058631A (en) Vehicular information display device
KR101730321B1 (en) Driver assistance apparatus and control method for the same
US20170343375A1 (en) Systems to dynamically guide a user to an autonomous-driving vehicle pick-up location by augmented-reality walking directions
KR101741433B1 (en) Driver assistance apparatus and control method for the same
US10298741B2 (en) Method and device for assisting in safe driving of a vehicle
US10868976B2 (en) Method for operating smartglasses in a motor vehicle, and system comprising smartglasses
KR101618551B1 (en) Driver assistance apparatus and Vehicle including the same
US11022795B2 (en) Vehicle display control device
EP2950521B1 (en) Camera capable of reducing motion blur in a low luminance environment and vehicle including the same
JP2008230296A (en) Vehicle drive supporting system
US10647201B2 (en) Drive assist device and drive assist method
US11891002B1 (en) Determining comfort settings in vehicles using computer vision
KR102125756B1 (en) Appratus and method for intelligent vehicle convenience control
KR20160147559A (en) Driver assistance apparatus for vehicle and Vehicle
JP6891926B2 (en) Vehicle systems, methods performed on vehicle systems, and driver assistance systems
JP2004030212A (en) Information providing apparatus for vehicle
JP2010143411A (en) Head-up display device
KR20160148394A (en) Autonomous vehicle
CN115185080B (en) Wearable AR (augmented reality) head-up display system for vehicle
KR101526795B1 (en) Smart glasses, system for displaying a blind spot of vehicle using the same, and method thereof
KR101822896B1 (en) Driver assistance apparatus and control method for the same
JP6585543B2 (en) Driver visual information providing device and vehicle driving support system
KR20160064762A (en) Display apparatus for vhhicleand vehicle including the same
JP6485310B2 (en) Information providing system, information providing method, and computer program