JP2019112062A - Visual guidance device for vehicle - Google Patents
Visual guidance device for vehicle Download PDFInfo
- Publication number
- JP2019112062A JP2019112062A JP2019054677A JP2019054677A JP2019112062A JP 2019112062 A JP2019112062 A JP 2019112062A JP 2019054677 A JP2019054677 A JP 2019054677A JP 2019054677 A JP2019054677 A JP 2019054677A JP 2019112062 A JP2019112062 A JP 2019112062A
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- pair
- line
- occupant
- lane
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000000007 visual effect Effects 0.000 title abstract description 30
- 210000001508 eye Anatomy 0.000 description 39
- 238000003384 imaging method Methods 0.000 description 38
- 210000003128 head Anatomy 0.000 description 36
- 238000000034 method Methods 0.000 description 34
- 230000008569 process Effects 0.000 description 32
- 238000012545 processing Methods 0.000 description 28
- 230000033001 locomotion Effects 0.000 description 25
- 230000008859 change Effects 0.000 description 21
- 238000004891 communication Methods 0.000 description 13
- 238000012790 confirmation Methods 0.000 description 10
- 210000005252 bulbus oculi Anatomy 0.000 description 6
- 239000011521 glass Substances 0.000 description 6
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 230000006399 behavior Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 101001139126 Homo sapiens Krueppel-like factor 6 Proteins 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
Images
Abstract
Description
本発明は、自動車などの車両において、乗員の視線を誘導する視線誘導装置に関する。 The present invention relates to a gaze guidance apparatus for guiding a gaze of a passenger in a vehicle such as a car.
近年の自動車では、特許文献1のように液晶ディスプレイに案内経路を表示するナビゲーション装置を搭載したり、特許文献2のように各種レーダにより走行環境を監視して緊急時の運転を支援する装置を搭載したりしている。
In recent automobiles, as disclosed in
しかしながら、自動車は、依然、乗員による操作に基づいて走行している。乗員は、走行中に、フロントガラスなどの車窓から車外の安全等を確認し、確認した車外の状況を判断し、それに応じて自動車を操作する。この場合、自動車の走行安定性や安全性は、基本的に乗員の運転能力により決まる。乗員は、状況に応じて、車両の前方、斜め前方、左右、後方、斜め後方などを適宜確認するように目線を切り替えるように動かしたり、視線を一定方向に安定的に維持したりしながら、運転する。
このため、たとえば安全性についていえば、運転中に周囲を確認するための目線の使い方が解っていない初心者であっても、上級者と同様に、必要な車外の安全確認を適切に実施することが求められる。また、疲れた状態で運転するバスの乗務員においても、疲れていない一般的な乗員と同様に、必要な安全確認を実施することが求められる。また、乗員が車外を確認しようとしても、大雨などにより周囲が見え難くなり、十分な確認ができない状況も想定し得る。このよう悪天候の状況でも、乗員には必要な安全確認を実施することが求められる。すなわち、運転中の目線の使い方が解っていない初心者であっても、夜の大雨などの悪天候の際に、必要な安全確認を実施して、状況に応じた適切で安全な運転をし続けることが求められる。
However, the car is still driving based on the operation by the occupant. While traveling, the occupant confirms safety and the like outside the vehicle from a window such as a windshield, determines the confirmed condition outside the vehicle, and operates the vehicle accordingly. In this case, the traveling stability and safety of the vehicle are basically determined by the driving ability of the occupant. According to the situation, the occupant moves the eyes so as to appropriately check the front, diagonal front, left and right, rear, diagonal rear, etc. of the vehicle, or stably maintains the line of sight in a certain direction. drive.
For this reason, for safety, for example, even beginners who do not know how to use their eyes to check their surroundings while driving should properly carry out the necessary safety checks outside the vehicle as well as advanced users. Is required. In addition, even a crew member of a bus operating in a tired state is required to carry out the necessary safety confirmation in the same manner as a general passenger who is not tired. In addition, even when the occupant checks the outside of the vehicle, it is possible to assume a situation where it is difficult to see the surroundings due to heavy rain or the like and sufficient confirmation can not be made. Even in such bad weather conditions, the crew is required to carry out the necessary safety checks. That is, even for a beginner who does not know how to use the eyes while driving, in the case of bad weather such as heavy rain at night, carry out the necessary safety checks and keep performing appropriate and safe driving according to the situation Is required.
このように自動車などの車両では、案内経路の情報を提示したり、緊急時の運転を支援したりするのではなく、乗員の運転そのものを支援することが潜在的に求められている。 As described above, in a vehicle such as a car, there is a potential demand for assisting the driver's driving itself rather than presenting information on a guide route or assisting in an emergency driving.
本発明に係る車両の視線誘導装置は、車両に乗車した乗員が車外を視認するために透視可能なフロントガラスまたはスクリーンに映像を表示させる表示部材と、前記車両内から前記乗員が視認する風景についての風景情報を取得する風景情報取得部と、前記風景情報に基づいて、前記車両の通過が予想される予想進路を前記乗員が視認する際に視線が通過する前記フロントガラスまたは前記スクリーン上の透視位置又は前記車両の予想進路の右縁および左縁が透視される透視位置を特定する透視位置特定部と、前記車両の周囲のリスクまたは前記車両の走行自体についての関連情報を取得する関連情報取得部と、を有し、前記表示部材は、前記透視位置に基づいて、前記車両の予想進路の右縁および左縁と重なって見えることが可能なように、前記フロントガラスまたは前記スクリーンに、前記車両の車幅以上に相当する間隔にて一対の走行基準マークを横並びに表示させ、前記関連情報に応じて、前記一対の走行基準マークの少なくとも一方の表示位置を前記車両の予想進路の中央寄りに変更する。 The visual line guidance device for a vehicle according to the present invention is a display member for displaying an image on a windshield or screen which can be seen through for a passenger on a vehicle to visually recognize the outside of the vehicle, and a landscape viewed by the passenger from inside the vehicle And a perspective on the front glass or the screen through which a line of sight passes when the occupant visually recognizes an expected route through which the vehicle is expected to pass, based on the landscape information acquisition unit that acquires the landscape information of Perspective position identifying unit for identifying a position or a perspective position where the right edge and the left edge of the expected route of the vehicle are viewed, and related information acquisition for acquiring related information about a risk around the vehicle or travel of the vehicle itself And the display member can be seen to overlap with the right edge and the left edge of the expected path of the vehicle based on the see-through position A pair of travel reference marks are displayed side by side on the windshield or the screen at an interval corresponding to the vehicle width or more of the vehicle, and according to the related information, at least one display position of the pair of travel reference marks To the center of the expected course of the vehicle.
本発明では、風景情報取得部が、車両内から乗員が視認する風景についての風景情報を取得し、透視位置特定部が、該風景情報に基づいて、車両の通過が予想される予想進路を乗員が視認する際に視線が通過するフロントガラスまたはスクリーン上の透視位置又は車両の予想進路の右縁および左縁が透視される透視位置を特定する。そして、表示部材は、該透視位置に基づいて、フロントガラスまたはスクリーンに、車両の車幅以上に相当する間隔にて、一対の走行基準マークを横並びに表示させる。これにより、乗員は、フロントガラスまたはスクリーンに表示された一対の走行基準マークを、車両の予想進路の右縁および左縁と重ねて見ることが可能になる。乗員の視線は、一対の走行基準マークにより強調表示された車両の予想進路に誘導され得る。乗員は、運転中に確認が必要とされる予想進路について、確認することができる。一対の走行基準マークの間を確認して、安全に走行し得るか否かを確認し得る。また、一対の走行基準マークの表示により、乗員の視線は予想進路に安定し、その結果として車両は安定的に走行し得る。また、乗員が他の方向へ視線を動かした後でも、容易に且つ速やかに所望の予想進路の方向へ視線を戻すことができる。視線を戻す際に予想進路を探す必要がない。
特に、予想進路の右縁および左縁と重ねて一対の走行基準マークを表示させているので、乗員の目線は、一点に集中し難くなり、予想進路の方向を全体的に観察し易くなる。予想進路上のみならず、予想進路の左右についても確認し易くなる。
これに対して、仮にたとえば予想進路上に1つの走行基準マークを表示させた場合、乗員の目線は、その一点に集中し易くなる。その結果、一点の走行基準マークにより乗員の視線を誘導できたとしても、その一点のみに意識が集中してしまい、予想進路の方向を全体的に観察し難くなる。特に、一点の走行基準マークから微妙に離れた周囲である予想進路の左右の安全性について確認し難くなる。本発明では、このようなミスリードを生じ難い。
また、車体の周囲のリスクまたは車体の走行自体についての関連情報に応じて、一対の走行基準マークの少なくとも一方の表示位置を車両の予想進路の中央寄りに変更する。よって、乗員は、一対の走行基準マークから目線を動かすことなく、車体の周囲のリスクまたは車体の走行自体についての関連情報を認識できる。乗員は、たとえば表示により認識した事由について確認することができる。周囲の安全を確認するための乗員の負担を軽減できる。
In the present invention, the scenery information acquisition unit acquires scenery information about the scenery visually recognized by the occupant from the inside of the vehicle, and the see-through position identification unit detects the expected route along which the vehicle is expected to pass based on the scenery information. A perspective position on the windshield or screen through which the line of sight passes when the visual axis is viewed or a perspective position where the right edge and the left edge of the expected course of the vehicle are viewed are identified. Then, based on the see-through position, the display member causes the windshield or screen to display a pair of travel reference marks horizontally at an interval corresponding to the vehicle width or more of the vehicle. This allows the occupant to see a pair of travel reference marks displayed on the windshield or screen superimposed on the right and left edges of the expected course of the vehicle. The line of sight of the occupant can be guided to the expected course of the vehicle highlighted by the pair of travel reference marks. The occupant can confirm the expected course that requires confirmation during driving. By checking between the pair of driving reference marks, it can be confirmed whether the vehicle can travel safely. In addition, the display of the pair of travel reference marks stabilizes the line of sight of the occupant on the expected course, and as a result, the vehicle can travel stably. Further, even after the occupant moves his / her gaze in the other direction, it is possible to easily and quickly return the gaze in the direction of the desired expected course. There is no need to look for a predicted course when returning the gaze.
In particular, since the pair of travel reference marks are displayed overlapping with the right edge and the left edge of the expected route, it is difficult for the line of sight of the occupant to be concentrated on one point, and the direction of the expected route can be easily observed overall. Not only on the forecasted course, but also on the left and right of the forecasted course can be easily checked.
On the other hand, if, for example, one driving reference mark is displayed on the predicted course, the line of sight of the occupant tends to be concentrated at that point. As a result, even if the line of sight of the occupant can be guided by a single travel reference mark, awareness is concentrated at only that one point, and it becomes difficult to observe the direction of the expected course as a whole. In particular, it becomes difficult to confirm the safety of the left and right of the predicted course that is slightly away from the one travel reference mark. In the present invention, such a misread does not easily occur.
Further, the display position of at least one of the pair of travel reference marks is changed to the center of the expected route of the vehicle according to the risk around the vehicle body or the related information about the travel of the vehicle body itself. Therefore, the occupant can recognize the related information about the risk around the vehicle body or the traveling of the vehicle body itself without moving the eyes from the pair of travel reference marks. The occupant can check, for example, the reason for recognition on the display. This can reduce the burden on the occupant to confirm the safety of the surroundings.
以下、本発明の実施形態を、図面に基づいて説明する。 Hereinafter, embodiments of the present invention will be described based on the drawings.
[第1実施形態]
第1実施形態では、フロントガラス8に、乗員Mの視線を誘導するための一対の走行基準マークを表示する例について説明する。
図1は、本発明の第1実施形態に係る自動車1の説明図である。自動車1は、車両の一例である。図1は、自動車1を上から見た図である。
図1の自動車1は、車体2を有する。車体2は、エンジン等が配置される前室3、乗員Mが乗車する乗員室4、荷物等を入れる後室5、を有する。
乗員室4には、乗員Mが着座する複数のシート6が前後二列に配置されている。前側のシート6の前には、左右方向に延在するダッシュボード7が配置される。ダッシュボード7の上側には、フロントガラス8が配置される。フロントガラス8は、乗員室4に乗車した乗員Mが車外を視認するために透視可能な透明または半透明の部材である。
乗員Mは、乗員室4に乗車し、シート6に着座する。走行中の乗員Mは、シートベルト9によりシート6に拘束される。
フロントガラス8の上部には、車体2の後を確認するためのルームミラー10が配置される。前列のシート6の左方向および右方向には、乗員室4の外に、サイドミラー11が配置される。乗員Mは、フロントガラス8などを通じて自動車1の前方の周囲を確認するほかに、ルームミラー10やサイドミラー11を用いて自動車1の後方の周囲を確認することができる。
自動車1を運転する乗員Mのシート6の周囲には、ハンドル12、ブレーキペダル13、アクセルペダル14、シフトレバー15といった操作部材が配置される。シート6に着座した乗員Mは、操作部材を操作し、自動車1を走行させる。
First Embodiment
In the first embodiment, an example will be described in which a pair of traveling reference marks for guiding the line of sight of the occupant M is displayed on the
FIG. 1 is an explanatory view of a
The
In the
The occupant M gets in the
A
Operating members such as a
ところで、近年の自動車1では、液晶ディスプレイに案内経路を表示するナビゲーション装置を搭載したり、各種レーダにより走行環境を監視して緊急時の運転を支援する装置を搭載したりしている。
しかしながら、自動車1は、依然、乗員Mによる操作に基づいて走行している。乗員Mは、走行中に、フロントガラス8などの車窓から車外の安全等を確認し、確認した車外の状況を判断し、それに応じて自動車1を操作する。この場合、自動車1の走行安定性や安全性は、基本的に乗員Mの運転能力により決まる。乗員Mは、状況に応じて、車体2の前方、斜め前方、左右、後方、斜め後方などを適宜確認するように目線を切り替えるように動かしたり、視線を一定方向に安定的に維持したりしながら、運転する。
By the way, in a
However, the
このため、たとえば安全性についていえば、運転中に周囲を確認するための目線の使い方が解っていない初心者であっても、上級者と同様に、必要な車外の安全確認を適切に実施することが求められる。たとえば前方正面、前方右斜め前、前方左斜め前を目視により確認する必要がある。
また、疲れた状態で運転するバスの乗務員においても、疲れていない一般的な乗員Mと同様に、必要な安全確認を実施することが求められる。
また、乗員Mが車外を確認しようとしても、大雨などにより周囲が見え難くなり、十分な確認ができない状況も想定し得る。このよう悪天候の状況でも、乗員Mには必要な安全確認を実施することが求められる。
このように、運転中の目線の使い方が解っていない初心者であっても、夜の大雨などの悪天候の際に、必要な安全確認を適切に実施し、状況に応じた安全な運転をし続けることが求められる。
For this reason, for safety, for example, even beginners who do not know how to use their eyes to check their surroundings while driving should properly carry out the necessary safety checks outside the vehicle as well as advanced users. Is required. For example, it is necessary to visually confirm the front front, the front right front, and the front left front.
In addition, even a crew member of a bus operating in a tired state is required to carry out the necessary safety confirmation in the same manner as a general passenger M who is not tired.
Further, even if the occupant M tries to check the outside of the vehicle, it is possible to assume a situation where it is difficult to see the surroundings due to heavy rain or the like and sufficient confirmation can not be made. Even in such bad weather conditions, the occupant M is required to carry out the necessary safety confirmation.
In this way, even for beginners who do not know how to use their eyes while driving, in the event of heavy weather such as heavy rain at night, properly carry out necessary safety checks and continue safe driving according to the situation Is required.
この他もたとえば、走行安定性においては、乗員Mは、適切な目線で進路を確認しながら運転することが求められる。
たとえば、曲がった道路にそってコーナリングをする場合、まずコーナ進入時に進路の外縁のブレーキポイントへ車体2を寄せたい。そのため、本表示方法を利用して、自然に車体2をブレーキポイント外側に寄るように仕向ける。クリッピングポイントへ本表示方法で車体2を誘導させる。それと同時に、より遠くへ視線を誘導することで、車体挙動を安定させて円弧を描くことができる。このような目線で乗員Mが自動車1を運転することにより、自動車1は、コーナの後半が安定、および回避行動がとり易いアウトインインのラインをトレースできる。車体2が安定した状態でスムースにコーナを通過し得る。その結果、自動車1の走行安定性だけでなく、走行の安全性も向上し得る。
このように自動車1では、案内経路の情報を提示したり、緊急時の運転を支援したりするだけでなく、乗員Mの運転そのものを支援することが潜在的に求められている。
Besides this, for example, in traveling stability, the occupant M is required to drive while confirming the course with appropriate eyes.
For example, when cornering along a curved road, it is desirable to move the
As described above, the
図2は、図1の自動車1に搭載される視線誘導システム20の概略構成図である。
図2の視線誘導システム20は、フロントカメラ21、リアカメラ22、車内カメラ23、走行支援装置24、ECU(EngineControlUnit)25、GPS(GlobalPositioningSystem)受信機26、ナビゲーション装置27、無線通信部28、マイクロコンピュータ29、プロジェクタ30、を有する。マイクロコンピュータ29には、表示制御部31が実現される。
FIG. 2 is a schematic block diagram of a
The
フロントカメラ21は、車体2の前方の車外を撮像するカメラである。フロントカメラ21は、たとえば複数のCMOS(ComplementaryMetalOxideSemiconductor)センサでよい。複数のCMOSセンサは、たとえばフロントガラス8の上縁に沿って車体2の左右方向に並べて前向きに固定設置される。複数のCMOSセンサは、ルームミラー10の前面に前向きで並べて固定設置されてもよい。車体2に固定設置された複数のCMOSセンサにより、車体2の前方の車外風景やたとえば他の自動車といった目標物について、左右方向で微妙にずれた複数の画像を得ることができる。画像中で撮像位置は、CMOSセンサから目標物へ向かう相対方向を示す。そして、自車(車体2)と目標物との相対方向および相対距離は、たとえば複数のCMOSセンサの設置位置を底辺の頂点とする三角法の演算により演算することができる。自車(車体2)を基準とした目標物の相対的な空間位置を得ることができる。
The
リアカメラ22は、車体2の後方を撮像するカメラである。リアカメラ22は、たとえば複数のCMOSセンサでよい。複数のCMOSセンサは、たとえばリアガラスの上縁に沿って車体2の左右方向に並べて固定設置される。複数のCMOSセンサは、左右のサイドミラー11に後向きで並べて固定設置されてもよい。車体2に固定設置された複数のCMOSセンサにより、車体2の後方の車外風景やたとえば他の自動車といった目標物について、左右方向で微妙にずれた複数の画像を得ることができる。そして、自車(車体2)を基準とした目標物の相対的な空間位置を得ることができる。
The
車内カメラ23は、乗員室4内を撮像するカメラである。車内カメラ23は、たとえば複数のCMOSセンサでよい。複数のCMOSセンサは、たとえばフロントガラス8の上縁部分に車体2の左右方向に並べて後向きに固定設置される。なお、複数のCMOSセンサは、この三角法の配置ではなく、1つがダッシュボード7に後向きに固定設置され、もう一つがシート6の上方の車体2のルーフに下向きに固定設置されてもよい。この場合でも、直交座標系により、各画像におけるシート6に着座する乗員Mの頭部や眼球の撮像位置から、頭部や眼球について、自車(車体2)を基準とした相対的な空間位置を演算し得る。
The in-
走行支援装置24は、フロントカメラ21およびリアカメラ22に接続されるコンピュータ装置である。走行支援装置24は、これらのカメラで撮像された画像に基づいて、たとえば、自車(車体2)の周囲に存在する他の自動車1などの移動体の情報を生成する。移動体の情報には、相対的な方向および距離、相対的な移動方向といった情報が含まれる。相対的な移動体の移動方向は、時間を前後して撮像された複数の画像における移動体の方向および距離の変化に基づいて演算することができる。走行支援装置24は、生成した移動体の情報に基づいて衝突等の危険性を判断し、衝突の危険性がある場合には、ECU25へ制動信号やエアバッグの展開信号などを出力する。
また、走行支援装置24は、車体2の周囲のリスクを示す移動体情報とともに、フロントカメラ21やリアカメラ22の撮像画像のデータを、マイクロコンピュータ29の表示制御部31へ出力する。フロントカメラ21やリアカメラ22の撮像画像は、車内から乗員Mが視認する風景についての車窓風景の画像として用いることが可能である。
The
The driving
ECU25は、乗員Mの操作や走行支援装置24などからの信号に基づいて、自動車1の走行を制御するコンピュータ装置である。ECU25は、自動車1のエンジンやブレーキ装置へ制御信号を出力する。ECU25は、車速、ハンドル12の舵角、ブレーキペダル13の操作の有無および操作量といった車体2の走行自体についての関連情報を、表示制御部31へ出力する。
The
GPS受信機26は、GPS衛星からのGPS信号を受信する。GPS受信機26は、複数のGPS衛星から受信した複数のGPS信号から、自車(車体2)の空間位置(緯度、経度、標高)、移動速度、時刻といった情報を生成する。GPS受信機26は、生成した車体2の走行自体についての関連情報を、表示制御部31へ出力する。
The
ナビゲーション装置27は、GPS受信機26に接続される。ナビゲーション装置27は、地図データ、道路データ、地形データなどの蓄積情報を有する。道路データには、複数の道路の交差点等に関するノードデータと、交差点間の各道路区間に関するリンクデータと、が含まれる。ノードデータには、交差点での車線数、車線規制情報といった情報が含まれる。リンクデータには、各道路での車線数、車線規制情報といった情報が含まれる。ナビゲーション装置27は、目的地が設定されることにより、蓄積情報を用いてたとえば現在地から目的地までの移動経路を示すデータを生成し、生成した移動経路を地図とともにディスプレイに表示する。
また、ナビゲーション装置27は、地図データ、道路データ、地形データ、案内経路データを、マイクロコンピュータ29の表示制御部31へ出力する。地図データ、道路データ、地形データ、案内経路データは、車内から乗員Mが視認する車窓風景についての風景情報として用いることが可能である。
The
The
無線通信部28は、たとえば地上に設置される基地局と無線通信する。無線通信部28は、基地局を通じてたとえばインターネットに接続されたサーバ装置から情報を取得する。このような情報としては、たとえば交通情報、規制情報、がある。また、無線通信部28は、たとえば周囲に存在する携帯電話機の位置情報、移動速度、移動方向などを取得してもよい。携帯電話機の位置情報などは、人、子供、犬といった移動体の位置情報などとして用いることができる。また、無線通信部28は、自車(車体2)が走行する周囲の地図データ、道路データ、地形データを取得してもよい。そして、ナビゲーション装置27は、取得した情報を、マイクロコンピュータ29の表示制御部31へ出力する。
The
なお、たとえばGPS受信機26、ナビゲーション装置27、無線通信部28といった構成要素は、車体2に対して取り外し可能に設けられてもよい。このような目的に利用できる機器としては、たとえば携帯電話機、多機能携帯通信機といった携帯情報端末がある。また、フロントカメラ21、リアカメラ22、車内カメラ23として、携帯情報端末の撮像デバイスを使用してもよい。この場合でも、たとえば携帯情報端末を所定の姿勢で車体2に取り付けることができるようにすることにより、車体2に対して所定の撮像方向へ向いて固定されたフロントカメラ21、リアカメラ22または車内カメラ23として用いることができる。
For example, components such as the
プロジェクタ30は、たとえばフロントガラス8に映像を投影する。プロジェクタ30は、この他にも乗員Mとフロントガラス8との間に設置される透明または半透明のスクリーンや、乗員Mが装着するメガネに映像を投影してもよい。なお、フロントガラス8は、投影された映像を表示するために、たとえば透視可能なフィルムが貼着されてもよい。プロジェクタ30は、ダッシュボード7内に、フロントガラス8に向けて設置される。フロントガラス8の反射光により、乗員Mはフロントガラス8に投影された画像を視認できる。プロジェクタ30からフロントガラス8に投影する光量を調整したり、フロントガラス8に投影する映像の範囲や時間を制限したりすることにより、乗員Mはフロントガラス8を通じて車外の風景を視認しつつフロントガラス8に投影された画像を視認することができる。
The
マイクロコンピュータ29は、車内カメラ23、走行支援装置24、ECU25、ナビゲーション装置27、無線通信部28、プロジェクタ30に接続される。マイクロコンピュータ29は、メモリ、CPU(CentralProcessingUnit)を有するコンピュータ装置である。CPUは、メモリに記憶されるプログラムを読み込んで実行する。これにより、マイクロコンピュータ29には、表示制御部31が実現される。
表示制御部31は、これらの接続機器からマイクロコンピュータ29へ入力される情報を用いて、乗員Mの注意を喚起するように乗員Mの視線を誘導するための映像をプロジェクタ30へ出力する。これにより、車体2に乗車した乗員Mが車外を視認するために透視可能なフロントガラス8には、乗員Mの視線を誘導するための映像が表示される。表示制御部31は、たとえば後述するように、車外の風景情報に基づいて車体2の通過が予想される予想進路を乗員Mが視認する際に視線が通過するフロントガラス8上の透視座標および該予想進路の右縁および左縁が透視される透視座標を特定し、予想進路の右縁および左縁と重なる一対の走行基準マークをフロントガラス8に表示させる。
なお、マイクロコンピュータ29には、表示制御部31とともにたとえば走行支援装置24としての機能、ECU25としての機能、ナビゲーション装置27としての機能、無線通信部28としての機能、が実現されてもよい。この場合、フロントカメラ21、リアカメラ22、GPS受信機26といったデバイスは、マイクロコンピュータ29に直接接続されればよい。
The microcomputer 29 is connected to the in-
The
The microcomputer 29 may realize, for example, a function as the driving
次に、図2の視線誘導システム20による視線誘導のための処理の一例について説明する。視線誘導システム20は、乗員Mに見てほしい風景、たとえば進路に対して走行基準マークを重ねて表示し、乗員Mの視線を誘導する。
図3は、図2の表示制御部31が周期的に実行する表示処理のフローチャートである。表示制御部31は、たとえば100ミリ秒毎に、図3の処理を繰り返し実行し、フロントガラス8の表示を更新する。
図4は、フロントカメラ21によりフロントガラス8越しに撮像される車窓画像IMの一例を示す図である。
図5は、図4の撮像された車窓画像IMに対して特定される各種の特定箇所の一例を説明する図である。
Next, an example of processing for gaze guidance by the
FIG. 3 is a flowchart of display processing periodically executed by the
FIG. 4 is a view showing an example of a car window image IM captured by the
FIG. 5 is a view for explaining an example of various specified portions specified for the captured car window image IM of FIG. 4.
乗員Mの視線を誘導するために、表示制御部31は、図3の表示処理を周期的に実行する。表示制御部31は、まず、乗員Mの視線を誘導するための表示の要否を判断する(ステップST1)。
表示制御部31は、たとえば、車体2の不安定な挙動や乗員Mの緊張度合を計測して数値化し、その値が一定レベルを超える場合、視線誘導表示を要と判断する。
また、表示制御部31は、たとえば急カーブ、車体2の飛び出しといった走行環境の変化がある場合、視線誘導表示を要と判断する。
また、表示制御部31は、乗員Mの直近の過去の視線の動きを判断し、たとえば気づいていない移動体がある場合に、視線誘導表示を要と判断してもよい。
これら以外の場合、表示制御部31は、視線誘導表示を不要と判断し、図3の表示処理を終了する。
なお、表示制御部31は、視線誘導表示の要否判断を、後述する表示処理の直前に実施してもよい。
In order to guide the line of sight of the occupant M, the
For example, the
Further, when there is a change in the traveling environment such as a sharp curve or a jump out of the
In addition, the
In the case other than these, the
Note that the
視線誘導表示を要と判断した場合、表示制御部31は、図3の表示処理を継続し、視線誘導のための情報を取得する(ステップST2)。
この処理で取得される情報には、たとえば、前方の車窓画像IMとして用いることができるフロントカメラ21による車体2前方の撮像画像、乗員Mの視線を判定するために用いることができる車内カメラ23による車内の撮像画像、がある。
If it is determined that the line-of-sight guidance display is necessary, the
The information acquired in this process includes, for example, a captured image of the front of the
視線誘導のための情報を取得した後、表示制御部31は、乗員Mの視線を誘導したい方向または地点についての空間位置を見る場合に、乗員Mの視線が通過するフロントガラス8上の透視座標P(x,y)を推定する(ステップST3)。
この透視座標P(x,y)に、乗員Mの視線を誘導するための走行基準マーク41を表示することで、乗員Mの視線を、該方向または地点に向けさせることができる。ここでは、予想進路に対して乗員Mの視線を誘導する場合を例に説明する。図4の車窓画像IMでは、車体2の前方で、道路がまっすぐ前へ向かって延びている。この場合、図4中に点線枠で示すように、乗員Mは、自動車1の進路となる該道路の路面の状況を目視により確認する必要がある。
After acquiring the information for visual guidance, the
By displaying the
誘導地点への視線の透視座標P(x,y)の推定処理において、表示制御部31は、まず、車窓画像IMにおいて、予想進路(自車線)となる座標範囲を特定する(ステップST4)。
表示制御部31は、たとえば案内経路データや、道路データのリンクデータなどを用いて、車窓画像IM中の予想進路となる道路を撮像した撮像座標範囲を特定する。たとえば図4の車窓画像IMの場合、図5でハッチングを付した直線道路の撮像範囲が、予想進路となる道路の撮像座標範囲となる。
なお、道路データに基づいて対面二車線の道路であると判断される場合、片側二車線の道路であると判断される場合、自車が走行する車線の撮像範囲を、予想進路となる撮像座標範囲とすればよい。
また、車窓画像IMに対する処理により、道路を車線毎に区切る白線ライン、黄色線ラインを認識し得る場合、この情報に基づいて、自車が走行する車線の撮像範囲を特定してもよい。
In the process of estimating the perspective coordinates P (x, y) of the line of sight to the guidance point, the
The
In the case where it is determined that the road has two facing lanes based on the road data, the imaging range of the lane in which the vehicle travels is an imaging route that is the predicted route when it is determined that the road has two lanes. It should be a range.
In addition, when it is possible to recognize a white line line and a yellow line line that divide a road for each lane by the process for the car window image IM, the imaging range of the lane in which the vehicle travels may be specified based on this information.
予想進路(自車線)となる撮像座標範囲を特定した後、表示制御部31は、車窓画像IM中での、該予想進路の路面を全体的に見渡すことができる視野中心座標PCを特定する(ステップST5)。
表示制御部31は、たとえば予想進路上の所定距離の中央位置を視野中心座標PCとして特定する。図4の車窓画像IMの場合、図5に示すように、たとえば図4の点線枠の中心が視野中心座標PCとして特定される。
After specifying the imaging coordinate range to be the predicted route (the own lane), the
The
車窓画像IMについて誘導したい視野中心座標PCを特定した後、表示制御部31は、該視野中心座標PCから、車線幅または車幅に相当する距離で離れている左右一対の視線誘導座標PL,PRを特定する(ステップST6)。具体的には、図4の車窓画像IMの場合、表示制御部31は、図5の視野中心座標PCから左右方向(水平方向)に位置する、車線の右縁および左縁を撮像した一対の視線誘導座標PL,PRを特定する。
なお、車幅の情報、道路幅や車線幅の情報は、ナビゲーション装置27から取得し得る。表示制御部31は、取得した情報を参照し、車幅以上となる間隔で、左右一対の視線誘導座標PL,PRを特定する。道路幅や車線幅が車幅を下回る場合、車幅以上の間隔となるように、車線の右縁および左縁からずらして、一対の視線誘導座標PL,PRを特定する。
After specifying the visual field center coordinates PC to be guided with respect to the vehicle window image IM, the
The information of the vehicle width and the information of the road width and the lane width can be acquired from the
次に、表示制御部31は、車内カメラ23による車内の撮像画像に基づいて、乗員Mの視点(目線の起点)の空間位置を特定する(ステップST7)。
図2の場合、車内の撮像画像には、乗員Mの顔が含まれる。この場合、画像中の頭部または眼球の位置を特定することにより、車内カメラ23に対する頭部または眼球の方向を特定し得る。また、乗員Mはシート6に着座し、シートベルト9により拘束されている。よって、スライドするシート6の前後位置の情報から、車内カメラ23から頭部または眼球までの距離を推定し得る。これらの情報に基づいて、表示制御部31は、乗車している乗員Mの頭部または眼球の空間位置を特定する。
この他にもたとえば、車外の所定物と重なる基準マークを表示させた状態で、乗員Mに頭部を左右へ動かしてもらい、基準マークが車外の所定物と重なって見える状態での画像を基準画像として撮像して保持する。その後、該基準画像中の頭部または眼球の撮像位置と、処理時の車内画像中の頭部または眼球の撮像位置との差により、乗車している乗員Mの頭部または眼球の空間位置を特定してもよい。この場合でも、表示制御部31は、乗車している乗員Mの頭部または眼球のおよその空間位置を特定し得る。
Next, the
In the case of FIG. 2, the captured image in the car includes the face of the occupant M. In this case, the orientation of the head or eye relative to the in-
In addition to this, for example, while displaying a reference mark overlapping a predetermined object outside the vehicle, have the occupant M move the head to the left and right and reference the image in a state in which the reference mark appears to overlap with the predetermined object outside the vehicle Capture and hold as an image. Thereafter, the spatial position of the head or eye of the passenger M who is on board is determined by the difference between the imaging position of the head or eye in the reference image and the imaging position of the head or eye in the in-vehicle image at the time of processing. It may be specified. Even in this case, the
次に、表示制御部31は、乗員Mがフロントガラス8越しに視線誘導位置を見る場合に、視線が通過するフロントガラス8上の透視座標P(x,y)を演算する(ステップST8)。
図6は、フロントガラス8上の透視座標P(x,y)を得る演算処理の一例の説明図ある。図6は、車体2および道路を垂直面で切断した模式的な断面図である。図6には、道路の路面、車体2に固定設置されるフロントカメラ21、フロントガラス8、乗員Mの頭部および眼球が図示されている。また、フロントカメラ21により撮像される車窓画像IMが模式的に図示されている。この場合、車窓画像IMは、車体2の前方には、フロントカメラ21の撮像範囲の下縁と路面との交点において立設されている仮想画像として取り扱うことができる。
このような空間位置関係の下では、フロントカメラ21と車窓画像IM中の視線誘導座標PL,PRとを結ぶ線分を延長することにより、道路上の視線誘導地点P1の空間位置が得られる。そして、この道路上の視線誘導地点P1の空間位置と、乗員Mの頭部または眼球の空間位置とを結ぶ線分は、フロントガラス8と交差する。このような位置関係に基づいて演算することにより、表示制御部31は、乗員Mがフロントガラス8越しに視線誘導地点P1を見る場合に、視線が通過するフロントガラス8上の透視座標P(x,y)を演算し得る。
Next, when the occupant M sees the gaze guidance position through the
FIG. 6 is an explanatory view of an example of arithmetic processing for obtaining perspective coordinates P (x, y) on the
Under such a spatial positional relationship, the line position connecting the
フロントガラス8上の透視座標P(x,y)を演算した後、表示制御部31は、該透視座標P(x,y)に一対の走行基準マーク41を横並びに表示させる処理を開始する(ステップST9)。
表示制御部31は、右側の透視座標P(x,y)に、右側の走行基準マーク41を表示させる。また、左側の透視座標P(x,y)に、左側の走行基準マーク41を表示させる。
図7は、乗員Mがフロントガラス8越しに見る車窓風景の一例の説明図である。図7では、一対の走行基準マーク41が、自車が走行する車線の右縁および左縁と重ねて横並びに表示されている。
具体的には、右側の走行基準マーク41は、車線の右縁と重なって延びる走行基準線L1と、走行基準線L1から右外側へ向かって延びる視線基準線L2と、で構成されている。左側の走行基準マーク41は、車線の左縁と重なって延びる走行基準線L1と、走行基準線L1から左外側へ向かって延びる視線基準線L2と、で構成されている。一対の視線基準線L2は、左右で同じ高さに表示されている。
乗員Mの視線は、一対の走行基準マーク41により、特に一対の視線基準線L2の高さ位置に誘導され得る。そして、乗員Mは、一対の走行基準線L1により、車線の右縁の空間位置と左縁の空間位置とを視認できる。また、一対の走行基準マーク41が車線の右縁および左縁と重なって見えることから、乗員Mは、車線幅が車体2の車幅以上であることを認識できる。
After calculating the perspective coordinates P (x, y) on the
The
FIG. 7 is an explanatory view of an example of a car window landscape viewed by the occupant M through the
Specifically, the
The line of sight of the occupant M can be guided particularly by the pair of travel reference marks 41 to the height position of the pair of line of sight reference lines L2. The occupant M can visually recognize the space position of the right edge of the lane and the space position of the left edge by the pair of travel reference lines L1. Further, since the pair of travel reference marks 41 appear to overlap with the right edge and the left edge of the lane, the occupant M can recognize that the lane width is equal to or greater than the vehicle width of the
以上のように、本実施形態では、表示制御部31が、車内から乗員Mが視認する車窓画像IMを取得し、該車窓画像IMに基づいて、自車の通過が予想される予想進路の右縁および左縁を乗員Mが視認する際に視線が通過するフロントガラス8上の透視座標P(x,y)を特定する。そして、プロジェクタ30は、該透視座標P(x,y)に基づいて、フロントガラス8に、自車の車幅以上に相当する間隔にて、一対の走行基準マーク41を横並びに表示させる。これにより、乗員Mは、フロントガラス8に表示された一対の走行基準マーク41を、車体2の予想進路の右縁および左縁と重ねて見ることが可能になる。乗員Mの視線は、一対の走行基準マーク41により強調表示された予想進路に誘導され得る。乗員Mは、運転中に確認が必要とされる予想進路について、確認することができる。一対の走行基準マーク41の間を確認して、安全に走行し得るか否かを確認し得る。
また、一対の走行基準マーク41の表示により、乗員Mの視線は予想進路に安定し、その結果として車体2は安定的に走行し得る。
また、乗員Mが他の方向へ視線を動かした後でも、容易に且つ速やかに所望の予想進路の方向へ視線を戻すことができる。視線を戻す際に予想進路を探す必要がない。
特に、予想進路の右縁および左縁と重ねて一対の走行基準マーク41を表示させているので、乗員Mの目線は、一点に集中し難くなり、予想進路の全体を観察し易くなる。予想進路上のみならず、予想進路の左右についても確認し易くなる。
これに対して、仮にたとえば予想進路の中央に1つの走行基準マーク41を表示させた場合、乗員Mの目線は、その一点に集中し易くなる。その結果、一点の走行基準マーク41により乗員Mの視線を予想進路へ誘導できたとしても、その一点のみに意識が集中してしまい、予想進路の全体を観察し難くなる。特に、一点の走行基準マーク41から微妙に離れている、予想進路の右縁および左縁での安全確認をし難くなる。本実施形態では、このようなミスリードを生じ難い。
As described above, in the present embodiment, the
Further, by the display of the pair of travel reference marks 41, the line of sight of the occupant M is stabilized on the expected path, and as a result, the
Further, even after the occupant M moves his / her gaze in the other direction, it is possible to easily and quickly return the gaze in the direction of the desired expected course. There is no need to look for a predicted course when returning the gaze.
In particular, since the pair of travel reference marks 41 are displayed overlapping the right edge and the left edge of the expected route, the line of sight of the occupant M is less likely to be concentrated at one point, making it easy to observe the entire expected route. Not only on the forecasted course, but also on the left and right of the forecasted course can be easily checked.
On the other hand, if one
また、本実施形態では、表示制御部31は、車窓画像IM中の自車(車体2)が走行している道路または車線の縁の透視座標P(x,y)を特定し、プロジェクタ30は、該透視座標P(x,y)に走行基準マーク41を表示させる。よって、乗員Mは、一対の走行基準マーク41を、自車(車体2)の予想進路の右縁および左縁と重ねて見えることが可能になる。
Further, in the present embodiment, the
また、以上のように、本実施形態では、表示制御部31が、車内から乗員Mが視認する風景についての風景情報を取得し、該風景情報に基づいて、自車の通過が予想される予想進路を乗員Mが視認する際に視線が通過するフロントガラス8上の透視座標P(x,y)を特定する。そして、プロジェクタ30は、該透視座標P(x,y)に基づいて、フロントガラス8に、自車の車幅以上に相当する間隔にて、右縁および左縁に沿った一対の走行基準線L1を横並びに表示させる。これにより、乗員Mは、フロントガラス8に表示された一対の走行基準線L1を、自車の予想進路の右縁および左縁と重ねて見ることが可能になる。乗員Mの視線は、一対の走行基準線L1により強調表示された予想進路に誘導され得る。乗員Mは、運転中に確認が必要とされる予想進路について、たとえば予想進路の幅や進行方向について確認できる。一対の走行基準線L1の間を確認して、安全に走行し得るか否かを確認し得る。
また、本実施形態では、一対の走行基準線L1とともに、一対の走行基準線L1から外側へ向かって延びる一対の視線基準線L2を表示させる。2つの略T字のマークにより、予想進路を挟むように表示をさせる。人間は、水平方向に沿って延びるラインに対して目線を合わせようとする特性がある。一対の視線基準線L2により、目線の高さレベルが誘導される。そして、略T字のように交点を持つ表示においては、乗員Mは、その交点近くに目線を滞留させようとする傾向にある。また、水平方向に沿って離れた一対の略T字の表示は、その間を乗員Mに意識させる。一対の略T字の表示は、この特性を利用して、視線を安定化させることができる。
これら走行基準線L1と視線基準線L2と組み合わせを表示することにより、乗員Mの視線は、一対の視線基準線L2に対応する距離において予想進路に安定し、その結果として自動車1は安定的に走行し得る。また、乗員Mが他の方向へ視線を動かした後でも、容易に且つ速やかに該距離の方向へ視線を戻すことができる。視線を戻す際に予想進路を探す必要がない。視線を向けたい部分に、一対の略T字を表示するので、乗員Mは、目線の位置において、道路幅及び走行方向を直観的に把握できる。
特に、予想進路の右縁および左縁と重ねて一対の走行基準線L1を表示させているので、乗員Mの目線は、一点に集中し難くなり、予想進路の方向を全体的に観察し易くなる。予想進路上のみならず、予想進路の左右についても確認し易くなる。
これに対して、仮にたとえば予想進路上に1つの走行基準ラインを表示させた場合、乗員Mの目線は、その一点に集中し易くなる。その結果、1つの走行基準ラインにより乗員Mの視線を誘導できたとしても、その1つの線のみに意識が集中してしまい、予想進路の方向を全体的に観察し難くなる。特に、1つの走行基準ラインから微妙に離れた周囲である予想進路の左右の安全性について確認し難くなる。本実施形態では、このようなミスリードを生じ難い。
In addition, as described above, in the present embodiment, the
Further, in the present embodiment, along with the pair of travel reference lines L1, a pair of line-of-sight reference lines L2 extending outward from the pair of travel reference lines L1 are displayed. Two approximately T-shaped marks are displayed on both sides of the expected course. Humans have the property of trying to look at a line extending along the horizontal direction. The eye gaze height level is induced by the pair of gaze reference lines L2. And in the display which has an intersection like a substantially T character, the passenger | crew M tends to keep a gaze near the intersection. In addition, a pair of substantially T-shaped displays separated along the horizontal direction make the occupant M aware of the interval. A pair of substantially T-shaped displays can use this characteristic to stabilize the line of sight.
By displaying the combination of the travel reference line L1 and the line of sight reference line L2, the line of sight of the occupant M is stabilized in the expected course at a distance corresponding to the pair of line of sight reference lines L2, and as a result the
In particular, since the pair of travel reference lines L1 are displayed overlapping the right edge and the left edge of the expected route, the line of sight of the occupant M is less likely to be concentrated at one point, and the direction of the expected route can be easily observed overall. Become. Not only on the forecasted course, but also on the left and right of the forecasted course can be easily checked.
On the other hand, if one driving reference line is displayed on the predicted course, for example, the line of sight of the occupant M tends to be concentrated at that point. As a result, even if the line of sight of the occupant M can be guided by one traveling reference line, the concentration concentrates on only that one line, and it becomes difficult to observe the direction of the expected course as a whole. In particular, it becomes difficult to confirm the safety of the left and right of the predicted route, which is the periphery slightly away from one driving reference line. In the present embodiment, such a misread does not easily occur.
また、本実施形態では、一対の走行基準線L1の各々から外側へ向かって延びる視線基準線L2の長さは、走行基準線L1より長い。よって、水平方向に沿って左右に離れて表示される一対の走行基準線L1および一対の視線基準線L2の間に、一体感を持たせることができる。表示の全体を1つに関連した表示して意識させることができる。また、人の視線は、一対の視線基準線L2の間に誘導され易い。この特性を利用して、乗員Mの視線を一対の視線基準線L2の間に誘導することができる。 Further, in the present embodiment, the length of the gaze reference line L2 extending outward from each of the pair of travel reference lines L1 is longer than the travel reference line L1. Therefore, a sense of unity can be provided between the pair of travel reference lines L1 and the pair of line-of-sight reference lines L2 displayed separately along the horizontal direction. The whole of the display can be made conscious as a display related to one. Also, the line of sight of a person is likely to be guided between the pair of line-of-sight reference lines L2. Using this characteristic, the line of sight of the occupant M can be guided between the pair of line-of-sight reference lines L2.
また、本実施形態において、プロジェクタ30は、視線基準線L2を、乗員Mの視線を誘導したい高さに表示する。よって、一対の走行基準線L1の長さにかかわらず、乗員の視線を、一対の視線基準線L2の間に誘導することができる。
Further, in the present embodiment, the
[第2実施形態]
第2実施形態では、フロントガラス8に、一対の走行基準マーク41と注意喚起ライン42とを表示する例について説明する。
第2実施形態での自動車1および視線誘導システム20の構成は、第1実施形態のものと同様であり、同一の符号を使用してその説明を省略する。以下の説明では、主に相違点について説明する。
Second Embodiment
In the second embodiment, an example in which a pair of travel reference marks 41 and a
The configurations of the
図8は、本発明の第2実施形態に係る表示処理のフローチャートである。
図9は、一対の走行基準マーク41と注意喚起ライン42とを切り替えて表示するフロントガラス8の表示例の説明図である。図9(A)は、一対の走行基準マーク41を表示した状態である。図9(B)は、一つの注意喚起ライン42を表示した状態である。
FIG. 8 is a flowchart of display processing according to the second embodiment of the present invention.
FIG. 9 is an explanatory view of a display example of the
図8に示すように、ステップST3において視線が通過するフロントガラス8上の透視座標P(x,y)を演算した後、表示制御部31は、表示処理を開始する。
表示処理において、表示制御部31は、まず、図9(A)に示すように、演算した透視座標P(x,y)に一対の走行基準マーク41を横並びに表示させる(ステップST9)。これにより、視線は、進路の路面および周囲に誘導される。
一対の走行基準マーク41を所定期間表示した後、表示制御部31は、一対の走行基準マーク41を消去し(ステップST11)、図9(B)に示すように注意喚起ライン42を表示させる(ステップST12)。その後、注意喚起ライン42を消去させる(ステップST13)。図9(B)の注意喚起ライン42は、案内経路の方向を示すものである。案内経路の方向を示す注意喚起ライン42は、フロントガラス8の上縁中心位置から延び、予想進路に沿って下右方向へ湾曲している。このような注意喚起ライン42が表示されることにより、視線は誘導され、乗員Mは予定進路が右に曲がっていることを認識できる。車体2の走行上の注意点を示すことができる。
また、図9(A)と図9(B)とを比較すれば明らかなように、注意喚起ライン42は、一対の走行基準マーク41の表示位置と重ならないように、位置をずらして表示されている。このように位置およびタイミングを重ならないようにすることで、乗員Mは、続けて表示される一対の走行基準マーク41と注意喚起ライン42とが、別々の注意点に対応した別々の視線誘導表示であることを容易に認識できる。
As shown in FIG. 8, after calculating the perspective coordinates P (x, y) on the
In the display process, first, as shown in FIG. 9A, the
After displaying the pair of travel reference marks 41 for a predetermined period, the
Further, as apparent from comparison between FIG. 9A and FIG. 9B, the
以上のように、本実施形態では、プロジェクタ30は、一対の走行基準マーク41に加えて、車体2の走行上の注意点を示す注意喚起ライン42を、フロントガラス8に表示させる。よって、乗員Mの視線は、予想進路だけでなく、車体2の走行上の注意点について誘導され得る。乗員Mに対して気づいていない注意点を認識させたり、早くに注意点を認識させたりできる。
特に、本実施形態では、車体2の走行上の注意点を示す注意喚起ライン42を、一対の走行基準マーク41と重ならない位置に、一対の走行基準マーク41とタイミングをずらして表示させる。よって、乗員Mは、一対の走行基準マーク41と注意喚起ライン42とが別々の事由に関する表示であることを、表示に基づいて区別して認識できる。また、乗員Mは、それらの表示位置関係と理解とに基づいて、予想進路に対する危険度等を容易に判断することができる。
As described above, in the present embodiment, in addition to the pair of travel reference marks 41, the
In particular, in the present embodiment, the alerting
[第3実施形態]
第3実施形態では、フロントガラス8に表示する一対の走行基準マーク41を、状況に応じて変更する例について説明する。
第3実施形態での自動車1および視線誘導システム20の構成は、第1実施形態のものと同様であり、同一の符号を使用してその説明を省略する。以下の説明では、主に相違点について説明する。
Third Embodiment
In the third embodiment, an example will be described in which the pair of travel reference marks 41 displayed on the
The configurations of the
図10は、本発明の第3実施形態に係る表示処理のフローチャートである。
図10に示すように、ステップST3で視線が通過するフロントガラス8上の透視座標P(x,y)を演算した後、表示制御部31は、表示処理を開始する前に、更に、透視座標P(x,y)および走行基準マーク41の変更の要否を判断する。表示制御部31は、マイクロコンピュータ29に接続される機器から取得した情報に基づいて、変更の要否を判断する。
FIG. 10 is a flowchart of display processing according to the third embodiment of the present invention.
As shown in FIG. 10, after calculating the perspective coordinates P (x, y) on the
具体的には、表示制御部31は、まず、周辺リスクを判断する(ステップST21)。
たとえば前方の撮像画像中に予想進路の道路上または道路脇を自転車51などの移動体が映っている場合、表示制御部31は変更要と判断する。
また、道路上への飛び出し、道路上の危険物が予想される場合、表示制御部31は変更要と判断する。
また、道路が急激に曲がっている場合、路面が変化する場合、表示制御部31は変更要と判断する。
これら以外の場合、表示制御部31は変更不要と判断する。
Specifically, the
For example, when a moving object such as the
In addition, when jumping out onto the road and a dangerous substance on the road is expected, the
In addition, when the road is sharply bent and the road surface changes, the
In the other cases, the
次に、表示制御部31は、自車の走行状態を判断する(ステップST22)。
たとえば、前方の撮像画像が暗い場合、表示制御部31は変更要と判断する。
また、車速が所定値以上である場合、表示制御部31は変更要と判断する。
これら以外の場合、表示制御部31は変更不要と判断する。
Next, the
For example, when the captured image in front is dark, the
Further, when the vehicle speed is equal to or more than a predetermined value, the
In the other cases, the
その後、表示制御部31は、変更の要否を判断する(ステップST23)。
以上のすべての判断において変更不要と判断している場合、表示制御部31は、変更不要と判断し、当初の透視座標P(x,y)に、一対の走行基準マーク41を表示させる(ステップST24)。
Thereafter, the
When it is determined that no change is necessary in all the above determinations, the
これ以外の場合、表示制御部31は、変更要と判断し、変更要と判断した事由に応じて、表示する走行基準マーク41を変更し、走行基準マーク41の表示座標を変更する。そして、変更後の走行基準マーク41を表示させる(ステップST25)。
In other cases, the
図11は、プロジェクタ30により、フロントガラス8に表示される一対の走行基準マーク41の各種の変更例を示す説明図である。
FIG. 11 is an explanatory view showing various modifications of the pair of travel reference marks 41 displayed on the
図11(A)は、予想進路の道路の右端を自転車51が走行している場合の変更例である。この場合、右側の走行基準マーク41の表示座標は、自転車51より車線の中央寄りに変更される。
なお、右側の走行基準マーク41は、車線の右縁の位置から、変更後の位置へ向かって移動するように表示されてもよい。
また、変更後の一対の走行基準マーク41の間隔が車幅より小さなる場合、該間隔が車幅となるように左側の走行基準マーク41の表示座標を左側へ変更してもよい。
FIG. 11A is a modified example of the case where the
Note that the
When the distance between the pair of travel reference marks 41 after change is smaller than the vehicle width, the display coordinates of the
図11(B)は、予想進路の道路に、自転車51が右側から侵入してくる可能性がある場合の変更例である。この場合、右側の走行基準マーク41は、通常よりも太い線に変更されている。これにより、道路の右側から侵入してくる自転車51について、強調した表示が可能になる。
FIG. 11B is a modified example in the case where the
図11(C)は、トンネル内に侵入したりて外が暗くなった場合の変更例である。この場合、各走行基準マーク41において、車線の縁と重なって延びる走行基準線L1が手前側へ延長される。これにより、車外が暗くなって車線を視認し難くなっている状況でも、延長された走行基準線L1の表示により、車線を容易に認識することができる。 FIG. 11C shows a modified example in the case where the inside of the tunnel has entered and the outside has become dark. In this case, in each of the travel reference marks 41, a travel reference line L1 extending in an overlapping manner with the edge of the lane is extended to the near side. Thus, even in a situation where the outside of the vehicle is dark and it is difficult to visually recognize the lane, the lane can be easily recognized by the display of the extended travel reference line L1.
図11(D)は、車速が所定の制限速度を超えた場合の変更例である。この場合、一対の走行基準マーク41は、それらの間隔が狭くなるように、車線の中央寄りにずらして表示される。これにより、乗員Mは、車線幅が狭くなったかのように感じ、速度を緩める可能性がある。 FIG. 11D shows a modified example in the case where the vehicle speed exceeds a predetermined speed limit. In this case, the pair of travel reference marks 41 are displayed shifted toward the center of the lane so that the distance between them is narrow. As a result, the occupant M may feel as if the lane width is narrowed, and may reduce the speed.
図11(E)は、車速が所定の制限速度を超えた場合の変更例である。この場合、一対の走行基準マーク41の色は、たとえば通常の緑色から赤色へ変更される。なお、図面は白黒のため、実線が破線へ変更されるように図示している。これにより、乗員Mは、車速が制限速度を超えたことを知ることができる。 FIG. 11E shows a modified example where the vehicle speed exceeds a predetermined speed limit. In this case, the color of the pair of travel reference marks 41 is changed, for example, from normal green to red. Note that, since the drawing is black and white, the solid line is illustrated as being changed to a broken line. Thus, the occupant M can know that the vehicle speed has exceeded the speed limit.
以上のように、本実施形態では、表示制御部31が、車体2の周囲のリスクまたは車体2の走行自体についての関連情報を取得し、プロジェクタ30は、該関連情報に応じて、一対の走行基準マーク41の表示を変更する。
よって、乗員Mは、一対の走行基準マーク41から目線を動かすことなく、車体2の周囲のリスクまたは車体2の走行自体についての関連情報を認識できる。乗員Mは、たとえば表示により認識した事由について確認することができる。周囲の安全を確認するための乗員Mの負担を軽減できる。
As described above, in the present embodiment, the
Accordingly, the occupant M can recognize the related information about the risk around the
[第4実施形態]
第4実施形態では、フロントガラス8に、乗員Mの視線を誘導するための一対の車線ラインを表示する例について説明する。
第4実施形態での自動車1および視線誘導システム20の構成は、第1実施形態のものと同様であり、同一の符号を使用してその説明を省略する。以下の説明では、主に相違点について説明する。
Fourth Embodiment
In the fourth embodiment, an example in which a pair of lane lines for guiding the line of sight of the occupant M is displayed on the
The configurations of the
次に、本発明の第4実施形態に係る視線誘導システム20による視線誘導のための処理の一例について説明する。視線誘導システム20は、乗員Mに見てほしい風景、たとえば進路に対して車線ラインを重ねて表示し、乗員Mの視線を誘導する。
図12は、本発明の第3実施形態に係る表示制御部31が周期的に実行する表示処理のフローチャートである。表示制御部31は、たとえば100ミリ秒毎に、図12の処理を繰り返し実行し、フロントガラス8の表示を更新する。
Next, an example of a process for gaze guidance by the
FIG. 12 is a flowchart of display processing periodically executed by the
乗員Mの視線を誘導するために、表示制御部31は、図12の表示処理を周期的に実行する。表示制御部31は、まず、乗員Mの視線を誘導するための表示の要否を判断する(ステップST1)。
表示制御部31は、たとえば、車体2の不安定な挙動や乗員Mの緊張度合を計測して数値化し、その値が一定レベルを超える場合、視線誘導表示を要と判断する。
また、表示制御部31は、たとえば急カーブ、車体2の飛び出しといった走行環境の変化がある場合、視線誘導表示を要と判断する。
また、表示制御部31は、乗員Mの直近の過去の視線の動きを判断し、たとえば気づいていない移動体がある場合に、視線誘導表示を要と判断してもよい。
これら以外の場合、表示制御部31は、視線誘導表示を不要と判断し、図12の表示処理を終了する。
なお、表示制御部31は、視線誘導表示の要否判断を、後述する表示処理の直前に実施してもよい。
In order to guide the line of sight of the occupant M, the
For example, the
Further, when there is a change in the traveling environment such as a sharp curve or a jump out of the
In addition, the
In the case other than these, the
Note that the
視線誘導表示を要と判断した場合、表示制御部31は、図12の表示処理を継続し、視線誘導のための情報を取得する(ステップST2)。
この処理で取得される情報には、たとえば、前方の車窓画像IMとして用いることができるフロントカメラ21による車体2前方の撮像画像、乗員Mの視線を判定するために用いることができる車内カメラ23による車内の撮像画像、がある。
If it is determined that the line-of-sight guidance display is necessary, the
The information acquired in this process includes, for example, a captured image of the front of the
視線誘導のための情報を取得した後、表示制御部31は、制動距離の地点を見る場合に、乗員Mの視線が通過するフロントガラス8上の透視座標P(x,y)を推定する(ステップST31)。
この透視座標P(x,y)に、乗員Mの視線を誘導するための車線ライン61を表示することで、乗員Mの視線を、該方向または地点に向けさせることができる。ここでは、予想進路に対して乗員Mの視線を誘導する場合を例に説明する。図4の車窓画像IMでは、車体2の前方で、道路がまっすぐ前へ向かって延びている。この場合、図4中に点線枠で示すように、乗員Mは、自動車1の進路となる該道路の路面の状況を目視により確認する必要がある。
After acquiring the information for visual line guidance, the
By displaying the
誘導地点への視線の透視座標P(x,y)の推定処理において、表示制御部31は、まず、車窓画像IMにおいて、予想進路(自車線)となる座標範囲を特定する(ステップST32)。
表示制御部31は、たとえば案内経路データや、道路データのリンクデータなどを用いて、車窓画像IM中の予想進路となる道路を撮像した撮像座標範囲を特定する。たとえば図4の車窓画像IMの場合、図5でハッチングを付した直線道路の撮像範囲が、予想進路となる道路の撮像座標範囲となる。
なお、道路データに基づいて対面二車線の道路であると判断される場合、片側二車線の道路であると判断される場合、自車が走行する車線の撮像範囲を、予想進路となる撮像座標範囲とすればよい。
また、車窓画像IMに対する処理により、道路を車線毎に区切る白線ライン、黄色線ラインを認識し得る場合、この情報に基づいて、自車が走行する車線の撮像範囲を特定してもよい。
In the process of estimating the perspective coordinates P (x, y) of the line of sight to the guidance point, the
The
In the case where it is determined that the road has two facing lanes based on the road data, the imaging range of the lane in which the vehicle travels is an imaging route that is the predicted route when it is determined that the road has two lanes. It should be a range.
In addition, when it is possible to recognize a white line line and a yellow line line that divide a road for each lane by the process for the car window image IM, the imaging range of the lane in which the vehicle travels may be specified based on this information.
次に、表示制御部31は、制動距離を推定する(ステップST33)。
表示制御部31は、たとえばECU25から車速情報を取得し、走行中の路面の種類、たとえば舗装路や砂利道といった種類に応じた制動距離を演算する。
表示制御部31は、天候等に応じた制動距離を演算してもよい。晴れ、雨程度の天候は、無線通信部28により取得しても、フロントカメラ21の画像の雨ノイズや明るさに基づいて判断してもよい。
そして、表示制御部31は、たとえば60km/hで走行している場合、図5に示すように、その速度での制動距離の地点となる、たとえば図4の点線枠の略中心の位置を視野中心座標PCとして特定する(ステップST34)。
Next, the
The
The
Then, when traveling at 60 km / h, for example, the
車窓画像IMについて誘導したい視野中心座標PCを特定した後、表示制御部31は、該視野中心座標PCから、車線幅または車幅に相当する距離で離れている左右一対の視線誘導座標PL,PRを特定する(ステップST35)。具体的には、図4の車窓画像IMの場合、表示制御部31は、図5の視野中心座標PCから左右方向(水平方向)に位置する、車線の右縁および左縁を撮像した一対の視線誘導座標PL,PRを特定する。
なお、車幅の情報、道路幅や車線幅の情報は、ナビゲーション装置27から取得し得る。表示制御部31は、取得した情報を参照し、車幅以上となる間隔で、左右一対の視線誘導座標PL,PRを特定する。道路幅や車線幅が車幅を下回る場合、車幅以上の間隔となるように、車線の右縁および左縁からずらして、一対の視線誘導座標PL,PRを特定する。
After specifying the visual field center coordinates PC to be guided with respect to the vehicle window image IM, the
The information of the vehicle width and the information of the road width and the lane width can be acquired from the
次に、表示制御部31は、車内カメラ23による車内の撮像画像に基づいて、乗員Mの視点(目線の起点)の空間位置を特定する(ステップST36)。
本実施形態の場合、車内の撮像画像には、乗員Mの顔が含まれる。この場合、画像中の頭部または眼球の位置を特定することにより、車内カメラ23に対する頭部または眼球の方向を特定し得る。また、乗員Mはシート6に着座し、シートベルト9により拘束されている。よって、スライドするシート6の前後位置の情報から、車内カメラ23から頭部または眼球までの距離を推定し得る。これらの情報に基づいて、表示制御部31は、乗車している乗員Mの頭部または眼球の空間位置を特定する。
この他にもたとえば、車外の所定物と重なる基準マークを表示させた状態で、乗員Mに頭部を左右へ動かしてもらい、基準マークが車外の所定物と重なって見える状態での画像を基準画像として撮像して保持する。その後、該基準画像中の頭部または眼球の撮像位置と、処理時の車内画像中の頭部または眼球の撮像位置との差により、乗車している乗員Mの頭部または眼球の空間位置を特定してもよい。この場合でも、表示制御部31は、乗車している乗員Mの頭部または眼球のおよその空間位置を特定し得る。
Next, the
In the case of the present embodiment, the captured image in the car includes the face of the occupant M. In this case, the orientation of the head or eye relative to the in-
In addition to this, for example, while displaying a reference mark overlapping a predetermined object outside the vehicle, have the occupant M move the head to the left and right and reference the image in a state in which the reference mark appears to overlap with the predetermined object outside the vehicle Capture and hold as an image. Thereafter, the spatial position of the head or eye of the passenger M who is on board is determined by the difference between the imaging position of the head or eye in the reference image and the imaging position of the head or eye in the in-vehicle image at the time of processing. It may be specified. Even in this case, the
次に、表示制御部31は、乗員Mがフロントガラス8越しに視線誘導位置を見る場合に、視線が通過するフロントガラス8上の透視座標P(x,y)を演算する(ステップST37)。
図6は、フロントガラス8上の透視座標P(x,y)を得る演算処理の一例の説明図ある。図6は、車体2および道路を垂直面で切断した模式的な断面図である。図6には、道路の路面、車体2に固定設置されるフロントカメラ21、フロントガラス8、乗員Mの頭部および眼球が図示されている。また、フロントカメラ21により撮像される車窓画像IMが模式的に図示されている。この場合、車窓画像IMは、車体2の前方には、フロントカメラ21の撮像範囲の下縁と路面との交点において立設されている仮想画像として取り扱うことができる。
このような空間位置関係の下では、フロントカメラ21と車窓画像IM中の視線誘導座標PL,PRとを結ぶ線分を延長することにより、制動距離の地点、すなわち道路上の視線誘導地点P1の空間位置が得られる。そして、この道路上の視線誘導地点P1の空間位置と、乗員Mの頭部または眼球の空間位置とを結ぶ線分は、フロントガラス8と交差する。このような位置関係に基づいて演算することにより、表示制御部31は、乗員Mがフロントガラス8越しに視線誘導地点P1を見る場合に、視線が通過するフロントガラス8上の透視座標P(x,y)を演算し得る。
Next, when the occupant M looks at the gaze guidance position through the
FIG. 6 is an explanatory view of an example of arithmetic processing for obtaining perspective coordinates P (x, y) on the
Under such a spatial positional relationship, extending the line connecting the
フロントガラス8上の透視座標P(x,y)を演算した後、表示制御部31は、該透視座標P(x,y)に一対の車線ライン61を横並びに表示させる処理を開始する(ステップST38)。
表示制御部31は、右側の透視座標P(x,y)から上へ向かって、車線の右縁に沿って延びる右側の車線ライン61を表示させる。また、左側の透視座標P(x,y)から上へ向かって、車線の左縁に沿って延びる右側の車線ライン61を表示させる。
図13は、乗員Mがフロントガラス8越しに見る車窓風景の一例の説明図である。図13では、一対の車線ライン61が、視線を誘導したい制動距離での右縁および左縁の地点から上へ向かって、自車が走行する車線の右縁および左縁と重ねて、横並びに表示されている。具体的には、右側の車線ライン61は、制動距離の地点から上へ向かって、車線の右縁と重なって延びる。左側の車線ライン61は、制動距離の地点から上へ向かって、車線の左縁と重なって延びる。
乗員Mの視線は、一対の車線ライン61により、車線へ誘導され得る。
After calculating the perspective coordinates P (x, y) on the
The
FIG. 13 is an explanatory view of an example of a car window landscape viewed by the occupant M through the
The line of sight of the occupant M can be guided to the lane by a pair of lane lines 61.
以上のように、本実施形態では、表示制御部31が、車内から乗員Mが視認する風景についての風景情報を取得し、該風景情報に基づいて、自車(車体2)の通過が予想される予想進路を乗員Mが視認する際に視線が通過するフロントガラス8上の透視座標P(x,y)又は自車の予想進路の右縁および左縁が透視される透視座標P(x,y)を特定する。そして、プロジェクタ30は、該透視座標P(x,y)に基づいて、フロントガラス8に、自車の車幅以上に相当する間隔にて、該右縁および左縁に沿った一対の車線ライン61を横並びに表示させる。これにより、乗員Mは、フロントガラス8に表示された一対の車線ライン61を、自車の予想進路の右縁および左縁と重ねて見ることが可能になる。乗員Mの視線は、一対の車線ライン61により強調表示された自車の予想進路に誘導され得る。乗員Mは、運転中に確認が必要とされる予想進路について、確認することができる。一対の車線ライン61の間を確認して、安全に走行し得るか否かを確認し得る。また、一対の車線ライン61の表示により、乗員Mの視線は予想進路に安定し、その結果として自動車1は安定的に走行し得る。また、乗員Mが他の方向へ視線を動かした後でも、容易に且つ速やかに所望の予想進路の方向へ視線を戻すことができる。視線を戻す際に予想進路を探す必要がない。
特に、予想進路の右縁および左縁と重ねて延びる一対の車線ライン61を表示させているので、乗員Mの目線は、一点に集中し難くなり、予想進路の方向を全体的に観察し易くなる。予想進路上のみならず、予想進路の左右についても確認し易くなる。これに対して、仮にたとえば予想進路上に1つの走行基準ラインを表示させた場合、乗員の目線は、その一点に集中し易くなる。その結果、一点の走行基準ラインにより乗員Mの視線を誘導できたとしても、その一点のみに意識が集中してしまい、予想進路の方向を全体的に観察し難くなる。特に、一点の走行基準ラインから微妙に離れた周囲である予想進路の左右の安全性について確認し難くなる。本実施形態では、このようなミスリードを生じ難い。
さらに、本実施形態では、表示制御部31が、自動車1の走行自体についての自車走行情報を取得し、プロジェクタ30が、一対の車線ライン61を、該自車走行情報に応じた位置を一端として表示させる。線状物についての人の視線または意識は、線状物の中央部より端部に偏り易い。よって、乗員Mは、一対の車線ライン61により誘導された視線を動かすことなく、一対の車線ライン61の端部の位置により、自車の走行自体についての自車走行情報を得ることができる。
As described above, in the present embodiment, the
In particular, since a pair of
Furthermore, in the present embodiment, the
本実施形態では、プロジェクタ30は、表示制御部31が自車走行情報として自動車1の速度を取得した場合、該速度での予想制動距離での停止地点の透視座標P(x,y)から上に、一対の車線ライン61を表示させる。よって、乗員Mは、一対の車線ライン61により誘導された視線を動かすことなく、一対の車線ライン61の下端の位置により、自車の予想制動距離の情報を得ることができる。
In the present embodiment, when the
[第5実施形態]
第5実施形態では、車線ライン61の表示位置を変更した例について説明する。
図14は、本発明の第5実施形態での、一対の車線ラインの変更処理のフローチャートである。表示制御部31は、図12の替わりに、図14の処理を実行する。
Fifth Embodiment
In the fifth embodiment, an example in which the display position of the
FIG. 14 is a flowchart of a process of changing a pair of lane lines according to the fifth embodiment of the present invention. The
図14において、表示制御部31は、ステップST37においてフロントガラス8上の透視座標P(x,y)を演算した後、該透視座標P(x,y)に一対の車線ライン61を横並びに表示させる処理を開始する(ステップST41)。
表示制御部31は、右側の透視座標P(x,y)から下へ向かって、車線の右縁に沿って延びる右側の車線ライン61を表示させる。また、左側の透視座標P(x,y)から下へ向かって、車線の左縁に沿って延びる右側の車線ライン61を表示させる。
乗員Mの視線は、一対の車線ライン61により、車線へ誘導され得る。
In FIG. 14, the
The
The line of sight of the occupant M can be guided to the lane by a pair of lane lines 61.
以上のように、本実施形態では、プロジェクタ30は、表示制御部31が自車走行情報として自動車1の速度を取得した場合、該速度での予想制動距離での停止地点の透視座標P(x,y)から下に、予想進路の左右端に沿って一対の車線ライン61を表示させる。よって、乗員Mは、一対の車線ライン61により誘導された視線を動かすことなく、一対の車線ライン61の上端の位置により、自車の予想制動距離の情報を得ることができる。特に、予想制動距離までの範囲の左右が一対の車線ライン61により区切られた状態となるので、特に注意を要する範囲を良好に識別できる。
As described above, in the present embodiment, when the
[第6実施形態]
第6実施形態では、フロントガラス8に、乗員Mの視線を誘導するための一対の車線ラインを表示する例について説明する。
第6実施形態での自動車1および視線誘導システム20の構成は、第1実施形態のものと同様であり、同一の符号を使用してその説明を省略する。以下の説明では、主に相違点について説明する。
Sixth Embodiment
In the sixth embodiment, an example in which a pair of lane lines for guiding the line of sight of the occupant M is displayed on the
The configurations of the
次に、第6実施形態での視線誘導システム20による視線誘導のための処理の一例について説明する。視線誘導システム20は、乗員Mに見てほしい風景、たとえば進路に対して車線ラインを重ねて表示し、乗員Mの視線を誘導する。
図15は、第6実施形態の表示制御部31が周期的に実行する表示処理のフローチャートである。表示制御部31は、たとえば100ミリ秒毎に、図15の処理を繰り返し実行し、フロントガラス8の表示を更新する。
Next, an example of processing for gaze guidance by the
FIG. 15 is a flowchart of display processing periodically executed by the
乗員Mの視線を誘導するために、表示制御部31は、図15の表示処理を周期的に実行する。表示制御部31は、まず、乗員Mの視線を誘導するための表示の要否を判断する(ステップST1)。
表示制御部31は、たとえば、車体2の不安定な挙動や乗員Mの緊張度合を計測して数値化し、その値が一定レベルを超える場合、視線誘導表示を要と判断する。
また、表示制御部31は、たとえば急カーブ、車体2の飛び出しといった走行環境の変化がある場合、視線誘導表示を要と判断する。
また、表示制御部31は、乗員Mの直近の過去の視線の動きを判断し、たとえば気づいていない移動体がある場合に、視線誘導表示を要と判断してもよい。
これら以外の場合、表示制御部31は、視線誘導表示を不要と判断し、図15の表示処理を終了する。
なお、表示制御部31は、視線誘導表示の要否判断を、後述する表示処理の直前に実施してもよい。
In order to guide the line of sight of the occupant M, the
For example, the
Further, when there is a change in the traveling environment such as a sharp curve or a jump out of the
In addition, the
In the case other than these, the
Note that the
視線誘導表示を要と判断した場合、表示制御部31は、図15の表示処理を継続し、視線誘導のための情報を取得する(ステップST2)。
この処理で取得される情報には、たとえば、前方の車窓画像IMとして用いることができるフロントカメラ21による車体2前方の撮像画像、乗員Mの視線を判定するために用いることができる車内カメラ23による車内の撮像画像、がある。
If it is determined that the line-of-sight guidance display is necessary, the
The information acquired in this process includes, for example, a captured image of the front of the
視線誘導のための情報を取得した後、表示制御部31は、乗員Mの視線を誘導したい視線の地点を見る場合に、乗員Mの視線が通過するフロントガラス8上の透視座標P(x,y)を推定する(ステップST51)。
この透視座標P(x,y)に、乗員Mの視線を誘導するための車線ライン71を表示することで、乗員Mの視線を、該方向または地点に向けさせることができる。ここでは、予想進路に対して乗員Mの視線を誘導する場合を例に説明する。図4の車窓画像IMでは、車体2の前方で、道路がまっすぐ前へ向かって延びている。この場合、図4中に点線枠で示すように、乗員Mは、自動車1の進路となる該道路の路面の状況を目視により確認する必要がある。
After obtaining the information for guiding the gaze, the
By displaying the
誘導地点への視線の透視座標P(x,y)の推定処理において、表示制御部31は、まず、車窓画像IMにおいて、予想進路(自車線)となる座標範囲を特定する(ステップST52)。
表示制御部31は、たとえば案内経路データや、道路データのリンクデータなどを用いて、車窓画像IM中の予想進路となる道路を撮像した撮像座標範囲を特定する。たとえば図4の車窓画像IMの場合、図5でハッチングを付した直線道路の撮像範囲が、予想進路となる道路の撮像座標範囲となる。
なお、道路データに基づいて対面二車線の道路であると判断される場合、片側二車線の道路であると判断される場合、自車が走行する車線の撮像範囲を、予想進路となる撮像座標範囲とすればよい。
また、車窓画像IMに対する処理により、道路を車線毎に区切る白線ライン、黄色線ラインを認識し得る場合、この情報に基づいて、自車が走行する車線の撮像範囲を特定してもよい。
In the process of estimating the perspective coordinates P (x, y) of the line of sight to the guidance point, the
The
In the case where it is determined that the road has two facing lanes based on the road data, the imaging range of the lane in which the vehicle travels is an imaging route that is the predicted route when it is determined that the road has two lanes. It should be a range.
In addition, when it is possible to recognize a white line line and a yellow line line that divide a road for each lane by the process for the car window image IM, the imaging range of the lane in which the vehicle travels may be specified based on this information.
予想進路(自車線)となる撮像座標範囲を特定した後、表示制御部31は、車窓画像IM中での、該予想進路の路面を全体的に見渡すことができる視野中心座標PCを特定する(ステップST53)。
表示制御部31は、たとえば予想進路上の所定距離の中央位置を視野中心座標PCとして特定する。図4の車窓画像IMの場合、図5に示すように、たとえば図4の点線枠の中心が視野中心座標PCとして特定される。
After specifying the imaging coordinate range to be the predicted route (the own lane), the
The
車窓画像IMについて視野中心座標PCを特定した後、表示制御部31は、該視野中心座標PCから、車線幅または車幅に相当する距離で離れている左右一対の視線誘導座標PL,PRを特定する(ステップST54)。具体的には、図4の車窓画像IMの場合、表示制御部31は、図5の所定距離地点の座標PCから左右方向(水平方向)に位置する、車線の右縁および左縁を撮像した一対の視線誘導座標PL,PRを特定する。
なお、車幅の情報、道路幅や車線幅の情報は、ナビゲーション装置27から取得し得る。表示制御部31は、取得した情報を参照し、車幅以上となる間隔で、左右一対の視線誘導座標PL,PRを特定する。道路幅や車線幅が車幅を下回る場合、車幅以上の間隔となるように、車線の右縁および左縁からずらして、一対の視線誘導座標PL,PRを特定する。
After specifying the visual field center coordinates PC for the car window image IM, the
The information of the vehicle width and the information of the road width and the lane width can be acquired from the
次に、表示制御部31は、車内カメラ23による車内の撮像画像に基づいて、乗員Mの視点(目線の起点)の空間位置を特定する(ステップST55)。
本実施形態の場合、車内の撮像画像には、乗員Mの顔が含まれる。この場合、画像中の頭部または眼球の位置を特定することにより、車内カメラ23に対する頭部または眼球の方向を特定し得る。また、乗員Mはシート6に着座し、シートベルト9により拘束されている。よって、スライドするシート6の前後位置の情報から、車内カメラ23から頭部または眼球までの距離を推定し得る。これらの情報に基づいて、表示制御部31は、乗車している乗員Mの頭部または眼球の空間位置を特定する。
この他にもたとえば、車外の所定物と重なる基準マークを表示させた状態で、乗員Mに頭部を左右へ動かしてもらい、基準マークが車外の所定物と重なって見える状態での画像を基準画像として撮像して保持する。その後、該基準画像中の頭部または眼球の撮像位置と、処理時の車内画像中の頭部または眼球の撮像位置との差により、乗車している乗員Mの頭部または眼球の空間位置を特定してもよい。この場合でも、表示制御部31は、乗車している乗員Mの頭部または眼球のおよその空間位置を特定し得る。
Next, the
In the case of the present embodiment, the captured image in the car includes the face of the occupant M. In this case, the orientation of the head or eye relative to the in-
In addition to this, for example, while displaying a reference mark overlapping a predetermined object outside the vehicle, have the occupant M move the head to the left and right and reference the image in a state in which the reference mark appears to overlap with the predetermined object outside the vehicle Capture and hold as an image. Thereafter, the spatial position of the head or eye of the passenger M who is on board is determined by the difference between the imaging position of the head or eye in the reference image and the imaging position of the head or eye in the in-vehicle image at the time of processing. It may be specified. Even in this case, the
次に、表示制御部31は、乗員Mがフロントガラス8越しに視線誘導位置を見る場合に、視線が通過するフロントガラス8上の透視座標P(x,y)を演算する(ステップST56)。
図6は、フロントガラス8上の透視座標P(x,y)を得る演算処理の一例の説明図ある。図6は、車体2および道路を垂直面で切断した模式的な断面図である。図6には、道路の路面、車体2に固定設置されるフロントカメラ21、フロントガラス8、乗員Mの頭部および眼球が図示されている。また、フロントカメラ21により撮像される車窓画像IMが模式的に図示されている。この場合、車窓画像IMは、車体2の前方には、フロントカメラ21の撮像範囲の下縁と路面との交点において立設されている仮想画像として取り扱うことができる。
このような空間位置関係の下では、フロントカメラ21と車窓画像IM中の視線誘導座標PL,PRとを結ぶ線分を延長することにより、視野中心座標PCの地点、すなわち道路上の視線誘導地点P1の空間位置が得られる。そして、この道路上の視線誘導地点P1の空間位置と、乗員Mの頭部または眼球の空間位置とを結ぶ線分は、フロントガラス8と交差する。このような位置関係に基づいて演算することにより、表示制御部31は、乗員Mがフロントガラス8越しに視線誘導地点P1を見る場合に、視線が通過するフロントガラス8上の透視座標P(x,y)を演算し得る。
Next, when the occupant M looks at the gaze guidance position through the
FIG. 6 is an explanatory view of an example of arithmetic processing for obtaining perspective coordinates P (x, y) on the
Under such a spatial positional relationship, the line connecting the
フロントガラス8上の透視座標P(x,y)を演算した後、表示制御部31は、該透視座標P(x,y)に一対の車線ライン71を横並びに表示させる処理を開始する。
表示制御部31は、右側の透視座標P(x,y)に、右側の車線ライン71を表示させる。また、左側の透視座標P(x,y)に、左側の車線ライン71を表示させる(ステップST57)。
After calculating the perspective coordinates P (x, y) on the
The
図16は、乗員Mがフロントガラス8越しに見る車窓風景の一例の説明図である。図16では、表示制御部31により表示更新処理により、透視座標P(x,y)に向かって車線ライン71が成長および消失する。
図16(A)の初期表示では、一対の車線ライン71は、フロントガラス8の下部に、自車が走行する車線の右縁および左縁と重ねて横並びに表示される。
その後、一対の車線ライン71は、図16(B)に示すように、車線の右縁および左縁に沿って上へ向かって成長し、上端が左右の透視座標P(x,y)に到達する。
その後、一対の車線ライン71は、図16(C)に示すように、その下端が車線の右縁および左縁に沿って上へ向かって移動する。
その後、一対の車線ライン71は、図16(D)に示すように、左右の透視座標P(x,y)において消失する。
乗員Mの視線は、一対の車線ライン71が左右の透視座標P(x,y)に向かって成長および消失することにより、左右の透視座標P(x,y)へ誘導され得る。また、乗員Mは、一対の車線ライン71により、車線の右縁の空間位置と左縁の空間位置とを視認できる。また、一対の車線ライン71が車線の右縁および左縁と重なって見えることから、乗員Mは、車線幅が車体2の車幅以上であることを認識できる。
FIG. 16 is an explanatory view of an example of a car window landscape viewed by the occupant M through the
In the initial display of FIG. 16 (A), the pair of
Thereafter, as shown in FIG. 16B, the pair of
Thereafter, as shown in FIG. 16C, the lower ends of the pair of
Thereafter, as shown in FIG. 16D, the pair of
The line of sight of the occupant M can be guided to the left and right perspective coordinates P (x, y) by the pair of
以上のように、本実施形態では、表示制御部31が、車内から乗員Mが視認する風景についての風景情報を取得し、該風景情報に基づいて、自車(車体2)の通過が予想される予想進路を乗員Mが視認する際に視線が通過するフロントガラス8上の透視座標P(x,y)又は自車の予想進路の右縁および左縁が透視される透視座標P(x,y)を特定する。そして、プロジェクタ30は、該透視座標P(x,y)に基づいて、フロントガラス8に、自車の車幅以上に相当する間隔にて、該右縁および左縁に沿った一対の車線ライン71を横並びに表示させる。これにより、乗員Mは、フロントガラス8に表示された一対の車線ライン71を、自車の予想進路の右縁および左縁と重ねて見ることが可能になる。乗員Mの視線は、一対の車線ライン71により強調表示された自車の予想進路に誘導され得る。乗員Mは、運転中に確認が必要とされる予想進路について、確認することができる。一対の車線ライン71の間を確認して、安全に走行し得るか否かを確認し得る。また、一対の車線ライン71の表示により、乗員Mの視線は予想進路に安定し、その結果として自動車1は安定的に走行し得る。また、乗員Mが他の方向へ視線を動かした後でも、容易に且つ速やかに所望の予想進路の方向へ視線を戻すことができる。視線を戻す際に予想進路を探す必要がない。
特に、予想進路の右縁および左縁と重ねて延びる一対の車線ライン71を表示させているので、乗員Mの目線は、一点に集中し難くなり、予想進路の方向を全体的に観察し易くなる。予想進路上のみならず、予想進路の左右についても確認し易くなる。
これに対して、仮にたとえば予想進路上に1つの車線ラインを表示させた場合、乗員Mの目線は、その一点に集中し易くなる。その結果、一点の車線ラインにより乗員の視線を誘導できたとしても、その一点のみに意識が集中してしまい、予想進路の方向を全体的に観察し難くなる。特に、一点の車線ラインから微妙に離れた周囲である予想進路の左右の安全性について確認し難くなる。本実施形態では、このようなミスリードを生じ難い。
さらに、本実施形態では、プロジェクタ30は、表示後の経過時間に応じて、一対の車線ライン71を含むフロントガラス8の表示を変化させる。よって、一対の車線ライン71により誘導された乗員Mの視線を動かすことなく、該視線の先にある一対の車線ライン71が時間の経過に応じて変化することにより、さらに乗員Mの視線または意識を細かく誘導することができる。
As described above, in the present embodiment, the
In particular, since a pair of
On the other hand, if one lane line is displayed on the predicted course, for example, the line of sight of the occupant M tends to be concentrated at that point. As a result, even if the line of sight of the occupant can be guided by a single lane line, the awareness is concentrated on only that one point, and it becomes difficult to observe the direction of the predicted course as a whole. In particular, it becomes difficult to confirm the safety of the left and right of the predicted route, which is the periphery slightly away from one lane line. In the present embodiment, such a misread does not easily occur.
Furthermore, in the present embodiment, the
また、本実施形態では、プロジェクタ30は、経過時間に応じて一対の車線ライン71を視野中心座標P(x,y)に向かって成長および消失させる。よって、乗員Mの目線は、一対の車線ライン71が成長し且つ消失する方向、または一対の車線ラインが成長または消失する座標に誘導される。視野中心座標P(x,y)に対する視線の誘導効果を高めることができる。
Further, in the present embodiment, the
[第7実施形態]
第7実施形態では、フロントガラス8に、一対の車線ライン71とともに、一対の車線ライン71上を移動する移動マークを表示する例について説明する。
第7実施形態での自動車1および視線誘導システム20の構成は、第6実施形態のものと同様であり、同一の符号を使用してその説明を省略する。以下の説明では、主に相違点について説明する。
Seventh Embodiment
In the seventh embodiment, an example will be described in which movement marks moving on the pair of
The configurations of the
図17は、本発明の第7実施形態の表示制御部が周期的に実行する表示処理のフローチャートである。
図18は、移動マークが車線ラインに沿って移動する、乗員がフロントガラス越しに見る車窓風景の一例の説明図である。図18(A)には、一対の車線ライン71が表示される。図18(B)から図18(E)では、複数の移動マーク72が一対の車線ライン71上を、左右の透視座標P(x,y)に向かって、移動している。
FIG. 17 is a flowchart of display processing periodically executed by the display control unit according to the seventh embodiment of the present invention.
FIG. 18 is an explanatory view of an example of a car window landscape seen by a passenger through a windshield, in which movement marks move along a lane line. In FIG. 18A, a pair of
図17に示すように、ステップST56において視線が通過するフロントガラス8上の透視座標P(x,y)を演算した後、表示制御部31は、表示処理を開始する。
表示処理において、表示制御部31は、まず、図18(A)に示すように、演算した透視座標P(x,y)に一対の車線ライン71を横並びに表示させる(ステップST61)。
一対の車線ライン71は、予想進路の右縁および左縁と重ねて、予想進路の右縁および左縁に沿って延在するように表示される。これにより、視線は、予想進路の路面および周囲に誘導される。
As shown in FIG. 17, after calculating the perspective coordinates P (x, y) on the
In the display process, first, as shown in FIG. 18A, the
A pair of
一対の車線ライン71を表示させた後、表示制御部31は、更に、一対の車線ライン71に沿って移動する移動マーク72を表示させる(ステップST62)。
図18(B)から図18(E)では、複数の移動マーク72は、一対の車線ライン71の端部に表示された後、一対の車線ライン71上を、左右の視線誘導座標PL,PRへ向かって、移動している。その後、移動マーク72は、左右の視線誘導座標PL,PRにおいて消失する。その後、新たな移動マーク72が一対の車線ライン71の端部に再び表示され、移動する。移動マーク72は、一対の車線ライン71上を繰り返し移動する。
After displaying the pair of
18B to 18E, after the plurality of movement marks 72 are displayed at the ends of the pair of
以上のように、本実施形態では、プロジェクタ30は、自車の予想進路の右縁および左縁の一方側に沿って延在して視認される車線ライン71とともに、経過時間に応じて車線ライン71上で移動する移動マーク72を表示する。よって、乗員Mの目線は、車線ライン71上で移動マーク72が移動する方向へ誘導される。移動マーク72の移動方向に沿って、視線を誘導できる。左右の視線誘導座標PL,PRといった目標位置へ視線を誘導できる。
As described above, in the present embodiment, the
図19は、移動マーク72が車線ライン71と切離する方向へ移動する、乗員がフロントガラス越しに見る車窓風景の変形例の説明図である。
図19(A)から図19(C)の変形例の場合、移動マーク72は、左右の視線誘導座標PL,PRに表示された後、一対の車線ライン71の内側中央へ向かって、移動する。そして、一対の車線ライン71の内側中央において消失する。
この変形例の場合でも、プロジェクタ30は、自車の予想進路の右縁および左縁の一方側に沿って延在して視認される一対の車線ライン71とともに、経過時間に応じて車線ライン71に対して接離する方向へ移動する移動マーク72を表示する。よって、乗員Mの目線は、移動マーク72が車線ライン71から接離する方向へ誘導される。移動マーク72の移動方向に対して、視線を誘導できる。目標とする視線へ誘導できる。
FIG. 19 is an explanatory view of a modified example of the car window landscape seen by the occupant looking over the windshield when the
In the case of the modification in FIG. 19A to FIG. 19C, the
Even in the case of this modification, the
以上の実施形態は、本発明の好適な実施形態の例であるが、本発明は、これに限定されるものではなく、発明の要旨を逸脱しない範囲において種々の変形または変更が可能である。 The above embodiment is an example of a preferred embodiment of the present invention, but the present invention is not limited to this, and various modifications or changes can be made without departing from the scope of the invention.
たとえば上記実施形態では、プロジェクタ30は、フロントガラス8に映像を投影している。この他にもたとえば、プロジェクタ30は、フロントガラス8と乗員Mとの間に設置され、車体2に乗車した乗員Mが車外を視認するために透視可能なスクリーンに、映像を表示させてもよい。また、乗員Mが装着するメガネのガラスによるスクリーンに、映像を表示させてもよい。
For example, in the above embodiment, the
上記実施形態では、表示制御部31は、撮像された車窓風景を風景情報として用いている。この他にもたとえば、ナビゲーション装置27の情報、無線通信部28の取得情報により、風景情報を得るようにしてもよい。
In the above embodiment, the
上記実施形態では、案内経路を予想進路としている。この他にもたとえば、車窓画像IMそのものに映っている道路を、予想進路としてもよい。また、無線通信部28の取得情報に基づいて、予想進路を予想してもよい。
In the above embodiment, the guidance route is the predicted route. Besides this, for example, a road appearing in the car window image IM itself may be taken as the expected route. The predicted course may be predicted based on the acquired information of the
上記実施形態では、一対の走行基準マーク41または一対の車線ライン61,71は、車線幅に相当する間隔で表示されることを基準とし、必要に応じて車幅に相当する間隔で表示される。この他にもたとえば、一対の走行基準マーク41または一対の車線ライン61,71は、常に車幅に相当する間隔で表示されてもよい。
In the above embodiment, the pair of travel reference marks 41 or the pair of
上記実施形態では、注意喚起ライン42は、一対の走行基準マーク41との間で表示される位置およびタイミングをずらして表示されている。この他にもたとえば、注意喚起ライン42は、一対の走行基準マーク41との間で、位置のみをずらして表示されても、タイミングのみをずらして表示されてもよい。特に、これらを異なる色にすることで、乗員Mは、注意喚起ライン42と一対の走行基準マーク41とを区別し得る。
In the above embodiment, the
上記実施形態では、注意喚起ライン42は、1つで表示されている。この他にもたとえば、注意喚起ライン42は、複数表示されてもよい。
In the above embodiment, the
上記実施形態は、本発明を自動車1に適用した例である。車両には、この他にも、二輪車、軌道を走る電車などがある。本発明は、これらの車両に対して適用し得る。
The above embodiment is an example where the present invention is applied to a
1…自動車(車両)、8…フロントガラス、20…視線誘導システム(視線誘導装置)、21…フロントカメラ、22…リアカメラ、23…車内カメラ、24…走行支援装置、25…ECU、26…GPS受信機、27…ナビゲーション装置、28…無線通信部、29…マイクロコンピュータ、30…プロジェクタ(表示部材)、31…表示制御部(風景情報取得部、透視位置特定部、関連情報取得部、自車走行情報取得部)、41…走行基準マーク、42…注意喚起ライン、51…自転車、61…車線ライン、71…車線ライン、72…移動マーク、M…乗員、IM…車窓画像(風景情報)、L1…走行基準線、L2…視線基準線、PC…視野中心座標、PL,PR…視線誘導座標、P1…視線誘導地点、P(x,y)…透視座標
DESCRIPTION OF
Claims (12)
前記車両内から前記乗員が視認する風景についての風景情報を取得する風景情報取得部と、
前記風景情報に基づいて、前記車両の通過が予想される予想進路を前記乗員が視認する際に視線が通過する前記フロントガラスまたは前記スクリーン上の透視位置又は前記車両の予想進路の右縁および左縁が透視される透視位置を特定する透視位置特定部と、
前記車両の周囲のリスクまたは前記車両の走行自体についての関連情報を取得する関連情報取得部と、
を有し、
前記表示部材は、
前記透視位置に基づいて、前記車両の予想進路の右縁および左縁と重なって見えることが可能なように、前記フロントガラスまたは前記スクリーンに、前記車両の車幅以上に相当する間隔にて一対の走行基準マークを横並びに表示させ、
前記関連情報に応じて、前記一対の走行基準マークの少なくとも一方の表示位置を前記車両の予想進路の中央寄りに変更する、
車両の視線誘導装置。 A display member for displaying an image on a transparent windshield or screen to allow an occupant of the vehicle to visually recognize the outside of the vehicle;
A landscape information acquisition unit that acquires landscape information on a landscape viewed by the occupant from within the vehicle;
The right edge and the left edge of the perspective position on the windshield or the screen on which the line of sight passes when the occupant views the expected course where the vehicle is expected to pass based on the landscape information, or the right edge and the left of the expected course of the vehicle A perspective position specifying unit that specifies a perspective position at which the edge is perspective;
A related information acquisition unit that acquires related information about a risk around the vehicle or travel of the vehicle itself;
Have
The display member is
Based on the see-through position, a pair of the windshield or the screen at a distance corresponding to the vehicle width or more so that the right edge and the left edge of the expected route of the vehicle can be seen overlapping. Display the driving reference mark of
According to the related information, the display position of at least one of the pair of travel reference marks is changed to be closer to the center of the expected route of the vehicle.
Vehicle gaze guidance device.
前記表示部材は、前記道路または前記車線の縁の透視位置に、前記走行基準マークを表示させる、
請求項1記載の車両の視線誘導装置。 The perspective position specifying unit specifies a perspective position of an edge of a road or a lane on which the vehicle is traveling, in the landscape information,
The display member causes the travel reference mark to be displayed at a perspective position of the road or the edge of the lane.
A gaze guidance apparatus for a vehicle according to claim 1.
前記車両の走行上の注意点を示す注意喚起ラインを、前記フロントガラスまたは前記スクリーンにおいて前記一対の走行基準マークと重ならない位置に、前記一対の走行基準マークとタイミングをずらして表示させる、
請求項1または2記載の車両の視線誘導装置。 The display member is
The alerting line indicating the driving cautions of the vehicle is displayed at a position not overlapping the pair of traveling reference marks on the windshield or the screen with the timing shifted from the pair of traveling reference marks.
The gaze guidance apparatus of the vehicle of Claim 1 or 2.
請求項1記載の車両の視線誘導装置。 The display member displays, as the pair of travel reference marks, a pair of travel reference lines along the right edge and the left edge at an interval corresponding to the vehicle width or more of the vehicle. Display a pair of gaze reference lines extending outward from the driving reference line,
A gaze guidance apparatus for a vehicle according to claim 1.
請求項4記載の車両の視線誘導装置。 The length of the gaze reference line extending outward from the pair of travel reference lines is longer than the travel reference line,
The gaze guidance apparatus of the vehicle of Claim 4.
前記一対の視線基準線を、前記乗員の視線を誘導したい高さに表示させる、
請求項4または5記載の車両の視線誘導装置。 The display member is
Displaying the pair of line-of-sight reference lines at a height desired to guide the line of sight of the occupant;
The gaze guidance apparatus of the vehicle of Claim 4 or 5.
請求項1記載の車両の視線誘導装置。 The display member can be viewed on the windshield or the screen so that it can be viewed as extending along the right edge and the left edge of the expected route of the vehicle as the pair of travel reference marks. A pair of lane lines along the right edge and the left edge are displayed side by side at intervals equal to or greater than the vehicle width of the vehicle, and the pair of lane lines are displayed with one position corresponding to the vehicle travel information as one end ,
A gaze guidance apparatus for a vehicle according to claim 1.
請求項7記載の車両の視線誘導装置。 When the own vehicle travel information acquisition unit acquires the speed of the vehicle as the own vehicle travel information, the display member is positioned above the pair of lane lines from the perspective position of the stop position at the predicted braking distance at the speed Display
The gaze guidance apparatus of the vehicle of Claim 7.
請求項7記載の車両の視線誘導装置。 The display member causes the pair of lane lines to be displayed below the stop position at the predicted braking distance at the speed when the host vehicle travel information acquisition unit acquires the speed of the vehicle as the host vehicle travel information.
The gaze guidance apparatus of the vehicle of Claim 7.
表示後の経過時間に応じて、前記一対の車線ラインを含む前記フロントガラスまたは前記スクリーンの表示を変化させる、
請求項1記載の車両の視線誘導装置。 The display member can be viewed on the windshield or the screen so that it can be viewed as extending along the right edge and the left edge of the expected route of the vehicle as the pair of travel reference marks. Displaying a pair of lane lines along the right edge and the left edge at intervals equal to or greater than the vehicle width of
Changing the display of the windshield or the screen including the pair of lane lines according to an elapsed time after display;
A gaze guidance apparatus for a vehicle according to claim 1.
請求項10記載の車両の視線誘導装置。 The display member causes the pair of lane lines to disappear or grow toward the view center according to the elapsed time.
The vehicle gaze guidance device according to claim 10.
前記車両の予想進路の右縁および左縁の一方側に沿って延在して視認される車線ラインとともに、前記経過時間に応じて前記車線ライン上で移動し又は前記車線ラインに対して接離する方向へ移動する移動マークを表示する、
請求項10記載の車両の視線誘導装置。 The display member is
With the lane line visible along one side of the right and left edges of the expected course of the vehicle, moving on or away from the lane line according to the elapsed time Display a moving mark that moves in the direction
The vehicle gaze guidance device according to claim 10.
Applications Claiming Priority (8)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014200856 | 2014-09-30 | ||
JP2014200852 | 2014-09-30 | ||
JP2014200854 | 2014-09-30 | ||
JP2014200858 | 2014-09-30 | ||
JP2014200854 | 2014-09-30 | ||
JP2014200852 | 2014-09-30 | ||
JP2014200856 | 2014-09-30 | ||
JP2014200858 | 2014-09-30 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015090424A Division JP6518497B2 (en) | 2014-09-30 | 2015-04-27 | Vehicle gaze guidance device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019112062A true JP2019112062A (en) | 2019-07-11 |
JP6700454B2 JP6700454B2 (en) | 2020-05-27 |
Family
ID=55866744
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015090424A Active JP6518497B2 (en) | 2014-09-30 | 2015-04-27 | Vehicle gaze guidance device |
JP2019054677A Active JP6700454B2 (en) | 2014-09-30 | 2019-03-22 | Vehicle gaze guidance device |
JP2019054676A Active JP6684940B2 (en) | 2014-09-30 | 2019-03-22 | Vehicle gaze guidance device |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015090424A Active JP6518497B2 (en) | 2014-09-30 | 2015-04-27 | Vehicle gaze guidance device |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019054676A Active JP6684940B2 (en) | 2014-09-30 | 2019-03-22 | Vehicle gaze guidance device |
Country Status (1)
Country | Link |
---|---|
JP (3) | JP6518497B2 (en) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6801508B2 (en) * | 2017-02-24 | 2020-12-16 | 日本精機株式会社 | Head-up display device |
JP2019166886A (en) * | 2018-03-22 | 2019-10-03 | マツダ株式会社 | Display device for vehicle |
US20210269114A1 (en) * | 2018-06-25 | 2021-09-02 | Sony Semiconductor Solutions Corporation | Screen image projection system for moving object, screen image projection device, optical element for screen image display light diffraction, helmet, and method for projecting screen image |
EP3655298B1 (en) * | 2018-09-28 | 2023-04-26 | Baidu.com Times Technology (Beijing) Co., Ltd. | A tunnel-based planning system for autonomous driving vehicles |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006171950A (en) * | 2004-12-14 | 2006-06-29 | Denso Corp | Display controller for head-up display, and program |
JP2007512636A (en) * | 2003-12-01 | 2007-05-17 | ボルボ テクノロジー コーポレイション | Method and system for supporting route control |
US20100253541A1 (en) * | 2009-04-02 | 2010-10-07 | Gm Global Technology Operations, Inc. | Traffic infrastructure indicator on head-up display |
US20130179023A1 (en) * | 2011-12-22 | 2013-07-11 | GM Global Technology Operations LLC | Methods for informing a motor vehicle driver of a driving maneuver, a driver assistance system for a motor vehicle that utilizes the method, and a motor vehicle having the driver assistance system |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4723703B2 (en) * | 1999-06-25 | 2011-07-13 | 富士通テン株式会社 | Vehicle driving support device |
JP4075743B2 (en) * | 2003-09-01 | 2008-04-16 | 株式会社デンソー | Vehicle travel support device |
US7043342B1 (en) * | 2003-11-10 | 2006-05-09 | Thomas Gerret Dewees | Vehicle tracking driver assistance system |
JP4882285B2 (en) * | 2005-06-15 | 2012-02-22 | 株式会社デンソー | Vehicle travel support device |
DE102005046672A1 (en) * | 2005-09-29 | 2007-04-05 | Robert Bosch Gmbh | Night vision device for motor vehicle, has navigating device, steering angle sensor, rotating rate sensor and radar sensor that are utilized such that roadway on which vehicle is to be driven is determined and is shown in display unit |
JP4847178B2 (en) * | 2006-03-30 | 2011-12-28 | 本田技研工業株式会社 | Vehicle driving support device |
JP5286243B2 (en) * | 2009-12-18 | 2013-09-11 | 矢崎総業株式会社 | Head-up display device |
KR20120007781U (en) * | 2011-05-04 | 2012-11-14 | 권정기 | - Route guidance method using Augmented Reality and Head-up display |
JP5316713B2 (en) * | 2011-06-08 | 2013-10-16 | トヨタ自動車株式会社 | Lane departure prevention support apparatus, lane departure prevention method, and storage medium |
JP5616531B2 (en) * | 2011-09-21 | 2014-10-29 | 本田技研工業株式会社 | Vehicle periphery monitoring device |
JP5144798B2 (en) * | 2011-10-13 | 2013-02-13 | パイオニア株式会社 | Display device |
WO2013136374A1 (en) * | 2012-03-16 | 2013-09-19 | 三菱電機株式会社 | Driving assistance device |
JP6083261B2 (en) * | 2013-03-04 | 2017-02-22 | 株式会社デンソー | Information processing center and in-vehicle equipment |
JP5898737B1 (en) * | 2014-08-29 | 2016-04-06 | 怡利電子工業股▲ふん▼有限公司 | Device that displays navigation information and tips for safe driving at the same time |
-
2015
- 2015-04-27 JP JP2015090424A patent/JP6518497B2/en active Active
-
2019
- 2019-03-22 JP JP2019054677A patent/JP6700454B2/en active Active
- 2019-03-22 JP JP2019054676A patent/JP6684940B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007512636A (en) * | 2003-12-01 | 2007-05-17 | ボルボ テクノロジー コーポレイション | Method and system for supporting route control |
JP2006171950A (en) * | 2004-12-14 | 2006-06-29 | Denso Corp | Display controller for head-up display, and program |
US20100253541A1 (en) * | 2009-04-02 | 2010-10-07 | Gm Global Technology Operations, Inc. | Traffic infrastructure indicator on head-up display |
US20130179023A1 (en) * | 2011-12-22 | 2013-07-11 | GM Global Technology Operations LLC | Methods for informing a motor vehicle driver of a driving maneuver, a driver assistance system for a motor vehicle that utilizes the method, and a motor vehicle having the driver assistance system |
Also Published As
Publication number | Publication date |
---|---|
JP2019112061A (en) | 2019-07-11 |
JP6700454B2 (en) | 2020-05-27 |
JP6684940B2 (en) | 2020-04-22 |
JP2016070915A (en) | 2016-05-09 |
JP6518497B2 (en) | 2019-05-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10131276B2 (en) | Vehicle sightline guidance apparatus | |
JP6699646B2 (en) | Vehicle display control device | |
US9723243B2 (en) | User interface method for terminal for vehicle and apparatus thereof | |
WO2018147066A1 (en) | Display control apparatus for vehicles | |
JP6684940B2 (en) | Vehicle gaze guidance device | |
JP6642972B2 (en) | Vehicle image display system and method | |
JP5983547B2 (en) | Head-up display and program | |
US11022795B2 (en) | Vehicle display control device | |
JP5169884B2 (en) | Head-up display device | |
US20160147073A1 (en) | Head-up display and program product | |
US20040178894A1 (en) | Head-up display system and method for carrying out the location-correct display of an object situated outside a vehicle with regard to the position of the driver | |
JP2019091275A (en) | Inattentive driving determination device, inattentive driving determination method, and program for determining inattentive driving | |
US20170267241A1 (en) | Control system for vehicle | |
JP2009009446A (en) | Information display apparatus for vehicle | |
JP2004030212A (en) | Information providing apparatus for vehicle | |
US20220317443A1 (en) | Vehicle display control device and vehicle display control method | |
JP2009214831A (en) | Display for vehicle | |
US20230294517A1 (en) | Vehicle display control device, display device, and vehicle display control method | |
JP2016071666A (en) | Visual guidance device for vehicle | |
EP3888966B1 (en) | Vehicle display device | |
JP2016071665A (en) | Visual guidance device for vehicle | |
JP6421008B2 (en) | Gaze guidance device for vehicle | |
US20230107060A1 (en) | Vehicle display control device and vehicle display control method | |
CN115503745A (en) | Display device for vehicle, display system for vehicle, display method for vehicle, and non-transitory storage medium storing program | |
WO2021018660A1 (en) | Method and driver assistance system for providing visual information about a first vehicle in an environment of a second vehicle, computer program and computer-readable medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190322 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20191127 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191203 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200130 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200407 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200430 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6700454 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |