JP2019026198A - Head-up display device, and driver viewpoint detection method therefor - Google Patents
Head-up display device, and driver viewpoint detection method therefor Download PDFInfo
- Publication number
- JP2019026198A JP2019026198A JP2017150679A JP2017150679A JP2019026198A JP 2019026198 A JP2019026198 A JP 2019026198A JP 2017150679 A JP2017150679 A JP 2017150679A JP 2017150679 A JP2017150679 A JP 2017150679A JP 2019026198 A JP2019026198 A JP 2019026198A
- Authority
- JP
- Japan
- Prior art keywords
- camera
- vehicle
- head
- display device
- driver
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 34
- 238000003384 imaging method Methods 0.000 claims abstract description 25
- 230000003287 optical effect Effects 0.000 claims abstract description 6
- 238000009434 installation Methods 0.000 claims abstract description 3
- 238000000034 method Methods 0.000 description 18
- 238000006243 chemical reaction Methods 0.000 description 10
- 238000012937 correction Methods 0.000 description 10
- 238000012545 processing Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
Images
Abstract
Description
本発明は、透明なガラス等に画像を投影／反射して虚像として表示するヘッドアップディスプレイ装置に関し、特に、ドライバ撮影カメラを備えて表示する虚像の位置をドライバにとって最適な位置に表示するヘッドアップディスプレイ装置とそのためのドライバ視点検出方法に関するものである。 The present invention relates to a head-up display device that projects / reflects an image on transparent glass or the like and displays it as a virtual image, and more particularly to a head-up display that displays the position of a virtual image displayed with a driver photographing camera at an optimal position for the driver. The present invention relates to a display device and a driver viewpoint detection method therefor.
例えば、自動車等の車両において、通常は、車速やエンジン回転数等の情報は、ダッシュボード内の計器盤（インパネ）に表示される。また、カーナビゲーション等の画面は、ダッシュボードに組み込まれ、もしくはダッシュボード上に設置されたディスプレイに表示される。運転者（ドライバ）がこれらの情報を視認する場合に視線を大きく移動させることが必要となることから、視線の移動量を低減させる技術として、車速等の情報やカーナビゲーションに係る指示等の情報をフロントガラス（ウィンドシールド）やコンバイナ等に投射して表示するヘッドアップディスプレイ（Ｈｅａｄ Ｕｐ Ｄｉｓｐｌａｙ、以下では「ＨＵＤ」と記載する場合がある）装置が既に知られている。 For example, in vehicles such as automobiles, information such as vehicle speed and engine speed is usually displayed on an instrument panel in the dashboard. In addition, a screen such as a car navigation is incorporated in the dashboard or displayed on a display installed on the dashboard. When the driver (driver) visually recognizes such information, it is necessary to move the line of sight largely. Therefore, as a technique for reducing the amount of movement of the line of sight, information such as information on the vehicle speed, information such as instructions related to car navigation, etc. A head-up display (Head Up Display, hereinafter sometimes referred to as “HUD”) device that projects and displays the image on a windshield, a combiner, or the like is already known.
かかるＨＵＤに関連する技術として、例えば、以下の特許文献１には、ＨＵＤと視点検出カメラであるドライバ撮影カメラを組み合わせた技術が開示されている。
As a technique related to the HUD, for example,
しかしながら、上述した従来技術は、特に、障害物等までの距離感を得やすい表示装置を提供することを目的とするものであり、以下にも詳細に述べるような課題、すなわち、ヘッドアップディスプレイ装置により表示する虚像をドライバにとって最適な位置に表示することに関しては記載されていなかった。 However, the above-described conventional technique is particularly intended to provide a display device that easily obtains a sense of distance to an obstacle or the like, and has the following problems, that is, a head-up display device. There is no description about displaying the virtual image to be displayed at the optimal position for the driver.
そこで本発明の目的は、虚像である投射画像の表示位置を、その観察者であるドライバに対してより最適な制御を行うことが可能な、実用的にも優れたヘッドアップディスプレイ装置とそのためのドライバ視点検出方法を提供することにある。 Accordingly, an object of the present invention is to provide a head-up display device that is practically excellent and capable of performing more optimal control over the display position of a projection image, which is a virtual image, with respect to a driver who is an observer, and for that purpose. It is to provide a driver viewpoint detection method.
本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、以下のとおりである。 Of the inventions disclosed in this application, the outline of typical ones will be briefly described as follows.
本発明では、上記の目的を達成するため、まず、車両用のヘッドアップディスプレイ装置であって、光源および表示素子を有し、前記表示素子に映像を形成する映像表示装置と、前記映像表示装置から出射された光をウィンドシールドまたはコンバイナで反射させることで虚像を前記車両の前方に表示する虚像光学系と、ドライバの視点を検出するカメラ手段と、を備え、前記カメラ手段は、カメラ設置位置の移動によっても、前記車両内での撮像位置を一意に決定する機能を有するヘッドアップディスプレイ装置が提供される。 In the present invention, in order to achieve the above object, first, a head-up display device for a vehicle, which includes a light source and a display element, and forms an image on the display element, and the video display apparatus. A virtual image optical system that displays a virtual image in front of the vehicle by reflecting light emitted from the windshield or combiner, and camera means for detecting the viewpoint of the driver, wherein the camera means is a camera installation position. The head-up display device having the function of uniquely determining the imaging position in the vehicle is also provided by this movement.
また、本発明では、上記の目的を達成するため、車両用のヘッドアップディスプレイ装置において、撮影カメラからの画像に基づいてドライバの視点を前記車両内の３Ｄ空間座標上に特定する視点検出方法であって、前記撮影カメラからの画像により前記車両内の３Ｄ空間内において移動しない物体の座標を求め、前記求めた物体の座標から前記撮影カメラの位置、上向きベクトル、注視点についてのパラメータを求め、前記求めたパラメータの設定により、前記撮影カメラからの画像に基づいて前記車両内の３Ｄ空間内における視点を検出するドライバ視点検出方法が提供される。 According to the present invention, in order to achieve the above object, in a head-up display device for a vehicle, a viewpoint detection method for specifying a driver's viewpoint on 3D spatial coordinates in the vehicle based on an image from a photographing camera. And determining the coordinates of an object that does not move in the 3D space in the vehicle from the image from the shooting camera, and determining the parameters of the position of the shooting camera, the upward vector, and the point of gaze from the coordinates of the determined object, A driver viewpoint detection method for detecting a viewpoint in a 3D space in the vehicle based on an image from the photographing camera by setting the obtained parameter is provided.
本願において開示される発明のうち、代表的なものによって得られる効果を簡単に説明すれば以下のとおりである。 Among the inventions disclosed in the present application, effects obtained by typical ones will be briefly described as follows.
すなわち、本発明の代表的な実施の形態によれば、虚像である投射画像の表示位置を、その観察者であるドライバに対してより最適な制御を行うことが可能な、実用的にも優れたヘッドアップディスプレイ装置とそのためのドライバ視点検出方法が提供されるという効果を発揮する。 That is, according to the representative embodiment of the present invention, the display position of the projection image, which is a virtual image, can be more optimally controlled with respect to the driver who is the observer, and is practically excellent. The head-up display device and the driver viewpoint detection method therefor are provided.
以下、本発明の実施の形態を図面に基づいて詳細に説明する。なお、実施の形態を説明するための全図において、同一部には原則として同一の符号を付し、その繰り返しの説明は省略する。一方で、ある図において符号を付して説明した部位について、ほかの図の説明の際に再度の図示はしないが同一の符号を付して言及する場合がある。また、以下に示す実施の形態では、ヘッドアップディスプレイ（ＨＵＤ）装置が自動車等の車両に設置される場合を例として説明するが、電車や航空機等のほかの乗り物にも適用可能である。また、乗り物以外の用途に用いるＨＵＤ装置にも適用可能である。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. Note that components having the same function are denoted by the same reference symbols throughout the drawings for describing the embodiment, and the repetitive description thereof will be omitted. On the other hand, parts described with reference numerals in some drawings may be referred to with the same reference numerals although not illustrated again in the description of other drawings. In the embodiment described below, a case where a head-up display (HUD) device is installed in a vehicle such as an automobile will be described as an example, but the present invention can also be applied to other vehicles such as a train and an aircraft. Moreover, it is applicable also to the HUD apparatus used for uses other than a vehicle.
図１は、本発明の一実施の形態に係るヘッドアップディスプレイ装置の動作概念の例について概要を示した図である。本実施の形態のＨＵＤ装置１では、ここでは図示しない筐体内、もしくは、筐体に着脱可能な箇所に配置された映像表示装置３０によって表示された映像を、必要な光学素子（ここでは、反射ミラー５１）を介して、凹面ミラー５２により反射させて、車両２のウィンドシールド３に投射する。
FIG. 1 is a diagram showing an outline of an example of an operation concept of a head-up display device according to an embodiment of the present invention. In the
ここで、被投射部材はウィンドシールド３に限られず、映像が投射される部材であれば、コンバイナなどほかの部材としても構わない。また、映像表示装置３０は、例えば、バックライトを有するプロジェクタやＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）等により構成される。自発光型のＶＦＤ（Ｖａｃｕｕｍ Ｆｌｕｏｒｅｓｅ Ｄｉｓｐｌａｙ）等であってもよい。投射装置によりスクリーンに映像を表示するものであってもよい。このようなスクリーンとしては、例えば、マイクロレンズを２次元状に配置したマイクロレンズアレイにより構成してもよい。
Here, the member to be projected is not limited to the
凹面ミラー５２は、例えば、自由曲面ミラーや光軸非対称の形状を有するミラー等により構成される。より具体的には、凹面ミラー５２の形状は、虚像の歪みを低減するために、例えば、その上部の領域（すなわち、ここで反射した光線はウィンドシールド３の下方で反射するため、相対的に運転者（ドライバ）の視点５との距離が短くなる）では、拡大率が大きくなるように相対的に曲率半径を小さくする。一方、凹面ミラー５２の下部の領域（すなわち、ここで反射した光線はウィンドシールド３の上方で反射するため、相対的にドライバ５の視点との距離が長くなる）では、拡大率が小さくなるように相対的に曲率半径を大きくする。映像表示装置３０を凹面ミラー５２の光軸に対して傾斜させて配置することで、上記のような像倍率の違いを補正して、発生する歪みそのものを低減するようにしてもよい。
The
ドライバは、ウィンドシールド３に投射された映像を見ることで、透明のウィンドシールド３を通してその前方に虚像として上記映像を視認する。凹面ミラー５２の角度を調整することで、映像をウィンドシールド３に投射する位置を調整することにより、ドライバが見る虚像の表示位置を上下方向に調整可能としてもよい。なお、虚像として表示する内容は特に限定されず、例えば、車両情報やナビゲーション情報、図示しないカメラ映像（監視カメラやアラウンドビュアー等）で撮影した風景の映像などを適宜表示することができる。
The driver views the image projected as a virtual image in front of the
また、図中の符号６は、ステアリングコラム７１に取り付けられた、例えば、赤外線カメラを含むカメラであり、ドライバの視点を検出する手段を構成する。なお、この視点検出手段であるカメラは、必ずしも、上述したようにステアリングコラム７１の一部に取り付けられる必要はなく、ドライバの視点を検出可能であればよく、例えば、ダッシュボードの一部、または、ウィンドシールド３の一部に取り付けられてもよい。
続いて、上記にその構成を説明したＨＵＤ装置１における虚像の位置の調整について、図２を参照しながら、以下に詳述する。基本的には、本発明のＨＵＤ装置では、ステアリングコラム７１の一部に取り付けられドライバの視点を検出する手段である視点検出用のカメラ６により、ドライバの視点に対応して凹面ミラー５２の傾斜角度を制御し、もって、車両２のウィンドシールド３に投射する虚像の位置を調整／制御する。なお、図には、ドライバの視点の位置Ａ、Ｂ、Ｃに対応して、凹面ミラー５２の傾斜位置、ウィンドシールド３上の虚像の投射位置、そして、ドライバの視点から見える虚像の位置が、それぞれ、Ａ、Ｂ、Ｃによって示されている。
Next, the adjustment of the position of the virtual image in the
なお、上述した制御は、例えば、図３Ａにブロック図で示す視点検出制御部２０の通信部２４が、図３Ｂに示すＨＵＤ制御部３１に視点情報を通知し、ＨＵＤ制御部３１が凹面ミラー５２を移動させることで実現する。この視点検出制御部２０では、カメラ（車内）６やエンジン始動センサ１０９、ステアリングコラム７１の位置を検知するステアリングコラム位置センサ１１０等の各デバイスからの情報の取得は、例えば、ＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）２１の制御の下で行われる。また、ＨＵＤ制御部では、車両情報４の取得、スピーカ６０の制御、映像表示装置３０の制御、凹面ミラー５２の駆動はＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）３２の制御の下で行われる。しかしながら、必ずしもこれらに限定する必要はなく、また、ほかの種類のデバイスを備えていてもよい。
In the above-described control, for example, the
このように、ＨＵＤ用視点検出システムは、車両２の各部に設置された各種のセンサ等の情報取得デバイスからなり、車両２で生じた各種イベントを検知したり、所定の間隔で走行状況に係る各種パラメータの値を検知・取得したりすることで車両情報を取得して出力する。この車両情報には、ここでは図示しないが、例えば、車両２内部の温度情報（温度センサ）、速度情報（車速センサ）、ステアリングホイール７の操舵角情報（ハンドル操舵角センサ）、距離情報（測距センサ）、カメラ映像情報（カメラ）、エンジンの始動情報（エンジン始動センサ）等が含まれてもよい。
As described above, the viewpoint detection system for HUD includes information acquisition devices such as various sensors installed in each part of the vehicle 2, detects various events occurring in the vehicle 2, and relates to the driving situation at predetermined intervals. Vehicle information is acquired and output by detecting and acquiring values of various parameters. Although not shown here, the vehicle information includes, for example, temperature information (temperature sensor), speed information (vehicle speed sensor), steering angle information (steering wheel steering angle sensor) of the
視点検出制御部２０は、検出した視点情報をＨＵＤ制御部３１に通知する機能を有し、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）とこれにより実行されるソフトウェア（不揮発性メモリ２２やメモリ２３に格納）により実装される。マイコンやＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等のハードウェアにより実装されていてもよい。検出した視点情報は、通信部２４を介し、ＣＡＮやＥｔｈｅｒｎｅｔ（登録商標）などによりＨＵＤ制御部３１に通知される。
ＨＵＤ制御部３１は、車両情報取得部から取得した車両情報等に基づいて、虚像として表示する映像を映像表示装置３０を駆動して形成し、これを凹面ミラー５２によって反射させることでウィンドシールド３に投射する。これと共に、ミラー駆動部４５により、凹面ミラー５２の傾斜角度の制御を行う。なお、エンジン始動センサ１０９は、エンジンの始動を把握するためであり、エンジン始動時に、システムを開始する。ステアリングコラム位置センサ１１０は、ステアリングコラム７１の設定位置を検知する。
The viewpoint
The
さらに、上記の制御部２０によれば、赤外線ＬＥＤ１２０は、赤外ＬＥＤ制御部１２１を介して、夜間にドライバの視点を検出するために点灯される。
Furthermore, according to said
ＨＵＤ制御部３１は、車両情報４に基づいた映像の投影、および、視点検出制御部２０から通知された視点情報を基に、凹面ミラー５２を移動させる機能を有し、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）とこれにより実行されるソフトウェア（不揮発性メモリ３５やメモリ３６に格納）により実装される。マイコンやＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等のハードウェアにより実装されていてもよい。
The
＜カメラ位置補正の課題＞
上述したヘッドアップディスプレイ装置では、図４にも示すように、表示する虚像の位置は、ドライバの視点５に応じて移動することが行われる。そのため、視点検出システムにおいては、視点５の検出により算出された視点座標（ｕ，ｖ）を３Ｄ視点座標（ｘ，ｙ，ｚ）に変換する際、車内の任意の座標を原点とした空間座標におけるカメラ６の撮像位置に応じたパラメータを設定する必要がある。その際、カメラ６を動かない場所に設置する場合には、カメラ撮像位置が一意に決まるため問題はない。
<Camera position correction issues>
In the above-described head-up display device, as shown in FIG. 4, the position of the virtual image to be displayed is moved according to the viewpoint 5 of the driver. Therefore, in the viewpoint detection system, when the viewpoint coordinates (u, v) calculated by the detection of the viewpoint 5 are converted into the 3D viewpoint coordinates (x, y, z), spatial coordinates with any coordinates in the vehicle as the origin. It is necessary to set parameters in accordance with the imaging position of the
しかしながら、カメラ６が、例えば、ステアリングコラム７１などに取り付けられる等、いわゆる、移動する場所（部分）に設置される場合には、図に破線で示すように、カメラ６の撮像位置が変化してしまい、そのため、カメラの撮像位置に応じて、後に詳述するが、その（カメラ）パラメータ等を含めて再設定する必要が生じる。
However, when the
視点検出システムでは、例えば、図５に示すように、ドライバが通常の運転状態（図５（ａ））から、前かがみの状態（図５（ｂ））に移った場合、ステアリングコラム７１に取り付けられたカメラ６の画像から車内でのドライバの視点５を特定して検出することができる。
In the viewpoint detection system, for example, as shown in FIG. 5, when the driver moves from the normal driving state (FIG. 5A) to the forward bending state (FIG. 5B), it is attached to the
他方、ドライバがその好みに応じてステアリングホイール７（ステアリングコラム７１）の位置を調整（移動）した場合（図４の破線を参照）には、カメラ６の位置も移動することとなる（図４では、移動したカメラの位置を符号６’で示す）。その結果、図６にも示すように、ドライバの顔の位置は移動していないにも関わらず、カメラ画像上の視点が移動してしまう（図６（ａ）は移動前、図６（ｂ）は移動後を示す）。すなわち、カメラ６の位置が動くと、実際のドライバの顔の位置は動いていないが、カメラ画像における顔の位置は動くため、算出する視点の座標に誤差が生じる。そのため、ヘッドアップディスプレイ装置の本来的な機能である、表示する虚像の位置をドライバの視点５に応じて移動することができなくなることが分かった。
On the other hand, when the driver adjusts (moves) the position of the steering wheel 7 (steering column 71) according to his / her preference (see the broken line in FIG. 4), the position of the
本発明では、上述した問題点に鑑みて達成したものであり、ドライバの視点５を検知するためのカメラ６が、例えば、上述したステアリングコラム７１のような、車内での位置移動が可能な部位に取り付けられた場合における問題点を解消するためのカメラ位置補正を実現する。なお、カメラ位置補正とは、視点座標変換に用いる、カメラ撮像位置に応じたパラメータを、ステアリングコラム７１等の取付け位置の変動に応じて、適切な値に再設定することであり、以下にその詳細を説明する。
The present invention has been achieved in view of the above-described problems, and the
＜カメラ位置補正の概要＞
本発明は、上記に詳述した課題を解消して、カメラ６の移動に伴って自動的にカメラ位置補正を実現するものであり、まず、本システムであるドライバ視点検出方法の全体の処理フローについて、図７を参照しながら説明する。
<Overview of camera position correction>
The present invention solves the above-described problems and realizes camera position correction automatically as the
例えば、イグニッション等の電源がオン状態によって処理が開始され、カメラ撮像位置の補正が必要か否かを判定する（ステップＳ７１）。例えば、上記の例では、上述したステアリングコラム位置センサ１１０の出力により、ステアリングコラム７１の位置が移動されたか、より具体的には、ステアリングコラム７１のデフォルト位置であるか否かによって、必要の要否を判定する。
For example, the process is started when the power source such as an ignition is turned on, and it is determined whether or not the camera imaging position needs to be corrected (step S71). For example, in the above-described example, a necessary requirement depends on whether the position of the
上記ステップＳ７１でカメラ撮像位置の補正が必要と判定（Ｙｅｓ）された場合には、さらに、上記の例では、ステアリングコラム７１の位置（または、角度）がシステムから取得可能であるか否かを判定する（ステップＳ７２）。すなわち、このステップは、ステアリングコラム７１の位置（角度）調整が電動や自動で行われる場合などでは、前記システムにおいてステアリングコラム７１の位置（角度）データが入手可能である場合を考慮したものである。その結果、取得可能である（Ｙｅｓ）場合には、ステアリングコラム７１の位置（角度）を前記システムから取得する（ステップＳ７３）。
If it is determined in step S71 that the camera imaging position needs to be corrected (Yes), in the above example, whether or not the position (or angle) of the
他方、取得不可能である（Ｎｏ）場合には、カメラ６の現在の撮像位置であるカメラ撮像位置を補正するためのカメラ位置補正処理を実行する（ステップＳ７４）。なお、図８には、このカメラ撮像位置補正処理の詳細が示されている。このカメラ撮像位置補正処理は、カメラ画像から車内において固定された部位（物体）を検出して、この検出した部位（物体）の座標（ｕ，ｖ）から、現在のカメラ撮像位置を求めるものである。
On the other hand, when acquisition is impossible (No), camera position correction processing for correcting the camera imaging position, which is the current imaging position of the
図８にも明らかなように、このカメラ撮像位置補正処理が開始すると、まず、現在の撮像位置でのカメラ６により得られたカメラ画像から、車内における位置移動のない（固定された）部位である前部座席と後部座席の間の支柱（以下、Ｂピラーともいう）の位置を、例えば、テンプレートマッチングにより、カメラ画像の平面座標上で求める（ステップＳ８１）。なお、本実施の形態では、カメラ６がステアリングコラム７１に取り付けられていることから、図９にも示すように、カメラ画像上のＢピラーは、ステアリングコラム７１の移動に伴って縦（ｖ軸）方向にのみ移動する。そのため、Ｂピラーの検出点は、図９（ａ）に示した移動前のカメラ画像の平面座標上の点（２０，１０）から、移動後のカメラ画像の平面座標上の点（２０，４０）に移動する。すなわち、ｖ座標値のみが変化する。
As is apparent from FIG. 8, when this camera imaging position correction process is started, first, from a camera image obtained by the
続いて、上記で求めたＢピラーのカメラ画像（平面座標（ｕ，ｖ））上の位置（すなわち、ｖ座標値）を基にして、後にも述べる実空間の３Ｄ座標（ｘ，ｙ，ｚ）の算出に必要な３つのパラメータを求める（ステップＳ８２）。より具体的には、図１０にも示すように、カメラの撮像位置であるカメラ位置、カメラの上向きベクトル、そして、カメラ注視点を求める。なお、本例では、これらの関係は予め算出して以下の表１に示すルックアップテーブルとして、例えば、ＣＰＵを構成するメモリ等に格納されている。 Subsequently, based on the position (that is, v coordinate value) on the camera image (plane coordinate (u, v)) of the B pillar obtained as described above, 3D coordinates (x, y, z) in the real space described later ) To obtain three parameters necessary for calculation (step S82). More specifically, as shown in FIG. 10, the camera position, which is the camera imaging position, the upward vector of the camera, and the camera gazing point are obtained. In this example, these relationships are calculated in advance and stored as a lookup table shown in Table 1 below, for example, in a memory constituting the CPU.
再び上記図７に戻り、その後、以下にその詳細を述べる、視点座標（ｕ，ｖ）変換処理（ステップＳ７５）および視点座標変換処理（ステップＳ７６）を実行し、求めた視点に基づき凹面ミラー５２を移動させ（ステップＳ７７）、上記のステップＳ７１へ戻り、再び、一連の処理を繰り返す。
Returning to FIG. 7 again, the viewpoint coordinate (u, v) conversion process (step S75) and viewpoint coordinate conversion process (step S76), which will be described in detail below, are executed, and the
続いて、上述した視点座標（ｕ，ｖ）変換処理と視点座標変換処理の詳細について、以下に、図１１を参照しながら説明する。 Next, details of the viewpoint coordinate (u, v) conversion process and the viewpoint coordinate conversion process described above will be described below with reference to FIG.
図１２に示すように、検出したドライバの顔を含む視点の座標（ｕ，ｖ）から、ニアクリップ平面上の視点座標Ａ＝（ｘ1，ｙ1，ｚ1）とファークリップ平面上のドライバの視点座標Ｂ＝（ｘ2，ｙ2，ｚ2）を算出し、座標Ａから座標Ｂへ向かう以下の単位ベクトルを求める（ステップＳ１１２）。 As shown in FIG. 12, the viewpoint coordinates A = (x 1 , y 1 , z 1 ) on the near clip plane and the driver on the far clip plane from the coordinates (u, v) of the viewpoint including the face of the detected driver. Viewpoint coordinates B = (x 2 , y 2 , z 2 ) are calculated, and the following unit vector from the coordinates A to the coordinates B is obtained (step S112).
そして、視点検出制御部が検出したドライバの顔の大きさ（面積）に基づいて、カメラと顔（視点）との間の距離Ｌを算出する（ステップＳ１１３）。なお、ニアクリップ、ファークリップは透視投影変換で使用され、カメラからニアクリップ平面までの距離（例えば０．１５ｍ）、およびカメラからファークリップ平面までの距離（例えば２ｍ）は予め設定しておく。 Then, based on the size (area) of the driver's face detected by the viewpoint detection control unit, a distance L between the camera and the face (viewpoint) is calculated (step S113). The near clip and the far clip are used in perspective projection conversion, and the distance from the camera to the near clip plane (for example, 0.15 m) and the distance from the camera to the far clip plane (for example, 2 m) are set in advance.
次に、以下の数２でドライバの３Ｄ視点座標（ｘ，ｙ，ｚ）を求める（ステップＳ１１４）。 Next, the 3D viewpoint coordinates (x, y, z) of the driver are obtained by the following formula 2 (step S114).
ここで、ベクトルｄはドライバの視点ベクトル（ｘ，ｙ，ｚ）、ベクトルｃはカメラ位置ベクトル、Ｌはカメラ−視点間距離、ベクトルＡＢ／｜ＡＢ｜はニアクリップ平面上の視点座標Ａからファークリップ平面上の視点座標Ｂへ向かう単位ベクトルである。 Here, the vector d is the driver viewpoint vector (x, y, z), the vector c is the camera position vector, L is the camera-to-viewpoint distance, and the vector AB / | AB | is far from the viewpoint coordinate A on the near clip plane. It is a unit vector toward the viewpoint coordinate B on the clip plane.
このように、上述した処理によれば、車内におけるカメラ６の取付け位置が変更された場合においても、前記カメラ６からのカメラ画像から、車内におけるドライバの視点ベクトル（ｘ，ｙ，ｚ）の位置を正確に求めることが可能となる。
As described above, according to the above-described processing, even when the mounting position of the
以上にも詳述したように、本発明のヘッドアップディスプレイ装置とそのためのドライバ視点検出方法によれば、ドライバの視点を検知するためのカメラ６がステアリングコラム７１のような、車内での位置移動が可能な部位に取り付けられた場合でも、ドライバの視点をその変動に応じて、適切に再設定されて、虚像である投射画像の表示位置を、ドライバに対してより最適な制御を行うことが可能な、実用的にも優れたヘッドアップディスプレイ装置が達成されることとなる。
As described above in detail, according to the head-up display device and the driver viewpoint detection method therefor according to the present invention, the
なお、上記の実施の形態では、カメラ撮像位置の移動を補正するため、車内において固定された部位（物体）を検出することで、現在のカメラ撮像位置を算出する。なお、この車内に固定された物体の例としては、上述したウィンドシールドを支持する支柱（Ｂピラー）を利用して現在のカメラ撮像位置を算出するものを説明したが、しかしながら、本発明はこれにのみ限定されることはなく、その他、例えば、ルームライト、スカイルーフ、アシストグリップ、ヘッドレスト、あるいは、アッパーカバーなどを利用することも可能であろう。 In the above embodiment, in order to correct the movement of the camera imaging position, the current camera imaging position is calculated by detecting a fixed part (object) in the vehicle. As an example of the object fixed in the vehicle, the description has been given of calculating the current camera imaging position using the above-described support (B pillar) that supports the windshield. However, the present invention is not limited to this. For example, a room light, a sky roof, an assist grip, a headrest, or an upper cover may be used.
また、ウィンドシールドを支持する柱（ピラー）についても、フロントピラー（Ａピラー：ウィンドシールドを支える左右両端の支柱）、センターピラー（Ｂピラー：前部座席と後部座席の間の支柱）、リアピラー（Ｃピラー：車両の一番後部の支柱）などと表現されるものもある。上記の実施の形態では、Ｂピラーについてのみ言及したが、しかしながら、車内での位置の移動のないものであれば、特に、特定されるものではないことは、当業者であれば明らかであろう。 The pillars that support the windshield are also divided into front pillars (A pillars: pillars on both left and right sides that support the windshield), center pillars (B pillars: pillars between the front and rear seats), and rear pillars ( (C pillar: the rearmost column of the vehicle) In the above-described embodiment, only the B pillar has been described. However, it will be apparent to those skilled in the art that the B pillar is not particularly specified as long as the position does not move in the vehicle. .
加えて、車内に設置された物体を検出し、現在のカメラ撮像位置を取得する手法としては、上記のほかに、例えば、検出物体のｖ座標が、１画素分ずれるときのカメラパラメータの変換量を事前に求めておく方法、または、検出した物体のｖ座標とステアリングコラム７１の初期位置（例えば、ステアリングコラム７１が最下点の位置など、基準のステアリングコラム７１の位置として任意に設定した位置）のｖ座標の差分を求め、ｖ座標の差分と１画素あたりのカメラパラメータ座標の変化量からステアリングコラム初期位置のカメラパラメータとの誤差を算出する方法などが利用可能であろう。
In addition to the above, as a method for detecting an object installed in a vehicle and acquiring the current camera imaging position, for example, a conversion amount of a camera parameter when the v coordinate of the detected object is shifted by one pixel. Or the v-coordinate of the detected object and the initial position of the steering column 71 (for example, a position arbitrarily set as the position of the
以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は上記の実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。例えば、上記の実施の形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施の形態の構成の一部をほかの実施の形態の構成に置き換えることが可能であり、また、ある実施の形態の構成にほかの実施の形態の構成を加えることも可能である。また、各実施の形態の構成の一部について、ほかの構成の追加・削除・置換をすることが可能である。 As mentioned above, the invention made by the present inventor has been specifically described based on the embodiments. However, the present invention is not limited to the above-described embodiments, and various modifications can be made without departing from the scope of the invention. Needless to say. For example, the above-described embodiment has been described in detail for easy understanding of the present invention, and is not necessarily limited to the one having all the configurations described. A part of the configuration of one embodiment can be replaced with the configuration of another embodiment, and the configuration of another embodiment can be added to the configuration of one embodiment. . Further, it is possible to add, delete, and replace other configurations for a part of the configuration of each embodiment.
本発明は、特に、車両のウィンドシールドを介して虚像をドライバに対して表示するヘッドアップディスプレイ装置に利用可能である。 The present invention is particularly applicable to a head-up display device that displays a virtual image to a driver via a vehicle windshield.
１…ＨＵＤ装置、２…車両、３…ウィンドシールド、４…車両情報、５…ドライバの視点、７…ステアリングホイール、７１…ステアリングコラム、３０…映像表示装置、３１…ＨＵＤ制御部、５１…反射ミラー、５２…凹面ミラー、６…カメラ、２０…制御部、２１…ＥＣＵ、２２…不揮発性メモリ、２３…メモリ、１０９…エンジン始動センサ、１１０…ステアリングコラム位置センサ。
DESCRIPTION OF
Claims (8)
光源および表示素子を有し、表示素子に映像を形成する映像表示装置と、
前記映像表示装置から出射された光をウィンドシールドまたはコンバイナで反射させることで虚像を前記車両の前方に表示する虚像光学系と、
ドライバの視点を検出するカメラ手段と、を備え、
前記カメラ手段は、カメラ設置位置の移動によっても、前記車両内での撮像位置を一意に決定する機能を有する、ヘッドアップディスプレイ装置。 A head-up display device for a vehicle,
An image display device having a light source and a display element, and forming an image on the display element;
A virtual image optical system that displays a virtual image in front of the vehicle by reflecting light emitted from the video display device with a windshield or a combiner;
Camera means for detecting the viewpoint of the driver,
The head-up display device, wherein the camera means has a function of uniquely determining an imaging position in the vehicle even when the camera installation position is moved.
前記カメラ手段は、前記車両内の一部を利用して前記撮像位置を一意に決定する、ヘッドアップディスプレイ装置。 The head-up display device according to claim 1,
The said camera means is a head-up display apparatus which determines the said imaging position uniquely using a part in the said vehicle.
前記カメラ手段は、前記車両内の一部として、前記ウィンドシールドを前部座席と後部座席の間で支持する柱を利用する、ヘッドアップディスプレイ装置。 The head-up display device according to claim 2,
The said camera means is a head-up display apparatus using the pillar which supports the said windshield between a front seat and a rear seat as a part in the said vehicle.
前記カメラ手段は、前記車両内のステアリングコラムに取り付けられている、ヘッドアップディスプレイ装置。 The head-up display device according to claim 1,
The head-up display device, wherein the camera means is attached to a steering column in the vehicle.
前記撮影カメラからの画像により前記車両内の３Ｄ空間内において移動しない物体の座標を求め、
求めた物体の前記座標から前記撮影カメラの位置、上向きベクトル、注視点についてのパラメータを求め、
求めた前記パラメータの設定により、前記撮影カメラからの画像に基づいて前記車両内の３Ｄ空間内における視点を検出する、ドライバ視点検出方法。 A driver viewpoint detection method for identifying a driver viewpoint on 3D spatial coordinates in the vehicle based on an image from a photographing camera in a vehicle head-up display device,
Obtain the coordinates of the object that does not move in the 3D space in the vehicle by the image from the shooting camera,
Obtain parameters for the position of the shooting camera, upward vector, gazing point from the coordinates of the obtained object,
A driver viewpoint detection method of detecting a viewpoint in a 3D space in the vehicle based on an image from the photographing camera based on the obtained parameter setting.
前記３Ｄ空間内において移動しない物体は、ウィンドシールドを前部座席と後部座席の間で支持する柱である、ドライバ視点検出方法。 The driver viewpoint detection method according to claim 5,
The driver viewpoint detection method, wherein the object that does not move in the 3D space is a pillar that supports a windshield between a front seat and a rear seat.
前記撮影カメラは、前記車両内のステアリングコラムに取り付けられている、ドライバ視点検出方法。 The driver viewpoint detection method according to claim 5,
The driver viewpoint detection method, wherein the photographing camera is attached to a steering column in the vehicle.
前記撮影カメラからの画像によるニアクリップ平面とファークリップ平面に基づいて、前記車両内の前記３Ｄ空間における視点を算出する、ドライバ視点検出方法。 The driver viewpoint detection method according to claim 5,
A driver viewpoint detection method for calculating a viewpoint in the 3D space in the vehicle based on a near clip plane and a far clip plane based on an image from the photographing camera.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017150679A JP2019026198A (en) | 2017-08-03 | 2017-08-03 | Head-up display device, and driver viewpoint detection method therefor |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017150679A JP2019026198A (en) | 2017-08-03 | 2017-08-03 | Head-up display device, and driver viewpoint detection method therefor |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2019026198A true JP2019026198A (en) | 2019-02-21 |
Family
ID=65477360
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017150679A Pending JP2019026198A (en) | 2017-08-03 | 2017-08-03 | Head-up display device, and driver viewpoint detection method therefor |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2019026198A (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114363591A (en) * | 2020-10-12 | 2022-04-15 | 通用汽车环球科技运作有限责任公司 | System and method for adjusting position and distortion of image projected onto windshield |
| US11425364B2 (en) | 2019-10-08 | 2022-08-23 | Subaru Corporation | Head-up display system for vehicle |
-
2017
- 2017-08-03 JP JP2017150679A patent/JP2019026198A/en active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11425364B2 (en) | 2019-10-08 | 2022-08-23 | Subaru Corporation | Head-up display system for vehicle |
| CN114363591A (en) * | 2020-10-12 | 2022-04-15 | 通用汽车环球科技运作有限责任公司 | System and method for adjusting position and distortion of image projected onto windshield |
| CN114363591B (en) * | 2020-10-12 | 2023-08-29 | 通用汽车环球科技运作有限责任公司 | System and method for adjusting position and distortion of an image projected onto a windshield |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110573369B (en) | Head-up display device and display control method thereof | |
| JP6870109B2 (en) | Head-up display device and its display control method | |
| US10890762B2 (en) | Image display apparatus and image display method | |
| US10302940B2 (en) | Head-up display | |
| JP6221942B2 (en) | Head-up display device | |
| EP3330117B1 (en) | Vehicle display device | |
| CN112904558B (en) | Head-up display calibration | |
| CN109791300B (en) | Head-up display system | |
| JP2010070066A (en) | Head-up display | |
| US11315528B2 (en) | Image display system, image display method, movable object including the image display system, and non-transitory computer-readable medium | |
| JP2009008722A (en) | Three-dimensional head up display device | |
| JP2005184225A (en) | Vehicular display | |
| JP7221161B2 (en) | Head-up display and its calibration method | |
| US20190258057A1 (en) | Head-up display | |
| JP2011240813A (en) | Device and method for vehicular display | |
| WO2018003650A1 (en) | Head-up display | |
| JP5813243B2 (en) | Display device | |
| JP2008037118A (en) | Display for vehicle | |
| JP2019026198A (en) | Head-up display device, and driver viewpoint detection method therefor | |
| WO2019102731A1 (en) | Head-up display device | |
| JP6318772B2 (en) | Virtual image display device | |
| WO2018030320A1 (en) | Vehicle display device | |
| JP2019015936A (en) | Head-up display device | |
| JP2005039599A (en) | Vehicle periphery surveillance apparatus | |
| CN114035324B (en) | HUD light path projection system and HUD light path projection method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20171102 |