JP2021133801A

JP2021133801A - 車両用表示装置

Info

Publication number: JP2021133801A
Application number: JP2020031236A
Authority: JP
Inventors: 雄治猪坂; Yuji Inosaka; 一成濱田; Kazunari Hamada
Original assignee: Nippon Seiki Co Ltd
Current assignee: Nippon Seiki Co Ltd
Priority date: 2020-02-27
Filing date: 2020-02-27
Publication date: 2021-09-13

Abstract

【課題】外光が入射しても利用者の目の位置を安定的に検出することができる車両用表示装置を提供する。【解決手段】本発明に係る車両用表示装置としてのヘッドアップディスプレイ装置１は、車両のフロントウインドシールド２に表示光Ｌ１を投影し、フロントウインドシールド２を透過する実景に重ねてフロントウインドシールド２に反射された表示光Ｌ１により虚像Ｖを生成して表示するとともに、車両の運転者Ｄに赤外光Ｌ２を投影して運転者Ｄを撮像し、その撮像画像に基づいて運転者Ｄの目Ｅの位置を検出可能なもので、制御部１０が、撮像画像における左右の目Ｅのうち一方の目Ｅの位置の検出が困難な場合に、他方の目Ｅの位置及び運転者Ｄの顔の特徴点Ｔから算出される正中矢状面Ｈに基づいて、欠損した一方の目Ｅの位置を推定して運転者Ｄの視点位置を検出する。【選択図】図１

Description

本発明は、車両のフロントウインドシールドやコンバイナ等に虚像を表示するとともに、利用者の目の位置を検出可能なヘッドアップディスプレイ装置等の車両用表示装置に関する。

車両のフロントウインドシールドやコンバイナ等の反射透光部材を透過する実景（車両前方の風景）に重ねて、その反射透光部材に反射された表示光により虚像を生成して表示するヘッドアップディスプレイ装置は、車両の運転者等の利用者の視線移動を極力抑えつつ、利用者が所望する情報を虚像により提供することによって、安全で快適な車両運行に寄与する。

また、ヘッドアップディスプレイ装置には、利用者に赤外光を照射して利用者を撮像し、その撮像画像に基づいて利用者の目の位置（瞳孔等の位置）を検出することにより、脇見や居眠り等の利用者の状態把握に供するものがある。

例えば特許文献１に記載のヘッドアップディスプレイ装置は、表示手段から発せられる可視光をコンバイナ部材にて利用者に向けて反射して表示像を結像してなるもので、利用者に向けて赤外線を照射する赤外線照射手段と、表示手段から発せられる可視光をコンバイナ部材に向けて反射し、利用者及びコンバイナ部材にて反射される赤外線を透過するミラー部材と、ミラー部材を透過する赤外線を感受して利用者をそれぞれ異なる方向から撮像する複数の撮像手段と、撮像手段によって撮像された画像に基づいて利用者の目の位置を算出する画像処理手段とを備え、利用者の目の位置を精度良く算出することが可能となっている。

特開２００８−１２６９８４号公報

ところで、ヘッドアップディスプレイ装置に太陽光や街灯の光等の強い外光が入射すると、撮像画像に外光のノイズが加わり、利用者の目の位置の検出に失敗するという問題があった。特許文献１に記載のヘッドアップディスプレイ装置では、外光の赤外成分がミラー部材を透過して撮像手段に入射すると、撮像画像にサチュレーション等による白飛びしたノイズ領域が形成され、このノイズ領域は、撮像画像において必ずしも利用者の目の位置（目の像の位置）と重なり合っていなくても、目の位置の検出に支障を来すことがある。そして、利用者の左右の目の位置から利用者の視点位置を算出する場合に、左右の目の一方の位置が正確に検出し得ずに検出結果が不規則に変動すると、視点位置もまた不規則に変動して不安定になる。

本発明は、上記の事情に鑑みてなされたもので、外光が入射しても利用者の目の位置を安定的に検出することができる車両用表示装置を提供することを課題としている。

上記課題を解決するために、本発明は、車両に設けられた反射透光部材に表示光を投影し、前記反射透光部材を透過する実景に重ねて前記反射透光部材に反射された表示光により虚像を生成して表示するとともに、前記車両の利用者に赤外光を投影して前記利用者を撮像し、その撮像画像に基づいて前記利用者の視点位置を検出可能な車両用表示装置であって、前記撮像画像における前記利用者の左右の目の位置を検出する目検出手段と、前記目検出手段により検出された前記左右の目の位置に基づいて前記視点位置を検出する視点位置検出手段と、前記撮像画像における前記利用者の特徴点の位置を検出する特徴点検出手段とを備え、前記視点位置検出手段は、前記目検出手段による前記左右の目の一方の位置の検出が困難な場合に、前記左右の目の他方の位置及び前記特徴点検出手段により検出された前記特徴点から算出される前記利用者の顔の中心軸線に基づいて前記左右の目の一方の位置を推定し、前記視点位置を検出することを特徴とする。「前記目検出手段による前記左右の目の一方の位置の検出が困難な場合」とは、目検出手段が目の位置の検出に失敗した場合のみを指すのではなく、外光の入射等により目の位置の検出が困難と思われる所定の条件を満たした場合も含み、「前記利用者の顔の中心軸線」とは、利用者の顔の中心を通ると評価し得る直線であればよく、例えば正中矢状面に重なってもよい。

前記視点位置検出手段は、前記左右の目の他方の位置の前記中心軸線に対して対称となる位置を前記左右の目の一方の位置と推定してもよい。

あるいは、本発明に係る車両用表示装置は、前記左右の目の離間距離を記憶する記憶手段を備え、前記視点位置検出手段は、前記左右の目の他方の位置から前記中心軸線に対して直交する直線上で前記記憶手段に記憶された前記離間距離だけ離れた位置を前記左右の目の一方の位置と推定してもよい。

前記中心軸線は、前記利用者の左右の耳、左右の鼻の穴、左右の鼻の淵、左右の口角、左右の眉毛のいずれか１つ以上の特徴点を用いて算出されても、前記利用者の眉間、鼻筋、鼻尖、人中、顎の先端のいずれか２つ以上の特徴点を用いて算出されても、前記利用者の左右の耳の中心、左右の鼻の穴の中心、左右の鼻の淵の中心、左右の口角の中心、左右の眉毛の中心のいずれか１つ以上の特徴点及び前記利用者の眉間、鼻筋、鼻尖、人中、顎の先端のいずれか１つ以上の特徴点を用いて算出されてもよい。

本発明に係る車両用表示装置によれば、外光が入射しても利用者の目の位置を安定的に検出することができる。

発明を実施するための形態に係るヘッドアップディスプレイ装置を示す説明図である。図１のヘッドアップディスプレイ装置による運転者の撮像画像を特徴点とともに示す説明図である。図１のヘッドアップディスプレイ装置に外光が侵入する様子を示す説明図である。外光によるノイズ領域が含まれた撮像画像を示す説明図である。撮像画像において欠損した一方の目の位置を、検出された他方の目の位置を正中矢状面に対して折り返した対称の位置と推定する方法を示す説明図である。撮像画像において欠損した一方の目の位置を、検出された他方の目の位置から正中矢状面と直交する方向に両目の離間距離だけ離れた位置と推定する方法を示す説明図である。

本発明を実施するための形態について、図面に基づいて説明する。

図１に示すように、本実施の形態に係る車両用表示装置としてのヘッドアップディスプレイ装置（ＨＵＤ）１は、車両のフロントウインドシールド２の下方に設けられ、フロントウインドシールド２の一部に可視光である表示光Ｌ_１を投影する。表示光Ｌ_１は、フロントウインドシールド２に反射されて虚像Ｖを生成し、車両の運転者Ｄにフロントウインドシールド２を透過する実景に重ねて虚像Ｖを視認させる。

また、ＨＵＤ１は、運転者Ｄの状態をモニターするＤＭＳ（ドライバーモニタリングシステム）の機能を持ち、運転者Ｄに赤外光Ｌ_２を投影して運転者Ｄを撮像し、撮像画像に基づいて運転者Ｄの目Ｅの位置を検出可能である。

詳細には、ＨＵＤ１は、黒色のＡＢＳ樹脂等により成形されて外光の侵入が防止された筐体３に覆われて外部と区画され、筐体３には図示を略すポリカーボネート等の透明な樹脂で覆われた透光部４が形成されている。筐体３の内部には、表示ユニット５と、折返鏡６と、凹面鏡７と、赤外光照射ユニット８と、カメラ９と、制御部１０とが保持・収容されている。

表示ユニット５は、チップ型の発光ダイオードからなる光源及び液晶パネルが設けられ、液晶パネルが光源の出射光を２次元的に変調することにより、可視光である映像光（表示光Ｌ_１）を投影表示する。折返鏡６は、平面部分を有するように成形されたポリカーボネート等の樹脂にアルミニウム等の金属を蒸着してなり、光を単純に反射する。凹面鏡７は、凹面部分を有するように成形されたポリカーボネート等の樹脂にアルミニウム等の金属を蒸着してなり、可視光を拡大して反射するとともに、赤外光を透過させる特性を有する。

赤外光照射ユニット８は、凹面鏡７の裏側（凹面鏡７に対して透光部４及び折返鏡６の反対側）に設けられ、発光ダイオードからなる光源が発する赤外光（近赤外線）を凹面鏡７に向けて照射する。カメラ９は、赤外照射ユニット８から照射される波長帯の赤外光に感度を有する撮像素子、及び、赤外光を透過してその撮像素子に結像させ得るレンズを備え、近赤外線画像を撮影する。

制御部１０は、マイクロプロセッサ、メモリ及びそれらを動作させるための各種電子部品、基板、ケースからなり、車両情報や運転者Ｄの入力情報に基づいてＨＵＤ１の映像を適切に表示するように表示ユニット５を制御する。

また、制御部１０は、図２に示すように、カメラ９による撮像画像Ｐのコントラストに基づいて、運転者Ｄの左右の目Ｅの瞳孔Ｃ（又は虹彩Ｉの中心）の位置を検出し、この左右の瞳孔Ｃの中間点Ｃ_１の位置を視点位置として検出する。検出された視点位置は、運転者Ｄの状態検出（脇見や居眠り等）に利用可能である。

さらに、制御部１０は、カメラ９による撮像画像Ｐのコントラストに基づいて、運転者Ｄの顔Ｆの輪郭Ｆ_１（顎の先端Ｆ_２を含む。）、左右の耳Ｙ、左右の耳Ｙの中心Ｙ_１、左右の眉毛Ｂ、左右の眉毛Ｂの中心Ｂ_１、眉間Ｑ、左右の目Ｅの輪郭Ｅ_１（目尻Ｅ_２及び目頭Ｅ_３を含む。）、鼻Ｎの輪郭Ｎ_１（左右の鼻の淵Ｎ_２を含む。）、左右の鼻の淵Ｎ_２の中心Ｎ_３、左右の鼻の穴Ｎ_４、左右の鼻の穴Ｎ_４の中心Ｎ_５、鼻筋Ｎ_６、鼻尖Ｎ_７、人中Ｒ、口Ｍの輪郭Ｍ_１（左右の口角Ｍ_２を含む。）、左右の口角Ｍ_２の中心Ｍ_３等の特徴点Ｔの位置を検出するとともに、検出された特徴点Ｔから算出される運転者Ｄの顔Ｆの正中矢状面Ｈを算出し、内部メモリに記憶する。正中矢状面Ｈは、左右の耳Ｙ、左右の鼻の穴Ｎ_４、左右の鼻の淵Ｎ_２、左右の口角Ｍ_２、左右の眉毛Ｂのいずれか１つ以上の特徴点Ｔを用いて算出しても（例えば、左右の耳Ｙを結ぶ直線上の左右の耳Ｙの中間点を通り、かつ、その直線に直交する直線を求め、この直線を含む平面を正中矢状面Ｈとして算出することができる。）、眉間Ｑ、鼻筋Ｎ_６、鼻尖Ｎ_７、人中Ｒ、顎の先端Ｆ_２のいずれか２つ以上の特徴点を用いて算出しても（例えば、眉間Ｑ、鼻尖Ｎ_７及び顎の先端Ｆ_２を通る直線を求め、この直線を含む平面を正中矢状面Ｈとして算出することができる。）、左右の耳Ｙの中心Ｙ_１、左右の鼻の穴Ｎ_４の中心Ｎ_５、左右の鼻の淵Ｎ_２の中心Ｎ_３、左右の口角Ｍ_２の中心Ｍ_３、左右の眉毛Ｂの中心Ｂ_１のいずれか１つ以上の特徴点及び眉間Ｑ、鼻筋Ｎ_６、鼻尖Ｎ_７、人中Ｒ、顎の先端Ｆ_２のいずれか１つ以上の特徴点を用いて算出してもよい（例えば、左右の耳Ｙの中心Ｙ_１及び顎の先端Ｆ_２を通る直線を求め、この直線を含む平面を正中矢状面Ｈとして算出することができる。）。

ＨＵＤ１において、表示ユニット５からの表示光Ｌ_１は、折返鏡６で反射され、次いで、凹面鏡７で拡大して反射され、透光部４を通過してフロントウインドシールド２に投影される。フロントウインドシールド２に投影された表示光Ｌ_１は、運転者Ｄの側に拡大して反射され、虚像Ｖを生成してフロントウインドシールド２を透過する実景に重ねて運転者Ｄに表示する。

一方、赤外光照射ユニット８からの赤外光Ｌ_２は、凹面鏡７を透過し、透光部４を通過してフロントウインドシールド２に投影され、フロントウインドシールド２で運転者Ｄの側に反射されて運転者Ｄを照射する。そして、運転者Ｄに反射されると赤外光Ｌ_２の一部は逆の経路を辿り、凹面鏡７を透過してカメラ９に入射した赤外光Ｌ_２により運転者Ｄが撮像され、その撮像画像Ｐが制御部１０に入力される。この撮像は、虚像Ｖの表示中、定期的又は不定期的に行われ、ここでは、虚像Ｖが表示されている間、定期的なフレームレートの動画撮像が行われる。

制御部１０は、運転者Ｄの撮像画像Ｐが入力されると、運転者Ｄの左右の目Ｅの瞳孔Ｃの位置を検出し、この左右の瞳孔Ｃの中間点Ｃ_１の位置を視点位置として検出する。ただ、本来は、図２に示すような運転者Ｄの撮像画像Ｐが得られるはずであるが、図３に示すように、太陽光等の強い外光Ｌ_３の赤外成分がフロントウインドシールド２、透光部４、凹面鏡７を透過してカメラ９に入射すると、撮像画像Ｐには図４に示すような白飛びしたノイズ領域Ｓが生じ、運転者Ｄの目Ｅ（図４では右目Ｅ）の位置の検出に支障を来すことがある。

そこで、制御部１０は、撮像画像Ｐについてノイズ領域Ｓの存在により左右の瞳孔Ｃの一方の位置の検出が困難な場合に、その撮像画像Ｐから検出される左右の瞳孔Ｃの他方の位置、及び、その撮像画像Ｐから検出される特徴点Ｔから算出される正中矢状面Ｈに基づいて、左右の瞳孔Ｃの一方の位置、ひいては視点位置（中間点Ｃ_１の位置）を推定する。

具体的には、図５に示すように、制御部１０は、撮像画像Ｐにおいて左右の瞳孔Ｃのうち欠損した一方（図５では右の瞳孔Ｃ）の位置を、左右の瞳孔Ｃのうち取得し得た他方（図５では左の瞳孔Ｃ）の位置を正中矢状面Ｈに対して折り返した対称の位置と推定することができる。

あるいは、図６に示すように、制御部１０は、あらかじめ左右の瞳孔Ｃの離間距離（間隔）Ｋを記憶し、撮像画像Ｐにおいて左右の瞳孔Ｃのうち欠損した一方（図６では右の瞳孔Ｃ）の位置を、左右の瞳孔Ｃのうち取得し得た他方（図６では左の瞳孔Ｃ）の位置から正中矢状面Ｈと直交する方向にその離間距離Ｋだけ離れた位置と推定することができる。

本実施の形態に係るＨＵＤ１では、制御部１０は、撮像画像Ｐにおける運転者Ｄの左右の目Ｅ（瞳孔Ｃ）の位置を検出し、検出された目Ｅの位置に基づいて視点位置を検出する。さらに、制御部１０は、撮像画像Ｐにおける運転者Ｄの顔Ｆの特徴点Ｔの位置（望ましくは複数の特徴点Ｔの位置）を検出し、左右の目Ｅのうち一方の目Ｅの位置の検出が困難な場合に、他方の目Ｅの位置及び検出された特徴点Ｔから算出される運転者Ｄの正中矢状面Ｈに基づいて、欠損した一方の目Ｅの位置を推定して視点位置を検出する。

したがって、左右の目Ｅのうち一方の目Ｅの位置の検出が外光Ｌ_３の影響により困難であっても、撮像により他方の目Ｅの位置及び特徴点Ｔの位置が得られればその一方の目Ｅの位置も推定が可能で、目Ｅの位置の検出に失敗する確率が低減し、外光Ｌ_３が入射しても目Ｅの位置を安定的に検出することが可能となる。

ここで、左右の目Ｅのうち欠損した一方の目Ｅの位置を、検出された他方の目Ｅの位置を正中矢状面Ｈに対して折り返した対称の位置と推定する場合には、制御部１０は、撮像ごと（１フレームの撮像画像Ｐごと）に得られる他方の目Ｅの位置及び正中矢状面Ｈから一方の目Ｅの位置を推定することができるから、あらかじめ何らかの情報を記憶しておく必要がない。

これに対し、左右の目Ｅのうち欠損した一方の目Ｅの位置を、検出された他方の目Ｅの位置から正中矢状面Ｈと直交する方向に両目の離間距離（瞳孔間距離）だけ離れた位置と推定する場合には、制御部１０は、運転者Ｄの左右の目Ｅの位置が正中矢状面Ｈに対して必ずしも対称でなくても、欠損した一方の目Ｅの位置を正確に推定することができる。

また、正中矢状面Ｈを左右の耳Ｙ、左右の鼻の穴Ｎ_４、左右の鼻の淵Ｎ_２、左右の口角Ｍ_２、左右の眉毛Ｂのいずれか１つ以上の特徴点Ｔを用いて算出する場合には、顔の左右にある同じ特徴点を使用して正中矢状面Ｈを正確に算出することができる。

正中矢状面Ｈを眉間Ｑ、鼻筋Ｎ_６、鼻尖Ｎ_７、人中Ｒ、顎の先端Ｆ_２のいずれか２つ以上の特徴点を用いて算出する場合には、カメラ９の撮像方向に対して顔が正面向きとならず、顔の左右にある特徴点の左右一方を取得することができなくても、正中矢状面Ｈを算出することができる。

正中矢状面Ｈを左右の耳Ｙの中心Ｙ_１、左右の鼻の穴Ｎ_４の中心Ｎ_５、左右の鼻の淵Ｎ_２の中心Ｎ_３、左右の口角Ｍ_２の中心Ｍ_３、左右の眉毛Ｂの中心Ｂ_１のいずれか１つ以上の特徴点及び眉間Ｑ、鼻筋Ｎ_６、鼻尖Ｎ_７、人中Ｒ、顎の先端Ｆ_２のいずれか１つ以上の特徴点を用いて算出する場合には、カメラ９の撮像方向に対して顔が正面向きとならず、顔の左右にある特徴点の左右一方を取得することができなくても、取得し得た左右他方の特徴点と顔の中心にある特徴点との組み合わせにより、正中矢状面Ｈを正確に算出することができる。

以上、本発明を実施するための形態について例示したが、本発明の実施形態は上述したものに限られず、発明の趣旨を逸脱しない範囲で適宜変更等してもよい。

例えば、上記実施の形態では、車両のフロントウインドシールドを反射透光部材として表示光を投影したが、フロントウインドシールドに代えてコンバイナを用いてもよい。

また、顔の中心軸線の算出方法は、上記の正中矢状面の算出方法に限定されるものではない。

１ヘッドアップディスプレイ装置（車両用表示装置）
２フロントウインドシールド（反射透光部材）
９カメラ
１０制御部（目検出手段、視点位置検出手段、特徴点検出手段、記憶手段）
Ｂ眉毛
Ｂ_１左右の眉毛の中心
Ｃ瞳孔
Ｄ運転者（利用者）
Ｅ目
Ｆ顔
Ｆ_２顎の先端
Ｈ正中矢状面（中心軸線）
Ｌ_１表示光
Ｌ_２赤外光
Ｍ口
Ｍ_２口角
Ｍ_３左右の口角の中心
Ｎ鼻
Ｎ_２鼻の淵
Ｎ_３左右の鼻の淵の中心
Ｎ_４鼻の穴
Ｎ_５左右の鼻の穴の中心
Ｎ_６鼻筋
Ｎ_７鼻尖
Ｐ撮像画像
Ｑ眉間
Ｒ人中
Ｔ特徴点
Ｖ虚像
Ｙ耳
Ｙ_１左右の耳の中心

Claims

車両に設けられた反射透光部材に表示光を投影し、前記反射透光部材を透過する実景に重ねて前記反射透光部材に反射された表示光により虚像を生成して表示するとともに、前記車両の利用者に赤外光を投影して前記利用者を撮像し、その撮像画像に基づいて前記利用者の視点位置を検出可能な車両用表示装置であって、
前記撮像画像における前記利用者の左右の目の位置を検出する目検出手段と、
前記目検出手段により検出された前記左右の目の位置に基づいて前記視点位置を検出する視点位置検出手段と、
前記撮像画像における前記利用者の特徴点の位置を検出する特徴点検出手段とを備え、
前記視点位置検出手段は、前記目検出手段による前記左右の目の一方の位置の検出が困難な場合に、前記左右の目の他方の位置及び前記特徴点検出手段により検出された前記特徴点から算出される前記利用者の顔の中心軸線に基づいて前記左右の目の一方の位置を推定し、前記視点位置を検出することを特徴とする車両用表示装置。
前記視点位置検出手段は、前記左右の目の他方の位置の前記中心軸線に対して対称となる位置を前記左右の目の一方の位置と推定することを特徴とする請求項１に記載の車両用表示装置。
前記左右の目の離間距離を記憶する記憶手段を備え、
前記視点位置検出手段は、前記左右の目の他方の位置から前記中心軸線に対して直交する直線上で前記記憶手段に記憶された前記離間距離だけ離れた位置を前記左右の目の一方の位置と推定することを特徴とする請求項１に記載の車両用表示装置。
前記中心軸線は、前記利用者の左右の耳、左右の鼻の穴、左右の鼻の淵、左右の口角、左右の眉毛のいずれか１つ以上の特徴点を用いて算出されることを特徴とする請求項１乃至請求項３のいずれか１項に記載の車両用表示装置。
前記中心軸線は、前記利用者の眉間、鼻筋、鼻尖、人中、顎の先端のいずれか２つ以上の特徴点を用いて算出されることを特徴とする請求項１乃至請求項３のいずれか１項に記載の車両用表示装置。
前記中心軸線は、前記利用者の左右の耳の中心、左右の鼻の穴の中心、左右の鼻の淵の中心、左右の口角の中心、左右の眉毛の中心のいずれか１つ以上の特徴点及び前記利用者の眉間、鼻筋、鼻尖、人中、顎の先端のいずれか１つ以上の特徴点を用いて算出されることを特徴とする請求項１乃至請求項３のいずれか１項に記載の車両用表示装置。