JP2019119281A - 投影制御装置、ヘッドアップディスプレイ装置、投影制御方法およびプログラム - Google Patents

Abstract

【課題】虚像に対する視認者の瞳孔位置の相対的な位置関係から視認者の姿勢として頭部位置を正確に検出すること。【解決手段】視認者の前方に虚像が視認されるように表示映像の投影を制御する投影制御部４５と、視認者を撮影可能なカメラ２０が撮影した撮影映像を取得する映像データ取得部４２と、虚像に対する視認者の瞳孔位置の相対的な位置関係に基づいて、視認者が虚像を視認する際の姿勢を検出する検出部４３と、を備え、投影制御部４５は、視認者に向けて投射する基準位置判定用映像の投影を制御し、検出部４３は、映像データ取得部４２が取得した、視認者に投射された基準位置判定用映像を撮影した撮影映像から、虚像に対する視認者の瞳孔位置の相対的な位置関係に基づいて、視認者が虚像を視認する際の姿勢を検出する。【選択図】図１

Description

本発明は、投影制御装置、ヘッドアップディスプレイ装置、投影制御方法およびプログラムに関する。

運転者の視線の前方に、例えば、経路案内情報または速度情報のような運転者に提供する情報を虚像として投影するヘッドアップディスプレイ装置が知られている。ヘッドアップディスプレイ装置は、視認者が虚像を正しく視認するために、虚像の表示位置に対して視認者が正しい姿勢をとる必要がある。

視線と指差し方向を移動させたい表示画面に一致させ、視線と指差し方向を所望の位置まで移動させることで、移動対象画面を移動させる技術が知られている（例えば、特許文献１参照）。コンバイナと赤外光照明装置と赤外光によって照明される運転者の顔を撮像するイメージセンサとを備え、運転者の視線や顔向きを検知する技術が知られている（例えば、特許文献２参照）。

特開２００７−０９９１９９号公報 特開２０１７−０２６６７５号公報

ヘッドアップディスプレイ装置において、虚像に対する視認者の瞳孔位置の相対的な位置関係から視認者の姿勢として頭部位置を正確に検出することが好ましい。

本発明は、上記に鑑みてなされたものであって、虚像に対する視認者の瞳孔位置の相対的な位置関係から視認者の頭部位置を正確に検出することを目的とする。

上述した課題を解決し、目的を達成するために、本発明に係る投影制御装置は、視認者の前方に虚像が視認されるように表示映像の投影を制御する投影制御部と、視認者を撮影可能な撮影部が撮影した撮影映像を取得する映像データ取得部と、前記虚像に対する前記視認者の瞳孔位置の相対的な位置関係に基づいて、前記視認者が前記虚像を視認する際の姿勢を検出する検出部と、を備え、前記投影制御部は、前記視認者に向けて投射する基準位置判定用映像の投影を制御し、前記検出部は、前記映像データ取得部が取得した、前記視認者に投射された前記基準位置判定用映像を撮影した撮影映像から、前記虚像に対する前記視認者の瞳孔位置の相対的な位置関係に基づいて、前記視認者が前記虚像を視認する際の姿勢を検出することを特徴とする。

本発明に係るヘッドアップディスプレイ装置は、上記の投影制御装置と、投影ユニットと前記撮影部との少なくともいずれかとを備えることを特徴とする。

本発明に係る投影制御方法は、視認者の前方に虚像が視認されるように表示映像の投影を制御する投影制御ステップと、視認者を撮影可能な撮影部が撮影した撮影映像を取得する映像データ取得ステップと、前記虚像に対する前記視認者の瞳孔位置の相対的な位置関係に基づいて、前記視認者が前記虚像を視認する際の姿勢を検出する検出ステップと、を含み、前記投影制御ステップは、前記視認者に向けて投射する基準位置判定用映像の投影を制御し、前記検出ステップは、前記映像データ取得ステップによって取得した、前記視認者に投射された前記基準位置判定用映像を撮影した撮影映像から、前記虚像に対する前記視認者の瞳孔位置の相対的な位置関係に基づいて、前記視認者が前記虚像を視認する際の姿勢を検出する。

本発明に係るプログラムは、視認者の前方に虚像が視認されるように表示映像の投影を制御する投影制御ステップと、視認者を撮影可能な撮影部が撮影した撮影映像を取得する映像データ取得ステップと、前記虚像に対する前記視認者の瞳孔位置の相対的な位置関係に基づいて、前記視認者が前記虚像を視認する際の姿勢を検出する検出ステップと、を含み、前記投影制御ステップは、前記視認者に向けて投射する基準位置判定用映像の投影を制御し、前記検出ステップは、前記映像データ取得ステップによって取得した、前記視認者に投射された前記基準位置判定用映像を撮影した撮影映像から、前記虚像に対する前記視認者の瞳孔位置の相対的な位置関係に基づいて、前記視認者が前記虚像を視認する際の姿勢を検出する、ことを投影制御装置として動作するコンピュータに実行させる。

本発明によれば、虚像に対する視認者の瞳孔位置の相対的な位置関係から視認者の頭部位置を正確に検出することができるという効果を奏する。

図１は、第一実施形態に係る車両用投影制御装置の構成例を示すブロック図である。 図２は、第一実施形態に係るヘッドアップディスプレイ装置の構成例の一例を示す概略図である。 図３は、第一実施形態に係る車両用投影制御装置によって表示される基準位置判定用映像の一例を示す図である。 図４は、第一実施形態に係る車両用投影制御装置によって表示される基準位置判定用映像の他の例を示す図である。 図５は、第一実施形態に係る車両用投影制御装置によって検出される運転者の瞳孔位置の一例を示す図である。 図６は、第一実施形態に係る車両用投影制御装置によって検出される運転者の瞳孔位置の他の例を示す図である。 図７は、第一実施形態に係る車両用投影制御装置によって生成される警告映像の一例を説明する図である。 図８は、第一実施形態に係る車両用投影制御装置によって生成される警告映像の他の例を説明する図である。 図９は、第一実施形態に係る車両用投影制御装置によって投影される映像を説明する図である。 図１０は、第一実施形態に係る車両用投影制御装置における処理の流れを示すフローチャートである。 図１１は、第二実施形態に係る車両用投影制御装置の構成例を示すブロック図である。 図１２は、第二実施形態に係る車両用投影制御装置によって検出される運転者の瞳孔位置の一例を示す図である。 図１３は、第二実施形態に係る車両用投影制御装置における処理の流れを示すフローチャートである。 図１４は、第三実施形態に係る車両用投影制御装置の構成例を示すブロック図である。 図１５は、第三実施形態に係る車両用投影制御装置における処理の流れを示すフローチャートである。

以下に添付図面を参照して、本発明に係る投影制御装置、ヘッドアップディスプレイ装置（以下、「ＨＵＤ装置」という。）、投影制御方法およびプログラムの実施形態を詳細に説明する。なお、以下の実施形態により本発明が限定されるものではない。以下の説明において、本発明を車両用として使用する場合について説明する。また、視認者が運転者であるものとして説明する。

［第一実施形態］
図１は、第一実施形態に係る車両用投影制御装置の構成例を示すブロック図である。図２は、第一実施形態に係るヘッドアップディスプレイ装置の構成例の一例を示す概略図である。ＨＵＤ装置１０は、通常使用時は、例えば、経路案内映像または速度情報映像を含む表示映像２００を投影して、表示映像２００の虚像を自車両の前方に視認させる。ＨＵＤ装置１０は、姿勢検出時は、基準位置判定用映像１００の映像表示光を運転者Ｍの顔面に投射することによって、運転者Ｍの瞳孔位置を検出して運転者Ｍの頭部位置（姿勢）を検出可能である。本実施形態では、運転者Ｍの姿勢とは、運転者Ｍの頭部位置または頭部の姿勢のことである。ＨＵＤ装置１０は、カメラ２０と、投影ユニット３０と、車両用投影制御装置４０とを有する。本実施形態では、カメラ２０と投影ユニット３０と車両用投影制御装置４０とは、一体として、車両のダッシュボードＤの下側に配置されている。

カメラ２０は、運転席に着座している運転者Ｍの顔面を撮影する。より詳しくは、カメラ２０は、運転者Ｍの顔面に向けて投射され、運転者Ｍの顔面に投影された基準位置判定用映像１００を撮影映像データとして撮影する。言い換えると、カメラ２０が撮影した撮影映像データは、運転者Ｍの顔面と基準位置判定用映像１００とが映されている。カメラ２０は、撮影した撮影映像データを車両用投影制御装置４０の映像データ取得部４２へ出力する。

投影ユニット３０は、表示映像２００または基準位置判定用映像１００を投影する。本実施形態では、投影ユニット３０は、表示部３１と、凹面鏡３２と、反射部とを有する。本実施形態では、反射部は、ウィンドシールドＳである。投影ユニット３０は、通常使用時は、表示映像２００の映像表示光を、ウィンドシールドＳにおいて反射させて運転者Ｍに虚像として視認させる。また、投影ユニット３０は、姿勢検出時は、基準位置判定用映像１００の映像表示光を、ウィンドシールドＳにおいて反射させて運転者Ｍの顔面に投射する。投影ユニット３０は、通常使用時と姿勢検出時とで、同一の光路を通過させて、同じ投影位置に投影させる。

表示部３１は、例えば、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）または有機ＥＬ（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ‐Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイなどを含むディスプレイである。表示部３１は、通常使用時は、車両用投影制御装置４０の投影制御部（出力制御部）４５からの映像信号に基づいて表示面に表示映像２００を表示する。表示部３１は、姿勢検出時は、車両用投影制御装置４０の投影制御部４５からの映像信号に基づいて表示面に基準位置判定用映像１００を表示する。表示部３１の表示面に表示された表示映像２００または基準位置判定用映像１００の映像表示光は、凹面鏡３２に入射する。

凹面鏡３２は、表示部３１の表示面とウィンドシールドＳと向かい合って配置されている。凹面鏡３２は、車両の進行方向前方に凸状に湾曲している。凹面鏡３２は、表示部３１の表示面から入射した映像表示光を、ウィンドシールドＳに向けて反射する。

ウィンドシールドＳは、運転席の進行方向前方に配置されている。ウィンドシールドＳは、車両の進行方向前方に凸状に湾曲している。ウィンドシールドＳは、通常使用時は、凹面鏡３２から入射した表示映像２００の映像表示光を反射させて運転者Ｍに虚像として認識させる。ウィンドシールドＳは、姿勢検出時は、凹面鏡３２から入射した基準位置判定用映像１００の映像表示光を反射させて運転者Ｍの顔面に基準位置判定用映像１００を投影する。

車両用投影制御装置４０は、投影ユニット３０による表示映像２００または基準位置判定用映像１００の投影を制御する。車両用投影制御装置４０は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などで構成された演算処理装置である。車両用投影制御装置４０は、図示しない記憶部に記憶されているプログラムをメモリにロードして、プログラムに含まれる命令を実行する。車両用投影制御装置４０は、基準位置判定用映像生成部４１と、映像データ取得部４２と、検出部４３と、警告映像生成部（警告情報生成部）４４と、投影制御部４５とを有する。車両用投影制御装置４０には図示しない内部メモリが含まれ、内部メモリは車両用投影制御装置４０におけるデータの一時記憶などに用いられる。

基準位置判定用映像生成部４１は、ＨＵＤ装置１０の投影ユニット３０によって投影される、基準位置判定用映像１００を生成する。

基準位置判定用映像１００は、運転者Ｍの姿勢を検出する際に、運転者Ｍの瞳孔位置の検出に使用する基準となる位置を示す目印の映像である。基準位置判定用映像１００は、通常使用時における表示映像２００の映像表示光の光路と同一の光路を通過して、表示映像２００の投影位置と同じ位置に投影される。基準位置判定用映像１００は、表示映像２００よりも高い輝度の映像である。より詳しくは、基準位置判定用映像１００は、映像表示光がウィンドシールドＳにおいて反射して運転者Ｍの顔面に投射する程度の輝度である。

基準位置判定用映像１００は、表示映像２００の虚像に対する運転者Ｍの瞳孔位置の相対的な位置関係を検出するために使用される映像である。より詳しくは、基準位置判定用映像１００は、表示映像２００の虚像に対して、運転者Ｍの瞳孔位置の上下方向の位置と左右方向と前後方向との位置の少なくともいずれかを検出するために使用される映像である。基準位置判定用映像１００は、上下方向の基準位置を示す第一基準位置判定用映像１０１と左右方向の基準位置を示す第二基準位置判定用映像１０２との少なくともいずれかを含む。基準位置判定用映像１００は、例えば、枠状または線状である。

図３、図４を参照して、基準位置判定用映像１００について説明する。図３は、第一実施形態に係る車両用投影制御装置によって表示される基準位置判定用映像の一例を示す図である。図４は、第一実施形態に係る車両用投影制御装置によって表示される基準位置判定用映像の他の例を示す図である。図３に示すように、基準位置判定用映像１００は、一対の第一基準位置判定用映像１０１と、一対の第二基準位置判定用映像１０２とで形成された矩形の枠状としてもよい。図４に示すように、基準位置判定用映像１００は、一対の第一基準位置判定用映像１０１と、１本の第二基準位置判定用映像１０２とで形成されたエの字形状としてもよい。

映像データ取得部４２は、カメラ２０が出力した撮影映像データを取得する。映像データ取得部４２は、取得した撮影映像データを検出部４３に出力する。

検出部４３は、撮影映像データに対して画像処理を行って、虚像に対する運転者Ｍの瞳孔位置の相対的な位置関係に基づいて、運転者Ｍが虚像を視認する際の頭部位置を運転者Ｍの姿勢として検出する。より詳しくは、検出部４３は、撮影映像データにおける運転者Ｍの瞳孔位置と基準位置判定用映像１００とに基づいて、表示映像２００の虚像に対する運転者Ｍの瞳孔位置を検出することによって運転者Ｍの頭部位置から姿勢を検出する。このようにして、検出部４３は、表示映像２００の虚像に対する運転者Ｍの姿勢を検出する。

図３ないし図６を参照して、表示映像２００の虚像に対する運転者Ｍの姿勢について説明する。図５は、第一実施形態に係る車両用投影制御装置によって検出される運転者の瞳孔位置の一例を示す図である。図６は、第一実施形態に係る車両用投影制御装置によって検出される運転者の瞳孔位置の他の例を示す図である。図３は、基準位置判定用映像１００に対して、運転者Ｍの瞳孔位置がズレを生じていない状態、言い換えると、運転者Ｍの頭部位置が所定位置である正しい姿勢（所定姿勢）をとっている状態である。図３に示すように、基準位置判定用映像１００が枠状である場合、検出部４３は、運転者Ｍの瞳孔が一対の第一基準位置判定用映像１０１の中間部から閾値範囲内に位置し、運転者Ｍの瞳孔が一対の第二基準位置判定用映像１０２の中間部から閾値範囲内に位置しているとき、運転者Ｍが所定姿勢であるとして検出する。また、検出部４３は、運転者Ｍの瞳孔が一対の第一基準位置判定用映像１０１の中間部から閾値範囲内に位置せず、または、運転者Ｍの瞳孔が一対の第二基準位置判定用映像１０２の中間部から閾値範囲内に位置していないとき、運転者Ｍが所定姿勢ではないとして検出する。

図４は、基準位置判定用映像１００に対して、運転者Ｍの瞳孔位置がズレを生じていない状態である。図４に示すように、基準位置判定用映像１００がエの字形状である場合、検出部４３は、運転者Ｍの瞳孔が一対の第一基準位置判定用映像１０１の中間部から閾値範囲内に位置し、運転者Ｍの瞳孔間の中間部から閾値範囲内に１本の第二基準位置判定用映像１０２が位置しているとき、運転者Ｍが所定姿勢であるとして検出する。また、検出部４３は、運転者Ｍの瞳孔が一対の第一基準位置判定用映像１０１の中間部から閾値範囲内に位置せず、または、運転者Ｍの瞳孔間の中間部から閾値範囲内に１本の第二基準位置判定用映像１０２が位置していないとき、運転者Ｍが所定姿勢ではないとして検出する。

このように、図３、図４に示す状態のとき、検出部４３は、基準位置判定用映像１００に対して、運転者Ｍが所定姿勢であるとして検出する。基準位置判定用映像１００と同じ位置に投影される表示映像２００の虚像に対しても、運転者Ｍが所定姿勢をとる。

図５は、基準位置判定用映像１００に対して、運転者Ｍが所定姿勢をとっていない状態である。検出部４３は、運転者Ｍの瞳孔が一対の第一基準位置判定用映像１０１の中間部から閾値範囲内に位置していないので、運転者Ｍは所定姿勢ではないとして検出する。基準位置判定用映像１００と同じ位置に投影される表示映像２００の虚像に対しても、運転者Ｍは所定姿勢となっていない。二点鎖線は、所定姿勢をとっている運転者Ｍの頭部位置および瞳孔位置を示す。

図６は、基準位置判定用映像１００に対して、運転者Ｍが所定姿勢をとっていない状態である。検出部４３は、運転者Ｍの瞳孔が基準位置判定用映像１００の中央部に重なって位置していないので、運転者Ｍが所定姿勢ではないとして検出する。基準位置判定用映像１００と同じ位置に投影される表示映像２００の虚像に対しても、運転者Ｍは所定姿勢となっていない。二点鎖線は、所定姿勢をとっている運転者Ｍの頭部位置および瞳孔位置を示す。

警告映像生成部４４は、検出部４３が検出した運転者Ｍの姿勢に基づいて、運転者Ｍが虚像を視認する際の姿勢が所定姿勢ではないとき、運転者Ｍに警告を報知する警告情報として警告映像３００を生成する。より詳しくは、警告映像生成部４４は、警告情報として、前方に虚像として視認されるように警告映像３００を生成する。

図７、図８を参照して、警告映像３００について説明する。図７は、第一実施形態に係る車両用投影制御装置によって生成される警告映像の一例を説明する図である。図８は、第一実施形態に係る車両用投影制御装置によって生成される警告映像の他の例を説明する図である。図７は、警告映像３００が、顔の位置がズレていることを報知する文字列を含む場合を示す。図８は、警告映像３００が、所定姿勢にするように指示する文字列と動かす方向を矢印で示す図形とを含む場合を示す。警告映像３００は、経路案内情報の表示映像２００の下部に重ね合わせて表示されている。

投影制御部４５は、通常使用時は、自車両の前方に、表示映像２００の虚像が視認されるように、表示映像２００の投影を制御する。投影制御部４５は、姿勢検出時は、基準位置判定用映像１００の映像表示光を運転者Ｍの顔面に投射するように、基準位置判定用映像１００の投影を制御する。投影制御部４５は、運転者Ｍが虚像を視認する際の姿勢が所定姿勢ではないとき、警告映像生成部４４が生成した警告映像３００が、前方に虚像として視認されるように投影を制御する。投影制御部４５は、表示映像２００と基準位置判定用映像１００と警告映像３００とを同じ光路で投影する。

図９に示すように、投影制御部４５は、例えば、１秒間のうち、１フレームは基準位置判定用映像１００を投影し、残りのフレームは表示映像２００を投影するように制御してもよい。図９は、第一実施形態に係る車両用投影制御装置によって投影される映像を説明する図である。１秒間のうちの１フレームのみ基準位置判定用映像１００を投影するので、運転者Ｍの顔面に基準位置判定用映像１００の映像表示光が投射されていることを運転者Ｍに意識させることなく、位置調整が可能である。本実施形態では、投影制御部４５は、１秒間のうちの１フレームのみ基準位置判定用映像１００を投影するものとする。

または、投影制御部４５は、例えば、運転開始時において運転者Ｍが位置調整の開始操作を実行すると姿勢検出時として、基準位置判定用映像１００を投影するようにしてもよい。また、投影制御部４５は、運転者Ｍによる操作がされない間は通常使用時として、表示映像２００を投影するよう制御する。

次に、図１０を用いて、車両用投影制御装置４０における処理の流れについて説明する。図１０は、第一実施形態に係る車両用投影制御装置における処理の流れを示すフローチャートである。本実施形態では、ＨＵＤ装置１０の起動中、車両用投影制御装置４０は、１秒間のうち１フレームにおいて基準位置判定用映像１００を投影して、１秒間のうち残りのフレームにおいて表示映像２００を投影するものとして説明する。

車両用投影制御装置４０は、基準位置判定用映像１００の投影タイミングであるか否かを判定する（ステップＳＴ１１）。より詳しくは、車両用投影制御装置４０は、１秒間におけるフレームをカウントして基準位置判定用映像１００を投影するタイミングであるか否かを判定する。車両用投影制御装置４０は、基準位置判定用映像１００を投影するタイミングである場合（ステップＳＴ１１でＹｅｓ）、ステップＳＴ１２に進む。車両用投影制御装置４０は、基準位置判定用映像１００を投影するタイミングではない場合（ステップＳＴ１１でＮｏ）、ステップＳＴ１１の処理を再度実行する。

基準位置判定用映像１００を投影するタイミングであると判定された場合（ステップＳＴ１１でＹｅｓ）、車両用投影制御装置４０は、基準位置判定用映像１００を投影する（ステップＳＴ１２）。より詳しくは、車両用投影制御装置４０は、投影制御部４５によって、基準位置判定用映像生成部４１が生成した基準位置判定用映像１００を投影する制御信号を出力する。車両用投影制御装置４０は、ステップＳＴ１３に進む。

車両用投影制御装置４０は、カメラ２０によって撮影する（ステップＳＴ１３）。より詳しくは、車両用投影制御装置４０は、カメラ２０によって、運転者Ｍの顔面に投影された基準位置判定用映像１００を撮影映像データとして撮影する。車両用投影制御装置４０は、ステップＳＴ１４に進む。

車両用投影制御装置４０は、撮影映像データを取得する（ステップＳＴ１４）。より詳しくは、車両用投影制御装置４０は、映像データ取得部４２によって、カメラ２０が撮影した撮影映像データを取得する。車両用投影制御装置４０は、ステップＳＴ１５に進む。

車両用投影制御装置４０は、瞳孔位置を検出する（ステップＳＴ１５）。より詳しくは、車両用投影制御装置４０は、検出部４３によって、撮影映像データに対して画像処理を行って、基準位置判定用映像１００と運転者Ｍの瞳孔との相対的な位置関係を検出する。車両用投影制御装置４０は、検出部４３によって、運転者Ｍの瞳孔位置のズレ量を検出する。車両用投影制御装置４０は、ステップＳＴ１６に進む。

車両用投影制御装置４０は、運転者Ｍの姿勢が所定姿勢であるか否かを判定する（ステップＳＴ１６）。より詳しくは、車両用投影制御装置４０は、検出部４３が検出した運転者Ｍの瞳孔位置の上下方向または左右方向のズレ量が閾値以上である場合、運転者Ｍの姿勢が所定姿勢ではないと判定して（ステップＳＴ１６でＹｅｓ）、ステップＳＴ１７に進む。車両用投影制御装置４０は、検出部４３が検出した運転者Ｍの瞳孔位置の上下方向または左右方向のズレ量が閾値以上ではない場合、運転者Ｍの姿勢が所定姿勢であると判定して（ステップＳＴ１６でＮｏ）、ステップＳＴ１９に進む。

運転者Ｍの姿勢が所定姿勢ではないと判定された場合（ステップＳＴ１６でＹｅｓ）、車両用投影制御装置４０は、警告映像生成部４４によって、警告映像３００を生成する（ステップＳＴ１７）。車両用投影制御装置４０は、ステップＳＴ１８に進む。

車両用投影制御装置４０は、警告映像３００を投影する（ステップＳＴ１８）。車両用投影制御装置４０は、投影制御部４５によって、警告映像生成部４４が取得した警告映像３００を表示映像２００とともに投影する制御信号を出力する。車両用投影制御装置４０は、ステップＳＴ１９に進む。

車両用投影制御装置４０は、終了トリガがあるか否かを判定する（ステップＳＴ１９）。終了トリガとは、例えば、ＨＵＤ装置１０の動作を終了するボタンが押下されたり、車両が停車してエンジンが停止された場合である。車両用投影制御装置４０は、終了トリガがある場合（ステップＳＴ１９でＹｅｓ）、処理を終了する。車両用投影制御装置４０は、終了トリガがない場合（ステップＳＴ１９でＮｏ）、ステップＳＴ１１の処理を再度実行する。

このようにして、車両用投影制御装置４０は、基準位置判定用映像１００の映像表示光を運転者Ｍの顔面に投射することによって、運転者Ｍの瞳孔位置から虚像に対する姿勢として頭部位置を検出する。そして、車両用投影制御装置４０は、運転者Ｍが適切な所定姿勢からずれているとき、警告映像３００を投影する。

上述したように、本実施形態は、基準位置判定用映像１００の映像表示光を運転者Ｍの顔面に投射することによって、基準位置判定用映像１００と運転者Ｍの瞳孔との相対的な位置関係を検出する。これにより、本実施形態は、虚像に対する運転者Ｍの姿勢として頭部位置を検出することができる。

本実施形態は、検出した虚像に対する運転者Ｍの姿勢が所定姿勢ではないとき、言い換えると、運転者Ｍの頭部位置が適切な位置からズレているとき、警告映像３００を運転者Ｍに対して虚像として視認させることができる。本実施形態によれば、運転者Ｍの姿勢が適切な所定姿勢からはずれていることを、運転者Ｍに認識させることができる。これにより、本実施形態によれば、瞳孔位置が大きくズレて、表示映像２００の虚像が正しく視認されないような状態となることを抑制することができる。本実施形態は、虚像を適切に運転者Ｍに視認させることが可能になる。

本実施形態は、１秒間のうちの１フレームのみ基準位置判定用映像１００を投影する。これにより、本実施形態は、運転者Ｍの顔面に基準位置判定用映像１００の映像表示光が投射されていることを運転者Ｍに意識させることなく、虚像に対する運転者Ｍの姿勢として頭部位置を検出することができる。

本実施形態は、通常使用時における表示映像２００の映像表示光の光路と同一の光路を通過して、表示映像２００の投影位置と同じ位置に投影される基準位置判定用映像１００の映像表示光を運転者Ｍの顔面に投射する。このように、本実施形態は、基準位置判定用映像１００の映像表示光を運転者Ｍの顔面に投射することにより、虚像に対する運転者Ｍの姿勢として頭部位置を直接的に検出することができる。

本実施形態では、カメラ２０と投影ユニット３０と車両用投影制御装置４０とは、一体として、車両のダッシュボードＤの下側に配置されている。本実施形態は、通常使用時に表示映像２００の虚像を投影する装置によって、虚像に対する運転者Ｍの姿勢として頭部位置を検出することができる。本実施形態は、表示映像２００の投影を行う装置以外の装置を車両のダッシュボードＤなどに取り付けなくてよいので、装置が大型化することを抑制することができる。

［第二実施形態］
図１１ないし図１３を参照しながら、本実施形態に係るＨＵＤ装置１０Ａについて説明する。図１１は、第二実施形態に係る車両用投影制御装置の構成例を示すブロック図である。図１２は、第二実施形態に係る車両用投影制御装置によって検出される運転者の瞳孔位置の一例を示す図である。図１３は、第二実施形態に係る車両用投影制御装置における処理の流れを示すフローチャートである。ＨＵＤ装置１０Ａは、基本的な構成は第一実施形態のＨＵＤ装置１０と同様である。以下の説明においては、ＨＵＤ装置１０と同様の構成要素には、同一の符号または対応する符号を付し、その詳細な説明は省略する。本実施形態では、ＨＵＤ装置１０Ａは、大きさ調整量取得部４６Ａを有する点と、検出部４３Ａと投影制御部４５Ａとにおける処理が第一実施形態と異なる。

検出部４３Ａは、撮影映像データにおける運転者Ｍの瞳孔位置と基準位置判定用映像１００とに基づいて、表示映像２００の虚像に対する運転者Ｍの瞳孔位置の前後方向のズレを検出する。より詳しくは、検出部４３Ａは、撮影映像データに対して画像処理を行って、基準位置判定用映像１００に含まれる線の太さが閾値範囲外の太さのとき、表示映像２００の虚像に対する運転者Ｍの瞳孔位置が前後方向にズレを有し、所定姿勢ではないと検出する。検出部４３Ａは、図１２に示すように、基準位置判定用映像１００に含まれる線の太さが閾値範囲以上のとき、表示映像２００の虚像に対する運転者Ｍの瞳孔位置が後方向にズレを有し、所定姿勢ではないと検出する。検出部４３Ａは、基準位置判定用映像１００に含まれる線の太さが閾値範囲以下のとき、表示映像２００の虚像に対する運転者Ｍの瞳孔位置が前方向にズレを有し、所定姿勢ではないと検出する。

大きさ調整量取得部４６Ａは、検出部４３Ａが検出した運転者Ｍの姿勢に基づいて、前方に投影する虚像の大きさの調整量を取得する。より詳しくは、大きさ調整量取得部４６Ａは、運転者Ｍの瞳孔位置が前方向にズレを有し、所定姿勢ではないとき、所定姿勢で視認する虚像と同じ大きさの虚像を視認させるため、虚像が大きく表示される調整量を取得する。大きさ調整量取得部４６Ａは、運転者Ｍの瞳孔位置が後方向にズレを有し、所定姿勢ではないとき、所定姿勢で視認する虚像と同じ大きさの虚像を視認させるため、虚像が小さく表示される調整量を取得する。

投影制御部４５Ａは、表示映像２００の虚像に対する運転者Ｍの瞳孔位置が前後方向にズレを有するとき、大きさ調整量取得部４６Ａが取得した調整量に基づいて、前方に投影する虚像の大きさを調整して投影する。

次に、図１３を用いて、車両用投影制御装置４０Ａにおける処理の流れについて説明する。図１３に示すフローチャートのステップＳＴ２１ないしステップＳＴ２５、ステップＳＴ２９の処理は、図１０に示すフローチャートのステップＳＴ１１ないしステップＳＴ１５、ステップＳＴ１９の処理と同様の処理を行う。

車両用投影制御装置４０Ａは、運転者Ｍの姿勢が所定姿勢であるか否かを判定する（ステップＳＴ２６）。より詳しくは、車両用投影制御装置４０Ａは、検出部４３Ａが検出した運転者Ｍの瞳孔位置の前後方向のズレ量が閾値以上である場合、運転者Ｍの姿勢が所定姿勢ではないと判定し（ステップＳＴ２６でＹｅｓ）、ステップＳＴ２７に進む。車両用投影制御装置４０Ａは、検出部４３Ａが検出した運転者Ｍの瞳孔位置の前後方向のズレ量が閾値以下である場合、運転者Ｍの姿勢が所定姿勢であると判定し（ステップＳＴ２６でＮｏ）、ステップＳＴ２９に進む。

車両用投影制御装置４０Ａは、大きさ調整量取得部４６Ａによって虚像位置の大きさの調整量を取得する（ステップＳＴ２７）。車両用投影制御装置４０Ａは、ステップＳＴ２８に進む。

車両用投影制御装置４０Ａは、虚像の大きさを調整する（ステップＳＴ２８）。より詳しくは、車両用投影制御装置４０Ａは、投影制御部４５Ａによって、大きさ調整量取得部４６Ａが取得した調整量に基づいて、前方に投影する虚像の大きさを調整して投影する。車両用投影制御装置４０Ａは、ステップＳＴ２９に進む。

上述したように、本実施形態は、姿勢検出時に、瞳孔位置の前後方向のズレが閾値以上である姿勢のとき、虚像の大きさを調整する。本実施形態によれば、瞳孔位置が前後方向に大きくズレて、表示映像２００の虚像が正しく視認されないような状態となることを抑制することができる。

［第三実施形態］
図１４、図１５を参照しながら、本実施形態に係るＨＵＤ装置１０Ｂについて説明する。図１４は、第三実施形態に係る車両用投影制御装置の構成例を示すブロック図である。図１５は、第三実施形態に係る車両用投影制御装置における処理の流れを示すフローチャートである。ＨＵＤ装置１０Ｂは、基本的な構成は第一実施形態のＨＵＤ装置１０と同様である。本実施形態では、ＨＵＤ装置１０Ｂは、眠気判定部４７Ｂと警告情報生成部４８Ｂと出力制御部４９Ｂとを有する点と、投影制御部４５Ｂとにおける処理が第一実施形態と異なる。

ＨＵＤ装置１０Ｂは、さらに、警告音を出力可能なスピーカ５０Ｂを有する。

眠気判定部４７Ｂは、検出部４３が検出した運転者Ｍの姿勢に基づいて、運転者Ｍが眠気を感じているか否かを判定する。より詳しくは、眠気判定部４７Ｂは、運転者Ｍの姿勢が所定姿勢ではなく、例えば、運転者Ｍの頭部位置が上下方向または左右方向または前後方向に往復運動をしている状態のとき、運転者Ｍが眠気を感じている可能性があるとして判定する。または、眠気判定部４７Ｂは、運転者Ｍの姿勢が所定姿勢ではなく、例えば、運転者Ｍの頭部位置が上下方向または左右方向または前後方向に繰り返し大きく変化する状態のとき、運転者Ｍが眠気を感じている可能性があるとして判定する。眠気判定部４７Ｂは、運転者Ｍの姿勢が所定姿勢ではない状態が所定時間継続している状態のとき、運転者Ｍが眠気を感じている可能性があるとして判定することが好ましい。

または、眠気判定部４７Ｂは、運転者Ｍが眼を閉じていて瞳孔を検出できない状態が所定時間継続している状態のとき、運転者Ｍが眠気を感じている可能性があるとして判定してもよい。

警告情報生成部４８Ｂは、検出部４３の検出結果に基づいて、運転者Ｍが眠気を感じている可能性があるとき、運転者Ｍに警告を報知する警告情報を生成する。

出力制御部４９Ｂは、眠気判定部４７Ｂによって運転者Ｍが眠気を感じている可能性があると判定された場合、警告情報生成部４８Ｂが生成した警告情報である警告音を出力するように制御する。

次に、図１５を用いて、車両用投影制御装置４０Ｂにおける処理の流れについて説明する。図１５に示すフローチャートのステップＳＴ３１ないしステップＳＴ３５、ステップＳＴ３９の処理は、図１０に示すフローチャートのステップＳＴ１１ないしステップＳＴ１５、ステップＳＴ１９の処理と同様の処理を行う。

車両用投影制御装置４０Ｂは、運転者Ｍが眠気を感じている可能性があるか否かを判定する（ステップＳＴ３６）。より詳しくは、車両用投影制御装置４０Ｂは、検出部４３が検出した運転者Ｍの瞳孔位置の変化パターンが、運転者Ｍが眠気を感じているときの特徴に当てはまる場合、運転者Ｍが眠気を感じている可能性があると判定し（ステップＳＴ３６でＹｅｓ）、ステップＳＴ３７に進む。より詳しくは、車両用投影制御装置４０Ｂは、検出部４３が検出した運転者Ｍの瞳孔位置の変化パターンが、運転者Ｍが眠気を感じているときの特徴に当てはまる場合、運転者Ｍが眠気を感じている可能性があると判定し（ステップＳＴ３６でＹｅｓ）、ステップＳＴ３７に進む。または、車両用投影制御装置４０Ｂは、検出部４３が運転者Ｍの瞳孔位置を検出できない状態が所定時間継続している場合、運転者Ｍが眠気を感じて目を閉じている可能性があると判定し（ステップＳＴ３６でＹｅｓ）、ステップＳＴ３７に進む。車両用投影制御装置４０Ｂは、検出部４３が検出した運転者Ｍの瞳孔位置の変化パターンが、運転者Ｍが眠気を感じているときの特徴に当てはまらない場合、運転者Ｍが眠気を感じている可能性がないと判定し（ステップＳＴ３６でＮｏ）、ステップＳＴ３９に進む。

運転者Ｍが眠気を感じていると判定された場合（ステップＳＴ３６でＹｅｓ）、車両用投影制御装置４０Ｂは、警告情報を生成する（ステップＳＴ３７）。車両用投影制御装置４０Ｂは、ステップＳＴ３８に進む。

車両用投影制御装置４０Ｂは、スピーカ５０Ｂから警告音を出力する（ステップＳＴ３８）。車両用投影制御装置４０Ｂは、出力制御部４９Ｂによって、スピーカ５０Ｂから警告音を出力する制御信号を出力する。車両用投影制御装置４０Ｂは、ステップＳＴ３９に進む。

上述したように、本実施形態は、検出部４３が検出した運転者Ｍの姿勢である頭部位置に基づいて、運転者Ｍが眠気を感じているか否かを判定することができる。または、本実施形態は、検出部４３が運転者Ｍの瞳孔位置を検出できない状態が所定時間継続していることによって、運転者Ｍが眠気を感じているか否かを判定することができる。このようにして、本実施形態によれば、運転者Ｍが眠気を感じている可能性を判定することによって、警告を発することができる。

さて、これまで本発明に係るＨＵＤ装置１０について説明したが、上述した実施形態以外にも種々の異なる形態にて実施されてよいものである。

図示したＨＵＤ装置１０の各構成要素は、機能概念的なものであり、必ずしも物理的に図示の如く構成されていなくてもよい。すなわち、各装置の具体的形態は、図示のものに限られず、各装置の処理負担や使用状況などに応じて、その全部または一部を任意の単位で機能的または物理的に分散または統合してもよい。

ＨＵＤ装置１０の構成は、例えば、ソフトウェアとして、メモリにロードされたプログラムなどによって実現される。上記実施形態では、これらのハードウェアまたはソフトウェアの連携によって実現される機能ブロックとして説明した。すなわち、これらの機能ブロックについては、ハードウェアのみ、ソフトウェアのみ、または、それらの組み合わせによって種々の形で実現できる。

上記した構成要素には、当業者が容易に想定できるもの、実質的に同一のものを含む。さらに、上記した構成は適宜組み合わせが可能である。また、本発明の要旨を逸脱しない範囲において構成の種々の省略、置換または変更が可能である。

投影ユニット３０は、ウィンドシールドＳを反射部とするものとして説明したが、反射部はこれに限定されない。例えば、コンバイナを反射部として使用するものでもよい。

基準位置判定用映像１００は、可視光を使用するものに限定されず、赤外光を使用してもよい。基準位置判定用映像１００に赤外光を使用した場合、カメラ２０は、赤外光を撮影可能な赤外カメラとする。基準位置判定用映像１００に赤外光を使用することにより、運転者Ｍの顔面に基準位置判定用映像１００の映像表示光が投射されていることを運転者Ｍに意識させることなく、運転者Ｍの瞳孔位置を検出することが可能である。

１０ ＨＵＤ装置
２０ カメラ
３０ 投影ユニット
３１ 表示部
３２ 凹面鏡
４０ 車両用投影制御装置（投影制御装置）
４１ 基準位置判定用映像生成部
４２ 映像データ取得部
４３ 検出部
４４ 警告映像生成部（警告情報生成部）
４５ 投影制御部（出力制御部）
１００ 基準位置判定用映像
１０１ 第一基準位置判定用映像
１０２ 第二基準位置判定用映像
２００ 表示映像
３００ 警告映像
Ｓ ウィンドシールド

Claims (9)

1. 視認者の前方に虚像が視認されるように表示映像の投影を制御する投影制御部と、
   視認者を撮影可能な撮影部が撮影した撮影映像を取得する映像データ取得部と、
   前記虚像に対する前記視認者の瞳孔位置の相対的な位置関係に基づいて、前記視認者が前記虚像を視認する際の姿勢を検出する検出部と、
   を備え、
   前記投影制御部は、前記視認者に向けて投射する基準位置判定用映像の投影を制御し、
   前記検出部は、前記映像データ取得部が取得した、前記視認者に投射された前記基準位置判定用映像を撮影した撮影映像から、前記虚像に対する前記視認者の瞳孔位置の相対的な位置関係に基づいて、前記視認者が前記虚像を視認する際の姿勢を検出する、
   ことを特徴とする投影制御装置。
2. 前記検出部が検出した前記視認者の姿勢に基づいて、前記視認者が前記虚像を視認する際の姿勢が所定姿勢ではないと、前記視認者に警告を報知する警告情報を生成する警告情報生成部と、
   前記警告情報生成部が生成した前記警告情報の出力を制御する出力制御部と、
   を備える請求項１に記載の投影制御装置。
3. 前記警告情報生成部は、前記警告情報として、警告映像を生成する警告映像生成部であり、
   前記出力制御部は、前記警告情報生成部が生成した前記警告情報が、前方に虚像として視認されるように警告映像の投影を制御する投影制御部である、
   請求項２に記載の投影制御装置。
4. 前記検出部が検出した前記視認者の姿勢に基づいて、前方に投影する虚像の大きさの調整量を取得する大きさ調整量取得部、
   を備え、
   前記投影制御部は、前記大きさ調整量取得部が取得した前記調整量に基づいて、前方に投影する虚像の大きさを調整して投影するよう制御する、
   請求項１から３のいずれか一項に記載の投影制御装置。
5. 前記検出部が検出した前記視認者の姿勢に基づいて、前記視認者が眠気を感じているか否かを判定する眠気判定部、
   を備える請求項１から４のいずれか一項に記載の投影制御装置。
6. 前記基準位置判定用映像は、上下方向の基準位置を示す第一基準位置判定用映像と左右方向の基準位置を示す第二基準位置判定用映像との少なくともいずれかを含む、
   請求項１から５のいずれか一項に記載の投影制御装置。
7. 請求項１から６のいずれか一項に記載の投影制御装置と、
   投影ユニットと前記撮影部との少なくともいずれかと、
   を備えることを特徴とするヘッドアップディスプレイ装置。
8. 視認者の前方に虚像が視認されるように表示映像の投影を制御する投影制御ステップと、
   視認者を撮影可能な撮影部が撮影した撮影映像を取得する映像データ取得ステップと、
   前記虚像に対する前記視認者の瞳孔位置の相対的な位置関係に基づいて、前記視認者が前記虚像を視認する際の姿勢を検出する検出ステップと、
   を含み、
   前記投影制御ステップは、前記視認者に向けて投射する基準位置判定用映像の投影を制御し、
   前記検出ステップは、前記映像データ取得ステップによって取得した、前記視認者に投射された前記基準位置判定用映像を撮影した撮影映像から、前記虚像に対する前記視認者の瞳孔位置の相対的な位置関係に基づいて、前記視認者が前記虚像を視認する際の姿勢を検出する、
   投影制御方法。
9. 視認者の前方に虚像が視認されるように表示映像の投影を制御する投影制御ステップと、
   視認者を撮影可能な撮影部が撮影した撮影映像を取得する映像データ取得ステップと、
   前記虚像に対する前記視認者の瞳孔位置の相対的な位置関係に基づいて、前記視認者が前記虚像を視認する際の姿勢を検出する検出ステップと、
   を含み、
   前記投影制御ステップは、前記視認者に向けて投射する基準位置判定用映像の投影を制御し、
   前記検出ステップは、前記映像データ取得ステップによって取得した、前記視認者に投射された前記基準位置判定用映像を撮影した撮影映像から、前記虚像に対する前記視認者の瞳孔位置の相対的な位置関係に基づいて、前記視認者が前記虚像を視認する際の姿勢を検出する、
   ことを投影制御装置として動作するコンピュータに実行させるためのプログラム。