JP2020006890A

JP2020006890A - 視点撮影装置、視点撮影方法および評価方法

Info

Publication number: JP2020006890A
Application number: JP2018131720A
Authority: JP
Inventors: 木村　豪; Takeshi Kimura; 豪木村
Original assignee: Alpine Electronics Inc
Current assignee: Alpine Electronics Inc
Priority date: 2018-07-11
Filing date: 2018-07-11
Publication date: 2020-01-16
Anticipated expiration: 2038-07-11
Also published as: JP7007062B2

Abstract

【課題】簡易な方法により走行中の運転者の視線方向の映像を得ることができる、視点撮影装置を提供する。【解決手段】視点撮影装置１０は、天井４００に取り付けられたハーフミラー１００と、撮像カメラ２００と、フロントガラス４１０に画像を投射するＨＵＤ３００とを含む。ハーフミラー１００は、フロントガラス４１０と運転席４２０との間に配置され、運転者の視線方向Ｓの映像の一部を撮像カメラ２００に向けて反射させる。これにより、走行中の運転者Ｕの視線方向Ｓの映像を撮像カメラ２００で撮像し、走行中の撮像データの評価を行うことができる。【選択図】図１

Description

本発明は、運転者の視点を撮影する装置に関し、特に、仮想現実（Augmented Reality:以下、ＡＲという）を投射するヘッドアップディスプレイ（Heads Up Display：以下、ＨＵＤという）を利用するときの運転者の視点撮影に関する。

昨今、運転者への種々の情報を提示する手段としてＨＵＤが利用されている。また、ＨＵＤを利用して、道路等の実景に存在する対象物（オブジェクト）に投射画像を重ね合わせるＡＲ表示も実用化されている。ＡＲ表示を実現するには、ＨＵＤ以外にも、オブジェクトをセンシングするオブジェクトセンシング技術や自車の姿勢角を正確に計算するソフトウェア技術等が必要である。

ＡＲ表示では、ＨＵＤによる投射画像を実景のオブジェクトに重ね合わせる必要があり、両者の位置関係がずれていると、運転者にとっては、投射されたＡＲ画像がオブジェクトからずれて見える場合がある。こうした不具合を解消するため、特許文献１は、ヘッドアップディスプレイ装置の調整方法を開示しており、運転者の目の位置に調整用鏡を配置し、被撮影物とヘッドアップディスプレイの表示画面を重畳させた画像をディスプレイに表示させ、ヘッドアップディスプレイ装置の調整を可能にしている。特許文献２は、測定された視点位置に基づいて真の視点位置を算出し、両者の差に基づき虚像を表示させる車両用表示装置を開示している。特許文献３は、虚像調整装置のズレを自動的に歪みのない状態に調整する方法を開示している。

特開２００９−２６２６６６号公報国際公開第２０１６／１５７７９９号特開２０１１−２０９４５７号公報

ＨＵＤによるＡＲ画像を実景に重畳させる場合、運転者の視点位置からＡＲ画像がどのように見えるか、すなわち運転者の視点位置とＡＲ画像との相対的な位置関係を事前に調整する必要がある。図８は、従来の調整方法を説明する図である。車両１にＨＵＤ２が搭載され、ＨＵＤ２により実景のオブジェクトＯＢに関連したＡＲ画像３がフロントガラス４またはスクリーン上に投射され、運転者Ｕは、その視線方向ＳにＡＲ画像３の虚像３Ａを見る。また、運転者Ｕの視線位置近傍に撮像カメラ５が取り付けられ、撮像カメラ６により撮像された撮像データを評価することで、運転者の視点位置とＡＲ画像の相対的な位置関係を評価し、その評価結果に基づきＨＵＤ３の調整を行っている。図８（Ｂ）は、オブジェクト３に関連する虚像４Ａが適切に表示されている状態を示している。

しかしながら、図８に示すような従来の調整方法は、運転者Ｕの視線位置近傍に撮像カメラ６を取り付けなければならず、その作業は、非常に煩雑である。それ故、ときには、運転者Ｕが運転席に着座することができず、車両１を停車させた状態での運転者の視線方向の映像を撮像しなければならず、実際に走行中の運転者の視線方向の映像を得ることができないという課題があった。

本発明は、このような従来の課題を解決するものであり、簡易な方法により走行中の運転者の視線方向の映像を得ることができる、視点撮影装置、視点撮影方法および評価方法を提供することを目的とする。

本発明に係る運転者の視点撮影装置は、フロントガラスと運転席との間に配置され、フロントガラスから入射される光の一部を透過し、かつ一部を反射するミラーと、前記ミラーによって反射された光を入射することで運転者の視線方向の映像を撮像する撮像装置とを有する。

ある実施態様では、視点撮影装置はさらに、フロントガラスまたはコンバイナに画像を投射する投射手段を含む。ある実施態様では、前記撮像装置は、車両の天井に取り付けられ、前記撮像装置の光軸は、フロントガラスから入射された光が前記ミラーによって反射されたときの反射角の方向に概ね一致する。ある実施態様では、視点撮影装置はさらに、前記撮像装置によって撮像された映像を出力する出力手段を含む。ある実施態様では、前記出力手段は、前記撮像装置によって撮像された映像を記憶する記憶手段を含む。ある実施態様では、前記ミラーは、車両の天井に取り付けられる。ある実施態様では、視点撮影装置はさらに、前記ミラーの位置または角度を調整する調整手段を含む。ある実施態様では、視点撮影装置はさらに、前記ミラーの振動を防止する振動防止手段を含む。ある実施態様では、視点撮影装置はさらに、前記撮像装置の位置または向きを調整する調整手段を含む。ある実施態様では、視点撮影装置はさらに、前記撮像装置の振動を防止する振動防止手段を含む。

本発明に係る運転者の視点を撮影する視点撮影方法は、投射装置により、車両の走行中に、フロントガラスまたはコンバイナに画像を投射させ、フロントガラスと運転席との間に配置されたミラーにより、フロントガラスから入射された光の一部を透過させ、その透過光を運転者の視点に入射させ、かつ当該入射された光の一部を反射させ、その反射光を撮像装置に入射させ、撮像装置により、走行中の運転者の視線方向の映像を撮像させる。

本発明に係る評価方法は、上記構成の視点撮影方法によって撮像された撮像データを用いて、運転者の視線方向の映像を評価する。ある実施態様では、前記撮像データに基づき、フロントガラスまたはコンバイナに投射された画像と運転者の視線方向のオブジェクトとの位置関係を評価することを含む。

本発明によれば、フロントガラスと運転席との間にミラーを配置し、ミラーによって反射された光を入射することで運転者の視線方向の映像を撮像するようにしたので、走行中の運転者の視線方向の映像を容易に取得することができる。

本発明の実施例に係る視点撮影装置の全体配置を説明する図である。運転者の上面図を模式的に示す図である。本発明の実施例に係るハーフミラーの取り付け例を説明する図である。本発明の実施例に係る撮像カメラの電気的構成を示すブロック図である。ＨＵＤの構成例を示すブロック図である。本発明の実施例に係る視点撮影装置の動作を説明する図である。本実施例に係る評価装置の一例を説明する図である。従来のＨＵＤの評価ないし調整方法を説明する図である。

次に、本発明の実施の形態について図面を参照して詳細に説明する。本実施例に係る視点撮影装置は、フロントガラスと運転席との間に配置され、運転者の視線方向の映像を反射するハーフミラーと、ハーフミラーによって反射された光により運転者の視線方向の映像を撮像する撮像装置とを含む。１つの態様では、撮像装置およびハーフミラーは、車両の天井に取り付けられる。また、１つの態様では、撮像装置およびハーフミラーは、調整機構によってその取り付け位置および／または取り付け角度の調整が可能である。

また、車両には、ＨＵＤが搭載される。ＨＵＤは、車両のフロントガラスまたはフロントガラス近傍のコンバイナにＡＲ画像や、その他必要な画像を投射する。ＡＲ画像を投射する場合には、運転者は、その視線方向にＡＲ画像の虚像を実空間のオブジェクトに重畳させて視認する。本実施例の視点撮影装置は、運転者にとって視認されるＡＲ画像とオブジェクトとの重畳された映像を撮像する。１つの態様では、撮像された映像は、評価装置において評価され、この評価結果に基づきＨＵＤの位置調整、あるいはＡＲ画像とオブジェクトとの相対的な位置調整等が行われる。

次に、本発明の実施例について説明する。図１は、本発明の実施例に係る視点撮影装置の概略構成を示す図である。本実施例に係る視点撮影装置１０は、走行中の運転者の視線方向の映像を撮像可能な装置であり、ハーフミラー１００、撮像カメラ２００、およびＨＵＤ３００を含んで構成される。

ハーフミラー１００は、車両のフロントガラス４１０と運転席４２０との間に配置され、フロントガラス４１０から入射された光の一部を入射し、一部を反射する。言い換えれば、運転席４２０に着座された運転者Ｕの視点の前方側、すなわち視線方向に配される。ハーフミラー１００は、例えば、透明な板ガラスあるいはアクリルなどの有機ガラス上に１つまたは複数の反射膜を形成して構成される。以下の説明では、便宜上、ハーフミラーと称するが、ハーフミラー１００の反射率と透過率との関係は、必ずしも等しい必要はなく、透過率＞反射率でもよいし、反対に反射率＞透過率でもよい。また、ハーフミラー１００の形状は任意であり、ここでは、矩形状に構成される。

ここで、運転者の視点とは、運転者の両眼のほぼ中心を表し、その視線方向とは、その視点から車両の前方に向かう方向である。図２に、運転者の上面図を模式的に示す。同図において、点Ｑ１、Ｑ２は、運転者Ｕの左右の眼の位置であり、点Ｑは、両眼の中心点、すなわち、運転者Ｕの視点である。運転者Ｕの視線方向Ｓは、視点Ｑから車両の前方に向かうが、この視線方向Ｓは、運転席４２０に着座したときの運転者Ｕがオブジェクトを視認する方向として予め規定される。視線方向Ｓは、例えば、運転者Ｕが運転席４２０に着座したときに自車前方の距離１０ｍを見る方向である。

図３に、ハーフミラー１００の取り付け例を示し、図３（Ａ）は、ハーフミラーの正面図、図３（Ｂ）は、ハーフミラーの動作を説明する図である。ハーフミラー１００は、概略矩形状を有し、一対の棒状の支持部１１０、１２０によって車両の天井４００に固定される。支持部１１０、１２０の一方の端部１１２、１２２は、例えば、ヒンジ等の部材によってハーフミラー１００の両側部に回転可能に取り付けられ、他方の端部１１４、１２４は、天井４００に固定される。ハーフミラー１００は、図３（Ｂ）に示すにように、支持部１１０、１２０の端部１１２、１２２を介して回転可能であり、ハーフミラー１００の回転角θは、運転者Ｕの視線方向Ｓに応じて適宜設定される。

１つの実施態様では、車両の走行中の振動がハーフミラー１００に伝達されるのを防止するため、支持部１１０、１２０の一方の端部１１２、１２２とハーフミラー１００との間に、振動や衝撃等を吸収する吸収部材や吸収シートが介在されるようにしてもよい。吸収部材または吸収シートは、例えば、ゴムや樹脂等の弾性部材から構成される。同様に、支持部１１０、１２０の他方の端部１１４、１２４と天井４００との間に、振動や衝撃等を吸収するゴム等の吸収部材や吸収シートが介在されるようにしてもよい。

また、ハーフミラー１００は、図３（Ｂ）に示すように、天井４００とほぼ平行なＸＹ平面において、その位置を可変できるようにしてもよい。支持部１１０、１２０の他方の端部１１４、１２４は、例えば、天井４００に設置されたレール４３０などを介してＸ方向またはＹ方向に摺動できるようにし、これにより、ハーフミラー１００の位置を調整するようにしてもよい。

次に、撮像カメラ２００について説明する。撮像カメラ２００は、例えば、天井４００に取り付けられ、ハーフミラー１００によって反射された光を入射し、運転者Ｕの視線方向の映像を撮像する。具体的には、撮像カメラ２００の光軸Ｃ１と運転者Ｕの視線方向Ｓとが交差する位置にハーフミラー１００が配置され、フロントガラス４１０から入射した光の一部がハーフミラー１００によって反射されて撮像カメラ２００へ向けられ、一部がハーフミラー１００を透過して運転者Ｕの視点へ向けられる。

図４は、本実施例の撮像カメラ２００の電気的な構成を示すブロック図である。撮像カメラ２００は、ハーフミラー１００によって映された映像を撮像する撮像素子（ＣＭＯＳセンサやＣＣＤ等）を含む撮像部２１０と、撮像部２１０によって撮像された撮像データを記憶する記憶部２２０と、記憶部２２０に記憶された画像データを外部に出力する出力部２３０と、内部バス２４０を介して各部と接続される制御部２５０とを含んで構成される。

撮像部２１０は、例えば、図３（Ａ）に示すように、ハーフミラー１００上に映された映像の一定の撮像範囲Ｋを撮像するための光学レンズ２６０を含むことができる。撮像範囲２６０の大きさは任意であるが、例えば、図２に示すように、運転者Ｕの視線方向Ｓの視野範囲Ｓ１、Ｓ２の大きさに合致するように撮像範囲２６０が設定される。

制御部２５０は、走行中に撮像部２１０によって撮像された撮像データを記憶部２２０に書込む。記憶部２２０は、例えば、フラッシュメモリのような不揮発性メモリを含み、そこに撮像部２１０によって撮像された撮像データを格納する。また、１つの実施態様では、記憶部２２０は、撮像カメラ２００から取り外し可能な記憶メディア（ＵＳＢメモリ、メモリカード等）を含むことができる。記憶メディアに撮像データを格納した後、記憶メディアを外部の評価装置へ取り付けることで、評価装置において撮像データの評価を行うことができる。

出力部２３０は、記憶部２２０に格納された撮像データを、無線通信などを利用して外部に出力する機能を備えている。出力部２３０は、例えば、無線ＬＡＮ、ＷｉＦｉ（登録商標）、近距離無線通信等により、外部の評価装置に撮像データを伝送するようにしてもよい。

１つの実施態様では、車両の走行中の振動が撮像カメラ２００に伝達されるのを防止するため、撮像カメラ２００のハウジングと天井４００との間に、振動や衝撃等を吸収する吸収部材または吸収シート２７０を介在するようにしてもよい。さらに１つの態様では、撮像カメラ２００の取り付け位置や取り付け角度を調整するための調整機構を設けるようにしてもよい。調整機構は、例えば、撮像カメラ２００を天井４００に固定するためのネジ機構を用いたり、あるいは天井４００に設けられたレールに沿って撮像カメラ２００を移動する移動機構を用いることができる。調整機構により、撮像カメラ２００の光軸Ｃ１や撮像範囲Ｋの調整を行うことができる。

ＨＵＤ３００は、図１に示すように、自車のフロントガラス４１０またはスクリーン上に画像３１０を投射し、運転者Ｕは、視線方向Ｓに投射画像３１０の虚像３１０Ａを見ることができる。図５に、ＨＵＤの構成例を示す。ＨＵＤ３００は、光源３２０、光源３２２の光により光変調部３２４を照明する照明光学系３２２、画像データに従い照明光学系３２２の光を変調する光変調部３２４、光変調部３２４によって変調された光をフロントガラス４１０またはスクリーン上に投射する投射光学系３２６を含む。また、ＨＵＤ３００は、投射光学系３２６の投射角度（光軸）や焦点距離などを調整するためのアクチュエータ３２８を含むことができる。

光変調部３２４は、例えば、液晶デバイス、あるいは複数の可変ミラーが２次元的に配置されたディジタルミラーデバイス（ＤＭＤ）などから構成される。光変調部３２４は、ナビゲーション装置等の車載装置から提供される画像データを光学的に変調し、投射画像３１０を生成する。本例では、車両の走行中に実景のオブジェクトに重畳されるべきＡＲ画像を光学的に変調し、ＡＲ画像をフロントガラス４１０またはスクリーン上に投射する。投射光学系３２６は、例えば、凹面ミラー等の光学部材を含み、アクチュエータ３２８は、例えば、凹面ミラーの光軸または投射角を調整する。凹面ミラーの投射角を調整することで、運転者Ｕが見る虚像の位置を調整することができる。

次に、本実施例の視点撮影装置の動作について説明する。まず、自車の走行中、ＨＵＤ３００は、実景のオブジェクトに関連したＡＲ画像３１０をフロントガラス４１０またはスクリーン上に投射し、運転者Ｕは、視線方向において、投射されたＡＲ画像３１０の虚像３１０Ａを見る。他方、撮像カメラ２００は、運転者Ｕの視線方向に映し出される画像を撮像し、これを記録する。

この様子を図６を参照して説明する。フロントガラス４１０から入射される入射光Ｌ_ｉｎは、運転者Ｕの視線方向Ｓの映像である。入射光Ｌ_ｉｎは、その一部がハーフミラー１００を透過し、その透過光Ｌ_Ｔが運転者Ｕの視点Ｑに入射される。また、入射光Ｌ_ｉｎは、その一部がハーフミラー１００で反射し、その反射光Ｌ_Ｒが撮像カメラ２００に入射される。入射角θ_ｉｎは、反射角θ_Ｒと等しい関係にあるため、好ましくは、撮像カメラ２００の光軸Ｃ１とハーフミラー１００の成す角が反射角θ_rに一致または近似するように、ハーフミラー１００および／または撮像撮像カメラ２００の位置が調整される。こうして、撮像カメラ２００は、運転者Ｕが視線方向で見ている映像を撮像する。

次に、撮像カメラによって撮像された撮像データの評価例について説明する。図７は、本実施例に係る評価装置の一例を示す図である。評価装置５００は、撮像カメラ２００によって撮像された撮像データを受け取るインターフェース（Ｉ／Ｆ）５１０と、撮像データを格納する記憶部５２０と、表示部５３０と、制御部５４０を含む。Ｉ／Ｆ５１０は、撮像カメラ２００から取り外された記憶メディアを接続するものであってもよいし、出力部２３０から転送された撮像データを受信するものであってもよい。

制御部５４０は、撮像カメラ２００によって撮像された走行中の運転者Ｕの視線方向の映像を評価し、ＡＲ画像が実景のオブジェクトに対して適切な位置関係にあるか否かを評価し、その評価した結果を表示部５３０に表示させる。例えば、ＡＲ画像とオブジェクトとの距離が一定距離以上離れている場合には、その旨を表示する。評価者は、表示部５３０に表示された評価結果を参照し、ＡＲ画像の投射位置、あるいはＨＵＤ３００の光学的な調整を行うことができる。

このように本実施例によれば、運転者Ｕの視線方向にハーフミラーを配置し、ハーフミラーによって反射された光を撮像カメラ２００により撮像するようにしたので、走行中の運転者の視線方向の映像を容易に取得することができる。

上記実施例では、ハーフミラー１００を天井に取り付ける例を示したが、これは一例であり、運転者の視線方向にハーフミラーを配置させることが可能であれば、どのような形態であってもよい。例えば、運転者Ｕが装着する帽子などにハーフミラーを取り付けるようにしてもよいし、車両に搭載されているサンバイザーなどを利用してハーフミラーを取り付けるようにしてもよい。

上記実施例では、撮像カメラ２００を天井に取り付ける例を示したが、これは一例であり、例えば、ハーフミラー１００と撮像カメラ２００との間にミラー等を介在させることで、撮像カメラ２００を天井以外の場所に設置するようにしてもよい。

上記実施例では、ＨＵＤ３００によりＡＲ画像を投射しているときの運転者Ｕの視線方向の映像を撮像する例を示したが、これは一例であり、ＨＵＤ３００による投射は必須ではない。例えば、走行中の運転者の視点位置を評価するために運転者の視線方向の映像を撮像するようにしてよい。

上記実施例では、走行中の運転者の視線方向の映像を撮像カメラ２００により撮像し、その後に、撮像データを評価装置５００へ提供する例を示したが、これは一例であり、走行中の運転者の視線方向の映像をリアルタイムで評価装置５００へ伝送するようにしてもよい。

以上、本発明の好ましい実施の形態について詳述したが、本発明は、特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

１０：視点撮影装置１００：ハーフミラー
１１０、１２０：支持部１１２、１１４、１２２、１２４：端部
２００：撮像カメラ２６０：光学レンズ
２７０：吸収部材３００：ＨＵＤ
３１０：投射画像３１０Ａ：虚像
４００：天井４１０：フロントガラス
４２０：運転席４３０：レール
Ｑ：視点
Ｓ：視線方向

Claims

運転者の視点撮影装置であって、
フロントガラスと運転席との間に配置され、フロントガラスから入射される光の一部を透過し、かつ一部を反射するミラーと、
前記ミラーによって反射された光を入射することで運転者の視線方向の映像を撮像する撮像装置と、
を有する視点撮影装置。
視点撮影装置はさらに、フロントガラスまたはコンバイナに画像を投射する投射手段を含む、請求項１に記載の視点撮影装置。
前記撮像装置は、車両の天井に取り付けられ、前記撮像装置の光軸は、フロントガラスから入射された光が前記ミラーによって反射されたときの反射角の方向に概ね一致する、請求項１に記載の視点撮影装置。
視点撮影装置はさらに、前記撮像装置によって撮像された映像を出力する出力手段を含む、請求項１に記載の視点撮影装置。
前記出力手段は、前記撮像装置によって撮像された映像を記憶する記憶手段を含む、請求項４に記載の視点撮影装置。
前記ミラーは、車両の天井に取り付けられる、請求項１に記載の視点撮影装置。
視点撮影装置はさらに、前記ミラーの位置または角度を調整する調整手段を含む、請求項６に記載の視点撮影装置。
視点撮影装置はさらに、前記ミラーの振動を防止する振動防止手段を含む、請求項６または７に記載の視点撮影装置。
視点撮影装置はさらに、前記撮像装置の位置または向きを調整する調整手段を含む、請求項１に記載の視点撮影装置。
視点撮影装置はさらに、前記撮像装置の振動を防止する振動防止手段を含む、請求項１に記載の視点撮影装置。
運転者の視点を撮影する視点撮影方法であって、
投射装置により、車両の走行中に、フロントガラスまたはコンバイナに画像を投射させ、
フロントガラスと運転席との間に配置されたミラーにより、フロントガラスから入射された光の一部を透過させ、その透過光を運転者の視点に入射させ、かつ当該入射された光の一部を反射させ、その反射光を撮像装置に入射させ、
撮像装置により、走行中の運転者の視線方向の映像を撮像させる、視点撮影方法。
請求項１１に記載の視点撮影方法によって撮像された撮像データを用いて、運転者の視線方向の映像を評価する、評価方法。
前記撮像データに基づき、フロントガラスまたはコンバイナに投射された画像と運転者の視線方向のオブジェクトとの位置関係を評価することを含む、請求項１２に記載の評価方法。