JP2021091357A - 表示システム、および表示処理方法 - Google Patents

Abstract

【課題】距離センサーにより得られた対象物までの距離データから対象物を検出し、検出した対象物に応じた虚像を３次元表示する場合に、検出から表示までの一連の処理を高速に行って、処理の遅延を低減する。【解決手段】表示システム１０００は、距離センサー１０と、距離センサー１０から取得した距離データを処理して、複数の距離区分ごとの表示対象物を認識する認識処理を実行する認識処理部２２と、認識処理部２２が認識した距離区分ごとの表示対象物に対応する画像データを出力する出力処理を実行する表示処理部２３と、表示処理部２３から取得した、複数の距離区分に対応する画像データを虚像として表示する３次元表示装置３０と、を備え、認識処理部２２の認識処理から表示処理部２３の画像データの出力処理までの一連の処理を、表示する距離区分ごとに行う。【選択図】図６

Description

本発明は、表示システム、および表示処理方法に関する。

従来のヘッドアップディスプレイ（以下、ＨＵＤともいう）は、虚像を運転者からある一定の距離だけ離れた位置に生成するのが一般的であり、ＨＵＤによる表示内容は、車速、カーナビゲーション情報等に限られていた。そもそもＨＵＤを車両に搭載する目的は、運転者の視線移動を最小限に抑えることで、より安全な運転を支援するものである。安全運転支援という意味においては、車速等の表示内容だけではなく、例えば前方の車両、歩行者、障害物等をカメラやセンサーで検知し、ＨＵＤを通じて運転者に事前に危険を察知させて事故を未然に防ぐようなシステムの方がより好ましい。こういったシステムを実現するには、例えば車、人、障害物等の危険を察知させる対象となるシースルー像に対して虚像としての危険信号を重畳させて表示させることが考えられる。

このような虚像を表示させる際に、危険を察知させる対象となる物との距離は一定ではない。例えば５０ｍ先の危険に対して２ｍ先に見える虚像に危険信号を表示して重畳させると焦点位置の違いが生じるため、人間の目には、違和感が生じるという課題がある。このような課題を解決する手法としては、実物に対して虚像を奥行き方向も含めて重畳させることが考えられる。

このように、虚像に奥行きを持たせる手法として、特許文献１に開示された方法がある。この特許文献１に開示された画像表示装置では、拡散スクリーンを光軸方向に往復運動させることにより、虚像距離を短時間で変化させることで、あたかも、複数の虚像距離の虚像を同時に投影するようにみえる、いわゆる３次元表示を行うＨＵＤが開示されている。

また、この特許文献１に開示された画像表示装置では、車載の各種センサー（ステレオカメラ、ＬｉＤＡＲ等）から絶えず得られる物体情報に基づいて、運転者に対応注意を喚起するための、虚像表示像である矩形の表示枠を、対向車等の対象物の位置に応じた距離、またはその近傍の距離で投影し、表示させている。

国際公開第２０１８／０７９７９４号

特許文献１のような車載のセンサーから得られた距離データにより、時々刻々と急激に変化する対象物の位置を高速に認識して、運転者への注意喚起等の情報提示を行うことが望まれる。しかしながら、車載のセンサーからデータの入力、その入力したデータの解析、認識、および虚像用の画像データの出力までの一連の処理には、時間がかかるとともに、各処理間のデータの受け渡しによる遅延が発生する。

本発明は、上記事情に鑑みてなされたものであり、距離センサーにより得られた対象物までの距離データから対象物を検出し、検出した対象物に応じた虚像を３次元表示する場合に、検出から表示までの一連の処理を高速に行って、処理の遅延を低減することができる表示システム、および表示処理方法を提供することを目的とする。

本発明の上記目的は、下記の手段によって達成される。

（１）車両用の表示システムであって、
距離センサーと、
前記距離センサーから取得した距離データを処理して、複数の距離区分ごとの表示対象物を認識する認識処理を実行する認識処理部と、
前記認識処理部が認識した前記距離区分ごとの前記表示対象物に対応する画像データを出力する出力処理を実行する表示処理部と、
前記表示処理部から取得した、複数の前記距離区分に対応する画像データを虚像として表示する３次元表示装置と、
を備え、
前記認識処理部の認識処理から前記表示処理部の画像データの出力処理までの一連の処理を、表示する距離区分ごとに行う、表示システム。

（２）前記距離センサーは、複数の距離区分に渡る距離データを出力し、
前記認識処理部、および前記表示処理部は、前記認識処理から前記出力処理までの一連の処理を、表示する距離区分ごとに、並列に行う、上記（１）に記載の表示システム。

（３）前記距離センサーは、複数の照射方向に向けて送信波を同時に照射する照射部と、前記照射方向の対象物からの前記送信波の反射波に応じた受信信号を出力する受信部と、を備え、前記送信波を送信してから反射波を受信するまでの時間間隔により距離を測定するＴｏＦ方式の距離センサーであり、
前記距離センサーは、全照射方向からの反射波の受信を待たずに、前記距離区分に対応する反射波が到達するに応じて、前記距離データを出力し、
前記認識処理部、および前記表示処理部は、前記認識処理から前記出力処理までの一連の処理を、表示する距離区分ごとに、順次、並列処理を開始して行う、上記（１）に記載の表示システム。

（４）複数の前記距離区分は、隣接する距離区分において、一部の距離が重複する、上記（１）から上記（３）のいずれかに記載の表示システム。

（５）距離センサーと、複数の距離区分に対応する画像データを虚像として表示する３次元表示装置と、を備える、車両用の表示システムの表示処理方法であって、
前記距離センサーから取得した距離データを処理して、複数の距離区分ごとの表示対象物を認識するステップ（ａ）と、
前記ステップ（ａ）で認識した前記距離区分ごとの前記表示対象物に対応する画像データを出力するステップ（ｂ）と、
前記ステップ（ｂ）で取得した、複数の前記距離区分に対応する画像データを虚像として３次元表示装置に表示するステップ（ｃ）と、
を含む、表示処理方法。

本発明に係る表示システムは、距離センサーと、前記距離センサーから取得した距離データを処理して、複数の距離区分ごとの表示対象を認識する認識処理を実行する認識処理部と、前記認識処理部が認識した前記距離区分ごとの前記表示対象に対応する画像データを出力する出力処理を実行する表示処理部と、前記表示処理部から取得した、複数の前記距離区分に対応する画像データを虚像として表示する３次元表示装置と、を備え、前記認識処理部の認識処理から前記表示処理部の画像データの出力処理までの一連の処理を、表示する距離区分ごとに行う。このようにすることで、検出から表示までの一連の処理を高速に行って、処理の遅延を低減することができる。

第１の実施形態に係る表示システムの全体構成を示すブロック図である。 表示システムを搭載した車両、および前方の対象物に応じた表示状態の例を示す斜視図である。 ヘッドアップディスプレイを搭載した車両を示す断面図である。 ヘッドアップディスプレイを搭載した車両を内側から見た模式図である。 ヘッドアップディスプレイの光学系の構成を示す模式図である。 第１の実施形態における距離区分ごとに並列して行う表示処理を示す模式図である。 第２の実施形態における距離区分ごとに、順次、並列処理を開始して行う表示処理を示す模式図である。 図７の表示処理を示すフローチャートである。 図８Ａに続く処理を示すフローチャートである。

以下、添付した図面を参照して、本発明の実施形態を説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。また、図面の寸法比率は、説明の都合上誇張されており、実際の比率とは異なる場合がある。また図面においては、上下方向をＹ方向、ヘッドアップディスプレイ３０を含む表示システム１０００を車両に搭載した状態において、車両の進行方向に平行な方向をＺ方向、これらのＹ、Ｚ方向に直交する方向をＸ方向とする。またＺ方向は光軸方向に、Ｘ、Ｙ方向は、表示素子の横、縦方向にそれぞれ対応している。

図１〜図５を参照し、本実施形態に係る表示システム１０００について説明する。図１は、本実施形態に係る表示システム１０００の全体構成を示すブロック図である。図２は、表示システム１０００を搭載した車両、および前方の対象物に応じた表示状態の例を示す斜視図である。

図１に示すように表示システム１０００は、距離センサー１０、制御装置２０、および「３次元表示装置」としてのヘッドアップディスプレイ（ＨＵＤ）３０を備える。図２に示すように車両８００に搭載された状態では、距離センサー１０は、車両の前方を測定空間として、前方の他の車両８０１、８０２、８０３等の物体（対象物）までの距離を測定する。そして、物体が、車両等の特定の表示対象（以下、対象物、または表示対象物ともいう）の場合には、表示対象に対応する画像データ（例えば矩形のアノテーションマークの虚像ｆ１〜ｆ３）を虚像としてヘッドアップディスプレイ３０に表示し、車両８００を運転するユーザー９００（運転者）に注意を喚起する。図２において、フレームＦ１からＦｎの領域は後述するヘッドアップディスプレイ３０の表示素子３１の表示領域（虚像表示領域）に対応しており、フレームＦ１〜Ｆｎは、異なる虚像距離における虚像位置に対応する。これらの一連の表示処理については後述する。

（距離センサー１０）
距離センサー１０は、車両８００に搭載された場合には、少なくとも車両８００の進行方向が測定範囲（測定空間）に収まるように配置され、距離センサー１０から所定の画角範囲内にある物体（対象物）までの距離を測定する。出力形式としては複数の方位（画素）における距離値を記述した距離データを出力する。画素数（方位の数）は、例えば１ｋ〜数ｋ個である。

以下においては、距離センサー１０は、ＴｏＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）方式のセンサーを用いた場合を例として説明する。しかしながら、これに限られず、距離センサー１０としては物体までの距離を測定する、ステレオカメラ方式のセンサー等、種種のセンサーを適用できる。

ＴｏＦ方式であれば、距離センサー１０は、照射部１１、受信部１２、および測定データを出力する出力部１３を備える。距離センサー１０は、照射部１１から複数の照射方向（方位）に向けた送信波を、測定空間に向けて照射してから、この送信波の対象物からの反射波を受信部１２で受信するまでの時間間隔により各方位における物体までの距離を測定する。送信波として赤外線（波長８００〜１０００ｎｍ程度）のレーザー光を用いたライダー（ＬｉＤＡＲ：Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）を採用できる。また、ライダーに変えてミリ波の送信波を用いたミリ波レーダーを採用してもよい。

また、距離センサー１０としては、複数の照射方向に向けた送信波を同時に照射する同時照射方式を採用したＴｏＦ方式のセンサーであってもよく、ポリゴン等を用いて、複数の照射方向に向けて光を順次照射する走査方式を採用したＴｏＦ方式のセンサーであってもよい。前者の同時照射方式のライダーは、フラッシュライダーとも称される。

（制御装置２０）
制御装置２０は、取得部２１、認識処理部２２、表示処理部２３、および出力部２４を備える。制御装置２０は、１つ、または複数のＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｉｎｇ Ｕｎｉｔ）、および／またはＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などで構成される処理装置、ならびに半導体や磁気ディスクで構成されるメモリを備える。制御装置２０は、メモリに記憶されているプログラムを実行することで、各種処理を実行する。また、制御装置２０の認識処理部２２、および表示処理部２３は後述するように認識処理、および画像データの出力処理を並列で処理を行う。これは複数のＣＰＵやＧＰＵによりマルチコア実行されるソフトウェアとして並列処理するようにしてもよく、専用のハードウェア処理回路によりハードウェア的に並列処理するようにしてもよい。

（取得部２１）
取得部２１は、距離センサー１０の出力部１３から距離データを取得する。距離センサー１０と制御装置２０における距離データの受け渡しは、１フレームごとに、測定空間全体の測定データが揃ってから取得するようにしてもよい（一括転送）。あるいは距離センサー１０として、同時照射方式のＴｏＦセンサーを用いた場合には、後述するように（第２の実施形態）、全照射方向からの反射波の受信を待たずに近い距離から順に反射波が到達するに応じて、一連の画像処理を実施するため、逐次、受け渡すようにしてもよい（逐次分割転送）。

（距離区分ごとの距離データ）
本実施形態においては、距離区分ごとの距離データが、取得部２１から認識処理部２２に受け渡される。例えば、距離センサー１０から１フレーム単位の距離データが送られる一括転送の場合には、取得部２１で距離区分ごとの距離データに分割してから、認識処理部２２に受け渡す。ここで距離区分は、予め設定されたものであり、測定可能な最短距離（例えば距離１ｍ）〜無限遠までの間を、距離区分１〜距離区分ｎまでの複数段階に分割する（図２参照）。また、距離区分１〜ｎの段階数は、ヘッドアップディスプレイ３０の虚像ｆ１〜ｆｎの段階数に対応し、また、距離区分１〜ｎの距離（例えば、距離区分の中間距離）は、虚像距離に対応する。

例えば、各距離区分は数ｍ単位で複数段階（数個〜１０数個程度）に分割される。例えば、距離区分１は、１〜２ｍであり、これの次の距離区分２は２〜３ｍ、以下、距離区分３、４、……と続き、最後の距離区分ｎは１５ｍ以上である。隣接する距離区分同士は、途切れないように設定される。なお、隣接する距離区分同士は、互いに一部の距離が重複するように設定してもよい。例えば、距離区分１を１〜３ｍとし、距離区分２を２〜４ｍとした場合、距離２〜３ｍは、重複する区間となる。

また、距離区分ごとの距離データは、画素に対応する方向に、その距離区分の距離に応じた対象物が存在しなければ、画素の距離値はｎｕｌｌになる。例えば、図２において、距離区分１では車両８０１に対応する画素には距離データがあるが（距離区分１の範囲に応じた距離値（多値）、または有無を示すデータ（２値））、他の距離区分２の車両８０２に対応する画素では、距離データはない（ｎｕｌｌ）。

（認識処理部２２）
認識処理部２２は、物体（対象物）を認識する機能を有する。認識処理部２２は、各距離区分の距離データを用いて物体を認識する。この認識処理は、距離区分ごとに並列で処理する。認識の処理は、例えば、距離区分ごとに距離データの画素をクラスタに分ける。例えば、図２のように距離区分１の範囲に車両８０１があれば、その車両８０１に応じた距離データの塊が１つのクラスタとして判定される。そして、各クラスタのサイズを算定する。例えば、垂直方向寸法、水平方向寸法、総面積等を算出する。なお、ここでいう「サイズ」は、実寸法であり、見た目上の大きさ（画角、すなわち画素の広がり）とは異なり、対象物までの距離に応じて画素群の塊が判断される。例えば、認識処理部２２は算定したサイズが抽出対象の解析対象の動体を特定するための所定のサイズ閾値以下か否か判定する。サイズ閾値は、測定場所や行動解析対象等により任意に設定できる。例えば車両に搭載され、対象物として車両、人を認識するのであれば、車両、または人の大きさそれぞれの最小値を、クラスタリングする場合のサイズ閾値とすればよい。これにより、落ち葉やビニール袋等のゴミ、または小動物を対象から除外できる。

認識処理部２２は、特定の対象物（車両、人等）を認識した場合には、その距離区分、および対象物の位置情報（画素位置）を表示処理部２３に送る。また、認識処理部２２は、位置情報に対象物の種類情報（車両、人の分別）を付加してもよい。

（表示処理部２３）
表示処理部２３は、距離区分ごとの対象物の位置情報に応じた、虚像表示用の画像データを生成し、出力する。この画像データの出力処理は、距離区分ごとに並列で処理する。虚像表示用の画像としては、例えば図２に示したように、対象物の位置を、運転手が容易に認識できるような矩形のアノテーション画像（虚像ｆ１〜ｆ３）である。また、対象物の種類に応じて、これが識別できるようにアノテーション画像の色や線の種類を替えてもよく、アノテーション画像の脇に表示する種類を示すテキストデータ含めてもよい。

（出力部２４）
出力部２４は、表示処理部２３から送られた、距離区分ごとの画像データをヘッドアップディスプレイ３０に送信する。この送信は、複数の距離区分ごとの画像データを同期させずに、それぞれ個別に送るようにしてもよく、１フレーム分の複数の距離区分の画像データが全て揃ってからまとめて送るようにしてもよい。以下の説明においては、前者（個別）の方式を例として説明する。また、後者（１フレーム単位）であれば必ずしも、同じフレームの距離データに基づいて生成した画像データでなくてもよく、一部が、前または後のフレームの距離データで生成した画像データであってもよい。

（ヘッドアップディスプレイ３０）
以下、図１とともに、図３から図５を参照し、ヘッドアップディスプレイ３０について説明する。図３は、ヘッドアップディスプレイ３０を搭載した車両８００を示す断面図であり、図４は、車両８００の内側から見た模式図である。図５は、ヘッドアップディスプレイ３０の光学系の構成を示す模式図である。図１に示すようにヘッドアップディスプレイ３０は、表示素子３１、移動機構３２、および表示制御部３３を含む。図３、図４に示すように、ユーザー（運転者）９００は、ハンドル８１３を握りながら運転席８１６に座っている。ヘッドアップディスプレイ３０は、表示素子３１（描画デバイス）に表示されている画像情報を、表示スクリーン３４５を介してユーザー９００に向けて虚像ｆ（ｆ１、ｆ２、…ｆｎ）として表示する。

ヘッドアップディスプレイ３０の表示スクリーン３４５（コンバイナーとも称す）以外の構成は、車体８１１のダッシュボード８１４内にカーナビゲーション等のディスプレイ８１５の背後に埋め込むように設置されている。ヘッドアップディスプレイ３０は、アノテーション画像等を含む虚像に対応する表示光Ｄ１を表示スクリーン３４５に向けて光軸ＡＸに沿って射出する。表示スクリーン３４５は、半透過性を有する凹面鏡、または平面鏡である。表示スクリーン３４５は、コンバイナーまたはウィンドシールドとして機能してもよく、両方の機能を兼ね備えてもよい。また、これらの機能を備える部材を別々に設けてもよい。表示スクリーン３４５は、下端の支持によってダッシュボード８１４上に立設され、ヘッドアップディスプレイ３０からの表示光Ｄ１を車体８１１の後方側（Ｚ方向のマイナス側）に向けて反射する。すなわち、図示の場合、表示スクリーン３４５は、フロントウィンドウ８１２とは別体で設置される独立型のものとなっている。表示スクリーン３４５で反射された表示光Ｄ１は、運転席８１６に座ったユーザー９００の瞳９１０、およびその周辺位置に対応するＥｙｅｂｏｘ（アイボックス）（図示せず）に導かれる。Ｅｙｅｂｏｘは、ヘッドアップディスプレイ３０が車両８００に搭載された状態で、運転席８１６に座ったユーザー９００の瞳９１０の位置（高さ）に対応するように設定される。ユーザー９００は、表示スクリーン３４５で反射された表示光Ｄ１、つまり、あたかも車体８１１の前方にあるように、所定距離（虚像距離または投影距離ともいう）離れた表示像としての虚像ｆを観察できる。一方、ユーザー９００は、表示スクリーン３４５を透過した外界光、つまり前方景色、自動車等の車両や歩行者の実像を観察できる。結果的に、ユーザー９００は、表示スクリーン３４５を透過した背後の外界像、すなわちシースルー像に重ねて、表示スクリーン３４５での表示光Ｄ１の反射によって形成される虚像ｆを観察できる。

図５に示すように、ヘッドアップディスプレイ３０は、表示素子３１、移動機構３２、表示制御部３３の他に、虚像投影光学系３４およびハウジング３５を備える。虚像投影光学系３４は、光学素子群３４１、中間スクリーン３４２、ミラー３４３、３４４、を備える。ハウジング３５内には、表示スクリーン３４５以外のヘッドアップディスプレイ３０の各構成要素が収納される。光学素子群３４１は、１つまたは複数のレンズを含む。また、図５では、２枚の反射面が、平面、および曲面の２枚のミラー３４３、３４４含む例を示しているがこれに限られず、１枚、または３枚以上の反射面が平面または曲面のミラーで構成してもよい。

表示素子３１は、２次元的な表示面３１ａを有する。表示面３１ａに形成された像ｉ１は、虚像投影光学系３４によって、中間像ｉ２として投影されてから、これが拡大されてＥｙｅｂｏｘへ虚像ｆに変換して投影表示される。表示素子３１は、ＤＭＤ（Ｄｉｇｉｔａｌ Ｍｉｃｒｏｍｉｒｒｏｒ Ｄｅｖｉｃｅ）やＬＣＯＳ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｏｎ Ｓｉｌｉｃｏｎ）等の反射型の素子であっても、液晶等の透過型の素子であってもよい。特に、表示素子３１としてＤＭＤを用いると、明るさを維持しつつ画像を高速で切り替えることが容易になり、投影距離を変化させる表示に有利である。なお、表示素子３１は、３０ｆｐｓ以上、好ましくは９０ｆｐｓのフレームレートで動作する。これにより、異なる虚像距離に複数の虚像ｆが同時に表示されているように見せる、３次元表示が容易になる。

光学素子群３４１は、固定焦点のレンズ系であり、図示を省略するが、複数のレンズを有する。光学素子群３４１は、表示素子３１の表示面３１ａに形成された画像ｉ１を中間像ｉ２として中間スクリーン３４２上に結像し、適当な倍率で拡大投影する（中間像ｉ２自体は、表示素子３１の表示動作が前提となる）。なお、光学素子群３４１は、この光学素子群３４１の最も中間スクリーン３４２側に配置された絞り３４１ａを有する。このように絞り３４１ａを配置することで、光学素子群３４１の中間スクリーン３４２側のＦナンバーの設定や調整が比較的容易になる。

中間スクリーン３４２は、配光角を所望の角度に制御するための拡散機能を有するシートであり、光学素子群３４１による結像位置（つまり中間像ｉ２の結像予定位置、またはその近傍の焦点深度内）において中間像ｉ２を形成する。中間スクリーン３４２としては、例えば摺りガラス、レンズ拡散板、マイクロレンズアレイ等を用いることができる。

移動機構３２は、中間スクリーン３４２の上下端部を保持するホルダーに接続されており、中間スクリーン３４２を光軸ＡＸ方向に平行移動させることにより、中間像ｉ２の位置を光軸ＡＸ方向に移動させることができる。なお、表示素子３１の表示が動作していなければ、必ずしも表示画像としての中間像ｉ２は形成されないが、以下においては、実際に形成されていなくても中間像ｉ２が形成されると想定される位置も中間像の位置と呼ぶ場合がある。前述の、図２、図３において、フレームＦ１（虚像ｆ１）は中間スクリーン３４２をミラー３４３に近い側に位置させて、虚像距離を近距離に設定した場合に投影表示される虚像位置である。フレームＦ１に表示される虚像ｆ１の虚像距離は、距離区分１に対応する。例えば距離区分１が１ｍから２ｍであればその中間（または中心）の１．５ｍの虚像距離になるように設定される。同様にフレームＦｎは、中間スクリーン３４２をミラー３４３から最も遠い側に位置させて、虚像距離を遠距離に設定した場合に投影表示される虚像位置である。フレームＦ２は、その間の位置に中間スクリーン３４２を位置させた場合に投影表示される虚像位置である。同様にフレームＦｎ、Ｆ２に表示される虚像ｆｎ、ｆ２の虚像距離は、距離区分ｎ、距離区分２にそれぞれ対応する。

表示制御部３３は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｉｎｇ Ｕｎｉｔ）、および半導体や磁気ディスクで構成されるメモリを備え、メモリに記憶されているプログラムを実行することで、以下に説明する移動機構３２、および表示素子３１を制御する。具体的には、後述するように、移動機構３２により中間スクリーン３４２の位置を光軸ＡＸ上で移動する。その位置変化に同期させて表示素子３１に像を表示するタイミングを制御することで、虚像ｆまでの虚像距離を変化させる。これを短時間（例えば６０ｆｐｓ）で行うことにより、ユーザー９００は同時に投影距離が異なる複数の虚像ｆ（ｆ１〜ｆｎ）を同時に視認できる（３次元表示）。

（第１の実施形態における距離区分ごとの並列処理）
図６は、第１の実施形態における、表示システム１０００による距離区分ごとに並列して行う表示処理を示す模式図である。第１の実施形態においては、距離センサー１０としては、ＴｏＦ方式のセンサー、ステレオカメラ等の種種のセンサーを適用できる。

第１の実施形態においては、図６に示すように、前方の測定空間内に対して測定を行い、距離データを得る。測定により得られた複数の距離区分に渡る１フレーム分の距離データは、制御装置２０に送られる。図６の例は、図２に対応して、距離区分１、２、ｎにはそれぞれ車両８０１、８０２、８０３が存在する。

取得部２１では、距離センサー１０から取得した距離データを、距離区分ごとに分割して、それぞれの認識処理部２２の処理部２２１〜２２ｎ（ハードウェア処理回路）に送る。

認識処理部２２は、処理部２２１〜２２ｎを含む。処理部２２１〜２２ｎは、距離区分の数に対応した分だけ設けられており、処理部２２１〜２２ｎはそれぞれ距離区分１〜ｎに対応する。これらの認識処理は、処理部２２１〜２２ｎにより並列で処理される。

また、車両等の特定の対象物を認識した場合には、その情報は、後段の表示処理部２３（ハードウェア処理回路）に送られる。

表示処理部２３は、処理部２３１〜２３ｎを含む。処理部２３１〜２３ｎは、距離区分の数に対応した分だけ設けられており、処理部２３１〜２３ｎはそれぞれ距離区分１〜ｎに対応する。また、認識処理部２２の処理部２２１〜２２ｎは、それぞれ表示処理部２３の処理部２３１〜２３ｎに対応付けられている。処理部２２１の対象物の認識結果は、対応する処理部２３１に個別に送られる。同様に、処理部２２２〜２２ｎの対象物の認識結果は、対応する処理部２３２〜２３ｎそれぞれに個別に送られる。

表示処理部２３の処理部２３１〜２３ｎは、対象物の認識結果に応じた虚像表示用の画像データを生成し、ヘッドアップディスプレイ３０に送信する。ヘッドアップディスプレイ３０側では、受けた距離区分１〜ｎに対応する画像データに応じた、虚像を表示する。例えば、ヘッドアップディスプレイ３０は、図６に示すように、距離区分１に応じた虚像距離で、認識した表示対象である車両８０１に対応付けたアノテーションの画像（虚像ｆ１）を表示する。

このように、第１の実施形態に係る表示システム１０００では、認識処理部２２の認識処理から表示処理部２３の画像データの出力処理までの一連の処理を、表示する距離区分ごとに行う。特に第１の実施形態では、距離センサー１０から取得した１フレームの距離データを距離区分ごとに分割し、以降の認識処理、虚像表示用の画像データの生成、出力までの一連の処理を、虚像を表示する距離区分ごとに並列して行う。このようにすることで、認識から出力に情報を送る際の遅延を最小限に抑えることができる。特に、車両に搭載した表示システム１０００においては、認識すべき物体は、先行車や歩行者等、距離センサーから視た場合に、ほとんどの場合、奥行き方向（Ｚ方向）の厚みは１ｍ未満から最大でも数ｍである。このため、距離区分ごとに物体の認識処理をしても認識精度はそれほど低下せずに認識できる。また距離区分ごとに物体の認識処理を並列で行うことで、各処理部２２１〜２２ｎの処理時間を抑えることができる。さらに、ヘッドアップディスプレイ３０の表示する距離区分を、制御装置２０で一連の並列処理を行う距離区分と対応させ、対応する虚像の表示距離に対して並列で、画像データを送信し、表示する。このようにすることで、認識系（認識処理部２２）から出力系（表示処理部２３、出力部２４、ヘッドアップディスプレイ３０）へ情報を送る際の遅延を最小限に抑えることができる。

また、距離区分ごとに並列処理し、各処理での同期をとらずに行えば、遅延処理が一部の距離区分の処理で発生したとしても、その遅延は、他の距離区分に影響することがなく、遅延は、一部の距離区分のみに留まる。例えば、６０ｆｐｓで虚像の表示を行うような場合に、距離区分１の虚像の表示だけが、他の距離区分２〜ｎの虚像の表示に対して、１フレーム分だけ遅れて表示される。

（第２の実施形態における距離区分ごとの並列処理）
以下、図７〜図８Ｂを参照し、第２の実施形態における表示システム１０００ｂによる距離区分ごとの並列処理について説明する。図７は、第２の実施形態における距離区分ごとに、順次、並列処理を開始して行う表示処理を示す模式図である。図８Ａ、図８Ｂは、制御装置２０による図７に示す表示処理の内容を示すフローチャートである。なお、第２の実施形態においては、これらの図に記載した構成以外は、図１〜図５の記載に対応するため、記載を省略する。

第２の実施形態においては、距離センサー１０としては、ＴｏＦ方式のセンサー、特に同時照射方式のＴｏＦセンサー（例えばフラッシュライダー）を適用できる。

また、第２の実施形態においては、図７に示すように、前方の測定空間内において、複数の方位に対して同時に赤外線光等の送信波を照射し、測定空間内の物体からの反射波を受信すると直ぐに、近い方の距離区分から順に、距離区分ごとの距離データを生成するとともに、後段の距離データの送信処理、距離データに対する認識処理、および画像データの生成、出力処理を開始する。

（ステップＳ１０１〜Ｓ１０３）
具体的には、図８Ａに示すように照射部１１により測定空間に送信波を照射する。続いて、距離センサー１０は、最も短い距離区分１に存在する物体の表面で反射した反射波を、受信部１２で受信すれば、すなわち、距離区分１の相当時間として、距離区分１までの往復距離を、光速で進行する送信波が、反射波として戻ってくるまでの時間が経過した場合（Ｓ１０２：ＹＥＳ）、距離区分１に関する以下の一連の処理を開始する。すなわち、距離センサー１０は、距離区分１の距離データを制御装置２０に送信する。そして、制御装置２０では、この距離区分１の距離データに関する認識処理から出力処理までの一連の処理を開始する。なお、この時点では、距離区分１よりも遠い、他の距離区分２〜距離区分ｎからの反射波は、受信部１２に到達していない。

（ステップＳ３０１）
図８Ｂは、ステップＳ１０３に続いて行われる処理である。取得部２１は、距離センサー１０から送られた距離区分１の距離データを取得する。

（ステップＳ３０２、Ｓ３０３）
続いて、認識処理部２２の距離区分１用の処理部２２１は、第１の実施例と同様に、距離区分１の距離データから物体の認識処理を行い、表示対象物があれば（Ｓ３０３：ＹＥＳ）、処理をステップＳ３０４に進める。一方で表示対象物がなければ（Ｓ３０３：ＮＯ
）、処理を終了する（エンド）。

（ステップＳ３０４）
続いて、表示処理部２３の距離区分１用の処理部２３１は、第１の実施例と同様に、距離区分１に存在する表示対象物に対する虚像表示用の画像データを生成する。

（ステップＳ３０５）
出力部２４は、ステップＳ３０４で生成された画像データを、ヘッドアップディスプレイ３０に送信し、ヘッドアップディスプレイ３０では、これを虚像として表示する。

（ステップＳ１０４〜Ｓ１０５、Ｓ２０１〜Ｓ２０２）
図８Ａを参照すると、ステップＳ１０２、Ｓ１０３と同様に、距離センサー制御装置２０は、距離区分２の相当時間が経過した場合（Ｓ１０４：ＹＥＳ）、距離区分２の距離データに関する一連の処理を開始する。この距離区分２の一連の処理は、図８Ｂと同様の処理であり、説明を省略する。なお、距離区分２の一連の処理は、距離区分１の一連の処理と並列して行われる。

以下は、距離区分３、４、……距離区分ｎと、近い距離の距離区分から順に相当時間が経過し、当該距離区分の距離データが生成される度に、一連の処理を開始し、並列で処理して終了する（エンド）。以降は、次のフレームに対する処理を、ステップＳ１０１から繰り返し行う。

このように第２の実施形態においては、距離センサー１０として、同時照射方式のＴｏＦセンサーを用いて、近い距離の距離区分から順に測定し、距離データが得られた順に一連の処理を開始し、行うことで、入力から出力までの全ての一連の処理を一貫して並列化できる。これにより、第１の実施形態と同様の効果が得られるとともに、第１の実施形態よりも、より効果的に、処理の遅延を抑えることができる。

（その他の変形例）
以上に説明した表示システム１０００、１０００ｂの構成は、上記の実施形態の特徴を説明するにあたって主要構成を説明したのであって、上記の構成に限られず、特許請求の範囲内において、種々改変することができる。また、一般的な表示システム、またはヘッドアップディスプレイが備える構成を排除するものではない。

また、３次元表示装置として３次元のヘッドアップディスプレイ３０を、例として説明したがこれに限られず、距離ごとの距離データに基づいて表示を行う３次元の表示装置であれば他の構成を適用してもよい。例えば、運転手等が使用する３次元のヘッドマウントディスプレイであってもよい。

１０００、１０００ｂ 表示システム
１０ 距離センサー
１１ 照射部
１２ 受信部
１３ 出力部
２０ 制御装置
２１ 取得部
２２ 認識処理部
２２１〜２２ｎ 処理部
２３ 表示処理部
２３１〜２３ｎ 処理部
２４ 出力部
３０ ヘッドアップディスプレイ
３１ 表示素子
３２ 移動機構
３３ 表示制御部
ＡＸ 光軸
Ｄ１ 表示光
ｆ、ｆ１〜ｆｎ 虚像
８００ 車両
８１１ 車体
９００ ユーザー
９１０ 瞳

Claims (5)

1. 車両用の表示システムであって、
   距離センサーと、
   前記距離センサーから取得した距離データを処理して、複数の距離区分ごとの表示対象物を認識する認識処理を実行する認識処理部と、
   前記認識処理部が認識した前記距離区分ごとの前記表示対象物に対応する画像データを出力する出力処理を実行する表示処理部と、
   前記表示処理部から取得した、複数の前記距離区分に対応する画像データを虚像として表示する３次元表示装置と、
   を備え、
   前記認識処理部の認識処理から前記表示処理部の画像データの出力処理までの一連の処理を、表示する距離区分ごとに行う、表示システム。
2. 前記距離センサーは、複数の距離区分に渡る距離データを出力し、
   前記認識処理部、および前記表示処理部は、前記認識処理から前記出力処理までの一連の処理を、表示する距離区分ごとに、並列に行う、請求項１に記載の表示システム。
3. 前記距離センサーは、複数の照射方向に向けて送信波を同時に照射する照射部と、前記照射方向の対象物からの前記送信波の反射波に応じた受信信号を出力する受信部と、を備え、前記送信波を送信してから反射波を受信するまでの時間間隔により距離を測定するＴｏＦ方式の距離センサーであり、
   前記距離センサーは、全照射方向からの反射波の受信を待たずに、前記距離区分に対応する反射波が到達するに応じて、前記距離データを出力し、
   前記認識処理部、および前記表示処理部は、前記認識処理から前記出力処理までの一連の処理を、表示する距離区分ごとに、順次、並列処理を開始して行う、請求項１に記載の表示システム。
4. 複数の前記距離区分は、隣接する距離区分において、一部の距離が重複する、請求項１から請求項３のいずれかに記載の表示システム。
5. 距離センサーと、複数の距離区分に対応する画像データを虚像として表示する３次元表示装置と、を備える、車両用の表示システムの表示処理方法であって、
   前記距離センサーから取得した距離データを処理して、複数の距離区分ごとの表示対象物を認識するステップ（ａ）と、
   前記ステップ（ａ）で認識した前記距離区分ごとの前記表示対象物に対応する画像データを出力するステップ（ｂ）と、
   前記ステップ（ｂ）で取得した、複数の前記距離区分に対応する画像データを虚像として３次元表示装置に表示するステップ（ｃ）と、
   を含む、表示処理方法。

Images