JP2019117052A - 表示制御装置 - Google Patents

Abstract

【課題】点群情報を利用して、エンタテインメント性を向上させることができる表示制御装置を提供する。【解決手段】表示制御装置１Ｂは、ライダ２が地物までの距離情報及び当該地物の高さ情報を含む点群情報を取得し、表示制御部３Ｂが距離情報及び高さ情報に基づいて点群情報に基づく画像の表示態様を変化させる。【選択図】図８

Description

本発明は、表示部に画像を表示する表示制御装置に関する。

従来、レーザレーダを用いて、車両の前方等の検出領域（すなわち、物体を検出するための対象となる領域）に存在する物体上の複数の点に対して３次元空間上の位置を取得し、その物体を認識する技術が提案されている。例えば、特許文献１には、前記位置が取得された点をクラスタリングしてクラスタ点群を取得し、そのクラスタ点群に係る測定量の時間的変動に基づき、クラスタ点群に対応する物体を識別することとしている。

特開２０１７−１５１０４３号公報

上述したように、レーザレーダ（以下、ＬｉＤＡＲ（Light Detection And Ranging）とも称する）は、移動体としての車両等の周辺に存在する物体の認識に用いられている。しかしながら、レーザレーダによって取得された情報（所謂点群情報）は、このような物体の認識以外に利用されてはいない。

一方で、今後自動運転機能を搭載した車両において、自動運転中の移動時間におけるエンタテインメント性の向上が期待されている。しかし、レーザレーダによって取得された情報を、エンタテインメント性の向上に利用するという思想は、従来は存在していなかった。

本発明が解決しようとする課題としては、所謂点群情報を利用して、エンタテインメント性を向上させることが一例として挙げられる。

上記課題を解決するために、請求項１に記載の発明は、移動体から地物までの距離情報及び当該地物の高さ情報を含む点群情報を取得する点群情報取得部と、前記距離情報及び前記高さ情報に基づいて、前記点群情報に基づく画像の表示態様を変化させる表示制御部と、を備えることを特徴としている。

請求項４に記載の発明は、移動体に配置された表示部に画像を表示させる表示制御装置で実行される表示制御方法であって、前記移動体から地物までの距離情報及び当該地物の高さ情報を含む点群情報を取得する点群情報取得工程と、前記距離情報及び前記高さ情報に基づいて、前記点群情報に基づく画像の表示態様を変化させる表示制御工程と、を含むことを特徴としている。

請求項５に記載の発明は、請求項４に記載の表示制御方法を、コンピュータにより実行させることを特徴としている。

本発明の第１の実施例にかかる表示制御装置のブロック構成図である。 図１に示された表示制御装置が記憶する地物データ構造の例を示した表である。 図１に示された表示制御装置の表示動作のフローチャートである。 図１に示された表示制御装置の表示態様の例である。 本発明の第２の実施例にかかる表示制御装置と記憶装置とからなるシステムの概略構成図である。 図５に示されたサーバ装置の機能構成図である。 図５に示された表示制御装置のブロック構成図である。 本発明の第３の実施例にかかる表示制御装置のブロック構成図である。 図８に示された表示制御装置における距離ごとの色の設定例である。 図８に示された表示制御装置における高さごとの色の設定例である。 図７に示された表示制御装置の表示動作のフローチャートである。 本発明の変形例のブロック構成図である。

以下、本発明の一実施形態にかかる表示制御装置を説明する。本発明の一実施形態にかかる表示制御装置は、点群情報取得部が移動体から地物までの距離情報及び当該地物の高さ情報を含む点群情報を取得し、表示制御部が距離情報及び高さ情報に基づいて、点群情報に基づく画像の表示態様を変化させる。このようにすることにより、点群情報に含まれる距離等の情報に基づいて表示態様を変化させることが可能となる。例えば、距離に応じてエフェクトを変化させることができる。したがって、点群情報を利用して、エンタテインメント性を向上させることができる。

また、表示態様の変化には、色の変化を含み、表示制御部は、点群情報に基づく画像の色を変化させてもよい。このようにすることにより、距離や高さに応じて色を変化させて表示することができる。

また、表示態様の変化には、コントラストの変化を含み、表示制御部は、点群情報に基づく画像のコントラストを変化させてもよい。このようにすることにより、距離や高さに応じてコントラストを変化させて表示することができる。

また、本発明の一実施形態にかかる表示制御方法は、点群情報取得工程で移動体から地物までの距離情報及び当該地物への高さ情報を含む点群情報を取得し、表示制御工程で距離情報及び高さ情報に基づいて点群情報に基づく画像の表示態様を変化させる。このようにすることにより、点群情報に含まれる距離等の情報に基づいて表示態様を変化させることが可能となる。例えば、距離に応じてエフェクトを変化させることができる。したがって、点群情報を利用して、エンタテインメント性を向上させることができる。

また、上述した表示制御方法をコンピュータにより実行させる表示制御プログラムとしてもよい。このようにすることにより、コンピュータを利用して点群情報に含まれる距離等の情報に基づいて表示態様を変化させることが可能となる。例えば、距離に応じてエフェクトを変化させることができる。したがって、点群情報を利用して、エンタテインメント性を向上させることができる。

本発明の第１の実施例にかかる表示制御装置を図１〜図４を参照して説明する。表示制御装置１は、図１に示したように、ライダ２と、表示制御部３と、表示部４と、記憶部５と、を備えている。また、図１に示した表示制御装置１は、移動体の例として自動車等の車両に搭載されているものとする。また、本実施例で説明する車両は、常時自律的に走行可能な自動運転車両又は自動運転と手動運転を切り替え可能な車両とする（本実施例では、これらを総称して自動運転車両と呼ぶ）。

点群情報取得部としてのライダ２は、車両の周囲に存在する物体を認識するためのセンサであり、ＬｉＤＡＲ（Light Detection And Ranging）とも表記される。ライダ２は、レーザ光等の光を照射してその光の反射光により、外界に存在する物体までの距離を離散的に測定し、当該物体の位置や形状等を三次元の点群として認識する公知のセンサである。したがって、ライダ２で取得された点群は、車両の周囲に存在する建物や道路等の構造物を含む地物を複数の点により三次元状に表した情報（点群情報）となる。尚、ライダ２は、車両が走行している道路上の標識や道路に沿って存在する建築物や街路樹等の地物以外にも、車両の周辺に存在する人物や他車両等を認識してもよい。

表示制御部３は、ライダ２が取得した点群情報を、ライダ２が点群情報を取得した状態の座標系（車両座標系）から点群情報を表示させる表示部４に表示するための座標系（表示座標系）に変換する。車両座標系とは車両（ライダ２）を基準とした座標系である。表示座標系とは、表示部４上に定義されている二次元の座標系である。表示制御部３は、この点群情報における三次元の車両座標系から二次元の表示座標系へ変換する。この座標変換はいわゆるビュー座標系からスクリーン座標系への変換等の周知の座標変換方法を用いることができる。

また、表示制御部３は、上記座標系が変換された画像に含まれる地物の属性を判定し、判定された地物の属性に応じた表示態様となるように加工を施して表示部４に出力する。

表示部４は、表示制御部３で加工された点群情報に基づく画像を表示する。表示部４は、例えば車両内のセンターコンソール等に設置されているモニタ画面やＨＵＤ（Head-Up Display）等で構成することができる。また、表示部４は、車両内に設置されているものに限らず、例えば搭乗者が所有する携帯端末等に表示させるようにしてもよい。また、表示部４は、表示制御装置１が設けられた車両のフロントガラスやドアガラス、サンルーフガラス等の車両が有するガラス部であってもよい。このように、表示部４は、車両内に固定されている表示装置や投影等により表示可能な部位に限らず、車内に持ち込まれている端末等でもよく、つまりは車両に配置されていればよい。

記憶装置としての記憶部５は、表示制御装置１が搭載されている車両が自律的に走行可能な程度の詳細な情報が含まれる地図データ及び地物データ５ａが記憶されている。地物データ５ａ（地物データ構造）の例を図２に示す。

図２に示した表には、地物ＩＤ５ａ１、位置５ａ２、名称５ａ３、表示態様５ａ４が地物毎に設定されている。地物ＩＤ５ａ１は地物毎に設定される固有の番号である。位置５ａ２は当該地物の位置を緯度経度で示している。名称５ａ３はビル名、街路樹、電柱、白線、ガードレール、縁石等のその地物の固有の名称や一般名称を示している。表示態様５ａ４は各地物毎の表示態様を示している。ここで、地物ＩＤ５ａ１、位置５ａ２、名称５ａ３は地物の属性となる。

次に、上述した構成の表示制御装置１における動作（表示制御方法）について、図３のフローチャートを参照して説明する。図３に示したフローチャートは表示制御部３で実行される。したがって、表示制御部３をＣＰＵ等を有するマイクロコンピュータ等で構成することで、表示制御方法を実行する表示制御プログラムとすることができる。

まず、ステップＳ１１において、表示制御装置１が搭載されている車両が自動運転中であるか否かを判定し、自動運転中である場合はステップＳ１２に進み、自動運転中でない場合は本フローチャートを終了する。つまり、本フローチャートは、自動運転中に実行されるものとする。但し、センターコンソールに設けた表示部等、運転に支障がない部位に表示する場合は、手動運転中であってもステップＳ１２以降を実行してよい。

次に、表示制御部３は、ライダ２が検出した点群情報を取得し（ステップＳ１２）、記憶部５に記憶された地物データ５ａに基づいて、点群情報に含まれる地物の属性を判定する（ステップＳ１３）。属性の判定は、例えば記憶部５に記憶されている地図データとステップＳ１２で取得した点群情報とをマッチングし、点群情報に対する地物を特定する。そして、特定された地物に対して、地図データに含まれる当該地物の位置や名称と地物データ５ａに含まれる当該地物の位置や名称を比較することで、当該地物の属性を判定する。

次に、表示制御部３は、図２に示した地物データ５ａに基づいて、ステップＳ１３で判定した各地物の属性に応じた表示態様を決定する（ステップＳ１４）。そして、表示制御部３は、点群情報に基づく画像を、当該画像における地物に対して、ステップＳ１４で決定された表示態様で表示部４に表示させる（ステップＳ１５）。即ち、点群情報に含まれる所定の地物に対して予め定められた属性に基づいて、点群情報に基づく画像のうち当該地物に対応する部分の表示態様を変更している。また、図２に示した地物データ５ａに設定された表示態様５ａ４が、点群情報に基づく画像を表示させる際に用いられる情報として、当該画像に含まれる地物に対応する部分の表示態様を示す情報となっている。

以上の説明から明らかなように、ステップＳ１２が点群情報取得工程、ステップＳ１３、Ｓ１４が表示制御工程となる。

ここで、上述した構成の表示制御装置１における表示態様の例を図４を参照して説明する。図４上段は、ライダ２が車両前方について取得した点群情報の例である。図４上段について、地物Ｔ１として縁石が車線に沿って設けられている。また、車線沿いには地物Ｔ２として街路樹（樹木）が設けられている。更に、進行方向の奥には地物Ｔ３、Ｔ４としてビルがある。このビルは所定の高さ以上であるものとする。

図４下段は、図４上段内で検出された地物等の表示態様を変更した例である。図４下段について、図４上段で縁石である地物Ｔ１の部分は、所定の色彩または色彩や光を表現した図形が道路の進行方向に沿って移動（矢印ＡＲ）するような表示態様Ｐ１となる。また、樹木である地物Ｔ２の部分は、凸形状や矩形等の図形を高さ方向に並べて、樹木をデフォルメした形状の表示態様Ｐ２となる。また、ビルである地物Ｔ３、Ｔ４の部分は、その縁部において、高さ方向に色彩または色彩や光を表現した図形が移動するような表示態様Ｐ３となる。

なお、道路に沿って設けられているものとしては、縁石に限らず、ガードレール、白線であってもよい。また、図２の地物データ５ａには、縁石や白線といった区別をつけずに「道路に沿って設けられているもの」という名称を付与してもよい。また、所定の高さ以上であるものとしては、ビル等の建築物に限らず、樹木、電柱であってもよい。また、建築物、樹木といった区別をつけずに「所定の高さ以上であるもの」という名称を付与してもよい。この所定の高さは適宜定めればよい。

本実施例によれば、表示制御装置１は、ライダ２が点群情報を取得し、表示制御部３が点群情報に基づく画像を表示部４に表示させる際に、点群情報に含まれる地物に対して予め定められた属性に基づいて点群情報に基づく画像のうち地物に対応する部分の表示態様を変更する。このようにすることにより、点群情報に含まれる地物に応じて表示態様を変化させることができる。したがって、点群情報を利用して、エンタテインメント性を向上させることができる。

また、表示制御部３は、属性が縁石等の道路に沿って設けられているものと判定した場合、地物に対応する部分を、進行方向に沿って色彩の移動または色彩や光等を表現した図形が移動するように表示される表示態様としている。このようにすることにより、道路に沿って設けられているものについて、走行状態をイメージした、または、奥行き感をイメージした表示態様とすることができる。

また、表示制御部３は、属性がビル等の所定以上の高さを有するものと判定した場合は、地物に対応する部分を、当該地物の高さ方向に沿って色彩が変化または色彩や光等を表現した図形が移動するように表示される表示態様としてもよい。このようにすることにより、高層ビル等の所定以上の高さがある地物については、その高さを生かした表示態様とすることができる。

また、地物データ５ａは、車両の周囲の地物を複数の点により表した点群情報に基づく画像を表示させる際に、その画像に含まれる地物に対応する部分の表示態様５ａ４を含んでいる。このようにすることにより、この地物データ５ａを参照することで、点群情報に基づく画像を表示させる際の地物の表示態様の決定を容易にすることができる。したがって、点群情報に含まれる地物に応じて表示態様を変化させることができ、点群情報を利用して、エンタテインメント性を向上させることができる。

また、地物データ５ａには、地物の名称５ａ３を更に含んでもよい。このようにすることにより、地物の名称に基づいて表示態様を定めることができる。

なお、上記した実施例では地物の属性として、道路に沿って設けられているもの（白線、縁石、ガードレール等）や所定以上の高さを有するもの（ビル、街路樹（樹木）、電柱）を挙げて説明したが、本発明はこれに限定されない。当該地物が静的地物か動的地物かという情報を属性として設定してもよい。静的地物としては、例えば白線や建築物等が挙げられる。動的地物としては周辺車両、人物等が挙げられる。静的地物と動的地物の識別は、地図データと点群情報とをマッチングした場合にマッチングした地物は地図上にあることから静的地物とし、マッチングしないものは動的地物として判定すればよい。

次に、本発明の第２の実施例にかかる表示制御装置を図５〜図７を参照して説明する。なお、前述した第１の実施例と同一部分には、同一符号を付して説明を省略する。

第１の実施例では、地物データ５ａは、予め表示制御装置１の記憶部５に記憶されていたが、本実施例では、地物データがサーバ装置１０から配信されるようになっている。図５に本実施例の概略構成図を示す。即ち、本実施例においてはサーバ装置１０が記憶装置として機能する。

本実施例にかかる記憶装置としてのサーバ装置１０は、図５に示したように、インターネット等のネットワークＮを介して自動運転車両である車両Ｃに搭載されている端末装置としての表示制御装置１Ａと通信可能となっている。サーバ装置１０の機能的構成を図６に示す。サーバ装置１０は、制御部１１と、通信部１２と、記憶部１３と、を備えている。

制御部１１は、サーバ装置１０のＣＰＵ（Central Processing Unit）が機能し、サーバ装置１０の全体制御を司る。制御部１１は、表示制御装置１Ａからの要求に応じて、記憶部１３に記憶されている地物データ１３ａから必要な領域の地物データを読み出して、通信部１２を介して表示制御装置１Ａに配信する。

通信部１２は、サーバ装置１０のネットワークインターフェース等が機能し、表示制御装置１Ａが出力した要求情報等を受信する。また、制御部１１が地物データ１３ａから読み出した地物データを表示制御装置１Ａに送信する。

記憶部１３は、サーバ装置１０のハードディスク等の記憶装置が機能し、地物データ１３ａが記憶されている。なお、サーバ装置１０は、地物データ１３ａの配信に限らず、自動運転に利用する地図データ有し、当該地図データを車両へ配信してもよい。

図７に本実施例にかかる表示制御装置１Ａのブロック構成を示す。図７に示したブロック構成は、図１に対して、通信部６が追加されており、表示制御部３が表示制御部３Ａに変更されている点が異なる。

通信部６は、表示制御部３Ａが出力した要求情報等をサーバ装置１０に送信する。また、サーバ装置１０から配信された地物データを受信する。

表示制御部３Ａにおいて、座標変換、属性判定、表示態様の加工等の処理は、第１の実施例と同様である。表示制御部３Ａはこれらに加えて、通信部６を介した地物データの要求及び通信部６が受信した地物データの記憶部５への格納を行う。地物データの要求は、例えば車両Ｃに搭載された不図示のＧＰＳ（Global Positioning System）受信機が取得した現在位置に基づいて行えばよい。

本実施例によれば、サーバ装置１０は、車両Ｃに設けられた表示制御装置１Ａに、地物データを出力する通信部１２を備えている。このようにすることにより、車両Ｃに対して地物データを配信することができる。したがって、車両Ｃは、地物データを予め有する必要が無く、車両Ｃが有する記憶装置の容量を削減することができる。また、地物データ５ａの更新も容易に行うことができる。

次に、本発明の第３の実施例にかかる表示制御装置を図８〜図１１を参照して説明する。なお、前述した第１の実施例と同一部分には、同一符号を付して説明を省略する。

本実施例は、地物の属性等によらずに、ライダ２で検出した点群の距離と高さの情報に基づいて表示態様を変化させる。図８に本実施例にかかる表示制御装置１Ｂのブロック構成を示す。図８に示したブロック構成は、図１に対して、表示制御部３が表示制御部３Ｂに変更されている点が異なる。

表示制御部３Ｂは、ライダ２が取得した点群情報のうち、距離情報と高さ情報に基づいて、点群の表示態様を変化させる。具体的には、ライダ２が取得した点群の距離や高さに応じて色等を変化させる。ライダ２は、上記したように、物体までの距離を測定することができるが、その時にレーザ光を照射した角度（水平角、垂直角）も取得することができる。したがって、距離と角度から物体（点群）の高さ（地上高）を求めることが可能である。

図９に距離ごとの色の設定例を示す。図９の場合、自車から０ｍ以上１０ｍ未満の範囲が色Ａ、自車から１０ｍ以上３０ｍ未満の範囲が色Ｂ、自車から３０ｍ以上５０ｍ未満の範囲が色Ｃ、自車から５０ｍ以上の範囲が色Ｄとなっている。

図１０に高さごとの色の設定例を示す。図１０の場合、高さが地上０ｍ以上１０ｍ未満の範囲が色Ａ、地上１０ｍ以上５０ｍ未満の範囲が色Ｂ、地上５０ｍ以上１００ｍ未満の範囲が色Ｃ、地上１００ｍ以上の範囲が色Ｄとなっている。

なお、表示態様として色を変化させるに限らず、コントラストを変化させるようにしてもよい。また、距離と高さを組み合わせて色やコントラストを変化させてもよい。

また、表示態様としては、点群の色やコントラストを変化させるに限らず、例えば図４下段のようなデフォルメを行った上で上記した距離や高さに応じて色やコントラストを変化させるようにしてもよい。さらには、色やコントラストではなく、距離や高さによってエフェクトの種類を変更するようにしてもよい。

図１１に本実施例の表示制御装置１Ｂにおける動作（表示制御方法）を示す。図１１に示したフローチャートは表示制御部３Ｂで実行される。したがって、表示制御部３ＢをＣＰＵ等を有するマイクロコンピュータ等で構成することで、表示制御方法を実行する表示制御プログラムとすることができる。

図１１のフローチャートにおいて、ステップＳ１１、Ｓ１２、Ｓ１５は図３に示したフローチャートと同様である。図１１のフローチャートは、図３に示したステップＳ１３が省略され、ステップＳ１４がステップＳ１４Ａに変更されている。

ステップＳ１４Ａは、上述したように、ライダ２が取得した点群情報のうち、距離情報と高さ情報に基づいて点群の表示態様を決定する。即ち、ステップＳ１２が点群情報取得工程、ステップＳ１４Ａが表示制御工程となる。

本実施例によれば、表示制御装置１Ｂは、ライダ２が地物までの距離情報及び当該地物の高さ情報を含む点群情報を取得し、表示制御部３Ｂが距離情報及び高さ情報に基づいて点群情報に基づく画像の表示態様を変化させる。このようにすることにより、点群情報に含まれる距離等の情報に基づいて表示態様を変化させることが可能となる。例えば、距離に応じてエフェクトを変化させることができる。したがって、点群情報を利用して、エンタテインメント性を向上させることができる。

また、表示制御部３Ｂは、距離情報及び高さ情報に基づいて角度情報を求め、角度情報に基づいて点群情報に基づく画像の表示態様を変化させてもよい。このようにすることにより、点群情報に含まれる点群の角度に基づいてエフェクト等の表示態様を変化させることが可能となる。

また、表示態様の変化には、色の変化やコントラストの変化を含み、表示制御部は、点群情報に基づく画像の色やコントラストを変化させてもよい。このようにすることにより、距離や高さに応じて色やコントラストを変化させて表示することができる。

また、上述した３つの実施例では、ライダ２で取得した点群情報をリアルタイムに表示制御部３等で処理していたが、図１２に示すように、点群情報を点群情報５ｂとして記憶部５に予め記憶させ、表示制御部３Ｃが、現在位置推定部７で推定した現在位置に対応する点群情報を記憶部５から読み出して所定の加工を施すようにしてもよい。即ち、図１２の場合は表示制御部３Ｃが点群情報取得部として機能する。図１２の構成の場合、点群情報が予め記憶されていることから周辺車両等の動的地物は、現実の状況と異なるため、例えば静的地物のみを表示するようにしてもよい。

現在位置推定部７は、表示制御装置１Ｃが搭載される車両の現在位置を推定する。現在位置推定部７は、例えばＧＰＳ受信機により構成され、ＧＰＳ衛星から受信した電波により現在位置を表す緯度及び経度の位置情報を推定すればよい。

なお、図１２では、表示制御装置１Ｃが記憶部５を備えているが、このような３Ｄデータはデータ量が多いので外部サーバ等に格納し、外部サーバと通信する通信装置を備えて、表示制御部３Ｃが、通信装置を介して点群情報を取得するようにしてもよい。

また、ライダ２が取得した点群情報には、車両の周囲に存在する物体を示す情報、例えば利用者であるドライバーが注意すべき歩行者や、他車両を示す情報が含まれている。したがって、当該点群情報を利用してエンタテインメント性を持った画像を表示させることで、ドライバーは当該画像を楽しみつつ、注意すべき物体等を監視することができる。これに伴い、ドライバーが持つ安心感を向上させることができることとなる。

また、本発明は上記実施例に限定されるものではない。即ち、当業者は、従来公知の知見に従い、本発明の骨子を逸脱しない範囲で種々変形して実施することができる。かかる変形によってもなお本発明の表示制御装置の構成を具備する限り、勿論、本発明の範疇に含まれるものである。

１、１Ａ、１Ｂ、１Ｃ 表示制御装置
２ ライダ（点群情報取得部）
３、３Ａ、３Ｂ、３Ｃ 表示制御部
４ 表示部
５ 記憶部
５ａ 地物データ（地図データ構造）
１０ サーバ装置
１３ａ 地物データ（地図データ構造）

Claims (5)

1. 移動体から地物までの距離情報及び当該地物の高さ情報を含む点群情報を取得する点群情報取得部と、
   前記距離情報及び前記高さ情報に基づいて、前記点群情報に基づく画像の表示態様を変化させる表示制御部と、
   を備えることを特徴とする表示制御装置。
2. 前記表示態様の変化には、色の変化を含み、
   前記表示制御部は、前記点群情報に基づく画像の色を変化させることを特徴とする請求項１に記載の表示装置。
3. 前記表示態様の変化には、コントラストの変化を含み、
   前記表示制御部は、前記点群情報に基づく画像のコントラストを変化させることを特徴とする請求項１に記載の表示装置。
4. 移動体に配置された表示部に画像を表示させる表示制御装置で実行される表示制御方法であって、
   前記移動体から地物までの距離情報及び当該地物の高さ情報を含む点群情報を取得する点群情報取得工程と、
   前記距離情報及び前記高さ情報に基づいて、前記点群情報に基づく画像の表示態様を変化させる表示制御工程と、
   を含むことを特徴とする表示制御方法。
5. 請求項４に記載の表示制御方法を、コンピュータにより実行させることを特徴とする表示制御プログラム。

Images