JP2019021034A - 表示装置 - Google Patents

Abstract

【課題】没入感を得られ飽きられにくい表示をする表示装置を提供する。【解決手段】表示装置１は、レーザ光等の光を照射して、その光の反射光により車両の周囲の地物情報を取得するライダなどの地物検出センサ２を用いて点群情報を取得するか、または、現在位置取得部が取得した現在位置に基づいて、点群情報を予め記憶する記憶部から点群情報を取得し、取得した点群情報を、プロジェクタ４が車両の内部から外部の景色に重畳させてフロントガラス２０に表示させる。【選択図】図１

Description

本発明は、移動体に搭載される表示装置に関する。

音楽の再生機能を搭載した機器の中には、いわゆるビジュアライザー機能を有するものがある。ビジュアライザー機能は、楽曲などのコンテンツの再生時に、色や形態等が変化する画像によって視覚的な効果を与える機能である（例えば、特許文献１を参照）。

特開２００６−１９７５０８号公報

この種の音楽の再生機能を搭載した機器は、移動体として例えば自動車等の車両であればカーオーディオとして搭載されることがある。車両の場合、現状センターコンソール等表示画面の大きさが限定されるので、上記したビジュアライザー機能による視覚的な効果を表示させても没入感が得られにくい。

また、従来のビジュアライザーは、一定の形状を楽曲等に合わせて一定の法則により変化させるものであるため飽きられやすい。また、今後自動運転機能を搭載した車両において、自動運転中の移動時間を乗員が楽しく過ごせるようなコンテンツ等の提供が期待されている。

本発明が解決しようとする課題としては、上述したような没入感を得られ飽きられにくく、移動時間を楽しく過ごせるような表示をすることが一例として挙げられる。

上記課題を解決するために、請求項１に記載の発明は、移動体の周囲の地物を複数の点により表した点群情報を取得する点群情報取得部と、前記移動体の外部の景色に重畳させて前記点群情報に基づく画像を表示可能な表示面に表示させる表示部と、を備えることを特徴としている。

請求項１１に記載の発明は、移動体に搭載される表示装置で実行される表示方法であって、前記移動体の周囲の地物を複数の点により表した点群情報を取得する点群情報取得工程と、前記移動体の内部から外部の景色に重畳させて前記点群情報に基づく画像を表示可能な表示面に表示させる表示工程と、を含むことを特徴としている。

請求項１２に記載の発明は、請求項１１に記載の表示方法を、コンピュータにより実行させることを特徴としている。

請求項１３に記載の発明は、移動体の周囲の地物を撮像した撮像情報を取得する撮像情報取得部と、前記移動体の外部の景色に重畳させて前記撮像情報に基づく画像を表示可能な表示面に表示させる表示部と、を備えることを特徴としている。

本発明の第１の実施例にかかる表示装置の概略構成図である。 図１に示された表示処理部の動作のフローチャートある。 表示される点の変化の例を示した説明図である。 図１に示された表示装置による表示のイメージ図である。 本発明の第２の実施例にかかる表示装置の概略構成図である。 本発明の第３の実施例にかかる表示装置の概略構成図である。 本発明の第４の実施例にかかる表示装置の概略構成図である。 本発明の第５の実施例にかかる表示装置の概略構成図である。 本発明の第６の実施例にかかる表示装置の概略構成図である。 本発明の第７の実施例にかかる表示装置の概略構成図である。

以下、本発明の一実施形態にかかる表示装置を説明する。本発明の一実施形態にかかる表示装置は、点群情報取得部が移動体の周囲の地物を複数の点により表した点群情報を取得する。そして、表示部が移動体の内部から外部の景色に重畳させて点群情報に基づく画像を表示可能な表示面に表示させる。このようにすることにより、点群情報に含まれる点を景色に重畳して表示させることができるので没入感を得られ易くなる。また、周囲の景色に応じた点群情報に基づく画像を表示するので、一定のパターンになることが少なく飽きられにくく、移動時間を楽しく過ごせるような表示をすることができる。

また、光を照射して、その光の反射光により移動体の周囲の地物情報を取得するセンサにより構成されてもよい。このようにすることにより、移動中に取得した周囲の地物の点群情報を景色に合わせてリアルタイムに画像として表示させることができる。したがって、より景色と点群情報との差が少なくなり、より没入感が得られ易くできる。

また、移動体の現在位置を推定する現在位置推定部を備え、点群情報取得部は、現在位置情報取得部が取得した現在位置に基づいて、点群情報を予め記憶する記憶部から取得してもよい。このようにすることにより、センサ等を備えない移動体でも点群情報を表示させることができる。また、点群情報を取得するための処理を省略することができるので、処理の簡素化を図ることができる。

また、楽曲の特徴に関する特徴情報を取得する特徴情報取得部を備え、表示部は、特徴情報に基づいて点群情報に基づく画像を変化させて表示面に表示させてもよい。このようにすることにより、楽曲のテンポ等に合わせて点群情報に含まれる点の表示を変化させることができる。したがって、従来のビジュアライザーよりも没入感を得られるようになる。また、楽曲の特徴情報に応じて点群情報の形状や色等の変化をさせるので、楽曲に合わせて乗員の気分を高揚させたり、気分を落ち着かせたりするような表示をすることができる。

また、移動体の乗員の生体情報を取得する生体情報取得部を備え、表示部は、生体情報に基づいて点群情報に基づく画像を変化させて表示面に表示させてもよい。このようにすることにより、乗員の心拍数や脈拍数等の生体情報により乗員の気分や体調に応じて点群情報に含まれる点の表示を変化させることができる。

また、移動体に関する移動体情報を取得する移動体情報取得部を備え、表示部は、移動体情報に基づいて点群情報に基づく画像を変化させて表示面に表示させてもよい。このようにすることにより、移動体の速度や加速度等の移動体情報に応じて点群情報に含まれる点の表示を変化させることができる。

また、移動体の周囲環境に関する環境情報を取得する環境情報取得部を備え、表示部は、環境情報に基づいて点群情報に基づく画像を変化させて表示面に表示させてもよい。このようにすることにより、例えば天候や時間帯等の環境情報により点群情報に含まれる点の表示を変化させることができる。

また、表示部は、点群情報に含まれる点の色を変化させた画像を表示面に表示させてもよい。このようにすることにより、楽曲や生体情報に合わせて点の色を変化させることができるため、多彩な表示をすることができる。

また、表示部は、点群情報に含まれる点の形態を変化させた画像を表示面に表示させてもよい。このようにすることにより、楽曲や生体情報に合わせて点の色を変化させることができるため、多彩な表示をすることができる。

また、表示部は、点群情報に基づく画像に含まれる点を点滅させて表示面に表示させてもよい。このようにすることにより、楽曲や生体情報に合わせて点を点滅させることができるため、多彩な表示をすることができる。

また、本発明の一実施形態にかかる表示方法は、点群情報取得工程で移動体の周囲の地物を複数の点により表した点群情報を取得する。そして、表示工程で移動体の内部から外部の景色に重畳させて点群情報に基づく画像を表示可能な表示面に表示させる。このようにすることにより、点群情報に含まれる点を景色に重畳して表示させることができるので没入感を得られ易くなる。また、周囲の景色に合わせた点群情報を表示するので、一定のパターンとなることが少なく飽きられにくく、移動時間を楽しく過ごせるような表示をすることができる。

また、上述した表示方法をコンピュータにより実行させる表示プログラムとしてもよい。このようにすることにより、点群情報を景色に重畳して表示させることができるので没入感を得られ易くなる。また、周囲の景色に合わせた点群情報を表示するので、一定のパターンとなることが少なく飽きられにくく、移動時間を楽しく過ごせるような表示をすることができる。

本発明の他の実施形態にかかる表示装置は、撮像情報取得部が移動体の周囲の地物を撮像した撮像情報を取得する。そして、表示部が移動体の内部から外部の景色に重畳させて撮像情報に基づく画像を表示可能な表示面に表示させる。このようにすることにより、撮像情報に含まれる物体のエッジや面等を景色に重畳して表示させることができるので没入感を得られ易くなる。また、周囲の景色に応じた撮像情報に基づく画像を表示するので、一定のパターンになることが少なく飽きられにくく、移動時間を楽しく過ごせるような表示をすることができる。

本発明の第１の実施例にかかる表示装置を図１〜図４を参照して説明する。表示装置１は、図１に示したように、地物検出センサ２と、表示処理部３と、プロジェクタ４と、楽曲取得部５と、楽曲解析部６と、を備えている。また、図１に示した表示装置は、移動体の例として自動車等の車両に搭載されているものとする。

点群情報取得部としての地物検出センサ２は、自車の周辺に存在する地物を認識するためのセンサであり、本実施例では、周辺に存在する地物の点群情報を得るためにライダ（ＬｉＤＡＲ：Light Detection And Ranging）で構成されている。ライダは、レーザ光等の光を照射してその光の反射光により、外界に存在する物体までの距離を離散的に測定し、当該物体の位置や形状等を３次元の点群として認識する公知のセンサである。したがって、ライダで取得された点群は車両が移動する周囲に存在する建物や道路等の構造物を含む地物を複数の点により３次元状に表した情報（点群情報）となる。尚、地物検出センサ２は、自車が走行している道路上の標識や道路に沿って存在する建築物や街路樹等の地物以外にも、自車の周辺に存在する歩行者や他車両等を地物として認識してもよい。

表示処理部３は、地物検出センサ２が取得した点群情報を、地物検出センサ２が点群情報を取得した状態の座標系（車両座標系）から点群情報を表示させる車両のフロントガラス２０に表示するための座標系（表示座標系）に変換する。車両座標系とは車両（地物検出センサ２）を基準とした座標系である。表示座標系とは、表示面としてのフロントガラス２０上に定義されている２次元の座標系である。表示処理部３は、この３次元の車両座標系から２次元の表示座標系へ変換する。この座標変換はいわゆるビュー座標系からスクリーン座標系への変換等の周知の座標変換方法を用いることができる。

また、表示処理部３は、表示座標系に変換された点群情報を楽曲解析部６で解析された結果に基づいて加工して点群情報に基づく画像としてプロジェクタ４に出力する。具体例としては、音量（音圧）、ＢＰＭ（Beats Per Minute）、周波数スペクトル、ジャンル等に応じて変化させる。変化の内容としては、点群情報に含まれる要素である各点の色を変化させる、点の大きさや点（丸形）から星型等他の形等へ変化させる、あるいは点を点滅させる等が挙げられる。

表示部としてのプロジェクタ４は、表示処理部３で加工された点群情報に基づく画像を車両のフロントガラス２０に投射して表示させる。プロジェクタ４は、車両の車室内の例えば天井やフロントガラス２０の下端部近傍のダッシュボード等に設置されている。本実施例では、地物検出センサ２で取得した点群情報を座標変換や加工等を施して表示するので、リアルタイムに取得した点群情報に基づく画像を表示させている。

楽曲取得部５は、現在例えばカーオーディオ等により車内で再生されている楽曲データ等を取得する。なお、楽曲取得部５が楽曲データを取得するのはカーオーディオに限らず、近距離無線通信等により接続された携帯音楽再生機器や音楽再生機能を有するスマートフォン等でもよい。あるいは、外部ネットワークから配信される楽曲データであってもよい。

楽曲解析部６は、楽曲取得部５が取得した楽曲データについて特徴量の解析をする。特徴量としては、楽曲をメロディ、コード等に細分化して、音量（音圧）、テンポ（ＢＰＭ：Beats Per Minute）、周波数スペクトル等を解析する等の周知の方法で行えばよい。このようにして得られた特徴量が特徴情報となる。即ち、楽曲解析部６が特徴情報を取得する特徴情報取得部として機能する。また、楽曲データ内部のタグデータ等によりＢＰＭやジャンル等の情報が含まれる場合は、そのタグデータに含まれる情報を特徴情報として利用してもよい。

次に、上述した構成の表示装置１における動作（表示方法）について図２のフローチャートを参照して説明する。図２に示したフローチャートは表示処理部３で実行される。したがって、表示処理部３をＣＰＵ等を有するマイクロコンピュータ等で構成することで、表示方法を実行する表示プログラムとすることができる。

まず、自動運転中か否かを判断して自動運転中である場合は、以下のステップを実行する（ステップＳ１：Ｙ）。一方、手動運転中である場合は運転の妨げになるので以下のステップは実行せずに終了する（ステップＳ１：Ｎ）。自動運転中か否かは、外部から自動運転を示す信号等を取得すればよい。

次に、地物検出センサ２が取得した点群情報を取得し（ステップＳ２）、楽曲解析部６で解析された解析結果（ＢＰＭ、周波数スペクトル等）を取得する（ステップＳ３）。このステップＳ２が点群情報取得工程となる。

次に、ステップＳ１で取得した点群情報について上述した車両座標系から表示座標系への座標変換を行い（ステップＳ４）、表示座標系に変換された点群情報についてステップＳ３で取得した解析結果に基づいて点群情報に含まれる各点について加工を施して（ステップＳ５）、プロジェクタ４に出力する（ステップＳ６）。このステップＳ６は、プロジェクタ４に加工後の点群情報に基づく画像を出力しており、プロジェクタ４ではその点群情報に基づく画像を投射しているので表示工程となる。

加工の例について図３を参照して説明する。図３は、点群情報に含まれる点の１つを示したものである。図３上段は、点の大きさを変化させる例である。つまり、形態を変化させる例である。形態の変化については、大きさに限らず、丸形から星形に変化させる等の形状自体を変化させてもよい。また、変化のタイミングは例えば上記したＢＰＭで表されたテンポや音量等に合わせて行えばよい。

図３中段は、点の色を変化させたものである。色についてもＢＰＭで表されたテンポに合わせて行うことができる。例えばジャンルによって暖色系を中心に使用するや、寒色系を中心に使用するなど使用する色を解析結果により選択してもよい。また、色の変化には輝度の変化も含むものとする。つまり、各点の輝度を変化させてもよい。

図３下段は、点を点滅されたものである。破線が消えている状態を示す。この場合もＢＰＭで表されたテンポに合わせて行うことができる。さらに、図３に示した加工はそれぞれを組み合わせてもよい。例えば、形態と色の変化を組み合わせてもよい。

また、図３は１つの点についての加工であるが、例えば、フロントガラス２０（表示面）に表示された点群について、表示面の一方から他方へ向かって形態や色を順次変化させることで、ウェーブのような表示をすることができる。この場合も楽曲の解析結果を利用して変化させるとよい。例えば、楽曲解析でイントロやサビ等の楽曲の構成が判明している場合であれば、サビ等の盛り上がる部分でこのようなウェーブをすることで、乗員の気分を高揚させることができる。このように、フロントガラス２０に表示される点群情報に基づく画像は、一斉に同じような変化をしなくてもよくタイミングをずらしたり、一部のみを変化させるなどとしてもよい。

さらには、取得した点群そのまま画像として表示させる他に、点の増減や、点群情報に基づいて例えば点群で示される物体の外形線で表現したりする等の加工を施してもよい。

図４は、表示装置１についてフロントガラス２０に表示したイメージ図である。図４において丸で示したものが点群である（一部に符号Ｄを付与する）。実際の点Ｄは、図示したものよりも小さく数も多いが、説明を容易にするために大きさを大きくし数を少なくして示している。この図４においては、プロジェクタ４は、車内からフロントガラス２０越しに見える景色（樹木）に重畳させて点群情報に基づく画像を表示させている。

本実施例によれば、表示装置１は、光を照射して、その光の反射光により車両の周囲の地物情報を取得する地物検出センサ２で点群情報を取得し、プロジェクタ４が車両の内部から外部の景色に重畳させて点群情報に基づく画像をフロントガラス２０に表示させる。このようにすることにより、点群情報に含まれる点を景色に重畳して表示させることができるので従来のビジュアライザーよりも没入感を得られるようになる。また、周囲の景色に応じた点群情報に基づく画像を表示するので、一定のパターンになることが少なく飽きられにくく、自動運転中も移動時間を楽しく過ごせるような表示をすることができる。また、地物検出センサ２で取得した点群情報を景色に合わせてリアルタイムに画像として表示させることができる。

また、楽曲の特徴量に応じて点群情報の形状や色等の変化をさせるので、楽曲に合わせて乗員の気分を高揚させたり、気分を落ち着かせたりするような表示をすることができる。

また、プロジェクタ４は、点群情報に含まれる点の色を変化させた画像を表示させてもよい。また、プロジェクタ４は、点群情報に含まれる点の形態を変化させた画像を表示させてもよい。さらに、プロジェクタ４は、点群情報に基づく画像に含まれる点を点滅させて表示させてもよい。このようにすることにより、楽曲や生体情報に合わせて色や形態を変化させたり点滅させることができるため、多彩な表示をすることができる。

次に、本発明の第２の実施例にかかる操作入力装置を図５を参照して説明する。なお、前述した第１の実施例と同一部分には、同一符号を付して説明を省略する。

本実施例にかかる表示装置１Ａは、図１の構成から地物検出センサ２が削除され、現在位置推定部７と、記憶部８と、が追加され、表示処理部３が表示処理部３Ａとなっている。

現在位置推定部７は、表示装置１Ａが搭載される車両の現在位置を推定する。現在位置推定部７は、例えばＧＰＳ（Global Positioning System）受信機により構成して、ＧＰＳ衛星から受信した電波により現在位置を表す緯度及び経度の位置情報を推定すればよい。

記憶部８は、予め点群情報が記憶されている。この記憶部８に記憶されている点群情報は、実施例１で説明した車両座標系ではなく、地物が点群で構成された３Ｄ（３次元）の地図として構成されている。本実施例では、この記憶部８に記憶されている座標系を絶対座標系と呼ぶ。

表示処理部３Ａは、現在位置推定部７で推定された現在位置に対応する点群情報を記憶部８から読み出して絶対座標系から表示座標系に変換する。即ち、本実施例では、表示処理部３Ａが、現在位置取得部７が取得した現在位置に基づいて、点群情報を予め記憶する記憶部８から取得する点群情報取得部として機能する。また、表示処理部３Ａは、第１の実施例と同様に表示座標系に変換された点群情報を楽曲解析部６で解析された結果に基づいて加工して、点群情報に基づく画像としてプロジェクタ４に出力する。

なお、本実施例では、表示装置１Ａが記憶部８を備えているが、このような３Ｄデータはデータ量が多いので外部サーバ等に格納し、外部サーバと通信する通信装置を備えて、表示処理部３Ａが、通信装置を介して点群情報を取得するようにしてもよい。

また、記憶部８は３Ｄデータではなく、２Ｄ（２次元：表示座標系）に変換後のデータを格納するようにしてもよい。その場合は、表示処理部３Ａにおける座標変換等の処理を軽減することができる。

本実施例によれば、車両の現在位置を取得する現在位置推定部７を備え、表示処理部３Ａは、現在位置推定部７が取得した前記現在位置に基づいて、点群情報を予め記憶する記憶部８から取得している。このようにすることにより、ライダ等のセンサを備えない移動体でも点群情報を表示させることができる。また、点群情報を取得するための処理を省略することができるので、処理の簡素化を図ることができる。

なお、上記説明した第１の実施例及び第２の実施例においては、現在位置に合った点群情報をフロントガラス２０に表示することで、フロントガラス２０から見える景色とマッチした点群情報を表示させることができるが多少ずれた位置の点群情報を表示してもよい。本実施例等に示した表示は視覚的効果を狙ったものであるので、厳密に位置が合っていなくても視覚的効果を得ることができればよい。

次に、本発明の第３の実施例にかかる操作入力装置を図６を参照して説明する。なお、前述した第１、第２の実施例と同一部分には、同一符号を付して説明を省略する。

本実施例にかかる表示装置１Ｂは、図１の構成から楽曲取得部５及び楽曲解析部６を削除して生体センサ９を備え、表示処理部３が表示処理部３Ｂとなっている。

生体情報取得部としての生体センサ９は、乗員の心拍数や脈拍数等の生体情報を取得することができるセンサである。この生体センサ９は、例えば車両の座席に内蔵されていてもよいし、腕時計型等の乗員が身に着ける形態のもの（ウェアラブル機器）でもよい。なお、本実施例では、生体情報を取得する乗員は１名として説明するが、例えば複数名の生体情報を取得し、その平均値や最大値或いは最低値を利用することとしてもよい。

表示処理部３Ｂは、第１の実施例と同様に、地物検出センサ２が取得した点群情報を、車両座標系から表示座標系に変換する。また、表示処理部３Ｂは、表示座標系に変換された点群情報を生体センサ９で取得した生体情報に基づいて加工して、点群情報に基づく画像としてプロジェクタ４に出力する。

本実施例では、第１の実施例のように楽曲に合わせて点群を変化させるのではなく、生体センサ９で取得した例えば心拍数に合わせて点群に含まれる形態や色等を変化させる。例えば、心拍数と同じテンポで点群の形態や色等を変化させることができる。或いは、心拍数が高いときは落ち着くような色にしたり、心拍数が低いときは気分が高揚するような色にすることもできる。

本実施例によれば、車両の乗員の生体情報を取得する生体センサ９を備え、プロジェクタ４は、生体情報に基づいて点群情報に基づく画像を変化させて表示させている。このようにすることにより、乗員の心拍数や脈拍数等の生体情報により乗員の気分や体調に応じて点群情報に含まれる点の表示を変化させることができる。また、楽曲の再生がされていなくても点群情報に基づく画像の表示ができ、例えば自動運転中におけるパーソナルコンピュータのスクリーンセーバーのような利用方法が可能となる。

次に、本発明の第４の実施例にかかる操作入力装置を図７を参照して説明する。なお、前述した第１〜第３の実施例と同一部分には、同一符号を付して説明を省略する。

本実施例にかかる表示装置１Ｃは、図１の構成から楽曲取得部５及び楽曲解析部６を削除して車両センサ１０を備え、表示処理部３が表示処理部３Ｃとなっている。

移動体情報取得部としての車両センサ１０は、車両の速度を検出する速度センサや車両の加速度を検出する加速度センサ等の車両情報（移動体情報）を取得することができるセンサを含んでいる。この車両センサ１０は、車両が予め備えているセンサを利用してもよいし、カーナビゲーション装置等の車載機器やカーナビゲーション機能を有する携帯機器等が有するセンサを利用してもよい。

表示処理部３Ｃは、第１の実施例と同様に、地物検出センサ２が取得した点群情報を、車両座標系から表示座標系に変換する。また、表示処理部３Ｃは、表示座標系に変換された点群情報を生体センサ９で取得した車両情報に基づいて加工して、点群情報に基づく画像としてプロジェクタ４に出力する。

本実施例では、第１の実施例のように楽曲に合わせて点群を変化させるのではなく、車両センサ１０で取得した例えば走行速度に合わせて点群に含まれる形態や色等を変化させる。例えば、走行速度が速くなるにしたがって点滅速度が速くなったり、速度に応じて色の種類を変化させることができる。

本実施例によれば、車両に関する車両センサを備え、プロジェクタ４は、車両情報に基づいて点群情報に基づく画像を変化させて表示させている。このようにすることにより、車両の速度や加速度等の移動体に関する情報に応じて点群情報に含まれる点の表示を変化させることができる。また、楽曲の再生がされていなくても点群情報に基づく画像の表示ができ、例えば自動運転中におけるパーソナルコンピュータのスクリーンセーバーのような利用方法が可能となる。

次に、本発明の第５の実施例にかかる操作入力装置を図８を参照して説明する。なお、前述した第１〜第４の実施例と同一部分には、同一符号を付して説明を省略する。

本実施例にかかる表示装置１Ｄは、図１の構成から楽曲取得部５及び楽曲解析部６を削除して環境情報取得部１１を備え、表示処理部３が表示処理部３Ｄとなっている。

環境情報取得部１１は、例えば天候や時刻等の車両の周囲の環境情報を取得する。環境情報取得部１１は、例えば天候であれば、外部ネットワークを介して気象情報を配信しているサーバ等から取得すればよい。また、時刻であれば、車両が備える時計やカーナビゲーション装置等の車載機器が有する時計から取得すればよい。

表示処理部３Ｄは、第１の実施例と同様に、地物検出センサ２が取得した点群情報を、車両座標系から表示座標系に変換する。また、表示処理部３Ｄは、表示座標系に変換された点群情報を環境情報取得部１１で取得した環境情報に基づいて加工して、点群情報に基づく画像としてプロジェクタ４に出力する。

本実施例では、第１の実施例のように楽曲に合わせて点群を変化させるのではなく、環境情報取得部１１で取得した例えば天候や時刻に合わせて点群に含まれる形態や色等を変化させる。例えば、天候が雨の場合は寒色系の色を中心にして表示したり、時刻に合わせて色を変化させるようにすることができる。また、時刻に応じて点群に含まれる各点の輝度を変化させてもよい。

本実施例によれば、車両の周囲環境に関する環境情報取得部１１を備え、プロジェクタ４は、環境情報に基づいて点群情報を変化させて表示させている。このようにすることにより、例えば天候や時間帯等により点群情報に含まれる点の表示を変化させることができる。また、楽曲の再生がされていなくても点群情報に基づく画像の表示ができ、例えば自動運転中におけるパーソナルコンピュータのスクリーンセーバーのような利用方法が可能となる。

次に、本発明の第６の実施例にかかる操作入力装置を図９を参照して説明する。なお、前述した第１〜第５の実施例と同一部分には、同一符号を付して説明を省略する。

本実施例は、上述した第１、第３〜第５の実施例を組み合わせたものである。この場合、表示処理部３Ｅは、楽曲解析部６の解析結果と生体センサ９が検出した例えば心拍数と車両センサ１０が検出した例えば走行速度と環境情報取得部１１が取得した例えば天候や時刻とに応じて点群情報を加工する。

本実施例の構成の場合、例えば、楽曲のテンポ（ＢＰＭ）を基本として、心拍数が低い場合は変化の速度を遅くしたりすることができる。また、楽曲のテンポに応じて形態の変更や点滅をさせつつ走行速度や天候、時刻に応じて色を変化させることができる。

図９に示した表示装置１Ｅは、第１、第３〜第５の実施例を組み合わせているが、例えば第１の実施例と第３の実施例等、２以上の組み合わせであればよい。

本実施例によれば、楽曲が再生されている際に、楽曲の解析結果以外の生体情報、車両情報及び環境情報等の要因も組み合わせて点群情報の表示を変化させることができるので、より多彩な表示をすることができる。したがって、乗員を飽きさせることがない。

なお、上述した第３〜第６の実施例は、第１の実施例で説明した地物検出センサ２でリアルタイムに取得した点群情報を表示するもので説明したが、第２の実施例で説明した予め記憶部８に点群情報を記憶して現在位置推定部７で推定した現在位置に応じた点群情報を読み出して表示する構成に適用することもできる。

次に、本発明の第７の実施例にかかる操作入力装置を図１０を参照して説明する。なお、前述した第１〜第６の実施例と同一部分には、同一符号を付して説明を省略する。

第１〜第６の実施例では周辺センシングデータとして地物検出センサ２が検出した点群情報を利用していたが、本実施例では、周辺センシングデータとして周囲の地物を撮像した撮像情報を利用するために地物検出センサ２に代えてカメラ１２を備えている。また、表示制御部３が表示制御部３Ｆとなっている。

撮像情報取得部としてのカメラ１２は、例えば車両の進行方向にある地物等を撮像するために車内又は車外の所定位置に設置されている。カメラ１２は、動画像又は所定間隔で静止画像を撮像し、撮像情報として表示処理部３Ｆに出力する。

表示処理部３Ｆは、カメラ１２で撮像された撮像情報について、例えば撮像情報に含まれる要素として物体のエッジや面を抽出し、抽出したエッジや面について、第１の実施例と同様に楽曲解析部６で解析された結果に基づいて加工して撮像情報に基づく画像としてプロジェクタ４に出力する。

加工については、第１の実施例で例示した形態の変化、色の変化、点滅をすることができる。例えば形態の変化であれば、エッジの太さを変化させる、或いはエッジや面等からなる物体画像の縮小拡大等がある。また、色の変化であれば、エッジや面の色を変化させる、点滅であれば、エッジや面を点滅させる（一定周期で表示と消去を繰り返す）、といったことができる。

本実施例においても、第２の実施例のように、撮像情報を記憶部に記憶させても器ＧＰＳ受信機等の現在位置推定部７で推定された現在位置に応じた撮像情報を記憶部から読み出してもよい。

また、本実施例では、第３〜第５の実施例で示されたような、生体センサ９、車両センサ１０、環境情報取得部１１に基づいて加工することもできる。

本実施例によれば、表示装置１Ｆは、カメラ１２で撮像情報を取得し、プロジェクタ４が車両の内部から外部の景色に重畳させて撮像情報に基づく画像をフロントガラス２０に表示させる。このようにすることにより、撮像情報に含まれる地物のエッジや面を景色に重畳して表示させることができるので従来のビジュアライザーよりも没入感を得られるようになる。また、周囲の景色に応じた撮像情報に基づく画像を表示するので、一定のパターンになることが少なく飽きられにくく、自動運転中も移動時間を楽しく過ごせるような表示をすることができる。また、カメラ１２で取得した撮像情報を景色に合わせてリアルタイムに画像として表示させることができる。

また、上述した各実施例では、表示面として車両のフロントガラス２０に表示されるものとして説明したがそれに限らない。例えばサイドガラス（サイドウインドゥ）やリアガラス等に表示してもよい。または、ヘッドアップディスプレイに表示するようにしてもよい。要するに、車外の景色と重畳して表示できる表示面であればよい。

また、例えば乗員の視線検出用のセンサ（赤外線カメラ等）を設置して視線検出を行い、乗員が視線を移動させると、その移動した視線に応じて点群情報等に基づく画像等の表示の表示位置を追従させるようにしてもよい。例えば、視線の向きにより景色と表示されている点等とにずれが生じる場合は、そのずれの分を補正するようにする。

また、上述した各実施例では、移動体として車両で説明したが、電車等の鉄道車両の客室の窓や遊園地のアトラクション等の外の景色とその景色にかかる地物の点群情報を重畳的に表示させることが可能な窓ガラス等を有する移動体であれば適用可能である。

また、本発明は上記実施例に限定されるものではない。即ち、当業者は、従来公知の知見に従い、本発明の骨子を逸脱しない範囲で種々変形して実施することができる。かかる変形によってもなお本発明の表示装置の構成を具備する限り、勿論、本発明の範疇に含まれるものである。

１ 表示装置
１Ａ 表示装置
１Ｂ 表示装置
１Ｃ 表示装置
１Ｄ 表示装置
１Ｅ 表示装置
１Ｆ 表示装置
２ 地物検出センサ（点群情報取得部）
３ 表示処理部
３Ａ 表示処理部（点群情報取得部）
３Ｂ 表示処理部
３Ｃ 表示処理部
３Ｄ 表示処理部
３Ｅ 表示処理部
３Ｆ 表示処理部
４ プロジェクタ（表示部）
５ 楽曲取得部
６ 楽曲解析部（特徴情報取得部）
７ 現在位置推定部
８ 記憶部
９ 生体センサ（生体情報取得部）
１０ 車両センサ（移動体情報取得部）
１１ 環境情報取得部
１２ カメラ（撮像情報取得部）
２０ フロントガラス（表示面）
Ｓ２ 点群情報取得（点群情報取得工程）
Ｓ６ 出力（表示工程）

Claims (13)

1. 移動体の周囲の地物を複数の点により表した点群情報を取得する点群情報取得部と、
   前記移動体の外部の景色に重畳させて前記点群情報に基づく画像を表示可能な表示面に表示させる表示部と、
   を備えることを特徴とする表示装置。
2. 前記点群情報取得部は、前記移動体に搭載され、光を照射して、その光の反射光により前記移動体の周囲の地物情報を取得するセンサにより構成されることを特徴とする請求項１に記載の表示装置。
3. 前記移動体の現在位置を推定する現在位置推定部を備え、
   前記点群情報取得部は、前記現在位置取得部が取得した前記現在位置に基づいて、前記点群情報を予め記憶する記憶部から取得することを特徴とする請求項１に記載の表示装置。
4. 楽曲の特徴に関する特徴情報を取得する特徴情報取得部を備え、
   前記表示部は、前記特徴情報に基づいて前記点群情報に基づく画像を変化させて前記表示面に表示させる、
   ことを特徴とする請求項１乃至３のうちいずれか一項に記載の表示装置。
5. 前記移動体の乗員の生体情報を取得する生体情報取得部を備え、
   前記表示部は、前記生体情報に基づいて前記点群情報に基づく画像を変化させて前記表示面に表示させる、
   ことを特徴とする請求項１乃至４のうちいずれか一項に記載の表示装置。
6. 前記移動体に関する移動体情報を取得する移動体情報取得部を備え、
   前記表示部は、前記移動体情報に基づいて前記点群情報に基づく画像を変化させて前記表示面に表示させる、
   ことを特徴とする請求項１乃至５のうちいずれか一項に記載の表示装置。
7. 前記移動体の周囲環境に関する環境情報を取得する環境情報取得部を備え、
   前記表示部は、前記環境情報に基づいて前記点群情報に基づく画像を変化させて前記表示面に表示させる、
   ことを特徴とする請求項１乃至６のうちいずれか一項に記載の表示装置。
8. 前記表示部は、前記点群情報に含まれる点の色を変化させた画像を前記表示面に表示させることを特徴とする請求項４乃至７のうちいずれか一項に記載の表示装置。
9. 前記表示部は、前記点群情報に含まれる点の形態を変化させた画像を前記表示面に表示させることを特徴とする請求項４乃至８のうちいずれか一項に記載の表示装置。
10. 前記表示部は、前記点群情報に基づく画像に含まれる点を点滅させて前記表示面に表示させることを特徴とする請求項４乃至９のうちいずれか一項に記載の表示装置。
11. 移動体に搭載される表示装置で実行される表示方法であって、
    前記移動体の周囲の地物を複数の点により表した点群情報を取得する点群情報取得工程と、
    前記移動体の内部から外部の景色に重畳させて前記点群情報に基づく画像を表示可能な表示面に表示させる表示工程と、
    を含むことを特徴とする表示方法。
12. 請求項１１に記載の表示方法を、コンピュータにより実行させることを特徴とする表示プログラム。
13. 移動体の周囲の地物を撮像した撮像情報を取得する撮像情報取得部と、
    前記移動体の外部の景色に重畳させて前記撮像情報に基づく画像を表示可能な表示面に表示させる表示部と、
    を備えることを特徴とする表示装置。

Images