JP2019117054A

JP2019117054A - 表示制御装置

Info

Publication number: JP2019117054A
Application number: JP2017249684A
Authority: JP
Inventors: 真武下平; Masatake Shimodaira; 貴菊地; Takashi Kikuchi; 英記永田; Hideki Nagata; 拡昌橋本; Hiromasa Hashimoto; 純住田; Jun Sumida; 伸一郎 ▲高▼▲浜▼; Shinichiro Takahama; 智也大石; Tomoya Oishi
Original assignee: Pioneer Electronic Corp
Current assignee: Pioneer Corp
Priority date: 2017-12-26
Filing date: 2017-12-26
Publication date: 2019-07-18

Abstract

【課題】点群情報を利用して、エンタテインメント性を向上させることができる表示制御装置を提供する。【解決手段】表示制御装置１は、ライダ２が移動体の周囲の地物を複数の点により表した点群情報を取得し、楽曲解析部６が楽曲に関する楽曲情報を取得し、表示制御部３が点群情報に基づく画像を表示部４に表示させる。そして、表示制御部３は、取得した楽曲情報に基づいて画像の表示態様を変化させる。【選択図】図１

Description

本発明は、表示部に画像を表示する表示制御装置に関する。

従来、レーザレーダを用いて、車両の前方等の検出領域（すなわち、物体を検出するための対象となる領域）に存在する物体上の複数の点に対して３次元空間上の位置を取得し、その物体を認識する技術が提案されている。例えば、特許文献１には、前記位置が取得された点をクラスタリングしてクラスタ点群を取得し、そのクラスタ点群に係る測定量の時間的変動に基づき、クラスタ点群に対応する物体を識別することとしている。

特開２０１７−１５１０４３号公報

上述したように、レーザレーダ（以下、ＬｉＤＡＲ（Light Detection And Ranging）とも称する）は、移動体としての車両等の周辺に存在する物体の認識に用いられている。しかしながら、レーザレーダによって取得された情報（所謂点群情報）は、このような物体の認識以外に利用されてはいない。

一方で、今後自動運転機能を搭載した車両において、自動運転中の移動時間におけるエンタテインメント性の向上が期待されている。しかし、レーザレーダによって取得された情報を、エンタテインメント性の向上に利用するという思想は、従来は存在していなかった。

本発明が解決しようとする課題としては、所謂点群情報を利用して、エンタテインメント性を向上させることが一例として挙げられる。

上記課題を解決するために、請求項１に記載の発明は、移動体に配置された表示部に画像を表示させる表示制御装置であって、前記移動体の周囲の地物を複数の点により表した点群情報を取得する点群情報取得部と、楽曲に関する楽曲情報を取得する楽曲情報取得部と、前記点群情報に基づく画像を前記表示部に表示させる表示制御部と、を備え、前記表示制御部は、取得した前記楽曲情報に基づいて前記画像の表示態様を変化させる、ことを特徴としている。

請求項５に記載の発明は、移動体に配置された表示部の表示を制御する表示制御装置で実行される表示制御方法であって、前記移動体の周囲の地物を複数の点により表した点群情報を取得する点群情報取得工程と、楽曲に関する楽曲情報を取得する楽曲情報取得工程と、前記点群情報に基づく画像を前記表示部に表示させる表示制御工程と、を含み、前記表示制御工程は、取得した前記楽曲情報に基づいて前記画像の表示態様を変化させる、ことを特徴としている。

請求項６に記載の発明は、請求項５に記載の表示制御方法を、コンピュータにより実行させることを特徴としている。

本発明の一実施例にかかる表示制御装置のブロック構成図である。図１に示された表示制御装置の表示動作のフローチャートである。図１に示された表示制御装置における操作画像の例である。第１モードの表示態様と第２モードの表示態様の例である。第２モードの他の表示態様の例である。第１モードと第２モードの表示態様をＭＩＸした表示態様の例である。図１に示された表示制御装置の変形例である。

以下、本発明の一実施形態にかかる表示制御装置を説明する。本発明の一実施形態にかかる表示制御装置は、点群情報取得部が移動体の周囲の地物を複数の点により表した点群情報を取得し、楽曲情報取得部が楽曲に関する楽曲情報を取得し、表示制御部が点群情報に基づく画像を表示部に表示させる。そして、表示制御部は、取得した楽曲情報に基づいて画像の表示態様を変化させる。このようにすることにより、楽曲に応じて画像の表示態様を変化させて表示することができる。したがって、点群情報を利用して、エンタテインメント性を向上させることができる。

また、楽曲情報としては、当該楽曲の特徴量、ジャンル、ジャケット画像の少なくともいずれかを含んでいてもよい。このようにすることにより、テンポやリズム等の楽曲の特徴量、楽曲のジャンル、楽曲のジャケット画像の色調等、といったことに基づいて表示態様を変化させることができる。

また、表示制御部は、画像の表示態様には当該画像に施すエフェクトを含み、楽曲の特徴量に基づいて、画像に施すエフェクトのタイミングを変化させてもよい。このようにすることにより、例えば楽曲のテンポやリズムに合わせてエフェクトを施したり変化させたりすることができる。

また、楽曲の特徴量には楽曲の構造を含み、表示制御部は、楽曲の構造に基づいて画像に施すエフェクトを変化させてもよい。このようにすることにより、例えばＡメロ、Ｂメロ、サビといった楽曲の構造によりエフェクトを変化させることができ、サビの盛り上がる部分では派手なエフェクトを施すといった演出をすることが可能となる。

また、本発明の一実施形態にかかる表示制御方法は、点群情報取得工程で移動体の周囲の地物を複数の点により表した点群情報を取得し、楽曲情報取得工程で楽曲に関する楽曲情報を取得し、表示制御工程で点群情報に基づく画像を表示部に表示させる。そして、表示制御工程は、取得した楽曲情報に基づいて画像の表示態様を変化させる。このようにすることにより、楽曲に応じて画像の表示態様を変化させて表示することができる。したがって、点群情報を利用して、エンタテインメント性を向上させることができる。

また、上述した表示制御方法をコンピュータにより実行させる表示制御プログラムとしてもよい。このようにすることにより、コンピュータを利用して再生されている楽曲に応じて画像の表示態様を変化させて表示することができる。したがって、点群情報を利用して、エンタテインメント性を向上させることができる。

本発明の第１の実施例にかかる表示制御装置を図１〜図６を参照して説明する。表示制御装置１は、図１に示したように、ライダ２と、表示制御部３と、表示部４と、楽曲取得部５と、楽曲解析部６と、操作部７と、を備えている。また、図１に示した表示制御装置１は、移動体の例として自動車等の車両に搭載されているものとする。

点群情報取得部としてのライダ２は、車両の周囲に存在する物体を認識するためのセンサであり、ＬｉＤＡＲ（Light Detection And Ranging）とも表記される。ライダ２は、レーザ光等の光を照射してその光の反射光により、外界に存在する物体までの距離を離散的に測定し、当該物体の位置や形状等を三次元の点群として認識する公知のセンサである。したがって、ライダ２で取得された点群は、車両Ｃの周囲に存在する建物や道路等の構造物を含む地物を複数の点により三次元状に表した情報（点群情報）となる。尚、ライダ２は、車両が走行している道路上の標識や道路に沿って存在する建築物や街路樹等の地物以外にも、車両の周辺に存在する人物や他車両等を認識してもよい。

表示制御部３は、ライダ２が取得した点群情報を、ライダ２が点群情報を取得した状態の座標系（車両座標系）から点群情報を表示させる表示部４に表示するための座標系（表示座標系）に変換する。車両座標系とは車両（ライダ２）を基準とした座標系である。表示座標系とは、表示部４上に定義されている二次元の座標系である。表示制御部３は、この点群情報における三次元の車両座標系から二次元の表示座標系へ変換する。この座標変換はいわゆるビュー座標系からスクリーン座標系への変換等の周知の座標変換方法を用いることができる。

また、表示制御部３は、点群情報に基づく画像を表示部４へ表示させる表示態様として第１モードと第２モードの２モードを有している。また、表示部４に表示された点群情報を、楽曲解析部６で解析された結果に基づいて、エフェクト等の加工を施して点群情報に基づく画像として表示部４に出力する。即ち、表示制御部３は、表示部４へ点群情報に基づく画像を表示させる表示態様として、複数の表示モードを有する。

表示部４は、表示制御部３で加工された点群情報に基づく画像を表示する。表示部４は、例えば車両のセンターコンソール等に設置されているモニタ画面やＨＵＤ（Head-Up Display）等で構成することができる。また、表示部４は、車両内に設置されているものに限らず、例えば搭乗者が所有する携帯端末等に画像を表示させるようにしてもよい。また、表示部４は、表示制御装置１が設けられた車両のフロントガラスやドアガラス、サンルーフガラス等の車両が有するガラス部であってもよい。このように、表示部４は、車両内に固定されている表示装置や投影等により表示可能な部位に限らず、車内に持ち込まれている端末等でもよく、つまりは車両に配置されていればよい。

楽曲取得部５は、例えばカーオーディオ等により車内で再生されている、またはカーオーディオ等に記録されている楽曲データ等を取得する。なお、楽曲取得部５が楽曲データを取得するのはカーオーディオに限らず、近距離無線通信等により接続された携帯音楽再生機器や音楽再生機能を有するスマートフォン等でもよい。あるいは、外部ネットワークから配信される楽曲データであってもよい。

楽曲情報取得部としての楽曲解析部６は、楽曲取得部５が取得した楽曲データに対して特徴量を解析する。特徴量としては、テンポ（ＢＰＭ：Beats Per Minute）、リズム（拍子、ビート）等が挙げられる。これらの特徴量の解析は周知の方法で行えばよい。また、楽曲データ自体に含まれるジャンルの情報を取得してもよい。したがって、この特徴量やジャンル情報が楽曲に関する楽曲情報となる。

操作部７は、例えばタッチパネルや押しボタン等で構成されている。操作部７は、上述した第１モードと第２モードとの切り替えを行うことができる。

次に、上述した構成の表示制御装置１における動作（表示制御方法）について図２のフローチャートを参照して説明する。図２に示したフローチャートは表示制御部３で実行される。したがって、表示制御部３をＣＰＵ等を有するマイクロコンピュータ等で構成することで、表示制御方法を実行する表示制御プログラムとすることができる。

まず、表示制御部３はライダ２が検出した点群情報を取得し（ステップＳ１１）、楽曲解析部６で解析された解析結果（テンポ、リズム、ジャンル等）を取得する（ステップＳ１２）。

次に、操作部７等により選択された表示モードを判定する（ステップＳ１３）。ここで、操作部７の例を図３に示す。図３は、例えばセンターコンソールの表示部に表示された操作用の画像４０である。また、この表示部はタッチパネルを有しているものとする。或いは、表示部４をセンターコンソールの表示部として構成した場合は、表示部４の表示領域を操作用の画像の表示領域と点群情報に基づく画像の表示領域とに分割してもよい。

図３において、画像４０は、楽曲表示部４１と、スライド部４２と、ボタン４４と、を備えている。楽曲表示部４１は、２つの楽曲（アルバムやプレイリスト等の複数楽曲のまとまりでもよい）のタイトルやジャケット画像が左右に並べて配置されている。図３の例では、左側にタイトル“ＡＡＡＡＡ”とそのジャケット画像Ｊ１が表示され、右側にタイトル“ＢＢＢＢＢ” とそのジャケット画像Ｊ２が表示されている。

スライド部４２は、スライダ４３を有し、スライダ４３は、指等によりドラッグすることでスライド部４２において左右方向にスライド自在となっている。ボタン４４は、ボタン４４Ｌとボタン４４Ｒとからなり、ボタン４４Ｌは、スライダ４３を左方向にスライドさせる。ボタン４４Ｒは、スライダ４３を右方向にスライドさせる。つまり、スライダ４３は、ドラッグ操作により直接スライドさせることができ、さらにボタン４４の操作によってもスライドさせることができる。

図３では、スライダ４３を左端にスライドさせた場合は第１モード、右端にスライドさせた場合は第２モードとし、左端と右端の間にスライダ４３を停止させた場合は「ＭＩＸ」とする。したがって、ステップＳ１３で、スライダ４３を左端にスライドさせた場合は第１モードと判断し、点群情報を第１モードの表示態様に加工する（ステップＳ１４）。また、ステップＳ１３で、スライダ４３を右端にスライドさせた場合は第２モードと判断し、点群情報を第２モードの表示態様に加工する（ステップＳ１５）。

また、図３では、スライダの位置で再生される楽曲と表示態様のモードとが対応している。即ち、第１モード、第２モードそれぞれに楽曲が設定されている。例えば、スライダ４３を左端にスライドさせた場合は、タイトル“ＡＡＡＡＡ”が第１モードの表示態様で再生され、スライダ４３を右端にスライドさせた場合は、タイトル“ＢＢＢＢＢ”が第２モードの表示態様で再生される。また、左端と右端の間にスライダ４３を停止させた場合は「ＭＩＸ」とし、双方の楽曲が混合して再生されるとともに、表示態様も２つの表示モードが重ね合わされる（組み合わされる）。

したがって、ステップＳ１３で、スライダ４３を左端にスライドさせた場合は第１モードと判断し、点群情報を第１モードの表示態様に加工する（ステップＳ１４）。また、ステップＳ１３で、スライダ４３を右端にスライドさせた場合は第２モードと判断し、点群情報を第２モードの表示態様に加工する（ステップＳ１５）。

ここで、第１モードの表示態様と第２モードの表示態様の例を図４に示す。図４上段は第１モードの表示態様の例である。本実施例の第１モードは、ライダ２が取得した点群情報に基づいて、点群をそのまま表示したような表示態様である。つまり、各地物が点群で再現されているような画像となっている。但し、地物ごとや距離に応じて点に色等を付けていてもよい。

図４下段は第２モードの表示態様の例である。本実施例の第２モードは、ライダ２が取得した点群情報に基づいて、例えば地物の輪郭部分を強調する等のデフォルメをした表示態様となる画像である。

本実施例では、表示態様のモードは２つであるが、３つ以上であってもよい。また、本実施例では、表示制御部３において、第１モード、第２モードのそれぞれに楽曲が設定され、再生している楽曲に応じて、一の表示モードで表示部４に表示されている画像の表示態様を後述する内容で変化させているが、各モードの表示態様は、複数の表示態様から楽曲に応じて選択されるようにしてもよい。或いは、楽曲のジャンルに応じて選択されるようにしてもよい。

図５に第２モードの表示態様の他の例を示す。具体的には、楽曲解析部６により解析された第１モード、第２モードのそれぞれに設定された楽曲の楽曲情報を用いて、第２モードで表示された画像の表示態様の変化の例を示す。図５において、例えばビル等の建物の壁面に円形のエフェクトＥ１、道路の縁石や白線等に沿って移動体の進行方向へ色彩や光等を表現した図形が移動するエフェクトＥ２、ビル等の建物の高さ方向に沿って色彩や光等が変化することで流れるような表示をするエフェクトＥ３がそれぞれ表示されている。これらのエフェクトＥ１〜Ｅ３は楽曲の特徴量（テンポ（ＢＰＭ）、リズム（拍子、ビート）、ジャンル等）によって円形や色彩、光等の点滅速度、色彩や光等を表現した図形の移動速度、色彩や光等の流れる速度が変化する。また、エフェクトＥ１と同様にビル等の建物の壁面に表示される円形のエフェクトＥ４は、楽曲のリズムによって円の大きさが変化する。即ち、楽曲の特徴量に基づいて、画像に施すエフェクトのタイミングが変化する。図４下段や図５は、例えば走行している街全体にプロジェクションマッピングを施したようなイメージである。

また、ステップＳ１３で、スライダ４３を左端と右端の間に停止させた場合は「ＭＩＸ」として、第１モードの表示態様の画像と第２モードの表示態様の画像とを重ね合わせた（組み合わせた）画像とする（ステップＳ１６）。ＭＩＸの場合の表示態様の例を図６に示す。２つの表示態様を重ね合わせる（組み合わせる）割合はスライダ４３の位置により定めればよい。例えば、スライダ４３の位置が左端に近い場合は第１モードの表示態様の割合を多くする。なお、この「ＭＩＸ」表示は、例えば第１モードの表示態様からスライダ４３を移動させて第２モードの表示態様へ徐々に移行させる際に表示が変化する場合も含まれる。

つまり、スライダ４３を左端から右端、或いは右端から左端に位置させた場合は、複数の表示モードのうち、一の表示モードの表示態様を選択して画像を表示部４に表示していることとなり、スライダ４３を左端と右端の間に位置させた場合は、複数の表示モードによる表示態様の重ね合わせ（組み合わせ）比率を変化させて表示部４に表示していることとなる。即ち、スライダ４３がスライド部４２の中央から左端側に寄せた位置にある場合、第１モードの表示形態の画像と第２モードの表示形態の画像が重ね合わされた画像としては、第１モードの表示形態の画像の割合が、第２モードの表示形態の画像の割合より高くなった状態で、表示部４に表示していることとなる。

そして、ステップＳ１７において、ステップＳ１４〜Ｓ１６のいずれかの表示態様で生成された画像を表示部４に表示する。

本実施例によれば、表示制御装置１は、ライダ２が車両の周囲の地物を複数の点により表した点群情報を取得し、表示制御部３がそれぞれ表示態様が異なる２つの表示モードで点群情報に基づく画像を表示部４に表示させる。このようにすることにより、点群情報に基づいた画像を２つの表示態様により表示することができる。したがって、点群情報を利用して、エンタテインメント性を向上させることができる。

例えば、図４〜図６のような画像は、カメラで撮影した画像に基づいて加工を施すことにより生成することも可能であるが、カメラで撮影した画像では距離の情報が含まれていないので画像処理等で距離を推定する必要があり、表示制御装置として処理負荷が高くなる。それに対して、点群情報は、一点一点に距離の情報を有することから、画像処理等の解析を必要とせず、正しい奥行きの情報を得ることができる。したがって、カメラ画像よりも処理負荷が低く、精緻な表現をすることが可能となる。そのため、エンタテインメント性を向上させた画像を低い処理負荷で表示することができる。

また、表示制御部３は、２つの表示モードにより画像を切り替えて表示部４に表示させている。このようにすることにより、適宜２つの表示モードを切り替えることにより、表示態様を変化させた画像を表示させることができる。

また、表示制御部３は、２つの表示モードによる画像の重ね合わせ（組み合わせ）比率を変化させて表示部４に表示させている。このようにすることにより、２つの表示モードの表示態様を重ね合わせ（組み合わせ）たような表示をすることができ、表示のバリエーションを増やすことが可能となる。本実施例では、２つの表示モード（第１モード、第２モード）と、２つの表示モードの画像の重ね合わせ（組み合わせ）としていたが、本発明はこれに限定されない。２つの表示モードの画像の重ね合わせ（組み合わせ）を第３モードとして、３つの表示モードを切り替えるようにしてもよい。

また、２つの表示モードのそれぞれに楽曲が設定され、表示制御部３は、再生される楽曲に応じて、一の表示モードで表示部４に表示されている画像の表示態様を変化させている。このようにすることにより、楽曲のイメージに合った表示態様で画像を表示させることができる。

また、２つの表示モードのうち第２モードは、第１モードの表示態様をデフォルメした表示態様により表示している。このようにすることにより、第１モードの表示態様をベースにしてデフォルメした表示態様で表示することができる。

また、楽曲解析部６が解析または取得する楽曲情報としては、当該楽曲の特徴量、ジャンル情報を含んでいる。このようにすることにより、テンポやリズム等の楽曲の特徴量、楽曲のジャンルといったことに基づいて表示態様を変化させることができる。

また、表示制御部３は、楽曲の特徴量に基づいて、画像に施すエフェクトのタイミングを変化させている。このようにすることにより、例えば楽曲のテンポやリズムに合わせてエフェクトを施したり変化させたりすることができる。

なお、楽曲解析部６は、楽曲データにジャケット画像を含む場合は、そのジャケット画像を取得して、そのジャケット画像に基づいて表示態様を変化させてもよい。例えば、楽曲のジャケット画像に基づいて、色合い等を決定してもよい。これは、再生中の楽曲のジャケットが、赤系統の色が多く使用されていた場合は、表示態様として赤系統を中心とした色合いとすることができる。あるいは、ジャケット画像を表示態様の中に含めてもよい。例えば、図５のエフェクトＥ１やＥ４の円形状の画像に替えて、ジャケット画像としてもよい。ジャケット画像の一部の文字・形状やロゴマーク等を抜き出して表示してもよい。このようにすることにより、再生している楽曲の世界観を視覚的に体感することができる。

また、楽曲の特徴量として、テンポやリズムに限らず、Ａメロ、Ｂメロ、サビといった楽曲の構造によりエフェクトを変化させてもよい。例えば、サビの盛り上がる部分では派手なエフェクトを施すといった演出をしてもよい。

また、図１に示した構成では、ライダ２で取得した点群情報をリアルタイムに表示制御部３で処理していたが、図７に示すように、点群情報を記憶部９に予め記憶させ、表示制御部３Ａが、現在位置推定部８で推定した現在位置に対応する点群情報を記憶部９から読み出して所定の加工を施すようにしてもよい。即ち、図７の場合は表示制御装置３Ａが点群情報取得部として機能する。

現在位置推定部８は、表示制御装置１Ａが搭載される車両の現在位置を推定する。現在位置推定部８は、例えばＧＰＳ（Global Positioning System）受信機により構成され、ＧＰＳ衛星から受信した電波により現在位置を表す緯度及び経度の位置情報を推定すればよい。

なお、図７では、表示制御装置１Ａが記憶部８を備えているが、このような３Ｄデータはデータ量が多いので外部サーバ等に格納し、外部サーバと通信する通信装置を備えて、表示処理部３Ａが、通信装置を介して点群情報を取得するようにしてもよい。

また、ライダ２が取得した点群情報には、車両の周囲に存在する物体を示す情報、例えば利用者であるドライバーが注意すべき歩行者や、他車両を示す情報が含まれている。したがって、当該点群情報を利用してエンタテインメント性を持った画像を表示させることで、ドライバーは当該画像を楽しみつつ、注意すべき物体等を監視することができる。これに伴い、ドライバーが持つ安心感を向上させることができることとなる。

また、本発明は上記実施例に限定されるものではない。即ち、当業者は、従来公知の知見に従い、本発明の骨子を逸脱しない範囲で種々変形して実施することができる。かかる変形によってもなお本発明の表示制御装置の構成を具備する限り、勿論、本発明の範疇に含まれるものである。

１、１Ａ表示制御装置
２ライダ（点群情報取得部）
３、３Ａ表示処理部（点群情報取得部、設定部）
４表示部
５楽曲取得部
６楽曲解析部（楽曲情報取得部）

Claims

移動体に配置された表示部に画像を表示させる表示制御装置であって、
前記移動体の周囲の地物を複数の点により表した点群情報を取得する点群情報取得部と、
楽曲に関する楽曲情報を取得する楽曲情報取得部と、
前記点群情報に基づく画像を前記表示部に表示させる表示制御部と、を備え、
前記表示制御部は、取得した前記楽曲情報に基づいて前記画像の表示態様を変化させる、
ことを特徴とする表示制御装置。
前記楽曲情報としては、当該楽曲の特徴量、ジャンル、ジャケット画像の少なくともいずれかを含むことを特徴とする請求項１に記載の表示制御装置。
前記画像の表示態様には当該画像に施すエフェクトを含み、
前記表示制御部は、前記楽曲の特徴量に基づいて、前記画像に施すエフェクトのタイミングを変化させることを特徴とする請求項２に記載の表示制御装置。
前記楽曲の特徴量には楽曲の構造を含み、
前記表示制御部は、前記楽曲の構造に基づいて前記画像に施すエフェクトを変化させることを特徴とする請求項２に記載の表示制御装置。
移動体に配置された表示部の表示を制御する表示制御装置で実行される表示制御方法であって、
前記移動体の周囲の地物を複数の点により表した点群情報を取得する点群情報取得工程と、
楽曲に関する楽曲情報を取得する楽曲情報取得工程と、
前記点群情報に基づく画像を前記表示部に表示させる表示制御工程と、を含み、
前記表示制御工程は、取得した前記楽曲情報に基づいて前記画像の表示態様を変化させる、
ことを特徴とする表示制御方法。
請求項５に記載の表示制御方法を、コンピュータにより実行させることを特徴とする表示制御プログラム。