JP2023085254A - 表示制御装置 - Google Patents
表示制御装置 Download PDFInfo
- Publication number
- JP2023085254A JP2023085254A JP2023030803A JP2023030803A JP2023085254A JP 2023085254 A JP2023085254 A JP 2023085254A JP 2023030803 A JP2023030803 A JP 2023030803A JP 2023030803 A JP2023030803 A JP 2023030803A JP 2023085254 A JP2023085254 A JP 2023085254A
- Authority
- JP
- Japan
- Prior art keywords
- display control
- display
- point cloud
- feature
- cloud information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000008859 change Effects 0.000 claims abstract description 17
- 238000000034 method Methods 0.000 claims description 27
- 230000003068 static effect Effects 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 6
- 230000002708 enhancing effect Effects 0.000 abstract 1
- 238000004891 communication Methods 0.000 description 9
- 239000003086 colorant Substances 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 239000004575 stone Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Landscapes
- Traffic Control Systems (AREA)
- Processing Or Creating Images (AREA)
- Closed-Circuit Television Systems (AREA)
- Controls And Circuits For Display Device (AREA)
- Optical Radar Systems And Details Thereof (AREA)
- Instructional Devices (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
Abstract
【課題】点群情報を利用して、エンタテインメント性を向上させることができる表示制御装置を提供する。【解決手段】表示制御装置1は、ライダ2が点群情報を取得し、ライダ2が点群情報を取得し、表示制御部3が点群情報に基づく画像を表示部4に表示させる際に、点群情報に含まれる地物に対して予め定められた属性基づいて点群情報に基づく画像のうち地物に対応する部分の表示態様を変更する。【選択図】図1
Description
特許法第30条第2項適用申請有り 集会名:第45回 東京モーターショー2017 開催日:平成29年10月25日
本発明は、表示部に画像を表示する表示制御装置に関する。
従来、レーザレーダを用いて、車両の前方等の検出領域(すなわち、物体を検出するための対象となる領域)に存在する物体上の複数の点に対して3次元空間上の位置を取得し、その物体を認識する技術が提案されている。例えば、特許文献1には、前記位置が取得された点をクラスタリングしてクラスタ点群を取得し、そのクラスタ点群に係る測定量の時間的変動に基づき、クラスタ点群に対応する物体を識別することとしている。
上述したように、レーザレーダ(以下、LiDAR(Light Detection And Ranging)とも称する)は、移動体としての車両等の周辺に存在する物体の認識に用いられている。しかしながら、レーザレーダによって取得された情報(所謂点群情報)は、このような物体の認識以外に利用されてはいない。
一方で、今後自動運転機能を搭載した車両において、自動運転中の移動時間におけるエンタテインメント性の向上が期待されている。しかし、レーザレーダによって取得された情報を、エンタテインメント性の向上に利用するという思想は、従来は存在していなかった。
本発明が解決しようとする課題としては、所謂点群情報を利用して、エンタテインメント性を向上させることが一例として挙げられる。
上記課題を解決するために、請求項1に記載の発明は、移動体に配置され、画像を表示させる表示装置であって、前記移動体の周囲の地物を複数の点により表した点群情報を取得する点群情報取得部と、取得した点群情報を表示する表示部と、前記表示部に表示された点群情報を、前記点群情報に含まれる所定の地物に対応する部分を当該地物に対して予め定められた属性に応じて決定される表示態様に加工して表示させる表示制御部と、を備えることを特徴としている。
請求項2に記載の発明は、自動運転可能な移動体に配置された表示部に画像を表示させる表示制御装置であって、前記移動体の周囲の地物を複数の点により表した点群情報を取得する点群情報取得部と、前記移動体が前記自動運転中である場合に、前記点群情報取得部で取得した前記点群情報に基づいて、当該点群情報に含まれる所定の地物に対応する部分を当該地物に対して予め定められた属性に応じて決定される表示態様とした画像を前記表示部に表示させる表示制御部と、を備え、前記表示制御部は、前記地物に対応する部分を、進行方向に沿って色彩の移動または色彩や光等を表現した図形が移動するように表示させることを特徴としている。
請求項3に記載の発明は、移動体に配置された表示部に画像を表示させる表示制御装置であって、前記移動体の周囲の地物を複数の点により表した点群情報を取得する点群情報取得部と、前記点群情報取得部で取得した前記点群情報に基づいて、当該点群情報に含まれる所定の地物に対応する部分を当該地物に対して予め定められた属性に応じて決定される表示態様とした画像を前記表示部に表示させる表示制御部と、を備え、前記表示制御部は、前記地物に対応する部分を、当該地物の高さ及び距離に基づいて色彩またはコントラストを変化させるように表示させ、前記地物に対応する部分を、進行方向に沿って色彩の移動または色彩や光等を表現した図形が移動するように表示させる、ことを特徴としている。
請求項5に記載の発明は、移動体に配置された表示部に画像を表示させる表示制御装置であって、前記移動体の周囲の地物を複数の点により表した点群情報を取得する点群情報取得部と、前記点群情報取得部で取得した前記点群情報に基づいて、当該点群情報に含まれる所定の地物に対応する部分を当該地物に対して予め定められた属性に応じて決定される表示態様とした画像を前記表示部に表示させる表示制御部と、を備え、前記表示制御部は、前記地物に対応する部分を、当該地物の高さ方向に沿って色彩が移動または色彩や光等を表現した図形が移動するように表示させる、ことを特徴としている。
請求項2に記載の発明は、自動運転可能な移動体に配置された表示部に画像を表示させる表示制御装置であって、前記移動体の周囲の地物を複数の点により表した点群情報を取得する点群情報取得部と、前記移動体が前記自動運転中である場合に、前記点群情報取得部で取得した前記点群情報に基づいて、当該点群情報に含まれる所定の地物に対応する部分を当該地物に対して予め定められた属性に応じて決定される表示態様とした画像を前記表示部に表示させる表示制御部と、を備え、前記表示制御部は、前記地物に対応する部分を、進行方向に沿って色彩の移動または色彩や光等を表現した図形が移動するように表示させることを特徴としている。
請求項3に記載の発明は、移動体に配置された表示部に画像を表示させる表示制御装置であって、前記移動体の周囲の地物を複数の点により表した点群情報を取得する点群情報取得部と、前記点群情報取得部で取得した前記点群情報に基づいて、当該点群情報に含まれる所定の地物に対応する部分を当該地物に対して予め定められた属性に応じて決定される表示態様とした画像を前記表示部に表示させる表示制御部と、を備え、前記表示制御部は、前記地物に対応する部分を、当該地物の高さ及び距離に基づいて色彩またはコントラストを変化させるように表示させ、前記地物に対応する部分を、進行方向に沿って色彩の移動または色彩や光等を表現した図形が移動するように表示させる、ことを特徴としている。
請求項5に記載の発明は、移動体に配置された表示部に画像を表示させる表示制御装置であって、前記移動体の周囲の地物を複数の点により表した点群情報を取得する点群情報取得部と、前記点群情報取得部で取得した前記点群情報に基づいて、当該点群情報に含まれる所定の地物に対応する部分を当該地物に対して予め定められた属性に応じて決定される表示態様とした画像を前記表示部に表示させる表示制御部と、を備え、前記表示制御部は、前記地物に対応する部分を、当該地物の高さ方向に沿って色彩が移動または色彩や光等を表現した図形が移動するように表示させる、ことを特徴としている。
請求項7に記載の発明は、移動体に配置された表示部に画像を表示させる表示制御装置で実行される表示制御方法であって、前記移動体の周囲の地物を複数の点により表した点群情報を取得する点群情報取得工程と、取得した点群情報を表示する表示工程と、前記表示工程で表示された点群情報を、前記点群情報に含まれる所定の地物に対応する部分を当該地物に対して予め定められた属性に応じて決定される表示態様に加工して表示させる表示制御工程と、を含むことを特徴としている。
請求項8に記載の発明は、自動運転可能な移動体に配置された表示部に画像を表示させる表示制御装置で実行される表示制御方法あって、前記移動体の周囲の地物を複数の点により表した点群情報を取得する点群情報取得工程と、前記移動体が前記自動運転中である場合に、前記点群情報取得部で取得した前記点群情報に基づいて、当該点群情報に含まれる所定の地物に対応する部分を当該地物に対して予め定められた属性に応じて決定される表示態様とした画像を前記表示部に表示させる表示制御工程と、を含み、前記表示制御工程は、前記地物に対応する部分を、進行方向に沿って色彩の移動または色彩や光等を表現した図形が移動するように表示させることを特徴としている。
請求項9に記載の発明は、移動体に配置された表示部に画像を表示させる表示制御装置で実行される表示制御方法あって、前記移動体の周囲の地物を複数の点により表した点群情報を取得する点群情報取得工程と、前記点群情報取得部で取得した前記点群情報に基づいて、当該点群情報に含まれる所定の地物に対応する部分を当該地物に対して予め定められた属性に応じて決定される表示態様とした画像を前記表示部に表示させる表示制御工程と、を含み、前記表示制御工程は、前記地物に対応する部分を、当該地物の高さ及び距離に基づいて色彩またはコントラストを変化させるように表示させ、前記地物に対応する部分を、進行方向に沿って色彩の移動または色彩や光等を表現した図形が移動するように表示させる、ことを特徴としている。
請求項10に記載の発明は、移動体に配置された表示部に画像を表示させる表示制御装置で実行される表示制御方法あって、前記移動体の周囲の地物を複数の点により表した点群情報を取得する点群情報取得工程と、前記点群情報取得部で取得した前記点群情報に基づいて、当該点群情報に含まれる所定の地物に対応する部分を当該地物に対して予め定められた属性に応じて決定される表示態様とした画像を前記表示部に表示させる表示制御工程と、を含み、前記表示制御工程は、前記地物に対応する部分を、当該地物の高さ方向に沿って色彩が移動または色彩や光等を表現した図形が移動するように表示させる、ことを特徴としている。
請求項8に記載の発明は、自動運転可能な移動体に配置された表示部に画像を表示させる表示制御装置で実行される表示制御方法あって、前記移動体の周囲の地物を複数の点により表した点群情報を取得する点群情報取得工程と、前記移動体が前記自動運転中である場合に、前記点群情報取得部で取得した前記点群情報に基づいて、当該点群情報に含まれる所定の地物に対応する部分を当該地物に対して予め定められた属性に応じて決定される表示態様とした画像を前記表示部に表示させる表示制御工程と、を含み、前記表示制御工程は、前記地物に対応する部分を、進行方向に沿って色彩の移動または色彩や光等を表現した図形が移動するように表示させることを特徴としている。
請求項9に記載の発明は、移動体に配置された表示部に画像を表示させる表示制御装置で実行される表示制御方法あって、前記移動体の周囲の地物を複数の点により表した点群情報を取得する点群情報取得工程と、前記点群情報取得部で取得した前記点群情報に基づいて、当該点群情報に含まれる所定の地物に対応する部分を当該地物に対して予め定められた属性に応じて決定される表示態様とした画像を前記表示部に表示させる表示制御工程と、を含み、前記表示制御工程は、前記地物に対応する部分を、当該地物の高さ及び距離に基づいて色彩またはコントラストを変化させるように表示させ、前記地物に対応する部分を、進行方向に沿って色彩の移動または色彩や光等を表現した図形が移動するように表示させる、ことを特徴としている。
請求項10に記載の発明は、移動体に配置された表示部に画像を表示させる表示制御装置で実行される表示制御方法あって、前記移動体の周囲の地物を複数の点により表した点群情報を取得する点群情報取得工程と、前記点群情報取得部で取得した前記点群情報に基づいて、当該点群情報に含まれる所定の地物に対応する部分を当該地物に対して予め定められた属性に応じて決定される表示態様とした画像を前記表示部に表示させる表示制御工程と、を含み、前記表示制御工程は、前記地物に対応する部分を、当該地物の高さ方向に沿って色彩が移動または色彩や光等を表現した図形が移動するように表示させる、ことを特徴としている。
請求項11に記載の発明は、請求項7から10のうちいずれか一項に記載の表示制御方法を、コンピュータにより実行させることを特徴としている。
以下、本発明の一実施形態にかかる表示制御装置を説明する。本発明の一実施形態にかかる表示制御装置は、点群情報取得部が移動体の周囲の地物を複数の点により表した点群情報を取得し、表示制御部が点群情報に基づく画像を前記表示部に表示させる際に、当該点群情報に含まれる地物に対して予め定められた属性に基づいて当該点群情報に基づく画像のうち当該地物に対応する部分の表示態様を変更する。このようにすることにより、点群情報に含まれる地物に応じて表示態様を変化させることができる。したがって、点群情報を利用して、エンタテインメント性を向上させることができる。
また、表示制御部は、地物の属性が、道路に沿って設けられているものである場合、地物に対応する部分を、進行方向に沿って色彩の移動または色彩や光等を表現した図形が移動するように表示させてもよい。このようにすることにより、道路に沿って設けられているものについて、走行状態をイメージした、または、奥行き感をイメージした表示態様とすることができる。
また、道路に沿って設けられているものには、白線、ガードレール、縁石が含まれていてもよい。このようにすることにより、表示制御部は、地物として白線、ガードレール、縁石を認識した場合に、それらの部分について進行方向に沿って色彩の移動または色彩や光等を表現した図形が移動するように表示される表示態様とすることができる。
また、表示制御部は、地物の属性が、所定の高さ以上であるものである場合、地物に対応する部分を、当該地物の高さ方向に沿って色彩が変化または色彩や光等を表現した図形が移動するように表示させてもよい。このようにすることにより、高層ビル等の所定以上の高さがある地物については、その高さを生かした表示態様とすることができる。
また、所定以上の高さを有するものには、建築物、樹木、電柱が含まれていてもよい。このようにすることにより、地物としてビル、樹木、電柱を認識した場合に、それらの部分について地物の高さ方向に沿って色彩が変化または色彩や光等を表現した図形が移動するように表示される表示態様とすることができる。
また、表示制御部は、地物の属性が、静的地物か動的地物かで表示態様が異なっていてもよい。このようにすることにより、白線やビル等の静的地物と他車両(周辺車両)や人物等の動的地物とを異なる表示態様とすることができる。
また、本発明の一実施形態にかかる表示制御方法は、点群情報取得工程で移動体の周囲の地物を複数の点により表した点群情報を取得し、表示制御工程で前記点群情報に基づく画像を前記表示部に表示させる際に、当該点群情報に含まれる所定の地物に対して予め定められた属性に基づいて、当該点群情報に基づく画像のうち当該地物に対応する部分の表示態様を変更する。このようにすることにより、点群情報に含まれる地物に応じて表示態様を変化させることができる。したがって、点群情報を利用して、エンタテインメント性を向上させることができる。
また、上述した表示制御方法をコンピュータにより実行させる表示制御プログラムとしてもよい。このようにすることにより、コンピュータを利用して点群情報に含まれる地物に応じて表示態様を変化させることができる。したがって、点群情報を利用して、エンタテインメント性を向上させることができる。
本発明の第1の実施例にかかる表示制御装置を図1~図4を参照して説明する。表示制御装置1は、図1に示したように、ライダ2と、表示制御部3と、表示部4と、記憶部5と、を備えている。また、図1に示した表示制御装置1は、移動体の例として自動車等の車両に搭載されているものとする。また、本実施例で説明する車両は、常時自律的に走行可能な自動運転車両又は自動運転と手動運転を切り替え可能な車両とする(本実施例では、これらを総称して自動運転車両と呼ぶ)。
点群情報取得部としてのライダ2は、車両の周囲に存在する物体を認識するためのセンサであり、LiDAR(Light Detection And Ranging)とも表記される。ライダ2は、レーザ光等の光を照射してその光の反射光により、外界に存在する物体までの距離を離散的に測定し、当該物体の位置や形状等を三次元の点群として認識する公知のセンサである。したがって、ライダ2で取得された点群は、車両の周囲に存在する建物や道路等の構造物を含む地物を複数の点により三次元状に表した情報(点群情報)となる。尚、ライダ2は、車両が走行している道路上の標識や道路に沿って存在する建築物や街路樹等の地物以外にも、車両の周辺に存在する人物や他車両等を認識してもよい。
表示制御部3は、ライダ2が取得した点群情報を、ライダ2が点群情報を取得した状態の座標系(車両座標系)から点群情報を表示させる表示部4に表示するための座標系(表示座標系)に変換する。車両座標系とは車両(ライダ2)を基準とした座標系である。表示座標系とは、表示部4上に定義されている二次元の座標系である。表示制御部3は、この点群情報における三次元の車両座標系から二次元の表示座標系へ変換する。この座標変換はいわゆるビュー座標系からスクリーン座標系への変換等の周知の座標変換方法を用いることができる。
また、表示制御部3は、上記座標系が変換された画像に含まれる地物の属性を判定し、判定された地物の属性に応じた表示態様となるように加工を施して表示部4に出力する。
表示部4は、表示制御部3で加工された点群情報に基づく画像を表示する。表示部4は、例えば車両内のセンターコンソール等に設置されているモニタ画面やHUD(Head-Up Display)等で構成することができる。また、表示部4は、車両内に設置されているものに限らず、例えば搭乗者が所有する携帯端末等に表示させるようにしてもよい。また、表示部4は、表示制御装置1が設けられた車両のフロントガラスやドアガラス、サンルーフガラス等の車両が有するガラス部であってもよい。このように、表示部4は、車両内に固定されている表示装置や投影等により表示可能な部位に限らず、車内に持ち込まれている端末等でもよく、つまりは車両に配置されていればよい。
記憶装置としての記憶部5は、表示制御装置1が搭載されている車両が自律的に走行可能な程度の詳細な情報が含まれる地図データ及び地物データ5aが記憶されている。地物データ5a(地物データ構造)の例を図2に示す。
図2に示した表には、地物ID5a1、位置5a2、名称5a3、表示態様5a4が地物毎に設定されている。地物ID5a1は地物毎に設定される固有の番号である。位置5a2は当該地物の位置を緯度経度で示している。名称5a3はビル名、街路樹、電柱、白線、ガードレール、縁石等のその地物の固有の名称や一般名称を示している。表示態様5a4は各地物毎の表示態様を示している。ここで、地物ID5a1、位置5a2、名称5a3は地物の属性となる。
次に、上述した構成の表示制御装置1における動作(表示制御方法)について、図3のフローチャートを参照して説明する。図3に示したフローチャートは表示制御部3で実行される。したがって、表示制御部3をCPU等を有するマイクロコンピュータ等で構成することで、表示制御方法を実行する表示制御プログラムとすることができる。
まず、ステップS11において、表示制御装置1が搭載されている車両が自動運転中であるか否かを判定し、自動運転中である場合はステップS12に進み、自動運転中でない場合は本フローチャートを終了する。つまり、本フローチャートは、自動運転中に実行されるものとする。但し、センターコンソールに設けた表示部等、運転に支障がない部位に表示する場合は、手動運転中であってもステップS12以降を実行してよい。
次に、表示制御部3は、ライダ2が検出した点群情報を取得し(ステップS12)、記憶部5に記憶された地物データ5aに基づいて、点群情報に含まれる地物の属性を判定する(ステップS13)。属性の判定は、例えば記憶部5に記憶されている地図データとステップS12で取得した点群情報とをマッチングし、点群情報に対する地物を特定する。そして、特定された地物に対して、地図データに含まれる当該地物の位置や名称と地物データ5aに含まれる当該地物の位置や名称を比較することで、当該地物の属性を判定する。
次に、表示制御部3は、図2に示した地物データ5aに基づいて、ステップS13で判定した各地物の属性に応じた表示態様を決定する(ステップS14)。そして、表示制御部3は、点群情報に基づく画像を、当該画像における地物に対して、ステップS14で決定された表示態様で表示部4に表示させる(ステップS15)。即ち、点群情報に含まれる所定の地物に対して予め定められた属性に基づいて、点群情報に基づく画像のうち当該地物に対応する部分の表示態様を変更している。また、図2に示した地物データ5aに設定された表示態様5a4が、点群情報に基づく画像を表示させる際に用いられる情報として、当該画像に含まれる地物に対応する部分の表示態様を示す情報となっている。
以上の説明から明らかなように、ステップS12が点群情報取得工程、ステップS13、S14が表示制御工程となる。
ここで、上述した構成の表示制御装置1における表示態様の例を図4を参照して説明する。図4上段は、ライダ2が車両前方について取得した点群情報の例である。図4上段について、地物T1として縁石が車線に沿って設けられている。また、車線沿いには地物T2として街路樹(樹木)が設けられている。更に、進行方向の奥には地物T3、T4としてビルがある。このビルは所定の高さ以上であるものとする。
図4下段は、図4上段内で検出された地物等の表示態様を変更した例である。図4下段について、図4上段で縁石である地物T1の部分は、所定の色彩または色彩や光を表現した図形が道路の進行方向に沿って移動(矢印AR)するような表示態様P1となる。また、樹木である地物T2の部分は、凸形状や矩形等の図形を高さ方向に並べて、樹木をデフォルメした形状の表示態様P2となる。また、ビルである地物T3、T4の部分は、その縁部において、高さ方向に色彩または色彩や光を表現した図形が移動するような表示態様P3となる。
なお、道路に沿って設けられているものとしては、縁石に限らず、ガードレール、白線であってもよい。また、図2の地物データ5aには、縁石や白線といった区別をつけずに「道路に沿って設けられているもの」という名称を付与してもよい。また、所定の高さ以上であるものとしては、ビル等の建築物に限らず、樹木、電柱であってもよい。また、建築物、樹木といった区別をつけずに「所定の高さ以上であるもの」という名称を付与してもよい。この所定の高さは適宜定めればよい。
本実施例によれば、表示制御装置1は、ライダ2が点群情報を取得し、表示制御部3が点群情報に基づく画像を表示部4に表示させる際に、点群情報に含まれる地物に対して予め定められた属性に基づいて点群情報に基づく画像のうち地物に対応する部分の表示態様を変更する。このようにすることにより、点群情報に含まれる地物に応じて表示態様を変化させることができる。したがって、点群情報を利用して、エンタテインメント性を向上させることができる。
また、表示制御部3は、属性が縁石等の道路に沿って設けられているものと判定した場合、地物に対応する部分を、進行方向に沿って色彩の移動または色彩や光等を表現した図形が移動するように表示される表示態様としている。このようにすることにより、道路に沿って設けられているものについて、走行状態をイメージした、または、奥行き感をイメージした表示態様とすることができる。
また、表示制御部3は、属性がビル等の所定以上の高さを有するものと判定した場合は、地物に対応する部分を、当該地物の高さ方向に沿って色彩が変化または色彩や光等を表現した図形が移動するように表示される表示態様としてもよい。このようにすることにより、高層ビル等の所定以上の高さがある地物については、その高さを生かした表示態様とすることができる。
また、地物データ5aは、車両の周囲の地物を複数の点により表した点群情報に基づく画像を表示させる際に、その画像に含まれる地物に対応する部分の表示態様5a4を含んでいる。このようにすることにより、この地物データ5aを参照することで、点群情報に基づく画像を表示させる際の地物の表示態様の決定を容易にすることができる。したがって、点群情報に含まれる地物に応じて表示態様を変化させることができ、点群情報を利用して、エンタテインメント性を向上させることができる。
また、地物データ5aには、地物の名称5a3を更に含んでもよい。このようにすることにより、地物の名称に基づいて表示態様を定めることができる。
なお、上記した実施例では地物の属性として、道路に沿って設けられているもの(白線、縁石、ガードレール等)や所定以上の高さを有するもの(ビル、街路樹(樹木)、電柱)を挙げて説明したが、本発明はこれに限定されない。当該地物が静的地物か動的地物かという情報を属性として設定してもよい。静的地物としては、例えば白線や建築物等が挙げられる。動的地物としては周辺車両、人物等が挙げられる。静的地物と動的地物の識別は、地図データと点群情報とをマッチングした場合にマッチングした地物は地図上にあることから静的地物とし、マッチングしないものは動的地物として判定すればよい。
次に、本発明の第2の実施例にかかる表示制御装置を図5~図7を参照して説明する。なお、前述した第1の実施例と同一部分には、同一符号を付して説明を省略する。
第1の実施例では、地物データ5aは、予め表示制御装置1の記憶部5に記憶されていたが、本実施例では、地物データがサーバ装置10から配信されるようになっている。図5に本実施例の概略構成図を示す。即ち、本実施例においてはサーバ装置10が記憶装置として機能する。
本実施例にかかる記憶装置としてのサーバ装置10は、図5に示したように、インターネット等のネットワークNを介して自動運転車両である車両Cに搭載されている端末装置としての表示制御装置1Aと通信可能となっている。サーバ装置10の機能的構成を図6に示す。サーバ装置10は、制御部11と、通信部12と、記憶部13と、を備えている。
制御部11は、サーバ装置10のCPU(Central Processing Unit)が機能し、サーバ装置10の全体制御を司る。制御部11は、表示制御装置1Aからの要求に応じて、記憶部13に記憶されている地物データ13aから必要な領域の地物データを読み出して、通信部12を介して表示制御装置1Aに配信する。
通信部12は、サーバ装置10のネットワークインターフェース等が機能し、表示制御装置1Aが出力した要求情報等を受信する。また、制御部11が地物データ13aから読み出した地物データを表示制御装置1Aに送信する。
記憶部13は、サーバ装置10のハードディスク等の記憶装置が機能し、地物データ13aが記憶されている。なお、サーバ装置10は、地物データ13aの配信に限らず、自動運転に利用する地図データ有し、当該地図データを車両へ配信してもよい。
図7に本実施例にかかる表示制御装置1Aのブロック構成を示す。図7に示したブロック構成は、図1に対して、通信部6が追加されており、表示制御部3が表示制御部3Aに変更されている点が異なる。
通信部6は、表示制御部3Aが出力した要求情報等をサーバ装置10に送信する。また、サーバ装置10から配信された地物データを受信する。
表示制御部3Aにおいて、座標変換、属性判定、表示態様の加工等の処理は、第1の実施例と同様である。表示制御部3Aはこれらに加えて、通信部6を介した地物データの要求及び通信部6が受信した地物データの記憶部5への格納を行う。地物データの要求は、例えば車両Cに搭載された不図示のGPS(Global Positioning System)受信機が取得した現在位置に基づいて行えばよい。
本実施例によれば、サーバ装置10は、車両Cに設けられた表示制御装置1Aに、地物データを出力する通信部12を備えている。このようにすることにより、車両Cに対して地物データを配信することができる。したがって、車両Cは、地物データを予め有する必要が無く、車両Cが有する記憶装置の容量を削減することができる。また、地物データ5aの更新も容易に行うことができる。
次に、本発明の第3の実施例にかかる表示制御装置を図8~図11を参照して説明する。なお、前述した第1の実施例と同一部分には、同一符号を付して説明を省略する。
本実施例は、地物の属性等によらずに、ライダ2で検出した点群の距離と高さの情報に基づいて表示態様を変化させる。図8に本実施例にかかる表示制御装置1Bのブロック構成を示す。図8に示したブロック構成は、図1に対して、表示制御部3が表示制御部3Bに変更されている点が異なる。
表示制御部3Bは、ライダ2が取得した点群情報のうち、距離情報と高さ情報に基づいて、点群の表示態様を変化させる。具体的には、ライダ2が取得した点群の距離や高さに応じて色等を変化させる。ライダ2は、上記したように、物体までの距離を測定することができるが、その時にレーザ光を照射した角度(水平角、垂直角)も取得することができる。したがって、距離と角度から物体(点群)の高さ(地上高)を求めることが可能である。
図9に距離ごとの色の設定例を示す。図9の場合、自車から0m以上10m未満の範囲が色A、自車から10m以上30m未満の範囲が色B、自車から30m以上50m未満の範囲が色C、自車から50m以上の範囲が色Dとなっている。
図10に高さごとの色の設定例を示す。図10の場合、高さが地上0m以上10m未満の範囲が色A、地上10m以上50m未満の範囲が色B、地上50m以上100m未満の範囲が色C、地上100m以上の範囲が色Dとなっている。
なお、表示態様として色を変化させるに限らず、コントラストを変化させるようにしてもよい。また、距離と高さを組み合わせて色やコントラストを変化させてもよい。
また、表示態様としては、点群の色やコントラストを変化させるに限らず、例えば図4下段のようなデフォルメを行った上で上記した距離や高さに応じて色やコントラストを変化させるようにしてもよい。さらには、色やコントラストではなく、距離や高さによってエフェクトの種類を変更するようにしてもよい。
図11に本実施例の表示制御装置1Bにおける動作(表示制御方法)を示す。図11に示したフローチャートは表示制御部3Bで実行される。したがって、表示制御部3BをCPU等を有するマイクロコンピュータ等で構成することで、表示制御方法を実行する表示制御プログラムとすることができる。
図11のフローチャートにおいて、ステップS11、S12、S15は図3に示したフローチャートと同様である。図11のフローチャートは、図3に示したステップS13が省略され、ステップS14がステップS14Aに変更されている。
ステップS14Aは、上述したように、ライダ2が取得した点群情報のうち、距離情報と高さ情報に基づいて点群の表示態様を決定する。即ち、ステップS12が点群情報取得工程、ステップS14Aが表示制御工程となる。
本実施例によれば、表示制御装置1Bは、ライダ2が地物までの距離情報及び当該地物の高さ情報を含む点群情報を取得し、表示制御部3Bが距離情報及び高さ情報に基づいて点群情報に基づく画像の表示態様を変化させる。このようにすることにより、点群情報に含まれる距離等の情報に基づいて表示態様を変化させることが可能となる。例えば、距離に応じてエフェクトを変化させることができる。したがって、点群情報を利用して、エンタテインメント性を向上させることができる。
また、表示制御部3Bは、距離情報及び高さ情報に基づいて角度情報を求め、角度情報に基づいて点群情報に基づく画像の表示態様を変化させてもよい。このようにすることにより、点群情報に含まれる点群の角度に基づいてエフェクト等の表示態様を変化させることが可能となる。
また、表示態様の変化には、色の変化やコントラストの変化を含み、表示制御部は、点群情報に基づく画像の色やコントラストを変化させてもよい。このようにすることにより、距離や高さに応じて色やコントラストを変化させて表示することができる。
また、上述した3つの実施例では、ライダ2で取得した点群情報をリアルタイムに表示制御部3等で処理していたが、図12に示すように、点群情報を点群情報5bとして記憶部5に予め記憶させ、表示制御部3Cが、現在位置推定部7で推定した現在位置に対応する点群情報を記憶部5から読み出して所定の加工を施すようにしてもよい。即ち、図12の場合は表示制御部3Cが点群情報取得部として機能する。図12の構成の場合、点群情報が予め記憶されていることから周辺車両等の動的地物は、現実の状況と異なるため、例えば静的地物のみを表示するようにしてもよい。
現在位置推定部7は、表示制御装置1Cが搭載される車両の現在位置を推定する。現在位置推定部7は、例えばGPS受信機により構成され、GPS衛星から受信した電波により現在位置を表す緯度及び経度の位置情報を推定すればよい。
なお、図12では、表示制御装置1Cが記憶部5を備えているが、このような3Dデータはデータ量が多いので外部サーバ等に格納し、外部サーバと通信する通信装置を備えて、表示制御部3Cが、通信装置を介して点群情報を取得するようにしてもよい。
また、ライダ2が取得した点群情報には、車両の周囲に存在する物体を示す情報、例えば利用者であるドライバーが注意すべき歩行者や、他車両を示す情報が含まれている。したがって、当該点群情報を利用してエンタテインメント性を持った画像を表示させることで、ドライバーは当該画像を楽しみつつ、注意すべき物体等を監視することができる。これに伴い、ドライバーが持つ安心感を向上させることができることとなる。
また、本発明は上記実施例に限定されるものではない。即ち、当業者は、従来公知の知見に従い、本発明の骨子を逸脱しない範囲で種々変形して実施することができる。かかる変形によってもなお本発明の表示制御装置の構成を具備する限り、勿論、本発明の範疇に含まれるものである。
1、1A、1B、1C 表示制御装置
2 ライダ(点群情報取得部)
3、3A、3B、3C 表示制御部
4 表示部
5 記憶部
5a 地物データ(地図データ構造)
10 サーバ装置
13a 地物データ(地図データ構造)
2 ライダ(点群情報取得部)
3、3A、3B、3C 表示制御部
4 表示部
5 記憶部
5a 地物データ(地図データ構造)
10 サーバ装置
13a 地物データ(地図データ構造)
Claims (11)
- 移動体に配置され、画像を表示させる表示装置であって、
前記移動体の周囲の地物を複数の点により表した点群情報を取得する点群情報取得部と、
取得した点群情報を表示する表示部と、
前記表示部に表示された点群情報を、前記点群情報に含まれる所定の地物に対応する部分を当該地物に対して予め定められた属性に応じて決定される表示態様に加工して表示させる表示制御部と、
を備えることを特徴とする表示制御装置。 - 自動運転可能な移動体に配置された表示部に画像を表示させる表示制御装置であって、
前記移動体の周囲の地物を複数の点により表した点群情報を取得する点群情報取得部と、
前記移動体が前記自動運転中である場合に、前記点群情報取得部で取得した前記点群情報に基づいて、当該点群情報に含まれる所定の地物に対応する部分を当該地物に対して予め定められた属性に応じて決定される表示態様とした画像を前記表示部に表示させる表示制御部と、を備え、
前記表示制御部は、前記地物に対応する部分を、進行方向に沿って色彩の移動または色彩や光等を表現した図形が移動するように表示させることを特徴とする表示制御装置。 - 移動体に配置された表示部に画像を表示させる表示制御装置であって、
前記移動体の周囲の地物を複数の点により表した点群情報を取得する点群情報取得部と、
前記点群情報取得部で取得した前記点群情報に基づいて、当該点群情報に含まれる所定の地物に対応する部分を当該地物に対して予め定められた属性に応じて決定される表示態様とした画像を前記表示部に表示させる表示制御部と、を備え、
前記表示制御部は、前記地物に対応する部分を、当該地物の高さ及び距離に基づいて色彩またはコントラストを変化させるように表示させ、前記地物に対応する部分を、進行方向に沿って色彩の移動または色彩や光等を表現した図形が移動するように表示させる、
ことを特徴とする表示制御装置。 - 前記地物には、白線、ガードレール、縁石が含まれていることを特徴とする請求項1から3のうちいずれか一項に記載の表示制御装置。
- 移動体に配置された表示部に画像を表示させる表示制御装置であって、
前記移動体の周囲の地物を複数の点により表した点群情報を取得する点群情報取得部と、
前記点群情報取得部で取得した前記点群情報に基づいて、当該点群情報に含まれる所定の地物に対応する部分を当該地物に対して予め定められた属性に応じて決定される表示態様とした画像を前記表示部に表示させる表示制御部と、を備え、
前記表示制御部は、前記地物に対応する部分を、当該地物の高さ方向に沿って色彩が移動または色彩や光等を表現した図形が移動するように表示させる、
ことを特徴とする表示制御装置。 - 前記表示制御部は、前記地物の属性が、静的地物か動的地物かで表示態様が異なることを特徴とする請求項1から5のうちいずれか一項に記載の表示制御装置。
- 移動体に配置された表示部に画像を表示させる表示制御装置で実行される表示制御方法であって、
前記移動体の周囲の地物を複数の点により表した点群情報を取得する点群情報取得工程と、
取得した点群情報を表示する表示工程と、
前記表示工程で表示された点群情報を、前記点群情報に含まれる所定の地物に対応する部分を当該地物に対して予め定められた属性に応じて決定される表示態様に加工して表示させる表示制御工程と、
を含むことを特徴とする表示制御方法。 - 自動運転可能な移動体に配置された表示部に画像を表示させる表示制御装置で実行される表示制御方法あって、
前記移動体の周囲の地物を複数の点により表した点群情報を取得する点群情報取得工程と、
前記移動体が前記自動運転中である場合に、前記点群情報取得部で取得した前記点群情報に基づいて、当該点群情報に含まれる所定の地物に対応する部分を当該地物に対して予め定められた属性に応じて決定される表示態様とした画像を前記表示部に表示させる表示制御工程と、を含み、
前記表示制御工程は、前記地物に対応する部分を、進行方向に沿って色彩の移動または色彩や光等を表現した図形が移動するように表示させることを特徴とする表示制御方法。 - 移動体に配置された表示部に画像を表示させる表示制御装置で実行される表示制御方法あって、
前記移動体の周囲の地物を複数の点により表した点群情報を取得する点群情報取得工程と、
前記点群情報取得部で取得した前記点群情報に基づいて、当該点群情報に含まれる所定の地物に対応する部分を当該地物に対して予め定められた属性に応じて決定される表示態様とした画像を前記表示部に表示させる表示制御工程と、を含み、
前記表示制御工程は、前記地物に対応する部分を、当該地物の高さ及び距離に基づいて色彩またはコントラストを変化させるように表示させ、前記地物に対応する部分を、進行方向に沿って色彩の移動または色彩や光等を表現した図形が移動するように表示させる、
ことを特徴とする表示制御方法。 - 移動体に配置された表示部に画像を表示させる表示制御装置で実行される表示制御方法あって、
前記移動体の周囲の地物を複数の点により表した点群情報を取得する点群情報取得工程と、
前記点群情報取得部で取得した前記点群情報に基づいて、当該点群情報に含まれる所定の地物に対応する部分を当該地物に対して予め定められた属性に応じて決定される表示態様とした画像を前記表示部に表示させる表示制御工程と、を含み、
前記表示制御工程は、前記地物に対応する部分を、当該地物の高さ方向に沿って色彩が移動または色彩や光等を表現した図形が移動するように表示させる、
ことを特徴とする表示制御方法。 - 請求項7から10のうちいずれか一項に記載の表示制御方法を、コンピュータにより実行させることを特徴とする表示制御プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023030803A JP2023085254A (ja) | 2017-12-26 | 2023-03-01 | 表示制御装置 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017249677A JP2019117432A (ja) | 2017-12-26 | 2017-12-26 | 表示制御装置 |
JP2023030803A JP2023085254A (ja) | 2017-12-26 | 2023-03-01 | 表示制御装置 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017249677A Division JP2019117432A (ja) | 2017-12-26 | 2017-12-26 | 表示制御装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023085254A true JP2023085254A (ja) | 2023-06-20 |
Family
ID=67304429
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017249677A Pending JP2019117432A (ja) | 2017-12-26 | 2017-12-26 | 表示制御装置 |
JP2023030803A Pending JP2023085254A (ja) | 2017-12-26 | 2023-03-01 | 表示制御装置 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017249677A Pending JP2019117432A (ja) | 2017-12-26 | 2017-12-26 | 表示制御装置 |
Country Status (1)
Country | Link |
---|---|
JP (2) | JP2019117432A (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022069007A (ja) * | 2020-10-23 | 2022-05-11 | 株式会社アフェクション | 情報処理システム、情報処理方法および情報処理プログラム |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4287647B2 (ja) * | 2002-12-27 | 2009-07-01 | 株式会社Ihi | 環境状況把握装置 |
JP4882285B2 (ja) * | 2005-06-15 | 2012-02-22 | 株式会社デンソー | 車両用走行支援装置 |
CA2678156C (en) * | 2007-02-16 | 2013-10-08 | Mitsubishi Electric Corporation | Measurement apparatus, measurement method, and feature identification apparatus |
CA2725800A1 (en) * | 2008-07-31 | 2010-02-04 | Tele Atlas B.V. | Method of displaying navigation data in 3d |
US20100208981A1 (en) * | 2009-02-13 | 2010-08-19 | Harris Corporation | Method for visualization of point cloud data based on scene content |
JP5501101B2 (ja) * | 2010-06-03 | 2014-05-21 | 三菱電機株式会社 | 位置標定装置、位置標定方法および位置標定プログラム |
JP5430627B2 (ja) * | 2011-09-02 | 2014-03-05 | 株式会社パスコ | 道路付属物検出装置、道路付属物検出方法、及びプログラム |
WO2013169601A2 (en) * | 2012-05-07 | 2013-11-14 | Honda Motor Co., Ltd. | Method to generate virtual display surfaces from video imagery of road based scenery |
JP6350247B2 (ja) * | 2014-12-01 | 2018-07-04 | 株式会社デンソー | 画像処理装置 |
JP2017021546A (ja) * | 2015-07-10 | 2017-01-26 | 田山 修一 | 車輌用画像表示システム及び方法 |
JP6232649B2 (ja) * | 2016-02-18 | 2017-11-22 | 国立大学法人名古屋大学 | 仮想空間表示システム |
JP6736931B2 (ja) * | 2016-03-24 | 2020-08-05 | 日産自動車株式会社 | 立体物検出方法及び立体物検出装置 |
-
2017
- 2017-12-26 JP JP2017249677A patent/JP2019117432A/ja active Pending
-
2023
- 2023-03-01 JP JP2023030803A patent/JP2023085254A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
JP2019117432A (ja) | 2019-07-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11535155B2 (en) | Superimposed-image display device and computer program | |
US10942517B2 (en) | Autonomous driving assistance device, control method, program and storage medium | |
US11248925B2 (en) | Augmented road line detection and display system | |
US9135754B2 (en) | Method to generate virtual display surfaces from video imagery of road based scenery | |
JP7052786B2 (ja) | 表示制御装置および表示制御プログラム | |
CN111144211B (zh) | 点云显示方法和装置 | |
WO2021006060A1 (ja) | 表示制御装置および表示制御プログラム | |
KR20190095579A (ko) | 차량의 주행을 보조하는 장치 및 방법 | |
US11782439B2 (en) | Determining routes for autonomous vehicles | |
US20240071074A1 (en) | Ar service platform for providing augmented reality service | |
US11668573B2 (en) | Map selection for vehicle pose system | |
WO2022009848A1 (ja) | 自車位置推定装置、走行制御装置 | |
JP2019109707A (ja) | 表示制御装置、表示制御方法および車両 | |
JP2023085254A (ja) | 表示制御装置 | |
JP2022129175A (ja) | 車両評価方法及び車両評価装置 | |
JP2020196416A (ja) | 表示制御装置および表示制御プログラム | |
JP2019027996A (ja) | 車両用表示方法及び車両用表示装置 | |
US20190391588A1 (en) | Information processing method and information processing device | |
JP2019117214A (ja) | 地物データ構造 | |
CN107548466A (zh) | 一种检测道路障碍物的方法及装置 | |
JP2019064317A (ja) | 車両用表示装置 | |
JP6728970B2 (ja) | 移動体の自動運転制御システム | |
JP2019117052A (ja) | 表示制御装置 | |
JP2019117435A (ja) | 画像生成装置 | |
JP7283448B2 (ja) | 表示制御装置および表示制御プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230301 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240105 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240206 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240401 |