JP2020157933A - 画像表示システム、移動体、画像表示方法及びプログラム - Google Patents

画像表示システム、移動体、画像表示方法及びプログラム Download PDF

Info

Publication number
JP2020157933A
JP2020157933A JP2019059468A JP2019059468A JP2020157933A JP 2020157933 A JP2020157933 A JP 2020157933A JP 2019059468 A JP2019059468 A JP 2019059468A JP 2019059468 A JP2019059468 A JP 2019059468A JP 2020157933 A JP2020157933 A JP 2020157933A
Authority
JP
Japan
Prior art keywords
posture angle
image
moving body
detection value
image display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019059468A
Other languages
English (en)
Other versions
JP7228761B2 (ja
Inventor
文人 犬飼
Fumito Inukai
文人 犬飼
森 俊也
Toshiya Mori
俊也 森
勝長 辻
Masanaga Tsuji
勝長 辻
研一 笠澄
Kenichi Kasasumi
研一 笠澄
幸広 長久
Yukihiro Nagahisa
幸広 長久
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2019059468A priority Critical patent/JP7228761B2/ja
Priority to DE112020001523.8T priority patent/DE112020001523T5/de
Priority to PCT/JP2020/007099 priority patent/WO2020195430A1/ja
Publication of JP2020157933A publication Critical patent/JP2020157933A/ja
Priority to US17/484,905 priority patent/US11619811B2/en
Application granted granted Critical
Publication of JP7228761B2 publication Critical patent/JP7228761B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

【課題】移動体の姿勢角をより精度良く算出できる画像表示システムを提供する。【解決手段】画像表示システム10は、移動体100に搭載される画像表示システムである。画像表示システム10は、移動体100の表示対象物101に画像700を投影して表示する画像投影部30と、所定期間における移動体100の加速度の加速度検出値Gの時系列データに基づいて、移動体100の姿勢角βを算出する姿勢角算出部43と、姿勢角算出部43により算出された姿勢角βに応じて、表示対象物101に画像700を投影して表示する表示位置を制御する表示制御部51と、を備える。加速度検出値Gは、2方向の成分Gx,Gzを含む。姿勢角算出部43は、前記所定期間のうち2方向の成分の比W1が所定範囲S1外である除外期間K1に含まれる加速度検出値Gを、姿勢角βの算出で用いる前記時系列データから除外する。【選択図】図1

Description

本開示は、画像表示システム、移動体、画像表示方法及びプログラムに関し、より詳細には、画像を表示対象物に投影して表示する画像表示システム、この画像表示システムを搭載した移動体、画像表示方法及びプログラムに関する。
特許文献1は、車両に搭載されるヘッドアップディスプレイ装置を開示する。このヘッドアップディスプレイ装置は、画像表示器からの情報を車両のフロントシールドに投影して表示する。これにより、画像表示器からの情報を観測者の視野内に重畳して表示する。このヘッドアップディスプレイ装置は、上記の車両(移動体)の加速度を検出することで車両の姿勢角を算出し、その姿勢角によって重畳画像の表示位置を補正する。
特開平1−293239
しかしながら、車両の加速度は、車両の走行中に車両が受ける外乱の影響を受けて大きく変動する場合がある。このため、車両の姿勢角を精度良く算出することができない。したがって、画像表示器からの情報を、車両の姿勢角に応じて精度良く補正できない。
本開示は、移動体の姿勢角をより精度良く算出できる画像表示システム、移動体、画像表示方法及びプログラムを提供することを目的とする。
本開示の一態様に係る画像表示システムは、移動体に搭載される画像表示システムである。前記画像表示システムは、前記移動体の表示対象物に画像を投影して表示する画像投影部と、所定期間における前記移動体の加速度の加速度検出値の時系列データに基づいて、前記移動体の姿勢角を算出する姿勢角算出部と、前記姿勢角算出部により算出された前記姿勢角に応じて、前記表示対象物に前記画像を投影して表示する表示位置を制御する表示制御部と、を備える。前記加速度検出値は、2方向の成分を含む。前記姿勢角算出部は、前記所定期間のうち前記2方向の成分の比が所定範囲外にある除外期間に含まれる前記加速度検出値を、前記姿勢角の算出に用いる前記時系列データから除外する。
本開示の一態様の画像表示システムは、移動体に搭載される画像表示システムである。前記画像表示システムは、前記移動体の表示対象物に画像を投影して表示する画像投影部と、所定期間における前記移動体の加速度の加速度検出値の時系列データに基づいて、前記移動体の姿勢角を算出する姿勢角算出部と、前記姿勢角算出部により算出された前記姿勢角に応じて、前記表示対象物に前記画像を投影して表示する表示位置を制御する表示制御部と、を備える。前記加速度検出値は、2方向の成分を含む。前記姿勢角算出部は、前記移動体の角速度の角速度検出値が所定範囲外にある除外期間に含まれる前記加速度検出値を、前記姿勢角の算出に用いる前記時系列データから除外する。
本開示の一態様の移動体は、上記の一態様の画像表示システムと、前記画像表示システムが搭載された移動体本体と、を備える。前記表示対象物は、前記移動体本体のフロントシールドである。
本開示の一態様の画像表示方法は、移動体に搭載される画像表示システムを制御する画像表示方法である。前記画像表示方法は、前記移動体の表示対象物に画像を投影して表示する画像投影処理と、所定期間における前記移動体の加速度の加速度検出値の時系列データに基づいて、前記移動体の姿勢角を算出する姿勢角算出処理と、前記姿勢角算出処理により算出された前記姿勢角に応じて、前記表示対象物に前記画像を投影して表示する表示位置を制御する表示制御処理と、を備える。前記加速度検出値は、2方向の成分を含む。前記姿勢角算出処理は、前記所定期間のうち前記2方向の成分の比が所定範囲外にある除外期間に含まれる前記加速度検出値を、前記姿勢角の算出に用いる前記時系列データから除外する。
本開示の一態様の画像表示方法は、移動体に搭載される画像表示システムを制御する画像表示方法である。前記画像表示方法は、前記移動体の表示対象物に画像を投影して表示する画像投影処理と、所定期間における前記移動体の加速度の加速度検出値の時系列データに基づいて、前記移動体の姿勢角を算出する姿勢角算出処理と、前記姿勢角算出処理により算出された前記姿勢角に応じて、前記表示対象物に前記画像を投影して表示する表示位置を制御する表示制御処理と、を備える。前記加速度検出値は、2方向の成分を含む。前記姿勢角算出処理は、前記移動体の角速度の角速度検出値が所定範囲外にある除外期間に含まれる前記加速度検出値を、前記姿勢角の算出に用いる前記時系列データから除外する。
本開示の一態様に係るプログラムは、コンピュータシステムに、上記の一態様の画像表示方法を実行させるためのプログラムである。
本開示によれば、画像投影部の姿勢角をより精度良く算出できる、という効果を有する。
図1は、実施形態1に係る画像表示システムの構成を示す概念図である。 図2は、同上の画像表示システムを備える自動車の概念図である。 図3は、同上の画像表示システムを用いた場合のユーザの視野を示す概念図である。 図4Aは、同上の自動車が傾いていない場合の自動車に作用する運動加速度を説明する説明図である。図4Bは、同上の自動車が傾いている場合の自動車に作用する運動加速度を説明する説明図である。 図5Aは、傾いていない同上の自動車を側方から見た概略図である。図5Bは、図5Aの状態の自動車を運転するユーザの視野を示す概念図である。 図6Aは、傾斜している同上の自動車を側方から見た概略図である。図6Bは、図6Aの状態の自動車を運転するユーザの視野を示す概念図である。 図7は、同上の画像表示システムにおける加速度センサの検出値Gと加速度センサの2方向の加速度成分の比W1との比較した比較図である。 図8Aは、同上の自動車が外乱を受けない場合の加速度センサの検出値Gの分布の一例を示す分布図である。図8Bは、同上の自動車が外乱を受ける場合の加速度センサの検出値Gの分布の一例を示す分布図である。 図9は、実施形態1の変形例1における加速度センサの加速度成分を説明する説明図である。 図10は、実施形態1の変形例2に係る画像表示システムにおける加速度センサの検出値Gと加速度センサの2方向の加速度成分の比W1とを比較した比較図である。 図11は、実施形態2に係る画像表示システムの構成を示す概念図である。 図12は、実施形態2に係る画像表示システムにおける加速度センサの加速度検出値Gと角速度センサの角速度検出値Q1との関係を説明する説明図である。
(実施形態1)
(概要)
本実施形態に係る画像表示システム10は、図1及び図2に示すように、例えば、移動体としての自動車100に備えられるヘッドアップディスプレイ(HUD:Head-Up Display)である。すなわち、移動体100は、移動体本体と、移動体本体に備えられた画像表示システム10とを備える。
この画像表示システム10は、自動車100のフロントシールド101(ウインドウシールド)に下方から画像を投影するように、自動車100の車室内に設置されている。図2の例では、フロントシールド101の下方のダッシュボード102内に、画像表示システム10が配置されている。画像表示システム10からフロントシールド101に画像が投影されると、表示対象物としてのフロントシールド101に表示された画像が、ユーザ200(運転者)に視認される。
このような画像表示システム10によれば、ユーザ200は、自動車100の前方(車外)に設定された対象空間400に投影された虚像300を、フロントシールド101越しに視認する。ここでいう「虚像」は、画像表示システム10から出射される光がフロントシールド101等の表示対象物にて発散するとき、その発散光線によって、実際に物体があるように結ばれる像を意味する。そのため、自動車100を運転しているユーザ200は、図3に示すように、自動車100の前方に広がる実空間に重ねて、画像表示システム10にて投影される虚像300を見ることができる。したがって、画像表示システム10によれば、例えば、車速情報、ナビゲーション情報、歩行者情報、前方車両情報、車線逸脱情報、及び車両コンディション情報等の、種々の運転支援情報を、虚像300として表示し、ユーザ200に視認させることができる。これにより、ユーザ200は、フロントシールド101の前方に視線を向けた状態から僅かな視線移動だけで、運転支援情報を視覚的に取得することができる。
本実施形態に係る画像表示システム10では、対象空間400に形成される虚像300は、少なくとも第1虚像301と第2虚像302との2種類の虚像を含んでいる。ここでいう「第1虚像」は、例えば、ナビゲーション情報として自動車100の進行方向を示す情報であり、路面600上に右折又は左折を示す矢印を提示すること等が可能である。この種の第1虚像301は、拡張現実(AR:Augmented Reality)技術を用いて表示される画像であって、ユーザ200から見た現実の風景(路面600、建物、周辺車両、及び歩行者等)における特定の位置に重畳して表示される。第2虚像302は、例えば、車速情報であり、現在の自動車100の走行速度(車速)を提示すること等が可能である。図3の例では、第1虚像301は、一例として、自動車100の前方の丁字路上に「左折」を指示する矢印を表している。第2虚像302は、一例として、「50km/h」という情報を表示している。
画像表示システム10では、対象空間400に形成される虚像300は、画像表示システム10の光軸500に交差する仮想面501上に形成される。本実施形態では、光軸500は、自動車100の前方の対象空間400において、自動車100の前方の路面600に沿っている。そして、虚像300が形成される仮想面501は、路面600に対して略垂直である。例えば、路面600が水平面である場合には、虚像300は鉛直面に沿って表示されることになる。
ここにおいて、本実施形態に係る画像表示システム10は、画像投影部30と、本体部1とを備えている。
画像投影部30は、画像700を形成し、形成した画像700をフロントシールド101に投影して表示することで、画像700に対応する虚像300を対象空間400に投影する。画像投影部30は、画像形成部2と、投影部3とを備えている。
画像形成部2は、表示面20を有し、表示面20に画像700(図8参照)を形成する。画像形成部2は、形成した画像を出力光によって投影部3に投光する。投影部3は、画像形成部2から投光された画像をフロントシールド101に投影することで、画像700に対応する虚像300を対象空間400に投影する。
本体部1には、これら画像形成部2及び投影部3が実装される。このような本体部1が自動車100に搭載された状態では、例えば、自動車100の荷重に起因して、本体部1の姿勢が自動車100の姿勢と共に変化する。なお、画像投影部30は本体部1に実装されるため、画像投影部30の姿勢は、本体部1の姿勢と同じである。このため、本体部1の姿勢は、画像投影部30の姿勢でもある。
具体的には、例えば、運転席および助手席に乗員がいる際など自動車100が前傾姿勢になれば、本体部1も前傾姿勢となり、後部座席に乗員がいる場合やトランクに荷物を載せた際などに後傾姿勢になれば、本体部1も後傾姿勢になる。画像表示システム10の本体部1の姿勢(従って画像投影部30の姿勢角)が変化すると、この画像表示システム10にて投影される虚像300の対象空間400内での位置も変化する。そのため、例えば、自動車100が前傾姿勢又は後傾姿勢になった場合に、第1虚像301であれば、ユーザ200から見た現実の風景において本来重畳すべき特定の位置からずれた位置に重畳して表示されることがある。
そこで、本実施形態に係る画像表示システム10は、虚像300の表示位置を補正するための位置補正部4を、更に有している。位置補正部4は、本体部1の姿勢角(従って移動体100の姿勢角)に基づいて、本体部1(従って移動体100)に対する相対的な虚像300の表示位置を変化させる。本体部1の姿勢角は、例えば、路面に直交する鉛直軸からの本体部1の上下軸の傾きである。
これにより、本体部1の姿勢角に従って、フロントシールド101での画像700の表示位置が調整されることで、虚像300の表示位置が調整される。そのため、例えば、自動車100が前傾姿勢又は後傾姿勢になったとしても、画像表示システム10は、第1虚像301であれば、ユーザ200から見た現実の風景において本来重畳すべき特定の位置に重畳して表示することが可能である。
(構成)
本実施形態に係る画像表示システム10は、図1に示すように、本体部1と、画像投影部30、位置補正部4と、表示制御部51と、加速度センサ52と、を備えている。画像投影部30は、画像形成部2及び投影部3を備えている。
本体部1は、例えば、1つの筐体にて構成されている。この本体部1内に画像形成部2及び投影部3が収容されることで、画像形成部2及び投影部3が本体部1に実装される。本実施形態では、画像形成部2及び投影部3以外の構成要素(位置補正部4及び表示制御部51)についても、本体部1に実装(収容)されている。本体部1は、自動車100のダッシュボード102内に固定される。ただし、画像形成部2及び投影部3以外の構成要素(位置補正部4及び表示制御部51)については、本体部1に実装されていなくてもよい。また、本体部1は、複数の筐体で構成されていてもよいし、そもそも筐体でなく、例えば、フレーム又は板材等であってもよい。
画像投影部30は、画像700を形成し、形成した画像700をフロントシールド101に投影して表示することで、画像700に対応する虚像300を対象空間400に投影する。
画像形成部2は、表示面20を有し、表示面20に画像700を形成する。本実施形態では一例として、画像形成部2は、図1に示すように、液晶パネル21(LCD:Liquid Crystal Display)、及び光源装置22を有している。液晶パネル21は、光源装置22の前方に配置されている。液晶パネル21の前面(光源装置22とは反対側の表面)が、表示面20を構成する。光源装置22は、液晶パネル21のバックライトとして用いられる。光源装置22からの光は、液晶パネル21の裏側から液晶パネル21を透過して画像形成部2から出力される。光源装置22は、発光ダイオード又はレーザダイオード等の固体発光素子を用いて、液晶パネル21の背面の略全域に光を照射する面光源である。
この画像形成部2では、液晶パネル21に画像700が表示された状態で、光源装置22が発光することで、光源装置22から前方に出力される光が、液晶パネル21を透過して、液晶パネル21の前面(表示面20)から前方に出力される。このとき表示面20から前方に出力される光は、液晶パネル21に表示された画像700を反映した光(画像光)である。したがって、表示面20を前方から見ると、表示面20に画像700が表示されているように見えることとなり、表示面20に画像700が形成される。
なお、画像形成部2は、液晶パネル201を備えた構成であるが、このような構成に限定されない。例えば、画像形成部2は、画像形成部2の表示面20の背面からレーザ光を走査して画像700を形成するように構成されてもよい。
ここで、表示面20の縦方向が画像700の縦方向となり、表示面20の横方向が画像700の横方向となる。投影される画像700の縦方向は、対象空間400(図2参照)に投影される虚像300(図2参照)の縦方向、つまりユーザ200(図2参照)の視野内において鉛直方向に沿った方向である。投影される画像700の横方向は、対象空間400に投影される虚像300の横方向、つまりユーザ200の視野内において水平方向に沿った方向である。
投影部3は、画像形成部2の出力光により、画像700をフロントシールド101に投影して表示することで、画像700に対応する虚像300を対象空間400に投影する。
投影部3は、図1に示すように、第1ミラー31と、第2ミラー32と、を有している。第1ミラー31及び第2ミラー32は、画像形成部2から、出力光の光路上に、第1ミラー31、第2ミラー32の順で配置されている。より詳細には、第1ミラー31は、画像形成部2の出力光が入射するように、画像形成部2の表示面20の前方に配置されている。第1ミラー31は、画像形成部2の出力光を、第2ミラー32に向けて反射する。第2ミラー32は、第1ミラー31で反射された画像形成部2の出力光が入射するような位置(例えば第1ミラー31の前方下側の位置)に配置されている。第2ミラー32は、第1ミラー31で反射された画像形成部2の出力光を、上方(すなわちフロントシールド101)に向けて反射する。第1ミラー31は、例えば凸面鏡であり、第2ミラー32は、例えば凹面鏡である。
この構成により、投影部3は、画像形成部2の表示面20に表示された画像700を、適当な大きさに拡大又は縮小して、投影画像としてフロントシールド101に投影する。この結果、対象空間400に虚像300が表示される。つまり、自動車100を運転しているユーザ200の視野内では、画像表示システム10から投影された画像700の虚像300が、自動車100の前方に広がる実景に重ねて表示される。
表示制御部51は、画像形成部2を制御する。表示制御部51は、例えば、CPU(Central Processing Unit)及びメモリを主構成とするマイクロコンピュータにて構成されている。言い換えれば、表示制御部51は、CPU及びメモリを有するコンピュータにて実現されており、CPUがメモリに格納されているプログラムを実行することで、コンピュータが表示制御部51として機能する。プログラムは、ここでは表示制御部51のメモリに予め記録されているが、インターネット等の電気通信回線を通じて、又はメモリカード等の記録媒体に記録されて提供されてもよい。
表示制御部51は、画像形成部2を制御することで、表示面20に任意の画像700を形成する。また、表示制御部51は、表示面20での画像700の表示位置を制御する。これにより、表示制御部51は、フロントシールド101での画像700の表示位置を制御する。この結果、対象空間400に投影された虚像300における本体部1に対する相対的な表示位置が制御される。
表示制御部51は、ソフトウェア処理により、液晶パネル21に任意の映像コンテンツを表示(描画)させることができ、これにより、表示面20に任意の画像700が形成され、また、表示面20での画像700の表示位置が制御される。例えば、図3のような虚像300(第1虚像301及び第2虚像302)を対象空間400に投影する場合、第1虚像301の内容(矢印の向き、位置等)、及び第2虚像302の内容(車速等)については、表示制御部51にて決定される。さらに、表示制御部51は、液晶パネル21の前面、つまり表示面20における画像700の位置についても決定する。表示面20における画像700の位置が変化すれば、本体部1に対する虚像300の相対的な表示位置も変化する。
加速度センサ52は、自動車100に作用する加速度(本実施形態では運動加速度)(検出値G)を検出する。運動加速度とは、自動車100の走行による加速によって自動車100に発生する加速度である。すなわち、運動加速度は、自動車100に作用する加速度のうち、重力加速度を除いた加速度である。運動加速度は、例えば、自動車100の加速の向きと反対向きに発生する。
なお、本実施形態では、加速度センサ52は、自動車100に作用する運動加速度を直接検出する。ただし、加速度センサ52が、自動車100の運動加速度と重力加速度との合成加速度を検出する場合は、その合成加速度の検出値から自動車100に作用する重力加速度の値をベクトル的に除算した値を、自動車100の運動加速度の検出値Gとして用いればよい。この場合、自動車100に作用する重力加速度の値は、静止状態での加速度センサ52の検出値Gを用いることができる。
加速度センサ52は、例えば2軸加速度センサであり、自動車100の上下軸Az方向(上下方向)及び前後軸Ax方向(前後方向)の加速度を検出する。なお、この上下軸Az及び前後軸Axは、自動車100に固定された仮想の軸である。前後軸Ax方向は、上下軸Azに直交する方向である。例えば、前方に走行中の自動車100の姿勢が路面600に対して前後方向に傾いていない場合は、自動車100に作用する運動加速度は、自動車100の前後軸Ax方向のみに作用する。このため、加速度センサ52の検出値G(すなわち運動加速度の検出値)は、前後軸Ax方向の加速度成分Gxのみを有する(図4A参照)。他方、前方に走行中の自動車100の姿勢が路面600に対して例えば前後方向に傾斜している場合は、自動車100に作用する運動加速度は、自動車100の上下軸Az方向及び前後軸Ax方向の両方向に作用する。このため、検出値Gは、上下軸Az方向の加速度成分Gzと前後軸Ax方向の加速度成分Gxを有する(図4B参照)。
位置補正部4は、加速度センサ52の検出値Gに基づいて本体部1の姿勢(より詳細には姿勢角)を算出し、算出した姿勢角に基づいて、表示面20での画像700の表示位置を変化させる。これにより、フロントシールド101での画像700の表示位置が変化する。この結果、本体部1に対する相対的な虚像300の表示位置が変化する。このように、画像表示システム10は、本体部1の姿勢が変化した場合に、この変化に応じて、表示面20での画像700の表示位置を変化させることで、虚像300の表示位置を補正することができる。例えば、第1虚像301について、ユーザ200から見た現実の風景において本来重畳すべき特定の位置に補正して重畳して表示することができる。
位置補正部4は、例えば、CPU及びメモリを主構成とするマイクロコンピュータにて構成されている。位置補正部4の少なくとも一部の機能(例えば補正部41)は、表示制御部51と、1つのマイクロコンピュータを共用してもよい。
位置補正部4は、補正部41と、姿勢角算出部43とを有している。
姿勢角算出部43は、加速度センサ52の検出値G(加速度検出値)の時系列データに基づいて、本体部1の姿勢角を算出する。より詳細には、姿勢角算出部43は、加速度センサ52の検出値Gの時系列データに基づいて自動車100の姿勢角を算出し、この算出した姿勢角を本体部1の姿勢角とする。つまり、本体部1は、本体部1の上下、前後及び左右が自動車100の上下、前後及び左右に一致するように、ダッシュボード102に固定されている。このため、本体部1の姿勢角は自動車100(車体)の姿勢角と一致することになり、自動車100の姿勢角から本体部1の姿勢角を算出することが可能である。なお、姿勢角は、地球の鉛直線からの自動車100の上下軸Azの傾きである。
本実施形態では、加速度センサ52は、2軸(上下軸Azと前後軸Axの2軸)の加速度センサである。このため、加速度センサ52の検出値Gは、上下軸Az方向(上下方向)の加速度成分Gzと、前後軸Ax方向(前後方向)の加速度成分Gxとを有する。姿勢角算出部43は、姿勢角βとして、arctan(Gz/Gx)を算出する(図4参照)。
補正部41は、姿勢角算出部43により算出された姿勢角(すなわち本体部1の姿勢角)に基づいて、表示面20での画像700の表示位置を変化させるように、表示制御部を制御する。この制御により、本体部1の姿勢角に応じて、本体部1に対する相対的な虚像300の表示位置が補正される。補正部41は、少なくとも第1虚像301については、本体部1の姿勢角の変化による虚像300の対象空間400内での位置の変化を吸収(低減)するように、表示制御部51を制御し、表示面20での画像700の位置を変更する。
より詳細には、図5A及び図5Bに示すように、自動車100の姿勢角が基準角(例えば0度)である状態においては、補正部41は、本体部1に対する相対的な虚像300(第1虚像301)の表示位置を変化させず、デフォルトの表示位置に虚像300を表示させる。ここでは、第1虚像301のデフォルトの表示位置は、表示領域401の略中央部、つまり光軸500(図5A参照)が通る位置である。ここで、第1虚像301は、自動車100の前方の丁字路での「左折」を指示する矢印を表している。つまり、ユーザ200の視野内においては、表示領域401内の、現実の風景における丁字路に重畳して第1虚像301が表示される。また、表示領域401の左下隅となる位置には、第2虚像302が表示される(図5B参照)。
一方、図6A及び図6Bに示すように、自動車100の姿勢角が基準角からずれて自動車100が例えば後傾姿勢の状態になると、補正部41は、本体部1に対する相対的な虚像300(第1虚像301)の表示位置を、デフォルトの表示位置から変化させる。すなわち、この状態では、図6Bに示すように、ユーザ200の視野内においては、表示領域401(X)が上方に移動し、表示領域401(X)から上方にシフトした位置に表示領域401(Y)が形成される。これにより、デフォルトの表示位置では、第1虚像301(X)は、表示領域401(Y)の略中央部に表示される。このため、ユーザ200の視野内においては、現実の風景における丁字路から前方にずれた位置に重畳して第1虚像301(X)が表示される。なお、図6A及び図6Bでは、対象空間400中において虚像300を投影可能な領域を、表示領域401として表している。また、表示領域401及び第1虚像301について移動が生じている。このため、移動前の表示領域401及び第1虚像301は参照符号に「X」を付し、移動後の表示領域401及び第1虚像301は参照符号に「Y」を付して、両者を区別している。
そこで、補正部41は、表示面20での画像700の位置を変更することで虚像300の表示位置を変化させる。したがって、図6Aに示すように、本体部1に対する相対的な第1虚像301(X)の表示位置が下方に移動し、表示領域401(Y)内には、第1虚像301(X)から下方にシフトした位置に第1虚像301(Y)が表示される。その結果、ユーザ200の視野内においては、図6Bに示すように、表示領域401(Y)内の、現実の風景における丁字路に重畳して第1虚像301(Y)が表示される。また、表示領域401(Y)の左下隅となる位置には、第2虚像302が表示される(図6B参照)。
(姿勢角算出部の詳細)
画像表示システム10では、上述のように、加速度センサ52の検出値G(加速度検出値)の時系列データから本体部1の姿勢角を算出し、その姿勢角に応じて、表示面20での画像700の表示位置を補正する。その際、自動車100が外乱を受けていると、本体部1の姿勢角を正確に算出できない。このため、画像表示システム10の姿勢角算出部43では、加速度センサ52の検出値Gの時系列データのうち、自動車100が受けた外乱の影響を受けた検出値Gを除去して、本体部1の姿勢角を算出する。なお、「外乱」とは、例えば、自動車100が、路面上の石などや縁石を乗り越えたときに受ける突き上げなど、自動車100の姿勢角に影響を与える外力である。以下、このような姿勢角算出部の構成について詳しく説明する。
姿勢角算出部43は、加速度センサ52の検出値Gの時系列データに基づいて、本体部1の姿勢角を算出する。より詳細には、姿勢角算出部43は、図7に示すように、加速度センサ52の作動期間(所定期間)のうちの閾値範囲外期間K1(除外期間)に含まれる加速度センサ52の検出値G(加速度検出値)を、本体部1の姿勢角の算出で用いる検出値Gの時系列データから除外する。すなわち、姿勢角算出部43は、閾値範囲内期間K2に含まれる検出値Gの時系列データに基づいて、本体部1の姿勢角を算出する。
ここで、「作動期間」とは、加速度センサ52が自動車100に作用する加速度(本実施形態では運動加速度)を検出するために作動している期間であり、加速度センサ52の作動中の全期間であってもよいし、作動中の一部の期間であってもよい。「閾値範囲外期間K1」とは、加速度センサ52の検出値Gを構成する2方向の加速度成分Gz,Gxの比W1(=Gz/Gx)が、閾値範囲S1外である期間である。閾値範囲内期間K2は、比W1が閾値範囲S1内である期間である。「2方向」は、上下軸Az方向(上下方向)と、上下軸Az方向に直交する前後軸Ax方向(前後方向)とを含む。
このように、姿勢角算出部43は、加速度センサ52の作動期間のうちの閾値範囲外期間K1に含まれる検出値Gを、本体部1の姿勢角の算出で用いる検出値Gの時系列データから除外することで、補正部41で計算される本体部1の姿勢角の精度を向上させる。この結果、補正部41において、フロントシールド101での画像700の表示位置をより精度よく補正できる。
図8A及び図8Bは、加速度センサ52の一定期間分の検出値Gの時系列データをxz座標系上の点として図示したグラフである。図8A及び図8Bにおいて、x軸が自動車100の前後軸Axであり、z軸が自動車100の上下軸Azである。図8Aに示すように、自動車100が外乱を受けていない場合は、検出値Gを表す各点は、一定の傾きの直線L1上に分布する。ただし、図8Bに示すように、自動車100が外乱を受けている場合は、検出値Gを表す各点は、直線L1上に分布するだけでなく、直線L1からずれた所にも分布する。
直線L1は、自動車100が外乱を受けていないときの検出値Gの分布を表す。直線L1の傾きは、自動車100の姿勢角に応じて異なる。図8A及び図8Bでは、自動車100が外乱を受けていない場合の自動車100の姿勢角を1度と想定している。例えば、自動車100の後部座席に乗員が居る場合と居ない場合で、自動車100の姿勢角は異なるため、直線L1の傾きも異なる。
図8Aに示すように、自動車100の姿勢角を算出するとき、直線L1上に分布した検出値Gの時系列データを用いれば、自動車100の姿勢角を精度良く計算可能である。図8Bのグラフから外乱の影響を受けた点を除去すると、図8Bのグラフは、図8Aのようなグラフになるが、その除去が、図7に示す閾値範囲外期間K1内に検出された検出値Gを除去することに対応する。
すなわち、図7において比W1が閾値範囲S1外である閾値範囲外期間K1内の検出値Gは、図8Bの直線L1からずれた点に対応する検出値Gである。このため、本体部1の姿勢角の算出で用いられる検出値Gの時系列データから、閾値範囲外期間K1内の検出値Gを除外することで、本体部1の姿勢角をより精度よく算出可能である。
閾値範囲S1は、自動車100の状態に応じて決定される。例えば、加速度センサ52の検出値Gの時系列データに基づいて、一定時間間隔で、その一定時間内で検出された検出値Gを図8Bのようにxz座標上にプロットし、プロットした点の分布から相関直線を求める。そして、その相関直線を直線L1と見なし、見なした直線L1の傾きから比W1を計算し、この比W1を中心とする一定範囲を閾値範囲S1としてもよい。例えば、比W1の値が0.1である場合は、例えば、閾値範囲S1は0.1±0.1の範囲内に設定され、比W1の値が0.5である場合は、例えば、閾値範囲S1は0.5±0.1の範囲内に設定されてもよい。又は、例えば、加速度センサ52の検出値Gに基づいて、一定時間間隔で、その一定時間内で検出された検出値Gの平均値を求め、その平均値を中心とする一定範囲を閾値範囲S1としてよい。例えば平均値が0.3である場合は、閾値範囲S1は、例えば0.3±0.1に設定されてもよい。
姿勢角算出部43は、フィルタ部431と、算出部本体432とを備えている。
フィルタ部431は、加速度センサ52の検出値Gの時系列データのうち、閾値範囲外期間K1に含まれる検出値Gを除去し、閾値範囲内期間K2に含まれる検出値Gのみを算出部本体432に出力する。より詳細には、フィルタ部431は、加速度センサ52の検出値Gの時系列データに基づいて、上述のように閾値範囲S1を設定する。そして、フィルタ部431は、加速度センサ52から一定の作動期間分の検出値Gの時系列データを取得する毎に、その一定の作動期間のうち、閾値範囲外期間K1に含まれる検出値Gを除去する。そして、フィルタ部431は、閾値範囲内期間K2に含まれる検出値Gを算出部本体432に出力する。
なお、本実施形態では、一定の作動時間毎の検出値Gの時系列データを統計的に処理することで、閾値範囲外期間K1及び閾値範囲内期間K2を決定し、閾値範囲外期間K1内の検出値Gは除去し、閾値範囲内期間K2内の検出値Gは算出部本体432に出力される。しかし、加速度センサ52の検出値Gを1つずつリアルタイムで閾値範囲S1の外か内かを判定し、閾値範囲S1内の検出値Gのみを算出部本体432に出力してもよい。
算出部本体432は、フィルタ部431から出力された検出値Gの時系列データに基づいて、自動車100の姿勢角を算出し、その算出した姿勢角を本体部1の姿勢角とする。
以上、本実施形態に係る画像表示システム10によれば、姿勢角算出部43は、加速度センサ52の作動期間のうち、閾値範囲外期間K1に含まれる検出値Gを、本体部1の姿勢角の算出で用いる検出値Gの時系列データから除外する。このため、計算される本体部1の姿勢角の精度を向上できる。この結果、フロントシールド101での画像700の表示位置をより正確に補正できる。
(実施形態1の変形例)
実施形態1は、本発明の様々な実施形態の一つに過ぎない。実施形態1は、本発明の目的を達成できれば、設計等に応じて種々の変更が可能である。さらに、実施形態1に係る態様は、単体の画像表示システム10で具現化されることに限らない。例えば、画像表示方法、コンピュータプログラム、又はプログラムを記憶した記憶媒体等で、実施形態1に係る態様が具現化されてもよい。以下に説明する変形例は、適宜組み合わせて適用可能である。
上記の画像表示方法は、移動体100に搭載される画像表示システム10を制御する画像表示方法である。この画像表示方法は、移動体100の表示対象物101に画像700を投影して表示する画像投影処理と、所定期間(加速度センサ52の作動期間)における移動体100の加速度の加速度検出値Gの時系列データに基づいて、移動体100の姿勢角βを算出する姿勢角算出処理と、姿勢角算出処理により算出された姿勢角に応じて、表示対象物101に画像700を投影して表示する表示位置を制御する表示制御処理と、を備える。加速度検出値Gは、2方向の成分Gz,Gxを含む。姿勢角算出処理は、前記所定期間のうち2方向の成分の比W1が所定範囲S1外にある除外期間K1に含まれる加速度検出値Gを、姿勢角の算出に用いる前記時系列データから除外する。
(変形例1)
実施形態1では、加速度センサ52は、2軸の加速度センサであるが、3軸の加速度センサでもよい。この場合は、図9に示すように、フィルタ部431の計算で使用される比W1は、加速度センサ52の検出値Gにおける加速度成分Gzを加速度成分Gxyで割った値である。加速度成分Gxyは、検出値Gにおける前後軸Ax方向(前後方向)の加速度成分Gxと左右軸Ay方向(左右方向)の加速度成分Gyとをベクトル的に合成した加速度成分である。左右軸Ay方向は、上下軸Az方向(上下方向)と前後軸Ax方向(前後方向)との両方に直交する。この場合は、検出値Gを構成する2方向の加速度成分Gxy,Gzの比における上記の2方向は、本体部1の上下軸Az方向と、軸Axy方向とである。軸Axyは、検出値Gにおける前後軸Ax方向の加速度成分Gxと左右軸Ay方向の加速度成分Gyとをベクトル的に合成した加速度成分が沿う方向である。すなわち、軸Axyは、原点0と、加速度成分Gxyに対応する点とを結ぶ直線に沿う軸である。
この変形例1によれば、加速度センサ52によって本体部1の姿勢(従って自動車100)の前後の傾き及び左右の傾きを検出できる。これにより、フロントシールド101での画像700の表示位置をより正確に補正できる。
(変形例2)
実施形態1において、図10に示すように、閾値範囲外期間K1(除外期間)の前及び後に付加期間K3,K4が設けられてもよい。この場合、フィルタ部431は、加速度センサ52の作動期間(所定期間)のうち、閾値範囲外期間K1に含まれる検出値Gだけでなく、付加期間K3,K4に含まれる検出値Gも除外する。そして、フィルタ部431は、残りの期間K5内で検出された検出値(加速度センサ52の検出値)の時系列データのみを算出部本体432に出力する。なお、期間K5は、閾値範囲内期間K2から付加期間K3,K4を除去した期間である。
この構成によれば、閾値範囲外期間K1内の検出値Gだけでなく、付加期間K3,K4内の検出値Gも除外できる。付加期間K3,K4は、閾値範囲外期間K1に繋がる期間であるため、付加期間K3,K4内の検出値Gに対応する比W1は、閾値範囲S1(所定範囲)内の値であるが閾値範囲S1の閾値に近い値である可能性が高い。このような付加期間K3,K4内の検出値Gを除外することで、本体部1の姿勢角(すなわち自動車100の姿勢角)をより精度よく算出できる。
付加期間K3,K4の長さは、予め固定された所定の長さに設定されている。ただし、付加期間K3,K4の長さは、閾値範囲外期間K1の長さに応じて変化させてもよい。例えば、付加期間K3,K4の長さは、閾値範囲外期間K1が長くなると、長くなるほど、長く設定されてもよい。閾値範囲外期間K1が長い場合は、付加期間K3,K4内の検出値Gに対応する比W1は、閾値範囲S1の閾値付近の値を長時間維持する可能性が高い。このため、閾値範囲外期間K1の長さに応じて付加期間K3,K4を長く設定することで、閾値範囲内期間K2内の検出値Gから、比W1が閾値範囲S1の閾値付近の値を取る検出値Gを除外できる。これにより、本体部1の姿勢角(すなわち自動車100の姿勢角)をより精度よく算出できる。
また、付加期間K3の長さは、閾値範囲外期間K1内の検出値Gのうち時間的に一番前の検出値Gaに対応する比W1aの変動量に応じて、変化させてもよい。例えば、付加期間K3の長さは、比W1aの変動量が大きいほど長く設定されてもよい。また、付加期間K4の長さは、閾値範囲外期間K1内の検出値Gのうち時間的に一番後の検出値Gbに対応する比W1bの変動量に応じて、変化させてもよい。例えば、付加期間K4の長さは、比W1bの変動量が大きいほど長く設定されてもよい。なお、比W1a,W1bの変動量は、例えば、閾値範囲S1の中心値からのずれ量である。
比W1a,W1bの変動量が大きい場合は、付加期間K3,K4内の検出値Gに対応する比W1は、閾値範囲S1の閾値付近の値を長時間維持する可能性が高い。このため、比W1a,W1bの変動量に応じて付加期間K3,K4を長く設定することで、閾値範囲内期間K2内の検出値Gから、比W1が閾値範囲S1の閾値付近の値を取る検出値Gを除外できる。これにより、本体部1の姿勢角(すなわち自動車100の姿勢角)をより精度よく算出できる。
なお、本変形例では、閾値範囲外期間K1の前後の両方に付加期間K3,K4が設けられるが、閾値範囲外期間K1の前後の少なくとも一方のみに付加期間K3,K4が設けられてもよい。
(その他の変形例)
画像表示システム10は、自動車100に用いられるヘッドアップディスプレイに限らず、例えば、二輪車、電車、航空機、建設機械、及び船舶等、自動車100以外の移動体にも適用可能である。さらに、画像表示システム10は、移動体に限らない。例えば、画像表示システム10は、アミューズメント施設で用いられてもよいし、ヘッドマウントディスプレイ(HMD:Head Mounted Display)等のウェアラブル端末、医療設備、又は据置型の装置として用いられてもよい。また、画像表示システム10は、例えば、電子ビューファインダ等として、デジタルカメラ等の機器に組み込まれて使用されてもよい。
(実施形態2)
実施形態2は、実施形態1と比べて、フィルタ部431の閾値範囲外期間K1(除外期間)の条件が異なっている。より詳細には、本実施形態に係る画像表示システム10は、図11に示すように、角速度センサ53を更に備えている。角速度センサ53は、自動車100の左右軸の軸周りの角速度(すなわちピッチ角)を検出する。したがって、角速度センサ53は、本体部1の左右軸の軸周りの角速度を検出する。そして、本実施形態の閾値範囲外期間K1は、加速度センサ52の作動期間(所定期間)のうち、本体部1の角速度(ピッチ角)を検出する角速度センサ53の角速度検出値Q1が閾値範囲S2を外れる期間である(図12参照)。
つまり、本実施形態の姿勢角算出部43は、加速度センサ52の作動期間のうち閾値範囲外期間K1に含まれる加速度検出値(加速度センサ52の検出値)Gを、本体部1の姿勢角の算出で用いる加速度検出値Gの時系列データから除外する。閾値範囲外期間K1とは、本体部1の角速度(すなわち自動車100の角速度)を検出する角速度センサ53の角速度検出値Q1が閾値範囲S2(所定範囲)を外れる期間である。
本実施形態では、閾値範囲S2は、角速度センサ53の角速度検出値Q1に基づいて、一定時間間隔で、その一定時間内で検出された角速度検出値Q1の平均値を求め、その平均値を中心とする一定範囲を閾値範囲S2としてもよい。
本実施形態によれば、実施形態1と同様に、補正部41で計算される本体部1の姿勢角の精度を向上できる。この結果、フロントシールド101での画像700の表示位置をより正確に補正できる。
なお、実施形態1及び2を組み合わせて実施してもよい。すなわち、姿勢角算出部43は、加速度センサ52の作動期間(所定期間)のうち2方向の成分の比W1が所定範囲S1外にある除外期間に含まれる加速度検出値Gを、姿勢角βの算出に用いる加速度検出値Gの時系列データから除外すると共に、さらに、自動車100の角速度の角速度検出値Q1が所定範囲S2外にある除外期間に含まれる加速度検出値も、姿勢角βの算出に用いる上記の検出値Gの時系列データから除外してもよい。このようにした場合は、算出される姿勢角βの精度を更に向上できる。
(実施形態2の変形例)
実施形態2は、本発明の様々な実施形態の一つに過ぎない。実施形態2は、本発明の目的を達成できれば、設計等に応じて種々の変更が可能である。さらに、実施形態1に係る態様は、単体の画像表示システムで具現化されることに限らない。例えば、画像表示方法、コンピュータプログラム、又はプログラムを記憶した記憶媒体等で、実施形態1に係る態様が具現化されてもよい。以下に説明する変形例は、適宜組み合わせて適用可能である。
上記の画像表示方法は、移動体100に搭載される画像表示システム10を制御する画像表示方法である。この画像表示方法は、移動体100の表示対象物101に画像700を投影して表示する画像投影処理と、所定期間(加速度センサ52の作動期間)における移動体100の加速度の加速度検出値Gの時系列データに基づいて、移動体100の姿勢角βを算出する姿勢角算出処理と、姿勢角算出処理により算出された姿勢角に応じて、表示対象物101に画像700を投影して表示する表示位置を制御する表示制御処理と、を備える。加速度検出値Gは、2方向の成分Gz,Gxを含む。姿勢角算出処理は、移動体100の角速度の角速度検出値Q1が所定範囲Q2外にある除外期間K1に含まれる加速度検出値Gを、姿勢角の算出に用いる前記時系列データから除外する。
(変形例1)
実施形態2では、角速度センサ53は、自動車100の左右軸周りの角速度(自動車100のピッチ角)を検出する。ただし、角速度センサ53は、自動車100の前後軸周りの角速度(自動車100のロール角)を検出してもよいし、自動車100の上下軸周りの角速度(ヨー角)を検出してもよい。また、角速度センサ53は、自動車100の上下軸、前後軸及び左右軸の少なくとも1つの軸周りの角速度を検出してもよい。角速度センサ53が2軸以上の軸周りの角速度を検出する場合は、各軸周りの加速度毎に閾値範囲が設定される。
(変形例2)
実施形態2でも、実施形態1のように、閾値範囲外期間K1の前後に付加期間を設けてもよい。
(まとめ)
第1の態様の画像表示システム(10)は、移動体(100)に搭載される画像表示システムである。画像表示システム(10)は、移動体(100)の表示対象物(101)に画像(700)を投影して表示する画像投影部(30)と、所定期間における移動体(100)の加速度の加速度検出値(G)の時系列データに基づいて、移動体(100)の姿勢角(β)を算出する姿勢角算出部(43)と、姿勢角算出部(43)により算出された姿勢角(β)に応じて、表示対象物(101)に画像(700)を投影して表示する表示位置を制御する表示制御部(51)と、を備える。加速度検出値(G)は、2方向の成分(Gx,Gz)を含む。姿勢角算出部(43)は、前記所定期間のうち2方向の成分の比(W1)が所定範囲(S1)外である除外期間(K1)に含まれる加速度検出値(G)を、姿勢角(β)の算出で用いる前記時系列データから除外する。
この構成によれば、姿勢角算出部(43)は、除外期間(K1)に含まれる加速度検出値(G)を、移動体(100)の姿勢角(β)の算出で用いる加速度検出値(G)の時系列データから除外する。このため、算出される姿勢角(β)の精度を向上できる。この結果、表示対象物(101)での画像(700)の表示位置をより正確に補正できる。
第2の態様の画像表示システム(10)では、第1の態様において、画姿勢角算出部(43)は、さらに、移動体(100)の角速度の角速度検出値(Q1)が所定範囲(S2)外にある除外期間(K1)に含まれる加速度検出値(G)を、姿勢角(β)の算出で用いる前記時系列データから除外する。
この構成によれば、算出される姿勢角(β)の精度を更に向上できる。
第3の態様の画像表示システム(10)では、第1又は第2の態様において、上記の2方向は、移動体(100)の上下方向(Az軸方向)と、上下方向(Az軸方向)に直交する直交方向とを含む。
この構成によれば、加速度検出値(G)の時系列データによって、移動体(100)の姿勢角(β)をより正確に検出できる。これにより、表示対象物(101)での画像(700)の表示位置をより正確に補正できる。
第4の態様の画像表示システム(10)では、第3の態様において、上記の直交方向は、移動体(100)の前後方向(Ax軸方向)である。
この構成によれば、加速度検出値(G)の時系列データによって、移動体(100)の姿勢の前後の傾きを検出できる。
第5の態様の画像表示システム(10)では、第1〜第3の態様の何れか1つの態様において、上記の2方向は、移動体(100)の上下方向(Az軸方向)と、加速度検出値(G)における移動体(100)の前後方向(Ax軸方向)の加速度成分(Gx)と移動体(100)の左右方向(Ay軸方向)の加速度成分(Gy)とをベクトル的に合成した加速度成分(Gxy)が沿う方向である。
この構成によれば、加速度検出値(G)によって、移動体(100)の姿勢の前後の傾き及び左右の傾きを検出できる。
第6の態様の画像表示システム(10)では、第2の態様において、上記の角速度は、移動体(100)の上下方向(Az軸方向)、前後方向(Ax軸方向)及び左右方向(Ay軸方向)のうちの少なくとも1つの軸の周りの角速度である。
この構成によれば、角速度検出値(Q1)によって、移動体(100)のヨー角、ピッチ角、ロール角のうちの少なくとも1つの角度を検出できる。これにより、移動体(100)のヨー角、ピッチ角、ロール角のうちの少なくとも1つの角度が大きく変化したときの加速度検出値(G)を除外できる。この結果、表示対象物(101)での画像(700)の表示位置をより正確に補正できる。
第7の態様の画像表示システム(10)では、第1〜6の態様の何れか1つの態様において、姿勢角算出部(43)は、除外期間(K1)と繋がる付加期間(K3,K4)に含まれる加速度検出値(G)を、姿勢角(β)の算出で用いる前記時系列データから除外する。
この構成によれば、除外期間(K1)内の加速度検出値(G)だけでなく、付加期間(K3,K4)内の加速度検出値(G)も除外できる。付加期間(K3,K4)は、除外期間(K1)に繋がる期間であるため、付加期間(K3,K4)内の加速度検出値(G)に対応する比(W1)は、所定範囲(S1)内の値であるが所定範囲(S1)の閾値に近い値である可能性が高い。このような付加期間(K3,K4)内の加速度検出値(G)を除外することで、移動体(100)の姿勢角(β)をより精度よく算出できる。
第8の態様の画像表示システム(10)では、第7の態様において、付加期間(K3,K4)は、除外期間(K1)の前後の少なくとも一方に設けられる。
この構成によれば、除外期間(K1)の前後の少なくとも一方に設けられる付加期間(K3,K4)内の加速度検出値(G)を除外できる。
第9の態様の画像表示システム(10)では、第7又は8の態様の何れか1つの態様において、付加期間(K3,K4)は、除外期間(K1)が長くなると長くなる。
この構成によれば、除外期間(K1)が長くなると付加期間(K3,K4)を長く設定できる。除外期間(K1)が長い場合は、付加期間(K3,K4)内の加速度検出値(G)に対応する比(W1)は、所定範囲(S1)の閾値付近の値を長時間維持する可能性が高い。このため、除外期間(K1)が長くなると付加期間(K3,K4)を長く設定することで、閾値範囲内期間(K2)内の検出値(G)から、比(W1)が所定範囲S1の閾値付近の値を取る検出値(G)を除外できる。これにより、移動体(100)の姿勢角(β)をより精度よく算出できる。
第10の態様の画像表示システム(10)は、移動体(100)に搭載される画像表示システムである。画像表示システム(10)は、移動体(100)の表示対象物(101)に画像(700)を投影して表示する画像投影部(30)と、移動体(100)の加速度の加速度検出値(G)の時系列データに基づいて、移動体(100)の姿勢角(β)を算出する姿勢角算出部(43)と、姿勢角算出部(43)により算出された姿勢角(β)に応じて、表示対象物(101)に画像(700)を投影して表示する表示位置を制御する表示制御部(51)と、を備える。姿勢角算出部(43)は、移動体(100)の角速度の角速度検出値(Q1)が所定範囲(S2)外にある除外期間(K1)に含まれる加速度検出値(G)を、姿勢角(β)の算出で用いる前記時系列データから除外する。
この構成によれば、姿勢角算出部(43)は、移動体(100)の角速度の角速度検出値(Q1)が所定範囲(S2)外にある除外期間(K1)に含まれる加速度検出値(G)を、移動体(100)の姿勢角(β)の算出で用いる加速度検出値(G)の時系列データから除外する。このため、算出される姿勢角(β)の精度を向上できる。この結果、表示対象物(101)での画像(700)の表示位置をより正確に補正できる。
第3の態様の画像表示システム(10)では、第1の態様において、上記の2方向は、移動体(100)の上下方向(Az軸方向)と、上下方向(Az軸方向)に直交する直交方向とを含む。
第11の態様の移動体(100)は、第1〜10の態様の何れか1つの態様の画像表示システム(10)と、画像表示システム(10)が搭載された移動体本体と、を備える。表示対象物(101)は、移動体本体のウィンドシールドである。
この構成によれば、上記の画像表示システム(10)を備えた移動体(100)を提供できる。
第12の態様の画像表示方法は、移動体(100)に搭載される画像表示システムを制御する画像表示方法である。画像表示方法は、移動体(100)の表示対象物(101)に画像(700)を投影して表示する画像投影処理と、所定期間における移動体(100)の加速度の加速度検出値(G)の時系列データに基づいて、移動体(100)の姿勢角(β)を算出する姿勢角算出処理と、姿勢角算出処理により算出された姿勢角(β)に応じて、表示対象物(101)に画像(700)を投影して表示する表示位置を制御する表示制御処理と、を備える。加速度検出値(G)は、2方向の成分(Gx,Gz)を含む。姿勢角算出処理は、前記所定期間のうち2方向の成分の比(W1)が所定範囲(S1)外である除外期間(K1)に含まれる加速度検出値(G)を、姿勢角(β)の算出で用いる前記時系列データから除外する。
この構成によれば、算出される姿勢角(β)の精度を向上できる。この結果、表示対象物(101)での画像(700)の表示位置をより正確に補正できる。
第13の態様の画像表示方法は、移動体(100)に搭載される画像表示システムを制御する画像表示方法である。画像表示システム(10)は、移動体(100)の表示対象物(101)に画像(700)を投影して表示する画像投影処理と、移動体(100)の加速度の加速度検出値(G)の時系列データに基づいて、移動体(100)の姿勢角(β)を算出する姿勢角算出処理と、姿勢角算出処理により算出された姿勢角(β)に応じて、表示対象物(101)に画像(700)を投影して表示する表示位置を制御する表示制御処理と、を備える。姿勢角算出処理は、移動体(100)の角速度の角速度検出値(Q1)が所定範囲(S2)外にある除外期間(K1)に含まれる加速度検出値(G)を、姿勢角(β)の算出で用いる前記時系列データから除外する。
この構成によれば、算出される姿勢角(β)の精度を向上できる。この結果、表示対象物(101)での画像(700)の表示位置をより正確に補正できる。
第14の態様のプログラムは、コンピュータシステムに、第12又は13の態様の画像表示方法を実行させるためのプログラムである。
この構成によれば、上記の画像表示方法をプロセッサに実行させるためのプログラムを提供できる。
10 画像表示システム
30 画像投影部
43 姿勢角算出部
51 表示制御部
52 加速度センサ
100 移動体
101 表示対象物
700 画像
Ax 前後軸
Az 上下軸
Ay 左右軸
G 加速度検出値
Gx,Gz 加速度成分
K1 閾値範囲外期間
S1 閾値範囲
Q1 角速度検出値
W1 比
K3,K4 付加期間
β 姿勢角

Claims (14)

  1. 移動体に搭載される画像表示システムであって、
    前記移動体の表示対象物に画像を投影して表示する画像投影部と、
    所定期間における前記移動体の加速度の加速度検出値の時系列データに基づいて、前記移動体の姿勢角を算出する姿勢角算出部と、
    前記姿勢角算出部により算出された前記姿勢角に応じて、前記表示対象物に前記画像を投影して表示する表示位置を制御する表示制御部と、を備え、
    前記加速度検出値は、2方向の成分を含み、
    前記姿勢角算出部は、前記所定期間のうち前記2方向の成分の比が所定範囲外にある除外期間に含まれる前記加速度検出値を、前記姿勢角の算出に用いる前記時系列データから除外する、
    画像表示システム。
  2. 前記姿勢角算出部は、さらに、前記移動体の角速度の角速度検出値が所定範囲外にある除外期間に含まれる前記加速度検出値を、前記姿勢角の算出に用いる前記時系列データから除外する、
    請求項1に記載の画像表示システム。
  3. 前記2方向は、前記移動体の上下方向と、前記上下方向に直交する直交方向とを含む、
    請求項1又は2に記載の画像表示システム。
  4. 前記直交方向は、前記移動体の前後方向である、
    請求項3に記載の画像表示システム。
  5. 前記2方向は、
    前記移動体の上下方向と、
    前記加速度検出値における前記移動体の前後方向の加速度成分と前記移動体の前記左右方向の加速度成分とをベクトル的に合成した加速度成分が沿う方向である、
    請求項1〜3の何れか1項に記載の画像表示システム。
  6. 前記角速度は、前記移動体の上下軸、前後軸及び左右軸のうちの少なくとも1つの軸の周りの角速度である、
    請求項2に記載の画像表示システム。
  7. 前記姿勢角算出部は、前記除外期間と繋がる付加期間に含まれる加速度検出値を、前記姿勢角の算出に用いる前記時系列データから除外する、
    請求項1〜6の何れか1項に記載の画像表示システム。
  8. 前記付加期間は、前記除外期間の前後の少なくとも一方に設けられる、
    請求項7に記載の画像表示システム。
  9. 前記付加期間は、前記除外期間が長くなると長くなる、
    請求項7又は8に記載の画像表示システム。
  10. 移動体に搭載される画像表示システムであって、
    前記移動体の表示対象物に画像を投影して表示する画像投影部と、
    所定期間における前記移動体の加速度の加速度検出値の時系列データに基づいて、前記移動体の姿勢角を算出する姿勢角算出部と、
    前記姿勢角算出部により算出された前記姿勢角に応じて、前記表示対象物に前記画像を投影して表示する表示位置を制御する表示制御部と、を備え、
    前記姿勢角算出部は、前記移動体の角速度の角速度検出値が所定範囲外にある除外期間に含まれる前記加速度検出値を、前記姿勢角の算出に用いる前記時系列データから除外する、
    画像表示システム。
  11. 請求項1〜10の何れか1項に記載に画像表示システムと、
    前記画像表示システムが搭載された移動体本体と、を備え、
    前記表示対象物は、前記移動体本体のウィンドシールドである、
    移動体。
  12. 移動体に搭載される画像表示システムを制御する画像表示方法であって、
    前記移動体の表示対象物に画像を投影して表示する画像投影処理と、
    所定期間における前記移動体の加速度の加速度検出値の時系列データに基づいて、前記移動体の姿勢角を算出する姿勢角算出処理と、
    前記姿勢角算出処理により算出された前記姿勢角に応じて、前記表示対象物に前記画像を投影して表示する表示位置を制御する表示制御処理と、を備え、
    前記加速度検出値は、2方向の成分を含み、
    前記姿勢角算出処理は、前記所定期間のうち2方向の成分の比が所定範囲外にある除外期間に含まれる前記加速度検出値を、前記姿勢角の算出に用いる前記時系列データから除外する、
    画像表示方法。
  13. 移動体に搭載される画像表示システムを制御する画像表示方法であって、
    前記移動体の表示対象物に画像を投影して表示する画像投影処理と、
    所定期間における前記移動体の加速度の加速度検出値の時系列データに基づいて、前記移動体の姿勢角を算出する姿勢角算出処理と、
    前記姿勢角算出処理により算出された前記姿勢角に応じて、前記表示対象物に前記画像を投影して表示する表示位置を制御する表示制御部と、を備え、
    前記姿勢角算出処理は、前記移動体の角速度の角速度検出値が所定範囲外にある除外期間に含まれる前記加速度検出値を、前記姿勢角の算出に用いる前記時系列データから除外する、
    画像表示方法。
  14. コンピュータシステムに、
    請求項12又は13に記載の画像表示方法を実行させるためのプログラム。
JP2019059468A 2019-03-26 2019-03-26 画像表示システム、移動体、画像表示方法及びプログラム Active JP7228761B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2019059468A JP7228761B2 (ja) 2019-03-26 2019-03-26 画像表示システム、移動体、画像表示方法及びプログラム
DE112020001523.8T DE112020001523T5 (de) 2019-03-26 2020-02-21 Bildanzeigesystem, sich bewegender Körper, Bildanzeigeverfahren und Programm
PCT/JP2020/007099 WO2020195430A1 (ja) 2019-03-26 2020-02-21 画像表示システム、移動体、画像表示方法及びプログラム
US17/484,905 US11619811B2 (en) 2019-03-26 2021-09-24 Image display system, moving body, image display method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019059468A JP7228761B2 (ja) 2019-03-26 2019-03-26 画像表示システム、移動体、画像表示方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2020157933A true JP2020157933A (ja) 2020-10-01
JP7228761B2 JP7228761B2 (ja) 2023-02-27

Family

ID=72641396

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019059468A Active JP7228761B2 (ja) 2019-03-26 2019-03-26 画像表示システム、移動体、画像表示方法及びプログラム

Country Status (1)

Country Link
JP (1) JP7228761B2 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018047911A (ja) * 2012-10-24 2018-03-29 株式会社小糸製作所 車両用灯具の制御装置
WO2018179724A1 (ja) * 2017-03-31 2018-10-04 パナソニックIpマネジメント株式会社 表示装置、及び表示装置を有する移動体

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018047911A (ja) * 2012-10-24 2018-03-29 株式会社小糸製作所 車両用灯具の制御装置
WO2018179724A1 (ja) * 2017-03-31 2018-10-04 パナソニックIpマネジメント株式会社 表示装置、及び表示装置を有する移動体

Also Published As

Publication number Publication date
JP7228761B2 (ja) 2023-02-27

Similar Documents

Publication Publication Date Title
JP6731644B2 (ja) 表示位置補正装置、表示位置補正装置を備える表示装置、及び表示装置を備える移動体
JP6369106B2 (ja) ヘッドアップディスプレイ装置
JP5161760B2 (ja) 車載用表示システム及び表示方法
JP6201690B2 (ja) 車両情報投影システム
EP3330117B1 (en) Vehicle display device
US11249308B2 (en) Display device in moving body for displaying superimposed virtual image and display control method
JP7194906B2 (ja) 映像表示システム、映像表示方法、プログラム、及び映像表示システムを備える移動体
WO2020261642A1 (ja) 表示制御装置、画像表示システム、移動体、表示制御方法及びプログラム
JP2021105726A (ja) 画像形成システム、画像補正システム、画像表示システム、画像形成方法、及びプログラム
WO2018070252A1 (ja) 車両用映像表示装置
EP3694740A1 (en) Display device, program, image processing method, display system, and moving body
US11305692B2 (en) Display system
US11945309B2 (en) Display system
US20220028307A1 (en) Gradient change detection system, display system using same, and storage medium that stores program for moving body
WO2020195430A1 (ja) 画像表示システム、移動体、画像表示方法及びプログラム
JP2007047735A (ja) 視覚情報呈示装置及び視覚情報呈示方法
JP7228761B2 (ja) 画像表示システム、移動体、画像表示方法及びプログラム
JP2019164318A (ja) 映像表示システム、映像表示方法、プログラム、及び映像表示システムを備える移動体
JP7145509B2 (ja) 映像表示システム、映像表示方法、プログラム、及び、移動体
CN110297325B (zh) 增强现实眼镜和系统及增强现实眼镜显示车上信息的方法
WO2019074114A1 (en) DISPLAY DEVICE, PROGRAM, IMAGE PROCESSING METHOD, DISPLAY SYSTEM, AND MOBILE BODY
JP2023066556A (ja) ヘッドアップディスプレイ装置
JP2023066557A (ja) ヘッドアップディスプレイ装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211011

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220816

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221017

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221227

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230126

R151 Written notification of patent or utility model registration

Ref document number: 7228761

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

SZ03 Written request for cancellation of trust registration

Free format text: JAPANESE INTERMEDIATE CODE: R313Z03