JP2022154082A - 表示補正システム、表示システム、表示補正方法、及びプログラム - Google Patents

Abstract

【課題】表示画像におけるコンテンツの表示位置のずれを補正する精度の向上を図ること。【解決手段】表示補正システム１００は、第１取得部１１と、第２取得部１２と、第３取得部１３と、予測部１４と、補正部１５と、を備える。第１取得部１１は、移動体の前方にある移動路に関する移動路情報を取得する。第２取得部１２は、移動体の速度に関する速度情報を取得する。第３取得部１３は、移動体の姿勢に関する姿勢情報を取得する。予測部１４は、移動路情報及び速度情報に基づいて、移動路における特定区間を移動体が移動する期間を予測する。補正部１５は、姿勢情報に基づいて表示画像におけるコンテンツの表示位置のずれを補正する。補正部１５は、予測部１４の予測結果に基づいて、移動体が通常区間を移動している場合は第１制御を実行し、移動体が特定区間を移動している場合は第２制御を実行する。【選択図】図１

Description

本開示は、一般に表示システムにより表示媒体に表示される表示画像におけるコンテンツの表示位置のずれを補正する表示補正システム、表示システム、表示補正方法、及びプログラムに関する。

特許文献１は、車両情報投影システムを開示している。この車両情報投影システムは、情報取得部と、第１表示手段と、表示コントローラと、を備える。情報取得部は、自車両の外にある特定対象の位置を推定する。第１表示手段は、特定対象に関する重畳画像を生成する。情報取得部は、自車両の挙動を検出する。表示コントローラは、情報取得部により推定された特定対象の位置に応じて、表示画像が投影される位置を調整し、自車両の挙動に基づき、重畳画像を異なる表示画像である代替画像に変更する。

特開２０１５－１０１３１１号公報

本開示は、表示画像におけるコンテンツの表示位置のずれを補正する精度の向上を図ることができる表示補正システム等を提供する。

本開示の一態様に係る表示補正システムは、第１取得部と、第２取得部と、第３取得部と、予測部と、補正部と、を備える。前記第１取得部は、移動体の前方にある移動路に関する移動路情報を取得する。前記第２取得部は、前記移動体の速度に関する速度情報を取得する。前記第３取得部は、前記移動体の姿勢に関する姿勢情報を取得する。前記予測部は、前記移動路情報及び前記速度情報に基づいて、前記移動路における特定区間を前記移動体が移動する期間を予測する。前記補正部は、前記姿勢情報に基づいて、表示システムにより表示媒体に表示される表示画像におけるコンテンツの表示位置のずれを補正する。前記補正部は、前記予測部の予測結果に基づいて、前記移動体が前記特定区間以外の通常区間を移動している場合は、第１制御を実行し、前記移動体が前記特定区間を移動している場合は、前記第１制御とは異なる第２制御を実行する。

本開示の一態様に係る表示システムは、前記表示補正システムと、描画部と、投影部と、を備える。前記描画部は、前記表示画像を描画する。前記投影部は、前記描画部により描画された前記表示画像を、前記移動体の乗員に虚像として視認させるために前記表示媒体に投影する。

本開示の一態様に係る表示補正方法は、第１取得ステップと、第２取得ステップと、第３取得ステップと、予測ステップと、補正ステップと、を含む。前記第１取得ステップでは、移動体の前方にある移動路に関する移動路情報を取得する。前記第２取得ステップでは、前記移動体の速度に関する速度情報を取得する。前記第３取得ステップでは、前記移動体の姿勢に関する姿勢情報を取得する。前記予測ステップでは、前記移動路情報及び前記速度情報に基づいて、前記移動路における特定区間を前記移動体が移動する期間を予測する。前記補正ステップでは、前記姿勢情報に基づいて、表示システムにより表示媒体に表示される表示画像におけるコンテンツの表示位置のずれを補正する。前記補正ステップでは、前記予測ステップの予測結果に基づいて、前記移動体が前記特定区間以外の通常区間を移動している場合は、第１制御を実行し、前記移動体が前記特定区間を移動している場合は、前記第１制御とは異なる第２制御を実行する。

本開示の一態様に係るプログラムは、１以上のプロセッサに、前記表示補正方法を実行させる。

本開示の表示補正システム等では、表示画像におけるコンテンツの表示位置のずれを補正する精度の向上を図ることができる。

図１は、実施の形態における表示補正システムを有する表示システムの概要を示すブロック図である。 図２は、実施の形態における表示システムの使用例を示す図である。 図３は、実施の形態における表示システムにより表示される画像が投影される所定領域の一例を示す図である。 図４は、実施の形態における表示補正システムの予測部の動作の説明図である。 図５は、実施の形態における表示補正システムの補正部の動作の説明図である。 図６は、比較例における表示補正システムによる動作の課題の説明図である。 図７は、実施の形態における表示補正システムの動作例を示すフローチャートである。

本開示の一態様に係る表示補正システムは、第１取得部と、第２取得部と、第３取得部と、予測部と、補正部と、を備える。前記第１取得部は、移動体の前方にある移動路に関する移動路情報を取得する。前記第２取得部は、前記移動体の速度に関する速度情報を取得する。前記第３取得部は、前記移動体の姿勢に関する姿勢情報を取得する。前記予測部は、前記移動路情報及び前記速度情報に基づいて、前記移動路における特定区間を前記移動体が移動する期間を予測する。前記補正部は、前記姿勢情報に基づいて、表示システムにより表示媒体に表示される表示画像におけるコンテンツの表示位置のずれを補正する。前記補正部は、前記予測部の予測結果に基づいて、前記移動体が前記特定区間以外の通常区間を移動している場合は、第１制御を実行し、前記移動体が前記特定区間を移動している場合は、前記第１制御とは異なる第２制御を実行する。

これによれば、例えば特定区間では補正処理が実行されにくくする等、補正部が特定区間において通常区間とは異なる制御を実行するので、表示画像におけるコンテンツの表示位置のずれを補正する精度の向上を図ることができる、という利点がある。また、これによれば、予測部により移動体の前方にある特定区間を事前に予測することができるので、移動体が特定区間に到達した時点から第２制御を実行することが可能である、という利点がある。

本開示の他の態様に係る表示補正システムでは、前記第２制御では、前記第１制御よりも前記姿勢情報の変化に対する感度が鈍い。

これによれば、特定区間にて不要な補正処理が実行されにくくなるので、表示画像におけるコンテンツの表示位置のずれを補正する精度の向上を図りやすい、という利点がある。

本開示の他の態様に係る表示補正システムでは、前記補正部は、前記移動体の振動の周波数が所定周波数よりも高い場合に前記表示位置のずれを補正する。前記第２制御では、前記第１制御よりも前記所定周波数が高い。

これによれば、特定区間にて不要な補正処理が実行されにくくなるので、表示画像におけるコンテンツの表示位置のずれを補正する精度の向上を図りやすい、という利点がある。また、これによれば、移動体の振動の周波数によっては、特定区間においても移動体の一時的な姿勢の変化に起因するコンテンツの表示位置のずれを補正することができる、という利点がある。

本開示の他の態様に係る表示補正システムでは、前記第２制御では、前記表示位置のずれを補正する処理を停止する。

これによれば、特定区間にて不要な補正処理が実行されないので、表示画像におけるコンテンツの表示位置のずれを補正する精度の向上を図りやすい、という利点がある。

本開示の他の態様に係る表示補正システムでは、前記特定区間は、勾配が変化する区間である。

これによれば、移動体が坂道等の勾配が変化する区間に進入しても、表示画像におけるコンテンツの表示位置のずれが発生しにくい、という利点がある。

本開示の一態様に係る表示システムは、前記表示補正システムと、描画部と、投影部と、を備える。前記描画部は、前記表示画像を描画する。前記投影部は、前記描画部により描画された前記表示画像を、前記移動体の乗員に虚像として視認させるために前記表示媒体に投影する。

これによれば、乗員が、コンテンツの表示位置のずれが補正された表示画像を視認することで、コンテンツを把握しやすくなる、という利点がある。

本開示の一態様に係る表示補正方法は、第１取得ステップと、第２取得ステップと、第３取得ステップと、予測ステップと、補正ステップと、を含む。前記第１取得ステップでは、移動体の前方にある移動路に関する移動路情報を取得する。前記第２取得ステップでは、前記移動体の速度に関する速度情報を取得する。前記第３取得ステップでは、前記移動体の姿勢に関する姿勢情報を取得する。前記予測ステップでは、前記移動路情報及び前記速度情報に基づいて、前記移動路における特定区間を前記移動体が移動する期間を予測する。前記補正ステップでは、前記姿勢情報に基づいて、表示システムにより表示媒体に表示される表示画像におけるコンテンツの表示位置のずれを補正する。前記補正ステップでは、前記予測ステップの予測結果に基づいて、前記移動体が前記特定区間以外の通常区間を移動している場合は、第１制御を実行し、前記移動体が前記特定区間を移動している場合は、前記第１制御とは異なる第２制御を実行する。

これによれば、例えば特定区間では補正処理が実行されにくくする等、補正ステップが特定区間において通常区間とは異なる制御を実行するので、表示画像におけるコンテンツの表示位置のずれを補正する精度の向上を図ることができる、という利点がある。また、これによれば、予測ステップにより移動体の前方にある特定区間を事前に予測することができるので、移動体が特定区間に到達した時点から第２制御を実行することが可能である、という利点がある。

本開示の一態様に係るプログラムは、１以上のプロセッサに、前記表示補正方法を実行させる。

これによれば、例えば特定区間では補正処理が実行されにくくする等、補正ステップが特定区間において通常区間とは異なる制御を実行するので、表示画像におけるコンテンツの表示位置のずれを補正する精度の向上を図ることができる、という利点がある。また、これによれば、予測ステップにより移動体の前方にある特定区間を事前に予測することができるので、移動体が特定区間に到達した時点から第２制御を実行することが可能である、という利点がある。

なお、これらの包括的又は具体的な態様は、システム、方法、集積回路、コンピュータプログラム又はコンピュータで読み取り可能なＣＤ－ＲＯＭ等の記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム又は記録媒体の任意な組み合わせで実現されてもよい。

以下、実施の形態について、図面を参照しながら具体的に説明する。なお、以下で説明する実施の形態は、包括的又は具体的な一例を示すものである。以下の実施の形態で示される数値、形状、構成要素、構成要素の配置、ステップ、ステップの順序等は、一例であって本開示を限定するものではない。また、以下の実施の形態における構成要素のうち、独立請求項に記載されていない構成要素については、任意に付加可能な構成要素である。

また、各図は、模式図であり、必ずしも厳密に図示されたものではない。また、各図において、同じ構成については同じ符号を付している。

（実施の形態）
＜構成＞
図１は、実施の形態における表示補正システム１００を有する表示システム２００の概要を示すブロック図である。図２は、実施の形態における表示システム２００の使用例を示す図である。実施の形態における表示システム２００は、例えば車両３０等の移動体３００に搭載され、情報を表す画像（表示画像８）をウインドシールド３２等の表示媒体の所定領域Ｄ１に投影することで、視点Ｅ１を有する乗員にその情報を映した虚像を視認させる、ヘッドアップディスプレイ（ＨＵＤ）システムである。

図２に示す例では、表示システム２００は、車両３０のダッシュボード３１に設置されている。視点Ｅ１を有する乗員の視野内において、虚像が、仮想的なＨＵＤ表示面Ｉ１に映って車両３０の前方に位置するように視認される。この表示システムにより、虚像としての情報が実風景等と重なって乗員の視野内に表示されるようになる。

なお、実施の形態では、移動体３００として車両３０に適用された表示システム２００を例にして説明するが、移動体３００は、車両３０に限定されず、例えば船舶又は航空機等であってもよい。移動体３００が船舶の場合、後述する移動路Ａ１（図４参照）は航路であり、移動体３００が航空機の場合、移動路Ａ１は航空路である。また、実施の形態では、移動体３００の乗員が、特に車両３０の運転者である例について説明するが、乗員は運転者に限られない。

なお、表示システム２００での画像の投影により乗員の視野内に表示される虚像の表示範囲（つまり、虚像としての最大画像が表示され得る最大範囲）は、例えば表示システム２００の配置、又は構造等により一定領域内に制限される。図３は、実施の形態における表示システム２００により表示される画像が投影される所定領域Ｄ１の一例を示す図である。言い換えれば、図３は、車両３０の内部から見た、表示システム２００によって表示される画像が投影されるウインドシールド３２（表示媒体）の所定領域Ｄ１の範囲の一例を示す図である。図３に示すように、所定領域Ｄ１は、車両３０の前方を見た乗員（ここでは、運転者）の視野における一定画角（一定の視野角）に対応する領域である。

図１に示すように、表示システム２００は、表示補正システム１００と、描画部２１と、投影部２２と、を備えている。

描画部２１は、車両３０（移動体３００）の乗員（ここでは、運転者）に虚像として視認させるためにウインドシールド３２（表示媒体）に投影され、かつ、対象物６に関連するコンテンツ７を含む表示画像８を描画する（図５参照）。具体的には、描画部２１は、所定の表示タイミングごと（例えば１／６０秒ごと）に、後述する対象物検知センサ４１又はナビゲーション装置４２により検知された対象物６の位置と、後述する車両情報検知センサ５により最後に検知された車両３０の位置及び進行方向とに基づいて、コンテンツ７の表示位置を特定する。そして、描画部２１は、ウインドシールド３２（表示媒体）において特定した表示位置にコンテンツ７が投影されるように、コンテンツ７を含む表示画像８を描画する。なお、コンテンツ７の表示位置は、表示用の座標空間上の位置であり、実空間上の位置とは相違する。

コンテンツ７は、文字列、記号、図形、又はイメージといった標章等で形成された表示要素であり、投影部２２のＬＣＤ（Liquid Crystal Display）に表示される１フレームの所定画像の構成要素とも言える。コンテンツ７は、例えば表示画像８において対象物６を強調する画像を含み得る。具体的には、対象物６が車両３０の前方にいる人であった場合、コンテンツ７は、当該人を強調するマークである。マークは、例えば人の足元を囲む丸印、又は人の全体を囲む矩形枠等を含み得る。また、対象物６が車両３０の前方にある道路である場合、コンテンツ７は、ナビゲーション装置４２により設定された移動経路に従って車両３０が進むべき方向を示す矢印である。矢印は、例えば直進、右折、又は左折等を示す矢印である。なお、コンテンツ７は、対象物６に関連していればよく、マーク及び矢印以外であってもよい。例えば、コンテンツ７は、車両３０が隣の車線に進入しそうな場合に、車線を区切る白線に重畳される警告用の赤色の線等であってもよい。

投影部２２は、車両３０の運転者に虚像（ＨＵＤ表示面Ｉ１に表された画像）を視認させるためにウインドシールド３２に画像を投影する。言い換えれば、投影部２２は、描画部２１により描画された表示画像８を、車両３０（移動体３００）の乗員に虚像として視認させるためにウインドシールド３２（表示媒体）に投影する。投影部２２は、例えばＬＣＤ、平面ミラー、及び凹面ミラーを有する。描画部２１が描画した画像は、ＬＣＤに表示される。そして、ＬＣＤに表示された画像は、平面ミラーで反射され、凹面ミラーにより拡大された後、ウインドシールド３２に投影される。

表示補正システム１００は、例えばメモリ及びプロセッサ（マイクロプロセッサ）を含むコンピュータを備え、メモリに格納された制御プログラムをプロセッサが実行することにより、表示補正システム１００の各部を制御して各種機能を実現する。なお、メモリは、プログラム及びデータを予め保持しているＲＯＭ（Read Only Memory）、プログラムの実行に際してデータ等の記憶に利用するためのＲＡＭ（Random Access Memory）等であり、例えば不揮発性メモリを含んでいてもよい。制御プログラムは、例えば、表示媒体に表示された表示画像８におけるコンテンツ７の表示位置のずれを補正するための表示補正処理を規定している。

表示補正システム１００は、表示補正処理のための制御プログラムのプロセッサによる実行により、例えば対象物検知センサ４１及びナビゲーション装置４２と、車両情報検知センサ５とから各種情報を取得して、取得した各種情報に基づいて描画部２１により描画される表示画像におけるコンテンツの表示位置を補正する機能を有する。

対象物検知センサ４１は、先進運転支援システム（ADAS: Advanced driver-assistance systems）用のセンサであって、車両３０の内部又は外部に搭載され、逐次（例えば、１／６０秒等の所定時間ごとに）、車両３０の乗員（ここでは、運転者）の前景をセンシングする。実施の形態では、対象物検知センサ４１は、前景の光等を検知するイメージセンサ（カメラ）を含んでいる。カメラは、ステレオカメラであってもよいし、単眼カメラであってもよい。なお、対象物検知センサ４１は、例えば電磁波の反射を検知するレーダ、又はＬｉＤＡＲ（Light Detection and Ranging）等を含んでいてもよい。対象物検知センサ４１は、センシングの結果に基づく情報を表示システム２００（表示補正システム１００）に出力する。

対象物検知センサ４１は、例えば、車両３０の前景において車両周辺（例えば前方１００ｍ以内）に存在する対象物６を認識し、認識結果として対象物６の内容、及び位置等の情報を出力する。対象物６は、例えば、移動体（例えば、他の車両、又は歩行者等）、道路標識、道路上の白線、路面標示、縁石、ガードレール、信号機、電柱、又は建物等である。実施の形態では、対象物検知センサ４１がカメラを含んでいるため、センシングの結果である車両の前景の画像に対してパターンマッチング等の画像処理を行うことにより、対象物６を認識する。また、例えば、対象物検知センサ４１がレーダである場合、センシングの結果の情報に対して、クラスタリング、又は機械学習等の技術により対象物６を抽出して認識する。なお、対象物検知センサ４１は、対象物６の位置を、車両３０に対する相対位置で特定してもよいし、ＧＰＳ（Global Positioning System）等の測位システムによる測位情報を用いて絶対位置で特定してもよい。

ナビゲーション装置４２は、ＧＰＳ受信機等の測位システムを備え、測位システムによる測位情報及び地図データに基づく車両のナビゲーション機能を有する。ナビゲーション装置４２は、例えば地図データを外部から通信により取得して記憶するためのメモリ若しくはハードディスク装置等の記憶装置、又は送受信装置等を備えてもよい。ナビゲーション装置４２は、測位システムにより車両３０の現在位置を測定し、その現在位置と過去に測定した車両３０の位置とから車両の進行方向を算出し得る。また、ナビゲーション装置４２は、地図データに基づいて、車両３０の進行方向の前方１００ｍ以内の対象物６を認識し、認識結果として対象物６の内容、及び位置等の情報を表示システム２００（表示補正システム１００）に出力する。対象物６は、例えば交差点等である。

車両情報検知センサ５は、車両３０の状態を検知する各種センサで構成され、検知した状態を示す情報を表示システム２００（表示補正システム１００）に出力する。車両３０の状態は、例えば、車速、回転速度（エンジン等の回転速度）、操舵角（ステアリングホイールの回転角）、勾配（ピッチ）、加速度、又はヨーレート等を含み得る。

実施の形態では、車両情報検知センサ５は、ジャイロセンサ５１を有している。ジャイロセンサ５１は、車両３０（移動体３００）の角速度を検知することにより、車両３０の姿勢（ピッチ角、ヨー角、及びロール角）を検知する。

表示補正システム１００は、第１取得部１１と、第２取得部１２と、第３取得部１３と、予測部１４と、補正部１５と、を備えている。

第１取得部１１は、車両３０（移動体３００）の前方にある移動路Ａ１に関する移動路情報を取得する。つまり、第１取得部１１は、車両３０が未だ到達していない移動路Ａ１に関する移動路情報を取得する。第１取得部１１は、表示補正方法における第１取得ステップＳＴ１の実行主体である。移動路情報は、例えば移動路Ａ１が車両３０の移動する道路である場合、坂道、カーブ、又は悪路等の道路の形状を示す情報を含む。また、移動路情報は、例えば移動路Ａ１が船舶又は航空機の通過する軌跡となる仮想的な移動路である場合、この仮想的な移動路の形状を示す情報を含む。

実施の形態では、第１取得部１１は、対象物検知センサ４１から検知結果を取得することにより、移動路情報（ここでは、車両３０の前方にある道路の形状等の情報）を取得する。また、第１取得部１１は、ナビゲーション装置４２から認識結果を取得することにより、移動路情報（ここでは、車両３０の前方にある道路の形状（特にはカーブ）等の情報）を取得する。なお、ナビゲーション装置４２が取得する地図データに、移動路Ａ１の勾配に関するデータ、又は移動路Ａ１が悪路であるか否かに関するデータが含まれている場合、第１取得部１１は、ナビゲーション装置４２から移動路情報として坂道、又は悪路を示す情報を取得することも可能である。

第２取得部１２は、車両３０（移動体３００）の速度に関する速度情報を取得する。第２取得部１２は、表示補正方法における第２取得ステップＳＴ２の実行主体である。実施の形態では、第２取得部１２は、例えば車両３０に搭載されているパルス発生装置９が出力する車速信号（車速パルス）を取得することで、車両３０の現在の速度を速度情報として取得する。なお、車両情報検知センサ５が加速度センサを有する場合、第２取得部１２は、当該加速度センサの検知結果を取得し、取得した加速度から車両３０の現在の速度を算出することで速度情報を取得してもよい。

第３取得部１３は、車両３０（移動体３００）の姿勢に関する姿勢情報を取得する。第３取得部１３は、表示補正方法における第３取得ステップＳＴ３の実行主体である。実施の形態では、第３取得部１３は、車両情報検知センサ５から検知結果を取得することにより、姿勢情報を取得する。姿勢情報は、車両３０の姿勢（ピッチ角、ヨー角、及びロール角等）を示す情報を含む。

予測部１４は、第１取得部１１が取得した移動路情報、及び第２取得部１２が取得した速度情報に基づいて、移動路Ａ１における特定区間Ｂ２を車両３０（移動体３００）が移動する期間を予測する。予測部１４は、表示補正方法における予測ステップＳＴ４の実行主体である。図４は、実施の形態における表示補正システム１００の予測部１４の動作の説明図である。図４に示すように、特定区間Ｂ２は、移動路Ａ１において車両３０の前方にある区間であって、車両３０が未だ到達していない区間である。また、特定区間Ｂ２は、移動路Ａ１において特定区間Ｂ２以外の通常区間Ｂ１とは異なる態様の区間である。

実施の形態では、通常区間Ｂ１は、移動路Ａ１における直線状であって勾配が変化しない、又は勾配が殆ど変化しない（言い換えれば、単位距離当たりの斜度の変化量が所定値よりも小さい）区間である。また、実施の形態では、特定区間Ｂ２は、移動路Ａ１において通常区間Ｂ１から坂道（上り坂若しくは下り坂）に差し掛かる区間、又は坂道から通常区間Ｂ１に差し掛かる区間であって、勾配が変化する（言い換えれば、単位距離当たりの斜度の変化量が所定値よりも大きい）区間である。

予測部１４は、第１取得部１１が取得した移動路情報に基づいて、特定区間Ｂ２を特定する。具体例として、予測部１４は、対象物検知センサ４１としてのカメラで撮像した移動路Ａ１の撮像画像に基づいて、車両３０（移動体３００）の前方にある移動路Ａ１の任意の地点における車両３０からの距離、及び基準面からの高さを算出する。ここでいう基準面は、例えば移動路Ａ１における通常区間Ｂ１の路面に相当する。

そして、予測部１４は、車両３０（移動体３００）の進行方向に沿って連続する複数の地点の各々について、上記のように車両３０からの距離、及び基準面からの高さを算出し、単位距離当たりの基準面からの高さの変化量が所定値以上となる地点を、特定区間Ｂ２（ここでは、勾配が変化する区間）の開始地点Ｐ１に決定する。また、予測部１４は、特定区間Ｂ２の開始地点Ｐ１以降の地点であって、単位距離当たりの基準面からの高さの変化量が所定値未満となる地点を、特定区間Ｂ２の終了地点Ｐ２に決定する。このようにして、予測部１４は、車両３０の前方にある特定区間Ｂ２を予測する。実施の形態では、予測部１４は、車両３０が特定区間Ｂ２の手前数十ｍの地点に到達した時点で、特定区間Ｂ２を予測することが可能である。

次に、予測部１４は、第２取得部１２が取得した速度情報に基づいて、特定区間Ｂ２を車両３０（移動体３００）が移動する期間を予測する。具体例として、予測部１４は、現在の車両３０の位置から特定区間Ｂ２の開始地点Ｐ１までの距離と、現在の車両３０の速度とに基づいて、車両３０が開始地点Ｐ１に到達するまでに要する時間を算出する。また、予測部１４は、現在の車両３０の位置から特定区間Ｂ２の終了地点Ｐ２までの距離と、現在の車両３０の速度とに基づいて、車両３０が終了地点Ｐ２に到達するまでに要する時間を算出する。このようにして、予測部１４は、車両３０が特定区間Ｂ２に到達してから抜けるまでの時間、つまり車両３０が特定区間Ｂ２を移動する期間を予測する。

なお、予測部１４による上記の予測処理は、対象物検知センサ４１としてのカメラが前景を撮像するたびに、つまり１フレームごとに実行してもよいし、数フレームごとに実行してもよい。

補正部１５は、第３取得部１３が取得した姿勢情報に基づいて、表示システム２００によりウインドシールド３２（表示媒体）に表示される表示画像８におけるコンテンツ７の表示位置のずれを補正する。補正部１５は、表示補正方法における補正ステップＳＴ５の実行主体である。すなわち、路面の凹凸、又は車両３０（移動体３００）の加速若しくは減速等により、車両３０の姿勢が変化する場合がある。このような場合、ウインドシールド３２（表示媒体）を通して乗員が見る実風景が変化する一方、ウインドシールド３２に投影される表示画像８におけるコンテンツ７の表示位置が車両３０の姿勢の変化に依らず固定されていると、実風景に対するコンテンツ７の表示位置がずれてしまう。そこで、補正部１５が車両３０の姿勢の変化に応じて表示画像８におけるコンテンツ７の表示位置のずれを補正することにより、描画部２１は、実風景に対してコンテンツ７が正しい表示位置で表示されるように表示画像８を描画することが可能になる。

以下、補正部１５によるコンテンツ７の表示位置のずれの補正処理について、図５を参照して説明する。図５は、実施の形態における表示補正システム１００の補正部１５の動作の説明図である。図５に示す例では、車両３０（移動体３００）の前方に対象物６としてのロードコーン６１が置かれている。このため、ウインドシールド３２（表示媒体）には、ロードコーン６１に対する注意を乗員に喚起させるべく、ロードコーン６１を指し示す矢印７１をコンテンツ７として含む表示画像８が投影されている。

図５に示す例では、車両３０が移動路Ａ１上の凸部Ａ１１に乗り上げることにより、車両３０の姿勢が一時的に変化している。具体的には、車両３０が凸部Ａ１１に乗り上げることにより、車両３０がピッチ方向に角度θ１だけ後傾している。これにより、ウインドシールド３２（表示媒体）の所定領域Ｄ１を通して乗員が見る実風景（言い換えれば、表示画像８を通して乗員が見る実風景）は、ピッチ方向に角度θ１に相当する変位量だけ下方にずれることになる（図５における実線の枠参照）。なお、図５における破線の枠は、車両３０の姿勢が一時的に変化する前において、表示画像８を通して乗員が見る実風景を表している。ここで、補正部１５が補正処理を実行しなければ、矢印７１は、ロードコーン６１よりも上方部分を指し示すことになり、コンテンツ７（矢印７１）の表示位置がずれてしまう（図５における破線の矢印を参照）。

そこで、補正部１５は、第３取得部１３が取得した姿勢情報（ここでは、車両３０（移動体３００）のピッチ角の変化量）を参照することにより、表示画像８におけるコンテンツ７（矢印７１）の表示位置をピッチ方向に角度θ１に相当する変位量だけ下方に移動させる。これにより、矢印７１は、ロードコーン６１を正しく指し示すことになり、コンテンツ７（矢印７１）の表示位置のずれが補正される（実線の矢印７１を参照）。

そして、実施の形態では更に、補正部１５は、予測部１４による車両３０（移動体３００）の移動する区間の予測結果に基づいて、予測された区間に応じて動作を切り替えている。

ここで、車両３０（移動体３００）の移動する区間に応じて補正部１５による動作を切り替えるに至った背景について、図６を用いて説明する。図６は、比較例における表示補正システムによる動作の課題の説明図である。比較例における表示補正システムは、補正部が車両３０（移動体３００）の移動する区間に依らず、車両３０の姿勢のみに依存して表示画像８におけるコンテンツ７の表示位置のずれを補正する点で、実施の形態における表示補正システム１００と相違する。

比較例における補正部は、車両３０（移動体３００）の姿勢の変化に応じて表示画像８におけるコンテンツ７の表示位置のずれを補正するが、以下のような問題が生じ得る。すなわち、図６に示すように、車両３０が角度θ１の坂道を移動する場合、車両３０は水平面に対してピッチ方向に角度θ１だけ後傾する。この場合、比較例における補正部は、表示画像８におけるコンテンツ７の表示位置をピッチ方向に角度θ１に相当する変位量だけ下方に移動させる（図６における実線の矢印参照）。

しかしながら、車両３０（移動体３００）は、坂道においては斜面に沿って平行に移動するため、車両３０は斜面に対してはピッチ方向に変位しておらず、実際は補正部による補正処理は不要である。このため、比較例の表示補正システムでは、上記のように車両３０の姿勢のみに依存して表示画像８におけるコンテンツ７の表示位置のずれを補正してしまうため、かえってコンテンツ７の表示位置がずれてしまう、という課題が生じ得る。

上記の問題を解消するために、ジャイロセンサ５１の検知結果を参照することにより、車両３０（移動体３００）の姿勢の変化が移動路Ａ１の勾配の変化に依るか否かを判定することが考えられる。この態様では、補正部は、車両３０の姿勢の変化が勾配の変化に依ると判定した場合、コンテンツ７の表示位置のずれの補正をリセットする。これにより、上記の課題を解消し得る。

しかしながら、上記態様では、車両３０（移動体３００）の姿勢の変化を検知し、かつ、その変化が勾配の変化に依ることを判定した後に補正処理のリセットが実行される。このため、上記態様では、車両３０が坂道に進入して暫くは補正処理が実行されるため、補正処理のリセットの前後で表示画像８におけるコンテンツ７の表示位置がずれることになり、乗員が違和感を覚える可能性がある。

また、上記態様では、ジャイロセンサ５１の検知結果を参照するだけでは路面の凹凸と坂道とを区別しきれない場合があり得る。例えば、上記態様では、勾配が比較的小さい緩やかな坂道を、坂道として判定することができない場合があり得る。また、例えば、上記態様では、路面の凹凸の度合いによっては、坂道として誤って判定してしまう場合があり得る。

上述のように、上記態様では、依然として表示画像８におけるコンテンツ７の表示位置のずれを精度良く補正できない可能性がある。そこで、本願の発明者は、予測部１４により特定区間Ｂ２と通常区間Ｂ１とを事前に予測することで、補正部１５による表示画像８におけるコンテンツ７の表示位置のずれを補正する精度の向上を図ることを見い出した。

実施の形態では、補正部１５は、予測部１４の予測結果に基づいて、車両３０（移動体３００）が特定区間Ｂ２以外の通常区間Ｂ１を移動している場合は、第１制御を実行し、車両３０が特定区間Ｂ２を移動している場合は、第１制御とは異なる第２制御を実行する。具体的には、補正部１５は、車両３０が特定区間Ｂ２の開始地点Ｐ１に到達すると、第１制御から第２制御に切り替え、車両３０が特定区間Ｂ２の終了地点Ｐ２を通過すると、第２制御から第１制御に切り替える。

第１制御では、補正部１５は、上述の補正処理を実行する。すなわち、補正部１５は、第３取得部１３が取得した姿勢情報（ここでは、車両３０（移動体３００）のピッチ角の変化量）を参照することにより、表示画像８におけるコンテンツ７の表示位置のずれを補正する。したがって、車両３０が通常区間Ｂ１を移動している間においては、補正部１５は、路面の凹凸に起因する車両３０の姿勢の一時的な変化に応じて、表示画像８におけるコンテンツ７の表示位置のずれを補正する。

第２制御では、補正部１５は、第１制御とは異なる制御を行う。具体的には、第２制御では、第１制御よりも姿勢情報の変化に対する感度を鈍くしている。ここで、実施の形態では、補正部１５は、ジャイロセンサ５１で検知される車両３０（移動体３００）の振動のうち所定周波数（カットオフ周波数）よりも低い周波数の振動を減衰させるハイパスフィルタを有している。したがって、補正部１５は、第１制御及び第２制御のいずれの制御においても、車両３０の振動の周波数が所定周波数よりも高い場合に表示位置のずれを補正する補正処理を実行し、所定周波数以下の場合には補正処理を実行しない。

そして、第２制御では、第１制御よりも所定周波数（カットオフ周波数）を高くすることにより、車両３０（移動体３００）の振動（つまり、姿勢情報の変化）に対する感度を鈍くしている。すなわち、路面の凹凸、又は車両３０の加速又は減速等による車両３０の姿勢の変化においては、車両３０の振動の周期が比較的短い（つまり、振動の周波数が高い）。一方、車両３０が坂道を上る又は下る場合における車両３０の姿勢の変化においては、車両３０の振動の周期が比較的長い（つまり、振動の周波数が低い）。

そこで、第２制御では、車両３０が特定区間Ｂ２を移動している場合に所定周波数を高くすることにより、車両３０が坂道を上る又は下る際の車両３０の姿勢の変化に反応しないようにしている。したがって、車両３０が特定区間Ｂ２を移動している間においては、補正部１５は、基本的に表示画像８におけるコンテンツ７の表示位置のずれを補正する補正処理を実行しないことになる。もちろん、車両３０が特定区間Ｂ２を移動している間においても、例えば路面の凹凸によって車両３０の振動の周波数が所定周波数よりも高くなるような車両３０の姿勢の変化が生じれば、補正部１５は、補正処理を実行することにより、コンテンツ７の表示位置のずれを補正することが可能である。

なお、所定周波数（カットオフ周波数）が高くなればなる程、車両３０（移動体３００）の振動に含まれる周波数成分を減衰させることになるので、車両３０の姿勢情報の変化に対する感度も鈍くなっていく。そこで、補正部１５は、所定周波数が高くなればなる程、コンテンツ７の表示位置のずれの補正量を大きくする。これにより、補正部１５は、所定周波数以下の周波数成分が減衰された車両３０の振動であっても、コンテンツ７の表示位置のずれを精度良く補正しやすくなる。

なお、ハイパスフィルタの所定周波数（カットオフ周波数）の変更は、例えば第１制御用のハイパスフィルタと、第２制御用のハイパスフィルタとを用意しておき、２つのハイパスフィルタのうちのいずれか１つのフィルタを択一的に使用することにより実現可能である。

＜動作＞
以下、表示補正システム１００の動作例について、図７を参照して説明する。図７は、実施の形態における表示補正システム１００の動作例を示すフローチャートである。まず、第１取得部１１は、対象物検知センサ４１及びナビゲーション装置４２から定期的に移動路情報を取得する（Ｓ１）。処理Ｓ１は、表示補正方法における第１取得ステップＳＴ１に相当する。また、第２取得部１２は、パルス発生装置９から定期的に速度情報を取得する（Ｓ２）。処理Ｓ２は、表示補正方法における第２取得ステップＳＴ２に相当する。また、第３取得部１３は、車両情報検知センサ５から定期的に姿勢情報を取得する（Ｓ３）。処理Ｓ３は、表示補正方法における第３取得ステップＳＴ３に相当する。なお、処理Ｓ１～Ｓ３は、この順に直列的に実行されるわけではなく、並列的に実行される。

次に、予測部１４は、第１取得部１１が取得した移動路情報、及び第２取得部１２が取得した速度情報に基づいて、移動路Ａ１における特定区間Ｂ２を車両３０（移動体３００）が移動する期間を予測する（Ｓ４）。処理Ｓ４は、表示補正方法における予測ステップＳＴ４に相当する。具体的には、予測部１４は、移動路情報に基づいて車両３０の前方に特定区間Ｂ２が存在するか否かを予測し、特定区間Ｂ２が存在する場合、速度情報に基づいて車両３０が特定区間Ｂ２を移動する期間を予測する。ここでは、予測部１４が車両３０の前方に特定区間Ｂ２が存在すると予測したこととして説明する。

そして、補正部１５は、予測部１４の予測結果に基づいて、第１制御及び第２制御を択一的に切り替える。具体的には、車両３０（移動体３００）が特定区間Ｂ２を移動している場合（Ｓ５：Ｙｅｓ）、補正部１５は、第２制御を実行する（Ｓ６）。一方、車両３０が特定区間Ｂ２を移動していない場合、言い換えれば通常区間Ｂ１を移動している場合（Ｓ５：Ｎｏ）、補正部１５は、第１制御を実行する（Ｓ７）。つまり、補正部１５は、特定区間Ｂ２の開始地点Ｐ１に到達してから終了地点Ｐ２を通過するまでの間は第２制御を実行し、それ以外の期間では第１制御を実行する。処理Ｓ５～Ｓ７は、表示補正方法における補正ステップＳＴ５に相当する。以下、上記の一連の処理を繰り返す。

＜利点＞
上述のように、実施の形態における表示補正システム１００では、補正部１５は、予測部１４の予測結果に基づいて、車両３０（移動体３００）が通常区間Ｂ１を移動している場合は第１制御を実行し、車両３０が特定区間Ｂ２（ここでは、勾配が変化する区間）を移動している場合は第２制御を実行している。このため、実施の形態では、例えば特定区間Ｂ２では補正処理が実行されにくくする等、補正部１５が特定区間Ｂ２において通常区間Ｂ１とは異なる制御を実行するので、表示画像８におけるコンテンツ７の表示位置のずれを補正する精度の向上を図ることができる、という利点がある。

また、実施の形態では、予測部１４により車両３０（移動体３００）の前方にある特定区間Ｂ２を事前に予測することができるので、車両３０が特定区間Ｂ２に到達した時点から第２制御を実行することが可能である。したがって、実施の形態では、ジャイロセンサ５１の検知結果を参照して車両３０の姿勢の変化が移動路Ａ１の勾配の変化に依るか否かを判定する態様と比較して、乗員が違和感を覚えにくい、という利点もある。

さらに、実施の形態では、予測部１４は、ジャイロセンサ５１の検知結果を参照するだけでは判定しきれない勾配が比較的緩やかな坂道を、特定区間Ｂ２として予測しやすい。また、実施の形態では、予測部１４は、ジャイロセンサ５１の検知結果を参照するだけでは誤って坂道と判定する可能性のある路面の凹凸を有する区間を、通常区間Ｂ１として予測しやすい。

（変形例）
以上、本開示に係る表示補正システムについて、上記実施の形態に基づいて説明したが、本開示は、上記実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思い付く各種変形を上記実施の形態に施したものも、本開示の範囲内に含まれてもよい。

上述の実施形態では、予測部１４は、移動路Ａ１における勾配が変化する区間を特定区間Ｂ２として予測しているが、これに限られない。例えば、予測部１４は、移動路Ａ１におけるカーブの区間を特定区間Ｂ２として予測してもよい。この態様では、以下のような課題を解決し得る。すなわち、車両３０（移動体３００）がカーブの区間を移動すると、車両３０にはヨー方向の振動が生じる。このヨー方向の振動は、ピッチ方向にも影響を及ぼす場合があり、この場合、本来凹凸のある路面でのピッチ方向の振動に対して補正処理を実行するはずが、カーブにおいても補正処理を誤って実行する可能性がある。

この可能性を考慮して、補正部１５では、ハイパスフィルタの所定周波数（カットオフ周波数）を高くすることで、カーブの区間で補正処理が誤って実行されないようにすることが考えられる。しかしながら、ハイパスフィルタの所定周波数を高くすると、車両３０（移動体３００）の比較的低い周波数の振動を検知できない、という課題が生じ得る。

これに対して、予測部１４が移動路Ａ１におけるカーブの区間を特定区間Ｂ２として予測すれば、補正部１５は、特定区間Ｂ２でのみハイパスフィルタの所定周波数（カットオフ周波数）を高くし、通常区間Ｂ１ではハイパスフィルタの所定周波数を高くしない、という措置が可能である。この態様では、車両３０（移動体３００）の比較的低い周波数の振動も検知しやすくなる、という利点がある。

また、例えば、予測部１４は、移動路Ａ１において路面の凹凸の度合いが比較的大きい悪路（例えば、石畳等）の区間を特定区間Ｂ２として予測してもよい。予測部１４は、例えば対象物検知センサ４１としてのカメラで撮像した移動路Ａ１の撮像画像に対してテンプレートマッチング処理を実行することにより、悪路の有無を予測することが可能である。この態様では、以下のような課題を解決し得る。すなわち、車両３０（移動体３００）が悪路の区間を移動すると、車両３０の振動に比較的高い周波数（例えば、数Ｈｚ）の成分が含まれ得る。そして、この周波数の成分を検知して補正部１５が補正処理を実行すると、補正処理を実行する際の遅延により表示画像８におけるコンテンツ７の表示位置のずれが目立ってしまい、ユーザが違和感を覚えやすくなる可能性がある、という課題が生じ得る。

これに対して、予測部１４が移動路Ａ１における悪路の区間を特定区間Ｂ２として予測すれば、補正部１５は、特定区間Ｂ２でのみローパスフィルタを追加して上記の比較的高い周波数の成分を減衰させることが可能である。この態様では、上記の比較的高い周波数成分を検知して補正部１５が補正処理を実行する可能性を低減することができるので、補正処理を実行する際の遅延により表示画像８におけるコンテンツ７の表示位置のずれが目立ってしまう可能性も低減でき、結果としてユーザが違和感を覚えにくくなる、という利点がある。

上述の実施形態では、補正部１５は、第２制御として第１制御よりもハイパスフィルタの所定周波数（カットオフ周波数）を高くすることで、車両３０（移動体３００）の振動（つまり、姿勢情報の変化）に対する感度を鈍くしているが、これに限られない。例えば、補正部１５は、第２制御として、そもそも補正処理を停止してもよい。言い換えれば、第２制御では、表示画像８におけるコンテンツ７の表示位置のずれを補正する処理を停止してもよい。

上述の実施形態では、予測部１４は、対象物検知センサ４１としてのカメラで撮像した移動路Ａ１の撮像画像に基づいて、特定区間Ｂ２を予測しているが、これに限られない。例えば、予測部１４は、ナビゲーション装置４２が取得する測位結果又は地図データに基づいて、特定区間Ｂ２を予測してもよい。

実施の形態における投影部２２の構成、又は表示のための方式等は、上記のものに限定されることはなく、ＨＵＤに関するいかなる既存技術を適用して変形してもよい。例えば、投影部２２においては、ＬＣＤの代わりにレーザープロジェクタ、又はＬＣＯＳ（Liquid Crystal on Silicon）等を用いてもよいし、ミラーの代わりにレンズを用いてもよい。また、投影部２２においては、ミラー等の枚数もいくつであってもよい。さらに、投影部２２においては、運転者の視点Ｅ１の高さに応じて、モーター駆動等により凹面ミラーの角度等が調整できてもよい。

また、上述の実施の形態では、投影部２２が画像をウインドシールド３２に投影することとしたが、ウインドシールド３２とは別に設けられるハーフミラーであるコンバイナに投影するようにしてもよい。また、投影部２２は、ウインドシールド３２の内部又は表面に備えられる透過型ディスプレイに画像を表示する構成であってもよい。

また、上述の表示補正システム１００における表示補正処理の手順の実行順序は、必ずしも、上述した通りの順序に制限されるものではなく、発明の要旨を逸脱しない範囲で、実行順序を入れ替えたりその一部を省略したりすることができるものである。また、上述の表示補正処理の手順の全部又は一部は、ハードウェアにより実現されても、ソフトウェアを用いて実現されてもよい。なお、ソフトウェアによる処理は、コンピュータ等に含まれるプロセッサがメモリに記憶された表示補正処理用の制御プログラムを実行することにより実現されるものである。また、その制御プログラムを記録媒体に記録して頒布や流通させてもよい。例えば、頒布された制御プログラムを、プロセッサを有する装置にインストールして、その装置のプロセッサに実行させることで、その装置に表示補正処理の全部又は一部を行わせることが可能となる。

また、上述した表示補正システム１００におけるコンピュータは、必須ではないが、タッチパッド等の入力装置、ディスプレイ若しくはスピーカ等の出力装置、ハードディスク装置若しくはＳＳＤ（Solid State Drive）等の記憶装置、ＤＶＤ－ＲＯＭ（Digital Versatile Disk Read Only Memory）若しくはＵＳＢ（Universal Serial Bus）メモリ等の記録媒体から情報を読み取る読取装置、又はネットワークを介して通信を行う送受信装置を有してもよい。例えば上述した制御プログラムがＵＳＢメモリ等の記録媒体に記録されていれば、読取装置は、その制御プログラムを読み取り、メモリ又はその他の記憶装置に記憶させる。また、送受信装置が、制御プログラムを格納している外部のサーバ装置とネットワークを介して通信を行い、サーバ装置から制御プログラムをダウンロードしてメモリ又はその他の記憶装置に記憶させてもよい。なお、表示補正システム１００は、集積回路として構成されてもよい。

また、上述した各構成要素及び機能を任意に組み合わせることで実現される形態も本開示の範囲に含まれる。

本開示は、表示システムにより表示媒体に表示される表示画像におけるコンテンツの表示位置のずれを補正する表示補正システム等に適用可能である。

１１ 第１取得部
１２ 第２取得部
１３ 第３取得部
１４ 予測部
１５ 補正部
２１ 描画部
２２ 投影部
３２ ウインドシールド（表示媒体）
７ コンテンツ
８ 表示画像
１００ 表示補正システム
２００ 表示システム
３００ 移動体
Ａ１ 移動路
Ｂ１ 通常区間
Ｂ２ 特定区間
ＳＴ１ 第１取得ステップ
ＳＴ２ 第２取得ステップ
ＳＴ３ 第３取得ステップ
ＳＴ４ 予測ステップ
ＳＴ５ 補正ステップ

Claims (8)

1. 移動体の前方にある移動路に関する移動路情報を取得する第１取得部と、
   前記移動体の速度に関する速度情報を取得する第２取得部と、
   前記移動体の姿勢に関する姿勢情報を取得する第３取得部と、
   前記移動路情報及び前記速度情報に基づいて、前記移動路における特定区間を前記移動体が移動する期間を予測する予測部と、
   前記姿勢情報に基づいて、表示システムにより表示媒体に表示される表示画像におけるコンテンツの表示位置のずれを補正する補正部と、を備え、
   前記補正部は、前記予測部の予測結果に基づいて、前記移動体が前記特定区間以外の通常区間を移動している場合は、第１制御を実行し、前記移動体が前記特定区間を移動している場合は、前記第１制御とは異なる第２制御を実行する、
   表示補正システム。
2. 前記第２制御では、前記第１制御よりも前記姿勢情報の変化に対する感度が鈍い、
   請求項１に記載の表示補正システム。
3. 前記補正部は、前記移動体の振動の周波数が所定周波数よりも高い場合に前記表示位置のずれを補正し、
   前記第２制御では、前記第１制御よりも前記所定周波数が高い、
   請求項１又は２に記載の表示補正システム。
4. 前記第２制御では、前記表示位置のずれを補正する処理を停止する、
   請求項１に記載の表示補正システム。
5. 前記特定区間は、勾配が変化する区間である、
   請求項１～４のいずれか１項に記載の表示補正システム。
6. 請求項１～５のいずれか１項に記載の表示補正システムと、
   前記表示画像を描画する描画部と、
   前記描画部により描画された前記表示画像を、前記移動体の乗員に虚像として視認させるために前記表示媒体に投影する投影部と、を備える、
   表示システム。
7. 移動体の前方にある移動路に関する移動路情報を取得する第１取得ステップと、
   前記移動体の速度に関する速度情報を取得する第２取得ステップと、
   前記移動体の姿勢に関する姿勢情報を取得する第３取得ステップと、
   前記移動路情報及び前記速度情報に基づいて、前記移動路における特定区間を前記移動体が移動する期間を予測する予測ステップと、
   前記姿勢情報に基づいて、表示システムにより表示媒体に表示される表示画像におけるコンテンツの表示位置のずれを補正する補正ステップと、を含み、
   前記補正ステップでは、前記予測ステップの予測結果に基づいて、前記移動体が前記特定区間以外の通常区間を移動している場合は、第１制御を実行し、前記移動体が前記特定区間を移動している場合は、前記第１制御とは異なる第２制御を実行する、
   表示補正方法。
8. １以上のプロセッサに、
   請求項７に記載の表示補正方法を実行させる、
   プログラム。

Images