JP2019142407A - 表示システムおよび表示プログラム - Google Patents

Abstract

【課題】ユーザが見慣れたＵＩを容易に表示することができる技術の提供。【解決手段】表示システムは、車両が備えるＵＩ（user-interface）である車載ＵＩを撮像した撮像画像を取得する撮像画像取得部と、前記撮像画像に基づいて前記車載ＵＩの形態を認識する形態認識部と、前記車載ＵＩの形態に類似する形態を有するＵＩ画像をディスプレイに表示させる表示制御部と、を備える。【選択図】図２

Description

本発明は、表示システムおよび表示プログラムに関する。

車両に関するメータをディスプレイに表示するにあたり、複数の選択肢のなかからユーザが選択したメータを表示する技術が知られている（特許文献１、参照。）。

特開２０１７−６１３１４号公報

ユーザは車両に備えられたメータを見慣れているため、ディスプレイに表示されたメータと車両に備えられたメータの表示形式が異なると、ディスプレイに表示されたメータを即座に読み取ることが困難となる。特許文献１においては、車両に備えられたメータと表示形式が共通するメータをユーザが選択しなければならず、煩雑であるという問題があった。
本発明は、前記課題にかんがみてなされたもので、ユーザが見慣れたＵＩを容易に表示することができる技術を提供することを目的とする。

前記の目的を達成するため、本発明の表示システムは、車両が備えるＵＩ（user-interface）である車載ＵＩを撮像した撮像画像を取得する撮像画像取得部と、撮像画像に基づいて車載ＵＩの形態を認識する形態認識部と、車載ＵＩの形態に類似する形態を有するＵＩ画像をディスプレイに表示させる表示制御部と、を備える。

前記の目的を達成するため、本発明の表示プログラムは、コンピュータを、車両が備えるＵＩである車載ＵＩを撮像した撮像画像を取得する撮像画像取得部、撮像画像に基づいて車載ＵＩの形態を認識する形態認識部、車載ＵＩの形態に類似する形態を有するＵＩ画像をディスプレイに表示させる表示制御部、として機能させる。

前記の構成において、車載ＵＩを撮像した撮像画像に基づいて、車載ＵＩの形態に類似する形態を有するＵＩ画像をディスプレイに表示することができる。そのため、ユーザが撮像画像を選択しなくても、ユーザが見慣れたＵＩを容易に表示することができる。

表示システムのブロック図である。 図２Ａは状態値の種類の表、図２Ｂ，図２Ｃは形態パラメータの表である。 図３Ａ，図３Ｂ，図３Ｃは車載メータを示す図、図３Ｄ，図３Ｅ，図３Ｆはメータ画像を示す図である。 表示処理のフローチャートである。

ここでは、下記の順序に従って本発明の実施の形態について説明する。
（１）表示システムの構成：
（２）表示処理：
（３）他の実施形態：

（１）表示システムの構成：
図１は、本発明の一実施形態にかかる表示システム１０の構成を示すブロック図である。表示システム１０は、車両に備えられている。表示システム１０は、制御部２０と記録媒体３０とを備えている。制御部２０は、ＣＰＵとＲＡＭとＲＯＭ等を備え、記録媒体３０やＲＯＭに記憶された表示プログラム２１を実行する。

記録媒体３０は、状態値テーブル３０ａと形態パラメータテーブル３０ｂと要素画像ＤＢ（database）３０ｃとを記録している。状態値テーブル３０ａは、制御部２０が取得可能な車両の状態値の種類を規定したテーブルである。図２Ａは、状態値テーブル３０ａの一例を示す。状態値テーブル３０ａは、車両にて計測可能な車両の状態値の種類を規定したテーブルである。

形態パラメータテーブル３０ｂは、車載メータの形態を特徴付ける各種形態パラメータの項目を規定したテーブルである。車載メータとは車両に搭載されたメータであり、大多数の車両において運転者の前方のインストルメントパネルに備えらる。図２Ｂ，図２Ｃは、形態パラメータテーブル３０ｂの一例を示す。図２Ｂはアナログ方式の車載メータの形態を特徴付ける形態パラメータを示し、図２Ｃはデジタル方式の車載メータの形態を特徴付ける形態パラメータを示す。

要素画像ＤＢ３０ｃは、車両の状態値を示すメータを表す画像であるメータ画像を構成する要素画像を格納したデータベースである。図２Ｂまたは図２Ｃに示す各形態パラメータに対応する要素画像を合成することによりメータ画像が構成される。また、要素画像ＤＢ３０ｃに格納された要素画像を用いたテンプレートマッチングを行うことによって車載メータの形態パラメータの認識が行われる。状態値テーブル３０ａと形態パラメータテーブル３０ｂと要素画像ＤＢ３０ｃの具体的な使用例については、後述する。

車両は、車内カメラ４０とＥＣＵ（Electronic Control Unit）４１とタッチパネルディスプレイ４２とを備えている。車内カメラ４０は、インストルメントパネルを撮像可能なカメラであり、例えばキャビンの天井における運転席の上方に備えられてもよい。車内カメラ４０は、インストルメントパネルを撮像可能であればよく、ドライブレコーダのカメラであってもよい。

ＥＣＵ４１は車両を制御するコンピュータであり、図示しない車両が備える各種センサやアクチュエータと通信を行うことにより、図２Ａに示した車両の各種状態値を取得する。ＥＣＵ４１は各種状態値を制御部２０に出力する。

タッチパネルディスプレイ４２は、表示面にて任意の画像を表示する表示装置である。また、タッチパネルディスプレイ４２は、タッチセンサによって表示面に対する指等の接触位置を検知し、当該接触位置を示す信号を制御部２０に出力する。制御部２０は、表示面に対する指等の接触位置に基づいてユーザの操作を受け付ける。

表示プログラム２１は、撮像画像取得モジュール２１ａと形態認識モジュール２１ｂと表示制御モジュール２１ｃとを含む。撮像画像取得モジュール２１ａと形態認識モジュール２１ｂと表示制御モジュール２１ｃとは、それぞれコンピュータとしての制御部２０を撮像画像取得部と形態認識部と表示制御部として機能させるプログラムモジュールである。

撮像画像取得モジュール２１ａの機能により制御部２０は、車両が備えるＵＩである車載ＵＩを撮像した撮像画像を取得する。具体的に、撮像画像取得モジュール２１ａの機能により制御部２０は、インストルメントパネルを車内カメラ４０が撮像した画像を撮像画像として取得する。インストルメントパネルには車載メータが備えられているため、撮像画像は車載メータを撮像した画像であり、車載ＵＩは車両の状態値を示す車載メータである。

本実施形態において、制御部２０は、昼間の撮像画像と夜間の撮像画像とを取得する。そのために、制御部２０は、ヘッドライトのＯＮ／ＯＦＦの状態をＥＣＵ４１から取得する。そして、制御部２０は、ヘッドライトがＯＦＦとなっている際に撮像した撮像画像を昼間の撮像画像として取得し、ヘッドライトがＯＮとなっている際に撮像した撮像画像を夜間の撮像画像として取得する。

形態認識モジュール２１ｂの機能により制御部２０は、撮像画像に基づいて車載ＵＩの形態を認識する。具体的に、制御部２０は、要素画像ＤＢ３０ｃに格納された要素画像と撮像画像とのテンプレートマッチングを行うことにより、撮像画像とマッチングする要素画像を特定する。そして、制御部２０は、撮像画像とマッチングする要素画像に基づいて車載メータの形態パラメータを認識する。

要素画像ＤＢ３０ｃには、文字盤の色や直径や目盛色等が異なる多数の文字盤の要素画像が格納されている。制御部２０は、撮像画像のうち文字盤の要素画像とマッチングする部分（以下、文字盤画像）を、アナログ方式の車載メータとして認識する。さらに、制御部２０は、撮像画像とマッチングした文字盤の要素画像に対応付けられている形態パラメータを車載メータの形態パラメータとして認識する。

図２Ｂの例では、撮像画像とマッチングした文字盤の要素画像に基づいて、形態パラメータとして、文字盤枠色と文字盤色と文字盤直径と目盛色と目盛数と目盛角度範囲とが認識されている。要素画像ＤＢ３０ｃにおいては、これらの形態パラメータのあらゆる組み合わせに対応する多数の文字盤の要素画像が格納されている。

図３Ａは、図２Ｂの形態パラメータが認識された車載メータの例を示す。図３Ａの車載メータはアナログ方式の車速メータである。文字盤枠色は文字盤の輪郭線の色であり、文字盤色は文字盤の色であり、目盛色は文字盤の外縁付近において放射状に設けられた目盛の色である。目盛数は目盛の数であり、目盛角度範囲は文字盤の中心点から最小目盛（０ｋｍ／ｈ）の目盛に向けて伸びるベクトルの方向から最大目盛（２４０ｋｍ／ｈ）の目盛に向けて伸びるベクトルの方向までの角度範囲（鉛直上方を０度とする）である。また、目盛角度範囲には、最小目盛から最大目盛へと向けて目盛の数値が大きくなっていく回転方向（時計回り）が関連づけられる。

さらに、制御部２０は、文字盤画像についての文字認識処理を行うことにより、形態パラメータとしての目盛フォント種と目盛フォントサイズと目盛フォント色と単位フォント種と単位フォントサイズと単位フォント色とを認識する。なお、要素画像ＤＢ３０ｃにおいては、車載メータに使用され得る各文字についてフォントの種類とサイズと色との組み合わせに対応する多数の文字認識処理用の要素画像が格納されている。目盛フォントは各目盛の値を示す数字のフォントであり、単位フォントは車載メータが示す数値の単位を示す単位表示の文字のフォントである。制御部２０は、文字盤上における単位表示の位置についても、形態パラメータとして認識する。単位表示の位置は、例えば文字盤の中心点に対する相対位置で表されている。

さらに、制御部２０は、文字盤画像とマッチングするアナログ針の要素画像に基づいて、形態パラメータとしてのアナログ針の形状と色とを認識する。要素画像ＤＢ３０ｃにおいては、あらゆる形状と色の組み合わせに対応するアナログ針の要素画像が格納されている。

さらに、制御部２０は、撮像画像のうち文字盤画像以外の部分について文字認識処理を行うことにより、デジタル方式の車載メータの認識を試みる。例えば、制御部２０は、図２Ａの右欄に示す各状態値の単位を示す単位表示を文字認識処理する。そして、制御部２０は、単位表示の左側周辺において単位表示よりも大きいフォントサイズの数字を状態値として認識し、当該状態値の部分と単位表示とをデジタル方式の車載メータとして認識する。通常、デジタル方式の車載メータにおいては、単位表示の左側に単位表示よりも大きく状態値が表示されるため、これらの組み合わせをデジタル方式の車載メータとして認識できる。

また、制御部２０は、文字認識処理によって、デジタル方式の車載メータの形態パラメータとして、単位フォント種と単位フォントサイズと単位フォント色と単位フォント位置と状態値フォント種と状態値フォントサイズと状態値フォント色とを認識する。状態値フォントとは、デジタル方式の車載メータにおいて状態値を示す数字のフォントである。さらに、制御部２０は、状態値を示す数字の周辺の色を認識することにより、デジタル方式の車載メータの形態パラメータとして、背景色を認識する。

図３Ｂ，図３Ｃは図２Ｃの形態パラメータが認識された車載メータの例を示す。なお、図３Ｂ，図３Ｃは互いに同一の車載メータを示すが、図３Ｂは昼間における車載メータを示し、図３Ｃは夜間における車載メータを示す。図３Ｂ，図３Ｃの車載メータはデジタル方式の車速メータである。例えば、液晶ディスプレイのようなカラーディスプレイ上に車載メータを表示する場合、車載メータの色が昼間と夜間とで変化し得る。そのため、昼間の撮像画像と夜間の撮像画像のそれぞれにおいて、色に関する形態パラメータを認識しておくことが望ましい。なお、カラーディスプレイ上にアナログ方式の車載メータを表示する場合も、車載メータの色が昼間と夜間とで変化し得るため、アナログ方式の車載メータを昼間と夜間のそれぞれにおいて撮像してもよい。

ここで、図３Ａのようなアナログ方式の車載メータを認識する場合と、図３Ｂ，図３Ｃのようなデジタル方式の車載メータを認識する場合のいずれにおいても、制御部２０は、単位表示の文字認識処理を行う。制御部２０は、単位表示が表す単位に基づいて、車載メータが示している状態値の種類を認識する。複数の状態値の種類について共通する単位が用いられている場合、制御部２０は、目盛や状態値そのものの値（値域、ばらつき等）に基づいて状態値の種類を認識してもよい。また、車載メータに状態値の種類そのものを示す表示が存在する場合、制御部２０は、当該表示の文字認識処理によって状態値の種類を認識してもよい。なお、単一の撮像画像において複数の車載メータを認識される場合もあり、制御部２０は、複数の車載メータのそれぞれについて形態パラメータと状態値とを認識する。なお、アナログ方式であるかデジタル方式であるかの区別も形態パラメータに該当する。

表示制御モジュール２１ｃの機能により制御部２０は、車載ＵＩの形態に類似する形態を有するＵＩ画像をタッチパネルディスプレイ４２に表示させる。具体的に、制御部２０は、車載ＵＩとして認識した車載メータの形態パラメータと同じ形態パラメータを有するメータ画像をＵＩ画像として表示する。複数の車載メータが認識された場合、制御部２０は、複数の車載メータのなかから選択した１個の車載メータの形態パラメータと同じ形態パラメータを有するメータ画像を表示する。例えば、制御部２０は、最もサイズの大きい車載メータを選択してもよいし、インスツルメントパネルの中央の最も近くに配置された車載メータを選択してもよいし、最も視認頻度が高くなる種類の状態値を示す車載メータを選択してもよい。

表示制御モジュール２１ｃの機能により制御部２０は、認識した状態値の種類と異なる種類の状態値を表示対象として設定する。すなわち、表示制御モジュール２１ｃの機能により制御部２０は、車載メータと異なる種類の車両の状態値を示すメータ画像をタッチパネルディスプレイ４２に表示させる。例えば、図３Ａ，図３Ｂ，図３Ｃに示すような車速メータのみが認識された場合、制御部２０は、図２Ａに示す状態値のうち車速以外の状態値の種類を表示対象として設定する。具体的に、制御部２０は、予め設定された優先度が高い順に表示対象の状態値の種類を設定する。優先度の設定手法は特に限定されず、重要度が高い状態値の種類であるほど優先度が高く設定されてもよいし、視認頻度が高い状態値の種類であるほど優先度が高く設定されてもよいし、優先度が運転者によって設定されてもよい。

制御部２０は、認識した車載メータと同じ形態パラメータに対応する要素画像を要素画像ＤＢ３０ｃから取得し、当該要素画像を合成することにより、メータ画像を生成する。具体的に、制御部２０は、形態パラメータに対応する要素画像のうち、状態値に応じて変化しない静的要素の画像要素を合成する。ここで合成される画像要素には、目盛や単位を示す文字も含まれる。そして、制御部２０は、静的要素の画像要素を合成した画像に対して、状態値に応じて変化する動的要素の画像要素を合成することにより、メータ画像を生成する。

制御部２０は、現在の状態値をＥＣＵ４１から取得し、現在の状態値に基づいて動的要素を変化させる。アナログ方式のメータ画像において、制御部２０は、文字盤の中心点を中心に回転するアナログ針（動的要素）の角度を状態値に応じて変化させる。制御部２０は、メータ画像のアナログ針の可動角度範囲が、形態パラメータとして認識した目盛角度範囲と同じとなり、状態値が増加した際にメータ画像のアナログ針が回転する方向が可動角度範囲に関連づけられている回転方向と同じとなるように、メータ画像のアナログ針の回転角と状態値との対応関係を設定する。一方、デジタル方式のメータ画像において、制御部２０は、状態値を示す文字（動的要素）を状態値に応じて変化させる。

制御部２０は、生成したメータ画像をタッチパネルディスプレイ４２に表示させる。なお、タッチパネルディスプレイ４２に表示されるメータ画像は１個に限られず、互いに異なる種類の状態値を示す複数のメータ画像がタッチパネルディスプレイ４２に表示されてもよい。タッチパネルディスプレイ４２に表示するメータ画像の個数やレイアウトは運転者によって設定されてもよく、制御部２０はこれらの設定に応じてメータ画像を適切な大きさに拡大したり縮小したりしてもよい。そのため、形態パラメータのうち大きさに関するもの（文字盤直径，フォントサイズ）については、車載メータとメータ画像とで異なり得る。従って、撮像画像上の大きさと被写体の現実の大きさとの対応関係を規定するための作業（キャリブレーション等）は必ずしも行われなくてもよい。

図３Ｄは、図３Ａの車速メータを認識した場合に、タッチパネルディスプレイ４２に表示されるメータ画像の例を示す。図３Ｄにおいては、図３Ａの車速メータに類似する形態を有する油温メータのメータ画像が示されている。アナログ方式の車載メータを認識した場合には、アナログ方式のメータ画像が表示されることとなる。また、図３Ａ，図３Ｄに示すように、車載メータとメータ画像とで、形態パラメータとしてのアナログ針の可動角度範囲が同じとなる。制御部２０は、油温の計測可能範囲（下限値〜上限値）をＥＣＵ４１等から取得し、当該計測可能範囲を車速メータの目盛数分だけ区切る値を示す文字を各目盛の付近に表示する。

図３Ｅ，図３Ｆは、図３Ｂ，図３Ｃの車速メータを認識した場合に、タッチパネルディスプレイ４２に表示されるメータ画像を示す。図３Ｅ，図３Ｆにおいては、図３Ｂ，図３Ｃの車速メータに類似する形態を有する油温メータのメータ画像が示されている。デジタル方式の車載メータを認識した場合には、デジタル方式のメータ画像が表示されることとなる。このように、車載メータとメータ画像とでアナログ／デジタルの表示方式が同じとなる。

図３Ｂ，図３Ｅに示すように、制御部２０は、ヘッドライトがＯＦＦとなっている場合、昼間の車載メータの形態に類似するメータ画像をタッチパネルディスプレイ４２に表示させる。一方、図３Ｃ，図３Ｆに示すように、制御部２０は、ヘッドライトがＯＮとなっている場合、夜間の車載メータの形態に類似するメータ画像をタッチパネルディスプレイ４２に表示させる。すなわち、表示制御モジュール２１ｃの機能により制御部２０は、昼間の車載メータの形態に類似するメータ画像と、夜間の車載メータの形態に類似するメータ画像と、を切り替えて表示する。

以上説明した本実施形態において、車載メータを撮像した撮像画像に基づいて、車載メータの形態に類似する形態を有するメータ画像をタッチパネルディスプレイ４２に表示することができる。そのため、ユーザがメータ画像を選択しなくても、ユーザが見慣れており、数値を読み取りやすいメータ画像を容易に表示することができる。

また、制御部２０は、車載メータと異なる種類の車両の状態値を示すメータ画像をタッチパネルディスプレイ４２に表示させている。これにより、車載メータとメータ画像とが同じ種類の車両の状態値を重複して表示することを回避できる。すなわち、車載メータとメータ画像とで異なる種類の車両の状態値を示すことができ、多種の情報を表示できる。

その一方で、車載メータとメータ画像とでアナログ／デジタルの表示方式が同じとなるため、車載メータとメータ画像の双方を読み取りやすくすることができる。すなわち、ユーザは、車載メータを読み取る場合とメータ画像を読み取る場合とで、意識の中で読み取り方式を切り替えなくても済む。

さらに、車載メータとメータ画像とで、アナログ針の可動角度範囲が同じとなるため、車載メータとメータ画像との間でアナログ針の動きに注目すべき範囲が同じとなることとなる。そのため、車載メータとメータ画像の双方を読み取りやすくすることができる。すなわち、ユーザは、車載メータ（図３Ａ）を読み取る場合と、メータ画像（図３Ｄ）を読み取る場合とで、アナログ針の動きに注目すべき範囲を切り替えなくても済む。

さらに、制御部２０は、昼間の車載メータ（図３Ｂ）の形態に類似するメータ画像（図３Ｅ）と、夜間の車載メータ（図３Ｃ）の形態に類似するメータ画像（図３Ｆ）と、を切り替えて表示している。これにより、車載メータの形態が昼間と夜間とで異なる場合でも、時間帯に拘わらず車載メータと類似するメータ画像を表示することができる。

（２）表示処理：
次に、表示プログラム２１の機能により実行される表示処理を説明する。まず、撮像画像取得モジュール２１ａの機能により制御部２０は、撮像画像を取得する（ステップＳ１００）。具体的に、撮像画像取得モジュール２１ａの機能により制御部２０は、インストルメントパネルを車内カメラ４０が撮像した画像を撮像画像として取得する。本実施形態において、予め撮像しておいた昼間の撮像画像と夜間の撮像画像とが記録媒体３０に記録されており、制御部２０は、記録媒体３０から昼間の撮像画像と夜間の撮像画像とを取得する。

次に、形態認識モジュール２１ｂの機能により制御部２０は、車載メータが示す状態値の種類と形態パラメータとを認識する（ステップＳ１１０）。すなわち、制御部２０は、撮像画像に含まれる車載メータの像を画像認識処理することにより、車載メータが示す状態値の種類（図２Ａ）と、車載メータが有する形態パラメータ（図２Ｂ，図２Ｃ）とを認識する。図３Ａ，図３Ｂ，図３Ｃの例では、車載メータが示す状態値の種類として車速が認識される。また、制御部２０は、昼間の撮像画像と夜間の撮像画像のそれぞれについて形態パラメータを認識する。図３Ｂ，図３Ｃのように、昼間と夜間とで形態パラメータが異なる場合、制御部２０は、昼間と夜間のそれぞれについて形態パラメータを認識し、ＲＡＭ等に記録しておく。

次に、表示制御モジュール２１ｃの機能により制御部２０は、表示対象の状態値の種類を設定する（ステップＳ１２０）。すなわち、制御部２０は、車載メータが示す状態値の種類と異なる状態値の種類を表示対象として設定する。具体的に、制御部２０は、車載メータが示す状態値の種類と異なる状態値の種類のなかから、予め設定された優先度が高い順に表示対象の状態値の種類（単数または複数）を設定する。

次に、表示制御モジュール２１ｃの機能により制御部２０は、メータ画像の形態パラメータを設定する（ステップＳ１３０）。具体的に、制御部２０は、撮像画像において認識した車載メータの形態パラメータと同じ形態パラメータを、メータ画像の形態パラメータとして設定する。すなわち、制御部２０は、車載メータと形態が類似するメータ画像を表示できるような形態パラメータを設定する。制御部２０は、昼間と夜間のそれぞれについて形態パラメータを認識した場合、制御部２０は、昼間と夜間のそれぞれについてメータ画像の形態パラメータを設定する。

次に、表示制御モジュール２１ｃの機能により制御部２０は、現在の状態値を取得する（ステップＳ１４０）。すなわち、制御部２０は、表示対象として設定した種類の状態値をＥＣＵ４１から取得する。例えば、油温を表示対象として設定した場合、制御部２０は、現在の油温をＥＣＵ４１から取得する。

次に、表示制御モジュール２１ｃの機能により制御部２０は、現在が昼間であるか否かを判定する（ステップＳ１５０）。具体的に、制御部２０は、ヘッドライトがＯＦＦである場合に、現在が昼間であると判定する。

現在が昼間であると判定した場合（ステップＳ１５０：Ｙ）、表示制御モジュール２１ｃの機能により制御部２０は、昼間の形態パラメータでメータ画像を生成する（ステップＳ１６０）。一方、現在が昼間であると判定しなかった場合（ステップＳ１５０：Ｎ）、表示制御モジュール２１ｃの機能により制御部２０は、昼間の形態パラメータでメータ画像を生成する（ステップＳ１７０）。

すなわち、制御部２０は、昼間または夜間の形態パラメータに対応する静的要素の要素画像を合成し、ＲＡＭ等に記録する。そして、制御部２０は、さらに昼間または夜間の形態パラメータに対応する動的要素の要素画像を現在の状態値に応じて変化させるとともに、当該動的要素の要素画像を、静的要素の要素画像を合成した画像に合成することにより、メータ画像を生成する。なお、複数のメータ画像を生成した場合、制御部２０は、複数のメータ画像をタッチパネルディスプレイ４２上に表示する１個の画像にレイアウトする。複数のメータ画像は、同じ形態パラメータに基づいて生成されるため、形態に統一性を有することとなる。

メータ画像を生成すると、表示制御モジュール２１ｃの機能により制御部２０は、メータ画像を表示する（ステップＳ１８０）。すなわち、制御部２０は、車載メータ（図３Ａ，図３Ｂ，図３Ｃ）と形態が類似し、かつ、車載メータと異なる種類の状態値を示すメータ画像（図３Ｄ，図３Ｅ，図３Ｆ）をタッチパネルディスプレイ４２に表示する。

以上のようにしてメータ画像を表示すると、制御部２０は、表示終了であるか否かを判定する（ステップＳ１９０）。例えば、制御部２０は、タッチパネルディスプレイ４２においてメータ画像を表示する表示モードが運転者の操作によって終了させられたか否かを判定する。表示終了であると判定しなかった場合（ステップＳ１９０：Ｎ）、制御部２０は、ステップＳ１４０に戻る。これにより、現在の状態値を示すメータ画像を更新表示していくことができる。

一方、表示終了であると判定した場合（ステップＳ１９０：Ｙ）、制御部２０は、表示処理を終了する。なお、一度認識した形態パラメータや静的要素を合成した画像は記録媒体３０に記録されてもよく、制御部２０は、次回以降の表示処理においてこれらのデータを読み出して使用してもよい。

（３）他の実施形態：
さらに、車載ＵＩは、車両に関する操作を受け付ける車載スイッチであり、表示制御モジュール２１ｃの機能により制御部２０は、車載スイッチの形態に類似するスイッチ画像をタッチパネルディスプレイ４２に表示させ、タッチパネルディスプレイ４２におけるスイッチ画像に対する操作を受け付けてもよい。例えば、制御部２０は、エアーコンディショナーやオーディオ等のための機械式の車載スイッチが備えられたセンターコンソールを撮像した撮像画像を取得し、当該車載スイッチの形態パラメータを認識してもよい。そして、制御部２０は、車載スイッチと類似する形態を有するスイッチ画像をタッチパネルディスプレイ４２に表示させてもよい。

具体的に、表示制御モジュール２１ｃの機能により制御部２０は、車載スイッチと異なる種類の操作を受け付けるためのスイッチ画像をタッチパネルディスプレイ４２に表示させてもよい。例えば、制御部２０は、タッチパネルディスプレイ４２上にカーナビゲーション画面を表示させ、当該カーナビゲーション画面上のスイッチ画像の形態を車載スイッチと類似させてもよい。例えば、制御部２０は、車載スイッチと類似するスイッチ画像が操作された場合に、地図の縮尺の変更や目的地の設定等の操作を受け付けてもよい。

以上説明した本実施形態においては、撮像画像に基づいて、見慣れた車載スイッチと形態が類似するスイッチ画像を表示することができ、操作しやすいスイッチ画像を容易に表示できる。さらに、車載スイッチと異なる種類の操作を受け付けるためのスイッチ画像をタッチパネルディスプレイ４２に表示させることにより、車載スイッチとスイッチ画像とが同じ種類の操作を受け付けることを回避できる。すなわち、車載スイッチとスイッチ画像とで異なる種類の操作を受け付けることができ、多種の操作を受け付けることができる。

前記実施形態において、撮像画像は静止画像であったが、撮像画像は動画であってもよい。そして、制御部２０は、撮像画像としての動画を画像認識処理することにより、撮像画像の形態の動的変化を認識してもよい。そして、制御部２０は、ＵＩ画像における形態の動的変化を、撮像画像の形態の動的変化に類似させてもよい。例えば、制御部２０は、インストルパネルに備えられた車載メータのオープニング動作またはエンディング動作と類似するように、車両のエンジンや電源がＯＮまたはＯＦＦとなった際に、メータ画像の形態を変化させてもよい。ここで、オープニング動作とは、車両のエンジンや電源がＯＮとなる際に行われる車載メータの動作である。エンディング動作とは、車両のエンジンや電源がＯＦＦとなる際に行われる車載メータの動作である。

さらに、車載メータがピークホールド機能を有する場合、制御部２０は、ピークホールド機能を有するメータ画像を表示してもよい。この場合、制御部２０は、ピークホールド機能が有効となっているか否かを示すインジケータの形態が車載メータと類似するメータ画像を表示してもよい。さらに、制御部２０は、ピークホールド機能を有効とするための操作スイッチに類似する形態を有するスイッチ画像をメータ画像とともに表示し、スイッチ画像が操作された場合に、メータ画像におけるピークホールド機能を有効化してもよい。

さらに、制御部２０は、車載メータとレッドゾーンの範囲が類似するアナログ方式のメータ画像を表示してもよい。また、車載メータに警告ランプ等の各種インジケータが組み込まれている場合に、制御部２０は、各種インジケータの形態が類似するメータ画像を表示してもよい。

また、インストルパネルにおける複数の車載メータやレイアウトに類似するように、複数のメータ画像をレイアウトしてもよい。例えば、三連の車載メータが備えられる場合に、制御部２０は、三連の車載メータの重なりの態様を認識し、当該重なりの態様を再現するように３個のメータ画像をレイアウトしてもよい。

さらに、制御部２０は、複数のメータ画像をレイアウトする際に、重要な種類の状態値を示すメータ画像であるほど運転席に近い位置にレイアウトしてもよい。この場合、制御部２０は、撮像画像の画像認識処理によって運転席の位置（右側または左側）を認識してもよい。また、制御部２０は、タッチパネルディスプレイ４２の表示面に対してメータが傾斜しているように見えるようにメータ画像を表示してもよい。例えば、タッチパネルディスプレイ４２が運転席に対して正面を向くように備えられている場合において、メータが運転席に対して正面を向いているのではなく、まっすぐに車両後方を向いているように見えるようにメータ画像を表示してもよい。具体的に、制御部２０は、メータ画像を歪ませたり、陰影を付与したりすることにより、メータが傾斜しているように見えるメータ画像を生成してもよい。

また、アナログ方式の車載メータとメータ画像とで、目盛角度範囲と目盛数が同じとなるものを例示したが、制御部２０は、隣接する目盛が示す数値の差が同じとなるメータ画像を表示してもよい。また、目盛は、必ずしも数値が伴って表示されるものでなくてもよく、数値が伴って表示された目盛の間に表示される補助目盛についての形態パラメータが車載メータとメータ画像とで同じとなるように構成されてもよい。

本発明において、表示システムは、車両に搭載された車載器であってもよいし、車両内に持ち込まれた携帯端末であってもよい。車載ＵＩとは、車両または車載装置が備える視覚可能なＵＩであればよく、乗員の操作を受け付ける入力部と乗員に情報を提供する出力部の少なくとも一方であればよい。すなわち、車載ＵＩは、乗員が車両に対して何らかの操作を行う際に視認する箇所であってもよいし、乗員が車両に関する何らかの情報を得る際に視認する箇所であってもよい。

撮像画像は、車載ＵＩを撮像した画像であり、表示システムが取得可能な画像であればよい。例えば、表示システムは、外部のカメラから通信を介して撮像画像を取得してもよく、必ずしもカメラを備えていなくてもよい。さらに、車載ＵＩを撮像することには、車載ＵＩをカメラで撮像することだけでなく、ディスプレイに車載ＵＩを表示する場合に当該ディスプレイの表示画像をキャプチャすることも含まれる。撮像画像は、車両に備えられたカメラによって撮像された画像であってもよいし、汎用のカメラや携帯端末に内蔵されたカメラによって撮像された画像であってもよい。撮像画像は、車両の内部から撮像された画像であることが望ましいが、車両の外部から撮像された画像であってもよい。

車載ＵＩの形態とは、車載ＵＩの形状と模様と色彩のうちの少なくとも一つであればよく、車載ＵＩの形状と模様と色彩のうちの少なくとも一つの経時的な変化態様であってもよい。すなわち、車載ＵＩが動的な要素を含む場合、形態認識部は車載ＵＩの動的変化を認識してもよい。車載ＵＩの動的変化を認識可能な撮像画像は、複数の時刻において撮像された画像であってもよいし、動画であってもよい。さらに、車載ＵＩが複数のＵＩの組み合わせである場合、形態認識部は複数のＵＩの組み合わせ態様（レイアウト，個数等）を認識してもよい。

撮像画像は車載ＵＩの形態に類似する形態を有すればよく、撮像画像と車載ＵＩとの間で形状と模様と色彩のうちの少なくとも一つが、同一または類似となっていてもよい。ディスプレイは、任意の画像を表示可能なディスプレイであればよく、ディスプレイの設置箇所は乗員が視認可能な範囲内のどこであってもよい。例えば、ディスプレイは、車載ＵＩと同時に視認可能な範囲内に配置されてもよいし、車載ＵＩと同時に視認可能な範囲外に配置されてもよい。

ここで、車載ＵＩは車両の状態値を示す車載メータであり、表示制御部は、車載メータに類似する形態を有するメータ画像をディスプレイに表示させてもよい。これにより、撮像画像に基づいて、見慣れた車載メータと形態が類似するメータ画像を表示することができる。従って、数値を読み取りやすいメータ画像を容易に表示できる。車載メータが示す数値の種類は特に限定されず、車両の運動状態を示す数値であってもよいし、操作状態を示す数値であってもよいし、車内や車外の環境を示す数値であってもよいし

また、表示制御部は、車載メータと異なる種類の車両の状態値を示すメータ画像をディスプレイに表示させてもよい。これにより、車載メータとメータ画像とが同じ種類の車両の状態値を重複して表示することを回避できる。すなわち、車載メータとメータ画像とで異なる種類の車両の状態値を示すことができ、多種の情報を表示できる。

さらに、車載メータとメータ画像とでアナログ／デジタルの表示方式が同じとなってもよい。この構成においては、車載メータとメータ画像とでアナログ／デジタルの表示方式が同じとなるため、車載メータとメータ画像の双方を読み取りやすくすることができる。すなわち、ユーザは、車載メータを読み取る場合とメータ画像を読み取る場合とで、意識の中で読み取り方式を切り替えなくても済む。

さらに、車載メータとメータ画像とで、アナログ針の可動角度範囲が同じとなってもよい。この構成においては、車載メータとメータ画像との間でアナログ針の動きに注目すべき範囲が同じとなるため、車載メータとメータ画像の双方を読み取りやすくすることができる。すなわち、ユーザは、車載メータを読み取る場合と、メータ画像を読み取る場合とで、アナログ針の動きに注目すべき範囲を切り替えなくても済む。

また、表示制御部は、昼間の車載メータの形態に類似するメータ画像と、夜間の車載メータの形態に類似するメータ画像と、を切り替えて表示してもよい。これにより、車載メータの形態が昼間と夜間とで異なる場合でも、時間帯に拘わらず車載メータと類似するメータ画像を表示することができる。

さらに、車載ＵＩは、車両に関する操作を受け付ける車載スイッチであり、表示制御部は、車載スイッチの形態に類似するスイッチ画像をタッチパネルディスプレイに表示させ、タッチパネルディスプレイにおけるスイッチ画像に対する操作を受け付けてもよい。これにより、撮像画像に基づいて、見慣れた車載スイッチと形態が類似するスイッチ画像を表示することができ、操作しやすいスイッチ画像を容易に表示できる。

さらに、表示制御部は、車載スイッチと異なる種類の操作を受け付けるためのスイッチ画像をタッチパネルディスプレイに表示させてもよい。これにより、車載スイッチとスイッチ画像とが同じ種類の操作を受け付けることを回避できる。すなわち、車載スイッチとスイッチ画像とで異なる種類の操作を受け付けることができ、多種の操作を受け付けることができる。

さらに、本発明のように、車載ＵＩと類似するＵＩ画像を表示する手法は、プログラムや方法としても適用可能である。また、以上のようなシステム、プログラム、方法は、単独の装置として実現される場合もあれば、車両に備えられる各部と共有の部品を利用して実現される場合もあり、各種の態様を含むものである。例えば、以上のような装置を備えたナビゲーションシステム、ナビゲーションシステムや方法、プログラムを提供することが可能である。また、一部がソフトウェアであり一部がハードウェアであったりするなど、適宜、変更可能である。さらに、装置を制御するプログラムの記録媒体としても発明は成立する。むろん、そのソフトウェアの記録媒体は、磁気記録媒体であってもよいし半導体メモリであってもよいし、今後開発されるいかなる記録媒体においても全く同様に考えることができる。

１０…表示システム、２０…制御部、２１…表示プログラム、２１ａ…撮像画像取得モジュール、２１ｂ…形態認識モジュール、２１ｃ…表示制御モジュール、３０…記録媒体、３０ａ…状態値テーブル、３０ｂ…形態パラメータテーブル、３０ｃ…要素画像ＤＢ、４０…車内カメラ、４１…ＥＣＵ、４２…タッチパネルディスプレイ

Claims (9)

1. 車両が備えるＵＩ（user-interface）である車載ＵＩを撮像した撮像画像を取得する撮像画像取得部と、
   前記撮像画像に基づいて前記車載ＵＩの形態を認識する形態認識部と、
   前記車載ＵＩの形態に類似する形態を有するＵＩ画像をディスプレイに表示させる表示制御部と、
   を備える表示システム。
2. 前記車載ＵＩは前記車両の状態値を示す車載メータであり、
   前記表示制御部は、前記車載メータに類似する形態を有するメータ画像をディスプレイに表示させる、
   請求項１に記載の表示システム。
3. 前記表示制御部は、前記車載メータと異なる種類の前記車両の状態値を示す前記メータ画像をディスプレイに表示させる、
   請求項２に記載の表示システム。
4. 前記車載メータと前記メータ画像とでアナログ／デジタルの表示方式が同じとなる、
   請求項２または請求項３のいずれかに記載の表示システム。
5. 前記車載メータと前記メータ画像とで、アナログ針の可動角度範囲が同じとなる、
   請求項２から請求項４のいずれか一項に記載の表示システム。
6. 前記表示制御部は、昼間の前記車載メータの形態に類似する前記メータ画像と、夜間の前記車載メータの形態に類似する前記メータ画像と、を切り替えて表示する、
   請求項２から請求項５のいずれか一項に記載の表示システム。
7. 前記車載ＵＩは、前記車両に関する操作を受け付ける車載スイッチであり、
   前記表示制御部は、前記車載スイッチの形態に類似するスイッチ画像をタッチパネルディスプレイに表示させ、
   前記タッチパネルディスプレイにおける前記スイッチ画像に対する操作を受け付ける、
   請求項１に記載の表示システム。
8. 前記表示制御部は、前記車載スイッチと異なる種類の操作を受け付けるための前記スイッチ画像を前記タッチパネルディスプレイに表示させる、
   請求項７に記載の表示システム。
9. コンピュータを、
   車両が備えるＵＩ（user-interface）である車載ＵＩを撮像した撮像画像を取得する撮像画像取得部、
   前記撮像画像に基づいて前記車載ＵＩの形態を認識する形態認識部、
   前記車載ＵＩの形態に類似する形態を有するＵＩ画像をディスプレイに表示させる表示制御部、
   として機能させる表示プログラム。

Images