JP2015161632A - 画像表示システム、ヘッドアップディスプレイ装置、画像表示方法、及び、プログラム - Google Patents

Abstract

【課題】予め車両に搭載されたナビゲーション装置からの情報を、情報の変換処理をせずにそのまま表示することが可能なヘッドアップディスプレイを容易に後付けする技術を提供する。【解決手段】携帯装置４が、ナビゲーション装置３の経路案内の音声を取得し、案内音声の認識結果に基づき案内画像を生成して表示装置５に送信し、表示装置５が案内画像をヘッドアップディスプレイ５５に表示する。ナビゲーション装置３と表示装置５とを接続せずとも、ナビゲーション装置３の案内画像をヘッドアップディスプレイ５５に表示できるので、ナビゲーション装置３が予め搭載されている車両２に、ヘッドアップディスプレイ５５を備える表示装置５を容易に後付けできる。【選択図】図１

Description

本発明は、車両に用いる表示装置の技術に関する。

従来より、車両を運転するユーザに対し、前方を視認したまま情報を提示するヘッドアップディスプレイが知られている。ヘッドアップディスプレイは、車両に搭載されたナビゲーション装置の情報が入力され、ユーザに様々な運転支援情報を提示する。例えば、特許文献１の車両用ヘッドアップディスプレイは、ユーザに車両の位置や速度、交通情報を提示する。このようなヘッドアップディスプレイは、安全運転に資するため、さらなる普及が望まれる。

特開２００６−２２０４４７号公報

しかし、ナビゲーション装置によっては、外部機器との接続を想定しておらず、必ずしも情報の出力端子を備えない。この場合、そもそもナビゲーション装置の情報をヘッドアップディスプレイに入力できない。

また、ヘッドアップディスプレイは、ユーザの視界付近に設置されるため、サイズが限定され、多くの情報を同時表示できない。したがって、ナビゲーション装置の情報をそのままヘッドアップディスプレイに表示できず、情報の変換処理を要する場合があった。

このように、ナビゲーション装置が予め搭載された車両に対し、ヘッドアップディスプレイを後付けすることは容易でなく、安全運転に資するヘッドアップディスプレイの普及を妨げる要因となっていた。

本発明は、かかる課題に鑑み、ナビゲーション装置が予め搭載された車両であっても、ヘッドアップディスプレイを容易に後付けする技術の提供を目的とする。

上記課題を解決するため、請求項１の発明は、車両において用いられる画像表示システムであって、ナビゲーション装置が生成した経路案内に関する案内音声を取得する音声取得手段と、前記案内音声を認識する認識手段と、前記案内音声の認識結果に基づき前記経路案内に関する案内画像を生成する生成手段と、前記案内画像を表示するヘッドアップディスプレイと、を備える。

また、請求項２の発明は、請求項１に記載の画像表示システムにおいて、前記案内音声を定型音声として予め記憶する記憶手段、をさらに備え、前記音声取得手段は、マイクロフォンであり、前記認識手段は、前記定形音声に基づき前記案内音声と他の音声とを識別しつつ、前記案内音声を認識する。

また、請求項３の発明は、請求項１ないし２のいずれかに記載の画像表示システムにおいて、前記車両の走行距離を取得する距離取得手段、をさらに備え、前記生成手段は、前記案内音声の認識結果が示す前記車両の現在地から前記経路案内を行う地点までの距離に基づき前記距離を含む前記案内画像を生成した後、前記走行距離に応じて前記距離を漸減した前記案内画像を時間的に連続して生成する。

また、請求項４の発明は、請求項１ないし３のいずれかに記載の画像表示システムにおいて、前記車両の外部の照度を取得する照度取得手段と、前記照度に基づき前記ヘッドアップディスプレイが表示する前記案内画像の輝度を調整する輝度調整手段と、をさらに備える。

また、請求項５の発明は、請求項１ないし４のいずれかに記載の画像表示システムにおいて、ユーザの眼の位置を取得する位置取得手段と、前記ユーザの眼の位置に基づき前記ヘッドアップディスプレイの位置を調整する位置調整手段と、をさらに備える。

また、請求項６の発明は、車両において用いられるヘッドアップディスプレイ装置であって、ナビゲーション装置が生成した経路案内に関する案内音声を取得する音声取得手段と、前記案内音声の内容を認識する認識手段と、前記案内音声の認識結果に基づき前記経路案内に関する案内画像を生成する生成手段と、前記案内画像を表示する表示手段と、を備える。

また、請求項７の発明は、車両において用いられる画像表示方法であって、（ａ）ナビゲーション装置が生成した経路案内に関する案内音声を取得する工程と、（ｂ）前記案内音声を認識する工程と、（ｃ）前記案内音声の認識結果に基づき前記経路案内に関する案内画像を生成する工程と、（ｄ）前記案内画像をヘッドアップディスプレイで表示する工程と、を備える。

また、請求項８の発明は、車両において用いられるコンピュータによって実行可能なプログラムであって、前記コンピュータに、（ａ）ナビゲーション装置が生成した経路案内に関する案内音声を取得する工程と、（ｂ）前記案内音声を認識する工程と、（ｃ）前記案内音声の認識結果に基づき前記経路案内に関する案内画像を生成する工程と、（ｄ）前記案内画像をヘッドアップディスプレイに出力して表示させる工程と、を実行させる。

請求項１ないし８の発明によれば、ナビゲーション装置が生成した経路案内に関する音声を取得し、取得した音声の内容を示す画像をヘッドアップディスプレイに表示するため、ナビゲーション装置が予め車両に搭載されていても、車両に対してヘッドアップディスプレイを後付けできる。

また、特に請求項２の発明によれば、マイクロフォンで経路案内に関する音声を取得し、案内音声と他の音声とを識別するので、車両に搭載されたナビゲーション装置の経路案内に関する音声の内容を示す画像をヘッドアップディスプレイに表示できる。これにより、ナビゲーション装置とヘッドアップディスプレイとを直接接続する必要がなく、車両に対してヘッドアップディスプレイを容易に後付けできる。

また、特に請求項３の発明によれば、経路案内を行う地点までの距離を示した後、走行距離に基づき表示した距離を漸減するので、ユーザは車両の現在地から経路案内を行う地点までの距離を詳細に把握することができる。

また、特に請求項４の発明によれば、車両の外部の照度に基づきヘッドアップディスプレイが表示する案内画像の輝度を調整するので、適切な輝度でヘッドアップディスプレイに画像を表示することができる。

また、特に請求項５の発明によれば、ユーザの眼の位置に基づき表示手段の位置を調整するので、適切な位置にヘッドアップディスプレイを設置することができる。

図１は、第１の実施の形態の画像表示システムの概要を示す図である。 図２は、第１の実施の形態の画像表示システムの構成を示す図である。 図３は、画像パターンデータの例を示す図である。 図４は、音声パターンデータの例を示す図である。 図５は、ヘッドアップディスプレイに表示される画像の例を示す図である。 図６は、第１の実施の形態の画像表示システムの処理手順を示す図である。 図７は、第１の実施の形態の画像表示システムの処理手順を示す図である。 図８は、第１の実施の形態の画像表示システムの処理手順を示す図である。 図９は、画像表示システムの変形例を示す図である。 図１０は、画像パターンデータの他の例を示す図である。

以下、図面を参照しつつ本発明の実施の形態について説明する。

＜１．第１の実施の形態＞
＜１−１．概要＞
図１は、本発明の実施の形態に係る画像表示システム１の概要を示す。画像表示システム１は、車両２に備えたナビゲーション装置３、マイク４３を備えた携帯装置４、及びヘッドアップディスプレイ５５を備えた表示装置５を含んで構成される。

表示装置５は、車両２の運転席正面付近に設置され、ナビゲーション装置３の経路案内にかかる画像をヘッドアップディスプレイ５５に表示し、ユーザへ運転支援を行う。表示装置５は、ユーザがセンターコンソールに据えられたナビゲーション装置３を参照する場合に比較し、ユーザの視線移動が少なく、安全な運転に資する。

しかし、既にナビゲーション装置３が設置された車両２に表示装置５を後付けするのは困難な場合があった。ナビゲーション装置３は、必ずしも経路案内画像を出力する端子を備えないためである。ナビゲーション装置３に画像の出力端子がない場合、ナビゲーション装置３と表示装置５とを接続できず、表示装置５に画像を入力できない。また、ナビゲーション装置３に画像の出力端子があっても、ヘッドアップディスプレイ５５の大きさや表示能力がナビゲーション装置３と異なるため、ヘッドアップディスプレイ５５に合わせた画像の変換処理が必要となる。しかし、このような変換処理は、既に設置されたナビゲーション装置３毎に個々に行わなければならず、必ずしも容易ではい。

そこで、画像表示システム１は、携帯装置４がナビゲーション装置３の生成した経路案内に関する案内音声を取得し、かかる案内音声の認識結果に基づき経路案内に対応する案内画像を生成する。そして、表示装置５が、携帯装置４により生成された案内画像をヘッドアップディスプレイ５５に表示する。これにより、ナビゲーション装置３と表示装置５とを接続せずとも、またナビゲーション装置３の画像を変換処理せずとも、ナビゲーション装置３の経路案内に対応した画像をヘッドアップディスプレイ５５に表示できる。このため、ナビゲーション装置３が予め搭載されている車両２に対し、ヘッドアップディスプレイ５５を備える表示装置５を容易に後付けできる。

＜１−２．構成＞
画像表示システム１の構成について説明する。図２は、画像表示システム１の構成を示す。画像表示システム１は、車両２内に持ち込まれた携帯装置４、表示装置５を備える。

携帯装置４は、スマートフォンや携帯電話等の携帯型電子機器である。携帯装置４は、制御部４１、送信部４２、マイク４３、入出力部４４、及び記憶部４５を備える。

制御部４１は、ＣＰＵ、ＲＡＭ、及びＲＯＭを備えたマイクロコンピュータである。制御部４１は、携帯装置４が備える他の構成と接続され、装置全体を制御する。なお、制御部４１の備える機能については、後述する。

送信部４２は、表示装置５へデータを無線で送信する送信装置である。送信部４２は、小電力の無線通信機能を利用し、近距離に所在する表示装置５と情報通信を行う。通信機能は、例えば、Ｗｉ−Ｆｉ（Wireless Fidelity）（登録商標）等の無線ＬＡＮ技術やブルートゥース（Bluetooth）（登録商標）等の近距離無線通信規格が用いられる。

マイク４３は、ナビゲーション装置３の発する音声を集音するマイクロフォンである。マイク４３は、集音して得られた音声情報を入出力部４４を介して制御部４１に送信する。道路上の騒音等を不必要に集音しないように感度設計された、単一指向性のマイクロフォンが望ましい。

入出力部４４は、入力されたデータにＡ／Ｄ変換を行い、制御部４１へ出力する。

記憶部４５は、データを記憶する記憶媒体である。例えば、ＥＥＰＲＯＭ（Electrical Erasable Programmable Read-Only memory）や、フラッシュメモリ、磁気ディスクを備えたハードディスクドライブ等の不揮発性メモリである。記憶部４５は、画像パターンデータ４５ａ、音声パターンデータ４５ｂ、輝度データ４５ｃ、位置データ４５ｄ、及びプログラム４５ｅを記憶している。

画像パターンデータ４５ａは、ヘッドアップディスプレイ５５に表示する画像データであり、経路案内に関する案内画像である。ナビゲーション装置３が経路案内で発する全ての音声のキーワードが、画像データとして登録されている。キーワードは、案内地点までの残り距離、案内する方向、案内地点である。

図３は、画像パターンデータ４５ａの例を示す。画像パターンデータ４５ａには、案内地点までの残り距離を示す距離画像ｇｄ、案内方向を矢印で示す方向画像ｄｔ、案内地点を示す地点画像ｌｍ、が各々複数登録されている。距離画像ｇｄは、「あと５ｋｍ」や「あと３００ｍ」等の数字を含む画像である。方向画像ｄｔは、屈曲した矢印や、Ｕ字型の矢印等の矢印画像である。地点画像ｌｍは、「コンビニ」や「ガソリンスタンド」等の文字画像である。

図２を参照し、音声パターンデータ４５ｂについて説明する。音声パターンデータ４５ｂは、ナビゲーション装置３が経路案内で発する全ての音声のキーワードが、信号波形と対応付けられ、定型音声として登録されている。キーワードは、例えばナビゲーション装置３が発する音声が「３００ｍ先、右方向です。コンビニが目印です。」である場合、「３００ｍ先」、「右方向」、「コンビニ」である。このように、ナビゲーション装置３が発する音声のキーワードは、経路案内においてユーザに伝達すべき主要な単語である。

図４は、音声パターンデータ４５ｂの例を示す。音声パターンデータ４５ｂにおいて、ナビゲーション装置３が発する音声のキーワードｋｗとその信号波形ｓｗとが対応付けられている。ナビゲーション装置３が発する全ての音声のキーワードｋｗとその信号波形ｓｗとが音声パターンデータ４５ｂに登録される。ただし、一般的に、ナビゲーション装置３の機種やメーカ名により、経路案内の音声内容は異なる。このため、車両２に設置されたナビゲーション装置３の発する音声のキーワードｋｗとその信号波形ｓｗとを予め記憶部４５に記憶させておく。

図２を参照し、輝度データ４５ｃについて説明する。輝度データ４５ｃは、車両２周辺の照度とヘッドアップディスプレイ５５の輝度とを対応付けたデータテーブルである。輝度データ４５ｃを用いることで、車両２周辺の照度に基づいて、ユーザが最も見やすいヘッドアップディスプレイ５５の輝度を導出できる。

位置データ４５ｄは、ユーザの眼の位置（例えば、眼の高さ及びヘッドアップディスプレイ５５からの距離）とヘッドアップディスプレイ５５の位置（例えば、表示面のユーザに対する角度）とを対応付けたデータテーブルである。位置データ４５ｄを用いることで、ユーザの眼の位置に基づいて、ユーザが最も見やすいヘッドアップディスプレイ５５の位置を導出できる。

プログラム４５ｅは、制御部４１により読み出され、制御部４１が表示装置５を制御するために実行されるファームウェアである。

前述の制御部４１の備える機能について説明する。制御部４１は、音声取得部４１ａ、音声認識部４１ｂ、画像生成部４１ｃ、画像送信部４１ｄ、車速取得部４１ｅ、輝度設定部４１ｆ、及び位置設定部４１ｇを備える。

音声取得部４１ａは、マイク４３が集音した車両２内の音声を取得する。なお、音声取得部４１ａ或いはマイク４３、又は音声取得部４１ａ及びマイク４３は、ナビゲーション装置３が生成した案内音声を取得する音声取得手段として機能する。

音声認識部４１ｂは、音声取得部４１ａが取得した音声の信号波形を、音声パターンデータ４５ｂと対比して他の音声と識別し、案内音声の内容を認識する。なお、音声認識部４１ｂは、ナビゲーション装置３の案内音声を認識する認識手段として機能する。

画像生成部４１ｃは、画像パターンデータ４５ａから画像を読み出し、ヘッドアップディスプレイ５５に表示する経路案内に関する画像を生成する。なお、画像生成部４１ｃは、経路案内に関する案内画像を生成する生成手段として機能する。

画像送信部４１ｄは、画像生成部４１ｃが生成した画像を送信部４２を介して表示装置５へ送信する。

車速取得部４１ｅは、後述の車速センサ６から送信される車速データを入出力部４４を介して取得する。車速取得部４１ｅは、車速データを取得すると、車両２の速度を算出する。

輝度設定部４１ｆは、後述の照度センサ７から送信される照度データを入出力部４４を介して取得する。輝度設定部４１ｆは、取得した照度データと、記憶部４５の記憶している輝度データ４５ｃとに基づき、ヘッドアップディスプレイ５５の輝度を決定する。輝度設定部４１ｆは、決定したヘッドアップディスプレイ５５の輝度を輝度情報として表示装置５へ送信する。輝度情報は、ヘッドアップディスプレイ５５の明るさを示すデータである。輝度設定部４１ｆは、ヘッドアップディスプレイ５５の周辺の照度が高い（すなわち、明るい）と、ヘッドアップディスプレイ５５の輝度が高くなるような輝度情報を送信する。また、ヘッドアップディスプレイ５５の周辺の照度が低い（すなわち、暗い）と、ヘッドアップディスプレイ５５の輝度が低くなるような輝度情報を送信する。これによりユーザは、周囲の明暗に関わらず、常に見やすい輝度でヘッドアップディスプレイ５５を参照できる。なお、輝度設定部４１ｆは、輝度調整手段として機能する。

位置設定部４１ｇは、後述の車室内カメラ８から送信される車室内画像データを入出力部４４を介して取得する。位置設定部４１ｇは、車室内画像データに含まれるユーザの顔に該当する画像から、既存の顔認識アルゴリズムを用いてユーザの眼の位置（例えば、眼の高さ及びヘッドアップディスプレイ５５からの距離）を検出する。顔認識アルゴリズムは、顔の造作における眼や鼻やほお骨やあごの形を特徴として利用し、顔画像から目立つ特徴を抽出することで顔の各部を識別するアルゴリズムである。このような特徴を抽出し、一致する特徴のある画像を検索することで、ユーザの眼の位置を検出する。顔認識アルゴリズムの例としては、線形判別分析、弾性バンチグラフマッチング、隠れマルコフモデル等がある。位置設定部４１ｇは、取得したユーザの眼の位置と、記憶部４５に記憶している位置データとに基づいて、ヘッドアップディスプレイ５５の位置（例えば、表示面のユーザに対する角度）を位置情報として表示装置５に送信する。位置情報は、例えば、ヘッドアップディスプレイ５５の仰俯角を示す角度データである。これによりユーザは、自らの眼の位置に関わらず、常に見やすい位置でヘッドアップディスプレイ５５を参照できる。なお、位置設定部４１ｇは、位置調整手段として機能する。

表示装置５の構成について説明する。表示装置５は、ヘッドアップディスプレイ５５を備え、運転席の正面付近に設置される。表示装置５は、ナビゲーション装置３から取得した地図や経路案内情報をヘッドアップディスプレイ５５に表示し、ユーザへの運転支援を行う。表示装置５はユーザの正面付近に設置されるため、ユーザがセンターコンソールに据えられるナビゲーション装置３を参照する場合に比較し、ユーザの視線移動が少なく、安全運転に資する。表示装置５は、制御部５１、受信部５２、ＶＲＡＭ５３、ドライバ５４、ヘッドアップディスプレイ５５、及び駆動部５６を備える。

制御部５１は、ＣＰＵ、ＲＡＭ、及びＲＯＭを備えたマイクロコンピュータである。制御部５１は、表示装置５が備える他の構成と接続され、装置全体を制御する。

受信部５２は、携帯装置４から送信されるデータを無線で受信する受信装置である。受信部５２は、小電力の無線通信機能を利用し、近距離に所在する携帯装置４と情報通信を行う。通信機能は、例えば、Ｗｉ−Ｆｉ（Wireless Fidelity）（登録商標）等の無線ＬＡＮ技術やブルートゥース（Bluetooth）（登録商標）等の近距離無線通信規格が用いられる。

ＶＲＡＭ５３は、ヘッドアップディスプレイ５５に表示する画像を生成する際に、画像データが一時的に記憶されるＶｉｄｅｏ−ＲＡＭである。

ドライバ５４は、画像を示す投影光を投影レンズから照射し、ヘッドアップディスプレイ５５に画像を投影して画像を表示させるデバイスドライバである。画像を投影する技術には、ＤＬＰ（Digital Light Processing）やＬＣＯＳ（Liquid crystal on silicon）等の方式を用いる。

ヘッドアップディスプレイ５５は、透明な光学ガラス素子である。ドライバ５４により投影光が照射され、文字や図形等の画像を表示する。ヘッドアップディスプレイ５５に表示された画像は、ユーザの視界と重なり、無限遠点に結像する。ユーザは外界から画像に視点を切り替える際、焦点を合わせ直す必要がない。このため、ヘッドアップディスプレイ５５を車両２に用いると、運転の安全性を高めることができる。

駆動部５６は、ヘッドアップディスプレイ５５の位置を変動させる駆動機構である。駆動部５６は、モータを備え、モータの回転によりヘッドアップディスプレイ５５の位置を変える。

車両２の備える構成について説明する。車両２は、画像表示システム１の他、ナビゲーション装置３、車速センサ６、照度センサ７、及び車室内カメラ８を備える。

ナビゲーション装置３は、地図画像や経路案内情報等を生成し、ディスプレイに表示する。また、ナビゲーション装置３は、経路案内を行う際、案内の内容を音声で出力する。ナビゲーション装置３は、スピーカ３１を備える。

スピーカ３１は、声や信号音等の音声を出力し、ユーザに音声情報を報知する。スピーカ３１が出力する音声は、例えば、経路案内に関する案内音声である。

車速センサ６は、車両２の車軸の回転数に比例して発生するパルス信号を検出し、車速データとして携帯装置４へ送信するセンサである。なお、車速センサ６或いは車速取得部４１ｅ、又は車速センサ６及び車速取得部４１ｅは、距離取得手段として機能する。

照度センサ７は、車両２周辺、特にヘッドアップディスプレイ５５の背景周辺の照度を検出するセンサである。照度センサ７は、ダッシュボード等に設置され、検出した照度データを携帯装置４へ送信する。照度センサ７或いは輝度設定部４１ｆ、又は照度センサ７及び輝度設定部４１ｆは、照度取得手段として機能する。

車室内カメラ８は、車両２の車室内に設置されるカメラである。車室内カメラ８は、ダッシュボードやインナーパネル等に設置され、ユーザの顔を撮影する。車室内カメラ８は、撮影した画像データを携帯装置４へ送信する。なお、車室内カメラ８或いは位置設定部４１ｇ、又は車室内カメラ８及び位置設定部４１ｇは、位置取得手段として機能する。

なお、車速センサ６、照度センサ７、及び車室内カメラ８は、携帯装置４と接続線で接続されてもよいし、無線で接続されてもよい。

＜１−３．表示画像の例＞
ヘッドアップディスプレイ５５に表示される画像の例について説明する。図５は、ナビゲーション装置３が発した音声が「３００ｍ先、右方向です。コンビニが目印です。」であった場合にヘッドアップディスプレイ５５に表示される画像の例である。

案内方向を示す方向画像ｄｔ、案内地点を示す地点画像ｌｍ、及び案内地点までの距離を示す距離画像ｇｄが、ヘッドアップディスプレイ５５の中心に縦列に表示される。

なお、画像を並べて表示する際、ユーザの運転操作に対してより直接的に関与する順序で上から下へ表示することが望ましい。ヘッドアップディスプレイ５５に画像が縦列に表示された場合、一般的に、ユーザは上から下へ画像を順次読み取るためである。

＜１−４．処理＞
画像表示システム１の処理手順を説明する。図６ないし図８は、画像表示システム１のの処理手順を示す。本処理は、所定周期で繰り返し実行される。なお、図６及び図７において、ヘッドアップディスプレイ５５をＨＵＤと略記する。

図６は、画像表示システム１の主となる処理手順である。まず、輝度設定部４１ｆ及び位置設定部４１ｇが、ヘッドアップディスプレイ５５の輝度及び位置を各々設定する（ステップＳ１０１）。ヘッドアップディスプレイ５５の輝度及び位置を設定する詳細な処理は後述する。

ヘッドアップディスプレイ５５の輝度及び位置を設定する処理が行われると、音声取得部４１ａが、マイク４３が集音した音声を取得したか否か判断する（ステップＳ１０２）。

音声取得部４１ａが、音声を取得していないと判断すると（ステップＳ１０２でＮｏ）、処理は終了する。音声取得部４１ａが音声を取得せず、すなわちナビゲーション装置３からの音声を含めて何ら音声が発生していない場合、もはや案内画像の生成もできないからである。

一方、音声取得部４１ａが音声を取得したと判断すると（ステップＳ１０２でＹｅｓ）、音声認識部４１ｂが、前述の手法により音声の内容を認識する（ステップＳ１０３）。音声の内容を認識する処理の詳細は後述する。

音声認識部４１ｂが音声を認識すると、画像生成部４１ｃが、音声に含まれるキーワードに相当する画像を記憶部４５の画像パターンデータ４５ａから読み出す。読み出される画像パターンデータ４５ａは、案内方向を矢印で示す方向画像ｄｔ、案内地点を示す地点画像ｌｍ、及び案内地点までの距離を示す距離画像ｇｄである。画像生成部４１ｃは、画像を読み出すと、各画像を縦に配列し、ヘッドアップディスプレイ５５の表示用画像を生成する（ステップＳ１０４）。

画像生成部４１ｃが表示用画像を生成すると、画像送信部４１ｄが、表示用画像を送信部４２を介して表示装置５へ送信する（ステップＳ１０５）。

表示装置５の受信部５２が、表示用画像を受信すると、画像データをＶＲＡＭ５３に記憶する。表示装置５の制御部５１は、ドライバ５４を駆動させ、ＶＲＡＭ５３に記憶された画像データをヘッドアップディスプレイ５５に表示する（ステップＳ１０６）。これにより、ユーザは、少ない視線移動で、かつ画像に改めて焦点を合わせ直す必要なく、経路案内画像をヘッドアップディスプレイ５５で視認しつつ、安全に車両２を運転できる。

画像データがヘッドアップディスプレイ５５に表示されると、車速取得部４１ｅが、車両２が案内地点に到達したか否か判断する（ステップＳ１０７）。車速取得部４１ｅは、音声認識部４１ｂが認識した案内地点までの距離と車速センサ６から取得した車速データとに基づき、車両２から案内地点までの距離を算出する。車速取得部４１ｅは、算出した車両２から案内地点までの距離が０となると、車両２が案内地点に到達したと判断する。

車速取得部４１ｅが、車両２が案内地点に到達したと判断すると（ステップＳ１０７でＹｅｓ）、処理は終了する。

一方、車速取得部４１ｅが、車両２が案内地点に到達していないと判断すると（ステップＳ１０７でＮｏ）、車速センサ６から取得した車速データに基づき、車両２の走行距離を算出し、さらに案内地点までの残りの距離を算出する（ステップＳ１０８）。

車速取得部４１ｅが案内地点までの残りの距離を算出すると、画像生成部４１ｃが算出された距離に該当する距離画像ｇｄを画像パターンデータ４５ａから読み出す（ステップＳ１０９）。

画像生成部４１ｃは、距離画像ｇｄを読み出すと、再度、ヘッドアップディスプレイ５５への表示用画像を生成する（ステップＳ１０４）。画像生成部４１ｃが表示用画像を生成すると、前述のステップＳ１０５以下の処理が実行される。これにより、車両２が案内地点に接近するにつれ、残りの距離表示が順次漸減されてヘッドアップディスプレイ５５に表示される。すなわち、画像生成部４１ｃは、案内音声の認識結果が示す車両２の現在地から経路案内を行う案内地点までの距離に基づき、かかる距離を含む距離画像ｇｄを生成した後、走行距離に応じて距離の値を漸減した距離画像ｇｄを時間的に連続して生成する。これにより、ユーザは案内地点までの距離を常時把握しながら運転できる。案内地点までの距離を把握しながら運転すると、ユーザは案内地点を見落とし難く、また案内地点に到達したことを急に発見して急ハンドルや急ブレーキを行うことがない。

次に、ステップＳ１０１における、輝度設定部４１ｆ及び位置設定部４１ｇが、ヘッドアップディスプレイ５５の輝度及び位置を各々設定する処理の詳細について説明する。図７は、ヘッドアップディスプレイ５５の輝度及び位置を設定する処理の詳細を示す。なお、画像表示システム１の起動時に、携帯装置４と表示装置５とで認証処理（いわゆる、ペアリング）を行わせ、かかる認証処理に伴って本処理を実行してもよい。

まず、輝度設定部４１ｆが、照度センサ７から送信される照度データに基づき、車両２周辺の照度を取得する（ステップＳ２０１）。

輝度設定部４１ｆは、照度を取得すると、記憶部４５の輝度データ４５ｃを読み出す（ステップＳ２０２）。輝度設定部４１ｆは、輝度データ４５ｃを読み出すと、輝度データ４５ｃに基づき取得した照度におけるヘッドアップディスプレイ５５の輝度を導出する。

輝度設定部４１ｆは、輝度を導出すると、送信部４２を介して表示装置５へ導出した輝度データを送信する。表示装置５の制御部５１は、輝度データを受信すると、ドライバ５４を駆動し、ヘッドアップディスプレイ５５の輝度を受信した輝度となるよう設定する（ステップＳ２０３）。

次に、位置設定部４１ｇが、車室内カメラ８から送信されるユーザの顔を含む画像を取得する。位置設定部４１ｇは、前述の顔認識アルゴリズムを用い、ユーザの眼の位置を取得する（ステップＳ２０４）。

位置設定部４１ｇは、ユーザの眼の位置を取得すると、記憶部４５の位置データ４５ｄを読み出す（ステップＳ２０５）。位置設定部４１ｇは、位置データ４５ｄを読み出すと、位置データ４５ｄに基づき取得したユーザの眼の位置に対応するヘッドアップディスプレイ５５の位置を導出する。

位置設定部４１ｇは、ヘッドアップディスプレイ５５の位置を導出すると、送信部４２を介して表示装置５へ導出した位置データを送信する。表示装置５の制御部５１は、位置データを受信すると、駆動部５６を駆動し、ヘッドアップディスプレイ５５の位置が受信した位置となるよう設定する（ステップＳ２０６）。

制御部５１がヘッドアップディスプレイ５５の位置を設定すると、処理は図６の処理に戻り、ステップＳ１０２以下を実行する。

次に、ステップＳ１０３における、音声認識部４１ｂがナビゲーション装置３の発した音声を認識する処理の詳細について説明する。図８は、ナビゲーション装置３の音声を認識する処理の詳細を示す。

まず、音声認識部４１ｂが、記憶部４５から音声パターンデータ４５ｂを読み出す（ステップＳ３０１）。

音声認識部４１ｂは、音声取得部４１ａが取得したナビゲーション装置３の音声の信号波形に、音声パターンデータ４５ｂのいずれかの信号波形ｓｗが含まれているか判断する。かかる判断は、ナビゲーション装置３の音声の信号波形と音声パターンデータ４５ｂの信号波形ｓｗとを対比し（ステップＳ３０２）、波形の異同を判断して行う（ステップＳ３０３）。すなわち、音声認識部４１ｂは、音声パターンデータ４５ｂに基づき案内音声と他の音声とを識別しつつ、案内音声を認識する。

音声認識部４１ｂがナビゲーション装置３の発した音声の信号波形と音声パターンデータ４５ｂの信号波形ｓｗとが同じと判断すると（ステップＳ３０３でＹｅｓ）、画像生成部４１ｃは、信号波形ｓｗのキーワードｋｗに対応する画像を画像パターンデータ４５ａから読み出す（ステップＳ３０４）。例えば、キーワードｋｗが「３００ｍ先」であれば、「あと３００ｍ」の文字に該当する距離画像ｇｄを読み出す。キーワードｋｗが「左方向」であれば、「左方向に屈曲した矢印」に該当する方向画像ｄｔを読み出す。キーワードｋｗが「コンビニ」であれば、「コンビニ」の文字に該当する地点画像ｌｍを読み出す。

画像生成部４１ｃが画像を画像パターンデータ４５ａから読み出した場合、及び音声認識部４１ｂがナビゲーション装置３の発した音声の信号波形と音声パターンデータ４５ｂの信号波形ｓｗとが同じでないと判断した場合（ステップＳ３０３でＮｏ）、処理は、図６の処理に戻り、画像生成部４１ｃによるヘッドアップディスプレイ５５に表示させる表示用画像の生成処理に移行する（ステップＳ１０４）。

以上の通り、画像表示システム１において、携帯装置４がナビゲーション装置３の生成した経路案内に関する案内音声を取得し、かかる案内音声の認識結果に基づき経路案内に関する案内画像を生成する。そして、表示装置５が、生成された案内画像をヘッドアップディスプレイ５５に表示する。これにより、ナビゲーション装置３と表示装置５とを接続せずとも、またナビゲーション装置３の画像を変換処理せずとも、ナビゲーション装置３の経路案内に合致した画像をヘッドアップディスプレイ５５に表示できる。このため、ナビゲーション装置３が予め搭載されている車両２に対し、ヘッドアップディスプレイ５５を備える表示装置５を容易に後付けできる。

＜２．変形例＞
以上、本発明の実施の形態について説明した。しかし、本発明は上記実施の形態に限定されることはない。様々な変形が可能である。以下、変形例を説明する。なお、上記及び以下に記載される実施の形態は、適宜組み合わせ可能である。

第１の実施の形態では、携帯装置４と表示装置５とにより画像表示システム１を構成し、画像表示システムにおいて音声を取得し、画像を生成してヘッドアップディスプレイ５５に画像を表示した。本変形例では、表示装置５が画像表示システム１の各機能を備え、表示装置５において音声を取得し、画像を生成してヘッドアップディスプレイ５５に画像を表示する。すなわち、表示装置５が、制御部４１、送信部４２、マイク４３、入出力部４４、記憶部４５を備える。このように本変形例は、第１の実施の形態と同様の構成及び処理を含む。これにより、表示装置５は携帯装置４を介さずとも、ナビゲーション装置３の音声を取得し、ヘッドアップディスプレイ５５に画像を表示できる。

図９は、本変形例にかかる表示装置５の構成を示す。表示装置５は、第１の実施の形態において携帯装置４が備えた機能の一部を備える。表示装置５は、第１の実施の形態における送信部４２及び受信部５２を備えない。携帯装置４と表示装置５とでデータの送受信を行う必要がないからである。表示装置５の制御部４１は、第１の実施の形態において表示装置５が備えたＶＲＡＭ５３、ドライバ５４、及び駆動部５６を制御する。

本変形例にかかる表示装置５の処理手順は、図６ないし図８で示した処理である。第１の実施の形態では、携帯装置４及び表示装置５の各機能が処理を実行したが、本変形例においては表示装置５が各処理を実行する。

これにより、表示装置５は携帯装置４を介さずとも、ナビゲーション装置３の経路案内の音声を取得し、かかる経路案内に該当する画像をヘッドアップディスプレイ５５に表示できる。また、表示装置５は携帯装置４を介さずとも、ヘッドアップディスプレイ５５の輝度及び位置を適切に設定できる。また、ナビゲーション装置３が予め搭載されている車両２に対し、携帯装置４を介さずとも、ヘッドアップディスプレイ５５を備える表示装置５を容易に後付けできる。

他の変形例を説明する。上記実施の形態では、携帯装置４は、マイク４３でナビゲーション装置３の音声を集音していたが、ナビゲーション装置３のオーディオプリアウトから音声を取得してもよい。また、ナビゲーション装置３とスピーカ３１を接続するスピーカラインから音声を取得してもよい。

また、上記実施の形態では、携帯装置４の制御部４１に音声認識部４１ｂを備えていた。しかし、音声認識部４１ｂは、車両２外部に設置された情報センターに備えてもよい。この場合、携帯装置４は、送信部４２を介して音声データと音声認識結果とを情報センターに送受信すればよい。また、画像生成部４１ｃを情報センターに備え、ヘッドアップディスプレイ５５に表示する画像を情報センターで生成してもよい。

また、上記実施の形態では、携帯装置４の制御部４１に画像生成部４１ｃ及び画像パターンデータ４５ａを備えていた。しかし、表示装置５に画像生成部４１ｃ及び画像パターンデータ４５ａを備えてもよい。携帯装置４の音声認識部４１ｂの認識結果により、携帯装置４から表示装置５に対し、画像パターンデータ４５ａに基づく画像の生成と表示を指示してもよい。また、表示装置５は、セグメント方式でヘッドアップディスプレイ５５に文字や画像を表示してもよい。その場合、携帯装置４は、音声認識の結果に基づき、表示装置５に対し、セグメントのオン及びオフを指示すればよい。

また、上記実施の形態では、音声認識部４１ｂは音声パターンデータ４５ｂを用いて経路案内の音声と他の音声との識別を行った。車両２にオーディオ機器が設置されている場合、オーディオ機器から出力されるミュート信号（経路を音声案内する際に、オーディオ音声を一時的に消音する信号）を検出し、オーディオ機器の音声と経路案内の音声とを識別してもよい。また、音声認識部４１ｂは、車両２の左右に設置されたオーディオ機器の各スピーカから出力される音声の相違を認識し、オーディオ機器の音声と経路案内の音声とを識別してもよい。

また、上記実施の形態では、携帯装置４と表示装置５とは送信部４２と受信部５２とが無線でデータの送受信を行っていたが、有線で接続してもよい。その場合、送信部４２と受信部５２とはＵＳＢ（Universal Serial Bus）等で接続すればよい。

また、ヘッドアップディスプレイ５５に車速を表示してもよいし、時刻を表示してもよい。運転操作に資する情報ならば、何を表示してもよい。ただし、数字や記号、簡素な文字情報としなければならない。ヘッドアップディスプレイ５５は、設置される場所や解像度に制約があるため、複雑な情報の表示が困難だからである。また、ヘッドアップディスプレイ５５は、性質上、ユーザに対して迅速かつ簡便な情報提供を目的とする機器だからである。

また、上記実施の形態では、案内地点までの距離を車速データに基づき算出していたが、車両２又は携帯装置４にＧＰＳ（Global Positioning System）等を利用した衛星測位機器を備え、衛星測位機器により案内地点までの距離を算出してもよい。また、衛星測位機器は、表示装置５に備えてもよい。

また、上記実施の形態では、画像パターンデータ４５ａの地点画像ｌｍを文字として説明した。例えば、「銀行」である。しかし、地点画像ｌｍは、必ずしも文字とする必要はない。例えば、「￥」のように記号でもよいし、絵文字（ピクトグラム）でもよい。

図１０は、地点画像ｌｍを記号及び絵文字とした例である。地点画像ｌｍを記号及び絵文字とすると、ユーザは地点画像ｌｍを読解する必要がなく直感的に判別できる。このため、ユーザがヘッドアップディスプレイ５５を参照する時間を極めて短縮できる。これにより、ユーザは前方視界へ多くの注意を集中でき、運転の安全性を向上できる。

また、表示装置５は、車両に設置されると説明したが、車両には自動車のほか二輪車、鉄道、航空機、及び船舶を含む。また、車両には民生用のほか軍事用を含み、自家用のほか業務用を含む。また、表示装置５は、車両のみならず住宅やビル等の建物に設置してもよい。

また、表示装置５は、車両に設置されると説明したが、いわゆるウェアラブルコンピュータの一部であってもよい。この場合、ヘッドアップディスプレイ５５は、眼鏡の透明板部分に映像を表示するヘッドマウントディスプレイでもよいし、ヘルメットのバイザーに映像を表示するヘルメットマウントディスプレイでもよい。

また、車両２周辺の明るさを照度センサ７により検出すると説明したが、車両２に備わるライトスイッチのオン及びオフを検出し、明るさを推定してもよい。また、画像表示システム１に時計を設け、時間で明るさを推定してもよい。

また、車室内カメラ８は車両２の車室内に設置されると説明したが、車両２の車室内に設置されなくともよい。車室内カメラ８は携帯型のカメラでもよい。カメラ付き携帯電話等、カメラ機能が他の機器の一部となっているカメラでもよい。この場合、車室内カメラ８を車両２の車室内に設置する代りに、助手席等に着座する他のユーザが車室内カメラ８を手に持ち、車室内カメラ８の光軸をユーザの顔に向ければよい。また、携帯型のカメラで車両２周辺の照度を検出してもよい。

１ 画像表示システム
２ 車両
３ ナビゲーション装置
４ 携帯装置
５ 表示装置
６ 車速センサ
７ 照度センサ
８ 車室内カメラ

Claims (8)

1. 車両において用いられる画像表示システムであって、
   ナビゲーション装置が生成した経路案内に関する案内音声を取得する音声取得手段と、
   前記案内音声を認識する認識手段と、
   前記案内音声の認識結果に基づき前記経路案内に関する案内画像を生成する生成手段と、
   前記案内画像を表示するヘッドアップディスプレイと、
   を備えることを特徴とする画像表示システム。
2. 請求項１に記載の画像表示システムにおいて、
   前記案内音声を定型音声として予め記憶する記憶手段、
   をさらに備え、
   前記音声取得手段は、マイクロフォンであり、
   前記認識手段は、前記定形音声に基づき前記案内音声と他の音声とを識別しつつ、前記案内音声を認識することを特徴とする画像表示システム。
3. 請求項１ないし２のいずれかに記載の画像表示システムにおいて、
   前記車両の走行距離を取得する距離取得手段、
   をさらに備え、
   前記生成手段は、前記案内音声の認識結果が示す前記車両の現在地から前記経路案内を行う地点までの距離に基づき前記距離を含む前記案内画像を生成した後、前記走行距離に応じて前記距離を漸減した前記案内画像を時間的に連続して生成することを特徴とする画像表示システム。
4. 請求項１ないし３のいずれかに記載の画像表示システムにおいて、
   前記車両の外部の照度を取得する照度取得手段と、
   前記照度に基づき前記ヘッドアップディスプレイが表示する前記案内画像の輝度を調整する輝度調整手段と、
   をさらに備えることを特徴とする画像表示システム。
5. 請求項１ないし４のいずれかに記載の画像表示システムにおいて、
   ユーザの眼の位置を取得する位置取得手段と、
   前記ユーザの眼の位置に基づき前記ヘッドアップディスプレイの位置を調整する位置調整手段と、
   をさらに備えることを特徴とする画像表示システム。
6. 車両において用いられるヘッドアップディスプレイ装置であって、
   外部のナビゲーション装置が生成した経路案内に関する案内音声を取得する音声取得手段と、
   前記案内音声の内容を認識する認識手段と、
   前記案内音声の認識結果に基づき前記経路案内に関する案内画像を生成する生成手段と、
   前記案内画像を表示する表示手段と、
   を備えることを特徴とするヘッドアップディスプレイ装置。
7. 車両において用いられる画像表示方法であって、
   （ａ）ナビゲーション装置が生成した経路案内に関する案内音声を取得する工程と、
   （ｂ）前記案内音声を認識する工程と、
   （ｃ）前記案内音声の認識結果に基づき前記経路案内に関する案内画像を生成する工程と、
   （ｄ）前記案内画像をヘッドアップディスプレイで表示する工程と、
   を備えることを特徴とする画像表示方法。
8. 車両において用いられるコンピュータによって実行可能なプログラムであって、
   前記コンピュータに、
   （ａ）ナビゲーション装置が生成した経路案内に関する案内音声を取得する工程と、
   （ｂ）前記案内音声を認識する工程と、
   （ｃ）前記案内音声の認識結果に基づき前記経路案内に関する案内画像を生成する工程と、
   （ｄ）前記案内画像をヘッドアップディスプレイに出力して表示させる工程と、
   を実行させることを特徴とするプログラム。

Images