JP2017509065A - 異なる言語の翻訳を用いる車両用画像キャプチャーシステム - Google Patents

Abstract

【課題】運転者が複数の異なる地理的領域において道路を使用することを支援する方法またはシステムを提供する。【解決手段】選択された車両言語を有する車両において使用されるシステムであって、前記システムは、車両の外部の画像シーンであって、前記選択された車両言語以外の国言語でのテキストを含む一または複数の情報インジケーターを含む前記画像シーンをキャプチャーする画像キャプチャー手段を備える。非車載型のサーバーに対して前記選択された車両言語を表す車両言語信号を出力する手段と、前記国言語を示す国言語信号を前記非車載型のサーバーに出力する手段とを備える。前記国言語から前記車両言語への翻訳のために、前記テキストを前記非車載型のサーバーに出力する手段と、翻訳されたテキストを示す翻訳されたテキスト出力を前記車載型のサーバーから受け取る手段とを備える。前記翻訳されたテキスト出力を前記車両のユーザーに伝達する手段を備える。別な態様では、前記システムは、国言語から車両言語に前記テキストを翻訳するための車載翻訳装置を備え、相互のやり取りは前記車両上で行われ、前記車両外では行われない。【選択図】図１

Description

本明細書は、車両に用いられるシステム、特に、限定ではないが、異なる言語が話される複数の異なる国々において運転されることを意図された車両に用いられるシステムに関する。本明細書はまた、そのような車両システムを取り入れた車両、および複数の異なる国々において車両の運転を支援する方法に関する。本発明の態様は、システム、方法、および車両に関する。

車両における衛星ナビゲーションシステムは、選択された言語で運転者に音声の指示を与える機能を有しているので、ナビゲーション経路は、ユーザーにより選択されると、容易に理解および追従することができる。しかし、車両が、異なる言語が話される異なる国々または地域を渡って運転される場合、その車両の運転者には、その経路に存在する道路標識やその他の情報表示の言語を理解しないかもしれないという問題がある。例えば、ヨーロッパを横断して運転する時、車両の運転者は、車両の運転者または同乗者にはいずれも馴染みがないかもしないそれぞれ異なる言語を有するいくつかの異なる国々を通って運転しなければならないかもしれない。これは、運転者にとって、運転経験を、ストレスが多いものとする可能性があり、もし重要な道路交通情報が道路脇のサイネージを通して伝えられる場合には、潜在的に危険なものにする可能性がある。運転者が馴染みのない言語で言葉を調べるために辞書を利用できるとしても、この工程は、車両を運転する行動とは両立し得ないので、運転者が翻訳を調べるために旅行を中断することが必要になる。

本発明は、この背景に対するために考えられたものである。本発明の実施形態は、複数の異なる地理的領域における運転者の道路使用を支援する方法またはシステムを提供する。本発明の他の目的と利点は、以下の説明、特許請求の範囲、および図面から明らかになろう。

本発明の態様は、特許請求の範囲に記載したように、システム、方法、および車両に関する。

本発明の一態様によれば、車両のユーザーとシステムとの間でコミュニケーションが実行可能であり、選択された車両言語を有する車両で使用される前記システムを提供し、前記システムは、前記車両の外部の画像シーンであって、前記選択された車両言語以外の国言語のテキストを含む一または複数の情報インジケーターを含む前記画像シーンをキャプチャーする画像キャプチャー手段と、前記選択された車両言語を表す車両言語信号を非車載型サーバーに出力する手段と、前記国言語を表す国言語信号を前記非車載型サーバーに出力する手段と、前記国言語から前記車両言語への翻訳のために前記テキストを前記非車載型サーバーに出力する手段と、前記翻訳されたテキストを表す翻訳されたテキスト出力を前記非車載型サーバーから受け取る手段と、前記翻訳されたテキスト出力を前記車両のユーザーに伝達する手段と、を備える。

他の態様は、車両のユーザーとシステムとの間でコミュニケーションが実行可能であり、選択された車両言語を有する車両において使用される前記システムを提供し、前記システムは、前記車両の外部の画像シーンであって、前記選択された車両言語以外の国言語のテキストを含む一または複数の情報インジケーターを含む前記画像シーンをキャプチャーする画像キャプチャー手段と、前記国言語から前記選択された車両言語へ前記テキストを翻訳し、前記翻訳されたテキストを表す翻訳テキスト出力を生成する手段と、前記車両のユーザーに前記翻訳されたテキスト出力を伝達する手段と、を備える。

本明細書の目的のため、「情報インジケーター」という文言は、数字、アルファベット、またはサイネージ上で典型的に実行される型式の他のシンボル、車両での旅行中に車両のユーザーに意味または指示を伝える電子的または他の表示板、広告板または他の掲示板の形式のいかなる文字についても言及することを意図されたものである。そして、例えば、道路名および番号、方向情報、道路の出口、またはジャンクション番号、距離、道路標識シンボル、および場所の名前の形式の文字を含む。

情報出力は、視覚的に、または聴覚的に、あるいはその両方で前記ユーザーに伝達され得る。伝達手段は、例えばヒューマンマシンインターフェース(ＨＭＩ)を介して前記ユーザーにより好みで選択できるようにしてもよい。

前記システムは、馴染みのない言語であったかもしれない、あるいは前記標識を直接見た時に見逃したかもしれない道路標識情報を見る機能を運転者に与えることにより、カメラシステムを用いて画像データをキャプチャーすることにより、そして、前記画像データから得られたテキストの翻訳を馴染みのある言語で前記運転者に伝えることにより、運転者の道路使用を支援する。

翻訳工程は、車載型コンピューターに必要とされるプロセッサーパワーおよびデータメモリを削減するために、車外または車両コンピューターシステムの外部で実行されるのが有益かもしれない。

この実施形態は、翻訳ソフトウェアは、車両自体に記憶されている必要はなく、非車載型サーバーに記憶されるという利点を提供する。これは、車載型の車両コンピューターの処理要件を削減する。

しかしながら、もし翻訳が車両上で実行される場合には、ワイヤレスの「問題の多い地域」があり、または車両と外部のサーバーシステムとの間の通信が相対的に弱い状況においては、ユーザーはまだ車載型翻訳プロセッサー経由で画像化されたテキストの翻訳を提供され得るので、利点がある。

前記情報インジケーターは、また、前記画像シーンにおけるシンボル、前記シンボルからシンボルの意味を得るシステム構成手段、および前記車両のユーザーに前記シンボルの意味を伝達する手段を含む。

前記情報インジケーターは、前記画像シーンにおける道路標識に含まれ得る。代替案として、または追加案として、情報インジケーターは、前記画像シーンにおける広告板に含まれ得る。

前記システムは、車両の地理的位置を決定する位置表示手段を備え、前記国言語信号を出力する手段は、前記位置表示手段から前記国言語信号を得る。

画像処理手段は、複数の情報出力を生成する手段を備えていてもよく、前記情報出力のそれぞれは、テキストおよび／または前記画像シーンの異なる領域におけるシンボルを表す。このように、ユーザーは、道路標識の異なる領域に関連する、または道路脇に沿った連続する道路標識に関連する複数の情報を提示されるオプションを有していてもよい。

この実施形態では、システムは、情報が必要になる前記画像シーンの領域のユーザーによる選択を可能とするユーザー選択手段を備えていることが有益である。

他の実施形態では、前記複数の情報出力は、前記車両が前記画像シーンにおいて、対応する異なる領域を通過する順序でユーザーに伝えられてもよい。

一つの実施形態では、伝達手段は、前記画像シーンにおける前記情報インジケーターの位置に依存した方法で前記情報出力を前記車両のユーザーに伝えるように構成されていてもよい。

前記システムは、前記車両の異なる位置のそれぞれに複数のスピーカーを有するオーディオシステムを含んでもよい。もし、複数の情報出力が生成された場合には、前記情報出力のそれぞれは、前記車両における前記スピーカーの位置および前記画像シーンにおける前記情報インジケーターの位置に従って前記スピーカーのうちの一つを通して伝達されてもよい。これは、前記画像シーンにおける特に便利な前記情報の位置に依存した提示を、前記情報を得るためにそれらの側において必要とされる最小の努力で、運転者に与える。特に、運転者は、前記運転者に対する、前記画像シーンにおける対応する前記情報インジケーターの相対的な位置に依存して、前記情報出力が伝えられたかどうかを、特に明確な方法でアドバイスされる。

前記伝達手段は、オーディオシステムおよび／または視覚ディスプレイ画面を含んでもよい。

前記システムは、前記伝達手段として、ユーザーに、前記視覚表示画面または前記オーディオシステムを選択させる手段を備えてもよい。

本発明の他の態様によれば、車両のユーザーとシステムとの間でコミュニケーションを実行可能とする、選択された車両言語を有する車両で使用される方法を提供し、前記方法は、前記車両の外部の画像シーンであって、前記選択された車両言語以外の国言語のテキストを含む一または複数の情報インジケーターを含む前記画像シーンをキャプチャーし、前記選択された車両言語を表す車両言語信号を非車載型サーバーに出力し、前記国言語を表す国言語信号を前記非車載型サーバーに出力し、前記国言語から前記車両言語への翻訳のために前記テキストを前記非車載型サーバーに出力し、翻訳されたテキストを表す前記非車載型サーバーから前記翻訳されたテキストを受け取り、前記車両のユーザーに前記翻訳されたテキストを伝達する。

他の態様によれば、車両のユーザーとシステムとの間でコミュニケーションを実行可能とする選択された車両言語を有する車両で使用される方法を提供し、前記方法は、前記車両の外部の画像シーンであって、前記選択された車両言語以外の国言語のテキストを含む一または複数の情報インジケーターを含む前記画像シーンをキャプチャーし、前記国言語から前記選択された車両言語へ前記テキストを翻訳し、前記翻訳されたテキストを表す翻訳されたテキスト出力を生成し、前記車両のユーザーに前記翻訳されたテキストを伝達する。

他の態様によれば、本発明は、上述した文章のいずれかにおいて述べられたようなシステム備える車両に関する。

本出願の範囲内で、前述の段落、特許請求の範囲、および／または、後述する明細書および図面に記載された、種々の態様、実施形態、実施例、および、代替案、および、特に、それらの個々の特徴は、独立していてもよいし、どのように組み合わされてもよい。つまり、すべての実施形態および／またはいずれかの実施形態の特徴は、そのような特徴が矛盾しなければ、どのような方法および／または組み合わせでも組み合わされ得る。出願人は、出願時の特許請求の範囲に記載されていなくても、いずれかの他の請求項のいずれかの特徴に依存し、および／または前記いずれかの特徴を組み入れるように、いずれかの出願時の請求項を補正する権利を含み、いずれかの出願当初の請求項を変更し、またはいずれかの新しい請求項を適宜に提出する権利を留保する。

本発明の実施形態は、以下の図面を参照して、ほんの例として説明される。
画像シーンをキャプチャーする車両カメラシステムを含む、本発明の第１実施形態による車両システムのブロック図である。 車両がその旅程を移動する時に、図１の車両カメラシステムによりキャプチャーされ得る画像シーンの一例である。 車両がその旅程を移動する時に、図１の車両カメラシステムによりキャプチャーされ得る画像シーンの他の例である。 画像シーンにおいてキャプチャーされ得る道路標識であって、テキストとシンボル情報の両方を含む道路標識の一例である。 車両カメラシステムによりキャプチャーされた画像シーンにおける道路標識から、シンボルとテキスト情報を抽出する方法のステップを示すフローチャートである。 図１に示す本発明の他の実施形態による車両システムのブロック図である。

車両は、様々な車両センサーからのセンサー出力に自動的に応じて、またはユーザー起動のコマンドに応じて、様々な車両のセッティングを制御する車載型車両コンピューターシステム１０を典型的に含む。車両コンピューターシステム１０の構成部分は、車載ラジオおよびテレビシステム（図示せず）のそれぞれを介して音響と映像の車載エンターテインメントサービスを車両のユーザーに提供し得るインフォテインメントシステムである。インフォテインメントシステムは、また、衛星ナビゲーションシステム（図示せず）を含む。

車両は、外部の測位システム（図示せず）との通信を介して現在の車両の位置の表示を確立する衛星利用測位センサー１２の形式の位置表示手段を装備している。衛星利用測位センサー１２は、コンピューターに車両の位置の表示を提供するためにコンピューターシステム１０に出力信号１４を与える。出力信号１４は、また、特に、衛星ナビゲーションシステムへの入力として用いられる。

車載コンピューターシステム１０は、車載のハードウェアであって、購入時において車両の集積部を形成するハードウェア単体で構成することができ、または、一部または全部が、車外で他の目的にも使用される運転者のパーソナル装置（例えば、タブレットまたは携帯電話）のような車載の装置により提供され得る。これを踏まえて、本発明は、車両のユーザーのパーソナル携帯装置において稼働する応用例として実施し得る。

コンピューターシステム１０は、車両が移動する国を表示するために、対応する国表示信号を位置信号から得る。国表示信号は、コンピューターシステム１０に格納されたルックアップテーブルから得てもよい。

もし、コンピューターシステムが部分的または全体的に車両内のユーザーが携帯する携帯装置内に実現される場合には、携帯装置は、国信号を生成するために用いられ得る。携帯装置は、典型的には、車両が移動するローカルエリアネットワークのセルを決定するために、移動体通信事業者と通信する。

車両の言語は、車両の購入時において車両言語セット機能１６を介して設定され、ユーザーがＨＭＩ（ヒューマンマシンインターフェース）とのやり取りを希望する言語に対応している。車両言語信号１８は、車両言語セット機能１６からコンピューターシステム１０に供給される。車両は、また、車両のユーザーに、コンピューターシステム１０への音声コマンドの発行を可能にし、またはワイヤレス接続（例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標））により、コンピューターシステムを介して動作するユーザーの電話との通信を可能にするマイクロフォン２０を含む。

車両は、また、運転者が、インフォテインメントシステムへの入力および衛星ナビゲーションシステムへの入力のような、様々な車両セッティングを入力し、制御することができるようにするヒューマンマシンインターフェース（ＨＭＩ）２２を含む。この目的のため、ＨＭＩは、ユーザー入力インターフェース２４を備えている。ＨＭＩ２２は、また、車両の運転者に対して様々な車両セッティングまたは属性についての情報を表示するための、典型的にはＬＣＤディスプレイ画面２６の形式の表示手段を含む。ＨＭＩは、出力信号２８を介して、車両コンピューターと通信を行う。車両はまた、車両コンピューターからの制御出力信号３２に応答するオーディオシステム３０を含む。

車両の言語は、車両が購入された時に設定され、ユーザーがＨＭＩとコミュニケートしたい言語（例えば、英語、ドイツ語、フランス語）に対応する。言語信号１８は、指示や他の入力のようなやり取りが、後に詳細に説明されるように、ＨＭＩディスプレイ２６および／またはオーディオシステム３０を介して運転者に正しい言語で出力されるように、車両コンピューターシステム１０に入力される。

車両の正面には、車両が旅程を移動する時に画像シーンから画像データをキャプチャーするカメラシステム４０が装備されている。カメラシステム４０は、出力信号４２を介して、コンピューターシステムに画像シーンデータを供給する。コンピューターシステム１０は、カメラシステムによってキャプチャーされた画像データを処理する処理手段を含む。画像データを処理するために、コンピューターシステムは、画像プロセッサー４４、サインシンボルテキスト（ＳＳＴ）識別プロセッサー４６、およびテキストトゥスピーチ（ＴＴＳ）プロセッサー４８を含む。

コンピューターシステム１０は、また、コンピューターシステム１０に供給されるデータが、一時的または恒久的に記憶され得るデータストアまたはメモリ５０を含む。

車載型コンピューターシステムは、ワイヤレス接続５６を介した従来の方法で、インターネットサービスプロバイダー５４を介して、外部サーバー５２と通信を行う。

もし車両が、車両言語信号１８によって表示される、車両の設定された言語とは同じではない言語の国または地域内で運転される場合には、システムは、外国語でテキストを表示する道路標識から画像データをキャプチャーするように、およびテキストの翻訳を画像データにおいて可能とするように動作可能である。システムは、さらに、特に運転者自身の国以外の国内を移動する運転者にとって馴染みがないかもしれない道路標識に表示されたシンボルの解説を可能するように動作可能である。テキストの翻訳とシンボルの解説は、運転者の安全で快適な運転を支援するように伝えられ得る。

図２を参照しつつ、車両が旅程を移動する時に、車両カメラシステム４０によってキャプチャーされるかもしれない画像シーン６０の一例を示す。画像シーン６０は、第１および第２の道路標識６２，６４を含み、第１の道路標識６２は、それぞれテキストを表示する第１および第２標識領域６２ａ，６２ｂからなり、第２の道路標識６４は、テキストの単一の領域からなる。道路標識６２，６４上のテキストは、例えば、地名または旅行者のアトラクション、方向、または移動中の道路の出口に関連するかもしれない。カメラシステム４０は、シーンから画像データをキャプチャーし、画像プロセッサー４４に画像データを出力する。画像プロセッサー４４は、データを処理し、これをＳＳＴプロセッサー４６へ供給する。ＳＳＴプロセッサー４６は、標識が、画像シーンに存在するかどうかを判断する。もし、標識が認識されると、画像の標識要素に関連する画像データは、標識上にシンボルが存在するかどうかを判断するために、シンボル認識ステップで処理される。画像データはまた、標識上にテキストが存在するかどうかを判断するために、テキスト認識ステップで処理される。図２の例では、道路標識６２，６４のいずれにも認識されるシンボルはなく、テキストだけである。

図２に示す道路標識のために、第１道路標識６２の第１および第２標識領域６２ａ，６２ｂ上のテキストが翻訳の目的で画像データから抽出される。データストア５０においては、テキスト表示は、道路標識６２，６４が表示される画像シーンにおける個々の位置に割り当てられる。標識の異なる領域に対する数字の割り当ては、以下の説明で明らかになるように、提示の目的上有益である。

テキスト表示は、車両が移動している国を認識する衛星利用測位センサー１２から得られる、車両の位置に対応する国表示信号（図示せず）と一緒に外部サーバー５２に出力される。国表示信号は、道路標識６２，６４上のテキストの言語の表示を供給する。国表示信号は、ワイヤレス通信を介して、外部サーバー５２に格納されるテキスト翻訳プロセッサーに送信される。コンピューターシステム１０によって受信された車両言語信号１８は、また、ワイヤレス通信を介して、外部サーバー５２に送信される。外部サーバー５２は、それ故、画像シーンにおける道路標識内のテキストに対応するデータ、国表示信号、および車両言語信号を受信する。

外部サーバー５２で受信したテキストは、外部サーバー５２上のテキスト翻訳プロセッサーにより翻訳され、国言語９（国言語信号によって表示される）から車両言語（車両言語信号によって表示される）に変換される。翻訳されたテキストに対応するデータは、ワイヤレス通信を介してコンピューターシステム１０に返信される。翻訳されたテキストに対応するデータは、車載型コンピューターのＴＴＳプロセッサー４８に入力され、オーディオシステム３０と互換性のあるテキスト信号に変換され、オーディオシステムのスピーカーを通して、翻訳されたテキストの運転者に対する音声による提示を可能とする。翻訳されたテキストは、また、翻訳されたテキストが運転者に視覚的に表示され得るように、ＨＭＩディスプレイ２２と互換性のあるテキスト信号に変換される。ＨＭＩディスプレイ２６は、運転者に選択画面を表示して、ユーザー入力手段２４を介して、道路標識情報に関する案内を音声で聞くか、あるいは、情報の視覚的な表示で表すか、もしくは両方で表すかを、運転者が選択できるようにする。

翻訳されたテキストに対応するデータは、必要であれば、後日アクセス可能なように、コンピューターシステム上のデータメモリ５０に記憶される。翻訳されたテキストは、後に詳述するように、必要なテキスト情報を得るためにカメラシステム５０によってキャプチャーされた以前の画像シーンから運転手が選択できるように、画像シーンデータとの組み合わせで記憶される。

翻訳の視覚的な提示のため、道路標識６２，６４におけるテキストの各領域は、データストア５０において、異なる番号表示に割り当てられてもよい。ユーザーは、道路標識６２，６４内のテキストのどの領域に対応するどの数字表示かを示すルックアップテーブルにより、ディスプレイ画面２６上に提示される。例えば、第１道路標識６２の第１領域６２ａは、数字１に割り当てられ、第１道路標識６２の第2領域６２ｂは、数字２に割り当てられ、第２道路標識６４は数字３に割り当てられてもよい。選択画面は、番号１，２，３に対応する３つのテキスト翻訳リストを含み、運転者に、画像内の道路標識と適切な翻訳テキストとを関連付けさせる。

代替案として、または追加案として、運転者は、彼が興味のある標識の特定の領域の選択に応答して、テキスト翻訳の音声による告知を提供されるかもしない。例えば、運転者は、番号１を選択することにより、第１道路標識６２の第１領域６２ａに関連する音声による告知を聞くことを選択するかもしれない。あるいは、番号３を選択することにより、第２道路標識６４に関連する告知を聞くことを選択するかもしれない

上述した実施形態の変形として、運転者は、車両が道路標識６２,６４を通過した順序で、翻訳されたテキストに対応する告知を提示されるかもしれない。この場合には、運転者は、選択を行う必要なしに、テキストが表示された道路標識を通過した時に、単に告知を聞くであろう。

システムは、また、以前に通過した道路標識に関連する情報をデータメモリ５０から運転者が取り出せるように構成されていてもよい。これを行うため、運転者は、以前の道路標識情報を要求するＨＭＩディスプレイ２６上のオプションを選択する。そして、彼は、ユーザー入力手段２４を使用して、テキストの翻訳が必要な以前の道路標識を彼が選択できる一連の以前の画像を提示される。選択した翻訳は、データメモリ５０から取り出され、彼の選択した好みに応じて、運転者に、音声または視覚的に提示される。

他の実施形態においては、システムは、画像シーン７０における道路標識の位置に依存して、運転者に告知を供給するオーディオシステムとの組み合わせで、動作するように構成され得る。図３を参照すると、車両の旅程は、第１、第２、第３の頭上の道路標識７２、７４、７６をそれぞれのレーンに備えた３レーン高速道路または自動車道に沿った移動を含む。

オーディオシステム３０は、車両の異なる位置に配置された複数のスピーカー（図示せず）を含む。典型的には、例えば、オーディオシステム３０は、左手前方スピーカー、左手後方スピーカー、右手前方スピーカー、右手後方スピーカー、およびセンター前方スピーカーを備えていてもよい。上述した通りに、カメラシステム４０は、３つの頭上道路標識７２、７４、７６を含む画像シーン７０をキャプチャーする。道路標識内のテキストに関連するデータは、翻訳のために、車両言語信号および国出力信号と一緒に、外部サーバー５２に出力される。テキストは、外部サーバー５２で翻訳され、翻訳されたテキストに対応するデータがコンピューターシステム１０に返送される。翻訳されたテキストに対応するデータは、ＴＴＳプロセッサー４８に入力され、オーディオシステムと互換性のあるテキスト出力信号に変換され、運転者に対して翻訳されたテキストの音声による提示を可能にする。

道路標識７２、７４、７６のそれぞれに対する位置表示は、データメモリ５０内で、関係付けられたテキストデータに割り当てられ、画像シーン７０内の道路標識の位置を示す。そして、コンピューターシステムは、画像シーン７０内のテキストの位置に依存して、オーディオシステム３０にテキスト信号を出力する。例えば、左手レーン上の道路標識７２のテキスト対応するテキスト出力信号は、左手前方スピーカーに出力され、右手レーン上の道路標識７６のテキストに対応したテキスト出力信号は、右手前方スピーカーに出力される。そして、センターレーン上道路標識７４のテキストに対応するテキスト出力信号は、前方センタースピーカーに出力される。音声出力は、一度に一つのスピーカーを通して、順次引き出される。告知が聞かれるスピーカーは、運手者に対して、テキストが描写される画像シーン７０のどの部分なのか（例えば、左、右、または中央）を運転者に示す。

翻訳されたテキストに対応するデータは、また、画像プロセッサー４４において、ＨＭＩディスプレイ２６と互換性のあるテキスト出力信号に変換される。データメモリにおいては、以前に述べたように、左手道路標識７２に関連するテキストデータが記憶され、番号１が割り当てられ、中央道路標識７４に関連するテキストデータが記憶され、番号２が割り当てられ、左手道路標識７６に関連するテキストデータが記憶され、番号３が割り当てられる。運転者は、番号表示１、２、３と共に、ＨＭＩディスプレイ２６上に画像シーンの視覚的表示を提示される。番号表示のリストは、また、対応するテキスト翻訳と共に、ディスプレイ２６上に提示され、運転者は繰り返しの翻訳が必要な道路標識７２、７４、７６を選択することができる。運転者は、テキスト翻訳の音声による告知を繰り返すことを選択してもよいし、あるいは、テキスト翻訳を視覚的に提示されることを選択してもよい。

本発明の他の実施形態においては、システムは、どのような態様の翻訳をも必要とせず、以前に通過した道路標識のリマインダーとして、視覚的にまたは音声で、道路標識の言語でテキストが運転者に提示されるようにしてもよい。これは、彼が過去に運転した時に、道路標識の内容を読めなかったかまたは完全には理解していない時に有益かもしれない。カメラシステム４０は、前に述べたように画像データをキャプチャーし、コンピューターシステム１０にデータを送信する。もし衛星利用測位センサー１２が、車両が母国を移動中であることを示した場合には、言語の問題はないので、翻訳の目的で外部サーバー５２に送信すべきデータは存在しない。代わりに、データはＴＴＳプロセッサー４８において変換され、オーディオシステム３０に出力されるかもしれないテキスト出力信号が供給される。データは、また、画像プロセッサー４４において変換され、ＨＭＩディスプレイ２６と互換性のあるテキスト出力信号が供給される。運転者は、先に述べたように、テキストのそれぞれの領域に属する番号表示と共に、ＨＭＩディスプレイ２６上に画像シーンを提示され、翻訳が必要なテキストの選択が可能となる。そして、翻訳は、運転者の選択によって、音声としてまたは視覚的に提示される。

図４は、フランスの道路で出会い、画像シーンにキャプチャーされるかもしれない道路標識８０の一例を示す。カメラシステム４０はシーンの画像をキャプチャーし、画像データを処理のためにコンピューターシステム１０に送信する。道路標識８０は、テキスト８４と同様にシンボル８２を含む。前に述べたように、画像データは、ＳＳＴ識別プロセッサー４６によって処理され、画像シーンにおいて道路標識８０が現れたことが識別される。ＳＳＴ識別プロセッサー４６は、また、画像データからシンボル８２に関連するデータを識別し、抜き出す。シンボルは解釈され、シンボルの意味は、運転者に提示されることができる。これは、特に、運転者が、道路標識が彼らには馴染みがない母国以外の国を移動している時に有効である。

図５は、コンピューターシステム１０が、シンボル表示８２とテキスト表示８４との両方を組み入れた道路標識８０からどのように意味を識別するかを詳細に示すフローチャートである。標識識別ステップ９０では、ＳＳＴ識別プロセッサー４６は、道路標識８０が画像シーンに存在することを判断する。ＧＰＳセンサーは、また、道路標識８０の地理的位置に関して、ＨＭＩディスプレイ（またはオーディオシステム）に表示９２を供給する。

続く標識解析ステップ９４では、システムは、シンボルにシンボル識別チェック９６を実行し、シーンにおいて識別されている標識上のテキストにテキスト識別ステップ９８を実行する。ＳＳＴ識別プロセッサー４６は、画像データからシンボルデータとテキストデータを適切に抽出する。図４に示す道路標識８０については、識別すべきただ一つのシンボル８２と一つのテキスト表示８４が存在するが、他の道路標識では、追加のシンボルまたはテキスト表示（追加ブロック１００および１０２によって示したように）が存在するかもしれない。複数のシンボルおよび／またはテキストが識別された場合には、それぞれがデータから抽出され、処理の次のステージのために独立および分離したデータが供給される。

処理の次のステージは、ステップ１０８で、シンボルの意味の翻訳またはテキストの意味の翻訳が必要かどうかを判断する。もし国表示信号が、車両は、車両の選択言語と同様ではない言語の国において乗られていることを示している場合には、テキスト表示の翻訳が必要である。

テキスト表示の翻訳が必要な場合には、コンピューターシステム（または携帯装置）は、衛星利用測位センサー出力に基づいて、外部サーバー５２に国表示信号も送信し、車両が移動している国を示す（この例では、フランス）。

道路標識において識別されたシンボルの意味をユーザーに伝達するために、外部サーバー５２は、道路標識シンボルを様々な異なる国々における意味に関連づけるデータメモリまたはデータベース１０４を保持する。外部サーバー５２は、適切な国（国表示信号から判断される）に対応するシンボルの意味をデータメモリ１０４において調べ、シンボルの意味１０６を表すデータ信号をコンピューターシステム１０に返送する。もし、ステップ１０８でシンボルの意味の、選択された車両言語への翻訳が必要であると判断された場合には（例えば、車両が移動している国の言語が車両言語と異なるため）翻訳ステップは、車両に意味に関連するデータが返送される前に、リモートサーバー５２で行われる。

翻訳された出力は、ＴＴＳプロセッサー４８がシンボルの意味を処理してオーディオシステム３０と互換性のあるシンボル出力信号を供給したらすぐに、ステップ１１２において運転者に提示される。従って、運転者は、シンボルの意味の翻訳された音声の告知を聞くことになる。

同様に、シンボル８２に関連するデータに関しては、テキスト８４に関連するデータは、ステップ９８で（テキストの複数の領域がある場合には、ステップ１０２を含んで）画像シーンから抽出される。もし、車両が移動する国の言語が、選択された車両の言語と同じではないと判断された場合には、テキストデータは、ワイヤレス通信を介して外部サーバー５２に送信され、テキストの意味の翻訳はリモートサーバー５２においてステップ１１０で実行される。もし、車両が、選択された車両の言語と同じ言語の国で運転されている場合には、テキスト表示の翻訳は必要ない。テキストは、道路標識上に表示される形式によるテキストに対応して、単に運転者に音声で伝達され得る。

もし、翻訳が必要ならば、テキストデータは、車両言語信号および国表示信号と共に外部サーバー５２に送信される。外部サーバー５２は、上述したように、データメモリを検索し、テキストの翻訳バージョンに対応するデータ信号をコンピューターシステム１０に供給する。

もし、国言語信号が、車両が移動している国は二以上の言語を有していることを示している場合、テキストが翻訳されるべき言語に関して、外部サーバー５２において判断が行われる。または、運転者は、外部サーバー５２におけるその後の車両言語への翻訳において国言語が選択可能なリストを提示されてもよい。

上述した通り、ステップ１１２で、運転者は、オーディオシステム３０を介して翻訳されたテキストの音声の告知を聞くか、ＨＭＩディスプレイ２６上の翻訳されたテキストの視覚的な表示を見るか、あるいは両方を選ぶようにしてもよい。運転者は、ＨＭＩディスプレイ２６上の選択画面を提示され、好ましい提示方法を選択することができる。好ましい提示形式の選択は、ユーザー入力装置２４を介してなされる。

図６に示すように、他の実施形態においては、コンピューターシステム１０は、処理の翻訳段階において、外部サーバー５２によらず、代わりに、車載型翻訳プロセッサー１２０を備える。この場合は、画像シーン内のテキストに対応するデータは、国表示信号および車両言語信号と共に、翻訳プロセッサー１２０に供給される。翻訳プロセッサー１２０は、テキストを車両言語に翻訳し、もし、音声の告知が運転者により選択された場合には、適切なテキスト出力信号をオーディオシステム３０に出力する。あるいは、もし、運転者が視覚的に翻訳を見ることを選択した場合には、適切なテキスト信号は翻訳されたテキストの運転者に対する視覚的な提示のためにＨＭＩディスプレイに出力される。この実施形態の利点は、車両が図１に示す外部サーバー５２と交信しようとする時に存在するかもしれないワイヤレス通信の「問題の多い地域」が運転者に伝達される翻訳された情報における遅延とならないことである。

図１に示す外部サーバー５２と通信することなく、コンピューターシステムは、また、標識シンボル情報を車両が運転されるかもしれない世界中の様々な国の意味に関連づけるルックアップテーブルをデータメモリに格納する。カメラシステムが、画像シーン内の道路標識におけるテキストに関連するデータを含む画像データをコンピューターシステム１０に返信する時、データは、対応する国表示信号と共に、メモリ５０に入力され、対応する意味が参照されるルックアップテーブルから抽出される。意味は、運転者による好みの選択により、ＴＴＳプロセッサー４８において変換され適切なテキスト出力信号が供給され、および／または適切なテキスト出力信号がＨＭＩディスプレイ２６に車両言語で供給される。

他の実施形態においては、システムは車載型のテキスト翻訳およびシンボルの解釈のステップと同様に、車外でできるようにしてもよい。例えば、もし、車両が外部サーバーとのワイヤレス通信が失われる、または、データ通信が遅い「問題の多い地域」を移動する場合、システムは車載型のテキスト翻訳およびシンボル解釈機能によるようにしてもよい。

道路標識の翻訳および解釈以外に、本発明の利益がある他の応用が考えられる。例えば、車載のカメラシステムは広告掲示板または広告から画像データをキャプチャーしてもよく、システムは、そのような掲示板に表れる、興味がある場所、レストラン、お店およびサービス施設のような、沢山の有用な情報の翻訳または解釈を車両の運転者に供給してもよい。

本発明が、特許請求の範囲から離れることなく、多くの代替形式をとるように変形され得ることは当業者によって歓迎されるであろう。

本発明のさらなる態様は以下の付番された節において説明される。

節１：車両のユーザーとシステムとの間でコミュニケーションが実行可能であり、選択された車両言語を有する車両において用使用されるシステムであって、前記システムは、車両の外部の画像シーンであって、前記選択された車両言語以外の国言語でのテキストを含む複数の情報インジケーターを含む前記画像シーンをキャプチャーする画像キャプチャー装置と、非車載型のサーバーに対して前記選択された車両言語を表す車両言語信号を出力する装置と、前記国言語を示す国言語信号を前記非車載型サーバーに出力する装置と、前記国言語から前記車両言語への翻訳のために、前記テキストを前記非車載型サーバーに出力する装置と、翻訳されたテキストを示す翻訳されたテキスト出力を前記非車載型サーバーから受け取り、前記翻訳されたテキスト出力を前記車両の前記車両のユーザーに伝達する翻訳装置と、を備えるシステム。

節２：車両のユーザーとシステムとの間でコミュニケーションが実行可能であり、選択された車両言語を有する車両において使用されるシステムであって、前記システムは、車両の外部の画像シーンであって、前記選択された車両言語以外の国言語でのテキストを含む複数の情報インジケーターを含む前記画像シーンをキャプチャーする画像キャプチャー装置と、前記国言語から前記車両言語に翻訳を行い、翻訳されたテキストを表す翻訳されたテキスト出力を生成する翻訳装置と、前記翻訳されたテキスト出力を前記車両のユーザーに伝達する伝達装置と、を備えるシステム。

節３：前記情報インジケーターは、シンボルを含み、前記システムは、前記シンボルからシンボルの意味を得るプロセッサーを備え、前記伝達装置は、前記車両のユーザーに前記シンボルの意味を伝達する、節１に記載のシステム。

節４：前記情報インジケーターは、前記画像シーン内の道路標識を備える、節１に記載のシステム。

節５：前記情報インジケーターは、前記画像シーン内の広告板を備える、節１に記載のシステム。

節６：車両の地理的位置を判断する位置表示装置を備え、前記国言語信号を前記非車載型のサーバーに出力する出力装置は、前記位置表示装置から前記国言語信号を得る、節１に記載のシステム。

節７：前記画像プロセッサーは、複数の情報出力を生成する出力装置を備え、前記情報出力のそれぞれは、テキストおよび／または前記画像シーンの異なる領域におけるシンボルを表す、節１に記載のシステム。

節８：情報が必要になる前記画像シーンの領域のユーザーによる選択を可能とするユーザー選択装置を備える、節７に記載のシステム。

節９：前記出力装置は、前記画像シーンにおいて、対応する異なる領域を前記車両が通過する順序で、前記ユーザーに前記複数の情報出力を伝達する、節７に記載のシステム。

節１０：前記伝達装置は、前記画像シーンにおける前記情報インジケーターの位置に依存した方法で前記情報出力を前記車両のユーザーに伝達する、節１に記載のシステム。

節１１：前記車両の異なる位置に複数のスピーカーを有するオーディオシステムを含み、前記情報出力は、前記車両における前記スピーカーの位置および前記画像シーンにおける前記情報インジケーターの位置に従ってスピーカーを通して伝達される、節１０に記載のシステム。

節１２：前記伝達装置は、オーディオシステムを含む、節１に記載のシステム。

節１３：前記伝達装置は、視覚ディスプレイ画面を含む、節１に記載のシステム。

節１４：前記伝達装置の形式のユーザーによる選択を可能とする選択装置を備える、節１２に記載のシステム。

節１５：車両のユーザーとシステムとの間でコミュニケーションが実行可能であり、選択された車両言語を有する車両において使用される方法であって、前記方法は、車両の外部の画像シーンであって、前記選択された車両言語以外の国言語でのテキストを含む一または複数の情報インジケーターを含む前記画像シーンをキャプチャーし、前記選択された車両言語を表す車両言語信号を、非車載型サーバーに出力し、前記国言語を表す国言語信号を前記非車載型サーバーに出力し、前記国言語から前記車両言語への翻訳のために、前記テキストを前記非車載型サーバーに出力し、翻訳されたテキストを表す翻訳されたテキスト出力を前記非車載型サーバーから受け取り、前記翻訳されたテキスト出力を前記車両のユーザーに伝達する方法。

節１６：車両のユーザーとシステムとの間でコミュニケーションが実行可能であり、選択された車両言語を有する車両において使用される方法であって、前記方法は、車両の外部の画像シーンであって、前記選択された車両言語以外の国言語でのテキストを含む一または複数の情報インジケーターを含む前記画像シーンをキャプチャーし、前記国言語から前記選択された車両言語へ前記テキストを翻訳し、前記翻訳されたテキストを表す翻訳されたテキスト出力を生成し、前記翻訳されたテキスト出力を前記車両のユーザーに伝達する方法。

節１７：節１に記載のシステムを備える車両。

１０…コンピューターシステム
１２…衛星利用測位センサー
１６…車両言語セット機能
１８…車両言語信号
２０…マイクロフォン
２２…ヒューマンマシンインターフェース（ＨＭＩ）
３０…オーディオシステムカメラシステム
４０…カメラシステム
４４…画像プロセッサー
４６…サインシンボルテキスト（ＳＳＴ）識別プロセッサー
４８…テキストトゥスピーチ（ＴＴＳ）プロセッサー
５２…外部サーバー
６０…画像シーン
７０…画像シーン

Claims (18)

1. 車両のユーザーとシステムとの間でコミュニケーションが実行可能であり、選択された車両言語を有する車両において使用されるシステムであって、前記システムは、
   前記車両の外部の画像シーンであって、前記選択された車両言語以外の国言語のテキストを含む一または複数の情報インジケーターを含む前記画像シーンをキャプチャーする画像キャプチャー手段と、
   前記選択された車両言語を表す車両言語信号を非車載型サーバーに出力する手段と、
   前記国言語を表す国言語信号を前記非車載型サーバーに出力する手段と、
   前記国言語から前記車両言語への翻訳のために前記テキストを前記非車載型サーバーに出力する手段と、
   前記翻訳されたテキストを表す翻訳されたテキスト出力を前記非車載型サーバーから受け取る手段と、
   前記翻訳されたテキスト出力を前記車両のユーザーに伝達する手段と、
   を備えるシステム。
2. 車両のユーザーとシステムとの間でコミュニケーションが実行可能であり、選択された車両言語を有する車両において使用されるシステムであって、前記システムは、
   車両の外部の画像シーンであって、前記選択された車両言語以外の国言語のテキストを含む一または複数の情報インジケーターを含む前記画像シーンをキャプチャーする画像キャプチャー手段と、
   前記国言語から前記選択された車両言語へ前記テキストを翻訳し、前記翻訳されたテキストを表す翻訳テキスト出力を生成する手段と、
   前記車両のユーザーに前記翻訳されたテキスト出力を伝達する手段と、
   を備えるシステム。
3. 前記情報インジケーターは、シンボルを含み、前記システムは、前記シンボルからシンボルの意味を得る手段を備え、前記伝達する手段は、前記車両のユーザーに前記シンボルの意味を伝達する、ことを特徴とする請求項１または請求項２に記載のシステム。
4. 前記情報インジケーターは、前記画像シーン内の道路標識を備える、ことを特徴とする請求項１ないし請求項３のいずれか一に記載のシステム。
5. 前記情報インジケーターは、前記画像シーン内の広告板を備える
   ことを特徴とする請求項１ないし請求項４のいずれか一に記載のシステム。
6. 車両の地理的位置を判断する位置表示手段を備え、前記国言語信号を前記非車載型のサーバーに出力する手段は、前記位置表示手段から前記国言語信号を得る、
   ことを特徴とする請求項１ないし請求項５のいずれか一に記載のシステム。
7. 前記画像処理手段は、複数の情報出力を生成する手段を備え、前記情報出力のそれぞれは、テキストおよび／または前記画像シーンの異なる領域におけるシンボルを表す、ことを特徴とする請求項１ないし請求項６のいずれか一に記載のシステム。
8. 前記システムは、前記ユーザーに前記情報出力が得られる前記画像シーンの領域のユーザーによる選択を可能とするユーザー選択手段を備える、ことを特徴とする請求項７に記載のシステム。
9. 前記複数の情報出力を生成する手段は、前記画像シーンにおいて、対応する異なる領域を前記車両が通過する順序で、前記ユーザーに前記複数の情報出力を伝達する、ことを特徴とする請求項７または請求項８に記載のシステム。
10. 前記伝達手段は、前記画像シーンにおける前記情報インジケーターの位置に依存した方法で前記情報出力を前記車両のユーザーに伝達する、ことを特徴とする請求項１ないし請求項９のいずれか一に記載のシステム。
11. 前記システムは、前記車両の異なる位置に複数のスピーカーを有するオーディオシステムを含み、前記情報出力は、前記車両における前記スピーカーの位置および前記画像シーンにおける前記情報インジケーターの位置に従ってスピーカーを通して伝達される、
    ことを特徴とする請求項１０に記載のシステム。
12. 前記伝達手段は、オーディオシステムを含む、ことを特徴とする請求項１ないし請求項１１のいずれか一に記載のシステム。
13. 前記伝達手段は、視覚的ディスプレイ画面を含む、
    ことを特徴とする請求項１ないし請求項１２のいずれか一に記載のシステム。
14. 前記システムは、前記伝達手段の形式のユーザーによる選択を可能とする手段を備える、ことを特徴とする請求項１２または請求項１３に記載のシステム。
15. 車両のユーザーとシステムとの間でコミュニケーションが実行可能であり、選択された車両言語を有する車両において使用される方法であって、前記方法は、
    車両の外部の画像シーンであって、前記選択された車両言語以外の国言語でのテキストを含む一または複数の情報インジケーターを含む前記画像シーンをキャプチャーし、
    前記選択された車両言語を表す車両言語信号を、非車載型サーバーに出力し、
    前記国言語を表す国言語信号を前記非車載型サーバーに出力し、
    前記国言語から前記車両言語への翻訳のために、前記テキストを前記非車載型サーバーに出力し、
    翻訳されたテキストを表す翻訳されたテキスト出力を前記非車載型サーバーから受け取り、
    前記翻訳されたテキスト出力を前記車両のユーザーに伝達する、
    方法。
16. 車両のユーザーとシステムとの間でコミュニケーションが実行可能であり、選択された車両言語を有する車両において使用される方法であって、前記方法は、
    車両の外部の画像シーンであって、前記選択された車両言語以外の国言語でのテキストを含む一または複数の情報インジケーターを含む前記画像シーンをキャプチャーし、
    前記国言語から前記選択された車両言語へ前記テキストを翻訳し、前記翻訳されたテキストを表す翻訳されたテキスト出力を生成し、
    前記翻訳されたテキスト出力を前記車両のユーザーに伝達する、
    方法。
17. 請求項１ないし請求項１４のいずれか一に記載のシステムを備える車両。
18. 添付図面を参照して実質的に上述されたシステム、方法、または車両。