JP2013068620A - 運転者が注目している外部の物体に関する情報を提供するための車両システムおよび方法 - Google Patents

Abstract

【課題】車両の運転者に情報を提供するためのシステムおよび方法を提供する。
【解決手段】画像取得デバイス、頭部または視線追跡装置、少なくとも１つのプロセッサ、および出力デバイスを有する、車両の運転者に情報を提供するためのシステムおよび方法。画像取得デバイスは、車両の外部の環境の画像を取得する。頭部または視線追跡装置は、車両の運転者が視認している物体を判定する。少なくとも１つのプロセッサは、取得画像を処理する。また、少なくとも１つのプロセッサは、運転者が視認している物体の取得画像に含まれる言語を第２の言語に翻訳するか、または運転者が視認している物体の取得画像に基づいて地点情報を判定する。出力デバイスは、運転者が視認している物体の取得画像の翻訳された第２の言語を含むか、または運転者が視認している物体の取得画像に基づいて判定された地点情報を含む情報を出力する。
【選択図】図３

Description

本開示は、車両の運転者に、運転者が注目している車両の外部の物体に関する言語翻訳情報または地点情報を提供するためのシステムおよび方法に関する。

車両の運転者は、運転者が追加情報を所望する標識、道路標識、または他の種類の物体等の、車両の外部の物体に注目することが多い。多くの車両は、運転者が視認している物体に関する追加情報を得るための、使用が面倒なナビゲーションシステムを収容している。例えば、車両の運転者は、運転者が追加の地点情報を所望する道路標識に注目し、次いで、運転者が所望する地点情報の種類をナビゲーションシステムに入力しなければならないかもしれない。運転者がこの情報をシステムに入力する時までには、運転者は既に出口を逃してしまっているかもしれない。

外国を旅行する場合、運転者が注目している道路標識は、運転者が理解することが不可能な外国語である可能性が多い。このことは、外国での運転を危険なものにする場合がある。言語を翻訳するための既存のシステムの多くは、運転者が注目している物体のみに焦点を合わせるようには適合されていない。その結果、運転者は、運転者が何語に翻訳することを所望するかをシステムに伝えなければならない。これは非効率的であり、安全性に対する懸念となる可能性がある。

既存のシステムおよび方法の１つ以上の課題を解決するために、車両の運転者に情報を提供するためのシステムおよび方法が必要である。

一実施形態において、車両の運転者に情報を提供するためのシステムが開示される。システムは、画像取得デバイスと、頭部または視線追跡装置と、少なくとも１つのプロセッサと、出力デバイスとを備える。画像取得デバイスは、車両の外部の環境の画像を取得するためのものである。頭部または視線追跡装置は、車両の運転者が視認している物体を判定するためのものである。少なくとも１つのプロセッサは、取得画像を処理し、（１）運転者が視認している物体の取得画像に含まれる言語を第２の言語に翻訳すること、または、（２）運転者が視認している物体の取得画像に基づいて地点情報を判定することのうちの少なくとも１つを行うためのものである。出力デバイスは、（１）運転者が視認している物体の取得画像の翻訳された言語を含む第２の言語、または（２）運転者が視認している物体の取得画像に基づいて判定された地点情報のうちの少なくとも１つを含む情報を出力するためのものである。

別の実施形態において、車両の運転者に情報を提供するための方法が開示される。あるステップにおいて、車両の外部の環境の画像は、画像取得デバイスによって取得される。別のステップにおいて、頭部または視線追跡装置は、車両の運転者が視認している物体を判定するために使用される。さらに別のステップにおいて、少なくとも１つのプロセッサは、取得画像を処理し、（１）運転者が視認している物体の取得画像に含まれる言語を第２の言語に翻訳するか、または（２）運転者が視認している物体の取得画像に基づいて地点情報を判定するかのうちの少なくとも１つを行う。さらなるステップにおいて、出力デバイスは、（１）運転者が視認している物体の取得画像の翻訳された言語を含む第２の言語、または（２）運転者が視認している物体の取得画像に基づいて判定された地点情報うちの少なくとも１つを含む情報を出力する。

本開示のこれらおよび他の特徴、態様、および利点は、以下の図面、明細書、および特許請求の範囲を参照して、よりよく理解されるであろう。

車両の運転者に情報を提供するためのシステムのブロック図を示す。 図１のシステムを利用して車両を運転している運転者の一実施形態の側面図を示す。 車両の運転者に情報を提供するための方法の一実施形態のフローチャートを示す。

以下の詳細な説明は、現在企図される本開示を実行する最良の様式の説明である。本開示の範囲は、添付の特許請求の範囲によって最良に定義されるため、この説明は、限定的な意味に捉えられるべきではなく、本開示の一般的な原則を例示する目的でなされているに過ぎない。図は、純粋に例示目的のためであって、原寸には比例していないことに留意されたい。

図１は、車両１４の運転者１２に情報を提供するためのシステム１０のブロック図を示す。システム１０は、入力デバイス１６と、画像取得デバイス１８と、追跡デバイス２０と、プロセッサ２２と、通信デバイス２４と、出力デバイス２６と、ナビゲーションシステム２７とを備える。システム１０は、車両内に実装される。システム１０の上記構成要素の全ては、有線または無線で互いに通信している。

入力デバイス１６は、運転者がシステム１０に情報を入力するか、またはシステム１０を制御することを可能にする１つ以上の入力デバイスを備える。例示的な入力デバイス１６は、運転者がシステム１０に情報を入力することを可能にするマイク、コントロールパネル、または他の種類の入力デバイスを備える。運転者１２は、システム１０に指示を与えるために、マイクに向かってコマンドを話してもよい。運転者１２は、システム１０に指示を与えるために、コントロールパネルを使用してコマンドをタイプするか、触れるか、または視覚的に入力してもよい。他の実施形態において、運転者１２は、多様な方法および入力デバイス１６を使用してコマンドを入力してもよい。

画像取得デバイス１８は、車両１４の外部の環境の画像を取得するための１つ以上の画像取得デバイスを備える。取得画像は、車両１４の外部の環境にある標識、道路標識、または別の種類の物体を含んでもよい。一実施形態において、画像取得デバイス１８は、車両１４の外部の環境のどの部分に運転者１２が注目しているのかを判定するための追跡デバイス２０からの入力なしに、車両１４の外部の環境の画像を無差別に取得する。別の実施形態において、画像取得デバイス１８は、運転者１２が注目していない車両１４の外部の環境の部分の画像を取得することなく、追跡デバイス２０からの入力に基づいて、運転者１２が注目している車両１４の外部の環境の部分の正確な画像のみを取得する。取得画像は、車両１４の運転者１２が注目している車両の外部の環境にある標識、道路標識、または別の種類の物体を含有してもよい。

例示的な画像取得デバイス１８は、車両１４の外部の環境の画像を取得するためのカメラ、ビデオデバイス、または別の種類の画像取得デバイスを備える。前方画像取得デバイス、側方画像取得デバイス、後方画像取得デバイス、または別の種類の画像取得デバイスなどのような画像取得デバイス１８は、車両１４の外部の環境の所望の画像を取得するために、車両１４周辺のどこに位置してもよい。取得画像は、デジタル形式またはアナログ形式であってもよい。取得画像がアナログである場合、画像取得デバイス１８またはプロセッサ２２は、画像をデジタル画像に変換するためのアナログデジタル変換機をさらに備えてもよい。一実施形態において、画像取得デバイス１８は、車両１４の外部の環境の画像を連続的に撮影することができる。別の実施形態において、画像取得デバイス１８は、車両１４の運転者１２が入力デバイス１６を使用してシステム１０にそうするように指示を与えた場合にのみ、車両１４の外部の環境の画像を撮影することができる。これは、システム１０の処理およびデータ格納を効率的にする。

追跡デバイス２０は、車両１４の外部の環境のどの部分に運転者１２が注目しているのかを判定するための１つ以上の追跡デバイスを備える。これは、運転者１２が注目している標識、道路標識、または車両１４の外部の別の物体を含んでもよい。例示的な追跡デバイス２０は、運転者１２の目の動きを追跡するための視線追跡装置、運転者１２の頭部の動きを追跡するための頭部追跡装置、または車両１４の外部の環境のどの部分に運転者１２が注目しているのかを追跡するための別の種類の追跡デバイスを備える。例示的な追跡デバイス２０は、運転者の目または頭部の画像を撮影するためのカメラ、運転者の目または頭部を追跡するための発光および光検出システム、ならびに赤外線カメラから受信されたデータに基づいて、カメラによって撮影された画像に基づいて、および運転者の目または頭部の座標を判定する際の補助となる位置座標ユニットに基づいて、運転者の目または頭部の位置を処理、判定、保存、および追跡するための追跡アルゴリズムを実装するためのプロセッサを備えてもよい。例示的な追跡デバイス２０には、ｈｔｔｐ：／／ｗｗｗ．ｓｍａｒｔｅｙｅｃｏｒｐｏｒａｔｉｏｎ．ｃｏｍ（参照により、本明細書に組み込まれる）において参照される、Ｓｍａｒｔｅｙｅ Ｃｏｒｐｏｒａｔｉｏｎによって作製される全ての追跡デバイスが含まれる。米国特許第６，５７８，９６２号および第６，７５８，５６３号（参照により、本明細書に組み込まれる）は、システム１０によって使用されてもよいさらなる例示的な追跡デバイス２０について記載している。さらに、ｈｔｔｐ：／／ｅｎ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｗｉｋｉ／Ｅｙｅ＿ｔｒａｃｋｉｎｇに記載されるような他の追跡デバイスも、本システムによって使用されてもよく、また、参照により本明細書に組み込まれる。他の実施形態において、さまざまな追跡デバイス２０が、車両１４の外部の環境のどの部分に運転者１２が注目しているのかを判定するために利用されてもよい。

プロセッサ２２は、取得画像を処理するための１つ以上のプロセッサを備える。プロセッサ２２は、１つ以上のコンピュータを含んでもよい。一実施形態において、プロセッサ２２は、運転者１２が注目していなかった画像の部分を排除する一方で、無差別に取得された画像を車両１４の運転者１２が注目していた画像の部分のみに絞り込むために、追跡デバイス２０を使用して、画像取得デバイス１８によって取得された車両１４の外部の環境の無差別に取得された画像を処理する。別の実施形態において、プロセッサ２２は、追跡デバイス２０から受信されたデータを使用して、車両１４の外部の環境のどの部分に運転者１２が注目しているのかを処理し、次いで、画像取得デバイス１８に、運転者１２が注目していない画像内の物体を取得することなく、運転者１２が注目している車両１４の外部の環境の部分の画像のみを取得するよう指示を与える。一実施形態において、プロセッサ２２は、取得画像に含まれる言語を第２の言語に翻訳するように構成される。例えば、プロセッサ２２は、車両１４の運転者１２が視認していた標識、道路標識、または他の物体の取得画像に含まれる言語を第２の言語に翻訳してもよい。別の実施形態において、プロセッサ２２は、取得画像に基づいて地点情報を判定するように構成される。例えば、プロセッサ２２は、車両１４の運転者１２が視認していた標識、道路標識、または他の物体の取得画像に基づいて地点情報を判定してもよい。地点情報は、地点の位置、地点の名称、車両１４が地点から離れている距離、地点に位置する場所、製品、もしくはサービスの種類、または他の種類の地点情報を含んでもよい。

プロセッサ２２は、位置判定ユニット２８と、処理ユニット３０と、パターン認識ユニット３２と、翻訳ユニット３４と、データベースユニット３６と、音声ユニット３８とを備える。他の実施形態において、プロセッサ２２は、上記ユニットのうちの１つ以上を含まなくてもよいか、またはプロセッサ２２は、さらなる種類のユニットを含んでもよい。言及したプロセッサのユニットは、プロセッサ２２内に含まれてもよい。他の実施形態において、言及したプロセッサ２２のユニットのうちの１つ以上が、プロセッサ２２の外部に含まれてもよいが、プロセッサ２２と有線または無線で通信している。

位置判定ユニット２８は、車両１４の位置、方向、もしくは速度を判定するため、および／または車両１４の運転者１２が注目している標識、道路標識、または他の種類の物体等の、取得画像に含まれる運転者１２が注目している車両１４の外部の物体の位置を判定するための、１つ以上の位置判定ユニットを備える。位置判定ユニット２８は、車両１４の運転者１２が注目している取得画像に含まれる物体に対する車両１４の位置を判定する。例示的な位置判定ユニット２８は、グローバルポジショニングシステム、方位磁石、速度計、加速度計、ジャイロメーター、あるいは車両１４の位置、方向、もしくは速度を判定するため、および／または車両１４の運転者１２が注目している取得画像に含まれる物体の位置を判定するための別の種類の位置判定ユニットを備える。

処理ユニット３０は、取得画像を含むシステム１０によって収集された情報を処理するための１つ以上の処理ユニットを備える。処理ユニット３０は、システム１０の算術演算、論理、または入力／出力動作を行うために、プロセッサ２２のメモリ内に保存されたプロセッサプログラムの命令を実行する。

パターン認識ユニット３２は、パターンを認識および判定するための１つ以上のパターン認識ユニットを備える。パターン認識ユニット３２は、取得画像内のパターンを認識してもよい。パターン認識ユニット３２は、車両１４の運転者１２が視認している標識、道路標識、または他の種類の物体等の物体を含むパターンを認識してもよい。また、パターン認識ユニット３２は、車両１４の運転者１２が視認している文字、記号、数字、言語、または別の種類のパターンを含むパターンも認識してもよい。

翻訳ユニット３４は、車両１４の運転者１２が視認している物体内のパターンを１つの言語から第２の言語に翻訳するための１つ以上の翻訳ユニットを備える。翻訳ユニット３４は、車両１４の運転者１２が視認している物体の取得画像内のパターンを分析することによってこれを行う。例えば、一実施形態において、翻訳ユニット３４は、車両１４の運転者１２が視認している標識、道路標識、または別の物体の取得画像に含まれる言語を第２の言語に翻訳してもよい。翻訳ユニット３４は、車両１４の運転者１２が視認している物体の判定された位置に基づいて、取得画像に含まれるパターンの言語を自動的に判定するように構成されてもよい。別の実施形態において、翻訳ユニット３４は、その中に何の言語があるのかを判定するために、取得画像に含まれるパターンを処理してもよい。翻訳ユニット３４は、取得画像に含まれるパターンを車両１４の運転者１２の第２の言語に自動的に翻訳するように構成されてもよい。他の実施形態において、車両１４の運転者１２は、入力デバイス１６を使用して、画像のパターンが何の言語であるかをシステム１０に入力してもよく、かつ／または車両１４の運転者１２の第２の言語が何であるかをシステム１０に入力してもよい。

データベースユニット３６は、データを受信、格納、またはシステム１０に送信するための１つ以上のデータベースユニットを備える。データベースユニット３６は、車両１４の運転者１２が視認している物体の取得画像を格納するためのデータベースを備えてもよい。データベースユニット３６は、取得画像のパターンを判定するために、パターン認識ユニット３１を支援するようにパターン認識のためのデータベースを備えてもよい。データベースユニット３６は、取得画像のための地点を含む地点データベースを備えてもよい。データベースユニット３６は、車両１４の運転者１２の音声を認識するための音声認識データベースを備えてもよい。

音声ユニット３８は、テキストを音声に変換するため、または音声をテキストに変換するための１つ以上の音声ユニットを備える。音声ユニット３８は、翻訳されたまたは翻訳されていない取得画像のパターンを音声に変換してもよい。また、音声ユニット３８は、入力デバイス１６を通してシステム１０に入力された車両１４の運転者１２の音声をテキストに変換してもよい。

通信デバイス２４は、システム１０またはプロセッサ２２が情報を送信または受信するために、車両１４の外部のデバイスと通信するための１つ以上の通信デバイスを備える。通信デバイス２４は、インターネット、通信衛星、システム１０もしくはプロセッサ２２にまたはそれらからの情報を通信、提供、または受信するための外部通信または情報システム、システム１０またはプロセッサ２２がアクセスするかまたはダウンロードする情報を含む外部データベース、あるいは別の種類の外部デバイス等の、車両１４の外にある外部デバイスと通信してもよい。通信デバイス２４は、通信目的のあらゆる種類の信号を利用してもよい。

出力デバイス２６は、車両１４の運転者１２に情報を出力するための１つ以上の出力デバイスを備える。一実施形態において、出力された情報は、取得画像の翻訳された言語を含む。別の実施形態において、出力された情報は、取得画像に基づいて判定された地点情報を含む。出力デバイス２６は、車両１４の運転者１２に出力された情報を視覚的に表示するための画像表示部を備えてもよい。出力デバイス２６は、出力された情報を車両１４の運転者１２に聴覚的に出力するためのスピーカー等の聴覚デバイスをさらに備えてもよい。

ナビゲーションシステム２７は、運転者１２が車両１４を操縦する際に補助するためのナビゲーション情報を車両１４の運転者１２に提供するための１つ以上のナビゲーションシステムを備える。ナビゲーションシステム２７は、プロセッサ２２の一部を含んでいてもよく、またはプロセッサ２２の外部にあって、プロセッサ２２と有線または無線で通信していてもよい。ナビゲーションシステム２７は、システム１０によって出力された翻訳された第２の言語に基づいて、運転者１２がある位置まで車両１４を操縦する際に補助してもよい。また、ナビゲーションシステム２７は、運転者１２がシステム１０によって識別された地点まで車両１４を操縦する際にも補助してもよい。ナビゲーションシステム２７は、システム１０のあらゆる構成要素を使用して、車両１４の運転者１２にビデオまたは聴覚による命令を提供することができる。ナビゲーションシステム２７は、車両１４の運転者１２をある位置まで誘導するためのグローバルポジショニングシステムまたは他の種類のナビゲーションシステムを備えてもよい。

図２は、図１のシステム１０を利用して車両１４を運転している運転者１２の一実施形態の側面図を示す。追跡デバイス２０は、運転者の視線４２において、車両１４の外部にあるどの物体４０に運転者１２が注目しているかを判定するために、運転者の焦点を追跡している。画像取得デバイス１８は、車両１４の外部の環境４４の画像を無差別に取得する（運転者１２が注目している物体４０を取得することを含む）。システム１０は、取得画像を処理しており、取得画像を運転者１２が注目している物体４０のみに削減している。システム１０は、車両１４に対してどこに物体４０が位置しているかを判定している。システム１０は、削減された取得画像内のパターンを認識している。システム１０は、（１）認識されたパターンに含まれる言語を第２の言語に翻訳しているか、または（２）認識されたパターンに基づいて地点情報を判定しているかのいずれかである。システム１０は、（１）認識されたパターンの翻訳された第２の言語、または（２）認識されたパターンに基づいて判定された地点情報のいずれかを、視覚的にまたは聴覚的に運転者１２に出力している。

図３は、車両の運転者に情報を提供するための方法５０の一実施形態のフローチャートを示す。ステップ５２において、画像取得デバイスは、車両の外部の環境の画像を取得する。取得画像は、車両の運転者が視認または注目している物体を含む。この物体は、車両の外部の標識、道路標識、または別の種類の物体を含んでもよい。一実施形態において、ステップ５２の間に、画像取得デバイスは、車両の外部の環境の画像を無差別に取得する。

ステップ５４において、追跡デバイスは、運転者が視認または注目している車両の外部の物体を判定する。別の実施形態において、ステップ５４は、ステップ５２の前に行われ、画像取得デバイスは、運転者が視認していないかまたは注目していない環境の部分を取得することなく、追跡デバイスから受信されたデータを処理することによって、運転者が視認しているかまたは注目している車両の外部の環境の物体のみの画像を取得する。

ステップ５６において、少なくとも１つのプロセッサは、取得画像を処理し、（１）運転者が視認している物体の取得画像に含まれる言語を第２の言語に翻訳するか、または（２）運転手が視認している物体の取得画像に基づいて地点情報を判定するか、のうちの少なくとも１つを行う。地点情報は、地点の位置、地点の名称、車両が地点から離れている距離、地点に位置する場所、製品、もしくはサービスの種類、または他の種類の地点情報を含んでいてもよい。ステップ５６は、パターン認識ユニットを使用して、車両の運転者が視認している取得画像内の物体を認識することを含んでもよい。ステップ５６は、グローバルポジショニングシステムまたは他の種類の位置判定ユニット等の位置判定ユニットを使用して、取得画像内の物体の位置または車両の位置のうちの少なくとも１つを判定することをさらに含んでもよい。一実施形態において、ステップ５６の間に、少なくとも１つのプロセッサが、取得画像を運転者が視認または注目している物体のみに絞り込み、取得画像の他の部分を排除する。別の実施形態において、方法がステップ５６に達する時には、画像取得デバイスが、追跡デバイスから受信したデータを処理することによって、運転者が視認または注目している車両の外部の環境の物体のみの画像を最初に取得することに起因して、取得画像は、既に運転者が視認または注目している物体のみに絞り込まれている。

ステップ５８において、出力デバイスは、（１）運転者が視認している物体の取得画像の翻訳された言語を含む第２の言語、または、（２）運転者が視認している物体の取得画像に基づいて判定された地点情報のうちの少なくとも１つを出力する。ステップ５８は、出力デバイスによって、画像表示部に情報を出力するか、または聴覚デバイスを使用して情報を出力することを含んでもよい。ステップ６０において、ナビゲーションシステムが、車両をナビゲートするために使用される。ステップ６０は、ナビゲーションシステムによって、出力された情報に基づいて車両をナビゲートすることを含んでもよい。

本開示の１つ以上の実施形態は、運転者が注目している車両の外部の物体に自動的に焦点を合わせ、物体の翻訳された言語、または物体に関する地点情報を運転者に自動的に出力することによって、既存の技術の１つ以上の課題を克服する場合がある。これは、時間および安全性における対応する利点により、結果的に車両の運転をより容易にする場合がある。

当然のことながら、上記は、本開示の例示的な実施形態に関するものであって、以下の特許請求の範囲に記載される本開示の主旨および範囲から逸脱することなく変更が行われる場合があることを理解されたい。

Claims (20)

1. 車両の運転者に情報を提供するためのシステムであって、
   車両の外部の環境の画像を取得するための画像取得デバイスと、
   前記車両の運転者が視認している物体を判定するための頭部または視線追跡装置と、
   前記取得画像を処理し、（１）前記運転者が視認している前記物体の前記取得画像に含まれる言語を第２の言語に翻訳すること、または（２）前記運転者が視認している前記物体の前記取得画像に基づいて地点情報を判定することのうちの少なくとも１つを行うための、少なくとも１つのプロセッサと、
   （１）前記運転者が視認している前記物体の前記取得画像の前記翻訳された言語を含む前記第２の言語、または（２）前記運転者が視認している前記物体の前記取得画像に基づいて判定された前記地点情報のうちの少なくとも１つを含む情報を出力するための、出力デバイスと、を備えるシステム。
2. 前記少なくとも１つのプロセッサは、前記取得画像を処理し、かつ前記運転者が視認している前記物体の前記取得画像に含まれる前記言語を前記第２の言語に翻訳するためのものであり、前記出力デバイスは、前記運転者が視認している前記物体の前記取得画像の前記翻訳された言語を含む前記第２の言語を出力するためのものである、請求項１に記載のシステム。
3. 前記少なくとも１つのプロセッサは、前記取得画像を処理し、かつ前記運転者が視認している前記物体の前記取得画像に基づいて前記地点情報を判定するためのものであり、前記出力デバイスは、前記運転者が視認している前記物体の前記取得画像に基づいて前記判定された地点情報を出力するためのものである、請求項１に記載のシステム。
4. 前記地点情報は、前記地点の位置、前記地点の名称、前記車両が前記地点から離れている距離、または前記地点に位置する場所、製品、もしくはサービスの種類のうちの少なくとも１つを含む、請求項３に記載のシステム。
5. 前記物体の位置または前記車両の位置のうちの少なくとも１つを判定するための位置判定ユニットをさらに備える、請求項１に記載のシステム。
6. 前記位置判定ユニットは、グローバルポジショニングシステムを備える、請求項５に記載のシステム。
7. 前記車両の前記運転者が視認している前記物体を認識するためのパターン認識ユニットをさらに備える、請求項１に記載のシステム。
8. 前記出力デバイスは、前記出力された情報を視覚的に表示するための表示部を備える、請求項１に記載のシステム。
9. 前記出力デバイスは、前記出力された情報を聴覚的に出力するための聴覚デバイスを備える、請求項１に記載のシステム。
10. 前記運転者が前記車両を操縦する際に補助するためのナビゲーションシステムをさらに備える、請求項１に記載のシステム。
11. 車両の運転者に情報を提供するための方法であって、
    画像取得デバイスを用いて車両の外部の環境の画像を取得するステップと、
    頭部または視線追跡装置を用いて前記車両の運転者が視認している物体を判定するステップと、
    少なくとも１つのプロセッサを用いて前記取得画像を処理し、（１）前記運転者が視認している前記物体の前記取得画像に含まれる言語を第２の言語に翻訳するステップ、または（２）前記運転者が視認している前記物体の前記取得画像に基づいて地点情報を判定することのうちの少なくとも１つを行うステップと、
    出力デバイスを用いて、（１）前記運転者が視認している前記物体の前記取得画像の前記翻訳された言語を含む前記第２の言語、または（２）前記運転者が視認している前記物体の前記取得画像に基づいて前記判定された地点情報のうちの少なくとも１つを含む情報を出力するステップと、を含む方法。
12. 前記処理するステップは、前記少なくとも１つのプロセッサが、前記取得画像を処理し、前記運転者が視認している前記物体の前記取得画像に含まれる前記言語を前記第２の言語に翻訳することを含み、前記出力するステップは、前記出力デバイスが、前記運転者が視認している前記物体の前記取得画像の前記翻訳された言語を含む前記第２の言語を出力することを含む、請求項１１に記載の方法。
13. 前記処理するステップは、前記少なくとも１つのプロセッサが、前記取得画像を処理し、前記運転者が視認している前記物体の前記取得画像に基づいて前記地点情報を判定することを含み、前記出力するステップは、前記出力デバイスが、前記運転者が視認している前記物体の前記取得画像に基づいて前記判定された地点情報を出力することを含む、請求項１１に記載の方法。
14. 前記地点情報は、前記地点の位置、前記地点の名称、前記車両が前記地点から離れている距離、または前記地点に位置する場所、製品、もしくはサービスの種類のうちの少なくとも１つを含む、請求項１３に記載の方法。
15. 位置判定ユニットを使用して、前記物体の位置または前記車両の位置のうちの少なくとも１つを判定するステップをさらに含む、請求項１１に記載の方法。
16. 前記位置判定ユニットは、グローバルポジショニングシステムを備える、請求項１５に記載の方法。
17. パターン認識ユニットを使用して、前記車両の前記運転者が視認している前記物体を認識するステップをさらに含む、請求項１１に記載の方法。
18. 前記出力デバイスは、表示部を備え、前記出力するステップは、前記出力された情報を前記表示部上に視覚的に表示することを含む、請求項１１に記載の方法。
19. 前記出力デバイスは、聴覚デバイスを備え、前記出力するステップは、前記聴覚デバイスを使用して、前記出力された情報を聴覚的に出力することを含む、請求項１１に記載の方法。
20. 前記車両をナビゲートするためにナビゲーションシステムを使用するステップをさらに含む、請求項１１に記載の方法。

Images