JP2019113520A - 車載情報表示装置及び使用言語推定装置 - Google Patents

Abstract

【課題】カーナビの言語表示をユーザが使用する言語に簡単に変更することができ、また、日本の交通規則や標識の意味が容易にわかるようにする。【解決手段】本実施形態の車載情報表示装置は、ユーザの顔画像を撮影する顔画像撮影部（２、３）と、撮影された顔画像に基づいてユーザの国籍を絞り込む国籍絞り込み部（８）と、絞り込まれた国籍に基づいてユーザへの呼びかけ言語を選択して呼びかけを行う呼びかけ部（８）と、ユーザの顔画像の変化と、呼びかけに対するユーザの応答結果に基づいて、ユーザが使用する言語を推定する使用言語推定部（８）と、推定された使用言語を用いてユーザが理解できる表示画面を表示する表示制御部（８）とを備えたものである。【選択図】図１

Description

本発明は、車載情報表示装置及び使用言語推定装置に関する。

外国から日本に観光に来て、レンタカーを運転して日本を旅行する場合、以下の２点の課題がある。第１の課題は、レンタカーのカーナビの言語表示が日本語で、言語を変更したくても、最初の画面が日本語表示のため、変更が難しい。第２の課題は、カーナビを言語変更してドライブを開始したとしても、日本の交通規則、例えば標識の意味が分からなくて、不安な気持ちで運転することになる。

これに対して、特許文献１に記載された装置では、使用開始の際に、ユーザの国籍情報及び使用言語の登録しておき、ピクトグラムの変換要求を受け付けたときに、撮影画像から対象となるピクトグラムを抽出し、抽出されたピクトグラムを、ユーザの国籍で特定される国で使用されているピクトグラムに変換し、変換したピクトグラムを表示する。

しかし、上記装置の場合、国籍情報及び使用言語を登録する操作が煩わしいことから、外国のユーザはその装置を使うことをためらうという問題がある。また、国籍がわかったとしても、アメリカのように州、地域ごとに交通規則や標識が違う地域の人がいるため、国籍だけがわかっても、適切な交通規則や標識の情報を提供できないことがある。

特開２０１６−１７３８０２号公報 特開２００５−２２２４８５号公報

また、特許文献２には、レンタカーを借りた外国人ユーザに対して、訪問した国の道路に設置された交通標識が自国のどの交通標識に対応するかを報知する装置が、記載されている。

しかし、この構成の場合、米国のように国内に多くの州があって、それぞれの州によって交通規則や標識が異なる場合、また、欧州のように複数の国が隣接してそれぞれの国における交通規則や標識が異なる場合には、適切な報知がなされないことがある。また、日本のように複数の標識が１か所に並べて設置されている場合には、複数の標識の変換に時間がかかる。また、変換された複数の標識が１か所に表示された場合、ユーザは、複数の標識を短時間で認知することが必要になるため、運転に集中できなくなるおそれがあった。

本発明の目的は、カーナビの言語表示をユーザが使用する言語に簡単に変更することができ、また、日本の交通規則や標識の意味が容易にわかる車載情報表示装置及び使用言語推定装置を提供することにある。

請求項１の発明は、ユーザの顔画像を撮影する顔画像撮影部２、３と、撮影された顔画像に基づいてユーザの国籍を絞り込む国籍絞り込み部８と、絞り込まれた国籍に基づいてユーザへの呼びかけ言語を選択して呼びかけを行う呼びかけ部８と、ユーザの顔画像の変化と、呼びかけに対するユーザの応答結果に基づいて、ユーザが使用する言語を推定する使用言語推定部８と、推定された使用言語を用いてユーザが理解できる表示画面を表示する表示制御部８とを備えた車載情報表示装置である。

請求項８の発明は、ユーザの顔画像を撮影する顔画像撮影部２、３と、撮影された顔画像に基づいてユーザの国籍を絞り込む国籍絞り込み部８と、絞り込まれた国籍に基づいてユーザへの呼びかけ言語を選択する呼びかけ言語選択部８と、選択された１以上の言語にて呼びかけを行う呼びかけ部８と、前記１以上の言語の呼びかけの間、または、呼びかけ後、呼びかけに対する顔画像の変化とユーザの応答結果基づいて、ユーザが使用する言語を推定する使用言語推定部８とを備えた使用言語推定装置である。

第１実施形態を示す標識認識報知システムのブロック図 車内のドライバに装着された各種機器の様子を示すイメージ図 言語設定制御のフローチャート 走行中安全運転支援用の制御のフローチャート 交通標識認識・報知制御のフローチャート 報知対象交通標識の報知制御のフローチャート 標識選択制御のフローチャート 慣れてきた標識報知制御のフローチャート 複数の主要言語で呼びかけを行なう様子を説明する図 英語が使われる複数のエリアを選択させる画面を示す図 州の選択を行なう画面を示す図 監視エリアのサイズと範囲を車両の速度に応じて変化させる様子を説明する図 世界地図及び言語の選択の画面を示す図 仮想画像を重畳表示した例を示す図 複数の標識が同じ位置に設置されている様子を説明する図 処理番号リストex1の内容を示す図 処理番号リストex２の内容を示す図 第２実施形態を示すもので、オランダとノルウエーの交通標識を示す図 走行中安全運転支援用の制御のフローチャート 報知対象交通標識の報知制御のフローチャート オランダの交通標識が設置されている例を示す図 ノルウエーの交通標識の画像を重畳表示した例を示す図 複数の標識が同じ位置に設置されている場合に、他国の交通標識の画像を重畳表示した例を示す図

（第１実施形態）
以下、第１実施形態について、図１ないし図１７を参照して説明する。図１は、本実施形態の標識認識報知システム１の全体概略構成を示すブロック図である。標識認識報知システム１は、車載情報表示装置及び使用言語推定装置を構成している。

標識認識報知システム１は、図１に示すように、ミラーアイカメラ２と、ディスプレイアイカメラ３と、生体情報センサ４と、入力操作装置５と、ＤＳＭコントローラ６と、車外撮影用カメラ７と、情報処理装置８と、報知部９と、刺激生成部１０と、通信装置１１と、持ち込み機器１２とを備えている。

ミラーアイカメラ２は、ユーザ、即ち、運転者が車外のどの位置の物体を見ているかを判定するための視線画像やユーザの顔画像を撮影する車外視線認識用、即ち、車外物体認識用のカメラである。ミラーアイカメラ２は、顔画像撮影部としての機能を有する。ミラーアイカメラ２は、図２に示すように、例えば車内のバックミラー１３の下部の両端部に例えば２個配設されている。ミラーアイカメラ２で連続的に撮影された画像情報、即ち、動画情報は、ＤＳＭコントローラ６に送信される。

ディスプレイアイカメラ３は、ユーザがディスプレイのどの位置を見ているかを判定するための視線画像やユーザの顔画像を撮影するディスプレイ視線認識用、即ち、車載器確認検知用のカメラである。ディスプレイアイカメラ３は、顔画像撮影部としての機能を有する。ディスプレイアイカメラ３は、図２に示すように、例えば車内のディスプレイ１４の上部に例えば２個配設されている。ディスプレイアイカメラ３で連続的に撮影された画像情報、即ち、動画情報は、ＤＳＭコントローラ６に送信される。

生体情報センサ４は、ユーザの脳活動や心拍数や血圧等を検出する種々のセンサで構成されており、検出された信号はＤＳＭコントローラ６に送信される。入力操作装置５は、ユーザが操作する各種機器の操作信号や操作速度等、ユーザが発声する音声、ステアリングの操作情報、アクセルやブレーキなどのペダルの操作情報等を入力するため種々の装置で構成されている。入力操作装置５により入力された種々の情報は、ＤＳＭコントローラ６に送信される。

ＤＳＭコントローラ６は、ミラーアイカメラ２及びディスプレイアイカメラ３で撮影された画像情報を入力し、これら画像情報を画像認識処理することにより、ユーザが車外のどこを、または、車外のどの範囲を見ているか、あるいは、ディスプレイ１４のどこを見ているかというユーザの視線方向と、ユーザが見ている対象物、即ち、注視物体を検出する機能を有する。即ち、ＤＳＭコントローラ６は、注視物体検出部としての機能を有している。また、ＤＳＭコントローラ６は、ミラーアイカメラ２及びディスプレイアイカメラ３が撮影した画像情報、即ち、顔画像の変化の情報等を画像認識処理することにより、運転者の顔の表情の動き、目の動き、目の開度、表情の変化、わき見頻度などを認識し、これら認識した情報に基づいて、ユーザの認知度、疲労度、眠気度などを検出する機能を有する。

また、ＤＳＭコントローラ６は、生体情報センサ４からの生体情報や入力操作装置５からの入力操作情報を入力し、これら生体情報や入力操作情報に基づいて、ユーザの感情的な動きを検出する機能を有する。尚、生体情報としては、脳活動、心拍数、血圧などの情報がある。入力操作情報としては、各種機器の操作信号や操作速度等、ユーザが発声する音声、ステアリングの操作情報、アクセルやブレーキなどのペダルの操作情報等がある。この構成の場合、ＤＳＭコントローラ６は、ＤＳＭ（Driver Status Monitor）としての機能を有している。

車外撮影用カメラ７は、ユーザが車外のどの位置や車外のどの物体を見ているかを判定するための画像を連続的に撮影するカメラであり、撮影した画像情報、即ち、動画情報を情報処理装置８に送信する。

情報処理装置８は、言語データベース、地図データベース、標識データベース、構築物データベース等が記憶された記憶部を有すると共に、カーナビゲーション装置としての機能、即ち、車両の位置を検出する機能、車両の走行方向を検出する機能、目的地までの誘導経路を算出する機能、誘導経路を経路案内する機能等を有する。情報処理装置８は、ＤＳＭコントローラ６から視線情報や顔画像情報や注視物体の情報等を入力し、車外撮影用カメラ７からの画像情報を入力し、車両の現在位置、走行方向、地図データベースや構築物データベース等を参照して、ユーザが見ている注視物体の候補を推定、即ち、検出する機能を有する。情報処理装置８は、国籍絞り込み部、呼びかけ言語選択部、呼びかけ部、使用言語推定部、表示制御部、道路エリア選択部、注視物体情報判定部、重畳表示制御部としての各機能を有している。

ここで、構築物データベースは、標識、電柱、縁石、ガードレールなどの道路に設置されている種々の構築物の位置、サイズ、方向などをまとめて記録したデータベースである。地図データベースにも、標識の設置位置情報が含まれている。標識のデータ、即ち、標識の画像データや標識の内容のデータ等は、標識データベースに記憶されている。この標識データベースには、日本の標識のデータと、多数の外国の標識のデータと、１つの国でも、複数種類の標識のデータが存在する場合には、それら複数種類の標識のデータとが記憶されている。そして、標識データベースにおいては、各国の標識について、同じ内容・意味を示すものが対応付けられている、即ち、紐付けられており、例えば、日本の標識と同じ内容の各国の標識を検索することが可能なように構成されている。

報知部９は、ディスプレイ１４とスピーカ１５を有している。図２に示すように、２個のスピーカ１５が、ディスプレイ１４の上部の両端部に配設されている。情報処理装置８から報知部９へ表示情報や音声信号や警報音信号等が送信されるように構成されており、表示情報はディスプレイ１４に表示され、音声や警報音等がスピーカ１５から出力されるようになっている。

刺激生成部１０は、情報処理装置８から刺激指示信号を入力し、各種の刺激装置、例えばスピーカ１５、振動発生器、エアコン、香り発生器等を駆動する。これにより、ユーザに対して、音、振動、高温の風、低温の風、香り等の物理的、触覚的、臭覚的な刺激等が加えられるように構成されている。

通信装置１１は、ＤＣＭ（データコミュニケーションモジュール）としての機能を有し、車車間通信、路車間通信、ＶＩＣＳ（登録商標）通信、携帯電話網通信等を実行可能な通信機器で構成されている。通信装置１１は、上記各種の通信により得られた通信情報を、情報処理装置８に送信する。また、通信装置１１は、情報処理装置８から出力された情報を上記各種の通信を介して外部の機器へ送信する。また、通信装置１１は、携帯電話機やタブレット等の持ち込み機器１２と例えばＢｌｕｅｔｏｏｔｈ（登録商標）通信等の近距離無線通信やＵＳＢ等の有線通信等を介して通信可能なようになっている。

図２は、車内のドライバに装着された各種機器及び運転席周辺に配設された各種機器の様子を示すイメージ図である。この図２に示すように、車内のバックミラー１３に取り付けられたミラーアイカメラ２と、ディスプレイ１４に取り付けられたディスプレイアイカメラ３とにより、ユーザの車内外の視線方向、目の開度、表情の変化、わき見頻度などを認識して検出するための画像が連続的に撮影される。

上記ミラーアイカメラ３の画像情報と車外撮影用カメラ７の画像情報とを認識処理することにより、ＤＳＭコントローラ６及び情報処理装置８は、ユーザが車外のどの範囲を見ているかを判定する。そして、ユーザが車外の特定の場所や物体を注視していることが検知されると、ユーザが何を見ているかの判定処理が情報処理装置８にて実行される。

また、ＤＳＭコントローラ６及び情報処理装置８は、ディスプレイ１４にユーザの視線を向けるように誘導したい場合、即ち、視線誘導したい場合には、ディスプレイ１４に設けられたスピーカ１５からユーザに呼びかけるための音声を出力させる。ユーザが上記呼びかけに応答するために声を発した場合、ユーザの口元に配設されたマイクロホン１６、即ち、ヘッドセットのマイクロホンにより、ユーザの声を収集し、収集した音声情報を情報処理装置８において音声認識処理を行うようになっている。

ミラーアイカメラ２やディスプレイアイカメラ３の画像情報にてユーザの視線方向や運転状態が検出され、また、生体情報センサ４の検出情報にて眠気、疲れ、その他正常な状態との乖離状態が検出されると、ユーザの状態に応じた刺激が刺激生成部１０によってユーザに加えられる。ここで、ユーザに加える刺激の内容は、音、振動などの物理的な刺激や、高温の風、低温の風などの触覚的な刺激、香りなどの嗅覚的な刺激などがある。

また、図２に示すように、運転者が操作するステアリング１７の操作や、ペダル１８、即ち、ブレーキペダルやアクセルペダル等の操作は、入力操作装置５により検出され、ＤＳＭコントローラ６に送信される。

また、図２に示すように、ユーザに装着されたタッチ操作チェッカ１９は、ユーザの入力操作に対する機器の受付結果をユーザに伝えるための機器である。タッチ操作チェッカ１９は、ユーザの操作がうまくいったときと、ユーザの操作が不十分な場合とでは、異なる動作、例えば振動動作の有り・無しが実行されるように構成されている。また、本実施形態では、タッチ操作チェッカ１９は、心拍センサを兼ねた腕時計形態の機器で構成されており、例えば２種類以上の応答、例えばＹＥＳ、ＮＯなどの応答に対応する２種類以上の振動パターンで振動するように構成されている。

また、ディスプレイ１４は、液晶ディスプレイやＬＥＤディスプレイ等で構成されており、情報処理装置８からの情報がディスプレイ１４に表示される。情報処理装置８が情報を表示する場合、ディスプレイ１４の他に、車両のフロントガラス、即ち、ウインドシールドガラスに表示するＨＵＤ(Head Up Display)に表示することが可能なように構成されている。このようにフロントガラスに表示するように構成すると、フロントガラスを通して車外の景色を見ることができ、車外の景色に情報を重畳表示することが可能となっている。また、ディスプレイ１４にタッチパネルやメカスイッチを設けることにより、ディスプレイ１４を他の機器の操作を実行できる操作兼用ディスプレイとすることが好ましい。

次に、外国人のユーザが、車両例えばレンタカーで日本の道路を運転中に、車窓越しの交通標識が何かわからず困った場合を例にして、本実施形態の標識認識報知システム１の動作について、図３ないし図１７を参照して説明する。

まず、ユーザの言語設定の制御を実行する。本実施形態では、外国人のユーザが安心してシステムを使えるように、ユーザが理解できる言語を使った表示画面を、図３のフローチャートで示す手順で設定する構成となっている。図３のフローチャートは、標識認識報知システム１、即ち、ＤＳＭコントローラ６と情報処理装置８の制御の内容を示す。

図３のステップＳ１０においては、ユーザ、即ち、運転者の搭乗を、ミラーアイカメラ２とディスプレイアイカメラ３で撮影された画像情報に基づいて検知する。続いて、ステップＳ２０へ進み、ＤＳＭコントローラ６にてユーザの顔認識を行う。そして、ステップＳ３０へ進み、ユーザの顔認識の結果に基づいて、初めてその車両を使うユーザであるか否かを判断する。

このステップＳ３０において、初めての搭乗者である場合（ＹＥＳ）、情報処理装置８は、ユーザの顔情報やユーザが何か話したときの言語を解析して、ユーザの使う言語やユーザの国籍の範囲を絞りこむ。ここで、ユーザが会話をせず、言語や国籍の絞り込みができなかった場合には、ステップＳ４０へ進み、情報処理装置８は、ユーザへの言語選択のための呼びかけを、その国、例えば日本の言葉や、簡単な英語、中国語、スペイン語等の複数の主要言語で行う。この場合、ディスプレイ１４に、例えば図９に示すような画面を表示すると共に、複数の主要言語の音声メッセージをスピーカ１５から出力する。例えば日本語の場合、「画面の言語を選択します。 日本語で良いですか？」と表示し、標識認識報知システム１が配設された場所、即ち、ディスプレイ１４のスピーカ１５から音声が出るようにして報知する。他の主要言語の場合も、同様な意味のメッセージを表示し、音声を逐次出力するようになっている。

続いて、ステップＳ４５へ進み、ＤＳＭコントローラ６は、上記呼びかけに対して、ユーザがディスプレイを見る、返答するなどの呼びかけを理解したと思われる反応をしたか否かを判断する。ここで、ＤＳＭコントローラ６により、ユーザがディスプレイを見る、返答するなどの呼びかけを理解したと思われる反応をしたことが検出されると（ＹＥＳ）、ステップＳ５０へ進み、ユーザが呼びかけに反応した言語を確認して、ユーザが使う可能性の高いと思われる言語候補を複数表示画面に表示する。この場合、呼びかけをした後のユーザの顔の表情を測定し、顔の方向、表情、反応などで呼びかけに回答があった場合、その言語を検知して、その検知された言語で、「○○の言語で画面表示して良いですか」と音声案内を行うように構成しても良い。

また、ステップＳ４０において、呼びかけを英語で行い、ユーザが画面を向いたときには、ディスプレイ１４の画面には、図１０に示すように、どのエリアの英語を使用するかをユーザに問い合せ、ユーザに選択させる。この場合、例えば、「1.English USA, 2.English UK ,3.English Au など」を表示し、英語が使われる複数のエリアを言語とともに表示する。この表示状態で、言語、例えば「1.English USA」が選択された場合には、設定時間経過後、ディスプレイ１４の画面に、図１１に示すように、「米国」内の州の選択地図が表示され、ユーザが通常運転するエリア、即ち、州の選択を行なうように構成されている。

また、ユーザが英語圏の言語を使いたくない場合、例えばスペイン語を使いたい場合には、ユーザが「Spain」と発声すると、「Spain Spain、Spain Mexico、Spain Peruなど」をディスプレイ１４に表示し、スペイン語が使われる複数のエリアの地図を言語とともに表示して、地図上で言語を選択できるように構成されている。

一方、上記ステップＳ４０において、反応が無い場合（ＮＯ）、即ち、うまく理解されなかった場合には（ＮＯ）、ステップＳ１３０へ進み、「表示器の画面を見てください」という呼びかけを、言語を変更して、即ち、顔画像や車内で話している言語から推定して、理解されやすい言語を選択して行なう。そして、ステップＳ４０へ戻り、上記選択した言語で音声案内、即ち、呼びかけを行う。

さて、上記ステップＳ５０において、ユーザが使う可能性の高いと思われる言語候補を複数表示画面に表示した状態で、ユーザが言語を選択する応答を行なうと、ステップＳ６０へ進み、ユーザ、即ち、運転者の言語を認識したか否かを判断する。ここで、ユーザの言語を認識していない場合（ＮＯ）、ステップＳ５０へ戻り、前述した処理を繰り返し実行する。

上記ステップＳ６０において、ユーザの言語を認識した場合（ＹＥＳ）、ステップＳ７０へ進み、認識した言語で案内するようにナビゲーション機能、即ち、標識認識報知システム１を設定する。そして、ステップＳ８０へ進み、ユーザが普段運転する国と道路を選択したか否かを判断する。この場合、標識認識報知システム１は、選択された言語に対応するエリア、即ち、国の道路地図を、例えば言語がEnglish USAである場合、図１１に示すような地図、即ち、米国の地図を表示する。更に、ユーザに対して、「普段、どのエリアを運転しますか。走る道路をタッチで選択して下さい」というメッセージを、表示すると共に、音声で出力する。尚、このように、エリア、例えば米国の場合には、州を選択させる理由は、米国では州ごとに交通規則や標識が変わる場合があるためである。

そして、上記ステップＳ８０において、ユーザが普段運転する国と道路を選択していない場合（ＮＯ）、ステップＳ７０へ戻り、前述した処理を繰り返し実行する。また、ステップＳ８０において、ユーザが普段運転する国と道路を選択した場合（ＹＥＳ）、即ち、ユーザが普段走る道路をタッチ操作等で回答した場合、ステップＳ９０へ進み、ユーザの回答、即ち、選択結果を取得し、情報処理装置８の内部のメモリに記憶し、ディスプレイ１４の画面に承認マーク、例えば「Accepted」が表示される。

続いて、ステップＳ１００へ進み、標識認識報知システム１の情報処理装置８は、ユーザが選択、即ち、タッチした道路のエリアに使われている標識のデータを、標識データベースから読み出して、内部のメモリに記憶する。そして、ステップＳ１１０へ進み、情報処理装置８は、読み出された外国人のユーザが普段走行する道路エリアの標識データと、これから走行しようとする道路の標識データ、即ち、標識データベースから予め読み出して記憶しておいた標識データとを比較し、紛らわしいも標識や、違いが大きい標識を抽出し、案内対象の標識データとして内部のメモリに記憶する。この後は、ステップＳ１２０へ進み、ユーザが使用する言語、即ち、ユーザの出身国の走行道路の交通標識に変換する変換モードを実行する走行中安全運転支援用の制御へ移行する。具体的には、図４の制御を実行開始する。図４のフローチャートは、標識認識報知システム１、即ち、ＤＳＭコントローラ６と情報処理装置８の制御の内容を示す。

一方、上記ステップＳ３０において、外国人のユーザが、新規のユーザではなくレンタカーサービスを利用した経験があるユーザである場合には（ＮＯ）、ステップＳ１４０へ進み、前回の情報を読み出して使えるようにする。この場合、以下の報知、即ち、表示と音声出力を行い、言語及び標識の設定を行う。
「○○様 また利用いただきありがとうございます。言語は前回と同じ○○を設定します。よろしいですか？」
「YESの場合は指定国の標識を設定します。」

と、ディスプレイ１４に表示すると共に、音声で出力する。この後は、ステップＳ１２０へ進み、ユーザの出身国の走行道路の交通標識変換モードを実行する走行中安全運転支援用の制御へ移行する。具体的には、図４の制御を実行開始する。

尚、ステップＳ４０の処理において、図１０に示すように、どのエリアの英語を使用するかをユーザに問い合せ、ユーザに選択させる場合に、ユーザが、英語は理解できるが、違う地域の言語に変えたい場合には、画面内の「WW：World Wide」の文字を選択すると、例えば図１３に示す世界地図及び言語の選択画面が表示される。この図１３に示す画面において、ユーザは、より適した言語を選ぶことができるようになっている。

次に、図４の走行中安全運転支援用の制御について、説明する。ここで、図４の制御を開始する前において、ユーザが、情報処理装置８のカーナビ機能を使用して、目的地までの走行経路を設定すると、情報処理装置８は、走行経路の電子地図のリンクに対応する位置にある物体を構築物データベースから読み出す。構築物データベースには、信号、交通標識、車道または歩道のエリア情報、縁石、段差の有無などの情報が記録されている。

走行中安全運転支援の制御においては、交通標識について、ユーザの国で使う標識と全く異なるイメージの標識や、イメージは似ているが異なる注意をうながす標識など、紛らわしいデザインの標識であると判定されたものを、外国人のユーザが理解できる外国人向け道路標識のイメージに置き換えて表示する処理を実行する。この場合、外国人のユーザが理解できる標識を必要な時に表示できるように、車両の走行中、標識の表示用データが表示遅れがないように準備される。ただし、経路変更が実行されることを考慮して、準備される表示用データは、車両の周囲、例えば数１００ｍの範囲内にあるデータを準備しておくように構成されている。尚、途中で経路変更が行われた場合には、変更された経路に対応するノードまたはリンクに紐づけされた標識、即ち、オブジェクトに対して、外国人向けの道路標識データがセットされるようになっている。車両の走行中の経路案内時において、外国人向けの標識画像をユーザに提示する制御について、以下説明する。

まず、図４のステップＳ２１０において、走行中安全運転支援の制御を実行開始する。続いて、ステップＳ２２０へ進み、ユーザが本制御、即ち、サービスを始めて利用するか否かを判断する。ここで、ユーザが本サービスを始めて利用する場合（ＹＥＳ）、ステップＳ２３０へ進み、車両が発進する前に、車両や標識認識報知システム１の操作法と基本的な日本の交通ルールについて、ユーザの使う言語で案内を行う。また、ＤＳＭコントローラ６において、ユーザの視線のキャリブレーションを行う。この場合、ユーザが上記した初期案内を聞かないと、車両が発進しないようにすることが好ましい。これにより、車両が走行開始してすぐの、外国の交通ルールを勘違いして誤認識することによる事故を防止できる。

そして、ステップＳ２４０へ進み、車両が走行開始したか否かを判断する。ここで、走行が開始されない場合には（ＮＯ）、ステップＳ２９０へ進み、駐車時間を計測し、駐車時間が設定時間を超えたら省電力モードにし、走行開始まで待つ、即ち、ステップＳ２４０へ戻る。

上記ステップＳ２４０において、車両が走行開始した場合（ＹＥＳ）、ステップＳ２５０へ進み、前方のオブジェクト認識処理が開始される。この場合、オブジェクト認識処理を行う監視エリアのサイズと範囲は、図１２に示すように、車両の速度に応じて変化させる。例えば、車両速度が時速６０ｋｍの場合、即ち、図１１において車速Ｖ３の場合には、前方４０ｍから２００ｍの範囲とする。また、車両速度が時速４０ｋｍの場合、即ち、図１１において車速Ｖ２〜Ｖ３で示す範囲の場合には、前方４０ｍから１００ｍの範囲とする。また、車両速度が時速２０ｋｍの場合、即ち、図１１において車速Ｖ１〜Ｖ２で示す範囲の場合には、前方３０ｍから５０ｍの範囲とする。尚、車両のオブジェクト認識処理能力が高い場合、即ち、カメラやレーダ性能やオブジェクト認識能力が優れている場合には、監視エリアを上記した範囲よりも遠方まで広く設定することができる。

ここで、監視エリアの設定の考え方について説明する。走行中の車両では、報知対象の標識までの距離範囲が近すぎると、ユーザの車両操作が間に合わない。一方、標識までの距離範囲を遠くまで広げると、対象エリアに多くのオブジェクトが含まれる可能性が高くなるため、標識認識報知システム１の処理負荷が大きくなる。そのため、車速に応じて監視エリアの大きさを変更する必要がある。ユーザの車両操作に数秒の猶予があるタイミングで標識等の報知を行うためには、報知対象を限定する必要がある。このため、標識を理解できないときに、発生する交通事故を想定して、大きな事故が起きる可能性のある標識の表示、即ち、報知を優先するようになっている。例えば、図１５に示すように、複数の標識が同じ位置に上下方向に並べて設置されている場合には、車両の走行状況と周囲の人や他の車両等、即ち、移動体オブジェクトの移動状況に応じて、標識報知の優先度が決められるようになっている。

さて、ステップＳ２５０において、オブジェクトの認識が開始されると、自車両の位置及び走行方向を計測して、前方や左右の道路に設置された固定オブジェクトを、構築物データベースを使って検索する。そして、ステップＳ２６０へ進み、検索した固定オブジェクトに、交通標識のオブジェクトが含まれるか否かを判断する。ここで、交通標識のオブジェクトが含まれる場合、即ち、前方に交通標識がある場合には（ＹＥＳ）、ステップＳ２７０へ進み、交通標識認識・報知処理を実行する。この交通標識認識・報知処理については、後述する。

また、上記ステップＳ２６０において、前方に交通標識が無い場合（ＮＯ）、ステップＳ２９５へ進み、認識されたオブジェクトに対応する処理、即ち、何か別の注意すべきオブジェクトがある場合には、そのオブジェクトに対応する処理が行われる。例えば、車外撮影用カメラ７により歩行者が検知された場合には、ユーザに対して、歩行者を検知したことが報知される。

そして、交通標識認識・報知処理が完了すると、ステップＳ２８０へ進み、車両が走行停止したか否か、即ち、エンジンが停止したか否かを判断する。ここで、車両が走行中でる場合（ＮＯ）、ステップＳ２５０へ戻り、上述した処理を繰り返し実行する。

また、上記ステップＳ２８０において、車両が走行停止した、即ち、駐車モードになった場合（ＹＥＳ）、本制御を終了する。尚、駐車モードから車両が走行開始した場合には、図４のステップＳ２１０へ戻り、本制御を再開するようになっている。

次に、上記ステップＳ２７０の交通標識認識・報知処理について、図５のフローチャートを参照して説明する。図５のフローチャートは、標識認識報知システム１、即ち、ＤＳＭコントローラ６と情報処理装置８の制御の内容を示す。

まず、図５のステップＳ３１０においては、標識認識報知システム１の情報処理装置８は、車両の走行速度により設定された監視エリア内の交通標識を抽出する。標識の監視エリアは、前述のようにして、車両の走行速度に応じて設定されている。続いて、ステップＳ３２０へ進み、抽出された交通標識の種別が、構築物データベースのデータを主に使って判定される。この場合、車外撮影用カメラ７の撮影画像を画像認識することにより、交通標識の種別を判定するようにしても良い。尚、交通標識の種別が、構築物データベースとカメラ撮影画像とで異なる認識結果となることがあるが、そのような場合、いずれか一方の結果を用いることを予め決めておくことが好ましい。

そして、ステップＳ３３０へ進み、判定された交通標識の種別に基づいて、外国人のユーザが理解し難い交通標識、即ち、外国ユーザ対象標識であるか否かを判断する。ここで、外国人のユーザが理解し難い交通標識である場合（ＹＥＳ）、ステップＳ３４０へ進み、報知が必要な交通標識であることから、その標識、即ち、報知対象交通標識に処理番号を付け、内部のメモリに設けられた処理番号リストに記録、即ち、記憶する。続いて、ステップＳ３５０へ進み、処理番号リストに基づいて、ユーザへの報知対象交通標識の報知処理を実行する。この報知対象交通標識の報知処理については、後述する。尚、報知対象交通標識の報知処理の処理時間は、車両の走行速度に応じて設定される。即ち、走行速度が大きくなるほど、報知対象交通標識の報知処理に使える時間、即ち、報知処理時間を短く設定するようになっている。上記ステップＳ３５０の処理を完了すると、また、ステップＳ３３０において外国人のユーザが理解し難い交通標識で無い場合（ＮＯ）、本制御を終了し、図４の制御へ戻る。

次に、図５のステップＳ３５０の処理、即ち、報知対象交通標識の報知制御について、図６のフローチャートを参照して説明する。図６のフローチャートは、標識認識報知システム１、即ち、ＤＳＭコントローラ６と情報処理装置８の制御の内容を示す。

まず、図６のステップＳ４１０においては、報知対象交通標識の報知処理のための処理時間を、車両の走行速度に応じて設定する。続いて、ステップＳ４２０へ進み、前記図５のステップＳ３４０にて記録した未処理の処理番号リストを読み込み、報知対象交通標識の個数と変換処理の必要性を取得する。

そして、ステップＳ４３０へ進み、処理する報知対象交通標識の個数と、それぞれの表示に必要な変換処理時間とから、トータルのデータ処理に要する時間を求め、ユーザが車両操作できるタイミング、即ち、報知開始時刻までに、処理が完了するか否か、トータルのデータ処理が前記設定された処理時間内に完了するか否かを判断する。ここで、報知開始時刻までに処理できない場合には（ＮＯ）、ステップＳ４３５へ進み、未処理の処理番号リストで抽出された各報知対象交通標識に対して、重畳表示、即ち、ユーザへの報知処理の必要性をチェックし、優先度に応じて報知の必要な標識を選択する処理を実行する。この場合、例えば、同時に行える重畳表示処理の最大データ数が２の場合、図１６に示す処理番号リストex1については、処理の必要な標識データ、即ち、「ｎｅｅｄ」のデータが１個あるため、重畳表示処理可能であるが、図１７に示す処理番号リストex2は、処理の必要な標識データが３個あるため、重畳表示処理を実行できない。このような場合、事故防止に必要な標識の優先度を考慮して、最大データ数が２になるように、処理するデータの優先順位を付けて表示処理を行うデータを選択して決定する。このステップＳ４３５の報知標識選択処理については、後述する。

また、上記ステップＳ４３０において、ユーザが車両操作できるタイミングまでにそれらのデータ処理を完了できると判定されると（ＹＥＳ）、ステップＳ４４０へ進む。このステップＳ４４０では、処理番号リスト中の各標識に対し、重畳表示の必要性をチェックし、必要なものを抽出する。このステップＳ４４０の抽出処理については、後述する。

続いて、ステップＳ４５０へ進み、重畳表示の必要な対象番号のオブジェクトである標識、即ち、外国人のユーザを対象にした報知の必要な標識の位置を追跡処理する。ここで、追跡処理とは、車両が走行する位置と対象の交通標識の設置位置と表示器の３次元形状データから、運転席から見た標識がどのように見えるかを計算し、その計算した位置に実際の標識があるか否かを、車外撮影用カメラ７の撮影画像によってチェックする処理である。

そして、ステップＳ４６０へ進み、追跡処理がうまく動作している場合、重畳表示する外国の標識イメージ、即ち、仮想画像を対象番号の実際の標識の近くで、地平線より設定高さ上の適切な位置に、例えばＨＵＤ（Head Up Display）によって表示する。このように仮想画像を、フロントガラスに表示した一例を、図１４に示す。この表示例では、実際の標識２０ａの近く、例えば斜め上方の位置、即ち、地平線より設定高さ上の適切な位置に仮想画像の標識２０ｂを表示している。このように、ユーザの視野に見えるようにする場合、仮想画像は、ユーザから見て、道路上における空のある位置が望ましい。尚、図１４において、矩形の枠は、該矩形の枠で囲んだエリア内の構築物、即ち、オブジェクトは、認識した構築物であることを示すための表示である。

また、上記追跡処理において、車外撮影用カメラ７の撮影画像と、運転者視野にずれがある場合、そのずれを校正して、表示位置を修正して表示処理を行うようになっている。そのため、下記のキャリブレーションを実施している。尚、キャリブレーションは、図４のステップS２３０にて実行されるようになっている。

キャリブレーションにおいては、車外撮影用カメラ７の撮影画像と、ユーザの見る景色との対応関係、具体的には、運転開始前、即ち、車両停止中に、物体の位置とユーザの視線方向、即ち、目の動きとの対応関係を調べておく。例えば、ユーザが直進道路の地平線を見た場合の目の位置、即ち、視線方向と、前方１０ｍ左右角度１５度にある、高さ２ｍ直径３０ｃｍの円板を見たときの眼の位置、即ち、視線方向と、左右のサイドミラーを見た場合の眼の位置、即ち、視線方向と、車内のメータやディスプレイを見た場合の視線方向などを事前に調べて内部のメモリに記憶しておく。

また、走行中に信号機などを見る場合、自車の位置と信号機の位置からユーザの眼の動きを予測し、実際の眼の動きが、想定した動きの範囲に入っているかを確認する。もし、予測と実際の眼の動きに設定範囲以上のずれがある場合には、安全な位置でキャリブレーションを再度実行し、予測と実際の眼の動きのずれを小さくするための補正を行うようになっている。

続いて、ステップS４７０へ進み、重畳表示の必要な各対象番号の標識について、車両から標識までの距離が、接近指定距離以下になったかを判断する。ここで、標識までの距離が接近指定距離以下になっていないときには（ＮＯ）、ステップＳ４５０へ戻り、上述した処理を繰り返し実行する。

また、上記ステップＳ４７０において、標識までの距離が接近指定距離以下になったときには（ＹＥＳ）、ステップＳ４８０へ進み、接近指定距離以下になった対象番号の標識、即ち、オブジェクトの表示処理を実行する。そして、表示処理を終了したら、未処理番号を処理済みに変更し、処理番号リストから削除する。更に、未処理の標識の個数、即ち、未処理データのカウント数を減らす。

続いて、ステップＳ４９０へ進み、処理番号リスト内の未処理の標識の個数が０であるか否か、即ち、未処理データのカウント数が０であるか否かを判断する。ここで、未処理の標識の個数が０でなければ（ＮＯ）、ステップＳ４５０へ戻り、上述した処理を繰り返し実行する。また、上記ステップＳ４９０において、未処理の標識の個数が０であるときには、「ＹＥＳ」へ進み、本制御を終了する。この後は、図５の制御へ戻る。尚、本制御において、ステップＳ４５０からＳ４９０の各処理については、重畳表示の必要な対象番号の標識、即ち、オブジェクトが複数ある場合、複数のオブジェクトの追跡処理と重畳表示を、同時に実行する、即ち、平行して実行するように構成しておくことが好ましい。

また、本実施形態においては、ユーザの視線移動と顔の表情を検知して、理解していない標識を判定し、そのまま進むと危険な場合には、車両を自動的に徐行させて、または、停止させて、ユーザに対して上記した標識の仮想画像表示に加えて音声等で走行案内や標識の説明を行うように構成されている。尚、ユーザが困っているという感情を、より具体的且つ正確に検知するためには、ユーザの顔画像とともに、例えばＤＳＭによりユーザの脳活動例えば脳波等を検知して、その検知結果を用いることが好ましい。

次に、図６のステップＳ４３５の処理、即ち、優先度に応じて報知の必要な標識を選択する制御について、図７のフローチャートを参照して説明する。図７のフローチャートは、標識認識報知システム１、即ち、ＤＳＭコントローラ６と情報処理装置８の制御の内容を示す。

尚、優先度は、「交通事故の起きる可能性の観点」から、どの標識を優先的に表示するかの度合を示すものであり、予め標識認識報知システム１により決められて記憶されている。例えば、図１５に示すように、標識が５個配置されている場合、即ち、上から順に、（１）追い越し禁止の標識、（２）ここから（追い越し禁止）の標識、（３）駐車禁止の標識、（４）ここから（駐車禁止）の標識、（５）横断歩道の標識が配置されている場合、（１）と（５）の標識の優先度が高く設定されており、これら（１）と（５）の標識が報知の必要な標識として選択される。そして、本実施形態では、ユーザが日本の道路を初めて自動車で走行する外国人、例えば米国出身の外国人である場合には、（１）の標識の近くの位置に仮想標識Ａを表示し、（５）の標識の近くの位置に仮想標識Ｂを表示する制御が実行されるようになっている。

まず、図７のステップＳ５１０においては、最初に、報知すべき対象番号を確認する。続いて、ステップＳ５２０へ進み、報知対象番号の内容と優先度を確認する。この場合、報知対象番号のオブジェクト、即ち、標識には、報知すべき内容である例えば種別やクラスと、走行状態に応じて設定されたオブジェクト種別重要度とが対応付けて設定されている。そして、本実施形態では、ユーザの視線移動と顔の表情を検知して、ユーザが理解に困っている標識がどれか、その優先度、即ち、ユーザ優先度を検出し、ユーザ優先度の高いものを優先して変換表示を行うように構成されている。また、重要度が低いオブジェクト、即ち、標識は、報知対象から除くことが可能というように設定されている。

次いで、ステップＳ５３０へ進み、報知対象を減らせるか否かを判断する。この場合、車両の走行状態と標識の種別から、報知対象番号の重要度を算出し、報知しなくてもよい報知対象番号があるか否かを判断する。ここで、報知対象を減らせる場合には（ＹＥＳ）、ステップＳ５４０へ進み、報知しなくてもよいと判定された報知対象番号を、報知対象から外す。

続いて、ステップＳ５４５へ進み、時間内に報知処理が完了するか否かを判断する。ここで、時間内に報知処理が完了できると判定されると（ＹＥＳ）、ステップＳ５５０へ進み、優先度の大きいもの、即ち、標識を先に処理できるように報知対象番号の処理順序を変更する。この場合、オブジェクト、即ち、標識に対するユーザ優先度を調べ、ユーザ優先度の高いオブジェクトを優先的に表示するように処理番号リストを変更設定する。次いで、ステップＳ５６０へ進み、順序変更処理が完了すると、そのデータ、即ち、指定時間内に処理できるデータを表示処理用の記憶エリアに保存する。これにより、本制御を終了し、図６の制御へ戻る。

また、上記ステップＳ５３０において、報知対象を減らせない場合、即ち、全ての標識を理解できないと安全が損なわれるような場合（ＮＯ）、ステップＳ５３５へ進み、ユーザが標識を認知できるように車両の速度を減速する。この車両の減速により、報知エリア内にいる車両の滞在時間を長くして、報知に使う時間を長くすることができる。この後は、ステップＳ５４５へ進み、時間内に報知処理が完了するか否かを判断する。これ以降の処理は、上述したように実行する。

また、上記ステップＳ５４５において、時間内に報知処理が完了できないと判定された場合には（ＮＯ）、ステップＳ５３５へ進み、ユーザが標識を認知できるように車両の速度を減速するようになっている。これ以降の処理は、上述したように実行する。

尚、上記ステップＳ５３５において、指定時間内に処理できるように車両を減速する理由は、車両を減速した方が、ユーザが標識、即ち、オブジェクトを理解する時間を確保することができて、安全度合いが高まるためである。

さて、本実施形態においては、ユーザが少し日本の道路の標識に慣れてきて、ある程度、標識を理解できるようになると、優先的に重畳表示するものを変更するように構成されている。このユーザが慣れてきた標識の報知制御、即ち、図６のステップＳ４４０の処理について、図８のフローチャートを参照して説明する。図８のフローチャートは、標識認識報知システム１、即ち、ＤＳＭコントローラ６と情報処理装置８の制御の内容を示す。

まず、図８のステップＳ６１０においては、ユーザが日本の標識に不慣れか否かを判断する。この場合、ユーザの視線の動きをＤＳＭコントローラ６により検知し、標識に設定時間以上注意を払う場合には、ユーザは日本の標識に不慣れと判定する。また、ユーザが標識に対して注意を払わなくなった場合には、ユーザは日本の標識に慣れたと判定する。

上記ステップＳ６１０において、ユーザが日本の標識に不慣れであるときには（ＹＥＳ）、ステップＳ６２０へ進み、すべての標識を重畳表示対象、即ち、仮想表示対象として選択する。これにより、本制御を終了し、図６の制御へ戻る。

また、上記ステップＳ６１０において、ユーザが日本の標識に慣れたとき、即ち、標識に対し注意を払わなくなったときには（ＮＯ）、ステップＳ６４０へ進み、標識認識報知システム１は、注意を払わなくなった標識をユーザが理解したか否かを確認する。この場合、ユーザは、補助表示が不要になった標識がどの標識であるかの情報を、標識認識報知システム１に伝えることが可能なように構成しても良い。

上記ステップＳ６４０において、注意を払わなくなった標識をユーザが理解しているときには（ＹＥＳ）、ステップＳ６５０へ進み、ユーザが慣れた標識が重畳表示対象に含まれているか否かを判断する。ここで、ユーザが慣れた標識が重畳表示対象に含まれている場合には（ＹＥＳ）、ステップＳ６６０へ進み、ユーザが慣れた標識を重畳表示対象から除く処理を実行する。この後は、本制御を終了し、図６の制御へ戻る。

このような構成の本実施形態においては、ユーザの顔画像を撮影し、撮影された顔画像に基づいてユーザの国籍を絞り込み、絞り込まれた国籍に基づいてユーザへの呼びかけ言語を選択し、選択した言語で呼びかけを行い、ユーザの顔画像の変化と、呼びかけに対するユーザの応答結果に基づいて、ユーザが使用する言語を推定し、推定された使用言語を用いてユーザが理解できる表示画面を表示するように構成した。この構成によれば、表示画面をユーザが日常使う言語に、ほぼ自動的に、即ち、簡単な操作で変更できることから、標識認識報知システム１は、外国人のユーザにとって非常に使い勝手の良いものとなる。

また、本実施形態では、推定された使用言語を用いてユーザが日常的に走行する道路エリアを選択するように構成したので、ユーザが米国人であるような場合、道路エリアを州の単位で選択することを容易に実現できる。

本実施形態では、ユーザが注視する複数の物体を検出し、ユーザが注視した物体について、ユーザがその物体の特性を知りたいかどうかを判定するように構成したので、ユーザが知りたいことを判定して情報の表示を行うため、従来の情報表示に比べてユーザが煩わしいと感じることを大幅に低減できる。

本実施形態では、ユーザが特性を知りたいと判定された物体について、物体の近傍に物体の特性を重畳表示するように構成したので、ユーザは、知りたい物体の特性を容易に視認することができる。この場合、物体の特性としては、物体の画像情報、物体を説明する画像情報や文字情報が含まれていることが好ましい。

本実施形態では、物体が道路上に設置された標識である場合、車両のウインドシールドガラスを通してユーザが見る前記標識の近傍に、前記標識の意味を説明する画像情報や文字情報を重畳表示するように構成したので、ユーザは、標識の意味を容易に視認することができる。

本実施形態では、ユーザが外国人であった場合、ユーザの国籍とユーザが高い頻度で利用する道路エリアの地図情報に基づいて、標識の意味をユーザが理解できるように説明する画像情報や文字情報を重畳表示するように構成したので、外国人のユーザであっても、日本の標識を、自国の交通標識のどれにあたるかを容易に把握することができる。また、本実施形態では、外国人のユーザが日本の標識に慣れてきたら、その標識については重畳表示しないように構成したので、ユーザが煩わしいと感じることを大幅に低減できる。

本実施形態では、ユーザが理解しづらい複数の交通標識について、優先度の高い順に、ユーザが理解できる内容の仮想画像を重畳表示するように構成したので、ユーザが理解しづらいことにより起きる誤操作や、操作時の不安を低減することができる。これにより、交通事故の発生を防止できることから、安全性を向上させることができる。

尚、本実施形態では、日本の交通ルールを熟知しているかどうかを走行前に確認して、交通ルールを熟知したユーザや、本システムを多数回利用して日本の交通ルールに慣れたユーザ等については、国籍等にあわせた標識の仮想画像の重畳表示は行わないように構成した。この構成によれば、ユーザが煩わしいと感じる事態を大幅に低減することができる。ただし、ユーザが初めて見る標識などについては、ユーザの特定の操作によって、その標識の意味を仮想画像等で重畳表示するように構成することが好ましい。

また、上記実施形態では、標識の仮想画像を車両のウインドシールドガラスに重畳表示するように構成したが、これに限られるものではなく、例えばヘッドマウントタイプのメガネに重畳表示するように構成しても良い。

（第２実施形態）
図１８ないし図２３は、第２実施形態を示すものである。尚、第１実施形態と同一構成には、同一符号を付している。第１実施形態では、車両のウインドシールドガラスを通してユーザ、即ち、ドライバが視認する標識の近傍に、ドライバの母国の標識の画像情報を重畳表示するように構成した。これに代えて、第２実施形態では、ウインドシールドガラスを通してドライバが視認する標識の上に重ねて、ドライバの母国の標識の画像情報を重畳表示する、即ち、実際の標識が見えないように構成した。

第１実施形態のように、ドライバが視認する標識の近傍に、ドライバの母国の標識の画像情報を重畳表示する構成の場合、ドライバが視認する情報量が増えてしまうため、正しい情報、即ち、ドライバが理解できる標識の画像情報が表示されていても、混乱が生じるおそれがあった。

例えば、上記正しい情報が表示されていても、その近傍にあるドライバが視認する標識の意味を、ドライバが誤認した場合には、ドライバが上記正しい情報を認知しない可能性があった。具体的には、ＥＵ内の１つの国で、車両の免許証を取得した場合、ＥＵ内では、共通の免許証として利用できるが、ＥＵ内の国毎に交通標識に差異が見られるため、誤認する可能性が高い。例えば、図１８に示すように、ノルウェーでは、自動車及びバイクの通行止めの標識に斜線があるが、オランダでは斜線が無い。このため、ノルウェーで免許証を取得したドライバが、オランダ内で運転する場合に、自動車及びバイクの通行止めの標識を視認した場合、通行できると誤認する可能性がある。

そこで、第２実施形態では、ウインドシールドガラスを通してドライバが実際に視認する標識の上に重ねて、ドライバの母国の標識の画像情報を重畳表示することにより、実際の標識が見えないように構成した。以下、第２実施形態について、具体的に説明する。

まず、図１９のフローチャートで示す走行中安全運転支援用の制御について、説明する。この図１９の制御では、第１実施形態の図４の制御の中のステップＳ２３０に代えて、ステップＳ２３０５を実行するように構成し、他の制御は、図４の制御と同じ制御を実行するように構成されている。

即ち、図１９のステップＳ２１０、Ｓ２２０の処理は、図４の制御と同様に実行する。そして、ステップＳ２２０において、ユーザが本サービスを始めて利用する場合（ＹＥＳ）、ステップＳ２３０５へ進み、車両が発進する前に、ＤＳＭコントローラ６において、ユーザ、即ち、ドライバの視線のキャリブレーションを行う。第２実施形態の場合、第１実施形態とは異なり、日本の交通ルール等について、ユーザの使う言語での案内は実行しない。この場合、母国の交通標識の画像情報を重畳表示することにより、既存、即ち、実際の交通標識を見えないようにする本実施形態であれば、基本的な交通ルールを学ぶ必要は無いと考えられるからである。尚、車両がレンタカーである場合には、車両や標識認識報知システム１の操作法について、ユーザの使う言語で案内を行うように構成することが好ましい。また、車両がユーザのオーナーカーである場合には、上記したドライバの視線のキャリブレーションを行うだけで良い。

上記ステップＳ２３０５を実行した後は、ステップＳ２４０〜Ｓ２９５を、図４の制御と同様に実行する。
次に、上記図４のステップＳ２７０の交通標識認識・報知処理については、第１実施形態と同様にして、図５のフローチャートの制御を実行する。尚、図５のフローチャートは、標識認識報知システム１、即ち、ＤＳＭコントローラ６と情報処理装置８の制御の内容を示す。

さて、上記図５のステップＳ３５０の処理、即ち、報知対象交通標識の報知制御については、図２０のフローチャートを参照して説明する。図２０のフローチャートは、標識認識報知システム１、即ち、ＤＳＭコントローラ６と情報処理装置８の制御の内容を示す。そして、この図２０の制御では、第１実施形態の図６の制御の中のステップＳ４６０に代えて、ステップＳ４６０５を実行するように構成し、他の制御は、図６の制御と同じ制御を実行するように構成されている。

図２０のステップＳ４１０〜Ｓ４５０の処理は、図６の制御と同様に実行する。そして、ステップＳ４５０の制御、即ち、外国人のユーザ、即ち、ドライバを対象にした報知の必要な標識、即ち、オブジェクトの位置を追跡する制御を実行した後は、ステップＳ４６０５へ進む。このステップＳ４６０５においては、上記標識の位置の追跡がうまく動作している場合、重畳表示する外国、即ち、ドライバの母国の標識のイメージ、即ち、仮想の画像情報を、対象番号の実際の標識、即ち、オブジェクトそのものの上に、重畳表示する。

この場合、図２に示すディスプレイ１４に加えて、車両のウインドシールドガラス（即ち、フロントガラス）全体に表示する大型の液晶ディスプレイや、大型のＨＵＤによって表示するように構成されている。尚、大型の液晶ディスプレイとしては、ウインドシールドガラス全体に貼り付けられた例えば透明の有機ＥＬディスプレイを用いることが好ましい。また、大型のＨＵＤとしては、ウインドシールドガラス全面に画像を投影するプロジェクタ方式のＨＵＤを用いることが好ましい。

ウインドシールドガラス全面の液晶ディスプレイに重畳表示した場合、既存、即ち、実際の交通標識を完全に覆い隠して重畳表示することができる。即ち、ドライバが既存の交通標識を視認できないように隠すことができる。また、全面プロジェクタ方式のＨＵＤなどの透過型のディスプレイの場合には、調光フィルタを貼ったディスプレイが望ましい。尚、既存の交通標識が太陽光の反射やＬＥＤによる加飾により輝度が高くなることがあるため、このような場合には、既存の交通標識への視線上のディスプレイエリアを部分調光によって暗くした上で、重畳画像を表示させる。これにより、輝度の高い交通標識であっても、その交通標識を見えないようにして仮想の画像情報を重畳表示することが可能となる。

ここで、仮想画像を、上述したようにウインドシールドガラスに重畳表示する処理の具体例について、図２１、図２２を参照して説明する。図２１は、例えばオランダの「自動車およびバイク通行止め」の交通標識３１が路上に設置されている様子、即ち、ドライバが交通標識３１を視認している状態を示す図である。この図２１に示す道路を、例えばノルウエーで免許を取得したドライバが車両で走行して、上記交通標識３１を見た場合、ノルウエーの「自動車およびバイク通行止め」の交通標識には、斜線が入っている（図２２参照）ので、自動車およびバイクが走行できると勘違いするおそれがある。

これに対して、第２実施形態によれば、図２２に示すように、図２１に示す交通標識３１の上に、ドライバの母国であるノルウエーの「自動車およびバイク通行止め」の交通標識の仮想画像、即ち、画像情報３２が重畳表示され、オランダの既存の交通標識３１が見えなくなる。これにより、ノルウエーで免許を取得したドライバは、母国の交通標識の仮想画像３２を視認することにより、交通標識の意味、即ち、「自動車およびバイク通行止め」であることを明確に認識することができる。尚、図２１、図２２において、矩形の枠は、該矩形の枠で囲んだエリア内のオブジェクトを、本システム１が認識したオブジェクトであることを示すための表示である。

また、第１実施形態の図１５に示すように、標識が５個配置されている場合、即ち、上から順に、（１）追い越し禁止の標識、（２）ここから（追い越し禁止）の標識、（３）駐車禁止の標識、（４）ここから（駐車禁止）の標識、（５）横断歩道の標識が配置されている場合、（１）と（５）の標識の優先度が高く設定されており、これら（１）と（５）の標識が報知の必要な標識として選択される（図２０のステップＳ４３５参照）。これに対して、第２実施形態では、図２３に示すように、ユーザが日本の道路を初めて自動車で走行する外国人、例えば米国出身の外国人である場合には、（１）の標識の上に、仮想標識の画像情報Ａを表示し、（５）の標識の上に仮想標識の画像情報Ｂを表示する制御が実行されるようになっている。そして、第２実施形態においては、既存の標識が見えなくなることから、ユーザ、即ち、ドライバの慣れによって重畳表示対象を変化させるなどの制御、即ち、第１実施形態の図８の制御は不要になる。

上記ステップＳ４６０５を実行した後は、ステップＳ４７０〜Ｓ４９０を、図６の制御と同様に実行する。
尚、上述した以外の第２実施形態の構成は、第１実施形態の構成と同じ構成となっている。従って、第２実施形態においても、第１実施形態とほぼ同じ作用効果を得ることができる。特に、第２実施形態によれば、ユーザが特性を知りたいと判定された物体について、物体の上に物体の特性を重畳表示する、具体的には、見えている実際、即ち、既存の交通標識の上にユーザの母国の交通標識を重畳表示するように構成したので、実際の交通標識を視認できなくなる。これにより、情報量が増えることがなくなり、ユーザの情報視認量を低減させることができることから、重畳表示する前の既存の交通標識をユーザが誤認してしまう可能性を低減することができる。そして、第２実施形態の場合、ユーザの視線の先にある交通標識のみを重畳表示するため、システム負荷を最小限にしつつ、ユーザに確実に情報を通知することができる。

また、第２実施形態では、大型の液晶ディスプレイやプロジェクタ方式のＨＵＤによりウィンドシールドガラスに標識の画像情報を重畳表示するように構成したので、ユーザの視線移動を少なくすることができ、情報取得のために必要な脇見行動を低減することができる。また、ヘッドマウントタイプのメガネを用いて、見えている実際の交通標識の上にユーザの母国の交通標識の画像情報を重畳表示するように構成しても良く、同様の効果を得ることができる。

また、第２実施形態は、車両がユーザのオーナーカーである場合に好適するシステムである。オーナーカーである場合、ドライバの顔画像を撮影し、撮影された顔画像に基づいてドライバ、即ち、ユーザを個人認識する。この場合、情報処理装置８は、ユーザ認識部としての機能を有する。そして、個人認識したユーザの個人情報に基づいて、ユーザの母国やユーザが使用する言語を特定し、ユーザが使用する言語を用いてユーザが理解できる表示画面を表示すると共に、上述した重畳表示を行なうように構成されている。

尚、車両がオーナーカーである場合には、本システム１は、ユーザの個人情報、即ち、顔画像の情報や、国籍、使用言語、氏名、住所、年齢、電話番号、メールアドレス等の情報は、ユーザのスマホ等の携帯端末や情報センタのサーバ等から無線通信や有線通信等を介して取得したり、ユーザによって手操作等でデータ入力したりするように構成しても良い。

本開示は、実施例に準拠して記述されたが、本開示は当該実施例や構造に限定されるものではないと理解される。本開示は、様々な変形例や均等範囲内の変形をも包含する。加えて、様々な組み合わせや形態、さらには、それらに一要素のみ、それ以上、あるいはそれ以下、を含む他の組み合わせや形態をも、本開示の範疇や思想範囲に入るものである。

図面中、１は標識認識報知システム、２はミラーアイカメラ、３はディスプレイアイカメラ、４は生体情報センサ、６はＤＳＭコントローラ、７は車外撮影用カメラ、８は情報処理装置、９は報知部、１１は通信装置、１３はバックミラー、１４はディスプレイ、１５はスピーカ、１７はステアリング、２０は標識、３１は標識、３２は仮想画像である。

Claims (16)

1. ユーザの顔画像を撮影する顔画像撮影部（２、３）と、
   撮影された顔画像に基づいてユーザの国籍を絞り込む国籍絞り込み部（８）と、
   絞り込まれた国籍に基づいてユーザへの呼びかけ言語を選択して呼びかけを行う呼びかけ部（８）と、
   ユーザの顔画像の変化と、呼びかけに対するユーザの応答結果に基づいて、ユーザが使用する言語を推定する使用言語推定部（８）と、
   推定された使用言語を用いてユーザが理解できる表示画面を表示する表示制御部（８）と、
   を備えた車載情報表示装置。
2. 推定された使用言語を用いてユーザが日常的に走行する道路エリアを選択する道路エリア選択部（８）を備えた請求項１記載の車載情報表示装置。
3. ユーザが注視する複数の物体を検出する注視物体検出部（６）と、
   ユーザが注視した物体について、ユーザがその物体の特性を知りたいかどうかを判定する注視物体情報判定部（８）と、
   を備えた請求項２記載の車載情報表示装置。
4. ユーザが特性を知りたいと判定された物体について、前記物体の近傍に前記物体の特性を重畳表示する重畳表示制御部（８）を備えた請求項３記載の車載情報表示装置。
5. 前記物体の特性としては、物体の画像、物体を説明する画像情報や文字情報が含まれている請求項４記載の車載情報表示装置。
6. 前記重畳表示制御部は、前記物体が道路上に設置された標識である場合、車両のウインドシールドガラスを通してユーザが見る前記標識の近傍に、前記標識の意味を説明する画像情報や文字情報を重畳表示するように構成された請求項５記載の車載情報表示装置。
7. 前記重畳表示制御部は、ユーザが外国人であった場合、ユーザの国籍とユーザが高い頻度で利用する道路エリアの地図情報に基づいて、標識の意味をユーザが理解できるように説明する画像情報や文字情報を重畳表示するように構成された請求項６記載の車載情報表示装置。
8. ユーザの顔画像を撮影する顔画像撮影部と、
   撮影された顔画像に基づいてユーザの国籍を絞り込む国籍絞り込み部と、
   絞り込まれた国籍に基づいてユーザへの呼びかけ言語を選択する呼びかけ言語選択部（８）と、
   選択された１以上の言語にて呼びかけを行う呼びかけ部と、
   前記１以上の言語の呼びかけの間、または、呼びかけ後、呼びかけに対する顔画像の変化とユーザの応答結果基づいて、ユーザが使用する言語を推定する使用言語推定部と、
   を備えた使用言語推定装置。
9. ユーザが特性を知りたいと判定された物体について、前記物体の上に前記物体の特性を重畳表示する重畳表示制御部（８）を備えた請求項３記載の車載情報表示装置。
10. 前記物体の特性としては、物体の画像、物体を説明する画像情報や文字情報が含まれている請求項９記載の車載情報表示装置。
11. 前記重畳表示制御部は、前記物体が道路上に設置された標識である場合、車両のウインドシールドガラスを通してユーザが見る前記標識の上に、前記標識の意味を説明する画像情報や文字情報を重畳表示するように構成された請求項１０記載の車載情報表示装置。
12. 前記重畳表示制御部は、ユーザが外国人であった場合、ユーザの国籍とユーザが高い頻度で利用する道路エリアの地図情報に基づいて、標識の意味をユーザが理解できるように説明する画像情報や文字情報を重畳表示するように構成された請求項１１記載の車載情報表示装置。
13. ユーザの顔画像を撮影する顔画像撮影部（２、３）と、
    撮影された顔画像に基づいてユーザを個人認識するユーザ認識部（８）と、
    ユーザの個人認識情報に基づいてユーザが使用する言語を用いてユーザが理解できる表示画面を表示する表示制御部（８）と、
    ユーザが特性を知りたいと判定された物体について、前記物体の上に前記物体の特性を重畳表示する重畳表示制御部（８）と、
    を備えた車載情報表示装置。
14. 前記物体の特性としては、物体の画像、物体を説明する画像情報や文字情報が含まれている請求項１３記載の車載情報表示装置。
15. ユーザの顔画像を撮影する顔画像撮影部（２、３）と、
    撮影された顔画像に基づいてユーザを個人認識するユーザ認識部（８）と、
    ユーザの個人認識情報に基づいてユーザが使用する言語を用いてユーザが理解できる表示画面を表示する表示制御部（８）と、
    ユーザが特性を知りたいと判定された物体について、前記物体の上に前記物体の特性を重畳表示する重畳表示制御部（８）と、
    を備え、
    前記重畳表示制御部は、前記物体が道路上に設置された標識である場合、車両のウインドシールドガラスを通してユーザが見る前記標識の上に、前記標識の意味を説明する画像情報や文字情報を重畳表示するように構成された車載情報表示装置。
16. 前記重畳表示制御部は、ユーザが外国人であった場合、ユーザの国籍とユーザが高い頻度で利用する道路エリアの地図情報に基づいて、標識の意味をユーザが理解できるように説明する画像情報や文字情報を重畳表示するように構成された請求項１５記載の車載情報表示装置。