JP2015170113A - 表示物情報表示装置 - Google Patents

Abstract

【課題】ドライバが見落とした可能性がある表示物の情報をドライバが見つけやすいように表示する表示物情報表示装置を提供する。【解決手段】表示制御部Ｆ８が備えるリスト表示処理部Ｆ８１は、ドライバによる所定の操作を受け付けた場合に、表示物データリストＤ２に登録されている表示物の情報を、その見落とし度が高い順に並べた表示物リスト画像を表示する。ここで、表示装置７が備える表示領域は有限であるため、１つの画面内に表示される表示物リスト画像に含まれる表示物の件数（すなわち表示可能数）も有限である。しかし、表示物リスト画像は表示物検出部Ｆ３が検出した表示物を見落とし度が高い順に並べたリストを示しているため、表示リスト画像を表示した最初の画面においては、見落とし度が高いものから優先的に表示されることになる。【選択図】図２

Description

本発明は、道路上に設置されている種々の表示物の情報を表示装置に表示する表示物情報表示装置に関する。

従来、自車両が走行している道路上（道路沿いを含む）に設置されている看板などの表示物の情報を表示装置に表示する装置（すなわち表示物情報表示装置）として、特許文献１に開示の表示物情報表示装置がある。

特許文献１の表示物情報表示装置は、走行中において自車両の周辺をカメラで撮影し、その画像データにガソリンスタンドなどの料金看板などの予め定められている検出対象が含まれているか否かを周知の画像認識処理技術を用いて判定する。そして、その画像データに検出対象が含まれている場合には、その検出対象とする表示物に表示されている料金などの情報を抽出し、その表示物を掲示している施設と対応付けて保存する。特許文献１に記載の技術によれば、ドライバは、表示物から抽出されて保存されている情報を用いて、目的地とする施設の検索や設定を行うことができる。なお、表示物から取得した情報は、施設の検索条件に用いられる他、目的地とする施設を検索する検索画面に表示される。

特開２００７−７８６３２号公報

特許文献１には、道路上に設置されている表示物から取得した情報を、目的地の検索及び設定時に表示する技術が開示されているが、目的地の検索及び設定時以外のタイミングにおいて、道路上の表示物から取得した情報を表示することについては言及されていない。

道路上には、交差点に接続する道路の行き先を示す方面看板や、走行速度の上限などを示す規制標識など、種々の表示物などが設置されている。ドライバは、これらの表示物を見ることによって、目的地に到達するための経路や、より安全に運転するための情報などを認識することができる。

しかしながら、運転操作という重要なタスクを実施しているドライバにとっては、全ての表示物を見落とさずに視認することは難しい。そして、例えば方面看板を見落としてしまった場合には、その方面看板が案内している交差点において進むべき道路が分からなくなってしまう。

そこで、１つの解決策として、走行中において道路上に設置されている表示物の情報を取得して蓄積しておき、例えば所定の操作を受け付けた場合に、それらの表示物の情報を表示する構成が考えられる。このような構成とすれば、ドライバは、自身が見落とした表示物の情報を後からでも認識することができるようになる。

しかしながら、道路上から取得した全ての表示物の情報を表示してしまうと、ドライバは、多数の表示物の情報の中から必要な表示物の情報を見つけることが困難になってしまう。特に、ドライバは、自身が見落とした表示物については、それがどのような表示物であったかをドライバ自身が認識できていない可能性があり、多数の表示物の情報の中から自身が見落とした表示物の情報を見つけることがより一層困難である。

本発明は、この事情に基づいて成されたものであり、その目的とするところは、ドライバが見落とした可能性がある表示物の情報をドライバが認識しやすいように表示する表示物情報表示装置を提供することにある。

その目的を達成するための本発明は、自車両前方を逐次撮影する前方撮影装置（２）が撮影した画像データから、予め検出対象として設定されている表示物を検出する表示物検出部（Ｆ３）と、表示物検出部が検出した表示物に対して、ドライバがその表示物を見落としている可能性である見落とし可能性を評価する見落とし評価部（Ｆ６）と、表示物検出部が検出した表示物が表す情報である表示物内容情報と、その表示物に対して見落とし評価部が評価した見落とし可能性とを含む表示物毎のデータである表示物データをメモリ（９）に保存する保存処理部（Ｆ７）と、メモリに保存されている表示物毎の表示物データに基づいて、表示物の表示物内容情報を、表示装置（７）に表示する表示制御部（Ｆ８）と、を備え、表示制御部は、メモリに保存されている表示物データに対応する表示物のうち、見落とし可能性が高い表示物の表示物内容情報を優先して表示装置に表示することを特徴とする。

以上の構成では、表示制御部は、表示物の表示物内容情報を表示する際、ドライバが見落とした可能性が高いと見落とし評価部が評価した表示物の表示物内容情報を優先して表示装置に表示する。すなわち、ドライバが見落とした可能性が高い情報ほど優先的に表示される。

そしてドライバは、優先的に表示されている表示物内容情報を見ることによって自身が見落とした可能性がある表示物の内容を認識することができる。

実施形態に係る運転支援システム１００の概略的な構成の一例を示すブロック図である。 本実施形態に係る制御部１の概略的な構成の一例を示すブロック図である。 表示物データリストのデータ構成の一例を示す概念図である。 リスト表示処理部Ｆ８１が生成する表示物リスト画像の一例である。 表示物検出部Ｆ３が実施する表示物検出処理を説明するためのフローチャートである。 保存処理部Ｆ７が実施する表示物データ保存処理を説明するためのフローチャートである。 自動表示処理部Ｆ８２が実施する自動表示候補設定処理を説明するためのフローチャートである。 自動表示処理部Ｆ８２が実施する自動表示処理を説明するためのフローチャートである。 変形例３における制御部１Ａの概略的な構成の一例を示すブロック図である。 変形例３における表示物リスト画像の一例である。

以下、本発明の実施形態について図を用いて説明する。図１は、本実施形態に係る表示物情報表示システム１００の概略的な構成の一例を示す図である。図１に示すように表示物情報表示システム１００は、制御部１、前方カメラ２、車載センサ群３、入力装置４、ドライバモニタ５、地図データベース（以降、地図ＤＢ）６、表示装置７、音声出力装置８、メモリ９、及び通信装置１０を備える。制御部１と、前方カメラ２、車載センサ群３、入力装置４、ドライバモニタ５、地図データベース（以降、地図ＤＢ）６、表示装置７、音声出力装置８、メモリ９、及び通信装置１０とは、それぞれ周知の車両内ネットワークを介して相互通信を実施する。以下では、この表示物情報表示システム１００が搭載されている車両を自車両と称する。

前方カメラ２は、自車両前方の所定範囲（前方撮影範囲とする）を撮影するように、例えば車室内のルームミラー付近に設置され、前方撮影範囲を逐次（例えば１００ｍｓｅｃ毎に）撮影する。なお、ここでの前方とは自車両の正面方向に限らず、斜め前方も含む。前方カメラ２は前方撮影範囲内に存在する道路や道路上に存在する他車両等を逐次撮影する。前方カメラ２が撮影して生成される画像データは、制御部１に逐次入力される。

前方カメラ２は、本実施形態では光学式カメラであって、例えばＣＭＯＳカメラ又はＣＣＤカメラ等を用いることができる。もちろん、前方カメラ２は、赤外線カメラなどであっても良い。すなわち、前方カメラ２は、道路上（道路沿いも含む）に設置されている表示物を検出できる構成となっていればよい。また、前方カメラ２の設置位置は、ルームミラー付近に限らず、自車両の車室外（例えばフロントバンパ中央部）に配置されるものであってもよい。この前方カメラ２が請求項に記載の前方撮影装置に相当する。

車載センサ群３は、自車両の状態を検出する種々のセンサであって、例えば、車速センサや、加速度センサ、ジャイロセンサ、ＧＮＳＳ受信機、操舵角センサ、ブレーキストロークセンサ、アクセルペダルセンサ、方向指示レバー位置センサなどが含まれる。

車速センサは自車両の走行速度を検出し、加速度センサは自車両に作用する加速度を検出する。ＧＮＳＳ受信機は、ＧＮＳＳ（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ）で用いられる衛星からの電波を受信することで、ＧＮＳＳ受信機の現在位置を示すデータを取得する。ＧＮＳＳ受信機としては、例えばＧＰＳ受信機を用いることができる。

ジャイロセンサは自車両の鉛直軸周りの回転角速度を検出し、操舵角センサはステアリングの切れ角に基づいて操舵角を検出する。ブレーキストロークセンサはブレーキペダルの踏込量を検出し、アクセルペダルセンサはアクセルペダルの踏込量を検出する。方向指示レバー位置センサは、方向指示レバーが左折位置又は右折位置になっているかを検出する。車載センサ群３が備える種々のセンサが検出した検出値は、逐次制御部１に出力される。

入力装置４は、表示装置７が備える表示パネルと一体になっているタッチパネルであって、ドライバはこの入力装置４を操作することにより制御部１に各種機能の実行指示を行う。例えば、ドライバはこの入力装置４を操作することによって、後述する表示物リスト画像を表示するように制御部１に指示を行うことができる。入力装置４は、当該入力装置４に対してドライバが実施した操作に対応する制御信号を制御部１に出力する。

本実施形態では入力装置４としてタッチパネルを採用するが、入力装置４は、タッチパネルに限らず、メカニカルスイッチや、ドライバの発話によって指示入力できる音声認識装置であってもよい。もちろん、これらを組み合わせて実現しても良い。

ドライバモニタ５は、撮影面をドライバに向けた姿勢にて、車両の室内に設置されており、ドライバの顔を含む範囲を逐次（例えば１００ミリ秒毎に）撮影し、その撮影画像の画像データを、制御部１に逐次出力する。本実施形態ではドライバモニタ５を、ステアリングコラムカバーの上に取り付けるものとするが、その他の態様として、バックミラー部分になどに取付けてもよい。

また、本実施形態ではドライバモニタ５として、赤外線を検出することにより、可視光の少ない環境下においても撮像可能な赤外線カメラを用いる。もちろん、ドライバモニタ５は、赤外線カメラのほかに、例えばＣＭＯＳカメラやＣＣＤカメラ等、可視光を感知する光学式のカメラ等であってもよい。このドライバモニタ５が請求項に記載の顔部撮影装置に相当する。

地図ＤＢ６は、地図データを格納しているデータベースであって、例えばＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）などの、書き換え可能な不揮発性の記憶媒体を用いて実現される。もちろん、地図ＤＢ６において地図データを格納する記憶媒体は、ＨＤＤなどの磁気記憶媒体に限らず、ＤＶＤなどの光学記憶媒体等であってもよい。また、書き換え不可能な記憶媒体であってもよい。地図データは、道路の接続関係（すなわち道路網）を示す道路データなどを備えている。

道路データは、複数の道路が交差、合流、分岐する地点（ノードとする）に関するノードデータと、その地点間を結ぶ道路（すなわちリンク）に関するリンクデータを有する。ノードデータは、ノード毎に固有の番号を付したノードＩＤ、ノードの座標（緯度・経度）、ノード名称、ノードに接続する全てのリンクのリンクＩＤが記述される接続リンクＩＤ、及び信号機が設置されているか否か、などの各データを備える。

リンクデータは、道路毎に固有の番号を付したリンクＩＤ、リンク長、リンクの始端及び終端ノード、リンク上の各地点の座標データ、高速道路や一般道路などの道路種別、道路幅員、リンク方位、道路名称、車線数、制限速度などの各データを備える。

表示装置７は、制御部１からの指示に基づいてテキストや画像を表示し、種々の情報をドライバに報知する。表示装置７は、例えばフルカラー表示が可能なものであり、液晶ディスプレイ、有機ＥＬディスプレイ、プラズマディスプレイ等を用いて構成することができる。本実施形態において表示装置７は、インストゥルメントパネルの車幅方向中央付近に配置されるセンターディスプレイとする。

他の態様として、表示装置７はインストゥルメントパネルの運転席側の上部に配置されたメーターディスプレイであってもよい。また、表示装置７は、フロントガラスの運転席前方の一部分に虚像を映し出して種々の情報を表示する周知のヘッドアップディスプレイであってもよい。さらに、表示装置７は、センターディスプレイや、メーターディスプレイ、ヘッドアップディスプレイなどを組み合わせて実現されても良い。表示装置７が複数のディスプレイを備える場合には、制御部１がその表示させるデータ毎に、そのデータの出力先とするディスプレイを選択すればよい。

音声出力装置８は、スピーカ等から構成され、制御部１から入力される音声データを音声（単なる音も含む）に変換して出力する。

メモリ９は、書き換え可能な不揮発性の記憶媒体と、その記憶媒体に対してデータの読み出し及び書き出しを行う装置と、を備えている。メモリ９が備える記憶媒体としては、磁気ディスクや光学ディスク、及びフラッシュメモリなど周知の記憶媒体を用いることができる。本実施形態においてはメモリ９が備える記憶媒体として、一例としてＳＤカード等の取り外し可能な記憶媒体を用いる構成とする。もちろん、記憶媒体として、ＤＶＤ、ＣＤ、ＨＤＤなどを採用してもよい。メモリ９は、後述する画像認識用データＤ１と表示物データリストＤ２を記憶する。

通信装置１０は、送受信アンテナを備え、例えば電話回線やインターネットなどの通信ネットワークを介して、外部に設けられた情報収集サーバ（図示略）などと通信を行う。ここでは一例として、通信装置１０は、公知の第３世代移動体通信システムで用いられる通信モジュールによって実現されるものとする。もちろん、通信装置１０として、この他、ＤＣＭ（Ｄａｔａ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｍｏｄｕｌｅ）といった車載通信モジュールなどの様々なものを採用することができる。また、通信装置１０は、交差点などに設置される路側機を介して、情報収集サーバと通信を実施してもよい。

制御部１は、通常のコンピュータとして構成されており、周知のＣＰＵ、ＲＯＭやＥＥＰＲＯＭ、フラッシュメモリなどの不揮発性メモリ、ＲＡＭなどの揮発性メモリ、Ｉ／Ｏ、及びこれらの構成を接続するバスライン（何れも図示略）などを備えている。不揮発性メモリには、種々の処理を実行するためのプログラムモジュールやデータが格納されている。

ここで、図２を用いて、制御部１が不揮発性メモリに格納されている種々のプログラムモジュールを実行することによって実現される機能について説明する。制御部１は、図２に示すように機能ブロックとして、位置検出部Ｆ１、操作受付部Ｆ２、表示物検出部Ｆ３、運転負荷判定部Ｆ４、視線検出部Ｆ５、見落とし評価部Ｆ６、保存処理部Ｆ７、表示制御部Ｆ８、及び通信処理部Ｆ９を備える。これらの機能を備える制御部１が請求項に記載の表示物情報表示装置に相当する。

位置検出部Ｆ１は、ＧＮＳＳ受信機や、車速センサ、ジャイロスコープなどの車載センサ群３が備えるセンサから入力される信号に基づいて、自車両の現在位置を検出する。現在位置を示す位置情報は、例えば緯度、経度で表される構成とすればよい。位置検出部Ｆ１は、逐次（例えば１００ミリ秒毎）に自車両の位置情報を取得する。この位置検出部Ｆ１が請求項に記載の位置取得部に相当する。

なお、現在位置を検出するために用いられるセンサ群は、各々が性質の異なる誤差を持っているため、複数のセンサにより各々補完しながら使用するように構成されている。もちろん、各センサの精度によっては、上述したセンサの一部の出力値を用いても良い。

操作受付部Ｆ２は、入力装置４から入力される制御信号から、ドライバが入力装置４に対して為した操作に対応する処理を受け付ける。例えば、操作受付部Ｆ２は、ドライバ操作に基づいて、表示物リスト画像を表示する処理を受け付ける。操作受付部Ｆ２が受け付けた処理は、キューに蓄積され、逐次実施されていく。

表示物検出部Ｆ３は、前方カメラ２から逐次入力される画像データに対して、周知の画像認識処理を行うことで、検出対象として予め設定されている表示物を検出する。画像認識処理には、パターンマッチングやハフ（Ｈｏｕｇｈ）変換等の公知の方法を用いて行う構成とすればよい。

より具体的には、前方カメラ２から取得した画像データに対してエッジ検出などの公知の画像処理を行い、画像に含まれている全ての物体の輪郭を抽出する。そして、画像処理を施した画像データに対して、パターンマッチング処理を行うことによって、検出対象となっている表示物を検出する。なお、画像処理としては、エッジ検出の他にも、例えば鏡像に変換する鏡像変換やレンズの特性で画像周辺部に生じる歪みを補正する歪み補正等も行う構成としてもよい。

本実施形態において検出対象とする表示物は、案内標識や警戒標識、規制標識、指示標識、及び補助標識などを含む道路標識とする。案内標識は、方面看板などの経路案内用の標識（すなわち経路案内標識）や、地点の名称並びに道路の名称及び道路番号を示す地点案内標識を含む。警戒標識は、強風や落石、スリップなどに対してドライバに注意深い運転を促す標識である。規制標識は、その標識が設置されている道路への進入を禁止していることを示す進入禁止標識や、車線毎の進行方向を示す進行方向制限標識、制限速度を示す制限速度標識などを含む。

指示標識は、横断歩道を示す標識や、停止線を示す標識、優先道路であることを示す標識などを含む。補助標識は、案内標識や警戒標識、規制標識、指示標識とともに用いられ、当該補助標識の近傍に設置されている標識（例えば規制標識）に対して情報を付加する標識である。

もちろん、検出対象とする表示物としては、その表示物が示す内容が固定されているものに限らない。例えば電光掲示板などの、表示内容が動的に変化するものであってもよい。すなわち、検出対象は、制限速度や事故の発生の有無、有料道路の料金などの道路情報を示す電光掲示板を含む。また、本実施形態では、道路標識を検出対象としたが、これに限らない。ガソリンスタンドの料金などを示す看板を検出対象としてもよい。

これらの検出対象とする表示物を画像データから検出するための画像認識処理に用いられるデータ（画像認識用データとする）Ｄ１は、メモリ９に格納されている。例えば、メモリ９は画像認識用データとして、検出対象毎に、その検出対象の形状パターンを表すデータを記憶している。各形状パターンデータには、その検出対象が示す内容を表す表示物種別が設定されている。例えば、制限速度標識を検出するための形状パターンデータには、その表示物種別として制限速度標識と設定されているものとする。したがって、表示物検出部Ｆ３は、検出対象とする表示物を検出すると、その検出した表示物の表示物種別を取得することができる。

また、画像認識用データＤ１は、ひらがなや、カタカナ、アルファベットなどの文字の形状パターンを表すデータも備えている。これによって、表示物検出部Ｆ３は、電光掲示板に表示されるテキストや、道路標識に含まれる文字列も取得できることとする。

表示物検出部Ｆ３は、検出対象となっている表示物を画像データ内に検出すると、検出対象となっている表示物を検出したことを、見落とし評価部Ｆ６や保存処理部Ｆ７などに通知する。なお、表示物検出部Ｆ３は、検出対象となっている表示物を検出すると、その検出した表示物に対して、固有の番号である表示物ＩＤが付与する。表示物ＩＤは、検出対象を検出した順番に設定される番号であってもよいし、その表示物を検出した時刻を用いてもよい。

また、表示物検出部Ｆ３は、検出対象となっている表示物を画像データ内に検出すると、当該画像データからその表示物の部分を切り出して、その表示物を保存処理部Ｆ７に出力する。この表示物検出部Ｆ３が切り出した当該表示物の画像を表示物画像と称する。表示物画像は、表示物ＩＤ及び表示物種別とともに保存処理部Ｆ７に出力される。

さらに、表示物検出部Ｆ３は、検出対象となっている表示物を画像データ内に検出すると、当該画像データ内におけるその表示物の位置と、自車両における前方カメラの設定位置と、その撮像方向と、から、自車両に対して当該表示物が存在する位置を検出する。自車両に対して当該表示物が存在する位置を以降では、表示物相対位置と称する。また、一度検出した表示物は、周知の物体追跡（トラッキング）手法を用いて追尾し、その表示物相対位置を逐次更新する。表示物相対位置は、その表示物に設定されている表示物ＩＤとともに、後述する見落とし評価部Ｆ６に逐次出力する。

運転負荷判定部Ｆ４は、自車両の走行状態を表す、車載センサ群３が備える種々のセンサから入力されるセンサ値に基づいて、ドライバの運転負荷の大きさを表す運転負荷レベルを判定する。

ここでは、一例として運転負荷レベルを判定するパラメータとして、車速センサが検出する車速、加速度センサが出力する加速度、操舵角センサが検出する操舵角、ヨーレートセンサが検出するヨーレート、方向指示レバー位置センサが検出する方向指示レバーの位置などを用いる構成とする。

例えば、運転負荷判定部Ｆ４は、車速や加速度、操舵角、ヨーレートが大きいほど、運転負荷レベルが高いと判定する。また、方向指示レバーの位置が左折位置や右折位置となっている場合にも運転負荷をより高く判定する。これは、方向指示レバーが左折位置又は右折位置となっている場合には、ドライバが交差点で左折又は右折をしようとしている状況や、車線変更をしようとしている状況を意味しているからである。いずれの状況においても、ドライバは周囲の安全をより注意深く確認する必要があるため、ドライバの運転負荷は相対的に高いといえる。

また、運転負荷判定部Ｆ４は、位置検出部Ｆ１が検出した位置情報と、地図ＤＢ６が記憶している地図データとから、自車両が現在走行している道路の道路種別や道路形状を特定し、その特定した道路種別や道路形状に基づいて運転負荷レベルを判定してもよい。例えば、自車両が高速道路を走行している場合には、一般道を走行している場合よりも運転負荷レベルを高く判定する。また、自車両が急カーブを走行している場合も、直線道路を走行している場合よりも運転負荷レベルを高く判定する。

本実施形態の運転負荷判定部Ｆ４は、一例として、ドライバの運転負荷レベルを高レベル、中レベル、低レベルの３段階で表すこととする。運転負荷判定部Ｆ４が上述したパラメータを用いて、現在の運転負荷レベルが何れのレベルに該当するかを判定するための条件は、適宜設計されれば良い。

ここでは、車速、加速度、操舵角、ヨーレートといったパラメータ毎に、要素負荷レベルを判定し、パラメータ毎の要素レベルに基づいて運転負荷レベルを判定する。要素負荷レベルは、そのパラメータ毎の状態を表すものであって、運転負荷レベルを判定するために用いられる。

要素負荷レベルは、ここでは運転負荷レベルと同様に、高、中、低レベルの３段階で表す。要素負荷レベルが高いほど、運転負荷レベルが高い可能性が高いことを意味する。各パラメータには、そのパラメータの要素負荷レベルが中レベルであると判定するための第１閾値、及び運転負荷レベルが高レベルであると判定するための第２閾値を予め設定しておく。

例えば、車速の第１閾値を４０ｋｍ／ｈ、第２閾値を８０ｋｍ／ｈと設定し、現在の車速が第２閾値以上となっている場合には、車速の要素負荷レベルは高レベルであると判定する。また、現在の車速が第２閾値未満であって且つ第１閾値以上となっている場合には、車速の要素負荷レベルは中レベルであると判定し、第１閾値未満である場合には、車速の要素負荷レベルは低レベルであると判定する。他のパラメータに対しても、同様に適宜、第１閾値及び第２閾値を設定しておき、パラメータ毎の要素負荷レベルを判定する。

そして、全てのパラメータのうち、要素負荷レベルが高レベルとなっているパラメータが１つでも存在する場合には、運転負荷レベルは高レベルであると判定する。また、要素負荷レベルが高レベルとなっているパラメータが存在せず、かつ、要素負荷レベルが中レベルとなっているパラメータが所定数（例えば２つ）以上存在する場合には、運転負荷レベルを中レベルと判定する。要素負荷レベルが高レベルとなっているパラメータが存在せず、かつ、要素負荷レベルが中レベルとなっているパラメータが所定数（例えば２つ）未満である場合には、運転負荷レベルを低レベルと判定する。

なお、方向指示レバーが左折位置か右折位置のいずれかに設定されている場合には、運転負荷レベルを１段階高く判定する。ただし、既に運転負荷レベルが高レベルとなっている場合には、高レベルを維持する。

視線検出部Ｆ５は、ドライバモニタ５が撮影した画像データを逐次取得し、その画像データから、公知の画像処理技術を用いて特徴点を検出し、顔領域、及び顔領域における目領域、黒目部分などを検出する。本実施形態のドライバモニタ５は自車両に固定して設置されているとともに、撮像方向も固定されているため、画像データにおける顔領域の位置や大きさに応じて、次車両内におけるドライバの顔の位置を特定することができる。そして、視線検出部Ｆ５は顔領域の大きさと顔領域における目領域の位置および黒目の位置から、ドライバの顔の向きや視線方向を算出する。この視線検出部Ｆ５が請求項に記載の視線方向検出部に相当する。

見落とし評価部Ｆ６は、表示物検出部Ｆ３が検出した表示物をドライバが見落とした可能性の度合いを、運転負荷判定部Ｆ４が判定している運転負荷レベルと、その表示物の表示物相対位置と、視線検出部Ｆ５が検出しているドライバの視線方向と、に基づいて算出する。以降では、表示物検出部Ｆ３が検出した表示物をドライバが見落とした可能性を示す度合いを、見落とし度と称する。この見落とし度が請求項に記載の見落とし可能性に相当する。

本実施形態における見落とし評価部Ｆ６は、一例として次に述べる手順によって、見落とし度を１〜５の５段階で表す。この見落とし度の値が大きいほど、ドライバがその表示物を見落とした可能性が高いことを表す。

見落とし評価部Ｆ６は、まず、ドライバの視線方向と、表示物相対位置とに基づいて、１次見落とし度を判定する。そして、その１次見落とし度に対して運転負荷レベルに応じた補正を行うことで、当該表示物に対する最終的な見落とし度を決定する。なお、１次見落とし度もまた、見落とし度と同様に、表示物検出部Ｆ３が検出した表示物をドライバが見落とした可能性の度合いを表すものであって、その値が大きいほど、見落とした可能性が高いことを意味する。

より具体的には、見落とし評価部Ｆ６は、表示物を検出してから当該表示物を自車両が通り過ぎるまでに、ドライバの視線方向が第１判定時間（例えば０．５秒）以上継続して、ドライバにとって表示物が存在する方向（表示物方向とする）となったか否かを判定する。表示物方向は、表示物検出部Ｆ３が逐次算出している当該表示物の表示物相対位置と、視線検出部Ｆ５が逐次検出しているドライバの頭部の車両内における位置から算出すればよい。

表示物を検出してから当該表示物を自車両が通り過ぎるまでに、ドライバの視線方向が、第１判定時間（例えば０．５秒）以上継続して表示物方向となった場合には、ドライバがその表示物の内容を認識している可能性が高い。したがって、１次見落とし度を、見落とした可能性が最も低いことを示す１と評価する。

一方、ドライバの視線方向が表示物方向となったことを検出したが、そのドライバの視線方向が表示物方向となっている継続時間が第１判定時間（例えば０．５秒）未満である場合には、１次見落とし度を２と評価する。また、ドライバの視線方向と表示物方向とが一致していないが、ドライバの視線方向と表示物方向とが所定角（例えば３０度）以内となっている時間が第２判定時間（例えば１．５秒）以上であれば、１次見落とし度を３と評価する。その他の場合には、１次見落とし度を４に設定する。

次に、以上に求めた１次見落とし度に対して、運転負荷レベルが高いほど見落とし度が高くなるように、運転負荷レベルに応じた補正を行って最終的な見落とし度を決定する。なお、ここで用いる運転負荷レベルは、表示物を検出してから当該表示物を自車両が通り過ぎるまでに判定された運転負荷レベルのうち、最も高いレベルものとする。すなわち、表示物を検出してから当該表示物を自車両が通り過ぎるまでに運転負荷レベルが１回でも高レベルと判定した場合には、運転負荷レベルは高レベルであったとして補正を行う。見落とし度を評価する際に用いる運転負荷レベルの決定方法は、適宜設計されればよい。

ここでは、１次見落とし度に運転負荷レベルに応じて定まる補正値を加算して見落とし度を決定する。より具体的には、運転負荷レベルが高レベルとなっている場合には、１次見落とし度に対して１を加算した値を、見落とし度とする。例えば、１次見落とし度が４であって、かつ、運転負荷レベルが高レベルとなっている場合、見落とし評価部Ｆ６は見落とし度を５に決定する。一方、運転負荷レベルが低レベルまたは中レベルである場合には、１次見落とし度に０を加算した値を見落とし度として採用する。すなわち、１次見落とし度の値をそのまま見落とし度とする。

もちろん、その他の態様として、１次見落とし度に運転負荷レベルに応じて定まる補正値を乗算することで、見落とし度を決定してもよい。その場合の補正値も、運転負荷レベルが高いほど見落とし度が高くなるように設定する。

また、ここでは、ドライバの視線方向と表示物方向とから１次見落とし度を評価し、その１次見落とし度に対して運転負荷レベルに応じた補正を行って見落とし度を決定する構成としたが、これに限らない。最初に運転負荷レベルに応じて、仮の見落とし度（すなわち、１次見落とし度）を評価し、その結果に対して、ドライバの視線方向及び表示物方向を用いた補正を行って、最終的な見落とし度を決定してもよい。

すなわち、見落とし評価部Ｆ６は、表示物を検出してから自車両が当該表示物を通過するまでの、運転負荷レベルが高ければ高いほど、また、ドライバの視界に表示物が入っている時間が短いほど、見落とし度が高く評価すればよい。

さらに、本実施形態では見落とし可能性の算出に、運転負荷レベルと、ドライバの視線方向との両方を用いる構成としたがこれに限らない。ドライバの視線方向は用いずに、運転負荷レベルに応じて見落とし可能性を算出してもよい。その場合、運転負荷レベルが高いほど、見落とし可能性を高くなるように算出する。また、見落とし可能性の算出に、運転負荷レベルを用いずに、その表示物の表示物相対位置と、ドライバの視線方向と、に基づいて見落とし可能性を算出してもよい。この場合、本実施形態の構成から、運転負荷レベルに応じた補正を行わない態様となる。

尚、表示物検出部Ｆ３が検出した表示物をドライバが見落とした可能性を、その可能性を表す度合いで表す構成としたがこれに限らない。他の態様として、表示物検出部Ｆ３が検出した表示物をドライバが見落とした可能性を、百分率などで表しても良い。

保存処理部Ｆ７は、表示物検出部Ｆ３が検出した表示物に関するデータ（表示物データとする）をメモリ９に保存する。ここでの表示物データとは、表示物ＩＤ、表示物画像、表示物種別、その表示物を検出した時刻、その表示物を検出した地点（すなわち検出地点）の位置情報、その表示物が設置されている地点（すなわち設置地点）の位置情報を含む。また、表示物の情報には、その表示物を検出（及び追跡）している間における運転負荷レベルや、その表示物に対して見落とし評価部Ｆ６が評価した見落とし度なども含む。

検出地点の位置情報としては、その表示物を検出したときの自車両の現在位置を採用する。なお、表示物を検出したときの自車両の現在位置とは、表示物した検出時点に位置検出部Ｆ１が取得した自車両の現在位置に限るものではなく、その表示物を検出した時点に前後する時点において、位置検出部Ｆ１が取得した自車両の現在位置まで含むものとする。
また、表示物が設置されている地点の位置情報は、表示物を検出した地点の位置情報と表示物相対位置とから算出すればよい。

運転負荷レベルについては、前述の通り、その表示物を検出してから通過するまでの間において運転負荷判定部Ｆ４が判定した運転負荷レベルのうち最も高いレベルのものを採用する。もちろん、他の態様として、その表示物を検出した時点における運転負荷レベルであっても良い。また、検出してから通過するまでの運転負荷レベルの平均値や中央値であってもよい。さらには、その表示物を検出してから通過するまでの間において運転負荷判定部Ｆ４が判定した運転負荷レベルを時系列に並べた時系列データが保存されていても良い。

本実施形態における保存処理部Ｆ７は、表示物検出部Ｆ３から表示物ＩＤ及び表示物画像が入力されると、その表示物に対応する表示物データを生成して表示物データリストＤ２に追加保存する。表示物データリストＤ２は、表示物検出部Ｆ３が検出した表示物毎の表示物データをリスト構造で備えるデータである。制御部１は、表示物データが備える表示物ＩＤを指定することによって、その表示物ＩＤに対応する表示物データを参照することができる。図３に、メモリ９に保存されている表示物データリストＤ２のデータ構成の一例を示す。

図３に示すように表示物データリストＤ２において各表示物画像Ｂ〜Ｆは、その表示物を検出した時刻、表示物を検出した地点の位置情報、表示物が設置されている地点の位置情報、運転負荷レベル、及びその表示物に対して見落とし評価部Ｆ６が判定した見落とし度、のそれぞれと対応付けられて保存されている。

なお、保存処理部Ｆ７は、表示物データを追加する際には、表示物データリストの先頭に追加する構成とする。すなわち、表示物データリストが備える表示物データは、新しく追加されたデータから検出時刻が遡っていくように並んでいる。したがって、メモリ９に保存されている表示物データリストにおいては、最も新しい表示物データが一番上位（すなわち先頭）に配置されている。表示物データリストＤ２が備える表示物データの並び順については、適宜設計されればよい（例えば変形例２）。

例えば図３において表示物ＩＤが６となっている表示物の表示物画像は表示物画像Ｆであり、その表示物の種別は、方面看板である。なお、表示物画像が実際に保存されている記憶領域は、このリストが保存されている記憶領域とは異なる場所であって、表示物データが備える表示物画像の欄には、表示物画像Ｆが保存されている記憶領域のアドレスが格納されていることとする。表示物ＩＤ＝６の表示物の検出時刻は、時刻Ｔ６であり、検出地点はＰ１６、設置地点はＰ２６である。また、この表示物を検出している間の運転負荷レベルは高レベルであり、見落とし評価部Ｆ６が評価した見落とし度は５である。

他の表示物ＩＤが５〜２となっている表示物データについても、表示物ＩＤ＝６となっている表示物データと同様に、種々のデータと対応付けられている。なお、表示物ＩＤが５の表示物、及び表示物ＩＤが４の表示物を検出している間の運転負荷レベルは、何れも中レベルであるが、それぞれの見落とし度が異なっている理由は、ドライバの視線方向による１次見落とし度が異なっているためである。

表示制御部Ｆ８は、表示装置７に表示させる画像データを生成し、生成した画像データを表示装置７に出力して表示させる。表示制御部Ｆ８は、より細かい機能ブロックとして図２に示すように、リスト表示処理部Ｆ８１、及び自動表示処理部Ｆ８２を備える。

リスト表示処理部Ｆ８１は、表示物検出部Ｆ３が検出した表示物の一覧を表す画像（表示物リスト画像）を表示させるためのドライバ操作を操作受付部Ｆ２が受け付けた場合に、表示物データリストＤ２から表示物リスト画像を生成して表示装置７に表示させる。表示物リスト画像は、表示物データリストＤ２に登録されている表示物の情報を、その見落とし度が高い順に並べた画像である。なお、表示物リスト画像として表示されるリストを以降では表示物リストと称する。本実施形態においては、表示装置７に表示される表示物リストと、メモリ９に格納されている表示物データリストＤ２とは別のものとして扱う。

その表示物リスト画像の一例を図４に示す。図４に示す表示物リスト画像中に示されているリストは、表示物データリストＤ２に登録されている表示物に対応するボタン画像（以降、ボタン）Ｂ１〜５を備えている。各ボタン上には、そのボタンに対応する表示物についての情報が表されており、ドライバはそのボタン上の情報をみることで、そのボタンに対応する表示物の情報を認識することができる。

また、各ボタンＢ１〜５は、ドライバによるタッチ操作を受け付けるボタンとしての役割を備えており、ドライバは、ボタンＢ１〜５の何れかを選択（ここではタッチ操作）すると、その表示物に対応する表示物画像を表示させることができる。すなわち、各ボタンＢ１〜５は、その表示物に対応する表示物画像を表示するためのドライバ操作を受け付けるボタンである。ドライバは、表示物画像を表示させることによって、その表示物についてのより詳細な情報を知ることができる。

ここでは、各ボタンＢ１〜５は、そのボタンに対応する表示物の情報として、表示物の表示物種別と、検出地点と、見落とし度と、を示すテキスト情報を含んでいる。ここでは検出地点の項目は、ここでは検出地点の座標ではなく、現在地からの距離で表している。例えば、ボタンＢ１の検出地点の項目は、現在地からＤ１メートル前通過した地点に設置されている表示物であることを示している。表示物の設置地点と現在地との距離は、表示物データリストＤ２に登録されている設置地点と、位置検出部Ｆ１が取得した自車両の現在位置と、地図データと、から算出すればよい。もちろん、他の態様として、その表示物を検出した道路の名称などの情報を表示してもよい。表示物を検出した道路の名称は、検出地点の位置情報をもとに地図データを参照して取得すればよい。

また、見落とし度を示す項目は、ここでは表示物データリストＤ２に登録されている見落とし度をそのまま表示するが、その他、表示物データリストＤ２に登録されている見落とし度に応じて、百分率に置き換えて表示してもよい。

さらには、見落とし度に応じて、ボタンの表示態様を変更することで、その表示物の見落とし度を表現してもよい。例えば、見落とし度が高い順に、各ボタンの色を、赤色、橙色、黄色、黄緑、緑色などとすればよい。また、見落とし度が最も高い表示物のボタンについては、点滅させるなどの強調表示をしてもよい。すなわち、見落とし度の項目は、そのボタンに対応する表示物の見落とし度を、ドライバが認識できるように表示されればよい。各ボタンの表示態様、及びボタンに表示する情報は、適宜設計されればよい。

なお、リスト表示処理部Ｆ８１は、表示物リストをリストの上位から（すなわちリストの先頭から）順に表示する。表示物リストは表示物検出部Ｆ３が検出した表示物を見落とし度が高い順に並べたリストであるため、見落とし度が高いものから順に表示されることになる。

ここで、表示装置７が備える表示領域は有限であるため、表示物リスト画像を表示している場合において、１つの画面内に表示される、表示物に対応するボタンの数（表示可能数とする）も一定の値となる。表示物データリストＤ２が備える表示物データの数が、表示可能数以上となっている場合、見落とし度が相対的に低い表示物のボタンは、最初に表示される画面には表示されない。また、最初の画面に表示される場合であっても、相対的に見落とし度が高い表示物のボタンよりは下に配置される。

なお、本実施形態では表示物リスト画像を表示した最初の画面に表示されなかった表示物のボタンは、スクロールバーＳｂｒ上においてスクロールボックスＳｂｘを下方向にスライドさせることで表示させることができる構成とする。

もちろん、他の態様として表示物リスト画像を、１つの画面単位（すなわちページ単位）で生成する場合には、次の画面に遷移するドライバ操作を実施することで、ドライバは最初の画面に表示されなかった表示物に対応するボタンを表示させることができる。

したがって以上の構成によれば、見落とした可能性が高い表示物のボタンほど優先して表示装置７に表示されることとなる。また、このように見落とした可能性が高い表示物のボタンほど優先して表示装置７に表示されることによって、ドライバは、表示物リスト画像に表示されている複数の選択肢の中から、見落とした可能性が高い表示物に対応するボタンを選択しやすくなる。

なお、本実施形態では、表示物データリストＤ２に登録されている表示物に対応するボタン画像（以降、ボタン）Ｂ１〜５は、そのボタンに対応する表示物の表示物画像を表示するための操作を受け付ける機能を備えていたが、これに限らない。単純に、そのボタンに対応する表示物の表示物内容情報を表すだけであってもよい。

自動表示処理部Ｆ８２は、表示物データリストＤ２に登録されている表示物のうち、その見落とし度が所定の閾値（自動表示用閾値とする）以上となっている表示物の内容を表す情報（表示物内容情報とする）を、所定のタイミングで自動的に表示装置７に表示する。本実施形態では、表示物内容情報として、その表示物の表示物画像を表示する構成とする。この見落とし度が所定の閾値以上となっている表示物の表示物画像を自動的に表示するための処理を、以降では自動表示処理と称する。

ここでは、見落とし度が５以上となっている表示物の表示物画像を自動で表示装置７に表示することとする。また、自動表示処理を実施するための準備処理として、自動表示候補設定処理を実施する。この自動表示処理部Ｆ８２が実施する種々の処理についての詳細については後述する。

通信処理部Ｆ９は、通信装置１０が受信したデータを取得するとともに、制御部１が生成したデータを通信装置１０に出力して送信させる処理を実施する。

（表示物検出処理）
ここで、図５に示すフローチャートを用いて、表示物検出部Ｆ３が前方カメラ２から入力される画像データから検出対象とする表示物を検出する処理（以降、表示物検出処理）の流れについて説明する。図５に示すフローチャートは、一例として逐次（例えば１００ｍ秒毎に）開始される。

まず、ステップＳ１１では前方カメラ２から画像データを取得してステップＳ１１に移る。ステップＳ１２では、ステップＳ１１で取得した画像データに対して周知の画像認識処理を実施し、検出対象とする表示物、すなわち画像認識用データが備える形状パターンデータと一致する表示物が、その画像データ内に含まれているかを判定する。

そして、ステップＳ１１で取得した画像データに、検出対象とする表示物を検出した場合にはステップＳ１３がＹＥＳとなってステップＳ１４に移る。一方、ステップＳ１１で取得した画像データに、検出対象とする表示物を検出しなかった場合には、ステップＳ１３がＮＯとなってステップＳ１８に移る。

ステップＳ１４では、ステップＳ１３で検出した表示物が、前回の表示物検出関連処理において既に検出されている表示物であるか否かを判定する。検出済みの表示物に対しては追跡処理を実施している為、検出済みの表示物と初めて検出した表示物とは区別することができる。検出済みの表示物とは、既に表示物ＩＤが設定されている表示物ともいうことができる。ステップＳ１３で検出した表示物が検出済みの表示物である場合には、ステップＳ１４がＹＥＳとなってステップＳ１９に移る。一方、ステップＳ１３で検出した表示物が検出済みの表示物ではなく、初めて検出した表示物である場合には、ステップＳ１４がＮＯとなってステップＳ１５に移る。

ステップＳ１５では、この表示物に対して表示物ＩＤを設定するとともに、ステップＳ１１で取得した画像データから、この表示物に該当する領域を抽出し、表示物画像を生成する。また、表示物の形状パターンから表示物種別を特定する。ステップＳ１５の処理が完了するとステップＳ１６に移る。

なお、ステップＳ１３及びステップＳ１４の結果、新たに検出したと判定した表示物の種別が補助標識であった場合には、その補助標識近傍に存在する本標識をまとめて抽出する。ここでの補助標識の近傍とは、補助標識から例えば実空間において１ｍに相当する範囲内を指す。また、新たに検出した本標識の近傍に補助標識が存在する場合にも、同様にまとめて抽出する。

ステップＳ１６では、ステップＳ１１で取得した画像データにおける当該表示物の位置及び大きさから、自車両に対する当該表示物の相対位置（すなわち表示物相対位置）を算出してステップＳ１７に移る。

ステップＳ１７では、表示物データ保存処理を呼び出して本フローを終了する。表示物データ保存処理については、別途図６に示すフローチャートを用いて説明する。なお、表示物データ保存処理を実行するための引数として、表示物検出部Ｆ３は、表示物ＩＤや、表示物画像、表示物相対位置、表示物種別などを保存処理部Ｆ７に渡す。

ステップＳ１８では、ステップＳ１１で取得した画像データを破棄して本フローを終了する。ステップＳ１９では、検出済みの表示物に対して、前述の通り周知の物体追跡技術を用いて、今回のステップＳ１１で取得した画像データ内における検出済みの表示物に相当する画像領域を特定する。そして、追跡処理によって特定した当該表示物の表示物相対位置を算出し、表示物ＩＤとともに見落とし評価部Ｆ６に出力し、本フローを終了する。

（表示物データ保存処理）
次に、図６に示すフローチャートを用いて、保存処理部Ｆ７が実施する、表示物検出部Ｆ３が検出した表示物の表示物データをメモリ９に保存する処理（すなわち表示データ保存処理）について説明する。図６に示すフローチャートは、図５のフローチャートのステップＳ１７に移った際に開始される。

なお、図６のフローチャートで示す処理と、図５のフローチャートで示す処理とは並行に行われ、図６のフローチャートにおける表示物保存処理が完了していない場合でも、図５のフローチャートは、逐次（１００ミリ秒毎に）開始されるものとする。また、表示物種別が本標識となっている表示物を、同時に複数検出した場合には、それぞれの表示物に対して、表示物保存処理を呼び出す。これら複数の処理は、周知のタスクスケジューリングアルゴリズムを用いて単一のＣＰＵにおいて行われてもよいし、複数のＣＰＵにおいて並列して行われてもよい。

まず、ステップＳ２１では、表示物検出部Ｆ３から取得した表示物の表示物ＩＤ、表示物画像、表示物相対位置、表示物種別を取得してステップＳ２２に移る。

ステップＳ２２では、位置検出部Ｆ１が取得した自車両の現在位置を取得する。このステップＳ２２で取得した現在位置が、表示物の検出地点を表す。また、現在位置と、表示物相対位置とから、表示物の設置地点の位置を算出してステップＳ２３に移る。

ステップＳ２３では、運転負荷判定部Ｆ４が判定した運転負荷レベルから、当該表示物を検出している間の運転負荷レベルを決定してステップＳ２４に移る。本実施形態では、表示物を検出してから通過するまでの運転負荷レベルの最大値である。

ステップＳ２４では、当該表示物に対して見落とし評価部Ｆ６が評価した見落とし度を取得してステップＳ２５に移る。ステップＳ２５では、以上で求めた一連のデータをそれぞれ対応付けたデータ（すなわち表示物データ）を、表示物データリストＤ２に追加保存して、本フローを終了する。

（自動表示候補設定処理）
ここで、図７に示すフローチャートを用いて、自動表示処理部Ｆ８２が実施する、表示物データリストＤ２に登録されている表示物のうち、自動表示処理において自動的に表示する表示物の候補を設定する処理（すなわち、自動表示候補設定処理）について述べる。以降では、自動表示処理において自動的に表示する表示物の候補を、自動表示候補と称する。図７に示すフローチャートは、イグニッション電源がオンとなっている間、逐次（例えば１００ミリ秒毎に）実施されればよい。

まずステップＳ３１では、表示物データリストＤ２に新たに検出された表示物のデータが追加されたか否かを判定する。まだ新規データが追加されていない場合には、ステップＳ３１がＮＯとなってステップＳ３４に移る。一方、新規データが追加されている場合には、ステップＳ３１がＹＥＳとなってステップＳ３２に移る。

ステップＳ３２では、その追加された表示物の見落とし度が、自動表示用閾値（ここでは５）以上となっているか否かを判定する。追加された表示物の見落とし度が、自動表示用閾値以上となっている場合にはステップＳ３２がＹＥＳとなってステップＳ３３に移る。追加された表示物の見落とし度が、自動表示用閾値未満である場合にはステップＳ３２がＮＯとなってステップＳ３４に移る。

ステップＳ３３では、その表示物を自動表示候補に設定する。なお、自動表示候補に設定する際には、当該表示物を自動表示候補から解除する条件（解除条件とする）を設定する。これは以下の理由による。

すなわち、表示物内容情報は、検出してから時間が経過したり、設置位置から離れてしまったりしてその情報の有用性が低下してしまう。例えば、駐車禁止標識が表す情報は、その駐車禁止標識が設置されている地点付近においては有用であるが、その設置位置から離れるとその情報は有用ではなくなってしまう。

したがって、自動表示候補に設定した表示物を、仮にいつまでも自動表示候補に設定しておくと、自車両の走行に伴って有用性が低下したタイミングで、その表示物の表示物内容情報を表示してしまう場合があり、その場合、かえってドライバに煩わしさを与えてしまう恐れがある。そこで、本実施形態のように各自動表示候補に解除条件を設けておくことによって、有用性が低下した情報が自動的に表示される可能性を低減することができる。

ここで自動表示候補に設定される解除条件は、位置情報を用いて設定しても良いし、時間情報を用いて設定しても良い。また。これらを組み合わせて設定してもよい。位置情報を解除条件に用いる場合には、例えば設置地点から所定距離走行した場合に解除条件を満たしたと判定する。また、方面看板などであれば、その方面看板が案内している交差点を通過した場合に解除条件を満たしたと判定してもよい。方面看板に対応する交差点は地図データを参照して決定すれば良い。

また、時間情報を解除条件に用いる場合には、例えば検出してから一定時間（１分、１０分、１時間）経過した場合に解除条件を満たしたと判定する。この解除条件として設定する時間の長さは、全ての表示物に対して一定値としてもよいし、表示物種別に応じて変更してもよい。例えば、時間帯によって料金が変更される有料道路の走行料金を示す表示物の有効期限は、その走行料金が有効な時刻までとする。その他、方面看板などは、１分など相対的に短い時間とすればよい。

ステップＳ３４では、自動表示候補となっている表示物のうち、解除条件を満たしたものを自動表示候補となっている状態から解除して本フローを終了する。

（自動表示処理）
次に、図８に示すフローチャートを用いて、自動表示処理部Ｆ８２が実施する自動表示処理について述べる。図８に示すフローチャートは、イグニッション電源がオンとなっている間、逐次（例えば１００ミリ秒毎に）実施されればよい。

まずステップＳ４１では、表示物データリストＤ２に登録されている表示物のうち、自動表示候補に設定されている表示物があるか否かを判定する。自動表示候補に設定されている表示物が存在する場合には、ステップＳ４１がＹＥＳとなってステップＳ４２に移る。自動表示候補に設定されている表示物が存在しない場合には、ステップＳ４１がＮＯとなって本フローを終了する。

ステップＳ４２では、運転負荷判定部Ｆ４が判定している現在の運転負荷レベルが所定の閾値（低負荷判定閾値とする）以下となっているか否かを判定する。ここで用いる低負荷判定閾値は、ドライバの運転負荷が相対的に小さいと判定するための閾値であって適宜設計されればよい。ここでは一例として、低負荷判定閾値とする運転負荷レベルを２とする。すなわち、現在の運転負荷レベルが２以下となっている場合には、ステップＳ４２がＹＥＳとなってステップＳ４３に移る。一方、運転負荷レベルが３以上となっている場合には、ステップＳ４２がＮＯとなって本フローを終了する。

ステップＳ４３では、現在、前回の自動表示処理による表示物内容情報の表示を実施しているか否かを判定する。本実施形態では表示物内容情報として、表示物画像を表示する構成としている。したがって、本実施形態では、前回の自動表示処理による表示物画像の表示を実施しているか否かを判定する。表示物画像が表示中である場合にはステップＳ４３がＹＥＳとなって本フローを終了する。一方、表示物画像が表示中ではない場合にはステップＳ４３がＮＯとなってステップＳ４４に移る。

ステップＳ４４では、自動表示候補となっている表示物の表示物画像を表示装置７に表示して本フローを終了する。

（実施形態のまとめ）
以上の構成では、表示制御部Ｆ８が備えるリスト表示処理部Ｆ８１は、ドライバによる所定の操作を受け付けた場合に、表示物データリストＤ２に登録されている表示物の情報を、その見落とし度が高い順に並べた表示物リスト画像を表示する。

表示装置７が備える表示領域は有限であるため、１つの画面内に表示される表示物リスト画像に含まれる表示物の件数（すなわち表示可能数）も有限である。しかしながら、以上の構成によれば、表示物リストは表示物検出部Ｆ３が検出した表示物を見落とし度が高い順に並べたリストであるため、表示リスト画像を表示した最初の画面においては、見落とし度が高いものから優先的に表示されることになる。

このように見落とした可能性が高い表示物についての情報ほど優先して表示装置７に表示されることによって、ドライバは、表示物リスト画像に表示されている複数の表示物についての情報の中から、見落とした可能性が高い表示物を見つけやすくなる。

また、表示制御部Ｆ８が備える自動表示処理部Ｆ８２は、表示物データリストＤ２に登録されている表示物のうち、その見落とし度が５以上となっている表示物内容情報を、運転負荷判定部Ｆ４が判定する運転負荷レベルが２以下となった時に、自動的に表示する。

ドライバが完全に見落としてしまった表示物については、ドライバはその表示物の存在にも気づいていない為、表示物リスト画像を表示させるための操作を実施しない可能性が高い。しかしながら、自動表示処理部Ｆ８２が、見落とし度が所定の閾値以上となっている表示物については自動的に表示装置７に表示することによって、ドライバは、自身が見落としてしまった表示物の表示物内容情報についても認識することができる。

以上、本発明の実施形態を説明したが、本発明は上述の実施形態に限定されるものではなく、次の実施形態も本発明の技術的範囲に含まれ、さらに、下記以外にも要旨を逸脱しない範囲内で種々変更して実施することができる。

（変形例１）
上述した実施形態では、リスト表示処理部Ｆ８１が表示物リストを表示する際に見落とし度が高い順に並び替えて（すなわちソートして）表示する構成とし、表示物データリストＤ２が備える表示物データ自体に対する並び替えなどの処理については言及していない。

これに対し、変形例１の保存処理部Ｆ７は、表示物データリストＤ２が備える表示物データに対して並び替える処理（リストデータソート処理とする）を実施する。以下、この変形例１の保存処理部Ｆ７が実施する、リストデータソート処理について説明する。

変形例１における保存処理部Ｆ７は、表示物データリストＤ２が備える表示物毎のデータを、リストの先頭から見落とし度が高い順に並ぶように管理する。例えば、保存処理部Ｆ７は図６のステップＳ２５で、新たなデータを表示物データリストＤ２に追加する際、その新規データの見落とし度に応じたリスト上の位置に挿入する。例えば、新規データの見落とし度が４である場合には、見落とし度が５となっている表示物のデータと、見落とし度が４となっている表示物のデータの間に挿入する。このような構成とすることで、表示物データリストＤ２が備えるデータは、見落とし度順に並ぶとともに、同じ見落とし度となっているデータの中では、その検出時刻が新しいデータほど上に配置されるようになる。

このように、表示物データリストＤ２が備える各表示物に対応するデータを、予め表示物データリストＤ２の状態で、見落とし度順にソートしておくことで、リスト表示処理部Ｆ８１が表示物リスト画像（図４参照）を生成する際の、ソート処理を省略できる。すなわち、表示リストの各表示物のボタンを、表示物リストデータと同じ順番で配置できるようになる。これにより、表示物リスト画像を表示させるためのドライバ操作を操作受付部Ｆ２が受け付けてから、当該表示物リスト画像を表示装置７に表示させるまでに要する時間を短くすることができる。すなわち、ドライバ操作に対する応答速度を高めることができる。

（変形例２）
また、保存処理部Ｆ７は、見落とし度が所定の閾値（視認閾値とする）以下となっている表示物のデータは、表示物データリストＤ２に追加しない構成としてもよい。視認閾値は、ドライバがその表示物を視認していると判定するための閾値であって、本実施形態では一例として、視認閾値とする見落とし度を１とする。

見落とし度が所定の閾値（視認閾値とする）以下となっている表示物とは、ドライバが視認している可能性が高い表示物である。そして、ドライバが視認している表示物については、既にその内容をドライバが認識している可能性が高いため、表示物リスト画像にその表示物に対応する情報（ここではボタン）を表示しても、ドライバに与える有用性は相対的に小さいと考える。また、表示リスト画像として、多くの表示物のボタンを表示すればするほど、ドライバが見落とした表示物の情報や、ドライバが所望の表示物を見つけにくくなる。

この変形例２の構成では、見落とし度が視認閾値以下となっている表示物データを表示物データリストＤ２に追加しない。リスト表示処理部Ｆ８１は、表示物データリストＤ２に基づいて表示物リスト画像を生成するため、表示物リスト画像にも見落とし度が視認閾値以下となっている表示物の情報は表示されなくなる。

すなわち、この変形例２の構成によれば、ドライバにとって有用性が低い情報が表示物リスト画像に表示されなくなるとともに、表示物リスト画像に表示される表示物の件数も低減することができる為、ドライバが見落とした表示物の情報や、ドライバが所望の表示物を見つけやすくすることができる。また、表示物データリストとしてメモリ９に保存されるデータ量を低減することができる。

なお、以上では、見落とし度が視認閾値以下となっている表示物のデータを、表示物データリストＤ２に追加しない構成とすることで、表示物リスト画像から、見落とし度が視認閾値以下となっている表示物が表示されなくなる構成としたがこれに限らない。例えば、見落とし度が視認閾値以下となっている表示物のデータであっても、いったん表示物検出リストに追加保存しておき、所定のタイミングで（例えば一定時間置きに）、見落とし度が視認閾値以下となっている表示物のデータを削除する構成としてもよい。

また、リスト表示処理部Ｆ８１が表示物リスト画像を生成する際に、見落とし度が視認閾値以下となっている表示物については用いない構成としてもよい。すなわち、見落とし度が視認閾値よりも大きい表示物の表示物データを母集団として、表示物リスト画像を生成してもよい。このような構成においても、上述した変形例２と同様の効果を奏することができる。

（変形例３）
また、リスト表示処理部Ｆ８１は、見落とし度に加えて、表示物データリストＤ２が備える表示物データのうち、その表示物の表示物内容情報がドライバにとって有用であるか否かに基づいて、表示物リストの表示物の並び順を調整してもよい。この変形例３の構成について以下、説明する。

変形例３における制御部１ａは、図９に示すように、実施形態で述べた制御部１が備える機能ブロック、すなわち位置検出部Ｆ１〜通信処理部Ｆ９に加えて、有用判定部Ｆ１０を備える。この有用判定部Ｆ１０は、表示物データリストＤ２が備える表示物データのそれぞれに対して、その表示物の表示物内容情報がドライバにとって有用であるか否かを判定する。

より具体的には、有用判定部Ｆ１０は、自車両の現在位置とその表示物の設置位置との距離と、その表示物の表示物種別と、に基づいて、その表示物の表示物内容情報がドライバにとって有用であるか否かを判定する処理を行う（有用判定処理とする）。

これは、表示物内容情報のドライバにとっての有用性は、自車両の現在位置とその表示物の設置位置との距離や、その表示物の表示物種別に応じて変化するためである。例えば、方面看板の情報は、その方面看板が案内の対象としている交差点を通過するまではドライバにとっては有用である一方、その交差点を通過した後においてはその有用性は低下する。また、駐車禁止などの規制標識も、その規制標識近傍に設置されている補助標識などによって、その規制標識の規制内容が有効範囲が定まっている場合がある。この場合、有効範囲内においてはその表示物内容情報は有用である一方、その有効範囲外においてはその表示物の表示物内容情報の有用性は低下する。

そこで、有用判定部Ｆ１０は、まず、表示物の表示物種別に応じて、その表示物の有効範囲を決定し、自車両がその有効範囲内に存在する場合には、その表示物の表示物内容情報がドライバにとって有用であると判定する。一方、自車両がその有効範囲内に存在しない場合には、その表示物の表示物内容情報はドライバにとって有用ではないと判定する。

表示物種別毎の有効範囲は、例えば、方面看板であれば、その方面看板の検出地点からその方面看板が案内の対象としている交差点までが有効範囲とする。また、駐車禁止などの規制標識は、その規制標識近傍に設置されている補助標識によって定まる範囲を有効範囲とする。補助標識が設置されていない場合には、その規制標識の設置地点から一定距離（例えば５０ｍ）以内を有効範囲とする。また、その他の表示物種別に対しても適宜有効範囲が予め設定しておけばよい。

変形例３における表示物データは、その表示物が有用であるか否かを示す処理上のフラグである有用フラグを備えており、有用判定部Ｆ１０は、その表示物の表示物内容情報が有用であると判定した表示物データに対しては、有用フラグをオンに設定する。一方、有用判定部Ｆ１０は、その表示物の表示物内容情報が有用ではないと判定した表示物データに対しては、有用フラグをオフに設定する。なお、表示物データを生成したときの有用フラグの初期設定は、オンに設定しておく。

以上のような有用判定処理を、表示物データリストが備える各表示物データに対して逐次（例えば２００ミリ秒毎に）実施することで、各表示物データに設定されている有用フラグは、随時更新されていく。なお、有用判定処理は、有用フラグがオンとなっている表示物データに対してのみ実施してもよい。

そして、変形例３におけるリスト表示処理部Ｆ８１は、有用フラグがオンとなってあって、かつ、見落とし可能性が高い表示物を優先して表示物リストの上位に配置した表示物リスト画像を生成して、表示装置７に表示する。言い換えれば、ドライバにとって有用であって、かつ、見落とした可能性が高い表示物を優先して表示装置７に表示する。

例えば、表示物リストにおいては、まず、有用フラグがオンとなっている表示物のうち、見落とし度が高いものから順に並べて配置し、その下位に、有用では無いと判定された表示物データを見落とし度の高いものから順に並べて配置すればよい。

更に、リスト表示処理部Ｆ８１は、図１０に示すように、有用フラグがオンとなっている表示物のデータを母集団とする表示物リストと、有用フラグがオフとなっている表示物のデータを母集団とする表示物リストをタブで切り替えて表示できるような構成としてもよい。以降では、有用フラグがオンとなっている表示物のデータを母集団とする表示物リストを有用表示物リスト、有用フラグがオフとなっている表示物のデータを母集団とする表示物リストを非有用表示物リストと称する。

図１０に示す表示物リスト画像は、表示物データリストＤ２に登録されている表示物に対応するボタンＢ１〜５などの他に、有用表示物リストを表示するためのタブスイッチＴａｂ１、及び非有用表示物リストを表示するためのタブスイッチＴａｂ２を備えている。ドライバは、これらのタブスイッチＴａｂ１、Ｔａｂ２を選択（すなわちタッチ操作）することで、タッチしたほうのタブスイッチに応じた表示物リストを表示させることができる。

なお、図１０においては、タブスイッチＴａｂ１がドライバによって選択されている場合の表示画面の一例である。すなわち、有用フラグがオンとなっている表示物のデータ群の表示物リストが表示されている状態である。現在、ドライバによって選択されていない方のタブスイッチＴａｂ２は、タブスイッチＴａｂ１とは異なる表示態様（色や明暗など）で表示することによって、現在選択中のタブスイッチがどちらであるかを表している。ここでは、選択されていない方のタブスイッチであるタブスイッチＴａｂ２をハッチングして表している。

また、ドライバによる操作に基づいて、リスト表示処理部Ｆ８１が最初に表示物リスト画像として表示する画面には、有用フラグがオンとなっている表示物のデータ群の表示物リストを表示することとする。

以上で述べた変形例３の構成によれば、ドライバが見落とした可能性が高い表示物を優先して表示するとともに、ドライバにとって有用である表示物の情報と、既に有用ではなくなった表示物の情報とを区別して表示することができる。また、自車両の位置に応じて有用な情報であるか否かを判定し、有用ではない表示物の情報よりも、有用である表示物の情報を優先して表示するため、自車両の位置に応じた情報を優先してドライバに提供することができる。

さらに、図１０のような表示態様を採用すれば、例えば方面看板が案内する交差点を通り過ぎた後に、ドライバがもう一度、自車両が走行している道路の向かう方面を確認したい時に、非有用表示物リストを表示させることで、既に通過した交差点を案内する方面看板の内容を確認する事ができる。

なお、有用表示物リストにおいては、見落とし度が高い表示物ほどリストの上位に配置して表示する構成とするが、非有用表示物リストについては、検出時刻が新しい順に並べて表示してもよい。これによって、既に通過した表示物の情報を、有用ではなくなった後に確認する際にその情報を見つけやすくすることができる。

（変形例４）
また、保存処理部Ｆ７は、表示物データリストが備える表示物データを、有用フラグがオンであるか否かに応じて保存処理部Ｆ７は、表示物データリストが備える表示物データを整理してもよい。すなわち、有用フラグがオフとなっている表示物データを表示物データリストから削除してもよい。これによって、表示物リスト画像に表示される表示物の数を抑制し、ドライバにとって必要な情報を見つけやすくすることができる。

（その他の変形例）
以上では、表示物内容情報として、表示物画像を表示する構成としたがこれに限らない。表示物種別に応じたアイコン画像をメモリ９に保存しておき、表示物の内容を表す画像として、その表示物に対応するアイコン画像を表示してもよい。また、表示物内容情報は、表示物の内容を表すテキストで表示してもよい。

実施形態では、運転負荷レベルを決定するタイミングを、その表示物の設置地点を通過したタイミングとしたが、これに限らない。表示物を検出してから、自車両と設置地点との距離が消失距離となったタイミングで運転負荷レベルを決定してよい。ここでの消失距離とは、その表示物に接近することによって、自車両正面方向に顔を向けている状態のドライバにとってその表示物が見えなくなってしまう距離を指す。消失距離は、その表示物の路面からの高さに基づいて算出してもよいし、一定距離（例えば１０ｍ）などとしてもよい。

さらに、図７のステップＳ３２において、見落とし度が所定の閾値以上と判定した表示物のデータについては、通信装置１０を介して情報収集サーバに送信してもよい。見落とし度が所定の閾値以上となる地点の情報、及びその表示物のデータを収集してデータベース化することで、ドライバが表示物を見落としやすい地点やその表示物を特定することができる。そして、ドライバによって見落とされやすい表示物に対しては、見落とされにくいように設置位置を変更するなどの対策を講じることができるようになる。

１００ 表示物情報表示システム、１・１Ａ 制御部（表示物情報表示装置）、２ 前方カメラ（前方撮影装置）、３ 車載センサ群、４ 入力装置、５ ドライバモニタ（顔部撮影装置）、７ 表示装置、９ メモリ、Ｆ１ 位置検出部（位置取得部）、Ｆ２ 操作受付部、Ｆ３ 表示物検出部、Ｆ４ 運転負荷判定部、Ｆ５ 視線検出部（視線方向検出部）、Ｆ６ 見落とし評価部、Ｆ７ 保存処理部、Ｆ８ 表示制御部、Ｆ８１ リスト表示処理部、Ｆ８２ 自動表示処理部、Ｆ９ 通信処理部、Ｆ１０ 有用判定部、Ｄ１ 画像認識用データ、Ｄ２ 表示物データリスト

Claims (12)

1. 自車両前方を逐次撮影する前方撮影装置（２）が撮影した画像データから、予め検出対象として設定されている表示物を検出する表示物検出部（Ｆ３）と、
   前記表示物検出部が検出した前記表示物に対して、ドライバがその表示物を見落としている可能性である見落とし可能性を評価する見落とし評価部（Ｆ６）と、
   前記表示物検出部が検出した前記表示物が表す情報である表示物内容情報と、その表示物に対して前記見落とし評価部が評価した前記見落とし可能性と、を含む前記表示物毎のデータである表示物データをメモリ（９）に保存する保存処理部（Ｆ７）と、
   前記メモリに保存されている前記表示物毎の前記表示物データに基づいて、前記表示物の表示物内容情報を、表示装置（７）に表示する表示制御部（Ｆ８）と、を備え、
   前記表示制御部は、前記メモリに保存されている前記表示物データに対応する前記表示物のうち、前記見落とし可能性が高い前記表示物の前記表示物内容情報を優先して前記表示装置に表示することを特徴とする表示物情報表示装置。
2. 請求項１において、
   ドライバによる操作を受け付ける操作受付部（Ｆ２）を備え、
   前記表示制御部は、
   前記操作受付部が所定の操作を受け付けた場合に、前記表示物検出部が検出した前記表示物の一覧である表示物リストを当該表示物リストの上位から順に表示するリスト表示処理部（Ｆ８１）を備え、
   前記リスト表示処理部は、前記見落とし可能性が高い前記表示物ほど当該表示物リストの上位に配置して表示することを特徴とする表示物情報表示装置。
3. 請求項２において、
   前記リスト表示処理部は、前記見落とし可能性が、予め設定される、ドライバがその表示物を視認したと判定するための視認閾値以下となっている前記表示物については、当該表示物リストに表示しないことを特徴とする表示物情報表示装置。
4. 請求項２又は３において、
   前記メモリに保存されている前記表示物データに対応する前記表示物毎に、その表示物の表示物内容情報がドライバにとって有用な情報であるか否かを判定する有用判定部（Ｆ１０）を備え、
   前記リスト表示処理部は、前記有用判定部によって前記ドライバにとって有用な情報であると判定されてあって、かつ、前記見落とし可能性が高い前記表示物を優先して前記表示物リストの上位に配置して表示することを特徴とする表示物情報表示装置。
5. 請求項４において、
   自車両の現在位置を取得する位置取得部（Ｆ１）を備え、
   前記表示物検出部は、前記前方撮影装置が撮影した画像データに基づいて前記表示物の種別、及びその表示物の自車両に対する相対位置を特定し、
   前記保存処理部は、前記表示物検出部が検出した前記表示物毎に、その表示物の自車両に対する相対位置と、前記表示物検出部がその表示物を検出した時点における前記自車両の現在位置と、から当該表示物の設置地点を算出し、
   前記表示物毎の前記表示物データは、その表示物データに対応する前記表示物の前記表示物内容情報及び前記見落とし可能性に加えて、前記保存処理部が算出したその表示物の設置地点、及び前記表示物検出部が特定したその表示物の種別を含んでおり、
   前記有用判定部は、前記メモリに保存されている前記表示物データに対応する前記表示物毎に、その種別と設置地点とに基づいて、その表示物の有効範囲を決定し、前記位置取得部が取得した自車両の現在位置がその有効範囲内に存在する場合には、その表示物の前記表示物内容情報はドライバにとって有用な情報であると判定し、一方、前記位置取得部が取得した自車両の現在位置がその有効範囲内に存在しない場合には、その表示物の前記表示物内容情報はドライバにとって有用な情報ではないと判定することを特徴とする表示物情報表示装置。
6. 請求項１から５の何れか１項において、
   前記表示制御部は、前記見落とし可能性が予め設定されている自動表示用閾値以上と評価された前記表示物の前記表示物内容情報を、自動的に前記表示装置に表示する自動表示処理部（Ｆ８２）を備えることを特徴とする表示物情報表示装置。
7. 請求項６において、
   前記ドライバの運転負荷の度合いである運転負荷レベルを判定する運転負荷判定部（Ｆ４）を備え、
   前記自動表示処理部は、前記運転負荷判定部が判定している前記運転負荷レベルが予め設定されている低負荷判定閾値以下となったことに基づいて、前記見落とし可能性が予め設定されている自動表示用閾値以上となっている前記表示物の前記表示物内容情報を、前記表示装置に表示することを特徴とする表示物情報表示装置。
8. 請求項７において、
   前記運転負荷判定部は、自車両の走行状態を表すパラメータを検出する少なくとも１つのセンサから出力されるセンサ値と、そのセンサ値から前記運転負荷レベルを判定するために予め設定されている閾値と、を比較することによって前記運転負荷レベルを判定することを特徴とする表示物情報表示装置。
9. 請求項７又は８において、
   前記見落とし評価部は、
   前記運転負荷判定部が判定した前記運転負荷レベルに基づいて前記見落とし可能性を評価することを特徴とする表示物情報表示装置。
10. 請求項１から９の何れか１項において、
    ドライバの顔を含む範囲を撮影する顔部撮影装置（５）が撮影した画像データから、ドライバの視線方向を検出する視線方向検出部（Ｆ５）を備え、
    前記表示物検出部は、前記前方撮影装置が撮影した画像データに基づいて前記表示物の自車両に対する相対位置を特定し、
    前記見落とし評価部は、前記視線方向と前記表示物検出部が特定した前記表示物の相対位置に基づいて、前記見落とし可能性を評価することを特徴とする表示物情報表示装置。
11. 請求項２から１０の何れか１項において、
    前記メモリは、リスト構造によって前記表示物データを備える表示物データリストを記憶しており、
    前記保存処理部は、前記表示物検出部が前記表示物を検出すると、その表示物の前記表示物データを、前記メモリが記憶している前記表示物データリストに追加し、
    前記リスト表示処理部は、前記表示物データリストが備える前記表示物データに基づいて前記表示物リストの画像を生成して表示することを特徴とする表示物情報表示装置。
12. 請求項１１において、
    前記表示物データリストは、前記表示物データをその表示物データが備える前記見落とし可能性が高い順にソートして備えることを特徴とする表示物情報表示装置。

Images