JP2021179342A - 情報処理方法、プログラム及び車載装置 - Google Patents

Abstract

【課題】交通標識及び看板などの種々の表示をユーザにより好適に提供する。【解決手段】本発明の一実施形態は、情報処理方法によって例示される。本情報処理方法では、コンピュータが、車両の外部の画像から認識された表示の認識情報を取得することと、前記車両のユーザが注目する注目情報を取得することと、取得した前記認識情報の中から前記注目情報に適合する認識情報を抽出して出力することとを実行する。【選択図】図７

Description

本発明は、道路等に設置されている交通標識及び看板などの情報を処理する情報処理方法、プログラム及び車載装置に関する。

特許文献１は、交通標識の識別装置の一例を開示する。この識別装置は、まず、車両の前方を撮影して取得した映像情報から交通標識を抽出し、更にこの交通標識の種別を識別する。そして、その識別装置は、抽出した交通標識を、その種別及び予め指定された国情報で特定される交通標識認識情報に変換して出力する。

特許第４４８２７９４号公報

一般に、車両が走行する道路には、様々な交通標識の他、例えば店舗等の看板がある。これら交通標識及び看板などの表示に対する注目度は、車両の運転者等に応じて大きく異なる。本発明は、交通標識及び看板などの種々の表示をユーザにより好適に提供することを目的とする。

本発明の実施の形態の一態様は、情報処理方法によって例示される。本情報処理方法では、コンピュータが、車両のユーザが注目する注目情報を取得することと、前記車両の外部の画像内の表示について取得した認識情報の中から前記注目情報に適合する認識情報を抽出して出力することとを実行する。

本発明の実施の形態の他の態様は、上記情報処理方法をコンピュータに実行させるプログラムによっても例示される。さらにまた、本発明の実施の形態の更なる他の態様は、車載装置によっても例示される。この車載装置は、車両のユーザが注目する注目情報を取得する取得部と、前記車両の外部の画像内の表示について取得した認識情報の中から前記注目情報に適合する認識情報を抽出して出力する処理部とを備える。

本情報処理方法によれば、交通標識及び看板などの種々の表示をユーザにより好適に提供することができる。

図１は、本実施の形態に係る車載装置を含むシステムの構成を示す図である。 図２は、図１の車載装置の制御構成を示すブロック図である。 図３は、図１の車載装置の制御部での処理のフローチャートである。 図４は、図１の車載装置に取得される画像の一例である。 図５Ａ及び図５Ｂは、図４の画像のうちの表示であり、図５Ｃは別の表示例である。 図６は、図１の車載装置の制御部での処理のフローチャートである。 図７は、図１の車載装置の制御部での処理のフローチャートである。 図８は、図１の車載装置の制御部での処理のフローチャートである。 図９は、図１の車載装置の制御部での処理のフローチャートである。 図１０は、図１の車載装置の制御部での処理のフローチャートである。 図１１は、図１の車載装置の制御部での処理のフローチャートである。 図１２は、図１の車載装置の制御部での処理のフローチャートである。

以下、本発明に係る実施形態を添付図に基づいて説明する。同一の部品（又は構成）には同一の符号を付してあり、それらの名称及び機能も同じである。したがって、それらについての詳細な説明は繰返さない。

図１は、本実施の形態に係る、情報処理装置としての車載装置１０を含むシステムＳの構成を示す図である。図２は、車載装置１０の制御構成を示すブロック図である。なお、以下では、車載装置１０の車両Ｃへの適用について説明するが、車載装置は、車両以外の移動体に適用されてもよい。

車載装置１０は、情報処理装置であり、車両Ｃに搭載されていて、システムＳの一部として機能する。車載装置１０には、コントローラエリアネットワーク（ＣＡＮ）を介して、種々の装置が接続されている。車載装置１０には、車両Ｃの動力源であるエンジン及び／又はモータの駆動を制御する電子制御ユニット（ＥＣＵ）も接続され得る。また、車載装置１０には、ナビゲーション装置１２も接続されていて連携する。ナビゲーション装置１２は、ＧＰＳ受信部１２Ｇを含む。図１では、車載装置１０に、外部機器として、車速センサ１４、舵角センサ１６、アクセルポジションセンサ１８、ブレーキセンサ２０等のセンサ類の他、車外を撮影する車外カメラ２２、マイク２４、スピーカ２６、表示装置２８、及び、通信モジュール３０が更に接続されている。通信モジュール３０を介して、車載装置１０は、外部の装置と通信可能である。車載装置１０は、車両Ｃに搭載されたバッテリから供給される電力で作動する。なお、上記センサ類の１つ又は複数は、車両Ｃに予め搭載されているセンサであってもよく、車載装置１０の搭載時に新たに設けられるものであってもよい。表示装置２８は、ナビゲーション装置１２の表示装置を兼ねているが、ナビゲーション装置１２と分離独立した表示装置であってもよく、例えば、車両Ｃのフロントウインドウ等に投影して表示するものであってもよい。

車載装置１０は、制御部４０を備える。制御部４０は、上記センサ類１２Ｇ、１４、１６、１８、２０、車外カメラ２２、マイク２４等から取得した情報に基づいて、車載装置１０の制御を行うコンピュータである。制御部４０は、車載装置１０の作動などを制御する制御手段の一例である。

制御部４０は、ＣＰＵと、主記憶部とを有し、プログラムにより情報処理を実行する。ＣＰＵはプロセッサともいう。ただし、ＣＰＵは、単一のプロセッサに限定される訳ではなく、マルチプロセッサ構成であってもよい。また、単一のソケットで接続される単一のＣＰＵがマルチコア構成を有していてもよい。上記各部の少なくとも一部の処理は、ＣＰＵ以外のプロセッサ、例えば、Digital Signal Processor(ＤＳＰ)、Graphics Processing Unit（ＧＰＵ）等の専用プロセッサで行われてもよい。また、上記各部の少なくとも一部の処理は、集積回路（ＩＣ）、その他のディジタル回路であってもよい。また、上記各部の少なくとも一部にアナログ回路が含まれてもよい。制御部４０の主記憶部は主記憶装置の一例である。制御部４０におけるＣＰＵは、その主記憶部に実行可能に展開されたコンピュータプログラムを実行し、各種機能を提供する。制御部４０における主記憶部は、ＣＰＵが実行するコンピュータプログラム及び／又はデータ等を記憶する。制御部４０における主記憶部は、Dynamic Random Access Memory（ＤＲＡＭ）、Static Random Access Memory（ＳＲＡＭ）、Read Only Memory（ＲＯＭ）等である。

制御部４０は、記憶部４２と接続されている。記憶部４２は、所謂外部記憶部であり、制御部４０の主記憶部を補助する記憶領域として使用され、制御部４０のＣＰＵが実行するコンピュータプログラム及び／又はデータ等を記憶する。記憶部４２は、ハードディスクドライブ、Solid State drive（ＳＳＤ）等である。

ナビゲーション装置１２は、ＧＰＳ受信部１２Ｇから取得した位置情報に基づいて既知の予測技術でルートを検索して、検索したルートを運転者に案内する。この案内は、スピーカ２６からの音声及び／又は表示装置２８への表示により行われ得る。ナビゲーション装置１２は、通信モジュール３０を介して、外部の装置等と通信可能であり、地図情報、交通情報などを取得することができる。例えば、ナビゲーション装置１２は、走行する又は走行予定の道路の制限速度、Ｕターン禁止、追い越し禁止、駐車禁止、一時停止などの情報を取得してもよい。

位置情報受信部としてのGlobal Positioning System（ＧＰＳ）受信部１２Ｇは、地球の周囲を周回する複数の人工衛星であるＧＰＳ衛星からの信号を受信する。制御部４０は、ＧＰＳ受信部１２Ｇが受信した信号に基づいて車載装置１０又は車両Ｃの位置情報を取得する。なお、衛星測位システムつまりNavigation Satellite System（ＮＳＳ）はＧＰＳに限られない。種々の衛星測位システムからの信号に基づいて、位置情報が検出されてもよい。ＮＳＳは、全地球航法衛星システムに限定されず、準天頂衛星システム（Quasi-Zenith Satellite System）を含み得、例えば、欧州の“ガリレオ”や、ＧＰＳと一体運用される日本国の“みちびき”を含み得る。

車速センサ１４は車両の車速を検出するためのセンサである。舵角センサ１６は、運転者が操作するハンドルの舵角を検出するためのセンサである。アクセルポジションセンサ１８は、運転者によって操作されるアクセルペダルの踏み込み量に対応する位置を検出するためのセンサである。ブレーキセンサ２０は、運転者によって操作されるブレーキペダルの踏み込みを検出するためのセンサであり、例えばブレーキスイッチであってもよい。

車外カメラ２２は、ここでは車両Ｃの外部、特に車両Ｃの前方を撮影する撮影装置である。カメラ２２は、Charged-Coupled Devices（ＣＣＤ）、Metal-Oxide-Semiconductor（ＭＯＳ）あるいはComplementary Metal-Oxide-Semiconductor（ＣＭＯＳ）等のイメージセンサを用いた撮影装置が用いられ得る。カメラ２２は１つ又は複数設けられ得る。マイク２４は、運転者等の音声を入力するための入力装置の一例である。スピーカ２６は合成音声等の音を出力する出力装置の一例である。表示装置２８は、例えば、液晶ディスプレイ、エレクトロルミネッセンスパネル等である。ここでは、表示装置２８は、タッチパネルを含み、出力装置の機能に加えて、実質的に入力装置の機能をも備える。

制御部４０は、機能モジュールとして、第１取得部５０、第２取得部６０、検索処理部７０、運転処理部８０の各機能モジュールを含む。第１取得部５０は、それぞれ機能モジュールである、画像取得部５１、画像認識部５２、第１記憶部５３を含む。第２取得部６０は、それぞれ機能モジュールである、情報取得部６１、意図理解部６２、第２記憶部６３、促進部６４、問合せ受付部６５を含む。検索処理部７０は、それぞれ機能モジュールである、抽出処理部７１、検索出力部７２を含む。そして、運転処理部８０は、それぞれ機能モジュールである、履歴取得部８１、標識抽出部８２、不適合判定部８３、標識出力部８４、警告出力部８５、設定部８６、回答部８７を含む。各機能モジュールは、例えば、主記憶部及び／又は記憶部４２に記憶されたプログラムを制御部４０つまりそのうちのＣＰＵによって実行することで実現される。ただし、機能モジュールの一部は、他のプロセッサ、ディジタル回路、又はアナログ回路等のハードウェアであってもよい。各機能モジュールは、部、機能部又は手段と言い換えることができる。

第１取得部５０は、車両の外部の画像から認識された表示の情報（認識情報）を取得することを実行する。前述のように、第１取得部５０は、それぞれ機能モジュールである、画像取得部５１、画像認識部５２、第１記憶部５３を含む。

画像取得部５１は、カメラ２２で撮影した画像を取得することを実行する。画像は、撮影時刻情報及び位置情報を含む又は伴うとよい。そして、画像取得部５１は、取得した画像を画像認識部５２に送信する。画像取得部５１が取得する画像は、静止画でも、動画でもよい。なお、位置情報は、ＧＰＳ受信部１２Ｇにより取得される。撮影時刻情報は、カメラ２２に設けられるタイマ装置から取得されても、制御部４０のタイマ装置から取得されてもよい。

画像認識部５２は、取得した画像を解析処理して画像認識を行い、そこに写る表示を認識する。画像認識部５２は人工知能（ＡＩ）を活用したものであるとよい。ここでいう表示は、商店等の看板、道路標識、地名表示（例えば国境表示）等を含む。そして、画像認識部５２は、その表示を分類する分類処理も実行する。例えば、表示は、交通標識ジャンル、看板ジャンル、その他のジャンルに分類されるととともに、更に細かい内容（ジャンル等）に分類され得る。この分類処理では、後述する意図理解部６２での解析処理技術が同様に用いられ得る。

第１記憶部５３は、画像認識部５２が認識した表示の認識情報を取得し、それを記憶部４２の認識情報データベース４２１に記憶させる。認識情報は、その表示と、その意味する内容つまり上記分類とともに、それに関連する画像の撮影時刻情報及びその画像の位置情報を含む。これにより、認識情報データベース４２１を、ジャンル等の分類、撮影時刻及び／又は位置に応じて検索して、１つ又は複数の認識情報を抽出することが可能になる。

次に、第２取得部６０について説明する。第２取得部６０は、取得部に対応し、車両の運転者等であるユーザからの入力を処理して、その意図するものを理解し、車両のユーザが注目する情報（注目情報）を取得することを実行する。前述のように、第２取得部６０は、それぞれ機能モジュールである、情報取得部６１、意図理解部６２、第２記憶部６３、促進部６４、問合せ受付部６５を含む。

情報取得部６１は、ユーザの入力を認識処理して、情報として取得することを実行する。例えば、ユーザの入力は、マイク２４を介して音声で入力される。この音声を既知の音声認識技術でテキスト変換等して、情報を取得する。この音声認識のための種々のデータは記憶部４２に記憶されているとよいが、通信モジュール３０を介して外部から取得されてもよい。なお、ユーザの入力は、マイク２４以外の入力装置、例えば表示装置２８を介して行われてもよい。

意図理解部６２は、情報取得部６１が取得した情報を、例えば記憶部４２に記憶する辞書データ及び／又は意図理解器を用いて解析し、その意図するものを理解する処理を実行する。例えば、「レストラン」という入力を取得したとき、意図理解部６２は、記憶部４２に記憶するデータ等を参照して、交通標識ジャンルではなく、看板ジャンルを注目情報として抽出する。また、解析により、「レストラン」を含むジャンルとして、飲食店ジャンルが抽出される。具体的には、ここでは、記憶部４２に記憶されているデータ等では、用語「レストラン」に関連する分類ジャンルとして、大分類の「看板」と、小分類の「飲食店」とが規定されている。よって、意図理解部６２は、記憶するデータ等を参照して、「レストラン」という入力に対して、看板ジャンル、飲食店ジャンルという注目情報を抽出することができる。更に、意図理解部６２は、種々の辞書データ及び／又は意図理解器を用いるなどして、ユーザの入力から、「３つ前の看板」つまり看板ジャンルのうち３つ前の過去の時間のもののように過去の場所又は時間に関する情報も注目情報として抽出できる。過去の場所に関する情報としては、例えば、「１つ前の交差点の看板」つまり看板ジャンルのうち１つ前の交差点の位置から所定範囲内の位置情報のものを例示できる。このように情報を処理することで、意図理解部６２はユーザが注目する注目情報を取得する。意図理解部６２は、「３つ前の看板」のような過去の場所又は時間に関する注目情報を取得したとき、促進部６４にその情報を送信し、それ以外の注目情報を取得したとき第２記憶部６３にその情報を送信する。なお、将来の場所又は時間に関する注目情報を取得したとき、意図理解部６２は、第２記憶部６３にその注目情報を送信する。

第２記憶部６３は、意図理解部６２での処理の結果得られたジャンル等を含む注目情報を記憶部４２の注目情報データベース４２２に記憶させる。第２記憶部６３は、例えば、意図理解部６２での処理の結果得られた看板ジャンル及び飲食店ジャンルを「レストラン」に付して、注目情報データベース４２２に記憶させる。つまり、ユーザが注目する情報（注目情報）として、「看板」、「飲食店」という情報が記憶される。なお、注目情報データベースの記憶量は、後述するように認識情報データベース４２１の記憶量と同様に制限されて、同様に更新されてもよい。例えば、ユーザ入力により注目情報データベース４２２に記憶される注目情報は１つのみとすることも可能であるが、複数であってもよい。ここではユーザ入力により記憶される注目情報は１つのグループのみとして以下、説明する。ただし、ここでいう１つのグループの注目情報とは、１つの注目情報のみ、又は、階層構造を有する複数の注目情報である。例えば看板ジャンルに飲食店ジャンルは含まれ、これらは１つのグループの注目情報を構成し得る。このとき、看板ジャンルは第１注目情報に相当し、飲食店ジャンルは第１注目情報よりも階層的に下位の注目情報である第２注目情報に相当する。第３注目情報、第４注目情報など、更に階層構造で下層の注目情報があってもよい。

更に、第２記憶部６３は、後述する設定部８６で設定された指摘用の注目情報も記憶部４２の注目情報データベース４２２に記憶させる。この指摘用の注目情報は、ユーザの入力とは無関係であり、つまり上記注目情報とは無関係のものであり、ユーザの入力から取得された注目情報とは別に注目情報データベース４２２に記憶される。なお、注目情報データベース４２２への指摘用の注目情報の記憶は、第２記憶部６３とは異なる他の機能部により、例えば設定部８６により実行されてもよい。指摘用の注目情報は注目情報データベース４２２とは異なる記憶領域に記憶されてもよい。

促進部６４は、意図理解部６２が抽出した過去の場所又は時間に関する注目情報に適合する認識情報の抽出を促すように、その情報を検索処理部７０に送信する。

問合せ受付部６５は、後述する運転処理部８０での運転履歴が標識情報に適合しなかったことに基づく処理に伴い、その標識情報の意味内容など、その標識情報に関連する情報（意味情報）の問い合わせ処理を受け付けることを実行する。ここでは、問合せ受付部６５は、運転処理部８０から取得した標識情報の意味内容についての意味情報の抽出を行うように、その標識情報を注目情報として処理するように検索処理部７０に送信する。なお、意味情報は、今現在の運転への影響つまり制約に関する情報であり得る。

次に、検索処理部７０について説明する。検索処理部７０は、本開示における処理部に相当し、車両の外部の画像内の表示の認識情報つまりその表示について取得した認識情報の中から、取得した注目情報に適合する認識情報を検索し、抽出して、それを出力情報として出力することを実行する。検索処理部７０は、それぞれ機能モジュールである、抽出処理部７１、検索出力部７２を含む。

抽出処理部７１は、第１取得部５０により取得された認識情報の中から、第２取得部６０により取得された注目情報に適合する認識情報を抽出することを実行する。抽出処理部７１は、認識情報データベース４２１から認識情報を読み出すことができる。また、抽出処理部７１は、注目情報データベース４２２から注目情報を読み出すことができ、促進部６４から取得した注目情報及び問合せ受付部６５から取得した情報も抽出のための情報として処理することができる。例えば、取得した認識情報が２つあり、その一方が交通標識ジャンルのものであり、他方が看板ジャンルのものであるときを考える。このときに、取得した注目情報が看板ジャンルに関するとき、看板ジャンルの認識情報が抽出される。また、抽出処理部７１は、問合せ受付部６５から送信された標識情報の意味情報を記憶部４２に記憶されている交通標識データベース４２３から抽出する処理を実行する。なお、交通標識データベース４２３には、交通標識の表示つまりその画像データと、その意味とが関連付けられて記憶されている。例えば、交通標識データベース４２３において、その画像データ欄には図５Ｂの表示の画像データが記憶され、この画像データの意味欄には「一時停止」が記憶されている。

検索出力部７２は、抽出処理部７１が抽出した認識情報の全部又は一部を出力情報として出力する。加えて、検索出力部７２は、抽出処理部７２が抽出した意味情報を、例えば図５Ｂの標識の場合には「一時停止」を出力情報として出力する。ここでは、これらの出力は、表示装置２８に送信されてその表示部に表示される。これに代えて又はこれに加えて、これらの出力情報の出力は、車載装置１０が例えば制御部４０が音声変換部及び発話部を有する場合、スピーカ２６から音声により行われてもよい。なお、この出力では、抽出した認識情報の中の表示のみが、例えば図５Ｂの表示の認識情報の場合にはその表示Ｄ２のみが出力されてもよい。

次に、運転処理部８０について説明する。運転処理部８０は、車両の運転履歴を取得してその履歴に応じた処理を実行する。運転処理部８０は、それぞれ機能モジュールである、履歴取得部８１、標識抽出部８２、不適合判定部８３、標識出力部８４、警告出力部８５、設定部８６、回答部８７を含む。

履歴取得部８１は、ＧＰＳ受信部１２Ｇ、車速センサ１４、舵角センサ１６、アクセルポジションセンサ１８、ブレーキセンサ２０等の出力に基づいて車両の運転履歴を取得することを実行する。運転履歴は、車両の各位置における、車速、ハンドルの舵角、アクセル開度、ブレーキ状態、等を含む情報である。なお、車両の動力源がエンジンの場合、エンジン回転速度センサも設けられて、そのエンジン回転速度センサの出力に基づく情報も、運転履歴の情報に含まれるとよい。

標識抽出部８２は、認識情報データベース４２１から交通標識ジャンルの認識情報を抽出し、それを画像認識部５２の認識結果に基づいて更に解析して、交通標識の標識情報を抽出する。例えば、一時停止の交通標識であれば、標識抽出部８２は、記憶部４２に記憶されている交通標識データベース４２３の画像データなどに認識情報の表示を照合して、「一時停止」の意味を抽出する。このように、標識抽出部８２は、認識情報データベース４２１から取得した認識情報の中から、例えば「一時停止」を含む交通標識の標識情報を抽出する。つまり、認識情報が図５Ｂの表示Ｄ２を含む場合、その表示Ｄ２の交通標識の標識情報は、その表示Ｄ２と、その意味「一時停止」とを含み得る。なお、ここまでの標識抽出部８２による意味の抽出処理を前述の画像認識部５２が行ってもよい。この場合、標識抽出部８２は、認識情報データベース４２１から交通標識ジャンルの認識情報を抽出することだけで、交通標識の標識情報を抽出することができる。加えて、ここでは、標識抽出部８２は、「一時停止」などの意味を認識情報データベース４２１に記憶させることも行う。例えば、図５Ｂの表示Ｄ２の場合、交通標識ジャンルに分類されて記憶されているが、更にそれに関連する認識情報データベース４２１の意味欄に「一時停止」が記憶される。

不適合判定部８３は、履歴取得部８１により取得された運転履歴が、標識抽出部８２により抽出された標識情報に適合しなかったか否かを判定し、適合しなかったときその標識情報とその位置情報とを記憶部４２の不適合情報データベース４２４に記憶させることを実行する。例えば、ある位置での運転履歴に関して、「一時停止」の交通標識の標識情報を抽出したにもかかわらず、その標識情報の位置での運転履歴の車速がゼロでないとき、運転履歴が標識情報に適合しなかったと判定される。なお、交通標識データベース４２３には、「車速がゼロになること」という判断指標が「一時停止」の表示の意味情報として記憶されている。このように、適合しなかったと判定されたとき、つまり不適合の判定のとき、その標識情報とその位置情報とが不適合情報データベース４２４に記憶される。このときの位置情報は、認識情報データベース４２１から読み出された認識情報のうちの位置情報であるが、運転履歴に含まれる位置情報であってもよい。なお、不適合判定部８３が保持する標識抽出部８２により抽出された標識情報は、そのときの運転に影響する交通標識の標識情報である。それゆえ、例えば、「一時停止」の標識の場合、その標識の設置場所から所定距離離れると、不適合判定部８３はその標識情報を保持しなくてもよい。一方、例えば制限速度などについての標識情報は所定区間の情報であるので、次の同種の標識情報の取得及び／又はナビゲーション装置１２からの異なる交通情報の取得まで継続して保持されることが望ましい。

標識出力部８４は、不適合情報データベース４２４に記憶した標識情報の位置情報と所定関係の位置に車両が位置するようになったとき、記憶した標識情報の全部又は一部を出力することを実行する。ここで所定関係の位置に位置するとは、例えば、ナビゲーション装置１２によるルート案内に基づいて不適合情報データベース４２４に記憶した標識情報の位置情報の位置に向かって車両が移動しているときに、その位置情報の位置まで所定距離の位置に位置すること、と定めることができる。所定距離は、例えば５００ｍであり、運転者等に注意を促す距離であるとよい。また、ここでは、標識出力部８４は、標識情報を出力することに加えて、その標識情報の今の運転への影響つまり制約についての問い合わせを受け付けることも可能にする。つまり、標識出力部８４は、上記問合せ受付部６５への問い合わせ処理の入力を可能にし、ここでは表示装置２８の問い合わせ用の第１入力部２８ａをＯＮ状態にする。

警告出力部８５は、運転履歴が標識情報に適合しなかったとき、ユーザに警告情報を出力することを実行する。ここでは、警告出力部８５は、不適合判定部８３により運転履歴が標識情報に適合しなかったと判定されたとき作動する。このとき、不適合判定部８３は警告出力部８５に作動信号を出力する。例えば、警告出力部８５は記憶部４２に記憶する警告情報を、例えば「交通違反しました。」をスピーカ２６等から出力する。警告出力部８５は、どのような交通違反か、例えば、標識情報に含まれる一時停止の違反であることも、出力してもよい。この場合、具体的には、上記警告情報の出力に加えて、例えば図５Ｂの表示Ｄ２及び／又はその意味「一時停止」をつまり交通標識の標識情報の全部又は一部を表示装置２８に及び／又はスピーカ２６から出力してもよい。

設定部８６は、運転履歴が標識情報に適合しなかったとき、適合しなかった標識情報を指摘用の注目情報に設定することを実行する。ここでは、設定部８６は、不適合判定部８３により運転履歴が標識情報に適合しなかったと判定されたとき作動する。このとき、不適合判定部８３は設定部８６に作動信号を出力する。例えば、設定部８６は、一時停止の標識情報を指摘用の注目情報に設定する。このとき、標識抽出部８２で抽出のもとになった認識情報の交通標識ジャンルもその指摘用の注目情報に組み込まれる。第２取得部６０の第２記憶部６３はそれを指摘用の注目情報として取得し、それを注目情報データベース４２２にユーザ入力に基づき取得した注目情報とは別に記憶させる。これにより、検索処理部７０の抽出処理部７１はその指摘用の注目情報で処理を実行し、その標識情報に適合する認識情報の全部又は一部を検索出力部７２は出力情報として出力することができる。当該処理により、運転者が見落としやすい交通標識を積極的に運転者に出力すること、つまり指摘することを可能にする。

回答部８７は、今の運転に対して影響し得る交通標識の標識情報の問い合わせ（現況問合せ）があったとき、その標識情報を回答することを実行する。ここでは、表示装置２８の第２入力部２８ｂは、車両の走行中、常時ＯＮ状態にある。この第２入力部２８ｂは、現況問合せを運転者等のユーザが入力するためのものであり、例えば、「現況問合せ」との表示を出力表示するとともに、ユーザの指示により動作し得る。一方で、上記不適合判定部８３において、上記処理のため、標識抽出部８２により抽出された標識情報は読み出されている。回答部８７は、第２入力部２８ｂが押されて現況問合せの入力があったとき、その不適合判定部８３により保持されている標識情報を取得して、現況問合せの回答として出力する。

上記構成を備える車載装置１０の制御部４０での処理を更に説明する。まず、第１取得部５０による処理を図３のフローチャートに基づいて説明する。なお、図３のフローチャートは所定時間間隔で繰り返されることが望ましい。

第１取得部５０の画像取得部５１は、カメラ２２で撮影した画像を取得する（ステップＳ３０１）。この画像は、撮影時刻情報及び位置情報を含む。例えば、画像取得部５１は、図４に示す画像Ｐを取得する。そして、画像取得部５１は、取得した画像を画像認識部５２に送信する。

画像認識部５２は、取得した画像を解析処理して画像認識を行い、そこに含まれる表示を認識することを実行する（ステップＳ３０３）。例えば、図４に示す画像Ｐからは、道路の左側の「ABC RestauranT」という表示Ｄ１（図５Ａ参照）と、右側の「止まれ STOP」という表示Ｄ２（図５Ｂ参照）とが認識され得るが、ここでは、まずそのうちの一方、例えば「ABC RestauranT」という表示Ｄ１が認識されたとする。このように表示の認識がある場合（ステップＳ３０５で肯定判定）、画像認識部５２は、分類処理を実行する（ステップＳ３０７）。これにより、認識した表示をジャンルごとに分ける分類が実行される。例えば「ABC RestauranT」という表示Ｄ１は、文字認識技術を活用して用語「レストラン」に対応する文字を含むと認識され、また記憶部４２に記憶する分類用の辞書データを活用して、看板ジャンルに分類され、更に飲食店ジャンルに分類される。こうして画像認識部５２は、認識した表示に、撮影時刻情報及び位置情報とともに、ジャンル等の分類を付して、認識情報を生成する。

そして、第１記憶部５３は、画像認識部５２が認識した表示の認識情報を取得し、記憶部４２の認識情報データベース４２１に記憶させる（ステップＳ３０９）。

ここでは、認識された表示ごとにステップＳ３０７及びステップＳ３０９の処理が実行される。したがって、１つ目の表示、例えば「ABC RestauranT」という表示Ｄ１に対してステップＳ３０７及びステップＳ３０９の処理が実行された後、画像認識部５２は他の表示の認識がないか否かを判定する（ステップＳ３１１）。そして、「止まれ STOP」という表示Ｄ２を認識できるので（ステップＳ３１１で否定判定）、その表示に対して、画像認識部５２によるステップＳ３０７の処理及び第１記憶部５３によるステップＳ３０９の処理が実行される。これにより、「止まれ STOP」という表示Ｄ２は交通標識ジャンルに分類されるので、その分類と、撮影時刻情報及び位置情報が付されて、認識情報を形成するように、認識情報データベース４２１に記憶される。

第１記憶部５３は、認識情報を記憶するとき（ステップＳ３０９）、認識情報の記憶量が所定量を超えないように、新たに記憶する認識情報で、記憶されている認識情報（過去の古い記憶済み認識情報）を更新することを行う。これにより、記憶部４２を大容量化せずに、車載装置１０の処理を継続して実行することができる。

なお、認識された表示が１つもないとき、ステップＳ３０５で否定判定されて、当該ルーチンは終了する。また、認識された表示が無くなったとき、ステップＳ３１１で肯定判定されて、当該ルーチンは終了する。

ただし、１つの画像から複数の表示が認識されたとき、複数の表示に関して同時並行してステップＳ３０７及びステップＳ３０９の処理が実行されてもよい。

次に、図６のフローチャートに基づいて、制御部４０の第２取得部６０による処理を説明する。

第２取得部６０の情報取得部６１は、ユーザの入力を音声認識等して、情報として取得すると（ステップＳ６０１で肯定判定）、この入力情報を意図理解部６２に送信する。例えば、ユーザの入力として「レストランはないかな？」、「３つ前の看板は？」を例示できる。

意図理解部６２は、情報取得部６１が取得した情報の意図を理解するための処理を実行する（ステップＳ６０３）。例えば、「レストランはないかな？」という入力から「レストラン」という情報を取得する。そして、意図理解部６２は、「レストラン」に関して、記憶する辞書データ等を参照して看板ジャンル、飲食店ジャンルを抽出して取得する。これにより、「レストラン」についての注目情報が取得される。あるいは、「３つ前の看板は？」から「３つ前の看板」という注目情報を取得する。

意図理解部６２は、処理の結果、情報が得られたとき（ステップＳ６０５で肯定判定）、その情報が過去の時間又は場所に関しない情報であるか否かを判定する（ステップＳ６０７）。取得した情報が過去の時間又は場所に関しない情報であるとき（ステップＳ６０７で肯定判定）、意図理解部６２は第２記憶部６３にそれらの情報を送信する。これにより、第２記憶部６３は、取得した用語について得られたジャンルを含む注目情報を記憶部４２の注目情報データベース４２２に記憶させる（ステップＳ６０９）。一方、取得した情報が過去の時間又は場所に関する情報であるとき（ステップＳ６０７で否定判定）、その情報に基づいて認識情報の抽出が行われる（ステップＳ６１１）。ここでは具体的には、認識情報の抽出を行うように、意図理解部６２はその情報を促進部６４に送信する。なお、情報が得られなかったとき（ステップＳ６０５で否定判定）、当該ルーチンは終了する。

次に、検索処理部７０による処理を図７のフローチャートに基づいて説明する。図７の処理は、所定時間間隔で繰り返されることが望ましい。

検索処理部７０の抽出処理部７１は、第２取得部６０により取得された注目情報を取得することを、ここでは注目情報データベース４２２から読み込むことを実行する（ステップＳ７０１）。そして、抽出処理部７１は、第１取得部５０により取得された表示の認識情報を取得することを実行する（ステップＳ７０３）。ここでは、認識情報データベース４２１に記憶されている認識情報を１つずつ読み込むことが行われる。認識情報が取得できたとき（ステップＳ７０３で肯定判定）、抽出処理部７１は、取得した認識情報が、取得した注目情報に適合するか否かを判定する（ステップＳ７０５）。この適合判定は分類つまりジャンルの一致などに基づいて実行され得る。そして、取得した認識情報が取得した注目情報に適合するとき（ステップＳ７０５で肯定判定）、抽出処理部７１は、その認識情報を抽出する（ステップＳ７０７）。

適合判定（ステップＳ７０５）及び抽出（ステップＳ７０７）に際しては、例えば看板ジャンルという１つの注目情報のみならず、１つのグループの階層構造の注目情報が活用されてもよい。例えば看板ジャンルという注目情報のみでは、図５Ａの表示Ｄ１のような飲食店の看板の認識情報のみならず、例えば病院の看板の認識情報も適合して抽出される。例えば、看板ジャンルという第１注目情報と、飲食店ジャンルという第２注目情報とを含む１つのグループの注目情報が記憶されているとき、取得した認識情報の中から、第１注目情報に適合する認識情報を抽出し、更に抽出した認識情報の中から第２注目情報に適合する認識情報を抽出することが実行されるとよい。これにより、上記例の場合、病院の看板の認識情報は適合されずに、図５Ａの表示Ｄ１のような飲食店の看板の認識情報のみが適合されて、抽出され得る。

抽出された認識情報を、検索出力部７２は出力する（ステップＳ７０９）。前述のように、ここでは、この出力は、表示装置２８に送信されてその表示部に表示される。しかし、この出力は、車載装置１０が、例えば制御部４０が音声変換部及び発話部を有する場合、スピーカ２６から音声が出力されてもよい。なお、出力される認識情報は、図５Ａの表示Ｄ１のみ、図５Ｂの表示Ｄ２のみというように表示の画像のみであってもよいが、その意味などを更に付したものであってもよく、更にはその意味のみであってもよい。

一方、認識情報を取得できないとき（ステップＳ７０３で否定判定）、又は、取得した認識情報が取得した注目情報に適合しないとき（ステップＳ７０５で否定判定）、当該ルーチンは終了する。

次に、第２取得部６０が過去の場所又は時間についての注目情報を取得したときの、検索処理部７０での処理について、図８のフローチャートに基づいて説明する。

第２取得部６０の意図理解部６２が過去の場所又は時間に関する注目情報を取得したとき、図６の上記ステップＳ６１１で促進部６４にその情報が送信される。これにより、促進部６４は、時間又は場所についてのユーザ入力、つまり過去の場所又は時間に関する注目情報を取得する（ステップＳ８０１で肯定判定）、その注目情報は促進部６４により検索処理部７０に、ここではそのうちの抽出処理部７１に送信される。これにより、抽出処理部７１は認識情報データベース４２１からその注目情報に適合する認識情報の抽出処理を実行する（ステップＳ８０３）。例えば、取得した注目情報が「３つ前の看板」であるとき、抽出処理部７１は認識情報データベース４２１から時刻情報に基づいて、看板ジャンルのうち３つ前の看板ジャンルの認識情報を抽出することを実行する。

注目情報に適合する認識情報の抽出ができたとき（ステップＳ８０５で肯定判定）、検索出力部７２はその抽出した認識情報の全部又は一部を出力情報として出力する（ステップＳ８０７）。例えば出力情報は、認識情報のうちの表示のみであってもよく、その表示とその意味とを含んでもよく、更に位置情報などを含んでもよい。一方、注目情報に適合する認識情報の抽出ができなかったとき（ステップＳ８０５で否定判定）、検索出力部７２は抽出不可の情報を出力する（ステップＳ８０９）。抽出不可の情報は、例えば、予め定められている「その情報はありませんでした。」という情報である。既に述べたように認識情報データベース４２１は更新されるので、過去の情報には既に消去されているものがあり得るからである。

この図８の処理により、ユーザは、過去の看板等の認識情報の出力を的確に受けることができる。そして、ユーザとの更なる対話等により、車載装置１０は、ナビゲーション装置１２と連携することで、例えばその認識情報の位置情報に基づいてその表示の場所に車両を誘導することを可能にする。これは認識情報に位置情報が含まれるからである。

次に、運転処理部８０による処理を、図９及び図１０のフローチャートに基づいて説明する。まず、図９のフローチャートに基づいて説明する。図９の処理は、所定時間間隔で繰り返されることが望ましい。

履歴取得部８１は、各種センサの出力に基づいて車両の運転履歴を取得することを実行する（ステップＳ９０１）。そして、標識抽出部８２は、認識情報データベース４２１の取得した認識情報の中から交通標識ジャンルのその時点での走行に関係する認識情報を抽出し、これにより又はこれに基づき交通標識の標識情報を抽出する（ステップＳ９０３）。不適合判定部８３は、取得された運転履歴が、抽出された標識情報に適合しなかったか否かを判定する（ステップＳ９０５）。その結果、適合しなかったとき（ステップＳ９０５で否定判定）、ここでは、３つの処理が実行される（ステップＳ９０７）。ただし、３つの処理のうち、いずれか１つ又は２つの処理のみが実行されてもよい。３つの処理のうちの１つ目の処理として、不適合判定部８３により、その標識情報とその位置情報とを記憶部４２の不適合情報データベース４２４に記憶させることが実行される。２つ目の処理として、警告出力部８５により、運転者等のユーザに警告情報を出力することが実行される。３つ目の処理として、設定部８６により、適合しなかった標識情報を指摘用の注目情報に設定することが実行される。例えば、標識情報が図５Ｂの表示Ｄ２と「一時停止」という文字であるとき、そのもととなった認識情報の交通標識ジャンルが読み出されて、それらはまとめて指摘用の注目情報に設定され得る。なお、適合したとき（ステップＳ９０５で肯定判定）、当該ルーチンは終了する。

なお、設定部８６により適合しなかった標識情報が指摘用の注目情報に設定されたとき（ステップＳ９０７）、図７に基づいて説明したように、抽出処理部７１はその標識情報を交通標識ジャンルの注目情報として取得する（ステップＳ７０１）。そして、その指摘用の注目情報に適合する認識情報つまり、交通標識ジャンルであり表示が一致する又は意味が適合する認識情報を取得できたとき（ステップＳ７０５で肯定判定）、その認識情報を抽出して（ステップＳ７０７）、出力すること（ステップＳ７０９）が実行される。このようにして、制御部４０により、運転履歴が標識情報に適合しなかったとき、適合しなかった標識情報に適合する認識情報を新規に取得した場合に、新規に取得した該認識情報を出力することが実行される。なお、このときの認識情報の適合処理では、画像認識部５２及び／又は標識抽出部８２によりその処理の少なくとも一部を担わせてもよい。

更に、不適合判定部８３が、その標識情報とその位置情報とを記憶部４２の不適合情報データベース４２４に記憶させることを実行したときについて、図１０のフローチャートに基づいて説明する。図１０の処理は、所定時間間隔で繰り返されることが望ましい。

運転処理部８０の標識出力部８４は、ステップＳ９０７で不適合情報データベース４２４に記憶した標識情報の位置情報と所定関係の位置に車両Ｃが位置するようになったか否かを判定する（ステップＳ１００１）。なお、車両Ｃの位置情報は、ＧＰＳ受信部１２Ｇから取得される。所定関係の位置に車両が位置するようになったとき（ステップＳ１００１で肯定判定）、標識出力部８４は、記憶した標識情報を不適合情報データベース４２４から読み出す（ステップＳ１００３）。そして、標識出力部８４は、読み出した標識情報を出力する（ステップＳ１００５）。例えば、読み出した標識情報が図５Ｂの表示Ｄ２を含むとき、その表示Ｄ２が出力されて、ここでは表示装置２８の表示部に表示される。なお、例えば、標識情報が図５Ｂの表示Ｄ２を含むとき、その表示Ｄ２に加えて又はそれに代えて、その意味「一時停止」のみが出力されてもよい。

ここでは、上記車載装置１０の交通標識データベース４２３は日本の交通標識について構築されている。しかし、交通標識データベース４２３は、日本以外の国の交通標識について構築されてもよく、あるいは、複数の国の交通標識を関連付けて構築されてもよい。例えば、交通標識データベース４２３が日本とアメリカの交通標識を関連付けて記憶していて、ユーザがアメリカ人であることを入力しているとき、標識出力部８４は、日本の交通標識に相当するアメリカの交通標識がある場合には、それを出力してもよい。例えば、標識出力部８４は、出力する交通標識が図５Ｂの表示Ｄ２であるとき、その表示Ｄ２に加えて又はそれに代えて、表示Ｄ２に相当する図５Ｃの表示Ｄ３を出力してもよい。なお、図５Ｂの表示Ｄ２は一時停止の日本の交通標識の一例であり、図５Ｃの表示Ｄ３は一時停止のアメリカの交通標識の一例である。

更に、運転処理部８０の標識出力部８４は、標識情報を出力することに加えて、その標識情報に関連する意味情報の問い合わせ処理を受け付け可能にするべく、表示装置２８の第１入力部２８ａをＯＮ状態にする（ステップＳ１００７）。第１入力部２８ａはここではタッチパネルの一部であるが、スイッチボタン等であってもよい。また、標識情報に関連する意味情報の問い合わせ処理の受け付けは、マイク２４を介しての音声入力により行われてもよい。なお、この第１入力部２８ａのＯＮ状態は所定時間のみ継続され得る。具体的には、表示装置２８の表示部に第１入力部２８ａを表示させることが実行され、ユーザが第１入力部２８ａを押すことに伴い、制御部４０はユーザからのその交通標識の標識情報の意味等の問い合わせを受け付けつけることができる。

この意味等の問合せ処理について図１１のフローチャートに基づいて説明する。

ユーザが第１入力部２８ａを押すことに伴い、第２取得部６０の問合せ受付部６５に、表示された交通標識の標識情報が送信される。これにより、問合せ受付部６５はその標識情報を取得して受け付け、問合せ処理を開始する（ステップＳ１１０１で肯定判定）。この結果、問合せ受付部６５は、取得した標識情報を、例えばそれが図５Ｂの表示Ｄ２の場合、その表示を検索処理部７０の抽出処理部７１に送信する。

抽出処理部７１は、標識情報を取得して、その標識情報の表示の意味などの情報つまり意味情報を交通標識データベース４２３から抽出する（ステップＳ１１０３）。そして、検索処理部７０の検索出力部７２は、抽出した意味情報を出力する（ステップＳ１１０５）。標識情報が例えば図５Ｂの表示Ｄ２の場合、「一時停止」が出力され得るが、その詳しい意味「車速がゼロになること」が更に出力されてもよい。

なお、この標識情報の今の運転への影響つまり制約についての問い合わせの受け付け、及び、それに対応する処理（図１１）は、警告出力部８５での警告時、及び／又は、設定部８６により設定された注目情報に関する認識情報の出力時にも同様に行われてもよい。これにより、ユーザにより安全な運転を促すことが可能になる。

また、運転者等のユーザは、不適合判定部８３の処理に関係なく、今の運転に対して影響し得る交通標識の標識情報の問い合わせつまり現況問合せを行うことができる。この交通標識の現況問合せ処理について、図１２のフローチャートに基づいて説明する。

前述の通り、表示装置２８の第２入力部２８ｂは、車両の走行中、常時ＯＮ状態にある。そして、この第２入力部２８ｂは、現況問合せを運転者等のユーザが入力するためのものであり、例えば、「現況問合せ」との表示を出力表示するとともに、ユーザの指示により動作し得、ここでは具体的にはユーザにより押されることができる。ユーザが第２入力部２８ｂを押すことで現況問合せの信号が回答部８７に送信される。これにより、回答部８７は、現況問合せを取得して受け付ける（ステップＳ１２０１で肯定判定）。

回答部８７は、現況問合せを取得すると、不適合判定部８３において読み出されている標識抽出部８２により抽出された現在のつまり最新の交通標識の標識情報を取得して、現況問合せの回答として出力する（ステップＳ１２０３）。この回答は、標識情報のうちの表示そのもの、例えば図５Ｂの表示Ｄ２そのものであってもよいが、その意味「一時停止」であってもよい。また、ここで出力される標識情報は、一時停止に限らず、例えば制限速度、Ｕターン禁止、追い越し禁止などの情報であり得る。

以上説明した車載装置１０及びその制御部４０つまりコンピュータが実行する情報処理方法によれば、車両の外部の画像から認識された表示の認識情報を取得することと、車両のユーザが注目する注目情報を取得することと、取得した認識情報の中から注目情報に適合する認識情報を抽出して出力することとが実行される。したがって、交通標識及び看板などの種々の表示をユーザにより好適に提供することができる。そして、更に、例えば、過去の時間又は場所に関する注目情報が取得されたときには、その注目情報に適合する認識情報の出力が促されるので、運転者等の車両の運転をより快適なものにすることができる。更に、例えば、運転処理部８０での上記処理によれば、交通標識を守ることが促される。

なお、前述の各処理により、上記車載装置１０又は制御部４０により出力される情報は、例えば抽出した認識情報又は標識情報の全部又は一部であってもよい。例えば、抽出した認識情報を出力するときに、認識された表示のみを出力するのか、又は、それ以外の情報を付加して出力するのか、或いは認識された表示以外の情報のみを出力するのかは、ユーザにより任意に設定されるとよい。また、上記機能モジュールの各々は、他の機能モジュールと統合されても、更に分割されてもよい。例えば上記検索処理部７０は、複数に分けられてもよく、注目情報データベース４２２に記憶されている注目情報に基づく処理用の機能モジュールと、その他の情報に基づく処理用の機能モジュールに分けられてもよい。

以上の図１から図１２に示す実施の形態に関し、さらに以下の付記を開示する。
（付記１）
コンピュータが、
車両のユーザが注目する注目情報を取得することと、
前記車両の外部の画像内の表示について取得した認識情報の中から前記注目情報に適合する認識情報を抽出して出力することと
を実行する、情報処理方法。
（付記２）
前記認識報を抽出して出力することは、取得した前記認識情報の中から、第１注目情報に適合する認識情報を抽出し、更に抽出した認識情報の中から前記第１注目情報よりも階層的に下位の注目情報である第２注目情報に適合する認識情報を抽出することを含む、
付記１に記載の情報処理方法。
（付記３）
前記認識情報は、関連する前記画像の撮影時刻情報及び前記画像の位置情報を含み、
前記認識情報を抽出することは、時間又は場所についてのユーザ入力に基づいて実行される、
付記１又は付記２に記載の情報処理方法。
（付記４）
前記コンピュータが、
前記車両の運転履歴を取得することと、
取得した前記認識情報の中から交通標識の標識情報を抽出することと、
前記運転履歴が前記標識情報に適合しなかったとき、該標識情報とその位置情報とを記憶することと、
記憶した前記標識情報の位置情報と所定関係の位置に前記車両が位置するようになったとき、記憶した前記標識情報を出力することと
を更に実行する
付記１から付記３のいずれか一項に記載の情報処理方法。
（付記５）
前記コンピュータが、
前記車両の運転履歴を取得することと、
取得した前記認識情報の中から交通標識の標識情報を抽出することと、
前記運転履歴が前記標識情報に適合しなかったとき、前記ユーザに警告情報を出力することと
を更に実行する
付記１から付記４のいずれか一項に記載の情報処理方法。
（付記６）
前記コンピュータが、
前記車両の運転履歴を取得することと、
取得した前記認識情報の中から交通標識の標識情報を抽出することと、
前記運転履歴が前記標識情報に適合しなかったとき、適合しなかった前記標識情報に適合する認識情報を新規に取得した場合に、新規に取得した該認識情報を出力することと
を更に実行する
付記１から付記５のいずれか一項に記載の情報処理方法。
（付記７）
前記コンピュータが、
前記運転履歴が前記標識情報に適合しなかったことに基づく処理に伴って問い合わせされた前記標識情報に関連する意味情報を抽出することと、
抽出した前記意味情報を出力することと
を更に実行する
付記４から付記６のいずれか一項に記載の情報処理方法。
（付記８）
前記コンピュータが、
ユーザからの交通標識の現況問合せを取得することと、
取得した前記認識情報の中の最新の交通標識の標識情報を出力することと
を更に実行する、付記１から付記７のいずれか一項に記載の情報処理方法。
（付記９）
付記１から付記８のいずれか一項に記載の情報処理方法をコンピュータに実行させる、プログラム。
（付記１０）
車両のユーザが注目する注目情報を取得する取得部と、
前記車両の外部の画像内の表示について取得した認識情報の中から前記注目情報に適合する認識情報を抽出して出力する処理部と
を備える車載装置。
（付記１１）
前記処理部は、取得した前記認識情報の中から、第１注目情報に適合する認識情報を抽出し、更に抽出した認識情報の中から前記第１注目情報よりも階層的に下位の注目情報である第２注目情報に適合する認識情報を抽出することを実行する、
付記１０に記載の車載装置。
（付記１２）
前記認識情報は、関連する前記画像の撮影時刻情報及び前記画像の位置情報を含み、
前記処理部は、時間又は場所についてのユーザ入力に基づいて前記認識情報の抽出を実行する、
付記１０又は付記１１に記載の車載装置。
（付記１３）
前記車両の運転履歴を取得する履歴取得部と、
取得した前記認識情報の中から交通標識の標識情報を抽出する標識抽出部と、
前記運転履歴が前記標識情報に適合しなかったとき、該標識情報とその位置情報とを記憶する不適合判定部と、
記憶した前記標識情報の位置情報と所定関係の位置に前記車両が位置するようになったとき、記憶した前記標識情報を出力する標識出力部と
を更に備える、
付記１０から付記１２のいずれか一項に記載の車載装置。
（付記１４）
前記車両の運転履歴を取得する履歴取得部と、
取得した前記認識情報の中から交通標識の標識情報を抽出する標識抽出部と、
前記運転履歴が前記標識情報に適合しなかったとき、前記ユーザに警告情報を出力する警告出力部と
を更に備える、
付記１０から付記１３のいずれか一項に記載の車載装置。
（付記１５）
前記車両の運転履歴を取得する履歴取得部と、
取得した前記認識情報の中から交通標識の標識情報を抽出する標識抽出部と、
前記運転履歴が前記標識情報に適合しなかったとき、適合しなかった前記標識情報に適合する認識情報を新規に取得した場合に、新規に取得した該認識情報を出力するべく、適合しなかった前記標識情報を指摘用の注目情報に設定する設定部と
を更に備え、
前記処理部又は該処理部と異なる処理部は、取得した前記認識情報の中から前記指摘用の注目情報に適合する認識情報を抽出して出力する、
付記１０から付記１４のいずれか一項に記載の車載装置。
（付記１６）
前記運転履歴が前記標識情報に適合しなかったことに基づく処理に伴って前記標識情報に関連する意味情報の問い合わせ処理を受け付ける問合せ受付部を更に備え、
前記処理部又は前記処理部と異なる処理部は、
問い合わせされた前記標識情報に関連する意味情報を抽出することと、
抽出した前記意味情報を出力することと
を実行する、
付記１３から付記１５のいずれか一項に記載の車載装置。
（付記１７）
ユーザからの交通標識の現況問合せに対する回答として、取得した前記認識情報の中の最新の交通標識の標識情報を出力する回答部を更に備える、
付記１０から付記１６のいずれか一項に記載の車載装置。

以上、本発明の代表的な実施形態及び変形例について説明したが、本発明は種々の変更が可能である。本願の特許請求の範囲によって定義される本発明の精神及び範囲から逸脱しない限り、種々の置換、変更が可能である。

１つの装置が行うものとして説明した処理が、複数の装置によって分担して実行されてもよい。例えば、情報処理装置としての車載装置１０つまり制御部４０は１つのコンピュータである必要はなく、複数のコンピュータを備えるシステムとして構成されてもよい。あるいは、異なる装置が行うものとして説明した処理が、１つの装置によって実行されても構わない。コンピュータシステムにおいて、各機能をどのようなハードウェア構成によって実現するかは柔軟に変更可能である。

本開示は、上記の実施の形態で説明した機能を実装したコンピュータプログラムをコンピュータに供給し、当該コンピュータが有する１つ以上のプロセッサがプログラムを読み出して実行することによっても実現可能である。このようなコンピュータプログラムは、コンピュータのシステムバスに接続可能な非一時的なコンピュータ可読記憶媒体によってコンピュータに提供されてもよいし、ネットワークを介してコンピュータに提供されてもよい。非一時的なコンピュータ可読記憶媒体は、例えば、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスクドライブ（ＨＤＤ）等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤディスク、ブルーレイディスク等）など任意のタイプのディスク、読み込み専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、ＥＰＲＯＭ、ＥＥＰＲＯＭ、磁気カード、フラッシュメモリ、光学式カード、電子的命令を格納するために適した任意のタイプの媒体を含む。

１０ 車載装置
１２ ナビゲーション装置
１２Ｇ ＧＰＳ受信部
１４ 車速センサ
１６ 舵角センサ
１８ アクセルポジションセンサ
２０ ブレーキセンサ
２２ 車外カメラ
２４ マイク
２６ スピーカ
２８ 表示装置
３０ 通信モジュール
４０ 制御部
４２ 記憶部

Claims (10)

1. コンピュータが、
   車両のユーザが注目する注目情報を取得することと、
   前記車両の外部の画像内の表示について取得した認識情報の中から前記注目情報に適合する認識情報を抽出して出力することと
   を実行する、情報処理方法。
2. 前記認識情報を抽出して出力することは、取得した前記認識情報の中から、第１注目情報に適合する認識情報を抽出し、更に抽出した認識情報の中から前記第１注目情報よりも階層的に下位の注目情報である第２注目情報に適合する認識情報を抽出することを含む、
   請求項１に記載の情報処理方法。
3. 前記認識情報は、関連する前記画像の撮影時刻情報及び前記画像の位置情報を含み、
   前記認識情報を抽出することは、時間又は場所についてのユーザ入力に基づいて実行される、
   請求項１又は２に記載の情報処理方法。
4. 前記コンピュータが、
   前記車両の運転履歴を取得することと、
   取得した前記認識情報の中から交通標識の標識情報を抽出することと、
   前記運転履歴が前記標識情報に適合しなかったとき、該標識情報とその位置情報とを記憶することと、
   記憶した前記標識情報の位置情報と所定関係の位置に前記車両が位置するようになったとき、記憶した前記標識情報を出力することと
   を更に実行する
   請求項１から３のいずれか一項に記載の情報処理方法。
5. 前記コンピュータが、
   前記車両の運転履歴を取得することと、
   取得した前記認識情報の中から交通標識の標識情報を抽出することと、
   前記運転履歴が前記標識情報に適合しなかったとき、前記ユーザに警告情報を出力することと
   を更に実行する
   請求項１から４のいずれか一項に記載の情報処理方法。
6. 前記コンピュータが、
   前記車両の運転履歴を取得することと、
   取得した前記認識情報の中から交通標識の標識情報を抽出することと、
   前記運転履歴が前記標識情報に適合しなかったとき、適合しなかった前記標識情報に適合する認識情報を新規に取得した場合に、新規に取得した該認識情報を出力することと
   を更に実行する
   請求項１から５のいずれか一項に記載の情報処理方法。
7. 前記コンピュータが、
   前記運転履歴が前記標識情報に適合しなかったことに基づく処理に伴って問い合わせされた前記標識情報に関連する意味情報を抽出することと、
   抽出した前記意味情報を出力することと
   を更に実行する、
   請求項４から６のいずれか一項に記載の情報処理方法。
8. 前記コンピュータが、
   ユーザからの交通標識の現況問合せを取得することと、
   取得した前記認識情報の中の最新の交通標識の標識情報を出力することと
   を更に実行する、
   請求項１から７のいずれか一項に記載の情報処理方法。
9. 請求項１から８のいずれか一項に記載の情報処理方法をコンピュータに実行させる、プログラム。
10. 車両のユーザが注目する注目情報を取得する取得部と、
    前記車両の外部の画像内の表示について取得した認識情報の中から前記注目情報に適合する認識情報を抽出して出力する処理部と
    を備える車載装置。
    
    

Images