JP2020034461A - 提供装置、提供方法、及び提供プログラム - Google Patents

Abstract

【課題】ルート案内における運転者の利便性を向上させること。【解決手段】本願に係る提供装置は、移動体に搭載された第１撮像部によって生成された画像であって、前記移動体の外部の画像を取得する取得部と、前記取得部により取得された画像に基づいて、前記移動体の目的地までのルート案内に関わる情報を提供する提供部とを備えることを特徴する。【選択図】図４

Description

本出願は、提供装置、提供方法、及び提供プログラムに関する。

従来、車両の運転者の利便性に資するべく、車両の運転者に目的地までのルート案内を実行する種々のナビゲーション技術が開発されている。

特許第５９４７２３６号公報

しかしながら、従来技術は、ルート案内における運転者の利便性の面において改善の余地がある。

例えば、従来技術は、対象進入路に関する走行画像から直感的な特徴条件を有する地物を抽出し、地物を抽出する際の特徴条件と対象進入路とを関連付けて作成した目印データに基づいてルート案内を行う。しかし、作成済みの目印データに基づく案内よりも、走行中の車両周囲の現時点の状況に即した案内の方が、運転者にとって認識しやすい場合もある。

本願は、上記に鑑みてなされたものであって、ルート案内における運転者の利便性を改善することを目的とする。

本願に係る提供装置は、移動体に搭載された第１撮像部によって生成された画像であって、前記移動体の外部の画像を取得する取得部と、前記取得部により取得された画像に基づいて、前記移動体の目的地までのルート案内に関わる情報を提供する提供部とを備えることを特徴する。

実施形態の態様の１つによれば、ルート案内における運転者の利便性を向上させることができるという効果を奏する。

図１は、実施形態に係る処理の一例を示す図である。 図２は、実施形態に係る処理の一例を示す図である。 図３は、実施形態に係る処理の一例を示す図である。 図４は、実施形態に係る端末装置の構成例を示す図である。 図５は、実施形態に係る端末装置が実行する処理手順の一例を示すフローチャートである。 図６は、実施形態に係る端末装置が実行する処理手順の他の一例を示すフローチャートである。 図７は、他の実施形態に係る処理の一例を示す図である。 図８は、他の実施形態に係る端末装置１０が実行する処理手順の一例を示すフローチャートである。 図９は、端末装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。

以下に、本願に係る提供装置、提供方法、及び提供プログラムを実施するための形態（以下、「実施形態」と呼ぶ）について図面を参照しつつ詳細に説明する。なお、以下に説明する複数の実施形態により本願に係る提供装置、提供方法、及び提供プログラムが限定されるものではない。また、以下に説明する複数の実施形態は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。また、以下に説明する複数の実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。

［１．処理の一例］
まず、図１から図３を用いて、本願に係る提供装置の一つとして例示する端末装置１０が実行する処理の一例を説明する。図１から図３は、実施形態に係る処理の一例を示す図である。なお、端末装置１０は、撮像機能、画像認識機能、および音声合成機能などを備える装置、例えば、いわゆるスマートフォンのような携帯端末、タブレット、ドライブレコーダ、カーナビゲーションシステムなどを含む。端末装置１０は、本出願に係る提供装置の処理を実現するための機能を提供する特定のプログラムを実行する専用端末であってもよい。また、以下では、本願に係る提供装置の一つとして例示する端末装置１０が、移動体の１つとして例示される車両１に搭載される場合について説明する。

実施形態に係る端末装置１０は、出力部１０３、第１撮像部１０５、第２撮像部１０６などを備え、車両１の外部の様子を撮像して記録するドライブレコーダとしての機能と、目的地までのルートを案内するナビゲーション装置としての機能を兼ね備える。

図１から図３に示す例において、端末装置１０は、車両１のフロントガラス１Ｇに据え付けられる。端末装置１０の据え付け位置は、車両１の前方を撮像することができれば、特に限定される必要はなく、ダッシュボードの上、あるいはルームミラーに据え付けられてもよい。

ここで、車両の運転者に目的地までの経路を案内する技術として、対象進入路に関する走行画像から直感的な特徴条件を有する地物を抽出し、地物を抽出する際の特徴条件と対象進入路とを関連付けて作成した目印データに基づいてルート案内を行う技術が知られている。しかし、作成済みの目印データに基づく案内よりも、走行中の車両周囲の現時点の状況に即した案内の方が、運転者にとって認識しやすい場合もあり、改善の余地がある。

そこで、端末装置１０は、車両１に搭載された第１撮像部１０５によって生成された画像であって、車両１の外部の画像を取得する（ステップＳ１１）。そして、端末装置１０は、ステップＳ１１で取得された画像に基づいて、車両１の目的地までのルート案内に関する情報を提供する（ステップＳ１２）。

たとえば、図２に示すように、端末装置１０は、ルート案内の実行中、ルート案内の実行に際して探索された目的地までの走行予定経路を規定する経路情報と、第１撮像部１０５により撮像された画像の認識結果とに基づいて、「熊出没注意の看板を超えて最初の交差点を左折です。」という音声案内Ｇ１を生成し、出力部１０３から出力できる。

また、端末装置１０は、図３に示すように、ルート案内の実行中、車両１の室内を撮像する第２撮像部１０６によって生成された画像を取得し、取得された車両１の室内の画像に基づいて、車両１の運転者Ｕ１（「ユーザ」の一例）の視線方向ｄ１を検出する。そして、端末装置１０は、車両１の外部の画像の中から視線方向ｄ１にある対象を「熊出没注意」と表示された看板であると推定し、推定した「熊出没注意」と表示された看板と、ルート案内の実行に際して探索された目的地までの走行予定経路を規定する経路情報とに基づいて、「熊出没注意の看板を超えて最初の交差点を左折です。」という音声案内Ｇ１を生成し、出力部１０３から出力できる。

このようにして、端末装置１０は、車両１の周囲の現時点の状況に即した情報の提供を行うことができ、ルート案内における運転者の利便性を向上させることができる。以下、このような処理を行う端末装置１０の構成等について詳細に説明する。

［２．端末装置の構成］
図４を用いて、実施形態に係る端末装置１０の構成について説明する。図４は、実施形態に係る端末装置１０の構成例を示す図である。

図４に示すように、端末装置１０は、操作部１０１と、音声取得部１０２と、出力部１０３と、表示部１０４と、第１撮像部１０５と、第２撮像部１０６と、通信部１０７と、位置取得部１０８と、記憶部１０９と、制御部１１０とを備える。

［操作部１０１について］
操作部１０１は、例えば、ボタンやスイッチであり、端末装置１０の各種操作に用いられる。操作部１０１による各種操作には、目的地の設定が含まれる。

［音声取得部１０２および出力部１０３について］
音声取得部１０２は、たとえばマイクロフォンであり、車両１に乗車中に運転者が発する音声などの取得に用いられる。音声取得部１０２は、たとえば、取得した音声を音声信号に変換して、制御部１１０に出力できる。出力部１０３は、たとえばスピーカであり、ルート案内に伴う音声案内などの出力に用いられる。出力部１０３は、たとえば、制御部１１０からの音声信号を音声として出力できる。

［表示部１０４について］
表示部１０４は、例えば、ディスプレイであり、各種情報を表示できる。表示部１０４は、上述した操作部１０１と協働して、タッチ操作による入力および各種情報の表示を実現するタッチパネルとして構成されてもよい。

［第１撮像部１０５および第２撮像部１０６について］
第１撮像部１０５及び第２撮像部１０６は、レンズ等の光学系と、ＣＣＤ（Charge Coupled Device）イメージセンサ、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサ等の撮像素子とを有する撮像ユニットである。第１撮像部１０５は、車両１の外部（たとえば、車両１の進行方向）の様子を撮像する。第２撮像部１０６は、車両１の室内の様子を撮像する。たとえば、第２撮像部１０６は、車両１の運転者の眼球を鮮明に撮像できるように、予め撮像方向のキャリブレーションを行うことができる。

［通信部１０７について］
通信部１０７は、たとえば、通信インターフェイスであり、所定の通信規格をサポートする通信モジュール等によって実現される。通信部１０７がサポートする無線通信の規格として、２Ｇ、３Ｇ、４Ｇ、５Ｇ等のセルラーフォンの通信規格、及び近距離無線の通信規格が例示される。

セルラーフォンの通信規格には、例えば、ＬＴＥ（Long Term Evolution）、Ｗ−ＣＤＭＡ（登録商標）（Wideband code Division Multiple Access）、ＣＤＭＡ２０００、ＰＤＣ（Personal Digital Cellular）、ＧＳＭ（登録商標）（Global System For Mobile communications）、ＰＨＳ（Personal Handy-phone System）等が含まれる。近距離無線の通信規格には、ＷｉＭＡＸ（登録商標）（Worldwide interoperability for Microwave Access）、ＩＥＥＥ８０２．１１、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩｒＤＡ（Infrared Data Association）、ＮＦＣ（登録商標）（Near Field Communication）、ＷＰＡＮ（Wireless Personal Area Network）等が含まれる。

通信部１０７は、通信ネットワークと有線または無線で接続され、通信ネットワークを介して、他の装置との間で情報の送受信を行う。通信部１０７は、表示部１０４とは別に車両１の室内に備えられた他の表示装置にルート案内の情報を送信できる。通信部１０７が接続する通信ネットワークは、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）、電話網（携帯電話網、固定電話網等）、地域ＩＰ（Internet Protocol）網、インターネット等を含む。

［位置取得部１０８について］
位置取得部１０８は、例えば、ＧＰＳ（Global Positioning System）等の衛星測位システムに用いられる信号を衛星から受信するためのアンテナを備えたＧＰＳ受信機であり、ＧＰＳ衛星からの所定の周波数帯の電波信号を受信できる。位置取得部１０８は、受信した電波信号の復調処理を行って、処理後の信号を制御部１１０に送出する。制御部１１０は、位置取得部１０８から取得する処理後の信号を用いて、端末装置１０の現在位置を所定の時間間隔で特定する測位機能を有する。

［記憶部１０９について］
記憶部１０９は、ＲＡＭ（Random Access Memory)、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の非一過的（non-transitory）な任意の記憶装置によって実現される。記憶部１０９は、道路地図情報１０９ａと、経路情報１０９ｂと、第１画像情報１０９ｃと、第２画像情報１０９ｄとを記憶する。

［道路地図情報１０９ａについて］
道路地図情報１０９ａは、車両１の目的地までのルート探索を実行するための道路の名称、交差点の名称、道路の属性などの道路要素に関する種々の情報を含む。道路地図情報１０９ａは、道路地図上に位置する店舗や施設などの建物に関する情報および住所情報などを含んでよい。

［経路情報１０９ｂについて］
経路情報１０９ｂは、ルート案内の実行に際して探索された目的地までの走行予定経路を規定する。

［第１画像情報１０９ｃおよび第２画像情報１０９ｄについて］
第１画像情報１０９ｃは、第１撮像部１０５により撮像された車両１の前方の画像情報を含む。第２画像情報１０９ｄは、第２撮像部１０６により撮像された車両１の室内の画像情報を含む。制御部１１０は、第１撮像部１０５により撮像された画像情報を取得し、取得した画像情報を、位置取得部１０８から取得した車両１の現在位置（すなわち、撮像場所）および撮像日時等と関連付けて第１画像情報１０９ｃとして記憶部１０９に記録する。同様に、制御部１１０は、第２撮像部１０６により撮像された画像情報を取得し、取得した画像情報を、位置取得部１０８から取得した車両１の現在位置（すなわち、撮像場所）および撮像日時等と関連付けて第２画像情報１０９ｄとして記憶部１０９に記録する。第１画像情報１０９ｃおよび第２画像情報１０９ｄは、たとえば交通事故が発生した際の事故の状況を調査するための検証データとして利用されるが、後述する提供部１１０ｃによる処理に利用することもできる。

［制御部１１０について］
制御部１１０は、コントローラ（controller）であり、例えば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等によって、端末装置１０内部の記憶装置に記憶されている各種プログラム（算出プログラムの一例に相当）がＲＡＭを作業領域として実行されることにより実現される。また、制御部１３０は、例えば、コントローラであり、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現される。制御部１１０は、ルート案内部１１０ａと、取得部１１０ｂと、提供部１１０ｃとを有する。

［ルート案内部１１０ａについて］
ルート案内部１１０ａは、記憶部１０９に記憶されている道路地図情報１０９ａを用いて、運転者により設定された目的地までの走行予定経路を探索し、探索した走行予定経路に基づいて、目的地までのルート案内に関する処理を実行できる。ルート案内部１１０ａは、ルート案内の実行に際して探索された目的地までの走行予定経路を規定する走行予定経路を規定する経路情報１０９ｂを記憶部１０９に保存する。ルート案内部１１０ａは、目的地までのルート案内に関する情報を音声および画像などを用いて車両１の運転者に提供できる。ルート案内部１１０ａは、出力部１０３を介して、目的地までの走行予定経路に関する音声案内を提供できる。ルート案内部１１０ａは、表示部１０４を介して、目的地までの走行予定経路を示す進行方向、分岐点、区間情報などを表示する画像情報を提供できる。ルート案内部１１０ａは、ルート案内に関する画像情報を、車両１の室内に備えられた他の表示装置に表示させてもよい。

ルート案内部１１０ａにより実行されるルート案内の処理は、端末装置１０とは別に、ルート案内の処理を実行するために車両１に搭載されるナビゲーションユニットにより実行されてもよい。この場合、端末装置１０は、ナビゲーションユニットと連携して、ナビゲーションユニットからルート案内に関する情報を取得し、後述する提供部１１０ｃにより処理を実行できる。

［取得部１１０ｂについて］
取得部１１０ｂは、車両１に搭載された第１撮像部１０５によって生成された画像であって、車両１の外部の画像を取得する。取得部１１０ｂは、車両１の室内を撮像する第２撮像部１０６によって生成された画像を取得する。

［提供部１１０ｃについて］
提供部１１０ｃは、取得部１１０ｂにより取得された画像、すなわち第１撮像部１０５により撮像された車両１の外部の画像に基づいて、車両１の目的地までのルート案内に関わる情報を提供する処理を実行できる。提供部１１０ｃにより提供される情報は、ルート案内部１１０ａにより運転者に提供されるルート案内の情報とともに提供されてもよいし、ルート案内部１１０ａにより運転者に提供されるルート案内の情報の代わりに提供されてもよい。

提供部１１０ｃは、ルート案内の実行に際してルート案内部１１０ａにより探索された目的地までの走行予定経路を規定する経路情報１０９ｂと、第１撮像部１０５により撮像された画像に基づいて、ルート案内に関わる情報を提供するための音声案内を実行できる。提供部１１０ｃにより実行される音声案内は、第１撮像部１０５により撮像された画像、すなわち車両１の外部（たとえば、車両１の進行方向）の画像に即した内容となる。走行予定経路における分岐点において左折が予定されている場合、上述の図２に例示するように、「熊出没注意の看板を超えて最初の交差点を左折です。」という内容の音声案内を実現できる。あるいは、走行予定経路における分岐点において右折が予定されている道路から自転車が出てきた場合、「今、自転車が出てきたところを右です。」という内容の音声案内を実現することもできる。

提供部１１０ｃは、経路情報１０９ｂと、第１撮像部１０５により撮像された車両１の外部（たとえば、車両１の進行方向）の画像の画像認識処理の結果とに基づいて、ルート案内に関わる音声案内を車両１の運転者に提供するための音声信号を生成する音声合成処理を実行することにより、車両１の外部（たとえば、車両１の進行方向）の画像に即した内容の音声案内を実現できる。提供部１１０ｃは、車両１が走行予定経路における分岐点に接近しているか否かを判定し、判定の結果、車両１が分岐点に接近していると判定した場合、経路情報１０９ｂと、第１撮像部１０５により撮像された車両１の外部の画像の画像認識結果とに基づいて音声案内を実行できる。

提供部１１０ｃによる画像認識処理は、パターンマッチングによる画像認識処理、機械学習又は深層学習により認識モデルを用いた画像認識処理などの既知の技術を用いて、第１撮像部１０５により撮像された画像、すなわち車両１の前方の画像を認識できる。機械学習には、ＳＶＭ（Support Vector Machine）などが例示される。深層学習には、ＤＮＮ（Deep Neural Network）、ＲＮＮ（Recurrent Neural Network）、及びＣＮＮ（Convolutional Neural Network）等が例示される。

提供部１１０ｃによる音声合成処理は、械学習又は深層学習により獲得された音声合成モデルによる音声合成処理などの既知の技術を用いて、ルート案内に関わる音声案内を車両１の運転者に提供するための音声信号を生成できる。機械学習には、ＳＶＭ（Support Vector Machine）などが例示される。深層学習には、ＤＮＮ（Deep Neural Network）、ＲＮＮ（Recurrent Neural Network）、及びＣＮＮ（Convolutional Neural Network）等が例示される。

提供部１１０ｃは、取得部１１０ｂにより取得された画像、すなわち第２撮像部１０６により撮像された車両１の室内の画像に基づいて、車両１の運転者の視線方向を検出し、第１撮像部１０５により撮像された画像の中から視線方向にある対象を推定し、推定した対象と経路情報１０９ｂとに基づいて、ルート案内に関わる情報を提供するための音声案内を実行することもできる。たとえば提供部１１０ｃは、第１撮像部１０５により撮像された画像の中にある赤い建物が、車両１の運転者の視線方向に存在すると推定した場合、赤い建物と経路情報１０９ｂとに基づく音声案内を実現できる。提供部１１０ｃは、車両１が走行予定経路における分岐点に接近しているか否かを判定し、判定の結果、車両１が分岐点に接近していると判定した場合、車両１の室内の画像に基づいて、車両１の運転者の視線方向を検出できる。

提供部１１０ｃは、既存の技術を用いて、車両１の運転者の視線方向を検出できる。たとえば、提供部１１０ｃは、第２撮像部１０６により撮像された画像内の運転者の眼球を含む所定の領域を抽出し、目頭と虹彩との位置関係に基づいて、運転者の視線方向を検出できる。あるいは、提供部１１０ｃは、運転者がフロントガラス１Ｇ上の表示領域各所を閲覧しているときの複数の眼球の画像を参照画像としてそれぞれ蓄積しておき、参照画像と、第２撮像部１０６により撮像された画像から切り出した運転者の眼球の画像とを照合することにより、運転者の視線方向を検出することもできる。

提供部１１０ｃは、第１撮像部１０５により撮像された画像の中に、車両１の運転者の視線方向にあると推定される対象が存在しない場合、音声案内を生成しないように処理を制御することもできる。

［３．処理手順］
図５を用いて、実施形態に係る端末装置１０による処理の手順の一例について説明する。図５は、実施形態に係る端末装置１０が実行する処理手順の一例を示すフローチャートである。

図５に示すように、制御部１１０は、たとえば運転者によるルート探索の実行操作を検出すると、ルート探索を実行し（ステップＳ１０１）、たとえば運転者によるルート案内の開始操作を検出すると、ルート案内を開始する（ステップＳ１０２）。

制御部１１０は、ルート案内の実行中、経路情報１０ｂに基づいて、走行予定経路における分岐点に接近しているかを判定する（ステップＳ１０３）。

制御部１１０は、判定の結果、分岐点に接近している場合（ステップＳ１０３，Ｙｅｓ）、経路情報１０９ｂと車両１の前方の画像とに基づいて音声信号を生成し（ステップＳ１０４）、生成した音声信号により音声案内を実行する（ステップＳ１０５）。

続いて、制御部１１０は、ルート案内を終了するかを判定する（ステップＳ１０６）。制御部１１０は、判定の結果、ルート案内を終了する場合（ステップＳ１０６，Ｙｅｓ）、図５に示す処理を終了する。

一方、制御部１１０は、判定の結果、ルート案内を終了しない場合（ステップＳ１０６，Ｎｏ）、上述したステップＳ１０３の判定に戻る。

上述のステップＳ１０３において、制御部１１０は、判定の結果、分岐点に接近していない場合（ステップＳ１０３，Ｎｏ）、上述したステップＳ１０６の判定に移る。

図６を用いて、実施形態に係る端末装置１０による処理の手順の他の一例について説明する。図６は、実施形態に係る端末装置１０が実行する処理手順の他の一例を示すフローチャートである。図６に示す処理手順は、車両１の室内の画像情報を用いた処理手順を含む点が、図５に示す処理手順とは異なる。

図６に示すように、制御部１１０は、たとえば運転者によるルート探索の実行操作を検出すると、ルート探索を実行し（ステップＳ２０１）、たとえば運転者によるルート案内の開始操作を検出すると、ルート案内を開始する（ステップＳ２０２）。

制御部１１０は、ルート案内の実行中、経路情報１０ｂに基づいて、走行予定経路における分岐点に接近しているかを判定する（ステップＳ２０３）。

制御部１１０は、判定の結果、分岐点に接近している場合（ステップＳ２０３，Ｙｅｓ）、車両１の室内の画像に基づいて運転者の視線方向を検出する（ステップＳ２０４）。

運転者の視線方向を検出後、制御部１１０は、車両１の前方の画像の中から視線方向にある対象を推定する（ステップＳ２０５）。

制御部１１０は、ステップＳ２０５で推定した対象と経路情報１０９ｂとに基づいて音声信号を生成し（ステップＳ２０６）、生成した音声信号により音声案内を実行する（ステップＳ２０７）。

続いて、制御部１１０は、ルート案内を終了するかを判定する（ステップＳ２０８）。制御部１１０は、判定の結果、ルート案内を終了する場合（ステップＳ２０８，Ｙｅｓ）、図６に示す処理を終了する。

一方、制御部１１０は、判定の結果、ルート案内を終了しない場合（ステップＳ２０８，Ｎｏ）、上述したステップＳ２０３の判定に戻る。

［４．変形例］
上述した端末装置１０は、上述してきた実施形態以外にも種々の異なる形態にて実施されてよい。以下に、端末装置１０の他の実施形態について説明する。

［４−１．ルートに関する問合せに応じた情報提供］
上述の実施形態において、端末装置１０が、運転者が発した音声の内容をさらに加味して、車両１の目的地までのルート案内に関わる情報を提供してもよい。

端末装置１０は、ルート案内の実行中、音声取得部１０２により取得された音声の音声認識処理を実行し、たとえば音声入力の内容に指示代名詞が含まれる場合、視線方向に基づいて第１撮像部１０５により撮像された画像の中から指示代名詞が指し示す対象を推定する。そして、端末装置１０は、特定した対象に基づいてルート案内に伴う音声案内を生成し、出力部１０３から出力する。

図７は、他の実施形態に係る処理の一例を示す図である。たとえば、端末装置１０は、「あの看板の次？」という音声Ｑ１を取得し、取得した音声Ｑ１に、「あの」という指示代名詞が含まれる場合、運転手の視線方向に基づいて、第１撮像部１０５（図示略）により撮像された画像の中から指示代名詞が指し示す対象が、「熊出没注意」と表示されている看板から車の進行方向に離れて停車中の黒い車両Ｃ１であると推定する。そして、端末装置１０は、指示代名詞が指し示す対象が、黒い車両Ｃ１であるという推定結果と経路情報１０９ｂとに基づいて、「黒い車が停車している道を右折です。」という音声案内Ａ１を実行する。

このように、端末装置１０は、指示代名詞が指し示す対象の推定結果に基づいて、ルート案内に伴う音声案内を生成できるので、運転者の問合せに応じた適時的な情報の提供を実現でき、ルート案内における運転者の利便性を向上させることができる。

端末装置１０の構成は、以下に説明する点が上述の実施形態とは相違する。

提供部１１０ｃは、ルート案内の実行中、音声取得部１０２により取得された音声の音声認識処理を開始する。提供部１１０ｃは、音声入力の内容に指示代名詞が含まれる場合、運転手の視線方向に基づいて、第１撮像部１０５により撮像された画像の中から指示代名詞が指し示す対象を推定する。提供部１１０ｃは、特定した対象と経路情報１０９ｂとに基づいて、ルート案内に関わる音声案内を車両１の運転者に提供するための音声信号を生成し、出力部１０３から出力する。

提供部１１０ｃは、近称、遠称の指示代名詞を認識できる。近称は、「これ」、「この」、「これら」、「ここ」などを含む。遠称は、「それ」、「その」、「それら」、「そこ」、「あれ」、「あの」、「あれら」などを含む。

提供部１１０ｃは、音声取得部１０２により取得された音声の内容がルート案内に関する問合せであるか否かを判定することもできる。そして、提供部１１０ｃは、音声取得部１０２により取得された音声の内容がルート案内に関する問合せであると判定すると、音声取得部１０２により取得された音声の内容に指示代名詞が含まれるかどうかを判定し、第１撮像部１０５により撮像された画像の中から指示代名詞が指し示す対象を推定する処理を実行できる。

また、提供部１１０ｃは、音声取得部１０２により取得された音声の内容がルート案内に関する問合せではないと判定すると、上述した実施形態と同様に、車両１の前方の画像の中から視線方向に存在する対象を推定し、推定した対象と経路情報１０９ｂとに基づいて音声案内を実行できる。

また、提供部１１０ｃは、音声取得部１０２により取得された音声の内容がルート案内に関する問合せではない場合、音声の内容に指示代名詞が含まれているかどうかを判定する処理を実行しないように制御できる。

図８を用いて、他の実施形態に係る端末装置１０による処理の手順の一例について説明する。図８は、他の実施形態に係る端末装置１０が実行する処理手順の一例を示すフローチャートである。

図８に示すように、制御部１１０は、たとえば運転者によるルート探索の実行操作を検出すると、ルート探索を実行し（ステップＳ３０１）、たとえば運転者によるルート案内の開始操作を検出すると、ルート案内を開始する（ステップＳ３０２）。

制御部１１０は、ルート案内の実行中、経路情報１０ｂに基づいて、走行予定経路における分岐点に接近しているかを判定する（ステップＳ３０３）。

制御部１１０は、判定の結果、分岐点に接近している場合（ステップＳ３０３，Ｙｅｓ）、車両１の室内の画像に基づいて、運転者の視線方向を検出する（ステップＳ３０４）。

制御部１１０は、音声取得部１０２により取得された音声の音声認識処理を開始する（ステップＳ３０５）。

制御部１１０は、音声認識処理の結果、音声取得部１０２により取得された音声がルート案内に関する問合せであるか否かを判定する（ステップＳ３０６）。

制御部１１０は、判定の結果、ルート案内に関する問合せである場合（ステップＳ３０６，Ｙｅｓ）、音声取得部１０２により取得された音声の中に指示代名詞が含まれるかどうかを判定する（ステップＳ３０７）。

制御部１１０は、判定の結果、音声取得部１０２により取得された音声の中に指示代名詞が含まれる場合（ステップＳ３０７，Ｙｅｓ）、運転者の視線方向に基づいて、車両１の前方の画像の中から、指示代名詞が指し示す対象を推定する（ステップＳ３０８）。

制御部１１０は、指示代名詞が指し示す対象と経路情報１０９ｂとに基づいて音声信号を生成し（ステップＳ３０９）、生成した音声信号により音声案内を実行する（ステップＳ３１０）。

続いて、制御部１１０は、走行予定経路において接近していた分岐点を通過したかどうかを判定する（ステップＳ３１１）。制御部１１０は、判定の結果、分岐点を通過していない場合（ステップＳ３１１，Ｎｏ）、上述したステップＳ３０６の処理手順に戻る。これとは反対に、制御部１１０は、分岐点を通過した場合（ステップＳ３１１，Ｙｅｓ）、音声認識処理を終了する（ステップＳ３１２）。

制御部１１０は、ルート案内を終了するかを判定する（ステップＳ３１３）。制御部１１０は、判定の結果、ルート案内を終了する場合（ステップＳ３１３，Ｙｅｓ）、図８に示す処理を終了する。

一方、制御部１１０は、判定の結果、ルート案内を終了しない場合（ステップＳ３１３，Ｎｏ）、上述したステップＳ３０３の判定に戻る。

上述したステップＳ３０７において、制御部１１０は、判定の結果、音声取得部１０２により取得された音声の中に指示代名詞が含まれない場合（ステップＳ３０７，Ｎｏ）、車両１の前方の画像の中から視線方向にある対象を推定して（ステップＳ３１３）、上述したステップＳ３０９の処理手順に移る。

上述したステップＳ３０６において、制御部１１０は、判定の結果、ルート案内に関する問合せではない場合（ステップＳ３０６，Ｎｏ）、上述したステップＳ３１３の判定に移る。

上述したステップＳ３０３において、制御部１１０は、判定の結果、走行予定経路における分岐点に接近していない場合（ステップＳ３０３，Ｎｏ）、上述したステップＳ３１３の判定に移る。

［４−２．ルート案内とは無関係な情報提供］
上述した例において、提供部１１０ｃは、音声取得部１０２により取得された音声の内容が、ルート案内とは関係のない問合せであるとき、問合せに対応する情報を提供してもよい。すなわち、提供部１１０ｃは、運転者の視線方向に基づいて、第１撮像部１０５により撮像された画像の中から指示代名詞が指し示す対象を推定する。そして、提供部１１０ｃは、推定した対象に関する情報の提供を実行してもよい。たとえば、音声の内容が「あの赤い建物は何？」であるとき、提供部１１０ｃは、運転者の視線方向に基づいて、「あの」が指し示す対象を推定し、推定した建物の位置を位置取得部１０８に基づいて特定する。そして、提供部１１０ｃは、特定した建物の位置に基づいて、「あの」が指し示すと推定した建物に関する情報を道路地図情報１０９ａなどから取得して、取得した情報に対応する音声信号を生成し、生成した音声信号を出力部１０３から出力することにより、情報提供を実現する。提供部１１０ｃは、推定した対象に関する情報を取得する際、道路地図情報１０９ａに含まれる情報を取得しても良いし、通信ネットワークを介して接続されるサーバなどから情報を取得しても良い。

［４−３．疑問代名詞に応じた情報提供］
上述した例では、提供部１１０ｃが、音声取得部１０２により取得された音声の内容に指示代名詞が含まれるかどうかを認識する例を説明したが、この例には特に限定されない。提供部１１０ｃは、音声取得部１０２により取得された音声の内容に、たとえば、「どれ」、「どの」などの疑問代名詞が含まれるかどうかをさらに認識してもよい。さらに、提供部１１１０ｂは、音声取得部１０２により取得された音声の内容が、たとえば「どの道を曲がればよい？」という内容で、「どの」という疑問代名詞が含まれる場合、現在のルート案内の内容および車両１の前方の画像に基づいて、音声案内を生成して出力することもできる。ルート案内の指示内容が現在位置から２つめの交差点を左折するというものであるとき、「赤信号が点灯中の２つ目の交差点を左折です。」などのように、運転者に有益な音声案内をルート案内の追加情報として生成できる。

［５．ハードウェア構成］
上述してきた実施形態および変形例に係る端末装置１０は、たとえば図９に示すような構成のコンピュータ１０００によって実現される。以下、端末装置１０を例に挙げて説明する。

図９は、端末装置１０の機能を実現するコンピュータ１０００の一例を示すハードウェア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ１３００、ＨＤＤ１４００、通信インターフェイス（Ｉ／Ｆ）１５００、入出力インターフェイス（Ｉ／Ｆ）１６００、およびメディアインターフェイス（Ｉ／Ｆ）１７００を有する。

ＣＰＵ１１００は、ＲＯＭ１３００またはＨＤＤ１４００に記憶されたプログラムに基づいて動作し、各部の制御を行う。ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を記憶する。

ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、および、かかるプログラムによって使用されるデータ等を記憶する。通信インターフェイス１５００は、ネットワークＮを介して他の機器からデータを受信してＣＰＵ１１００へ送り、ＣＰＵ１１００が生成したデータを、ネットワークＮを介して他の機器へ送信する。

ＣＰＵ１１００は、入出力インターフェイス１６００を介して、ディスプレイやプリンタ等の出力装置、および、キーボードやマウス等の入力装置を制御する。ＣＰＵ１１００は、入出力インターフェイス１６００を介して、入力装置からデータを取得する。また、ＣＰＵ１１００は、入出力インターフェイス１６００を介して生成したデータを出力装置へ出力する。

メディアインターフェイス１７００は、記録媒体１８００に記憶されたプログラムまたはデータを読み取り、ＲＡＭ１２００を介してＣＰＵ１１００に提供する。ＣＰＵ１１００は、かかるプログラムを、メディアインターフェイス１７００を介して記録媒体１８００からＲＡＭ１２００上にロードし、ロードしたプログラムを実行する。記録媒体１８００は、たとえばＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto-Optical disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。

たとえば、コンピュータ１０００が実施形態に係る端末装置１０として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされたプログラムを実行することにより、制御部１１０が備えるルート案内部１１０ａ、取得部１１０ｂ及び提供部１１０ｃの各機能を実現する。また、ＨＤＤ１４００には、記憶部１０９に記憶される情報と同様のデータが記憶される。コンピュータ１０００のＣＰＵ１１００は、これらのプログラムを記録媒体１８００から読み取って実行するが、他の例として、他の装置からネットワークＮを介してこれらのプログラムを取得してもよい。

コンピュータ１０００は、ＣＰＵ１１００の代わりに、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路によって処理を実行してもよい。

［その他］
また、上記実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。たとえば、取得部１１０ｂと提供部１１１０ｃとを機能的または物理的に統合して構成することができる。

また、上述した例では、ルート案内に関する情報を提供するための音声案内を実行する例を説明したが、この例には特に限定される必要はなく、たとえばルート案内に関する情報を提供するための画像表示を実行してもよい。

また、上述した例では、上述した例では、端末装置１０の提供部１１０ｃが、第１撮像部１０５により撮像された車両１の前方の画像認識処理、及びルート案内に関わる音声案内を車両１の運転者に提供するための音声信号を生成する音声合成処理を実行する例を説明した。しかしながら、この例には特に限定される必要はなく、提供部１１０ｃによる画像認識処理および音声合成処理を有するサーバなどの外部の装置に実行させて、端末装置１０は、外部の装置の処理結果を取得してもよい。

また、上述した例では、端末装置１０が、走行予定経路が分岐点に接近していると判定されたタイミングでルート案内に関する情報を提供する場合を説明したが、走行予定経路が分岐点に接近していると判定されたタイミングとは別の任意のタイミングでルート案内に関する情報を提供するように処理を制御してもよい。

また、上述した位置取得部１０８は、ＧＰＳ衛星以外の測位用人工衛星の信号を受信可能な受信機を備え、現在位置の演算処理を実行してもよい。端末装置１０は、複数種類の測位衛星の受信機を備えてもよい。ＧＰＳ衛星以外の測位用人工衛星として、ＧＬＯＮＡＳＳ（Global Navigation Satellite System）の人工衛星、ＩＲＮＳＳ（Indian Regional Navigational Satellite System）の人工衛星、ＣＯＭＰＡＳＳの人工衛星、ＧＡＬＩＬＥＯの人工衛星等が例示される。

また、上述してきた実施形態および変形例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。

［６．効果］
上述してきたように、実施形態に係る端末装置１０（「提供装置」の一例）は、車両１（「移動体」の一例）に搭載された第１撮像部１０５によって生成された画像であって、車両１の外部の画像を取得する取得部１１０ｂと、取得部１１０ｂにより取得された画像に基づいて、車両１の目的地までのルート案内に関わる情報を提供する提供部１１０ｃとを備える。このため、実施形態に係る端末装置１０は、車両１の周囲の現時点の状況に即した情報の提供を行うことができ、ルート案内における運転者の利便性を向上させることができる。

また、提供部１１０ｃは、ルート案内の実行に際して探索された目的地までの走行予定経路を規定する経路情報１０９ｂと、取得部１１０ｂにより取得された画像とに基づいて、ルート案内に関わる情報を提供するための音声案内を実行する。このため、実施形態に係る端末装置１０は、走行予定経路に即した音声案内を提供できる。

また、提供部１１０ｃは、経路情報１０９ｂに基づいて、車両１（「移動体」の一例）が走行予定経路における分岐点に接近しているか否かを判定する。提供部１１０ｃは、判定の結果、車両１が分岐点に接近していると判定した場合、経路情報１０９ｂと、取得部１１０ｂにより取得された画像の認識結果とに基づいて音声案内を実行する。このため、このため、実施形態に係る端末装置１０は、車両１が走行中のルートが変更される前に音声案内を提供できる。

また、取得部１１０ｂは、車両１（「移動体」の一例）の室内を撮像する第２撮像部１０６によって生成された画像を取得する。提供部１１０ｃは、取得部１１０ｂにより取得された車両１の室内の画像に基づいて、車両１の運転者（「ユーザ」の一例）の視線方向を検出する。提供部１１０ｃは、取得部１１０ｂにより取得された車両１の外部の画像の中から視線方向にある対象を推定し、推定した対象と、ルート案内の実行に際して探索された目的地までの走行予定経路を規定する経路情報１０９ｂとに基づいて、ルート案内に関わる情報を提供するための音声案内を実行する。このため、端末装置１０は、走行中の車両周囲の現時点の状況のうち、運転者の視認範囲に即した適切な情報の提供を行うことができ、ルート案内における運転者の利便性を向上させることができる。

また、提供部１１０ｃは、経路情報１０９ｂに基づいて、車両１（「移動体」の一例）が走行予定経路における分岐点に接近しているか否かを判定する。提供部１１０ｃは、判定の結果、車両１が分岐点に接近していると判定した場合、車両１の室内の画像に基づいて、車両の運転者（「ユーザ」の一例）の視線方向を検出する。このため、実施形態に係る端末装置１０は、音声案内に適したタイミングで視線検出を実行できる。

また、実施形態に係る端末装置１０は、車両１（「移動体」の一例）の運転者（「ユーザ」の一例）の発する音声を取得する音声取得部１０２を更に備える。提供部１１０ｃは、音声取得部１０２により取得された音声の内容がルート案内に関する問合せであるか否かを判定する。提供部１１０ｃは、判定の結果、音声の内容がルート案内に関する問合せである場合、音声取得部１０２により取得された前記音声の内容をさらに加味して、音声案内を実行する。このため、実施形態に係る端末装置１０は、運転者の要望に即した音声案内を提供できる。

また、提供部１１０ｃは、音声取得部１０２により取得された音声の内容がルート案内に関する問合せである場合、音声の内容に指示代名詞が含まれるか否かをさらに判定する。提供部１１０ｃは、判定の結果、音声の内容に指示代名詞が含まれる場合、視線方向に基づいて車両１（「移動体」の一例）の外部の画像の中から指示代名詞が指し示す対象を推定し、推定した対象と、経路情報１０９ｂとに基づいて、音声案内を実行する。このため、実施形態に係る端末装置１０は、運転者が視認している物体に即した音声案内を提供できる。

また、実施形態に係る端末装置１０は、車両１（「移動体」の一例）の運転者（「ユーザ」の一例）の発する音声を取得する音声取得部１０２を更に備える。提供部１１０ｃは、音声取得部１０２により取得された音声の内容に疑問代名詞が含まれる場合、経路情報１０９ｂと、取得部１１０ｂにより取得された画像の認識結果とに基づいて、記音声案内を実行する。このため、実施形態に係る端末装置１０は、運転者の疑問を解消させる音声案内を提供できる。

１ 車両
１０ 端末装置
１０１ 操作部
１０２ 音声取得部
１０３ 出力部
１０４ 表示部
１０５ 第１撮像部
１０６ 第２撮像部
１０７ 通信部
１０８ 位置取得部
１０９ 記憶部
１１０ 制御部
１１０ａ ルート案内部
１１０ｂ 取得部
１１０ｃ 提供部

Claims (10)

1. 移動体に搭載された第１撮像部によって生成された画像であって、前記移動体の外部の画像を取得する取得部と、
   前記取得部により取得された画像に基づいて、前記移動体の目的地までのルート案内に関わる情報を提供する提供部と
   を備えることを特徴する提供装置。
2. 前記提供部は、
   前記ルート案内の実行に際して探索された前記目的地までの走行予定経路を規定する経路情報と、前記取得部により撮像された画像の認識結果とに基づいて、前記ルート案内に関わる情報を提供するための音声案内を実行することを特徴とする請求項１に記載の提供装置。
3. 前記提供部は、
   前記経路情報に基づいて、前記移動体が前記走行予定経路における分岐点に接近しているか否かを判定し、
   判定の結果、前記移動体が前記分岐点に接近していると判定した場合、前記経路情報と、前記取得部により取得された画像の認識結果とに基づいて、前記音声案内を実行する請求項２に記載の提供装置。
4. 前記取得部は、
   前記移動体の室内を撮像する第２撮像部によって生成された画像を取得し、
   前記提供部は、
   前記取得部により取得された前記移動体の室内の画像に基づいて、前記移動体のユーザの視線方向を検出し、
   前記取得部により取得された前記移動体の外部の画像の中から前記視線方向にある対象を推定し、推定した対象と、前記ルート案内の実行に際して探索された前記目的地までの走行予定経路を規定する経路情報とに基づいて、前記ルート案内に関わる情報を提供するための音声案内を実行することを特徴とする請求項１に記載の提供装置。
5. 前記提供部は、
   前記経路情報に基づいて、前記移動体が前記走行予定経路における分岐点に接近しているか否かを判定し、
   判定の結果、前記移動体が前記分岐点に接近していると判定した場合、前記移動体の室内の画像に基づいて、前記移動体のユーザの視線方向を検出することを特徴とする請求項４に記載の提供装置。
6. 前記移動体のユーザの発する音声を取得する音声取得部を更に備え、
   前記提供部は、
   前記音声取得部により取得された前記音声の内容が前記ルート案内に関する問合せであるか否かを判定し、
   判定の結果、前記音声の内容が前記ルート案内に関する問合せである場合、前記音声取得部により取得された前記音声の内容をさらに加味して、前記音声案内を実行することを特徴とする請求項４又は５に記載の提供装置。
7. 前記提供部は、
   前記音声取得部により取得された前記音声の内容が前記ルート案内に関する問合せである場合、前記音声の内容に指示代名詞が含まれるか否かをさらに判定し、
   判定の結果、前記音声の内容に指示代名詞が含まれる場合、前記視線方向に基づいて前記移動体の外部の画像の中から前記指示代名詞が指し示す対象を推定し、
   推定した対象と、前記経路情報とに基づいて、前記音声案内を実行することを特徴とする請求項６に記載の提供装置。
8. 前記移動体のユーザの発する音声を取得する音声取得部を更に備え、
   前記提供部は、
   前記音声取得部により取得された前記音声の内容に疑問代名詞が含まれる場合、前記経路情報と、前記取得部により取得された画像の認識結果とに基づいて、前記音声案内を実行することを特徴とする請求項２に記載の提供装置。
9. 提供装置が実行する提供方法であって、
   移動体に搭載された第１撮像部によって生成された画像であって、前記移動体の外部の画像を取得するステップと、
   取得された画像に基づいて、前記移動体の目的地までのルート案内に関わる情報を提供するステップと
   を含むことを特徴とする提供方法。
10. コンピュータに、
    移動体に搭載された第１撮像部によって生成された画像であって、前記移動体の外部の画像を取得するステップと、
    取得された画像に基づいて、前記移動体の目的地までのルート案内に関わる情報を提供するステップと
    を実行させるための提供プログラム。

Images