JP2020012815A - 情報提供装置、情報提供方法、およびプログラム - Google Patents

Abstract

【課題】風景を撮像した画像に基づき、利用者にとって有用な情報を提供する情報提供装置、情報提供方法及びプログラムを提供する。【解決手段】情報提供システム１は、情報処理装置１００において、撮像装置２０から、撮像部２４により撮像され、位置特定部２６により特定された位置情報が対応付けられた風景の画像を取得する取得部と、取得部により取得された画像から、風景に含まれる地物に関連する特定の意味を表している意味領域を抽出し、複数の特定モデルの中から、取得部が取得した画像の風景に適用される特定モデルを用いて、意味領域内の特定の意味を認識する認識部と、意味領域を含む画像が撮像された位置に対応付けて、認識部により認識された特定の意味を利用者に提供する提供部１１６と、を備える。【選択図】図１

Description

本発明は、情報提供装置、情報提供方法、およびプログラムに関する。

従来、同一地点の地物画像データを解析し、地物画像データの内容が異なるか否かを判定し、判定結果に基づいて、同一地点における地物画像データの内容変更を通知する地物画像データ変更通知装置が開示されている（例えば、特許文献１参照）。

特許第４８９５１２３号公報

しかしながら、従来の技術は、地物画像データの内容変更を通知するものであり、利用者にとって有用な情報を提供することができない場合があった。

本発明は、このような事情を考慮してなされたものであり、利用者にとってより有用な情報を提供することができる情報提供装置、情報処理方法、およびプログラムを提供することを目的の一つとする。

本発明の一態様は、位置特定部と撮像部を有する他装置から、前記位置特定部により特定された位置情報が対応付けられ、前記撮像部により風景が撮像された画像を取得する取得部と、前記取得部により取得された画像から、前記風景に含まれる地物に関連する特定の意味を表している意味領域を抽出し、複数の特定モデルの中から、前記取得部が取得した画像の風景に適用される特定モデルを用いて、前記意味領域内の特定の意味を認識する認識部と、前記意味領域を含む画像が撮像された位置に対応付けて、前記認識部により認識された特定の意味を利用者に提供する提供部とを備える情報提供装置である。

本発明の一態様によれば、利用者にとってより有用な情報を提供することができる。

情報処理システム１の機能構成の一例を示す図である。 撮像装置２０と情報処理装置１００とにより実行される処理の流れをシーケンス図である。 基準情報４４の内容の一例を示す図である。 対応情報４２の内容の一例を示す図である。 更新された基準情報４４の一例を示す図である。 撮像装置２０に実行される処理の流れの一例を示すフローチャートである。 情報処理装置１００により実行される特定処理の流れ一例を示すフローチャートである。 対象画像において矩形が導出された様子の一例を示す図である。 矩形の画像ＩＭが特定モデル１２６に入力され、特定モデル１２６がレギュラーガソリンの価格を出力する様子の一例を示す図である。 認識情報１２８の内容の一例を示す図である。 端末装置３００の表示される画像の一例を示す図である。 第２実施形態の撮像装置２０Ａの機能構成の一例を示す図である。 撮像装置２０Ａに実行される処理の流れの一例を示すフローチャートである。 撮像装置２０Ａが送信対象の画像とするか、送信対象外の画像とするかを判定する処理の概念図である。 第３実施形態の撮像装置２０Ａにより実行される処理の流れの一例を示すフローチャートである。 給油された前後の画像が特定される処理について説明するための図である。 パーキングに停車された前後の画像が特定される処理について説明するための図である。 複数の特定モデル１２６の内容の一例を示す図である。 第４実施形態の情報処理装置１００により実行される処理の流れの一例を示すフローチャートである。 複数の特定モデル１２６の内容の一例を示す図である。 第５実施形態の情報処理装置１００により実行される処理の流れの一例を示すフローチャートである。 第６実施形態の情報処理システム１Ａの機能構成の一例を示す図である。 学習データ４１２の内容の一例を示す図である。 学習データ４１２の内容の他の一例を示す図である。

以下、図面を参照し、本発明の情報提供装置、情報提供方法、およびプログラムの実施形態について説明する。

［概要（その１）］
実施形態の情報処理装置は、一以上のプロセッサにより実現される。情報処理装置（サーバ）は、他装置と通信する通信部、風景を撮像する基準を示した基準情報に基づいて風景を撮像する撮像部に画像を撮像させる撮像制御部、および位置を取得する位置取得部を含む端末装置から、位置情報が対応付けられた前記風景が撮像された画像を取得し、取得した画像から、前記撮像された風景の表す意味を認識し、前記基準情報を前記端末装置に送信し、前記端末装置に前記画像を送信させる。

「端末装置（エッジ）」は、車両に搭載された端末装置であってもよいし、車両に取り付け可能な携帯型端末装置であってもよい。例えば、端末装置は、ドライブレコーダや、スマートフォンなどの端末装置である。また、端末装置は、車両に搭載された撮像部により撮像された画像を取得したり、車両に搭載された位置特定部の特定結果を取得したりしてもよい。以下の説明では、端末装置は、ドライブレコーダであるものとして説明する。

「基準情報」は、例えば、風景を撮像する位置を示す情報や、所定の出来事が起こった位置に基づく情報、所定の地物が存在する位置に基づく情報、車両の挙動（例えば速度など）を示す情報、車両の状態（例えば停車した状態や給油している状態）を示す情報である。所定の地物とは、例えばガソリンスタンドや、パーキングなどである。「風景の表す意味」とは、例えば、風景から認識される地物や文字、記号等である。

［概要（その２）］
実施形態の情報処理装置は、一以上のプロセッサにより実現される。情報処理装置は、他装置と通信する通信部、風景を撮像する撮像部に画像を撮像させる撮像制御部、位置を取得する位置取得部、および撮像された画像とモデル情報とに基づいて送信する画像を決定する決定部を含む端末装置から、位置情報が対応付けられた前記風景が撮像された画像を取得し、取得した画像から、前記撮像された風景の表す意味を認識する認識し、前記モデル情報を前記端末装置に送信し、前記端末装置に前記画像を送信させる。

「風景が撮像された画像」は、例えばガソリンスタンドや、パーキングなどの所定の地物が撮像された画像である。「モデル情報」は、撮像部に撮像された画像を入力すると送信対象の画像であるかを示す情報を出力するものである。モデル情報は、送信対象の画像と送信対象であることを示す情報とが対応付けられた学習データが機械学習されて生成されたものである。

［概要（その３）］
実施形態の情報処理装置（「情報提供装置」の一例）は、一以上のプロセッサにより実現される。情報処理装置は、位置特定部と撮像部を有する他装置から、位置特定部により特定された位置情報が対応付けられ、撮像部により風景が撮像された画像を取得し、取得した画像から、前記風景に含まれる地物に関連する特定の意味を表している意味領域を抽出し、前記意味領域内の特定の意味を認識し、前記意味領域を含む画像が撮像された位置に対応付けて、認識された特定の意味を利用者に提供する。

「地物」は、例えば、ガソリンスタンドまたはパーキングのうち一方または双方を含む。「意味領域」とは、例えば、ガソリンスタンドの看板やパーキングの看板などである。「特定の意味」とは、例えば、ガソリンスタンドの看板の燃料の価格や、パーキングの看板の空き状況を示す情報などである。「位置に対応付けて、認識した特定の意味を利用者に提供する」とは、例えば、その位置またはその位置（または付近）の事物に対応付けて、前記認識した特定の意味を利用者に提供することである。また、「特定の意味を利用者に提供する」とは、例えば、利用者が保持する端末装置に特定の意味を提供することや、利用者が保持する端末装置に提供するためにデータベースにおいて特定の意味を地物に対応付けて記憶させることである。

また、情報処理装置は、複数の特定モデルの中から、前記取得部が取得した画像が撮像された位置ごとに適用される特定モデルを用いて、前記意味領域内の特定の意味を認識してもよい。位置ごとに適用される特定モデルは、前記位置において撮像された学習用画像と前記学習用画像内の前記意味領域内の特定の意味とが互いに対応付けられた学習用データが機械学習されて生成されたものである。

また、情報処理装置は、複数の特定モデルの中から、前記取得部が取得した画像の風景に適用される特定モデルを用いて、前記意味領域内の特定の意味を認識してもよい。画像の風景に適用される特定モデルは、前記風景が撮像された学習用画像と前記学習用画像内の前記意味領域内の特定の意味とが互いに対応付けられた学習用データが機械学習されて生成されたものである。

また、情報処理装置は、複数の特定モデルの中から、前記取得部が取得した画像に含まれる看板に適用される特定モデルを用いて、前記意味領域内の特定の意味を認識してもよい。看板が適用される特定モデルは、前記看板が撮像された学習用画像と前記看板が示す特定の意味とが互いに対応付けられた学習用データが機械学習されて生成されたものである。

また、情報処理装置は、第１時刻において前記取得部により取得された特定事物を含む画像から前記画像内で前記特定事物の意味を表している意味領域を抽出し、第２時刻において前記取得部により取得された前記特定事物を含む画像から前記画像内で特定事物の意味を表している意味領域を抽出し、第１時刻において前記取得部により取得された画像の意味領域の情報と、第２時刻において前記取得部により取得された意味領域の情報との差分に基づいて、前記意味領域内の特定の意味を認識してもよい。特定の意味とは、例えば、車両の燃料の価格や、パーキングの空き状況である。

＜第１実施形態＞
［構成］
図１は、情報処理システム１の機能構成の一例を示す図である。情報処理システム１は、例えば、車両１０と、情報処理装置１００と、ニュースサーバ２００と、端末装置３００とを備える。これらの装置は、ネットワークＮＷを介して互いに通信する。ネットワークＮＷは、例えば、ＷＡＮ（Wide Area Network）やＬＡＮ（Local Area Network）、インターネット、専用回線、無線基地局、プロバイダなどを含む。なお、情報処理装置１００に含まれる構成または機能の一部または全部は、車両１０に含まれてもよい。また、車両１０に含まれる機能または構成の一部または全部は、情報処理装置１００に含まれてもよい。

［車両］
車両１０には、撮像装置２０が搭載されている。撮像装置２０は、例えば、通信部２２と、撮像部２４と、位置特定部２６と、撮像制御部２８と、送信制御部３０と、記憶部４０とを備える。撮像制御部２８、および送信制御部３０は、ＣＰＵ（Central Processing Unit）等のハードウェアプロセッサが記憶部４０に記憶された撮像アプリ４６を実行することにより実現される。撮像制御部２８および送信制御部３０は、情報処理装置１００と協働して、撮像部２４に画像を撮像させたり、撮像された画像を情報処理装置１００に送信したりする。記憶部４０は、例えば、ＲＯＭ（Read Only Memory）、フラッシュメモリ、ＳＤカード、ＲＡＭ（Random Access Memory）等によって実現される。記憶部４０には、対応情報４２、基準情報４４、および撮像アプリ４６が記憶されている。対応情報４２および基準情報４４の内容の詳細については後述する。

通信部２２は、無線通信を行ってネットワークＮＷに接続し、ネットワークＮＷを介して他装置と通信する。撮像部２４は、風景を撮像する。撮像部２４によって、例えば、風景が動画として取得される。撮像部２４は、例えば、ＣＣＤ（Charge Coupled Device）カメラやＣＭＯＳ（Complementary Metal Oxide Semiconductor）カメラである。

位置特定部２６は、ＧＮＳＳ（Global Navigation Satellite System）衛星から受信した信号に基づいて、自装置の位置を特定する。

撮像制御部２８は、基準情報４４に基づいて、撮像部２４に風景を撮像させる。送信制御部３０は、通信部２２を用いて、撮像部２４に撮像された画像を情報処理装置１００に送信する。なお、撮像部２４に撮像された画像は、車両１０の通信部を用いて情報処理装置１００に送信されてもよい。

［情報処理装置］
情報処理装置１００は、例えば、通信部１０２と、第１処理部１０４と、第２処理部１０６と、第３処理部１０８と、追跡処理部１１０と、情報管理部１１２と、更新部１１４と、提供部１１６と、記憶部１２０とを備える。第１処理部１０４、第２処理部１０６、第３処理部１０８、追跡処理部１１０、情報管理部１１２、更新部１１４、および提供部１１６は、ＣＰＵ等のハードウェアプロセッサが、記憶装置に記憶されたプログラムを実行することにより実現される。また、これらの機能部は、ＬＳＩ（Large Scale Integration）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）等のハードウェアによって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。また、上記のプログラムは、予め記憶装置に格納されていてもよいし、ＤＶＤやＣＤ−ＲＯＭなどの着脱可能な記憶媒体に格納されており、記憶媒体が情報処理装置１００のドライブ装置に装着されることで記憶装置にインストールされてもよい。

記憶部１２０は、例えば、ＲＯＭ、フラッシュメモリ、ＳＤカード、ＲＡＭ、ＨＤＤ（Hard Disc Drive）、レジスタ等によって実現される。また、記憶部１２０の一部または全部は、ＮＡＳ（Network Attached Storage）や外部ストレージサーバ装置等であってもよい。記憶部１２０には、例えば、対応情報１２２、基準情報１２４、特定モデル１２６、および認識情報１２８が記憶されている。各情報の詳細については後述する。

通信部１０２は、ネットワークＮＷを介して、撮像装置２０と通信する。通信部１０２は、例えば、ＮＩＣ（Network Interface Card）等の通信インターフェースを含む。

第１処理部１０４は、撮像部２４により撮像された動画を画像に分割し、処理対象の対象画像を生成する。

第２処理部１０６は、画像から所定の地物を含むと推定される矩形、または所定の特徴を有すると推定される矩形を導出する。第２処理部１０６は、所定の矩形検出アルゴリズムに基づいて、矩形を導出する。

第３処理部１０８は、第２処理部１０６により導出された矩形の画像を所定の特定モデル１２６に入力し、特定モデル１２６の出力結果に基づいて矩形に含まれる風景の表す意味を認識する。特定モデル１２６は、機械学習などによって生成されたニューラルネットワーク（Neural Network）などの画像を分類するためのモデルである。

追跡処理部１１０は、複数の対象画像において同一の地物を追跡し、同一の地物に対する処理結果を統合する。追跡処理部１１０は、例えば、所定数の画像において同一の地物に対する認識結果に基づいて、その地物の意味を抽出する。例えば、追跡処理部１１０は、連続した所定数の画像（フレーム）で地物の意味を認識する。また、追跡処理部１１０は、複数のフレーム間の地物の位置の移動を判定する。より具体的には、追跡処理部１１０は、複数の画像を用いて意味を認識する処理において、地物が２回ガソリンスタンドの看板と認識され、同一の地物が１回飲食店の看板と認識された場合、例えば、その地物はガソリンスタンドの看板であると特定する。

情報管理部１１２は、自装置により取得された情報や、自装置の処理結果を管理する。更新部１１４は、基準情報１２４を更新し、更新した基準情報１２４を撮像装置２０に送信する。提供部１１６は、端末装置３００の依頼に基づいて、認識情報１２８に含まれる情報を端末装置３００に提供する。

ニュースサーバ２００は、情報処理装置１００にニュースに関する情報を提供する。ニュースに関する情報とは、例えば、事件やイベント、事故などのように世間が注目する出来事や、その出来事が起こった場所や位置を含む情報である。

端末装置３００は、利用者が保持する端末装置である。端末装置３００は、例えば、スマートフォンやタブレット端末、ナビゲーション装置などである。

［情報処理システムにより実行される処理］
図２は、撮像装置２０と情報処理装置１００とにより実行される処理の流れをシーケンス図である。本処理は、動画を撮像する場所・時間を、情報処理装置１００が補正や指示し、撮像装置２０が撮像部２４に風景を撮像させる指示を行う。

まず、情報処理装置１００が、撮像装置２０に基準情報１２４を送信する（Ｓ１０）。次に、撮像装置２０は、送信された基準情報１２４を取得し、取得した基準情報１２４（４４）を記憶部４０に記憶させる（Ｓ１２）。次に、撮像装置２０は、位置特定部２６により特定された位置情報と基準情報４４とに基づいて、撮像部２４に画像を撮像させ（Ｓ１４）、撮像された画像と画像が撮像された位置情報とを対応付けた対応情報４２を情報処理装置１００に送信する（Ｓ１６）。次に、情報処理装置１００が、取得した対応情報４２を記憶部１２０に記憶させる（Ｓ１８）。

（基準情報）
図３は、基準情報４４の内容の一例を示す図である。基準情報４４は、風景を撮像する撮像領域と、撮像対象の時間帯とが対応付けられた情報である。基準情報４４は、例えば、前回の画像からの情報抽出をもとに、撮像装置２０などの移動体で撮像される場所や時間が規定された情報である。例えば、これまでに、その位置が撮像された画像が十分に集まっていない場合は、その位置が撮像されるように基準情報４４が生成されている。図３に示す基準情報４４には、撮像領域ＡＲ１〜ＡＲ３が含まれ、撮像領域ＡＲ１〜ＡＲ３には日時が対応付けられている。例えば、撮像領域ＡＲ１〜３は、所定の位置を中心として、所定の半径で形成された円で示される領域である。例えば、撮像装置２０は、撮像領域ＡＲ１〜ＡＲ３に進入した場合に撮像部２４に撮像を開始させる。なお、基準情報４４は、撮像領域のみが対応付けられていてもよい。

（対応情報）
図４は、対応情報４２の内容の一例を示す図である。対応情報４２は、例えば、基準情報４４に基づいて、撮像された動画（画像）と、その動画が撮像された日時とが互いに対応付けられた情報である。例えば、対応情報４２において動画の撮像時刻ごとに位置情報が対応付けられている。

図２の説明に戻る。情報処理装置１００が、対応情報１２２に基づいて、特定処理を実行する（ステップＳ２０）。特定処理とは、画像において風景の表す意味を認識する処理である。特定処理の詳細については、後述する図７〜９で説明する。

次に、情報処理装置１００が、基準情報１２４（４４）を更新するタイミングが到来したか否かを判定する（Ｓ２２）。基準情報１２４を更新するタイミングが到来した場合、情報処理装置１００が、基準情報１２４を更新し（Ｓ２４）、更新した基準情報１２４を撮像装置２０に送信する（Ｓ２６）。そして、撮像装置２０は、更新された基準情報１２４（４４）を取得し、取得した基準情報１２４に基づいて画像を取得する（Ｓ２８）。

（更新された基準情報）
図５は、更新された基準情報４４の一例を示す図である。例えば、情報処理装置１００が、ニュースサーバ２００からニュースに関する情報を取得した場合、取得したニュースに関する情報に基づいて、基準情報１２４を更新する。情報処理装置１００は、ニュースに関する情報の位置を含む撮像領域ＡＲ４を撮像領域ＡＲ１〜ＡＲ３に加え、基準情報１２４を更新する。例えば、撮像領域ＡＲ４は、事件が起こった位置を中心として、所定の半径で形成された円で示される領域である。なお、更新は、基準情報４４を前回送信したときから所定の期間が経過した場合に行われてもよい。

また、更新部１１４は、前回撮像した時間、緯度経度、または速度のうちから一以上の項目に基づいて撮像位置や時間を修正した基準情報４４を生成してもよい。この場合、例えば、更新部１１４は、前回、十分に撮像されたなった場所や時間帯の画像が撮像されるように基準情報４４を更新（修正）する。また、所定速度以上で走行した場所は、十分に画像を撮像することができなかったため、再度、その場所を撮像するように基準情報４４が生成される。この場合、情報処理装置１００は、例えば、車両１０や撮像装置２０の移動速度を特定するための情報（例えば、速度そのものや、所定間隔で取得された位置情報）を取得する。

上述したように、情報処理装置１００が、撮像装置２０が撮像する場所や位置を修正し、撮像装置２０に指示する。そして、撮像装置２０が、指示に基づいて風景を撮像する。このように、撮像装置２０と情報処理装置１００とは、協働して処理を行うことにより、通信量を抑制しつつ必要な情報を取得することができる。

［撮像装置により実行される処理］
図６は、撮像装置２０に実行される処理の流れの一例を示すフローチャートである。まず、撮像制御部２８が、基準情報４４と、位置特定部２６により特定された位置とに基づいて、現在の位置が撮像する撮像領域内であるか否か判定する（Ｓ１００）。撮像領域でない場合は、本フローチャートの１ルーチンの処理が終了する。

撮像領域である場合、撮像制御部２８は、撮像部２４に撮像を開始させる（Ｓ１０２）。次に、撮像制御部２８は、撮像部２４に撮像させた画像と、位置情報とを対応付けた対応情報４２を記憶部４０に記憶させる（Ｓ１０４）。次に、送信制御部３０が、対応情報４２を情報処理装置１００に送信する（Ｓ１０６）。情報処理装置１００は、送信された対応情報４２を対応情報１２２として記憶部１２０に記憶させる。これにより本フローチャートの１ルーチンの処理が終了する。

例えば、車両に搭載されたドライブレコーダ等が撮像した動画を活用するために、その動画を情報処理装置１００に全て送信すると通信量が許容量を超えてしまう場合がある。これに対して、上述した処理により、撮像装置２０は、基準情報４４に基づいて撮像した画像を情報処理装置１００に送信することで、通信量を抑制しつつ必要な情報を情報処理装置１００に送信することができる。

［情報処理装置により実行される特定処理］
図７は、情報処理装置１００により実行される特定処理の流れ一例を示すフローチャートである。まず、情報処理装置１００の第１処理部１０４が、対応情報１２２に未処理の動画が存在するか否かを判定する（Ｓ２００）。未処理の動画が存在しない場合、本フローチャートの１ルーチンの処理が終了する。

未処理の動画が存在する場合、第１処理部１０４が動画を分割し（Ｓ２０２）、処理対象の対象画像を生成する（Ｓ２０４）。次に、第２処理部１０６は、対象画像において矩形を導出する（Ｓ２０６）。図８は、対象画像において矩形が導出された様子の一例を示す図である。対象画像において、所定の地物（特徴）を含むと推定される矩形が導出される。

次に、第３処理部１０８は、矩形の画像を特定モデル１２６に入力する（Ｓ２０８）。例えば、第３処理部１０８は、対象画像において導出された全ての矩形を取り出し、その取り出した矩形の画像を一つずつ選択し、選択した画像を特定モデル１２６に入力する。

次に、第３処理部１０８は、特定モデル１２６に出力された出力結果に基づいて、画像に含まれる地物を特定する（Ｓ２１０）。図９は、矩形の画像ＩＭが特定モデル１２６に入力され、特定モデル１２６がレギュラーガソリンの価格を出力する様子の一例を示す図である。例えば、矩形の画像に、レギュラーガソリンの価格が記載された看板が含まれ、この画像（または画像の特徴）が特定モデル１２６に入力された場合、特定モデル１２６がレギュラーガソリンの価格を導出する。画像の特徴とは、例えば画素ごとの輝度や、輝度勾配、所定の範囲における複数の画素に基づいて導出された特徴量である。

図７の説明に戻る。次に、第３処理部１０８は、分割した全ての画像を処理したか否かを判定する（Ｓ２１２）。全ての画像を処理した場合、本フローチャートの１ルーチンの処理が終了する。全ての対象画像を処理していない場合、Ｓ２０４の処理に戻る。なお、本フローチャートの処理において、複数の対象画像が処理された場合、追跡処理部１１０が、複数の対象画像の処理結果を統合する処理を実行し、対象画像における同一の地物の意味を認識してもよい。

上述した処理により、情報処理装置１００の情報管理部１１２は、例えば、認識情報１２８を生成する。図１０は、認識情報１２８の内容の一例を示す図である。認識情報１２８は、例えば、動画ごとに規定された情報である。認識情報１２８は、例えば、画像の識別情報、画像が撮像された位置情報、矩形の識別情報、地物を示す情報、地物から導出される意味情報、画像の取得日時、および画像を撮像した撮像装置２０の識別情報（ＩＤ）が対応付けられた情報である。

情報処理装置１００は、認識情報１２８に基づいて、所定の位置に存在するガソリンスタンドのガソリン価格や、所定のパーキングの空き状況を認識することができる。そして、情報処理装置１００は、上記の認識結果を端末装置３００に送信することができる。これにより、端末装置３００の利用者は、所望の地物に関する情報を取得することができる。

図１１は、端末装置３００の表示される画像の一例を示す図である。例えば、情報処理装置１００の提供部１１６は、端末装置３００の依頼に応じて、認識情報１２８を端末装置３００に提供する。例えば、提供部１１６は、端末装置３００から、端末装置３００の位置情報Ｐｃと共に位置情報Ｐｃの周辺のガソリン価格の提供依頼を取得した場合、認識情報１２８から位置情報Ｐｃの周辺のガソリンスタンドのガソリン価格を抽出し、抽出したガソリンスタンドの位置とガソリン価格とを対応付けた情報を端末装置３００に提供する。これにより、図１１に示すように位置情報Ｐｃの周辺のガソリンスタンドのガソリン価格が端末装置３００の表示部に表示される。

また、通信部１０２、車両１０が走行する予定の経路（指定された経路）を取得してもよい。この場合、提供部１１６は、取得された経路に基づいて、上述した処理によって認識された燃料の価格、またはパーキングの空き状況を示す情報を利用者に提供してもよい。例えば、提供部１１６は、予定の経路の途中や道沿いに存在するガソリンスタンドの燃料の価格や、目的地の近くに存在する空き状況を利用者に提供してもよい。また、提供部１１６は、燃料の価格が、最も安いガソリンスタンドの位置を利用者に提供してもよい。

以上説明した第１実施形態によれば、情報処理装置１００が、撮像装置２０から、位置情報が対応付けられた前記風景が撮像された画像し、取得した画像から、撮像された風景の表す意味を認識し、基準情報１２４を撮像装置２０に送信し、撮像装置２０に画像を送信させることにより、通信量を抑制しつつ必要な情報を取得することができる。

＜第２実施形態＞
以下、第２実施形態について説明する。第１実施形態では、撮像装置２０が、基準情報４４に基づいて、撮像装置２０の位置が撮像領域内に存在する場合に画像を撮像するものとして説明した。これに対して、第２実施形態では、撮像装置２０は、基準情報４４に代えて（または加えて）判定モデル４５を情報処理装置１００から取得する。そして、撮像装置２０は、判定モデル４５に基づいて、撮像した画像が送信対象であると判定した場合に、その画像を情報処理装置１００に送信する。以下、第２実施形態について説明する。

図１２は、第２実施形態の撮像装置２０Ａの機能構成の一例を示す図である。撮像装置２０Ａは、記憶部４０に代えて記憶部４０Ａを備える。記憶部４０Ａには、判定モデル４５が格納されている。判定モデル４５は、画像を入力すると、その画像に対するスコアを導出するモデルである。例えば、判定モデル４５は、画像が所定の地物（例えばガソリンスタンドやパーキング）を含む画像であることを示すスコアを導出するモデルである。判定モデル４５は、学習データが機械学習などによって生成されたニューラルネットワークなどの画像を分類するためのモデルである。学習データは、例えば、所定の地物を含む画像と、その地物を識別するための情報とが互いに対応付けられた情報である。

撮像装置２０Ａは、撮像装置２０の機能構成に加え、更に決定部２９を備える。決定部２９は、撮像部２４に撮像された画像を判定モデル４５に入力し、判定モデル４５が出力したスコアを取得する。そして、決定部２９は、取得したスコアに基づいて、その画像を情報処理装置１００に送信するか否かを決定する。なお、第２実施形態の撮像制御部２８は、例えば、常時、画像を撮像部２４に撮像させる。

［撮像装置により実行される処理］
図１３は、撮像装置２０Ａに実行される処理の流れの一例を示すフローチャートである。まず、撮像制御部２８が、撮像部２４に動画を撮像させる（Ｓ３００）。次に、撮像制御部２８は、撮像部２４に撮像させた画像と、位置情報とを対応付けた対応情報４２を記憶部４０に記憶させる（Ｓ３０２）。次に、決定部２９が、撮像した画像（動画を分割した画像）を判定モデル４５に入力し（Ｓ３０４）、判定モデル４５により出力された結果に基づいて、判定モデル４５に入力した画像が送信対象の画像であるか否かを判定する（Ｓ３０６）。判定モデル４５に入力した画像が送信対象の画像でない場合、本フローチャートの１ルーチンの処理が終了する。判定モデル４５に入力した画像が送信対象の画像である場合、送信制御部３０が、判定モデル４５に入力された画像を情報処理装置１００に送信する（Ｓ３０８）。これにより本フローチャートの１ルーチンの処理が終了する。

図１４は、撮像装置２０Ａが画像を送信対象の画像とするか、送信対象外の画像とするかを判定する処理の概念図である。図示する例では、判定モデル４５は、画像にガソリンスタンドらしい地物が含まれる度合を示す情報を出力するモデルである。図１４の上図のように判定モデル４５が、入力された画像にガソリンスタンドらしい地物が含まれていることを示す結果を出力した場合、この画像を送信対象の画像とされる。図１４の下図のように判定モデル４５が、入力された画像にガソリンスタンドらしい地物が含まれていないことを示す結果を出力した場合、この画像を送信対象外の画像とされる。

なお、判定モデル４５は、一つに限らず、複数用意されてもよい。例えば、撮像装置２０は、画像を複数の判定モデル４５に入力し、いずれかの判定モデル４５が送信対象とする結果を出力した場合に、その画像を送信対象としてもよい。

また、決定部２９は、複数の判定モデル４５を用いて、第１の地物が認識された後に、第２の地物が認識されるまでの間において撮像された画像を情報処理装置１００に送信してもよい。例えば、決定部２９は、ガードレールが認識された後、赤いビルが認識されるまでの間において撮像された画像を情報処理装置１００に送信してもよい。

以上説明した第２実施形態によれば、情報処理装置１００が、判定モデル４５を撮像装置２０Ａに送信する。そして、撮像装置２０Ａは、判定モデル４５に基づいて、撮像部２４により撮像された画像が送信対象の画像であると判定した場合に、その画像を情報処理装置１００に送信する。このように、情報処理装置１００は、広範囲において撮像領域を設定する必要がないため、より容易に通信量を抑制しつつ必要な情報を取得することができる。

＜第３実施形態＞
以下、第３実施形態について説明する。第３実施形態では、情報処理装置１００は、基準情報４４に代えて、所定の条件を撮像装置２０Ａに送信する。撮像装置２０Ａは、画像が撮像されたタイミングが所定の条件を満たす場合、そのタイミングで撮像された画像を情報処理装置１００に送信する。所定の条件とは、車両に関する情報に対して設定される条件である。以下、第１実施形態との相違点を中心に第３実施形態について説明する。

図１５は、第３実施形態の撮像装置２０Ａにより実行される処理の流れの一例を示すフローチャートである。本処理は、例えば、所定の間隔で実行される処理である。まず、撮像制御部２８が、撮像部２４に動画を撮像させる（Ｓ４００）。次に、撮像制御部２８は、撮像部２４に撮像させた画像と、位置情報とを対応付けた対応情報４２を記憶部４０に記憶させる（Ｓ４０２）。なお、撮像装置２０は、車両と通信し、時刻ごとの車両の状態を取得しているものとする。

次に、決定部２９が、対応情報４２および車両に関する情報を参照し、送信対象の画像を特定し（Ｓ４０４）、特定した画像を情報処理装置１００に送信する（Ｓ４０６）。これにより本フローチャートの処理が終了する。

以下、対応情報４２および車両に関する情報を参照し、送信対象の画像を特定する手法について説明する。例えば、決定部２９は、予め設定された制御手順で車両が制御されたタイミングで撮像された画像を送信対象の画像として決定する。予め設定された制御手順で車両が制御されたとは、例えば、加速度が閾値以上に制御された状態や、速度が第１所定速度以上で制御された後、第２所定速度以下に制御された状態、操舵が所定度合以上操作されたことなどである。

また、決定部２９は、車両の位置情報と速度情報とが所定の条件を満たすタイミングで撮像された画像を送信対象の画像として決定してもよい。例えば、高速道路において８０ｋｍ前後で走行していたが、所定の区間のみ５０ｋｍで走行した場合などのように速度が変化した前後の画像が情報処理装置１００に送信されてもよい。この場合、事故や障害物などが存在している場合があるためである。

また、例えば、決定部２９は、以下のように、車両の状態に基づいて、送信する画像を決定してもよい。例えば、（１）給油された前後の画像や、（２）パーキングに停車した前後の画像が情報処理装置１００に送信されてもよい。（１）給油された前後の画像は、燃料タンクの燃料の変化に基づいて特定される。図１６は、給油された前後の画像が特定される処理について説明するための図である。図１６の縦軸は燃料タンクの燃料の度合を示し、図１６の横軸は時間を示している。例えば、決定部２９は、図中の時間Ｐ１に示すように燃料の度合が所定の傾きで上昇した場合、その時間に燃料が補給されたと判定し（例えば、ガソリンスタンドでガソリンが給油されたと判定し）、その前後の時間Ｐ２およびＰ３の画像を送信対象の画像と判定する。

上述したように、ガソリンスタンドの画像を送信対象とする場合において、撮像装置２０Ａは、上述したように処理により、より確実にガソリンスタンドの画像を情報処理装置１００に送信することができる。

（２）パーキングに停車した前後の画像は、車両の速度とパーキングブレーキの状態とに基づいて特定される。図１７は、パーキングに停車された前後の画像が特定される処理について説明するための図である。図１７の縦軸は車両の速度を示し、図１７の横軸は時間を示している。例えば、決定部２９は、図中の時間Ｐ１１に示すように車両の速度が所定時間ゼロであり、且つパーキングブレーキがオン状態である特定状態である場合、その時間にパーキングに車両が停車したと判定し、少なくとも特定状態の後の時間Ｐ１３の画像を送信対象の画像と判定する。

上述したように、パーキングの画像を送信対象とする場合において、撮像装置２０Ａは、上述したように処理により、より確実にパーキングの画像を情報処理装置１００に送信することができる。

以上説明した第３実施形態によれば、情報処理装置１００が、所定の条件を撮像装置２０Ａに送信する。そして、撮像装置２０Ａは、所定の条件に基づいて、撮像部２４により撮像された画像が送信対象の画像であると判定した場合に、その画像を情報処理装置１００に送信する。このように、情報処理装置１００は、広範囲において撮像領域を設定する必要がないため、より容易に通信量を抑制しつつ必要な情報を取得することができる。

＜第４実施形態＞
以下、第４実施形態について説明する。第４実施形態は、第１実施形態の処理を前提に説明する。第４実施形態では、情報処理装置１００は、複数の特定モデル１２６を備える。そして、情報処理装置１００は、複数の特定モデル１２６のうちから、画像が撮像された位置に基づいて特定モデル１２６を選択し、選択した特定モデル１２６に画像を入力して、画像を解析する。以下、第１実施形態との相違点を中心について説明する。

第４実施形態の情報処理装置１００の記憶部１２０には、特定モデル１２６が記憶されている。図１８は、複数の特定モデル１２６の内容の一例を示す図である。例えば、複数の特定モデル１２６は、それぞれ位置（或いは領域）、特定モデル１２６の種別、および認識対象が互いに対応付けられた情報である。位置に対応付けられた特定モデル１２６は、対応付けられた位置が撮像された画像の矩形に含まれる風景の表す意味を、他の特定モデル１２６よりも、精度よく認識可能な特定モデルである。なお、図示するように、特定モデル１２６の認識対象は一つに限らず、複数であってもよい。

図１９は、第４実施形態の情報処理装置１００により実行される処理の流れの一例を示すフローチャートである。図７と同様の処理については説明を省略する。Ｓ２００の処理後、第１処理部１０４が、動画を分割する（Ｓ２０２）。次に、第１処理部１０４が、対象画像および対象画像が特定された位置を特定する（Ｓ２０３）。次に、第１処理部１０４が、特定された位置に基づいて、特定モデル１２６を特定する（Ｓ２０５）。次に、第２処理部１０６は、対象画像において矩形を導出する（Ｓ２０６）。次に、第３処理部１０８は、Ｓ２０５で特定された特定モデル１２６に矩形の画像を入力する（Ｓ２０８）。そして、以降の処理に進む。

上述したように、情報処理装置１００は、画像に含まれた風景の位置に基づいて、用いる特定モデル１２６を特定することにより、より精度よく画像に含まれる意味を認識することができる。

以上説明した第４実施形態によれば、情報処理装置１００は、画像が撮像された位置ごとに適用される複数の特定モデル１２６の中から、取得した画像が撮像された位置ごとに適用される特定モデル１２６を用いて、風景に含まれる地物に関連する特定の意味を表している意味領域内の特定の意味を認識し、認識した特定の意味を利用者に提供することにより、利用者にとってより有用な情報を提供することができる。

なお、例えば、対象画像が所定の位置に存在するガソリンスタンドの看板が撮像された画像である場合、第３処理部１０８は、同じガソリンスタンドの看板を撮像した前回の画像と、同じガソリンスタンドの看板を撮像した今回の画像との差分から価格の異同を抽出してもよい。例えば、第３処理部１０８は、前回撮像された画像および今回撮像された画像のガソリンの価格を含む矩形内の画像間の相違を導出し、導出した相違と、予め設定されたテンプレートとに基づいて、今回撮像された画像におけるガソリンの価格を導出してもよい。このように、第３処理部１０８は、画像認識を実施する際に前回撮像した画像との差分を元にガソリンの価格を抽出することができる。

＜第５実施形態＞
以下、第５実施形態について説明する。第５実施形態は、第２実施形態の処理を前提に説明する。第５実施形態では、第１処理部１０４が、複数の特定モデル１２６のうちから、撮像装置２０から送信された画像の種別に基づいて特定モデル１２６を選択し、選択した特定モデル１２６に画像を入力して、画像を解析する。以下、第１実施形態との相違点を中心について説明する。

第５実施形態の情報処理装置１００の記憶部１２０には、複数の特定モデル１２６が記憶されている。図２０は、複数の特定モデル１２６の内容の一例を示す図である。例えば、複数の特定モデル１２６は、それぞれ画像の種別、モデルの種別、および認識対象が互いに対応付けられた情報である。画像の種別に対応付けられた特定モデル１２６は、対応付けられた種別の画像の矩形に含まれる風景の表す意味を、他の特定モデル１２６よりも、精度よく認識可能な特定モデルである。なお、例えば、画像の種別は、図示するようにガソリンスタンドやパーキングなどのように分類された種別に限らず、建物や看板などのように分類された種別であってもよい。また、図示するように、特定モデル１２６の認識対象は一つに限らず、複数であってもよい。

図２１は、第５実施形態の情報処理装置１００により実行される処理の流れの一例を示すフローチャートである。図７と同様の処理については説明を省略する。Ｓ２００の処理後、第１処理部１０４が、動画を分割し（Ｓ２０２）、処理対象の対象画像を生成する（Ｓ２０４）。次に、第１処理部１０４は、対象画像の種別に基づいて、特定モデル１２６を特定する（Ｓ２０５＃）。次に、第２処理部１０６は、対象動画において矩形を導出する（Ｓ２０６）。次に、第３処理部１０８は、Ｓ２０５＃で特定した特定モデル１２６に矩形の画像を入力する（Ｓ２０８）。そして、以降の処理に進む。

上述したように、情報処理装置１００は、画像の種別に基づいて、用いる特定モデル１２６を特定することにより、より精度よく画像に含まれる意味を認識することができる。

以上説明した第５実施形態によれば、情報処理装置１００は、画像の風景（種別）ごとに適用される複数の特定モデル１２６の中から、取得した画像の風景ごとに適用される特定モデル１２６を用いて、風景に含まれる地物に関連する特定の意味を表している意味領域内の特定の意味を認識し、認識した特定の意味を利用者に提供することにより、利用者にとってより有用な情報を提供することができる。

＜第６実施形態＞
以下、第６実施形態について説明する。第６実施形態の情報処理システム１Ａは、学習装置４００を更に備える点で、各実施形態と異なる。以下、第１実施形態との相違点を中心について説明する。

図２２は、第６実施形態の情報処理システム１Ａの機能構成の一例を示す図である。情報処理システム１Ａは、例えば、第１実施形態の情報処理システム１の機能構成に加え、更に学習装置４００を備える。

学習装置４００は、例えば、学習部４１０と、学習データ４１２とを備える。学習部４１０は、学習データ４１２に基づいて、特定モデル１２６を生成する。そして、学習装置４００は、生成した特定モデル１２６を情報処理装置１００に送信する。

図２３は、学習データ４１２の内容の一例を示す図である。例えば、学習データ４１２は、ガソリンスタンドの燃料の価格が表された画像と、正解データとが対応付けられた情報である。ガソリンスタンドの燃料の価格が表された画像は、例えば、同じガソリンスタンドの燃料の価格が表示された看板が撮像された画像（または同じ位置や同じ風景が撮像された画像）であってもよいし、異なるガソリンスタンドの燃料の価格が表示された看板が撮像された画像であってもよい。正解データは、画像に含まれる地物の識別情報（例えばレギュラーガソリンの価格が表された看板）と、地物に表された情報（例えばレギュラーガソリンの価格）と、地物に対応する領域とが互いに対応付けられた情報である。

学習部４１０は、学習データ４１２を機械学習して、画像を入力するとレギュラーガソリンの価格、またはレギュラーガソリンの価格が画像に含まれていないことを示す情報を出力する特定モデル１２６を生成する。すなわち、同じ種類の看板を認識する処理が行われるため、看板専用に学習処理が行われ、精度の良い特定モデル１２６が生成される。

図２４は、学習データ４１２の内容の他の一例を示す図である。例えば、学習データ４１２は、パーキングの空き状況が表された画像と、正解データとが対応付けられた情報である。パーキングの空き状況が表された画像は、例えば、同じパーキングの空き状況が表示された看板が撮像された画像（または同じ位置や同じ風景が撮像された画像）であってもよいし、異なるパーキングの空き状況が表示された看板が撮像された画像であってもよい。正解データは、画像に含まれる地物の識別情報（例えばパーキングの空き状況を表す看板）と、看板が空車または満車を示している情報と、地物に対応する領域とが互いに対応付けられた情報である。学習部４１０は、学習データ４１２を機械学習して、画像を入力するとパーキングの空き状況、またはパーキングの空き情報を表す看板が画像に含まれていないことを示す情報を出力する特定モデル１２６を生成する。

なお、所定の地物は、閉店したガソリンスタンドや、閉店したコンビニエンスストア、開店した店舗なであってもよい。この場合、正解データは、閉店したガソリンスタンドや、閉店したコンビニエンスストア、開店した店舗などの情報と、これらの領域を示す情報が対応付けられた情報である。学習部４１０は、この学習データ４１２を学習して、画像を入力すると、画像に閉店したガソリンスタンドが含まれる情報や、画像に閉店したコンビニエンスストアが含まれる情報、画像に開店した店舗が含まれることを示す情報を出力する特定モデル１２６を生成する。これにより、画像に基づいて、容易に店舗の開店や閉店を認識することができる。

また、所定の地物は、車両のナンバーや人物の顔等であってもよい。この場合、正解データは、車両のナンバーを含む画像と車両のナンバーの領域を示す情報とが対応付けられた情報や、人物の顔を含む画像と人物の顔の領域を示す情報とが対応付けられた情報である。学習部４１０は、この学習データ４１２を学習して、画像を入力すると、人物の顔を含むか否かを示す情報や、人物の顔の領域を示す情報を出力する特定モデル１２６を生成する。これにより、画像に基づいて人物の顔を容易に認識することができる。

このように、個々の看板や、同じ位置が撮像された画像の情報の差分などの情報を学習することにより、個々の看板や、所定の位置の意味情報をより精度よく認識することができる特定モデル１２６が生成される。特定モデル１２６は、画像の情報の差分が学習されて生成されたモデルであるため、情報処理装置１００が、特定モデル１２６を用いて意味領域内の特定の意味を認識する処理は、第１時刻において取得された画像の意味領域の情報と、第２時刻において取得された意味領域の情報との差分に基づいて、意味領域内の特定の意味を認識する処理の一例である。

以上説明した第６実施形態によれば、学習装置４００が、学習データ４１２を学習して、特定モデル１２６を生成する。情報処理装置１００は、この特定モデル１２６を用いて、地物に関連する特定の意味を表している意味領域内の特定の意味を、精度よく認識することができる。この結果、利用者にとってより有用な情報を提供することができる。

また、上述したように学習データ４１２が機械学習されて、矩形導出モデルが生成されてもよい。矩形導出モデルは、例えば、第２処理部１０６が、矩形を導出する処理に用いるモデルである。これにより、情報処理装置１００は、所定の地物を含む矩形を精度よく導出することができる。

また、上述したように学習データ４１２が機械学習されて、判定モデル４５が生成されてもよい。これにより、情報処理装置１００は、撮像装置２０が送信対象の画像であるか否かを判定することができるモデルを撮像装置２０に提供することができる。

以上説明した各実施形態によれば、情報処理装置１００が、他装置と通信する通信部２２、風景を撮像する基準を示した基準情報に基づいて風景を撮像する撮像部２４に画像を撮像させる撮像制御部２８、および位置を取得する位置特定部２６を含む撮像装置２０から、位置情報が対応付けられた風景が撮像された画像を取得する通信部１０２と、通信部１０２により取得された画像から、撮像された風景の表す意味を認識する第３処理部１０８と、基準情報を撮像装置２０に送信し、撮像装置２０に画像を送信させる更新部１１４とを備えることにより、通信量を抑制しつつ必要な情報を取得することができる。

また、以上説明した各実施形態によれば、情報処理装置１００が、位置特定部と撮像部を有する他装置から、位置特定部により特定された位置情報が対応付けられ、撮像部２４により風景が撮像された画像を取得する通信部１０２と、通信部１０２により取得された画像から、風景に含まれる地物に関連する特定の意味を表している意味領域を抽出し、意味領域内の特定の意味を認識する第３処理部１０８と、意味領域を含む画像が撮像された位置に対応付けて、第３処理部１０８により認識された特定の意味を利用者に提供する提供部１１６とを備えることにより、利用者にとってより有用な情報を提供することができる。

以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

１０‥車両、２０‥撮像装置、２２‥通信部、２４‥撮像部、２６‥位置特定部、２８‥撮像制御部、２９‥決定部、３０‥送信制御部、４０、４０Ａ‥記憶部、４２‥対応情報、４４‥基準情報、４５‥判定モデル、４６‥撮像アプリ、１００‥情報処理装置、１０２‥通信部、１０４‥第１処理部、１０６‥第２処理部、１０８‥第３処理部、１１０‥追跡処理部、１１２‥情報管理部、１１４‥更新部、１１６‥提供部、１２０‥記憶部、１２２‥対応情報、１２４‥基準情報、１２６‥特定モデル、１２８‥認識情報、２００‥ニュースサーバ、３００‥端末装置、４００‥学習装置

Claims (14)

1. 位置特定部と撮像部を有する他装置から、前記位置特定部により特定された位置情報が対応付けられ、前記撮像部により風景が撮像された画像を取得する取得部と、
   前記取得部により取得された画像から、前記風景に含まれる地物に関連する特定の意味を表している意味領域を抽出し、複数の特定モデルの中から、前記取得部が取得した画像の風景に適用される特定モデルを用いて、前記意味領域内の特定の意味を認識する認識部と、
   前記意味領域を含む画像が撮像された位置に対応付けて、前記認識部により認識された特定の意味を利用者に提供する提供部と、
   を備える情報提供装置。
2. 前記特定モデルは、前記風景が撮像された学習用画像と前記学習用画像内の前記意味領域内の特定の意味とが互いに対応付けられた学習用データが機械学習されて生成されたものである、
   請求項１に記載の情報提供装置。
3. 位置特定部と撮像部を有する他装置から、前記位置特定部により特定された位置情報が対応付けられ、前記撮像部により風景が撮像された画像を取得する取得部と、
   前記取得部により取得された画像から、前記風景に含まれる地物に関連する特定の意味を表している意味領域を抽出し、複数の特定モデルの中から、前記取得部が取得した画像に含まれる看板に適用される特定モデルを用いて、前記意味領域内の特定の意味を認識する認識部と、
   前記意味領域を含む画像が撮像された位置に対応付けて、前記認識部により認識された特定の意味を利用者に提供する提供部と、
   を備える情報提供装置。
4. 前記特定モデルは、前記看板が撮像された学習用画像と前記看板が示す特定の意味とが互いに対応付けられた学習用データが機械学習されて生成されたものである、
   請求項３に記載の情報提供装置。
5. 前記地物は、ガソリンスタンドまたはパーキングのうち一方または双方である、
   請求項１から４のうちいずれか１項に記載の情報提供装置。
6. 前記認識部は、前記取得部により取得された画像から前記画像内で車両用の燃料価格を表している意味領域を抽出し、前記意味領域内において燃料価格を認識し、
   前記提供部は、前記意味領域を含む画像が撮像された位置に対応付けて、前記認識部により認識された燃料価格を利用者に提供する、
   請求項１から４のうちいずれか１項に記載の情報提供装置。
7. 前記取得部は、指定された経路を取得し、
   前記提供部は、前記取得部により取得された経路に基づいて、前記認識部が認識した前記燃料価格を利用者に提供する、
   請求項６に記載の情報提供装置。
8. 前記認識部は、前記取得部により取得された画像から前記画像内でパーキングの空き状況を表している意味領域を抽出し、前記意味領域内において空き状況を認識し、
   前記提供部は、前記意味領域を含む画像が撮像された位置に対応付けて、前記認識部により認識されたパーキングの空き状況を利用者に提供する、
   請求項１から４のうちいずれか１項に記載の情報提供装置。
9. 前記取得部は、指定された経路を取得し、
   前記提供部は、前記取得部により取得された経路に基づいて、前記認識部が認識した前記空き状況を利用者に提供する、
   請求項８に記載の情報提供装置。
10. 前記意味領域を含む画像が撮像された位置と、前記認識部により認識された特定の意味とを互いに対応付けた認識情報を管理する情報管理部を、更に備え、
    前記提供部は、前記情報管理部により管理されている認識情報を利用者に提供する、
    請求項１から８のうちいずれか１項に記載の情報提供装置。
11. コンピュータが、
    位置を特定する特定部により特定された位置情報が対応付けられ、撮像部により風景が撮像された画像を取得し、
    前記取得した画像から、前記風景に含まれる地物に関連する特定の意味を表している意味領域を抽出し、
    複数の特定モデルの中から、前記取得した画像の風景に適用される特定モデルを用いて、前記意味領域内の特定の意味を認識し、
    前記意味領域を含む画像が撮像された位置に対応付けて、前記認識された特定の意味を利用者に提供する、
    情報提供方法。
12. コンピュータに、
    位置を特定する特定部により特定された位置情報が対応付けられ、撮像部により風景が撮像された画像を取得させ、
    前記取得させた画像から、前記風景に含まれる地物に関連する特定の意味を表している意味領域を抽出させ、
    複数の特定モデルの中から、前記取得させた画像の風景に適用される特定モデルを用いて、前記意味領域内の特定の意味を認識させ、
    前記意味領域を含む画像が撮像された位置に対応付けて、前記認識された特定の意味を利用者に提供させる、
    プログラム。
13. コンピュータが、
    位置を特定する特定部により特定された位置情報が対応付けられ、撮像部により風景が撮像された画像を取得し、
    前記取得した画像から、前記風景に含まれる地物に関連する特定の意味を表している意味領域を抽出し、
    複数の特定モデルの中から、前記取得した画像に含まれる看板に適用される特定モデルを用いて、前記意味領域内の特定の意味を認識し、
    前記意味領域を含む画像が撮像された位置に対応付けて、前記認識された特定の意味を利用者に提供する、
    情報提供方法。
14. コンピュータに、
    位置を特定する特定部により特定された位置情報が対応付けられ、撮像部により風景が撮像された画像を取得させ、
    前記取得させた画像から、前記風景に含まれる地物に関連する特定の意味を表している意味領域を抽出させ、
    複数の特定モデルの中から、前記取得させた画像に含まれる看板に適用される特定モデルを用いて、前記意味領域内の特定の意味を認識させ、
    前記意味領域を含む画像が撮像された位置に対応付けて、前記認識された特定の意味を利用者に提供させる、
    プログラム。

Images