JP2020173600A - 経路予測装置、それを備えた車載装置、経路予測システム、経路予測方法、及びコンピュータプログラム - Google Patents

Abstract

【課題】横断歩道等の特定の場所に限らず、歩行者が実際に行動を行う前に、より早く歩行者の移動経路を予測できる経路予測装置、それを備えた車載装置、経路予測システム、経路予測方法、及びコンピュータプログラムを提供する。【解決手段】経路予測装置１０２は、車載センサ及び路側センサ１０４の少なくともいずれか一方により取得されたセンサデータを、無線通信又は有線通信を介して収集する収集部としてのパケット受信部１８０と、収集部により収集されたセンサデータから移動物体を検出し、当該移動物体の位置及び兆候を特定する解析部としての解析処理部１８４と、解析部により特定された移動物体の位置及び兆候を用いて、移動物体の未来の位置を含む経路を予測する予測部１８８と、解析部により特定された位置及び兆候を、移動物体毎に対応させて記憶する記憶部と、記憶部に記憶された位置及び兆候を用いて、予測部を学習させる学習部１８６とを含む。【選択図】図６

Description

本開示は、経路予測装置、それを備えた車載装置、経路予測システム、経路予測方法、及びコンピュータプログラムに関する。

街頭監視カメラ等の固定設置されたセンサ（以下、インフラセンサともいう）によるセンサ情報をサーバコンピュータ（以下、単にサーバという）にアップロードし、解析して監視するシステムが提案されている。また、自動車及び自動二輪車等（以下、車両という）にも種々のセンサを搭載し、これらのセンサ情報をサーバにアップロードして解析し、運転支援のために使用することが提案されている。車載センサのデータの解析結果と、インフラセンサのデータの解析結果とを合わせて、運転支援のために使用することも提案されている。

後掲の特許文献１には、道路を横断しようとする歩行者又は自転車と、車両との衝突の危険性がある場合、車両に対して走行支援情報を適切に配信し、衝突事故を防止するシステムが開示されている。このシステムでは、歩行者又は自転車をセンサで感知し、それらの挙動を予測して車両との衝突の可能性を判定する。また、路側に設置されたセンサを使用し、信号機の情報及び路面情報と合わせて、歩行者又は車両の経路を予測する。歩行者の経路予測においては、横断歩道との位置関係、及び、等速直線運動の運動モデルを用いて予測する。

特開２００２−３６０１９２号公報

特許文献１では、歩行者の経路を予測する際には、可能性のある複数本の経路を候補として提示するが、運転支援においては、予測経路はより少ない方が好ましい。また、歩行者の位置、地理的条件及び速度等に基づく運動モデルのみから予測を行うので、実際の歩行者がどの経路を選択するのかは、横断歩道を渡り始めるとき、又は、渡り始める直前にならなければ分からない問題がある。もっと早く歩行者の経路を限定できることが望ましい。

特許文献１では、歩行者が横断歩道上のみを横断することを前提としており、それ以外の、運転者が対応しにくい危険な横断を予測できない問題がある。また、路側に設けられた道路状況把握センサによってのみ移動体を検出するため、路側センサの検出外では予測ができない問題がある。

したがって、本開示は、横断歩道等の特定の場所に限らず、歩行者が実際に行動する前に、より早く歩行者の移動経路を予測できる経路予測装置、それを備えた車載装置、経路予測システム、経路予測方法、及びコンピュータプログラムを提供することを目的とする。

本開示のある局面に係る経路予測装置は、車載センサ及び路側センサの少なくともいずれか一方により取得されたセンサデータを、無線通信又は有線通信を介して収集する収集部と、収集部により収集されたセンサデータから移動物体を検出し、当該移動物体の位置及び兆候を特定する解析部と、解析部により特定された移動物体の位置及び兆候を用いて、移動物体の未来の位置を含む経路を予測する予測部と、解析部により特定された位置及び兆候を、移動物体毎に対応させて記憶する記憶部と、記憶部に所定期間記憶された位置及び兆候を用いて、予測部を学習させる学習部とを含む。

本開示の別の局面に係る経路予測システムは、第１センサを含む車両に搭載された車載装置と、路上に設置された第２センサを含む路側装置と、経路予測装置とを含み、車載装置は、第１センサにより取得されたセンサデータを、無線通信を介して予測装置に送信し、路側装置は、第２センサにより取得されたセンサデータを、無線通信又は有線通信を介して予測装置に送信し、経路予測装置は、車載装置から送信されたセンサデータ及び路側装置から送信されたセンサデータを受信する受信部と、受信部により受信されたセンサデータから移動物体を検出し、当該移動物体の位置及び兆候を特定する解析部と、解析部により特定された移動物体の位置及び兆候を用いて、移動物体の未来の位置を含む経路を予測する予測部と、解析部により特定された位置及び兆候を、移動物体毎に対応させて記憶する記憶部と、記憶部に所定期間記憶された位置及び兆候を用いて、経路予測部を学習させる学習部とを含む。

本開示のさらに別の局面に係る経路予測システムは、センサを含む車両に搭載された車載装置と、車載装置に所定情報を、無線通信を介して配信する配信装置とを含み、車載装置は、所定情報を受信する受信部と、センサにより検出されたセンサデータから、移動物体を検出し、当該移動物体の位置及び兆候を特定する解析部と、解析部により特定された移動物体の位置及び兆候と、受信部により受信された所定情報とを用いて、移動物体の未来の位置を含む経路を予測する予測部とを含み、所定情報は、車載センサ及び路側センサの少なくともいずれか一方により取得されたセンサデータから移動物体を検出し、当該移動物体の位置及び兆候を特定する処理を所定期間繰返して得られた位置及び兆候の集合を用いて、予測部と同じモデルの予測器を学習させることにより得られた学習パラメータである。

本開示のさらに別の局面に係る車載装置は、センサと、センサにより検出されたセンサデータから、移動物体を検出し、当該移動物体の位置及び兆候を特定する解析部と、解析部により特定された移動物体の位置及び兆候、及び、受信部により受信された所定情報を用いて、移動物体の未来の位置を含む経路を予測する予測部と、予測部が経路の予測に使用する学習パラメータを、車両が通行可能な道路を含む所定領域毎に記憶する記憶部とを含み、学習パラメータは、車載センサ及び路側センサの少なくともいずれか一方により取得されたセンサデータから移動物体を検出し、当該移動物体の位置及び兆候を特定する処理を所定期間繰返して得られた位置及び兆候の集合を用いて、予測部と同じモデルの予測器を学習させることにより得られた学習パラメータである。

本開示のさらに別の局面に係る経路予測方法は、車載センサ及び路側センサの少なくともいずれか一方により取得されたセンサデータを、無線通信又は有線通信を介して収集する収集ステップと、収集ステップにより収集されたセンサデータから移動物体を検出し、当該移動物体の位置及び兆候を特定する解析ステップと、解析ステップにより特定された移動物体の位置及び兆候を用いて、移動物体の未来の位置を含む経路を予測する予測ステップと、解析ステップにより特定された位置及び兆候を、移動物体毎に対応させて記憶する記憶ステップと、記憶ステップにより所定期間記憶された位置及び兆候を用いて、予測ステップを学習させる学習ステップとを含む。

本開示のさらに別の局面に係るコンピュータプログラムは、コンピュータに、車載センサ及び路側センサの少なくともいずれか一方により取得されたセンサデータを、無線通信又は有線通信を介して収集する収集機能と、収集機能により収集されたセンサデータから移動物体を検出し、当該移動物体の位置及び兆候を特定する解析機能と、解析機能により特定された移動物体の位置及び兆候を用いて、移動物体の未来の位置を含む経路を予測する予測機能と、解析機能により特定された位置及び兆候を、移動物体毎に対応させて記憶する記憶機能と、記憶機能により所定期間記憶された位置及び兆候を用いて、予測機能を学習させる学習機能とを実現させる。

なお、経路予測装置、車載装置及び経路予測システムの各々の一部又は全部を、半導体集積回路として実現できる。また、上記のコンピュータプログラムを記録したコンピュータ読取り可能な記録媒体（ＵＳＢメモリ、メモリカード（ＳＤカード等）、磁気ディスク（ＨＤＤ等）、光磁気ディスク、光ディスク（ＤＶＤディスク、Ｂｌｕｅ−ｒａｙディスク等）等）としても実現できる。

本開示によれば、横断歩道等の特定の場所に限らず、歩行者が実際に行動する前に、より早く歩行者の移動経路を予測できる。

図１は、本開示の第１実施形態に係る経路予測システムの構成を示す模式図である。 図２は、図1の経路予測システムが横断歩道を含む領域に配置された状態を模式的に示す平面図である。 図３は、図１の経路予測装置の構成を示すブロック図である。 図４は、図１の車両に搭載された車載装置の構成を示すブロック図である。 図５は、図１の路側センサの構成を示すブロック図である。 図６は、経路予測装置の機能を示すブロック図である。 図７は、検出対象である歩行者の特徴量（兆候）を示す図である。 図８は、経路予測装置による処理（経路予測処理）を示すフローチャートである。 図９は、経路予測システムの適用例を示す平面図である。 図１０は、経路予測装置による処理（学習処理）を示すフローチャートである。 図１１は、経路予測装置の機械学習に使用される学習用データを示す模式図である。 図１２は、本開示の第２実施形態に係る経路予測システムの構成を示す模式図である。 図１３は、第２実施形態に係る車載装置の機能を示すブロック図である。 図１４は、予測モデル及び学習パラメータの一例を示す模式図である。 図１５は、図１３の車載装置による処理（経路予測処理）を示すフローチャートである。 図１６は、第２実施形態に係るサーバ（パラメータ配信装置）による処理を示すフローチャートである。

［本開示の実施形態の説明］
最初に、本開示の実施形態の内容を列記して説明する。以下に記載する実施形態の少なくとも一部を任意に組合せてもよい。

（１）本開示の第１の局面に係る情報提供装置は、車載センサ及び路側センサの少なくともいずれか一方により取得されたセンサデータを、無線通信又は有線通信を介して収集する収集部と、収集部により収集されたセンサデータから移動物体を検出し、当該移動物体の位置及び兆候を特定する解析部と、解析部により特定された移動物体の位置及び兆候を用いて、移動物体の未来の位置を含む経路を予測する予測部と、解析部により特定された位置及び兆候を、移動物体毎に対応させて記憶する記憶部と、記憶部に所定期間記憶された位置及び兆候を用いて、予測部を学習させる学習部とを含む。これにより、歩行者等の移動物体が実際に行動する前に、より早く移動物体の移動経路を予測できる。

（２）好ましくは、移動物体は、人であり、兆候は、人の顔の向きを表す情報を含む。これにより、人（歩行者等）の経路予測の精度を向上できる。

（３）より好ましくは、兆候は、人の体の向きを表す情報をさらに含む。これにより、人（歩行者等）の経路予測の精度をより向上できる。

（４）さらに好ましくは、学習部は、機械学習により予測部を学習させ、移動物体毎に所定の時間に渡って特定され、記憶部に記憶されている位置及び兆候の時系列データの内、より過去に属する位置及び兆候の第１の時系列データを、機械学習の入力データとし、移動物体毎に所定の時間に渡って特定され、記憶部に記憶されている位置及び兆候の時系列データの内、第１の時系列データを含まない時系列データを、機械学習の教師データとして使用する。これにより、機械学習のためのデータを自動的に生成でき、効率的に予測部を学習させることができる。

（５）好ましくは、経路予測装置は、予測部により予測された経路を、車載装置に配信する配信部をさらに含む。これにより、車載装置は、移動経路を運転支援情報として使用できる。

（６）より好ましくは、配信部は、予測部により予測された経路と共に、当該経路に対応する移動物体の画像データを配信する。これにより、車載装置は、予測経路の対象である歩行者等の移動物体の画像を運転者に、目視できるように提示できるので、受信した経路の信頼性を確認できる。

（７）さらに好ましくは、経路予測装置は、予測部により予測された経路を用いて、当該経路の予測対象の移動物体と、当該移動物体とは別の移動物体との衝突の可能性を評価する評価部をさらに含む。これにより、衝突の可能性を提示でき、衝突を防止できる。

（８）好ましくは、収集部は、車載センサにより取得されたセンサデータ及び路側センサにより取得されたセンサデータを収集し、車載センサにより取得されたセンサデータから検出された第１移動物体と、路側センサにより取得されたセンサデータから検出された第２移動物体とが同じ移動物体であるか否かを判定する判定部をさらに含み、予測部は、同じ移動物体と判定された第１移動物体及び第２移動物体の各々に関して特定された位置及び兆候を共に使用して、経路を予測する。これにより、歩行者等の移動物体が実際に行動する前に、より一層早く移動物体の移動経路を予測できる。

（９）本開示の第２の局面に係る車載装置は、上記の経路予測装置を含む車載装置。これにより、車載装置は、歩行者等の移動物体が実際に行動する前に、より早く移動物体の移動経路を予測できる。

（１０）本開示の第３の局面に係る経路予測システムは、第１センサを含む車両に搭載された車載装置と、路上に設置された第２センサを含む路側装置と、経路予測装置とを含み、車載装置は、第１センサにより取得されたセンサデータを、無線通信を介して経路予測装置に送信し、路側装置は、第２センサにより取得されたセンサデータを、無線通信又は有線通信を介して経路予測装置に送信し、経路予測装置は、車載装置から送信されたセンサデータ及び路側装置から送信されたセンサデータを受信する受信部と、受信部により受信されたセンサデータから移動物体を検出し、当該移動物体の位置及び兆候を特定する解析部と、解析部により特定された移動物体の位置及び兆候を用いて、移動物体の未来の位置を含む経路を予測する予測部と、解析部により特定された位置及び兆候を、移動物体毎に対応させて記憶する記憶部と、記憶部に所定期間記憶された位置及び兆候を用いて、予測部を学習させる学習部とを含む。これにより、車載装置単独で、歩行者等の移動物体が実際に行動する前に、より早く移動物体の移動経路を予測できる。

（１１）本開示の第４の局面に係る経路予測システムは、センサを含む車両に搭載された車載装置と、車載装置に所定情報を、無線通信を介して配信する配信装置とを含み、車載装置は、所定情報を受信する受信部と、センサにより検出されたセンサデータから、移動物体を検出し、当該移動物体の位置及び兆候を特定する解析部と、解析部により特定された移動物体の位置及び兆候と、受信部により受信された所定情報とを用いて、移動物体の未来の位置を含む経路を予測する予測部とを含み、所定情報は、車載センサ及び路側センサの少なくともいずれか一方により取得されたセンサデータから移動物体を検出し、当該移動物体の位置及び兆候を特定する処理を所定期間繰返して得られた位置及び兆候の集合を用いて、予測部と同じモデルの予測器を学習させることにより得られた学習パラメータである。これにより、歩行者等の移動物体が実際に行動する前に、より早く移動物体の移動経路を、適切な所定情報（パラメータ）を使用して精度よく予測できる。

（１２）好ましくは、経路予測システムは、配信装置を複数含み、複数の配信装置の各々は、車両が通行可能な道路を含む所定領域毎に配置され、所定領域に対応する所定情報を、無線通信を介して配信し、車載装置の受信部は、複数の配信装置の内、車両の現在位置を含む所定領域に配置されている配信装置から、当該所定領域に対応する所定情報を受信する。これにより、車載装置が不要なデータを記憶することを抑制できる。

（１３）より好ましくは、車載装置は、車両の現在位置を含む所定領域に配置されている配信装置に、当該所定領域に対応する所定情報の送信を要求する送信要求を送信する送信部をさらに含み、送信要求を受信した配信装置は、当該配信装置が配置されている所定領域に対応する所定情報を、要求を送信した車載装置に送信する。これにより、配信装置から、車載装置にとって不要な所定情報の送信を抑制できる。

（１４）より好ましくは、受信部は、車両の現在位置を含む所定領域に配置されている配信装置から配信される、当該所定領域に対応する所定情報のバージョンを受信し、車載装置は、予測部が経路の予測に使用する学習パラメータを、所定領域毎に記憶する記憶部と、受信部により取得されたバージョンが、記憶部に記憶されている学習パラメータの内、車両の現在位置を含む所定領域に対応する学習パラメータのバージョンよりも新しいか否かを判定する判定部とをさらに含み、判定部により、受信部により取得されたバージョンが、記憶部に記憶されている学習パラメータの内、車両の現在位置を含む所定領域に対応する学習パラメータのバージョンよりも新しいと判定されたことを受けて、送信部は、送信要求を送信する。これにより、配信装置から、車載装置にとって不要な所定情報の送信をより一層抑制できる。

（１５）本開示の第５の局面に係る車載装置は、センサと、センサにより検出されたセンサデータから、移動物体を検出し、当該移動物体の位置及び兆候を特定する解析部と、解析部により特定された移動物体の位置及び兆候から、移動物体の未来の位置を含む経路を予測する予測部と、予測部が経路の予測に使用する学習パラメータを、車両が通行可能な道路を含む所定領域毎に記憶する記憶部とを含み、学習パラメータは、車載センサ及び路側センサの少なくともいずれか一方により取得されたセンサデータから移動物体を検出し、当該移動物体の位置及び兆候を特定する処理を所定期間繰返して得られた位置及び兆候の集合を用いて、予測部と同じモデルの予測器を学習させることにより得られた学習パラメータである。これにより、車載装置単独で、歩行者等の移動物体が実際に行動する前に、より早く移動物体の移動経路を、地域に応じた適切な所定情報（パラメータ）を使用して精度よく予測できる。

（１６）本開示の第６の局面に係る経路予測方法は、車載センサ及び路側センサの少なくともいずれか一方により取得されたセンサデータを、無線通信又は有線通信を介して収集する収集ステップと、収集ステップにより収集されたセンサデータから移動物体を検出し、当該移動物体の位置及び兆候を特定する解析ステップと、解析ステップにより特定された移動物体の位置及び兆候を用いて、移動物体の未来の位置を含む経路を予測する予測ステップと、解析ステップにより特定された位置及び兆候を、移動物体毎に対応させて記憶する記憶ステップと、記憶ステップにより所定期間記憶された位置及び兆候を用いて、予測ステップを学習させる学習ステップとを含む。これにより、歩行者等の移動物体が実際に行動する前に、より早く移動物体の移動経路を予測できる。

（１７）本開示の第７の局面に係るコンピュータプログラムは、コンピュータに、車載センサ及び路側センサの少なくともいずれか一方により取得されたセンサデータを、無線通信又は有線通信を介して収集する収集機能と、収集機能により収集されたセンサデータから移動物体を検出し、当該移動物体の位置及び兆候を特定する解析機能と、解析機能により特定された移動物体の位置及び兆候を用いて、移動物体の未来の位置を含む経路を予測する予測機能と、解析機能により特定された位置及び兆候を、移動物体毎に対応させて記憶する記憶機能と、記憶機能により所定期間記憶された位置及び兆候を用いて、予測機能を学習させる学習機能とを実現させる。これにより、歩行者等の移動物体が実際に行動する前に、より早く移動物体の移動経路を予測できる。

［本開示の実施形態の詳細］
以下の実施形態では、同一の部品には同一の参照番号を付してある。それらの名称及び機能も同一である。したがって、それらについての詳細な説明は繰返さない。

（第１実施形態）
［全体構成］
図１を参照して、本開示の第１実施形態に係る経路予測システム１００は、経路予測装置１０２、道路及びその周辺等（以下、路上ともいう）に固定して設置された路側センサ１０４、車両１０６、移動通信の基地局１０８、ネットワーク１１０、及び、道路交通用の信号機（歩行者用信号機）１１２を含む。歩行者２００は、路側センサ１０４及び車両１０６に搭載されたセンサの検出対象である。経路予測システム１００を構成する各要素間の通信は、基地局１０８を介して、又は、基地局１０８を介さない直接の無線通信又は有線通信により行われるとする。基地局１０８はＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）回線及び５Ｇ（第５世代移動通信システム）回線等による移動通信サービスを提供している。

車両１０６が搭載している車載装置は、ＬＴＥ回線及び５Ｇ回線等による通信機能を有している。路側センサ１０４は道路及びその周辺に設置された撮像機能を備えた装置であり、基地局１０８との通信機能を有している。路側センサ１０４は、例えばデジタルの監視カメラである。

図２を参照して、経路予測システム１００は例えば交差点を含む領域に配置される。経路予測装置１０２は、路側センサ１０４及び車両１０６の車載装置から送信されるセンサ情報（動画像データ等。以下、センサデータともいう）を受信して解析し、歩行者２００及び２０２を検出し、検出された歩行者毎の移動経路２１０及び２１２を予測する。予測された移動経路（以下、予測経路という）は車載装置に配信（例えば、ブロードキャスト）される。周辺の道路を走行している車両１１４、１１６及び１１８は、受信した予測経路を運転支援情報として利用できる。

図１及び図２には、代表的に１つの基地局１０８、１つのインフラセンサ（路側センサ１０４）を示しているが、通常、複数の基地局及び複数のインフラセンサが設けられている。経路予測装置１０２は、より多くのインフラセンサ、車両の車載装置と通信し、センサ情報を収集して解析し、移動経路の予測に使用する。

［経路予測装置のハードウェア構成］
図３を参照して、経路予測装置１０２は、各部を制御する制御部１２０と、データを記憶するメモリ１２２と、通信を行う通信部１２４と、各部の間でデータを交換するためのバス１２６とを含む。制御部１２０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を含んで構成されており、各部を制御することにより、後述する機能を実現する。メモリ１２２は、書換可能な半導体の不揮発性メモリ及びハードディスクドライブ（以下、ＨＤＤという）等の大容量記憶装置を含む。通信部１２４は、路上に配置された路側センサ１０４からアップロードされるセンサ情報（画像データ）、及び車両１０６等の車載装置からアップロードされるセンサ情報を受信する。通信部１２４により受信されたデータは、メモリ１２２に伝送されて記憶される。これにより、経路予測装置１０２は、後述するように経路予測機能を実現する。

［車載装置のハードウェア構成及び機能］
図４を参照して、車両１０６に搭載されている車載装置１４０のハードウェア構成の一例を示す。車載装置１４０は、車両１０６に搭載されているセンサ部１４２に接続されたインターフェイス部（以下、Ｉ／Ｆ部という）１４４、無線通信を行う通信部１４６、データを記憶するメモリ１４８、それらを制御する制御部１５０、情報を提示する提示部１５２、及び、各部の間でデータを交換するためのバス１５４を含む。

センサ部１４２は、車両１０６に搭載されている公知のビデオ映像の撮像装置（例えば、デジタルカメラ（ＣＣＤカメラ、ＣＭＯＳカメラ））である。センサ部１４２は、所定のビデオ信号（アナログ信号又はデジタルデータ）を出力する。センサ部１４２からの信号はＩ／Ｆ部１４４に入力される。Ｉ／Ｆ部１４４はＡ／Ｄ変換部を含み、アナログ信号が入力されると所定周波数でサンプリングし、デジタルデータ（センサ情報）を生成して出力する。生成されたデジタルデータは、メモリ１４８に伝送されて記憶される。センサ部１４２からの出力信号がデジタルデータであれば、Ｉ／Ｆ部１４４は、入力されるデジタルデータをメモリ１４８に記憶する。メモリ１４８は、例えば書換可能な不揮発性の半導体メモリ又はＨＤＤである。

通信部１４６は、ＬＴＥ回線及び５Ｇ回線等の移動通信機能を有し、経路予測装置１０２との通信を行う。車載装置１４０と経路予測装置１０２との間の通信は、基地局１０８を介して、又は、基地局１０８を介さない直接無線通信により行われる。通信部１４６は、ＬＴＥ回線及び５Ｇ回線等のそれぞれで採用されている変調及び多重化を行うためのＩＣ、所定周波数の電波を放射及び受信するためのアンテナ、並びにＲＦ回路等により構成されている。通信部１４６は、ＬＴＥ回線及び５Ｇ回線等の複数の移動通信機能を備えていることにより、５Ｇ回線の通信サービスが提供されていない地域を、車両１０６が走行している場合には、ＬＴＥ回線による通信が可能となる。

提示部１５２は、例えば液晶ディスプレイ等の画像表示装置と、スピーカ等の音響装置とを含み、運転支援情報を画像として表示し、音響として出力する。制御部１５０は、ＣＰＵを含んで構成されており、各部を制御することにより車載装置１４０の機能を実現する。例えば、制御部１５０は、経路予測装置１０２から、移動物体（歩行者等）の予測経路を受信して、車両１０６の走行を制御する、運転者を支援する情報を提供する等の処理を行う。また、制御部１５０は、ＧＰＳにより、車両１０６の現在位置を取得する。

［インフラセンサのハードウェア構成及び機能］
インフラセンサである路側センサ１０４も、基本的に車載装置１４０と同様に構成されている。図５を参照して、路側センサ１０４のハードウェア構成の一例を示す。路側センサ１０４は、センサ部１６０に接続されたＩ／Ｆ部１６２、無線通信又は有線通信を行う通信部１６４、データを記憶するメモリ１６６、それらを制御する制御部１６８、及び、各部の間でデータを交換するためのバス１７０を含む。

センサ部１６０は、公知のビデオ映像の撮像装置（例えば、デジタルカメラ）である。センサ部１６０は、所定のビデオ信号を出力する。センサ部１６０からの信号はＩ／Ｆ部１６２に入力される。Ｉ／Ｆ部１６２はＡ／Ｄ変換部を含み、アナログ信号が入力されるとデジタルデータ（センサ情報）を生成して出力する。生成されたデジタルデータは、メモリ１６６に伝送されて記憶される。センサ部１６０からの出力信号がデジタルデータであれば、Ｉ／Ｆ部１６２は、入力されるデジタルデータをメモリ１６６に記憶する。メモリ１６６は、例えば書換可能な不揮発性の半導体メモリ又はＨＤＤである。

通信部１６４は、移動通信機能を有し、基地局１０８を介して、又は、基地局１０８を介さない直接無線通信又は有線通信により経路予測装置１０２との通信を行う。路側センサ１０４は固定設置されているので、複数の移動通信方式に対応している必要はなく、近くにある基地局１０８により提供されている移動通信方式（例えば、ＬＴＥ回線又は５Ｇ回線）に対応していればよい。通信部１６４は、採用されている変調及び多重化を行うためのＩＣ、所定周波数の電波を放射及び受信するためのアンテナ、並びにＲＦ回路等により構成されている。なお、固定設置されている路側センサ１０４の通信機能は、基地局１０８を介する場合に限定されず、任意である。有線ＬＡＮ、又はＷｉＦｉ等の無線ＬＡＮによる通信機能であってもよい。なお、ＷｉＦｉ通信の場合、移動通信の基地局１０８とは別にＷｉＦｉサービスを提供する装置（無線ルータ等）が設けられ、路側センサ１０４は経路予測装置１０２とネットワーク１１０を介して通信する。

制御部１６８は、ＣＰＵを含んで構成されており、各部を制御することにより車載装置１４０の機能を実現する。即ち、制御部１６８は、センサ部１６０により撮像されてメモリ１６６に記憶された動画像データを所定の時間間隔で読出し、パケットデータを生成し、通信部１６４から経路予測装置１０２に送信する。

［経路予測装置の機能的構成］
図６を参照して、経路予測装置１０２の機能について説明する。経路予測装置１０２は、パケットデータを受信するパケット受信部１８０と、パケットデータを送信するパケット送信部１８２と、受信したセンサ情報に対して所定の解析処理を実行する解析処理部１８４と、経路予測の学習を行う学習部１８６と、移動物体の将来の移動経路（予測経路）を予測する処理を実行する予測部１８８とを含む。パケット受信部１８０は、路側センサ１０４及び車載装置１４０からセンサデータを含むパケットデータを受信する。受信したセンサデータは解析処理部１８４に入力される。

解析処理部１８４は、入力されるセンサデータ（動画像データ等）に対して解析処理を実行して移動物体を検出する。ここでは、検出対象は、移動している歩行者であるとし、「歩行者」とは、歩いている人に限定されず、任意の速度で移動している人を意味し、走っている人をも含む。アップロードされた動画像データに複数の歩行者が含まれていれば、それぞれの歩行者が検出される。解析処理には、フレーム間の差分を求める処理を含む公知の対象物の検出処理、及び特徴量の抽出処理を使用することができ、例えば、検出された移動物体に関する特徴量（検出時刻、位置、移動速度、移動方向、大きさ、形状、色等）を求めることができる。これにより、歩行者とそれ以外の移動物体とを区別することができ、同じ歩行者か異なる歩行者かをも判定できる。

さらに、解析処理部１８４は、検出された歩行者毎に、特徴量として位置及び兆候を検出する。「兆候」とは、検出された歩行者の将来の位置を予測するための情報を意味する。ここでは、兆候として、検出された歩行者の体の向き及び顔の向きを検出する。体の向き及び顔の向きを検出する方法は任意である。例えば、ＨＯＧ（Ｈｉｓｔｏｇｒａｍｓ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ）特徴量、又は、Ｈａａｒ−Ｌｉｋｅ特徴量による検出方法を使用できる。また、ＨＯＧ特徴量及びＨａａｒ−Ｌｉｋｅ特徴量の一方と、ＡｄａＢｏｏｓｔ（Ａｄａｐｔｉｖｅ Ｂｏｏｓｔｉｎｇ）とを組合せた検出方法を使用してもよい。また、畳み込みニューラルネットワークによる検出方法を使用してもよい。一例として図７に、１フレームの画像データの一部を示す。図７においては、検出された歩行者を表す対象枠２２０及び２３０が表示されている。例えば、対象枠２２０に関して、顔領域（顔領域枠２２２で示す）を特定し、顔領域を解析することにより顔の向き２２４が算出される。また、対象枠２２０に関して、体領域（体領域枠２２６で示す）を特定し、体領域を解析することにより体の向き２２８が算出される。顔の向き２２４及び体の向き２２８の各々は、例えば水平面内の２次元ベクトルとして算出される。解析処理部１８４は、解析結果（歩行者毎の位置、体の向き及び顔の向き）を学習部１８６及び予測部１８８に出力する。

学習部１８６は、解析処理部１８４から解析結果（歩行者毎の位置、体の向き及び顔の向き）が入力されると、解析結果を所定の期間記憶する。学習部１８６は、検出対象毎に、位置の時系列データ、体の向きの時系列データ、及び、顔の向きの時系列データを１組として記憶する。そして、学習部１８６は、複数組（複数の検出対象）の時系列データを用いて、経路予測の学習を行う。学習の対象は、後述する予測部１８８と同じモデルである。学習のアルゴリズムは任意である。例えば、使用するモデルに応じて、ニューラルネットワーク、マルコフ決定過程、ガウス過程等を使用できる。学習部１８６は、学習結果（例えば、学習パラメータ（以下、単にパラメータともいう））を予測部１８８に出力する。

予測部１８８は、学習部１８６から入力される学習結果を所定の予測モデルに適用し、その予測モデル（学習後の予測モデル）に解析処理部１８４から入力される解析結果を入力し、将来の移動経路（予測経路）を導出する。予測部１８８は、導出した予測経路をパケット送信部１８２に出力する。

パケット送信部１８２は、予測部１８８から入力される予測経路を含むパケットデータを生成して、車載装置に対して配信（例えば、ブロードキャスト）する。予測経路を受信した車載装置は、予測経路を運転支援情報として使用できる。

パケット受信部１８０の機能は、例えば図３の通信部１２４及びメモリ１２２により実現される。解析処理部１８４、学習部１８６及び予測部１８８の機能は、例えば図３の制御部１２０及びメモリ１２２により実現される。パケット送信部１８２の機能は、例えば図３の通信部１２４及びメモリ１２２により実現される。経路予測装置１０２は、解析処理部１８４、学習部１８６及び予測部１８８の機能を、専用のハードウェア（回路基板、ＡＳＩＣ等）により実現してもよい。

［経路予測装置の動作］
（経路予測処理）
図８を参照して、経路予測装置１０２による経路予測処理に関して、より具体的に説明する。図８に示した処理は、制御部１２０が、所定のプログラムをメモリ１２２から読出して実行することにより実現される。

ステップ３００において、制御部１２０は、センサデータを受信したか否かを判定する。受信したと判定された場合、制御はステップ３０２に移行する。そうでなければ、ステップ３００が繰返される。

ステップ３０２において、制御部１２０は、ステップ３００で受信したセンサデータを解析して、歩行者を検出し、その位置及び兆候（体の向き及び顔の向き）を検出する。その後、制御はステップ３０４に移行する。ステップ３０２の処理は、図６の解析処理部１８４による機能に対応する。

ステップ３０４において、制御部１２０は、経路予測を実行するか否かを判定する。実行すると判定された場合、制御はステップ３０６に移行する。そうでなければ、制御はステップ３１０に移行する。例えば、ステップ３０２における解析の結果、歩行者が検出され、その位置及び兆候（体の向き及び顔の向き）を検出できれば、判定結果はＹＥＳとなる。ステップ３０２における解析の結果、歩行者が検出されなければ、判定結果はＮＯとなる。ステップ３０２における解析の結果、歩行者が検出されても、その位置及び兆候を検出できなければ、判定結果はＮＯとなる。

ステップ３０６において、制御部１２０は、ステップ３０２で検出された位置及び兆候を用いて、検出された歩行者毎の移動経路を予測する。その後、制御はステップ３０８に移行する。ステップ３０６の処理は、図６の予測部１８８による機能に対応する。

ステップ３０８において、制御部１２０は、ステップ３０６で生成された予測経路を、ブロードキャスト送信する。その後、制御はステップ３１０に移行する。

ステップ３１０において、制御部１２０は、終了の指示を受けたか否かを判定する。終了の指示を受けたと判定された場合、本プログラムは終了する。そうでなければ、制御はステップ３００に戻る。終了の指示は、例えば、経路予測装置１０２が管理者等により操作されることにより成される。

これにより、経路予測装置１０２から送信された予測経路は、車載装置により受信される。予測経路を受信した車載装置は、予測経路を運転支援情報として使用できる。例えば、車載装置は、自車両の進行方向と予測経路とが交差するか否かを判定し、交差する場合には、警告を提示する等により、運転者に注意を促すことができる。

検出された歩行者等の移動物体の位置及び兆候を使用することにより、移動物体が実際に行動する前に、より早く移動物体の移動経路を予測できる。

歩行者の体の向きは、歩行者が進行方向を変更するタイミングにならないと変化しないので、体の向きだけで予測された経路の精度はそれ程高くはない。一方、通常、屋外の歩行者は進行方向を変更する場合、他の移動物体（車両、歩行者等）との衝突を回避するために、新たな進行方向を含む周囲に顔を向けて目視により確認を行う。したがって、進路変更の兆候として顔の向きを使用することにより、精度よく予測経路を決定できる。特に、体の向き及び顔の向きを使用することにより、より精度よく予測経路を決定できる。

例えば、図２を参照して、左右方向の移動に関する信号機（歩行者用信号機）１１２及び車両用信号機２０６が青信号、上下方向の移動に関する歩行者用信号機２０４及び車両用信号機２０８が赤信号であるとする。図２において、人、車両の現在の進行方向を実線の矢印で示し、将来予測される移動経路、即ち予測経路を破線で示す。路側センサ１０４及び車両１０６の車載センサの検知領域を、１点鎖線の扇形で示している。路側センサ１０４から経路予測装置１０２に送信されるセンサデータには、歩行者２００の画像が含まれており、経路予測装置１０２は、路側センサ１０４から受信したセンサデータから歩行者２００を検出し、その位置及び兆候（体の向き及び顔の向き）を検出し、それらを用いて、経路予測を実行することにより、予測経路２１０を決定できる。経路予測装置１０２は、決定された予測経路２１０を特定する情報を配信する。これにより、予測経路２１０を特定する情報を受信した右折しようとしている車両１１６の車載装置は、車両１１６が進入しようとしている横断歩道に予測経路２１０が重なっているので、運転者に注意を促す提示を行うことができる。

また、車両１０６の車載装置から送信されるセンサデータには、歩行者２０２の画像が含まれており、経路予測装置１０２は、車両１０６の車載装置から受信したセンサデータから歩行者２００を検出し、その位置及び兆候（体の向き及び顔の向き）を検出し、それらを用いて、経路予測を実行することにより、予測経路２１２を決定できる。経路予測装置１０２は、決定された予測経路２１２を特定する情報を配信する。これにより、予測経路２１２を特定する情報を受信した車両１０６及び１１８の車載装置は、歩行者２０２が車道に進入しょうとしていることを検知し、運転者に注意を促す提示を行うことができる。これにより、車両１１８の車載装置は、車両１１８の運転者が目視する前に、車両１１８の前方に横断しようとしている歩行者２０２がいることを検知でき、注意を促すことができる。また、車両１０６の車載装置も、運転者に事前に注意を促すことができ、歩行者２０２が車両１０６の運転者の視野に入っているとしても、運転者が、歩行者２０２が道路を横断しようとしていることまでは認識できない場合に有効である。

路側センサ１０４のセンサデータのみを使用して、交差点付近の歩行者の経路予測を行うことはできるが、路側センサと歩行者が遠く離れていれば、路側センサ１０４の性能によっては、歩行者の兆候を捉えることが難しい。例えば、画像の解像度が十分でなければ、歩行者の顔の向きを判別できない。したがって、上記したように、路側センサ１０４のセンサデータに限らず、車載装置のセンサデータを利用することが有効である。図２を参照して上記した場合に限らず、例えば、図９のような場合にも、車載装置のセンサデータを利用することが有効である。図９を参照して、車両１０６の車載装置から経路予測装置１０２に送信されるセンサデータには、歩行者２０２の画像が含まれており、経路予測装置１０２は、車両１０６の車載装置から受信したセンサデータから歩行者２０２を検出し、その位置及び兆候（体の向き及び顔の向き）を検出し、それらを用いて、経路予測を実行することにより、予測経路２１２を決定できる。経路予測装置１０２は、決定された予測経路２１２を特定する情報を配信する。これにより、予測経路２１２を特定する情報を受信した車両１１４の車載装置は、車両１１４が左折しようとしている場合、車両１１４の左折後の走行方向が歩行者２０２の予測経路と交差することを検知し、運転者に注意を促す提示を行うことができる。車両１１４が左折した後にも、樹木等の障害物２４０により死角に位置する歩行者２０２は、車両１１４の運転者に視認されないので、事前に注意を促すことができることが有効である。

なお、走行中の車両の車載装置から送信されるセンサデータに限らず、停車中の車両の車載センサから送信されるセンサデータを経路予測に使用してもよい。例えば、縦列駐車している複数の車両の間から、道路に侵入して横断しようとする歩行者がいる。そのような場合には、駐車中の車両の車載装置から送信されるセンサデータを用いて、歩行者の検出及びその移動経路を予測することが好ましい。

（学習処理）
図１０を参照して、経路予測装置１０２による経路予測に関する学習処理に関して、より具体的に説明する。図１０に示した処理は、制御部１２０が、所定のプログラムをメモリ１２２から読出して実行することにより実現される。

ステップ４００において、制御部１２０は、センサデータを受信したか否かを判定する。受信したと判定された場合、制御はステップ４０２に移行する。そうでなければ、ステップ４００が繰返される。

ステップ４０２において、制御部１２０は、ステップ４００で受信したセンサデータを解析して、歩行者を検出し、その位置及び兆候（体の向き及び顔の向き）を検出する。その後、制御はステップ４０４に移行する。ステップ４０２の処理は、図６の解析処理部１８４による機能に対応する。

ステップ４０４において、制御部１２０は、ステップ４０２で検出された位置及び兆候を、検出された歩行者毎に記憶する。その後、制御はステップ４０６に移行する。

ステップ４０６において、制御部１２０は、学習を実行するか否かを判定する。実行すると判定された場合、制御はステップ４０８に移行する。そうでなければ、制御はステップ４１２に移行する。例えば、ステップ４０４で記憶された位置及び兆候の時系列データが、所定量以上になった場合に、学習を実行すると判定される。また、所定の時間が経過するごとに、又は、所定の時刻になれば、学習を実行すると判定してもよい。

ステップ４０８において、制御部１２０は、記憶した位置及び兆候の時系列データを用いて、経路予測に使用する予測モデルの学習を実行する。その後、制御はステップ４１０に移行する。例えば、記憶した位置及び兆候の時系列データから、学習用の入力データ及び教師データを自動的に生成し、それを用いて、予測モデルを学習させる。具体的には、図１１を参照して、検出されたある歩行者の位置の時系列データとして、始点Ａから中間点Ｂを経由して終点Ｃに至る経路（２次元の経路）が記憶されていた場合、始点Ａから中間点Ｂまでのデータ（位置の時系列データ）を入力データとする。また、中間点Ｂから終点Ｃまでのデータを教師データとする。兆候（体の向き、顔の向き）の時系列データに関しても同様にして、入力データと教師データとに分割する。このようにして、例えば、ある歩行者に関する位置及び兆候の時系列データから、１つの入力データと、それに対応する教師データとが生成される。同様にして、他の歩行者に関する位置及び兆候の時系列データから、入力データ及び教師データが生成される。そのようにして生成された複数の入力データ及び教師データを用いて学習を実行することにより、予測モデルのパラメータが決定される。ステップ４０８の処理は、図６の学習部１８６による機能に対応する。

ステップ４１０において、制御部１２０は、ステップ４０８での学習結果（パラメータ）を記憶する。その後、制御はステップ４１２に移行する。

ステップ４１２において、制御部１２０は、終了の指示を受けたか否かを判定する。終了の指示を受けたと判定された場合、本プログラムは終了する。そうでなければ、制御はステップ４００に戻る。終了の指示は、例えば、経路予測装置１０２が管理者等により操作されることにより成される。

これにより、ステップ４１０において記憶された学習結果（パラメータ）は、上記した経路予測処理のステップ３０６において使用される。上記したように、学習用の入力データ及び教師データを自動的に生成することにより、効率的に学習を実行できる。

上記では、横断歩道がある交差点を観測対象として経路予測装置１０２及び路側センサ１０４が配置される場合を説明したが、これに限定されない。車両が通行する道路の周辺のいかなる場所においても経路予測装置１０２及び路側センサ１０４を配置して、歩行者を検出し、その経路予測を行うことができる。例えば、横断歩道上でなくても、歩行者が横断しがちな箇所を対象として、経路予測装置１０２及び路側センサ１０４を設置することにより、経路データを多く取得できるので、経路予測の精度を向上できる。

また、路側センサ１０４を配置せず、経路予測装置１０２のみを配置する場合には、車両に搭載されたセンサのセンサデータを使用することにより、歩行者を検出してその経路予測を行うことができる。

上記では、センサデータのみを用いて経路予測を実行する場合を説明したが、これに限定されない。信号機の情報を、経路予測に使用してもよい。例えば、歩行者用信号機が赤であれば、通常、その横断歩道を渡るような移動経路の可能性は低くなると考えられる。したがって、信号機（歩行者用信号機及び車両用信号機を含む）の情報を、経路予測に用いることにより、経路予測の精度を向上できる。

センサデータは、カメラにより撮像されたデータに限定されない。センサは、解析により歩行者を検出し、その特徴量（位置及び兆候）を算出できるデータを出力する検知装置であればよく、短い間隔で繰返し静止画像を撮像する装置、ＲＦ（ミリ波等）又はレーザを使用したセンサであってもよい。

上記では歩行者を検出対象としたが、これに限定されない。車両が衝突して損傷を与える可能性がある移動物体を検出対象とすることができ、自転車に乗った人であってもよい。

車両は走行するので、車載センサがセンサデータを取得できる範囲は、路側センサがセンサデータを取得できる範囲とは異なる。異なる車両の車載センサがセンサデータを取得できる範囲も異なる。一方、同じ歩行者が、路側センサと車載センサにより取得されたセンサデータにふくまれる場合がある。したがって、より広い範囲にわたって、歩行者を検出し、その予測経路を決定するためには、路側センサ及び車載センサのセンサデータ、さらには複数の車載センサのセンサデータの検出結果を融合して使用することが好ましい。これにより、より広い範囲にわたって検出された同じ歩行者に関して、より多くの情報を取得で、その位置及び兆候をより精度よく検出できる。したがって、より精度よく予測経路を決定できる。

上記では、経路予測装置１０２は、予測経路のみを配信する場合を説明したが、これに限定されない。予測経路に加えて、補助的なデータを配信してもよい。例えば、予測経路に対応する検出された移動物体の画像データを送信してもよい。これにより、車載装置は、予測経路の対象である歩行者等の移動物体の画像を運転者に、目視できるように提示できるので、受信した経路の信頼性を確認できる。

上記では、経路予測に、検出された歩行者の位置、体の向き及び顔の向きを使用する場合を説明したが、これに限定されない。これらに加えて、例えば、検出された歩行者の移動速度を用いてもよい。また、体の向き及び顔の向きに代えて、又は、体の向き及び顔の向きの少なくとも一方に加えて、歩行者が進行方向を変化させる前に観測できる歩行者の別の身体状態を、兆候として使用してもよい。

上記では、固定設置された経路予測装置１０２が、路側センサ及び車載装置から受信したセンサデータを用いて経路予測を実行する場合を説明したが、これに限定されない。経路予測装置が車両に搭載されていてもよい。例えば、車載装置が経路予測のための学習及び経路予測を実行してもよい。

（第２実施形態）
経路予測のための学習後の予測装置（予測モデル）は、全国の道路で同じものを用いてもよいが、予測精度は学習に使用した過去のデータに依存する。即ち、学習に用いたセンサデータには、そのセンサデータを取得した地域（以下、エリアともいう）の地理的条件（道路形状、車道幅、車線数、歩道の有無、歩道幅、信号機の有無、信号機の位置、交通量等）が反映されていると考えられる。特定のエリアにおいて経路予測を行う経路予測装置は、そのエリアで取得されたセンサデータにより学習されたものであることが好ましい。したがって、第２実施形態では、車載装置が経路予測機能を有し、エリア毎の学習により決定された学習結果を用いて、車両が走行しているエリアでの経路予測を行う。

図１２を参照して、第２実施形態に係る経路予測システムは、エリア５１０に配置されたサーバ５００と、エリア５１０と異なるエリア５１２に配置されたサーバ５０２と、複数の車両５０４及び５０８の各々の車載装置とを含む。サーバ５００及び５０２は、コンピュータであり、図３と同様に構成されている。サーバ５００のメモリには、エリア５１０に配置された路側センサ（図示せず）によるセンサデータを用いて、上記したように予測モデルを学習することにより決定された学習パラメータが記憶されている。同様に、サーバ５０２のメモリには、エリア５１２に配置された路側センサ（図示せず）によるセンサデータを用いて決定された学習パラメータが記憶されている。サーバ５００及び５０２の各々は、自己のメモリに記憶されている学習パラメータを適宜配信し、パラメータ配信装置として機能する。図１２では、２つのエリア５１０及び５１２を図示しているが、道路を含む所定領域（例えば、全国、各都道府県等）が複数のエリアに区切られて、各エリアに少なくとも１台のサーバ（学習パラメータを記憶し配信する）が配置されているとする。

（車載装置の機能的構成）
車両５０４及び５０６の車載装置は、図４と同様に構成されている。車両５０４及び５０６の車載装置の機能構成を図１３に示す。図１３を参照して、車載装置５２０は、パケット受信部５２２、パラメータ記憶部５２４、センサ部５２６、解析処理部５２８、予測部５３０及び情報提示部５３２を含む。

パケット受信部５２２は、パケットデータ（サーバ５００及び５０２から送信される学習パラメータ）を受信し、受信した学習パラメータを、パラメータ記憶部５２４に出力する。パラメータ記憶部５２４は、予め各エリアに対応する学習パラメータを記憶している。パラメータ記憶部５２４は、パケット受信部５２２から入力される学習パラメータを適宜記憶する。

センサ部５２６は、例えば図４のセンサ部１４２及びＩ／Ｆ部１４４と同様に構成され、センサデータを取得する。取得されたセンサデータは、解析処理部５２８に出力される。解析処理部５２８は、入力されるセンサデータを、図６の解析処理部１８４と同様に解析して、歩行者を検出し、その位置及び兆候（歩行者の体の向き及び顔の向き）を検出する。解析処理部５２８は、検出した位置及び兆候を予測部５３０に出力する。

予測部５３０は、解析処理部５２８から位置及び兆候が入力されると、パラメータ記憶部５２４に記憶されている学習パラメータの中から、車両が現在走行中のエリア（車両が現在位置するエリア）の学習パラメータを読出して、図６の予測部１８８と同様に経路予測を実行する。予測部５３０は、得られた経路予測を情報提示部５３２に出力する。

図１４を参照して、学習パラメータの一例を説明する。図１４は、ニューラルネットワークを用いた予測器（予測モデル）を示す。入力層の各ノードには、実測データが入力される。ある層のノードにデータが入力されると、そのノードは、入力値と所定の重みを乗算した値を、次の層の各ノードに出力する。隣接する層間で、これを繰返すことにより、出力層からデータが出力される。各層のノードに設定された重みを変更すると、出力層の出力データが変化する。学習では、多量の入力データを用いて、各入力データに対する出力データが教師データに近付くように、各重みを調節する。このようなニューラルネットワークモデルの場合、重みが学習パラメータである。

予め、このようなニューラルネットワークモデルを、各エリアで取得したセンサデータから生成した入力データと教師データとを用いて学習させた結果の重みを学習パラメータとして、そのエリアに配置されたサーバに記憶しておく。入力データ及び教師データは、例えば、図１１に示したように、センサデータから検出した歩行者の位置及び兆候（体の向き及び顔の向き）の時系列データから、自動的に生成できる。

図１４では、中間層が２つである場合を示しているが、中間層は１つであっても、３つ以上であってもよい。また、予測モデルは、ニューラルネットワークに限定されない。センサデータから検出された歩行者の位置及び兆候（体の向き及び顔の向き）を用いた学習により、学習パラメータが決定される予測モデルであればよい。車載装置５２０の予測部５３０には、学習パラメータを決定した予測モデルと同じ構成の予測モデルを採用すればよい。

図１３に戻り、情報提示部５３２は、図４のバス１５４に対応し、例えば液晶ディスプレイ等の画像表示装置と、スピーカ等の音響装置とを含み、予測部５３０から入力された経路予測（例えば、一連の２次元座標）を画像として表示する。また、経路予測が車両の進行方向と交差するか否かを判定し、交差すると判定された場合、警告音を発して注意を促す。

（車載装置の動作）
図１５を参照して、車載装置５２０による経路予測処理に関して、より具体的に説明する。上記したように、車載装置５２０は図４と同様に構成されているので、以下においては、図４の符号を参照する。図１５に示した処理は、制御部１５０が、所定のプログラムをメモリ１４８から読出して実行することにより実現される。ここでは、メモリ１４８には、予めエリアを特定する情報（地図情報等）と、それに対応する学習パラメータが記憶されているとする。

ステップ６００において、制御部１５０は、現在車両が走行しているエリアを特定する。具体的には、制御部１５０はＧＰＳ等により現在の車両の位置を取得し、メモリ１４８に記憶されているエリア情報から、その位置が含まれるエリアを特定する。制御部１５０は、特定したエリアを表す情報（以下、走行中エリア情報という）として、メモリ１４８の所定領域に記憶する。

ステップ６０２において、制御部１５０は、車両の走行中エリアが変更されたか否かを判定する。具体的には、制御部１５０は、ステップ６００と同様に、現在車両が走行しているエリアを特定し、特定したエリアが、メモリ１４８に記憶されている走行中エリア情報により特定されるエリアと異なるか否かを判定する。異なる（エリアが変更された）と判定された場合、特定されたエリアを表す情報を、メモリ１４８の走行中エリア情報に上書きした後、エリア制御はステップ６０４に移行する。そうでなければ、制御はステップ６１６に移行する。

ステップ６０４において、制御部１５０は、メモリ１４８に、ステップ６０２において特定されたエリアに対応する学習パラメータが記憶されているか否かを判定する。記憶されていると判定された場合、制御はステップ６０６に移行する。そうでなければ、制御はステップ６１２に移行する。

ステップ６０６において、制御部１５０は、車両が走行中のエリアのサーバに学習パラメータのバージョンを問合せる。具体的には、制御部１５０は、所定コード（以下、バージョン問合せコードという）をブロードキャストする。後述するように、バージョン問合せコードを受信したサーバは、記憶している学習パラメータのバージョンを表す情報（バージョン情報）を、バージョン問合せコードを送信した車載装置宛に送信する。例えば、エリア５１０を走行中の車両５０４の車載装置がバージョン問合せコードをブロードキャストすると、サーバ５００がバージョン情報を車両５０４に送信する。車両５０４の周囲を走行中の車両車載装置は、バージョン問合せコードを受信しても無視する。

ステップ６０８において、制御部１５０は、バージョン情報を受信したか否かを判定する。受信したと判定された場合、制御はステップ６１０に移行する。そうでなければ、ステップ６０８の処理が繰返される。

ステップ６１０において、制御部１５０は、ステップ６０８で取得したバージョン情報が、メモリ１４８に記憶されている学習パラメータの内、ステップ６０２で特定されたエリアに対応する学習パラメータのバージョンよりも新しいか否かを判定する。新しいと判定された場合（即ち、メモリ１４８に記憶されている学習パラメータが古い場合）、制御はステップ６１２に移行する。そうでなければ（即ち、メモリ１４８に記憶されている学習パラメータが新しい又は同等である場合）、制御はステップ６１６に移行する。

ステップ６１２において、制御部１５０は、車両が走行中のエリアのサーバに学習パラメータの送信を要求する。具体的には、制御部１５０は、所定コード（以下、送信要求コードという）をブロードキャストする。後述するように、送信要求コードを受信したサーバは、記憶している学習パラメータを、送信要求コードを送信した車載装置宛に送信する。例えば、エリア５１０を走行中の車両５０４の車載装置が送信要求コードをブロードキャストすると、サーバ５００が学習パラメータを車両５０４に送信する。車両５０４の周囲を走行中の車両車載装置は、送信要求コードを受信しても無視する。

ステップ６１４において、制御部１５０は、学習パラメータを受信したか否かを判定する。受信したと判定された場合、受信した学習パラメータを、ステップ６２０で特定されたエリアに対応させてメモリ１４８に記憶する。その後、制御はステップ６１６に移行する。そうでなければ、ステップ６１４が繰返される。

ステップ６１６において、制御部１５０は、センサデータが更新されたか否か、即ち、センサ部１４２から新たなセンサデータを取得したか否かを判定する。受信したと判定された場合、制御はステップ６１８に移行する。そうでなければ、制御はステップ６２４に移行する。

ステップ６１８において、制御部１５０は、ステップ６１６で取得されたセンサデータを解析し（図１３の解析処理部５２８の機能に対応）、検出対象（歩行者）が検出され、且つその位置及び兆候が検出されたか否かを判定する。検出されたと判定された場合、制御はステップ６２０に移行する。そうでなければ（例えば、検出対象が検出されなかった場合、又は、検出対象が検出されても、その位置及び兆候の一方が検出されなかった場合）、制御はステップ６２４に移行する。

ステップ６２０において、制御部１５０は、ステップ６０２で特定されたエリアに対応する学習パラメータを読出し、読出した学習パラメータを用いて、ステップ６１６で検出された位置及び兆候（体の向き及び顔の向き）から、ステップ６１６で検出された歩行者の移動経路を予測し（図１３の予測部５３０の機能に対応）、その結果である予測経路をメモリ１４８に記憶する。

ステップ６２２において、制御部１５０は、ステップ６２０の予測結果である予測経路をメモリ１４８から読出し、提示部１５２に提示する（図１３の情報提示部５３２の機能）。

ステップ６２４において、制御部１５０は、終了の指示を受けたか否かを判定する。終了の指示を受けたと判定された場合、本プログラムは終了する。そうでなければ、制御はステップ６０２に戻る。終了の指示は、例えば、車載装置が搭載された車両のエンジン及び電気系統がオフされることにより成される。

（サーバの動作）
図１６を参照して、サーバ５００及び５０２による処理に関して、より具体的に説明する。上記したように、サーバ５００及び５０２は図３と同様に構成されているので、以下においては、図３の符号を参照する。図１６に示した処理は、制御部１２０が、所定のプログラムをメモリ１２２から読出して実行することにより実現される。メモリ１２２には、対応するエリアの学習パラメータ及びそのバージョン情報が記憶されている。サーバ５００が記憶している学習パラメータは、サーバ５０２が記憶している学習パラメータとは異なる。

ステップ７００において、制御部１２０は、学習パラメータのバージョンの問合せがあったか否かを判定する。具体的には、制御部１２０は、バージョン問合せコードを受信したか否かを判定する。受信したと判定された場合、制御はステップ７０２に移行する。そうでなければ、制御はステップ７０８に移行する。バージョン問合せコードは、上記したように、車載装置から送信される（図１５のステップ６０６参照）。

ステップ７０２において、制御部１２０は、メモリ１２２に記憶している学習パラメータのバージョン情報を、バージョン問合せコードを送信した車載装置宛に送信する。その後、制御はステップ７０４に移行する。バージョン問合せコードを送信した車載装置を特定する情報（アドレス）は、ステップ７００で受信したバージョン問合せコードを含むパケットの送信元アドレスから知ることができる。送信されたバージョン情報は、バージョン問合せコードを送信した車載装置により受信される（図１５のステップ６０８参照）。

ステップ７０４において、制御部１２０は、学習パラメータの要求があったか否かを判定する。具体的には、制御部１２０は、送信要求コードを受信したか否かを判定する。
受信したと判定された場合、制御はステップ７０６に移行する。そうでなければ、制御はステップ７０８に移行する。送信要求コードは、上記したように、車載装置から送信される（図１５のステップ６１２参照）。

ステップ７０６において、制御部１２０は、メモリ１２２から学習パラメータを読出して、送信要求コードを送信した車載装置宛に送信する。その後、制御はステップ７０８に移行する。送信要求コードを送信した車載装置を特定する情報（アドレス）は、ステップ７０４で受信した送信要求コードを含むパケットの送信元アドレスから知ることができる。送信された学習パラメータは、送信要求コードを送信した車載装置により受信される（図１５のステップ６１４参照）。

ステップ７０８において、制御部１２０は、終了の指示を受けたか否かを判定する。終了の指示を受けたと判定された場合、本プログラムは終了する。そうでなければ、制御はステップ７００に戻る。終了の指示は、例えば、制御部１２０を含むサーバが管理者等により操作されることにより成される。

以上により、車載装置は、車両の走行中のエリアに対応する学習パラメータを記憶していれば、それを用いて、検出された歩行者の予測経路を決定できる。一方、車載装置は、車両の走行中のエリアに対応する学習パラメータを記憶していなければ、又は、記憶している学習パラメータが、サーバから取得可能な学習パラメータよりも古ければ、サーバから学習パラメータを取得し、それを用いて、検出された歩行者の予測経路を決定できる。

例えば、図１２を参照して、エリア５１０を走行している車両５０４の車載装置は、必要に応じて、サーバ５００からエリア５１０に適した学習パラメータを取得し、それを用いて経路予測を行う。車両５０４の車載装置は、車両５０４に搭載されたセンサのセンサデータを解析して、例えば歩行者５９０が検出された場合、その位置及び兆候から、サーバ５００から受信した学習パラメータを用いて、歩行者５９０の予測経路５９２を決定できる。また、車両５０４がエリア５１２を走行するようになった場合には、車両５０４の車載装置は、必要に応じて、サーバ５０２からエリア５１２に適した学習パラメータを取得できる。車両５０４の車載装置は、車両５０４に搭載されたセンサのセンサデータを解析して、例えば歩行者５９４が検出された場合、その位置及び兆候から、サーバ５０２から受信した学習パラメータを用いて、歩行者５９４の予測経路５９６を決定できる。

このように、車載装置は、搭載されている車両が走行中のエリアに適した学習パラメータを使用することにより、より精度よく、検出した歩行者の予測経路を決定できる。したがって、車載装置は運転者に対して、精度の高い予測経路に基づいて、注意を促す等、より適切な運転支援を行うことができる。

サーバが車載装置から要求を受けた場合にのみ、要求した車載装置に学習パラメータを送信することにより、サーバから、車載装置にとって不要な学習パラメータの送信を抑制できる。

上記では、車載装置は、所定地域の複数エリア毎の学習パラメータを予め記憶している場合を説明した。これにより、車載装置単独で、歩行者等の移動物体が実際に行動する前に、より早く移動物体の移動経路を、地域に応じた適切な所定情報（パラメータ）を使用して精度よく予測できる。

一方、車載装置が必要に応じて各エリアに配置されたサーバから学習パラメータを取得できるようにすることにより、車載装置は、予め学習パラメータを記憶しておかなくてもよく、不要なデータを記憶することを抑制できる。

以上、実施の形態を説明することにより本発明を説明したが、上記した実施の形態は例示であって、本発明は上記した実施の形態のみに制限されるわけではない。本発明の範囲は、発明の詳細な説明の記載を参酌した上で、特許請求の範囲の各請求項によって示され、そこに記載された文言と均等の意味及び範囲内での全ての変更を含む。

１００ 経路予測システム
１０２ 経路予測装置
１０４ 路側センサ
１０６、１１４、１１６、１１８、５０４、５０６ 車両
１０８ 基地局
１１０ ネットワーク
１１２ 信号機（歩行者用信号機）
１２０、１５０、１６８ 制御部
１２２、１４８、１６６ メモリ
１２４、１４６、１６４ 通信部
１２６、１５４、１７０ バス
１４０、５２０ 車載装置
１４２、１６０、５２６ センサ部
１４４、１６２ Ｉ／Ｆ部
１５２ 提示部
１８０、５２２ パケット受信部
１８２ パケット送信部
１８４、５２８ 解析処理部
１８６ 学習部
１８８、５３０ 予測部
２００、２０２、５９０、５９４ 歩行者
２０４ 歩行者用信号機
２０６、２０８ 車両用信号機
２１０、２１２、５９２、５９６ 予測経路
２２０、２３０ 対象枠
２２２ 顔領域枠
２２４ 顔の向き
２２６ 体領域枠
２２８ 体の向き
２４０ 障害物
５００、５０２ サーバ
５１０、５１２ エリア
５２４ パラメータ記憶部
５３２ 情報提示部

Claims (17)

1. 車載センサ及び路側センサの少なくともいずれか一方により取得されたセンサデータを、無線通信又は有線通信を介して収集する収集部と、
   前記収集部により収集された前記センサデータから移動物体を検出し、当該移動物体の位置及び兆候を特定する解析部と、
   前記解析部により特定された前記移動物体の前記位置及び前記兆候を用いて、前記移動物体の未来の位置を含む経路を予測する予測部と、
   前記解析部により特定された前記位置及び前記兆候を、前記移動物体毎に対応させて記憶する記憶部と、
   前記記憶部に所定期間記憶された前記位置及び前記兆候を用いて、前記予測部を学習させる学習部とを含む、経路予測装置。
2. 前記移動物体は、人であり、
   前記兆候は、前記人の顔の向きを表す情報を含む、請求項１に記載の経路予測装置。
3. 前記兆候は、前記人の体の向きを表す情報をさらに含む、請求項２に記載の経路予測装置。
4. 前記学習部は、
   機械学習により前記予測部を学習させ、
   前記移動物体毎に所定の時間に渡って特定され、前記記憶部に記憶されている前記位置及び前記兆候の時系列データの内、より過去に属する前記位置及び前記兆候の第１の時系列データを、前記機械学習の入力データとし、
   前記移動物体毎に所定の時間に渡って特定され、前記記憶部に記憶されている前記位置及び前記兆候の前記時系列データの内、前記第１の時系列データを含まない時系列データを、前記機械学習の教師データとして使用する、請求項１から請求項３のいずれか１項に記載の経路予測装置。
5. 前記予測部により予測された前記経路を、車載装置に配信する配信部をさらに含む、請求項１から請求項４のいずれか１項に記載の経路予測装置。
6. 前記配信部は、前記予測部により予測された前記経路と共に、当該経路に対応する前記移動物体の画像データを配信する、請求項５に記載の経路予測装置。
7. 前記予測部により予測された前記経路を用いて、当該経路の予測対象の前記移動物体と、当該移動物体とは別の移動物体との衝突の可能性を評価する評価部をさらに含む、請求項１から請求項６のいずれか１項に記載の経路予測装置。
8. 前記収集部は、前記車載センサにより取得されたセンサデータ及び前記路側センサにより取得されたセンサデータを収集し、
   前記車載センサにより取得された前記センサデータから検出された第１移動物体と、前記路側センサにより取得された前記センサデータから検出された第２移動物体とが同じ移動物体である否かを判定する判定部をさらに含み、
   前記予測部は、前記同じ移動物体と判定された前記第１移動物体及び前記第２移動物体の各々に関して特定された前記位置及び前記兆候を共に使用して、前記経路を予測する、請求項１から請求項７のいずれか１項に記載の経路予測装置。
9. 請求項１から請求項８のいずれか１項に記載の経路予測装置を含む車載装置。
10. 第１センサを含む車両に搭載された車載装置と、
    路上に設置された第２センサを含む路側装置と、
    経路予測装置とを含み、
    前記車載装置は、前記第１センサにより取得されたセンサデータを、無線通信を介して前記経路予測装置に送信し、
    前記路側装置は、前記第２センサにより取得されたセンサデータを、無線通信又は有線通信を介して前記経路予測装置に送信し、
    前記経路予測装置は、
    前記車載装置から送信された前記センサデータ及び前記路側装置から送信された前記センサデータを受信する受信部と、
    前記受信部により受信された前記センサデータから移動物体を検出し、当該移動物体の位置及び兆候を特定する解析部と、
    前記解析部により特定された前記移動物体の前記位置及び前記兆候を用いて、前記移動物体の未来の位置を含む経路を予測する予測部と、
    前記解析部により特定された前記位置及び前記兆候を、前記移動物体毎に対応させて記憶する記憶部と、
    前記記憶部に所定期間記憶された前記位置及び前記兆候を用いて、前記予測部を学習させる学習部とを含む、経路予測システム。
11. センサを含む車両に搭載された車載装置と、
    前記車載装置に所定情報を、無線通信を介して配信する配信装置とを含み、
    前記車載装置は、
    前記所定情報を受信する受信部と、
    前記センサにより検出されたセンサデータから、移動物体を検出し、当該移動物体の位置及び兆候を特定する解析部と、
    前記解析部により特定された前記移動物体の前記位置及び前記兆候と、前記受信部により受信された前記所定情報とを用いて、前記移動物体の未来の位置を含む経路を予測する予測部とを含み、
    前記所定情報は、車載センサ及び路側センサの少なくともいずれか一方により取得されたセンサデータから移動物体を検出し、当該移動物体の位置及び兆候を特定する処理を所定期間繰返して得られた前記位置及び前記兆候の集合を用いて、前記予測部と同じモデルの予測器を学習させることにより得られた学習パラメータである、経路予測システム。
12. 前記配信装置を複数含み、
    複数の前記配信装置の各々は、
    車両が通行可能な道路を含む所定領域毎に配置され、
    前記所定領域に対応する前記所定情報を、前記無線通信を介して配信し、
    前記車載装置の前記受信部は、複数の前記配信装置の内、前記車両の現在位置を含む前記所定領域に配置されている配信装置から、当該所定領域に対応する前記所定情報を受信する、請求項１１に記載の経路予測システム。
13. 前記車載装置は、前記車両の現在位置を含む前記所定領域に配置されている前記配信装置に、当該所定領域に対応する前記所定情報の送信を要求する送信要求を送信する送信部をさらに含み、
    前記送信要求を受信した前記配信装置は、当該配信装置が配置されている前記所定領域に対応する前記所定情報を、前記要求を送信した前記車載装置に送信する、請求項１２に記載の経路予測システム。
14. 前記受信部は、前記車両の現在位置を含む前記所定領域に配置されている前記配信装置から配信される、当該所定領域に対応する前記所定情報のバージョンを受信し、
    前記車載装置は、
    前記予測部が前記経路の予測に使用する前記学習パラメータを、前記所定領域毎に記憶する記憶部と、
    前記受信部により取得された前記バージョンが、前記記憶部に記憶されている前記学習パラメータの内、前記車両の現在位置を含む前記所定領域に対応する学習パラメータのバージョンよりも新しいか否かを判定する判定部とをさらに含み、
    前記判定部により、前記受信部により取得された前記バージョンが、前記記憶部に記憶されている前記学習パラメータの内、前記車両の現在位置を含む前記所定領域に対応する学習パラメータのバージョンよりも新しいと判定されたことを受けて、前記送信部は、前記送信要求を送信する、請求項１３に記載の経路予測システム。
15. センサと、
    前記センサにより検出されたセンサデータから、移動物体を検出し、当該移動物体の位置及び兆候を特定する解析部と、
    前記解析部により特定された前記移動物体の前記位置及び前記兆候から、前記移動物体の未来の位置を含む経路を予測する予測部と、
    前記予測部が前記経路の予測に使用する学習パラメータを、車両が通行可能な道路を含む所定領域毎に記憶する記憶部とを含み、
    前記学習パラメータは、車載センサ及び路側センサの少なくともいずれか一方により取得されたセンサデータから移動物体を検出し、当該移動物体の位置及び兆候を特定する処理を所定期間繰返して得られた前記位置及び前記兆候の集合を用いて、前記予測部と同じモデルの予測器を学習させることにより得られた学習パラメータである、車載装置。
16. 車載センサ及び路側センサの少なくともいずれか一方により取得されたセンサデータを、無線通信又は有線通信を介して収集する収集ステップと、
    前記収集ステップにより収集された前記センサデータから移動物体を検出し、当該移動物体の位置及び兆候を特定する解析ステップと、
    前記解析ステップにより特定された前記移動物体の前記位置及び前記兆候を用いて、前記移動物体の未来の位置を含む経路を予測する予測ステップと、
    前記解析ステップにより特定された前記位置及び前記兆候を、前記移動物体毎に対応させて記憶する記憶ステップと、
    前記記憶ステップにより所定期間記憶された前記位置及び前記兆候を用いて、前記予測ステップを学習させる学習ステップとを含む、経路予測方法。
17. コンピュータに、
    車載センサ及び路側センサの少なくともいずれか一方により取得されたセンサデータを、無線通信又は有線通信を介して収集する収集機能と、
    前記収集機能により収集された前記センサデータから移動物体を検出し、当該移動物体の位置及び兆候を特定する解析機能と、
    前記解析機能により特定された前記移動物体の前記位置及び前記兆候を用いて、前記移動物体の未来の位置を含む経路を予測する予測機能と、
    前記解析機能により特定された前記位置及び前記兆候を、前記移動物体毎に対応させて記憶する記憶機能と、
    前記記憶機能により所定期間記憶された前記位置及び前記兆候を用いて、前記予測機能を学習させる学習機能とを実現させる、コンピュータプログラム。

Images