JP2018173860A - 走行支援装置及びコンピュータプログラム - Google Patents

Abstract

【課題】状況に応じて様々な種類の危険因子を判定対象とすることが可能な走行支援装置及びコンピュータプログラムを提供する。【解決手段】車両の周辺環境を撮像した撮像画像を多層構造のニューラルネットワークを用いた機械学習によって生成した学習モデルに入力することによって、車両の周辺環境に生じている周辺状況を認識するとともに、認識された周辺状況に基づいて車両の周辺環境にある危険因子を判定する。一方で、学習モデルに含まれる複数層の内、周辺状況に基づいて車両の周辺環境にある危険因子を判定する部分を更新することによって危険因子の判定基準を変更可能に構成する。【選択図】図８

Description

本発明は、移動体の走行支援を行う走行支援装置及びコンピュータプログラムに関する。

近年、例えば車両等の移動体に対する走行支援の一つとして、移動体の周辺にある危険因子を判定し、判定結果を案内することが行われている。危険因子とは移動体が走行する際に注意するべき因子であり、例えば移動体から視認することが難しい位置にある他車両や歩行者等の障害物、交差点付近の歩行者、交差道路から進入する他車両、車線の増減区間、道路に面する建物の出入口等がある。上記のような危険因子を判定する手段としては、例えば移動体の現在位置や方位と地図情報とを比較して判定することや、移動体に搭載されたカメラ、センサ或いは通信機器を用いて判定することが可能である。

例えば特開２０１６−６６２６号公報には、車両に搭載されたカメラ等の撮像手段により撮像された撮像画像を取得し、撮像画像に対して予めパラメータが定められたニューラルネットワーク処理を行うことによって、撮像画像中の死角に人が隠れている場合であっても、隠れている人についても検出対象とすることが可能な検出装置について開示されている。

特開２０１６−６６２６号公報（第１３−１８頁）

しかしながら、上記特許文献１のような撮像画像から特定の対象物（例えば人）を判定する為のニューラルネットワークでは、基本的に判定対象とする対象物が予め決められている。従って、上記特許文献１の検出装置を危険因子の判定に用いた場合には、特定のシーンの危険因子（例えば死角にいる歩行者）しか判定対象とすることができない。そして、判定対象認識を新たに追加或いは判定対象の判定基準を変更する為には、判定に係る学習モデル全体を新たに作り直す必要があった。

本発明は前記従来における問題点を解消するためになされたものであり、学習モデルの一部のみを更新することによって危険因子の判定基準を変更することが可能となり、状況に応じて様々な種類の危険因子を判定対象とすることが可能な走行支援装置及びコンピュータプログラムを提供することを目的とする。

前記目的を達成するため本発明に係る走行支援装置は、移動体の周辺環境を撮像した撮像画像を取得する周辺環境撮像手段と、前記撮像画像を多層構造のニューラルネットワークを用いた機械学習によって生成した学習モデルに入力することによって、前記移動体の周辺環境に生じている周辺状況を認識するとともに、認識された前記周辺状況に基づいて前記移動体の周辺環境にある危険因子を判定する危険因子判定手段と、前記危険因子判定手段の判定結果を出力する判定結果出力手段と、前記学習モデルに含まれる複数層の内、前記周辺状況に基づいて前記移動体の周辺環境にある危険因子を判定する部分を更新することによって前記危険因子の判定基準を変更する判定基準変更手段と、を有する。
尚、「移動体」とは、車両に限定されず、歩行者、自転車等の道路を移動するものであれば良い。
また、「危険因子」とは、移動体が走行する際に注意するべき因子であり、例えば移動体から視認することが難しい位置にある他車両や歩行者等の障害物、交差点付近の歩行者、交差道路から進入する他車両、車線の増減区間、道路に面する建物の出入口等がある。

また、本発明に係るコンピュータプログラムは、移動体の走行支援を行うプログラムである。具体的には、コンピュータを、移動体の周辺環境を撮像した撮像画像を取得する周辺環境撮像手段と、前記撮像画像を多層構造のニューラルネットワークを用いた機械学習によって生成した学習モデルに入力することによって、前記移動体の周辺環境に生じている周辺状況を認識するとともに、認識された前記周辺状況に基づいて前記移動体の周辺環境にある危険因子を判定する危険因子判定手段と、前記危険因子判定手段の判定結果を出力する判定結果出力手段と、前記学習モデルに含まれる複数層の内、前記周辺状況に基づいて前記移動体の周辺環境にある危険因子を判定する部分を更新することによって前記危険因子の判定基準を変更する判定基準変更手段と、して機能させる。

前記構成を有する本発明に係る走行支援装置及びコンピュータプログラムによれば、学習モデルの一部のみを更新することによって危険因子の判定基準を変更することが可能となる。その結果、学習モデルを一から作り直す必要なく、状況に応じて様々な種類の危険因子を判定対象とすることが可能となる。

本実施形態に係る走行支援システムを示した概略構成図である。 本実施形態に係るナビゲーション装置を示したブロック図である。 本実施形態に係る危険因子判定処理プログラムのフローチャートである。 撮像画像と対応する俯瞰画像を示した図である。 危険判定エリアを示した図である。 本実施形態に係る学習モデルの概略を示した図である。 本実施形態に係る判定基準更新処理プログラムのフローチャートである。 更新前と更新後の学習モデルを比較した図である。

以下、本発明に係る走行支援装置をナビゲーション装置に具体化した一実施形態に基づき図面を参照しつつ詳細に説明する。先ず、本実施形態に係るナビゲーション装置１を含む走行支援システム２の概略構成について図１を用いて説明する。図１は本実施形態に係る走行支援システム２を示した概略構成図である。

図１に示すように、本実施形態に係る走行支援システム２は、情報配信センタ３が備えるサーバ装置４と、車両５に搭載された通信端末であるナビゲーション装置１と、を基本的に有する。また、サーバ装置４とナビゲーション装置１は通信ネットワーク網６を介して互いに電子データを送受信可能に構成されている。

ここで、情報配信センタ３が備えるサーバ装置４は、全国を走行する各車両５から危険因子の判定結果等を含むプローブ情報（材料情報）を収集して蓄積するとともに、蓄積されたプローブ情報から学習モデルの更新の必要の有無を判定し、更新の必要があると判定された場合に更新プログラムをナビゲーション装置１に対して配信する配信サーバである。特に本実施形態では、サーバ装置４は、学習モデルに含まれる複数層の内、周辺状況に基づいて車両５の周辺環境にある危険因子を判定する部分を更新する為の更新プログラムを配信する。

但し、学習モデルの更新の必要の有無に係る判定については必ずしもサーバ装置４で行う必要は無く、ナビゲーション装置１で行っても良い。その場合には、ナビゲーション装置１が、自車両で行われた危険因子の判定結果を収集して学習モデルの更新の必要の有無を判定し、更新の必要があると判定された場合にサーバ装置４に対して更新プログラムを要求する。また、更新プログラムはメモリーカード等の記憶媒体を介して取得することも可能である。

一方、ナビゲーション装置１は、車両５に搭載され、格納する地図データに基づいて自車位置周辺の地図を表示したり、地図画像上において車両の現在位置を表示したり、設定された案内経路に沿った移動案内を行う車載機である。特に本実施形態では車両５の周辺環境にある危険因子の判定及び判定結果の案内についても行う。尚、ナビゲーション装置１の詳細については後述する。

また、通信ネットワーク網６は全国各地に配置された多数の基地局と、各基地局を管理及び制御する通信会社とを含み、基地局及び通信会社を有線（光ファイバー、ＩＳＤＮ等）又は無線で互いに接続することにより構成されている。ここで、基地局はナビゲーション装置１との通信をするトランシーバー（送受信機）とアンテナを有する。そして、基地局は通信会社の間で無線通信を行う一方、通信ネットワーク網６の末端となり、基地局の電波が届く範囲（セル）にあるナビゲーション装置１の通信をサーバ装置４との間で中継する役割を持つ。

次に、ナビゲーション装置１の概略構成について図２を用いて説明する図２は本実施形態に係るナビゲーション装置１であるナビゲーション装置の制御系を模式的に示すブロック図である。

図２に示すように本実施形態に係るナビゲーション装置１は、ナビゲーション装置１が搭載された車両の現在位置を検出する現在位置検出部１１と、各種のデータが記録されたデータ記録部１２と、入力された情報に基づいて、各種の演算処理を行うナビゲーションＥＣＵ１３と、ユーザからの操作を受け付ける操作部１４と、ユーザに対して車両周辺の地図やナビゲーション装置１に設定された案内経路に関する情報等を表示する液晶ディスプレイ１５と、経路案内に関する音声ガイダンスや危険因子に対する警告等を出力するスピーカ１６と、記憶媒体であるＤＶＤを読み取るＤＶＤドライブ１７と、プローブセンタやＶＩＣＳ（登録商標：Vehicle Information and Communication System）センタ等の情報センタとの間で通信を行う通信モジュール１８と、を有している。また、ナビゲーション装置１は、ＣＡＮ等の車載ネットワークを介して、ナビゲーション装置１の搭載された車両に対して設置された車外カメラ１９が接続されている。

以下に、ナビゲーション装置１が有する各構成要素について順に説明する。
現在位置検出部１１は、ＧＰＳ２１、車速センサ２２、ステアリングセンサ２３、ジャイロセンサ２４等からなり、現在の車両の位置、方位、車両の走行速度、現在時刻等を検出することが可能となっている。ここで、特に車速センサ２２は、車両の移動距離や車速を検出する為のセンサであり、車両の駆動輪の回転に応じてパルスを発生させ、パルス信号をナビゲーションＥＣＵ１３に出力する。そして、ナビゲーションＥＣＵ１３は発生するパルスを計数することにより駆動輪の回転速度や移動距離を算出する。尚、上記４種類のセンサをナビゲーション装置１が全て備える必要はなく、これらの内の１又は複数種類のセンサのみをナビゲーション装置１が備える構成としても良い。

また、データ記録部１２は、外部記憶装置及び記録媒体としてのハードディスク（図示せず）と、ハードディスクに記録された地図情報ＤＢ３１や撮像画像ＤＢ３２や所定のプログラム等を読み出すとともにハードディスクに所定のデータを書き込む為のドライバである記録ヘッド（図示せず）とを備えている。尚、データ記録部１２としてはハードディスクの代わりにメモリーカードやＣＤやＤＶＤ等の光ディスクを有しても良い。また、地図情報ＤＢ３１や撮像画像ＤＢ３２は外部のサーバに格納させ、ナビゲーション装置１が通信により取得しても良い。

ここで、地図情報ＤＢ３１は、２次元地図情報３３と３次元地図情報３４とがそれぞれ記憶される。２次元地図情報３３は、一般的なナビゲーション装置１において用いられる地図情報であり、例えば、道路（リンク）に関するリンクデータ、ノード点に関するノードデータ、施設に関する施設データ、経路探索処理に用いられる探索データ、地図を表示するための地図表示データ、各交差点に関する交差点データ、地点を検索するための検索データ等を含む。

一方、３次元地図情報３４は、３次元で地図を表現した地図画像に関する情報である。特に本実施形態では３次元で道路の輪郭を表現した地図画像に関する情報とする。尚、道路の輪郭以外の情報についても表現した地図画像としても良い。例えば、施設形状、道路の区画線、道路標識、看板等についても３次元で表現した地図画像としても良い。

そして、ナビゲーション装置１は、液晶ディスプレイ１５における地図画像の表示、案内経路の探索等の一般的な機能については２次元地図情報３３を用いて行う。また、後述のように危険因子の判定に係る処理については３次元地図情報３４を用いて行う。

また、撮像画像ＤＢ３２は、時間経過に伴って車外カメラ１９によって順次撮像された撮像画像３５が格納される記憶手段である。尚、車外カメラ１９によって撮像された撮像画像３５は累積的に撮像画像ＤＢ３２に格納され、古い画像から順に削除される。

一方、ナビゲーションＥＣＵ（エレクトロニック・コントロール・ユニット）１３は、ナビゲーション装置１の全体の制御を行う電子制御ユニットであり、演算装置及び制御装置としてのＣＰＵ４１、並びにＣＰＵ４１が各種の演算処理を行うにあたってワーキングメモリとして使用されるとともに、経路が探索されたときの経路データ等が記憶されるＲＡＭ４２、制御用のプログラムのほか、後述の危険因子判定処理プログラム（図３参照）や判定基準更新処理プログラム（図７）等が記録されたＲＯＭ４３、ＲＯＭ４３から読み出したプログラムを記憶するフラッシュメモリ４４等の内部記憶装置を備えている。尚、ナビゲーションＥＣＵ１３は、処理アルゴリズムとしての各種手段を有する。例えば、周辺環境撮像手段は、車両の周辺環境を撮像した撮像画像を取得する。危険因子判定手段は、撮像画像を多層構造のニューラルネットワークを用いた機械学習によって生成した学習モデルに入力することによって、車両の周辺環境に生じている周辺状況を認識するとともに、認識された周辺状況に基づいて車両の周辺環境にある危険因子を判定する。判定結果出力手段は、危険因子判定手段の判定結果を出力する。判定基準変更手段は、学習モデルに含まれる複数層の内、周辺状況に基づいて車両の周辺環境にある危険因子を判定する部分を更新することによって危険因子の判定基準を変更する。

操作部１４は、走行開始地点としての出発地及び走行終了地点としての目的地を入力する際等に操作され、各種のキー、ボタン等の複数の操作スイッチ（図示せず）を有する。そして、ナビゲーションＥＣＵ１３は、各スイッチの押下等により出力されるスイッチ信号に基づき、対応する各種の動作を実行すべく制御を行う。尚、操作部１４は液晶ディスプレイ１５の前面に設けたタッチパネルを有しても良い。また、マイクと音声認識装置を有しても良い。

また、液晶ディスプレイ１５には、道路を含む地図画像、交通情報、操作案内、操作メニュー、キーの案内、ナビゲーション装置１で設定されている案内経路、案内経路に沿った案内情報、ニュース、天気予報、時刻、メール、テレビ番組等が表示される。尚、液晶ディスプレイ１５の代わりに、ＨＵＤやＨＭＤを用いても良い。また、本実施形態では特に、危険因子の判定結果の案内についても表示する。

また、スピーカ１６は、ナビゲーションＥＣＵ１３からの指示に基づいて案内経路に沿った走行を案内する音声ガイダンスや、交通情報の案内を出力する。また、本実施形態では特に、危険因子の判定結果の案内についても出力する。

また、ＤＶＤドライブ１７は、ＤＶＤやＣＤ等の記録媒体に記録されたデータを読み取り可能なドライブである。そして、読み取ったデータに基づいて音楽や映像の再生、地図情報ＤＢ３１の更新等が行われる。尚、ＤＶＤドライブ１７に替えてメモリーカードを読み書きする為のカードスロットを設けても良い。

また、通信モジュール１８は、交通情報センタ、例えば、ＶＩＣＳセンタやプローブセンタ等から送信された交通情報を受信する為の通信装置であり、例えば携帯電話機やＤＣＭが該当する。

また、車外カメラ１９は、例えばＣＣＤ等の固体撮像素子を用いたカメラにより構成され、車両のルームミラーの裏側やフロントバンパ等に取り付けられるとともに光軸方向を水平より所定角度下方に向けて設置される。そして、車外カメラ１９は、車両の進行方向前方の周辺環境を撮像する。また、ナビゲーションＥＣＵ１３は後述のように撮像された撮像画像を機械学習に入力することによって、車両周辺にある危険因子を判定する。尚、車外カメラ１９は車両の側方や後方にも配置するように構成しても良い。また、車外カメラ１９の設置位置は運転者の目の位置（視線開始点）と略同一となるように調整するのが望ましい。それによって、危険因子の判定をより適切に行うことが可能となる。

本実施形態に係るナビゲーション装置１において上記機械学習によって判定される危険因子とは、車両が走行する際に注意するべき（案内を行うべき）因子である。例えば車両から視認することが難しい位置にある他車両や歩行者等の障害物、交差点付近の歩行者、交差道路から進入する他車両、車線の増減区間、道路に面する建物の出入口等がある。例えば、「道路に面する建物の出入口」については、歩行者が新たに道路上に出現する可能性のある地点であり、車両が走行する際に注意するべき場所となる。また、「車線の増減区間」については他車両が車線変更を行う可能性のある地点であり、車両が走行する際に注意するべき場所となる。

続いて、上記構成を有する本実施形態に係るナビゲーション装置１においてＣＰＵ４１が実行する危険因子判定処理プログラムについて図３に基づき説明する。図３は本実施形態に係る危険因子判定処理プログラムのフローチャートである。ここで、危険因子判定処理プログラムは、車両のＡＣＣ(accessory power supply)がＯＮされた後に所定時間（例えば１ｓｅｃ）間隔で繰り返し実行され、車外カメラ１９で撮像した撮像画像に基づいて車両の周囲にある危険因子を判定し、判定結果を出力するプログラムである。また、以下の図３にフローチャートで示されるプログラムは、ナビゲーションＥＣＵ１３が備えているＲＡＭ４２、ＲＯＭ４３等に記憶されており、ＣＰＵ４１により実行される。

先ず、危険因子判定処理プログラムでは、ステップ（以下、Ｓと略記する）１において、ＣＰＵ４１は車両の現在位置及び方位を現在位置検出部１１の検出結果に基づいて取得する。具体的には、２次元地図情報３３を用いて車両の現在位置を示す地図上の位置座標を取得する。尚、車両の現在位置を検出する際には、車両の現在位置を２次元地図情報３３にマッチングさせるマップマッチング処理についても行う。更に、車両の現在位置は、高精度ロケーション技術を用いて特定しても良い。ここで、高精度ロケーション技術とは、車両後方のカメラから取り込んだ白線や路面ペイント情報を画像認識により検出し、更に、白線や路面ペイント情報を予め記憶した地図情報ＤＢと照合することにより、走行車線や高精度な車両位置を検出可能にする技術である。尚、高精度ロケーション技術の詳細については既に公知であるので省略する。尚、車両の現在位置及び方位は最終的に３次元地図情報３４の地図上で特定するのが望ましい。

次に、Ｓ２においてＣＰＵ４１は、車両の進行方向前方の所定距離以内（例えば３００ｍ以内）に交差点があるか否か判定する。

そして、車両の進行方向前方の所定距離以内に交差点があると判定された場合（Ｓ２：ＹＥＳ）には、Ｓ３へと移行する。それに対して、車両の進行方向前方の所定距離以内に交差点が無いと判定された場合（Ｓ２：ＮＯ）には、当該危険因子判定処理プログラムを終了する。

Ｓ３においてＣＰＵ４１は、車両の進行方向前方にある交差点（以下、前方交差点という）における車両の退出方向を推定する。例えば、ナビゲーション装置１において案内経路が設定されている場合には、案内経路に沿って車両が走行すると仮定して前方交差点の退出方向を推定する。一方、案内経路が設定されていない場合については、ウィンカーの点灯状態、車両の走行する車線等から前方交差点の退出方向を推定する。

続いて、Ｓ４においてＣＰＵ４１は、直近に車外カメラ１９で撮像された撮像画像を撮像画像ＤＢ３２から取得する。

その後、Ｓ５においてＣＰＵ４１は、前記Ｓ４で取得した撮像画像の撮像範囲を取得する。ここで、撮像画像の撮像範囲は、撮像を行った時点の車外カメラ１９の焦点の位置、光軸方向、画角によって特定することが可能である。更に、ＣＰＵ４１は、３次元地図情報３４を用いて、撮像画像の撮像範囲と同一範囲を撮像画像の撮像方向と同一方向から３次元で地図を表現した俯瞰画像を生成する。例えば、前記Ｓ４で図４に示す撮像画像５１が取得された場合には、撮像画像５１の撮像範囲と同一範囲を撮像画像の撮像方向と同一方向から３次元で地図を表現した図４に示す俯瞰画像５２が生成される。尚、俯瞰画像自体は、撮像画像と同じ２次元の画像である。

その後、Ｓ６においてＣＰＵ４１は、前記Ｓ５で生成された俯瞰画像において、前記Ｓ３で推定された前方交差点の退出方向に応じた危険判定エリアを特定する。ここで、図５は前方交差点での退出方向に応じて特定される危険判定エリアの一例を示した図である。例えば、車両が前方交差点を直進する場合には、交差道路から進入する車両と交差点を横断する歩行者に注意する必要があるので、左右の交差道路と交差点付近が危険判定エリア５４に特定される。また、車両が前方交差点で左折する場合には、左側の交差道路を横断する歩行者に注意する必要があるので、左側の交差道路付近が危険判定エリア５４に特定される。一方、車両が前方交差点で右折する場合には、右側の交差道路を横断する歩行者や交差点に進入する対向車に注意する必要があるので、右側の交差道路付近と対向車線が危険判定エリア５４に特定される。尚、前記Ｓ６で特定された危険判定エリアは、危険因子の候補が存在すると予測されるエリアであり、後述の危険因子の判定では危険因子の判定対象エリアとなる。

その後、Ｓ６においてＣＰＵ４１は、前記Ｓ４で取得した撮像画像と前記Ｓ５で生成された俯瞰画像とを同一チャンネルで重ね合せ合わせた状態で機械学習によって生成された学習モデルに入力する。ここで、図６は本実施形態に係る学習モデルの概略を示した図である。特に本実施形態では機械学習として多層構造のニューラルネットワーク（ＣＮＮ）を用いた機械学習（Deep Learning）を用いる。

図６に示すように車外カメラ１９で撮像された撮像画像５１及び俯瞰画像５２を重ね合わせた状態で学習モデルに入力すると、先ず畳み込みニューラルネットワーク（以下、畳み込みＣＮＮという）５５に基づく画像処理が行われる。畳み込みＣＮＮ５５では、『畳み込み層』と『プーリング層』を複数回繰り返した後に、危険因子を判定する為の特に重要な特徴マップ５６が出力される（Ｓ７）。尚、本実施形態では予め特徴マップ５６の抽出対象（危険因子の判定対象エリア）として危険判定エリア５４を設定するので、特徴部分の抽出に係る処理を容易化することが可能となる。また、危険判定エリア５４内に歩行者や他車両等の危険因子の候補が存在する場合において、機械学習によって該歩行者や他車両を危険因子として判定し易くなる。

また、特に本実施形態では入力対象となる撮像画像５１と俯瞰画像５２とを同一チャンネルで重ね合せて入力することによって、同一の画素間（即ち車両周辺の同一エリア）での相関、即ち撮像画像と地図情報画像との間に差分がある差分エリアを容易に識別することが可能となる。ＣＰＵ４１は、撮像画像と地図情報画像との間に差分がある差分エリアを、地図画像上には存在するが撮像画像では何らかの理由によって消失した（撮像されなかった）対象があるエリアであり、車両の乗員から死角となるエリアと推定する（Ｓ８）。

また、『畳み込み層』は入力した画像に対してフィルタをかける（畳み込む）層である。画像の畳み込みによって画像内のパターン（特徴）が検出できるようになる。また、畳み込むフィルタは複数とする。フィルタの数を複数とすることで入力した画像の様々な特徴を捉えることが可能となる。また、フィルタをかけることによって、出力される画像のサイズが小さくなる。出力された画像は特徴マップとも呼ばれる。また、この畳み込み層に用いるフィルタは設計者が設定する必要はなく、学習によって取得することが可能である。尚、学習が進むことによって、危険因子を判定する為の特に重要な特徴を抽出する為に適したフィルタが設定されることとなる。

一方、『プーリング層』は畳み込み層の直後に置かれ、抽出された特徴の位置感度を低下させる。具体的には、畳み込みの出力を粗くリサンプリングすることによって、画像の多少のずれによる違いを吸収する。プーリング層でも入力画像に比べて出力画像のサイズは小さくなる。

その後、Ｓ９においてＣＰＵ４１は、畳み込みＣＮＮ５５によって出力された特徴マップ５６に基づいて、危険判定エリア５４内に車両の乗員から死角となるエリアがあって、且つ死角となるエリアに交差道路があるか否か判定する。

そして、危険判定エリア５４内に車両の乗員から死角となるエリアがあって、且つ死角となるエリアに交差道路があると判定された場合（Ｓ９：ＹＥＳ）には、Ｓ１０へと移行する。それに対して、危険判定エリア５４内に車両の乗員から死角となるエリアが無い、或いは死角となるエリアがあっても該エリアには交差道路が無いと判定された場合（Ｓ９：ＮＯ）には、Ｓ１１へと移行する。

Ｓ１０においてＣＰＵ４１は、特徴マップ５６に対して死角にあると判定された交差道路に関する道路情報を付加する。具体的には、道路の位置や道路の形状（道路幅、車線数等）を特定する情報が付加される。

その後、畳み込みＣＮＮ５５によって出力された特徴マップ５６を、危険因子判定の為のニューラルネットワーク（以下、危険判定ＣＮＮという）５７の入力層に対して入力する。そして、危険判定ＣＮＮ５７では、入力層での処理を行った後の出力データである各ニューロンにウェイト（重み係数）を乗じたデータを次の中間層に対して入力する。そして、中間層においても同様に中間層での処理を行った後の出力データである各ニューロンにウェイト（重み係数）を乗じたデータを次の出力層に対して入力する。そして、出力層において中間層から入力されたデータを用いて最終的な危険因子の判定を行い、判定結果が出力される。尚、危険判定ＣＮＮ５７は、学習が進むことによって、上記ウェイト（重み係数）がより適した値に適宜変更され、設定されることとなる。本実施形態では、特に第１の中間層が危険判定エリアにある物体の位置及び動きを検出する層であり、第２の中間層が検出された物体の位置や動きを車両の周辺状況（シーン）として認識を行う層であり、出力層が車両の周辺状況（シーン）から危険因子の判定を行う層となる。

そして、Ｓ１１においてＣＰＵ４１は、上述した学習モデルの危険判定ＣＮＮ５７の第１の中間層において、前記Ｓ１で入力された撮像画像５１の撮像タイミングにおいて車両の周辺環境の内、特に危険判定エリア５４にある物体の位置や動きを検出する。

次に、Ｓ１２においてＣＰＵ４１は、上述した学習モデルの危険判定ＣＮＮ５７の第２の中間層において、前記Ｓ１で入力された撮像画像５１の撮像タイミングにおいて車両の周辺環境の内、特に危険判定エリア５４に生じている周辺状況（シーン）を認識する。特に本実施形態では、シーンを文章化することにより認識する。例えば、図６に示す例において第２の中間層ではニューロン（シーン）として『自転車が交差道路を横断しようとしている』、『進行先を横断する歩行者がいない』、『渋滞車列により見えていない交差道路ある』が存在する。尚、前記Ｓ１２のシーンの認識結果は、認識した日時と紐付けてフラッシュメモリ４４等に一定期間保存される。尚、文章化する言語はどの言語でも良いが、シーンを明確で簡潔に表現できる言語（例えば英語等）であることが望ましい。

続いてＳ１３においてＣＰＵ４１は、上述した学習モデルの危険判定ＣＮＮ５７の出力層において、第２の中間層から入力された車両の周辺状況（シーン）に基づいて、危険因子の判定を行う。尚、危険判定ＣＮＮ５７は、学習が進むことによって、中間層と出力層との間のウェイト（重み係数）がより適した値に適宜変更されるので、同じシーンが第２の中間層から入力された場合であっても学習段階が異なっていれば異なる判定結果となる場合がある。例えば、初期段階では歩行者を重視したウェイト（重み係数）の設定により危険因子の判定が行われていたが、その後、学習が進むことによって他車両が重視されるウェイト（重み係数）の設定へと変更される場合がある。その場合には、同じシーンであっても初期段階では危険因子が無いと判定されていたのに、後期段階では危険因子があると判定される可能性がある。

その後、Ｓ１４においてＣＰＵ４１は、危険因子の判定結果を出力する。例えば、危険因子が存在することへの警告マークを液晶ディスプレイ１５に表示するとともに、「車両の前方に注意してください」との音声案内を行う。

尚、危険因子がどのような種類のものであるかを機械学習によって判別できるのであれば、より具体的に危険因子を特定する案内（例えば「車両の前方死角にある交差道路に注意してください」）を行っても良い。また、危険因子の位置についても案内しても良い。一方、危険因子の出力としては車両制御を行っても良い。例えば減速制御を行っても良い。また、自動運転車両に対して適用することも可能である。その場合には、例えば危険因子を避ける走行経路を設定する等の制御が可能である。

続いて、前記構成を有する走行支援システム２において、サーバ装置４及びナビゲーション装置１が実行する判定基準更新処理プログラムについて図７に基づき説明する。図７は本実施形態に係る判定基準更新処理プログラムのフローチャートである。ここで、判定基準更新処理プログラムは、所定間隔（例えば２４時間間隔）で実行され、ナビゲーション装置１の学習モデルを更新することによって危険因子の判定基準を変更するプログラムである。

先ず、図７に基づいてサーバ装置４が実行する判定基準更新処理プログラムについて説明する。Ｓ２１においてサーバ装置４のＣＰＵは、ナビゲーション装置１が有する上述した学習モデルの更新の必要の有無を判定する。例えば、各車両から収集した危険因子の判定結果等を含むプローブ情報に基づいて判定しても良いし、前回更新から一定期間（例えば１か月）経過したことを条件としても良い。

そして、ナビゲーション装置１が有する学習モデルの更新が必要であると判定された場合（Ｓ２２：ＹＥＳ）には、Ｓ２３へと移行する。それに対して、ナビゲーション装置１が有する学習モデルの更新が不要であると判定された場合（Ｓ２２：ＮＯ）には、当該判定基準更新処理プログラムを終了する。

Ｓ２３においてサーバ装置４のＣＰＵは、学習モデルを更新する為の更新プログラムを該当するナビゲーション装置１に対して配信する。尚、配信される更新プログラムは、学習モデルに含まれる複数層の内、周辺状況に基づいて車両５の周辺環境にある危険因子を判定する部分を更新する為の更新プログラムを配信する。特に本実施形態では出力層が危険因子を判定する部分であるので、出力層及び出力層と関連するデータ部分について更新する為の更新プログラムを配信する。

次に、ナビゲーション装置１のＣＰＵ４１が実行する判定基準更新処理プログラムについて説明する。

先ず、Ｓ３１においてＣＰＵ４１は、サーバ装置４から配信された更新プログラムを受信する。

その後、Ｓ３２においてＣＰＵ４１は、前記Ｓ３１で受信した更新プログラムを用いて学習モデルを更新する。上述したように更新プログラムは、学習モデルに含まれる複数層の内、周辺状況に基づいて車両５の周辺環境にある危険因子を判定する部分を更新する為の更新プログラムである。本実施形態では図８に示すように出力層が危険因子を判定する部分であるので、出力層及び出力層と関連するデータ部分について更新される。例えば中間層と出力層との間のウェイト等についても更新対象となる。

その結果、同じシーンが中間層から入力された場合であっても更新前と更新後では異なる判定結果となる場合がある。例えば、更新前では車両を重視する判定基準により危険因子の判定が行われていたが、出力層の更新が行われることによって歩行者が重視される判定基準へと変更される場合がある。その場合には、同じシーンであっても更新前では危険因子として「死角からの他車両の交差点への進入」と判定されていたのに、更新後では危険因子として「死角からの歩行者の飛び出し」と判定される可能性がある。

以上詳細に説明した通り、本実施形態に係るナビゲーション装置１及びナビゲーション装置１で実行されるコンピュータプログラムでは、車両の周辺環境を撮像した撮像画像を多層構造のニューラルネットワークを用いた機械学習によって生成した学習モデルに入力することによって、車両の周辺環境に生じている周辺状況を認識するとともに、認識された周辺状況に基づいて車両の周辺環境にある危険因子を判定する（Ｓ１１〜Ｓ１３）。一方で、学習モデルに含まれる複数層の内、周辺状況に基づいて車両の周辺環境にある危険因子を判定する部分を更新することによって危険因子の判定基準を変更可能に構成する（Ｓ３２）ので、学習モデルの一部のみを更新することによって危険因子の判定基準を変更することが可能となる。その結果、学習モデルを一から作り直す必要なく、状況に応じて様々な種類の危険因子を判定対象とすることが可能となる。

尚、本発明は前記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々の改良、変形が可能であることは勿論である。
例えば、本実施形態では機械学習として特に多層構造の畳み込みニューラルネットワークを用いた機械学習（Deep Learning）を用いているが、その他の機械学習を用いることも可能である。

また、本実施形態では学習モデルにおいて危険判定エリアにある物体の位置及び動きを検出する第１の中間層と、物体の位置や動きを車両の周辺状況（シーン）として認識を行う第２の中間層を有しているが、中間層の数は１又は３以上あっても良い。

また、本実施形態では車両の周辺状況（シーン）から危険因子の判定を行う層を出力層としているが、中間層であっても良い。その場合には更新プログラムによって更新対象となるのは中間層となる。

また、本実施形態では更新プログラムによって更新対象となるのは出力層となっているが、必ずしも更新は層単位で行う必要は無く、危険因子の判定基準が変更されるのであれば、出力層の一部、或いは出力層と関連する部分（例えばウェイト）のみの更新も可能である。

また、本実施形態では危険因子判定処理プログラム（図２）はナビゲーション装置１が実施しているが、ナビゲーション装置以外の車載器が実施する構成としても良い。また、車載器が全ての処理を実施するのではなく、一部の処理を外部サーバが実施することとしても良い。

また、本発明に係る走行支援装置を具体化した実施例について上記に説明したが、走行支援装置は以下の構成を有することも可能であり、その場合には以下の効果を奏する。

例えば、第１の構成は以下のとおりである。
移動体の周辺環境を撮像した撮像画像を取得する周辺環境撮像手段（４１）と、前記撮像画像を多層構造のニューラルネットワークを用いた機械学習によって生成した学習モデルに入力することによって、前記移動体の周辺環境に生じている周辺状況を認識するとともに、認識された前記周辺状況に基づいて前記移動体の周辺環境にある危険因子を判定する危険因子判定手段（４１）と、前記危険因子判定手段の判定結果を出力する判定結果出力手段（４１）と、前記学習モデルに含まれる複数層の内、前記周辺状況に基づいて前記移動体の周辺環境にある危険因子を判定する部分を更新することによって前記危険因子の判定基準を変更する判定基準変更手段（４１）と、を有する。
上記構成を有する走行支援装置によれば、学習モデルの一部のみを更新することによって危険因子の判定基準を変更することが可能となる。その結果、学習モデルを一から作り直す必要なく、状況に応じて様々な種類の危険因子を判定対象とすることが可能となる。

また、第２の構成は以下のとおりである。
前記危険因子を判定する部分は、前記学習モデルに含まれる複数層の内の一部の層である。
上記構成を有する走行支援装置によれば、学習モデルに含まれる複数層の内、移動体の周辺環境にある危険因子を判定する層のみを更新することによって危険因子の判定基準を変更することが可能となる。

また、第３の構成は以下のとおりである。
前記判定基準変更手段（４１）は、外部のサーバ装置（４）から配信される更新プログラムに基づいて前記危険因子を判定する部分を更新する。
上記構成を有する走行支援装置によれば、特にサーバ装置が判断した必要なタイミングで学習モデルの更新を行うことが可能となる。その結果、移動体の現在の状況に応じた最適な判定基準によって危険因子を判定することが可能となる。

また、第４の構成は以下のとおりである。
前記危険因子判定手段（４１）は、前記移動体の周辺環境に生じている周辺状況を説明する文章を生成することによって周辺状況を認識する。
上記構成を有する走行支援装置によれば、移動体の周辺状況がどのような状況にあるのかを、動詞や名詞を用いて明確に認識することが可能となる。

また、第５の構成は以下のとおりである。
前記移動体の移動態様に基づいて、前記移動体の周辺環境において危険因子の判定対象とするエリアを危険判定エリアとして特定する危険判定エリア特定手段（４１）を有し、前記危険因子判定手段（４１）は、前記撮像画像から前記危険判定エリアにある物体の位置及び動きを検出し、検出した前記物体の位置及び動きを前記周辺状況として認識する。
上記構成を有する走行支援装置によれば、危険判定エリアを設定することによって、学習モデルにおいて撮像画像から特徴部分の抽出に係る処理を容易化することが可能となる。また、危険判定エリア内に歩行者や他車両等の危険因子の候補が存在する場合において、機械学習によって該歩行者や他車両を危険因子として判定し易くすることが可能である。

１ ナビゲーション装置
２ 走行支援システム
４ サーバ装置
１３ ナビゲーションＥＣＵ
１９ 車外カメラ
３１ 地図情報ＤＢ
３２ 撮像画像ＤＢ
３３ ２次元地図情報
３４ ３次元地図情報
４１ ＣＰＵ
４２ ＲＡＭ
４３ ＲＯＭ
５１ 撮像画像
５２ 俯瞰画像
５４ 危険判定エリア
５５ 畳み込みＣＮＮ
５７ 危険判定ＣＮＮ

Claims (6)

1. 移動体の周辺環境を撮像した撮像画像を取得する周辺環境撮像手段と、
   前記撮像画像を多層構造のニューラルネットワークを用いた機械学習によって生成した学習モデルに入力することによって、前記移動体の周辺環境に生じている周辺状況を認識するとともに、認識された前記周辺状況に基づいて前記移動体の周辺環境にある危険因子を判定する危険因子判定手段と、
   前記危険因子判定手段の判定結果を出力する判定結果出力手段と、
   前記学習モデルに含まれる複数層の内、前記周辺状況に基づいて前記移動体の周辺環境にある危険因子を判定する部分を更新することによって前記危険因子の判定基準を変更する判定基準変更手段と、を有する走行支援装置。
2. 前記危険因子を判定する部分は、前記学習モデルに含まれる複数層の内の一部の層である請求項１に記載の走行支援装置。
3. 前記判定基準変更手段は、外部のサーバ装置から配信される更新プログラムに基づいて前記危険因子を判定する部分を更新する請求項１又は請求項２に記載の走行支援装置。
4. 前記危険因子判定手段は、前記移動体の周辺環境に生じている周辺状況を説明する文章を生成することによって周辺状況を認識する請求項１乃至請求項３のいずれかに記載の走行支援装置。
5. 前記移動体の移動態様に基づいて、前記移動体の周辺環境において危険因子の判定対象とするエリアを危険判定エリアとして特定する危険判定エリア特定手段を有し、
   前記危険因子判定手段は、
   前記撮像画像から前記危険判定エリアにある物体の位置及び動きを検出し、
   検出した前記物体の位置及び動きを前記周辺状況として認識する請求項１乃至請求項４のいずれかに記載の走行支援装置。
6. コンピュータを、
   移動体の周辺環境を撮像した撮像画像を取得する周辺環境撮像手段と、
   前記撮像画像を多層構造のニューラルネットワークを用いた機械学習によって生成した学習モデルに入力することによって、前記移動体の周辺環境に生じている周辺状況を認識するとともに、認識された前記周辺状況に基づいて前記移動体の周辺環境にある危険因子を判定する危険因子判定手段と、
   前記危険因子判定手段の判定結果を出力する判定結果出力手段と、
   前記学習モデルに含まれる複数層の内、前記周辺状況に基づいて前記移動体の周辺環境にある危険因子を判定する部分を更新することによって前記危険因子の判定基準を変更する判定基準変更手段と、
   して機能させる為のコンピュータプログラム。