JP2018173862A - 走行支援装置及びコンピュータプログラム - Google Patents

Abstract

【課題】危険因子をより適切な態様で出力することを可能にした走行支援装置及びコンピュータプログラムを提供する。【解決手段】車両の周辺環境を撮像した撮像画像を取得し、撮像画像に基づいて車両の周辺環境にある危険因子を抽出し、抽出された危険因子毎に時間経過に伴う運転者の当該危険因子の視認態様の変化に基づいて当該危険因子の車両への危険の度合いを示す危険度を特定し、抽出された全ての危険因子の危険度の合計を算出した後に、合計値に基づく態様で危険因子を出力するように構成する。【選択図】図４

Description

本発明は、車両の走行支援を行う走行支援装置及びコンピュータプログラムに関する。

近年、例えば車両等の移動体に対する走行支援の一つとして、移動体の周辺にある危険因子を判定し、判定結果を案内することが行われている。危険因子とは移動体が走行する際に注意するべき因子であり、例えば移動体から視認することが難しい位置にある他車両や歩行者等の障害物、交差点付近の歩行者、交差道路から進入する他車両、車線の増減区間、道路に面する建物の出入口等がある。上記のような危険因子を判定する手段としては、例えば移動体の現在位置や方位と地図情報とを比較して判定することや、移動体に搭載されたカメラ、センサ或いは通信機器を用いて判定することが可能である。

また、危険因子毎に車両に対する危険（影響）の度合い（以下、危険度という）は大きく異なっており、危険因子の案内を行う場合には危険度を考慮する必要がある。即ち、複数の危険因子がある場合には、危険度が高いものを優先して案内を行う必要がある。従って、危険因子の案内を適切に行う為には、危険因子の危険度を特定する必要があった。

例えば特許第５１７９６８６号には、車両周辺にある対象物のカテゴリ、運転者の視線、車両の速度等の各条件に基づいて、対象物の危険度を算出し、危険度が閾値以上の対象物を案内対象とすることが記載されている。

特許第５１７９６８６号（段落００９８、０１１７）

上記特許文献１では、危険度が閾値以上の危険因子のみを案内対象とするので、危険度が低いと判定された危険因子については車両の周辺にいくつあったとしても案内対象から除かれていた。しかしながら、現時点で危険度が低いと判定された危険因子であっても、その後に状況が変われば危険度の高い危険因子へと変化する場合もある。そして、危険度が低い危険因子が多数あれば、そのいずれかが危険度の高い危険因子へとなる可能性も高い。従って、危険度が低い危険因子であっても運転者に案内すべき状況もあり、現在の危険度の大小のみで危険因子毎に案内対象とするか否かを決定するのは問題があった。

本発明は前記従来における問題点を解消するためになされたものであり、車両の周辺環境にある危険因子の危険度を、時間経過に伴う運転者の危険因子への視認態様の変化についても考慮して総合的に判断することによって、危険因子をより適切な態様で出力することを可能にした走行支援装置及びコンピュータプログラムを提供することを目的とする。

前記目的を達成するため本発明に係る走行支援装置は、車両の周辺環境を撮像した撮像画像を取得する周辺環境撮像手段と、前記撮像画像に基づいて、前記車両の周辺環境にある危険因子を抽出する危険因子抽出手段と、前記危険因子抽出手段により抽出された危険因子毎に、時間経過に伴う運転者の当該危険因子の視認態様の変化に基づいて当該危険因子の前記車両への危険の度合いを示す危険度を特定する危険度特定手段と、前記危険因子抽出手段により抽出された全ての危険因子の危険度の合計を算出する危険度算出手段と、前記危険度の合計に基づく態様で前記危険因子を出力する出力手段と、を有する。
尚、「危険因子」とは、車両が走行する際に注意するべき因子であり、例えば車両から視認することが難しい位置にある他車両や歩行者等の障害物、交差点付近の歩行者、交差道路から進入する他車両、車線の増減区間、道路に面する建物の出入口等がある。

また、本発明に係るコンピュータプログラムは、移動体の走行支援を行うプログラムである。具体的には、コンピュータを、車両の周辺環境を撮像した撮像画像を取得する周辺環境撮像手段と、前記撮像画像に基づいて、前記車両の周辺環境にある危険因子を抽出する危険因子抽出手段と、前記危険因子抽出手段により抽出された危険因子毎に、時間経過に伴う運転者の当該危険因子の視認態様の変化に基づいて当該危険因子の前記車両への危険の度合いを示す危険度を特定する危険度特定手段と、前記危険因子抽出手段により抽出された全ての危険因子の危険度の合計を算出する危険度算出手段と、前記危険度の合計に基づく態様で前記危険因子を出力する出力手段と、して機能させる。

前記構成を有する本発明に係る走行支援装置及びコンピュータプログラムによれば、車両の周辺環境にある危険因子の危険度を、時間経過に伴う運転者の危険因子への視認態様の変化についても考慮して総合的に判断することによって、現時点で危険度の低い危険因子であっても出力対象から一律に除かれることなく、危険因子をより適切な態様で出力することが可能となる。特に時間経過に伴う危険因子の視認態様の変化に応じて危険度を特定するので、危険因子が今後に車両に対してどのように影響するかについても考慮して危険度を算出することが可能となる。

本実施形態に係るナビゲーション装置を示したブロック図である。 本実施形態に係る走行支援処理プログラムのフローチャートである。 危険因子に対する危険度の初期値の設定方法を示した図である。 危険度の加算値（減算値）の設定方法を示した図である。 時間経過に伴う危険因子の視認態様の変化を示した図である。 本実施形態に係る危険因子判定処理のサブ処理プログラムのフローチャートである。 撮像画像と対応する俯瞰画像を示した図である。 危険判定エリアを示した図である。 本実施形態に係る学習モデルの概略を示した図である。

以下、本発明に係る走行支援装置についてナビゲーション装置に具体化した一実施形態に基づき図面を参照しつつ詳細に説明する。先ず、本実施形態に係るナビゲーション装置１の概略構成について図１を用いて説明する。図１は本実施形態に係るナビゲーション装置１を示したブロック図である。

図１に示すように本実施形態に係るナビゲーション装置１は、ナビゲーション装置１が搭載された車両の現在位置を検出する現在位置検出部１１と、各種のデータが記録されたデータ記録部１２と、入力された情報に基づいて、各種の演算処理を行うナビゲーションＥＣＵ１３と、ユーザからの操作を受け付ける操作部１４と、ユーザに対して車両周辺の地図やナビゲーション装置１に設定された案内経路に関する情報等を表示する液晶ディスプレイ１５と、経路案内に関する音声ガイダンスや危険因子に対する警告等を出力するスピーカ１６と、記憶媒体であるＤＶＤを読み取るＤＶＤドライブ１７と、プローブセンタやＶＩＣＳ（登録商標：Vehicle Information and Communication System）センタ等の情報センタとの間で通信を行う通信モジュール１８と、を有している。また、ナビゲーション装置１は、ＣＡＮ等の車載ネットワークを介して、ナビゲーション装置１の搭載された車両に対して設置された車外カメラ１９や車内カメラ２０が接続されている。

以下に、ナビゲーション装置１が有する各構成要素について順に説明する。
現在位置検出部１１は、ＧＰＳ２１、車速センサ２２、ステアリングセンサ２３、ジャイロセンサ２４等からなり、現在の車両の位置、方位、車両の走行速度、現在時刻等を検出することが可能となっている。ここで、特に車速センサ２２は、車両の移動距離や車速を検出する為のセンサであり、車両の駆動輪の回転に応じてパルスを発生させ、パルス信号をナビゲーションＥＣＵ１３に出力する。そして、ナビゲーションＥＣＵ１３は発生するパルスを計数することにより駆動輪の回転速度や移動距離を算出する。尚、上記４種類のセンサをナビゲーション装置１が全て備える必要はなく、これらの内の１又は複数種類のセンサのみをナビゲーション装置１が備える構成としても良い。

また、データ記録部１２は、外部記憶装置及び記録媒体としてのハードディスク（図示せず）と、ハードディスクに記録された地図情報ＤＢ３１や撮像画像ＤＢ３２や所定のプログラム等を読み出すとともにハードディスクに所定のデータを書き込む為のドライバである記録ヘッド（図示せず）とを備えている。尚、データ記録部１２としてはハードディスクの代わりにメモリーカードやＣＤやＤＶＤ等の光ディスクを有しても良い。また、地図情報ＤＢ３１や撮像画像ＤＢ３２は外部のサーバに格納させ、ナビゲーション装置１が通信により取得しても良い。

ここで、地図情報ＤＢ３１は、２次元地図情報３３と３次元地図情報３４とがそれぞれ記憶される。２次元地図情報３３は、一般的なナビゲーション装置１において用いられる地図情報であり、例えば、道路（リンク）に関するリンクデータ、ノード点に関するノードデータ、施設に関する施設データ、経路探索処理に用いられる探索データ、地図を表示するための地図表示データ、各交差点に関する交差点データ、地点を検索するための検索データ等を含む。

一方、３次元地図情報３４は、３次元で地図を表現した地図画像に関する情報である。特に本実施形態では３次元で道路の輪郭を表現した地図画像に関する情報とする。尚、道路の輪郭以外の情報についても表現した地図画像としても良い。例えば、施設形状、道路の区画線、道路標識、看板等についても３次元で表現した地図画像としても良い。

そして、ナビゲーション装置１は、液晶ディスプレイ１５における地図画像の表示、案内経路の探索等の一般的な機能については２次元地図情報３３を用いて行う。また、後述のように危険因子の判定に係る処理については３次元地図情報３４を用いて行う。

また、撮像画像ＤＢ３２は、時間経過に伴って車外カメラ１９によって順次撮像された撮像画像３５が格納される記憶手段である。尚、車外カメラ１９によって撮像された撮像画像３５は累積的に撮像画像ＤＢ３２に格納され、古い画像から順に削除される。

一方、ナビゲーションＥＣＵ（エレクトロニック・コントロール・ユニット）１３は、ナビゲーション装置１の全体の制御を行う電子制御ユニットであり、演算装置及び制御装置としてのＣＰＵ４１、並びにＣＰＵ４１が各種の演算処理を行うにあたってワーキングメモリとして使用されるとともに、経路が探索されたときの経路データ等が記憶されるＲＡＭ４２、制御用のプログラムのほか、後述の走行支援処理プログラム（図２参照）等が記録されたＲＯＭ４３、ＲＯＭ４３から読み出したプログラムを記憶するフラッシュメモリ４４等の内部記憶装置を備えている。尚、ナビゲーションＥＣＵ１３は、処理アルゴリズムとしての各種手段を有する。例えば、周辺環境撮像手段は、車両の周辺環境を撮像した撮像画像を取得する。危険因子抽出手段は、撮像画像に基づいて車両の周辺環境にある危険因子を抽出する。危険度特定手段は、危険因子抽出手段により抽出された危険因子毎に、当該危険因子の車両への危険の度合いを示す危険度を特定する。危険度算出手段は、危険因子抽出手段により抽出された全ての危険因子の危険度の合計を算出する。出力手段は、危険度の合計に基づく態様で危険因子を出力する。

操作部１４は、走行開始地点としての出発地及び走行終了地点としての目的地を入力する際等に操作され、各種のキー、ボタン等の複数の操作スイッチ（図示せず）を有する。そして、ナビゲーションＥＣＵ１３は、各スイッチの押下等により出力されるスイッチ信号に基づき、対応する各種の動作を実行すべく制御を行う。尚、操作部１４は液晶ディスプレイ１５の前面に設けたタッチパネルを有しても良い。また、マイクと音声認識装置を有しても良い。

また、液晶ディスプレイ１５には、道路を含む地図画像、交通情報、操作案内、操作メニュー、キーの案内、ナビゲーション装置１で設定されている案内経路、案内経路に沿った案内情報、ニュース、天気予報、時刻、メール、テレビ番組等が表示される。尚、液晶ディスプレイ１５の代わりに、ＨＵＤやＨＭＤを用いても良い。また、本実施形態では特に、危険因子の判定結果の案内についても表示する。

また、スピーカ１６は、ナビゲーションＥＣＵ１３からの指示に基づいて案内経路に沿った走行を案内する音声ガイダンスや、交通情報の案内を出力する。また、本実施形態では特に、危険因子の判定結果の案内についても出力する。

また、ＤＶＤドライブ１７は、ＤＶＤやＣＤ等の記録媒体に記録されたデータを読み取り可能なドライブである。そして、読み取ったデータに基づいて音楽や映像の再生、地図情報ＤＢ３１の更新等が行われる。尚、ＤＶＤドライブ１７に替えてメモリーカードを読み書きする為のカードスロットを設けても良い。

また、通信モジュール１８は、交通情報センタ、例えば、ＶＩＣＳセンタやプローブセンタ等から送信された交通情報を受信する為の通信装置であり、例えば携帯電話機やＤＣＭが該当する。

また、車外カメラ１９は、例えばＣＣＤ等の固体撮像素子を用いたカメラにより構成され、車両のルームミラーの裏側やフロントバンパ等に取り付けられるとともに光軸方向を水平より所定角度下方に向けて設置される。そして、車外カメラ１９は、車両の進行方向前方の周辺環境を撮像する。また、ナビゲーションＥＣＵ１３は後述のように撮像された撮像画像を機械学習に入力することによって、車両周辺にある危険因子を判定する。尚、車外カメラ１９は車両の側方や後方にも配置するように構成しても良い。また、車外カメラ１９の設置位置は運転者の目の位置（視線開始点）と略同一となるように調整するのが望ましい。それによって、危険因子の判定をより適切に行うことが可能となる。

本実施形態に係るナビゲーション装置１において上記機械学習によって判定される危険因子とは、車両が走行する際に注意するべき（案内を行うべき）因子である。例えば車両から視認することが難しい位置にある他車両や歩行者等の障害物、交差点付近の歩行者、交差道路から進入する他車両、車線の増減区間、道路に面する建物の出入口等がある。例えば、「道路に面する建物の出入口」については、歩行者が新たに道路上に出現する可能性のある地点であり、車両が走行する際に注意するべき場所となる。また、「車線の増減区間」については他車両が車線変更を行う可能性のある地点であり、車両が走行する際に注意するべき場所となる。

また、車内カメラ２０は、例えばＣＣＤ等の固体撮像素子を用いたものであり、車両のインストルメントパネルの上面や車両の天井に取り付けられ、撮像方向を運転席に向けて設置される。そして、運転席に座った乗員の顔を撮像する。また、ナビゲーションＥＣＵ１３は、後述のように車内カメラ２０により撮像した撮像画像から乗員の目の位置（視線開始点）や視線方向を検出する。

続いて、上記構成を有する本実施形態に係るナビゲーション装置１においてＣＰＵ４１が実行する走行支援処理プログラムについて図２に基づき説明する。図２は本実施形態に係る走行支援処理プログラムのフローチャートである。ここで、走行支援処理プログラムは、車両のＡＣＣ(accessory power supply)がＯＮされた後に所定時間（例えば３ｓｅｃ）間隔で繰り返し実行され、車外カメラ１９で撮像した撮像画像に基づいて車両の周囲にある危険因子を抽出し、抽出された危険因子の危険度に応じて出力するプログラムである。また、以下の図２及び図６にフローチャートで示されるプログラムは、ナビゲーションＥＣＵ１３が備えているＲＡＭ４２、ＲＯＭ４３等に記憶されており、ＣＰＵ４１により実行される。

先ず、走行支援処理プログラムでは、ステップ（以下、Ｓと略記する）１において、ＣＰＵ４１は後述の危険因子判定処理（図６）を行う。尚、危険因子判定処理は、車外カメラ１９で撮像した撮像画像を機械学習によって生成された学習モデルに入力することによって車両の周辺環境にある危険因子を判定し、抽出する処理である。

次に、Ｓ２においてＣＰＵ４１は、運転者の属性又は危険因子を抽出した際の車両状況に基づいて、閾値ｎを設定する。尚、閾値ｎは後述のように抽出された危険因子の案内態様を変更する危険度の閾値となる。ここで、運転者の属性としては例えば運転者の年齢、性別がある。また、運転時の車両状況としては例えば天候、時間帯、車速等がある。尚、運転者に対して危険因子に関する案内を行う際に、より強い案内を行うべき状況である程、閾値は低い値に設定する。例えば、天候が晴の場合には『ｎ＝１０』とし、天候が雨の場合には視界が悪く、案内は強調して行われるべきであるので『ｎ＝５』とする。また、運転者が高齢（例えば６５歳以上）でない場合には『ｎ＝１０』とし、運転者が高齢の場合には、案内は強調して行われるべきであるので『ｎ＝５』とする。

以下のＳ３〜Ｓ７の処理は前記Ｓ１で抽出された危険因子毎に行う。そして、前記Ｓ１で抽出された全ての危険因子に対してＳ３〜Ｓ７の処理が行われた後にＳ８へと移行する。

先ずＳ３においてＣＰＵ４１は、処理対象の危険因子について過去に危険度が既に判定されているか否か判定する。当該走行支援処理プログラムは一定時間間隔（例えば３ｓｅｃ間隔）で繰り返し実施されるので、前回実施時から同一の危険因子が引き続き車両の周辺に存在する場合には、当該危険因子は過去に危険度が既に判定されていることとなる。

そして、処理対象の危険因子について過去に危険度が判定されていないと判定された場合（Ｓ３：ＮＯ）、即ち処理対象の危険因子が今回初めて抽出された危険因子である場合には、処理対象の危険因子に対して危険度の初期値を設定する（Ｓ４）。ここで、図３は前記Ｓ４で設定される危険度の初期値を示した図である。具体的には、図３に示すように危険因子の初期値は、以下の（１）〜（３）の条件によって決定される。
（１）危険因子が運転者から見えているか否か。
（２）危険因子が運転者の中心視野領域にあるか周辺視野領域にあるか。
（３）運転者の視野の中心から危険因子までの距離。

尚、中心視野領域は、運転者の視野領域の内、中心付近の特に情報認識能力に優れる領域であり、例えば有効視野が該当する。一方、周辺視野領域は、運転者の視野領域の内、中心視野領域を除いた領域である。そして、中心視野領域や周辺視野領域は、車内カメラ２０により撮像した撮像画像から乗員の目の位置（視線開始点）と視線方向を検出することによって取得される。例えば中心視野領域は、視線方向を中心とした水平３０度、垂直２０度程度とする。尚、中心視野領域の大きさは固定ではなく、例えば車両の車速によっても中心視野領域の大きさは変化する。

また、図３に示すように危険度の初期値は運転者から見えている場合よりも見えていない場合において、より高い値が設定される。また、危険因子が運転者の中心視野領域にあるよりも周辺視野領域にある場合において、より高い値が設定される。尚、運転者が見えていない場合とは運転者の死角に危険因子がある場合であり、見えている場合とは運転者の死角以外に危険因子がある場合である。尚、死角に危険因子の全体が無い場合であっても、全体の所定割合以上（例えば７割以上）が死角にあれば見えていないとするのが望ましい。また、運転者の死角は後述の危険因子判定処理（図６）における危険因子の判定の過程で特定可能である。

更に、図３に示すように危険度の初期値は運転者の視野の中心から離れた位置にある危険因子ほど、高い値が設定されるが、距離の変化に対する危険度の増加率は、中心視野領域よりも周辺視野領域の方が大きい。尚、危険因子の種類に応じても危険度の初期値を変更しても良い。

その後、Ｓ５においてＣＰＵ４１は、前記Ｓ４で設定された危険度の初期値を処理対象の危険因子の現在の危険度として、処理対象の危険因子に紐付けてフラッシュメモリ４４等に保存する。その後、処理対象となる危険因子を変更してＳ３以降の処理を再度実行する。

一方、処理対象の危険因子について過去に危険度が判定されていると判定された場合（Ｓ３：ＮＯ）、即ち処理対象の危険因子が前回から継続して抽出された危険因子である場合には、前回の処理（Ｓ５）でフラッシュメモリ４４等に保存された処理対象の危険因子の危険度（即ち、危険度の初期値）を読み出す（Ｓ６）。

次に、Ｓ７においてＣＰＵ４１は、前回の危険度を判定した際と今回の危険度の判定を行う際との間の時間経過に伴う危険因子の視認態様の変化に基づいて危険度を加算、或いは減算する。具体的には、図４に示すように前回の危険度を判定した際の危険因子の視認態様と今回の危険度を判定する際の危険因子の視認態様との組み合わせによって加算又は減算する危険度の値を決定する。更に、危険因子が今回の危険度の判定を行う際に周辺視野に位置する場合には危険因子が車両に対して相対的に近づいているか遠ざかっているかについても考慮する。

例えば図５に示すように車両が交差点方向へと走行する場合であって、『交差道路から交差点に進入する他車両』が危険因子として抽出された場合を例に挙げて説明する。図５に示すように前回の危険度を判定した際には、対向車が死角となって危険因子である『交差道路から交差点に進入する他車両』は、運転者の中心視野にあるが運転者から見えていない状態である。一方、今回の危険度を判定した際には、対向車が移動した結果、運転者から危険因子が中心視野で見ることが可能な状態となっている。このような危険因子の視認態様の変化があった場合には、図４に示すように『危険度は１減算』となる。

そして、前記Ｓ１で抽出された全ての危険因子に対してＳ３〜Ｓ７の処理が行われ、各危険因子に対して危険度が算出された後に、Ｓ８においてＣＰＵ４１は、前記Ｓ１で抽出された全ての危険因子に対して算出された危険度の合計（以下、総合危険度という）を算出する。

そして、Ｓ９においてＣＰＵ４１は、前記Ｓ８で算出された総合危険度が前記Ｓ２で設定された閾値ｎよりも大きいか否か判定する。

そして、前記Ｓ８で算出された総合危険度が前記Ｓ２で設定された閾値ｎよりも大きい（Ｓ９：ＹＥＳ）と判定された場合には、Ｓ１０へと移行する。それに対して、前記Ｓ８で算出された総合危険度が前記Ｓ２で設定された閾値ｎ未満と判定された場合（Ｓ９：ＮＯ）には、Ｓ１１へと移行する。

Ｓ１０においてＣＰＵ４１は、前記Ｓ１で抽出された全ての危険因子について運転者に案内する。例えば「車両の前方死角にある交差道路に注意してください。交差点を横断する歩行者に注意してください。」などの音声を出力する。危険因子が存在することへの警告マークについて液晶ディスプレイ１５に表示しても良い。

一方、Ｓ１１においてＣＰＵ４１は、前記Ｓ１０の案内に加えて、危険度が高い状態であることを運転者に案内する。即ち、Ｓ１１ではＳ１０よりも危険因子を運転者により強く認識させる案内態様で案内を行う。例えば「車両の前方死角にある交差道路に注意してください。交差点を横断する歩行者に注意してください。危険な状態です。」などの音声を出力する。危険因子が存在することへの警告マークについて液晶ディスプレイ１５に表示しても良い。その場合には、Ｓ１０よりもより強調された警告マークを表示する。

また、危険因子の出力としては前記Ｓ１０及びＳ１１のような運転者への案内以外に車両制御を行っても良い。例えば減速制御を行っても良い。その場合にはＳ１１ではＳ１０よりもより強い制御（例えば大きい減速度）で車両制御を行う。また、自動運転車両に対して適用することも可能である。その場合には、例えば危険因子を避ける走行経路を設定する等の制御が可能である。

次に、前記Ｓ１において実行される危険因子判定処理のサブ処理について図６に基づき説明する。図６は危険因子判定処理のサブ処理プログラムのフローチャートである。

先ず、Ｓ２１において、ＣＰＵ４１は車両の現在位置及び方位を現在位置検出部１１の検出結果に基づいて取得する。具体的には、２次元地図情報３３を用いて車両の現在位置を示す地図上の位置座標を取得する。尚、車両の現在位置を検出する際には、車両の現在位置を２次元地図情報３３にマッチングさせるマップマッチング処理についても行う。更に、車両の現在位置は、高精度ロケーション技術を用いて特定しても良い。ここで、高精度ロケーション技術とは、車両後方のカメラから取り込んだ白線や路面ペイント情報を画像認識により検出し、更に、白線や路面ペイント情報を予め記憶した地図情報ＤＢと照合することにより、走行車線や高精度な車両位置を検出可能にする技術である。尚、高精度ロケーション技術の詳細については既に公知であるので省略する。尚、車両の現在位置及び方位は最終的に３次元地図情報３４の地図上で特定するのが望ましい。

次に、Ｓ２２においてＣＰＵ４１は、車両の進行方向前方の所定距離以内（例えば３００ｍ以内）に交差点があるか否か判定する。

そして、車両の進行方向前方の所定距離以内に交差点があると判定された場合（Ｓ２２：ＹＥＳ）には、Ｓ２３へと移行する。それに対して、車両の進行方向前方の所定距離以内に交差点が無いと判定された場合（Ｓ２２：ＮＯ）には、当該走行支援処理プログラムを終了する。

Ｓ２３においてＣＰＵ４１は、車両の進行方向前方にある交差点（以下、前方交差点という）における車両の退出方向を推定する。例えば、ナビゲーション装置１において案内経路が設定されている場合には、案内経路に沿って車両が走行すると仮定して前方交差点の退出方向を推定する。一方、案内経路が設定されていない場合については、ウィンカーの点灯状態、車両の走行する車線等から前方交差点の退出方向を推定する。

続いて、Ｓ２４においてＣＰＵ４１は、直近に車外カメラ１９で撮像された撮像画像を撮像画像ＤＢ３２から取得する。

その後、Ｓ２５においてＣＰＵ４１は、前記Ｓ２４で取得した撮像画像の撮像範囲を取得する。ここで、撮像画像の撮像範囲は、撮像を行った時点の車外カメラ１９の焦点の位置、光軸方向、画角によって特定することが可能である。更に、ＣＰＵ４１は、３次元地図情報３４を用いて、撮像画像の撮像範囲と同一範囲を撮像画像の撮像方向と同一方向から３次元で地図を表現した俯瞰画像を生成する。例えば、前記Ｓ２４で図７に示す撮像画像５１が取得された場合には、撮像画像５１の撮像範囲と同一範囲を撮像画像の撮像方向と同一方向から３次元で地図を表現した図７に示す俯瞰画像５２が生成される。尚、俯瞰画像自体は、撮像画像と同じ２次元の画像である。

その後、Ｓ２６においてＣＰＵ４１は、前記Ｓ２５で生成された俯瞰画像において、前記Ｓ２３で推定された前方交差点の退出方向に応じた危険判定エリアを特定する。ここで、図８は前方交差点での退出方向に応じて特定される危険判定エリアの一例を示した図である。例えば、車両が前方交差点を直進する場合には、交差道路から進入する車両と交差点を横断する歩行者に注意する必要があるので、左右の交差道路と交差点付近が危険判定エリア５４に特定される。また、車両が前方交差点で左折する場合には、左側の交差道路を横断する歩行者に注意する必要があるので、左側の交差道路付近が危険判定エリア５４に特定される。一方、車両が前方交差点で右折する場合には、右側の交差道路を横断する歩行者や交差点に進入する対向車に注意する必要があるので、右側の交差道路付近と対向車線が危険判定エリア５４に特定される。尚、前記Ｓ２６で特定された危険判定エリアは、危険因子の候補が存在すると予測されるエリアであり、後述の危険因子の判定では危険因子の判定対象エリアとなる。

その後、Ｓ２６においてＣＰＵ４１は、前記Ｓ２４で取得した撮像画像と前記Ｓ２５で生成された俯瞰画像とを同一チャンネルで重ね合せ合わせた状態で機械学習によって生成された学習モデルに入力する。ここで、図９は本実施形態に係る学習モデルの概略を示した図である。特に本実施形態では機械学習として多層構造のニューラルネットワーク（ＣＮＮ）を用いた機械学習（Deep Learning）を用いる。

図９に示すように車外カメラ１９で撮像された撮像画像５１及び俯瞰画像５２を重ね合わせた状態で学習モデルに入力すると、先ず畳み込みニューラルネットワーク（以下、畳み込みＣＮＮという）５５に基づく画像処理が行われる。畳み込みＣＮＮ５５では、『畳み込み層』と『プーリング層』を複数回繰り返した後に、危険因子を判定する為の特に重要な特徴マップ５６が出力される（Ｓ２７）。尚、本実施形態では予め特徴マップ５６の抽出対象（危険因子の判定対象エリア）として危険判定エリア５４を設定するので、特徴部分の抽出に係る処理を容易化することが可能となる。また、危険判定エリア５４内に歩行者や他車両等の危険因子の候補が存在する場合において、機械学習によって該歩行者や他車両を危険因子として判定し易くなる。

また、特に本実施形態では入力対象となる撮像画像５１と俯瞰画像５２とを同一チャンネルで重ね合せて入力することによって、同一の画素間（即ち車両周辺の同一エリア）での相関、即ち撮像画像と地図情報画像との間に差分がある差分エリアを容易に識別することが可能となる。ＣＰＵ４１は、撮像画像と地図情報画像との間に差分がある差分エリアを、地図画像上には存在するが撮像画像では何らかの理由によって消失した（撮像されなかった）対象があるエリアであり、車両の乗員から死角となるエリアと推定する（Ｓ２８）。

また、『畳み込み層』は入力した画像に対してフィルタをかける（畳み込む）層である。画像の畳み込みによって画像内のパターン（特徴）が検出できるようになる。また、畳み込むフィルタは複数とする。フィルタの数を複数とすることで入力した画像の様々な特徴を捉えることが可能となる。また、フィルタをかけることによって、出力される画像のサイズが小さくなる。出力された画像は特徴マップとも呼ばれる。また、この畳み込み層に用いるフィルタは設計者が設定する必要はなく、学習によって取得することが可能である。尚、学習が進むことによって、危険因子を判定する為の特に重要な特徴を抽出する為に適したフィルタが設定されることとなる。

一方、『プーリング層』は畳み込み層の直後に置かれ、抽出された特徴の位置感度を低下させる。具体的には、畳み込みの出力を粗くリサンプリングすることによって、画像の多少のずれによる違いを吸収する。プーリング層でも入力画像に比べて出力画像のサイズは小さくなる。

その後、Ｓ２９においてＣＰＵ４１は、畳み込みＣＮＮ５５によって出力された特徴マップ５６に基づいて、危険判定エリア５４内に車両の乗員から死角となるエリアがあって、且つ死角となるエリアに交差道路があるか否か判定する。

そして、危険判定エリア５４内に車両の乗員から死角となるエリアがあって、且つ死角となるエリアに交差道路があると判定された場合（Ｓ２９：ＹＥＳ）には、Ｓ３０へと移行する。それに対して、危険判定エリア５４内に車両の乗員から死角となるエリアが無い、或いは死角となるエリアがあっても該エリアには交差道路が無いと判定された場合（Ｓ２９：ＮＯ）には、Ｓ３１へと移行する。

Ｓ３０においてＣＰＵ４１は、特徴マップ５６に対して死角にあると判定された交差道路に関する道路情報を付加する。具体的には、道路の位置や道路の形状（道路幅、車線数等）を特定する情報が付加される。

その後、畳み込みＣＮＮ５５によって出力された特徴マップ５６を、危険因子判定の為のニューラルネットワーク（以下、危険判定ＣＮＮという）５７の入力層に対して入力する。そして、危険判定ＣＮＮ５７では、入力層での処理を行った後の出力データである各ニューロンにウェイト（重み係数）を乗じたデータを次の中間層に対して入力する。そして、中間層においても同様に中間層での処理を行った後の出力データである各ニューロンにウェイト（重み係数）を乗じたデータを次の出力層に対して入力する。そして、出力層において中間層から入力されたデータを用いて最終的な危険因子の判定を行い、判定結果が出力される。尚、危険判定ＣＮＮ５７は、学習が進むことによって、上記ウェイト（重み係数）がより適した値に適宜変更され、設定されることとなる。本実施形態では、特に第１の中間層が危険判定エリアにある物体の位置及び動きを検出する層であり、第２の中間層が検出された物体の位置や動きを車両の周辺状況（シーン）として認識を行う層であり、出力層が車両の周辺状況（シーン）から危険因子の判定を行う層となる。

そして、Ｓ３１においてＣＰＵ４１は、上述した学習モデルの危険判定ＣＮＮ５７の第１の中間層において、前記Ｓ２１で入力された撮像画像５１の撮像タイミングにおいて車両の周辺環境の内、特に危険判定エリア５４にある物体の位置や動きを検出する。

次に、Ｓ３２においてＣＰＵ４１は、上述した学習モデルの危険判定ＣＮＮ５７の第２の中間層において、前記Ｓ２１で入力された撮像画像５１の撮像タイミングにおいて車両の周辺環境の内、特に危険判定エリア５４に生じている周辺状況（シーン）を認識する。特に本実施形態では、シーンを文章化することにより認識する。例えば、図９に示す例において第２の中間層ではニューロン（シーン）として『自転車が交差道路を横断しようとしている』、『進行先を横断する歩行者がいない』、『渋滞車列により見えていない交差道路ある』が存在する。尚、前記Ｓ３２のシーンの認識結果は、認識した日時と紐付けてフラッシュメモリ４４等に一定期間保存される。尚、文章化する言語はどの言語でも良いが、シーンを明確で簡潔に表現できる言語（例えば英語等）であることが望ましい。

続いてＳ３３においてＣＰＵ４１は、上述した学習モデルの危険判定ＣＮＮ５７の出力層において、第２の中間層から入力された車両の周辺状況（シーン）に基づいて、危険因子の判定を行う。尚、危険判定ＣＮＮ５７は、学習が進むことによって、中間層と出力層との間のウェイト（重み係数）がより適した値に適宜変更されるので、同じシーンが第２の中間層から入力された場合であっても学習段階が異なっていれば異なる判定結果となる場合がある。例えば、初期段階では歩行者を重視したウェイト（重み係数）の設定により危険因子の判定が行われていたが、その後、学習が進むことによって他車両が重視されるウェイト（重み係数）の設定へと変更される場合がある。その場合には、同じシーンであっても初期段階では危険因子が無いと判定されていたのに、後期段階では危険因子があると判定される可能性がある。

その後、Ｓ３４においてＣＰＵ４１は、最終的に車両の周辺環境において危険因子と判定された因子を全て抽出する。その後、Ｓ２へと移行し、上述したように抽出された危険因子についての案内が行われる。

以上詳細に説明した通り、本実施形態に係るナビゲーション装置１及びナビゲーション装置１で実行されるコンピュータプログラムでは、車両の周辺環境を撮像した撮像画像を取得し（Ｓ２４）、撮像画像に基づいて車両の周辺環境にある危険因子を抽出し（Ｓ３４）、抽出された危険因子毎に時間経過に伴う運転者の当該危険因子の視認態様の変化に基づいて当該危険因子の車両への危険の度合いを示す危険度を特定し（ＳＳ４〜Ｓ７）、抽出された全ての危険因子の危険度の合計を算出した後に、合計値に基づく態様で危険因子を出力する（Ｓ１０、Ｓ１１）ので、車両の周辺環境にある危険因子の危険度を、時間経過に伴う運転者の危険因子への視認態様の変化についても考慮して総合的に判断することによって、現時点で危険度の低い危険因子であっても出力対象から一律に除かれることなく、危険因子をより適切な態様で出力することが可能となる。特に時間経過に伴う危険因子の視認態様の変化に応じて危険度を特定するので、危険因子が今後に車両に対してどのように影響するかについても考慮して危険度を算出することが可能となる。

尚、本発明は前記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々の改良、変形が可能であることは勿論である。
例えば、本実施形態では機械学習として特に多層構造の畳み込みニューラルネットワークを用いた機械学習（Deep Learning）を用いているが、その他の機械学習を用いることも可能である。

また、本実施形態では総合危険度が閾値未満の場合には、抽出された危険因子を個々に案内し（Ｓ１０）、総合危険度が閾値より大きい場合には更に危険度が高いことを案内している（Ｓ１１）が、Ｓ１０とＳ１１の案内態様については適宜変更可能である。但し、Ｓ１０よりもＳ１１において危険因子を運転者により強く認識させる案内態様とする。

また、本実施形態では学習モデルにおいて危険判定エリアにある物体の位置及び動きを検出する第１の中間層と、物体の位置や動きを車両の周辺状況（シーン）として認識を行う第２の中間層を有しているが、中間層の数は１又は３以上あっても良い。

また、本実施形態では車両の周辺状況（シーン）から危険因子の判定を行う層を出力層としているが、中間層であっても良い。その場合には更新プログラムによって更新対象となるのは中間層となる。

また、本実施形態では走行支援処理プログラム（図２）はナビゲーション装置１が実施しているが、ナビゲーション装置以外の車載器が実施する構成としても良い。また、車載器が全ての処理を実施するのではなく、一部の処理を外部サーバが実施することとしても良い。

また、本発明に係る走行支援装置を具体化した実施例について上記に説明したが、走行支援装置は以下の構成を有することも可能であり、その場合には以下の効果を奏する。

例えば、第１の構成は以下のとおりである。
車両の周辺環境を撮像した撮像画像を取得する周辺環境撮像手段（４１）と、前記撮像画像に基づいて、前記車両の周辺環境にある危険因子を抽出する危険因子抽出手段（４１）と、前記危険因子抽出手段により抽出された危険因子毎に、時間経過に伴う運転者の当該危険因子の視認態様の変化に基づいて当該危険因子の前記車両への危険の度合いを示す危険度を特定する危険度特定手段（４１）と、前記危険因子抽出手段により抽出された全ての危険因子の危険度の合計を算出する危険度算出手段（４１）と、前記危険度の合計に基づく態様で前記危険因子を出力する出力手段（４１）と、を有する。
上記構成を有する走行支援装置によれば、車両の周辺環境にある危険因子の危険度を、時間経過に伴う運転者の危険因子への視認態様の変化についても考慮して総合的に判断することによって、現時点で危険度の低い危険因子であっても出力対象から一律に除かれることなく、危険因子をより適切な態様で出力することが可能となる。特に時間経過に伴う危険因子の視認態様の変化に応じて危険度を特定するので、危険因子が今後に車両に対してどのように影響するかについても考慮して危険度を算出することが可能となる。

また、第２の構成は以下のとおりである。
前記危険度特定手段（４１）は、前記危険因子が前記車両の運転者から視認できない物体に基づく危険因子である場合には、視認できる物体に基づく危険因子である場合よりも高い危険度に特定する。
上記構成を有する走行支援装置によれば、危険因子が運転者の死角にあって、危険因子の存在をより運転者に強く認識させるべき状況では、危険因子の存在をより運転者に強く認識させる為の態様で危険因子を出力することが可能となる。

また、第３の構成は以下のとおりである。
前記車両を運転する運転者の視野を取得する視野取得手段（４１）を有し、前記危険度特定手段（４１）は、前記運転者の視野の中心から遠い位置にある前記危険因子程、高い危険度に特定する。
上記構成を有する走行支援装置によれば、危険因子が運転者の視野の中心から遠くにあり、危険因子の存在をより運転者に強く認識させるべき状況では、危険因子の存在をより運転者に強く認識させる為の態様で危険因子を出力することが可能となる。

また、第４の構成は以下のとおりである。
前記車両を運転する運転者の属性又は前記危険因子を抽出した際の前記車両の車両状況に基づいて閾値を設定する閾値設定手段（４１）を有し、前記出力手段（４１）は、前記危険度の合計と前記閾値との比較結果に基づく態様で前記危険因子を出力する。
上記構成を有する走行支援装置によれば、車両を運転する運転者の属性又は危険因子を抽出した際の車両の車両状況に基づいて、危険因子のより適切な出力態様を選択することが可能となる。

また、第５の構成は以下のとおりである。
前記出力手段（４１）は、前記危険度の合計が前記閾値より大きい場合には、前記閾値より小さい場合よりも前記危険因子の存在をより運転者に強く認識させる態様で前記危険因子を出力する。
上記構成を有する走行支援装置によれば、特に危険因子の存在をより運転者に強く認識させるべき状況では、危険因子の存在をより運転者に強く認識させる為の態様で危険因子を出力することが可能となる。

また、第６の構成は以下のとおりである。
前記危険因子の抽出は、多層構造のニューラルネットワークを用いた機械学習により前記車両の周辺環境にある危険因子を抽出する。
上記構成を有する走行支援装置によれば、多層構造のニューラルネットワークを用いた機械学習によって、画像の特徴をより深いレベルで学習し、非常に高い精度で特徴を認識できるので、危険因子のより正確な抽出が可能となる。

１ ナビゲーション装置
２ 走行支援システム
４ サーバ装置
１３ ナビゲーションＥＣＵ
１９ 車外カメラ
３１ 地図情報ＤＢ
３２ 撮像画像ＤＢ
３３ ２次元地図情報
３４ ３次元地図情報
４１ ＣＰＵ
４２ ＲＡＭ
４３ ＲＯＭ
５１ 撮像画像
５２ 俯瞰画像
５４ 危険判定エリア
５５ 畳み込みＣＮＮ
５７ 危険判定ＣＮＮ

Claims (7)

1. 車両の周辺環境を撮像した撮像画像を取得する周辺環境撮像手段と、
   前記撮像画像に基づいて、前記車両の周辺環境にある危険因子を抽出する危険因子抽出手段と、
   前記危険因子抽出手段により抽出された危険因子毎に、時間経過に伴う運転者の当該危険因子の視認態様の変化に基づいて当該危険因子の前記車両への危険の度合いを示す危険度を特定する危険度特定手段と、
   前記危険因子抽出手段により抽出された全ての危険因子の危険度の合計を算出する危険度算出手段と、
   前記危険度の合計に基づく態様で前記危険因子を出力する出力手段と、を有する走行支援装置。
2. 前記危険度特定手段は、前記危険因子が前記車両の運転者から視認できない物体に基づく危険因子である場合には、視認できる物体に基づく危険因子である場合よりも高い危険度に特定する請求項１に記載の走行支援装置。
3. 前記車両を運転する運転者の視野を取得する視野取得手段を有し、
   前記危険度特定手段は、前記運転者の視野の中心から遠い位置にある前記危険因子程、高い危険度に特定する請求項１又は請求項２に記載の走行支援装置。
4. 前記車両を運転する運転者の属性又は前記危険因子を抽出した際の前記車両の車両状況に基づいて閾値を設定する閾値設定手段を有し、
   前記出力手段は、前記危険度の合計と前記閾値との比較結果に基づく態様で前記危険因子を出力する請求項１乃至請求項３のいずれかに記載の走行支援装置。
5. 前記出力手段は、前記危険度の合計が前記閾値より大きい場合には、前記閾値より小さい場合よりも前記危険因子の存在をより運転者に強く認識させる態様で前記危険因子を出力する請求項４に記載の走行支援装置。
6. 前記危険因子の抽出は、多層構造のニューラルネットワークを用いた機械学習により前記車両の周辺環境にある危険因子を抽出する請求項１乃至請求項５のいずれかに記載の走行支援装置。
7. コンピュータを、
   車両の周辺環境を撮像した撮像画像を取得する周辺環境撮像手段と、
   前記撮像画像に基づいて、前記車両の周辺環境にある危険因子を抽出する危険因子抽出手段と、
   前記危険因子抽出手段により抽出された危険因子毎に、時間経過に伴う運転者の当該危険因子の視認態様の変化に基づいて当該危険因子の前記車両への危険の度合いを示す危険度を特定する危険度特定手段と、
   前記危険因子抽出手段により抽出された全ての危険因子の危険度の合計を算出する危険度算出手段と、
   前記危険度の合計に基づく態様で前記危険因子を出力する出力手段と、
   して機能させる為のコンピュータプログラム。