JP2021157248A - 状況出力装置 - Google Patents

Abstract

【課題】ヒヤリハット等の発生した状況を推定する。【解決手段】状況出力装置１は、視覚顕著性演算部３が、移動体から外部を撮像した画像に基づいて、その画像内における視覚顕著性の高低を推測して得られた視覚顕著性マップを取得する。次に、移動体の移動環境の視覚的傾向として、視覚的注意集中度演算部４が視覚顕著性マップと予め画像に定めた理想視線とに基づいて画像における視覚的注意集中度Ｐｓを取得し、脇見傾向演算部５が視覚顕著性マップに基づいて脇見の傾向を判定し、単調傾向演算部６が視覚顕著性マップに基づいて当該画像が単調傾向か判定し、視認負荷傾向演算部８が視覚顕著性マップに基づいて当該画像について視認負荷が大きいか判定する。そして、状況出力部７が、取得された視覚的注意集中度Ｐｓと、脇見の傾向の判定結果と、単調傾向の判定結果と、視認負荷傾向の判定結果に基づいて取得した画像の状況を出力する。【選択図】図１

Description

本発明は、移動体から外部を撮像した画像に基づく状況を出力する状況出力装置に関する。

例えばドライブレコーダにおいては、車両の加速度に基づいて事故又はヒヤリハット等の発生を検出して、その発生前後の画像を記録している。

特許文献１には、車両から送信された車両情報と、過去に発生した事故・ヒヤリハットについて蓄積された車両情報とを比較して、共通点を特定する共通点特定部２２０と、共通点に基づいて、車両に発生した事故・ヒヤリハットの要因が環境要因であるか否かを推定する環境要因推定部２３０と、共通点に基づいて、車両に発生した事故・ヒヤリハットの要因がドライバ要因であるか否かを推定するドライバ要因推定部２４０と、環境要因推定部２３０およびドライバ要因推定部２４０による推定結果に基づいて、車両の事故・ヒヤリハットの主要因を決定する要因判定部２５０と、を備える要因分析装置が記載されている。

特開２０１６−７１４９２号公報

特許文献１に記載の発明は、ヒヤリハット等の要因を推定するために、エリア、日時、天気、車両の情報、車外センサデータ、ドライバデータといった様々な情報を収集している。そのため、車両内外の情報を取得するため、センサとの通信手段等を設ける必要があり、容易に実施することができない。

また、特許文献１に記載の発明では、推定要因として見通しの悪いカーブといった特定の要因しか記録されない。そのため、なぜ、その要因が発生したかといったことは、詳細な状況を確認する必要が生じ、ヒヤリハット等が発生した画像を再度確認したり、ドライバ本人から聞き取り等をする必要があり手間を要していた。

本発明が解決しようとする課題としては、ヒヤリハット等の発生した状況を推定することが一例として挙げられる。

上記課題を解決するために、請求項１に記載の発明は、移動体から外部を撮像した画像に基づいて、その画像内における視覚顕著性の高低を推測して得られた視覚顕著性分布情報を取得する視覚顕著性分布情報取得部と、前記視覚顕著性分布情報に基づいて、前記移動体の移動環境の視覚的傾向を取得する視覚特徴量抽出部と、前記視覚的傾向に基づいて前記画像の状況を出力する状況出力部と、を備えることを特徴としている。

請求項１３に記載の発明は、移動体から外部を撮像した画像に基づく状況を出力する状況出力装置で実行される状況出力方法であって、前記画像に基づいて、その画像内における視覚顕著性の高低を推測して得られた視覚顕著性分布情報を取得する視覚顕著性分布情報取得工程と、前記視覚顕著性分布情報に基づいて、前記移動体の移動環境の視覚的傾向を取得する視覚特徴量抽出工程と、前記視覚的傾向に基づいて取得した前記画像の状況を出力する状況出力工程と、を含むことを特徴としている。

請求項１４に記載の発明は、請求項１３に記載の状況出力方法をコンピュータにより実行させることを特徴としている。

請求項１５に記載の発明は、請求項１４に記載の状況出力プログラムを格納したことを特徴としている。

本発明の第１の実施例にかかる判定装置を有するシステムの概略構成図である。 図１に示された状況出力装置の機能構成図である。 図１に示された視覚顕著性演算部の構成を例示するブロック図である。 （ａ）は判定装置へ入力する画像を例示する図であり、（ｂ）は（ａ）に対し推定される、視覚顕著性マップを例示する図である。 図１に示された視覚顕著性演算部の処理方法を例示するフローチャートである。 非線形写像部の構成を詳しく例示する図である。 中間層の構成を例示する図である。 （ａ）および（ｂ）はそれぞれ、フィルタで行われる畳み込み処理の例を示す図である。 （ａ）は、第１のプーリング部の処理を説明するための図であり、（ｂ）は、第２のプーリング部の処理を説明するための図であり、（ｃ）は、アンプーリング部の処理を説明するための図である。 図１に示された視覚的注意集中度演算部の構成を例示するブロック図である。 ベクトル誤差の説明図である。 図１に示された画像入力部に入力された画像と、その画像から取得された視覚顕著性マップの例である。 視覚的注意集中度の時間的変化の例を示したグラフである。 図１に示された脇見傾向演算部の構成を例示するブロック図である。 注視エリアの設定方法の説明図である。 脇見検出エリアの説明図である。 他の脇見検出エリアの説明図である。 図１に示された脇見傾向演算部の動作のフローチャートである。 図１に示された単調傾向演算部の動作のフローチャートである。 単調傾向演算部の変形例にかかる動作のフローチャートである。 自己相関の演算結果の例である。 図１に示された視認負荷傾向演算部の機能構成図である。 図２２に示された視認負荷傾向演算部における各機能の動作を示した波形図である。 図１に示された状況出力部における文章化の例を示した説明図（その１）である。 図１に示された状況出力部における文章化の例を示した説明図（その２）である。 図１に示された状況出力装置の動作のフローチャートである。 図１に示された状況出力部が出力する画面例である。 図１に示された状況出力装置の変形例である。

以下、本発明の一実施形態にかかる状況出力装置を説明する。本発明の一実施形態にかかる状況出力装置は、視覚顕著性分布情報取得部が、移動体から外部を撮像した画像に基づいて、その画像内における視覚顕著性の高低を推測して得られた視覚顕著性分布情報を取得し、視覚特徴量抽出部が、視覚顕著性分布情報に基づいて、移動体の移動環境の視覚的傾向を取得する。そして、状況出力部が、視覚的傾向に基づいて取得した画像の状況を出力する。このようにすることにより、視覚顕著性分布情報に基づいた視覚的傾向から画像の状況を出力することができる。したがって、画像のみで状況を解析することが可能となり、ヒヤリハット等の発生した状況が当該画像を確認しなくても推定できる。

また、状況出力部は、画像の状況を文字情報として出力してもよい。このようにすることにより、画像の状況を文章等として出力することができ、報告書等に作成に役立てることができる。

また、状況出力部は、状況出力部は、視覚的傾向に基づいて取得される複数の情報のそれぞれに基づく複数のキーワードを組み合わせた文字情報を出力してもよい。このようにすることにより、特定の要因のみでなく、複数の要因が関連する文章として状況を組み立てることができる。したがって、詳細な状況が把握しやすくなる。

また、視覚特徴量抽出部は、視覚顕著性分布情報と予め画像に定めた基準視線位置とに基づいて画像における視覚的注意の集中度を示す情報を取得する視覚的注意集中度取得部を備えてもよい。このようにすることにより、視覚的注意の集中度に基づいて画像の状況を推定することができる。

また、視覚的注意集中度取得部は、視覚顕著性分布情報を構成する各画素の値と、前記各画素の位置と前記基準視線位置の座標位置とのベクトル誤差と、に基づいて視覚的注意の集中度を取得してもよい。このようにすることにより、視覚顕著性が高い位置と基準視線位置との差に応じた値が視覚的注意の集中度として算出される。したがって、例えば、視覚顕著性が高い位置と基準視線位置との距離に応じて視覚的注意の集中度の値が変化するようにできる。

また、視覚特徴量抽出部は、視覚顕著性分布情報に基づいて脇見の傾向を示す情報を取得する脇見取得部を備えてもよい。このようにすることにより、脇見の傾向を示す情報に基づいて画像の状況を推定することができる。

また、脇見取得部は、視覚顕著性分布情報における少なくとも１つのピーク位置を時系列に検出するピーク位置検出部と、画像における前記移動体の運転者が注視すべき範囲を設定する注視範囲設定部と、を備え、ピーク位置が前記注視すべき範囲から所定時間以上連続して外れていた場合は脇見の傾向がある旨の情報を出力してもよい。この視覚顕著性分布情報には、統計的なヒトの視線の集まりやすさを示している。したがって、視覚顕著性分布情報のピークは、その中で最も統計的にヒトの視線が集まりやすい位置を示している。そのため、視覚的顕著性分布情報を用いることで、実際の運転手の視線を計測することなく、簡易な構成で脇見の傾向を検出することができる。

また、視覚特徴量抽出部は、視覚顕著性分布情報に基づいて当該画像が単調傾向を示す情報を取得する単調取得部を備えてもよい。このようにすることにより、単調傾向を示す情報に基づいて画像の状況を推定することができる。

また、単調取得部は、視覚顕著性分布情報に基づいて算出された統計量を用いて単調傾向を示す情報を取得してもよい。このようにすることにより、撮像した画像から、人間の注視し易い位置に基づき単調傾向か判定可能となる。人間（運転者）の注視し易い位置に基づいて判定されるため、運転者が単調と感じるのと近い傾向で判定することができ、より精度良く判定することができる。

また、視覚特徴量抽出部は、視覚顕著性分布情報に基づいて当該画像が視認負荷傾向を示す情報を取得する視認負荷取得部を備えてもよい。このようにすることにより、視認負荷傾向を示す情報に基づいて画像の状況を推定することができる。

また、状況出力部が出力した状況を運転者毎に蓄積する蓄積部と、蓄積部に蓄積された状況に基づいて、運転者の運転傾向を解析して解析結果を出力する解析部と、を備えてもよい。このようにすることにより、運転者の運転の傾向を解析することが可能となり、解析結果を用いて指導等をすることが可能となる。

また、視覚顕著性分布情報取得部は、画像を写像処理可能な中間データに変換する入力部と、中間データを写像データに変換する非線形写像部と、写像データに基づき顕著性分布を示す顕著性推定情報を生成する出力部と、を備え、非線形写像部は、中間データに対し特徴の抽出を行う特徴抽出部と、特徴抽出部で生成されたデータのアップサンプルを行うアップサンプル部と、を備えてもよい。このようにすることにより、小さな計算コストで、視覚顕著性を推定することができる。また、このようにして推定した視覚顕著性は、文脈的な注意状態を反映したものとなる。

また、本発明の一実施形態にかかる状況出力方法は、視覚顕著性分布情報取得工程で、移動体から外部を撮像した画像に基づいて、その画像内における視覚顕著性の高低を推測して得られた視覚顕著性分布情報を取得し、視覚特徴量抽出工程で、視覚顕著性分布情報に基づいて、移動体の移動環境の視覚的傾向を取得する。そして、状況出力工程で、視覚的傾向に基づいて取得した画像の状況を出力する。このようにすることにより、視覚顕著性分布情報に基づいた視覚的傾向から画像の状況を出力することができる。したがって、画像のみで状況を解析することが可能となり、ヒヤリハット等の発生した状況を推定することができる。

また、上述した状況出力方法を、コンピュータにより実行させている。このようにすることにより、コンピュータを用いて視覚顕著性分布情報に基づいた視覚的傾向から画像の状況を出力することができる。したがって、画像のみで状況を解析することが可能となり、ヒヤリハット等の発生した状況を推定することができる。

また、上述した状況出力プログラムをコンピュータ読み取り可能な記憶媒体に格納してもよい。このようにすることにより、当該プログラムを機器に組み込む以外に単体でも流通させることができ、バージョンアップ等も容易に行える。

本発明の一実施例にかかる状況出力装置を図１〜図２８を参照して説明する。本実施例にかかる状況出力装置は、事業所等に設置されるサーバ装置等で構成してもよいが自動車等の移動体に設置してもよい（図１を参照）。状況出力装置は、主には走行後等に解析を行うが、リアルタイムに解析してもよい。

図１は、状況出力装置をサーバ装置で構成した例である。図１では、車両Ｖに搭載されているドライブレコーダ１１において、加速度センサ等の車両挙動検出部１２によって急制動や急加速、その他の衝撃等により大きな加速度が検出された場合に、その前後の所定期間の画像（動画像）をインターネット等のネットワークＮを介して判定装置１に送信している。なお、図２に示した車両挙動検出部１２は、加速度センサに限らず、車両Ｖに搭載されているＡＢＳ（Anti-lock Braking System）や横滑り防止装置等であってもよい。これらの装置（センサ）が作動したことをトリガとして前後の所定期間の画像を送信あるいは保存すればよい。このような急制動等が検出された画像を後述する処理の対象とすることで、ある程度絞られた画像に対して処理を実行することができ、処理を行う時間（処理量）を削減することができる。なお、図１のような通信で送信する形態に限らず、サーバ装置１に接続されたハードディスクドライブやメモリカード等の記録媒体から読み出した画像であってもよい。また、状況出力装置は、サーバ装置に限らず、後述する各ブロック等が組み込まれた車載機器や、自宅や事業所のＰＣ端末であってもよいし、これらの機器とサーバとで処理を分散するように構成されていてもよい。

図２に示したように、状況出力装置１は、画像入力部２と、視覚顕著性演算部３と、視覚的注意集中度演算部４と、脇見傾向演算部５と、単調傾向演算部６と、状況出力部７と、視認負荷傾向演算部８と、を備えている。

画像入力部２は、例えばカメラなどで撮像された画像（例えば動画像）が入力され、その画像を画像データとして出力する。なお、入力された動画像は、例えばフレーム毎等の時系列に分解された画像データとして出力する。画像入力部２に入力される画像として静止画を入力してもよいが、時系列に沿った複数の静止画からなる画像群として入力するのが好ましい。

画像入力部２に入力される画像は、例えば車両の進行方向が撮像された画像が挙げられる。つまり、移動体から外部を連続的に撮像した画像とする。この画像はいわゆるパノラマ画像や複数カメラを用いて取得した画像等の水平方向に１８０°や３６０°等進行方向以外が含まれる画像であってもよい。また、画像入力部２には入力されるのは、カメラで撮像された画像に限らず、ハードディスクドライブやメモリカード等の記録媒体から読み出した画像であってもよい。

視覚顕著性演算部３は、画像入力部２から画像データが入力され、後述する視覚顕著性推定情報として視覚顕著性マップを出力する。即ち、視覚顕著性演算部３は、移動体から外部を撮像した画像に基づいて視覚顕著性の高低を推測して得られた視覚顕著性マップ（視覚顕著性分布情報）を取得する視覚顕著性分布情報取得部として機能する。

図３は、視覚顕著性演算部３の構成を例示するブロック図である。本実施例に係る視覚顕著性演算部３は、入力部３１０、非線形写像部３２０、出力部３３０および記憶部３９０を備える。入力部３１０は、画像を写像処理可能な中間データに変換する。非線形写像部３２０は、中間データを写像データに変換する。出力部３３０は、写像データに基づき顕著性分布を示す顕著性推定情報を生成する。そして、非線形写像部３２０は、中間データに対し特徴の抽出を行う特徴抽出部３２１と、特徴抽出部３２１で生成されたデータのアップサンプルを行うアップサンプル部３２２とを備える。記憶部３９０は、画像入力部２から入力された画像データや後述するフィルタの係数等が保持されている。以下に詳しく説明する。

図４（ａ）は、視覚顕著性演算部３へ入力する画像を例示する図であり、図４（ｂ）は、図４（ａ）に対し推定される、視覚顕著性分布を示す画像を例示する図である。本実施例に係る視覚顕著性演算部３は、画像における各部分の視覚顕著性を推定する装置である。視覚顕著性とは例えば、目立ちやすさや視線の集まりやすさを意味する。具体的には視覚顕著性は、確率等で示される。ここで、確率の大小は、たとえばその画像を見た人の視線がその位置に向く確率の大小に対応する。

図４（ａ）と図４（ｂ）とは、互いに位置が対応している。そして、図４（ａ）において、視覚顕著性が高い位置ほど、図４（ｂ）において輝度が高く表示されている。図４（ｂ）のような視覚顕著性分布を示す画像は、出力部３３０が出力する視覚顕著性マップの一例である。本図の例において、視覚顕著性は、２５６階調の輝度値で可視化されている。出力部３３０が出力する視覚顕著性マップの例については詳しく後述する。

図５は、本実施例に係る視覚顕著性演算部３の動作を例示するフローチャートである。図５に示したフローチャートは、コンピュータによって実行される状況出力方法の一部であって、入力ステップＳ１１５、非線形写像ステップＳ１２０、および出力ステップＳ１３０を含む。入力ステップＳ１１５では、画像が写像処理可能な中間データに変換される。非線形写像ステップＳ１２０では、中間データが写像データに変換される。出力ステップＳ１３０では、写像データに基づき顕著性分布を示す視覚顕著性推定情報（視覚顕著性分布情報）が生成される。ここで、非線形写像ステップＳ１２０は、中間データに対し特徴の抽出を行う特徴抽出ステップＳ１２１と、特徴抽出ステップＳ１２１で生成されたデータのアップサンプルを行うアップサンプルステップＳ１２２とを含む。

図３に戻り、視覚顕著性演算部３の各構成要素について説明する。入力ステップＳ１１５において入力部３１０は、画像を取得し、中間データに変換する。入力部３１０は、画像データを画像入力部２から取得する。そして入力部３１０は、取得した画像を中間データに変換する。中間データは非線形写像部３２０が受け付け可能なデータであれば特に限定されないが、たとえば高次元テンソルである。また、中間データはたとえば、取得した画像に対し輝度を正規化したデータ、または、取得した画像の各画素を、輝度の傾きに変換したデータである。入力ステップＳ１１５において入力部３１０は、さらに画像のノイズ除去や解像度変換等を行っても良い。

非線形写像ステップＳ１２０において、非線形写像部３２０は入力部３１０から中間データを取得する。そして、非線形写像部３２０において中間データが写像データに変換される。ここで、写像データは例えば高次元テンソルである。非線形写像部３２０で中間データに施される写像処理は、たとえばパラメータ等により制御可能な写像処理であり、関数、汎関数、またはニューラルネットワークによる処理であることが好ましい。

図６は、非線形写像部３２０の構成を詳しく例示する図であり、図７は、中間層３２３の構成を例示する図である。上記した通り、非線形写像部３２０は、特徴抽出部３２１およびアップサンプル部３２２を備える。特徴抽出部３２１において特徴抽出ステップＳ１２１が行われ、アップサンプル部３２２においてアップサンプルステップＳ１２２が行われる。また、本図の例において、特徴抽出部３２１およびアップサンプル部３２２の少なくとも一方は、複数の中間層３２３を含むニューラルネットワークを含んで構成される。ニューラルネットワークにおいては、複数の中間層３２３が結合されている。

特にニューラルネットワークは畳み込みニューラルネットワークであることが好ましい。具体的には、複数の中間層３２３のそれぞれは、一または二以上の畳み込み層３２４を含む。そして、畳み込み層３２４では、入力されたデータに対し複数のフィルタ３２５による畳み込みが行われ、複数のフィルタ３２５の出力に対し活性化処理が施される。

図６の例において、特徴抽出部３２１は、複数の中間層３２３を含むニューラルネットワークを含んで構成され、複数の中間層３２３の間に第１のプーリング部３２６を備える。また、アップサンプル部３２２は、複数の中間層３２３を含むニューラルネットワークを含んで構成され、複数の中間層３２３の間にアンプーリング部３２８を備える。さらに、特徴抽出部３２１とアップサンプル部３２２とは、オーバーラッププーリングを行う第２のプーリング部３２７を介して互いに接続されている。

なお、本図の例において各中間層３２３は、二以上の畳み込み層３２４からなる。ただし、少なくとも一部の中間層３２３は、一の畳み込み層３２４のみからなってもよい。互いに隣り合う中間層３２３は、第１のプーリング部３２６、第２のプーリング部３２７およびアンプーリング部３２８のいずれかで区切られる。ここで、中間層３２３に二以上の畳み込み層３２４が含まれる場合、それらの畳み込み層３２４におけるフィルタ３２５の数は互いに等しいことが好ましい。

本図では、「Ａ×Ｂ」と記された中間層３２３は、Ｂ個の畳み込み層３２４からなり、各畳み込み層３２４は、各チャネルに対しＡ個の畳み込みフィルタを含むことを意味している。このような中間層３２３を以下では「Ａ×Ｂ中間層」とも呼ぶ。たとえば、６４×２中間層３２３は、２個の畳み込み層３２４からなり、各畳み込み層３２４は、各チャネルに対し６４個の畳み込みフィルタを含むことを意味している。

本図の例において、特徴抽出部３２１は、６４×２中間層３２３、１２８×２中間層３２３、２５６×３中間層３２３、および、５１２×３中間層３２３をこの順に含む。また、アップサンプル部３２２は、５１２×３中間層３２３、２５６×３中間層３２３、１２８×２中間層３２３、および６４×２中間層３２３をこの順に含む。また、第２のプーリング部３２７は、２つの５１２×３中間層３２３を互いに接続している。なお、非線形写像部３２０を構成する中間層３２３の数は特に限定されず、たとえば画像データの画素数に応じて定めることができる。

なお、本図は非線形写像部３２０の構成の一例であり、非線形写像部３２０は他の構成を有していても良い。たとえば、６４×２中間層３２３の代わりに６４×１中間層３２３が含まれても良い。中間層３２３に含まれる畳み込み層３２４の数が削減されることで、計算コストがより低減される可能性がある。また、たとえば、６４×２中間層３２３の代わりに３２×２中間層３２３が含まれても良い。中間層３２３のチャネル数が削減されることで、計算コストがより低減される可能性がある。さらに、中間層３２３における畳み込み層３２４の数とチャネル数との両方を削減しても良い。

ここで、特徴抽出部３２１に含まれる複数の中間層３２３においては、第１のプーリング部３２６を経る毎にフィルタ３２５の数が増加することが好ましい。具体的には、第１の中間層３２３ａと第２の中間層３２３ｂとが、第１のプーリング部３２６を介して互いに連続しており、第１の中間層３２３ａの後段に第２の中間層３２３ｂが位置する。そして、第１の中間層３２３ａは、各チャネルに対するフィルタ３２５の数がＮ１である畳み込み層３２４で構成されており、第２の中間層３２３ｂは、各チャネルに対するフィルタ
３２５の数がＮ２である畳み込み層３２４で構成されている。このとき、Ｎ２＞Ｎ１が成り立つことが好ましい。また、Ｎ２＝Ｎ１×２が成り立つことがより好ましい。

また、アップサンプル部３２２に含まれる複数の中間層３２３においては、アンプーリング部３２８を経る毎にフィルタ３２５の数が減少することが好ましい。具体的には、第３の中間層３２３ｃと第４の中間層３２３ｄとが、アンプーリング部３２８を介して互いに連続しており、第３の中間層３２３ｃの後段に第４の中間層３２３ｄが位置する。そして、第３の中間層３２３ｃは、各チャネルに対するフィルタ３２５の数がＮ３である畳み込み層３２４で構成されており、第４の中間層３２３ｄは、各チャネルに対するフィルタ３２５の数がＮ４である畳み込み層３２４で構成されている。このとき、Ｎ４＜Ｎ３が成り立つことが好ましい。また、Ｎ３＝Ｎ４×２が成り立つことがより好ましい。

特徴抽出部３２１では、入力部３１０から取得した中間データから勾配や形状など、複数の抽象度を持つ画像特徴を中間層３２３のチャネルとして抽出する。図７は、６４×２
中間層３２３の構成を例示している。本図を参照して、中間層３２３における処理を説明する。本図の例において、中間層３２３は第１の畳み込み層３２４ａと第２の畳み込み層３２４ｂとで構成されており、各畳み込み層３２４は６４個のフィルタ３２５を備える。第１の畳み込み層３２４ａでは、中間層３２３に入力されたデータの各チャネルに対して、フィルタ３２５を用いた畳み込み処理が施される。たとえば入力部３１０へ入力された画像がＲＧＢ画像である場合、３つのチャネルｈ^０ _ｉ（ｉ＝１．．３）のそれぞれに対して処理が施される。また、本図の例において、フィルタ３２５は６４種の３×３フィルタであり、すなわち合計６４×３種のフィルタである。畳み込み処理の結果、各チャネルｉに対して、６４個の結果ｈ^０ _ｉ，ｊ（ｉ＝１．．３，ｊ＝１．．６４）が得られる。

次に、複数のフィルタ３２５の出力に対し、活性化部３２９において活性化処理が行われる。具体的には、全チャネルの対応する結果ｊについて、対応する要素毎の総和に活性化処理が施される。この活性化処理により、６４チャネルの結果ｈ^１ _ｉ（ｉ＝１．．６４
）、すなわち、第１の畳み込み層３２４ａの出力が、画像特徴として得られる。活性化処理は特に限定されないが、双曲関数、シグモイド関数、および正規化線形関数の少なくともいずれかを用いる処理が好ましい。

さらに、第１の畳み込み層３２４ａの出力データを第２の畳み込み層３２４ｂの入力データとし、第２の畳み込み層３２４ｂにて第１の畳み込み層３２４ａと同様の処理を行って、６４チャネルの結果ｈ^２ _ｉ（ｉ＝１．．６４）、すなわち第２の畳み込み層３２４ｂの出力が、画像特徴として得られる。第２の畳み込み層３２４ｂの出力がこの６４×２中間層３２３の出力データとなる。

ここで、フィルタ３２５の構造は特に限定されないが、３×３の二次元フィルタであることが好ましい。また、各フィルタ３２５の係数は独立に設定可能である。本実施例において、各フィルタ３２５の係数は記憶部３９０に保持されており、非線形写像部３２０がそれを読み出して処理に用いることができる。ここで、複数のフィルタ３２５の係数は機械学習を用いて生成、修正された補正情報に基づいて定められてもよい。たとえば、補正情報は、複数のフィルタ３２５の係数を、複数の補正パラメータとして含む。非線形写像部３２０は、この補正情報をさらに用いて中間データを写像データに変換することができる。記憶部３９０は視覚顕著性演算部３に備えられていてもよいし、視覚顕著性演算部３の外部に設けられていてもよい。また、非線形写像部３２０は補正情報を、通信ネットワークを介して外部から取得しても良い。

図８（ａ）および図８（ｂ）はそれぞれ、フィルタ３２５で行われる畳み込み処理の例を示す図である。図８（ａ）および図８（ｂ）では、いずれも３×３畳み込みの例が示されている。図８（ａ）の例は、最近接要素を用いた畳み込み処理である。図８（ｂ）の例は、距離が二以上の近接要素を用いた畳み込み処理である。なお、距離が三以上の近接要素を用いた畳み込み処理も可能である。フィルタ３２５は、距離が二以上の近接要素を用いた畳み込み処理を行うことが好ましい。より広範囲の特徴を抽出することができ、視覚顕著性の推定精度をさらに高めることができるからである。

以上、６４×２中間層３２３の動作について説明した。他の中間層３２３（１２８×２中間層３２３、２５６×３中間層３２３、および、５１２×３中間層３２３等）の動作についても、畳み込み層３２４の数およびチャネルの数を除いて、６４×２中間層３２３の動作と同じである。また、特徴抽出部３２１における中間層３２３の動作も、アップサンプル部３２２における中間層３２３の動作も上記と同様である。

図９（ａ）は、第１のプーリング部３２６の処理を説明するための図であり、図９（ｂ）は、第２のプーリング部３２７の処理を説明するための図であり、図９（ｃ）は、アンプーリング部３２８の処理を説明するための図である。

特徴抽出部３２１において、中間層３２３から出力されたデータは、第１のプーリング部３２６においてチャネル毎にプーリング処理が施された後、次の中間層３２３に入力される。第１のプーリング部３２６ではたとえば、非オーバーラップのプーリング処理が行われる。図９（ａ）では、各チャネルに含まれる要素群に対し、２×２の４つの要素３０を１つの要素３０に対応づける処理を示している。第１のプーリング部３２６ではこのような対応づけが全ての要素３０に対し行われる。ここで、２×２の４つの要素３０は互いに重ならないよう選択される。本例では、各チャネルの要素数が４分の１に縮小される。なお、第１のプーリング部３２６において要素数が縮小される限り、対応づける前後の要素３０の数は特に限定されない。

特徴抽出部３２１から出力されたデータは、第２のプーリング部３２７を介してアップサンプル部３２２に入力される。第２のプーリング部３２７では、特徴抽出部３２１からの出力データに対し、オーバーラッププーリングが施される。図９（ｂ）では、一部の要素３０をオーバーラップさせながら、２×２の４つの要素３０を１つの要素３０に対応づける処理を示している。すなわち、繰り返される対応づけにおいて、ある対応づけにおける２×２の４つの要素３０のうち一部が、次の対応づけにおける２×２の４つの要素３０にも含まれる。本図のような第２のプーリング部３２７では要素数は縮小されない。なお、第２のプーリング部３２７において対応づける前後の要素３０の数は特に限定されない。

第１のプーリング部３２６および第２のプーリング部３２７で行われる各処理の方法は特に限定されないが、たとえば、４つの要素３０の最大値を１つの要素３０とする対応づけ（max pooling）や４つの要素３０の平均値を１つの要素３０とする対応づけ（average pooling）が挙げられる。

第２のプーリング部３２７から出力されたデータは、アップサンプル部３２２における中間層３２３に入力される。そして、アップサンプル部３２２の中間層３２３からの出力データはアンプーリング部３２８においてチャネル毎にアンプーリング処理が施された後、次の中間層３２３に入力される。図９（ｃ）では、１つの要素３０を複数の要素３０に拡大する処理を示している。拡大の方法は特に限定されないが、１つの要素３０を２×２の４つの要素３０へ複製する方法が例として挙げられる。

アップサンプル部３２２の最後の中間層３２３の出力データは写像データとして非線形写像部３２０から出力され、出力部３３０に入力される。出力ステップＳ１３０において出力部３３０は、非線形写像部３２０から取得したデータに対し、たとえば正規化や解像度変換等を行うことで視覚顕著性マップを生成し、出力する。視覚顕著性マップはたとえば、図４（ｂ）に例示したような視覚顕著性を輝度値で可視化した画像（画像データ）である。また、視覚顕著性マップはたとえば、ヒートマップのように視覚顕著性に応じて色分けされた画像であっても良いし、視覚顕著性が予め定められた基準より高い視覚顕著領域を、その他の位置とは識別可能にマーキングした画像であっても良い。さらに、視覚顕著性推定情報は画像等として示されたマップ情報に限定されず、視覚顕著領域を示す情報を列挙したテーブル等であっても良い。

視覚的注意集中度演算部４は、図１０に示したように、視線座標設定部４１と、ベクトル誤差演算部４２と、を備えている。

視線座標設定部４１は、後述する理想視線を視覚顕著性マップ上に設定する。理想視線とは、障害物や自分以外の交通参加者がいないという理想的な交通環境下で自動車の運転者が進行方向に沿って向ける視線をいう。画像データや視覚顕著性マップ上では（ｘ，ｙ）座標として取り扱う。なお、本実施例では理想視線は固定値とするが、移動体の停止距離に影響する速度や道路の摩擦係数の関数として扱ってもよいし、設定された経路情報を利用して決定されてもよい。また、理想視点を算出する方法として現走行路に対応する消失点を利用してもよい。その際に、自車両速度を検知して、理想視点を消失点と自車位置との間の２秒後や３秒後に設定してもよい。即ち、視線座標設定部４１は、予め定めた規則に従って画像における理想視線（基準視線位置）を設定する視線位置設定部として機能する。

ベクトル誤差演算部４２は、視覚顕著性演算部３が出力した視覚顕著性マップ及び当該視覚顕著性マップや画像に対して視線座標設定部４１が設定した理想視線に基づいてベクトル誤差を算出し、そのベクトル誤差に基づいて視覚的注意の集中度を示す後述する視覚的注意集中度Ｐｓを演算する。即ち、ベクトル誤差演算部４２は、視覚顕著性分布情報と視線位置とに基づいて画像における視覚的注意の集中度を算出する視覚的注意集中度算出部として機能する。

ここで、本実施例におけるベクトル誤差について図１１を参照して説明する。図１１は、視覚顕著性マップの例を示したものである。この視覚顕著性マップはＨ画素×Ｖ画素の２５６階調の輝度値で示されており、図４と同様に視覚顕著性が高い画素ほど輝度が高く表示されている。図１１において、理想視線の座標（ｘ，ｙ）＝（ｘ_ｉｍ，ｙ_ｉｍ）としたとき、視覚顕著性マップ内の任意の座標（ｋ，ｍ）の画素とのベクトル誤差を算出する。視覚顕著性マップにおいて輝度が高い座標と理想視線の座標とが離れている場合は、注視すべき位置と実際に注視し易い位置とが離れることを意味し、視覚的注意が散漫になり易い画像といえる。一方、輝度が高い座標と理想視線の座標とが近い場合は、注視すべき位置と実際に注視し易い位置とが近いことを意味し、注視すべき位置に視覚的注意が集中し易い画像といえる。

次に、ベクトル誤差演算部４における視覚的注意集中度Ｐｓの算出方法について説明する。本実施例では、視覚的注意集中度Ｐｓは次の（１）式により算出される。

（１）式において、Ｖ_ｖｃはピクセル深度（輝度値）、ｆ_ｗは重みづけ関数、ｄ_ｅｒｒはベクトル誤差を示している。この重みづけ関数は、例えばＶ_ｖｃの値を示す画素から理想視線の座標までの距離に基づいて重み設定される関数である。αは輝点１点の視覚顕著性マップ（リファレンスヒートマップ）における、輝点の座標と理想視線の座標が一致したときの視覚的注意集中度Ｐｓが１となるような係数である。

即ち、ベクトル誤差演算部４２は、視覚顕著性マップ（視覚顕著性分布情報）を構成する各画素の値と、各画素の位置と理想視線（基準視線位置）の座標位置とのベクトル誤差と、に基づいて視覚的注意の集中度を算出している。

このようにして得られた視覚的注意集中度Ｐｓは、視覚顕著性マップ上に設定した理想視線の座標からの全画素の座標のベクトル誤差と輝度値の関係を重みづけした上で合計したものの逆数である。この視覚的注意集中度Ｐｓは、理想視線の座標から視覚顕著性マップの輝度が高い分布が離れていると低い値が算出される。即ち、視覚的注意集中度Ｐｓは、理想視線に対する集中度ともいえる。即ち、視覚的注意集中度演算部４は、視覚顕著性マップ（視覚顕著性分布情報）と理想視線（予め画像に定めた基準視線位置）とに基づいて画像における視覚的注意集中度Ｐｓ（視覚的注意の集中度を示す情報）を取得する視覚的注意集中度取得部として機能する。

図１２に画像入力部２に入力された画像と、その画像から取得された視覚顕著性マップの例を示す。図１２（ａ）は入力画像、（ｂ）は視覚顕著性マップである。このような、図１２において、理想視線の座標を例えば前方を走行するトラック等の道路上に設定すると、その場合における視覚的注意集中度Ｐｓが算出される。

このようにして算出された視覚的注意集中度Ｐｓは、その時間的変化に基づいて画像入力部２から入力された画像が事故又はヒヤリハット等の移動体の走行中に安全上の問題が発生した疑いがあるか判定することができる。

図１３に視覚的注意集中度Ｐｓの時間的変化の例を示す。図１３は、１２秒間の動画像における視覚的注意集中度Ｐｓの変化を示している。図１３において、約６．５秒〜約７秒の間で視覚的注意集中度Ｐｓが急激に変化している。これは、例えば自車両の前方に他車両が割り込んだ場合等であり、このような変化を検出することでヒヤリハットとなる事象を検出することができる。

脇見傾向演算部５は、図１４に示したように、視覚顕著性ピーク検出部５３と、脇見傾向判定部５４と、を備えている。

視覚顕著性ピーク検出部５３は、視覚顕著性演算部３において取得した視覚顕著性マップにおいて、ピークとなる位置（画素）を検出する。ここで、本実施例においてピークとは画素値が最大値（輝度が最大）となる視覚顕著性が高い画素であり、位置は座標で表される。即ち、視覚顕著性ピーク検出部５３は、視覚顕著性マップ（視覚顕著性分布情報）における少なくとも１つのピーク位置を検出するピーク位置検出部として機能する。

脇見傾向判定部５４は、視覚顕著性ピーク検出部５３で検出されたピークとなる位置に基づいて、画像入力部２から入力された画像が脇見の傾向があるか判定する。脇見傾向判定部５４は、まず、画像入力部２から入力された画像について注視エリア（注視すべき範囲）を設定する。注視エリアの設定方法について図１５を参照して説明する。即ち、脇見傾向判定部５４は、画像における移動体の運転者が注視すべき範囲を設定する注視範囲設定部として機能する。

図１５に示した画像Ｐにおいて、注視エリアＧは、消失点Ｖの周囲に設定されている。即ち、注視エリアＧ（注視すべき範囲）を画像の消失点に基づいて設定している。この注視エリアＧは、予め注視エリアＧの大きさ（例えば幅３ｍ、高さ２ｍ）を設定し、画像Ｐの水平画素数、垂直画素数、水平画角、垂直画角、先行車両までの車間距離、画像を撮像しているドライブレコーダ等のカメラの取り付け高さ等から、設定した大きさの画素数を算出することが可能である。なお、消失点は、白線等から推定してもよいし、オプティカルフロー等を用いて推定してもよい。また、先行車両までの車間距離は、実際の先行車両を検出する必要はなく仮想的に設定するものでよい。

次に、設定した注視エリアＧに基づいて画像Ｐにおける脇見検出エリアを設定する（図１６の網掛け部分）。この脇見検出エリアは、上方エリアＩｕ、下方エリアＩｄ、左側方エリアＩｌ、右側方エリアＩｒがそれぞれ設定される。これらのエリアは、消失点Ｖと、注視エリアＧの各頂点を結ぶ線分により区分けされる。即ち、上方エリアＩｕと左側方エリアＩｌとは、消失点Ｖと注視エリアＧの頂点Ｇａとを結ぶ線分Ｌ１により区切られている。上方エリアＩｕと右側方エリアＩｒとは、消失点Ｖと注視エリアＧの頂点Ｇｄとを結ぶ線分Ｌ２により区切られている。下方エリアＩｄと左側方エリアＩｌとは、消失点Ｖと注視エリアＧの頂点Ｇｂとを結ぶ線分Ｌ３により区切られている。下方エリアＩｄと右側方エリアＩｒとは、消失点Ｖと注視エリアＧの頂点Ｇｃとを結ぶ線分Ｌ４により区切られている。

なお、脇見検出エリアは図１６に示したような区分けに限らない。例えば、図１７に示したようにしてもよい。図１７は、注視エリアＧの各辺を延長した線分により脇見検出エリアを区分けしている。図１７の方法は、形状が単純になるので、脇見検出エリアの区分けにかかる処理を軽減することができる。

次に、脇見傾向判定部５４における脇見傾向の判定について説明する。視覚顕著性ピーク検出部５３で検出されたピーク位置が、所定時間以上注視エリアＧから連続して外れていた場合は脇見傾向であると判定する。ここで、所定時間は例えば２秒とすることができるが適宜変更してもよい。即ち、脇見傾向判定部５４は、ピーク位置が注視すべき範囲から所定時間以上連続して外れていたか判定している。よって、脇見傾向演算部５は、視覚顕著性マップ（視覚顕著性分布情報）に基づいて脇見の傾向を示す情報を取得する脇見取得部として機能する。

また、脇見傾向判定部５４は、脇見検出エリアが上方エリアＩｕ又は下方エリアＩｄであった場合は固定物による脇見の傾向があると判定してもよい。これは、車両から前方を撮像した画像の場合、上方エリアＩｕには、建物や交通信号、標識、街灯などの固定物が映り込むのが一般的であり、下方エリアＩｄには、道路標識等の路上ペイントが映り込むのが一般的である。一方、左側方エリアＩｌや右側方エリアＩｒは、他の走行車線等を走行する車両等の自車両以外の移動体が映り込むことがあり、エリアにより脇見対象物（固定物か移動体か）まで判定するのは困難である。

ピーク位置が左側方エリアＩｌや右側方エリアＩｒであった場合は、エリアだけでは脇見対象物が固定物か移動体か判定できないため、物体認識を用いて判定を行う。物体認識（物体検出ともいう）は周知のアルゴリズムを用いればよく、具体的な方法は特に限定されない。

また、物体認識に限らず相対速度を利用して固定物か移動体かの判定を行ってもよい。これは、自車速度と脇見対象物のフレーム間の移動速度から相対速度を求め、その相対速度から脇見対象物が固定物か移動体か判定する。ここで、脇見対象物のフレーム間の移動速度は、ピーク位置のフレーム間の移動速度を求めればよい。そして求めた相対速度が所定の閾値以上である場合は、ある位置に固定されている物と判定することができる。

次に、脇見傾向演算部５における動作について、図１８のフローチャートを参照して説明する。

まず、画像入力部２が走行画像を取得し（ステップＳ１０４）、視覚顕著性演算部３において視覚顕著性画像処理（視覚顕著性マップの取得）を行う（ステップＳ１０５）。そして、視覚顕著性ピーク検出部５３が、ステップＳ１０５で視覚顕著性演算部３が取得した視覚顕著性マップに基づいてピーク位置を取得（検出）する（ステップＳ１０６）。

次に、脇見傾向判定部５４が、注視エリアＧを設定して、当該注視エリアＧと視覚顕著性ピーク検出部５３が取得したピーク位置とを比較する（ステップＳ１０７）。比較した結果ピーク位置が注視エリアＧ外である場合は（ステップＳ１０７；注視エリア外）、脇見傾向判定部５４は、滞留タイマーが開始後か停止中か判定する（ステップＳ１０８）。滞留タイマーとは、ピーク位置が注視エリアＧ外に滞留している時間を計測するタイマーである。なお、注視エリアＧの設定は、ステップＳ１０４で画像を取得した際に行ってもよい。

滞留タイマーが停止中である場合は（ステップＳ１０８；停止中）、脇見傾向判定部５４は、滞留タイマーを開始する（ステップＳ１０９）。一方、滞留タイマーが開始後である場合は（ステップＳ１０８；開始後）、脇見傾向判定部５４は、滞留タイマー閾値の比較を行う（ステップＳ１１０）。滞留タイマー閾値とは、ピーク位置が注視エリアＧ外に滞留している時間の閾値であり、上述したように２秒などと設定されている。

滞留タイマーが閾値を超えていた場合は（ステップＳ１１０；閾値超え）、脇見傾向判定部５４は、脇見傾向があると判定する（ステップＳ１１１）。

一方、滞留タイマーが閾値を超えない場合は（ステップＳ１１０；閾値超えない）、脇見傾向判定部５４は、何もせずにステップＳ１０４に戻る。

また、ステップＳ１０７で比較した結果、ピーク位置が注視エリアＧ内である場合は（ステップＳ１０７；注視エリア内）、脇見傾向判定部５４は、滞留タイマーを停止させる（ステップＳ１１２）。

単調傾向演算部６は、視覚顕著性演算部３において取得した視覚顕著性マップに基づいて、画像入力部２に入力された画像が単調傾向か判定する。本実施例では、視覚顕著性マップから種々の統計量を算出し、その統計量に基づいて単調傾向か判定する。即ち、単調傾向演算部６は、視覚顕著性マップ（視覚顕著性分布情報）に基づいて算出された統計量を用いて当該画像が単調傾向か判定する。よって、単調傾向演算部６は、視覚顕著性マップ（視覚顕著性分布情報）に基づいて当該画像が単調傾向を示す情報を取得する単調取得部として機能する。

図１９に単調傾向演算部６の動作のフローチャートを示す。まず、視覚顕著性マップを構成する画像（例えば図４（ｂ））における各画素の輝度の標準偏差を演算する（ステップＳ５１）。本ステップでは、まず、視覚顕著性マップを構成する画像における各画像の輝度の平均値を算出する。視覚顕著性マップを構成する画像がＨ画素×Ｖ画素であり、任意の座標（ｋ，ｍ）における輝度値をＶ_{ＶＣ（ｋ，ｍ）}とすると、平均値は以下の（２）式で算出される。

（２）式により算出された平均値から視覚顕著性マップを構成する画像における各画像の輝度の標準偏差を算出する。標準偏差ＳＤＥＶは以下の（３）式で算出される。

ステップＳ５１で算出された標準偏差について、出力結果が複数あるか判定する（ステップＳ５２）。このステップでは、画像入力部２から入力された画像が動画像であり、フレーム単位で視覚顕著性マップが取得されて、ステップＳ５１では複数フレーム分の標準偏差が算出されたかを判定している。

出力結果が複数ある場合は（ステップＳ５２；Ｙｅｓ）、視線移動量を演算する（ステップＳ５３）。視線移動量は、本実施例では、時間的に前後のフレームそれぞれの視覚顕著性マップにおける輝度値が最大（最高）の座標距離により求めている。視線移動量ＶＳＡは、前のフレームにおける最高輝度値の座標を（ｘ１，ｙ１）、後のフレームにおける最高輝度値の座標を（ｘ２，ｙ２）とすると、次の（４）式で算出される。

そして、ステップＳ５１で算出された標準偏差やＳ５３で算出された視線移動量に基づいて単調傾向かを判定する（ステップＳ５４）。本ステップでは、ステップＳ５２がＮｏの場合は、ステップＳ５１で算出される標準偏差に閾値を設け、その閾値と比較することで閾値と比較することで単調傾向かを判定すればよい。一方、ステップＳ５２がＹｅｓの場合は、ステップＳ５３で算出される視線移動量に閾値を設け、その閾値と比較することで閾値と比較することで単調傾向かを判定すればよい。

即ち、単調傾向演算部６は、視覚顕著性マップ（視覚顕著性分布情報）として得られた画像内の各画素の輝度の標準偏差を算出する標準偏差算出部として機能し、視覚顕著性マップ（視覚顕著性分布情報）として時系列に得られた画像に基づいてフレーム間の視線移動量を算出する視線移動量算出部として機能する。

なお、上述した方法、特に出力結果が複数ある場合（動画）においては、単調傾向の検出が漏れるケースがある。そこで、そのようなケースにも対応する態様について図２０及び図２１を参照して説明する。動作のフローチャートを図２０に示す。

図２０のフローチャートにおいて、ステップＳ５１、Ｓ５３は、図１９と同様である。なお、本実施例では、後述するように自己相関を利用するため、対象となる画像は動画像となることからステップＳ５２は省略する。ステップＳ５４Ａは、判定内容はステップＳ５４と同様である。このステップＳ５４Ａは、本実施例では、単調傾向についての一次判定として行われる。

次に、ステップＳ５４Ａの判定の結果、単調傾向であると判定された場合は（ステップＳ５５；Ｙｅｓ）、図１９と同様に、その判定結果を外部へ出力する。一方、ステップＳ５４Ａの判定の結果、単調傾向でないと判定された場合は（ステップＳ５５；Ｎｏ）、自己相関演算を行う（ステップＳ５６）。

本実施例では、ステップＳ５１やＳ５３で算出された標準偏差（輝度平均値）や視線移動量を用いて自己相関を演算する。自己相関Ｒ_（ｋ）は、期待値をＥ、Ｘの平均をμ、Ｘの分散をσ^２、ラグをｋとすると次の（５）式で算出されることが知られている。本実施例では、ｋを所定範囲で変化させて（５）式の演算を行い、最も大きな算出値を自己相関値とする。

そして、算出された自己相関値に基づいて単調傾向か判定する（ステップＳ５７）。判定は、図１９と同様に自己相関値に閾値を設け、閾値と比較することで単調傾向かを判定すればよい。例えば、ｋ＝ｋ１での自己相関値が閾値より大きければｋ１毎に同じような風景が繰り返されることを意味する。単調傾向と判定された場合は、当該画像は単調傾向である画像と分類される。このような自己相関値を算出することによって、等間隔に規則正しく設置された街灯などの周期的に配置された物体による単調な傾向の道路を判定することができるようになる。

図２１に自己相関の演算結果の例を示す。図２１は、走行動画について視覚顕著性マップの輝度平均値についてのコレログラムである。図２１の縦軸は相関関数（自己相関値）、横軸はラグを示している。また、図２１において、網掛けの部分は信頼区間９５％（優位水準αs＝０．０５）であり、帰無仮説を「ラグｋのとき周期性がない」、対立仮説を「ラグｋのとき周期性がある」とすると、この網掛け部分内のデータは帰無仮説を棄却できないため周期性がないと判定され、網掛け部分を超えたものは正負にかかわらず周期性があるものと判定される。

図２１（ａ）はトンネル走行の動画であり、周期性がある例である。図２１（ａ）によれば、１０個目と１７個目に周期性がみられることが分かる。トンネルの場合、トンネル内照明が一定間隔で配置されているので、その照明等による単調な傾向を判定することができる。一方、図２１（ｂ）は一般道路走行の動画であり、周期性が無い例である。図２１（ｂ）によれば、殆どのデータが信頼区間に入っていることが分かる。

図２０のフローチャートのように動作させることで、まずは平均・標準偏差・視線移動量で単調か判定し、そこで漏れたものの中から周期性という観点で二次判定をすることができるようになる。

視認負荷傾向演算部８は、視覚顕著性演算部３が出力した視覚顕著性マップに基づいて視認負荷量推定を推定する。視認負荷傾向演算部８で推定された結果である視認負荷量は、例えばスカラ量またはベクトル量であってもよい。あるいは単一データまたは複数の時系列データであってもよい。視認負荷傾向演算部８は、図２２に示したように、注視点推定手段８１と、注視点移動量算出手段８２と、基底成分分解手段８３と、基底成分選択手段８４と、パワー算出手段８５と、パワー合成手段８６と、を備えている。

注視点推定手段８１は、視覚顕著性演算部３が出力した時系列の視覚顕著性マップから注視点情報を推定する。注視点情報の定義については特に限定しないが、例えば顕著性の値が最大値となる位置（座標）などとすることができる。即ち、注視点推定手段８１は、推定注視点を、視覚顕著性マップ（視覚顕著性分布情報）において視覚顕著性が最大値となる画像上の位置と推定している。

注視点移動量算出手段８２は、注視点推定手段８１で推定された時系列の注視点情報から時系列の注視点移動量を算出する。注視点移動量算出手段８２により算出された注視点移動量もまた時系列データとなる。算出方法については特に限定しないが、例えば時系列で前後の関係にある注視点座標間のユークリッド距離などとすることができる。即ち、注視点移動量算出手段８２は、生成された視覚顕著性マップ（視覚顕著性分布情報）に基づいて注視点（推定注視点）の移動量を算出している。

基底成分分解手段８３は、注視点移動量算出手段８２で算出された注視点移動量の時系列変化を１個以上の基底成分群に分解する。基底成分分解手段８３により分解された各基底成分もまた移動量に対応した時系列データとなる。分解方法については特に限定しないが、例えば経験モード分解（Empirical Mode Decomposition；ＥＭＤ）が望ましく、この場合の基底成分は固有モード関数（Intrinsic Mode Function；ＩＭＦ）となる。他にフーリエ変換ファミリ（基底成分は正弦波）などを用いても良い。

基底成分選択手段８４は、基底成分分解手段８３で分解された基底成分群から１個以上の基底成分を選択する。なお、選択方法は限定されず種々の方法を用いることができる。

パワー算出手段８５は、基底成分選択手段８４で選択された基底成分の各々についてパワーを算出する。ここでパワーもまた基底成分に対応した時系列データとなる。算出方法については特に限定しないが、基底成分分解手段として経験モード分解を用いた場合は、基底成分（固有モード関数）に対してＨｉｌｂｅｒｔ変換を用いて振幅成分と位相成分を算出し、振幅成分をパワーとするのが望ましい。

パワー合成手段８６は、パワー算出手段８５により算出された複数のパワー成分を合成して視認負荷量を算出する。ここで視認負荷量もパワーに対応した時系列データとなる。合成手段については特に限定しないが、例えば複数のパワー成分の単純加算としてもよい。即ち、基底成分分解手段８３〜パワー合成手段８６までの手段によって、算出された注視点（推定注視点）の移動量の時間的推移に基づいて視認負荷量を推定している。

図２３に注視点移動量算出手段８２が出力した注視点移動量と、その注視点移動量を基底成分分解手段８３により分解した基底成分群と、基底成分群からパワー算出手段８５により算出されたパワーをパワー合成手段８６で合成して出力された視認負荷量と、の波形の例を示す。図２３の最上段が注視点移動量である。図２３の２段目から１６段目までが基底成分群である。そして図２３の１７段目（最下段）が視認負荷量である。

図２３においては、最下段に示した視認負荷量の振幅が大きくなる部分について視認負荷量が大きいと推定（判定）される。

以上説明した視覚的注意集中度演算部４、脇見傾向演算部５、単調傾向演算部６、視認負荷傾向演算部８が、視覚顕著性マップ（視覚顕著性分布情報）に基づいて、移動体の移動環境の視覚的傾向を取得する視覚特徴量抽出部として機能する。

状況出力部７は、視覚的注意集中度演算部４、脇見傾向演算部５、単調傾向演算部６、視認負荷傾向演算部８のそれぞれの演算結果（判定結果）に基づいて画像入力部２から入力された画像の状況を推定して出力する。本実施例では、推定結果は文字情報（文章）として出力されるが、ラベル等の分類分けやスコアリング等の点数付けであってもよい。

状況出力部７における、視覚的注意集中度演算部４、脇見傾向演算部５、単調傾向演算部６、視認負荷傾向演算部８のそれぞれの演算結果（判定結果）に基づく文章化の例を図２４を参照して説明する。図２４は、視覚的注意集中度演算部４、脇見傾向演算部５、単調傾向演算部６、視認負荷傾向演算部８の演算結果に基づいて生成される文章の例を示したものである。

図２４のＡで示したブロックは単調傾向演算部６の演算結果に基づいて生成される文章の例である。例えば単調傾向演算部６の演算結果が単調傾向であれば、Ａブロックでは「単調な道路を走行中」といった文章が生成される。一方、単調傾向演算部６の演算結果が単調傾向でなければ、Ａブロックでは「複雑な道路を走行中」といった文章が生成される。

なお、Ａブロックについては、視認負荷傾向演算部８で算出された視認負荷量に基づいて文章を生成することができる。例えば視認負荷量が大きい場合は、複雑な状況と言えるため「複雑な道路を走行中」といった文章を生成でき、視認負荷量が小さい場合は、逆に単調な状況と言えるため「単調な道路を走行中」といった文章を生成できる。

図２４のＢで示したブロックは脇見傾向演算部５の演算結果に基づいて生成される文章の例である。例えば脇見傾向演算部５の演算結果で右側の移動体を脇見対象物として脇見傾向があると判定された場合は、Ｂブロックでは「右側の交通参加者に気を取られた結果」といった文章が生成される。なお、Ｂブロックにおいて、前方、右側、左側、上方といった分類は図１６に示したエリアにより判定可能である。また、交通参加者か道路外の景色かは、脇見傾向演算部５の動作で説明したように、エリアや物体認識により判定可能である。このように、脇見の傾向を示す情報には、脇見傾向の判定結果のみでなく、脇見対象物やその位置等の情報も含むものである。

図２４のＣで示したブロックは視覚的注意集中度演算部４の演算結果に基づいて生成される文章の例である。例えば視覚的注意集中度Ｐｓの時間的変化量が大きい場合は、「急激な道路環境の変化に気がつき」といった文章が生成される。つまり、図１３で示したように視覚的注意集中度Ｐｓが急峻に変化している場合は、何らかの環境の変化により集中度が増したと言える。このように、視覚的注意の集中度を示す情報には、視覚的注意集中度Ｐｓのみでなく、その時間的変化量といった情報も含むものである。

図２４のＤで示したブロックはＡ〜Ｃのブロックで示した状況の結果どうなったかを示す文章の例である。例えば、ブレーキをかけたが遅かったため、急制動となり、事故には至らなかったものの安全上の問題が発生したと言える状況であった場合は、「危険を回避したがリスク回避が遅れた結果ヒヤリハットしたと推定」といった文章が生成される。なお、Ｄブロックにおいて、危険を回避したか否かはブレーキをかけたか否かで判定可能である。

また、急制動か否かは図１に示した車両挙動検出部１２の検出信号（加速度等）を対応する画像情報に含めることで判定可能である。例えば、画像情報に含まれる加速度の値が所定以上であった場合は急制動と判定することができる。また、画像のみで判定する場合は、画像に含まれる物体のフレーム間の移動速度の変化等から判定してもよい。

リスク回避が遅れたかは視覚的注意集中度Ｐｓの時間的変化量により判定可能である。また、ヒヤリハットか事故かは、加速度の大きさから判定してもよいし、予め事故の画像か否かを画像のラベル等として付加してもよい。このように、車両挙動検出部１２の検出信号等は、上述したような文章化の際に補助的に用いることができる。

そして、Ａブロック〜Ｄブロックで生成した文章は組み合わせて出力される。例えば「単調な道路を走行中、急激な道路環境の変化に気がつき、危険を回避したがリスク回避が遅れた結果ヒヤリハットしたと推定」などと組み合わされる。なお、ＡブロックとＢブロックとは単調傾向と脇見傾向が共に判定された場合には両ブロックの文章が組み合わされるが、脇見傾向と判定されない場合はＢブロックの文章は生成されない。本実施例では、上記例から明らかなように、特定の静止画の状態を文章化したに留まらず、動画像の時系列に沿った文章が生成可能である。したがって、なぜ急制動したかといった要因も自動的に解析して文章化することができる。

図２４の例では、Ｃブロック及びＤブロックの一部が視覚的注意の集中度を示す情報に基づく第１キーワード、Ｂブロックが脇見の傾向を示す情報に基づく第２キーワード、Ａブロックが単調傾向を示す情報または視認負荷傾向を示す情報に基づく第３キーワードとなる。

また、文章化は、図２４に示したものに限らず、例えば物体認識の結果を用いて更なる詳細化を図ってもよい。物体認識の結果を用いた文章化の例を図２５に示す。物体認識は、上述した脇見傾向演算部５で行えばよい。

図２５のＥで示したブロックは交通標識等の交通規制に基づいて生成される文章の例である。例えば、前方の交通標識に気が付かない場合は、「前方の交通標識に気がつかず」といった文章が生成される。なお、Ｅブロックにおいて、交通標識は物体認識で検出し、交通標識に気が付いたか否かは、視覚顕著性マップの輝度が高い部分が重なっているか否かで判定することができる。

図２５のＦで示したブロックは他の車両等の交通参加者に基づいて生成される文章の例である。例えば、前方の車両に気が付かない場合は、「前方の交通参加者に気がつかず」といった文章が生成される。なお、Ｆブロックにおいて、車両は物体認識で検出し、車両に気が付いたか否かは、視覚顕著性マップの輝度が高い部分が重なっているか否かで判定することができる。

次に、上述した構成の状況出力装置１における動作（状況出力方法）について、図２６のフローチャートを参照して説明する。また、このフローチャートを状況出力装置１として機能するコンピュータで実行されるプログラムとして構成することで状況出力プログラムとすることができる。また、この状況出力プログラムは、状況出力装置１が有するメモリ等に記憶するに限らず、メモリカードや光ディスク等の記憶媒体に格納してもよい。

まず、画像入力部２が、入力された画像を画像データとして視覚顕著性演算部３に出力する（ステップＳ１１）。本ステップでは、画像入力部２に入力された画像データを画像フレーム等の時系列に分解して視覚顕著性演算部３へ入力している。また、本ステップでノイズ除去や幾何学変換などの画像処理を施してもよい。

次に、視覚顕著性演算部３が、視覚顕著性マップを取得する（ステップＳ１２）。視覚顕著性マップは、視覚顕著性演算部３において、上述した方法により図４（ｂ）に示したような視覚顕著性マップを時系列に出力する。

次に、視覚的注意集中度演算部４が視覚的注意集中度Ｐｓを取得する（ステップＳ１３）。視覚的注意集中度Ｐｓは、視覚的注意集中度演算部４が上述した方法により演算して取得する。そして、ステップＳ１３と並行して、脇見傾向演算部５が脇見の傾向を示す情報を取得する（ステップＳ１４）。脇見の傾向を示す情報は、脇見傾向演算部５が上述した方法により判定等して取得する。そして、ステップＳ１３、Ｓ１４と並行して、単調傾向演算部６が単調傾向を示す情報を取得する（ステップＳ１５）。単調傾向を示す情報は、単調傾向演算部６が上述した方法により判定等して取得する。さらに、ステップＳ１３〜Ｓ１５と並行して、視認負荷傾向演算部８が視認負荷傾向を示す情報を取得する（ステップＳ１６）。視認負荷傾向を示す情報は、視認負荷傾向演算部８が上述した方法により判定等して取得する。

次に、状況出力部７が、ステップＳ１３〜Ｓ１６の結果に基づいて画像入力部２から入力された画像の状況を文章化する（ステップＳ１７）。文章化は、図２４や図２５に示した方法により行われる。

次に、状況出力部７が、ステップＳ１７で生成した文章を組み合わせて出力する（ステップＳ１８）。出力先は、ディスプレイ等の表示装置であってもよいし、テキストデータ等として対象の画像と関連付けて記憶装置に記憶したり、外部へ送信等してもよい。

以上の説明から明らかなように、ステップＳ１２が視覚顕著性分布情報取得工程、ステップＳ１３〜Ｓ１６が視覚特徴量抽出工程、ステップＳ１７、Ｓ１８が状況出力工程としてそれぞれ機能する。

ここで、上述した状況出力装置１における出力の一部を構成する表示画像の例について図２７を参照して説明する。図２７に示す画像は、上述した文章化とともに画像入力部２から入力された画像の解析結果として出力することができるものである。図２７に示した画像は状況出力部７により生成され、所定の表示装置に表示される。図２７に示した画像５０は、走行画像表示領域５１と、視覚的注意集中度表示領域５２と、を備えている。

走行画像表示領域５１は、ドライブレコーダ等により撮像された車両の走行画像が表示される。走行画像表示領域５１には、消失点ＶＰと、視覚顕著性マップＶＭと、視線推定位置ＧＥと、検知物体枠ＯＦと、水平線及び奥行距離推定線ＨＤと、白線推定ＷＬと、ヒヤリハット判定枠ＨＦと、が表示可能となっている。

消失点ＶＰは、後述する白線推定ＷＬ等から推定してもよいし、オプティカルフロー等を用いて推定してもよい。視覚顕著性マップＶＭは、走行画像表示領域５１に表示されている画像についての視覚顕著性マップ（ヒートマップ）を当該画像に重ねて表示させている。なお、図２７では、ヒートマップ上の輝度の高い部分のみが視認できるが実際は輝度の低い部分も含め走行画像に重ねられている。つまり、走行画像において視線が向かい易い部分を表示している。

視線推定位置ＧＥは、本実施例では、ヒートマップ上で輝度が最も高い位置を視線位置と推定している。検知物体枠ＯＦは、走行画像において周知のアルゴリズムによる物体検知の結果検知された物体を囲む枠として表示される。なお、本実施例における物体検知では、検出する物体の種類（車両、人間等）を指定し、指定された種類に属する物体のみが検知される。物体検知処理は、脇見傾向演算部５で行ってもよいし、図示されていない他の機能ブロックで行ってもよい。

水平線及び奥行距離推定線ＨＤは、走行画像における水平線と奥行距離を示している。白線推定ＷＬは、走行画像内の白線等の区画線を認識して示している。ヒヤリハット判定枠ＨＦは、走行画像表示領域５１の四辺に沿うような枠状に形成され、状況出力部７によりヒヤリハット等の安全上の問題が発生した疑いがあると判定された場合に表示される。または、ヒヤリハット判定枠ＨＦは常時青色等の枠として表示され、安全上の問題が発生した疑いがあると判定された場合は赤色等で表示される等表示色を変更したり、点滅させるなどとしてもよい。

視覚的注意集中度表示領域５２は、走行画像表示領域５１の右側に設けられている。視覚的注意集中度表示領域５２は、ベクトル誤差演算部４で演算された視覚的注意集中度Ｐｓをバーグラフ状に表示する。図２７では、符号５２ａが視覚的注意集中度Ｐｓを示すバーである。視覚的注意集中度Ｐｓが大きな値を示しているときはバー５２ａが高くなり、視覚的注意集中度Ｐｓが小さな値を示しているときはバー５２ａが低くなる。つまり、バー５２ａが高い位置では、集中度が高い（集中）傾向であり、バー５２ａが低い位置では、集中度が低い（分散）傾向であるといえる。

視覚的注意集中度表示領域５２のバー５２ａの高さは、視覚顕著性マップがフレーム単位で取得されることから、画像の再生時間の推移とともに変化する。そのため、例えばバー５２ａの高さが急激に高くなるようなシーンは、視覚的注意集中度Ｐｓが分散から集中へ急速に変化したことを示し、このバー５２ａによっても、視覚的注意集中度Ｐｓの時間的変化を視覚的に表示することができる。

本実施例によれば、状況出力装置１は、視覚顕著性演算部３が、移動体から外部を撮像した画像に基づいて、その画像内における視覚顕著性の高低を推測して得られた視覚顕著性マップを取得する。次に、移動体の移動環境の視覚的傾向として、視覚的注意集中度演算部４が視覚顕著性マップと予め画像に定めた理想視線とに基づいて画像における視覚的注意集中度Ｐｓを取得し、脇見傾向演算部５が視覚顕著性マップに基づいて脇見の傾向を判定し、単調傾向演算部６が視覚顕著性マップに基づいて当該画像が単調傾向か判定し、視認負荷傾向演算部８が視覚顕著性マップに基づいて当該画像について視認負荷が大きいか判定する。そして、状況出力部７が、取得された視覚的注意集中度Ｐｓと、脇見の傾向の判定結果と、単調傾向の判定結果と、視認負荷傾向の判定結果に基づいて取得した画像の状況を出力する。このようにすることにより、視覚顕著性マップに基づいた視覚的傾向（４つの情報）から画像の状況を出力することができる。したがって、画像のみで状況を解析することが可能となり、ヒヤリハット等の発生した状況が当該画像を確認しなくても推定できる。

また、状況出力部７は、画像の状況を文字情報として出力している。このようにすることにより、画像の状況を文章等として出力することができ、報告書や日報等の作成に役立てることができる。

また、状況出力部７は、視覚的傾向に基づいて取得される複数の情報のそれぞれに基づく複数のキーワードを組み合わせた文字情報を出力している。具体的には、状況出力部７は、視覚的注意集中度Ｐｓに基づく第１キーワードと、脇見の傾向の判定結果に基づく第２キーワードと、単調傾向の判定結果または視認負荷傾向の判定結果に基づく第３キーワードと、のうち複数のキーワードを組み合わせた文字情報を出力している。このようにすることにより、特定の要因のみでなく、複数の要因が関連する文章として状況を組み立てることができる。したがって、詳細な状況が把握しやすくなる。

また、視覚的注意集中度演算部４は、視覚顕著性マップを構成する各画素の値と、各画素の位置と理想視線の座標位置とのベクトル誤差と、に基づいて視覚的注意集中度Ｐｓを算出している。このようにすることにより、視覚顕著性が高い位置と理想視線との差に応じた値が視覚的注意集中度Ｐｓとして算出される。したがって、例えば、視覚顕著性が高い位置と理想視線との距離に応じて視覚的注意集中度Ｐｓの値が変化するようにできる。

また、脇見傾向演算部５は、視覚顕著性マップにおける少なくとも１つのピーク位置を時系列に検出する視覚顕著性ピーク検出部５３と、画像における移動体の運転者が注視すべき範囲を設定する脇見傾向判定部５４と、を備え、ピーク位置が前記注視すべき範囲から所定時間以上連続して外れていた場合は脇見の傾向と判定している。この視覚顕著性マップには、統計的なヒトの視線の集まりやすさを示している。したがって、視覚顕著性マップのピークは、その中で最も統計的にヒトの視線が集まりやすい位置を示している。そのため、視覚的顕著性マップを用いることで、実際の運転手の視線を計測することなく、簡易な構成で脇見の傾向を検出することができる。

また、単調傾向演算部６は、視覚顕著性マップに基づいて算出された統計量を用いて単調傾向と判定している。このようにすることにより、撮像した画像から、人間の注視し易い位置に基づき単調傾向か判定可能となる。人間（運転者）の注視し易い位置に基づいて判定されるため、運転者が単調と感じるのと近い傾向で判定することができ、より精度良く判定することができる。

また、視認負荷傾向演算部８は、生成された視覚顕著性マップに基づいて注視点の移動量を算出する。そして、算出された推定注視点の移動量の時間的推移に基づいて視認負荷量を推定する。このようにすることにより、注視点の移動量の時間的推移に基づくことから視線の推移が大きくなるような位置を推定することができる。したがって、視覚的に負荷を感じる部分を自動的に抽出することができる。

また、視覚顕著性演算部３は、画像を写像処理可能な中間データに変換する入力部３１０と、中間データを写像データに変換する非線形写像部３２０と、写像データに基づき顕著性分布を示す顕著性推定情報を生成する出力部３３０と、を備え、非線形写像部３２０は、中間データに対し特徴の抽出を行う特徴抽出部３２１と、特徴抽出部３２１で生成されたデータのアップサンプルを行うアップサンプル部３２２と、を備えている。このようにすることにより、小さな計算コストで、視覚顕著性を推定することができる。また、このようにして推定した視覚顕著性は、文脈的な注意状態を反映したものとなる。

なお、上述した実施例では視覚的注意集中度演算部４、脇見傾向演算部５、単調傾向演算部６、視認負荷演算部８の全てを備えていたが、少なくとも１以上を備えていればよい。つまり、全てについて関連する文章を生成しなくてもよい。

ここで、図１に示した状況出力装置の変形例について図２８を参照して説明する。図２８に示した状況出力装置１Ａは、図１の構成に対して、状況蓄積部９と、状況解析部１０と、が追加されている。

状況蓄積部９は、状況出力部７が出力した画像の状況を蓄積する。状況蓄積部９では、画像入力部２から入力された画像の撮像時に当該移動体を運転していた運転者毎に状況を蓄積するのが望ましい。したがって、画像入力部２から入力される画像には、運転者を識別できる情報も付加することが望ましい。

状況解析部１０は、状況蓄積部９に蓄積された状況を解析して、例えば運転者の運転傾向を解析し解析結果を出力する。例えば、脇見に関するヒヤリハットに関する画像や文章が多数蓄積されていた場合は、当該運転者は、脇見運転の傾向があると解析することができる。

また、状況解析部１０では、解析した結果に基づいて運転者間の比較を行ってもよい。例えば比較的安全運転な傾向の運転者とヒヤリハットが多い運転者とを比較することで、ヒヤリハットを防止するような運転の指導等をすることができる。また、複数の運転者の傾向から例えば全社等の組織単位の傾向を分析することも可能となる。

また、本発明は上記実施例に限定されるものではない。即ち、当業者は、従来公知の知見に従い、本発明の骨子を逸脱しない範囲で種々変形して実施することができる。かかる変形によってもなお本発明の状況出力装置を具備する限り、勿論、本発明の範疇に含まれるものである。

１ 状況出力装置
２ 画像入力部
３ 視覚顕著性演算部（視覚顕著性分布情報取得部）
４ 視覚的注意集中度演算部（視覚特徴量抽出部、視覚的注意集中度取得部）
５ 脇見傾向演算部（視覚特徴量抽出部、脇見取得部）
６ 単調傾向演算部（視覚特徴量抽出部、単調取得部）
７ 状況出力部
８ 視認負荷傾向演算部（視覚特徴量抽出部、視認負荷取得部）

Claims (15)

1. 移動体から外部を撮像した画像に基づいて、その画像内における視覚顕著性の高低を推測して得られた視覚顕著性分布情報を取得する視覚顕著性分布情報取得部と、
   前記視覚顕著性分布情報に基づいて、前記移動体の移動環境の視覚的傾向を取得する視覚特徴量抽出部と、
   前記視覚的傾向に基づいて前記画像の状況を出力する状況出力部と、
   を備えることを特徴とする状況出力装置。
2. 前記状況出力部は、前記画像の状況を文字情報として出力することを特徴とする請求項１に記載の状況出力装置。
3. 前記状況出力部は、前記視覚的傾向に基づいて取得される複数の情報のそれぞれに基づく複数のキーワードを組み合わせた文字情報を出力することを特徴とする請求項２に記載の状況出力装置。
4. 前記視覚特徴量抽出部は、前記視覚顕著性分布情報と予め前記画像に定めた基準視線位置とに基づいて前記画像における視覚的注意の集中度を示す情報を取得する視覚的注意集中度取得部を備えることを特徴とする請求項１から３のいずれか一項に記載の状況出力装置。
5. 前記視覚的注意集中度取得部は、前記視覚顕著性分布情報を構成する各画素の値と、前記各画素の位置と前記基準視線位置の座標位置とのベクトル誤差と、に基づいて前記視覚的注意の集中度を取得することを特徴とする請求項４に記載の状況出力装置。
6. 前記視覚特徴量抽出部は、前記視覚顕著性分布情報に基づいて脇見の傾向を示す情報を取得する脇見取得部を備えることを特徴とする請求項１から５のいずれか一項に記載の状況出力装置。
7. 前記脇見取得部は、
   前記視覚顕著性分布情報における少なくとも１つのピーク位置を時系列に検出するピーク位置検出部と、
   前記画像における前記移動体の運転者が注視すべき範囲を設定する注視範囲設定部と、を備え、
   前記ピーク位置が前記注視すべき範囲から所定時間以上連続して外れていた場合は脇見の傾向がある旨の情報を出力することを特徴とする請求項６に記載の状況出力装置。
8. 前記視覚特徴量抽出部は、前記視覚顕著性分布情報に基づいて当該画像が単調傾向を示す情報を取得する単調取得部を備えることを特徴とする請求項１から７のいずれか一項に記載の状況出力装置。
9. 前記単調取得部は、前記視覚顕著性分布情報に基づいて算出された統計量を用いて前記単調傾向を示す情報を取得することを特徴とする請求項８に記載の状況出力装置。
10. 前記視覚特徴量抽出部は、前記視覚顕著性分布情報に基づいて当該画像が視認負荷傾向を示す情報を取得する視認負荷取得部を備えることを特徴とする請求項１から９のうちいずれか一項に記載の状況出力装置。
11. 前記状況出力部が出力した前記状況を運転者毎に蓄積する蓄積部と、
    前記蓄積部に蓄積された前記状況に基づいて、前記運転者の運転傾向を解析して解析結果を出力する解析部と、
    を備えることを特徴とする請求項１から１０のうちいずれか一項に記載の状況出力装置。
12. 前記視覚顕著性分布情報取得部は、
    前記画像を写像処理可能な中間データに変換する入力部と、
    前記中間データを写像データに変換する非線形写像部と、
    前記写像データに基づき顕著性分布を示す顕著性推定情報を生成する出力部と、を備え、
    前記非線形写像部は、前記中間データに対し特徴の抽出を行う特徴抽出部と、前記特徴抽出部で生成されたデータのアップサンプルを行うアップサンプル部と、を備える、
    ことを特徴とする請求項１から１１のうちいずれか一項に記載の状況出力装置。
13. 移動体から外部を撮像した画像に基づく状況を出力する状況出力装置で実行される状況出力方法であって、
    前記画像に基づいて、その画像内における視覚顕著性の高低を推測して得られた視覚顕著性分布情報を取得する視覚顕著性分布情報取得工程と、
    前記視覚顕著性分布情報に基づいて、前記移動体の移動環境の視覚的傾向を取得する視覚特徴量抽出工程と、
    前記視覚的傾向に基づいて取得した前記画像の状況を出力する状況出力工程と、
    を含むことを特徴とする状況出力方法。
14. 請求項１３に記載の状況出力方法をコンピュータにより実行させることを特徴とする状況出力プログラム。
15. 請求項１４に記載の状況出力プログラムを格納したことを特徴とするコンピュータ読み取り可能な記憶媒体。

Images