JP2021144311A - 情報処理装置 - Google Patents

Abstract

【課題】移動体から外部を撮像した画像に基づいて所定の処理を行い脇見対象物を特定する情報処理装置を提供する。【解決手段】情報処理装置（情報出力装置１）において、、視覚顕著性処理部３は、移動体から外部を撮像した画像に基づいて、その画像内における視覚顕著性の高低を推測して得られた視覚顕著性マップを時系列に取得する。視覚顕著性ピーク検出部４は、視覚顕著性マップにおける少なくとも１つのピーク位置を時系列に検出する。そして、脇見傾向判定部５は、画像における注視エリアＧを設定し、ピーク位置が注視エリアＧから所定時間以上連続して外れていた場合、ピーク位置に対応するのが常在対象物であるか否か判定する。【選択図】図１

Description

本発明は、移動体から外部を撮像した画像に基づいて所定の処理を行う情報処理装置に関する。

交通事故を減少させるために運転者の脇見を検出することが行われている。例えば、特許文献１には、車内カメラ１で撮像された撮像画像Ｇに基づいて、車両前方に存在する視認対象物となる視覚特徴点（例えば前方車両４４、信号機４５）を検出し、視覚特徴点と判定対象者の注視点とに基づいて、わき見状態であるか否かを判定することが記載されている。

特開２０１７−２２４０６７号公報

特許文献１に記載した方法の場合、運転者の画像から、運転者の視線や顔の向き、姿勢などを検出し、運転者がどこを見ているからを走行画像と照らし合わせて判断していた。そのため、走行画像だけでなく運転者側の映像も必要となりカメラが複数必要となる。また、運転者の視線と走行画像との照合のために膨大な演算処理を必要としていた。

また、特許文献１に記載した発明の場合、脇見の要因となる脇見対象物については特に考慮されていない。脇見が発生した場合、脇見対象物が目を引きやすい景色等の定常的なものである場合は、例えば当該位置を走行する際には警告等することで、脇見の発生を抑制することが可能となる。

本発明が解決しようとする課題としては、脇見対象物を特定することが一例として挙げられる。

上記課題を解決するために、請求項１に記載の発明は、移動体から外部を撮像した画像に基づいて視覚顕著性の高低を推測して得られた視覚顕著性分布情報を時系列に取得する取得部と、前記視覚顕著性分布情報における少なくとも１つのピーク位置を時系列に検出するピーク位置検出部と、前記画像における前記移動体の運転者が注視すべき範囲を設定する注視範囲設定部と、前記ピーク位置が前記注視すべき範囲から所定時間以上連続して外れていた場合、前記ピーク位置に対応するのが常在対象物であるか判定する判定部と、
を備えることを特徴としている。

請求項５に記載の発明は、移動体から外部を撮像した画像に基づいて所定の処理を行う情報処理装置で実行される情報処理方法であって、前記画像に基づいて視覚顕著性の高低を推測して得られた視覚顕著性分布情報を時系列に取得する取得工程と、前記視覚顕著性分布情報における少なくとも１つのピーク位置を時系列に検出するピーク位置検出工程と、前記画像における前記移動体の運転者が注視すべき範囲を設定する注視範囲設定工程と、前記ピーク位置が前記注視すべき範囲から所定時間以上連続して外れていた場合、前記ピーク位置に対応するのが常在対象物であるか判定する判定工程と、を含むことを特徴としている。

請求項７に記載の発明は、請求項６に記載の情報処理方法をコンピュータにより実行させることを特徴としている。

請求項８に記載の発明は、請求項７に記載の情報処理プログラムを格納したことを特徴としている。

本発明の第１の実施例にかかる情報出力装置の機能構成図である。 図１に示された視覚顕著性処理部の構成を例示するブロック図である。 （ａ）は判定装置へ入力する画像を例示する図であり、（ｂ）は（ａ）に対し推定される、視覚顕著性マップを例示する図である。 図１に示された視覚顕著性処理部の処理方法を例示するフローチャートである。 非線形写像部の構成を詳しく例示する図である。 中間層の構成を例示する図である。 （ａ）および（ｂ）はそれぞれ、フィルタで行われる畳み込み処理の例を示す図である。 （ａ）は、第１のプーリング部の処理を説明するための図であり、（ｂ）は、第２のプーリング部の処理を説明するための図であり、（ｃ）は、アンプーリング部の処理を説明するための図である。 注視エリアの設定方法の説明図である。 脇見検出エリアの説明図である。 他の脇見検出エリアの説明図である。 図１に示された情報出力装置の動作のフローチャートである。 本発明の第２の実施例にかかる情報処理装置を有するシステムの構成図である。 図１３に示された情報処理装置の機能構成図である。 図１４に示された情報処理装置の動作のフローチャートである。

以下、本発明の一実施形態にかかる情報処理装置を説明する。本発明の一実施形態にかかる情報処理装置は、取得部が、移動体から外部を撮像した画像に基づいて視覚顕著性の高低を推測して得られた視覚顕著性分布情報を時系列に取得し、ピーク位置検出部が、視覚顕著性分布情報における少なくとも１つのピーク位置を時系列に検出する。そして、注視範囲設定部が、画像における前記移動体の運転者が注視すべき範囲を設定し、判定部が、ピーク位置が注視すべき範囲から所定時間以上連続して外れていた場合、ピーク位置に対応するのが常在対象物であるか判定する。このようにすることにより、視覚顕著性分布情報に基づいて検出された脇見対象物が映像撮影場所から常時観察できる（建物等の常にその位置に存在する）常在対象物か、移動体かを判定することが可能となる。したがって、脇見対象物を少なくとも常在対象物であるか特定することができる。

また、判定部は、ピーク位置が注視すべき範囲よりも側方に外れていた場合に、物体認識により常在対象物であるか判定してもよい。ピーク位置が注視すべき範囲よりも側方に外れていた場合は、ピーク位置に対応するのは常在対象物または移動体のいずれかであるので、物体認識を行うことで、建物等の常在対象物と自動車等の移動体とを精度良く判定することができる。

また、移動体の移動速度を取得する速度取得部を備え、判定部は、ピーク位置が注視すべき範囲よりも側方に外れていた場合に、移動速度に基づいてピーク位置が示す物体の相対速度を算出し、相対速度に基づいて常在対象物であるか判定してもよい。このようにすることにより、相対速度により常在対象物を判定することができ、判定時の処理負荷を軽減することができる。

また、判定結果を出力する出力部を備えてもよい。このようにすることにより、例えば車両で判定した結果をサーバ装置等へ送信して集計することが可能となる。

また、取得部は、画像を写像処理可能な中間データに変換する入力部と、中間データを写像データに変換する非線形写像部と、写像データに基づき顕著性分布を示す顕著性推定情報を生成する出力部と、を備え、非線形写像部は、中間データに対し特徴の抽出を行う特徴抽出部と、特徴抽出部で生成されたデータのアップサンプルを行うアップサンプル部と、を備えてもよい。このようにすることにより、小さな計算コストで、視覚顕著性を推定することができる。また、このようにして推定した視覚顕著性は、文脈的な注意状態を反映したものとなる。

また、本発明の一実施形態にかかる情報処理方法は、取得工程で、移動体から外部を撮像した画像に基づいて視覚顕著性の高低を推測して得られた視覚顕著性分布情報を時系列に取得し、ピーク位置検出工程で、視覚顕著性分布情報における少なくとも１つのピーク位置を時系列に検出する。そして、注視範囲設定工程で、画像における前記移動体の運転者が注視すべき範囲を設定し、判定工程で、ピーク位置が注視すべき範囲から所定時間以上連続して外れていた場合、ピーク位置に対応するのが常在対象物であるか判定する。このようにすることにより、視覚顕著性分布情報に基づいて検出された脇見対象物が映像撮影場所から常時観察できる（建物等の常にその位置に存在する）常在対象物か、移動体かを判定することが可能となる。したがって、脇見対象物を少なくとも常在対象物であるか特定することができる。

また、上述した情報処理方法を、コンピュータにより実行させている。このようにすることにより、コンピュータを用いて視覚顕著性分布情報に基づいて検出された脇見対象物が映像撮影場所から常時観察できる常在対象物か、移動体かを判定することが可能となる。

また、上述した情報処理プログラムをコンピュータ読み取り可能な記憶媒体に格納してもよい。このようにすることにより、当該プログラムを機器に組み込む以外に単体でも流通させることができ、バージョンアップ等も容易に行える。

本発明の第１の実施例にかかる情報出力装置を図１〜図１２を参照して説明する。本実施例にかかる情報出力装置は、例えば自動車等の移動体に設置されるに限らず、事業所等に設置されるサーバ装置等で構成してもよい。即ち、リアルタイムに解析する必要はなく、走行後等に解析を行ってもよい。

図１に示したように、情報出力装置１は、走行画像取得部２と、視覚顕著性処理部３と、視覚顕著性ピーク検出部４と、脇見傾向判定部５と、脇見警告部６と、を備えている。

走行画像取得部２は、例えばカメラなどで撮像された画像（例えば動画像）が入力され、その画像を画像データとして出力する。なお、入力された動画像は、例えばフレーム毎等の時系列に分解された画像データとして出力する。走行画像取得部２に入力される画像として静止画を入力してもよいが、時系列に沿った複数の静止画からなる画像群として入力するのが好ましい。

走行画像取得部２に入力される画像は、例えば車両の進行方向が撮像された画像が挙げられる。つまり、移動体から外部を連続的に撮像した画像とする。この画像はいわゆるパノラマ画像や複数カメラを用いて取得した画像等の水平方向に１８０°や３６０°等進行方向以外が含まれる画像であってもよい。また、走行画像取得部２には入力されるのは、カメラで撮像された画像に限らず、ハードディスクドライブやメモリカード等の記録媒体から読み出した画像であってもよい。

視覚顕著性処理部３は、走行画像取得部２から画像データが入力され、後述する視覚顕著性推定情報として視覚顕著性マップを出力する。即ち、視覚顕著性処理部３は、移動体から外部を撮像した画像に基づいて、その画像内における視覚顕著性の高低を推測して得られた視覚顕著性マップ（視覚顕著性分布情報）を取得する取得部として機能する。

図２は、視覚顕著性処理部３の構成を例示するブロック図である。本実施例に係る視覚顕著性処理部３は、入力部３１０、非線形写像部３２０、出力部３３０および記憶部３９０を備える。入力部３１０は、画像を写像処理可能な中間データに変換する。非線形写像部３２０は、中間データを写像データに変換する。出力部３３０は、写像データに基づき顕著性分布を示す顕著性推定情報を生成する。そして、非線形写像部３２０は、中間データに対し特徴の抽出を行う特徴抽出部３２１と、特徴抽出部３２１で生成されたデータのアップサンプルを行うアップサンプル部３２２とを備える。記憶部３９０は、走行画像取得部２から入力された画像データや後述するフィルタの係数等が保持されている。以下に詳しく説明する。

図３（ａ）は、視覚顕著性処理部３へ入力する画像を例示する図であり、図３（ｂ）は、図３（ａ）に対し推定される、視覚顕著性分布を示す画像を例示する図である。本実施例に係る視覚顕著性処理部３は、画像における各部分の視覚顕著性を推定する装置である。視覚顕著性とは例えば、目立ちやすさや視線の集まりやすさを意味する。具体的には視覚顕著性は、確率等で示される。ここで、確率の大小は、たとえばその画像を見た人の視線がその位置に向く確率の大小に対応する。

図３（ａ）と図３（ｂ）とは、互いに位置が対応している。そして、図３（ａ）において、視覚顕著性が高い位置ほど、図３（ｂ）において輝度が高く表示されている。図３（ｂ）のような視覚顕著性分布を示す画像は、出力部３３０が出力する視覚顕著性マップの一例である。本図の例において、視覚顕著性は、２５６階調の輝度値で可視化されている。出力部３３０が出力する視覚顕著性マップの例については詳しく後述する。

図４は、本実施例に係る視覚顕著性処理部３の動作を例示するフローチャートである。図４に示したフローチャートは、コンピュータによって実行される情報出力方法の一部であって、入力ステップＳ１１５、非線形写像ステップＳ１２０、および出力ステップＳ１３０を含む。入力ステップＳ１１５では、画像が写像処理可能な中間データに変換される。非線形写像ステップＳ１２０では、中間データが写像データに変換される。出力ステップＳ１３０では、写像データに基づき顕著性分布を示す視覚顕著性推定情報（視覚顕著性分布情報）が生成される。ここで、非線形写像ステップＳ１２０は、中間データに対し特徴の抽出を行う特徴抽出ステップＳ１２１と、特徴抽出ステップＳ１２１で生成されたデータのアップサンプルを行うアップサンプルステップＳ１２２とを含む。

図２に戻り、視覚顕著性処理部３の各構成要素について説明する。入力ステップＳ１１５において入力部３１０は、画像を取得し、中間データに変換する。入力部３１０は、画像データを走行画像取得部２から取得する。そして入力部３１０は、取得した画像を中間データに変換する。中間データは非線形写像部３２０が受け付け可能なデータであれば特に限定されないが、たとえば高次元テンソルである。また、中間データはたとえば、取得した画像に対し輝度を正規化したデータ、または、取得した画像の各画素を、輝度の傾きに変換したデータである。入力ステップＳ１１５において入力部３１０は、さらに画像のノイズ除去や解像度変換等を行っても良い。

非線形写像ステップＳ１２０において、非線形写像部３２０は入力部３１０から中間データを取得する。そして、非線形写像部３２０において中間データが写像データに変換される。ここで、写像データは例えば高次元テンソルである。非線形写像部３２０で中間データに施される写像処理は、たとえばパラメータ等により制御可能な写像処理であり、関数、汎関数、またはニューラルネットワークによる処理であることが好ましい。

図５は、非線形写像部３２０の構成を詳しく例示する図であり、図６は、中間層３２３の構成を例示する図である。上記した通り、非線形写像部３２０は、特徴抽出部３２１およびアップサンプル部３２２を備える。特徴抽出部３２１において特徴抽出ステップＳ１２１が行われ、アップサンプル部３２２においてアップサンプルステップＳ１２２が行われる。また、本図の例において、特徴抽出部３２１およびアップサンプル部３２２の少なくとも一方は、複数の中間層３２３を含むニューラルネットワークを含んで構成される。ニューラルネットワークにおいては、複数の中間層３２３が結合されている。

特にニューラルネットワークは畳み込みニューラルネットワークであることが好ましい。具体的には、複数の中間層３２３のそれぞれは、一または二以上の畳み込み層３２４を含む。そして、畳み込み層３２４では、入力されたデータに対し複数のフィルタ３２５による畳み込みが行われ、複数のフィルタ３２５の出力に対し活性化処理が施される。

図５の例において、特徴抽出部３２１は、複数の中間層３２３を含むニューラルネットワークを含んで構成され、複数の中間層３２３の間に第１のプーリング部３２６を備える。また、アップサンプル部３２２は、複数の中間層３２３を含むニューラルネットワークを含んで構成され、複数の中間層３２３の間にアンプーリング部３２８を備える。さらに、特徴抽出部３２１とアップサンプル部３２２とは、オーバーラッププーリングを行う第２のプーリング部３２７を介して互いに接続されている。

なお、本図の例において各中間層３２３は、二以上の畳み込み層３２４からなる。ただし、少なくとも一部の中間層３２３は、一の畳み込み層３２４のみからなってもよい。互いに隣り合う中間層３２３は、第１のプーリング部３２６、第２のプーリング部３２７およびアンプーリング部３２８のいずれかで区切られる。ここで、中間層３２３に二以上の畳み込み層３２４が含まれる場合、それらの畳み込み層３２４におけるフィルタ３２５の数は互いに等しいことが好ましい。

本図では、「Ａ×Ｂ」と記された中間層３２３は、Ｂ個の畳み込み層３２４からなり、各畳み込み層３２４は、各チャネルに対しＡ個の畳み込みフィルタを含むことを意味している。このような中間層３２３を以下では「Ａ×Ｂ中間層」とも呼ぶ。たとえば、６４×２中間層３２３は、２個の畳み込み層３２４からなり、各畳み込み層３２４は、各チャネルに対し６４個の畳み込みフィルタを含むことを意味している。

本図の例において、特徴抽出部３２１は、６４×２中間層３２３、１２８×２中間層３２３、２５６×３中間層３２３、および、５１２×３中間層３２３をこの順に含む。また、アップサンプル部３２２は、５１２×３中間層３２３、２５６×３中間層３２３、１２８×２中間層３２３、および６４×２中間層３２３をこの順に含む。また、第２のプーリング部３２７は、２つの５１２×３中間層３２３を互いに接続している。なお、非線形写像部３２０を構成する中間層３２３の数は特に限定されず、たとえば画像データの画素数に応じて定めることができる。

なお、本図は非線形写像部３２０の構成の一例であり、非線形写像部３２０は他の構成を有していても良い。たとえば、６４×２中間層３２３の代わりに６４×１中間層３２３が含まれても良い。中間層３２３に含まれる畳み込み層３２４の数が削減されることで、計算コストがより低減される可能性がある。また、たとえば、６４×２中間層３２３の代わりに３２×２中間層３２３が含まれても良い。中間層３２３のチャネル数が削減されることで、計算コストがより低減される可能性がある。さらに、中間層３２３における畳み込み層３２４の数とチャネル数との両方を削減しても良い。

ここで、特徴抽出部３２１に含まれる複数の中間層３２３においては、第１のプーリング部３２６を経る毎にフィルタ３２５の数が増加することが好ましい。具体的には、第１の中間層３２３ａと第２の中間層３２３ｂとが、第１のプーリング部３２６を介して互いに連続しており、第１の中間層３２３ａの後段に第２の中間層３２３ｂが位置する。そして、第１の中間層３２３ａは、各チャネルに対するフィルタ３２５の数がＮ１である畳み込み層３２４で構成されており、第２の中間層３２３ｂは、各チャネルに対するフィルタ
３２５の数がＮ２である畳み込み層３２４で構成されている。このとき、Ｎ２＞Ｎ１が成り立つことが好ましい。また、Ｎ２＝Ｎ１×２が成り立つことがより好ましい。

また、アップサンプル部３２２に含まれる複数の中間層３２３においては、アンプーリング部３２８を経る毎にフィルタ３２５の数が減少することが好ましい。具体的には、第３の中間層３２３ｃと第４の中間層３２３ｄとが、アンプーリング部３２８を介して互いに連続しており、第３の中間層３２３ｃの後段に第４の中間層３２３ｄが位置する。そして、第３の中間層３２３ｃは、各チャネルに対するフィルタ３２５の数がＮ３である畳み込み層３２４で構成されており、第４の中間層３２３ｄは、各チャネルに対するフィルタ３２５の数がＮ４である畳み込み層３２４で構成されている。このとき、Ｎ４＜Ｎ３が成り立つことが好ましい。また、Ｎ３＝Ｎ４×２が成り立つことがより好ましい。

特徴抽出部３２１では、入力部３１０から取得した中間データから勾配や形状など、複数の抽象度を持つ画像特徴を中間層３２３のチャネルとして抽出する。図６は、６４×２
中間層３２３の構成を例示している。本図を参照して、中間層３２３における処理を説明する。本図の例において、中間層３２３は第１の畳み込み層３２４ａと第２の畳み込み層３２４ｂとで構成されており、各畳み込み層３２４は６４個のフィルタ３２５を備える。第１の畳み込み層３２４ａでは、中間層３２３に入力されたデータの各チャネルに対して、フィルタ３２５を用いた畳み込み処理が施される。たとえば入力部３１０へ入力された画像がＲＧＢ画像である場合、３つのチャネルｈ^０ _ｉ（ｉ＝１．．３）のそれぞれに対して処理が施される。また、本図の例において、フィルタ３２５は６４種の３×３フィルタであり、すなわち合計６４×３種のフィルタである。畳み込み処理の結果、各チャネルｉに対して、６４個の結果ｈ^０ _ｉ，ｊ（ｉ＝１．．３，ｊ＝１．．６４）が得られる。

次に、複数のフィルタ３２５の出力に対し、活性化部３２９において活性化処理が行われる。具体的には、全チャネルの対応する結果ｊについて、対応する要素毎の総和に活性化処理が施される。この活性化処理により、６４チャネルの結果ｈ^１ _ｉ（ｉ＝１．．６４
）、すなわち、第１の畳み込み層３２４ａの出力が、画像特徴として得られる。活性化処理は特に限定されないが、双曲関数、シグモイド関数、および正規化線形関数の少なくともいずれかを用いる処理が好ましい。

さらに、第１の畳み込み層３２４ａの出力データを第２の畳み込み層３２４ｂの入力データとし、第２の畳み込み層３２４ｂにて第１の畳み込み層３２４ａと同様の処理を行って、６４チャネルの結果ｈ^２ _ｉ（ｉ＝１．．６４）、すなわち第２の畳み込み層３２４ｂの出力が、画像特徴として得られる。第２の畳み込み層３２４ｂの出力がこの６４×２中間層３２３の出力データとなる。

ここで、フィルタ３２５の構造は特に限定されないが、３×３の二次元フィルタであることが好ましい。また、各フィルタ３２５の係数は独立に設定可能である。本実施例において、各フィルタ３２５の係数は記憶部３９０に保持されており、非線形写像部３２０がそれを読み出して処理に用いることができる。ここで、複数のフィルタ３２５の係数は機械学習を用いて生成、修正された補正情報に基づいて定められてもよい。たとえば、補正情報は、複数のフィルタ３２５の係数を、複数の補正パラメータとして含む。非線形写像部３２０は、この補正情報をさらに用いて中間データを写像データに変換することができる。記憶部３９０は視覚顕著性処理部３に備えられていてもよいし、視覚顕著性処理部３の外部に設けられていてもよい。また、非線形写像部３２０は補正情報を、通信ネットワークを介して外部から取得しても良い。

図７（ａ）および図７（ｂ）はそれぞれ、フィルタ３２５で行われる畳み込み処理の例を示す図である。図７（ａ）および図７（ｂ）では、いずれも３×３畳み込みの例が示されている。図７（ａ）の例は、最近接要素を用いた畳み込み処理である。図７（ｂ）の例は、距離が二以上の近接要素を用いた畳み込み処理である。なお、距離が三以上の近接要素を用いた畳み込み処理も可能である。フィルタ３２５は、距離が二以上の近接要素を用いた畳み込み処理を行うことが好ましい。より広範囲の特徴を抽出することができ、視覚顕著性の推定精度をさらに高めることができるからである。

以上、６４×２中間層３２３の動作について説明した。他の中間層３２３（１２８×２中間層３２３、２５６×３中間層３２３、および、５１２×３中間層３２３等）の動作についても、畳み込み層３２４の数およびチャネルの数を除いて、６４×２中間層３２３の動作と同じである。また、特徴抽出部３２１における中間層３２３の動作も、アップサンプル部３２２における中間層３２３の動作も上記と同様である。

図８（ａ）は、第１のプーリング部３２６の処理を説明するための図であり、図８（ｂ）は、第２のプーリング部３２７の処理を説明するための図であり、図８（ｃ）は、アンプーリング部３２８の処理を説明するための図である。

特徴抽出部３２１において、中間層３２３から出力されたデータは、第１のプーリング部３２６においてチャネル毎にプーリング処理が施された後、次の中間層３２３に入力される。第１のプーリング部３２６ではたとえば、非オーバーラップのプーリング処理が行われる。図８（ａ）では、各チャネルに含まれる要素群に対し、２×２の４つの要素３０を１つの要素３０に対応づける処理を示している。第１のプーリング部３２６ではこのような対応づけが全ての要素３０に対し行われる。ここで、２×２の４つの要素３０は互いに重ならないよう選択される。本例では、各チャネルの要素数が４分の１に縮小される。なお、第１のプーリング部３２６において要素数が縮小される限り、対応づける前後の要素３０の数は特に限定されない。

特徴抽出部３２１から出力されたデータは、第２のプーリング部３２７を介してアップサンプル部３２２に入力される。第２のプーリング部３２７では、特徴抽出部３２１からの出力データに対し、オーバーラッププーリングが施される。図８（ｂ）では、一部の要素３０をオーバーラップさせながら、２×２の４つの要素３０を１つの要素３０に対応づける処理を示している。すなわち、繰り返される対応づけにおいて、ある対応づけにおける２×２の４つの要素３０のうち一部が、次の対応づけにおける２×２の４つの要素３０にも含まれる。本図のような第２のプーリング部３２７では要素数は縮小されない。なお、第２のプーリング部３２７において対応づける前後の要素３０の数は特に限定されない。

第１のプーリング部３２６および第２のプーリング部３２７で行われる各処理の方法は特に限定されないが、たとえば、４つの要素３０の最大値を１つの要素３０とする対応づけ（max pooling）や４つの要素３０の平均値を１つの要素３０とする対応づけ（average pooling）が挙げられる。

第２のプーリング部３２７から出力されたデータは、アップサンプル部３２２における中間層３２３に入力される。そして、アップサンプル部３２２の中間層３２３からの出力データはアンプーリング部３２８においてチャネル毎にアンプーリング処理が施された後、次の中間層３２３に入力される。図８（ｃ）では、１つの要素３０を複数の要素３０に拡大する処理を示している。拡大の方法は特に限定されないが、１つの要素３０を２×２の４つの要素３０へ複製する方法が例として挙げられる。

アップサンプル部３２２の最後の中間層３２３の出力データは写像データとして非線形写像部３２０から出力され、出力部３３０に入力される。出力ステップＳ１３０において出力部３３０は、非線形写像部３２０から取得したデータに対し、たとえば正規化や解像度変換等を行うことで視覚顕著性マップを生成し、出力する。視覚顕著性マップはたとえば、図３（ｂ）に例示したような視覚顕著性を輝度値で可視化した画像（画像データ）である。また、視覚顕著性マップはたとえば、ヒートマップのように視覚顕著性に応じて色分けされた画像であっても良いし、視覚顕著性が予め定められた基準より高い視覚顕著領域を、その他の位置とは識別可能にマーキングした画像であっても良い。さらに、視覚顕著性推定情報は画像等として示されたマップ情報に限定されず、視覚顕著領域を示す情報を列挙したテーブル等であっても良い。

視覚顕著性ピーク検出部４は、視覚顕著性処理部３において取得した視覚顕著性マップにおいて、ピークとなる位置（画素）を検出する。ここで、本実施例においてピークとは画素値が最大値（輝度が最大）となる視覚顕著性が高い画素であり、位置は座標で表される。即ち、視覚顕著性ピーク検出部４は、視覚顕著性マップ（視覚顕著性分布情報）における少なくとも１つのピーク位置を検出するピーク位置検出部として機能する。

脇見傾向判定部５は、視覚顕著性ピーク検出部４で検出されたピークとなる位置に基づいて、走行画像取得部２から入力された画像が脇見の傾向があるか判定する。脇見傾向判定部５は、まず、走行画像取得部２から入力された画像について注視エリア（注視すべき範囲）を設定する。注視エリアの設定方法について図９を参照して説明する。即ち、脇見傾向判定部５は、画像における移動体の運転者が注視すべき範囲を設定する注視範囲設定部として機能する。

図９に示した画像Ｐにおいて、注視エリアＧは、消失点Ｖの周囲に設定されている。即ち、注視エリアＧ（注視すべき範囲）を画像の消失点に基づいて設定している。この注視エリアＧは、予め注視エリアＧの大きさ（例えば幅３ｍ、高さ２ｍ）を設定し、画像Ｐの水平画素数、垂直画素数、水平画角、垂直画角、先行車両までの車間距離、画像を撮像しているドライブレコーダー等のカメラの取り付け高さ等から、設定した大きさの画素数を算出することが可能である。なお、消失点は、白線等から推定してもよいし、オプティカルフロー等を用いて推定してもよい。また、先行車両までの車間距離は、実際の先行車両を検出する必要はなく仮想的に設定するものでよい。

次に、設定した注視エリアＧに基づいて画像Ｐにおける脇見検出エリアを設定する（図１０の網掛け部分）。この脇見検出エリアは、上方エリアＩｕ、下方エリアＩｄ、左側方エリアＩｌ、右側方エリアＩｒがそれぞれ設定される。これらのエリアは、消失点Ｖと、注視エリアＧの各頂点を結ぶ線分により区分けされる。即ち、上方エリアＩｕと左側方エリアＩｌとは、消失点Ｖと注視エリアＧの頂点Ｇａとを結ぶ線分Ｌ１により区切られている。上方エリアＩｕと右側方エリアＩｒとは、消失点Ｖと注視エリアＧの頂点Ｇｄとを結ぶ線分Ｌ２により区切られている。下方エリアＩｄと左側方エリアＩｌとは、消失点Ｖと注視エリアＧの頂点Ｇｂとを結ぶ線分Ｌ３により区切られている。下方エリアＩｄと右側方エリアＩｒとは、消失点Ｖと注視エリアＧの頂点Ｇｃとを結ぶ線分Ｌ４により区切られている。

なお、脇見検出エリアは図１０に示したような区分けに限らない。例えば、図１１に示したようにしてもよい。図１１は、注視エリアＧの各辺を延長した線分により脇見検出エリアを区分けしている。図１１の方法は、形状が単純になるので、脇見検出エリアの区分けにかかる処理を軽減することができる。

次に、脇見傾向判定部５における脇見傾向の判定について説明する。視覚顕著性ピーク検出部４で検出されたピーク位置が、所定時間以上注視エリアＧから連続して外れていた場合は脇見傾向であると判定する。ここで、所定時間は例えば２秒とすることができるが適宜変更してもよい。即ち、脇見傾向判定部５は、ピーク位置が注視すべき範囲から所定時間以上連続して外れていたか判定している。

また、脇見傾向判定部５は、脇見検出エリアが上方エリアＩｕ又は下方エリアＩｄであった場合は固定物による脇見の傾向があると判定してもよい。これは、車両から前方を撮像した画像の場合、上方エリアＩｕには、建物や交通信号、標識、街灯などの固定物が映り込むのが一般的であり、下方エリアＩｄには、道路標識等の路上ペイントが映り込むのが一般的である。一方、左側方エリアＩｌや右側方エリアＩｒは、他の走行車線等を走行する車両等の自車両以外の移動体が映り込むことがあり、エリアにより脇見対象物（固定物か移動体か）まで判定するのは困難である。

脇見警告部６は、脇見傾向判定部５の判定結果に基づいて警告等を報知する。警告の報知の方法は、運転者等が視認可能な表示装置等に表示することにより行ってもよいし、音声や振動として出力してもよい。即ち、脇見警告部６は、脇見の傾向がある旨の情報を出力する脇見出力部として機能する。本実施例では、警告を脇見の傾向がある旨の情報としているが、脇見の傾向がある旨の情報として、フラグ等の脇見検出の情報に加え、その際の時刻、位置等の情報を含めて記憶媒体や情報出力装置１の外部に通信等で出力してもよい。また、脇見傾向判定部５の判定結果に基づき、ヒヤリハットに係る情報としてその結果を出力してもよい。

次に、上述した構成の情報出力装置１における動作（情報出力方法）について、図１２のフローチャートを参照して説明する。また、このフローチャートを情報出力装置１として機能するコンピュータで実行されるプログラムとして構成することで情報処理プログラムとすることができる。また、この情報出力プログラムは、情報出力装置１が有するメモリ等に記憶するに限らず、メモリカードや光ディスク等の記憶媒体に格納してもよい。

まず、脇見警告部６は、脇見警告スイッチ（ＳＷ）がＯＮかＯＦＦか判断する（ステップＳ１０１）。脇見警告ＳＷとは、脇見警告部６による警告を実行するか否かを切り替えるスイッチであり、脇見警告部６が有して、脇見傾向判定部５により切り替え制御がされる。

脇見警告ＳＷがＯＮの場合は（ステップＳ１０１；ＳＷ＝ＯＮ）、脇見警告部６は、警告タイマー閾値の比較を行う（ステップＳ１０２）。警告タイマーとは、脇見警告部６による警告を実行する期間を計時するタイマーであり、警告タイマー閾値とは、その警告の実行期間を定める閾値である。つまり、脇見警告部６による警告は警告タイマー閾値に定められた期間だけ警告を行う。

警告タイマー閾値を超えていた場合は（ステップＳ１０２；閾値超え）、脇見警告部６は、脇見警告ＳＷをＯＦＦにして警告タイマーを停止して（ステップＳ１０３）、後述すステップＳ１０４が実行される。警告タイマー閾値を超えていない場合は（ステップＳ１０２；閾値超えない）、何もせずに後述するステップＳ１０４が実行される。

一方、脇見警告ＳＷがＯＦＦの場合又は、上述したステップＳ１０２、Ｓ１０３から進んだ場合は、走行画像取得部２が走行画像を取得し（ステップＳ１０４）、視覚顕著性処理部３において視覚顕著性画像処理（視覚顕著性マップの取得）を行う（ステップＳ１０５）。そして、視覚顕著性ピーク検出部４が、ステップＳ１０５で視覚顕著性処理部３が取得した視覚顕著性マップに基づいてピーク位置を取得（検出）する（ステップＳ１０６）。

次に、脇見傾向判定部５が、注視エリアＧを設定して、当該注視エリアＧと視覚顕著性ピーク検出部４が取得したピーク位置とを比較する（ステップＳ１０７）。比較した結果ピーク位置が注視エリアＧ外である場合は（ステップＳ１０７；注視エリア外）、脇見傾向判定部５は、滞留タイマーが開始後か停止中か判定する（ステップＳ１０８）。滞留タイマーとは、ピーク位置が注視エリアＧ外に滞留している時間を計測するタイマーである。なお、注視エリアＧの設定は、ステップＳ１０４で画像を取得した際に行ってもよい。

滞留タイマーが停止中である場合は（ステップＳ１０８；停止中）、脇見傾向判定部５は、滞留タイマーを開始する（ステップＳ１０９）。一方、滞留タイマーが開始後である場合は（ステップＳ１０８；開始後）、脇見傾向判定部５は、滞留タイマー閾値の比較を行う（ステップＳ１１０）。滞留タイマー閾値とは、ピーク位置が注視エリアＧ外に滞留している時間の閾値であり、上述したように２秒などと設定されている。

滞留タイマーが閾値を超えていた場合は（ステップＳ１１０；閾値超え）、脇見傾向判定部５は、脇見警告部６の脇見警告ＳＷをＯＮにして、警告タイマーを開始させる（ステップＳ１１１）。そして、脇見傾向判定部５は、滞留タイマーを停止させる（ステップＳ１１２）。つまり、ピーク位置が注視エリアＧ外に滞留している時間が閾値以上であったので、脇見警告部６による警告を開始させる。

一方、滞留タイマーが閾値を超えない場合は（ステップＳ１１０；閾値超えない）、脇見傾向判定部５は、何もせずにステップＳ１０１に戻る。

また、ステップＳ１０７で比較した結果、ピーク位置が注視エリアＧ内である場合は（ステップＳ１０７；注視エリア内）、脇見傾向判定部５は、滞留タイマーを停止させる（ステップＳ１１２）。

以上の説明から明らかなように、ステップＳ１０５が取得工程、ステップＳ１０６がピーク位置検出工程、ステップＳ１０７が注視範囲設定工程、ステップＳ１０７〜Ｓ１１１が脇見出力工程としてそれぞれ機能する。

本実施例によれば、情報出力装置１は、視覚顕著性処理部３が、移動体から外部を撮像した画像に基づいて、その画像内における視覚顕著性の高低を推測して得られた視覚顕著性マップを時系列に取得し、視覚顕著性ピーク検出部４が、視覚顕著性マップにおける少なくとも１つのピーク位置を時系列に検出する。そして、脇見傾向判定部５部が、画像における注視エリアＧを設定し、ピーク位置が注視エリアＧから所定時間以上連続して外れていた場合は、脇見警告部６が脇見の傾向がある旨の情報を出力する。この視覚顕著性マップには、統計的なヒトの視線が集まりやすさを示している。したがって、視覚顕著性マップのピークは、その中で最も統計的にヒトの視線の集まりやすい位置を示している。そのため、視覚的顕著性マップを用いることで、実際の運転手の視線を計測することなく、簡易な構成で脇見の傾向を検出することができる。

また、脇見傾向判定部５は、注視エリアＧを画像の消失点Ｖに基づいて設定している。このようにすることにより、例えば前方車両等を検出しなくても注視エリアＧを容易に設定することが可能となる。

また、脇見傾向判定部５が、ピーク位置が注視エリアＧよりも上方又は下方に所定時間以上連続して位置していた場合は、脇見警告部６が、固定物による脇見の傾向がある旨の情報を出力してもよい。注視エリアＧよりも上方は、一般的に建物や交通信号、標識、街灯などの固定物が映り込むエリアであり、注視エリアＧよりも下方は、一般的に道路標識等の路上ペイントが映り込むエリアである。つまり、範囲にピーク位置が含まれる場合は、脇見による脇見対象物が固定物であると特定することができる。

また、視覚顕著性処理部３は、画像を写像処理可能な中間データに変換する入力部３１０と、中間データを写像データに変換する非線形写像部３２０と、写像データに基づき顕著性分布を示す顕著性推定情報を生成する出力部３３０と、を備え、非線形写像部３２０は、中間データに対し特徴の抽出を行う特徴抽出部３２１と、特徴抽出部３２１で生成されたデータのアップサンプルを行うアップサンプル部３２２と、を備えている。このようにすることにより、小さな計算コストで、視覚顕著性を推定することができる。また、このようにして推定した視覚顕著性は、文脈的な注意状態を反映したものとなる。

なお、注視エリアＧは、固定的な範囲に設定されるに限らない。例えば移動体の移動速度に応じて変更してもよい。例えば高速走行時には、運転者の視野が狭くなることが知られている。そこで、例えば脇見傾向判定部５が、車両に搭載されている速度センサ等から車速を取得して、速度が高くなるにしたがって注視エリアＧの範囲を狭めてもよい。また、移動速度に応じて適正な車間距離も変化するため、図９を参照して説明した算出方法による注視エリアＧの範囲も変化させてもよい。車両の速度は、速度センサに限らず、加速度センサや撮像画像から求めてもよい。

また、注視エリアＧを車両等の走行位置や状況に応じて変更してもよい。周囲への注意が必要な状況であれば、注視エリアＧを広くする必要がある。例えば、住宅街、幹線道路、繁華街等の走行する位置によって注視すべき範囲は変わる。住宅街であれば歩行者は少ないが急な飛び出しに注意する必要があり注視エリアＧは狭くできない。一方で、幹線道路であれば、走行速度が高くなり、上述したように視野が狭くなる。

具体例を示すと、通学路、公園、学校近傍は子供の飛び出しの危険性があると考えられる。駅学校近傍、催事の場所・観光地近傍等は歩行者が多いと考えられる。駐輪場近傍、学校近傍等は自転車が多いと考えられる。歓楽街近傍等は酔客が多いと考えられる。以上のような地点等は、周囲への注意が必要な状況であり、注視エリアＧを広くして、脇見傾向と判定されるエリアを狭くしてもよい。一方で、高速道路走行時や、交通量・人口密度の低い地域等は、走行速度が高くなる傾向があり、注視エリアＧを狭くして、脇見傾向と判定されるエリアを広くしてもよい。

また、時間帯やイベント等で注視エリアＧを変化させてもよい。例えば、通勤通学時間帯は、周囲への注意が必要な状況であり、通常時間帯よりも注視エリアＧを広くして脇見傾向と判定されるエリアを狭くしてもよい。あるいは薄暮〜夜間にかけても同様に注視エリアＧを広くして脇見傾向と判定されるエリアを狭くしてもよい。一方で深夜は注視エリアＧを狭くして脇見傾向と判定されるエリアを広くしてもよい。

さらに、イベント情報により注視エリアＧを変化させてもよい。例えば催事等は人の往来が多い場所や時間帯となるので、通常より注視エリアＧを広くして脇見傾向の判定を緩くしてもよい。

このような地点の情報は、脇見傾向判定部５が、ＧＰＳ受信機や地図データ等の現在位置及び走行している地域が判別できる手段から情報を取得し、画像データと対応付けておくことで、注視エリアＧの範囲を変化させることができる。時刻情報は情報出力装置１が内部又は外部から取得すればよい。イベント情報は外部サイト等から取得すればよい。また、位置と時刻、日付を組み合わせて変更の判定を行ってもよいし、何れか一つを用いて変更の判定を行ってもよい。

さらに、高速走行する際には、滞留タイマー閾値を短くしてもよい。これは、高速走行時は、短時間の脇見でも危険な状態になるためである。

次に、本発明の第２の実施例にかかる情報処理装置を図１３〜図１５を参照して説明する。なお、前述した第１の実施例と同一部分には、同一符号を付して説明を省略する。

図１３に本実施例の典型的なシステム構成例を示す。本実施例にかかるシステムは情報処理装置１Ａとサーバ装置１０と、を有している。本実施例にかかる情報処理装置１Ａは、車両Ｖに搭載されている。そして、情報処理装置１Ａとサーバ装置１０とは、インターネット等のネットワークＮを介して通信可能となっている。

本実施例にかかる情報処理装置１Ａを図１４に示す。情報処理装置１Ａは、走行画像取得部２と、視覚顕著性処理部３と、視覚顕著性ピーク検出部４と、脇見傾向判定部５Ａと、出力部７と、を備えている。

走行画像取得部２と、視覚顕著性処理部３と、視覚顕著性ピーク検出部４と、は第１の実施例と同様である。脇見傾向判定部５Ａは、脇見の傾向を判定するに加えて、脇見の傾向があると判定された際の脇見対象物（ピーク位置）が常在対象物か否かを判定する。即ち、脇見傾向判定部５Ａは、ピーク位置が注視エリアＧ（注視すべき範囲）から所定時間以上連続して外れていた場合、ピーク位置に対応するのが常在対象物であるか判定する判定部として機能する。

常在対象物とは、第１の実施例で説明した建物や交通信号、標識、街灯、路上ペイントなどの固定物を示し、映像撮影場所から常時観察できる（建物等の常にその位置に存在する）脇見対象物をいう。

常在対象物の判定は、第１の実施例で説明した、ピーク位置が上方エリアＩｕか下方エリアＩｄかの判定に加えて、ピーク位置が左側方エリアＩｌや右側方エリアＩｒであった場合にも判定を行う。

ピーク位置が上方エリアＩｕか下方エリアＩｄである場合はエリアのみで常在対象物の判定が可能である。一方、ピーク位置が左側方エリアＩｌや右側方エリアＩｒであった場合は、エリアだけでは脇見対象物が常在対象物か判定できないため、物体認識を用いて判定を行う。物体認識（物体検出ともいう）は周知のアルゴリズムを用いればよく、具体的な方法は特に限定されない。

また、物体認識に限らず相対速度を利用して常在対象物の判定を行ってもよい。これは、自車速度と脇見対象物のフレーム間の移動速度から相対速度を求め、その相対速度から脇見対象物が常在対象物か判定する。ここで、脇見対象物のフレーム間の移動速度は、ピーク位置のフレーム間の移動速度を求めればよい。そして求めた相対速度が所定の閾値以上である場合は、ある位置に固定されている物（常在対象物）と判定することができる。

常在対象物は、上述したように、ある位置に固定され、映像撮影場所から常時観察できる（建物等の常にその位置に存在する）ものであるので、本実施例による判定を行うことで、脇見対象物（ピーク位置）が常在対象物と判定された位置では、常に脇見し易い位置であると見なすことができる。

出力部７は、脇見傾向判定部５において脇見対象物が常在対象物であると判定した場合は、判定結果をサーバ装置１０へ送信する。あるいは判定結果として常在対象物の有無を常に送信するようにしてもよい。このとき、リアルタイムに判定した場合は判定時刻、メモリカード等に保存された画像を判定した場合は画像の撮像時刻や日付を付加してもよい。時刻の情報を付加することで、時間帯により脇見し易い地点等を抽出することができる。例えば、昼間にのみ見える建物により脇見し易い地点、照明等の影響により脇見し易い地点、花火などのイベントにより脇見し易い地点、等が判別できる。また、撮像地点の情報を付加してもよい。

サーバ装置１０は、情報処理装置１Ａから送信された判定結果を集計する。例えば、位置情報を含めて情報処理装置１Ａ（車両）から送信された判定結果を集計することで、脇見し易い地点を抽出することができる。さらに、時間情報を含めることで、時間帯による脇見のし易い地点を抽出することができる。

本実施例にかかる情報処理装置１Ａにおける動作について、図１５のフローチャートを参照して説明する。図１５において、ステップＳ１０４〜Ｓ１１０、Ｓ１１２は、図１２と同様である。また、図１２のステップＳ１０１〜Ｓ１０３は、本実施例では警告は必須ではないので省略した。

図１５では、滞留タイマーが閾値を超えていた場合は（ステップＳ１１０；閾値超え）、脇見傾向判定部５は、常在対象物の判定及び判定結果の送信を行う（ステップＳ１１１Ａ）。ステップＳ１１１Ａでは、上述した物体認識等により常在対象物の判定を行って判定結果をサーバ装置１０に送信する。

なお、図１５に示したフローチャートでは、警告に係るステップは省略したが、警告も行うようにしてもよい。警告をする場合は、図１に示した脇見警告部６も備え、ステップＳ１０１〜Ｓ１０３も実行するようにし、ステップＳ１１１Ａの前後又は並行して図１２のステップＳ１１１を実行するようにすればよい。

また、本実施例では、車両側の情報処理装置１Ａが常在対象物の判定を行っていたが、サーバ装置１０側で常在対象物の判定を行ってもよい。つまり、走行画像等をサーバ装置１０が取得し、その画像に対して常在対象物の判定を行って、判定結果をサーバ装置１０内の記憶装置や他のサーバ装置等に出力するようにしてもよい。

本実施例によれば、情報処理装置１Ａは、視覚顕著性処理部３が、移動体から外部を撮像した画像に基づいて、その画像内における視覚顕著性の高低を推測して得られた視覚顕著性マップを時系列に取得し、視覚顕著性ピーク検出部４が、視覚顕著性マップにおける少なくとも１つのピーク位置を時系列に検出する。そして、脇見傾向判定部５部が、画像における注視エリアＧを設定し、ピーク位置が注視エリアＧから所定時間以上連続して外れていた場合、ピーク位置に対応するのが常在対象物であるか判定する。このようにすることにより、視覚顕著性マップに基づいて検出された脇見対象物が映像撮影場所から常時観察できる（建物等の常にその位置に存在する）常在対象物か、移動体かを判定することが可能となる。したがって、脇見対象物を少なくとも常在対象物であるか特定することができる。

また、脇見傾向判定部５部は、ピーク位置が注視エリアＧよりも左側方又は右側方に外れていた場合に、物体認識により常在対象物であるか判定してもよい。このようにすることにより、ピーク位置が注視すべき範囲よりも左側方又は右側方に外れていた場合は、ピーク位置に対応するのは常在対象物または移動体のいずれかであるので、物体認識を行うことで、建物等の常在対象物と自動車等の移動体とを精度良く判定することができる。

また、脇見傾向判定部５部が、移動体の移動速度を取得し、ピーク位置が注視エリアＧよりも左側方又は右側方に外れていた場合に、移動速度に基づいてピーク位置が示す物体の相対速度を算出し、相対速度に基づいて常在対象物であるか判定してもよい。このようにすることにより、相対速度により常在対象物を判定することができ、判定時の処理負荷を軽減することができる。

また、判定結果を出力する出力部７を備えている。このようにすることにより、例えば車両で判定した結果をサーバ装置１０等へ送信して集計することが可能となる。

また、本発明は上記実施例に限定されるものではない。即ち、当業者は、従来公知の知見に従い、本発明の骨子を逸脱しない範囲で種々変形して実施することができる。かかる変形によってもなお本発明の情報処理装置を具備する限り、勿論、本発明の範疇に含まれるものである。

１ 情報出力装置（情報処理装置）
２ 走行画像取得部
３ 視覚顕著性処理部（取得部）
４ 視覚顕著性ピーク検出部（ピーク位置検出部）
５ 脇見傾向判定部（注視範囲設定部、脇見出力部、速度取得部、位置取得部、判定部）
６ 脇見警告部
７ 出力部

Claims (8)

1. 移動体から外部を撮像した画像に基づいて視覚顕著性の高低を推測して得られた視覚顕著性分布情報を時系列に取得する取得部と、
   前記視覚顕著性分布情報における少なくとも１つのピーク位置を時系列に検出するピーク位置検出部と、
   前記画像における前記移動体の運転者が注視すべき範囲を設定する注視範囲設定部と、
   前記ピーク位置が前記注視すべき範囲から所定時間以上連続して外れていた場合、前記ピーク位置に対応するのが常在対象物であるか判定する判定部と、
   を備えることを特徴とする情報処理装置。
2. 前記判定部は、前記ピーク位置が前記注視すべき範囲よりも側方に外れていた場合に、物体認識により前記常在対象物であるか判定することを特徴とする請求項１に記載の情報処理装置。
3. 前記移動体の移動速度を取得する速度取得部を備え、
   前記判定部は、前記ピーク位置が前記注視すべき範囲よりも側方に外れていた場合に、前記移動速度に基づいて前記ピーク位置が示す物体の相対速度を算出し、前記相対速度に基づいて前記常在対象物であるか判定することを特徴とする請求項１に記載の情報処理装置。
4. 前記判定結果を出力する出力部を備えることを特徴とする請求項１から３のうちいずれか一項に記載の情報処理装置。
5. 前記取得部は、
   前記画像を写像処理可能な中間データに変換する入力部と、
   前記中間データを写像データに変換する非線形写像部と、
   前記写像データに基づき顕著性分布を示す顕著性推定情報を生成する出力部と、を備え、
   前記非線形写像部は、前記中間データに対し特徴の抽出を行う特徴抽出部と、前記特徴抽出部で生成されたデータのアップサンプルを行うアップサンプル部と、を備える、
   ことを特徴とする請求項１から４のうちいずれか一項に記載の情報処理装置。
6. 移動体から外部を撮像した画像に基づいて所定の処理を行う情報処理装置で実行される情報処理方法であって、
   前記画像に基づいて視覚顕著性の高低を推測して得られた視覚顕著性分布情報を時系列に取得する取得工程と、
   前記視覚顕著性分布情報における少なくとも１つのピーク位置を時系列に検出するピーク位置検出工程と、
   前記画像における前記移動体の運転者が注視すべき範囲を設定する注視範囲設定工程と、
   前記ピーク位置が前記注視すべき範囲から所定時間以上連続して外れていた場合、前記ピーク位置に対応するのが常在対象物であるか判定する判定工程と、
   を含むことを特徴とする情報処理方法。
7. 請求項６に記載の情報処理方法をコンピュータにより実行させることを特徴とする情報処理プログラム。
8. 請求項７に記載の情報処理プログラムを格納したことを特徴とするコンピュータ読み取り可能な記憶媒体。

Images