JP2021034739A - 事象発生推定のための学習データ生成方法・プログラム、学習モデル及び事象発生推定装置 - Google Patents

Abstract

【課題】周辺又は所定環境の状況に係る入力画像データに基づき、所定の事象の発生し易さを推定可能な学習モデルを生成するための学習データの生成方法を提供する。【解決手段】本学習データ生成方法は、周辺又は所定環境の状況に係る画像データに対し画素又は単位領域毎に当該状況に係る値を割り当てる処理を実施し、形成された各画素領域に当該状況に係るラベルを付与した画像データである領域分割画像データを生成するステップと、領域分割画像データの画素領域及びラベルに基づいて、所定の事象の発生に関係し得る情報である状況情報を決定するステップと、所定の条件を満たす状況情報が決定された画像データに対し、所定の事象が発生し易いことを示す値を正解データとして対応付けたデータセットを含む学習データを生成するステップとを有している。【選択図】図１

Description

本発明は、画像認識用学習モデルを生成するための学習データの生成技術に関する。

現在、監視やマーケティング等の目的をもって、さらには自動運転車や自律ロボット等の「視覚系」として、カメラで撮影され生成された画像データを解析し、撮影された対象を識別する技術の開発が盛んに進められている。

ここで、例えば自動運転車では、安全且つ確実な運転を実施可能とするため、撮影画像データに基づいて自車の周囲の状況を的確に認識することが非常に重要となる。

このような周囲の状況を認識するための技術として、例えば特許文献１には、運転者の負担を軽減しつつ危険な状況を回避することを意図した車両周辺監視技術が開示されている。ここで、この技術に係る障害物監視装置は、車載カメラの搭載された車両についての車速条件が満たされる場合、車載カメラによって撮像された画像を運転者に対し表示する。さらに、車載カメラによって撮像された画像から車両の周辺で障害物が画像認識された場合は、車速条件以外の速度であっても、画像とともにこの障害物の存在を示す表示を行って運転者に対し報知を行う。

また、特許文献２には、車両を通じて撮像された事故画像を適切に取得するための事故画像取得システムが開示されている。この事故画像取得システムでは、車両は、自車両とは別の事故車が絡む事故画像であると認識された撮像画像をセンタへ送信する。次いで、このセンタでは、受信した撮像画像の画像処理を通じてその画像中に事故車とその事故車に近い相対物とが存在すると判断したとき、それら事故車と相対物との近接度合いに基づいて撮像画像が事故画像であるか否かを判定するのである。

さらに、特許文献３には、予め定める転送条件が満足される場合に、車両の周辺状況を表す周辺状況情報を、外部のサーバ装置へ転送する車載装置が開示されている。ここで、周辺状況情報には、車両の周辺で交通事故が発生したことを表す交通事故発生情報、及び車両の周辺に存在する駐車場に関する駐車場情報のうちの少なくとも一方が含まれる。

特開２０１２−０６９１５４号公報 特開２０１５−２３０５７９号公報 特開２０１５−２１０７７５号公報

以上に説明した特許文献１〜３に記載されたような従来技術ではたしかに、画像データに基づき、周辺の状況として事故現場、事故車両や障害物等の存在を認識し、この認識結果を、運転に役立つ情報として提示することが可能となっている。

ここで、例えば自動運転の現場においては、障害物の存在等に限らず、自車両周辺の状況が、事故の発生し易い状況であるか否かの情報を取得することが非常に重要となる。例えば人通りの多い狭隘な道路を走行する際には、自動運転主体が、撮影画像データから「事故が発生し易い」ことを認識し、より安全な運転を実施することが極めて大事となる。また勿論、このように認識することは、非自動運転車の運転者にとっても同様に重要となるのである。

しかしながら、特許文献１〜３に記載されたような従来技術では、周辺の撮影画像データからそのような事故の発生し易さを判断することは困難であり、特に、事故車両や障害物等の存在に限らず、周辺の様々な状況を勘案して事故発生の危険度を推定することは概ね不可能となっている。

そこで、本発明は、周辺又は所定環境の状況に係る画像データに基づき、所定事象の発生し易さを推定する処理を実施可能にすることを目的とする。

本発明によれば、周辺又は所定環境の状況に係る入力画像データに基づき、所定の事象の発生し易さを推定可能な学習モデルを生成するための学習データを生成するコンピュータにおける学習データ生成方法であって、
周辺又は所定環境の状況に係る画像データに対し画素又は単位領域毎に当該状況に係る値を割り当てる処理を実施し、形成された各画素領域に当該状況に係るラベルを付与した画像データである領域分割画像データを生成するステップと、
当該領域分割画像データの当該画素領域及び当該ラベルに基づいて、当該事象の発生に関係し得る情報である状況情報を決定するステップと、
所定の条件を満たす当該状況情報が決定された画像データに対し、当該事象が発生し易いことを示す値を正解データとして対応付けたデータセットを含む学習データを生成するステップと
を有する学習データ生成方法が提供される。

この本発明による学習データ生成方法の一実施形態として、上記の状況情報を決定するステップでは、予め設定された状況情報に係る項目毎に、当該事象が発生する要因となる度合いを示す発生要因スコアを決定して、当該項目毎に決定した発生要因スコアを当該状況情報とし、
上記の学習データを生成するステップでは、当該発生要因スコアが所定の条件を満たすことになる画像データに対し、当該事象が発生し易いことを示す値を正解データとして対応付けたデータセットを含む学習データを生成することも好ましい。

また、本発明による学習データ生成方法において、当該画像データは、通行エリアを移動する移動体での撮影によって生成され、当該所定の事象は、この移動体に係る事故又は事故未遂事象であり、
当該状況情報は、当該通行エリアの幅に係る項目の情報、当該通行エリアでの人及び／又は移動体の存在に係る項目の情報、複数の通行エリアが交差する交差点の存在に係る項目の情報、視界障害物の存在に係る項目の情報、人及び／又は移動体の数に係る項目の情報、並びに、周囲の移動体及び／又は人における所定以上の位置の変化に係る項目の情報のうちの少なくとも１つを含む情報であることも好ましい。

さらに、本発明による学習データ生成方法の他の実施形態として、当該画像データは、移動体が所定条件を満たすだけの急な減速若しくは制動動作、若しくは急なステアリング動作を行った時点又はその近傍時点におけるこの移動体での撮影によって生成され、当該所定の事象は、この移動体に係る事故又は事故未遂事象であることも好ましい。

また、上記の実施形態において、当該移動体が所定条件を満たすだけの急な減速若しくは制動動作、若しくは急なステアリング動作を行った時点又はその近傍時点は、当該移動体に搭載されたＣＡＮ（Controller Area Network）から取得される速度若しくは制動情報、当該画像データにおけるオプティカルフローのベクトル量、及び当該画像データを含む画像データ群に対する符号化圧縮処理の際に決定される動きベクトルのうちの少なくとも１つに基づいて決定される時点とすることも好ましい。

さらに、本発明による学習データ生成方法における領域分割画像データは、当該画像データに対しセマンティックセグメンテーション（Semantic Segmentation）処理を施して生成されることも好ましい。

本発明によれば、また、以上に述べた学習データ生成方法によって生成された学習データを用いて生成される学習モデルが提供される。さらに、本発明によれば、この学習モデルを用い、周辺又は所定環境の状況に係る入力画像データについて所定の事象の発生し易さを推定し、当該推定結果を出力する事象発生推定手段を有する事象発生推定装置が提供される。

この本発明による事象発生推定装置の一実施形態として、本事象発生推定装置は、
当該入力画像データに対し画素又は単位領域毎に当該周辺又は所定環境の状況に係る値を割り当てる処理を実施し、形成された各画素領域に当該周辺又は所定環境の状況に係るラベルを付与した画像データである領域分割画像データを生成する領域分割画像生成手段と、
当該領域分割画像データの当該画素領域及び当該ラベルに基づいて、当該事象の発生に関係し得る情報である状況情報を決定する状況情報決定手段と、
当該状況情報に基づいて、出力された当該推定結果を裏付ける情報であって当該事象が発生する要因に係る情報である発生要因情報を生成して出力する発生要因情報生成手段と
を更に有することも好ましい。

本発明によれば、さらに、周辺又は所定環境の状況に係る入力画像データに基づき、所定の事象の発生し易さを推定可能な学習モデルを生成するための学習データを生成するコンピュータを機能させるプログラムであって、
周辺又は所定環境の状況に係る画像データに対し画素又は単位領域毎に当該状況に係る値を割り当てる処理を実施し、形成された各画素領域に当該状況に係るラベルを付与した画像データである領域分割画像データを生成する領域分割画像生成手段と、
当該領域分割画像データの当該画素領域及び当該ラベルに基づいて、当該事象の発生に関係し得る情報である状況情報を決定する状況情報決定手段と、
所定の条件を満たす当該状況情報が決定された画像データに対し、当該事象が発生し易いことを示す値を正解データとして対応付けたデータセットを含む学習データを生成する学習データ生成手段と
してコンピュータを機能させる学習データ生成プログラムが提供される。

本発明の学習データ生成方法・プログラム、学習モデル及び事象発生推定装置によれば、周辺又は所定環境の状況に係る画像データに基づき、所定事象の発生し易さを推定する処理が実施可能となる。

本発明に係る学習モデル生成装置及び事象発生推定装置を備えた事象発生推定システムの一実施形態を説明するための模式図及び機能ブロック図である。 本発明に係る領域分割画像生成処理及び周辺状況情報生成処理についての実施例を説明するための模式図である。 本発明に係る領域分割画像生成処理及び周辺状況情報生成処理についての実施例を説明するための模式図である。 本発明に係る提示情報生成処理についての一実施例を説明するための模式図である。 本発明による学習データ・学習モデル生成方法、及び事象発生推定方法における一実施形態の概略を示すシーケンス図である。

以下、本発明の実施形態について、図面を用いて詳細に説明する。

［事象発生推定システム］
図１は、本発明に係る学習モデル生成装置及び事象発生推定装置を備えた事象発生推定システムの一実施形態を説明するための模式図及び機能ブロック図である。

図１に示した本実施形態の事象発生推定システムは、
（ａ）（本実施形態において移動可能な）事象発生推定装置である１つ以上の端末２０と、
（ｂ）端末２０（又は画像データベース）から取得された画像データに基づいて学習モデルを生成可能な学習モデル生成装置であるクラウドサーバ１と
を有し、このうちクラウドサーバ１においては、この後詳細に説明する「周辺状況情報」を勘案して選別された画像データを用いた「学習データ」が生成され、さらにこれにより「学習モデル」が生成されて、この「学習モデル」が端末２０に供給される。

ここで、この「学習モデル」は、周辺又は所定環境の状況に係る入力画像データ（例えばカメラ２０３で撮影され生成された自動車２周辺の状況を示す画像データ）に基づき、所定の事象（例えば交通事故又は交通事故未遂事象）の発生し易さを推定可能なモデルとなっている。このような「学習モデル」を供給された端末２０は、この「学習モデル」を用いて所定の事象の発生し易さを推定する事象発生推定処理を実施するのである。

ちなみに、端末２０は本実施形態において、通信機能を有するドライブレコーダであり、自動車２における例えば車両前方を撮影可能な位置（例えばダッシュボード上部）に設置されている。また、各端末２０は、例えば携帯電話通信網やインターネット等を介してクラウドサーバ１と無線通信接続が可能となっており、学習モデル生成のための画像データ（映像データ，画像フレーム群）をクラウドサーバ１へ送信することができる。

さらに、クラウドサーバ１は、以上に説明した「学習モデル」を生成するための「学習データ」を生成するべく、
（Ａ）周辺又は所定環境の状況に係る画像データに対し画素又は単位領域毎に当該状況に係る値を割り当てる処理を実施し、形成された各画素領域（画像部分領域）に当該状況に係るラベルを付与した画像データである「領域分割画像データ」を生成する領域分割画像生成部１１２と、
（Ｂ）「領域分割画像データ」の当該画素領域及び当該ラベルに基づいて、所定事象の発生に関係し得る情報である「周辺状況情報」（状況情報）を決定する周辺状況情報決定部１１３と、
（Ｃ）所定の条件を満たす「周辺状況情報」が決定された画像データに対し、所定事象が発生し易いことを示す値を正解データとして対応付けたデータセットを含む「学習データ」を生成する学習データ生成部１１４と
を有することを特徴としているのである。

このようにクラウドサーバ１は、「領域分割画像データ」を生成して「周辺状況情報」を決定する。この「周辺状況情報」は後に詳述するが例えば、道路幅の情報や、道路付近での人の数の情報とすることができ、所定事象（例えば交通事故又は交通事故未遂事象）の発生に関係し得る重要な情報となっている。このような「周辺状況情報」に基づくことによって、クラウドサーバ１は「学習データ」に好適な画像データを決定、選別又は抽出することができ、その結果、所定事象の発生し易さの推定処理を実施可能にする「学習モデル」の生成に好適な「学習データ」を生成することができるのである。

ちなみに上記（Ａ）で生成される「領域分割画像データ」は、周辺又は所定環境の状況に係る画像データに対し、セマンティックセグメンテーション（Semantic Segmentation）処理を施して生成されるものとすることができる。

このSemantic Segmentation処理は、フレーム画像内の各ピクセルをクラス、例えば"人物"、"自動車"、"道路"や、"空"等に分類した上で、フレーム画像内にクラス領域、例えば"人物"領域、"自動車"領域、"道路"領域や、"空"領域等を決定する公知の処理である。これにより、画像内に写っているモノが何であるかの意味付けを行うことが可能となり、その結果、意味付けされた画素領域（画像部分領域）の情報から種々の「周辺状況情報」が決定可能となるのである。

例えば、「学習データ」を生成するに当たり、まさに所定事象（例えば交通事故又は交通事故未遂事象）の発生した現場の画像データを用いることも考えられるが、この場合、所定事象の発生し易さを推定する学習モデルが効果的に生成されない可能性も生じる。これに対し、クラウドサーバ１は、発生現場の画像データに限定されず、意味付けされた「周辺状況情報」を勘案して決定、選別又は抽出された画像データを利用するので、所定事象の発生し易さを推定する「学習モデル」をより効果的に生成可能とするのである。

ちなみに、端末２０は当然に、自動車２に設置された車載装置（ドライブレコーダ）に限定されるものではなく、例えば自転車、鉄道車両や、ロボット、ドローン等の移動体に設置された（又は搭乗した）ものとすることができる。また、ＨＭＤ（Head Mounted Display）やグラス型端末等のウェアラブル端末であってもよい。さらには、移動可能ではない（非モバイルである）パーソナル・コンピュータ（ＰＣ）等の情報処理装置とすることもできる。

また例えば、工場内の監視ロボットに本発明に係る端末（事象発生推定装置）を搭載し、工場内で発生し得る様々なトラブル（事象）の発生を、ロボットのカメラ映像から予測するといったことも可能となるのである。

さらに、図１とは全く別の実施形態となるが、クラウドサーバ１が事象発生推定機能も備えており、端末２０は、カメラ２０３で撮影された画像データをクラウドサーバ１へアップロードし、クラウドサーバ１から事象発生推定結果を取得するような実施形態をとることも可能である。

ここで以下、本実施形態の装置機能構成を詳しく説明していくが、説明の容易さのため、発生し易さを推定するべき所定事象は、特に断りのない限り以下、交通事故又は交通事故未遂事象であるとする。

［学習モデル生成装置の機能構成］
同じく図１に示した機能ブロック図によれば、クラウドサーバ１は、通信インタフェース１０１と、プロセッサ・メモリとを有する。ここで、このプロセッサ・メモリは、本発明による学習データ生成プログラムを含む学習モデル生成プログラムの一実施形態を保存しており、さらに、コンピュータ機能を有していて、この学習モデル生成プログラムを実行することによって、学習モデル生成処理を実施する。

またこのことから、本発明に係る学習モデル生成装置として、本クラウドサーバ１に代えて、本発明に係る上記の学習モデル生成プログラムを搭載した、例えば非クラウドのサーバ装置、パーソナル・コンピュータ（ＰＣ）、ノート型若しくはタブレット型コンピュータ、又はスマートフォン等を採用することも可能となる。

例えば、端末２０に本発明に係る上記の学習モデル生成プログラムを搭載し、当該端末２０を本発明による学習モデル生成装置とすることもできる。また、本発明による学習モデル生成装置を、端末２０とともに自動車２に設置する実施形態も可能となるのである。

さらに、プロセッサ・メモリは、画像取得部１１１と、領域分割画像生成部１１２と、周辺状況情報決定部１１３と、学習データ生成部１１４と、学習モデル生成部１１５とを有する。なお、これらの機能構成部は、プロセッサ・メモリに保存された、本発明による学習データ生成プログラムを含む学習モデル生成プログラムの機能と捉えることができる。また、図１におけるクラウドサーバ１の機能構成部間を矢印で接続して示した処理の流れは、この本発明に係る学習モデル生成方法の一実施形態としても理解される。

同じく図１の機能ブロック図において、画像取得部１１１は、「学習モデル」を生成するための「学習データ」に含まれる画像データを収集して保存し、当該画像データを、学習データ生成のために適宜出力する画像データ管理手段である。画像取得部１１１は例えば、各端末２０から通信インタフェース１０１を介して多数の画像データを取得することができる。また、外部の画像データベースから多数の画像データを取得してもよい。

ここで本実施形態において、画像取得部１１１が各端末２０から取得する画像データは、後に詳細に説明するが、当該端末２０の搭載された自動車２が所定条件を満たすだけの急な減速若しくは制動動作（ブレーキ動作）、又は急なステアリング（ハンドル動作）を行った時点又はその近傍時点における当該自動車２における撮影によって生成された画像データを含むことも好ましい。またさらに、このような急減速、急制動や、急なステアリングに係る画像データには「急減速」タグ、「急ブレーキ」タグや、「急ハンドル」タグが付与されていることも好ましい。

このようなタグの付与された画像データは、所定事象としての自動車２に係る交通事故又は交通事故未遂事象の起こり易さを推定する「学習モデル」を生成するのに好適な画像データとなっているのである。

領域分割画像生成部１１２は本実施形態において、画像取得部１１１から出力された画像データに対し上述したSemantic Segmentation処理を施して領域分割画像データを生成する。具体的な領域分割画像データの内容は、後に図２及び３を用いて詳細に説明する。

周辺状況情報決定部１１３は、生成された領域分割画像データにおける画素領域（画像部分領域）及び（当該領域に付与された又は付与されていない）クラスのラベルに基づき、所定事象としての交通事故又は交通事故未遂事象の発生に関係し得る情報である周辺状況情報を決定する。ここで本実施形態では特に、「急減速」タグ、「急ブレーキ」タグや「急ハンドル」タグの付与された画像データ（から生成された領域分割画像データ）について周辺状況情報を決定することが重要となる。なお、具体的な周辺状況情報の内容については、この後図２及び３を用いて詳細に説明する。

図２及び３は、本発明に係る領域分割画像生成処理及び周辺状況情報生成処理についての実施例を説明するための模式図である。

図２に示した実施例では、領域分割画像生成部１１２は、自動車２における進行方向の景色を含むＲＧＢ画像データに対しSemantic Segmentation処理を実施して、領域分割画像を生成している。ここで生成された領域分割画像は、図２に示すようにクラスラベル"道路"の付与された画素領域Raを含み、一方で、クラスラベル"自動車"や"人間”の付与された画素領域や、クラスラベル"視界障害物"の付与された画素領域を含んでいない。

次いで、周辺状況情報決定部１１３は、生成された領域分割画像における画素領域の情報及び（付与された又は付与されていない）クラスラベルの情報に基づいて、周辺状況情報を決定している。本実施形態において具体的には、周辺状況情報の項目として、
（ａ）道路幅，（ｂ）視界障害物，（ｃ）人の数，（ｄ）自動車の数，・・・
を予め設定しておき、当該項目毎に、交通事故又は交通事故未遂事象が発生する要因となる度合いを示す「危険スコア（発生要因スコア）」を決定して、当該項目毎に決定した「危険スコア」を周辺状況情報としている。

ちなみに、画像データが通行エリアを移動する移動体での撮影によって生成され、所定事象がこの移動体に係る事故又は事故未遂事象である場合においては、周辺状況情報は、（ａ）この移動体の幅及び／又は通行エリアの幅に係る項目の情報、（ｂ）視界障害物の存在に係る項目の情報、（ｃ）通行エリアでの人及び／又は（動物を含む）移動体の存在に係る項目の情報、（ｄ）複数の通行エリアが交差する交差点の存在に係る項目の情報、（ｅ）人及び／又は移動体の数に係る項目の情報、（ｆ）周囲の移動体及び／又は人における所定以上の位置の変化（例えば前方車両の急ブレーキや急な割込みといった挙動）に係る項目の情報、並びに、（ｇ）元の画像データにおける輝度に係る項目の情報のうちの少なくとも１つを含む情報とすることができる。

図２に示した実施例では、算出された「道路幅」危険スコア、「視界障害物」危険スコア及び「人の数」危険スコアはいずれも、相対的に小さい値となっている。ここで、「道路幅」危険スコアは、予め画像座標系と（カメラ位置を原点とした）実空間座標系との間の座標変換式を決定しておき、これを用いて画素領域Raの実空間での幅（水平方向での距離）を算出して道路幅とし、この道路幅から、予め道路幅が狭いほどより大きいスコアを対応付けたテーブルを参照して決定することができる。ここでこのテーブルのスコアは、自動車２の幅（と道路幅との比）も勘案して決められることも好ましい。

また、「視界障害物」危険スコアは、領域分割画像内において画素領域Raも勘案して「視界領域」を規定した上で、クラスラベル"視界障害物"の付与された画素領域が、この視界領域を占める割合を決定し、この割合から、予め割合が大きいほどより大きいスコアを対応付けたテーブルを参照して決定することができる。さらに、"視界障害物"の付与された画素領域が画素領域Ra内において占める位置に基づいて、「視界障害物」危険スコアを決定してもよい。例えば、"視界障害物"の付与された画素領域の位置が画素領域Raの中央に近いほど、より大きなスコアを付与するようにしてもよい。

さらに、「人の数」危険スコアは、領域分割画像内において画素領域Raも勘案して「人存在留意領域」を規定した上で、クラスラベル"人間"の付与された画素領域であってその下端（足元）がこの人存在留意領域内にある画素領域の「数」を決定し、この「数」から、予め「数」が大きいほどより大きいスコアを対応付けたテーブルを参照して決定することができる。またこの場合、当該下端（足元）の位置が「人存在留意領域」内であって画素領域Raの中央に近いほど、その「数」のカウントの際により大きい重みを付与する、すなわち、1よりもより大きなカウント数を計上するようにしてもよい。

次に、図３に示した実施例では、領域分割画像生成部１１２は、図２の実施例と同様、自動車２における進行方向の景色を含むＲＧＢ画像データに対しSemantic Segmentation処理を実施して、領域分割画像を生成している。ここで生成された領域分割画像は、図３に示すようにクラスラベル"道路"の付与された画素領域Ra、クラスラベル"柱状体（視界障害物）"の付与された画素領域Rb、クラスラベル"壁状体（視界障害物）"の付与された画素領域Rc、及びクラスラベル"人間”の付与された画素領域Rdを含み、一方で、クラスラベル"自動車"の付与された画素領域を含んでいない。

次いで、周辺状況情報決定部１１３は、図２の実施例と同様に、生成された領域分割画像における画素領域の情報及び（付与された又は付与されていない）クラスラベルの情報に基づいて、周辺状況情報を決定している。具体的に図３の実施例では、算出された「道路幅」危険スコア及び「視界障害物」危険スコアは相対的に大きい値となっており、「人の数」危険スコアは相対的に中程度の値となっている。

図１の機能ブロック図に戻って、学習データ生成部１１４は、
（ａ）所定条件を満たす周辺状況情報（危険スコア群）が決定された元の画像データに対し、交通事故（又は交通事故未遂事象）の起き易いことを示す値（ラベル）を正解データとして対応付けたデータセットを生成し、
（ｂ）当該所定条件を満たさない周辺状況情報（危険スコア群）が決定された元の画像データに対し、交通事故（又は交通事故未遂事象）が起き易いとは言えないことを示す値（ラベル）を正解データとして対応付けたデータセットを生成し、
これらのデータセットを含む「学習データ」を生成する。

なおここで、（元の）画像データとして、「急減速」タグ、「急ブレーキ」タグや「急ハンドル」タグの付与された画像データのみを用いることも好ましい。この場合、学習データ生成部１１４は、交通事故又は交通事故未遂事象に関係し得る、これらのタグの付与された画像データについてさらに、周辺状況情報を勘案してより的確な正解ラベルを対応付けることが可能となる。すなわち、単に「「急減速」タグ、「急ブレーキ」タグや「急ハンドル」タグの有無だけに依存しない、より適切な「学習データ」を生成することができるのである。ただし勿論、「急減速」タグ、「急ブレーキ」タグや「急ハンドル」タグの付与されていない画像データについても、適切なラベルを対応付けた上で学習データに採用することも可能である。

また、上記（ａ）の所定条件としては例えば、周辺状況情報としての危険スコア群についての各危険スコアに重み付けした上での総和（summation）の値、すなわち「総合危険スコア」が、所定閾値以上であることとしてもよい。この場合例えば、「総合危険スコア」が所定閾値以上である画像データに対し1（危険）を対応付けたデータセットと、「総合危険スコア」が所定閾値未満である画像データに対し0（安全）を対応付けたデータセットとを生成して「学習データ」とすることができる。例えば、図２に示した画像データには0（安全）を対応付け、一方、図３に示した画像データには1（危険）を対応付けて「学習データ」を生成するのである。

さらに変更態様として、上述した「総合危険スコア」について予め第1〜第N範囲（例えば第1（小）,第2（中）,第3（大）の３つの範囲）を規定しておき、「総合危険スコア」が第p（1≦p≦N）範囲にある画像データに対しpを正解ラベルとして対応付けた（例えば総合危険スコアが第1（小）範囲にある画像データに対し1（安全）を対応付けた）データセットを生成して「学習データ」とすることも好ましい。または、「総合危険スコア」を危険の度合い（0.0：安全〜1.0：危険）に換算し、この危険の度合いを正解ラベルとして画像データに対応付けたデータセットを生成して「学習データ」としてもよい。

いずれにしても学習データ生成部１１４は、例えば急ブレーキ時、急減速時や急ハンドル時に生成された画像データであって、周辺状況情報（危険スコア群）が交通事故（又は交通事故未遂事象）の起き易い状況であることを示している画像データに対しては、交通事故（又は交通事故未遂事象）の起き易いことを示す値（ラベル）を正解データとして対応付けたデータセットを生成し「学習データ」を生成することができるのである。

学習モデル生成部１１５は、学習データ生成部１１４で生成された「学習データ」を用い、所定の機械学習アルゴリズムに基づいて「学習モデル」を生成する。この「学習モデル」は、本実施形態において、入力画像データから交通事故（又は交通事故未遂事象）の起こり易さ（危険度）を出力可能なモデルとなる。

ここで、機械学習アルゴリズムとして、画像認識用に広く使用されているディープニューラルネットワーク（ＤＮＮ，Deep Neural Network）や、サポートベクタマシーン（ＳＶＭ）、さらにはランダムフォレスト（Random Forest）等、種々のアルゴリズムが適用可能である。いずれにしても、画像データが入力されて識別結果が出力される識別器を構成するアルゴリズムならば、種々のものを採用することができる。

具体的に１つの実施態様として、学習モデル生成部１１５は、
（ａ）画像データを入力してこれらの特徴に係る特徴情報を出力する第１ＮＮとしての畳み込み層部（Convolutional Layers）と、
（ｂ）畳み込み層部から出力された特徴情報を入力してクラスに係る情報（ラベルに係る情報）を出力する第２ＮＮとしての全結合層部（Fully-Connected Layers）と
を含む識別器を構成し、これに対し「学習データ」を用いて学習処理を行って「学習モデル」を生成してもよい。

ここで、上記（ａ）の畳み込み層部は、画像データに対しカーネル（重み付け行列フィルタ）をスライドさせて特徴マップを生成する畳み込み処理を実行する。この畳み込み処理によって、画像の解像度を段階的に落としながら、エッジや勾配等の基本的特徴を抽出し、局所的な相関パターンの情報を得ることができる。例えばこの畳み込み層部として、複数の畳み込み層を用いた公知のAlexNetを用いることが可能である。

このAlexNetでは、各畳み込み層はプーリング層と対になっており、畳み込み処理とプーリング処理とが繰り返される。ここでプーリング処理とは、畳み込み層から出力される特徴マップ（一定領域内の畳み込みフィルタの反応）を最大値や平均値等でまとめ、調整パラメータを減らしつつ、局所的な平行移動不変性を確保する処理である。

また他の実施態様として、学習モデル生成部１１５は、畳み込み層を含む畳み込みニューラルネットワーク（ＣＮＮ，Convolutional Neural Network）の出力側に、判別すべきクラス（ラベル）毎に設けられたサポートベクタマシン（ＳＶＭ）を接続した構成の識別器を構成し、これに対し学習データを用いて学習処理を行って「学習モデル」を生成することも可能である。

いずれにしても学習モデル生成部１１５は本実施形態において、生成した「学習モデル」を、通信インタフェース１０１を介して例えば事象発生推定装置である端末２０へ送信することができる。

［事象発生推定装置の機能構成］
同じく図１に示した機能ブロック図によれば、端末２０は、通信インタフェース２０１と、通信インタフェース２０２と、カメラ２０３と、ディスプレイ（ＤＰ）２０４と、プロセッサ・メモリとを有する。ここで、このプロセッサ・メモリは、本発明に係る事象発生推定プログラムの一実施形態を保存しており、さらに、コンピュータ機能を有していて、この事象発生推定プログラムを実行することによって、事象発生推定処理を実施する。

またこのことから、本発明に係る事象発生推定装置として、ドライブレコーダである本端末２０に代えて、本発明に係る事象発生推定プログラムを搭載した他の車載情報処理装置や、さらにはカメラを備えた又はカメラと接続されたスマートフォン、ノート型若しくはタブレット型コンピュータ、又はパーソナル・コンピュータ（ＰＣ）等を採用することも可能となる。また、ドライブレコーダとＷｉ-Ｆｉ（登録商標）やBluetooth（登録商標）等で通信接続された端末、例えばスマートフォンを本事象発生推定装置としてもよい。

さらに、プロセッサ・メモリは、映像生成部２１１と、画像選択部２１２と、事故発生推定部２１３と、提示情報生成部２１４と、領域分割画像生成部２１５と、周辺状況情報決定部２１６と、発生要因情報生成部２１７とを有する。なお、これらの機能構成部は、プロセッサ・メモリに保存された事象発生推定プログラムの機能と捉えることができる。また、図１における端末２０の機能構成部間を矢印で接続して示した処理の流れは、本発明に係る事象発生推定方法の一実施形態としても理解される。

同じく図１の機能ブロック図において、映像生成部２１１は、カメラ２０３から出力された撮影データに基づいて映像データ（画像データ群）を生成する。本実施形態において端末２０はドライブレコーダであり、映像生成部２１１は通常、デフォルトの設定として少なくとも自動車２の走行時は常に、車外の状況を撮影した撮影データをカメラ２０３から取得し、映像データ（画像データ群）を生成している。

画像選択部２１２は本実施形態において、映像生成部２１１で生成された画像データのうち、所定条件を満たすだけの急な減速若しくは制動動作（ブレーキ動作）、又は急なステアリング（ハンドル動作）を行った時点又はその近傍時点（例えば当該時点を中点とする所定時間範囲内の時点）における画像データを選択して、該当する「急減速」タグ、「急ブレーキ」タグや、「急ハンドル」タグを付与し、これらのタグの付与された画像データを、携帯電話通信網やインターネット等の通信網と接続された通信インタフェース２０１を介してクラウドサーバ１へ送信する。

ここで端末２０は、通信インタフェース２０２を介して自動車２のＣＡＮ（Controller Area Network）とＷｉ-Ｆｉ（登録商標）やBluetooth（登録商標）等の近距離無線通信網又は有線で接続されていて、画像選択部２１２は、このＣＡＮから、通信インタフェース２０２を介して速度情報、制動情報や、ステアリング情報を取得してもよい。

この場合、画像選択部２１２は、取得した速度情報から自動車の加速度を算出し、当該加速度が所定条件、例えば負値であってその絶対値が所定時間以上所定閾値を超える値であるとの条件、を満たすならば、対応する画像データに「急減速」タグを付与することができる。また、取得した制動情報から自動車の制動（ブレーキ）動作の強さを示す値を算出し、当該強さを示す値が所定条件、例えば所定時間以上所定閾値を超える値であるとの条件、を満たすならば、対応する画像データに「急ブレーキ」タグを付与することも好ましい。さらに、取得したステアリング情報から自動車のステアリング（ハンドル）動作の強さを示す値を算出し、当該強さを示す値が所定条件、例えば所定時間以上所定閾値を超える値であるとの条件、を満たすならば、対応する画像データに「急ハンドル」タグを付与することも好ましい。

また変更態様として、画像選択部２１２は、映像生成部２１１から取得した時系列の画像データについてオプティカルフロー解析を行い、所定条件を満たす大きなオプティカルフローのベクトル量が算出された際、対応する画像データに「状況急変」タグを付与してクラウドサーバ１へ送信することも好ましい。さらに、当該時系列の画像データについて画像差分解析を行い、所定時間内に所定以上の画像差分量が検出された際に「状況急変」タグを付与することも可能である。

また、端末２０からクラウドサーバ１へ画像データを送信する際、通常、当該画像データに対しＭＰＥＧ(Moving Picture Experts Group)等の符号化処理を行い、圧縮画像データを生成して送信することになるが、ここで、当該符号化処理の際に決定される（符号化パラメータとしての）動きベクトルが所定条件を満たす大きさを有する場合に、対応する圧縮画像データに「状況急変」タグを付与してクラウドサーバ１へ送信することも好ましい。

なお変更態様として、クラウドサーバ１が、端末２０から受信した圧縮画像データを伸張（デコード）して動きベクトルを抽出し、当該動きベクトルが所定条件を満たす大きさを有する場合に、伸張した画像データに「状況急変」タグを付与してもよい。さらには、端末２０からクラウドサーバ１へ圧縮画像データとともに対応するＣＡＮ情報が常時、伝送されている場合、又はＣＡＮ情報の付与された圧縮画像データが伝送される場合に、クラウドサーバ１が、取得したＣＡＮ情報に基づいて、受信し伸張した画像データに対し、「急減速」タグ、「急ブレーキ」タグや「急ハンドル」タグ、さらには「状況急変」タグを付与するようにしてもよい。

いずれにしてもクラウドサーバ１は、以上に説明した「状況急変」タグの付与された画像データを、「急減速」タグ、「急ブレーキ」タグや「急ハンドル」タグの付与された画像データと同様に取り扱うことになる。

なお勿論、画像選択部２１２は、「急減速」タグ、「急ブレーキ」タグや「急ハンドル」タグ、さらには「状況急変」タグを付与しない画像データを、学習データ生成用としてクラウドサーバ１へ送信してもよい。このような画像データは例えば、交通事故（又は交通事故未遂事象）が起こり難いことを示す値（正解ラベル）を対応付けた上で学習データに加えることが可能である。

同じく図１の機能ブロック図において、事象発生推定手段としての事故発生推定部２１３は、通信インタフェース２０１を介してクラウドサーバ１から取得した「学習モデル」を用いて交通事故発生推定処理を実施する識別器を備えており、映像生成部２１１で生成された、又は画像選択部２１２で選択された（所定のタグを付与された）入力画像データを受け付け、周辺状況に係る当該入力画像データにおける交通事故（又は交通事故未遂事象）の起こり易さを推定する。

ここで、推定結果として、「学習モデル」生成の際に用いた「学習データ」における正解クラスラベルの設定に応じ、2値のうちのいずれか、例えばクラスラベル"危険"及び"安全"のうちのいずれかを出力してもよい。または、多値のうちのいずれか、例えばクラスラベル"危険"、"要注意"、"安全運転励行"のうちのいずれかを出力してもよい。

領域分割画像生成部２１５は、事象発生推定対象である入力画像データ（事故発生推定部２１３へ入力された画像データ）に対し、画素又は単位領域毎に周辺又は所定環境の状況に係る値を割り当てる処理を実施し、形成された各画素領域（画像部分領域）に当該周辺又は所定環境の状況に係るラベルを付与した画像データである領域分割画像データを生成する。ここで、領域分割画像データを生成するための処理内容は、上述したクラウドサーバ１の領域分割画像生成部１１２での処理内容と同一とすることができ、具体的にSemantic Segmentation処理を行うものであってよい。

周辺状況情報決定部２１６は、領域分割画像生成部２１５で生成された領域分割画像データの画素領域及びラベルに基づいて、交通事故又は交通事故未遂事象発生に関係し得る情報である周辺状況情報を決定する。ここでも、周辺状況情報を決定するための処理内容は、上述したクラウドサーバ１の周辺状況情報決定部１１３での処理内容と同一とすることができる。

発生要因情報生成部２１７は、周辺状況情報決定部２１６で決定された周辺状況情報に基づいて、事故発生推定部２１３から出力された推定結果を裏付ける情報であって交通事故又は交通事故未遂事象が発生する要因に係る情報である「発生要因情報」を生成して出力する。この「発生要因情報」は、例えば「道路幅」危険スコア（周辺状況情報）が所定閾値以上である場合には「道路幅狭し」であったり、「人の数」危険スコア（周辺状況情報）が所定閾値以上である場合には「歩行者多し」であったりしてもよい。

提示情報生成部２１４は、事故発生推定部２１３に入力された入力画像データについて（ａ）出力された推定結果と（ｂ）生成された発生要因情報とを含む「提示情報」を生成し、この「提示情報」を、当該入力画像データと合せてディスプレイ２０４に表示させる。ここで例えば、上記（ａ）の推定結果が"危険"相当の内容（又は所定以上の危険度）である場合にのみ、「発生要因情報」を含む「提示情報」を生成して表示させることも好ましい。

図４は、本発明に係る提示情報生成処理についての一実施例を説明するための模式図である。

図４によれば、カメラ２０３で撮影され生成された、自動車２の進行方向の画像データに対し、
（ａ）事故発生推定部２１３が"危険"との推定結果を出力し、
（ｂ）周辺状況情報決定部２１６が、所定閾値以上の「人の数」危険スコアと、所定閾値以上の「視界障害物」危険スコアとを決定し、これを受けて発生要因情報生成部２１７が発生要因情報「歩行者多し」及び「見通し不良」を生成して出力し、
提示情報生成部２１４は、これら（ａ）及び（ｂ）の出力から提示情報「危険！歩行者多し！見通し不良！」を生成して、画像内の吹き出しの形でディスプレイ２０４に表示させている。

ここで本実施例では、事象発生推定処理を含む一連の処理は入力画像データの生成後直ちに実施されて、画像データ及び提示情報は、概ねリアルタイムにディスプレイ２０４に表示されている。

このように、特に"危険"相当の推定結果に合わせて、危険である理由（事故の原因となり得る事項）をも提示することによって、ユーザに対しより的確に注意を促し、一方ユーザは、事故を回避するために留意すべき事項を直ちに且つ確実に理解し、より適切・安全な運転を実施することも可能となる。

また例えば、自動運転車においても、いわゆるヒヤリハットポイントとして登録された場面ではない現前の未知の道路状況について、危険の度合い（交通事故の発生し易さ）をより的確に認識し、そのような危険の度合いの状況により合致した運転操作を実施することが可能となるのである。

［学習データ・学習モデル生成方法，事象発生推定方法］
図５は、本発明による学習データ・学習モデル生成方法、及び事象発生推定方法における一実施形態の概略を示すシーケンス図である。ここで本実施形態では、端末２０Ａ〜２０Ｃは各々、常時、自動車２の進行方向の状況をカメラ２０３によって撮影して映像（画像データ）を生成している（ステップＳ１０１）。なお、端末２０の数は本実施形態において３つとなっているが、本発明は当然、これに限定されるものではない。

（Ｓ１０２）端末２０Ｃは、自身の搭載された自動車２の急ブレーキ情報をＣＡＮから取得する。
（Ｓ１０３）端末２０Ｃは、急ブレーキ情報の取得時に生成された画像データを選択する。
（Ｓ１０４）端末２０Ｃは、選択した急ブレーキ時の画像データ（急ブレーキタグの付与された画像データ）を、クラウドサーバ１へ送信する。
ここで、他の端末２０Ａ及び２０Ｂについても上記ステップＳ１０２〜１０４相当の処理が実施され、さらにいずれの端末においても上記ステップＳ１０２〜１０４相当の処理が繰り返されることによって、クラウドサーバ１は、急ブレーキタグの付与された画像データを十分な量だけ取得するものとする。

（Ｓ１１１）クラウドサーバ１は、取得した画像データに対し、セマンティックセグメンテーション処理を実施して領域分割画像を生成する。
（Ｓ１１２）クラウドサーバ１は、生成した領域分割画像から、周辺状況情報としての危険スコア群を決定する。
（Ｓ１１３）クラウドサーバ１は、所定条件を満たす危険スコア群を有する画像データに対し正解ラベル"危険"を対応付けたデータセットを含む「学習データ」を生成する。

（Ｓ１１４）クラウドサーバ１は、「学習データ」が所定量に達した段階で、当該「学習データ」を用いて「学習モデル」を生成する。
（Ｓ１１５）クラウドサーバ１は、生成した「学習モデル」を各端末２０Ａ〜２０Ｃに供給する。

（Ｓ１２１）各端末２０Ａ〜２０Ｃは、取得した「学習モデル」を用い、生成した画像データ毎に交通事故発生の危険度（交通事故の起こり易さ）を推定する。
（Ｓ１２２）各端末２０Ａ〜２０Ｃは、推定した危険度に係る提示情報を、当該画像データに合わせてディスプレイ２０４に表示する。

以上、詳細に説明したように、本発明によれば、画像データを含む「学習データ」を生成する際、画像データから「領域分割画像データ」を生成して、所定事象の発生に関係し得る重要な情報である「周辺状況情報」を決定する。次いで、このような「周辺状況情報」に基づくことによって、「学習データ」に好適な画像データを決定、選別又は抽出することができるのである。またこれにより、所定事象の発生し易さの推定処理を実施可能にする「学習モデル」の生成に好適な「学習データ」を生成することが可能となる。

また例えば、「学習データ」を生成するに当たり、まさに所定事象の発生した現場の画像データを用いることも考えられるが、この場合、所定事象の発生し易さを推定する「学習モデル」が効果的に生成されない可能性も生じる。これに対し本発明は、発生現場の画像データに限定されず、意味付けされた「周辺状況情報」を勘案して決定、選別又は抽出された画像データを利用するので、所定事象の発生し易さを推定する「学習モデル」をより効果的に生成することができるのである。

ちなみに、本発明を用いて生成される「学習モデル」は、将来一層の普及が見込まれる自動運転車、自律移動ロボットや、さらには自律移動ドローン等の自律移動体における周辺状況の「意味」認識力を強化していくことに、大いに貢献するものと考えられる。また、監視カメラシステムや監視ロボットによって、所定環境・エリアにおける様々な事象の発生を予測し対処していく際にも非常に有用なものとなり得るのである。

以上に述べた本発明の種々の実施形態について、本発明の技術思想及び見地の範囲内での種々の変更、修正及び省略は、当業者によれば容易に行うことができる。以上に述べた説明はあくまで例示であって、何ら制約を意図するものではない。本発明は、特許請求の範囲及びその均等物によってのみ制約される。

１ クラウドサーバ（学習モデル生成装置）
１０１ 通信インタフェース
１１１ 画像取得部
１１２ 領域分割画像生成部
１１３ 周辺状況情報決定部
１１４ 学習データ生成部
１１５ 学習モデル生成部
２ 自動車
２０、２０Ａ、２０Ｂ、２０Ｃ 端末（事象発生想定装置）
２０１、２０２ 通信インタフェース
２０３ カメラ
２０４ ディスプレイ（ＤＰ）
２１１ 映像生成部
２１２ 画像選択部
２１３ 事故発生推定部
２１４ 提示情報生成部
２１５ 領域分割画像生成部
２１６ 周辺状況情報決定部
２１７ 発生要因情報生成部

Claims (10)

1. 周辺又は所定環境の状況に係る入力画像データに基づき、所定の事象の発生し易さを推定可能な学習モデルを生成するための学習データを生成するコンピュータにおける学習データ生成方法であって、
   周辺又は所定環境の状況に係る画像データに対し画素又は単位領域毎に当該状況に係る値を割り当てる処理を実施し、形成された各画素領域に当該状況に係るラベルを付与した画像データである領域分割画像データを生成するステップと、
   当該領域分割画像データの当該画素領域及び当該ラベルに基づいて、当該事象の発生に関係し得る情報である状況情報を決定するステップと、
   所定の条件を満たす当該状況情報が決定された画像データに対し、当該事象が発生し易いことを示す値を正解データとして対応付けたデータセットを含む学習データを生成するステップと
   を有することを特徴とする学習データ生成方法。
2. 前記状況情報を決定するステップでは、予め設定された状況情報に係る項目毎に、当該事象が発生する要因となる度合いを示す発生要因スコアを決定して、当該項目毎に決定した発生要因スコアを当該状況情報とし、
   前記学習データを生成するステップでは、当該発生要因スコアが所定の条件を満たすことになる画像データに対し、当該事象が発生し易いことを示す値を正解データとして対応付けたデータセットを含む学習データを生成する
   ことを特徴とする請求項１に記載の学習データ生成方法。
3. 当該画像データは、通行エリアを移動する移動体での撮影によって生成され、当該所定の事象は、前記移動体に係る事故又は事故未遂事象であり、
   当該状況情報は、当該通行エリアの幅に係る項目の情報、当該通行エリアでの人及び／又は移動体の存在に係る項目の情報、複数の通行エリアが交差する交差点の存在に係る項目の情報、視界障害物の存在に係る項目の情報、人及び／又は移動体の数に係る項目の情報、並びに、周囲の移動体及び／又は人における所定以上の位置の変化に係る項目の情報のうちの少なくとも１つを含む情報である
   ことを特徴とする請求項１又は２に記載の学習データ生成方法。
4. 当該画像データは、移動体が所定条件を満たすだけの急な減速若しくは制動動作、若しくは急なステアリング動作を行った時点又はその近傍時点における前記移動体での撮影によって生成され、当該所定の事象は、前記移動体に係る事故又は事故未遂事象であることを特徴とする請求項１から３のいずれか１項に記載の学習データ生成方法。
5. 当該移動体が所定条件を満たすだけの急な減速若しくは制動動作、若しくは急なステアリング動作を行った時点又はその近傍時点は、当該移動体に搭載されたＣＡＮ（Controller Area Network）から取得される速度若しくは制動情報、当該画像データにおけるオプティカルフローのベクトル量、及び当該画像データを含む画像データ群に対する符号化圧縮処理の際に決定される動きベクトルのうちの少なくとも１つに基づいて決定される時点とすることを特徴とする請求項４に記載の学習データ生成方法。
6. 当該領域分割画像データは、当該画像データに対しセマンティックセグメンテーション（Semantic Segmentation）処理を施して生成されることを特徴とする請求項１から５のいずれか１項に記載の学習データ生成方法。
7. 請求項１から６のいずれか１項に記載された学習データ生成方法によって生成された学習データを用いて生成されることを特徴とする学習モデル。
8. 請求項７に記載された学習モデルを用い、周辺又は所定環境の状況に係る入力画像データについて所定の事象の発生し易さを推定し、当該推定結果を出力する事象発生推定手段を有することを特徴とする事象発生推定装置。
9. 当該入力画像データに対し画素又は単位領域毎に当該周辺又は所定環境の状況に係る値を割り当てる処理を実施し、形成された各画素領域に当該周辺又は所定環境の状況に係るラベルを付与した画像データである領域分割画像データを生成する領域分割画像生成手段と、
   当該領域分割画像データの当該画素領域及び当該ラベルに基づいて、当該事象の発生に関係し得る情報である状況情報を決定する状況情報決定手段と、
   当該状況情報に基づいて、出力された当該推定結果を裏付ける情報であって当該事象が発生する要因に係る情報である発生要因情報を生成して出力する発生要因情報生成手段と
   を更に有することを特徴とする請求項８に記載の事象発生推定装置。
10. 周辺又は所定環境の状況に係る入力画像データに基づき、所定の事象の発生し易さを推定可能な学習モデルを生成するための学習データを生成するコンピュータを機能させるプログラムであって、
    周辺又は所定環境の状況に係る画像データに対し画素又は単位領域毎に当該状況に係る値を割り当てる処理を実施し、形成された各画素領域に当該状況に係るラベルを付与した画像データである領域分割画像データを生成する領域分割画像生成手段と、
    当該領域分割画像データの当該画素領域及び当該ラベルに基づいて、当該事象の発生に関係し得る情報である状況情報を決定する状況情報決定手段と、
    所定の条件を満たす当該状況情報が決定された画像データに対し、当該事象が発生し易いことを示す値を正解データとして対応付けたデータセットを含む学習データを生成する学習データ生成手段と
    してコンピュータを機能させることを特徴とする学習データ生成プログラム。