JP2019179372A - 学習データ作成方法、学習方法、危険予測方法、学習データ作成装置、学習装置、危険予測装置、及び、プログラム - Google Patents

学習データ作成方法、学習方法、危険予測方法、学習データ作成装置、学習装置、危険予測装置、及び、プログラム Download PDF

Info

Publication number
JP2019179372A
JP2019179372A JP2018067882A JP2018067882A JP2019179372A JP 2019179372 A JP2019179372 A JP 2019179372A JP 2018067882 A JP2018067882 A JP 2018067882A JP 2018067882 A JP2018067882 A JP 2018067882A JP 2019179372 A JP2019179372 A JP 2019179372A
Authority
JP
Japan
Prior art keywords
data
image data
event
learning
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018067882A
Other languages
English (en)
Inventor
谷川　徹
Toru Tanigawa
徹 谷川
幸恵 庄田
Yukie Shoda
幸恵 庄田
淳一 井本
Junichi Imoto
淳一 井本
裕介 塚本
Yusuke Tsukamoto
裕介 塚本
征矢 芋本
Seiya Imomoto
征矢 芋本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Corp of America
Original Assignee
Panasonic Intellectual Property Corp of America
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Corp of America filed Critical Panasonic Intellectual Property Corp of America
Priority to JP2018067882A priority Critical patent/JP2019179372A/ja
Priority to US16/366,294 priority patent/US10817751B2/en
Priority to CN201910242430.7A priority patent/CN110321916B/zh
Publication of JP2019179372A publication Critical patent/JP2019179372A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/161—Decentralised systems, e.g. inter-vehicle communication
    • G08G1/162—Decentralised systems, e.g. inter-vehicle communication event-triggered

Abstract

【課題】将来に発生するアクシデント又はインシデントなどの危険事象を適切に予測する。【解決手段】学習データ作成方法は、複数の静止画データ又は動画データをイベントデータ及び非イベントデータとして取得し（Ｓ２０１）、イベントデータに含まれる静止画データ又は動画データであって、イベントより所定時間前の静止画データ又は動画データである第一データを提示し（Ｓ２０２）、非イベントデータを第二データとして提示し（Ｓ２０３）、第一データと第二データとが類似しているか否かについての判断結果を受け付け（Ｓ２０４）、（ａ）ポジティブデータとしてイベントデータを格納し（Ｓ２０７）、（ｂ）第一データと第二データとが類似している場合にはポジティブデータとして非イベントデータを格納し（Ｓ２０６）、（ｃ）第一データと第二データとが類似していない場合にはネガティブデータとして非イベントデータを格納する（Ｓ２１１）。【選択図】図１２

Description

本発明は、学習データ作成方法、学習方法、危険予測方法、学習データ作成装置、学習装置、危険予測装置、及び、プログラムに関する。
自動車の運転支援技術、及び、自動運転技術が開発されつつある。これらの技術では、車載カメラにより車両の周囲を撮影し、車両の周囲にある物体を認識し、車両の走行の障害になり得る移動体を検出する技術が必要とされる。車両の周囲にある物体の認識には、機械学習（単に学習ともいう）が用いられ得る。
特許文献１は、車載カメラで撮像した映像から、事故映像（アクシデント映像ともいう）、又は、結果的に事故に至らなかったものの事故に至る可能性があったときの映像（インシデント映像ともいう、一般にヒヤリハット映像又はニアミス映像ともいう）の特徴に基づいて、この事故映像などを記録し、又は、抽出する技術を開示している。
特開２０１７−１３８６９４号公報
しかしながら、特許文献１に開示される技術では、アクシデント映像又はインシデント映像の特徴に基づいて事故映像などを判別する。そのため、アクシデント又はインシデントが発生する前に、将来に発生するアクシデント又はインシデントなどの危険事象を予測することができないという問題がある。
そこで、本発明は、将来に発生するアクシデント又はインシデントなどの危険事象を適切に予測するための学習データ作成方法などを提供する。
本発明の一態様に係る学習データ作成方法は、ポジティブデータとネガティブデータとを含む、危険予測のための学習データをコンピュータにより作成するための学習データ作成方法であって、複数の静止画データ又は動画データを、アクシデント又はインシデントであるイベントがそれぞれに映っている複数のイベントデータ、及び、前記イベントがそれぞれに映っていない複数の非イベントデータとして取得し、取得した前記複数のイベントデータのうちの一のイベントデータに含まれる静止画データ又は動画データであって、イベントより所定時間前の静止画データ又は動画データである第一データを提示し、取得した前記複数の非イベントデータのうちの一の非イベントデータを第二データとして提示し、前記第一データと前記第二データとが類似しているか否かについての判断結果を受け付け、前記イベントデータと前記非イベントデータとを記憶装置に格納することで前記学習データを作成し、前記格納の際には、（ａ）前記ポジティブデータとして前記イベントデータを格納し、（ｂ）受け付けた前記判断結果が、前記第一データと前記第二データとが類似していることを示す場合には、前記ポジティブデータとして前記非イベントデータを格納し、（ｃ）受け付けた前記判断結果が、前記第一データと前記第二データとが類似していないことを示す場合には、前記ネガティブデータとして前記非イベントデータを格納する。
なお、これらの包括的または具体的な態様は、システム、装置、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、装置、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
本発明の学習データ生成方法は、将来に発生するアクシデント又はインシデントなどの危険事象を適切に予測することができる。
図１は、実施の形態における危険予測システムの構成を示す図である。 図２は、実施の形態における危険予測システムの機能構成を示すブロック図である。 図３は、実施の形態における画像データ格納部に格納される画像の第一例を示す説明図である。 図４は、実施の形態における画像データ格納部に格納される画像の第二例を示す説明図である。 図５は、実施の形態におけるアノテーション付与部によるアノテーションの付与の第一の説明図である。 図６は、実施の形態におけるアノテーション付与部によるアノテーションの付与の際に提示される画像の第一の説明図である。 図７は、実施の形態におけるアノテーション付与部によるアノテーションの付与の第二の説明図である。 図８は、実施の形態における車両の機能構成を示すブロック図である。 図９は、実施の形態における静止画データ又は動画データの分別処理を示すフロー図である。 図１０は、実施の形態における学習データの生成処理を示すフロー図である。 図１１は、実施の形態におけるアノテーション付与部によるアノテーションの付与の第三の説明図である。 図１２は、実施の形態におけるアノテーション付与部によるアノテーションの付与の際に提示される画像の第二の説明図である。 図１３は、実施の形態における車載機器の処理を示すフロー図である。 図１４は、実施の形態の変形例に係る学習方法を示すフロー図である。 図１５は、実施の形態に係る学習装置を示すブロック図である。 図１６は、実施の形態の変形例に係る危険予測方法を示すフロー図である。 図１７は、実施の形態の変形例に係る危険予測装置を示すブロック図である。
本発明の一態様に係る学習データ作成方法は、ポジティブデータとネガティブデータとを含む、危険予測のための学習データをコンピュータにより作成するための学習データ作成方法であって、複数の静止画データ又は動画データを、アクシデント又はインシデントであるイベントがそれぞれに映っている複数のイベントデータ、及び、前記イベントがそれぞれに映っていない複数の非イベントデータとして取得し、取得した前記複数のイベントデータのうちの一のイベントデータに含まれる静止画データ又は動画データであって、イベントより所定時間前の静止画データ又は動画データである第一データを提示し、取得した前記複数の非イベントデータのうちの一の非イベントデータを第二データとして提示し、前記第一データと前記第二データとが類似しているか否かについての判断結果を受け付け、前記イベントデータと前記非イベントデータとを記憶装置に格納することで前記学習データを作成し、前記格納の際には、（ａ）前記ポジティブデータとして前記イベントデータを格納し、（ｂ）受け付けた前記判断結果が、前記第一データと前記第二データとが類似していることを示す場合には、前記ポジティブデータとして前記非イベントデータを格納し、（ｃ）受け付けた前記判断結果が、前記第一データと前記第二データとが類似していないことを示す場合には、前記ネガティブデータとして前記非イベントデータを格納する。
上記態様によれば、非イベントデータのうちのイベントデータに類似しているものがポジティブデータとして学習に用いられる。従来の技術では、非イベントデータが一律にネガティブデータとして学習に用いられるので、非イベントデータのうちのイベントデータに類似しているものはネガティブデータとして学習に用いられる。その場合、互いに類似しているイベントデータと非イベントデータとの一方をポジティブデータとし、他方をネガティブデータとして学習をすると、学習により生成される認識モデルが不適切になることがある。そこで、イベントデータと非イベントデータとが類似しているときには、その両方をポジティブデータとして学習をすることで、認識モデルが不適切になることを回避し、適切な認識モデルが得られる。本発明の一態様に係る学習データ作成方法によれば、このように作成される学習データに基づく学習により、将来に発生するアクシデント又はインシデントなどの危険事象を適切に予測することができる。
例えば、前記所定時間は、車両の運転手が危険を認識してから前記車両の制動措置をとるまでの時間である反応時間に基づいて定められてもよい。
上記態様によれば、所定時間として反応時間を用いることで、より容易に、将来に発生するアクシデント又はインシデントなどの危険事象を適切に予測することができる。
例えば、前記所定時間は、前記危険予測の処理を実行する危険予測装置の処理時間にさらに基づいて定められてもよい。
上記態様によれば、所定時間として、反応時間と危険予測装置の処理時間とを用いることで、より容易に、将来に発生するアクシデント又はインシデントなどの危険事象を適切に予測することができる。
例えば、前記複数のイベントデータのそれぞれは、動画データであり、前記複数の非イベントデータのそれぞれは、動画データであってもよい。
上記態様によれば、イベントデータ及び非イベントデータとして動画データを用いて学習データを作成することによって、イベントデータの特徴及び非イベントデータの特徴をより正確に学習することができる。これにより、将来に発生するアクシデント又はインシデントなどの危険事象を適切に予測することができる。
例えば、第一データは、動画データであってもよい。
上記態様によれば、第一データとして動画データを用いることによって、非イベントデータである第二データとの類比判断をより正確に行うことができる。これにより、将来に発生するアクシデント又はインシデントなどの危険事象を適切に予測することができる。
例えば、前記受け付けの際には、さらに、前記イベントデータにイベントが実際に映っているか否かについての判断結果を受け付け、前記格納の際には、受け付けた前記判断結果が、前記イベントデータにイベントが実際には映っていないことを示す場合には、前記ネガティブデータとして前記イベントデータを格納してもよい。
上記態様によれば、実際にはイベントが映っていないと判断されたイベントデータをネガティブデータとして学習する。これにより、認識モデルをより一層適切なものとすることができ、その結果、将来に発生するアクシデント又はインシデントなどの危険事象を適切に予測することができる。
例えば、前記受け付けの際には、前記第一データと前記第二データとが類似しているか否かについての画像認識処理による判断結果を受け付けてもよい。
上記態様によれば、第一画像と第二画像との類比判断を画像認識処理によって自動的に行う。これにより、人手を介さずに一定の基準に則った類比判断を行うことができる。これにより、将来に発生するアクシデント又はインシデントなどの危険事象を適切に予測することができる。
例えば、前記画像認識処理は、前記第一データ及び前記第二データが示す画像に写る移動体の数、位置関係及びオプティカルフローのうちの１つ以上を認識する処理を含んでもよい。
上記態様によれば、画像認識処理として、移動体の数、位置関係又はオプティカルフローを認識することで、より具体的な認識処理に基づいて、将来に発生するアクシデント又はインシデントなどの危険事象を適切に予測することができる。
例えば、前記学習データ作成方法は、さらに、車両が備える車載センサが撮影により生成した複数の静止画データ又は動画データのそれぞれをイベントデータ又は非イベントデータに分別することで、前記複数のイベントデータ及び前記複数の非イベントデータを取得し、前記分別では、前記一の静止画データ又は動画データが前記車載センサにより撮影されたときに、前記車両に他者が衝突した、又は、他者が急接近したことが、画像認識処理により認識された場合には、前記一の静止画データ又は動画データをイベントデータに分別してもよい。
上記態様によれば、車載センサにより取得した画像を分別することでイベントデータ及び非イベントデータを取得し、さらに、車両への他者の衝突、又は、他者の急接近に基づいて、イベントデータを分別することができる。このように、より容易に、車載センサにより取得した静止画データ又は動画データをイベントデータに分別し、その結果、将来に発生するアクシデント又はインシデントなどの危険事象を適切に予測することができる。
例えば、前記分別では、前記一の静止画データ又は動画データが前記車載センサにより撮影されたときに、前記車両において急ブレーキ又は急ハンドルがなされたことが、前記車両の加速度データから判定された場合には、前記一の静止画データ又は動画データをイベントデータに分別してもよい。
上記態様によれば、車両における急ブレーキ又は急ハンドルに基づいて、イベントデータを分別することができる。このように、より容易に、車載センサにより取得した静止画データ又は動画データをイベントデータに分別し、その結果、将来に発生するアクシデント又はインシデントなどの危険事象を適切に予測することができる。
例えば、前記分別では、前記車両において急ブレーキ又は急ハンドルがなされたと判定された場合であっても、前記車両が車車間通信によって危険信号を受信していたときには、前記一の静止画データ又は動画データを非イベントデータに分別してもよい。
上記態様によれば、車車間通信によって危険信号を受信した場合には画像を非イベントデータに分別する。車両における急ブレーキ又は急ハンドルがなされた場合でも、車車間通信によって危険信号を受信した場合には、静止画データ又は動画データから危険予測に関する情報が得られないことがあるので、当該静止画データ又は当該動画データを学習の対象から除外するためである。
例えば、前記一の静止画データ又は動画データは、前記車両の前方を含む広角の静止画データ又は動画データであり、前記分別では、前記一の静止画データ又は動画データである広角の静止画データ又は動画データが前記車載センサにより撮影されたときに、前記車両において急ブレーキがなされたことが、前記車両の加速度データから判定された場合には、前記広角の静止画データ又は動画データのうち、前記車両の前方を含む静止画データ又は動画データをイベントデータに分別してもよい。
上記態様によれば、車両の急ブレーキがかけられた場合に、広角の静止画データ又は動画データに含まれる車両の進行方向を含む静止画データ又は動画データがイベントデータに分別される。急ブレーキがなされる場合には、車両の進行方向に何らかの物体などが存在している可能性がある。よって、その物体の方向をイベントデータとして学習することで、危険事象を適切に学習し、予測することができる。
例えば、前記一の静止画データ又は動画データは、前記車両の前方を含む広角の静止画データ又は動画データであり、前記分別では、前記一の静止画データ又は動画データである広角の静止画データ又は動画データが前記車載センサにより撮影されたときに、前記車両の左右の一方への急ハンドルがなされたことが、前記車両の加速度データから判定された場合には、前記広角の静止画データ又は動画データのうち、前記車両の左右の前記一方と異なる他方を含む静止画データ又は動画データをイベントデータに分別してもよい。
上記態様によれば、広角の静止画データ又は動画データに含まれる、急ハンドルがなされた方向と反対方向を含む静止画データ又は動画データがイベントデータに分別される。急ハンドルがなされる場合には、その方向と反対方向に何らかの物体などが存在している可能性がある。よって、その物体の方向をイベントデータとして学習することで、危険事象を適切に学習し、予測することができる。
例えば、前記分別では、前記広角の静止画データ又は動画データのうちの、前記イベントデータに分別する静止画データ又は動画データの水平方向のサイズは、前記一の画像が撮影されたときの前記車両の速度に基づいて決定されてもよい。
上記態様によれば、車両の速度に応じて変化する運転手の視界の広さに対応して、イベントデータとする画像の水平方向の幅を調整し得る。よって、車両の運転手の視界の広さの変化に基づいて広さが変化する静止画データ又は動画データをイベントデータとして、危険事象を適切に学習し、予測することができる。
例えば、前記分別では、前記広角の静止画データ又は動画データのうちの、前記イベントデータに分別する静止画データ又は動画データの水平方向のサイズは、前記一の画像が撮影されたときの前記車両の速度が大きいほど小さくてもよい。
上記態様によれば、車両の速度に応じて変化する運転手の視界の広さに対応して、イベントデータとする画像の水平方向の幅を調整し得る。一般に、車両の速度が大きい場合、その車両の運転手の視界が狭くなるので、イベントはその狭くなった視界に含まれるからである。よって、車両の運転手の視界の広さが、車両の速度が大きいほど狭くなることを考慮して、水平方向の幅が変化する静止画データ又は動画データをイベントデータとして、危険事象を適切に学習し、予測することができる。
例えば、前記第二データを提示する際には、取得した前記複数の非イベントデータのうちから、画像認識処理に基づいて前記一の非イベントデータをあらかじめ選択し、選択した前記一の非イベントデータを提示してもよい。
上記態様によれば、画像認識処理に基づいて、ユーザに提示する適切な第二画像を選択することができる。これにより、第一画像と第二画像とのユーザによる類否判断がより適切になされ、将来に発生するアクシデント又はインシデントなどの危険事象を適切に予測することができる。
また、本発明の一態様に係る学習方法は、危険予測装置による危険予測のための学習方法であって、上記の学習データ作成方法により作成された学習データを取得し、取得した前記学習データに基づいて、前記学習データに含まれる前記ポジティブデータ及び前記ネガティブデータの特徴を学習することによって、認識モデルを構築する。
上記態様によれば、学習データ作成方法によって作成された学習データを用いて適切に認識モデルを構築し、将来に発生するアクシデント又はインシデントなどの危険事象を適切に予測することができる。
また、本発明の一態様に係る危険予測方法は、車両に設置された車載センサにより映された静止画データ又は動画データを取得し、上記の学習方法によって構築された前記認識モデルに、取得した前記静止画データ又は前記動画データを入力データとして入力することで出力される、当該静止画データ又は当該動画データが映された時刻の後のイベントの発生についての予測情報を出力する。
上記態様によれば、構築された認識モデルを用いて、将来に発生するアクシデント又はインシデントなどの危険事象を適切に予測することができる。
また、本発明の一態様に係る学習データ作成装置は、ポジティブデータとネガティブデータとを含む、危険予測のための学習データをコンピュータにより作成するための学習データ作成装置であって、複数の静止画データ又は動画データを、アクシデント又はインシデントであるイベントがそれぞれに映っている複数のイベントデータ、及び、前記イベントがそれぞれに映っていない複数の非イベントデータとして取得する学習データ取得部と、取得した前記複数のイベントデータのうちの一のイベントデータに含まれる静止画データ又は動画データであって、イベントより所定時間前の静止画データ又は動画データである第一データを提示し、取得した前記複数の非イベントデータのうちの一の非イベントデータを第二データとして提示し、前記第一データと前記第二データとが類似しているか否かについての判断結果を受け付け、前記第一データと前記第二データとを記憶装置に格納することで前記学習データを作成するアノテーション付与部とを備え、前記アノテーション付与部は、前記格納の際には、（ａ）前記ポジティブデータとして前記イベントデータを格納し、（ｂ）受け付けた前記判断結果が、前記第一データと前記第二データとが類似していることを示す場合には、前記ポジティブデータとして前記非イベントデータを格納し、（ｃ）受け付けた前記判断結果が、前記第一データと前記第二データとが類似していないことを示す場合には、前記ネガティブデータとして前記非イベントデータを格納する。
上記態様により、上記学習データ作成方法と同様の効果を奏する。
また、本発明の一態様に係る学習装置は、危険予測装置による危険予測のための学習装置であって、上記の学習データ作成装置により作成された学習データを取得する学習データ取得部と、取得した前記学習データを用いて、前記学習データに含まれる前記ポジティブデータ及び前記ネガティブデータそれぞれの特徴を学習することによって、認識モデルを構築する学習部を備える。
上記態様により、上記学習方法と同様の効果を奏する。
また、本発明の一態様に係る危険予測装置は、車両に設置された車載センサにより撮影された静止画データ又は動画データを取得する撮影画像取得部と、上記の学習装置によって構築された前記認識モデルに、取得した前記静止画データ又は前記動画データを入力データとして入力することで出力される、当該静止画データ又は当該動画データが映された時刻の後のイベントの発生についての予測情報を出力する認識器とを備える。
上記態様により、上記危険予測方法と同様の効果を奏する。
また、本発明の一態様に係るプログラムは、上記の学習データ作成方法をコンピュータに実行させるためのプログラムである。
上記態様により、上記学習方法と同様の効果を奏する。
また、本発明の一態様に係るプログラムは、上記の学習方法をコンピュータに実行させるためのプログラムである。
上記態様により、上記の学習データ作成方法と同様の効果を奏する。
また、本発明の一態様に係るプログラムは、上記の危険予測方法をコンピュータに実行させるためのプログラムである。
上記態様により、上記の危険予測方法と同様の効果を奏する。
なお、これらの包括的または具体的な態様は、システム、装置、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、装置、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。
以下、実施の形態について、図面を参照しながら具体的に説明する。
なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
（実施の形態）
本実施の形態において、将来に発生するアクシデント又はインシデントなどの危険事象を適切に予測することができる学習データ作成方法、学習方法、及び、危険予測方法などについて説明する。
図１は、本実施の形態における危険予測システム１の構成を示すブロック図である。図２は、本実施の形態における危険予測システム１の機能構成を示すブロック図である。
本実施の形態における危険予測システム１は、車両１１にアクシデント又はインシデントなどの危険事象であるイベントが将来に発生するか否かを予測するシステムである。ここで、「将来」とは、例えば１０秒〜２０秒程度以内の未来を意味するが、この時間に限定されない。
図１及び図２に示されるように、危険予測システム１は、車両１１と、サーバ１２と、端末１３とを備え、これらは、インターネットなどのネットワークＮを介して接続されている。
車両１１の車載機器は、カメラを備え、そのカメラによる撮影によって画像を生成する。そして、車載機器は、その画像に基づいて、将来にイベントが発生するか否かの予測、つまり危険予測をする。車載機器による危険予測は、認識モデルを用いた認識に基づいてなされる。認識に用いる認識モデルは、サーバ１２からネットワークＮを介して取得される。
サーバ１２は、複数の学習用の静止画データ又は動画データ（単に静止画データ又は動画データともいう）を用いて認識モデルを構築する。サーバ１２は、複数の静止画データ又は動画データを取得して保存する。サーバ１２が取得する学習用画像は、車両１１、又は、車両１１以外の車両に備えられたカメラによる撮影によって得られたものである。サーバ１２は、このようにして得られた静止画データ又は動画データをネットワークＮを介して受信する。
そして、サーバ１２は、このように送信された静止画データ又は動画データを用いて、静止画データ又は動画データに映っている撮影対象に基づいて、将来にイベントが発生するか否かを学習することによって認識モデルを構築する。そして、サーバ１２は、その構築した認識モデルをネットワークＮを介して車両１１に送信する。
端末１３は、サーバ１２による認識モデルの構築のために、静止画データ又は動画データのユーザへの提示、及び、提示した静止画データ又は動画データについてのユーザによる類否判断などの結果の入力を受ける端末である。端末１３は、ユーザに学習用画像などを提示する表示装置１３１、および、学習用画像の類否判断の結果などをユーザからの入力を受ける入力デバイス１３２を備える。表示装置１３１、液晶ディスプレイまたは有機ＥＬ（ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイである。入力デバイス１３２は、キーボード、マウス又はタッチパネルなどである。
図２を参照しながらサーバ１２の機能構成について詳細に説明する。
図２に示されるように、サーバ１２は、学習データ取得部１２０と、学習部１２７と、モデル格納部１２８と、制御部１２９とを備える。学習データ取得部１２０は、画像データ格納部１２１と、アノテーション付与部１２２と、学習データ格納部１２３とを備える。サーバ１２又は学習データ取得部１２０は、ポジティブデータとネガティブデータとを含む、危険予測のための学習データをコンピュータにより作成するための学習データ作成装置に相当する。
学習データ取得部１２０は、危険予測の学習に用いられる学習データを取得する。学習データ取得部１２０は、静止画データ又は動画データとして、例えば所定の時間長を有する動画データを取得する。所定の時間長は例えば２０秒間である。
学習データ取得部１２０は、複数の静止画データ又は動画データを、アクシデント又はインシデントであるイベントがそれぞれに映っている複数の静止画データ又は動画データである複数のイベントデータ、及び、イベントがそれぞれに映っていない複数の静止画データ又は動画データである複数の非イベントデータとして取得する。なお、複数のイベントデータは動画データであってもよい。また、複数の非イベントデータは動画データであってもよい。
学習データ取得部１２０が取得する複数のイベントデータ及び複数の非イベントデータは、例えば、車両が備える車載センサ（例えばカメラ）が撮影により生成した一の静止画データ又は動画データをイベントデータ又は非イベントデータに分別することを、複数回繰り返して生成されたものである。上記分別は、例えば、車両が備える画像処理装置により行われる。この場合、画像処理装置は、車載センサが撮影により静止画データ又は動画データを生成したときに、当該静止画データ若しくは当該動画データ、又は、車両が備える他の車載センサ（例えば加速度センサ）により得た情報に基づいて分別を行う。
例えば、上記分別では、一の静止画データ又は動画データが車載センサにより撮影されたときに、車両に他者が衝突した、又は、他者が急接近したことが、画像認識処理により認識された場合には、当該一の静止画データ又は動画データをイベントデータに分別してもよい。
例えば、上記分別では、一の静止画データ又は動画データが車載センサにより撮影されたときに、車両において急ブレーキ又は急ハンドルがなされたことが、車両の加速度データから判定された場合には、当該一の静止画データ又は動画データをイベントデータに分別してもよい。
例えば、上記分別では、車両において急ブレーキ又は急ハンドルがなされたと判定された場合であっても、車両が車車間通信によって危険信号を受信していたときには、当該一の静止画データ又は動画データを非イベントデータに分別してもよい。ここで、危険信号とは、例えば、当該車両の近傍に位置する車両から受信する、車両の衝突などの危険を知らせるための信号である。
例えば、上記分別では、一の静止画データ又は動画データが車両の前方を含む広角の静止画データ又は動画データである場合には、一の静止画データ又は動画データである広角の静止画データ又は動画データが車載センサにより撮影されたときに、車両において急ブレーキがなされたことが、車両の加速度データから判定された場合には、広角の静止画データ又は動画データのうち、車両の前方を含む静止画データ又は動画データをイベントデータに分別してもよい。
例えば、上記分別では、一の静止画データ又は動画データが車両の前方を含む広角の静止画データ又は動画データである場合には、一の静止画データ又は動画データである広角の静止画データ又は動画データが車載センサにより撮影されたときに、車両の左右の一方への急ハンドルがなされたことが、車両の加速度データから判定された場合には、広角の静止画データ又は動画データのうち、車両の一方を含む静止画データ又は動画データをイベントデータに分別してもよい。
例えば、上記分別では、広角の静止画データ又は動画データのうちの、イベントデータに分別する静止画データ又は動画データの水平方向のサイズは、当該一の画像が撮影されたときの車両の速度に基づいて決定されてもよい。
例えば、上記分別では、広角の静止画データ又は動画データのうちの、イベントデータに分別する静止画データ又は動画データの水平方向のサイズは、当該一の画像が撮影されたときの車両の速度が大きいほど小さくしてもよい。
画像データ格納部１２１は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）またはハードディスクなどのデータを記録するための記録媒体である。画像データ格納部１２１には、学習用画像として、複数のイベントデータと複数の非イベントデータとが学習データ取得部１２０により格納される。また、画像データ格納部１２１に格納された学習用画像は、アノテーション付与部１２２によって読み出される。
アノテーション付与部１２２は、静止画データ又は動画データに対してアノテーションを付与して、学習データ格納部１２３に格納する。アノテーションは、静止画データ又は動画データを、イベントが映っている静止画データ又は動画データとして扱うか、又は、イベント映っていない静止画データ又は動画データとして扱うかを示す情報である。アノテーション付与部１２２は、原則として、イベントデータにポジティブデータのアノテーションを付与し、非イベントデータにネガティブデータのアノテーションを付与する。さらに、アノテーション付与部１２２は、非イベントデータのうち、イベントデータと類似していると判断されるものにポジティブデータのアノテーションを付与する。
なお、ポジティブデータのアノテーションが付与された学習データを単にポジティブデータともいい、ネガティブデータのアノテーションが付与された学習データを単にネガティブデータともいう。ここで、ポジティブデータとは、後述する認識器１１２によりイベントが映っていると認識されるべきデータであり、ネガティブデータとは、認識器１１２によりイベントが映っていないと認識されるべきデータである。
アノテーション付与部１２２は、非イベントデータとイベントデータとの類否判断のために、複数のイベントデータのうちの一のイベントデータに含まれる静止画データ又は動画データであって、イベントより所定時間前の静止画データ又は動画データ、つまり所定時間前の撮影対象が映っている静止画データ又は動画データである第一データを提示する。また、アノテーション付与部１２２は、複数の非イベントデータのうちの一の非イベントデータを第二データとして提示する。第一データ及び第二データの提示の際には、アノテーション付与部１２２は、第一データ及び第二データを端末１３に送信し、表示装置１３１に表示することでユーザに提示する。そして、アノテーション付与部１２２は、提示した第一データ及び第二データが互いに類似しているか否かについてのユーザによる判断結果の入力を入力デバイス１３２により受け、端末１３から受信することで取得する。
言い換えれば、アノテーション付与部１２２は、イベントデータと非イベントデータとを学習データ格納部１２３に格納する際に、（ａ）ポジティブデータとしてイベントデータを格納し、（ｂ）受け付けた判断結果が、第一データと第二データとが類似していることを示す場合には、ポジティブデータとして非イベントデータを格納し、（ｃ）受け付けた判断結果が、第一データと第二データとが類似していないことを示す場合には、ネガティブデータとして非イベントデータを格納する。
なお、第一データ及び第二データの類否判断は、コンピュータによる画像認識処理によってなされてもよい。この画像認識処理は、第一データ及び第二データが示す画像に写る移動体の数、位置関係及びオプティカルフローのうちの１つ以上を認識する処理を含んでもよい。
また、第二データを提示する際には、取得した複数の非イベントデータのうちから、画像認識処理に基づいて上記一の非イベントデータをあらかじめ選択し、選択した一の非イベントデータを提示してもよい。この画像認識処理では、第一データ及び第二データが示す画像に写る移動体の数、位置関係及びオプティカルフローのうちの１つ以上を認識した上で、例えば、選択しようとする一の非イベントデータとともに端末１３によってユーザに提示される第一データと類似している第二データを選択する。
なお、所定時間は、車両の運転手が危険を認識してから当該車両の制動措置をとるまでの時間である反応時間に基づいて定められてもよい。また、所定時間は、危険予測の処理を実行する危険予測装置の処理時間にさらに基づいて定められてもよい。
なお、第一データは、動画データであってもよい。
学習データ格納部１２３は、ＲＡＭまたはハードディスクなどのデータを記録するための記録媒体である。学習データ格納部１２３には、アノテーションが付与された静止画データ又は動画データ、言い換えれば、ポジティブデータ及びネガティブデータが学習データとして格納される。
学習部１２７は、学習データを用いて危険予測の学習をする。すなわち、学習部１２７は、学習データ格納部１２３に格納されている学習データのうちのポジティブデータ及びネガティブデータの特徴を学習することによって、認識モデルを構築する。具体的には、学習部１２７は、将来にイベントが発生する画像の特徴をポジティブデータから学習し、また、後にイベントが発生しない画像の特徴をネガティブデータから学習することによって、認識モデルを構築する。学習部１２７は、構築した認識モデルをモデル格納部１２８に格納する。構築された認識モデルは、静止画データ又は動画データを入力データとして入力されると、当該静止画データ又は当該動画データが映された時刻の後のイベントの発生についての予測情報を出力する認識モデルである。認識情報は、イベントが発生するか否かを２値で示す情報であってもよいし、イベントが発生する度合い又は確率を０〜１００のいずれかで示す情報であってもよい。
学習部１２７による学習は、Ｄｅｅｐ Ｌｅａｒｎｉｎｇ（Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）、Ｒａｎｄｏｍ Ｆｏｒｅｓｔ、またはＧｅｎｅｔｉｃ Ｐｒｏｇｒａｍｍｉｎｇなどの機械学習である。また、画像中の物体の認識およびセグメンテーションには、グラフカットなどを用いることができる。あるいは、Ｒａｎｄｏｍ ＦｏｒｅｓｔまたはＧｅｎｅｔｉｃ Ｐｒｏｇｒａｍｍｉｎｇによって作成された認識器などを用いてもよい。また、学習部１２７が構築する認識モデルは、ニューラルネットワークモデルであってもよい。
モデル格納部１２８は、ＲＡＭまたはハードディスクなどのデータを記録するための記録媒体である。このモデル格納部１２８には、学習部１２７によって構築された認識モデルが格納される。モデル格納部１２８に格納された認識モデルは、制御部１２９を介して車載機器１１０に提供される。
制御部１２９は、サーバ１２内の各機能の動作を制御する制御装置である。また、制御部１２９は、端末１３及び車両１１との通信をする通信インタフェースを備える。制御部１２９は、アノテーション付与部１２２と端末１３との間での静止画データ又は動画データと、類否判断の結果を示す情報とを送受信する。制御部１２９は、モデル格納部１２８に格納されている認識モデルを車両１１（より具体的には車載機器１１０）に提供する。
以降において、静止画データ又は動画データの生成及び分別、静止画データ又は動画データへのアノテーションの付与について詳しく説明する。
図３は、本実施の形態における画像データ格納部１２１に格納される画像の第一例を示す説明図である。図３の（ａ）及び（ｂ）は、車両Ａ及びＢ、並びに人Ｈを上空から見た位置関係を示した図である。図３の（ｃ）及び（ｄ）は、それぞれ、車両Ａなどが図３の（ａ）及び（ｂ）の位置関係にあるときに車両Ａの車載センサが車両Ａの前方を撮影した画像の一例である。
図３の（ａ）において、走行している自車両である車両Ａの前方に、他車両である車両Ｂが停車している。また、車両Ｂの前方には、人Ｈが左から右へ、道路を横切ろうとしている。この状態において、車両Ａの運転手は人Ｈの存在に気づいておらず、スピードを落とさずに車両Ｂの右を通り抜けようと考えている。
図３の（ｂ）は、図３の（ａ）の状態から数秒程度進んだ状態を示している。車両Ａが車両Ｂの右側を通り抜けようとしたときに、車両Ａの運転手が人Ｈの存在に気づき、急ブレーキをかけた状態である。
図３の（ｃ）は、図３の（ａ）の状態で車両Ａの車載センサが前方を撮影した画像の一例である。この画像には、車両Ｂが映っており、また、人Ｈの頭がわずかに映っている。
図３の（ｄ）は、図３の（ｂ）の状態で車両Ａの車載センサが前方を撮影した画像の一例である。この画像には、車両Ｂが大きく映っており、また、人Ｈの全身が大きく映っている。
このとき、車両Ａの車載センサは、図３の（ｃ）及び（ｄ）を含む所定時間の静止画データ又は動画データを取得している。また、車両Ａの加速度センサなどにより車両Ａが急ブレーキをかけたことが検知されたことに基づいて、この静止画データ又は動画データはイベントデータとして扱われる。よって、車両Ａは、この静止画データ又は動画データをイベントデータとしてサーバ１２に送信する。
図４は、本実施の形態における画像データ格納部１２１に格納される画像の第二例を示す説明図である。図４の（ａ）〜（ｄ）は、それぞれ、図３におけるものと同様の位置関係及び画像を示している。
図４の（ａ）は、図３の（ａ）と同じ位置関係を示している。この状態において、車両Ａの運転手は人Ｈの存在に気づき、スピードを落として車両Ｂの右を通り抜ける、又は、必要に応じて停車しようと考えている。
図４の（ｂ）は、図４の（ａ）の状態から数秒程度進んだ状態を示している。車両Ａの運転手が、ゆっくりとブレーキをかけた状態である。
図４の（ｃ）は、図３の（ｃ）と同じ画像を示している。
図４の（ｄ）は、図４の（ｂ）の状態で車両Ａの車載センサが前方を撮影した画像の一例である。この画像には、車両Ｂが映っており、また、人Ｈの全身が映っている。ただし、図４の（ｄ）に映っている人Ｈの画像における寸法は、図３の（ｄ）に映っている人Ｈの画像における寸法より小さい。図４の（ｂ）及び（ｄ）のほうが、車両Ａから人Ｈまでの距離が大きいからである。
このとき、車両Ａの車載センサは、図４の（ｃ）及び（ｄ）を含む所定時間の静止画データ又は動画データを取得している。また、車両Ａの加速度センサなどにより車両Ａが急ブレーキをかけたことが検知されないので、この静止画データ又は動画データは非イベントデータとして扱われる。よって、車両Ａは、この静止画データ又は動画データを非イベントデータとしてサーバ１２に送信する。
サーバ１２は、上記のように得られたイベントデータ及び非イベントデータから学習データを作成する。一般的には、イベントデータ及び非イベントデータから学習データを作成する際に、イベントデータをポジティブデータとし、非イベントデータをネガティブデータとした学習データを作成する。
しかしながら、単に、イベントデータをポジティブデータとし、非イベントデータをネガティブデータとして作成した学習データに基づく学習では、適切な認識モデルが構築されない場合がある。このことについて以下で説明する。
例えば、図３に示されるイベントデータにおいて、図３の（ｃ）の画像は、この後に急ブレーキがなされるものであるので、イベントの発生が予測される状況を示している。よって、図３の（ｃ）の画像は、学習データに基づいて作成される認識モデルにおいて、イベントの発生が予測される画像であると認識される必要がある。一方、図４の（ｃ）の画像は、この後に急ブレーキがなされないものであるので、イベントの発生が予測されない状況を示している。よって、図４の（ｃ）の画像は、認識モデルにおいて、イベントの発生が予測されない画像であると認識される必要がある。
しかし、図３の（ｃ）の画像と図４の（ｃ）の画像とは、同じ画像である。図３の（ｃ）の画像をイベントの発生が予測される画像として学習させる一方、図４の（ｃ）の画像をイベントの発生が予測されない画像として学習させることは、同一の画像について相反する内容の学習をさせることになり、適切な認識モデルが構築されない。
そこで、本実施の形態のアノテーション付与部１２２は、非イベントデータであっても、その画像が、イベントデータと類似しているときには、ポジティブデータに分類する。これにより、上記のような、適切な認識モデルが構築されないケースを回避することができる。
図５は、本実施の形態におけるアノテーション付与部１２２によるアノテーションの付与の第一の説明図である。図６は、本実施の形態におけるアノテーション付与部１２２によるアノテーションの付与の際に提示される画像の第一の説明図である。
図５に示されるように、アノテーション付与部１２２は、画像データ格納部１２１に格納されている複数のイベントデータのうちの１つであるイベントデータ４１を取得する。また、アノテーション付与部１２２は、画像データ格納部１２１に格納されている複数の非イベントデータのうちの１つである非イベントデータ４２を取得する。
そして、アノテーション付与部１２２は、イベントデータ４１と非イベントデータ４２とを制御部１２９を介して端末１３に送信し、表示装置１３１に表示させる（図６参照）。そして、ユーザによる、イベントデータ４１と非イベントデータ４２との類否の判断結果を受け付けるボタンの画像５１及び５２を表示する。また、このとき、表示装置１３１は、表示した２つの画像が類似しているか否かをユーザに問い合わせる文字列を含む画像５３を表示してもよい。ユーザによる類比判断に基づいてボタンの画像５１又は５２への操作がなされると、アノテーション付与部１２２は、その操作データを制御部１２９を介して受け付ける。ボタンの画像５１が操作された場合の操作データは「類似」であり、ボタンの画像５２が操作された場合の操作データは「非類似」である。
操作データが「非類似」である場合について説明を続ける。
操作データが「非類似」である場合、アノテーション付与部１２２は、非イベントデータ４２にネガティブデータのアノテーションを付与して学習データ格納部１２３に格納する。言い換えれば、アノテーション付与部１２２は、非イベントデータ４２をネガティブデータ４４として学習データ格納部１２３に格納する。また、アノテーション付与部１２２は、イベントデータ４１にポジティブデータのアノテーションを付与して学習データ格納部１２３に格納する。言い換えれば、アノテーション付与部１２２は、イベントデータ４１をポジティブデータ４３として学習データ格納部１２３に格納する。
次に、操作データが「類似」である場合について説明する。
図７は、本実施の形態におけるアノテーション付与部１２２によるアノテーションの付与の第二の説明図である。
図７に示されるように、操作データが「類似」である場合、アノテーション付与部１２２は、非イベントデータ６２にポジティブデータのアノテーションを付与して学習データ格納部１２３に格納する。言い換えれば、アノテーション付与部１２２は、非イベントデータ６２をポジティブデータ６４として学習データ格納部１２３に格納する。イベントデータ６１については、上記の「類似」の場合と同様にポジティブデータのアノテーションを付与して学習データ格納部１２３に格納する。
このようにすると、図３に示されるイベントデータ、及び、図４に示される非イベントデータがともにポジティブデータとして学習データ格納部１２３に格納される。そして、これらのデータがともに、イベントの発生が予測される画像として適切に学習される。
なお、上記では、アノテーション付与部１２２はイベントデータ４１又は６１と、非イベントデータ４２又は６２とについての１回の類比判断に基づいて、非イベントデータ４２又は６２をネガティブデータとポジティブデータとのいずれかに決定する例を示した。しかし、アノテーション付与部１２２は、異なる複数のユーザによる類比判断を総合的に考慮してネガティブデータとポジティブデータとのいずれかに決定してもよい。例えば、複数のユーザのうちの所定（７０％〜８０％程度等）以上のユーザが類似と判断した場合に、類否判断の結果を類似とし、そうでない場合には類否判断の結果を非類似としてもよい。
また、複数のイベントデータのうちのどのイベントデータと、複数の非イベントデータのうちのどの非イベントデータとをユーザに提示するかも任意である。
なお、アノテーション付与部１２２は、イベントデータにネガディブデータのアノテーションを付与してもよい。これは、イベントデータに実際にはイベントが映っていない場合になされる処理である。この処理について以下で説明する。
図８は、本実施の形態におけるアノテーション付与部１２２によるアノテーションの付与の第三の説明図である。図９は、本実施の形態におけるアノテーション付与部１２２によるアノテーションの付与の際に提示される画像の第二の説明図である。
図８に示されるように、アノテーション付与部１２２は、画像データ格納部１２１に格納されている複数のイベントデータのうちの１つであるイベントデータ７１を取得する。
そして、アノテーション付与部１２２は、イベントデータ７１を制御部１２９を介して端末１３に送信し、表示装置１３１に表示させる（図９参照）。そして、ユーザによる、イベントデータ７１に実際にイベントが映っているか否かの判断結果を受け付けるボタンの画像８１及び８２を表示する。また、このとき、表示装置１３１は、表示したイベントデータ７１にイベントが実際に映っているか否かをユーザに問い合わせる文字列を含む画像８３を表示してもよい。ユーザによる判断に基づいてボタンの画像８１又は８２への操作がなされると、アノテーション付与部１２２は、その操作データを制御部１２９を介して受け付ける。
ユーザによる判断の結果が、イベントデータ７１にイベントが実際には映っていないことを示すものである場合、アノテーション付与部１２２は、イベントデータ７１にネガティブデータのアノテーションを付与して学習データ格納部１２３に格納する。言い換えれば、アノテーション付与部１２２は、イベントデータ７１をネガティブデータ７３として学習データ格納部１２３に格納する。
一方、ユーザによる判断の結果が、イベントデータ７１にイベントが実際に映っていることを示す場合には、アノテーション付与部１２２は、図５のイベントデータ４１と同じように、ポジティブデータのアノテーションを付与して学習データ格納部１２３に格納する。
このようにして学習データ格納部１２３に格納された学習データを用いて学習部１２７による学習がなされ、その結果として生成される認識モデルがモデル格納部１２８に格納される。
次に、危険予測を行う車載機器１１０、及び、車載機器１１０を搭載した車両１１について説明する。
図１０は、車両１１の機能構成を示すブロック図である。
図１０に示されるように、車両１１は、車載機器１１０と、車両駆動機構１１５とを備える。
車載機器１１０は、カメラ１１１と、認識器１１２と、提示装置１１３と、車両制御装置１１４とを備える。
カメラ１１１は、車両１１の周囲を撮影するように車両１１に搭載されている。具体的には、カメラ１１１は、車両１１の前方を撮影できる位置及び向きで車両１１に搭載されている。カメラ１１１は、車両１１の前方を撮影したときには、その撮影によって生成される画像である撮影画像を認識器１１２に出力する。
認識器１１２は、サーバ１２からネットワークＮを介して認識モデルを取得して保持している。ここで、認識器１１２が取得する認識モデルは、車両が撮影した画像に基づいて、当該画像が撮影された後に生じ得るイベントの発生を予測する認識モデルである。また、認識器１１２は、車両１１に搭載されたカメラ１１１による車両１１の前方の撮影によって生成される画像である撮影画像を取得する。そして、認識器１１２は、その撮影画像を入力データとして認識モデルに入力することによって、撮影画像が撮影された後にイベントが発生するか否かを検出し、予測情報を生成する。予測情報は、現時点より後にイベントが発生するか否かを示す情報である。そして、認識器１１２は、生成した予測情報を提示装置１１３と車両制御装置１１４とに出力する。予測情報は、例えば、この後にイベントが発生し得ることを文字又は図によって示す画像又は音などである。
提示装置１１３は、情報を提示する提示装置であり、例えば、液晶ディスプレイ若しくは有機ＥＬディスプレイ等の表示装置、又は、スピーカ等の音出力装置を含む。ここでは、提示装置１１３が表示装置である場合を例として説明する。
提示装置１１３は、認識器１１２から予測情報を取得すると、その予測情報を画像として表示し、車両１１の運転者に提示する。
車両制御装置１１４は、車両１１の駆動、特に、車両１１の加速及び減速を制御する制御装置である。車両制御装置１１４は、認識器１１２から予測情報を取得すると、その予測情報に基づいて、車両制御装置１１４は、例えば車両１１を減速させる制御を行う。車両１１の駆動の制御は、車両駆動機構１１５によりなされる。
車両駆動機構１１５は、車両１１の駆動を制御する制御装置である。車両駆動機構１１５は、車両制御装置１１４からの制御の下で、車両１１の駆動、具体的には、加減速及び操舵などの制御を行う。
以上のように構成された危険予測システム１が実行する処理について説明する。
図１１は、本実施の形態における静止画データ又は動画データの分別処理を示すフロー図である。この処理は、例えば、所定時間（例えば２０秒）ごとに車載機器により行われる。
図１１に示されるようにステップＳ１０１において、車載機器は、車載センサにより静止画データ又は動画データを取得する。静止画データ又は動画データは、例えば、所定時間の時間長を有する動画データである。ここで、車載機器は、危険予測を行う認識器１１２を搭載した車両１１の車載機器１１０に限定されない。また、このとき、車載機器は、当該車載機器が搭載された車両の加速度データなども取得してもよい。
ステップＳ１０２において、車載機器は、取得した静止画データ又は動画データをイベントデータとするか否かを判定する。この判定は、静止画データ又は動画データそのものを対象とした画像認識処理によりなされてもよいし、静止画データ又は動画データが取得されたときの車両の加速度データに基づいて急ブレーキ又は急ハンドルがなされたことを検出することでなされてもよい。取得した静止画データ又は動画データをイベントデータとすると判定された場合には、ステップＳ１０３に進み、そうでない場合には、ステップＳ１１１に進む。
ステップＳ１０３において、車載機器は、ステップＳ１０１で取得した静止画データ又は動画データをイベントデータとしてサーバ１２に送信する。サーバ１２は、受信した静止画データ又は動画データをイベントデータとして画像データ格納部１２１に格納する。
ステップＳ１１１において、車載機器は、ステップＳ１０１で取得した静止画データ又は動画データを非イベントデータとしてサーバ１２に送信する。サーバ１２は、受信した静止画データ又は動画データを非イベントデータとして画像データ格納部１２１に格納する。
図１２は、本実施の形態における学習データの生成処理を示すフロー図である。
図１２に示されるようにステップＳ２０１において、アノテーション付与部１２２は、画像データ格納部１２１からイベントデータと非イベントデータとを取得する。
ステップＳ２０２において、アノテーション付与部１２２は、ステップＳ２０１で取得したイベントデータに含まれる、イベントより所定時間前の静止画データ又は動画データを端末１３に送信し、表示装置１３１により表示する。上記静止画データ又は上記動画データを第一データともいう。
ステップＳ２０３において、アノテーション付与部１２２は、ステップＳ２０１で取得した非イベントデータを端末１３に送信し、表示装置１３１により表示する。上記非イベントデータを第二データともいう。
ステップＳ２０４において、アノテーション付与部１２２は、第一データと第二データとが類似しているか否かについてのユーザによる判断結果を端末１３により取得する。
ステップＳ２０５において、ステップＳ２０４で取得した類比判断の結果が、類似していることを示すか否かを判定する。類似していることを示す場合（ステップＳ２０５でＹｅｓ）にはステップＳ２０６に進み、そうでない場合（ステップＳ２０５でＮｏ）にはステップＳ２１１に進む。
ステップＳ２０６において、アノテーション付与部１２２は、非イベントデータにポジティブデータのアノテーションを付与して学習データ格納部１２３に格納する。
ステップＳ２０７において、アノテーション付与部１２２は、イベントデータにポジティブデータのアノテーションを付与して学習データ格納部１２３に格納する。
ステップＳ２１１において、アノテーション付与部１２２は、非イベントデータにネガティブデータのアノテーションを付与して学習データ格納部１２３に格納する。ステップＳ２１１を終了したら、この一連の処理を終了する。
なお、ステップＳ２０２及びＳ２０３の実行の順序は反対であってもよいし、同時並行的になされてもよい。
図１３は、本実施の形態における車載機器１１０が行う危険予測方法に係る処理を示すフローチャートである。
図１３に示されるようにステップＳ３０１において、車載機器１１０のカメラ１１１は、撮影によって撮影画像を生成する。
ステップＳ３０２において、認識器１１２は、ステップＳ３０１でカメラ１１１が生成した撮影画像を入力データとして認識モデルに入力する。
ステップＳ３０３において、認識器１１２は、ステップＳ３０２で撮影画像を認識モデルに入力したことにより出力される情報を得る。認識モデルから出力される情報は、ステップＳ３０２で認識モデルに入力された撮影画像の後にイベントが発生するか否かを示す予測情報を含む。認識器１１２は、認識モデルから出力される情報を得ることで、撮影画像の後にイベントが発生するか否かを示す予測情報を得る。
ステップＳ３０４において、車載機器１１０は、ステップＳ３０３で得た予測情報を用いて、予測情報を含む画像の提示、又は、車両１１の制御を行う。
このようにすることで、危険予測システム１では、サーバ１２による機械学習により生成した危険予測に関する認識モデルを用いて、車載機器１１０により、車両１１の走行に関する危険予測をより高い精度で検出することができる。
以上のように、本実施の形態の危険予測方法によれば、非イベントデータのうちのイベントデータに類似しているものがポジティブデータとして学習に用いられる。従来の技術では、非イベントデータが一律にネガティブデータとして学習に用いられるので、非イベントデータのうちのイベントデータに類似しているものはネガティブデータとして学習に用いられる。その場合、互いに類似しているイベントデータと非イベントデータとの一方をポジティブデータとし、他方をネガティブデータとして学習をすると、学習により生成される認識モデルが不適切になることがある。そこで、イベントデータと非イベントデータとが類似しているときには、その両方をポジティブデータとして学習をすることで、認識モデルが不適切になることを回避し、適切な認識モデルが得られる。本発明の一態様に係る学習データ作成方法によれば、このように作成される学習データに基づく学習により、将来に発生するアクシデント又はインシデントなどの危険事象を適切に予測することができる。
また、所定時間として反応時間を用いることで、より容易に、将来に発生するアクシデント又はインシデントなどの危険事象を適切に予測することができる。
また、所定時間として、反応時間と危険予測装置の処理時間とを用いることで、より容易に、将来に発生するアクシデント又はインシデントなどの危険事象を適切に予測することができる。
また、イベントデータ及び非イベントデータとして動画データを用いて学習データを作成することによって、イベントデータの特徴及び非イベントデータの特徴をより正確に学習することができる。これにより、将来に発生するアクシデント又はインシデントなどの危険事象を適切に予測することができる。
また、第一データとして動画データを用いることによって、非イベントデータである第二データとの類比判断をより正確に行うことができる。これにより、将来に発生するアクシデント又はインシデントなどの危険事象を適切に予測することができる。
また、実際にはイベントが映っていないと判断されたイベントデータをネガティブデータとして学習する。これにより、認識モデルをより一層適切なものとすることができ、その結果、将来に発生するアクシデント又はインシデントなどの危険事象を適切に予測することができる。
また、第一画像と第二画像との類比判断を画像認識処理によって自動的に行う。これにより、人手を介さずに一定の基準に則った類比判断を行うことができる。これにより、将来に発生するアクシデント又はインシデントなどの危険事象を適切に予測することができる。
また、画像認識処理として、移動体の数、位置関係又はオプティカルフローを認識することで、より具体的な認識処理に基づいて、将来に発生するアクシデント又はインシデントなどの危険事象を適切に予測することができる。
また、車載センサにより取得した画像を分別することでイベントデータ及び非イベントデータを取得ことによって、より容易に、将来に発生するアクシデント又はインシデントなどの危険事象を適切に予測することができる。
また、車両への他者の衝突、又は、他者の急接近に基づいて、イベントデータを分別することができる。このように、より容易に、車載センサにより取得した静止画データ又は動画データをイベントデータに分別し、その結果、将来に発生するアクシデント又はインシデントなどの危険事象を適切に予測することができる。
また、車両における急ブレーキ又は急ハンドルに基づいて、イベントデータを分別することができる。このように、より容易に、車載センサにより取得した静止画データ又は動画データをイベントデータに分別し、その結果、将来に発生するアクシデント又はインシデントなどの危険事象を適切に予測することができる。
また、車車間通信によって危険信号を受信した場合には画像を非イベントデータに分別する。車両における急ブレーキ又は急ハンドルがなされた場合でも、車車間通信によって危険信号を受信した場合には、静止画データ又は動画データから危険予測に関する情報が得られないことがあるので、当該静止画データ又は当該動画データを学習の対象から除外するためである。
また、車両の急ブレーキがかけられた場合に、広角の静止画データ又は動画データに含まれる車両の進行方向を含む静止画データ又は動画データがイベントデータに分別される。急ブレーキがなされる場合には、車両の進行方向に何らかの物体などが存在している可能性がある。よって、その物体の方向をイベントデータとして学習することで、危険事象を適切に学習し、予測することができる。
また、広角の静止画データ又は動画データに含まれる、急ハンドルがなされた方向と反対方向を含む静止画データ又は動画データがイベントデータに分別される。急ハンドルがなされる場合には、その方向と反対方向に何らかの物体などが存在している可能性がある。よって、その物体の方向をイベントデータとして学習することで、危険事象を適切に学習し、予測することができる。
また、車両の速度に応じて変化する運転手の視界の広さに対応して、イベントデータとする画像の水平方向の幅を調整し得る。よって、車両の運転手の視界の広さの変化に基づいて広さが変化する静止画データ又は動画データをイベントデータとして、危険事象を適切に学習し、予測することができる。
また、車両の速度に応じて変化する運転手の視界の広さに対応して、イベントデータとする画像の水平方向の幅を調整し得る。一般に、車両の速度が大きい場合、その車両の運転手の視界が狭くなるので、イベントはその狭くなった視界に含まれるからである。よって、車両の運転手の視界の広さが、車両の速度が大きいほど狭くなることを考慮して、水平方向の幅が変化する静止画データ又は動画データをイベントデータとして、危険事象を適切に学習し、予測することができる。
（実施の形態の変形例）
本変形例では、実施の形態１の危険予測システム１等の一部又は全部の変形例を説明する。ただし、危険予測システム１などは、以下の記載に限定されない。
図１４は、本変形例に係る危険予測学習方法を示すフロー図である。
図１４に示されるように、本変形例に係る危険予測装置による危険予測のための学習方法は、上記の学習データ作成方法により作成された学習データを取得し（Ｓ４０１）、取得した学習データに基づいて、学習データに含まれるポジティブデータ及びネガティブデータの特徴を学習することによって、認識モデルを構築する（Ｓ４０２）。
図１５は、本変形例に係る学習装置２００を示すブロック図である。
図１５に示されるように、本変形例に係る危険予測装置による危険予測のための学習装置２００は、上記の学習データ作成方法により作成された学習データを取得する学習データ取得部２０１と、取得した学習データを用いて、学習データに含まれるポジティブデータ及びネガティブデータそれぞれの特徴を学習することによって、認識モデルを構築する学習部２０２を備える。
図１６は、本変形例に係る危険予測方法を示すフロー図である。
図１６に示されるように、本変形例に係る危険予測方法は、車両に設置された車載センサにより映された静止画データ又は動画データを取得し（Ｓ５０１）、上記の学習方法によって構築された認識モデルに、取得した静止画データ又は動画データを入力データとして入力することで出力される、当該静止画データ又は当該動画データが映された時刻の後のイベントの発生についての予測情報を出力する（Ｓ５０２）。
図１７は、本変形例に係る危険予測装置３００を示すブロック図である。
図１７に示されるように、本変形例に係る危険予測装置３００は、車両に設置された車載センサにより撮影された静止画データ又は動画データを取得する撮影画像取得部３０１と、上記の学習装置２００によって構築された認識モデルに、取得した静止画データ又は動画データを入力データとして入力することで出力される、当該静止画データ又は当該動画データが映された時刻の後のイベントの発生についての予測情報を出力する認識器３０２とを備える。
なお、上記実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記実施の形態の危険予測装置などを実現するソフトウェアは、次のようなプログラムである。
すなわち、このプログラムは、コンピュータに、ポジティブデータとネガティブデータとを含む、危険予測のための学習データをコンピュータにより作成するための学習データ作成方法であって、複数の静止画データ又は動画データを、アクシデント又はインシデントであるイベントがそれぞれに映っている複数のイベントデータ、及び、前記イベントがそれぞれに映っていない複数の非イベントデータとして取得し、取得した前記複数のイベントデータのうちの一のイベントデータに含まれる静止画データ又は動画データであって、イベントより所定時間前の静止画データ又は動画データである第一データを提示し、取得した前記複数の非イベントデータのうちの一の非イベントデータを第二データとして提示し、前記第一データと前記第二データとが類似しているか否かについての判断結果を受け付け、前記イベントデータと前記非イベントデータとを記憶装置に格納することで前記学習データを作成し、前記格納の際には、（ａ）前記ポジティブデータとして前記イベントデータを格納し、（ｂ）受け付けた前記判断結果が、前記第一データと前記第二データとが類似していることを示す場合には、前記ポジティブデータとして前記非イベントデータを格納し、（ｃ）受け付けた前記判断結果が、前記第一データと前記第二データとが類似していないことを示す場合には、前記ネガティブデータとして前記非イベントデータを格納する学習データ作成方法を実行させる。
また、このプログラムは、コンピュータに、危険予測装置による危険予測のための学習方法であって、上記の学習データ作成方法により作成された学習データを取得し、取得した前記学習データに基づいて、前記学習データに含まれる前記ポジティブデータ及び前記ネガティブデータの特徴を学習することによって、認識モデルを構築する学習方法を実行させる。
また、このプログラムは、コンピュータに、車両に設置された車載センサにより映された静止画データ又は動画データを取得し、上記の学習方法によって構築された前記認識モデルに、取得した前記静止画データ又は前記動画データを入力データとして入力することで出力される、当該静止画データ又は当該動画データが映された時刻の後のイベントの発生についての予測情報を出力する危険予測方法を実行させる。
以上、一つまたは複数の態様に係る学習データ作成方法などについて、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、一つまたは複数の態様の範囲内に含まれてもよい。
本発明は、将来に発生するアクシデント又はインシデントなどの危険事象を適切に予測するための学習データを作成する学習データ作成方法に利用可能である。より具体的には、自動運転車両に搭載される制御装置等に利用可能である。
１ 危険予測システム
１１、Ａ、Ｂ 車両
１２ サーバ
１３ 端末
４１、６１、７１ イベントデータ
４２、６２ 非イベントデータ
４３、６３、６４ ポジティブデータ
４４、７３ ネガティブデータ
５１、５２、５３、８１、８２、８３ 画像
１１０ 車載機器
１１１ カメラ
１１２、３０２ 認識器
１１３ 提示装置
１１４ 車両制御装置
１１５ 車両駆動機構
１２０、２０１ 学習データ取得部
１２１ 画像データ格納部
１２２ アノテーション付与部
１２３ 学習データ格納部
１２７、２０２ 学習部
１２８ モデル格納部
１２９ 制御部
１３１ 表示装置
１３２ 入力デバイス
２００ 学習装置
３００ 危険予測装置
３０１ 撮影画像取得部
Ｈ 人
Ｎ ネットワーク

Claims (24)

  1. ポジティブデータとネガティブデータとを含む、危険予測のための学習データをコンピュータにより作成するための学習データ作成方法であって、
    複数の静止画データ又は動画データを、アクシデント又はインシデントであるイベントがそれぞれに映っている複数のイベントデータ、及び、前記イベントがそれぞれに映っていない複数の非イベントデータとして取得し、
    取得した前記複数のイベントデータのうちの一のイベントデータに含まれる静止画データ又は動画データであって、イベントより所定時間前の静止画データ又は動画データである第一データを提示し、
    取得した前記複数の非イベントデータのうちの一の非イベントデータを第二データとして提示し、
    前記第一データと前記第二データとが類似しているか否かについての判断結果を受け付け、
    前記イベントデータと前記非イベントデータとを記憶装置に格納することで前記学習データを作成し、
    前記格納の際には、
    （ａ）前記ポジティブデータとして前記イベントデータを格納し、
    （ｂ）受け付けた前記判断結果が、前記第一データと前記第二データとが類似していることを示す場合には、前記ポジティブデータとして前記非イベントデータを格納し、
    （ｃ）受け付けた前記判断結果が、前記第一データと前記第二データとが類似していないことを示す場合には、前記ネガティブデータとして前記非イベントデータを格納する
    学習データ作成方法。
  2. 前記所定時間は、車両の運転手が危険を認識してから前記車両の制動措置をとるまでの時間である反応時間に基づいて定められる
    請求項１に記載の学習データ作成方法。
  3. 前記所定時間は、前記危険予測の処理を実行する危険予測装置の処理時間にさらに基づいて定められる
    請求項２に記載の学習データ作成方法。
  4. 前記複数のイベントデータのそれぞれは、動画データであり、
    前記複数の非イベントデータのそれぞれは、動画データである
    請求項１〜３のいずれか１項に記載の学習データ作成方法。
  5. 前記第一データは、動画データである
    請求項１〜４のいずれか１項に記載の学習データ作成方法。
  6. 前記受け付けの際には、さらに、
    前記イベントデータにイベントが実際に映っているか否かについての判断結果を受け付け、
    前記格納の際には、
    受け付けた前記判断結果が、前記イベントデータにイベントが実際には映っていないことを示す場合には、前記ネガティブデータとして前記イベントデータを格納する
    請求項１〜５のいずれか１項に記載の学習データ作成方法。
  7. 前記受け付けの際には、
    前記第一データと前記第二データとが類似しているか否かについての画像認識処理による判断結果を受け付ける
    請求項１〜６のいずれか１項に記載の学習データ作成方法。
  8. 前記画像認識処理は、前記第一データ及び前記第二データが示す画像に写る移動体の数、位置関係及びオプティカルフローのうちの１つ以上を認識する処理を含む
    請求項７に記載の学習データ作成方法。
  9. 前記学習データ作成方法は、さらに、
    車両が備える車載センサが撮影により生成した複数の静止画データ又は動画データのそれぞれをイベントデータ又は非イベントデータに分別することで、前記複数のイベントデータ及び前記複数の非イベントデータを取得し、
    前記分別では、
    前記一の静止画データ又は動画データが前記車載センサにより撮影されたときに、前記車両に他者が衝突した、又は、他者が急接近したことが、画像認識処理により認識された場合には、前記一の静止画データ又は動画データをイベントデータに分別する
    請求項１〜８のいずれか１項に記載の学習データ作成方法。
  10. 前記分別では、
    前記一の静止画データ又は動画データが前記車載センサにより撮影されたときに、前記車両において急ブレーキ又は急ハンドルがなされたことが、前記車両の加速度データから判定された場合には、前記一の静止画データ又は動画データをイベントデータに分別する
    請求項９に記載の学習データ作成方法。
  11. 前記分別では、
    前記車両において急ブレーキ又は急ハンドルがなされたと判定された場合であっても、前記車両が車車間通信によって危険信号を受信していたときには、前記一の静止画データ又は動画データを非イベントデータに分別する
    請求項９又は１０に記載の学習データ作成方法。
  12. 前記一の静止画データ又は動画データは、前記車両の前方を含む広角の静止画データ又は動画データであり、
    前記分別では、
    前記一の静止画データ又は動画データである広角の静止画データ又は動画データが前記車載センサにより撮影されたときに、前記車両において急ブレーキがなされたことが、前記車両の加速度データから判定された場合には、前記広角の静止画データ又は動画データのうち、前記車両の前方を含む静止画データ又は動画データをイベントデータに分別する
    請求項９〜１１のいずれか１項に記載の学習データ作成方法。
  13. 前記一の静止画データ又は動画データは、前記車両の前方を含む広角の静止画データ又は動画データであり、
    前記分別では、
    前記一の静止画データ又は動画データである広角の静止画データ又は動画データが前記車載センサにより撮影されたときに、前記車両の左右の一方への急ハンドルがなされたことが、前記車両の加速度データから判定された場合には、前記広角の静止画データ又は動画データのうち、前記車両の左右の前記一方と異なる他方を含む静止画データ又は動画データをイベントデータに分別する
    請求項９〜１２のいずれか１項に記載の学習データ作成方法。
  14. 前記分別では、
    前記広角の静止画データ又は動画データのうちの、前記イベントデータに分別する静止画データ又は動画データの水平方向のサイズは、前記一の画像が撮影されたときの前記車両の速度に基づいて決定される
    請求項１２又は１３に記載の学習データ作成方法。
  15. 前記分別では、
    前記広角の静止画データ又は動画データのうちの、前記イベントデータに分別する静止画データ又は動画データの水平方向のサイズは、前記一の画像が撮影されたときの前記車両の速度が大きいほど小さい
    請求項１２又は１３に記載の学習データ作成方法。
  16. 前記第二データを提示する際には、
    取得した前記複数の非イベントデータのうちから、画像認識処理に基づいて前記一の非イベントデータをあらかじめ選択し、選択した前記一の非イベントデータを提示する
    請求項１〜１５のいずれか１項に記載の学習データ作成方法。
  17. 危険予測装置による危険予測のための学習方法であって、
    請求項１〜１６のいずれか１項に記載の学習データ作成方法により作成された学習データを取得し、
    取得した前記学習データに基づいて、前記学習データに含まれる前記ポジティブデータ及び前記ネガティブデータの特徴を学習することによって、認識モデルを構築する
    学習方法。
  18. 車両に設置された車載センサにより映された静止画データ又は動画データを取得し、
    請求項１７に記載の学習方法によって構築された前記認識モデルに、取得した前記静止画データ又は前記動画データを入力データとして入力することで出力される、当該静止画データ又は当該動画データが映された時刻の後のイベントの発生についての予測情報を出力する
    危険予測方法。
  19. ポジティブデータとネガティブデータとを含む、危険予測のための学習データをコンピュータにより作成するための学習データ作成装置であって、
    複数の静止画データ又は動画データを、アクシデント又はインシデントであるイベントがそれぞれに映っている複数のイベントデータ、及び、前記イベントがそれぞれに映っていない複数の非イベントデータとして取得する学習データ取得部と、
    取得した前記複数のイベントデータのうちの一のイベントデータに含まれる静止画データ又は動画データであって、イベントより所定時間前の静止画データ又は動画データである第一データを提示し、取得した前記複数の非イベントデータのうちの一の非イベントデータを第二データとして提示し、前記第一データと前記第二データとが類似しているか否かについての判断結果を受け付け、前記第一データと前記第二データとを記憶装置に格納することで前記学習データを作成するアノテーション付与部とを備え、
    前記アノテーション付与部は、前記格納の際には、
    （ａ）前記ポジティブデータとして前記イベントデータを格納し、
    （ｂ）受け付けた前記判断結果が、前記第一データと前記第二データとが類似していることを示す場合には、前記ポジティブデータとして前記非イベントデータを格納し、
    （ｃ）受け付けた前記判断結果が、前記第一データと前記第二データとが類似していないことを示す場合には、前記ネガティブデータとして前記非イベントデータを格納する
    学習データ作成装置。
  20. 危険予測装置による危険予測のための学習装置であって、
    請求項１９に記載の学習データ作成装置により作成された学習データを取得する学習データ取得部と、
    取得した前記学習データを用いて、前記学習データに含まれる前記ポジティブデータ及び前記ネガティブデータそれぞれの特徴を学習することによって、認識モデルを構築する学習部を備える
    学習装置。
  21. 車両に設置された車載センサにより撮影された静止画データ又は動画データを取得する撮影画像取得部と、
    請求項２０に記載の学習装置によって構築された前記認識モデルに、取得した前記静止画データ又は前記動画データを入力データとして入力することで出力される、当該静止画データ又は当該動画データが映された時刻の後のイベントの発生についての予測情報を出力する認識器とを備える
    危険予測装置。
  22. 請求項１〜１６のいずれか１項に記載された学習データ作成方法をコンピュータに実行させるためのプログラム。
  23. 請求項１７に記載された学習方法をコンピュータに実行させるためのプログラム。
  24. 請求項１８に記載された危険予測方法をコンピュータに実行させるためのプログラム。
JP2018067882A 2018-03-30 2018-03-30 学習データ作成方法、学習方法、危険予測方法、学習データ作成装置、学習装置、危険予測装置、及び、プログラム Pending JP2019179372A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018067882A JP2019179372A (ja) 2018-03-30 2018-03-30 学習データ作成方法、学習方法、危険予測方法、学習データ作成装置、学習装置、危険予測装置、及び、プログラム
US16/366,294 US10817751B2 (en) 2018-03-30 2019-03-27 Learning data creation method, learning method, risk prediction method, learning data creation device, learning device, risk prediction device, and recording medium
CN201910242430.7A CN110321916B (zh) 2018-03-30 2019-03-28 学习数据制作方法、学习方法、危险预测方法及装置、程序存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018067882A JP2019179372A (ja) 2018-03-30 2018-03-30 学習データ作成方法、学習方法、危険予測方法、学習データ作成装置、学習装置、危険予測装置、及び、プログラム

Publications (1)

Publication Number Publication Date
JP2019179372A true JP2019179372A (ja) 2019-10-17

Family

ID=68056389

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018067882A Pending JP2019179372A (ja) 2018-03-30 2018-03-30 学習データ作成方法、学習方法、危険予測方法、学習データ作成装置、学習装置、危険予測装置、及び、プログラム

Country Status (3)

Country Link
US (1) US10817751B2 (ja)
JP (1) JP2019179372A (ja)
CN (1) CN110321916B (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210110029A (ko) * 2020-02-28 2021-09-07 한남대학교 산학협력단 인공지능 기반의 자동차 충격원 예측 시스템
WO2021199351A1 (ja) * 2020-03-31 2021-10-07 日本電気株式会社 遠隔監視システム、遠隔監視装置、及び方法
JP7254988B1 (ja) 2022-03-11 2023-04-10 ソフトバンク株式会社 運行管理システム、運行管理装置、運行管理装置の制御方法、及び運行管理装置の制御プログラム

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018214674A1 (de) * 2018-06-29 2020-01-02 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zur Unfallfrüherkennung
US10940870B1 (en) * 2018-11-28 2021-03-09 BlueOwl, LLC Systems and methods for visualizing predicted driving risk
US11787413B2 (en) 2019-04-26 2023-10-17 Samsara Inc. Baseline event detection system
US11080568B2 (en) 2019-04-26 2021-08-03 Samsara Inc. Object-model based event detection system
US10999374B2 (en) 2019-04-26 2021-05-04 Samsara Inc. Event detection system
US11494921B2 (en) 2019-04-26 2022-11-08 Samsara Networks Inc. Machine-learned model based event detection
US20210165932A1 (en) * 2019-12-02 2021-06-03 Nuro, Inc. Collision filtering for autonomous vehicle simulations

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0660300A (ja) * 1992-08-04 1994-03-04 Takata Kk 神経回路網による衝突予防予測システム
JP2003506785A (ja) * 1999-08-06 2003-02-18 ロードリスク テクノロジーズ エルエルシー 静止物体検出の方法および装置
JP2007233744A (ja) * 2006-03-01 2007-09-13 Fujitsu Ten Ltd 運転支援装置
WO2011036704A1 (ja) * 2009-09-24 2011-03-31 株式会社 東芝 コンテンツ推薦装置
JP2011145791A (ja) * 2010-01-13 2011-07-28 Hitachi Ltd 識別器学習画像生成プログラム、方法、及びシステム
JP2013089237A (ja) * 2011-10-14 2013-05-13 Xerox Corp 衝突回避信号
JP2013232091A (ja) * 2012-04-27 2013-11-14 Fujitsu Ltd 接近物体検知装置、接近物体検知方法及び接近物体検知用コンピュータプログラム
JP2013250881A (ja) * 2012-06-01 2013-12-12 Nippon Telegr & Teleph Corp <Ntt> 学習画像選択方法、コンピュータプログラム及び学習画像選択装置
JP2017111731A (ja) * 2015-12-18 2017-06-22 キヤノンマーケティングジャパン株式会社 情報処理システム、情報処理方法、プログラム
JP6721846B2 (ja) * 2016-12-09 2020-07-15 富士通株式会社 教師データ候補抽出プログラム、教師データ候補抽出装置、及び教師データ候補抽出方法

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6045846B2 (ja) 1980-11-14 1985-10-12 理研ビタミン株式会社 Ｌ−アスコルビン酸製剤およびその製造法
JP2009032143A (ja) * 2007-07-30 2009-02-12 Seiko Epson Corp ドライブレコーダ、ドライブレコーダシステム、ドライブレコーダの制御方法およびプログラム
US9173076B2 (en) * 2011-12-13 2015-10-27 International Business Machines Corporation Authentication method, authentication system and authentication program
JP6045846B2 (ja) 2012-08-08 2016-12-14 株式会社東芝 交通事故発生予報装置、方法およびプログラム
CN103353893B (zh) * 2013-07-18 2016-12-28 国家电网公司 调度自动化系统分布式数据采集故障智能诊断方法
US10073754B2 (en) * 2013-09-13 2018-09-11 Assurant, Inc. Systems and methods for collecting, tracking, and storing system performance and event data for computing devices
JP6349607B2 (ja) * 2014-02-26 2018-07-04 ジオ・サーチ株式会社 岸壁又は堤防の空洞探査方法及び危険性評価方法
CN104657430A (zh) * 2015-01-28 2015-05-27 武汉烽火众智数字技术有限责任公司 一种数据采集的方法和系统
CN104951512A (zh) * 2015-05-27 2015-09-30 中国科学院信息工程研究所 一种基于互联网的舆情数据采集方法及系统
US10031522B2 (en) * 2015-05-27 2018-07-24 Dov Moran Alerting predicted accidents between driverless cars
CN105261148A (zh) * 2015-10-14 2016-01-20 广州医科大学 一种基于天网监控系统的踩踏事件预警疏散方法
US9988056B2 (en) * 2015-12-15 2018-06-05 Octo Telematics Spa Systems and methods for controlling sensor-based data acquisition and signal processing in vehicles
CN105635685B (zh) * 2015-12-31 2018-11-23 成都移动魔方科技有限公司 一种自动化数据采集传输方法
CN105741009A (zh) * 2016-01-07 2016-07-06 里法诺夫·尼尔·金 用于开发事件人工量的收集、追踪、存储和报告的动态方法
CN105681421A (zh) * 2016-01-19 2016-06-15 清华大学合肥公共安全研究院 车载真实灾害数据采集实验平台及数据采集方法
JP2017138694A (ja) 2016-02-02 2017-08-10 ソニー株式会社 映像処理装置及び映像処理方法
CN107180220B (zh) * 2016-03-11 2023-10-31 松下电器（美国）知识产权公司 危险预测方法
CN106127511A (zh) * 2016-06-12 2016-11-16 樊永正 经济大数据的数据采集方法
US10747228B2 (en) * 2017-07-03 2020-08-18 Baidu Usa Llc Centralized scheduling system for operating autonomous driving vehicles
CN107753016A (zh) * 2017-10-24 2018-03-06 庞锦钊 一种心电数据采集器数据显示系统及方法
WO2019165451A1 (en) * 2018-02-26 2019-08-29 Nvidia Corporation Systems and methods for computer-assisted shuttles, buses, robo-taxis, ride-sharing and on-demand vehicles with situational awareness
US11392131B2 (en) * 2018-02-27 2022-07-19 Nauto, Inc. Method for determining driving policy
US11169536B2 (en) * 2018-04-09 2021-11-09 SafeAI, Inc. Analysis of scenarios for controlling vehicle operations
US10809735B2 (en) * 2018-04-09 2020-10-20 SafeAI, Inc. System and method for a framework of robust and safe reinforcement learning application in real world autonomous vehicle application
US11561541B2 (en) * 2018-04-09 2023-01-24 SafeAI, Inc. Dynamically controlling sensor behavior
US10620317B1 (en) * 2018-12-23 2020-04-14 Chongqing Jinkang New Energy Automobile Co., Ltd. Lidar-based high definition map generation

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0660300A (ja) * 1992-08-04 1994-03-04 Takata Kk 神経回路網による衝突予防予測システム
JP2003506785A (ja) * 1999-08-06 2003-02-18 ロードリスク テクノロジーズ エルエルシー 静止物体検出の方法および装置
JP2007233744A (ja) * 2006-03-01 2007-09-13 Fujitsu Ten Ltd 運転支援装置
WO2011036704A1 (ja) * 2009-09-24 2011-03-31 株式会社 東芝 コンテンツ推薦装置
JP2011145791A (ja) * 2010-01-13 2011-07-28 Hitachi Ltd 識別器学習画像生成プログラム、方法、及びシステム
JP2013089237A (ja) * 2011-10-14 2013-05-13 Xerox Corp 衝突回避信号
JP2013232091A (ja) * 2012-04-27 2013-11-14 Fujitsu Ltd 接近物体検知装置、接近物体検知方法及び接近物体検知用コンピュータプログラム
JP2013250881A (ja) * 2012-06-01 2013-12-12 Nippon Telegr & Teleph Corp <Ntt> 学習画像選択方法、コンピュータプログラム及び学習画像選択装置
JP2017111731A (ja) * 2015-12-18 2017-06-22 キヤノンマーケティングジャパン株式会社 情報処理システム、情報処理方法、プログラム
JP6721846B2 (ja) * 2016-12-09 2020-07-15 富士通株式会社 教師データ候補抽出プログラム、教師データ候補抽出装置、及び教師データ候補抽出方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210110029A (ko) * 2020-02-28 2021-09-07 한남대학교 산학협력단 인공지능 기반의 자동차 충격원 예측 시스템
KR102387127B1 (ko) * 2020-02-28 2022-04-14 한남대학교 산학협력단 인공지능 기반의 자동차 충격원 예측 시스템
WO2021199351A1 (ja) * 2020-03-31 2021-10-07 日本電気株式会社 遠隔監視システム、遠隔監視装置、及び方法
JP7254988B1 (ja) 2022-03-11 2023-04-10 ソフトバンク株式会社 運行管理システム、運行管理装置、運行管理装置の制御方法、及び運行管理装置の制御プログラム
JP2023132714A (ja) * 2022-03-11 2023-09-22 ソフトバンク株式会社 運行管理システム、運行管理装置、運行管理装置の制御方法、及び運行管理装置の制御プログラム

Also Published As

Publication number Publication date
CN110321916A (zh) 2019-10-11
US10817751B2 (en) 2020-10-27
CN110321916B (zh) 2024-04-09
US20190303718A1 (en) 2019-10-03

Similar Documents

Publication Publication Date Title
JP2019179372A (ja) 学習データ作成方法、学習方法、危険予測方法、学習データ作成装置、学習装置、危険予測装置、及び、プログラム
CN107220581B (zh) 通过后置摄像机的行人检测和运动预测
RU2701051C2 (ru) Способ, система и машиночитаемые запоминающие носители для выявления объектов с использованием рекуррентной нейронной сети и сцепленной карты признаков
US10860873B2 (en) Driver behavior recognition and prediction
US20210295073A1 (en) Primary preview region and gaze based driver distraction detection
US20200331476A1 (en) Automatic lane change with minimum gap distance
JP7239703B2 (ja) 領域外コンテキストを用いたオブジェクト分類
CN106952303B (zh) 车距检测方法、装置和系统
JP2021516806A (ja) 物体の検出および特徴付けのためのニューラルネットワーク
US11042999B2 (en) Advanced driver assist systems and methods of detecting objects in the same
EP3909028A1 (en) Multimodal user interface for a vehicle
US11713046B2 (en) Driving assistance apparatus and data collection system
US11150656B2 (en) Autonomous vehicle decision making
US11893766B2 (en) Neural network system and operating method thereof
US11904853B2 (en) Apparatus for preventing vehicle collision and method thereof
JP2016130966A (ja) 危険度推定装置、危険度推定方法及び危険度推定用コンピュータプログラム
CN111051171A (zh) 对自主车辆的内部的异常的检测
US11328433B2 (en) Composite field based single shot prediction
JPWO2018138980A1 (ja) 制御システム、制御方法及びプログラム
JP5895728B2 (ja) 車群管理装置
CN111081045A (zh) 姿态轨迹预测方法及电子设备
CN111278708B (zh) 用于辅助驾驶的方法和装置
JP7269694B2 (ja) 事象発生推定のための学習データ生成方法・プログラム、学習モデル及び事象発生推定装置
JP2019003343A (ja) 運転支援装置および運転支援方法
US20210039660A1 (en) Anomaly Detector For Vehicle Control Signals

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201127

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211130

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220628