CN110321916A - 学习数据制作方法、学习方法、危险预测方法及装置、程序存储介质 - Google Patents

学习数据制作方法、学习方法、危险预测方法及装置、程序存储介质 Download PDF

Info

Publication number
CN110321916A
CN110321916A CN201910242430.7A CN201910242430A CN110321916A CN 110321916 A CN110321916 A CN 110321916A CN 201910242430 A CN201910242430 A CN 201910242430A CN 110321916 A CN110321916 A CN 110321916A
Authority
CN
China
Prior art keywords
data
image data
event
learning
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910242430.7A
Other languages
English (en)
Other versions
CN110321916B (zh
Inventor
谷川徹
庄田幸惠
井本淳一
塚本裕介
芋本征矢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Corp of America
Original Assignee
Panasonic Intellectual Property Corp of America
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Corp of America filed Critical Panasonic Intellectual Property Corp of America
Publication of CN110321916A publication Critical patent/CN110321916A/zh
Application granted granted Critical
Publication of CN110321916B publication Critical patent/CN110321916B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/161—Decentralised systems, e.g. inter-vehicle communication
    • G08G1/162—Decentralised systems, e.g. inter-vehicle communication event-triggered

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

适当地预测将来发生的事故或未遂事故等危险现象。学习数据制作方法取得多个静止图像数据或运动图像数据作为事件数据及非事件数据(S201)，提示第一数据，该第一数据是事件数据所包含的静止图像数据或运动图像数据，是在事件的规定时间前的静止图像数据或运动图像数据(S202)，将非事件数据作为第二数据提示(S203)，受理对于第一数据与第二数据是否类似的判断结果(S204)，将事件数据作为阳性数据存储(S207)，在第一数据与第二数据类似的情况下将非事件数据作为阳性数据存储(S206)，在第一数据与第二数据不类似的情况下将非事件数据作为阴性数据存储(S211)。

Description

学习数据制作方法、学习方法、危险预测方法及装置、程序存 储介质
技术领域
本发明涉及学习数据制作方法、学习方法、危险预测方法、学习数据制作装置、学习装置、危险预测装置、及程序存储介质。
背景技术
汽车的驾驶辅助技术及自动驾驶技术正在逐步被开发。在这些技术中，需要下述技术，即，通过车载摄像机对车辆的周围进行拍摄，识别位于车辆的周围的物体，检测可能成为车辆的行驶的障碍的移动物体。在位于车辆的周围的物体的识别中可以使用机器学习(也简称为学习)。
专利文献1公开了下述技术，即，根据由车载摄像机拍摄到的影像，基于事故的影像(也称作事故(accident)影像)，或从结果上并未导致事故但存在导致事故的可能性的影像(也称作未遂事故(incident)影像，通常也称作惊险影像或险肇(near miss)影像)的特征，记录或提取该事故影像等。
现有技术文献
专利文献
专利文献1：日本特开2017-138694号公报
发明内容
发明要解决的课题
但是，在专利文献1公开的技术中，基于事故影像或未遂事故影像的特征辨别事故影像等。因此，存在下述问题，即，在事故或未遂事故发生前，不能预测将来发生的事故或未遂事故等危险现象。
因此，本发明提供用于适当地预测将来发生的事故或未遂事故等危险现象的学习数据制作方法等。
用于解决课题的手段
本发明的一个方式涉及的学习数据制作方法，用于通过计算机制作包含阳性数据和阴性数据的用于危险预测的学习数据，包括：取得多个静止图像数据或运动图像数据以作为分别显现出作为事故或未遂事故的事件的多个事件数据，及分别未显现出所述事件的多个非事件数据；提示第一数据，该第一数据是取得的所述多个事件数据中的一个事件数据所包含的静止图像数据或运动图像数据，是在事件的规定时间前的静止图像数据或运动图像数据；将取得的所述多个非事件数据中的一个非事件数据作为第二数据提示；受理对于所述第一数据与所述第二数据是否类似的判断结果；以及通过将所述事件数据和所述非事件数据存储至存储装置从而制作所述学习数据；在所述存储时，(a)将所述事件数据作为所述阳性数据存储；(b)在受理的所述判断结果示出所述第一数据与所述第二数据类似的情况下，将所述非事件数据作为所述阳性数据存储；(c)在受理的所述判断结果示出所述第一数据与所述第二数据不类似的情况下，将所述非事件数据作为所述阴性数据存储。
此外，这些总括的或具体的方式可以由系统、装置、集成电路、计算机程序或计算机能够读取的CD-ROM等存储介质实现，也可以由系统、装置、集成电路、计算机程序及存储介质的任意的组合实现。
发明的效果
本发明的学习数据生成方法能够适当地预测将来发生的事故或未遂事故等危险现象。
附图说明
图1是表示实施方式中的危险预测系统的结构的图。
图2是表示实施方式中的危险预测系统的功能结构的框图。
图3是表示在实施方式中的图像数据储存部中存储的图像的第一个例子的说明图。
图4是表示在实施方式中的图像数据储存部中存储的图像的第二个例子的说明图。
图5是由实施方式中的注释附加部进行的注释的附加的第一说明图。
图6是在由实施方式中的注释附加部进行注释的附加时提示的图像的第一说明图。
图7是由实施方式中的注释附加部进行的注释的附加的第二说明图。
图8是由实施方式中的注释附加部进行的注释的附加的第三说明图。
图9是在由实施方式中的注释附加部进行注释的附加时提示的图像的第二说明图。
图10是表示实施方式中的车辆的功能结构的框图。
图11是表示实施方式中的静止图像数据或运动图像数据的分类处理的流程图。
图12是表示实施方式中的学习数据的生成处理的流程图。
图13是表示实施方式中的车载设备的处理的流程图。
图14是表示实施方式的变形例涉及的学习方法的流程图。
图15是表示实施方式涉及的学习装置的框图。
图16是表示实施方式的变形例涉及的危险预测方法的流程图。
图17是表示实施方式的变形例涉及的危险预测装置的框图。
具体实施方式
本发明的一个方式涉及的学习数据制作方法，用于通过计算机制作包含阳性数据和阴性数据的用于危险预测的学习数据，包括：取得多个静止图像数据或运动图像数据以作为分别显现出作为事故或未遂事故的事件的多个事件数据，及分别未显现出所述事件的多个非事件数据；提示第一数据，该第一数据是取得的所述多个事件数据中的一个事件数据所包含的静止图像数据或运动图像数据，是在事件的规定时间前的静止图像数据或运动图像数据；将取得的所述多个非事件数据中的一个非事件数据作为第二数据提示；受理对于所述第一数据与所述第二数据是否类似的判断结果；以及通过将所述事件数据和所述非事件数据存储至存储装置从而制作所述学习数据；在所述存储时，(a)将所述事件数据作为所述阳性数据存储；(b)在受理的所述判断结果示出所述第一数据与所述第二数据类似的情况下，将所述非事件数据作为所述阳性数据存储；(c)在受理的所述判断结果示出所述第一数据与所述第二数据不类似的情况下，将所述非事件数据作为所述阴性数据存储。
根据上述方式，将非事件数据中的与事件数据类似的数据作为阳性数据用于学习。在现有技术中，将非事件数据一律作为阴性数据用于学习，因此将非事件数据中的与事件数据类似的数据作为阴性数据用于学习。在该情况下，如果将彼此类似的事件数据和非事件数据的一个作为阳性数据，另一个作为阴性数据进行学习，则有时通过学习生成的识别模型变得不适当。因此，在事件数据与非事件数据类似时，通过将其双方作为阳性数据进行学习，从而避免识别模型变得不适当，得到适当的识别模型。根据本发明的一个方式涉及的学习数据制作方法，能够通过基于这样制作的学习数据的学习，适当地预测将来发生的事故或未遂事故等危险现象。
例如可以是，所述规定时间基于从车辆的驾驶员识别出危险到采取所述车辆的制动措施为止的时间即反应时间确定。
根据上述方式，能够通过使用反应时间作为规定时间，从而更容易地适当地预测将来发生的事故或未遂事故等危险现象。
例如可以是，所述规定时间进一步基于执行所述危险预测的处理的危险预测装置的处理时间确定。
根据上述方式，能够通过使用反应时间和危险预测装置的处理时间作为规定时间，从而更容易地适当地预测将来发生的事故或未遂事故等危险现象。
例如可以是，所述多个事件数据的每一个是运动图像数据，所述多个非事件数据的每一个是运动图像数据。
根据上述方式，能够通过使用运动图像数据作为事件数据及非事件数据而制作学习数据，从而更准确地对事件数据的特征及非事件数据的特征进行学习。由此，能够适当地预测将来发生的事故或未遂事故等危险现象。
例如可以是，第一数据是运动图像数据。
根据上述方式，能够通过使用运动图像数据作为第一数据，从而更准确地进行与非事件数据即第二数据的类比判断。由此，能够适当地预测将来发生的事故或未遂事故等危险现象。
例如可以是，在所述受理时，进一步受理对于所述事件数据是否实际上显现出事件的判断结果，在所述存储时，在受理的所述判断结果示出所述事件数据实际上未显现出事件的情况下，将所述事件数据作为所述阴性数据存储。
根据上述方式，将被判断为实际上未显现出事件的事件数据作为阴性数据进行学习。由此，能够使识别模型更加适当，其结果，能够适当地预测将来发生的事故或未遂事故等危险现象。
例如可以是，在所述受理时，受理关于所述第一数据与所述第二数据是否类似的基于图像识别处理的判断结果。
根据上述方式，通过图像识别处理自动地进行第一图像与第二图像的类比判断。由此，能够不经过人手而按照一定的基准进行类比判断。由此，能够适当地预测将来发生的事故或未遂事故等危险现象。
例如可以是，所述图像识别处理包含对显现于所述第一数据及所述第二数据所示的图像的移动物体的数量、位置关系及光流中的1个以上进行识别的处理。
根据上述方式，作为图像识别处理，能够通过对移动物体的数量、位置关系或光流进行识别，从而基于更具体的识别处理，适当地预测将来发生的事故或未遂事故等危险现象。
例如可以是，所述学习数据制作方法还包括：通过将由车辆具有的车载传感器通过拍摄生成的多个静止图像数据或运动图像数据的每一个分类为事件数据或非事件数据，从而取得所述多个事件数据及所述多个非事件数据，在所述分类中，在所述一个静止图像数据或运动图像数据被所述车载传感器拍摄到时，在通过图像识别处理识别出其他物体冲撞了所述车辆，或其他物体快速接近的情况下，将所述一个静止图像数据或运动图像数据分类为事件数据。
根据上述方式，能够通过对由车载传感器取得的图像进行分类从而取得事件数据及非事件数据，并且基于其他物体向车辆的冲撞，或其他物体的快速接近，对事件数据进行分类。这样，能够更容易地将通过车载传感器取得的静止图像数据或运动图像数据分类为事件数据，其结果，适当地预测将来发生的事故或未遂事故等危险现象。
例如可以是，在所述分类中，在所述一个静止图像数据或运动图像数据被所述车载传感器拍摄到时，在根据所述车辆的加速度数据判定出所述车辆进行了急刹车或急转向的情况下，将所述一个静止图像数据或运动图像数据分类为事件数据。
根据上述方式，能够基于车辆的急刹车或急转向对事件数据进行分类。这样，能够更容易地将通过车载传感器取得的静止图像数据或运动图像数据分类为事件数据，其结果，适当地预测将来发生的事故或未遂事故等危险现象。
例如可以是，在所述分类中，即使在判定出所述车辆进行了急刹车或急转向的情况下，在所述车辆通过车辆间通信接收到危险信号时，也将所述一个静止图像数据或运动图像数据分类为非事件数据。
根据上述方式，在通过车辆间通信接收到危险信号的情况下将图像分类为非事件数据。即使在车辆进行了急刹车或急转向的情况下，有时在通过车辆间通信接收到危险信号的情况下，从静止图像数据或运动图像数据中也得不到关于危险预测的信息，因此将该静止图像数据或该运动图像数据从学习的对象中去除。
例如可以是，所述一个静止图像数据或运动图像数据是包含所述车辆的前方的广角的静止图像数据或运动图像数据，在所述分类中，在作为所述一个静止图像数据或运动图像数据的广角的静止图像数据或运动图像数据被所述车载传感器拍摄到时，在根据所述车辆的加速度数据判定出所述车辆进行了急刹车的情况下，将所述广角的静止图像数据或运动图像数据中的包含所述车辆的前方的静止图像数据或运动图像数据分类为事件数据。
根据上述方式，在采取了车辆的急刹车的情况下，将包含于广角的静止图像数据或运动图像数据的包含车辆的前进方向的静止图像数据或运动图像数据分类为事件数据。在进行急刹车的情况下，车辆的前进方向有可能存在某些物体等。因此，能够通过将该物体的方向作为事件数据进行学习，从而适当地对危险现象进行学习、预测。
例如可以是，所述一个静止图像数据或运动图像数据是包含所述车辆的前方的广角的静止图像数据或运动图像数据，在所述分类中，在作为所述一个静止图像数据或运动图像数据的广角的静止图像数据或运动图像数据被所述车载传感器拍摄到时，在根据所述车辆的加速度数据判定出进行了向所述车辆的左右的一方的急转向的情况下，将所述广角的静止图像数据或运动图像数据中的包含与所述车辆的左右的所述一方不同的另一方的静止图像数据或运动图像数据分类为事件数据。
根据上述方式，将包含于广角的静止图像数据或运动图像数据的包含与进行急转向的方向相反的方向的静止图像数据或运动图像数据分类为事件数据。在进行急转向的情况下，在与该方向相反的方向上有可能存在某些物体等。因此，能够通过将该物体的方向作为事件数据进行学习，从而适当地对危险现象进行学习、预测。
例如可以是，在所述分类中，所述广角的静止图像数据或运动图像数据中的、分类为所述事件数据的静止图像数据或运动图像数据的水平方向的尺寸，基于拍摄到所述一个图像时的所述车辆的速度来决定。
根据上述方式，可以与根据车辆的速度而变化的驾驶员的视野的广度对应地对作为事件数据的图像的水平方向的宽度进行调整。因此，能够将基于车辆的驾驶员的视野的广度的变化而变化广度的静止图像数据或运动图像数据作为事件数据，适当地对危险现象进行学习、预测。
例如可以是，在所述分类中，所述广角的静止图像数据或运动图像数据中的、分类为所述事件数据的静止图像数据或运动图像数据的水平方向的尺寸为，拍摄到所述一个图像时的所述车辆的速度越大则该尺寸越小。
根据上述方式，可以与根据车辆的速度而变化的驾驶员的视野的广度对应地对作为事件数据的图像的水平方向的宽度进行调整。这是因为，通常，在车辆的速度快的情况下，该车辆的驾驶员的视野变窄，因此事件包含于该变窄的视野中。因此，能够考虑到车辆的速度越快车辆的驾驶员的视野的广度越窄，将水平方向的宽度会变化的静止图像数据或运动图像数据作为事件数据，适当地对危险现象进行学习、预测。
例如可以是，在提示所述第二数据时，从取得的所述多个非事件数据中，基于图像识别处理预先选择所述一个非事件数据，提示选择的所述一个非事件数据。
根据上述方式，能够基于图像识别处理，选择提示给用户的适当的第二图像。由此，能够更适当地进行由用户进行的第一图像与第二图像的类似与否判断，适当地预测将来发生的事故或未遂事故等危险现象。
另外，本发明的一个方式涉及的学习方法用于由危险预测装置进行的危险预测，所述学习方法取得通过上述的学习数据制作方法制作的学习数据；以及基于取得的所述学习数据，通过对所述学习数据所包含的所述阳性数据及所述阴性数据的特征进行学习，从而构筑识别模型。
根据上述方式，能够使用通过学习数据制作方法制作的学习数据而适当地构筑识别模型，适当地预测将来发生的事故或未遂事故等危险现象。
另外，本发明的一个方式涉及的危险预测方法，包括：取得被设置于车辆的车载传感器拍到的静止图像数据或运动图像数据；以及输出预测信息，该预测信息是通过将取得的所述静止图像数据或所述运动图像数据作为输入数据输入至通过上述学习方法构筑的所述识别模型而输出的、针对该静止图像数据或该运动图像数据被拍到的时刻之后的事件的发生的预测信息。
根据上述方式，能够使用构筑出的识别模型，适当地预测将来发生的事故或未遂事故等危险现象。
另外，本发明的一个方式涉及的学习数据制作装置，用于通过计算机制作包含阳性数据和阴性数据的用于危险预测的学习数据，所述学习数据制作装置具有：学习数据取得部，取得多个静止图像数据或运动图像数据以作为分别显现出作为事故或未遂事故的事件的多个事件数据，及分别未显现出所述事件的多个非事件数据；以及注释附加部，提示第一数据，该第一数据是取得的所述多个事件数据中的一个事件数据所包含的静止图像数据或运动图像数据，是在事件的规定时间前的静止图像数据或运动图像数据，将取得的所述多个非事件数据中的一个非事件数据作为第二数据提示，受理对于所述第一数据与所述第二数据是否类似的判断结果，通过将所述第一数据和所述第二数据存储至存储装置从而制作所述学习数据，所述注释附加部在所述存储时，(a)将所述事件数据作为所述阳性数据存储；(b)在受理的所述判断结果示出所述第一数据与所述第二数据类似的情况下，将所述非事件数据作为所述阳性数据存储；(c)在受理的所述判断结果示出所述第一数据与所述第二数据不类似的情况下，将所述非事件数据作为所述阴性数据存储。
通过上述方式，得到与上述学习数据制作方法相同的效果。
另外，本发明的一个方式涉及的学习装置是用于由危险预测装置进行的危险预测的学习装置，具有：学习数据取得部，取得通过上述的学习数据制作装置制作的学习数据；以及学习部，通过使用取得的所述学习数据对所述学习数据所包含的所述阳性数据及所述阴性数据各自的特征进行学习，从而构筑识别模型。
通过上述方式，得到与上述学习方法相同的效果。
另外，本发明的一个方式涉及的危险预测装置具有：拍摄图像取得部，取得通过设置于车辆的车载传感器拍摄到的静止图像数据或运动图像数据；以及识别器，输出预测信息，该预测信息是通过将取得的所述静止图像数据或所述运动图像数据作为输入数据输入至通过上述学习装置构筑的所述识别模型而输出的、针对该静止图像数据或该运动图像数据被拍到的时刻之后的事件的发生的预测信息。
通过上述方式，取得与上述危险预测方法相同的效果。
另外，本发明的一个方式涉及的程序用于使计算机执行上述学习数据制作方法。
通过上述方式，取得与上述学习数据制作方法相同的效果。
另外，本发明的一个方式涉及的程序用于使计算机执行上述学习方法。
通过上述方式，取得与上述学习方法相同的效果。
另外，本发明的一个方式涉及的程序用于使计算机执行上述危险预测方法。
通过上述方式，取得与上述危险预测方法相同的效果。
此外，这些总括的或具体的方式可以由系统、装置、集成电路、计算机程序或计算机能够读取的CD-ROM等存储介质实现，也可以由系统、装置、集成电路、计算机程序及存储介质的任意的组合实现。
下面，参照附图对实施方式进行具体的说明。
此外，下面说明的实施方式，任一个都示出总括的或具体的例子。在下面的实施方式中示出的数值、形状、材料、结构要素、结构要素的配置位置及连接方式、步骤、步骤的顺序等是一个例子，不旨在限定本发明。另外，将下面的实施方式中的结构要素中的未记载于表示最上位概念的独立权利要求中的结构要素，设为任意的结构要素而进行说明。
(实施方式)
在本实施方式中对能够适当预测将来发生的事故或未遂事故等危险现象的学习数据制作方法、学习方法、及危险预测方法等进行说明。
图1是表示本实施方式中的危险预测系统1的结构的框图。图2是表示本实施方式中的危险预测系统1的功能结构的框图。
本实施方式中的危险预测系统1是预测将来车辆11是否会发生作为事故或未遂事故等危险现象的事件的系统。在这里，“将来”意味着例如10秒～20秒左右以内的未来，但不限定于该时间。
如图1及图2所示，危险预测系统1具有车辆11、服务器12、终端13，它们经由互联网等网络N连接。
车辆11的车载设备具有摄像机，通过由该摄像机进行的拍摄生成图像。并且，车载设备基于该图像进行将来是否会发生事件的预测，即进行危险预测。由车载设备进行的危险预测是基于使用识别模型的识别进行的。用于识别的识别模型是经由网络N从服务器12取得的。
服务器12使用多个学习用的静止图像数据或运动图像数据(也简称为静止图像数据或运动图像数据)构筑识别模型。服务器12取得多个静止图像数据或运动图像数据而进行保存。服务器12取得的学习用图像是通过由车辆11或车辆11以外的车辆所具有的摄像机进行的拍摄得到的。服务器12经由网络N接收这样得到的静止图像数据或运动图像数据。
并且，服务器12使用这样发送的静止图像数据或运动图像数据，基于显现于静止图像数据或运动图像数据的拍摄对象，通过对将来是否会发生事件进行学习从而构筑识别模型。并且，服务器12将该构筑出的识别模型经由网络N发送至车辆11。
终端13为了由服务器12进行的识别模型的构筑，向用户提示静止图像数据或运动图像数据，且接收由用户进行的对于提示出的静止图像数据或运动图像数据的类似与否判断等结果的输入。终端13具有向用户提示学习用图像等的显示装置131及接收学习用图像的类似与否判断的结果等来自用户的输入的输入设备132。显示装置131是液晶显示器或有机EL(电致发光：electroluminescence)显示器。输入设备132是键盘、鼠标或触控面板等。
参照图2对服务器12的功能结构进行详细说明。
如图2所示，服务器12具有学习数据取得部120、学习部127、模型存储部128、控制部129。学习数据取得部120具有图像数据储存部121、注释附加部122、学习数据存储部123。服务器12或学习数据取得部120相当于学习数据制作装置，该学习数据制作装置用于通过计算机制作包含阳性数据和阴性数据的用于危险预测的学习数据。
学习数据取得部120取得在危险预测的学习中使用的学习数据。学习数据取得部120例如取得具有规定的时长的运动图像数据作为静止图像数据或运动图像数据。规定的时长例如是20秒。
学习数据取得部120取得多个静止图像数据或运动图像数据作为多个事件数据及多个非事件数据，该多个事件数据是分别显现出作为事故或未遂事故的事件的多个静止图像数据或运动图像数据，该多个非事件数据是各自未显现出事件的多个静止图像数据或运动图像数据。此外，多个事件数据可以是运动图像数据。另外，多个非事件数据也可以是运动图像数据。
学习数据取得部120取得的多个事件数据及多个非事件数据例如是重复多次下述步骤而生成的数据，该步骤是指将车辆具有的车载传感器(例如摄像机)通过拍摄而生成的一个静止图像数据或运动图像数据分类为事件数据或非事件数据。上述分类例如是通过车辆具有的图像处理装置进行的。在该情况下，图像处理装置在车载传感器通过拍摄生成了静止图像数据或运动图像数据时，基于该静止图像数据或该运动图像数据，或基于通过车辆具有的其他车载传感器(例如加速度传感器)得到的信息进行分类。
例如可以是，在上述分类中，在一个静止图像数据或运动图像数据被车载传感器拍摄到时，在通过图像识别处理识别出车辆与其他物体冲撞，或其他物体快速接近的情况下，将该一个静止图像数据或运动图像数据分类为事件数据。
例如可以是，在上述分类中，在一个静止图像数据或运动图像数据被车载传感器拍摄到时，在根据车辆的加速度数据判定出车辆进行了急刹车或急转向的情况下，将该一个静止图像数据或运动图像数据分类为事件数据。
例如可以是，在上述分类中，即使在判定出车辆进行了急刹车或急转向的情况下，在车辆通过车辆间通信接收到危险信号时，将该一个静止图像数据或运动图像数据分类为非事件数据。在这里，危险信号是指，例如从位于该车辆的附近的车辆接收的、用于通知车辆的冲撞等危险的信号。
例如可以是，在上述分类中，在一个静止图像数据或运动图像数据是包含车辆的前方的广角的静止图像数据或运动图像数据的情况下，在作为一个静止图像数据或运动图像数据的广角的静止图像数据或运动图像数据被车载传感器拍摄到时，在根据车辆的加速度数据判定出车辆进行了急刹车的情况下，将广角的静止图像数据或运动图像数据中的包含车辆的前方的静止图像数据或运动图像数据分类为事件数据。
例如可以是，在上述分类中，在一个静止图像数据或运动图像数据是包含车辆的前方的广角的静止图像数据或运动图像数据的情况下，在作为一个静止图像数据或运动图像数据的广角的静止图像数据或运动图像数据被车载传感器拍摄到时，在根据车辆的加速度数据判定出进行了向车辆的左右的一侧的急转向的情况下，将广角的静止图像数据或运动图像数据中的包含车辆的一侧的静止图像数据或运动图像数据分类为事件数据。
例如可以是，在上述分类中，广角的静止图像数据或运动图像数据中的、分类为事件数据的静止图像数据或运动图像数据的水平方向的尺寸，是基于拍摄到该一个图像时的车辆的速度决定。
例如可以是，在上述分类中，将广角的静止图像数据或运动图像数据的中的，分类为事件数据的静止图像数据或运动图像数据的水平方向的尺寸设为，拍摄到该一个图像时的车辆的速度越大则该尺寸越小。
图像数据储存部121是RAM(随机存取存储器：Random Access Memory)或硬盘等用于存储数据的存储介质。在图像数据储存部121中，通过学习数据取得部120存储多个事件数据和多个非事件数据作为学习用图像。另外，存储于图像数据储存部121的学习用图像被注释附加部122读取。
注释附加部122对静止图像数据或运动图像数据附加注释，存储至学习数据存储部123。注释是表示是将静止图像数据或运动图像数据作为显现出事件的静止图像数据或运动图像数据处理，还是作为未显现出事件的静止图像数据或运动图像数据处理的信息。注释附加部122原则上为事件数据附加阳性数据的注释，为非事件数据附加阴性数据的注释。并且，注释附加部122为非事件数据中的被判断为与事件数据类似的数据附加阳性数据的注释。
此外，也将附加了阳性数据的注释的学习数据简称为阳性数据，将附加了阴性数据的注释的学习数据简称为阴性数据。在这里，阳性数据是指应被后述的识别器112识别为显现出事件的数据，阴性数据是指应被识别器112识别为未显现出事件的数据。
注释附加部122为了非事件数据与事件数据的类似与否判断，提示第一数据，该第一数据是多个事件数据中的一个事件数据所包含的静止图像数据或运动图像数据，是事件的规定时间前的静止图像数据或运动图像数据，即规定时间前的显现出拍摄对象的静止图像数据或运动图像数据。另外，注释附加部122将多个非事件数据中的一个非事件数据作为第二数据提示。在提示第一数据及第二数据时，注释附加部122通过将第一数据及第二数据发送至终端13，显示于显示装置131从而提示给用户。并且，注释附加部122通过由输入设备132接受对于提示的第一数据及第二数据彼此是否类似的来自用户的判断结果的输入，从终端13接收该输入从而取得该输入。
换言之，注释附加部122在将事件数据和非事件数据存储至学习数据存储部123时，(a)将事件数据作为阳性数据存储，(b)在受理的判断结果示出第一数据与第二数据类似的情况下，将非事件数据作为阳性数据存储，(c)在受理的判断结果示出第一数据不与第二数据类似的情况下，将非事件数据作为阴性数据存储。
此外，第一数据及第二数据的类似与否判断也可以通过由计算机进行的图像识别处理进行。该图像识别处理可以包含对呈现于第一数据及第二数据示出的图像的移动物体的数量、位置关系及光流中的1个以上进行识别的处理。
另外，在提示第二数据时，可以从取得的多个非事件数据中，基于图像识别处理预先选择上述一个非事件数据，提示选择的一个非事件数据。在该图像识别处理中，在对呈现于第一数据及第二数据示出的图像的移动物体的数量、位置关系及光流中的1个以上进行了识别的基础上，例如，选择与要进行选择的一个非事件数据一起通过终端13提示给用户的第一数据类似的第二数据。
此外，规定时间可以基于从车辆的驾驶员识别出危险到采取该车辆的制动措施为止的时间即反应时间确定。另外，规定时间可以进一步基于执行危险预测的处理的危险预测装置的处理时间确定。
此外，第一数据可以是运动图像数据。
学习数据存储部123是RAM或硬盘等用于存储数据的存储介质。在学习数据存储部123存储附加了注释的静止图像数据或运动图像数据，换言之，存储阳性数据及阴性数据作为学习数据。
学习部127使用学习数据进行危险预测的学习。即，学习部127通过对存储于学习数据存储部123的学习数据的中的阳性数据及阴性数据的特征进行学习，从而构筑识别模型。具体地说，学习部127根据阳性数据学习将来会发生事件的图像的特征，另外根据阴性数据学习之后不会发生事件的图像的特征，从而构筑识别模型。学习部127将构筑出的识别模型存储至模型存储部128。构筑出的识别模型是如果将静止图像数据或运动图像数据作为输入数据输入，则输出针对拍到该静止图像数据或该运动图像数据的时刻之后的事件的发生的预测信息的识别模型。识别信息可以是以2值表示事件是否会发生的信息，也可以是以0～100的任一个表示事件发生的程度或概率的信息。
通过学习部127进行的学习是深度学习(神经网络)、随机森林、或遗传编程等机器学习。另外，能够在图像中的物体的识别及分割中使用图割等。或者，使用通过随机森林或遗传编程制作出的识别器等。另外，由学习部127构筑的识别模型可以是神经网络模型。
模型存储部128是RAM或硬盘等用于存储数据的存储介质。在该模型存储部128存储通过学习部127构筑出的识别模型。存储于模型存储部128的识别模型经由控制部129提供给车载设备110。
控制部129是对服务器12内的各功能的动作进行控制的控制装置。另外，控制部129具有进行与终端13及车辆11的通信的通信接口。控制部129对注释附加部122与终端13之间的静止图像数据或运动图像数据和表示类似与否判断的结果的信息进行发送接收。控制部129将存储于模型存储部128的识别模型提供给车辆11(更具体地说是车载设备110)。
下面，对静止图像数据或运动图像数据的生成及分类、向静止图像数据或运动图像数据的注释的附加进行详细说明。
图3是表示存储于本实施方式中的图像数据储存部121的图像的第一个例子的说明图。图3的(a)及(b)是示出了从上空观察时车辆A、B及人H的位置关系的图。图3的(c)及(d)分别是，在车辆A等处于图3的(a)及(b)的位置关系时车辆A的车载传感器对车辆A的前方进行拍摄所得的图像的一个例子。
在图3的(a)中，在正在行驶的自身车辆即车辆A的前方停有其他车辆即车辆B。另外，在车辆B的前方，人H正要从左向右横穿道路。在该状态下，车辆A的驾驶员未察觉到人H的存在，考虑着不减速而通过车辆B的右方。
图3的(b)示出了从图3的(a)的状态经过了数秒左右之后的状态。是在车辆A正要通过车辆B的右侧时，车辆A的驾驶员察觉到人H的存在，采取了急刹车的状态。
图3的(c)是在图3的(a)的状态下车辆A的车载传感器对前方进行拍摄所得的图像的一个例子。在该图像中，显现了车辆B，另外显现了些许人H的头部。
图3的(d)是在图3的(b)的状态下车辆A的车载传感器对前方进行拍摄所得的图像的一个例子。在该图像中，大幅显现了车辆B，另外大幅显现了人H的全身。
此时，车辆A的车载传感器正在取得包含图3的(c)及(d)的规定时间的静止图像数据或运动图像数据。另外，通过车辆A的加速度传感器等检测出车辆A采取了急刹车，基于此将该静止图像数据或运动图像数据作为事件数据处理。因此，车辆A将该静止图像数据或运动图像数据作为事件数据发送至服务器12。
图4是表示存储于本实施方式中的图像数据储存部121的图像的第二个例子的说明图。图4的(a)～(d)分别示出与图3中相同的位置关系及图像。
图4的(a)示出与图3的(a)相同的位置关系。在该状态下，车辆A的驾驶员察觉到人H的存在，考虑着减速而通过车辆B的右方，或者按照需要进行停车。
图4的(b)示出从图4的(a)的状态经过了数秒左右之后的状态。是车辆A的驾驶员安稳地采取制动的状态。
图4的(c)示出与图3的(c)相同的图像。
图4的(d)是在图4的(b)的状态下车辆A的车载传感器对前方进行拍摄所得的图像的一个例子。在该图像中，显现出车辆B，另外显现出人H的全身。但是，显现于图4的(d)的人H的在图像中的尺寸小于显现于图3的(d)的人H的在图像中的尺寸。因为图4的(b)及(d)这一方从车辆A到人H为止的距离大。
此时，车辆A的车载传感器正在取得包含图4的(c)及(d)的规定时间的静止图像数据或运动图像数据。另外，未通过车辆A的加速度传感器等检测到车辆A采取了急刹车，因此将该静止图像数据或运动图像数据作为非事件数据处理。因此，车辆A将该静止图像数据或运动图像数据作为非事件数据发送至服务器12。
服务器12根据如上所述地得到的事件数据及非事件数据制作学习数据。通常，在根据事件数据及非事件数据制作学习数据时，制作将事件数据作为阳性数据、将非事件数据作为阴性数据的学习数据。
但是，对于基于单纯地将事件数据设为阳性数据、将非事件数据设为阴性数据而制作出的学习数据的学习，有时构筑不出适当的识别模型。下面对该情况进行说明。
例如，在图3所示的事件数据中，图3的(c)的图像示出了下述状况，即，因为在之后进行了急刹车，因此预测事件发生。因此，图3的(c)的图像在基于学习数据而制作的识别模型中，需要被识别为预测事件发生的图像。另一方面，图4的(c)的图像示出了下述状况，即，因为在之后未进行急刹车，因此不预测事件发生。因此，图4的(c)的图像在识别模型中，需要被识别为不预测事件发生的图像。
但是，图3的(c)的图像与图4的(c)的图像是相同的图像。将图3的(c)的图像作为预测事件发生的图像进行学习，同时将图4的(c)的图像作为不预测事件发生的图像进行学习，会针对相同的图像进行相反的内容的学习，构筑不出适当的识别模型。
因此，本实施方式的注释附加部122，即使是非事件数据，也在该图像与事件数据类似时，将其分类为阳性数据。由此，能够避免如上所述的构筑不出适当的识别模型的事例。
图5是由本实施方式中的注释附加部122进行的注释的附加的第一说明图。图6是在由本实施方式中的注释附加部122进行注释的附加时提示的图像的第一说明图。
如图5所示，注释附加部122取得作为存储于图像数据储存部121的多个事件数据中的1个的事件数据41。另外，注释附加部122取得作为存储于图像数据储存部121的多个非事件数据中的1个的非事件数据42。
并且，注释附加部122经由控制部129将事件数据41和非事件数据42发送至终端13，显示于显示装置131(参照图6)。并且，显示按键的图像51及52，该按键受理来自用户的对事件数据41与非事件数据42的类似与否的判断结果。另外，此时，显示装置131可以显示包含向用户询问显示的2个图像是否类似的字符串的图像53。如果基于用户的类比判断进行了对按键的图像51或52的操作，则注释附加部122经由控制部129受理该操作数据。按键的图像51被操作的情况下的操作数据是“类似”，按键的图像52被操作的情况下的操作数据是“非类似”。
对操作数据是“非类似”的情况继续进行说明。
在操作数据是“非类似”的情况下，注释附加部122为非事件数据42附加阴性数据的注释而存储至学习数据存储部123。换言之，注释附加部122将非事件数据42作为阴性数据44存储至学习数据存储部123。另外，注释附加部122为事件数据41附加阳性数据的注释而存储至学习数据存储部123。换言之，注释附加部122将事件数据41作为阳性数据43存储至学习数据存储部123。
接下来，对操作数据是“类似”的情况进行说明。
图7是由本实施方式中的注释附加部122进行的注释的附加的第二说明图。
如图7所示，在操作数据是“类似”的情况下，注释附加部122为非事件数据62附加阳性数据的注释而存储至学习数据存储部123。换言之，注释附加部122将非事件数据62作为阳性数据64存储至学习数据存储部123。对于事件数据61，与上述的“类似”的情况同样地附加阳性数据的注释而存储至学习数据存储部123。
这样，图3所示的事件数据，及图4所示的非事件数据一起作为阳性数据存储至学习数据存储部123。并且，将这些数据一起作为预测事件发生的图像适当地进行学习。
此外，上面示出了下述例子，即，注释附加部122基于对事件数据41或61、非事件数据42或62的1次类比判断，将非事件数据42或62决定为阴性数据和阳性数据中的某一个。但是，注释附加部122也可以综合地考虑由不同的多个用户进行的类比判断而决定为阴性数据和阳性数据中的某一个。例如，可以在多个用户中的规定(70％～80％左右等)以上的用户判断为类似的情况下，将类似与否判断的结果设为类似，否则将类似与否判断的结果设为非类似。
另外，将多个事件数据中的哪一个事件数据和多个非事件数据中的哪一个非事件数据提示给用户也是任意的。
此外，注释附加部122可以为事件数据附加阴性数据的注释。这是在事件数据实际上未显现出事件的情况下进行的处理。下面对该处理进行说明。
图8是由本实施方式中的注释附加部122进行的注释的附加的第三说明图。图9是在由本实施方式中的注释附加部122进行注释的附加时提示的图像的第二说明图。
如图8所示，注释附加部122取得作为存储于图像数据储存部121的多个事件数据中的1个的事件数据71。
并且，注释附加部122经由控制部129将事件数据71发送至终端13，显示于显示装置131(参照图9)。并且，显示受理来自用户的事件数据71实际上是否显现出事件的判断结果的按键的图像81及82。另外，此时，显示装置131可以显示包含向用户询问所显示的事件数据71实际上是否显现出事件的字符串的图像83。如果用户基于判断进行对按键的图像81或82的操作，则注释附加部122经由控制部129受理该操作数据。
在用户的判断的结果示出事件数据71实际上未显现出事件的情况下，注释附加部122为事件数据71附加阴性数据的注释而存储至学习数据存储部123。换言之，注释附加部122将事件数据71作为阴性数据73存储至学习数据存储部123。
另一方面，在用户的判断的结果示出事件数据71实际上显现出事件的情况下，注释附加部122与图5的事件数据41同样地附加阳性数据的注释而存储至学习数据存储部123。
这样，使用存储于学习数据存储部123的学习数据由学习部127进行学习，将作为其结果生成的识别模型存储至模型存储部128。
接下来，对进行危险预测的车载设备110及搭载了车载设备110的车辆11进行说明。
图10是表示车辆11的功能结构的框图。
如图10所示，车辆11具有车载设备110和车辆驱动机构115。
车载设备110具有摄像机111、识别器112、提示装置113、车辆控制装置114。
摄像机111以对车辆11的周围进行拍摄的方式搭载于车辆11。具体地说，摄像机111以能够对车辆11的前方进行拍摄的位置及朝向搭载于车辆11。摄像机111在对车辆11的前方进行了拍摄时，将通过该拍摄生成的图像即拍摄图像输出至识别器112。
识别器112经由网络N从服务器12取得识别模型而进行保存。在这里，识别器112取得的识别模型是基于车辆拍摄的图像对在该图像被拍摄后可能产生的事件的发生进行预测的识别模型。另外，识别器112取得通过由搭载于车辆11的摄像机111进行的对车辆11的前方的拍摄而生成的图像即拍摄图像。并且，识别器112通过将该拍摄图像作为输入数据输入至识别模型，从而检测在拍摄图像被拍摄后是否会发生事件，生成预测信息。预测信息是表示在当前时刻之后是否会发生事件的信息。并且，识别器112将生成的预测信息输出至提示装置113和车辆控制装置114。预测信息例如是通过文字或图表示此后可能会发生事件的图像或声音等。
提示装置113是提示信息的提示装置，例如是液晶显示器或有机EL显示器等显示装置，或包含扬声器等声音输出装置。在这里，将提示装置113是显示装置的情况作为例子进行说明。
如果提示装置113从识别器112取得了预测信息，则将该预测信息作为图像显示，提示给车辆11的驾驶员。
车辆控制装置114是对车辆11的驱动，特别是对车辆11的加速及减速进行控制的控制装置。如果车辆控制装置114从识别器112取得了预测信息，则车辆控制装置114基于该预测信息，例如进行使车辆11减速的控制。车辆11的驱动的控制由车辆驱动机构115进行。
车辆驱动机构115是对车辆11的驱动进行控制的控制装置。车辆驱动机构115在来自车辆控制装置114的控制下进行车辆11的驱动，具体地说，进行加减速及操控方向等控制。
对如上所述地构成的危险预测系统1执行的处理进行说明。
图11是表示本实施方式中的静止图像数据或运动图像数据的分类处理的流程图。例如每隔规定时间(例如20秒)由车载设备进行该处理。
如图11所示在步骤S101中，车载设备通过车载传感器取得静止图像数据或运动图像数据。静止图像数据或运动图像数据例如是具有规定时间的时长的运动图像数据。在这里，车载设备不限定于搭载了进行危险预测的识别器112的车辆11的车载设备110。另外，此时，车载设备还可以取得搭载有该车载设备的车辆的加速度数据等。
在步骤S102中，车载设备判定是否将取得的静止图像数据或运动图像数据作为事件数据。该判定可以由将静止图像数据或运动图像数据自身作为对象的图像识别处理进行，也可以通过基于取得静止图像数据或运动图像数据时的车辆的加速度数据对急刹车或急转向进行检测而进行。在将取得的静止图像数据或运动图像数据判定为事件数据的情况下，前进至步骤S103，否则前进至步骤S111。
在步骤S103中，车载设备将在步骤S101中取得的静止图像数据或运动图像数据作为事件数据发送至服务器12。服务器12将接收到的静止图像数据或运动图像数据作为事件数据存储至图像数据储存部121。
在步骤S111中，车载设备将在步骤S101中取得的静止图像数据或运动图像数据作为非事件数据发送至服务器12。服务器12将接收到的静止图像数据或运动图像数据作为非事件数据存储至图像数据储存部121。
图12是表示本实施方式中的学习数据的生成处理的流程图。
如图12所示在步骤S201中，注释附加部122从图像数据储存部121取得事件数据和非事件数据。
在步骤S202中，注释附加部122将在步骤S201中取得的事件数据所包含的在事件的规定时间前的静止图像数据或运动图像数据发送至终端13，通过显示装置131进行显示。也将上述静止图像数据或上述运动图像数据称作第一数据。
在步骤S203中，注释附加部122将在步骤S201中取得的非事件数据发送至终端13，通过显示装置131进行显示。也将上述非事件数据称作第二数据。
在步骤S204中，注释附加部122通过终端13取得对于第一数据是否与第二数据类似的来自用户的判断结果。
在步骤S205中，对在步骤S204中取得的类比判断的结果是否示出类似进行判定。在示出类似的情况下(在步骤S205中“是”)前进至步骤S206，否则(在步骤S205中“否”)前进至步骤S211。
在步骤S206中，注释附加部122为非事件数据附加阳性数据的注释而存储至学习数据存储部123。
在步骤S207中，注释附加部122为事件数据附加阳性数据的注释而存储至学习数据存储部123。
在步骤S211中，注释附加部122为非事件数据附加阴性数据的注释而存储至学习数据存储部123。如果步骤S211结束，则该一系列的处理结束。
此外，步骤S202及S203的执行的顺序也可以相反，也可以同时并行地进行。
图13是表示本实施方式中的车载设备110进行的危险预测方法所涉及的处理的流程图。
如图13所示在步骤S301中，车载设备110的摄像机111通过拍摄生成拍摄图像。
在步骤S302中，识别器112将在步骤S301中摄像机111生成的拍摄图像作为输入数据输入至识别模型。
在步骤S303中，识别器112得到通过在步骤S302中将拍摄图像输入至识别模型而输出的信息。从识别模型输出的信息包含预测信息，该预测信息表示在步骤S302中输入至识别模型的拍摄图像之后是否会发生事件。识别器112通过得到从识别模型输出的信息，从而得到表示拍摄图像之后是否会发生事件的预测信息。
在步骤S304中，车载设备110使用在步骤S303中得到的预测信息，进行包含预测信息的图像的提示，或进行车辆11的控制。
这样，对于危险预测系统1，能够使用通过由服务器12进行的机器学习生成的关于危险预测的识别模型，通过车载设备110，更高精度地检测关于车辆11的行驶的危险预测。
如上所述，根据本实施方式的危险预测方法，将非事件数据中的与事件数据类似的数据作为阳性数据用于学习。在现有技术中，将非事件数据一律作为阴性数据用于学习，因此将非事件数据中的与事件数据类似的数据作为阴性数据用于学习。在该情况下，如果将彼此类似的事件数据和非事件数据的一个作为阳性数据，另一个作为阴性数据进行学习，则有时通过学习生成的识别模型变得不适当。因此，在事件数据与非事件数据类似时，通过将其双方作为阳性数据进行学习，从而避免识别模型变得不适当，得到适当的识别模型。根据本发明的一个方式涉及的学习数据制作方法，能够通过基于这样制作的学习数据的学习，适当地预测将来发生的事故或未遂事故等危险现象。
另外，能够通过使用反应时间作为规定时间，从而更容易地适当地预测将来发生的事故或未遂事故等危险现象。
另外，能够通过使用反应时间和危险预测装置的处理时间作为规定时间，从而更容易地适当地预测将来发生的事故或未遂事故等危险现象。
另外，能够通过使用运动图像数据作为事件数据及非事件数据而制作学习数据，从而更准确地对事件数据的特征及非事件数据的特征进行学习。由此，能够适当地预测将来发生的事故或未遂事故等危险现象。
另外，能够通过使用运动图像数据作为第一数据，从而更准确地进行作为非事件数据的第二数据的类比判断。由此，能够适当地预测将来发生的事故或未遂事故等危险现象。
另外，将被判断为实际上未显现出事件的事件数据作为阴性数据进行学习。由此，能够使识别模型更加适当，其结果，能够适当地预测将来发生的事故或未遂事故等危险现象。
另外，通过图像识别处理自动地进行第一图像与第二图像的类比判断。由此，能够不经过人手而按照一定的基准进行类比判断。由此，能够适当地预测将来发生的事故或未遂事故等危险现象。
另外，作为图像识别处理，能够通过对移动物体的数量、位置关系或光流进行识别，从而基于更具体的识别处理，适当地预测将来发生的事故或未遂事故等危险现象。
另外，能够通过下述方法从而更容易地适当地预测将来发生的事故或未遂事故等危险现象，该方法是指通过对由车载传感器取得的图像进行分类从而取得事件数据及非事件数据。
另外，能够基于其他物体向车辆的冲撞，或基于其他物体的快速接近，分类事件数据。这样，能够更容易地将通过车载传感器取得的静止图像数据或运动图像数据分类为事件数据，其结果，适当地预测将来发生的事故或未遂事故等危险现象。
另外，能够基于车辆的急刹车或急转向对事件数据进行分类。这样，能够更容易地将通过车载传感器取得的静止图像数据或运动图像数据分类为事件数据，其结果，适当地预测将来发生的事故或未遂事故等危险现象。
另外，在通过车辆间通信接收到危险信号的情况下将图像分类为非事件数据。即使在车辆进行了急刹车或急转向的情况下，有时在通过车辆间通信接收到危险信号的情况下，从静止图像数据或运动图像数据中也得不到关于危险预测的信息，因此将该静止图像数据或该运动图像数据从学习的对象中去除。
另外，在采取了车辆的急刹车的情况下，将包含于广角的静止图像数据或运动图像数据的包含车辆的前进方向的静止图像数据或运动图像数据分类为事件数据。在进行急刹车的情况下，车辆的前进方向有可能存在某些物体等。因此，能够通过将该物体的方向作为事件数据进行学习，从而适当地对危险现象进行学习、预测。
另外，将包含于广角的静止图像数据或运动图像数据的包含与进行急转向的方向相反的方向的静止图像数据或运动图像数据分类为事件数据。在进行急转向的情况下，在与该方向相反的方向上有可能存在某些物体等。因此，能够通过将该物体的方向作为事件数据进行学习，从而适当地对危险现象进行学习、预测。
另外，可以与根据车辆的速度而变化的驾驶员的视野的广度对应地对作为事件数据的图像的水平方向的宽度进行调整。因此，能够将基于车辆的驾驶员的视野的广度的变化而变化广度的静止图像数据或运动图像数据作为事件数据，适当地对危险现象进行学习、预测。
另外，可以与根据车辆的速度而变化的驾驶员的视野的广度对应地对作为事件数据的图像的水平方向的宽度进行调整。这是因为，通常，在车辆的速度快的情况下，该车辆的驾驶员的视野变窄，因此事件包含于该变窄的视野中。因此，能够考虑到车辆的速度越快车辆的驾驶员的视野的广度越窄，将水平方向的宽度会变化的静止图像数据或运动图像数据作为事件数据，适当地对危险现象进行学习、预测。
(实施方式的变形例)
在本变形例中，对实施方式1的危险预测系统1等的一部分或全部的变形例进行说明。但是，危险预测系统1等不限定于下面的说明。
图14是表示本变形例涉及的危险预测学习方法的流程图。
如图14所示，用于由本变形例涉及的危险预测装置进行的危险预测的学习方法，取得通过上述的学习数据制作方法制作的学习数据(S401)，基于取得的学习数据，通过对学习数据所包含的阳性数据及阴性数据的特征进行学习，从而构筑识别模型(S402)。
图15是表示本变形例涉及的学习装置200的框图。
如图15所示，用于由本变形例涉及的危险预测装置进行的危险预测的学习装置200具有：学习数据取得部201，取得通过上述学习数据制作方法制作的学习数据；以及学习部202，使用取得的学习数据，通过对学习数据所包含的阳性数据及阴性数据各自的特征进行学习，从而构筑识别模型。
图16是表示本变形例涉及的危险预测方法的流程图。
如图16所示，本变形例涉及的危险预测方法取得被设置于车辆的车载传感器拍到的静止图像数据或运动图像数据(S501)，输出预测信息，该预测信息是通过将取得的静止图像数据或运动图像数据作为输入数据输入至通过上述学习方法构筑的识别模型而输出的、针对该静止图像数据或该运动图像数据被拍到的时刻之后的事件的发生的预测信息(S502)。
图17是表示本变形例涉及的危险预测装置300的框图。
如图17所示，本变形例涉及的危险预测装置300具有：拍摄图像取得部301，取得通过设置于车辆的车载传感器拍摄到的静止图像数据或运动图像数据；识别器302，输出预测信息，该预测信息是通过将取得的静止图像数据或运动图像数据作为输入数据输入至通过上述的学习装置200构筑的识别模型而输出的、针对该静止图像数据或该运动图像数据被拍到的时刻之后的事件的发生的预测信息。
此外，在上述实施方式中，各结构要素可以由专用的硬件构成，也可以通过执行适用于各结构要素的软件程序实现。各结构要素可以通过由CPU或处理器等程序执行部读取而执行存储于硬盘或半导体存储器等存储介质的软件程序而实现。在这里，实现上述实施方式的危险预测装置等的软件是下述程序。
即，该程序用于使计算机执行学习数据制作方法，该学习数据制作方法用于通过计算机制作包含阳性数据和阴性数据的用于危险预测的学习数据，该学习数据制作方法取得多个静止图像数据或运动图像数据以作为分别显现出作为事故或未遂事故的事件的多个事件数据，及分别未显现出所述事件的多个非事件数据，提示第一数据，所述第一数据是取得的所述多个事件数据中的一个事件数据所包含的静止图像数据或运动图像数据，是在事件的规定时间前的静止图像数据或运动图像数据，将取得的所述多个非事件数据中的一个非事件数据作为第二数据提示，受理对于所述第一数据与所述第二数据是否类似的判断结果，通过将所述事件数据和所述非事件数据存储至存储装置从而制作所述学习数据，在所述存储时，(a)将所述事件数据作为所述阳性数据存储，(b)在受理的所述判断结果示出所述第一数据与所述第二数据类似的情况下，将所述非事件数据作为所述阳性数据存储，(c)在受理的所述判断结果示出所述第一数据不与所述第二数据类似的情况下，将所述非事件数据作为所述阴性数据存储。
另外，该程序使计算机执行下述学习方法，该学习方法是用于由危险预测装置进行的危险预测的学习方法，取得通过上述的学习数据制作方法制作的学习数据，基于取得的所述学习数据，通过对所述学习数据所包含的所述阳性数据及所述阴性数据的特征进行学习，从而构筑识别模型。
另外，该程序使计算机执行下述危险预测方法，即，取得通过设置于车辆的车载传感器拍到的静止图像数据或运动图像数据，输出预测信息，该预测信息是通过将取得的所述静止图像数据或所述运动图像数据作为输入数据输入至通过上述的学习方法构筑的所述识别模型而输出的、针对该静止图像数据或该运动图像数据被拍到的时刻之后的事件的发生的预测信息。
上面，基于实施方式对一个或多个方式涉及的学习数据制作方法等进行了说明，但本发明不限定于该实施方式。只要不脱离本发明的主旨，则将本领域技术人员想到的各种变形实施于本实施方式的形态、对不同的实施方式中的结构要素进行组合而构筑的形态也可以包含于一个或多个方式的范围内。
工业上的可利用性
本发明能够利用于制作用于适当地预测将来发生的事故或未遂事故等危险现象的学习数据的学习数据制作方法。更具体地说，能够利用于在自动驾驶车辆中搭载的控制装置等。
标号的说明
1 危险预测系统
11、A、B 车辆
12 服务器
13 终端
41、61、71 事件数据
42、62 非事件数据
43、63、64 阳性数据
44、73 阴性数据
51、52、53、81、82、83 图像
110 车载设备
111 摄像机
112、302 识别器
113 提示装置
114 车辆控制装置
115 车辆驱动机构
120、201 学习数据取得部
121 图像数据储存部
122 注释附加部
123 学习数据存储部
127、202 学习部
128 模型存储部
129 控制部
131 显示装置
132 输入设备
200 学习装置
300 危险预测装置
301 拍摄图像取得部
H 人
N 网络

Claims (24)

1.一种学习数据制作方法，用于通过计算机制作包含阳性数据和阴性数据的用于危险预测的学习数据，包括：
取得多个静止图像数据或运动图像数据以作为分别显现出作为事故或未遂事故的事件的多个事件数据，及分别未显现出所述事件的多个非事件数据；
提示第一数据，该第一数据是取得的所述多个事件数据中的一个事件数据所包含的静止图像数据或运动图像数据，是在事件的规定时间前的静止图像数据或运动图像数据；
将取得的所述多个非事件数据中的一个非事件数据作为第二数据提示；
受理对于所述第一数据与所述第二数据是否类似的判断结果；以及
通过将所述事件数据和所述非事件数据存储至存储装置从而制作所述学习数据；
在所述存储时，
(a)将所述事件数据作为所述阳性数据存储；
(b)在受理的所述判断结果示出所述第一数据与所述第二数据类似的情况下，将所述非事件数据作为所述阳性数据存储；
(c)在受理的所述判断结果示出所述第一数据与所述第二数据不类似的情况下，将所述非事件数据作为所述阴性数据存储。
2.如权利要求1所述的学习数据制作方法，其中，
所述规定时间基于从车辆的驾驶员识别出危险到采取所述车辆的制动措施为止的时间即反应时间确定。
3.如权利要求2所述的学习数据制作方法，其中，
所述规定时间进一步基于执行所述危险预测的处理的危险预测装置的处理时间确定。
4.如权利要求1～3中任一项所述的学习数据制作方法，其中，
所述多个事件数据的每一个是运动图像数据，
所述多个非事件数据的每一个是运动图像数据。
5.如权利要求1所述的学习数据制作方法，其中，
所述第一数据是运动图像数据。
6.如权利要求1所述的学习数据制作方法，其中，
在所述受理时，进一步受理对于所述事件数据是否实际上显现出事件的判断结果，
在所述存储时，在受理的所述判断结果示出所述事件数据实际上未显现出事件的情况下，将所述事件数据作为所述阴性数据存储。
7.如权利要求1所述的学习数据制作方法，其中，
在所述受理时，受理关于所述第一数据与所述第二数据是否类似的基于图像识别处理的判断结果。
8.如权利要求7所述的学习数据制作方法，其中，
所述图像识别处理包含对显现于所述第一数据及所述第二数据所示的图像的移动物体的数量、位置关系及光流中的1个以上进行识别的处理。
9.如权利要求1所述的学习数据制作方法，其中，
所述学习数据制作方法还包括：
通过将由车辆具有的车载传感器通过拍摄生成的多个静止图像数据或运动图像数据的每一个分类为事件数据或非事件数据，从而取得所述多个事件数据及所述多个非事件数据，
在所述分类中，在所述一个静止图像数据或运动图像数据被所述车载传感器拍摄到时，在通过图像识别处理识别出其他物体冲撞了所述车辆，或其他物体快速接近的情况下，将所述一个静止图像数据或运动图像数据分类为事件数据。
10.如权利要求9所述的学习数据制作方法，其中，
在所述分类中，在所述一个静止图像数据或运动图像数据被所述车载传感器拍摄到时，在根据所述车辆的加速度数据判定出所述车辆进行了急刹车或急转向的情况下，将所述一个静止图像数据或运动图像数据分类为事件数据。
11.如权利要求9所述的学习数据制作方法，其中，
在所述分类中，即使在判定出所述车辆进行了急刹车或急转向的情况下，在所述车辆通过车辆间通信接收到危险信号时，也将所述一个静止图像数据或运动图像数据分类为非事件数据。
12.如权利要求9所述的学习数据制作方法，其中，
所述一个静止图像数据或运动图像数据是包含所述车辆的前方的广角的静止图像数据或运动图像数据，
在所述分类中，在作为所述一个静止图像数据或运动图像数据的广角的静止图像数据或运动图像数据被所述车载传感器拍摄到时，在根据所述车辆的加速度数据判定出所述车辆进行了急刹车的情况下，将所述广角的静止图像数据或运动图像数据中的包含所述车辆的前方的静止图像数据或运动图像数据分类为事件数据。
13.如权利要求9所述的学习数据制作方法，其中，
所述一个静止图像数据或运动图像数据是包含所述车辆的前方的广角的静止图像数据或运动图像数据，
在所述分类中，在作为所述一个静止图像数据或运动图像数据的广角的静止图像数据或运动图像数据被所述车载传感器拍摄到时，在根据所述车辆的加速度数据判定出进行了向所述车辆的左右的一方的急转向的情况下，将所述广角的静止图像数据或运动图像数据中的包含与所述车辆的左右的所述一方不同的另一方的静止图像数据或运动图像数据分类为事件数据。
14.如权利要求12所述的学习数据制作方法，其中，
在所述分类中，所述广角的静止图像数据或运动图像数据中的、分类为所述事件数据的静止图像数据或运动图像数据的水平方向的尺寸，基于拍摄到所述一个图像时的所述车辆的速度来决定。
15.如权利要求12所述的学习数据制作方法，其中，
在所述分类中，所述广角的静止图像数据或运动图像数据中的、分类为所述事件数据的静止图像数据或运动图像数据的水平方向的尺寸为，拍摄到所述一个图像时的所述车辆的速度越大则该尺寸越小。
16.如权利要求1所述的学习数据制作方法，其中，
在提示所述第二数据时，从取得的所述多个非事件数据中，基于图像识别处理预先选择所述一个非事件数据，提示选择的所述一个非事件数据。
17.一种学习方法，用于由危险预测装置进行的危险预测，包括：
取得通过权利要求1～16中任一项所述的学习数据制作方法制作的学习数据；以及
基于取得的所述学习数据，通过对所述学习数据所包含的所述阳性数据及所述阴性数据的特征进行学习，从而构筑识别模型。
18.一种危险预测方法，包括：
取得被设置于车辆的车载传感器拍到的静止图像数据或运动图像数据；以及
输出预测信息，该预测信息是通过将取得的所述静止图像数据或所述运动图像数据作为输入数据输入至通过权利要求17所述的学习方法构筑的所述识别模型而输出的、针对该静止图像数据或该运动图像数据被拍到的时刻之后的事件的发生的预测信息。
19.一种学习数据制作装置，用于通过计算机制作包含阳性数据和阴性数据的用于危险预测的学习数据，
所述学习数据制作装置具有：
学习数据取得部，取得多个静止图像数据或运动图像数据以作为分别显现出作为事故或未遂事故的事件的多个事件数据，及分别未显现出所述事件的多个非事件数据；以及
注释附加部，提示第一数据，该第一数据是取得的所述多个事件数据中的一个事件数据所包含的静止图像数据或运动图像数据，是在事件的规定时间前的静止图像数据或运动图像数据，将取得的所述多个非事件数据中的一个非事件数据作为第二数据提示，受理对于所述第一数据与所述第二数据是否类似的判断结果，通过将所述第一数据和所述第二数据存储至存储装置从而制作所述学习数据，
所述注释附加部在所述存储时，
(a)将所述事件数据作为所述阳性数据存储；
(b)在受理的所述判断结果示出所述第一数据与所述第二数据类似的情况下，将所述非事件数据作为所述阳性数据存储；
(c)在受理的所述判断结果示出所述第一数据与所述第二数据不类似的情况下，将所述非事件数据作为所述阴性数据存储。
20.一种学习装置，用于由危险预测装置进行的危险预测，具有：
学习数据取得部，取得通过权利要求19所述的学习数据制作装置制作的学习数据；以及
学习部，通过使用取得的所述学习数据对所述学习数据所包含的所述阳性数据及所述阴性数据各自的特征进行学习，从而构筑识别模型。
21.一种危险预测装置，具有：
拍摄图像取得部，取得通过设置于车辆的车载传感器拍摄到的静止图像数据或运动图像数据；以及
识别器，输出预测信息，该预测信息是通过将取得的所述静止图像数据或所述运动图像数据作为输入数据输入至通过权利要求20所述的学习装置构筑的所述识别模型而输出的、针对该静止图像数据或该运动图像数据被拍到的时刻之后的事件的发生的预测信息。
22.一种程序存储介质，存储有程序，
所述程序用于使计算机执行权利要求1～16中任一项所述的学习数据制作方法。
23.一种程序存储介质，存储有程序，
所述程序用于使计算机执行权利要求17所述的学习方法。
24.一种程序存储介质，存储有程序，
所述程序用于使计算机执行权利要求18所述的危险预测方法。
CN201910242430.7A 2018-03-30 2019-03-28 学习数据制作方法、学习方法、危险预测方法及装置、程序存储介质 Active CN110321916B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-067882 2018-03-30
JP2018067882A JP2019179372A (ja) 2018-03-30 2018-03-30 学習データ作成方法、学習方法、危険予測方法、学習データ作成装置、学習装置、危険予測装置、及び、プログラム

Publications (2)

Publication Number Publication Date
CN110321916A true CN110321916A (zh) 2019-10-11
CN110321916B CN110321916B (zh) 2024-04-09

Family

ID=68056389

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910242430.7A Active CN110321916B (zh) 2018-03-30 2019-03-28 学习数据制作方法、学习方法、危险预测方法及装置、程序存储介质

Country Status (3)

Country Link
US (1) US10817751B2 (zh)
JP (1) JP2019179372A (zh)
CN (1) CN110321916B (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018214674A1 (de) * 2018-06-29 2020-01-02 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zur Unfallfrüherkennung
US10940870B1 (en) * 2018-11-28 2021-03-09 BlueOwl, LLC Systems and methods for visualizing predicted driving risk
US10999374B2 (en) 2019-04-26 2021-05-04 Samsara Inc. Event detection system
US11787413B2 (en) 2019-04-26 2023-10-17 Samsara Inc. Baseline event detection system
US11494921B2 (en) 2019-04-26 2022-11-08 Samsara Networks Inc. Machine-learned model based event detection
US11080568B2 (en) 2019-04-26 2021-08-03 Samsara Inc. Object-model based event detection system
US12056922B2 (en) 2019-04-26 2024-08-06 Samsara Inc. Event notification system
US12086511B2 (en) * 2019-12-02 2024-09-10 Nuro, Inc. Collision filtering for autonomous vehicle simulations
KR102387127B1 (ko) * 2020-02-28 2022-04-14 한남대학교 산학협력단 인공지능 기반의 자동차 충격원 예측 시스템
US11675042B1 (en) 2020-03-18 2023-06-13 Samsara Inc. Systems and methods of remote object tracking
US20230133873A1 (en) * 2020-03-31 2023-05-04 Nec Corporation Remote monitoring system, remote monitoring apparatus, and method
US11341786B1 (en) 2020-11-13 2022-05-24 Samsara Inc. Dynamic delivery of vehicle event data
JP7548847B2 (ja) 2021-02-25 2024-09-10 株式会社Subaru 運転支援装置
JP7254988B1 (ja) 2022-03-11 2023-04-10 ソフトバンク株式会社 運行管理システム、運行管理装置、運行管理装置の制御方法、及び運行管理装置の制御プログラム

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101772786A (zh) * 2007-07-30 2010-07-07 精工爱普生株式会社 行驶记录器、行驶记录器系统、行驶记录器的控制方法及程序
CN103353893A (zh) * 2013-07-18 2013-10-16 国家电网公司 调度自动化系统分布式数据采集故障智能诊断方法
CN103975334A (zh) * 2011-12-13 2014-08-06 国际商业机器公司 认证方法、认证系统和认证程序
CN104657430A (zh) * 2015-01-28 2015-05-27 武汉烽火众智数字技术有限责任公司 一种数据采集的方法和系统
JP2015161552A (ja) * 2014-02-26 2015-09-07 ジオ・サーチ株式会社 岸壁又は堤防の空洞探査方法及び危険性評価方法
CN104951512A (zh) * 2015-05-27 2015-09-30 中国科学院信息工程研究所 一种基于互联网的舆情数据采集方法及系统
CN105261148A (zh) * 2015-10-14 2016-01-20 广州医科大学 一种基于天网监控系统的踩踏事件预警疏散方法
CN105635685A (zh) * 2015-12-31 2016-06-01 成都移动魔方科技有限公司 一种自动化数据采集传输方法
CN105681421A (zh) * 2016-01-19 2016-06-15 清华大学合肥公共安全研究院 车载真实灾害数据采集实验平台及数据采集方法
CN105741009A (zh) * 2016-01-07 2016-07-06 里法诺夫·尼尔·金 用于开发事件人工量的收集、追踪、存储和报告的动态方法
CN105934746A (zh) * 2013-09-13 2016-09-07 阿苏兰特公司 用于收集、追踪和存储用于计算设备的系统性能和事件数据的系统和方法
CN106127511A (zh) * 2016-06-12 2016-11-16 樊永正 经济大数据的数据采集方法
US20170166217A1 (en) * 2015-12-15 2017-06-15 Octo Telematics Spa Systems and methods for controlling sensor-based data acquisition and signal processing in vehicles
CN107180220A (zh) * 2016-03-11 2017-09-19 松下电器（美国）知识产权公司 危险预测方法
CN107753016A (zh) * 2017-10-24 2018-03-06 庞锦钊 一种心电数据采集器数据显示系统及方法
US20190310636A1 (en) * 2018-04-09 2019-10-10 SafeAl, Inc. Dynamically controlling sensor behavior
US20190310649A1 (en) * 2018-04-09 2019-10-10 SafeAI, Inc. System and method for a framework of robust and safe reinforcement learning application in real world autonomous vehicle application

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6045846B2 (ja) 1980-11-14 1985-10-12 理研ビタミン株式会社 Ｌ−アスコルビン酸製剤およびその製造法
JPH0785280B2 (ja) * 1992-08-04 1995-09-13 タカタ株式会社 神経回路網による衝突予測判定システム
US6438491B1 (en) * 1999-08-06 2002-08-20 Telanon, Inc. Methods and apparatus for stationary object detection
JP2007233744A (ja) * 2006-03-01 2007-09-13 Fujitsu Ten Ltd 運転支援装置
WO2011036704A1 (ja) * 2009-09-24 2011-03-31 株式会社 東芝 コンテンツ推薦装置
JP5075924B2 (ja) * 2010-01-13 2012-11-21 株式会社日立製作所 識別器学習画像生成プログラム、方法、及びシステム
US9050930B2 (en) * 2011-10-14 2015-06-09 Xerox Corporation Collision avoidance signal
JP5867273B2 (ja) * 2012-04-27 2016-02-24 富士通株式会社 接近物体検知装置、接近物体検知方法及び接近物体検知用コンピュータプログラム
JP2013250881A (ja) * 2012-06-01 2013-12-12 Nippon Telegr & Teleph Corp <Ntt> 学習画像選択方法、コンピュータプログラム及び学習画像選択装置
JP6045846B2 (ja) 2012-08-08 2016-12-14 株式会社東芝 交通事故発生予報装置、方法およびプログラム
US10031522B2 (en) * 2015-05-27 2018-07-24 Dov Moran Alerting predicted accidents between driverless cars
JP6489005B2 (ja) * 2015-12-18 2019-03-27 キヤノンマーケティングジャパン株式会社 情報処理システム、情報処理方法、プログラム
JP2017138694A (ja) 2016-02-02 2017-08-10 ソニー株式会社 映像処理装置及び映像処理方法
WO2018105122A1 (ja) * 2016-12-09 2018-06-14 富士通株式会社 教師データ候補抽出プログラム、教師データ候補抽出装置、及び教師データ候補抽出方法
US10747228B2 (en) * 2017-07-03 2020-08-18 Baidu Usa Llc Centralized scheduling system for operating autonomous driving vehicles
WO2019165451A1 (en) * 2018-02-26 2019-08-29 Nvidia Corporation Systems and methods for computer-assisted shuttles, buses, robo-taxis, ride-sharing and on-demand vehicles with situational awareness
WO2019169031A1 (en) * 2018-02-27 2019-09-06 Nauto, Inc. Method for determining driving policy
US11169536B2 (en) * 2018-04-09 2021-11-09 SafeAI, Inc. Analysis of scenarios for controlling vehicle operations
US10620317B1 (en) * 2018-12-23 2020-04-14 Chongqing Jinkang New Energy Automobile Co., Ltd. Lidar-based high definition map generation

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101772786A (zh) * 2007-07-30 2010-07-07 精工爱普生株式会社 行驶记录器、行驶记录器系统、行驶记录器的控制方法及程序
CN103975334A (zh) * 2011-12-13 2014-08-06 国际商业机器公司 认证方法、认证系统和认证程序
CN103353893A (zh) * 2013-07-18 2013-10-16 国家电网公司 调度自动化系统分布式数据采集故障智能诊断方法
CN105934746A (zh) * 2013-09-13 2016-09-07 阿苏兰特公司 用于收集、追踪和存储用于计算设备的系统性能和事件数据的系统和方法
JP2015161552A (ja) * 2014-02-26 2015-09-07 ジオ・サーチ株式会社 岸壁又は堤防の空洞探査方法及び危険性評価方法
CN104657430A (zh) * 2015-01-28 2015-05-27 武汉烽火众智数字技术有限责任公司 一种数据采集的方法和系统
CN104951512A (zh) * 2015-05-27 2015-09-30 中国科学院信息工程研究所 一种基于互联网的舆情数据采集方法及系统
CN105261148A (zh) * 2015-10-14 2016-01-20 广州医科大学 一种基于天网监控系统的踩踏事件预警疏散方法
US20170166217A1 (en) * 2015-12-15 2017-06-15 Octo Telematics Spa Systems and methods for controlling sensor-based data acquisition and signal processing in vehicles
CN105635685A (zh) * 2015-12-31 2016-06-01 成都移动魔方科技有限公司 一种自动化数据采集传输方法
CN105741009A (zh) * 2016-01-07 2016-07-06 里法诺夫·尼尔·金 用于开发事件人工量的收集、追踪、存储和报告的动态方法
CN105681421A (zh) * 2016-01-19 2016-06-15 清华大学合肥公共安全研究院 车载真实灾害数据采集实验平台及数据采集方法
CN107180220A (zh) * 2016-03-11 2017-09-19 松下电器（美国）知识产权公司 危险预测方法
CN106127511A (zh) * 2016-06-12 2016-11-16 樊永正 经济大数据的数据采集方法
CN107753016A (zh) * 2017-10-24 2018-03-06 庞锦钊 一种心电数据采集器数据显示系统及方法
US20190310636A1 (en) * 2018-04-09 2019-10-10 SafeAl, Inc. Dynamically controlling sensor behavior
US20190310649A1 (en) * 2018-04-09 2019-10-10 SafeAI, Inc. System and method for a framework of robust and safe reinforcement learning application in real world autonomous vehicle application

Also Published As

Publication number Publication date
US10817751B2 (en) 2020-10-27
JP2019179372A (ja) 2019-10-17
US20190303718A1 (en) 2019-10-03
CN110321916B (zh) 2024-04-09

Similar Documents

Publication Publication Date Title
CN110321916A (zh) 学习数据制作方法、学习方法、危险预测方法及装置、程序存储介质
KR102205240B1 (ko) 예상치 못한 임펄스 변화 충돌 검출기
CN108334081A (zh) 用于对象检测的循环深度卷积神经网络
CN107004363B (zh) 图像处理装置及车载显示系统及显示装置及图像处理方法
US11651599B2 (en) Systems and methods for identifying distracted driver behavior from video
JP7542085B2 (ja) 離脱予測とトリアージ支援のためのシステムと方法
WO2018089108A1 (en) Landmark localization on objects in images using convolutional neural networks
CN109624990A (zh) 用于基于关键帧的自主车辆操作的系统及计算机实现方法
Savino et al. Decision logic of an active braking system for powered two wheelers
CN107399327A (zh) 信息显示装置
WO2023005275A1 (zh) 交通行为识别方法及装置、电子设备和存储介质
JPWO2018138980A1 (ja) 制御システム、制御方法及びプログラム
JP7161981B2 (ja) 対象追跡手段の切り替えが可能な対象追跡プログラム、装置及び方法
US20230206652A1 (en) Systems and methods for utilizing models to detect dangerous tracks for vehicles
US20120155711A1 (en) Apparatus and method for analyzing video
US20200317119A1 (en) Autonomous vehicle active interaction with surrounding environment
CN110147731A (zh) 车辆类型识别方法及相关产品
Harkous et al. Application of hidden Markov model on car sensors for detecting drunk drivers
US20230153424A1 (en) Systems and methods for an automous security system
CN105459902B (zh) 车辆制动状态显示控制装置及其方法
Dao et al. MM-TrafficRisk: A Video-based Fleet Management Application for Traffic Risk Prediction, Prevention, and Querying
Avupati et al. Traffic Rules Violation Detection using YOLO and HAAR Cascade
CN113312955A (zh) 用于执行交叉口情景检索的系统及其方法
US11887386B1 (en) Utilizing an intelligent in-cabin media capture device in conjunction with a transportation matching system
EP4407482A1 (en) Training and operating an object detecting system for a vehicle

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant