CN107180220B - 危险预测方法 - Google Patents

危险预测方法 Download PDF

Info

Publication number
CN107180220B
CN107180220B CN201710099249.6A CN201710099249A CN107180220B CN 107180220 B CN107180220 B CN 107180220B CN 201710099249 A CN201710099249 A CN 201710099249A CN 107180220 B CN107180220 B CN 107180220B
Authority
CN
China
Prior art keywords
image
learning
area
risk
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710099249.6A
Other languages
English (en)
Other versions
CN107180220A (zh
Inventor
小冢和纪
石井育规
齐藤雅彦
渕上哲司
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Corp of America
Original Assignee
Panasonic Intellectual Property Corp of America
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2016214701A external-priority patent/JP2017162438A/ja
Application filed by Panasonic Intellectual Property Corp of America filed Critical Panasonic Intellectual Property Corp of America
Publication of CN107180220A publication Critical patent/CN107180220A/zh
Application granted granted Critical
Publication of CN107180220B publication Critical patent/CN107180220B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/19173—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source

Abstract

提供一种能够预测对正在行驶的车辆来说可能会发生危险的危险区域的危险预测方法。是使用了卷积神经网络的危险预测器的计算机进行的危险预测方法，包括：取得步骤，使神经网络取得由搭载于车辆的车载摄像头拍摄到的输入图像；和输出步骤(S2)，使卷积神经网络推定危险区域和该危险区域的特征，并将推定出的危险区域和推定出的危险区域的特征作为对输入图像预测的危险度输出，所述危险区域是在取得步骤(S1)中取得的输入图像中的危险区域，且是在该车辆按原样行驶的情况下有可能在行驶路径中出现运动物体并与该车辆碰撞的危险区域。

Description

危险预测方法
技术领域
本发明涉及危险预测方法。
背景技术
例如，在专利文献1中，公开了一种用于支援驾驶车辆的驾驶员的安全确认的驾驶支援技术装置。根据该驾驶支援技术，例如，能够在早的定时精度良好地检测出在十字路口处红绿灯从绿变成红时突然开始跑动的行人等这样的、与驾驶员的预想相反地突然变速而导致事故的可能性高的危险的移动物。
在先技术文献
专利文献
专利文献1：日本专利第4967015号公报
非专利文献
非专利文献1：Jonathan Long、Evan Shelhamer、Trevor Darrell，“FullyConvolutional Networks for Semantic Segmentation”(用于语义分割的全卷积网络)，The IEEE Conference on Computer Vision and Pattern Recognition(CVPR：IEEE国际计算机视觉与模式识别会议)，2015，第3431-3440页
发明内容
发明要解决的问题
然而，在上述专利文献1的驾驶支援技术装置中，存在如下问题：只不过是观测能够实际视觉识别的移动物的速度变化来预测危险状态。即，在上述专利文献1的驾驶支援技术装置中，存在如下问题：不能检测出停着的巴士背后的区域等、可能要发生当从巴士下车的行人冲出来时与车辆碰撞这样的危险的区域(危险区域)。
本公开鉴于上述情况而做出，目的在于提供一种能够预测对正在行驶的车辆来说可能要发生危险的危险区域的危险预测方法。
用于解决问题的技术方案
为了解决上述问题，本公开的一个方式涉及的危险预测方法是一种使用了卷积神经网络的危险预测器的计算机进行的危险预测方法，包括：取得步骤，使所述卷积神经网络取得由搭载于车辆的车载摄像头拍摄到的输入图像；和输出步骤，使所述卷积神经网络推定危险区域和该危险区域的特征，并将所述推定出的危险区域和所述推定出的危险区域的特征作为对所述输入图像预测的危险度输出，所述危险区域是在所述取得步骤中取得的所述输入图像中的、在所述车辆按原样行驶的情况下有可能在所述车辆的行驶路径中出现运动物体并与所述车辆碰撞的区域。
此外，这些整体或具体的技术方案既可以用系统、方法、集成电路、计算机程序或计算机可读取的CD-ROM等记录介质来实现，也可以用系统、方法、集成电路、计算机程序和记录介质的任意组合来实现。
发明的效果
根据本公开，能够实现一种对正在行驶的车辆来说能够预测可能要发生危险的危险区域的危险预测方法。
附图说明
图1是表示实施方式1中的危险预测器的构成的一例的框图。
图2是表示图1所示的危险预测器使用的卷积神经网络的构造的概略的图。
图3是表示实施方式1中的危险预测器的预测结果的一例的图。
图4是表示实施方式1中的危险预测器的预测结果的另一例的图。
图5是表示实施方式1中的危险预测器的预测处理的一例的流程图。
图6是表示实施方式1中的卷积神经网络的学习处理的概要的流程图。
图7A是在步骤S1中准备的学习用数据的说明图。
图7B是在步骤S1中准备的学习用数据的说明图。
图7C是在步骤S1中准备的学习用数据的说明图。
图7D是在步骤S1中准备的学习用数据的说明图。
图8是表示作为学习处理的结果输出的危险区域及其特征的一例的图。
图9是表示实施例中的学习系统的构成的一例的框图。
图10是表示学习用数据制作装置进行的带注释(annotation)数据的制作处理的流程图。
图11是表示学习装置进行的学习处理的流程图。
图12A是在步骤S1中准备的带注释图像的另一例。
图12B是表示作为学习处理的结果输出的危险区域及其特征的另一例的图。
图13是表示详细区域信息的一例的图。
图14A是学习用图像的一例。
图14B是赋予了表示危险区域的注释的带注释图像的一例。
图15A是学习用图像的一例。
图15B是赋予了表示危险区域的注释的带注释图像的一例。
图16A是学习用图像的一例。
图16B是赋予了表示危险区域的注释的带注释图像的一例。
图17A是学习用图像的一例。
图17B是赋予了表示危险区域的注释的带注释图像的一例。
图18是表示实施方式2中的两个阶段的学习处理的概要的流程图。
图19是用于示意性地说明第一阶段的学习处理的说明图。
图20是用于示意性地说明第二阶段的学习处理的说明图。
图21是用于示意性地说明第一阶段的学习处理的另一说明图。
具体实施方式
(得到本发明的一个技术方案的经过)
近年来，通过使用深度学习(Deep Learning)，图像识别的性能取得了惊人的提高。深度学习作为使用了多层神经网络的机器学习的方法论为人所知，在这样的多层神经网络中，多使用卷积神经网络(Convolutional Neural Network：CNN)。在此，卷积神经网络包括反复进行局部区域的卷积(Convolution)和池化(Pooling)的多层神经网络。
在此，卷积神经网络具有：通过利用多个滤波器的卷积处理提取特征的卷积层、通过将一定区域的反应汇总的池化处理获得局部数据的不变性的池化层以及使用通过Softmax函数等算出的概率进行识别的全连接层。
但是，使用了这样的卷积神经网络的图像识别处理具有不能实时执行这一问题。
与此相对，例如，在非专利文献1中，提出了将构成卷积神经网络的全连接层作为卷积层的卷积神经网络的构造。通过使用该构造的卷积神经网络(全卷积神经网络)，能够实时执行图像识别处理。
因此，发明人(们)想到了使用全卷积神经网络来解决上述问题。
即，本公开的一个方式涉及的危险预测方法是一种使用了卷积神经网络的危险预测器的计算机进行的危险预测方法，包括：取得步骤，使所述卷积神经网络取得由搭载于车辆的车载摄像头拍摄到的输入图像；和输出步骤，使所述卷积神经网络推定危险区域和该危险区域的特征，并将所述推定出的危险区域和所述推定出的危险区域的特征作为对所述输入图像预测的危险度输出，所述危险区域是在所述取得步骤中取得的所述输入图像中的、在所述车辆按原样行驶的情况下有可能在所述车辆的行驶路径中出现运动物体并与所述车辆碰撞的区域。
由此，由于能够推定对所取得的输入图像的危险度，所以能够实现一种能够预测对正在行驶的车辆来说可能会发生危险的危险区域的危险预测方法。
在此，例如也可以是，在所述输出步骤中，使所述卷积神经网络推定该危险区域的危险程度来作为该危险区域的特征，并将表示推定出的所述危险区域和该危险区域的危险程度的似然度映射作为所述危险度输出。
另外，例如也可以是，在所述输出步骤中，使所述卷积神经网络推定与所述危险区域关联的所述运动物体的类别来作为该危险区域的特征，并将推定出的所述危险区域和所述类别作为所述危险度输出。
另外，例如也可以是，所述危险预测方法还包括：学习步骤，在进行所述取得步骤之前，使用包括所述危险区域的学习用图像、和在所述学习用图像中赋予了表示所述危险区域的注释的带注释图像，使所述卷积神经网络学习用于推定所述学习用图像中的所述危险区域和该危险区域的所述特征的该卷积神经网络的权重。
另外，例如也可以是，所述学习步骤包括：第一学习步骤，使用作为所述学习用图像各自中的一部分区域的、赋予了表示所述危险区域的注释的区域的危险区域图像和作为所述学习用图像各自中的一部分区域的、没有赋予该注释的区域的安全区域图像，使作为具有全连接层的卷积神经网络的第一神经网络学习该第一神经网络的第一权重，所述第一权重用于判定所述一部分区域是安全区域还是危险区域；和第二学习步骤，通过将第二神经网络的权重的初始值更新为在所述第一学习步骤中学习到的所述第一权重，使用包括所述危险区域的学习用图像、和在所述学习用图像中赋予了表示所述危险区域的注释的带注释图像，并使所述第二神经网络学习用于推定所述学习用图像中的所述危险区域和该危险区域的所述特征的该第二神经网络的第二权重，由此学习与所述第二神经网络同一构成的所述卷积神经网络的权重，所述第二神经网络包括将所述第一神经网络的全连接层变更为卷积层而得到的结构。
另外，例如也可以是，所述危险预测方法还包括：赋予步骤，取得由搭载于车辆的车载摄像头拍摄到的、按时间顺序连续的多个图像，决定所取得的所述多个图像的至少一部分图像所包括的、且在所述车辆按原样行驶的情况下有可能在所述车辆的行驶路径中出现运动物体并与所述车辆碰撞的危险区域，并对该至少一部分图像赋予表示决定了的危险区域的注释，在所述学习步骤中，取得在所述赋予步骤中赋予了注释的该至少一部分图像和所述多个图像中与该至少一部分图像对应的图像来作为所述学习用图像和所述带注释图像，学习该卷积神经网络的所述权重。
在此，例如也可以是，所述危险区域是包括存在于所述学习用图像中的遮蔽物的区域的一部分的区域，且是所述运动物体正隐藏着、且所述运动物体从所述遮蔽物出现在所述行驶路径中之前的区域。
另外，例如也可以是，所述危险区域是当包括人物的两个以上运动物体中的至少一个与所述两个以上运动物体中的其他运动物体接近时会横穿所述车辆的行驶路径的、所述两个以上运动物体之间的区域。
另外，例如也可以是，所述注释表示所述危险区域和与所述危险区域关联的所述运动物体的分类。
另外，例如也可以是，所述注释表示所述危险区域和控制信息，所述控制信息包括拍摄所述学习用图像时的所述车辆的制动器强度或方向盘角度。
另外，例如也可以是，所述注释是所述危险区域的图块信息。
在以下说明的实施方式均为表示本公开的一具体例的实施方式。在以下的实施方式中所示的数值、形状、构成要素、步骤、步骤的顺序等均为一例，并不意在限定本公开。另外，关于以下实施方式的构成要素中、在表示最上位概念的独立权利要求中没有记载的构成要素，作为任意的构成要素进行说明。另外，在全部实施方式中，也能够将各个内容组合。
(实施方式1)
在以下说明中，参照附图，进行实施方式1中的危险预测器10的危险预测方法等的说明。
[危险预测器10的构成]
图1是表示本实施方式中的危险预测器10的构成的一例的框图。图2是表示图1所示的危险预测器10使用的卷积神经网络的构造的概略的图。图3是表示本实施方式中的危险预测器10的预测结果的一例的图。
图1所示的危险预测器10是使用了卷积神经网络的危险预测器，用计算机等实现。例如，如图2所示，危险预测器10使用的卷积神经网络是卷积层101和将全连接层变更而成的卷积层102的全卷积神经网络。
在此，卷积神经网络经常在图像识别领域中使用，通过对二维图像进行利用滤波器的卷积，从图像中提取特征量。如上所述，卷积神经网络包括反复进行卷积和池化的多层网络。而且，使用大量的学习用图像等大量的学习用数据，学习在卷积神经网络中构成卷积层的、对识别有效的滤波器的系数(权重)。该系数(权重)通过使用大量的数据进行学习而得到，所述学习通过反复进行利用滤波器的卷积和将一定区域的反应汇总的池化从而获得对多样的变形的不变性。此外，可知：卷积神经网络的识别性能依存于构成卷积层的滤波器。
当输入由车载摄像头拍摄到的输入图像时，图1所示的危险预测器10使用图2所示的卷积神经网络，推定对输入图像中的正在行驶的车辆来说的危险区域及其特征，并作为预测到的危险度进行输出。越接近在过去发生过人的冲出而成为危险的图像之前的图像的一部分区域即在过去导致危险的区域，则危险预测器10预测越高的危险度。
更具体而言，图1所示的危险预测器10取得由搭载于车辆的车载摄像头拍摄到的输入图像。危险预测器10用卷积神经网络推定所取得的输入图像中的危险区域和该危险区域的特征，所述危险区域是在该车辆按原样行驶的情况下有可能在该车辆的行驶路径中出现运动物体并与该车辆碰撞的危险区域。而且，危险预测器10将其作为对所取得的输入图像预测的危险度输出。在此，危险预测器10推定该危险区域的危险程度作为该危险区域的特征，并将推定出的该危险区域以及表示该危险区域的危险程度的似然度映射作为危险度输出。
在本实施方式中，危险预测器10取得了例如图3所示的图像50，即包括停着的巴士501、作为行人的人物502和503的图像50来作为输入图像。在该情况下，危险预测器10推定为：在图像50中，停着的巴士501背后的区域、人物502的区域以及人物503的区域是危险区域。而且，将重叠了对图像50推定出的危险区域的危险程度(似然度)后的图像50a作为预测出的危险度输出。在图像50a中，作为似然度映射，重叠有停着的巴士501背后的区域的似然度504、人物502的区域的似然度505以及人物503的区域的似然度506。该似然度示出了车辆有可能碰撞的风险(危险度)。在本实施方式中，利用该似然度，即使对于看不到人且人可能会冲出的区域，也作为与危险关联的区域，示出高的危险度(风险)。
此外，危险预测器10输出的危险度不限于图3所示的表示危险区域及其危险程度的似然度映射。以下，使用图4说明该例子。
图4是表示本实施方式中的危险预测器10的预测结果的另一例的图。此外，对与图3同样的要素赋予同一标号且省略详细的说明。
危险预测器10对作为输入图像取得的图像50推定为：停着的巴士501背后的区域507、人物502的区域508以及人物503的区域509是危险区域，并输出使对图像50推定出的危险区域及其分类重叠而成的图像50b。也就是说，危险预测器10输出对图像50重叠了区域507和作为其分类的危险区域(车)、区域508和作为其分类的危险区域(人)、区域509和作为其分类的危险区域(人)而成的图像50b。在此，在图像50b中，由于与作为危险区域的区域507关联的运动物体的类别是车，所以作为危险区域的分类重叠有危险区域(车)。同样地，在图像50b中，由于与作为危险区域的区域508和区域509关联的运动物体的类别是人物(人)，所以作为危险区域的分类重叠有危险区域(人)。
这样，危险预测器10也可以推定与该危险区域关联的所述运动物体的类别来作为该危险区域的特征，并将推定出的该危险区域和该类别作为危险度输出。
[危险预测器10的预测处理]
接着，使用附图，说明本实施方式涉及的危险预测器10的预测处理。
图5是表示本实施方式中的危险预测器10的预测处理的一例的流程图。
如图5所示，危险预测器10的计算机首先使卷积神经网络取得由搭载于车辆的车载摄像头拍摄到的输入图像(S1)。在本实施方式中，危险预测器10的计算机使卷积神经网络取得例如上述图5所示的图像50来作为输入图像。
接着，危险预测器10的计算机使卷积神经网络推定危险区域及其特征，并作为对输入图像预测出的危险度输出(S2)。更具体而言，危险预测器10的计算机使卷积神经网络推定危险区域和该危险区域的特征，所述危险区域是在S1中取得的输入图像中的、在车辆按原样行驶的情况下有可能在车辆的行驶路径中出现运动物体并与车辆碰撞的区域。而且，将危险区域和该危险区域的特征作为对输入图像预测出的危险度输出。
在本实施方式中，危险预测器10的计算机使该卷积神经网络推定该危险区域的危险程度来作为该危险区域的特征，并将表示推定出的危险区域和该危险区域的危险程度的似然度映射作为危险度输出。例如，危险预测器10的计算机使卷积神经网络输出例如上述图3所示的图像50a来作为预测出的危险度。
此外，如上所述，危险预测器10的计算机也可以使该卷积神经网络推定与该危险区域关联的所述运动物体的类别来作为该危险区域的特征，并将推定出的危险区域和该危险区域的类别作为危险度输出。
[危险预测器10的效果等]
如上所述，根据实施方式1涉及的危险预测器10，能够推定由搭载于车辆的车载摄像头拍摄到的输入图像中的危险区域和该危险区域的特征。特别是，实施方式1涉及的危险预测器10也能够将停着的巴士背后的区域等、虽然看不到从巴士下车的行人但行人可能会冲出的区域也预测为对正在行驶的车辆来说可能会发生危险的危险区域。
由此，例如，在正在自动驾驶的车辆具备危险预测器10的情况下，由于该车辆能够使用车载摄像头的图像预测可能会发生危险的危险区域，并进行避开预测出的危险区域的控制，所以能够进行更安全的行驶。
[危险预测器10的学习处理]
以下，说明用于实现这样的危险预测器10的学习处理。将通过进行学习处理来作为在危险预测器10中使用的卷积神经网络发挥功能的卷积神经网络称为卷积神经网络10a来进行说明。
图6是表示本实施方式中的卷积神经网络10a的学习处理的概要的流程图。图7A～图7D是在步骤S1中准备的学习用数据的说明图。图8是表示作为学习处理的结果输出的危险区域及其特征的一例的图。
首先，准备学习用数据(S11)。更具体而言，准备包括学习用图像和在学习用图像中赋予了表示危险区域的注释的带注释图像的学习用数据，所述学习用图像包含危险区域。
在此，使用图7A～图7D说明学习用数据。
图7A和图7B是学习用图像的一例，是在过去由车载摄像头拍摄到的多个图像中与危险关联的图像的一例。在图7B所示的图像52中，示出了停着的巴士511、作为行人的人物512以及作为从巴士511背后的区域出现的行人的人物513。在图7A所示的图像51中，示出了停着的巴士511和作为行人的人物512。虽然人物513存在于巴士511背后的区域，但看不到。
图7C所示的图像51a是带注释图像的一例，在图像51的人物出现的预定时间之前的区域中赋予有注释。更具体而言，图像51a被赋予有表示危险区域的注释，所述危险区域是在搭载拍摄到图像51的车载摄像头的车辆按原样(保持状态不变地)行驶的情况下，有可能在车辆的行驶路径中出现作为人物513的运动物体并与该车辆碰撞的区域。
此外，并不限于以下情况：如图7C的图像51a所示，表示危险区域的注释赋予给包括虽然看不到人物513但人物513可能会冲出的、巴士511背后的区域514，即刚要发生冲出之前的区域514。例如，如图7D所示，也可以是，除了区域514之外，对能看到的人物512的区域515赋予表示危险区域的注释，对其他区域(例如区域516)赋予表示安全区域的注释。
以下，返回图6进行说明。
接着，为了使卷积神经网络10a作为危险预测器10发挥功能，计算机使用学习用数据，进行学习处理(S12)。更具体而言，使用包括危险区域的学习用图像、和在学习用图像中赋予了表示危险区域的注释的带注释图像，进行使卷积神经网络10a学习用于推定学习用图像中的危险区域和该危险区域的特征的该卷积神经网络10a的权重的学习处理。
例如，将图7A所示的图像51作为包括危险区域的学习用图像使用，将图7D所示的图像51b作为在学习用图像中赋予了表示危险区域的注释的带注释图像使用，并使卷积神经网络10a进行学习处理。在该情况下，卷积神经网络10a学习用于推定图8的图像51c所示的表示危险区域和该危险区域的危险程度的似然度映射的权重。在此，在图8的图像51c中，停着的巴士511背后的区域和人物512的区域是危险区域，并重叠有巴士511背后的区域的似然度517和人物512的区域的似然度518。
此外，在学习用数据的准备中，在学习用图像中赋予表示危险区域的注释的作业例如委托众包(crowd sourcing)的工人进行等以人工方式进行，但也可以使计算机进行一部分或全部作业。以下，以学习系统的计算机进行在学习用图像中赋予表示危险区域的注释的作业，并使用学习用数据在卷积神经网络10a中进行学习处理的情况为实施例，来进行说明。
(实施例)
[学习系统的构成]
图9是表示实施例中的学习系统的构成的一例的框图。图9所示的学习系统具备学习用数据制作装置20和学习装置30，并进行用于实现危险预测器10的学习处理。
学习用数据制作装置20具备存储部201、存储部203以及注释赋予部202，并根据影像数据制作学习用数据。存储部201由HDD(Hard Disk Drive：硬盘驱动器)或存储器等构成，并存储由搭载于车辆的车载摄像头拍摄到的、由按时间顺序连续的多个图像构成的影像数据。该影像数据也作为学习用图像使用。存储部203由HDD(Hard Disk Drive：硬盘驱动器)或存储器等构成，并存储对学习用图像(影像数据)赋予了表示危险区域的注释而成的带注释数据。注释赋予部202至少在从存储部201取得的学习用图像(影像数据)中赋予表示危险区域的注释，并存储在存储部203中。
学习装置30具备误差算出部301和权重调整部302，使用从学习用数据制作装置20取得的学习用数据，在卷积神经网络10a中进行学习处理。在此，卷积神经网络10a与在危险预测器10中使用的卷积神经网络为同一构成，学习处理的结果是，作为在危险预测器10中使用的卷积神经网络发挥功能。误差算出部301使用误差函数算出误差，所述误差是卷积神经网络10a应推定出的表示学习用图像中的危险区域和该危险区域的特征的值(正确值)与卷积神经网络10a当前输出(推定)的值(表示推定出的危险度的值)的误差。权重调整部302调整卷积神经网络10a的权重以使得由误差算出部301算出的误差变小。
[学习系统的工作]
接着，使用图10和图11，说明按以上方式构成的学习系统的工作。图10是表示学习用数据制作装置20进行的带注释数据的制作处理的流程图。图11是表示学习装置30进行的学习处理的流程图。此外，图10属于图6所示的S11的详细处理的一例，图11属于图6所示的S12的详细处理的一例。
如图10所示，学习用数据制作装置20首先取得存储在存储部201中的影像数据(S111)。更具体而言，学习用数据制作装置20取得由搭载于车辆的车载摄像头拍摄到的按时间顺序连续的多个图像来作为影像数据。
接着，学习用数据制作装置20决定影像数据所包括的危险区域(S112)。更具体而言，学习用数据制作装置20决定所取得的多个图像(影像数据)的至少一部分图像所包括的、且在搭载拍摄到该多个图像的车载摄像头的车辆按原样行驶的情况下有可能在该车辆的行驶路径中出现运动物体并与该车辆碰撞的危险区域。
接着，学习用数据制作装置20对影像数据赋予表示危险区域的注释(S113)。更具体而言，学习用数据制作装置20对该至少一部分图像赋予表示决定了的危险区域的注释。而且，将在至少一部分图像中赋予了表示危险区域的注释而成的影像数据(带注释数据)存储在存储部203中。在本实施方式中，学习用数据制作装置20对人物出现的预定时间之前的图像的一部分区域赋予表示危险区域的注释，但不限于此。也可以是，对球、带有危险灯的汽车或映有人物的弯道镜等人物出现的预定时间之前的图像的特定物体区域赋予表示危险区域的注释。无论如何，都会赋予表示危险区域的注释，所述危险区域是在搭载拍摄到影像数据的车载摄像头的车辆按原样行驶的情况下有可能在车辆的行驶路径中出现作为人物513的运动物体并与该车辆碰撞的区域。
接着，如图11所示，学习装置30从学习用数据制作装置20取得学习用数据(S121)。具体而言，学习装置30取得在S113中赋予了注释的该至少一部分图像和多个图像(影像数据)中与该至少一部分图像对应的图像来作为学习用图像和带注释图像。例如，如上所述，学习装置30从学习用数据制作装置20取得图7A所示的包括危险区域的学习用图像和图7D所示的带注释图像。
接着，学习装置30使用学习用图像，使卷积神经网络10a输出表示推定出的危险度的值(S122)。在本实施方式中，例如，对于图7A所示的包括危险区域的学习用图像，学习装置30使卷积神经网络10a输出表示学习用图像中的危险区域及该危险区域的特征即危险区域及其危险程度(似然度映射)的值，作为表示推定出的危险度的值。
接着，学习装置30算出在S122中输出的值、和卷积神经网络10a应推定出的表示学习用图像中的危险区域和该危险区域的特征的值(正确值)之差(误差)(S123)。在此，正确值是表示根据在图7D所示的图像51b的在学习用图像中赋予了表示危险区域的注释而得到的带注释图像而算出的图8的图像51c所示的表示危险区域和该危险区域的危险程度的似然度映射的值。
接着，当在S123中输出的表示危险度的值与正确值的误差不是最小的情况下(在S124中为否)，学习装置30更新卷积神经网络10a的权重以使得该差变小(S125)。而且，学习装置30从S122的处理起，进行反复的回归处理。
另一方面，在S122中输出的表示危险度的值与正确值之差为最小的情况下，结束处理。即，学习装置30通过调整卷积神经网络10a的权重以使得在S123中算出的误差成为最小，由此使卷积神经网络10a学习权重。而且，学习装置30将在S123中算出的误差成为最小的情况下的卷积神经网络10a的权重决定为在危险预测器10中使用的卷积神经网络的权重。
此外，为了便于说明图10和图11，说明了对一张图像的制作处理和/或学习处理，但不限于此。也可以按每10～20张图像进行制作处理和/或学习处理。另外，将误差成为最小的卷积神经网络10a的权重决定为在危险预测器10中使用的卷积神经网络的权重来进行了说明，但不限于此。也可以是，在即使反复进行上述回归处理，权重的值和误差也不变化的情况下，将权重的值和误差不变化时的卷积神经网络10a的权重决定为在危险预测器10中使用的卷积神经网络的权重。另外，也可以是，误差最小是指在决定了回归处理的上限次数的情况下，到上限次数为止的回归处理中的误差的最小。
(变形例1)
图12A是在步骤S1中准备的带注释图像的另一例。图12B是表示作为学习处理的结果输出的危险区域及其特征的另一例的图。另外，对于与图7A～图8同样的要素赋予同一标号且省略详细的说明。
在上述危险预测器10的学习处理中，说明了图7A所示的图像51和图7D所示的图像51b是学习用图像和带注释图像的一例，且正确值是表示图8所示的图像51c中的危险区域及其危险程度的值的情况，但不限于此。也可以是，将图7A所示的图像51和图12A所示的图像51d作为学习用图像和带注释图像，且正确值是表示图12B所示的图像51e中的危险区域及其分类的值。
在图12A所示的图像51中，停着的巴士511背后的区域514d是看不到的人物有可能冲出并与车辆碰撞的危险区域，危险分类1是表示危险区域的分类的注释。另外，在图像51d中，赋予有表示看到的人物512的区域515及其危险分类2的注释。人物512的区域515属于有可能与车辆碰撞的危险区域，危险分类2属于危险区域的分类。另外，在图像51d中，也对除此以外的区域(例如区域516d)赋予表示是安全区域的注释。
在图12B所示的图像51e中，示出了：停着的巴士511背后的区域519是危险区域，其分类是危险区域(车)以及人物512的区域520是危险区域，其分类是危险区域(人)。
(变形例2)
在学习用图像中赋予的注释不限于在实施例中说明的表示危险区域的信息(框等)、和/或在变形例1中说明的与危险区域关联的运动物体的分类的情况。例如，既可以是车辆的方向盘角度、制动器强度等拍摄到学习用图像时的车辆的控制信息，也可以是与图13所示的物体区域不同的详细区域信息。
图13是表示详细区域信息的一例的图。图13所示的详细区域信息例如是相对于图7A的图块(segment)信息54。区域541表示图7A所示的巴士511背后的区域是危险区域，区域542表示图7A所示的人物512的区域是危险区域。
这样，也可以是，在学习用图像中赋予的注释表示输入图像中的危险区域和控制信息，所述控制信息包括拍摄学习用图像时的车辆的制动器强度或方向盘角度。另外，在学习用图像中赋予的注释也可以是输入图像中的危险区域的图块信息。
(变形例3)
在上述实施方式1、实施例、变形例1和2中，将对正在行驶的车辆来说可能会发生危险的危险区域设为：包括存在于学习用图像中的遮蔽物的区域的一部分，且运动物体正隐藏着、且该运动物体从遮蔽物出现在行驶路径中之前的区域来进行说明，但不限于此。也可以是，危险区域是当包括人物的两个以上运动物体彼此接近时会横穿车辆的行驶路径的、两个以上运动物体之间的区域。
以下，例示用于学习处理这样的危险区域的学习用图像和带注释图像。
图14A、图15A、图16A以及图17A是学习用图像的一例。图14B、图15B、图16B以及图17B是赋予了表示危险区域的注释的带注释图像的一例。
在图14A所示的学习用图像56a中，示出了驻停车中的汽车561和人物562。在图14B所示的带注释图像56b中，对学习用图像56a赋予有表示驻停车中的汽车561与人物562之间的区域563是危险区域的注释。
在图15A所示的学习用图像57a中，示出了人物571、表示巴士的车站的物体572以及驻停车中的汽车573。在图15B所示的带注释图像57b中，对学习用图像57a赋予有表示人物571与表示巴士的车站的物体572之间的区域574是危险区域的注释。
另外，在图16A所示的学习用图像58a中，示出了作为孩子的人物581、和球等人物581在玩耍中使用的物体582。在图16B所示的带注释图像58b中，对学习用图像58a赋予有表示人物581与人物581在玩耍中使用的物体582之间的区域583是危险区域的注释。
另外，在图17A所示的学习用图像59a中，示出了作为孩子的人物591和孩子的父母等人物592。在图17B所示的带注释图像59b中，对学习用图像59a赋予有表示人物591与人物592之间的区域593是危险区域的注释。
这样，由于当包括人物的两个以上运动物体彼此接近时会横穿车辆的行驶路径，所以可认为两个以上运动物体之间的区域是在车辆按原样行驶的情况下，有可能在车辆的行驶路径中出现运动物体并与车辆碰撞的危险区域。因此，危险预测器10可以将该两个以上运动物体之间的区域预测为危险区域。
(实施方式2)
在实施方式1中，说明了仅使用与在危险预测器10中使用的卷积神经网络同一构成的卷积神经网络10a进行学习处理，但不限于此。也可以是，首先，使用具有全连接层的卷积神经网络进行第一阶段的学习处理，接着，使用将全连接层变更为卷积层的卷积神经网络进行第二阶段的学习处理。以下，关于该情况，作为实施方式2进行说明。此外，在以下说明中，以与实施方式1不同之处为中心进行说明。
[学习处理]
省略了危险预测器10的构成等如在上述实施方式1中已说明的说明。在实施方式2中，相对于实施方式1，计算机使用学习用数据进行的学习处理不同。
图18是表示本实施方式中的两个阶段的学习处理的概要的流程图。图19是用于示意性地说明第一阶段的学习处理的说明图。图20是用于示意性地说明第二阶段的学习处理的说明图。此外，对于与图3和图7D等同样的要素赋予同一标号且省略详细的说明。图18属于图6所示的步骤S12的详细处理的一例。另外，图19所示的第一神经网络10b是在第一阶段的学习处理中使用的具有全连接层的卷积神经网络。图20所示的第二神经网络10c是在第二阶段的学习处理中使用的卷积神经网络，属于将第一神经网络10b的全连接层变更为卷积层而成的卷积神经网络。第二神经网络10c与在危险预测器10中使用的卷积神经网络为同一构成。
首先，计算机使用学习用数据，进行使第一神经网络10b学习权重(第一权重)的第一学习处理(S221)。更具体而言，计算机使用作为学习用图像各自中的一部分区域的、赋予了表示危险区域的注释的区域的危险区域图像和作为学习用图像各自中的一部分区域的、没有赋予该注释的区域的安全区域图像，使作为具有全连接层的卷积神经网络的第一神经网络10b学习该第一神经网络的第一权重，所述第一权重用于判定一部分区域是安全区域还是危险区域。
例如，在图19所示的例子中，示出了如下情形：计算机将危险区域图像61输入至第一神经网络10b，并学习第一神经网络10b的第一权重以进行是否是危险区域的判定，所述危险区域图像61是作为带注释图像的图像51b的一部分图像。
接着，计算机使用学习用数据，在第二神经网络10c中进行第二学习处理(S221～S224)。更具体而言，首先，计算机生成将第一神经网络的全连接层变更为卷积层而成的第二神经网络(S222)。接着，计算机读入在S221中学习的第一神经网络的权重(第一权重)(S223)，并将在S222中生成的第二神经网络的权重的初始值更新为第一权重。接着，计算机使用包括危险区域的学习用图像、和在学习用图像中赋予了表示危险区域的注释的带注释图像，使第二神经网络10c学习用于推定学习用图像中的危险区域和该危险区域的特征的第二神经网络10c的权重(第二权重)(S224)。
例如，在图20所示的例子中，计算机将作为学习用图像(输入图像)的图像50输入第二神经网络10c，更新(学习)第二神经网络10c的第二权重以推定表示该危险区域和该危险区域的危险程度的似然度映射来作为危险度。
通过进行这样的第二学习处理，能够学习与第二神经网络同一构成的、在危险预测器10中使用的卷积神经网络的权重。
此外，在第一学习处理中，将赋予了表示危险区域的注释的危险区域图像和没有赋予该注释的安全区域图像作为学习用图像使用，使第一神经网络10b学习将所输入的学习用图像判定为是安全还是危险的第一权重，但不限于此。
例如，如图21所示，也可以在第一学习处理中，将赋予了表示危险区域及其分类的注释的学习用图像的一部分区域作为学习用图像使用。而且，也可以使第一神经网络10b学习：判定所输入的学习用图像是安全还是危险，且在判定为危险的情况下，判定该学习用图像表示的分类的第一权重。
在此，图21是用于示意性地说明第一阶段的学习处理的另一说明图。
在图21所示的例子中，计算机将切取了区域514d而得到的危险区域图像63输入至第一神经网络10b，所述区域514d是图像51d的一部分区域，所述图像51d是带有注释的图像，所述注释表示危险区域及其分类。而且，示出了如下情形：计算机进行危险区域图像63是否是危险区域的判定，进而，学习第一神经网络10b的第一权重以判定该危险区域图像63表示的分类(在图中为危险分类(车))。此外，由于除了上述情况以外，也可以考虑危险区域的各种变形(variation)，所以在第一学习处理中，也可以将危险分类划分为物体的各个观察方式下等的各个分类(详细分类)进行学习。
另外，危险预测器10输出的危险度不限于图20所示的表示危险区域及其危险程度的似然度映射。也就是说，不限于以下情况：在第二学习处理中，作为危险区域及其特征，学习第二权重以输出表示危险区域及其危险程度的似然度映射。也可以是，学习第二权重以输出危险区域及其分类。
[其他实施方式的可能性]
以上，在实施方式1～3中说明了本公开的危险预测方法，但实施各处理的主体和/或装置不特别限定。也可以由装入配置在本地的特定装置内的处理器等(以下说明)来处理。另外，也可以由配置在与本地装置不同的场所的云服务器等来处理。
另外，作为学习用图像和/或危险预测时的输入图像，既可以是由车载摄像头拍摄到的图像(整体图像)，也可以是整体图像的一部分图像(部分图像)。作为部分图像，也可以是按上述方式推定为危险的区域的图像。作为整体图像，也可以是危险状况发生时或发生前的图像。
此外，本公开不限定于上述实施方式。例如，也可以在本说明书中将记载的构成要素任意组合或除去几个构成要素而实现的其他实施方式作为本公开的实施方式。另外，在不脱离本公开的主旨即权利要求书所记载的文字表示的含义的范围内对上述实施方式实施本领域技术人员想到的各种变形而得到的变形例也包含于本公开。
另外，本公开进一步也包括以下的情况。
(1)具体而言，上述装置是由微处理器、ROM、RAM、硬盘单元、显示器单元、键盘、鼠标等构成的计算机系统。在所述RAM或硬盘单元中存储有计算机程序。通过所述微处理器按照所述计算机程序工作，各装置实现其功能。在此，计算机程序是为了实现预定的功能而组合多条命令代码而构成的，所述命令代码表示对计算机的指令。
(2)构成上述装置的构成要素的一部分或全部可以由一个系统LSI(Large ScaleIntegration：大规模集成电路)构成。系统LSI是将多个构成部集成在一个芯片上制造而成的超多功能LSI，具体而言，是包括微处理器、ROM以及RAM等而构成的计算机系统。在所述RAM中存储有计算机程序。通过所述微处理器按照所述计算机程序工作，系统LSI实现其功能。
(3)构成上述装置的构成要素的一部分或全部可以由可拆装于各装置的IC卡或单个模块构成。所述IC卡或所述模块是由微处理器、ROM以及RAM等构成的计算机系统。所述IC卡或所述模块也可以包括上述超多功能LSI。通过微处理器按照计算机程序工作，所述IC卡或所述模块实现其功能。该IC卡或该模块也可以具有防篡改性。
(4)另外，本公开也可以是上述的方法。另外，既可以是利用计算机实现这些方法的计算机程序，也可以是由所述计算机程序构成的数字信号。
(5)另外，本公开也可以将所述计算机程序或所述数字信号记录于计算机可读取的记录介质，例如软盘、硬盘、CD-ROM、MO、DVD、DVD-ROM、DVD-RAM、BD(Blu-ray(注册商标)Disc)以及半导体存储器等。另外，也可以是记录在这些记录介质中的所述数字信号。
另外，本公开也可以经由电通信线路、无线或有线通信线、以互联网为代表的网络以及数据广播等输送所述计算机程序或所述数字信号。
另外，本公开是具备微处理器和存储器的计算机系统，所述存储器存储有上述计算机程序，所述微处理器按照所述计算机程序工作。
另外，也可以通过将所述程序或所述数字信号记录于所述记录介质并移送，或经由所述网络等移送所述程序或所述数字信号，从而利用独立的其他计算机系统实施。
产业上的可利用性
本公开尤其能够利用于：在搭载于用于进行自动驾驶的车辆的车载摄像头、系统、用于进行驾驶支援的装置或系统等中，用于预测可能会发生危险的危险区域的危险预测方法。
标号说明
10 危险预测器
10a 卷积神经网络
10b 第一神经网络
10c 第二神经网络
20 学习用数据制作装置
30 学习装置
50、50a、50b、51、51a、51b、51c、51d、51e、52 图像
54 图块信息
56b、57b、58b、59b 带注释图像
61、63 危险区域图像
101、102 卷积层
201、203 存储部
202 注释赋予部
301 误差算出部
302 权重调整部
501、511 巴士
502、503、512、513、562、571、581、591、592 人物
504、505、506、517、518 似然度
507、508、509、514、514d、515、515d、516、516d、519、520、541、542、563、574、583、593 区域
561、573 汽车
572、582 物体

Claims (15)

1.一种危险预测方法，是使用了卷积神经网络的危险预测器的计算机进行的危险预测方法，包括：
取得步骤，使所述卷积神经网络取得由搭载于车辆的车载摄像头拍摄到的输入图像；和
输出步骤，使所述卷积神经网络推定危险区域和作为该危险区域的特征的该危险区域的危险程度，并将表示推定出的所述危险区域和所述推定出的该危险区域的危险程度的似然度映射作为对所述输入图像预测的危险度输出，所述危险区域是在所述取得步骤中取得的所述输入图像中的、在所述车辆按原样行驶的情况下有可能在所述车辆的行驶路径中出现运动物体并与所述车辆碰撞的区域，
所述运动物体包括所述输入图像中能够视觉识别的运动物体和所述输入图像中无法视觉识别的运动物体，
所取得的所述输入图像越接近在过去发生过运动物体的冲出而成为危险的图像之前的图像的一部分区域即在过去导致危险的区域，则预测越高的危险度。
2.根据权利要求1所述的危险预测方法，
在所述输出步骤中，使所述卷积神经网络推定与所述危险区域关联的所述运动物体的类别来作为该危险区域的特征，并将推定出的所述危险区域和所述类别作为所述危险度输出。
3.根据权利要求1所述的危险预测方法，
所述危险预测方法还包括：
学习步骤，在进行所述取得步骤之前，使用包括所述危险区域的学习用图像、和在所述学习用图像中赋予了表示所述危险区域的注释的带注释图像，使所述卷积神经网络学习用于推定所述学习用图像中的所述危险区域和该危险区域的所述特征的该卷积神经网络的权重。
4.根据权利要求2所述的危险预测方法，
所述危险预测方法还包括：
学习步骤，在进行所述取得步骤之前，使用包括所述危险区域的学习用图像、和在所述学习用图像中赋予了表示所述危险区域的注释的带注释图像，使所述卷积神经网络学习用于推定所述学习用图像中的所述危险区域和该危险区域的所述特征的该卷积神经网络的权重。
5.根据权利要求3所述的危险预测方法，
所述学习步骤包括：
第一学习步骤，使用作为所述学习用图像各自中的一部分区域的、赋予了表示所述危险区域的注释的区域的危险区域图像和作为所述学习用图像各自中的一部分区域的、没有赋予该注释的区域的安全区域图像，使作为具有全连接层的卷积神经网络的第一神经网络学习该第一神经网络的第一权重，所述第一权重用于判定所述一部分区域是安全区域还是危险区域；和
第二学习步骤，通过将第二神经网络的权重的初始值更新为在所述第一学习步骤中学习到的所述第一权重，使用包括所述危险区域的学习用图像、和在所述学习用图像中赋予了表示所述危险区域的注释的带注释图像，使所述第二神经网络学习用于推定所述学习用图像中的所述危险区域和该危险区域的所述特征的该第二神经网络的第二权重，由此学习与所述第二神经网络同一构成的所述卷积神经网络的权重，所述第二神经网络包括将所述第一神经网络的全连接层变更为卷积层而得到的结构。
6.根据权利要求4所述的危险预测方法，
所述学习步骤包括：
第一学习步骤，使用作为所述学习用图像各自中的一部分区域的、赋予了表示所述危险区域的注释的区域的危险区域图像和作为所述学习用图像各自中的一部分区域的、没有赋予该注释的区域的安全区域图像，使作为具有全连接层的卷积神经网络的第一神经网络学习该第一神经网络的第一权重，所述第一权重用于判定所述一部分区域是安全区域还是危险区域；和
第二学习步骤，通过将第二神经网络的权重的初始值更新为在所述第一学习步骤中学习到的所述第一权重，使用包括所述危险区域的学习用图像、和在所述学习用图像中赋予了表示所述危险区域的注释的带注释图像，使所述第二神经网络学习用于推定所述学习用图像中的所述危险区域和该危险区域的所述特征的该第二神经网络的第二权重，由此学习与所述第二神经网络同一构成的所述卷积神经网络的权重，所述第二神经网络包括将所述第一神经网络的全连接层变更为卷积层而得到的结构。
7.根据权利要求3所述的危险预测方法，
所述危险预测方法还包括：
赋予步骤，取得由搭载于车辆的车载摄像头拍摄到的、按时间顺序连续的多个图像，决定所取得的所述多个图像的至少一部分图像所包括的、在所述车辆按原样行驶的情况下有可能在所述车辆的行驶路径中出现运动物体并与所述车辆碰撞的危险区域，并对该至少一部分图像赋予表示决定了的危险区域的注释，
在所述学习步骤中，取得在所述赋予步骤中赋予了注释的该至少一部分图像和所述多个图像中与该至少一部分图像对应的图像来作为所述学习用图像和所述带注释图像，学习该卷积神经网络的所述权重。
8.根据权利要求4所述的危险预测方法，
所述危险预测方法还包括：
赋予步骤，取得由搭载于车辆的车载摄像头拍摄到的、按时间顺序连续的多个图像，决定所取得的所述多个图像的至少一部分图像所包括的、在所述车辆按原样行驶的情况下有可能在所述车辆的行驶路径中出现运动物体并与所述车辆碰撞的危险区域，并对该至少一部分图像赋予表示决定了的危险区域的注释，
在所述学习步骤中，取得在所述赋予步骤中赋予了注释的该至少一部分图像和所述多个图像中与该至少一部分图像对应的图像来作为所述学习用图像和所述带注释图像，学习该卷积神经网络的所述权重。
9.根据权利要求5所述的危险预测方法，
所述危险预测方法还包括：
赋予步骤，取得由搭载于车辆的车载摄像头拍摄到的、按时间顺序连续的多个图像，决定所取得的所述多个图像的至少一部分图像所包括的、在所述车辆按原样行驶的情况下有可能在所述车辆的行驶路径中出现运动物体并与所述车辆碰撞的危险区域，并对该至少一部分图像赋予表示决定了的危险区域的注释，
在所述学习步骤中，取得在所述赋予步骤中赋予了注释的该至少一部分图像和所述多个图像中与该至少一部分图像对应的图像来作为所述学习用图像和所述带注释图像，学习该卷积神经网络的所述权重。
10.根据权利要求6所述的危险预测方法，
所述危险预测方法还包括：
赋予步骤，取得由搭载于车辆的车载摄像头拍摄到的、按时间顺序连续的多个图像，决定所取得的所述多个图像的至少一部分图像所包括的、在所述车辆按原样行驶的情况下有可能在所述车辆的行驶路径中出现运动物体并与所述车辆碰撞的危险区域，并对该至少一部分图像赋予表示决定了的危险区域的注释，
在所述学习步骤中，取得在所述赋予步骤中赋予了注释的该至少一部分图像和所述多个图像中与该至少一部分图像对应的图像来作为所述学习用图像和所述带注释图像，学习该卷积神经网络的所述权重。
11.根据权利要求3～10中任一项所述的危险预测方法，
所述危险区域是包括存在于所述学习用图像中的遮蔽物的区域的一部分的区域，且是所述运动物体正隐藏着、且所述运动物体从所述遮蔽物出现在所述行驶路径中之前的区域。
12.根据权利要求3～10中任一项所述的危险预测方法，
所述危险区域是当包括人物的两个以上运动物体中的至少一个与所述两个以上运动物体中的其他运动物体接近时会横穿所述车辆的行驶路径的、所述两个以上运动物体之间的区域。
13.根据权利要求3～10中任一项所述的危险预测方法，
所述注释表示所述危险区域和与所述危险区域关联的所述运动物体的分类。
14.根据权利要求3～10中任一项所述的危险预测方法，
所述注释表示所述危险区域和控制信息，所述控制信息包括拍摄所述学习用图像时的所述车辆的制动器强度或方向盘角度。
15.根据权利要求3～10中任一项所述的危险预测方法，
所述注释是所述危险区域的图块信息。
CN201710099249.6A 2016-03-11 2017-02-23 危险预测方法 Active CN107180220B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201662306720P 2016-03-11 2016-03-11
US62/306720 2016-03-11
JP2016-214701 2016-11-01
JP2016214701A JP2017162438A (ja) 2016-03-11 2016-11-01 危険予測方法

Publications (2)

Publication Number Publication Date
CN107180220A CN107180220A (zh) 2017-09-19
CN107180220B true CN107180220B (zh) 2023-10-31

Family

ID=58277170

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710099249.6A Active CN107180220B (zh) 2016-03-11 2017-02-23 危险预测方法

Country Status (3)

Country Link
US (1) US11769321B2 (zh)
EP (1) EP3217332B1 (zh)
CN (1) CN107180220B (zh)

Families Citing this family (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3205540A1 (de) * 2016-02-09 2017-08-16 Continental Automotive GmbH Fahrerassistenzvorrichtung sowie ein verfahren zur unterstützung eines fahrzeugführers beim führen eines fahrzeugs
US10671076B1 (en) 2017-03-01 2020-06-02 Zoox, Inc. Trajectory prediction of third-party objects using temporal logic and tree search
US10133275B1 (en) 2017-03-01 2018-11-20 Zoox, Inc. Trajectory generation using temporal logic and tree search
US10095234B2 (en) 2017-03-07 2018-10-09 nuTonomy Inc. Planning for unknown objects by an autonomous vehicle
US10281920B2 (en) 2017-03-07 2019-05-07 nuTonomy Inc. Planning for unknown objects by an autonomous vehicle
US10234864B2 (en) 2017-03-07 2019-03-19 nuTonomy Inc. Planning for unknown objects by an autonomous vehicle
US9934440B1 (en) * 2017-10-04 2018-04-03 StradVision, Inc. Method for monitoring blind spot of monitoring vehicle and blind spot monitor using the same
US9947228B1 (en) * 2017-10-05 2018-04-17 StradVision, Inc. Method for monitoring blind spot of vehicle and blind spot monitor using the same
JP6958630B2 (ja) 2017-11-17 2021-11-02 株式会社アイシン 車両運転補助システム、車両運転補助方法、及び車両運転補助プログラム
EP3495992A1 (en) * 2017-12-07 2019-06-12 IMRA Europe SAS Danger ranking using end to end deep neural network
EP3495219B1 (en) * 2017-12-11 2023-07-05 Volvo Car Corporation Path prediction for a vehicle
CN108171129A (zh) * 2017-12-14 2018-06-15 深圳市易成自动驾驶技术有限公司 道路信息识别方法、终端设备以及可读存储介质
JP6917878B2 (ja) * 2017-12-18 2021-08-11 日立Astemo株式会社 移動体挙動予測装置
US10955851B2 (en) 2018-02-14 2021-03-23 Zoox, Inc. Detecting blocking objects
TWI673586B (zh) * 2018-02-14 2019-10-01 國立交通大學 即時訓練軌跡導引系統及方法
DE102018104270A1 (de) * 2018-02-26 2019-08-29 Connaught Electronics Ltd. Verfahren zum Vorhersagen des Verhaltens mindestens eines Fußgängers
US10430876B1 (en) 2018-03-08 2019-10-01 Capital One Services, Llc Image analysis and identification using machine learning with output estimation
US10395313B1 (en) * 2018-03-08 2019-08-27 Capital One Services, Llc Image analysis and identification using machine learning with output personalization
JP2019179372A (ja) * 2018-03-30 2019-10-17 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 学習データ作成方法、学習方法、危険予測方法、学習データ作成装置、学習装置、危険予測装置、及び、プログラム
CN108875904A (zh) * 2018-04-04 2018-11-23 北京迈格威科技有限公司 图像处理方法、图像处理装置和计算机可读存储介质
US10414395B1 (en) 2018-04-06 2019-09-17 Zoox, Inc. Feature-based prediction
CN108447305B (zh) * 2018-04-21 2020-09-04 上海交通大学 一种礼让行人预警方法及预警系统
CN108773340A (zh) * 2018-04-27 2018-11-09 李德祥 一种车辆安全保护系统
US11126873B2 (en) 2018-05-17 2021-09-21 Zoox, Inc. Vehicle lighting state determination
DE102018214018A1 (de) * 2018-08-20 2020-02-20 Zf Friedrichshafen Ag Vorrichtung, Verfahren und System zum Warnen eines Fahrzeugführers beim Abbiegen an einer Abbiegestelle
CN109284699A (zh) * 2018-09-04 2019-01-29 广东翼卡车联网服务有限公司 一种适用车辆碰撞的深度学习方法
CN110880250B (zh) * 2018-09-05 2022-05-03 奥迪股份公司 危险预警系统及方法
US11584368B2 (en) 2018-09-24 2023-02-21 Intel Corporation Evaluating risk factors of proposed vehicle maneuvers using external and internal data
DE102018124161A1 (de) * 2018-10-01 2020-04-02 Daimler Ag Verfahren zum zumindest teilautomatisierten Führen eines Kraftfahrzeugs auf einer Fahrbahn
US20200120371A1 (en) * 2018-10-10 2020-04-16 Rovi Guides, Inc. Systems and methods for providing ar/vr content based on vehicle conditions
CN111186432B (zh) * 2018-11-13 2021-05-28 杭州海康威视数字技术股份有限公司 一种车辆盲区预警的方法及装置
JP2020086581A (ja) * 2018-11-16 2020-06-04 本田技研工業株式会社 予測装置、予測方法、およびプログラム
US10890916B2 (en) * 2019-01-30 2021-01-12 StradVision, Inc. Location-specific algorithm selection for optimized autonomous driving
DE102019202026A1 (de) * 2019-02-15 2020-08-20 Zf Friedrichshafen Ag Verfahren und Steuereinrichtung zur Fahrzeugkollisionsvermeidung
CN109740604B (zh) * 2019-04-01 2019-07-05 深兰人工智能芯片研究院（江苏）有限公司 一种行驶区域检测的方法和设备
CN110177332B (zh) * 2019-04-02 2020-09-25 西安万像电子科技有限公司 数据传输方法及装置
CN112034829A (zh) * 2019-05-15 2020-12-04 广州汽车集团股份有限公司 一种端到端自动驾驶方法及其系统、车辆
JP7176478B2 (ja) 2019-06-14 2022-11-22 トヨタ自動車株式会社 画像認識装置
EP3949380A4 (en) 2019-07-09 2022-05-25 Samsung Electronics Co., Ltd. ELECTRONIC DEVICE AND ASSOCIATED CONTROL METHOD
KR20210061839A (ko) * 2019-11-20 2021-05-28 삼성전자주식회사 전자 장치 및 그 제어 방법
KR20210088780A (ko) 2020-01-06 2021-07-15 주식회사 만도 운전자 보조 장치 및 그 방법
CN113139559B (zh) * 2020-01-17 2022-06-24 魔门塔(苏州)科技有限公司 一种目标检测模型的训练方法、数据的标注方法和装置
JP2021142788A (ja) * 2020-03-10 2021-09-24 トヨタ自動車株式会社 運転支援システム
JP7115502B2 (ja) 2020-03-23 2022-08-09 トヨタ自動車株式会社 物体状態識別装置、物体状態識別方法及び物体状態識別用コンピュータプログラムならびに制御装置
JP7359735B2 (ja) 2020-04-06 2023-10-11 トヨタ自動車株式会社 物体状態識別装置、物体状態識別方法及び物体状態識別用コンピュータプログラムならびに制御装置
JP7388971B2 (ja) 2020-04-06 2023-11-29 トヨタ自動車株式会社 車両制御装置、車両制御方法及び車両制御用コンピュータプログラム
EP3985644A1 (en) * 2020-10-15 2022-04-20 Volvo Penta Corporation An unmanned aircraft system, a control system of a marine vessel and a method for controlling a navigation system of a marine vessel
US11733054B2 (en) 2020-12-11 2023-08-22 Motional Ad Llc Systems and methods for implementing occlusion representations over road features
CN113449589B (zh) * 2021-05-16 2022-11-15 桂林电子科技大学 一种无人驾驶汽车在城市交通场景中驾驶策略计算方法

Citations (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06215300A (ja) * 1993-01-19 1994-08-05 Mitsubishi Electric Corp 危険状況警報装置
US5541590A (en) * 1992-08-04 1996-07-30 Takata Corporation Vehicle crash predictive and evasive operation system by neural networks
JP2008021269A (ja) * 2006-07-14 2008-01-31 Denso It Laboratory Inc 衝突危険度判定装置、衝突危険度判定方法及び歩行者識別方法
CN101436264A (zh) * 2008-11-28 2009-05-20 北京交通大学 基于分段模糊bp神经网络的矿山井下泥石流预测方法
CN101723187A (zh) * 2008-10-23 2010-06-09 宝山钢铁股份有限公司 一种港口货轮卸船机的自动防撞系统及方法
JP2010198552A (ja) * 2009-02-27 2010-09-09 Konica Minolta Holdings Inc 運転状況監視装置
CN102096803A (zh) * 2010-11-29 2011-06-15 吉林大学 基于机器视觉的行人安全状态识别系统
WO2011117974A1 (ja) * 2010-03-23 2011-09-29 パイオニア株式会社 危険箇所警告装置及び危険箇所警告方法
CN102571886A (zh) * 2010-12-31 2012-07-11 上海博泰悦臻电子设备制造有限公司 车载终端的在线状态检测方法及系统
CN102712317A (zh) * 2010-01-14 2012-10-03 丰田自动车工程及制造北美公司 使驾驶员与环境感测结合的车辆安全性系统
CN102765365A (zh) * 2011-05-06 2012-11-07 香港生产力促进局 基于机器视觉的行人检测方法及行人防撞预警系统
CN102844799A (zh) * 2010-04-16 2012-12-26 丰田自动车株式会社 驾驶辅助装置
CN103223911A (zh) * 2012-01-30 2013-07-31 日立民用电子株式会社 车辆用碰撞危险预测装置
JP2013156793A (ja) * 2012-01-30 2013-08-15 Hitachi Consumer Electronics Co Ltd 車両用衝突危険回避システム
CN103578115A (zh) * 2012-07-31 2014-02-12 电装It研究所 移动体识别系统以及移动体识别方法
WO2014141526A1 (ja) * 2013-03-12 2014-09-18 一般財団法人日本自動車研究所 車両用危険場面再現装置、およびその使用方法
CN104115199A (zh) * 2012-02-10 2014-10-22 三菱电机株式会社 驾驶支援装置以及驾驶支援方法
WO2014192369A1 (ja) * 2013-05-31 2014-12-04 日立オートモティブシステムズ株式会社 車両用危険報知制御装置
CN104325931A (zh) * 2013-07-22 2015-02-04 现代摩比斯株式会社 车辆碰撞防止装置及其方法
CN105072986A (zh) * 2013-03-22 2015-11-18 丰田自动车株式会社 驾驶支援装置、驾驶支援方法、信息提供装置、信息提供方法、导航装置以及导航方法
CN105185162A (zh) * 2015-10-26 2015-12-23 中国电子科技集团公司第二十八研究所 一种基于ais信息的多目标防撞预警方法
CN105232064A (zh) * 2015-10-30 2016-01-13 科大讯飞股份有限公司 一种预测音乐对驾驶员行为影响的系统和方法
CN105260712A (zh) * 2015-10-03 2016-01-20 上海大学 一种车辆前方行人检测方法及系统

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5832187A (en) * 1995-11-03 1998-11-03 Lemelson Medical, Education & Research Foundation, L.P. Fire detection systems and methods
US7499588B2 (en) * 2004-05-20 2009-03-03 Microsoft Corporation Low resolution OCR for camera acquired documents
KR20090125795A (ko) 2007-04-02 2009-12-07 파나소닉 주식회사 안전운전 지원장치
US20100088264A1 (en) * 2007-04-05 2010-04-08 Aureon Laboratories Inc. Systems and methods for treating diagnosing and predicting the occurrence of a medical condition
JP5035040B2 (ja) * 2008-03-12 2012-09-26 株式会社豊田中央研究所 運転支援装置
US8812226B2 (en) * 2009-01-26 2014-08-19 GM Global Technology Operations LLC Multiobject fusion module for collision preparation system
JP5210233B2 (ja) * 2009-04-14 2013-06-12 日立オートモティブシステムズ株式会社 車両用外界認識装置及びそれを用いた車両システム
JP5407764B2 (ja) 2009-10-30 2014-02-05 トヨタ自動車株式会社 運転支援装置
JP5401344B2 (ja) * 2010-01-28 2014-01-29 日立オートモティブシステムズ株式会社 車両用外界認識装置
US8994823B2 (en) * 2011-07-05 2015-03-31 Toyota Jidosha Kabushiki Kaisha Object detection apparatus and storage medium storing object detection program
US9135798B2 (en) 2012-09-01 2015-09-15 Honda Motor Co., Ltd. Vehicle periphery monitoring device
US9978030B2 (en) * 2014-06-11 2018-05-22 Hartford Fire Insurance Company System and method for processing of UAV based data for risk mitigation and loss control
JP6282193B2 (ja) 2014-07-28 2018-02-21 クラリオン株式会社 物体検出装置
SG10201506012SA (en) * 2015-07-31 2017-02-27 Accenture Global Services Ltd Inventory, growth, and risk prediction using image processing
US10025983B2 (en) * 2015-09-21 2018-07-17 The Climate Corporation Ponding water detection on satellite imagery
KR101824982B1 (ko) * 2015-10-07 2018-02-02 엘지전자 주식회사 차량 및 그 제어방법
KR101916993B1 (ko) * 2015-12-24 2018-11-08 엘지전자 주식회사 차량용 디스플레이 장치 및 그 제어방법
US9924927B2 (en) * 2016-02-22 2018-03-27 Arizona Board Of Regents On Behalf Of Arizona State University Method and apparatus for video interpretation of carotid intima-media thickness

Patent Citations (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5541590A (en) * 1992-08-04 1996-07-30 Takata Corporation Vehicle crash predictive and evasive operation system by neural networks
JPH06215300A (ja) * 1993-01-19 1994-08-05 Mitsubishi Electric Corp 危険状況警報装置
JP2008021269A (ja) * 2006-07-14 2008-01-31 Denso It Laboratory Inc 衝突危険度判定装置、衝突危険度判定方法及び歩行者識別方法
CN101723187A (zh) * 2008-10-23 2010-06-09 宝山钢铁股份有限公司 一种港口货轮卸船机的自动防撞系统及方法
CN101436264A (zh) * 2008-11-28 2009-05-20 北京交通大学 基于分段模糊bp神经网络的矿山井下泥石流预测方法
JP2010198552A (ja) * 2009-02-27 2010-09-09 Konica Minolta Holdings Inc 運転状況監視装置
CN102712317A (zh) * 2010-01-14 2012-10-03 丰田自动车工程及制造北美公司 使驾驶员与环境感测结合的车辆安全性系统
WO2011117974A1 (ja) * 2010-03-23 2011-09-29 パイオニア株式会社 危険箇所警告装置及び危険箇所警告方法
CN102844799A (zh) * 2010-04-16 2012-12-26 丰田自动车株式会社 驾驶辅助装置
CN102096803A (zh) * 2010-11-29 2011-06-15 吉林大学 基于机器视觉的行人安全状态识别系统
CN102571886A (zh) * 2010-12-31 2012-07-11 上海博泰悦臻电子设备制造有限公司 车载终端的在线状态检测方法及系统
CN102765365A (zh) * 2011-05-06 2012-11-07 香港生产力促进局 基于机器视觉的行人检测方法及行人防撞预警系统
CN103223911A (zh) * 2012-01-30 2013-07-31 日立民用电子株式会社 车辆用碰撞危险预测装置
JP2013156793A (ja) * 2012-01-30 2013-08-15 Hitachi Consumer Electronics Co Ltd 車両用衝突危険回避システム
CN104115199A (zh) * 2012-02-10 2014-10-22 三菱电机株式会社 驾驶支援装置以及驾驶支援方法
CN103578115A (zh) * 2012-07-31 2014-02-12 电装It研究所 移动体识别系统以及移动体识别方法
WO2014141526A1 (ja) * 2013-03-12 2014-09-18 一般財団法人日本自動車研究所 車両用危険場面再現装置、およびその使用方法
CN105072986A (zh) * 2013-03-22 2015-11-18 丰田自动车株式会社 驾驶支援装置、驾驶支援方法、信息提供装置、信息提供方法、导航装置以及导航方法
WO2014192369A1 (ja) * 2013-05-31 2014-12-04 日立オートモティブシステムズ株式会社 車両用危険報知制御装置
CN104325931A (zh) * 2013-07-22 2015-02-04 现代摩比斯株式会社 车辆碰撞防止装置及其方法
CN105260712A (zh) * 2015-10-03 2016-01-20 上海大学 一种车辆前方行人检测方法及系统
CN105185162A (zh) * 2015-10-26 2015-12-23 中国电子科技集团公司第二十八研究所 一种基于ais信息的多目标防撞预警方法
CN105232064A (zh) * 2015-10-30 2016-01-13 科大讯飞股份有限公司 一种预测音乐对驾驶员行为影响的系统和方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Learned-Miller E. Learning hierarchical representations for face verification with convolutional deep belief networks;Rodriguez-Fernandez等;《International Workshop on Cellular Neural Networks & Their Applications IEEE》;第129-134页 *
视频导航中的地图生成、障碍检测与行人人脸识别;贾宝芝;《中国博士学位论文全文数据库 信息科技辑》(第9期);第I138-21页 *

Also Published As

Publication number Publication date
US11769321B2 (en) 2023-09-26
EP3217332B1 (en) 2022-08-03
EP3217332A1 (en) 2017-09-13
CN107180220A (zh) 2017-09-19
US20170262750A1 (en) 2017-09-14

Similar Documents

Publication Publication Date Title
CN107180220B (zh) 危险预测方法
JP2017162438A (ja) 危険予測方法
CN109117709B (zh) 用于自动驾驶车辆的碰撞避免系统
JP2020187754A (ja) 課せられる責任の制約を伴うナビゲーションシステム
CN107004363B (zh) 图像处理装置及车载显示系统及显示装置及图像处理方法
JP2017084352A (ja) 車両を運転する際に当該車両の運転者を支援する方法及びシステム、車両、並びにコンピュータプログラム
CN110663073B (zh) 策略生成装置及车辆
CN111527013A (zh) 车辆变道预测
CN111413973A (zh) 车辆的换道决策方法及装置、电子设备、存储介质
JP2021136021A (ja) 運転者中心危険評価：意図認識運転モデルを用いた因果推論を介する危険物体識別
CN111532225A (zh) 车辆胶囊网络
CN113935143A (zh) 通过自主车辆的增加的严重性等级估计碰撞概率
CN114972911A (zh) 自动驾驶感知算法模型的输出数据收集处理方法及设备
CN112987711B (zh) 自动驾驶规控算法优化方法及仿真测试装置
CN116745191A (zh) 场景相关轨迹评分系统与方法
EP4083959A1 (en) Traffic flow machine-learning modeling system and method applied to vehicles
CN115165398A (zh) 车辆的行驶功能测试方法、装置、计算设备及介质
CN114648744A (zh) 确定语义无碰撞空间的方法
CN116745195A (zh) 车道外安全驾驶的方法和系统
CN110696828B (zh) 前向目标选择方法、装置及车载设备
JP2019003343A (ja) 運転支援装置および運転支援方法
KR102039723B1 (ko) 공중촬영 영상을 이용한 차량 행태 분석 시스템 및 이를 이용한 분석 방법
US20220261519A1 (en) Rare event simulation in autonomous vehicle motion planning
CN114764392A (zh) 用于确定交通场景相似度值的计算机实现方法和测试单元
CN116529141A (zh) 自主车辆曲线坐标系下的运动规划

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant