CN109101908B - 驾驶过程感兴趣区域检测方法及装置 - Google Patents

Abstract

本发明提供了一种驾驶过程感兴趣区域检测方法及装置，涉及视频检测技术领域，该方法利用深度学习方法对训练检测库进行训练，生成第一检测器；基于第一检测器获得第一有用信息，基于第一有用信息进行训练，生成第二检测器；基于驾驶任务驱动的感兴趣区域进行训练，生成第三检测器；基于第三检测器获得第三有用信息，基于第三有用信息进行训练，生成第四检测器；合并第二检测器与第四检测器生成第五检测器。通过融合驾驶任务驱动与道路数据的感兴趣区域检测方法，缓解了驾驶任务驱动模型对视觉信息处理速度相对较慢的问题，解决了道路数据驱动模型不适用于复杂低速路模型的技术问题，提高了无人驾驶及辅助驾驶系统的有效预警，降低事故发生率。

Description

驾驶过程感兴趣区域检测方法及装置

技术领域

本发明涉及视频检测技术领域，尤其是涉及一种驾驶过程感兴趣区域检测方法及装置。

背景技术

驾驶员操作疏忽、决策失误等原因是造成交通事务的主要原因，此类交通事故往往导致大量的人身伤害和财产损失，如果能够及时、准确、有效的对驾驶员预警提示，就可以在很大程度上避免此类事故的发生。基于车站视频图像的车辆检测及行人检测被广泛应用于无人驾驶及车辆辅助驾驶系统，成为主要的预警目标检测方法之一。通常，基于视频图像的车辆检测和行人检测分为驾驶任务驱动和道路数据驱动两大类：

驾驶任务驱动的视觉注意模型是根据来自具体驾驶任务的先验信息，预先建立驾驶员的视觉期望，将期望目标从道路图像中分离出来，在道路图像或道路视频场景中完成感兴趣区域选取，进而对该感兴趣区域进行后续的处理。

道路数据驱动的视觉注意模型，驾驶员从场景中的信息开始，外部道路场景信息源对驾驶员的眼睛进行刺激，驾驶员的眼睛对不同的道路场景信息进行重新组合加工进行处理。这种注意模型没有驾驶员先验信息的指导，也没有特定的驾驶任务，处理速度比较快。道路数据驱动注意模型属于自底向上视觉注意模型，具有数据驱动和自主加工两大特点。

相对于道路数据驱动机制，驾驶任务驱动注意机制对视觉信息的处理速度相对较慢。

道路数据驱动注意模型的注意机制不需要运用人的意识来控制其处理过程，不需要先验信息和预期期望，未加入主观意识。传统道路数据驱动的视觉注意与显著性区域描述部分的适用于高速路比较简单路况下驾驶员视觉注意，而在比较复杂的低速路上并不完全适用。

因此，以上两种都不能为驾驶员提供及时、有效的驾驶提示，在复杂路况下，视觉注意与显著性区域描述不准确，在无人驾驶及车辆辅助驾驶等对安全性要求较高的场合，难以提供及时、准确的预警信息。

发明内容

有鉴于此，本发明的目的在于提供一种驾驶过程感兴趣区域检测方法及装置，以缓解驾驶任务驱动注意模型对视觉信息处理速度相对较慢的技术问题，解决道路数据驱动注意模型不适用于比较复杂的低速路模型的技术问题，提高无人驾驶及车辆辅助驾驶系统中的有效预警，降低事故发生率。

第一方面，本发明实施例提供了一种驾驶过程感兴趣区域检测方法，包括：

利用深度学习方法对训练检测库进行训练，生成第一检测器，所述第一检测器用于检测数据驱动显著性目标；

基于所述第一检测器获得第一有用信息，基于所述第一有用信息进行训练，生成第二检测器，所述第二检测器用于检测数据驱动感兴趣区域目标；

基于驾驶任务驱动的感兴趣区域进行训练，生成第三检测器，所述第三检测器用于检测任务驱动感兴趣区域目标；

基于所述第三检测器获得第三有用信息，基于所述第三有用信息进行训练，生成第四检测器，所述第四检测器用于检测任务驱动感兴趣区域显著性目标；

合并所述第二检测器与所述第四检测器生成第五检测器，所述第五检测器用于检测驾驶任务与道路数据融合的感兴趣区域。

结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，所述训练检测库包括采集的车载道路的视频以及网络公开的道路视频。

结合第一方面，本发明实施例提供了第一方面的第二种可能的实施方式，其中，所述基于所述第一检测器获得第一有用信息，包括：

在非特定驾驶任务的前提下对所述第一检测器的第一检测结果进行主观筛选，获得第一有用信息。

结合第一方面，本发明实施例提供了第一方面的第三种可能的实施方式，其中，所述驾驶任务驱动的感兴趣区域的获取过程，包括：

在特定驾驶任务的前提下对所述第一检测器的第一检测结果进行主观筛选，获得第二有用信息；

通过眼动仪获取眼动信息；

合并所述第二有用信息与所述眼动信息，生成驾驶任务驱动的感兴趣区域。

结合第一方面，本发明实施例提供了第一方面的第四种可能的实施方式，其中，所述基于所述第三检测器获得第三有用信息，包括：

利用所述第三检测器对所述训练检测库进行训练，生成第二检测结果；

对所述第二检测结果进行客观显著性筛选，并得到第三检测结果；

对所述第三检测结果进行主观筛选，获得第三有用信息。

第二方面，本发明实施例还提供一种驾驶过程感兴趣区域检测装置，所述装置包括训练检测库和训练模块，所述训练模块包括：第一训练模块、第二训练模块、第三训练模块、第四训练模块和合并模块；

所述第一训练模块，用于利用深度学习方法对训练检测库进行训练，生成第一检测器，所述第一检测器用于检测数据驱动显著性目标；

所述第二训练模块，用于基于所述第一检测器获得第一有用信息，基于所述第一有用信息进行训练，生成第二检测器，所述第二检测器用于检测数据驱动感兴趣区域目标；

所述第三训练模块，用于基于驾驶任务驱动的感兴趣区域进行训练，生成第三检测器，所述第三检测器用于检测任务驱动感兴趣区域目标；

所述第四训练模块，用于基于所述第三检测器获得第三有用信息，基于所述第三有用信息进行训练，生成第四检测器，所述第四检测器用于检测任务驱动感兴趣区域显著性目标；

所述合并模块，用于合并所述第二检测器与所述第四检测器生成第五检测器，所述第五检测器用于检测驾驶任务与道路数据融合的感兴趣区域。

结合第二方面，本发明实施例提供了第二方面的第一种可能的实施方式，其中，所述装置还包括：

训练检测库，用于存储采集的车载道路的视频以及网络公开的道路视频。

结合第二方面，本发明实施例提供了第二方面的第二种可能的实施方式，其中，所述第一有用信息为，在非特定驾驶任务的前提下对所述第一检测器的第一检测结果进行主观筛选而获得。

结合第二方面，本发明实施例提供了第二方面的第三种可能的实施方式，其中，所述驾驶任务驱动的感兴趣区域的获取过程，包括：

在特定驾驶任务的前提下对所述第一检测器的第一检测结果进行主观筛选，获得第二有用信息；

通过眼动仪获取眼动信息；

合并所述第二有用信息与所述眼动信息，生成驾驶任务驱动的感兴趣区域。

结合第二方面，本发明实施例提供了第二方面的第四种可能的实施方式，其中，所述第四训练模块包括：

训练单元，用于利用所述第三训练模块对所述训练检测库进行训练，生成第二检测结果；

客观检测单元，用于对所述第二检测结果进行客观显著性检测，并得到第三检测结果；

筛选单元，用于对所述第三检测结果进行主观筛选，获得第三有用信息。

本发明实施例带来了以下有益效果：本发明实施例提供的驾驶过程感兴趣区域检测方法及装置中，利用深度学习方法对训练检测库进行训练，生成第一检测器，该第一检测器用于检测数据驱动显著性目标；基于第一检测器获得第一有用信息，基于第一有用信息进行训练，生成第二检测器，该第二检测器用于检测数据驱动感兴趣区域目标；基于驾驶任务驱动的感兴趣区域进行训练，生成第三检测器，该第三检测器用于检测任务驱动感兴趣区域目标；基于第三检测器获得第三有用信息，基于第三有用信息进行训练，生成第四检测器，该第四检测器用于检测任务驱动感兴趣区域显著性目标；合并第二检测器与第四检测器生成第五检测器，该第五检测器用于检测驾驶任务与道路数据融合的感兴趣区域。通过融合驾驶任务驱动与道路数据的驾驶过程感兴趣区域检测方法，缓解了驾驶任务驱动注意模型对视觉信息处理速度相对较慢的技术问题，解决了道路数据驱动注意模型不适用于比较复杂的低速路模型的技术问题，提高了无人驾驶及车辆辅助驾驶系统的有效预警，从而降低事故发生率。

本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的驾驶过程感兴趣区域检测方法流程图；

图2为本发明实施例中步骤S13的详细流程图；

图3为本发明实施例中步骤S14的详细流程图；

图4为本发明实施例提供的驾驶过程感兴趣区域检测装置示意图。

图标：

20-训练检测库；21-第一训练模块；22-第二训练模块；23-第三训练模块；24-第四训练模块；25-合并模块；241-训练单元；242-客观检测单元；243-筛选单元。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

目前，传统的驾驶任务驱动注意机制对视觉信息的处理速度相对较慢。传统道路数据驱动注意模型的注意机制未加入主观意识，不完全适用路况复杂的低速路的感兴趣区域检测。因此，以上两种都不能为驾驶员提供及时、有效的驾驶提示，在复杂路况下，视觉注意与显著性区域描述不准确，在无人驾驶及车辆辅助驾驶等对安全性要求较高的场合，难以提供及时、准确的预警信息。

基于此，本发明实施例提供了一种驾驶过程感兴趣区域检测方法及装置，可以缓解驾驶任务驱动注意模型对视觉信息处理速度相对较慢的技术问题，解决道路数据驱动注意模型不适用于比较复杂的低速路模型的技术问题，提高无人驾驶及车辆辅助驾驶系统的有效预警，从而有效降低事故发生率。

为便于对本实施例进行理解，首先对本发明实施例所公开的一种驾驶过程感兴趣区域检测方法进行详细介绍。

实施例一：

本发明实施例提供了一种驾驶过程感兴趣区域检测方法，可以用于无人驾驶及车辆辅助驾驶系统。如图1所示，该驾驶过程感兴趣区域检测方法包括以下步骤：

S11：利用深度学习方法对训练检测库进行训练，生成第一检测器，第一检测器用于检测数据驱动显著性目标。

训练检测库包括采集的车载道路的视频以及网络公开的道路视频。

对于一幅图像来说，用户只对图像中的部分区域感兴趣。显著区域是图像中最能引起用户兴趣、最能表现图像内容的区域。人眼可以快速准确的识别出任意场景中的显著区域，显著性检测旨在使用机器模拟人眼的这种能力从而可以使机器能够像人类一样处理图像。图像显著性检测通过对图像颜色、亮度、方向、纹理等特征，进行对比度和差异性分析生成图像显著性图。道路数据驱动的视觉注意模型，是驾驶员的眼睛受到不同外部道路场景信息的刺激，通过信息重新组合加工，确定显著性区域，不需要运用人的意识来控制处理过程，不需要先验信息和预期期望。道路数据驱动图像显著性目标可以是车辆或行人。

在训练阶段，首先在道路视频训练检测库上选取一定数量的视频提取基本特征，构成训练样本，利用深度学习模型对已提取特征进行再学习，从而得到更抽象更有区分能力的增强型高级特征，最后学习得到第一检测器，用于检测数据驱动显著性目标。

S12：基于第一检测器获得第一有用信息，基于第一有用信息进行训练，生成第二检测器，第二检测器用于检测数据驱动感兴趣区域目标。

数据驱动感兴趣区域，是由数据显著性特征生成的与人在非特定任务下视觉关注相一致的感兴趣区域。

汽车在行驶中记录的道路视频信息，分为有用信息和无用信息。有用信息是指对其它驾驶员提供驾驶行为支持的信息，包括车辆、行人、路况等。无用信息是在记录道路视频信息时加入的干扰噪声，包括影射信息、玻璃上的污迹以及对当前驾驶状态与行为无关的行人、车辆信息等。若为有用信息，则主观筛选的分值为0；若为无用信息，则主观筛选的分值为1。

由于用户任务和知识背景的不同，对于同一幅图像，不同的用户可能会选择不同的区域作为显著区域。在本步骤中，选取普通人作为被测对象，在非特定驾驶任务的前提下对第一检测器的第一检测结果进行主观筛选，获得第一有用信息。作为一种优选的实施方式，也可以通过计算机进行筛选通过，利用深度学习模型进行训练，实现模拟普通人筛选有用信息。

S13：基于驾驶任务驱动的感兴趣区域进行训练，生成第三检测器，第三检测器用于检测任务驱动感兴趣区域目标。

例如，前车窗玻璃上影射的车内信息，从数据驱动角度来看，光晕和光影在视觉上是显著的，但不在驾驶员在驾驶过程中感兴趣的区域内。从任务驱动的角度来说，光晕和光影干扰了驾驶员的正常驾驶任务，造成数据驱动的显著性客观检测结果与任务驱动的主观检测结果不符合，且会对主观检测结果产生影响。因此，准确检测驾驶任务驱动的感兴趣区域有利于降低指导型非感兴趣区域的数据显著性影响。

上述步骤S13中驾驶任务驱动的感兴趣区域的获取过程，如图2所示，具体包括以下步骤：

S131：在特定驾驶任务的前提下对第一检测器的第一检测结果进行主观筛选，获得第二有用信息。

在本步骤中，选取若干经验丰富的驾驶员作为被测对象，例如驾龄10年以上的驾驶员，在特定驾驶任务的前提下，对第一检测器获得第一检测结果进行主观筛选，并获得第二有用信息。

S132：通过眼动仪获取眼动信息。

所获取的眼动信息是个体化感兴趣区域，是驾驶员个体在实际驾驶过程中的具体真实的感兴趣区域。

选取若干驾龄10年以上的驾驶员作为被测对象，通过眼动仪获取到其在真实驾驶过程中的感兴趣区域。由于是在真实驾驶过程中获取的，因此具有非常重要的指导意义，但是这部分数据由于存在个体差异，同时数据量非常大，因此需要进一步处理。

S133：合并第二有用信息与眼动信息，生成驾驶任务驱动的感兴趣区域。

驾驶任务驱动的感兴趣区域，是在驾驶任务驱动下，为了完成安全驾驶任务而根据经验制定的有指导意义的感兴趣区域，即指导型感兴趣区域。

S14：基于第三检测器获得第三有用信息，基于第三有用信息进行训练，生成第四检测器，第四检测器用于检测任务驱动感兴趣区域显著性目标。

上述步骤S14中基于第三检测器获得第三有用信息的获取过程，如图3所示，具体包括以下步骤：

S141：利用第三检测器对训练检测库进行训练，生成第二检测结果。

训练检测库可以使用与步骤S11相同的数据库，也可以使用其他不同的数据库。

S142：对第二检测结果进行客观显著性筛选，并得到第三检测结果。

显著性检测旨在使用机器模拟人眼的这种能力从而可以使机器能够像人类一样处理图像。图像显著性检测通过对图像颜色、亮度、方向、纹理等特征，进行对比度和差异性分析生成图像显著性图。

例如，显著性对象虽然在任务驱动感兴趣区域内，但不是指导型感兴趣内容或者不是最感兴趣内容，会对驾驶员产生视觉心理影响，形成有差异的个体感兴趣区域，甚至会导致重要信息丢失。

S143：对第三检测结果进行主观筛选，获得第三有用信息。

选取若干驾龄10年以上的驾驶员作为被测对象，对步骤S142中得到的客观显著性筛选结果，进行主管筛选，获得第三有用信息。

作为一种优选的实施方式，也可以通过计算机进行筛选通过，利用深度学习模型进行训练，实现模拟驾驶员筛选有用信息。

S15：合并第二检测器与第四检测器生成第五检测器，第五检测器用于检测驾驶任务与道路数据融合的感兴趣区域。

该第五检测器融合了驾驶任务与道路数据驱动的驾驶过程感兴趣区域检测方法，能够产生以下有益效果：

一、任务驱动与数据驱动交互完成检测识别

融合后的感兴趣区域可以用式(1)描述：

每个在任务驱动的感兴趣区域中出现的目标都是基于数据驱动完成的检测识别，对于目标检测的结果又可能会改变和调整当前驾驶任务的子任务，因此任务驱动与数据驱动交互完成，能够检测到更贴近驾驶员真实感受的感兴趣区域。

二、显著目标的变化影响感兴趣区域的实际分布

视频中的每个显著目标都会对当前的感兴趣区域产生类似磁场的引力效应，从而改变感兴趣区域的实际分布形状与优先级。

1.前方无车情况下，视觉注意力密度线在感兴趣区域均匀分布，如式(2)。

m为均匀划分的子块。

2.前方初始感兴趣区域内出现车辆或行人情况下，视觉注意力密度线向目标聚集，聚集度由目标相对速度，位置及目标显著性综合决定，如式(3)。

ROI＝S_obj+(1-S_obj×P_obj(v,S_obj,(x_obj,y_obj)))/P(m) (3)

S_obj为目标显著性区域，P_obj为聚集度。

3.前方非初始感兴趣区域内出现车辆或行人情况下，视觉注意力密度线向该方向聚集，一旦进入感兴趣区域或者相对速度和目标显著性之积超过阈值，则注意力密度线覆盖该区域，同时更新当前感兴趣区域，如式(4)。

因此，可以根据实际路况的变化，及时调整感兴趣区域。

三、在三维空间检测感兴趣区域

传统的感兴趣区域是把实际的三维空间简化方式投影到二维空间而得到的平面结果。很多可能非常重要的信息未能直接体现，比如高度，角度等等。如式(5)。

ROI(x,y,z)＝ROI(x,y)×z,0≤z≤3 (5)

该第五检测器可以实现在三维空间检测感兴趣区域，从而实现在高度、角度变化的情况下，保留完整的显著性信息。

四、提取速度信息，获得最符合的感兴趣区域

感兴趣区域是与驾驶速度相关的，驾驶一辆在高速路上以120公里/小时行驶的汽车，驾驶员不会对前方5米的信息产生兴趣或产生过多的兴趣，原因不是这些信息不重要，而是驾驶员在之前2秒钟左右已经对该区域进行了视觉验证，这种经过了视觉认证的信息可以脱离感兴趣区域进入优先级低的兴趣场。另外一方面，因为每秒钟汽车已经前进了33.3米，还要考虑到反应延迟和动作延迟，刹车距离等因素，驾驶员在前方无车情况下会把视觉注意前置到至少30米之外。而单一的静止图片没有携带速度信息，所以，如果仍然对一幅道路信息图片进行感兴趣区域设置，会出现与实际有较大误差的情况。比如一辆低速行驶(20公里/小时)的汽车，驾驶员基于驾驶任务感兴趣的区域场应该主要集中在5-10米范围内，与前者有明显的差别。因此，有必要在连续视频帧中提取当前道路图片的速度信息，两者结合获得当前图片的最符合主观判断的感兴趣区域。如式(6)所示。

高速和低速情况下针对同一幅图像会得到不同感兴趣区域，其实这也就是为什么在空旷的道路状况下驾驶员很容易超速行驶，原因之一就是因为驾驶员在没有其它兴趣点刺激的情况下，会把感兴趣区域过度前移。

区域场较大的情况下，驾驶员需要周期性的对子区域场进行遍历扫描。在对缺失速度的图片检测中，加入感兴趣区域后，计算任务和误检率大幅度下降，取得了良好效果。

本发明实施例提供的驾驶过程感兴趣区域检测方法中，利用深度学习方法对训练检测库进行训练，生成第一检测器，该第一检测器用于检测数据驱动显著性目标；基于第一检测器获得第一有用信息，基于第一有用信息进行训练，生成第二检测器，该第二检测器用于检测数据驱动感兴趣区域目标；基于驾驶任务驱动的感兴趣区域进行训练，生成第三检测器，该第三检测器用于检测任务驱动感兴趣区域目标；基于第三检测器获得第三有用信息，基于第三有用信息进行训练，生成第四检测器，该第四检测器用于检测任务驱动感兴趣区域显著性目标；合并第二检测器与第四检测器生成第五检测器，该第五检测器用于检测驾驶任务与道路数据融合的感兴趣区域。通过融合驾驶任务驱动与道路数据的驾驶过程感兴趣区域检测方法，缓解了驾驶任务驱动注意模型对视觉信息处理速度相对较慢的技术问题，解决了道路数据驱动注意模型不适用于比较复杂的低速路模型的技术问题，提高了无人驾驶及车辆辅助驾驶系统的有效预警，从而有效降低事故发生率。

实施例二：

本发明实施例提供的一种驾驶过程感兴趣区域检测装置，如图4所示，该驾驶过程感兴趣区域检测装置包括：训练检测库20、第一训练模块21、第二训练模块22、第三训练模块23、第四训练模块24和合并模块25。该第四训练模块24包括：训练单元241、客观检测单元242和筛选单元243。

本发明实施例中，训练检测库20，用于存储采集的车载道路的视频以及网络公开的道路视频；第一训练模块21，用于利用深度学习方法对训练检测库进行训练，生成第一检测器，该第一检测器用于检测数据驱动显著性目标；第二训练模块22，用于基于第一检测器获得第一有用信息，基于第一有用信息进行训练，生成第二检测器，该第二检测器用于检测数据驱动感兴趣区域目标；第三训练模块23，用于基于驾驶任务驱动的感兴趣区域进行训练，生成第三检测器，该第三检测器用于检测任务驱动感兴趣区域目标；第四训练模块24，用于基于第三检测器获得第三有用信息，基于第三有用信息进行训练，生成第四检测器，该第四检测器用于检测任务驱动感兴趣区域显著性目标；合并模块25，用于合并第二检测器与第四检测器生成第五检测器，该第五检测器用于检测驾驶任务与道路数据融合的感兴趣区域。

训练单元241，用于利用第三训练模块对训练检测库进行训练，生成第二检测结果；客观检测单元242，用于对第二检测结果进行客观显著性检测，并得到第三检测结果；筛选单元243，用于对第三检测结果进行主观筛选，获得第三有用信息。

本发明实施例提供的驾驶过程感兴趣区域检测装置中，首先通过第一训练模块利用深度学习方法对训练检测库进行训练，生成第一检测器，该第一检测器用于检测数据驱动显著性目标；利用第二训练模块基于第一检测器获得第一有用信息，基于第一有用信息进行训练，生成第二检测器，该第二检测器用于检测数据驱动感兴趣区域目标；利用第三训练模块基于驾驶任务驱动的感兴趣区域进行训练，生成第三检测器，该第三检测器用于检测任务驱动感兴趣区域目标；通过第四训练模块基于第三检测器获得第三有用信息，基于第三有用信息进行训练，生成第四检测器，该第四检测器用于检测任务驱动感兴趣区域显著性目标；最后利用合并模块合并第二检测器与第四检测器生成第五检测器，该第五检测器用于检测驾驶任务与道路数据融合的感兴趣区域。通过融合驾驶任务驱动与道路数据的驾驶过程感兴趣区域检测方法，缓解了驾驶任务驱动注意模型对视觉信息处理速度相对较慢的技术问题，解决了道路数据驱动注意模型不适用于比较复杂的低速路模型的技术问题，提高了无人驾驶及车辆辅助驾驶系统的有效预警，从而有效降低事故发生率。

本发明实施例提供的驾驶过程感兴趣区域检测装置，与上述实施例提供的驾驶过程感兴趣区域检测方法具有相同的技术特征，所以也能解决相同的技术问题，达到相同的技术效果。

附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (8)

1.一种驾驶过程感兴趣区域检测方法，其特征在于，包括：

利用深度学习方法对训练检测库进行训练，生成第一检测器，所述第一检测器用于检测数据驱动显著性目标；

基于所述第一检测器获得第一有用信息，基于所述第一有用信息进行训练，生成第二检测器，所述第二检测器用于检测数据驱动感兴趣区域目标；

基于驾驶任务驱动的感兴趣区域进行训练，生成第三检测器，所述第三检测器用于检测任务驱动感兴趣区域目标；

基于所述第三检测器获得第三有用信息，基于所述第三有用信息进行训练，生成第四检测器，所述第四检测器用于检测任务驱动感兴趣区域显著性目标；

合并所述第二检测器与所述第四检测器生成第五检测器，所述第五检测器用于检测驾驶任务与道路数据融合的感兴趣区域；

所述基于所述第三检测器获得第三有用信息，包括：

利用所述第三检测器对所述训练检测库进行训练，生成第二检测结果；

对所述第二检测结果进行客观显著性筛选，并得到第三检测结果；

对所述第三检测结果进行主观筛选，获得第三有用信息。

2.根据权利要求1所述的方法，其特征在于，所述训练检测库包括采集的车载道路的视频以及网络公开的道路视频。

3.根据权利要求1所述的方法，其特征在于，所述基于所述第一检测器获得第一有用信息，包括：

在非特定驾驶任务的前提下对所述第一检测器的第一检测结果进行主观筛选，获得第一有用信息。

4.根据权利要求1所述的方法，其特征在于，所述驾驶任务驱动的感兴趣区域的获取过程，包括：

在特定驾驶任务的前提下对所述第一检测器的第一检测结果进行主观筛选，获得第二有用信息；

通过眼动仪获取眼动信息；

合并所述第二有用信息与所述眼动信息，生成驾驶任务驱动的感兴趣区域。

5.一种驾驶过程感兴趣区域检测装置，其特征在于，所述装置包括：第一训练模块、第二训练模块、第三训练模块、第四训练模块和合并模块；

所述第一训练模块，用于利用深度学习方法对训练检测库进行训练，生成第一检测器，所述第一检测器用于检测数据驱动显著性目标；

所述第二训练模块，用于基于所述第一检测器获得第一有用信息，基于所述第一有用信息进行训练，生成第二检测器，所述第二检测器用于检测数据驱动感兴趣区域目标；

所述第三训练模块，用于基于驾驶任务驱动的感兴趣区域进行训练，生成第三检测器，所述第三检测器用于检测任务驱动感兴趣区域目标；

所述第四训练模块，用于基于所述第三检测器获得第三有用信息，基于所述第三有用信息进行训练，生成第四检测器，所述第四检测器用于检测任务驱动感兴趣区域显著性目标；

所述合并模块，用于合并所述第二检测器与所述第四检测器生成第五检测器，所述第五检测器用于检测驾驶任务与道路数据融合的感兴趣区域；

所述第四训练模块包括：

训练单元，用于利用所述第三训练模块对所述训练检测库进行训练，生成第二检测结果；

客观检测单元，用于对所述第二检测结果进行客观显著性检测，并得到第三检测结果；

筛选单元，用于对所述第三检测结果进行主观筛选，获得第三有用信息。

6.根据权利要求5所述的装置，其特征在于，所述装置还包括：

训练检测库，用于存储采集的车载道路的视频以及网络公开的道路视频。

7.根据权利要求6所述的装置，其特征在于，所述第一有用信息为，在非特定驾驶任务的前提下对所述第一检测器的第一检测结果进行主观筛选而获得。

8.根据权利要求5所述的装置，其特征在于，所述驾驶任务驱动的感兴趣区域的获取过程，包括：

在特定驾驶任务的前提下对所述第一检测器的第一检测结果进行主观筛选，获得第二有用信息；

通过眼动仪获取眼动信息；

合并所述第二有用信息与所述眼动信息，生成驾驶任务驱动的感兴趣区域。

Images