CN111923857B - 车辆盲区检测处理方法、装置、车载终端和存储介质 - Google Patents

Abstract

本申请涉及辅助驾驶技术领域，提供了一种车辆盲区检测处理方法、装置、车载终端和存储介质，获取车辆盲区图像，检测到该图像中包括有预设防护目标和预设风险目标的情况下，可确定出图像中形成于预设防护目标与车辆之间的告警区域，然后根据该图像中预设风险目标与告警区域之间的位置关系判断是否需要出发车辆盲区告警。本申请通过优化告警策略能够准确识别出真正对车辆存在碰撞风险的目标而触发车辆盲区告警，避免误告警情况的发生，提高车辆盲区告警准确性，还可进一步防止驾驶员对告警产生麻痹而带来的行车安全问题。

Description

车辆盲区检测处理方法、装置、车载终端和存储介质

技术领域

本申请涉及辅助驾驶技术领域，特别是涉及一种车辆盲区检测处理方法、装置、车载终端和存储介质。

背景技术

随着计算机软硬件能力的不断提升，以及各种传感器精度的普遍提升，辅助驾驶技术成为了备受关注的技术。盲区检测系统（Blind Spot Detection，BSD）是辅助驾驶技术中一项基础而重要的应用。

在实际场景中，车辆由于盲区死角导致恶性交通事故频发的事例层出不穷，对路面公共交通造成了极大的安全隐患。而盲区检测系统通过相机或短距微波雷达，利用算法识别车身周围与车辆有可能发生碰撞风险的障碍物，从而对驾驶员发出告警信号，以防止危险事故的发生。

传统技术所提供的盲区检测系统通常是根据车辆的位置和速度等信息构建告警逻辑，但是这种方式存在容易产生较多的误告警的问题而导致告警过于频繁，由此也容易使得驾驶员对告警产生麻痹。

发明内容

基于此，有必要针对上述技术问题，提供一种车辆盲区检测处理方法、装置、车载终端和存储介质。

一种车辆盲区检测处理方法，所述方法包括：

获取车辆的车辆盲区图像；

响应于检测到所述车辆盲区图像中包括预设防护目标和预设风险目标，确定所述车辆盲区图像中形成于所述预设防护目标与所述车辆之间的告警区域；

确定所述车辆盲区图像中所述预设风险目标与所述告警区域之间的位置关系；

根据所述位置关系判断是否触发车辆盲区告警。

一种车辆盲区检测处理装置，包括：

图像获取模块，用于获取车辆的车辆盲区图像；

区域确定模块，用于响应于检测到所述车辆盲区图像中包括预设防护目标和预设风险目标，确定所述车辆盲区图像中形成于所述预设防护目标与所述车辆之间的告警区域；

关系确定模块，用于确定所述车辆盲区图像中所述预设风险目标与所述告警区域之间的位置关系；

告警判断模块，用于根据所述位置关系判断是否触发车辆盲区告警。

一种车载终端，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

获取车辆的车辆盲区图像；响应于检测到所述车辆盲区图像中包括预设防护目标和预设风险目标，确定所述车辆盲区图像中形成于所述预设防护目标与所述车辆之间的告警区域；确定所述车辆盲区图像中所述预设风险目标与所述告警区域之间的位置关系；根据所述位置关系判断是否触发车辆盲区告警。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

获取车辆的车辆盲区图像；响应于检测到所述车辆盲区图像中包括预设防护目标和预设风险目标，确定所述车辆盲区图像中形成于所述预设防护目标与所述车辆之间的告警区域；确定所述车辆盲区图像中所述预设风险目标与所述告警区域之间的位置关系；根据所述位置关系判断是否触发车辆盲区告警。

上述车辆盲区检测处理方法、装置、车载终端和存储介质，获取车辆盲区图像，检测到该图像中包括有预设防护目标和预设风险目标的情况下，可确定出图像中形成于预设防护目标与车辆之间的告警区域，然后根据该图像中预设风险目标与告警区域之间的位置关系判断是否需要出发车辆盲区告警。该方案通过优化告警策略能够准确识别出真正对车辆存在碰撞风险的目标而触发车辆盲区告警，避免误告警情况的发生，提高车辆盲区告警准确性，还可进一步防止驾驶员对告警产生麻痹而带来的行车安全问题。

附图说明

图1为一个实施例中车辆盲区检测处理方法的应用环境图；

图2为一个实施例中车辆盲区检测处理方法的流程示意图；

图3为一个实施例中预设防护目标的检测结果示意图；

图4为一个实施例中告警区域与预设风险目标的位置关系示意图；

图5为一个实施例中目标检测模型的结构示意图；

图6为一个应用实例中车辆盲区检测处理方法的流程示意图；

图7为一个应用实例中目标检测模型的结构示意图；

图8为一个实施例中车辆盲区检测处理装置的结构框图；

图9为一个实施例中车载终端的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请提供的车辆盲区检测处理方法，可以应用于如图1所示的应用环境中。其中，该应用场景可以包括通信连接的车载终端和BSD侧向相机，BSD侧向相机可以在车辆行驶过程中实时采集车辆盲区图像并传输至车载终端进行分析，车载终端可以根据BSD侧向相机实时采集的车辆盲区图像进行该车辆盲区的检测处理，以及时准确判断车身附近是否存在对车辆行驶安全具有威胁的风险目标，并且当发现车身附近具有风险目标时可触发车辆盲区告警。

具体的，车载终端可以通过BSD侧向相机获取车辆的车辆盲区图像，响应于检测到该车辆盲区图像中包括预设防护目标和预设风险目标，车载终端确定车辆盲区图像中形成于预设防护目标与车辆之间的告警区域；接着，车载终端可确定车辆盲区图像中预设风险目标与该告警区域之间的位置关系；然后车载终端即可根据该位置关系判断是否触发车辆盲区告警。该方案优化了告警策略，使得车载终端能够准确识别出真正对车辆存在碰撞风险的目标后触发车辆盲区告警，避免误告警情况的发生，提高告警准确性，而且还可以防止驾驶员对误报导致的频繁告警产生麻痹而带来行车安全的问题。

在一个实施例中，如图2所示，提供了一种车辆盲区检测处理方法，以该方法应用于图1中的车载终端为例进行说明，包括以下步骤：

步骤S201，获取车辆的车辆盲区图像；

本步骤中，车载终端可以在车辆行驶过程中通过BSD侧向相机实时采集车辆的车辆盲区图像。在具体场景中，车载终端可配合BSD侧向相机为车辆的驾驶员提供辅助驾驶服务，BSD侧向相机采集车辆盲区图像传输给车载终端，车载终端对车辆盲区图像进行分析以协助驾驶员判断车辆盲区是否存在对行车安全具有碰撞等风险的目标，该盲区检测处理过程可由车载终端单独执行而无需依赖于远程服务器，也即对车辆盲区检测可由车载终端离线执行，以防止由远程服务器实施盲区检测处理在断网情况下可能带来的行车安全隐患问题。

步骤S202，响应于检测到车辆盲区图像中包括预设防护目标和预设风险目标，确定车辆盲区图像中形成于预设防护目标与车辆之间的告警区域；

其中，BSD侧向相机采集的车辆盲区图像中可能包括多个目标，例如道路、车道线、行人、骑行者、树木、防护栏、河流等都可以作为所采集到的车辆盲区图像中的目标，而对这些目标的检测可以基于预先构建的神经网络模型进行。本步骤中，可预设若干个目标，当车载终端从该车辆盲区图像中检测到该若干个预设目标时执行后续步骤。

具体的，车载终端的预设目标可包括预设防护目标和预设风险目标。其中，预设防护目标是指对在车辆行驶过程中对车辆具有防护作用的目标物，示例性的，预设防护目标可以包括但不限于是路沿、护栏、绿化隔离带等物体。而预设风险目标则是指对在车辆行驶过程中对车辆具有碰撞风险的目标物，示例性的，预设风险目标可以包括但不限于是行人、自行车骑行者、电瓶车骑行者等物体。

车载终端可以在车辆盲区图像中同时检测该车辆盲区图像中是否包含该预设防护目标和预设风险目标，当车载终端检测到车辆盲区图像中同时包含有预设防护目标和预设风险目标时，车载终端可对此进行响应，确定该车辆盲区图像中形成于预设防护目标与车辆之间的告警区域。具体的，车载终端可将车辆盲区图像中位于车辆的车身与预设防护目标之间的图像区域作为告警区域，该告警区域可以指示出该车辆的车身周围可供车辆行驶的区域，也即该预设防护目标与车辆没有其他防护或者阻隔车辆通行的物体，当有其他目标物进入到该告警区域当中时，将很有可能对该车辆的行驶造成碰撞风险。

步骤S203，确定车辆盲区图像中预设风险目标与告警区域之间的位置关系；

在车载终端确定了告警区域后，可进一步判断车辆盲区图像中预设风险目标与该告警区域之间的位置关系，该位置关系可以表征预设风险目标是否位于该告警区域内。作为一种实施方式，车载终端可以根据车辆盲区图像中预设风险目标对应的图像区域与该告警区域之间是否存在重叠区域来判断两者的位置关系，例如当预设风险目标对应的图像区域与该告警区域之间无重叠区域时可认为预设风险目标不在告警区域当中，当预设风险目标对应的图像区域与该告警区域之间存在重叠区域，则车载终端可判断预设风险目标位于告警区域之内。

步骤S204，根据位置关系判断是否触发车辆盲区告警。

本步骤中，车载终端根据车辆盲区图像中预设风险目标与告警区域之间的位置关系，判断是否需要触发车辆盲区告警。也即车载终端检测到预设风险目标的情况下，也并非直接触发车辆盲区告警，而是需要先进行预设风险目标与告警区域间的位置关系判断后才确定是否触发告警，从而防止误告警的发生。

作为实施例，当位置关系表征预设风险目标位于告警区域之内时，车载终端触发告警，而当位置关系表征预设风险目标位于该告警区域之外时，车载终端不触发告警。

具体的，告警区域之内的一般是车辆可以通行的区域，而告警区域之外的一般是车辆不可通行的区域或称非告警区域。本实施例可只针对进入告警区域之内的预设风险目标进行告警，而对告警区域以外的进行抑制。示例性的，当有预设风险目标进入到告警区域之内时，车载终端所触发的告警可以是双向的，双向的意思是车载终端一方面向驾驶员提示有预设风险目标进入到告警区域，另一方面可向该进入到告警区域的预设风险目标发出告警提示。由此，可以避免即使车载终端检测到预设风险目标虽然距离车辆车身很近，但是由于预设风险目标与车辆车身之间有预设防护目标阻隔，所以预设风险目标并不位于告警区域当中，所以该预设风险目标实际上并不对车辆构成真实的碰撞威胁，因此本实施例可充分利用该告警区域限制和忽略这类预设风险目标的告警，从而减少误告警的发生。

上述车辆盲区检测处理方法，获取车辆盲区图像，检测到该图像中包括有预设防护目标和预设风险目标的情况下，可确定出图像中形成于预设防护目标与车辆之间的告警区域，然后根据该图像中预设风险目标与告警区域之间的位置关系判断是否需要出发车辆盲区告警。该方案通过优化告警策略能够准确识别出真正对车辆存在碰撞风险的目标而触发车辆盲区告警，避免误告警情况的发生，提高车辆盲区告警准确性，还可进一步防止驾驶员对告警产生麻痹而带来的行车安全问题。

在一个实施例中，车载终端从BSD侧向相机处获取的车辆盲区图像中可以包括有多个预设防护目标。这些预设防护目标可以是不同种类的，例如车辆盲区图像中所包含的预设防护目标可以包括有路沿、护栏、绿化隔离带等，这些防护目标都可以对车辆的行驶过程具有防护作用。示例性的，如图3所示，车载终端可以从车辆盲区图像中检测出第一预设防护目标310和第二预设防护目标320，具体的，该第一预设防护目标310可以是路沿，第二预设防护目标320可以是护栏。基于此，上述步骤S202中的确定车辆盲区图像中形成于预设防护目标与车辆之间的告警区域，可以包括：

确定多个预设防护目标中与车辆相距最近的预设防护目标；基于与车辆相距最近的预设防护目标，确定告警区域。

本实施例主要是车载终端可以依据与车辆车身相距最近的预设防护目标作为确定告警区域的依据，这样可以在车辆盲区图像中检测到多个预设防护目标时准确规划出告警区域，而本实施例根据与车辆车身相距最近的预设防护目标所确定的告警区域可准确地反映出车辆可通行的区域，也可以认为在该告警区域中没有其他物体可对该车辆的行驶安全提供防护或者阻隔的作用，此时，当有预设风险目标进入到该告警区域时，说明该预设风险目标很可能会对车辆存在碰撞风险，此时车载终端可触发告警。

在一些实施例中，进一步的，上述实施例中的基于与车辆相距最近的预设防护目标，确定告警区域，具体可以包括如下步骤：

确定车辆盲区图像中用于表征与车辆相距最近的预设防护目标的至少一个图像区域边界；获取至少一个图像区域边界中与车辆相距最近的图像区域边界；将车辆盲区图像中位于图像区域边界与车辆之间的图像区域作为告警区域。

本实施例中，车载终端在确定出车辆盲区图像中与车辆相距最近的预设防护目标后，可进一步采用本实施例的方式确定出告警区域。具体的，车载终端在车辆盲区图像中检测到预设防护目标后，一般可以基于该预设防护目标在图像中的轮廓来表征该预设防护目标在图像中所处的图像区域，而该轮廓在图像中可形成一条或者多条图像区域边界，由此车载终端可确定出车辆盲区图像中用于表征与车辆相距最近的预设防护目标的各条图像区域边界，车载终端进一步从这些图像区域边界当中选取出与车辆相距最近的图像区域边界，并将该图像区域边界与车辆之间的图像区域作为告警区域，并当预设风险目标进入到该告警区域之内时触发告警，由此可以进一步准确锁定告警区域和加强车辆行驶安全性。

示例性的，如图4所示，车载终端可从车辆盲区图像中确定出与车辆相距最近的预设防护目标为路沿后，可从车辆盲区图像中提取路沿所对应的与车辆相距最近的图像区域边界410，具体可以是将路沿在图像上对应的边界点连接成线段形成图像区域边界410，车载终端还可进一步提取出车辆的车身边界420，将该图像区域边界410与车身边界420所围成的区域作为告警区域。基于此，车载终端即可判断已从车辆盲区图像中识别的作为预设风险目标430的骑行者是否在该告警区域内，由于作为预设风险目标430的骑行者并未处于告警区域内，因此车载终端可不触发告警。具体来说，从检测结果来看，从车辆盲区图像中检测到的骑行者虽然距离本车很近，但是由于路沿、护栏等防护目标的阻隔，所以骑行者并不对车辆构成真实的碰撞威胁，因此本实施例可以充分利用告警区域限制这类风险目标的告警，从而减少误报的发生。

在一个实施例中，车载终端可以通过预先构建的目标检测模型同时检测车辆盲区图像中的预设防护目标和预设风险目标。其中，目标检测模型可以基于多任务检测网络实现，如图5所示，该目标检测模型可以包括主干网络、防护目标检测分支网络和风险目标检测分支网络。该主干网络可以用于从车辆盲区图像中提取图像特征，该图像特征可以由防护目标检测分支网络和风险目标检测分支网络共享，这些作为共享特征的图像特征由主干网络提取后分别传递给防护目标检测分支网络和风险目标检测分支网络，该防护目标检测分支网络主要用于基于主干网络传递的图像特征判断车辆盲区图像中是否包括有预设防护目标，而风险目标检测分支网络则主要用于基于主干网络传递的图像特征判断车辆盲区图像中是否包括有预设风险目标。

基于此，车载终端可采用如下方式判断车辆盲区图像中是否包括预设防护目标和预设风险目标，具体包括：

将车辆盲区图像输入预先构建的目标检测模型，以触发该目标检测模型中的主干网络提取该车辆盲区图像的图像特征，并将该图像特征分别传递至目标检测模型中的防护目标检测分支网络和风险目标检测分支网络，使得防护目标检测分支网络输出针对预设防护目标的第一检测结果，以及风险目标检测分支网络输出针对预设风险目标的第二检测结果；获取防护目标检测分支网络输出的第一检测结果，以及获取风险目标检测分支网络输出的第二检测结果；根据第一检测结果和第二检测结果判断车辆盲区图像中是否包括预设防护目标和预设风险目标。

具体的，车载终端在获取到车辆盲区图像后，可将该车辆盲区图像输入到预先构建的目标检测模型，由目标检测模型输出对预设防护目标和预设风险目标的检测结果。其中，车载终端将车辆盲区图像输入目标检测模型，可触发该目标检测模型中的主干网络提取车辆盲区图像的图像特征，该图像特征将由目标检测模型中的防护目标检测分支网络和风险目标检测分支网络共享，从而无需不同检测任务的网络重复图像特征的提取过程，达到节约计算量的效果。主干网络将提取的图像特征分别传递给防护目标检测分支网络和风险目标检测分支网络，防护目标检测分支网络可根据该图像特征输出针对预设防护目标的第一检测结果，该第一检测结果可以包括该车辆盲区图像中是否包含有预设防护目标、包含有哪些预设防护目标等检测结果。类似的，风险目标检测分支网络可根据该图像特征输出针对预设风险目标的第二检测结果，该第二检测结果可以包括该车辆盲区图像中是否包含有预设风险目标、包含有哪些预设防护目标等检测结果。然后，第一检测结果和第二检测结果可由车载终端获取，车载终端即可根据获取的第一检测结果和第二检测结果判断车辆盲区图像中是否同时包含有预设防护目标和预设风险目标，若是则进一步执行确定告警区域和判断预设风险目标与所述告警区域之间的位置关系等步骤。

本实施例的方案可通过预先训练好的目标检测模型同时进行对预设防护目标和预设风险目标的检测过程，提升对目标的检测效率，而且图像特征的提取过程统一由目标检测模型中的主干网络执行后共享至其他两个分支网络，节约了计算量。

在一些实施例中，进一步的，可采用如下方式构建出前述目标检测模型，具体步骤可以包括：

获取多种行车路况下采集的针对预设防护目标和预设风险目标的车辆盲区图像数据集；基于车辆盲区图像数据集，对目标检测模型中的主干网络、防护目标检测分支网络和风险目标检测分支网络进行联合训练。

本实施例主要是基于多种行车路况下采集的车辆盲区图像数据集对目标检测模型中的各网络进行联合训练，以提高车载终端在实际工作时，能够基于该目标检测模型在各种可能的行车路况下对车辆盲区图像中的预设目标进行更准确可靠地检测。

具体的，可预先采集大量在例如不同光照条件、不同天气条件、不同行车场景的BSD侧向相机拍摄的图像数据，作为针对预设防护目标和预设风险目标的车辆盲区图像数据集。其中，车辆盲区图像数据集的图像数据中应当包括有预设防护目标、预设风险目标，这样才能基于这些图像数据对目标检测模型进行训练。在具体应用中，可以预先采集不同光照条件、不同天气条件、不同行车场景中包括有如行人、自行车骑行者、电瓶车骑行者、各种材质的路沿、护栏、绿化隔离带等目标的图像数据，构成车辆盲区图像数据集。

在得到车辆盲区图像数据集后，车载终端或者远程服务器可对目标检测模型中的主干网络、防护目标检测分支网络和风险目标检测分支网络进行联合训练，联合训练可以是通过多任务网络的训练方法同时对主干网络、防护目标检测分支网络和风险目标检测分支网络进行训练。在一些实施例中，若是由远程服务器执行对目标检测模型的训练过程，则训练得到目标检测模型后需发送至车载终端，以使车载终端在车辆运行时可自主对车辆盲区进行告警检测。

在一些实施例中，进一步的，上述基于车辆盲区图像数据集，对目标检测模型中的主干网络、防护目标检测分支网络和风险目标检测分支网络进行联合训练，具体包括：

从车辆盲区图像数据集中获取针对预设防护目标的训练集、测试集和验证集，以及获取针对预设风险目标的训练集、测试集和验证集；利用针对预设防护目标的训练集和针对预设风险目标的训练集交替训练目标检测模型，直至训练后的目标检测模型在针对预设防护目标的测试集和验证集以及在针对预设风险目标的测试集和验证集上满足预设训练条件。

其中，车载终端可以从车辆盲区图像数据集中获取针对预设防护目标的训练集、测试集和验证集，而该针对预设防护目标的训练集、测试集和验证集中需要是车辆盲区图像数据集中包含有预设防护目标的图像，如上所述，可以是包含有如各种材质的路沿、护栏、绿化隔离带的图像，这些图像可以作为第一图像数据集，该第一图像数据集是车辆盲区图像数据集中针对于预设防护目标的图像数据集，然后进一步将该第一图像数据集划分成为上述针对预设防护目标的训练集、测试集和验证集。类似的，车载终端也可从车辆盲区图像数据集中获取针对预设风险目标的第二图像数据集，该第二图像数据集中所包含的图像需要是车辆盲区图像数据集中包含有预设风险目标的图像，例如可以是包含有如行人、自行车骑行者、电瓶车骑行者的图像，然后将其划分为上述针对预设风险目标的训练集、测试集和验证集。

至此，可利用针对预设防护目标的训练集和针对预设风险目标的训练集交替训练目标检测模型，也即在训练目标检测模型时利用不同源数据集采用多任务网络的训练方法，分别用针对预设防护目标的训练集和针对预设风险目标的训练集交替训练该目标检测模型，直到该目标检测模型在针对预设防护目标和针对预设风险目标的验证集和测试集上均达到预期效果或均满足预设训练条件，示例性的，该预设训练条件可以是目标检测模型在针对预设防护目标和针对预设风险目标的验证和测试上均为通过，从而车载终端可以得到训练好的目标检测模型。

本实施例提供的对目标检测模型的训练方案，使得针对预设防护目标和针对预设风险目标的图像数据集可分开维护，降低了图像数据的标注和维护成本，而且同时两个检测任务共享主干网络，达到节约计算量的目的。

为了更清晰阐明本申请提供的方案，将上述车辆盲区检测处理方法应用于盲区行人检测告警的场景中进行说明，如图6所示，具体步骤包括：

第一步，收集并构建车辆盲区图像数据集；

具体的，车载终端可以获取由BSD侧向相机在不同光照条件、不同天气条件、不同场景中拍摄的车辆盲区图像数据，构成车辆盲区图像数据集。进一步的，构建针对预设风险目标的训练集、测试集和验证集。其中，预设风险目标应具体包括：行人、自行车骑行者、电瓶车骑行者等。还构建针对预设防护目标的训练集、测试集和验证集。其中，预设防护目标应具体包括：各种材质的路沿、护栏、绿化隔离带等能分隔车辆通行区域的物体。

第二步，设计并训练目标检测模型；

具体的，该目标检测模型也可理解为多任务检测网络，该目标检测模型可以基于CNN（Convolutional Neural Networks，卷积神经网络）网络构建得到。如图7所示，该目标检测模型可包含行人检测分支（可对应于风险目标检测分支网络）和路沿及分隔区域分割分支（对应于防护目标检测分支网络），同时该两个任务共享CNN主干网络，以达到节约计算量的目的。在对目标检测模型进行训练时，利用不同源数据集多任务网络的训练方法进行训练，例如可以分别用针对行人检测的训练集和针对路沿及分隔区域分割的训练集交替训练该目标检测模型，直到目标检测模型在各验证集和各测试集上达到预期训练效果，得到训练好的目标检测模型。

第三步，设计后处理算法和告警策略；

目标检测模型输出行人检测结果和路沿及分隔区域分隔结果，可获取路沿及分隔区域分割结果并提取距离车辆车身最近的路沿及分隔区域分割结果的边界点，并将这些边界点连接成线段。如图4所示，在表征该线段的图像区域边界410内侧的图像区域（距离车辆近）可定义为告警区域，该图像区域一般为车辆可以通行的区域。在图像区域边界410外侧的区域（距离本车远）一般为受人行道、护栏和绿化隔离带等阻隔的区域，这些区域一般为车辆不可通行的区域，可将其定义为非告警区域。从而可以利用目标检测模型中行人检测分支得到的行人检测结果，然后判断行人检测结果是否在告警区域内，最终车载终端只对告警区域内的危险行人进行告警。从图4所示的检测结果可以看出，检测到的行人虽然距离本车很近，但是由于路沿、护栏等目标阻隔，这些行人并不构成真实的碰撞威胁，由此可充分利用告警区域限制这些目标的告警，从而减少误报的发生。

上述应用实例提供基于深度学习的车辆盲区行人检测告警方法，在输出行人检测结果的同时可输出路沿及道路分隔区域的检测结果，并利用路沿及道路分隔区域优化对盲区行人的告警策略，避免误告警情况的发生，克服了传统技术所采用的告警机制造成告警过于频繁而导致驾驶员对告警产生麻痹的问题。同时，还采用了不同源数据集、多任务网络结构的训练方法构建目标检测模型，行人检测和路沿检测数据集可分开维护，降低了图像数据的标注和维护成本，同时两个任务共享主干网络，达到节约计算量的目的。

应该理解的是，虽然图2至图7的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2至图7中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图8所示，提供了一种车辆盲区检测处理装置，该装置800可以包括：

图像获取模块801，用于获取车辆的车辆盲区图像；

区域确定模块802，用于响应于检测到所述车辆盲区图像中包括预设防护目标和预设风险目标，确定所述车辆盲区图像中形成于所述预设防护目标与所述车辆之间的告警区域；

关系确定模块803，用于确定所述车辆盲区图像中所述预设风险目标与所述告警区域之间的位置关系；

告警判断模块804，用于根据所述位置关系判断是否触发车辆盲区告警。

在一个实施例中，所述车辆盲区图像中包括多个预设防护目标；区域确定模块802，进一步用于确定所述多个预设防护目标中与所述车辆相距最近的预设防护目标；基于所述与所述车辆相距最近的预设防护目标，确定所述告警区域。

在一个实施例中，区域确定模块802，进一步用于确定所述车辆盲区图像中用于表征所述与所述车辆相距最近的预设防护目标的至少一个图像区域边界；获取所述至少一个图像区域边界中与所述车辆相距最近的图像区域边界；将所述车辆盲区图像中位于所述图像区域边界与所述车辆之间的图像区域作为所述告警区域。

在一个实施例中，告警判断模块804，进一步用于当所述位置关系表征所述预设风险目标位于所述告警区域之内时，触发向所述预设风险目标发出告警；当所述位置关系表征所述预设风险目标位于所述告警区域之外时，不对所述预设风险目标发出告警。

在一个实施例中，该装置800，还可以包括：目标检测单元，用于将所述车辆盲区图像输入预先构建的目标检测模型，以触发所述目标检测模型中的主干网络提取所述车辆盲区图像的图像特征，并将所述图像特征分别传递至所述目标检测模型中的防护目标检测分支网络和风险目标检测分支网络，使得所述防护目标检测分支网络输出针对所述预设防护目标的第一检测结果，以及所述风险目标检测分支网络输出针对所述预设风险目标的第二检测结果；获取所述防护目标检测分支网络输出的所述第一检测结果，以及获取所述风险目标检测分支网络输出的所述第二检测结果；根据所述第一检测结果和第二检测结果判断所述车辆盲区图像中是否包括所述预设防护目标和预设风险目标。

在一个实施例中，该装置800，还可以包括：网络训练单元，用于获取多种行车路况下采集的针对所述预设防护目标和预设风险目标的车辆盲区图像数据集；基于所述车辆盲区图像数据集，对所述目标检测模型中的所述主干网络、防护目标检测分支网络和风险目标检测分支网络进行联合训练。

在一个实施例中，网络训练单元，进一步用于从所述车辆盲区图像数据集中获取针对所述预设防护目标的训练集、测试集和验证集，以及获取针对所述预设风险目标的训练集、测试集和验证集；利用针对所述预设防护目标的训练集和针对所述预设风险目标的训练集交替训练所述目标检测模型，直至训练后的目标检测模型在针对所述预设防护目标的测试集和验证集以及在针对所述预设风险目标的测试集和验证集上满足预设训练条件。

关于车辆盲区检测处理装置的具体限定可以参见上文中对于车辆盲区检测处理方法的限定，在此不再赘述。上述车辆盲区检测处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于车载终端中的处理器中，也可以以软件形式存储于车载终端中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种车载终端，其内部结构图可以如图9所示。该车载终端包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该车载终端的处理器用于提供计算和控制能力。该车载终端的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该车载终端的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、NFC（近场通信）或其他技术实现。该计算机程序被处理器执行时以实现一种车辆盲区检测处理方法。该车载终端的显示屏可以是液晶显示屏或者电子墨水显示屏，该车载终端的输入装置可以是显示屏上覆盖的触摸层，也可以是车载终端外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图9中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的车载终端的限定，具体的车载终端可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，还提供了一种车载终端，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read-Only Memory，ROM）、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器（Random Access Memory，RAM）或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器（Static Random Access Memory，SRAM）或动态随机存取存储器（Dynamic Random Access Memory，DRAM）等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种车辆盲区检测处理方法，其特征在于，所述方法包括：

获取车辆的车辆盲区图像；

将所述车辆盲区图像输入预先构建的目标检测模型，以触发所述目标检测模型中的主干网络提取所述车辆盲区图像的图像特征，并将所述图像特征分别传递至所述目标检测模型中的防护目标检测分支网络和风险目标检测分支网络，使得所述防护目标检测分支网络输出针对预设防护目标的第一检测结果，以及所述风险目标检测分支网络输出针对预设风险目标的第二检测结果；获取所述防护目标检测分支网络输出的所述第一检测结果，以及获取所述风险目标检测分支网络输出的所述第二检测结果；根据所述第一检测结果和第二检测结果判断所述车辆盲区图像中是否包括所述预设防护目标和预设风险目标；

响应于检测到所述车辆盲区图像中包括预设防护目标和预设风险目标，确定所述车辆盲区图像中形成于所述预设防护目标与所述车辆之间的告警区域；

确定所述车辆盲区图像中所述预设风险目标与所述告警区域之间的位置关系；

根据所述位置关系判断是否触发车辆盲区告警。

2.根据权利要求1所述的方法，其特征在于，所述车辆盲区图像中包括多个预设防护目标；所述确定所述车辆盲区图像中形成于所述预设防护目标与所述车辆之间的告警区域，包括：

确定所述多个预设防护目标中与所述车辆相距最近的预设防护目标；

基于所述与所述车辆相距最近的预设防护目标，确定所述告警区域。

3.根据权利要求2所述的方法，其特征在于，所述基于所述与所述车辆相距最近的预设防护目标，确定所述告警区域，包括：

确定所述车辆盲区图像中用于表征所述与所述车辆相距最近的预设防护目标的至少一个图像区域边界；

获取所述至少一个图像区域边界中与所述车辆相距最近的图像区域边界；

将所述车辆盲区图像中位于所述与所述车辆相距最近的图像区域边界与所述车辆之间的图像区域作为所述告警区域。

4.根据权利要求1所述的方法，其特征在于，所述根据所述位置关系判断是否触发车辆盲区告警，包括：

当所述位置关系表征所述预设风险目标位于所述告警区域之内时，触发向所述预设风险目标发出告警；

当所述位置关系表征所述预设风险目标位于所述告警区域之外时，不对所述预设风险目标发出告警。

5.根据权利要求1至4任一项所述的方法，其特征在于，所述方法还包括：

获取多种行车路况下采集的针对所述预设防护目标和预设风险目标的车辆盲区图像数据集；

基于所述车辆盲区图像数据集，对所述目标检测模型中的所述主干网络、防护目标检测分支网络和风险目标检测分支网络进行联合训练。

6.根据权利要求5所述的方法，其特征在于，所述基于所述车辆盲区图像数据集，对所述目标检测模型中的所述主干网络、防护目标检测分支网络和风险目标检测分支网络进行联合训练，包括：

从所述车辆盲区图像数据集中获取针对所述预设防护目标的训练集、测试集和验证集，以及获取针对所述预设风险目标的训练集、测试集和验证集；

利用针对所述预设防护目标的训练集和针对所述预设风险目标的训练集交替训练所述目标检测模型，直至训练后的目标检测模型在针对所述预设防护目标的测试集和验证集以及在针对所述预设风险目标的测试集和验证集上满足预设训练条件。

7.一种车辆盲区检测处理装置，其特征在于，包括：

图像获取模块，用于获取车辆的车辆盲区图像；

目标检测单元，用于将所述车辆盲区图像输入预先构建的目标检测模型，以触发所述目标检测模型中的主干网络提取所述车辆盲区图像的图像特征，并将所述图像特征分别传递至所述目标检测模型中的防护目标检测分支网络和风险目标检测分支网络，使得所述防护目标检测分支网络输出针对预设防护目标的第一检测结果，以及所述风险目标检测分支网络输出针对预设风险目标的第二检测结果；获取所述防护目标检测分支网络输出的所述第一检测结果，以及获取所述风险目标检测分支网络输出的所述第二检测结果；根据所述第一检测结果和第二检测结果判断所述车辆盲区图像中是否包括所述预设防护目标和预设风险目标；

区域确定模块，用于响应于检测到所述车辆盲区图像中包括预设防护目标和预设风险目标，确定所述车辆盲区图像中形成于所述预设防护目标与所述车辆之间的告警区域；

关系确定模块，用于确定所述车辆盲区图像中所述预设风险目标与所述告警区域之间的位置关系；

告警判断模块，用于根据所述位置关系判断是否触发车辆盲区告警。

8.根据权利要求7所述的装置，其特征在于，所述车辆盲区图像中包括多个预设防护目标；所述区域确定模块，进一步用于确定所述多个预设防护目标中与所述车辆相距最近的预设防护目标；基于所述与所述车辆相距最近的预设防护目标，确定所述告警区域。

9.一种车载终端，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。

Images