CN110913212B - 基于光流的智能车载摄像头遮挡监测方法及装置、辅助驾驶系统 - Google Patents

Abstract

本申请公开了一种基于光流的智能车载摄像头遮挡监测方法及装置、辅助驾驶系统。该方法包括当所述车载摄像头获取车辆特征数据时，将所述车辆特征数据输入所述图像识别控制器，其中所述车辆特征数据包括当前车辆行进车速和具有连续帧的动态图像；在所述图像识别控制器判断所述车载摄像头是否被物体遮挡，其中所述被物体遮挡是指在所述车辆行进过程中出现的局部遮挡；如果被遮挡，则在所述HMI显示装置上提示告警信息。本申请利用基于角点光流的在线监测方法，可解决车载摄像头在车辆行进过程中的局部遮挡问题。

Description

基于光流的智能车载摄像头遮挡监测方法及装置、辅助驾驶 系统

技术领域

本申请涉及遮挡监测领域，具体而言，涉及一种基于光流的智能车载摄像头遮挡监测方法及装置、辅助驾驶系统。

背景技术

目前，车载摄像头在汽车辅助驾驶和汽车自动驾驶领域使用越来越普及，应用也越来越广泛。车载摄像头已经开始涉及车身控制领域，这就要求摄像头有更高的安全等级，必须能实时对自身的工作状态进行自动检测并对出现的异常情况进行报警。

发明人发现，对于车载摄像头，在车辆行进过程中，由于空中漂浮物如树叶、纸屑或地面溅起的泥浆等遮挡，在这类非主观故意的局部遮挡情况下，会导致图像识别系统在无人知晓的情况下，感知准确率下降，从而导致对应的汽车辅助驾驶功能失效，尤其在控制类辅助驾驶功能应用中，这种驾驶员不易察觉的系统功能失效将会带来对其生命安全的威胁。

针对相关技术中车辆行进过程中局部遮挡的问题，目前尚未提出有效的解决方案。

发明内容

本申请的主要目的在于提供一种基于光流的智能车载摄像头遮挡监测方法及装置、辅助驾驶系统，以解决车辆行进过程中局部遮挡的问题。

为了实现上述目的，根据本申请的一个方面，提供了一种基于光流的智能车载摄像头遮挡在线监测方法，通过车载摄像头、图像识别控制器以及HMI显示装置实现车载摄像头的遮挡监测，所述车载摄像头用于与所述图像识别控制器相连，所述图像识别控制器用于与所述HMI显示装置相连。

根据本申请的基于光流的智能车载摄像头遮挡监测方法包括：当所述车载摄像头获取车辆特征数据时，将所述车辆特征数据输入所述图像识别控制器，其中所述车辆特征数据包括当前车辆行进车速和具有连续帧的动态图像；在所述图像识别控制器判断所述车载摄像头是否被物体遮挡，其中所述被物体遮挡是指在所述车辆行进过程中出现的局部遮挡；如果被遮挡，则在所述HMI显示装置上提示告警。

进一步地，在所述图像识别控制器判断所述车载摄像头是否被物体遮挡包括：

确定待检测图像感知区域，将所述图像感知区域中的图像分成多个子块，子块的遮挡属性初始化设置为未遮挡。为每个所述子块分配一个计数器，其中所述计数器的初始化为0。

进一步地，在所述图像识别控制器判断所述车载摄像头是否被物体遮挡包括：

对图像感知区域进行角点监测，同时在所述动态图像的连续帧间对前面帧检测得到的角点进行跟踪得到角点光流信息，用以得到该角点在当前帧的位置和该角点在其帧间运动的光流信息。

进一步地，所述对图像感知区域进行角点监测时采用角点光流算法。

进一步地，在所述图像识别控制器判断所述车载摄像头是否被物体遮挡包括：

根据角点光流信息，更新图像子块上的计数器；

对于被角点的运动轨迹划过的图像子块，所述计数器清0；

对于未被角点的运动轨迹划过的图像子块，所述计数器加1。

进一步地，在所述图像识别控制器判断所述车载摄像头是否被物体遮挡包括：

对于图像子块计数器数值大于某一设定阈值时，判断该子块的遮挡属性为遮挡；否则判断该子块的遮挡属性为未遮挡。

进一步地，在所述图像识别控制器判断所述车载摄像头是否被物体遮挡之后包括：

对遮挡属性为遮挡的图像子块进行最近邻聚类，得到遮挡区域的位置信息和面积大小。

进一步地，如果遮挡区域位置满足某一设置区域或遮挡面积大于某一设定阈值时，则在所述HMI显示装置上提示告警包括：

如果被遮挡，则在所述HMI显示装置接收来自所述图像识别控制器输出的遮挡信号及遮挡比例，以使在所述HMI显示装置上按照不同等级的声音或指示灯进行报警。

为了实现上述目的，根据本申请的另一方面，提供了一种基于光流的智能车载摄像头遮挡监测装置，通过车载摄像头、图像识别控制器以及HMI显示装置实现车载摄像头的遮挡监测，所述车载摄像头用于与所述图像识别控制器相连，所述图像识别控制器用于与所述HMI显示装置相连。

根据本申请的基于光流的智能车载摄像头遮挡监测装置包括：输入模块，用于当所述车载摄像头获取车辆特征数据时，将所述车辆特征数据输入所述图像识别控制器，其中所述车辆特征数据包括当前车辆行进车速和具有连续帧的动态图像；判断模块，用于在所述图像识别控制器判断所述车载摄像头是否被物体遮挡，其中所述被物体遮挡是指在所述车辆行进过程中出现的局部遮挡；告警提示模块，用于在被遮挡时，在所述HMI显示装置上提示告警信息。

进一步地，装置还包括：遮挡信息模块，所述遮挡信息模块，用于

对满足预设条件的被遮挡图像子块进行最近邻聚类，得到遮挡区域的位置信息和面积大小。

为了实现上述目的，根据本申请的另一方面，提供了一种汽车辅助驾驶系统，包括：用于监测车载摄像头是否被遮挡的监测系统，所述监测系统包括：车载摄像头、图像识别控制器以及HMI显示装置，所述车载摄像头用于与所述图像识别控制器相连，所述图像识别控制器用于与所述HMI显示装置相连，所述监测系统采用如下的步骤进行监测：当所述车载摄像头获取车辆特征数据时，将所述车辆特征数据输入所述图像识别控制器，其中所述车辆特征数据包括当前车辆行进车速和具有连续帧的动态图像；在所述图像识别控制器判断所述车载摄像头是否被物体遮挡，其中所述被物体遮挡是指在所述车辆行进过程中出现的局部遮挡；如果被遮挡，则在所述HMI显示装置上提示告警信息。

在本申请实施例中基于光流的智能车载摄像头遮挡监测方法及装置、辅助驾驶系统，采用通过车载摄像头、图像识别控制器以及HMI显示装置实现车载摄像头的遮挡监测，所述车载摄像头用于与所述图像识别控制器相连，所述图像识别控制器用于与所述HMI显示装置相连的方式，通过当所述车载摄像头获取车辆特征数据时，将所述车辆特征数据输入所述图像识别控制器，达到了在所述图像识别控制器判断所述车载摄像头是否被物体遮挡的目的，从而实现了如果被遮挡，则在所述HMI显示装置上提示告警的技术效果，进而解决了车载摄像头在车辆行进过程中局部遮挡的技术问题。

附图说明

构成本申请的一部分的附图用来提供对本申请的进一步理解，使得本申请的其它特征、目的和优点变得更明显。本申请的示意性实施例附图及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是根据本申请实施例的基于光流的车载摄像头遮挡监测方法流程示意图；

图2是根据本申请实施例的基于光流的车载摄像头遮挡监测装置结构示意图；

图3是根据本申请实施例的用于辅助驾驶系统的基于光流的车载摄像头遮挡监测装置硬件结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

在本申请中，术语“上”、“下”、“左”、“右”、“前”、“后”、“顶”、“底”、“内”、“外”、“中”、“竖直”、“水平”、“横向”、“纵向”等指示的方位或位置关系为基于附图所示的方位或位置关系。这些术语主要是为了更好地描述本申请及其实施例，并非用于限定所指示的装置、元件或组成部分必须具有特定方位，或以特定方位进行构造和操作。

并且，上述部分术语除了可以用于表示方位或位置关系以外，还可能用于表示其他含义，例如术语“上”在某些情况下也可能用于表示某种依附关系或连接关系。对于本领域普通技术人员而言，可以根据具体情况理解这些术语在本申请中的具体含义。

此外，术语“安装”、“设置”、“设有”、“连接”、“相连”、“套接”应做广义理解。例如，可以是固定连接，可拆卸连接，或整体式构造；可以是机械连接，或电连接；可以是直接相连，或者是通过中间媒介间接相连，又或者是两个装置、元件或组成部分之间内部的连通。对于本领域普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

如图1和3所示，该方法包括如下的步骤S101至步骤S103：

步骤S101，当所述车载摄像头获取车辆特征数据时，将所述车辆特征数据输入所述图像识别控制器，

其中所述车辆特征数据至少包括当前车辆行进车速和具有连续帧的动态图像。

本申请的实施例中通过车载摄像头100、图像识别控制器200以及HMI显示装置300实现车载摄像头的遮挡监测，所述车载摄像头用于与所述图像识别控制器相连，所述图像识别控制器用于与所述HMI显示装置相连。

步骤S102，在所述图像识别控制器判断所述车载摄像头是否被物体遮挡，其中所述被物体遮挡是指在所述车辆行进过程中出现的局部遮挡；

对于车载摄像头100，在车辆行进过程中，由于空中漂浮物比如树叶、纸屑或地面溅起的泥浆等遮挡，会出现这类非主观故意的遮挡情况。

在所述图像识别控制器判断所述车载摄像头是否被物体遮挡，进一步车载摄像头是否被物体遮挡特别是指在所述车辆行进过程中出现的局部遮挡。在本申请的实施例中主要考虑车辆行进过程中的局部遮挡。

步骤S103，如果被遮挡，则在所述HMI显示装置上提示告警。

如果在所述图像识别控制器判断被遮挡，则会在所述HMI显示装置上提示告警。

具体地，所述车载摄像头100获取动态图像数据和本车车速，将图像和车速实时传入图像识别控制器200。所述图像识别控制器200通过使用预设的角点监测算法和/或预设角点光流算法配合图像区域遮挡检测法实时判别所述车载摄像头100是否被遮挡，并将结果传至HMI显示装置，若出现所述车载摄像头100被异物遮挡情况，所述HMI显示装置300可通过指示灯或声音提示的方式向驾驶员提出系统失效警告信息，便于驾驶员及时接管车辆控制权，消除由于功能失效带来的安全隐患。

从以上的描述中，可以看出，本申请实现了如下技术效果：

在本申请实施例中，采用通过车载摄像头、图像识别控制器以及HMI显示装置实现车载摄像头的遮挡监测，所述车载摄像头用于与所述图像识别控制器相连，所述图像识别控制器用于与所述HMI显示装置相连的方式，通过当所述车载摄像头获取车辆特征数据时，将所述车辆特征数据输入所述图像识别控制器，达到了在所述图像识别控制器判断所述车载摄像头是否被物体遮挡的目的，从而实现了如果被遮挡，则在所述HMI显示装置上提示告警的技术效果，进而解决了车载摄像头在车辆行进过程中被局部遮挡的技术问题。

根据本申请实施例，作为本实施例中的优选，在所述图像识别控制器判断所述车载摄像头是否被物体遮挡包括：确定待检测图像感知区域，将所述图像感知区域中的图像分成多个子块，每个所述子块分配一个计数器，其中所述计数器的初始化为0，若当前时刻的子块被角点运动轨迹划过，则对所述计数器清0，判定该子块遮挡属性为未被遮挡。否则，对所述计数器加1，若计数器数值大于某一设定阈值，则判定该子块的遮挡属性为遮挡，否则为未被遮挡。

如果车辆静止，则不进行局部遮挡检测。

在车辆行驶过程中，检测图像感知区域的图像分成M x N个子块，M，N为整数，每个子块分配一个计数器，初始化为0。若当前时刻的子块被角点运动轨迹划过，则对所述计数器清0，判定该子块遮挡属性为未被遮挡。否则，对所述计数器加1，若计数器数值大于某一设定阈值，则判定该子块的遮挡属性为遮挡，否则为未被遮挡。

需要注意的是，图像的非感知区域是指比如天空，由于并不影响功能，可不做分析。

根据本申请实施例，作为本实施例中的优选，在所述图像识别控制器判断所述车载摄像头是否被物体遮挡包括：对图像感知区域进行角点监测，同时在所述动态图像的连续帧间对前面帧检测得到的角点进行跟踪得到角点光流信息，用以得到该角点在当前帧的位置和该角点在其帧间运动的光流信息。

上述实施例中，采用的局部遮挡判断方法，不依赖于任何外界固有装置和特有环境，可实时在线运行于整个行车过程中。

根据本申请实施例，作为本实施例中的优选，所述对图像感知区域进行角点监测时采用角点光流算法。

具体地，可使用如KLT等经典角点跟踪方法，也可以通过使用传统图像算法，或机器学习，或深度学习方法计算得到前后帧间逐像素光流信息，然后提取出被检测角点的光流信息，在本申请的实施例中并不进行具体限定。

根据本申请实施例，作为本实施例中的优选，在所述图像识别控制器判断所述车载摄像头是否被物体遮挡包括：根据角点光流信息，更新图像子块上的计数器；对于被角点的运动轨迹划过的图像子块，所述计数器清0；对于未被角点的运动轨迹划过的图像子块，所述计数器加1。

具体地，根据角点光流信息，更新图像子块计数器。

若被角点的运动轨迹划过的子块，计数器清0；否则计数器加1；

原因在于：当角点光流不为0，则说明该角点在图像中成像是帧间运动的，不是静止不变的。由于遮挡物所产生的角点是不会随着时间或车辆运动而改变在图像中的位置即也就是说来自于遮挡物的角点光流信息是永恒静止的。基于这个原理，就可以很好地判断该角点前后帧间路径划过的区域有没有被遮挡，同时判断出对应区域的图像分块在当前时刻是否未被遮挡。即被运动角点轨迹划过的区域，没有被遮挡。

在上述实施例中，不直接使用图像检测结果进行遮挡判断，而是结合车速和连续帧间累计信息进行车载摄像头遮挡识别，有效解决了偶发的误检现象。

根据本申请实施例，作为本实施例中的优选，在所述图像识别控制器判断所述车载摄像头是否被物体遮挡之后包括：对满足预设条件的被遮挡图像子块进行最近邻聚类，得到遮挡区域的位置信息和面积大小。

优选地，为了得到遮挡区域的位置和面积信息，需要对满足条件的遮挡子块进行最近邻聚类。

通过帧间分块遮挡计数器累加的方法，有效剔除单帧图像的误判可能，提高系统稳定性。

在一些实施例中，当且仅当分块遮挡计数器大于某一合理预设阈值时，判断该子块被遮挡，否则，判断该子块未被遮挡。

根据本申请实施例，作为本实施例中的优选，如果被遮挡，则在所述HMI显示装置上提示告警包括：

如果被遮挡，则在所述HMI显示装置300接收来自所述图像识别控制器输出的遮挡信号及遮挡比例，以使在所述HMI显示装置300上按照不同等级的声音或指示灯进行报警。

具体地，HMI显示装置接收来自图像识别控制器输出的遮挡信号及遮挡比例，实现不同等级的声音或指示灯报警。

在上述实施中提出的遮挡判断方法不仅可以给出摄像头被遮挡的是与否的信号，还能给出摄像头被遮挡面积比和具体遮挡位置信息。

需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

根据本申请实施例，如图2所示，还提供了一种用于实施上述方法的基于光流的智能车载摄像头遮挡监测装置，通过车载摄像头、图像识别控制器以及HMI显示装置实现车载摄像头的遮挡监测，所述车载摄像头用于与所述图像识别控制器相连，所述图像识别控制器用于与所述HMI显示装置相连，如图2示，该装置包括：输入模块10，用于当所述车载摄像头获取车辆特征数据时，将所述车辆特征数据输入所述图像识别控制器，其中所述车辆特征数据至少包括当前车辆行进车速和具有连续帧的动态图像；判断模块20，用于在所述图像识别控制器判断所述车载摄像头是否被物体遮挡，其中所述被物体遮挡是指在所述车辆行进过程中出现的局部遮挡；告警提示模块30，用于在被遮挡时，则在所述HMI显示装置上提示告警。

本申请实施例的输入模块10中本申请的实施例中通过车载摄像头100、图像识别控制器200以及HMI显示装置300实现车载摄像头的遮挡监测，所述车载摄像头用于与所述图像识别控制器相连，所述图像识别控制器用于与所述HMI显示装置相连。

本申请实施例的判断模块20中对于车载摄像头100，在车辆行进过程中，由于空中漂浮物比如树叶、纸屑或地面溅起的泥浆等遮挡，会出现这类非主观故意的遮挡情况。

在所述图像识别控制器判断所述车载摄像头是否被物体遮挡，进一步车载摄像头是否被物体遮挡特别是指在所述车辆行进过程中出现的局部遮挡。在本申请的实施例中主要考虑车辆行进过程中的局部遮挡。

本申请实施例的告警提示模块30中如果在所述图像识别控制器判断被遮挡，则会在所述HMI显示装置上提示告警。

具体地，所述车载摄像头100获取动态图像数据和本车车速，将图像和车速实时传入图像识别控制器200。所述图像识别控制器200通过使用预设的角点监测算法和/或预设角点光流算法配合图像区域遮挡检测法实时判别所述车载摄像头100是否被遮挡，并将结果传至HMI显示装置，若出现所述车载摄像头100被异物遮挡情况，所述HMI显示装置300可通过指示灯或声音提示的方式向驾驶员提出系统失效警告信息，便于驾驶员及时接管车辆控制权，消除由于功能失效带来的安全隐患。

在本申请的另一实施例中，如图3所示，还提供了一种汽车辅助驾驶系统，包括：用于监测车载摄像头是否被遮挡的监测系统，所述监测系统包括：车载摄像头100、图像识别控制器200以及HMI显示装置300，所述车载摄像头用于与所述图像识别控制器相连，所述图像识别控制器用于与所述HMI显示装置相连，所述监测系统采用如下的步骤进行监测：

当所述车载摄像头获取车辆特征数据时，将所述车辆特征数据输入所述图像识别控制器，其中所述车辆特征数据至少包括当前车辆行进车速和具有连续帧的动态图像；

在所述图像识别控制器判断所述车载摄像头是否被物体遮挡，其中所述被物体遮挡是指在所述车辆行进过程中出现的局部遮挡；

如果被遮挡，则在所述HMI显示装置上提示告警。

在所述图像识别控制器判断所述车载摄像头是否被物体遮挡包括：

确定待检测图像感知区域，将所述图像感知区域中的图像分成多个子块，每个所述子块分配一个计数器，其中所述计数器的初始化为0。若当前时刻，角点运动轨迹划过该子块，则在所述计数器清0，否则加1。

在一些实施例中，优选地，在所述图像识别控制器判断所述车载摄像头是否被物体遮挡包括：

对图像感知区域进行角点监测，同时在所述动态图像的连续帧间对前面帧检测得到的角点进行跟踪得到角点光流信息，用以得到该角点在当前帧的位置和该角点在其帧间运动的光流信息。

在一些实施例中，优选地，所述对图像感知区域进行角点监测时采用角点光流算法。

在一些实施例中，优选地，在所述图像识别控制器判断所述车载摄像头是否被物体遮挡包括：

根据角点光流信息，更新图像子块上的计数器；

对于被角点的运动轨迹划过的图像子块，所述计数器清0；

对于未被角点的运动轨迹划过的图像子块，所述计数器加1。

在一些实施例中，优选地，在所述图像识别控制器判断所述车载摄像头是否被物体遮挡包括：

对图像子块计数器数值大于某一设定阈值时，设定所述子块的遮挡属性为遮挡，否则，设置其遮挡属性为未被遮挡。

在一些实施例中，优选地，在所述图像识别控制器判断所述车载摄像头是否被物体遮挡之后包括：

对满足预设条件的被遮挡图像子块进行最近邻聚类，得到遮挡区域的位置信息和面积大小。

在一些实施例中，优选地，如果被遮挡，则在所述HMI显示装置上提示告警包括：

如果被遮挡，则在所述HMI显示装置接收来自所述图像识别控制器输出的遮挡信号及遮挡比例，以使在所述HMI显示装置上按照不同等级的声音或指示灯进行报警。

显然，本领域的技术人员应该明白，上述的本申请的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本申请不限制于任何特定的硬件和软件结合。

本申请的实现原理如下：

对于车载摄像头，在车辆行进过程中，由于空中漂浮物比如树叶、纸屑或地面溅起的泥浆等遮挡，在这类非主观故意的遮挡情况下，视频画面中仍旧会出现景物，图像识别系统仍然可以识别到部分车辆、行人、车道线等相关汽车辅助驾驶需要感知的物体，但由于遮挡的存在，会导致图像识别系统在无人知晓的情况下，系统感知准确率下降，从而导致对应的汽车辅助驾驶功能失效，尤其在控制类辅助驾驶功能应用中，这种驾驶员不知情的系统功能失效将会带来对其生命安全的威胁。然后，这类局部遮挡状态目前尚无较为有效的办法来识别。

本申请实施例中提供的方法，解决了车载摄像头在行车过程中的非主观意识的局部遮挡问题。此外，通过局部遮挡判断方法，不依赖于任何外界固有装置和特有环境，可实时在线运行于整个行车过程中。进一步地，通过遮挡判断方法不仅可以给出车载摄像头被遮挡的是与否的信号，还能给出车载摄像头遮挡面积比和具体遮挡位置信息。

步骤1：若本车静止，不进行局部遮挡检测，否则，跳转步骤2；

步骤2：将系统检测图像感知区域(非感知区域，如天空，由于并不影响系统功能，可不做分析)的图像分成M x N个子块，每个子块分配一个计数器，初始化为0。

步骤3：对感知区域进行角点监测，并在连续帧间，对前面帧检测得到的角点进行跟踪，得到其在当前帧的位置，同时得到了其帧间运动光流信息。即该角点于前后帧间在图像上位置变化量，横向位移dx和纵向位移dy。

此处的角点跟踪即为所述角点光流法：可使用如KLT等经典角点跟踪方法，也可以通过使用传统图像算法，或机器学习，或深度学习方法计算得到前后帧间逐像素光流信息，然后提取出被检测角点的光流信息。

步骤4：根据角点光流信息，更新图像子块计数器。若被角点的运动轨迹划过的子块，计数器清0；否则，计数器加1；

角点光流不为0，就说明该角点在图像中成像是帧间运动的，不是静止不变的。当遮挡物所产生的角点是不会随着时间或车辆运动而改变在图像中的位置即就是说来自于遮挡物的角点光流信息是永恒静止的。基于这个原理，就可以很好地判断该角点前后帧间路径划过的区域有没有被遮挡，同时判断出对应区域的图像分块在当前时刻是否未被遮挡。即被运动角点轨迹划过的区域，没有被遮挡。

在所述图像识别控制器判断所述车载摄像头是否被物体遮挡时还包括：

对于图像子块计数器数值大于某一设定阈值时，判断该子块的遮挡属性为遮挡；否则判断该子块的遮挡属性为未遮挡。

步骤5：对满足条件的遮挡子块进行最近邻聚类，得到遮挡区域的位置和面积信息。

具体地，所述遮挡区域的面积可根据已判定的遮挡子块数量/图像子块总数得到。

通过帧间分块遮挡计数器累加的方法，有效剔除单帧图像的误判可能，提高系统稳定性。当且仅当分块遮挡计数器大于某一合理阈值时，判断该子块被遮挡，否则，判断该子块未被遮挡。其中所述阈值根据摄像头采集帧率进行适当调整。

步骤6：针对步骤5中得到的遮挡区域个数、位置及面积，当某一遮挡区域的遮挡面积大于某一阈值或遮挡区域总面积大于某一阈值时，判断为车载摄像头被遮挡，同时计算出遮挡面积占图像总面积的面积比例，并将结果发送至HMI显示装置。

步骤7：HMI显示装置接收来自图像识别控制器输出的遮挡信号及遮挡比例，实现不同等级的声音或指示灯报警。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (7)

1.一种基于光流的智能车载摄像头遮挡监测方法，其特征在于，通过车载摄像头、图像识别控制器以及HMI显示装置实现车载摄像头的遮挡监测，所述车载摄像头用于与所述图像识别控制器相连，所述图像识别控制器用于与所述HMI显示装置相连，所述方法包括：

当所述车载摄像头获取车辆特征数据时，将所述车辆特征数据输入所述图像识别控制器，其中所述车辆特征数据包括当前车辆行进车速和具有连续帧的动态图像；

在所述图像识别控制器判断所述车载摄像头是否被物体遮挡，其中所述被物体遮挡是指在所述车辆行进过程中出现的局部遮挡；

如果被遮挡，则在所述HMI显示装置上提示告警信息；

在所述图像识别控制器判断所述车载摄像头是否被物体遮挡包括：

确定待检测图像感知区域，将所述图像感知区域中的图像分成多个子块，每个所述子块分配一个计数器，其中所述计数器的初始化为0；

对图像感知区域进行角点监测，同时在所述动态图像的连续帧间对前面帧检测得到的角点进行跟踪得到角点光流信息，用以得到该角点在当前帧的位置和该角点在其帧间运动的光流信息；

根据角点光流信息，更新图像子块上的计数器；

对于被角点的运动轨迹划过的图像子块，所述计数器清0；

对于未被角点的运动轨迹划过的图像子块，所述计数器加1；

在所述图像识别控制器判断所述车载摄像头是否被物体遮挡时，还包括：

判断子块是否被遮挡，当且仅当该子块对应的计数器数值大于预设阈值时，判定该子块被遮挡，否则判断该子块未被遮挡。

2.根据权利要求1所述的智能车载摄像头遮挡监测方法，其特征在于，所述对图像感知区域进行角点监测时采用角点光流算法。

3.根据权利要求1所述的车载摄像头遮挡监测方法，其特征在于，在所述图像识别控制器判断所述车载摄像头是否被物体遮挡之后包括：

对遮挡属性为遮挡的图像子块进行最近邻聚类，得到遮挡区域的位置信息和面积大小。

4.根据权利要求1所述的智能车载摄像头遮挡监测方法，其特征在于，如果被遮挡，则在所述HMI显示装置上提示告警包括：

如果被遮挡，则在所述HMI显示装置接收来自所述图像识别控制器输出的遮挡信号及遮挡比例，以使在所述HMI显示装置上按照不同等级的声音或指示灯进行报警。

5.一种基于光流的智能车载摄像头遮挡监测装置，其特征在于，通过车载摄像头、图像识别控制器以及HMI显示装置实现车载摄像头的遮挡监测，所述车载摄像头用于与所述图像识别控制器相连，所述图像识别控制器用于与所述HMI显示装置相连，所述装置包括：

输入模块，用于当所述车载摄像头获取车辆特征数据时，将所述车辆特征数据输入所述图像识别控制器，其中所述车辆特征数据包括当前车辆行进车速和具有连续帧的动态图像；

判断模块，用于在所述图像识别控制器判断所述车载摄像头是否被物体遮挡，其中所述被物体遮挡是指在所述车辆行进过程中出现的局部遮挡；

告警提示模块，用于在被遮挡时，在所述HMI显示装置上提示告警；

在所述图像识别控制器判断所述车载摄像头是否被物体遮挡包括：

确定待检测图像感知区域，将所述图像感知区域中的图像分成多个子块，每个所述子块分配一个计数器，其中所述计数器的初始化为0；

对图像感知区域进行角点监测，同时在所述动态图像的连续帧间对前面帧检测得到的角点进行跟踪得到角点光流信息，用以得到该角点在当前帧的位置和该角点在其帧间运动的光流信息；

根据角点光流信息，更新图像子块上的计数器；

对于被角点的运动轨迹划过的图像子块，所述计数器清0；

对于未被角点的运动轨迹划过的图像子块，所述计数器加1；

在所述图像识别控制器判断所述车载摄像头是否被物体遮挡时，还包括：

判断子块是否被遮挡，当且仅当该子块对应的计数器数值大于预设阈值时，判定该子块被遮挡，否则判断该子块未被遮挡。

6.根据权利要求5所述的智能车载摄像头遮挡监测装置，其特征在于，还包括：遮挡信息模块，所述遮挡信息模块，用于

对满足预设条件的被遮挡图像子块进行最近邻聚类，得到遮挡区域的位置信息和面积大小。

7.一种基于智能驾驶的汽车辅助驾驶系统，其特征在于，包括：用于监测车载摄像头是否被遮挡的监测系统，所述监测系统包括：车载摄像头、图像识别控制器以及HMI显示装置，所述车载摄像头用于与所述图像识别控制器相连，所述图像识别控制器用于与所述HMI显示装置相连，所述监测系统采用如下的步骤进行监测：

当所述车载摄像头获取车辆特征数据时，将所述车辆特征数据输入所述图像识别控制器，其中所述车辆特征数据至少包括当前车辆行进车速和具有连续帧的动态图像；

在所述图像识别控制器判断所述车载摄像头是否被物体遮挡，其中所述被物体遮挡是指在所述车辆行进过程中出现的局部遮挡；

如果被遮挡，则在所述HMI显示装置上提示告警信息；

在所述图像识别控制器判断所述车载摄像头是否被物体遮挡包括：

确定待检测图像感知区域，将所述图像感知区域中的图像分成多个子块，每个所述子块分配一个计数器，其中所述计数器的初始化为0；

对图像感知区域进行角点监测，同时在所述动态图像的连续帧间对前面帧检测得到的角点进行跟踪得到角点光流信息，用以得到该角点在当前帧的位置和该角点在其帧间运动的光流信息；

根据角点光流信息，更新图像子块上的计数器；

对于被角点的运动轨迹划过的图像子块，所述计数器清0；

对于未被角点的运动轨迹划过的图像子块，所述计数器加1；

在所述图像识别控制器判断所述车载摄像头是否被物体遮挡时，还包括：

判断子块是否被遮挡，当且仅当该子块对应的计数器数值大于预设阈值时，判定该子块被遮挡，否则判断该子块未被遮挡。

Images