CN111932596A - 摄像头遮挡区域的检测方法、装置、设备和存储介质 - Google Patents

摄像头遮挡区域的检测方法、装置、设备和存储介质 Download PDF

Info

Publication number
CN111932596A
CN111932596A CN202011029293.8A CN202011029293A CN111932596A CN 111932596 A CN111932596 A CN 111932596A CN 202011029293 A CN202011029293 A CN 202011029293A CN 111932596 A CN111932596 A CN 111932596A
Authority
CN
China
Prior art keywords
image
occlusion
frame
detection area
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011029293.8A
Other languages
English (en)
Other versions
CN111932596B (zh
Inventor
程飞洋
郑伟
杨广
刘国清
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Youjia Innovation Technology Co ltd
Original Assignee
Shenzhen Minieye Innovation Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Minieye Innovation Technology Co Ltd filed Critical Shenzhen Minieye Innovation Technology Co Ltd
Priority to CN202011029293.8A priority Critical patent/CN111932596B/zh
Publication of CN111932596A publication Critical patent/CN111932596A/zh
Application granted granted Critical
Publication of CN111932596B publication Critical patent/CN111932596B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • G06T7/44—Analysis of texture based on statistical description of texture using image operators, e.g. filters, edge density metrics or local histograms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Abstract

本申请提供一种摄像头遮挡区域的检测方法、装置、设备和存储介质，上述方法包括：获取摄像头拍摄的多帧图像；各帧图像具有相同的遮挡检测区域；基于多帧图像之间的差分图像所具有的图像特征，判断遮挡检测区域在多帧图像中是否存在图像内容变化；若遮挡检测区域在多帧图像中不存在图像内容变化，则对各帧图像中对应于遮挡检测区域的图像像素值平均处理，获取多帧图像关于遮挡检测区域的帧融合图像；根据帧融合图像的图像梯度信息，判断帧融合图像是否存在针对遮挡检测区域的图像纹理缺失；若帧融合图像存在图像纹理缺失，则确定对摄像头在遮挡检测区域形成遮挡，实现摄像头遮挡检测的实时分析，适用于行驶场景的摄像头遮挡检测。

Description

摄像头遮挡区域的检测方法、装置、设备和存储介质
技术领域
本申请涉及计算机视觉技术领域，特别是涉及一种摄像头遮挡区域的检测方法、装置、计算机设备和存储介质。
背景技术
基于摄像头所具备图像采集功能，大多数行驶辅助系统会将摄像头作为视觉传感器之一，以实现行驶辅助，如车辆的高级驾驶辅助系统（Advanced Driving AssistantSystem，ADAS系统）、机器人的行驶辅助系统；其中，摄像头实现正常采集图像的功能对保证行驶辅助系统正常运行有重要的作用。
在长时间的使用过程中，摄像头容易因为灰尘、油污或硬件故障等原因无法采集清晰的道路场景图像，在采集到的图像中存在一定的信息盲区；其中，因近距离物体遮挡摄像头、镜头脏污或者设备故障等因素而采集到存在信息盲区的图像可以归属为摄像头发生遮挡的情况下采集到的图像。因此，实时检测摄像头是否发生遮挡对保障正常行驶有着至关重要的作用。
但是，传统的摄像头遮挡检测算法，一般是针对室内或者车内等静态场景的摄像头设计的，只能分析车辆/机器人静止时的摄像头遮挡情况，受噪声、光照变化等因素的影响较大，鲁棒性不高，难以进行车辆/机器人在行驶过程中的摄像头遮挡检测；虽然角点光流算法可以对行驶过程中的摄像头进行遮挡检测，但是角点光流算法主要是基于多帧图像的角点光流信息进行遮挡检测，并不适用车辆/机器人在静止状态下的摄像头遮挡分析。
可见，由于行驶场景包括行驶时的动态过程和静止时的静态过程，因此，上述的摄像头遮挡检测算法均难以适用到行驶场景的摄像头遮挡检测分析。
发明内容
基于此，有必要针对上述技术问题，提供一种摄像头遮挡区域的检测方法、装置、计算机设备和存储介质。
一种摄像头遮挡区域的检测方法，所述方法包括：
获取摄像头拍摄的多帧图像；各帧图像具有相同的遮挡检测区域；
基于所述多帧图像之间的差分图像所具有的图像特征，判断所述遮挡检测区域在所述多帧图像中是否存在图像内容变化；
若所述遮挡检测区域在所述多帧图像中不存在所述图像内容变化，则对各帧图像中对应于所述遮挡检测区域的图像像素值平均处理，获取所述多帧图像关于所述遮挡检测区域的帧融合图像；
根据所述帧融合图像的图像梯度信息，判断所述帧融合图像是否存在针对所述遮挡检测区域的图像纹理缺失；
若所述帧融合图像存在所述图像纹理缺失，则确定对所述摄像头在所述遮挡检测区域形成遮挡。
一种摄像头遮挡区域的检测装置，所述装置包括：
图像获取模块，用于获取摄像头拍摄的多帧图像；各帧图像具有相同的遮挡检测区域；
图像内容变化判断模块，用于基于所述多帧图像之间的差分图像所具有的图像特征，判断所述遮挡检测区域在所述多帧图像中是否存在图像内容变化；
图像融合模块，用于若所述遮挡检测区域在所述多帧图像中不存在所述图像内容变化，则对各帧图像中对应于所述遮挡检测区域的图像像素值平均处理，获取所述多帧图像关于所述遮挡检测区域的帧融合图像；
图像纹理缺失判断模块，用于根据所述帧融合图像的图像梯度信息，判断所述帧融合图像是否存在针对所述遮挡检测区域的图像纹理缺失；
遮挡确定模块，用于若所述帧融合图像存在所述图像纹理缺失，则确定对所述摄像头在所述遮挡检测区域形成遮挡。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行上述方法。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行上述方法。
上述摄像头遮挡区域的检测方法、装置、计算机设备和存储介质，获取摄像头拍摄的多帧图像；各帧图像具有相同的遮挡检测区域；基于多帧图像之间的差分图像所具有的图像特征，车载终端判断遮挡检测区域在多帧图像中是否存在图像内容变化；若遮挡检测区域在多帧图像中不存在图像内容变化，则对各帧图像中对应于遮挡检测区域的图像像素值平均处理，车载终端获取多帧图像关于遮挡检测区域的帧融合图像；根据帧融合图像的图像梯度信息，车载终端判断帧融合图像是否存在针对遮挡检测区域的图像纹理缺失；若帧融合图像存在图像纹理缺失，车载终端则确定对摄像头在遮挡检测区域形成遮挡；可见，在上述的遮挡检测步骤中，通过多帧图像之间的差分图像的图像特征，识别遮挡检测区域是否存在图像内容变化，并且在图像内容不存在变化的情况下，进一步对多帧图像的图像像素值进行平均处理，根据得到的帧融合图像的图像梯度信息，识别是否存在针对遮挡检测区域的图像纹理缺失，通过识别图像内容变化实现动态遮挡检测和识别图像纹理缺失实现静态遮挡检测，适用于动静态两种过程的遮挡检测，可以提高摄像头遮挡检测方法的鲁棒性，实现摄像头遮挡检测的实时分析，适用于行驶场景的摄像头遮挡检测。
附图说明
图1为一个实施例中摄像头遮挡区域的检测方法的应用环境图；
图2为一个实施例中摄像头遮挡区域的检测方法的流程示意图；
图3为另一个实施例中摄像头遮挡区域的检测方法的流程示意图；
图4为一个实施例中动态变化预测网络的架构图；
图5为一个实施例中多帧图像之间的差分处理示意图；
图6（a）为一个实施例中训练样本示意图；
图6（b）为一个实施例中训练样本示意图；
图6（c）为一个实施例中训练样本示意图；
图6（d）为一个实施例中训练样本示意图；
图7为一个实施例中遮挡预测网络的架构图；
图8（a）为一个实施例中车辆静止时采集图像；
图8（b）为一个实施例中另一个时刻车辆静止时采集图像；
图8（c）为一个实施例中多帧图像进行均值处理后得到的图像；
图8（d）为一个实施例中噪声图像；
图9（a）为一个实施例中预测结果示意图；
图9（b）为一个实施例中预测结果示意图；
图9（c）为一个实施例中预测结果示意图；
图9（d）为一个实施例中预测结果示意图；
图10为一个实施例中摄像头遮挡区域的检测装置的结构框图；
图11为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本申请所描述的实施例可以与其它实施例相结合。
基于摄像头所具备图像采集功能，大多数行驶辅助系统会将摄像头作为视觉传感器之一，以实现行驶辅助，如车辆的高级驾驶辅助系统（Advanced Driving AssistantSystem，ADAS系统）、机器人的行驶辅助系统；示例性地，ADAS系统在驾驶过程中，摄像头实时采集环境数据，进行目标检测，追踪以及主动预测行驶危险，能够帮助驾驶员及时感知危险，以提高安全驾驶行为。可见，摄像头实现正常采集图像的功能对保证车辆、机器人等行驶辅助系统正常运行有重要的作用。
但是在长时间的使用过程中，摄像头容易因为灰尘、油污或硬件故障等原因无法采集清晰的道路场景图像，因此，实时检测摄像头的工作状态对保障驾驶安全预警有着至关重要的作用。在行驶场景中，针对摄像头的实时遮挡检测分析可以包括行驶时的遮挡检测和静止时的遮挡检测，如车辆行驶过程中的遮挡检测和车辆静止时的遮挡检测。
可以理解的是，由近距离物体遮挡摄像头、镜头脏污或者设备故障等情景下，均可以理解为摄像头发生遮挡；在摄像头遮挡情况下，采集到的场景图像存在信息盲区。
传统的摄像头遮挡检测算法，一般是针对室内或者车内等静态场景的摄像头设计的，只能分析车辆/机器人静止时的摄像头遮挡情况，受噪声、光照变化等因素的影响较大，鲁棒性不高，难以分析车辆/机器人在行驶过程中的摄像头遮挡检测；虽然角点光流算法可以对行驶过程中的摄像头进行遮挡检测，但是角点光流算法主要是基于多帧图像的角点光流信息进行遮挡检测，并不适用车辆/机器人在静止状态下的摄像头遮挡分析，且角点光流的计算复杂度较高。
可见，由于行驶场景包括行驶时的动态过程和静止时的静态过程，因此，上述的摄像头遮挡检测算法均难以适用到行驶场景的摄像头遮挡检测分析。基于此，本申请提供一种摄像头遮挡区域的检测方法，通过识别图像内容变化实现动态遮挡检测和识别图像纹理缺失实现静态遮挡检测，可以提高摄像头遮挡检测方法的鲁棒性，适用于动态过程和静态过程的摄像头遮挡的检测分析，实现摄像头遮挡检测的实时分析，适用于行驶场景的摄像头遮挡检测。
其中，动态变化预测主要是检测针对图像上的某一区域在多帧图像之间是否呈现出动态变化的图像内容，例如摄像头静止时前方有移动的目标或者摄像头本身在移动导致的成像变化，实现动态过程的遮挡检测；遮挡预测主要是检测图像上的某一区域是否存在图像纹理缺失，因为遮挡区域的图像纹理较少，因此可以通过检测图像纹理识别摄像头是否发生遮挡，实现静态过程的遮挡检测。
本申请提供的摄像头遮挡检测方法可以用于车辆、机器人、无人机等行驶场景中；图1示出本申请提供的摄像头遮挡检测方法应用在车辆智能驾驶场景，在车辆行驶过程中，摄像头实时采集前方道路的图像，以实现ADAS系统辅助驾驶。
在图1示出的场景中，用于摄像头遮挡检测分析的计算机设备可以是安装在车辆上的车载终端，也可以是远程服务器。以车载终端为例介绍摄像头遮挡检测过程：车载终端获取摄像头拍摄的具有相同的遮挡检测区域的多帧图像，根据多帧图像之间的差分图像所具有的图像特征，判断遮挡检测区域在多帧图像中是否存在图像内容变化；若遮挡检测区域在多帧图像中不存在图像内容变化，车载终端则对各帧图像中对应于遮挡检测区域的图像像素值平均处理，获取多帧图像关于遮挡检测区域的帧融合图像；根据帧融合图像的图像梯度信息，车载终端进一步判断帧融合图像是否存在针对遮挡检测区域的图像纹理缺失；若帧融合图像存在图像纹理缺失，车载终端则可以确定对摄像头在遮挡检测区域形成遮挡。
可见，车载终端基于多帧图像之间的差分图像具有的图像特征，实现图像内容变化的动态检测，进一步地，如果未出现动态变化，则根据像素值平均处理得到帧融合的图像，进而进行图像纹理缺失检测，实现遮挡预测，如果遮挡检测区域出现图像纹理缺失，车载终端可以确定摄像头在上述的遮挡检测区域形成遮挡，实现行驶场景中的动静态摄像头遮挡检测。
在一个实施例中，如图2所示，提供了一种摄像头遮挡区域的检测方法，以该方法应用于车载终端为例进行说明，包括以下步骤：
步骤S201，车载终端获取摄像头拍摄的多帧图像；各帧图像具有相同的遮挡检测区域。
如果摄像头发生遮挡，那么摄像头采集的图像中会形成信息盲区，无法呈现出实际的场景内容；因此，在进行摄像头遮挡检测时，可以针对各帧图像具有相同的区域进行检测，该区域可以称为遮挡检测区域，遮挡检测区域可以是一个或多个，遮挡检测区域的形状可以是任意形状，如矩形、圆形、不规则多边形等；示例性地，图6（a）示出4个矩形遮挡检测区域。
步骤S202，基于多帧图像之间的差分图像所具有的图像特征，车载终端判断遮挡检测区域在多帧图像中是否存在图像内容变化。
其中，差分图像可以是对两帧图像进行相减得到的图像，通过将两帧图像进行相减，可以比对两帧图像的不同之处，实现图像内容的动态变化检测。
示例性地，车载终端可以基于一张、两张或两张以上的差分图像具有的图像特征判断图像内容变化情况。
在一些行驶场景中，如果摄像头拍摄帧率较高或者行驶速度较慢时，连续两帧图像间的内容变化较小，也就是说，由摄像头所采集的图像的整体图像内容在关于遮挡检测区域的连续两帧图像中的变化速度小于预设变化速度；此时，为了保证动态遮挡检测的准确性，车载终端可以基于至少两张差分图像具有的图像特征，检测遮挡检测区域在多帧图像中是否存在图像内容变化。可以理解的是，如果是基于至少两种差分图像进行图像内容变化检测，车载终端进行差分处理的图像至少为三帧；示例性地，如图5所示，进行差分处理的图像可以是I1、I2和I3，对应形成的差分图像可以是I2减去I1（可记为“I2－I1”）和I3减去I2（可记为“I3－I2”）；其中，在另一些实施例中，差分图像还可以是I3减去I1、I1减去I2等等。
示例性地，如果遮挡检测区域为图6（a）所示的4个遮挡检测区域，那么车载终端可以得到差分图像I2－I1和I3－I2后，可以基于这两张差分图像具有的图像特征（也可以称为差分图像特征），检测上述4个遮挡检测区域在I1、I2和I3图像中是否存在图像内容变化。
步骤S203，若遮挡检测区域在多帧图像中不存在图像内容变化，则对各帧图像中对应于遮挡检测区域的图像像素值平均处理，车载终端获取多帧图像关于遮挡检测区域的帧融合图像。
如图8（a）至图8（d）所示：图8（a）和图8（b）分别为车辆静止时采集的同一场景不同时间的图像；图8（c）为连续100帧的图像的均值图像，均值图像更为清晰平滑，不会因为图像帧间的平均而造成模糊，说明噪声可以假设为均值为0的白噪声；图8（d）为图8（a）减去图8（c）后提取的噪声信号，可以看出单帧图像的噪声过大，而噪声过大将会影响遮挡预测的稳定性。因此，在本步骤中，根据图像内容变化的预测结果进行像素值的均值处理，得到对应的帧融合图像，可以提高遮挡预测的稳定性。
以车载终端检测到左下遮挡检测区域为不存在图像内容变化的区域为例介绍本步骤：如果车载终端基于差分图像具有的图像特征，检测到左下遮挡检测区域在I1、I2和I3图像中不存在图像内容变化，那么车载终端可以平均I1、I2和I3图像对应于左下遮挡检测区域的图像像素值，实现左下遮挡检测区域的图像融合；进而根据平均后的图像像素值，得到与左下遮挡检测区域相关的图像块；如果车载终端基于差分图像具有的图像特征，检测到右上遮挡检测区域存在图像内容变化，那么车载终端可以获取I1、I2和I3图像中的最后一帧图像I3对应于右上遮挡检测区域的图像块；同理，车载终端继续根据右下遮挡检测区域和左上遮挡检测区域的图像内容变化情况，分别确定右下遮挡检测区域的图像块和左上遮挡检测区域的图像块，并按照遮挡检测区域在图像中的位置，对应拼接上述得到的4个图像块，得到帧融合图像。
可以理解的是，为了简化计算处理，车载终端可以直接将存在图像内容变化的图像块作为帧融合图像，并进行图像纹理缺失分析。
步骤S204，根据帧融合图像的图像梯度信息，车载终端判断帧融合图像是否存在针对遮挡检测区域的图像纹理缺失。
如果摄像头遮挡，图像上对应的区域会形成信息盲区，在该信息盲区中，图像呈现的纹理少，由于纹理可以具备边缘特征，因此，边缘特征有利于判断图像是否遮挡。在本步骤中，车载终端得到帧融合图像后，根据可以表征边缘特征的图像梯度信息，判断帧融合图像是否存在针对遮挡检测区域的图像纹理缺失；示例性地，车载终端确定左下遮挡检测区域不存在图像内容变化后，可以基于与左下遮挡检测区域对应的图像梯度信息，检测在帧融合图像的左下遮挡检测区域中是否存在图像纹理缺失。
步骤S205，若帧融合图像存在图像纹理缺失，车载终端则确定对摄像头在遮挡检测区域形成遮挡。
示例性地，如果车载终端检测到帧融合图像在左下遮挡检测区域存在图像纹理缺失，那么车载终端可以确定左下遮挡检测区域的图像内容是摄像头在对应位置出现遮挡的情况下而形成的图像内容。
进一步地，车载终端还可以在设定时间内多次检测是否对摄像头在遮挡检测区域形成遮挡；若在多次检测中，对摄像头在遮挡检测区域形成遮挡的检测次数大于预设次数，则输出对摄像头在遮挡检测区域形成遮挡的报警信号。
示例性地，车载终端可以在一秒内进行两次如步骤S201至步骤S205的检测过程，如果连续5秒内有5次以上，车载终端均检测到左下遮挡检测区域不存在图像内容变化和存在图像纹理缺失情况，那么，车载终端可以输出报警信号。
进一步地，如果是行驶场景的静止过程，由于没有行驶时摄像头遮挡带来的行驶辅助系统失效风险，因此，车载终端可以采取长于设定时间的多次判断方式，以降低误警率。
上述摄像头遮挡区域的检测方法中，车载终端获取摄像头拍摄的多帧图像；各帧图像具有相同的遮挡检测区域；基于多帧图像之间的差分图像所具有的图像特征，车载终端判断遮挡检测区域在多帧图像中是否存在图像内容变化；若遮挡检测区域在多帧图像中不存在图像内容变化，则对各帧图像中对应于遮挡检测区域的图像像素值平均处理，车载终端获取多帧图像关于遮挡检测区域的帧融合图像；根据帧融合图像的图像梯度信息，车载终端判断帧融合图像是否存在针对遮挡检测区域的图像纹理缺失；若帧融合图像存在图像纹理缺失，车载终端则确定对摄像头在遮挡检测区域形成遮挡；可见，在上述的遮挡检测步骤中，通过多帧图像之间的差分图像的图像特征，识别遮挡检测区域是否存在图像内容变化，并且在图像内容不存在变化的情况下，进一步对多帧图像的图像像素值进行平均处理，根据得到的帧融合图像的图像梯度信息，识别是否存在针对遮挡检测区域的图像纹理缺失，通过识别图像内容变化实现动态遮挡检测和识别图像纹理缺失实现静态遮挡检测，适用于动静态两种过程的遮挡检测，可以提高摄像头遮挡检测方法的鲁棒性，实现摄像头遮挡检测的实时分析，适用于行驶场景的摄像头遮挡检测。
在一个实施例中，在步骤S201中，车载终端获取摄像头拍摄的多帧图像，可以包括：车载终端若检测到摄像头的移动速度在拍摄图像的过程中增大，则增大从摄像头读取图像的读取帧率，并按照增大后的读取帧率从摄像头采集的图像序列中读取多帧图像。
示例性地，车载终端从摄像头读取连续帧图像的过程中，如果车载终端可以获取到车速信息，那么该车速相当于摄像头的移动速度，因此，车载终端可以根据上述车速大小来调整读取图像的帧率，例如在车辆静止或车速较慢的情况下，可以以10fps（Frames PerSecond，每秒的图像帧数）的帧率获取输入图像序列，在车速较快时，可以采用20fps的帧率获取输入图像序列。
可见，在上述实施例中，结合摄像头的移动速度调整图像的读取帧率，有利于保证在行驶过程中，行驶速度较慢时图像帧间保持足够的动态变化，并在行驶速度较快时图像帧间的时间间隔较小，降低噪声和光照变化的影响。
在一个实施例中，为了保证摄像头遮挡检测的准确性，车载终端可以基于预先构建的动态变化预测网络实现步骤S202的动态变化预测，基于预先构建的遮挡预测网络实现步骤S204的静态遮挡预测，其中，动态变化预测网络和遮挡预测网络可以是进行图像分类任务的网络。
现结合图3介绍上述实施例：
步骤S301至步骤S302：车载终端获取三帧图像I1、I2和I3，并得到包括差分图像特征的差分图像I2－I1和I3－I2；
步骤S303至步骤S304：车载终端将差分图像I2－I1和I3－I2输入至动态变化预测网络中，以使动态变化预测网络基于上述差分图像的差分图像特征输出对应的动态变化预测标签，完成动态变化预测；
步骤S305：根据动态变化预测结果，车载终端对多帧图像的图像像素值进行平均处理，完成多帧图像的融合，得到帧融合图像；
步骤S306至步骤S308：车载终端将帧融合图像的图像梯度信息，输入遮挡预测网络，以使遮挡预测网络输出对应的遮挡预测标签，完成静态遮挡预测。
上述实施例的动态变化预测网络和遮挡预测网络可以是卷积神经网络(Convolutional Neural Networks，CNN)，进而保证摄像头遮挡检测的准确性。
其中，卷积神经网络是一种通过不同神经网络层深度连接构建高复杂度模型，从而学习高层图像特征的机器学习方法。针对特定的任务，设计相应的神经网络模型结构，利用设计的损失函数和基于反向传播算法训练，能够达到提取任务相关高层特征和输出任务对应的回归和分类结果的目的。
在一个实施例中，车载终端在执行步骤S202时，具体可以包括：车载终端将多帧图像之间的差分图像所具有的图像特征输入至预先构建的动态变化预测网络中，以使动态变化预测网络基于差分图像所具有的图像特征从预设的多个动态变化标签类别中确定遮挡检测区域的所属动态变化标签类别，并输出与所属动态变化标签类别对应的动态变化预测标签；车载终端基于动态变化预测标签，确定遮挡检测区域在多帧图像中是否存在图像内容变化。
进一步地，车载终端基于动态变化预测标签，确定遮挡检测区域在多帧图像中是否存在图像内容变化，可以包括：若动态变化预测标签属于预设的表征图像内容存在变化的第一类动态变化标签类别，则确定遮挡检测区域在多帧图像中存在图像内容变化；若动态变化预测标签属于预设的表征图像内容不存在变化的第二类动态变化标签类别，则确定遮挡检测区域在多帧图像中不存在图像内容变化。
表征图像内容是否存在变化的标签可以称为动态变化标签，根据图像内容的变化情况可以分为第一类动态变化标签类别和第二类动态变化标签类别；如图5所示，第一类动态变化标签类别表征图像内容有变化，可以用1表示，第二类动态变化标签类别表征图像内容无变化，可以用0表示。进一步地，动态变化标签还可以分为动态变化预测标签和动态变化真实标签；其中，动态变化预测标签是由动态变化预测网络预测输出的标签，动态变化真实标签可以是动态变化预测网络训练时的参考标签，可以由标注人员在计算机设备上标注。
如图4所示，动态变化预测网络基于作为动态变化预测网络输入的至少两张差分图像，对各遮挡检测区域进行动态变化标签的预测，并按照从左上到右上再到右下再到左下的遮挡检测区域对应的标签分别是1、1、0和0。车载终端根据动态变化预测网络输出的各遮挡检测区域对应的动态变化预测标签，可以确定右下区域和左上区域与摄像头遮挡区域对应。
进一步地，上述动态变化预测网络的训练过程可以包括：获取归属于相邻两帧的前帧样本图像和后帧样本图像之间的样本差分图像具有的样本图像特征；基于前帧样本图像在遮挡检测区域中的图像内容与后帧样本图像在遮挡检测区域中的图像内容之间的一致性，确定针对遮挡检测区域对应的动态变化标签类别；获取与动态变化标签类别对应的动态变化真实标签；基于样本图像特征和动态变化真实标签，对动态变化预测网络进行训练。
在上述动态变化预测网络的训练过程中，先获取相邻两帧的样本图像，并获取上述相邻两帧样本图像中的前帧样本图像和后帧样本图像之间的样本差分图像，其中，该样本差分图像包括样本图像特征。然后分析前帧样本在遮挡检测区域中的图像内容与后帧样本图像在遮挡检测区域中的图像内容是否一致，如果一致，则对遮挡检测区域标注动态变化真实标签；根据上述样本差分图像包括样本图像特征和动态变化真实标签，对动态变化预测网络进行训练。
进一步地，为了防止摄像头拍摄帧率较高或者行行驶速度较慢时，连续两帧间的图像内容变化较小影响判断，在基于样本图像特征和动态变化真实标签，对动态变化预测网络进行训练的过程中，可以包括：基于至少两张样本差分图像具有的样本图像特征和对应的动态变化真实标签，对动态变化预测网络进行训练，以完成动态变化预测网络的构建。
图5示出图像具有4个遮挡检测区域，并在各遮挡检测区域上标注动态变化真实标签的过程。在对比I1和I2、I2和I3之后，若右上遮挡检测区域内没有图像内容变化，则确定右上遮挡检测区域的动态变化真实标签为0，存在图像内容变化，则确定左下遮挡检测区域的动态变化真实标签为1。其中，在车辆行驶的过程中，图像内容发生变化部分对应的动态变化真实标签都为1；图像内容没有发生变化或者有轻微模糊的变化的部分，对应的动态变化真实标签为0。车辆静止时，如果对应图像区域内有移动目标，该部分对应的动态变化真实标签为1，其他情况下，如果是图像内容无变化的背景图像或遮挡部分图像，对应的动态变化真实标签为0。
进一步地，如图4所示，动态变化预测网络的输出需要预测四个遮挡检测区域对应的标签，因此，全连接层输出设置为一个N×8的blob（一种数据存储格式），再转换（reshape）为一个N×2×2×2的blob，完成四个遮挡检测区域的二分类，其中N为batch（训练批次）的大小；全连接层的目的是让动态变化预测网络在训练的过程中能够看到图像的全局信息，保证动态变化预测网络的预测精度。
在一个实施例中，车载终端在执行步骤S204时，具体可以包括：根据帧融合图像对应的灰度图，车载终端获取图像梯度信息；基于帧融合图像对应的灰度图和图像梯度信息，车载终端判断帧融合图像是否存在针对遮挡检测区域的图像纹理缺失。
进一步地，针对上述根据灰度图获取图像梯度信息，并基于灰度图和图像梯度信息判断图像纹理缺失的过程，为了图像纹理缺失识别的准确性，车载终端还可以进一步执行如下步骤：车载终端将帧融合图像对应的灰度图输入至预先构建的纹理缺失预测模型中，触发纹理缺失预测模型利用包含梯度算子的卷积层对灰度图进行处理，得到并输出图像梯度信息；车载终端获取图像梯度信息；车载终端将灰度图和图像梯度信息输入至纹理缺失预测模型的遮挡预测网络中，触发遮挡预测网络基于灰度图和图像梯度信息，输出针对遮挡检测区域的预测结果；基于预测结果，车载终端判断帧融合图像是否存在针对遮挡检测区域的图像纹理缺失。
进一步地，在上述触发遮挡预测网络基于灰度图和图像梯度信息，输出针对遮挡检测区域的预测结果过程中，可以进一步包括：车载终端触发遮挡预测网络基于灰度图和图像梯度信息，从预设的多个遮挡标签类别中确定针对遮挡检测区域的所属遮挡标签类别，并将与所属遮挡标签类别对应的遮挡预测标签作为预测结果输出；多个遮挡标签类别包括表征存在图像纹理缺失的第一类遮挡标签类别和表征不存在图像纹理缺失的第二类遮挡标签类别。
其中，表征图像是否存在纹理缺失的标签称为遮挡标签，根据图像纹理缺失情况可以分为表征存在图像纹理缺失的第一类遮挡标签类别和表征不存在图像纹理缺失的第二类遮挡标签类别。进一步地，遮挡标签还可以分为遮挡预测标签和遮挡真实标签；其中，遮挡预测标签是由遮挡预测网络输出的标签；遮挡真实标签是遮挡预测网络训练时的参考标签，可以由标注人员在计算机设备上标注。
示例性地，图7示出的遮挡预测网络预测过程。其中，输入至遮挡预测网络的图像包括3张图像，分别为灰度图和表征图像梯度信息的两张图像梯度图，其中，两张图像梯度图分别对应x方向的图像梯度信息和y方向的图像梯度信息。遮挡预测网络对应的标签可以称为遮挡预测标签，其中，遮挡预测标签对应的类别可以分为两种，如第一类遮挡标签类别和第二类遮挡标签类别；第一类遮挡标签类别表征存在图像纹理缺失，可以用0表示，第二类遮挡标签类别表征不存在图像纹理缺失，可以用1表示。其中，x方向和y方向为如图7所示的方向。
遮挡预测网络基于上述灰度图和图像梯度图，对各遮挡检测区域进行标签预测，并将对应的遮挡预测标签作为预测结果输出；车载终端基于遮挡预测网络输出的针对各遮挡检测区域的遮挡预测标签，确定各遮挡检测区域是否存在图像纹理缺失，例如，左下遮挡检测区域对应的遮挡预测标签为0，车载终端可以确定左下遮挡检测区域存在图像纹理缺失。
在上述实施例中，结合灰度图和图像梯度信息进行图像纹理缺失预测，可以进一步提高预测准确性。
进一步地，上述平滑滤波过程所使用的平滑滤波核和获取图像梯度信息所使用的梯度算子，可以转为神经网络的卷积层，使得整个图像纹理缺失预测过程可以视为一个网络模型（即纹理缺失预测模型），便于在具备CNN加速单元的计算平台上部署。
其中，梯度算子可以是sobel算子，可以包括用于获取x方向的图像梯度信息的Ｇx算子和用于获取y方向的图像梯度信息的Ｇy算子，其中，
Figure DEST_PATH_IMAGE001
，
Figure 171835DEST_PATH_IMAGE002
对应地，车载终端触发纹理缺失预测模型，利用包含梯度算子的卷积层对灰度图进行处理，得到并输出图像梯度信息的过程，还可以包括：车载终端触发纹理缺失预测模型利用包含平滑滤波核的卷积层对灰度图进行平滑滤波处理，并利用包含梯度算子的卷积层对平滑滤波处理后的灰度图进行处理，得到并输出图像梯度信息。
进一步地，上述遮挡预测网络的训练过程可以包括：确定在样本图像中与遮挡检测区域对应的样本图像区域；若样本图像区域中的图像纹理缺失面积与样本图像区域的面积之间的比值大于预设比值，则确定针对遮挡检测区域的遮挡真实标签为属于表征存在图像纹理缺失的第一类遮挡标签类别的标签；若样本图像区域中的图像纹理缺失面积与样本图像区域的面积之间的比值小于预设比值，则确定针对遮挡检测区域的遮挡真实标签为属于表征不存在图像纹理缺失的第二类遮挡标签类别的标签；基于样本图像和遮挡真实标签，对遮挡预测网络进行训练。
示例性地，在图像具有4个遮挡检测区域的情况下，针对各遮挡检测区域可以分别标注对应的遮挡真实标签，如果发生遮挡，对应的遮挡真实标签为0，如果没有发生遮挡则对应的遮挡真实标签为1。其中，判断某个遮挡检测区域是否发生遮挡的准则可以为：与该遮挡检测区域对应的样本图像区域中的图像纹理缺失面积与样本图像区域的面积之间的比值大于预设比值（例如该遮挡检测区域内大于3/4面积被遮挡），则判定为发生图像纹理缺失，即发生遮挡；与该遮挡检测区域对应的样本图像区域中的图像纹理缺失面积与样本图像区域的面积之间的比值小于预设比值（例如该遮挡检测区域内1/4面积被遮挡），则判定为不存在图像纹理缺失，即未发生遮挡。其他程度的遮挡，可以定义为未确定标签，在遮挡预测网络训练时不用于更新参数。
可以理解的是，遮挡预测网络的输出可以和动态变化预测网络的输出策略一致，完成四个遮挡检测区域的遮挡标签预测。
另外，训练上述动态变化预测网络和遮挡预测网络的损失函数都可以采用交叉熵损失函数（Cross Entropy Loss）：
Figure DEST_PATH_IMAGE003
其中，yi为预测的样本i的标签，c为样本i的真实标签，p(yi)为样本i标签为yi的概率；1{}为指示函数，当判断条件为真时值为1，反之值为0。
进一步地，图6（a）至图6（d）示出了上述动态变化预测网络和遮挡预测网络在训练过程使用的样本图像；该样本图像可以包括：①通过灰尘、塑料袋、树叶和油污等物体遮挡摄像头形成的图像，②采集真实行驶场景的遮挡图像，③采用代码随机生成纯色背景加高斯噪声的图像（图6（c）至图6（d）），模拟摄像头故障导致的黑屏和蓝屏等状况，丰富训练数据的类别。
为了更好地理解上述方法，以下详细阐述一个本申请摄像头遮挡区域的检测方法的应用实例。本应用实例对应于车辆行驶场景。
本应用实例主要包括以下三点：
①利用动态变化预测和遮挡预测结合的方法，预测摄像头遮挡；
②利用卷积神经网络的方法，识别图像纹理缺失区域和识别图像动态变化；
③对多帧图像进行融合，可以提高遮挡预测的稳定性。
针对传统的摄像头遮挡检测，由于应用于监控或车内驾驶员监控的摄像头采集的为静态背景图像，仅与车辆静止时的车载摄像头遮挡分析类似，不适用车辆行驶过程中的动态场景分析，传统的遮挡检测方案存在以下问题：
①采用的基于图像低层梯度和边缘等特征的方法受噪声，光照变化等因素的影响较大，鲁棒性不高；
②计算步骤纷繁复杂，不利于在不同计算平台移植部署；
③因为场景极其复杂多变导致算法参数设置普适性不高；
另外，基于角点光流的方法不适用车辆静止时的遮挡分析，而且角点光流计算量偏大，图像质量较低时，无法保证角点光流精度。
本应用实例主要包括训练阶段和预测阶段，各阶段可以包括以下步骤：
一、训练阶段：
步骤S1：样本图像的获取和标注；
子步骤S11：模拟样本图像采集以及代码随机生成存在遮挡的样本图像；
子步骤S12：在样本图像上划分为四个相同的遮挡检测区域，标注动态变化真实标签；
子步骤S13：在各遮挡检测区域内标注遮挡真实标签；
步骤S2：训练动态变化预测网络和遮挡预测网络；
子步骤S21：设计输入特征，完成输出动态变化预测标签的动态变化预测网络训练；
子步骤S22：设计输入特征，完成输出遮挡预测标签的遮挡预测网络训练；
二、预测阶段：
步骤S3：通过摄像头采集道路场景的待预测图像；
步骤S4：将步骤S3获取的图像输入训练完成的神经网络（包括动态变化预测网络和遮挡预测网络）；
子步骤S41：对连续三帧图像做预处理得到差分图像，并将具有差分图像特征的差分图像输入动态变化预测网络，预测在多帧图像之间是否存在图像内容的动态变化；
子步骤S42：根据动态变化的预测结果，对多帧图像进行融合，得到帧融合图像；
子步骤S43：对帧融合图像做预处理，得到帧融合图像对应的灰度图和图像梯度信息，并将灰度图和图像梯度信息输入遮挡预测网络，预测是否存在图像纹理缺失，并输出对应的遮挡预测标签；
步骤S5：根据预警的实时性需要，统计一定帧数的预测结果，输出预警信号。
具体而言，训练阶段可以包括：
步骤S1：样本图像的获取和标注；
子步骤S11：如图6（a）至图6（d）所示，采集样本图像用于后续模型训练；可以通过灰尘、塑料袋、树叶和油污等物体遮挡摄像头得到样本图像，也可以将真实驾驶场景中存在遮挡的图像作为样本图像；另外，还可以采用代码随机生成纯色背景加高斯噪声的图像，并作为样本图像，以模拟摄像头故障导致的黑屏和蓝屏等状况，丰富样本图像的类别。
子步骤S12：在样本图像上划分为四个相同的遮挡检测区域，标注动态变化真实标签。如图5所示，对比前后帧的图像变化，若某一个遮挡检测区域内有图像内容变化，则对应的动态变化真实标签为1，反之对应的动态变化真实标签为0。在车辆行驶的过程中，正常采集的存在图像内容变化的遮挡检测区域对应的动态变化真实标签都为1；遮挡部分的图像不会变化或有轻微模糊的变化，不存在图像内容变化的遮挡检测区域的动态变化真实标签为0。车辆静止时，如果对应的遮挡检测区域内有移动目标，则对应的动态变化真实标签为1，其他情况下，如遮挡检测区域对应背景图像部分，不存在图像内容变化，对应的动态变化真实标签为0。
子步骤S13：在各遮挡检测区域内标注遮挡真实标签，如果某一遮挡检测区域出现图像纹理缺失，则对应的遮挡真实标签为0，如果不存在图像纹理缺失，对应的遮挡真实标签为1。其中，定义某个遮挡检测区域是否存在图像纹理缺失的准则如下：如果该遮挡检测区域内图像纹理缺失的面积与该遮挡检测区域的面积比值大于3/4，则判定存在图像纹理缺失且对应的遮挡真实标签为0；如果该遮挡检测区域内图像纹理缺失的面积与该遮挡检测区域的面积比值小于1/4，则判定不存在图像纹理缺失且对应的遮挡真实标签为1；其他程度的遮挡，可以定义为未确定标签，在模型训练时不用于更新参数，在实际使用中，预测结果则都可以接受。
步骤S2：动态变化预测网络和遮挡预测网络的训练：
子步骤S21：图4为预测动态标签的卷积神经网络模型的输入、输出和整体网络结构，上述整体网络架构包括动态变化预测网络，动态变化预测网络进行图像内容变化的预测并输出对应的动态变化预测标签为一个标准的图像分类任务。取三帧连续的图像I1，I2和I3，输入为三帧之间的差分图像I1－I2，I2－I3；其中遮挡部分由于变化较小，差分信息也较少，这一特征有利于神经网络模型统计分析连续帧图像间的动态变化。利用三帧而不是两帧图像的目的是防止帧率较高或者行车速度较慢时，连续两帧间的变化较小影响判断，本应用实例提出的动态变化预测过程的预处理方法有利于提高动态变化预测网络的预测精度，动态变化预测网络需要输出四个遮挡检测区域的动态变化预测标签，因此全连接层输出设置为一个N×8的blob，再转换为一个N×2×2×2的blob，完成四个遮挡检测区域的二分类，其中N为batch的大小；全连接层的目的是让网络在训练的过程中能够看到图像的全局信息。
子步骤S22：图7为预测遮挡标签的卷积神经网络模型的输入、输出和整体网络结构，上述整体网络架构可以理解为是纹理缺失遮挡模型；纹理缺失遮挡模型包括进行平滑滤波处理和获取图像梯度信息的卷积层，以及遮挡预测网络；其中，遮挡预测网络预测是否存在图像纹理缺失并输出对应的遮挡预测标签同样是一个标准的图像分类任务。在大多数的情况下，遮挡区域因为纹理较少，边缘特征有利于判断图像是否遮挡，但是某些情况下，遮挡区域因为噪声，透明物体遮挡等原因还会保留一定的梯度信息，因此，本应用实例在静态遮挡预测过程的预处理方法先将图像转为灰度图，然后进行5×5平滑滤波得到降噪的灰度图，再利用sobel算子计算图像x，y方向的梯度。
sobel梯度算子如下：
Figure 314234DEST_PATH_IMAGE001
，
Figure 450818DEST_PATH_IMAGE002
将平滑后的灰度图和图像梯度信息作为遮挡预测网络的共同输入，能够提高网络的泛化性能。在实际训练过程中，平滑滤波核和sobel算子可以转为纹理缺失遮挡模型的卷积层，因此整个静态遮挡预测过程可以视为一个纹理缺失遮挡模型，有利于在具备CNN加速单元的计算平台上部署。遮挡预测网络的输出和子步骤S21的输出采取相同的策略，完成四个遮挡检测区域的遮挡预测标签输出。
训练上述动态变化预测网络和遮挡预测网络的损失函数都采用交叉熵损失函数（Cross Entropy Loss）：
Figure 57379DEST_PATH_IMAGE004
其中，yi为预测的样本i的标签，c为样本i的真实标签，p(yi)为样本i标签为yi的概率；1{}为指示函数，当判断条件为真时值为1，反之值为0。
具体而言，测试阶段可以包括：
步骤S3：通过摄像头采集场景的图像；
步骤S4：获取步骤S3采集的连续三帧图像，经过预处理，输入训练完成的动态变化预测网络和遮挡预测网络，进行对应的标签预测；
子步骤S41：将连续三帧图像做预处理，获取差分图像特征，输入动态变化预测网络，预测各遮挡检测区域是否存在图像内容的动态变化。读取连续帧图像的过程中，在车速信息可以获取的情况下，可根据车速大小来调整读取图像的帧率，例如在车辆静止或车速较慢的情况下，可以以10fps的帧率获取输入图像序列，在车速较快时，可以采用20fps的帧率获取输入图像序列，这样有利于保证在车辆运动的过程中，车速较慢时图像帧间保持足够的动态变化，而车速本身较快时图像帧间的时间间隔较小，降低噪声和光照变化的影响。
子步骤S42：在预测阶段，需要根据动态变化的预测结果对多帧图像进行融合，得到帧融合图像。在遮挡预测网络训练的过程中，本应用实例可以采用增加噪声等数据增强方式进行训练，从而提高遮挡预测网络的鲁棒性；而在预测阶段，则需要降低噪声等不利因素对预测结果的干扰。如图8（a）-图8（d）所示，图8（a）和图8（b）分别为车辆静止时采集的同一场景不同时间的图像，图8（c）为连续100帧的图像的均值图像，均值图像更为清晰平滑，未因为图像帧间的平均造成模糊，说明噪声可以假设为均值为0的白噪声；图8（d）为图8（a）减去图8（c）后提取的噪声信号，可以预见单帧图像的噪声过大将会影响模型预测的稳定性。因此，本应用实例提出一种用动态变化标签来融合多帧图像的策略，提高预测的稳定性，具体地，根据每个遮挡检测区域的动态变化预测标签进行融合，如果某一遮挡检测区域的动态变化预测标签为1，则采用连续三帧图像的最后一帧图像对应的图像块，如果某一遮挡检测区域的动态变化预测标签为0，则平均三帧图像的像素值，得到对应的图像块，并将上述各图像块进行拼接，得到帧融合图像。通过上述图像融合的策略，可以降低遮挡区域因为噪声的漏报率，同时在车辆本身静止时，能够得到降噪的正常场景图像，降低真实的图像边缘受噪声的影响，从而提高非遮挡预测的可靠性。其中，当车辆静止时，融合图像的帧数也可以根据需求进行增加，以达到更好的去噪效果。
子步骤S43：对帧融合图像进行预处理，得到帧融合图像的平滑滤波处理后的灰度图和图像梯度信息，将平滑滤波处理后的灰度图和图像梯度信息输入遮挡预测网络，预测各遮挡检测区域的遮挡预测标签；当动态变化预测标签为0且遮挡预测标签为0时，则判定对应的遮挡检测区域是遮挡摄像头形成的区域，图像上与该遮挡检测区域对应的区域是信息盲区。
图9（a）至图9（d）为实际应用过程中，基于动态变化预测网络和遮挡预测网络的预测结果。
步骤S5：根据预警的实时性需要，统计一定帧数的预测结果，输出预警信号。单帧的预测结果受不利因素的影响，容易发生误判，比如摄像头某一帧图像信号的损坏，夜间行车短暂时间的会车眩光等。在车辆行驶时，多次的动态标签预测能够降低误报率，本应用实例可以以每1秒进行两次预测结果的收集，当连续5秒内有5次以上系统检测到遮挡区域时，则输出报警信号。在车辆静止的过程中，由于本身没有驾驶时摄像头遮挡带来的系统失效风险，可以采取长时间多次判断的方式降低误警率。
基于本应用实例所采用的技术方案，可以实现以下效果：
①采用卷积神经网络，预测单帧图像的遮挡预测标签，提高遮挡分析精度；
②采用卷积神经网络，预测场景动态变化预测标签，解决动态场景分析问题；
③动静态两种标签的预测，能保证同时适用于动静态两种场景；
④预测阶段的图像融合策略，能够降低成像噪声对预测结果的影响，提高模型稳定性；
⑤轻量级的卷积神经网络对当前具备CNN加速模块的计算设备友好，利于实时运算及移植部署。
应该理解的是，虽然图1至图7的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1至图7中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图10所示，提供了一种摄像头遮挡区域的检测装置，包括：
图像获取模块1001，用于获取摄像头拍摄的多帧图像；各帧图像具有相同的遮挡检测区域；
图像内容变化判断模块1002，用于基于多帧图像之间的差分图像所具有的图像特征，判断遮挡检测区域在多帧图像中是否存在图像内容变化；
图像融合模块1003，用于若遮挡检测区域在多帧图像中不存在图像内容变化，则对各帧图像中对应于遮挡检测区域的图像像素值平均处理，获取多帧图像关于遮挡检测区域的帧融合图像；
图像纹理缺失判断模块1004，用于根据帧融合图像的图像梯度信息，判断帧融合图像是否存在针对遮挡检测区域的图像纹理缺失；
遮挡确定模块1005，用于若帧融合图像存在图像纹理缺失，则确定对摄像头在遮挡检测区域形成遮挡。
在一个实施例中，上述图像内容变化判断模块1002，进一步用于若由摄像头所采集的图像的整体图像内容在关于遮挡检测区域的连续两帧图像中的变化速度小于预设变化速度，则获取由多帧图像形成的至少两张差分图像所具有的图像特征，并基于由多帧图像形成的至少两张差分图像所具有的图像特征检测遮挡检测区域在多帧图像中是否存在图像内容变化。
在一个实施例中，上述图像内容变化判断模块1002，进一步用于将多帧图像之间的差分图像所具有的图像特征输入至预先构建的动态变化预测网络中，以使动态变化预测网络基于差分图像所具有的图像特征从预设的多个动态变化标签类别中确定遮挡检测区域的所属动态变化标签类别，并输出与所属动态变化标签类别对应的动态变化预测标签；基于动态变化预测标签，确定遮挡检测区域在多帧图像中是否存在图像内容变化。
在一个实施例中，上述装置还包括动态预测网络训练模块，用于获取归属于相邻两帧的前帧样本图像和后帧样本图像之间的样本差分图像具有的样本图像特征；基于前帧样本图像在遮挡检测区域中的图像内容与后帧样本图像在遮挡检测区域中的图像内容之间的一致性，确定针对遮挡检测区域对应的动态变化标签类别；获取与动态变化标签类别对应的动态变化真实标签；基于样本图像特征和动态变化真实标签，对动态变化预测网络进行训练。
在一个实施例中，上述图像获取模块1001，进一步用于若检测到摄像头的移动速度在拍摄图像的过程中增大，则增大从摄像头读取图像的读取帧率，并按照增大后的读取帧率从摄像头采集的图像序列中读取多帧图像。
在一个实施例中，上述图像纹理缺失判断模块1004，进一步用于根据帧融合图像对应的灰度图，获取图像梯度信息；基于帧融合图像对应的灰度图和图像梯度信息，判断帧融合图像是否存在针对遮挡检测区域的图像纹理缺失。
在一个实施例中，上述图像纹理缺失判断模块1004，进一步用于将帧融合图像对应的灰度图输入至预先构建的纹理缺失预测模型中，触发纹理缺失预测模型利用包含梯度算子的卷积层对灰度图进行处理，得到并输出图像梯度信息；获取图像梯度信息；将灰度图和图像梯度信息输入至纹理缺失预测模型的遮挡预测网络中，触发遮挡预测网络基于灰度图和图像梯度信息，输出针对遮挡检测区域的预测结果；基于预测结果，判断帧融合图像是否存在针对遮挡检测区域的图像纹理缺失。
在一个实施例中，上述图像纹理缺失判断模块1004，进一步用于触发纹理缺失预测模型利用包含平滑滤波核的卷积层对灰度图进行平滑滤波处理，并利用包含梯度算子的卷积层对平滑滤波处理后的灰度图进行处理，得到并输出图像梯度信息。
在一个实施例中，上述图像纹理缺失判断模块1004，进一步用于触发遮挡预测网络基于灰度图和图像梯度信息，从预设的多个遮挡标签类别中确定针对遮挡检测区域的所属遮挡标签类别，并将与所属遮挡标签类别对应的遮挡预测标签作为预测结果输出；多个遮挡标签类别包括表征存在图像纹理缺失的第一类遮挡标签类别和表征不存在图像纹理缺失的第二类遮挡标签类别。
在一个实施例中，上述装置还包括遮挡预测网络训练模块，用于确定在样本图像中与遮挡检测区域对应的样本图像区域；若样本图像区域中的图像纹理缺失面积与样本图像区域的面积之间的比值大于预设比值，则确定针对遮挡检测区域的遮挡真实标签为属于表征存在图像纹理缺失的第一类遮挡标签类别的标签；若样本图像区域中的图像纹理缺失面积与样本图像区域的面积之间的比值小于预设比值，则确定针对遮挡检测区域的遮挡真实标签为属于表征不存在图像纹理缺失的第二类遮挡标签类别的标签；基于样本图像和遮挡真实标签，对遮挡预测网络进行训练。
关于摄像头遮挡区域的检测装置的具体限定可以参见上文中对于摄像头遮挡区域的检测方法的限定，在此不再赘述。上述摄像头遮挡区域的检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是车载终端，其内部结构图可以如图11所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、NFC（近场通信）或其他技术实现。该计算机程序被处理器执行时以实现一种摄像头遮挡区域的检测方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。本领域技术人员可以理解，图11中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现上述各个方法实施例中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述各个方法实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，上述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read-Only Memory，ROM）、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器（Random Access Memory，RAM）或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器（Static Random Access Memory，SRAM）或动态随机存取存储器（Dynamic Random Access Memory，DRAM）等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上的实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (13)

1.一种摄像头遮挡区域的检测方法，其特征在于，所述方法包括：
获取摄像头拍摄的多帧图像；各帧图像具有相同的遮挡检测区域；
基于所述多帧图像之间的差分图像所具有的图像特征，判断所述遮挡检测区域在所述多帧图像中是否存在图像内容变化；
若所述遮挡检测区域在所述多帧图像中不存在所述图像内容变化，则对各帧图像中对应于所述遮挡检测区域的图像像素值平均处理，获取所述多帧图像关于所述遮挡检测区域的帧融合图像；
根据所述帧融合图像的图像梯度信息，判断所述帧融合图像是否存在针对所述遮挡检测区域的图像纹理缺失；
若所述帧融合图像存在所述图像纹理缺失，则确定对所述摄像头在所述遮挡检测区域形成遮挡。
2.根据权利要求1所述的方法，其特征在于，所述基于所述多帧图像之间的差分图像所具有的图像特征，判断所述遮挡检测区域在所述多帧图像中是否存在图像内容变化，包括：
若由所述摄像头所采集的图像的整体图像内容在关于所述遮挡检测区域的连续两帧图像中的变化速度小于预设变化速度，则获取由所述多帧图像形成的至少两张差分图像所具有的图像特征，并基于所述由所述多帧图像形成的至少两张差分图像所具有的图像特征检测所述遮挡检测区域在所述多帧图像中是否存在图像内容变化。
3.根据权利要求1所述的方法，其特征在于，所述基于所述多帧图像之间的差分图像所具有的图像特征，判断所述遮挡检测区域在所述多帧图像中是否存在图像内容变化，包括：
将所述多帧图像之间的差分图像所具有的图像特征输入至预先构建的动态变化预测网络中，以使所述动态变化预测网络基于所述差分图像所具有的图像特征从预设的多个动态变化标签类别中确定所述遮挡检测区域的所属动态变化标签类别，并输出与所述所属动态变化标签类别对应的动态变化预测标签；
基于所述动态变化预测标签，确定所述遮挡检测区域在所述多帧图像中是否存在图像内容变化。
4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
获取归属于相邻两帧的前帧样本图像和后帧样本图像之间的样本差分图像具有的样本图像特征；
基于所述前帧样本图像在所述遮挡检测区域中的图像内容与所述后帧样本图像在所述遮挡检测区域中的图像内容之间的一致性，确定针对所述遮挡检测区域对应的动态变化标签类别；
获取与所述动态变化标签类别对应的动态变化真实标签；
基于所述样本图像特征和所述动态变化真实标签，对所述动态变化预测网络进行训练。
5.根据权利要求1所述的方法，其特征在于，所述获取摄像头拍摄的多帧图像，包括：
若检测到所述摄像头的移动速度在拍摄图像的过程中增大，则增大从所述摄像头读取图像的读取帧率，并按照增大后的读取帧率从所述摄像头采集的图像序列中读取所述多帧图像。
6.根据权利要求1所述的方法，其特征在于，所述根据所述帧融合图像的图像梯度信息，判断所述帧融合图像是否存在针对所述遮挡检测区域的图像纹理缺失，包括：
根据所述帧融合图像对应的灰度图，获取所述图像梯度信息；
基于所述帧融合图像对应的灰度图和所述图像梯度信息，判断所述帧融合图像是否存在针对所述遮挡检测区域的图像纹理缺失。
7.根据权利要求6所述的方法，其特征在于，
所述根据所述帧融合图像对应的灰度图，获取所述图像梯度信息，包括：
将所述帧融合图像对应的灰度图输入至预先构建的纹理缺失预测模型中，触发所述纹理缺失预测模型利用包含梯度算子的卷积层对所述灰度图进行处理，得到并输出所述图像梯度信息；
获取所述图像梯度信息；
所述基于所述帧融合图像对应的灰度图和所述图像梯度信息，判断所述帧融合图像是否存在针对所述遮挡检测区域的图像纹理缺失，包括：
将所述灰度图和所述图像梯度信息输入至所述纹理缺失预测模型的遮挡预测网络中，触发所述遮挡预测网络基于所述灰度图和所述图像梯度信息，输出针对所述遮挡检测区域的预测结果；
基于所述预测结果，判断所述帧融合图像是否存在针对所述遮挡检测区域的图像纹理缺失。
8.根据权利要求7所述的方法，其特征在于，所述触发所述纹理缺失预测模型利用包含梯度算子的卷积层对所述灰度图进行处理，得到并输出所述图像梯度信息，包括：
触发所述纹理缺失预测模型利用包含平滑滤波核的卷积层对所述灰度图进行平滑滤波处理，并利用包含梯度算子的卷积层对平滑滤波处理后的灰度图进行处理，得到并输出图像梯度信息。
9.根据权利要求7所述的方法，其特征在于，
所述触发所述遮挡预测网络基于所述灰度图和所述图像梯度信息，输出针对所述遮挡检测区域的预测结果，包括：
触发所述遮挡预测网络基于所述灰度图和所述图像梯度信息，从预设的多个遮挡标签类别中确定针对所述遮挡检测区域的所属遮挡标签类别，并将与所属遮挡标签类别对应的遮挡预测标签作为所述预测结果输出；所述多个遮挡标签类别包括表征存在图像纹理缺失的第一类遮挡标签类别和表征不存在图像纹理缺失的第二类遮挡标签类别。
10.根据权利要求7所述的方法，其特征在于，所述方法还包括：
确定在样本图像中与所述遮挡检测区域对应的样本图像区域；
若所述样本图像区域中的图像纹理缺失面积与所述样本图像区域的面积之间的比值大于预设比值，则确定针对所述遮挡检测区域的遮挡真实标签为属于表征存在图像纹理缺失的第一类遮挡标签类别的标签；
若所述样本图像区域中的图像纹理缺失面积与所述样本图像区域的面积之间的比值小于预设比值，则确定针对所述遮挡检测区域的遮挡真实标签为属于表征不存在图像纹理缺失的第二类遮挡标签类别的标签；
基于所述样本图像和所述遮挡真实标签，对所述遮挡预测网络进行训练。
11.一种摄像头遮挡区域的检测装置，其特征在于，所述装置包括：
图像获取模块，用于获取摄像头拍摄的多帧图像；各帧图像具有相同的遮挡检测区域；
图像内容变化判断模块，用于基于所述多帧图像之间的差分图像所具有的图像特征，判断所述遮挡检测区域在所述多帧图像中是否存在图像内容变化；
图像融合模块，用于若所述遮挡检测区域在所述多帧图像中不存在所述图像内容变化，则对各帧图像中对应于所述遮挡检测区域的图像像素值平均处理，获取所述多帧图像关于所述遮挡检测区域的帧融合图像；
图像纹理缺失判断模块，用于根据所述帧融合图像的图像梯度信息，判断所述帧融合图像是否存在针对所述遮挡检测区域的图像纹理缺失；
遮挡确定模块，用于若所述帧融合图像存在所述图像纹理缺失，则确定对所述摄像头在所述遮挡检测区域形成遮挡。
12.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至10中任一项所述的方法。
13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至10中任一项所述的方法。
CN202011029293.8A 2020-09-27 2020-09-27 摄像头遮挡区域的检测方法、装置、设备和存储介质 Active CN111932596B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011029293.8A CN111932596B (zh) 2020-09-27 2020-09-27 摄像头遮挡区域的检测方法、装置、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011029293.8A CN111932596B (zh) 2020-09-27 2020-09-27 摄像头遮挡区域的检测方法、装置、设备和存储介质

Publications (2)

Publication Number Publication Date
CN111932596A true CN111932596A (zh) 2020-11-13
CN111932596B CN111932596B (zh) 2021-01-22

Family

ID=73334226

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011029293.8A Active CN111932596B (zh) 2020-09-27 2020-09-27 摄像头遮挡区域的检测方法、装置、设备和存储介质

Country Status (1)

Country Link
CN (1) CN111932596B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112804522A (zh) * 2021-04-15 2021-05-14 魔门塔(苏州)科技有限公司 一种对摄像头异常状况的检测方法及装置
CN113628236A (zh) * 2021-08-16 2021-11-09 北京百度网讯科技有限公司 摄像头遮挡检测方法、装置、设备、存储介质及程序产品
WO2022198508A1 (zh) * 2021-03-24 2022-09-29 深圳市大疆创新科技有限公司 镜头异常提示方法、装置、可移动平台及可读存储介质
CN115465293A (zh) * 2022-09-06 2022-12-13 湖南大学无锡智能控制研究院 一种多传感器安全自认知及安全处理装置及方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1605086A (zh) * 2002-07-26 2005-04-06 三菱电机株式会社 图像处理装置
CN102324102A (zh) * 2011-10-08 2012-01-18 北京航空航天大学 一种图像场景空洞区域结构和纹理信息自动填补方法
CN109118498A (zh) * 2018-08-22 2019-01-01 科大讯飞股份有限公司 一种摄像头污点检测方法、装置、设备及存储介质
CN110544211A (zh) * 2019-07-26 2019-12-06 纵目科技（上海）股份有限公司 一种镜头付着物的检测方法、系统、终端和存储介质
CN110738174A (zh) * 2019-10-17 2020-01-31 五邑大学 手指静脉识别方法、装置、设备和存储介质
CN111325763A (zh) * 2020-02-07 2020-06-23 清华大学深圳国际研究生院 一种基于光场重聚焦的遮挡预测方法和装置
CN111539290A (zh) * 2020-04-16 2020-08-14 咪咕文化科技有限公司 视频动作识别方法、装置、电子设备及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1605086A (zh) * 2002-07-26 2005-04-06 三菱电机株式会社 图像处理装置
CN102324102A (zh) * 2011-10-08 2012-01-18 北京航空航天大学 一种图像场景空洞区域结构和纹理信息自动填补方法
CN109118498A (zh) * 2018-08-22 2019-01-01 科大讯飞股份有限公司 一种摄像头污点检测方法、装置、设备及存储介质
CN110544211A (zh) * 2019-07-26 2019-12-06 纵目科技（上海）股份有限公司 一种镜头付着物的检测方法、系统、终端和存储介质
CN110738174A (zh) * 2019-10-17 2020-01-31 五邑大学 手指静脉识别方法、装置、设备和存储介质
CN111325763A (zh) * 2020-02-07 2020-06-23 清华大学深圳国际研究生院 一种基于光场重聚焦的遮挡预测方法和装置
CN111539290A (zh) * 2020-04-16 2020-08-14 咪咕文化科技有限公司 视频动作识别方法、装置、电子设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
TAKATSU YASUO 等: "Three-dimensional Gradient-echo is Effective in Suppressing Radiofrequency Shielding by a Titanium Mesh", 《MAGNETIC RESONANCE IN MEDICAL SCIENCES : MRMS : AN OFFICIAL JOURNAL OF JAPAN SOCIETY OF MAGNETIC RESONANCE IN MEDICINE》 *
陈先锋 等: "基于区域先验信息的去遮挡立体匹配算法", 《激光与光电子学进展》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022198508A1 (zh) * 2021-03-24 2022-09-29 深圳市大疆创新科技有限公司 镜头异常提示方法、装置、可移动平台及可读存储介质
CN112804522A (zh) * 2021-04-15 2021-05-14 魔门塔(苏州)科技有限公司 一种对摄像头异常状况的检测方法及装置
CN113628236A (zh) * 2021-08-16 2021-11-09 北京百度网讯科技有限公司 摄像头遮挡检测方法、装置、设备、存储介质及程序产品
CN115465293A (zh) * 2022-09-06 2022-12-13 湖南大学无锡智能控制研究院 一种多传感器安全自认知及安全处理装置及方法

Also Published As

Publication number Publication date
CN111932596B (zh) 2021-01-22

Similar Documents

Publication Publication Date Title
CN111932596B (zh) 摄像头遮挡区域的检测方法、装置、设备和存储介质
RU2484531C2 (ru) Устройство обработки видеоинформации системы охранной сигнализации
CN111178183B (zh) 人脸检测方法及相关装置
CN101633356B (zh) 检测行人的系统及方法
KR101735365B1 (ko) 학습 기반의 영상 내 관심 물체 검지 및 환경 변화에 강인한 물체 추적 방법
US10600158B2 (en) Method of video stabilization using background subtraction
JP2015514278A (ja) マルチキュー・オブジェクトの検出および分析のための方法、システム、製品、およびコンピュータ・プログラム（マルチキュー・オブジェクトの検出および分析）
CN107992819A (zh) 一种车辆属性结构化特征的确定方法与装置
CN109766867B (zh) 车辆运行状态确定方法、装置、计算机设备和存储介质
US20100202661A1 (en) Moving object detection apparatus and computer readable storage medium storing moving object detection program
WO2009045578A2 (en) Object detection incorporating background clutter removal
CN108352070B (zh) 移动体追踪方法、移动体追踪装置以及程序
CN111967396A (zh) 障碍物检测的处理方法、装置、设备及存储介质
CN111753612A (zh) 一种抛洒物检测方法、装置及存储介质
KR101454644B1 (ko) 보행자 추적기를 이용한 서성거림을 탐지하는 방법
CN113515968A (zh) 街道的异常事件检测方法、装置、设备及介质
KR101690050B1 (ko) 지능형 영상보안 시스템 및 객체 추적 방법
Santos et al. Car recognition based on back lights and rear view features
JP2019121356A (ja) 干渉領域検出装置と方法及び電子機器
US20200394802A1 (en) Real-time object detection method for multiple camera images using frame segmentation and intelligent detection pool
CN111402185B (zh) 一种图像检测方法及装置
CN113450385B (zh) 一种夜间工作工程机械视觉跟踪方法、装置及存储介质
CN114821441A (zh) 联合ads-b信息的基于深度学习的机场场面运动目标识别方法
CN115147460A (zh) 基于深度学习的移动对象检测方法及系统
CN112784817A (zh) 车辆所在车道检测方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address

Address after: Floor 25, Block A, Zhongzhou Binhai Commercial Center Phase II, No. 9285, Binhe Boulevard, Shangsha Community, Shatou Street, Futian District, Shenzhen, Guangdong 518000

Patentee after: Shenzhen Youjia Innovation Technology Co.,Ltd.

Address before: 518051 1101, west block, Skyworth semiconductor design building, 18 Gaoxin South 4th Road, Gaoxin community, Yuehai street, Nanshan District, Shenzhen City, Guangdong Province

Patentee before: SHENZHEN MINIEYE INNOVATION TECHNOLOGY Co.,Ltd.

CP03 Change of name, title or address