CN109118498B - 一种摄像头污点检测方法、装置、设备及存储介质 - Google Patents
一种摄像头污点检测方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN109118498B CN109118498B CN201810958638.4A CN201810958638A CN109118498B CN 109118498 B CN109118498 B CN 109118498B CN 201810958638 A CN201810958638 A CN 201810958638A CN 109118498 B CN109118498 B CN 109118498B
- Authority
- CN
- China
- Prior art keywords
- target image
- target
- stain
- image
- statistical
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 336
- 230000000903 blocking effect Effects 0.000 claims abstract description 72
- 230000011218 segmentation Effects 0.000 claims description 32
- 230000004927 fusion Effects 0.000 claims description 25
- 238000012549 training Methods 0.000 claims description 25
- 238000004590 computer program Methods 0.000 claims description 6
- 238000000034 method Methods 0.000 abstract description 23
- 230000000694 effects Effects 0.000 abstract description 4
- 238000011897 real-time detection Methods 0.000 abstract description 2
- 238000003062 neural network model Methods 0.000 description 17
- 238000010586 diagram Methods 0.000 description 16
- 238000010606 normalization Methods 0.000 description 13
- 230000008569 process Effects 0.000 description 13
- 238000007500 overflow downdraw method Methods 0.000 description 10
- 238000012545 processing Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 238000013528 artificial neural network Methods 0.000 description 6
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000002372 labelling Methods 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011022 operating instruction Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 239000004575 stone Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/97—Determining parameters from multiple pictures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本申请提供了一种摄像头污点检测方法、装置、设备及存储介质，方法包括：获取目标场景下的目标图像序列，目标图像序列包括目标图像和目标图像之前和/或之后的N帧图像；基于目标图像序列确定目标图像对应的统计特征，并基于统计特征确定目标图像中的污点遮挡区域；通过预先建立的污点检测模型，从目标图像中检测出污点遮挡区域；将基于统计特征确定出的污点遮挡区域和通过污点检测模型检测出的污点遮挡区域进行融合，得到目标图像最终的污点检测结果。本申请提供的摄像头污点检测方法、装置、设备及存储介质，可实现运动场景下污点的实时检测，并且，污点检测准确率较高、检测运算负担较小，即检测效果较好。
Description
技术领域
本申请涉及信息检测技术领域，尤其涉及一种摄像头污点检测方法、装置、设备及存储介质。
背景技术
运动场景下的摄像头污点检测在许多领域内都有所应用，比如，汽车辅助驾驶领域、无人机航拍领域等，图像的采集处理对于这些领域而言，都是比较重要的一个环节，如果摄像头上的污点没有及时发现，将严重影响实时或后期的图像处理。因此，在运动场景下，如何快速、准确地检测出摄像头上的污点是亟需解决的问题。
发明内容
有鉴于此，本申请提供了一种摄像头污点检测方法、装置、设备及存储介质，用以快速、准确地检测出摄像头上的污点，其技术方案如下：
一种摄像头污点检测方法，包括：
获取目标场景下的目标图像序列，所述目标图像序列包括目标图像和所述目标图像之前和/或之后的N帧图像，其中，N为大于等于1的整数；
基于所述目标图像序列确定所述目标图像对应的统计特征，并基于所述统计特征确定所述目标图像中的污点遮挡区域；
通过预先建立的污点检测模型，从所述目标图像中检测出污点遮挡区域；
将基于所述统计特征确定出的污点遮挡区域和通过所述污点检测模型检测出的污点遮挡区域进行融合，得到所述目标图像最终的污点检测结果。
其中，所述基于所述目标图像序列确定所述目标图像对应的统计特征，包括：
计算所述目标图像序列的时域均值，获得均值统计图，作为所述目标图像对应的目标均值统计图；
和/或，计算所述目标图像序列的时域方差，获得方差统计图，作为所述目标图像对应的目标方差统计图；
将所述目标均值统计图、或所述目标方差统计图或将所述目标均值统计图和所述目标方差统计图进行融合后得到的融合统计图作为所述目标图像对应的统计特征。
其中，所述基于所述目标图像序列确定所述目标图像对应的统计特征，还包括：
按预设的归一化方式对所述均值统计图中的所有像素点进行归一化处理，获得归一化均值统计图，作为所述目标均值统计图；
和/或，按所述预设的归一化方式对所述方差图像中的所有像素点进行归一化处理，获得归一化方差统计图，作为所述目标方差统计图。
其中，所述基于所述统计特征确定所述目标图像中的污点遮挡区域，包括：
基于设定的二值化阈值对目标统计图进行二值化，二值化后得到图像作为所述目标图像对应的污点检测结果图；
其中，所述目标统计图为所述目标均值统计图、或所述目标方差统计图、或所述融合统计图；所述目标图像中的污点遮挡区域为与所述污点检测结果图中像素值为第一目标值的像素点组成的区域对应的区域。
其中，所述基于所述统计特征确定所述目标图像中的污点遮挡区域，还包括：
获取所述目标图像之前和/或之后的至少一帧图像中各帧图像对应的污点检测结果图；
将所述目标图像对应的污点检测结果图、所述目标图像之前和/或之后的至少一帧图像中各帧图像对应的污点检测结果图进行融合，融合后的图像作为所述目标图像最终对应的污点检测结果图。
其中，所述将所述目标图像对应的污点检测结果图、所述目标图像之前和/或之后的至少一帧图像中各帧图像对应的污点检测结果图进行融合，包括：
将所述目标图像对应的污点检测结果图、所述目标图像之前和/或之后的至少一帧图像中各帧图像对应的污点检测结果图进行逻辑与操作。
其中，所述通过预先建立的污点检测模型，从所述目标图像中检测出污点遮挡区域，包括：
将所述目标图像输入预先建立的所述污点检测模型，获得所述污点检测模型输出的污点遮挡区域分割图；
其中，所述污点检测模型以所述目标场景下的污点遮挡图像为训练样本，以对所述污点遮挡图像中污点遮挡区域的各个像素采用第三目标值进行标注、对其它区域的各个像素采用第四目标值进行标注的标注结果为样本标签进行训练得的；
其中，所述目标图像中的污点遮挡区域为与所述污点区域分割图中像素值为所述第三目标值的像素点组成的区域对应的区域。
其中，所述将基于所述统计特征确定出的污点遮挡区域和通过所述污点检测模型检测出的污点遮挡区域进行融合，得到所述目标图像最终的污点检测结果，包括：
将所述目标图像对应的污点检测结果图与所述污点区域分割图进行逻辑与操作，逻辑与操作的结果作为所述目标图像最终的污点检测结果。
一种摄像头污点检测装置，包括：图像序列获取模块、第一检测模块、第二检测模块和检测结果融合模块；
所述图像序列获取模块，用于获取目标场景下的目标图像序列，所述目标图像序列包括目标图像和所述目标图像之前和/或之后的N帧图像，其中，N为大于等于1的整数；
所述第一检测模块，用于基于所述目标图像序列确定所述目标图像对应的统计特征，并基于所述统计特征确定所述目标图像中的污点遮挡区域；
所述第二检测模块，用于通过预先建立的污点检测模型，从所述目标图像中检测出污点遮挡区域；
所述检测结果融合模块，用于将基于所述统计特征确定出的污点遮挡区域和通过所述污点检测模型检测出的污点遮挡区域进行融合，得到所述目标图像最终的污点检测结果。
其中，所述第一检测模块包括：统计特征确定模块；
所述统计特征确定模块，用于计算所述目标图像序列的时域均值，获得均值统计图，作为所述目标图像对应的目标均值统计图；和/或，计算所述目标图像序列的时域方差，获得方差统计图，作为所述目标图像对应的目标方差统计图；将所述目标均值统计图、或所述目标方差统计图或将所述目标均值统计图和所述目标方差统计图进行融合后得到的融合统计图作为所述目标图像对应的统计特征。
其中，所述统计特征确定模块，还用于按预设的归一化方式对所述均值统计图中的所有像素点进行归一化处理，获得归一化均值统计图，作为所述目标均值统计图；和/或，按所述预设的归一化方式对所述方差图像中的所有像素点进行归一化处理，获得归一化方差统计图，作为所述目标方差统计图。
其中，所述第一检测模块包括：污点遮挡区域确定模块；
所述污点遮挡区域确定模块，用于基于设定的二值化阈值对目标统计图进行二值化，二值化后得到图像作为所述目标图像对应的污点检测结果图；
其中，所述目标统计图为所述目标均值统计图、或所述目标方差统计图、或所述融合统计图；所述目标图像中的污点遮挡区域为与所述污点检测结果图中像素值为第一目标值的像素点组成的区域对应的区域。
其中，所述污点遮挡区域确定模块，还用于获取所述目标图像之前和/或之后的至少一帧图像中各帧图像对应的污点检测结果图；将所述目标图像对应的污点检测结果图、所述目标图像之前和/或之后的至少一帧图像中各帧图像对应的污点检测结果图进行融合，融合后的图像作为所述目标图像最终对应的污点检测结果图。
其中，所述第二检测模块，具体用于将所述目标图像输入预先建立的所述污点检测模型，获得所述污点检测模型输出的污点遮挡区域分割图；
其中，所述污点检测模型以所述目标场景下的污点遮挡图像为训练样本，以对所述污点遮挡图像中污点遮挡区域的各个像素采用第三目标值进行标注、对其它区域的各个像素采用第四目标值进行标注的标注结果为样本标签进行训练得的；
其中，所述目标图像中的污点遮挡区域为与所述污点区域分割图中像素值为所述第三目标值的像素点组成的区域对应的区域。
一种摄像头污点检测设备，包括：存储器和处理器；
所述存储器，用于存储程序；
所述处理器，用于执行所述程序，所述程序具体用于：
获取目标场景下的目标图像序列，所述目标图像序列包括目标图像和所述目标图像之前和/或之后的N帧图像，其中，N为大于等于1的整数；
基于所述目标图像序列确定所述目标图像对应的统计特征，并基于所述统计特征确定所述目标图像中的污点遮挡区域；
通过预先建立的污点检测模型，从所述目标图像中检测出污点遮挡区域；
将基于所述统计特征确定出的污点遮挡区域和通过所述污点检测模型检测出的污点遮挡区域进行融合，得到所述目标图像最终的污点检测结果。
一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现所述的摄像头污点检测方法的各个步骤。
经由上述方案可知，本申请提供的摄像头污点检测方法、装置、设备及存储介质，首先获取包含目标图像和目标图像之前和/或之后的至少一帧图像的目标图像序列后，然后采用两种检测方式分别对目标图像进行污点检测，其一，利用目标图像序列后，采用基于图像统计的检测方法检测目标图像中的污点遮挡区域，其二，通过预先建立的污点检测模型从目标图像中检测污点遮挡区域，最后，将基于上述两种检测方式获得的检测结果进行融合，获得目标图像最终的污点检测结果。本申请通过将基于图像统计的检测方法与基于污点检测模型的检测方法相结合，能够实现在运动场景下实时有效地检测污点，且由于考虑了摄像头拍摄的图像序列之间的时域关联性，避免了对单帧图像进行检测所带来的误检或漏检，具有较好的检测效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请实施例提供的摄像头污点检测方法的流程示意图；
图2为本申请实施例提供摄像头污点检测方法中，将目标图像对应的污点检测结果图、目标图像之前和/或之后的至少一帧图像中各帧图像对应的污点检测结果图进行融合，获得目标图像最终对应的污点检测结果图的一示例的示意图；
图3为本申请实施例提供摄像头污点检测方法中，将目标图像对应的污点检测结果图与污点区域分割图进行融合，获得目标图像最终的污点检测结果的一示例的示意图；
图4为本申请实施例提供的摄像头污点检测装置的结构示意图；
图5为本申请实施例提供的摄像头污点检测设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
发明人在实现本发明创造的过程中发现：现有技术中存在一些摄像头污点检测方案，这些摄像头污点检测方案主要有两种：
其一，基于特定背景的检测方案，即使用特定的背景板覆盖整个摄像头的可拍摄区域，由于背景板的可控性，只要在该背景板下拍摄一幅或多幅图像，分析图像像素亮度相对于背景板的差异值，并设定判断阈值，差异值大于设定的判断阈值即可认为摄像头该区域受到了污染或遮挡。
其二，基于神经网络的检测方案，该方案属于图像分割类型的任务，该方案将单帧或多帧图像输入训练好的神经网络，神经网络对图像进行逐像素点分类，判断该像素点是否为污染的像素点，从而得出摄像头污染区域分割结果。
上述两种检测方案虽然均可实现摄像头的污点检测，但存在诸多问题，具体问题如下：
基于特定背景的检测方案，是在摄像头实际使用前进行摄像头污点检测，而在实际使用过程中，无法做到实时动态检测，对动态场景中可能出现的实时污点无能为力。另外，基于特定背景的检测方案多是对单帧图像或多帧独立图像进行检测，而自然场景中独立图像的污点检测本身具有极大的局限性，比如，静态场景中一块黑色的石头与镜头本身的污点极其类似，因此，对单帧图像或多帧独立图像进行检测可能会造成明显的误检或漏检。
基于神经网络的检测方案，需要大量通用场景的训练数据，而摄像头镜头的污点遮挡本身具有背景多样性、形态亮度不规则性等特点，因此，很难获取具有足够泛化性的训练数据，在训练数据缺乏的情况下，检测结果难以具有足够的可信度。另外，基于神经网络的检测方案也存在基于单帧图像的检测方案和基于多帧图像的检测方案，基于单帧图像的检测方案，同样存在误检或漏检的问题，而基于多帧图像的检测方案，需要考虑前后多帧图像，这对网络复杂性以及设备的实时计算能力都带来一定的挑战，在实际场景中难以应用。
鉴于现有检测方案存在的问题，本申请提供了一种摄像头污点检测方法，请参阅图1，示出了该摄像头污点检测方法的流程示意图，可以包括：
步骤S101：获取目标场景下的目标图像序列。
其中，目标图像序列包括目标图像和目标图像之前和/或之后的N帧图像，N为大于等于1的整数。
需要说明的是，目标图像之前和/或之后的N帧图像可以为目标图像之前和/或之后的连续N帧图像，还可以为从目标图像之前和/或之后的连续多帧图像中抽样得到的N帧图像。
步骤S102：基于目标图像序列确定目标图像对应的统计特征，并基于统计特征确定目标图像中的污点遮挡区域。
本步骤的目的在于利用目标图像序列，采用基于图像统计的检测方法检测目标图像中的污点遮挡区域。
考虑到摄像头拍摄的图像序列的时域关联性，本实施例确定目标图像序列的时域统计特征，将目标图像序列的时域统计特征作为目标图像对应的时域统计特征，进而基于该时域统计特征确定目标图像中的污点遮挡区域。
步骤S103：通过预先建立的污点检测模型，从目标图像中检测出污点遮挡区域。
其中，污点检测模型以目标场景下的污点遮挡图像为训练样本，以污点遮挡图像中各个像素点对应的类别为样本标签进行训练得到，像素点对应的类别用于指示对应的像素点位置是否有污点遮挡。
考虑到采用基于图像统计的检测方法检测出的污点遮挡区域中可能存在被误检为污点的像素点或区域(比如，驾驶场景中保持相对静止的汽车，在步骤S102的检测中可能会被误检为污点)，而本步骤的目的在于去除基于步骤S102获得的污点检测结果中的误检结果。
需要说明的是，本实施例并不限定步骤S102和步骤S103的执行顺序，可先执行步骤S102，再执行步骤S103，也可先执行步骤S103，再执行步骤S102，还可同时执行步骤S102和步骤S103，只要包含步骤S102和步骤S103都属于本申请的保护范围。
步骤S104：将基于统计特征确定出的污点遮挡区域和通过污点检测模型检测出的污点遮挡区域进行融合，得到目标图像最终的污点检测结果。
本申请实施例提供的摄像头污点检测方法，首先获取包含目标图像和目标图像之前和/或之后的至少一帧图像的目标图像序列后，然后采用两种检测方式对目标图像进行污点检测，其一，利用目标图像序列，采用基于图像统计的检测方法检测目标图像中的污点遮挡区域，其二，采用基于污点检测模型的检测方法从目标图像中检测出污点遮挡区域，最后，将两种检测方式的检测结果进行融合，获得目标图像最终的污点检测结果。由于考虑了摄像头拍摄的图像序列之间的时域关联性，因此避免了对单帧图像进行检测所带来的误检或漏检，由于基于污点检测模型的检测方法主要是去除基于图像统计的检测方法检测中的误检，因此，污点检测模型不需要极高的精确度，由于污点检测模型不需要极高的精确度，因此，训练污点检测模型时不需要大量的训练数据，即本申请实施例提供的摄像头污点检测方法，在不需要大量训练数据的情况下，即可实现运动场景下污点的实时检测，并且，污点检测准确率较高、检测运算负担较小，即检测效果较好。
在本申请的另一实施例中，对上述步骤S102：基于目标图像序列确定目标图像对应的统计特征，并基于统计特征确定目标图像中的污点遮挡区域进行介绍。
在动态场景中，如车载摄像头或无人机摄像头拍摄的场景中，摄像头拍摄的连续帧图像会随着场景变化而不断变化，当摄像机镜头出现污点遮挡区域时，由于污点具有一定的不透明度，该区域在一定时间内像素均值会相对偏小。基于此，在一种可能的实现方式中，基于目标图像序列确定目标图像对应的统计特征的过程可以包括：计算目标图像序列的时域均值，获得均值统计图，作为目标图像对应的目标均值统计图，将目标均值统计图作为目标图像对应的统计特征。
示例性地，目标图像序列包括时间序列t0～tN内的N+1帧图像，目标图像为tN时刻的图像，则计算目标图像序列的时域均值的过程即计算处于图像上同一位置即每一个(x,y)坐标处像素点I(x,y)在时间序列t0～tN内的均值
具体地，均值
可基于下式计算：
其中，
为tN时刻的图像，即为目标图像，
为t0时刻的图像，
为目标图像之前的N帧图像。需要说明的是，
可以为
之前的连续N帧图像，也可以为从
之前的连续多帧图像中抽样得到的N帧图像。
计算出每个(x,y)坐标处像素点I(x,y)在时间序列t0～tN-1内的均值
便获得了一幅到tN时刻的均值统计图Iave，将该均值统计图Iave作为目标图像
对应的目标均值统计图。
为了消除不同亮度背景下带来的亮度均值大小不一的情况，在另一种可能的实现方式中，在获得均值统计图Iave后，可对均值统计图Iave中的所有像素点进行归一化处理，将其归一化到预设范围，在本实施例中，可以但不限定为将均值统计图Iave中的所有像素点归一化到(0,1)范围内，从而获得归一化均值图像，将该归一化均值统计图作为目标图像对应的目标均值统计图。具体地，可基于下式对均值统计图Iave进行归一化：
在动态场景中，当摄像机镜头出现污点遮挡区域时，由于污点的遮挡过滤作用以及污点自身位置不变，该污点遮挡区域在一段时间内方差统计量也会相对偏小。基于此，在另一种可能的实现方式中，基于目标图像序列确定目标图像对应的统计特征的过程可以包括：计算目标图像序列的时域方差，获得方差统计图，作为目标图像对应的目标方差统计图，将目标方差统计图作为目标图像对应的统计特征。
示例性地，目标图像序列包括时间序列t0～tN内的N+1帧图像，目标图像为tN时刻的图像，则计算目标图像序列的时域方差的过程即计算处于图像上同一位置即每一个(x,y)坐标处像素点I(x,y)在时间序列t0～tN内的方差
具体地，方差
可基于下式计算：
其中，
为tN时刻的图像，即为目标图像，It0为t0时刻的图像，
为目标图像之前的N帧图像，需要说明的是，
可以为
之前的连续N帧图像，也可以为从
之前的连续多帧图像中抽样得到的N帧图像，
为(x,y)坐标处像素点I(x,y)在时间序列t0～tN内的均值。
计算出每个(x,y)坐标处处像素点I(x,y)在时间序列t0～tN内的方差
便获得了一幅到tN时刻的方差统计图Ivar，将该方差统计图Ivar作为目标图像
对应的目标方差统计图。
为了消除不同亮度背景下带来的亮度方差大小不一的情况，在另一种可能的实现方式中，在获得方差统计图Ivar后，可对方差统计图Ivar中的所有像素点进行归一化处理，将其归一化到预设范围，在本实施例中，可以但不限定为将方差统计图Ivar中的所有像素点归一化到(0,1)范围内，从而获得归一化方差图像，将该归一化方差统计图作为目标图像对应的目标方差统计图。具体地，可基于下式对方差统计图Ivar进行归一化：
需要说明的是，上述两种实现方式分别将目标均值统计图、目标方差统计图作为目标图像对应的统计特征，为了提高污点检测准确率，在另一种较优选的实现方式中，可将目标均值统计图与目标方差统计图进行融合，获得的融合统计图作为目标图像对应的统计特征。
在一种可能的实现方式中，可基于下式对目标均值统计图与目标方差统计图进行融合：
Ifuse＝αI'ave+βI'var (5)
其中，I'ave表示目标均值统计图，I'var表示目标方差统计图，α为目标均值统计图对应的权重因子，β为目标方差统计图对应的权重因子，α与β可基于实际的应用场景进行设定，比如可设定α＝0.1，β＝0.9。
需要说明的是，本实施例并不对目标均值统计图与目标方差统计图的具体融合方式进行限定，其可以为上述融合方式，也可以为其它融合方式，只要是对目标均值统计图与目标方差统计图进行融合都属于本申请保护的范围。
在采用上述方式获得目标图像对应的统计特征后，便可基于该统计特征确定目标图像中的污点遮挡区域。
在一种可能的实现方式中，基于统计特征确定目标图像中的污点遮挡区域的过程可以包括：基于设定的二值化阈值对目标统计图进行二值化，二值化后得到图像作为目标图像对应的污点检测结果图。其中，目标统计图可以为上述的目标均值统计图，也可以为上述的目标方差统计图，优选为上述的融合统计图。
需要说明的是，目标图像中的污点遮挡区域为与污点检测结果图中像素值为第一目标值的像素点组成的区域对应的区域。
假设目标统计图为Itarget，设定的二值化阈值为γ，则可通过下式对目标统计图为Itarget进行二值化：
其中，γ的值可根据实际应用情况进行设定，比如可设定γ为0.05。
按式(6)对目标统计图进行二值化后，获得二值化图像可作为目标图像对应的污点检测结果图，污点检测结果图中像素值为1的像素点组成的区域为疑似污点区域，像素值为0的像素点组成的区域为非污点区域，即目标图像中、与污点检测结果图中像素值为1的像素点组成的区域对应的区域为污点遮挡区域。
需要说明的是，上述内容给出了将目标均值统计图和目标方差统计图融合以确定目标图像对应的污点检测结果图的一种可能的实现方式，即先将目标均值统计图与目标方差统计图基于上述式(5)进行融合，获得融合统计图，然后对融合统计图进行二值化，二值化后得到的图像作为目标图像对应的污点检测结果图。除了上述实现方式外，还有其它的实现方式，在另一种可能的实现方式中，可先按设定的第一阈值对目标均值统计图进行二值化，获得目标均值统计图对应的二值化图像，并按设定的第二阈值对目标方差统计图进行二值化，获得目标方差统计图对应的二值化图像，然后将目标均值统计图对应的二值化图像和目标方差统计图对应的二值化图像进行逻辑与操作，逻辑与操作得到的二值化图像作为目标图像对应的污点检测结果图。需要说明的是，只要是将目标均值统计图和目标方差统计图融合以确定目标图像对应的污点检测结果图都属于本申请的保护范围。
考虑到附着在摄像头上的污点在一段时间内具有稳定性，假设目标图像对应的目标统计图中某个像素点位置的像素值为1，如果目标图像之前和/或之后的至少一帧图像中各帧图像对应的目标统计图中该像素点位置的像素值均为1，则可确定目标图像中该像素点位置被污点遮挡的概率较大。基于此，为了提高污点检测准确率，在另一种可能的实现方式中，可获取目标图像之前和/或之后的至少一帧图像中各帧图像对应的污点检测结果图；将目标图像对应的污点检测结果图、目标图像之前和/或之后的至少一帧图像中各帧图像对应的污点检测结果图进行融合，融合后的图像作为目标图像最终对应的污点检测结果图。
在一种可能的实现方式中，将目标图像对应的污点检测结果图、目标图像之前和/或之后的至少一帧图像中各帧图像对应的污点检测结果图进行融合，包括：将目标图像对应的污点检测结果图、目标图像之前和/或之后的至少一帧图像中各帧图像对应的污点检测结果图进行逻辑与操作，逻辑与操作的结果作为目标图像最终对应的污点检测结果图。需要说明的是，目标图像之前和/或之后的至少一帧图像中各帧图像对应的污点检测结果采用本申请提供的确定目标图像对应的污点检测结果图的方式确定。
示例性地，获取目标图像之前的多帧图像，比如可获取目标图像之前连续k-1帧图像，则目标图像最终对应的污点检测结果图可通过下式确定：
其中，Ismudge|tk-1为tk-1时刻的图像即目标图像对应的污点检测结果图，Ismudge|t0为t0时刻的图像对应的污点检测结果图，Ismudge|t1为t1时刻的图像对应的污点检测结果图，以此类推，Ismudge|t0～Ismudge|tk-2即为目标图像之前连续k-1帧图像中各帧图像对应的污点检测结果图，
为融合后的污点检测结果图，即目标图像最终对应的污点检测结果图。
本实施例并不对目标图像对应的污点检测结果图、目标图像之前和/或之后至少一帧图像中各帧图像对应的污点检测结果图进行融合的具体融合方式进行限定，其可以为上述融合方式，也可以为其它融合方式，比如，可采用基于图像累加的融合方法，具体地，首先将目标图像对应的污点检测结果图与目标图像之前和/之后至少一帧图像中各帧图像对应的污点检测结果图进行累加融合，获得累加融合图像，然后，基于累加融合图像和进行累加的图像的数量求取均值图像，接着，将累加融合图像与均值图像作差，获得差值图像，最后，将差值图像二值化，二值化得到的图像作为目标图像最终对应的污点检测结果图。需要说明的是，只要是对目标图像对应的污点检测结果图、目标图像之前和/或之后至少一帧图像中各帧图像对应的污点检测结果图进行融合都属于本申请保护的范围。
请参阅图2，示出了将目标图像对应的污点检测结果图、目标图像之前连续多帧图像中各帧图像对应的污点检测结果图进行融合，获得目标图像最终对应的污点检测结果图的一示例的示意图。
目标图像中，与
中像素值为1的像素点位置对应的像素点位置大概率有污点遮挡，与
中像素值为0的像素点位置对应的像素点位置没有污点遮挡。
上述过程给出了利用目标图像序列，采用基于图像统计的检测方法检测目标图像中的污点遮挡区域的实现过程，即通过上述过程，获得了目标图像对应的污点检测结果图，考虑到基于图像统计的检测方法存在误检的情况，比如，车载摄像头在运动场景中会出现后方有车辆跟随的情况，当后方跟随车辆颜色较深且相对位置保持不变的情况下，容易被误检为污点遮挡，基于此，本申请提供了基于污点检测模型的检测方案，即通过预先建立的污点检测模型，从目标图像中检测出污点遮挡区域。
具体的，通过预先建立的污点检测模型，从目标图像中检测出污点遮挡区域的过程可以包括：将目标图像输入预先建立的污点检测模型，获得污点检测模型输出的污点遮挡区域分割图。
其中，污点检测模型以目标场景下的污点遮挡图像为训练样本，以对污点遮挡图像中污点遮挡区域的各个像素采用第三目标值进行标注、对其它区域的各个像素采用第四目标值进行标注的标注结果为样本标签进行训练得的。需要说明的是，第三目标值可以为与上述第一目标值相同的值，也可以为其它值，第四目标值可以为与上述第二目标值相同的值，也可以为其他值。
污点检测模型输出的污点遮挡区域分割图中，像素值为第三目标值的像素点组成的区域为污点区域，其它区域为非污点区域，即目标图像中的污点遮挡区域为与污点区域分割图中像素值为第三目标值的像素点组成的区域对应的区域。
需要说明的是，本实施例中的污点检测模型为一个二分类神经网络模型，其利用目标场景下标注有像素类别标签的污点遮挡图像训练得到，上述第一目标值和第二目标值为两个类别的像素类别标签，用于表征两个类别。在一种可能的实现方式中，第三目标值可以为1，第四目标值可以为0，即1代表有污点遮挡，0代表没有污点遮挡。
需要说明的是，污点检测模型从目标图像中检测污点遮挡区域的过程实质是从目标图像中分割出污点遮挡区域，获得污点遮挡区域分割图的过程。污点遮挡区域分割属于图像语义分割范畴，目前常用的深度学习图像语义分割框架基于全卷积神经网络(fullyconvolution network，FCNs)，基于此，本申请中的神经网络模型可以但不限定为全卷积神经网络模型。全卷积神经网络模型的输入为一幅图像，全卷积神经网络模型经过训练后，其会根据输入图像上每个像素点的语义特征将该像素点标记为相应的类别，全卷积神经网络模型最后输出也是一幅图像，即污点遮挡区域分割图。
在本申请中，训练神经网络模型时优化目标的代价函数可以为交叉熵代价函数(cross-entropy cost function)，交叉熵损失公式如下：
上式中，y表示神经网络模型所预测的类别，p为神经网络模型在某一数据点对于类别1的预测概率，相应地，1-p即表示该点对于类别0的预测概率，在这里可以将预测概率p改写为pR的形式:
将pR代入到上述交叉熵损失公式(8)中，可以得到改写后的交叉熵损失公式:
CE(p，y）＝-ln(pR) (10)
从上述公式我们可以看到，当神经网络模型经过训练后输出的预测结果与真实数据的类别标签越相近，即pR的值越接近1时，交叉熵损失函数越接近于0，此时网络分割结果越好。神经网络模型训练的目标就是最小化代价函数。
在本申请中，由于最终的污点检测结果是统计检测结果与神经网络模型检测结果的融合，并不完全依赖于神经网络模型，神经网络模型的作用主要是去除一些在统计检测中的误检结果，因此，不需要极高的精确度，也就不需要大量的训练数据，在训练数据缺乏的情况下同样可以进行训练。
在对神经网络模型训练完成之后，将目标图像输入该训练好的神经网络模型，该模型会对目标图像中的每个像素点进行(0，1)二分类，获得与目标图像对应的污点遮挡区域分割图，其中，污点遮挡区域分割图中分类为1的像素点组成的区域为神经网络模型判定的污点区域，分类为0的像素点组成的区域为神经网络模型判定的非污点区域，即正常区域。
本申请实施例中的污点检测模型针对目标图像进行检测，即只对单帧图像进行检测，没有考虑前后帧图像的信息，其优势在于能够大大降低运算复杂度，保证了检测的实时性，但其也存在劣势，劣势在于可能会将对比度小的、纹理特征弱的部分区域分类为污点遮挡区域，这样会容易出现误检，基于此，本申请将污点检测模型输出的、目标图像对应的污点遮挡区域分割图与基于图像统计的检测方法获得的目标图像对应的污点检测结果图进行融合。在一种可能的实现方式中，可将目标图像对应的污点检测结果图与污点区域分割图进行逻辑与操作，逻辑与操作的结果作为目标图像最终的污点检测结果。
本实施例并不限定对污点检测结果图与污点区域分割图进行融合的具体融合方式，可采用上述融合方式，也可采用其它融合方式，比如，可先将污点检测结果图与污点区域分割图相加融合，获得相加融合图像，然后求取污点检测结果图与污点区域分割图的均值，获得均值图像，接着，将相加融合图像与均值图像作差，获得差值图像，最后将差值图像二值化，二值化得到的图像作为目标图像最终的污点检测结果。需要说明的是，只要是将污点检测结果图与污点区域分割图进行融合都属于本申请保护的范围。
请参阅图3，示出了将目标图像对应的污点检测结果图301与污点区域分割图302进行逻辑与操作后，获得目标图像最终的污点检测结果303的一示例的示意图。目标图像最终的污点检测结果中，像素值为1的点平均亮度相对较低、平均方差相对较小、长时间稳定存在，且纹理特征较弱，这样的点组成的区域为污点遮挡区域。本申请实施例提供的摄像头污点检测方法，可实现运动场景下污点的实时检测，并且误检率、漏检率较低、检测运算负担较小，检测效果较好。
与上述摄像头污点检测方法相对应，本申请实施例还提供了一种摄像头污点检测装置，请参阅图4，示出了该装置的结构示意图，该装置可以包括：图像序列获取模块401、第一检测模块402、第二检测模块403和检测结果融合模块404。
图像序列获取模块401，用于获取目标场景下的目标图像序列，所述目标图像序列包括目标图像和所述目标图像之前和/或之后的N帧图像，其中，N为大于等于1的整数。
第一检测模块402，用于基于所述目标图像序列确定所述目标图像对应的统计特征，并基于所述统计特征确定所述目标图像中的污点遮挡区域。
第二检测模块403，用于通过预先建立的污点检测模型，从所述目标图像中检测出污点遮挡区域。
检测结果融合模块404，用于将基于所述统计特征确定出的污点遮挡区域和通过所述污点检测模型检测出的污点遮挡区域进行融合，得到所述目标图像最终的污点检测结果。
本申请实施例提供的摄像头污点检测装置，首先获取包含目标图像和目标图像之前和/或之后的至少一帧图像的目标图像序列后，然后采用两种检测方式对目标图像进行污点检测，其一，利用目标图像序列，采用基于图像统计的检测方法检测目标图像中的污点遮挡区域，其二，采用基于污点检测模型的检测方法从目标图像中检测出污点遮挡区域，最后，将两种检测方式的检测结果进行融合，获得目标图像最终的污点检测结果。由于考虑了摄像头拍摄的图像序列之间的时域关联性，因此避免了对单帧图像进行检测所带来的误检或漏检，由于基于污点检测模型的检测方法主要是去除基于图像统计的检测方法检测中的误检，因此，污点检测模型不需要极高的精确度，由于污点检测模型不需要极高的精确度，因此，训练污点检测模型时不需要大量的训练数据，即本申请实施例提供的摄像头污点检测装置，在不需要大量训练数据的情况下，即可实现运动场景下污点的实时检测，并且，污点检测准确率较高、检测运算负担较小，即检测效果较好。
在一种可能的实现方式中，上述实施例提供的摄像头污点检测装置中的第一检测模块402包括：统计特征确定模块和污点遮挡区域确定模块。
所述统计特征确定模块，用于计算所述目标图像序列的时域均值，获得均值统计图，作为所述目标图像对应的目标均值统计图；和/或，计算所述目标图像序列的时域方差，获得方差统计图，作为所述目标图像对应的目标方差统计图；将所述目标均值统计图、或所述目标方差统计图、或将所述目标均值统计图和所述目标方差统计图进行融合后得到的融合统计图确定为所述目标图像对应的统计特征。
优选地，所述统计特征确定模块，还用于按预设的归一化方式对所述均值统计图中的所有像素点进行归一化处理，获得归一化均值图像，作为所述目标均值统计图；和/或，按所述预设的归一化方式对所述方差图像中的所有像素点进行归一化处理，获得归一化方差图像，作为所述目标方差统计图。
在一种可能的实现方式中，污点遮挡区域确定模块，用于基于设定的二值化阈值对目标统计图进行二值化，二值化后得到图像作为所述目标图像对应的污点检测结果图。
其中，所述目标统计图为所述目标均值统计图、或所述目标方差统计图、或所述融合统计图；所述目标图像中的污点遮挡区域为与所述污点检测结果图中像素值为第一目标值的像素点组成的区域对应的区域。
优选地，污点遮挡区域确定模块，还用于获取所述目标图像之前和/或之后至少一帧图像中各帧图像对应的污点检测结果图；将所述目标图像对应的污点检测结果图、所述目标图像之前和/或之后至少一帧图像中各帧图像对应的污点检测结果图进行融合，融合后的图像作为所述目标图像最终对应的污点检测结果图。
进一步地，污点遮挡区域确定模块在将所述目标图像对应的污点检测结果图、所述目标图像之前和/或之后至少一帧图像中各帧图像对应的污点检测结果图进行融合时，具体用于将所述目标图像对应的污点检测结果图、所述目标图像之前和/或之后至少一帧图像中各帧图像对应的污点检测结果图进行逻辑与操作。
在一种可能的实现方式中，上述实施例提供的摄像头污点检测装置中的所述第二检测模块403，具体用于将所述目标图像输入预先建立的所述污点检测模型，获得所述污点检测模型输出的污点遮挡区域分割图。
其中，所述污点检测模型以所述目标场景下的污点遮挡图像为训练样本，以对所述污点遮挡图像中污点遮挡区域的各个像素采用所述第一目标值进行标注、对其它区域的各个像素采用第二目标值进行标注的标注结果为样本标签进行训练得的。
其中，所述目标图像中的污点遮挡区域为与所述污点区域分割图中像素值为所述第一目标值的像素点组成的区域对应的区域。
在一种可能的实现方式中，检测结果融合模块404，具体用于将所述目标图像对应的污点检测结果图与所述污点区域分割图进行逻辑与操作，逻辑与操作的结果作为所述目标图像最终的污点检测结果。
本发明实施例还提供了一种摄像头污点检测设备，请参阅图5，示出了该摄像头污点检测设备的结构示意图，其可以包括：存储器501和处理器502。
存储器501，用于存储程序；
处理器502，用于执行所述程序，所述程序具体用于：
获取目标场景下的目标图像序列，所述目标图像序列包括目标图像和所述目标图像之前和/或之后的N帧图像，其中，N为大于等于1的整数；
基于所述目标图像序列确定所述目标图像对应的统计特征，并基于所述统计特征确定所述目标图像中的污点遮挡区域；
通过预先建立的污点检测模型，从所述目标图像中检测出污点遮挡区域；
将基于所述统计特征确定出的污点遮挡区域和通过所述污点检测模型检测出的污点遮挡区域进行融合，得到所述目标图像最终的污点检测结果。
摄像头污点检测设备还可以包括：总线、通信接口503、输入设备504和输出设备505。
处理器502、存储器501、通信接口503、输入设备504和输出设备505通过总线相互连接。其中：
总线可包括一通路，在计算机系统各个部件之间传送信息。
处理器502可以是通用处理器，例如通用中央处理器(CPU)、微处理器等，也可以是特定应用集成电路(application-specific integrated circuit，ASIC)，或一个或多个用于控制本发明方案程序执行的集成电路。还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
处理器502可包括主处理器，还可包括基带芯片、调制解调器等。
存储器501中保存有执行本发明技术方案的程序，还可以保存有操作系统和其他关键业务。具体地，程序可以包括程序代码，程序代码包括计算机操作指令。更具体的，存储器501可以包括只读存储器(read-only memory，ROM)、可存储静态信息和指令的其他类型的静态存储设备、随机存取存储器(randomaccess memory，RAM)、可存储信息和指令的其他类型的动态存储设备、磁盘存储器、flash等等。
输入设备504可包括接收用户输入的数据和信息的装置，例如摄像头、光笔、触摸屏等。
输出设备505可包括允许输出信息给用户的装置，例如显示屏、扬声器等。
通信接口503可包括使用任何收发器一类的装置，以便与其他设备或通信网络通信，如以太网，无线接入网(RAN)，无线局域网(WLAN)等。
处理器502执行存储器501中所存放的程序，以及调用其他设备，可用于实现本发明实施例所提供的摄像头污点检测方法的各个步骤。
本发明实施例还提供了一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现上述实施例提供给的摄像头污点检测方法的各个步骤。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
在本申请所提供的几个实施例中，应该理解到，所揭露的方法、装置和设备，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (14)
1.一种摄像头污点检测方法，其特征在于，包括：
获取目标场景下的目标图像序列，所述目标图像序列包括目标图像和所述目标图像之前和/或之后的N帧图像，其中，N为大于等于1的整数；
基于所述目标图像序列确定所述目标图像对应的统计特征，并基于所述统计特征确定所述目标图像中的污点遮挡区域，其中，所述目标图像对应的统计特征为所述目标图像序列的时域统计特征；
通过预先建立的污点检测模型，从所述目标图像中检测出污点遮挡区域；
将基于所述统计特征确定出的污点遮挡区域和通过所述污点检测模型检测出的污点遮挡区域进行融合，得到所述目标图像最终的污点检测结果。
2.根据权利要求1所述的摄像头污点检测方法，其特征在于，所述基于所述目标图像序列确定所述目标图像对应的统计特征，包括：
计算所述目标图像序列的时域均值，获得均值统计图，作为所述目标图像对应的目标均值统计图；
和/或，计算所述目标图像序列的时域方差，获得方差统计图，作为所述目标图像对应的目标方差统计图；
将所述目标均值统计图、或所述目标方差统计图、或将所述目标均值统计图和所述目标方差统计图进行融合后得到的融合统计图作为所述目标图像对应的统计特征。
3.根据权利要求2所述的摄像头污点检测方法，其特征在于，所述基于所述统计特征确定所述目标图像中的污点遮挡区域，包括：
基于设定的二值化阈值对目标统计图进行二值化，二值化后得到图像作为所述目标图像对应的污点检测结果图；
其中，所述目标统计图为所述目标均值统计图、或所述目标方差统计图、或所述融合统计图；所述目标图像中的污点遮挡区域为与所述污点检测结果图中像素值为第一目标值的像素点组成的区域对应的区域。
4.根据权利要求3所述的摄像头污点检测方法，其特征在于，所述基于所述统计特征确定所述目标图像中的污点遮挡区域，还包括：
获取所述目标图像之前和/或之后的至少一帧图像中各帧图像对应的污点检测结果图；
将所述目标图像对应的污点检测结果图、所述目标图像之前和/或之后的至少一帧图像中各帧图像对应的污点检测结果图进行融合，融合后的图像作为所述目标图像最终对应的污点检测结果图。
5.根据权利要求4所述的摄像头污点检测方法，其特征在于，所述将所述目标图像对应的污点检测结果图、所述目标图像之前和/或之后的至少一帧图像对应的污点检测结果图进行融合，包括：
将所述目标图像对应的污点检测结果图、所述目标图像之前和/或之后的至少一帧图像中各帧图像对应的污点检测结果图进行逻辑与操作。
6.根据权利要求4或5所述的摄像头污点检测方法，其特征在于，所述通过预先建立的污点检测模型，从所述目标图像中检测出污点遮挡区域，包括：
将所述目标图像输入预先建立的所述污点检测模型，获得所述污点检测模型输出的污点遮挡区域分割图；
其中，所述污点检测模型以所述目标场景下的污点遮挡图像为训练样本，以对所述污点遮挡图像中污点遮挡区域的各个像素采用第三目标值进行标注、对其它区域的各个像素采用第四目标值进行标注的标注结果为样本标签进行训练得的；
其中，所述目标图像中的污点遮挡区域为与所述污点区域分割图中像素值为所述第三目标值的像素点组成的区域对应的区域。
7.根据权利要求6所述的摄像头污点检测方法，所述将基于所述统计特征确定出的污点遮挡区域和通过所述污点检测模型检测出的污点遮挡区域进行融合，得到所述目标图像最终的污点检测结果，包括：
将所述目标图像对应的污点检测结果图与所述污点区域分割图进行逻辑与操作，逻辑与操作的结果作为所述目标图像最终的污点检测结果。
8.一种摄像头污点检测装置，其特征在于，包括：图像序列获取模块、第一检测模块、第二检测模块和检测结果融合模块；
所述图像序列获取模块，用于获取目标场景下的目标图像序列，所述目标图像序列包括目标图像和所述目标图像之前和/或之后的N帧图像，其中，N为大于等于1的整数；
所述第一检测模块，用于基于所述目标图像序列确定所述目标图像对应的统计特征，并基于所述统计特征确定所述目标图像中的污点遮挡区域，其中，所述目标图像对应的统计特征为所述目标图像序列的时域统计特征；
所述第二检测模块，用于通过预先建立的污点检测模型，从所述目标图像中检测出污点遮挡区域；
所述检测结果融合模块，用于将基于所述统计特征确定出的污点遮挡区域和通过所述污点检测模型检测出的污点遮挡区域进行融合，得到所述目标图像最终的污点检测结果。
9.根据权利要求8所述的摄像头污点检测装置，其特征在于，所述第一检测模块包括：统计特征确定模块；
所述统计特征确定模块，用于计算所述目标图像序列的时域均值，获得均值统计图，作为所述目标图像对应的目标均值统计图；和/或，计算所述目标图像序列的时域方差，获得方差统计图，作为所述目标图像对应的目标方差统计图；将所述目标均值统计图、或所述目标方差统计图、或将所述目标均值统计图和所述目标方差统计图进行融合后得到的融合统计图作为所述目标图像对应的统计特征。
10.根据权利要求9所述的摄像头污点检测装置，其特征在于，所述第一检测模块包括：污点遮挡区域确定模块；
所述污点遮挡区域确定模块，用于基于设定的二值化阈值对目标统计图进行二值化，二值化后得到图像作为所述目标图像对应的污点检测结果图；
其中，所述目标统计图为所述目标均值统计图、或所述目标方差统计图、或所述融合统计图；所述目标图像中的污点遮挡区域为与所述污点检测结果图中像素值为第一目标值的像素点组成的区域对应的区域。
11.根据权利要求10所述的摄像头污点检测装置，其特征在于，所述污点遮挡区域确定模块，还用于获取所述目标图像之前和/或之后的至少一帧图像中各帧图像对应的污点检测结果图，将所述目标图像对应的污点检测结果图、所述目标图像之前和/或之后的至少一帧图像中各帧图像对应的污点检测结果图进行融合，融合后的图像作为所述目标图像最终对应的污点检测结果图。
12.根据权利要求10或11所述的摄像头污点检测装置，其特征在于，所述第二检测模块，具体用于将所述目标图像输入预先建立的所述污点检测模型，获得所述污点检测模型输出的污点遮挡区域分割图；
其中，所述污点检测模型以所述目标场景下的污点遮挡图像为训练样本，以对所述污点遮挡图像中污点遮挡区域的各个像素采用第三目标值进行标注、对其它区域的各个像素采用第四目标值进行标注的标注结果为样本标签进行训练得的；
其中，所述目标图像中的污点遮挡区域为与所述污点区域分割图中像素值为所述第三目标值的像素点组成的区域对应的区域。
13.一种摄像头污点检测设备，其特征在于，包括：存储器和处理器；
所述存储器，用于存储程序；
所述处理器，用于执行所述程序，所述程序具体用于：
获取目标场景下的目标图像序列，所述目标图像序列包括目标图像和所述目标图像之前和/或之后的N帧图像，其中，N为大于等于1的整数；
基于所述目标图像序列确定所述目标图像对应的统计特征，并基于所述统计特征确定所述目标图像中的污点遮挡区域，其中，所述目标图像对应的统计特征为所述目标图像序列的时域统计特征；
通过预先建立的污点检测模型，从所述目标图像中检测出污点遮挡区域；
将基于所述统计特征确定出的污点遮挡区域和通过所述污点检测模型检测出的污点遮挡区域进行融合，得到所述目标图像最终的污点检测结果。
14.一种可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现如权利要求1至7中任一项所述的摄像头污点检测方法的各个步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810958638.4A CN109118498B (zh) | 2018-08-22 | 2018-08-22 | 一种摄像头污点检测方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810958638.4A CN109118498B (zh) | 2018-08-22 | 2018-08-22 | 一种摄像头污点检测方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109118498A CN109118498A (zh) | 2019-01-01 |
| CN109118498B true CN109118498B (zh) | 2021-04-30 |
Family
ID=64853488
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810958638.4A Active CN109118498B (zh) | 2018-08-22 | 2018-08-22 | 一种摄像头污点检测方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109118498B (zh) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111563869B (zh) * | 2019-01-25 | 2023-07-21 | 宁波舜宇光电信息有限公司 | 用于摄像模组质检的污点测试方法 |
| CN110321888B (zh) * | 2019-03-18 | 2021-11-19 | 华中科技大学 | 一种基于fpga的星载红外小目标检测方法 |
| CN111738973B (zh) * | 2019-03-22 | 2023-08-15 | 宁波舜宇光电信息有限公司 | 用于摄像模组质检的污点测试方法、装置、系统及存储介质 |
| CN112183158B (zh) * | 2019-07-03 | 2023-07-21 | 九阳股份有限公司 | 一种谷物烹饪设备的谷物种类识别方法和谷物烹饪设备 |
| CN110572636B (zh) * | 2019-07-23 | 2020-08-04 | RealMe重庆移动通信有限公司 | 摄像头脏污检测方法、装置、存储介质及电子设备 |
| CN110532876B (zh) * | 2019-07-26 | 2024-09-03 | 纵目科技（上海）股份有限公司 | 夜晚模式镜头附着物的检测方法、系统、终端和存储介质 |
| CN110532875B (zh) * | 2019-07-26 | 2024-06-21 | 纵目科技（上海）股份有限公司 | 夜晚模式镜头付着物的检测系统、终端和存储介质 |
| CN110544211B (zh) * | 2019-07-26 | 2024-02-09 | 纵目科技（上海）股份有限公司 | 一种镜头付着物的检测方法、系统、终端和存储介质 |
| CN111860120B (zh) * | 2020-06-03 | 2023-11-17 | 江西江铃集团新能源汽车有限公司 | 车载相机自动遮挡检测方法和装置 |
| CN111932596B (zh) * | 2020-09-27 | 2021-01-22 | 深圳佑驾创新科技有限公司 | 摄像头遮挡区域的检测方法、装置、设备和存储介质 |
| CN112270326B (zh) * | 2020-11-18 | 2022-03-22 | 珠海大横琴科技发展有限公司 | 一种遮挡船只的检测优化方法、装置及电子设备 |
| WO2022198508A1 (zh) * | 2021-03-24 | 2022-09-29 | 深圳市大疆创新科技有限公司 | 镜头异常提示方法、装置、可移动平台及可读存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012243072A (ja) * | 2011-05-19 | 2012-12-10 | Semiconductor Components Industries Llc | 静電容量型タッチセンサ |
| CN104143185A (zh) * | 2014-06-25 | 2014-11-12 | 东软集团股份有限公司 | 一种污点区域检测方法 |
| CN106412573A (zh) * | 2016-10-26 | 2017-02-15 | 歌尔科技有限公司 | 一种检测镜头污点的方法和装置 |
| CN106791807A (zh) * | 2014-11-24 | 2017-05-31 | 歌尔科技有限公司 | 一种摄像头模组污点检测的方法和装置 |
| CN108346149A (zh) * | 2018-03-02 | 2018-07-31 | 北京郁金香伙伴科技有限公司 | 图像检测、处理方法、装置及终端 |
-
2018
- 2018-08-22 CN CN201810958638.4A patent/CN109118498B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012243072A (ja) * | 2011-05-19 | 2012-12-10 | Semiconductor Components Industries Llc | 静電容量型タッチセンサ |
| CN104143185A (zh) * | 2014-06-25 | 2014-11-12 | 东软集团股份有限公司 | 一种污点区域检测方法 |
| CN106791807A (zh) * | 2014-11-24 | 2017-05-31 | 歌尔科技有限公司 | 一种摄像头模组污点检测的方法和装置 |
| CN106412573A (zh) * | 2016-10-26 | 2017-02-15 | 歌尔科技有限公司 | 一种检测镜头污点的方法和装置 |
| CN108346149A (zh) * | 2018-03-02 | 2018-07-31 | 北京郁金香伙伴科技有限公司 | 图像检测、处理方法、装置及终端 |
Non-Patent Citations (5)
| Title |
|---|
| 《Detection and removal of adherent noises in video from a moving camera》;Huanyu Wang,etal;《2012 IEEE International Conference on Systems, Man, and Cybernetics (SMC)》;20121231;全文 * |
| 《Removal of adherent noises from image sequences by spatio-temporal image processing》;A. Yamashita，etal;《2008 IEEE International Conference on Robotics and Automation》;20081231;全文 * |
| 《基于图像化多帧积累滤波的慢小目标探测方法》;朱源才等;《系统工程与电子技术》;20170831;第39卷(第8期);全文 * |
| 《基于时序多帧投影的空间目标检测算法》;张健等;《激光与红外》;20150131;第45卷(第1期);全文 * |
| 《基于边缘散焦模型的污点检测算法的研究》;侯春雨;《中国优秀硕士学位论文全文数据库 信息科技辑》;20170315(第3期);参见第2~4章 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109118498A (zh) | 2019-01-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109118498B (zh) | 一种摄像头污点检测方法、装置、设备及存储介质 | |
| WO2020151172A1 (zh) | 运动目标检测方法、装置、计算机设备及存储介质 | |
| Pun et al. | Multi-scale noise estimation for image splicing forgery detection | |
| EP1683105B1 (en) | Object detection in images | |
| CN112036254B (zh) | 基于视频图像的运动车辆前景检测方法 | |
| Lu | A multiscale spatio-temporal background model for motion detection | |
| US8019157B2 (en) | Method of vehicle segmentation and counting for nighttime video frames | |
| CN111723644A (zh) | 一种监控视频遮挡检测方法及系统 | |
| Varghese | Sample-based integrated background subtraction and shadow detection | |
| US20120039508A1 (en) | Target detecting method and apparatus | |
| CN112435278B (zh) | 一种基于动态目标检测的视觉slam方法及装置 | |
| Amato et al. | Moving cast shadows detection methods for video surveillance applications | |
| CN111179302A (zh) | 一种运动目标检测方法、装置、存储介质及终端设备 | |
| CN110782409A (zh) | 一种去除多运动物体阴影的方法 | |
| CN104318537A (zh) | 大雨场景视频数据中雨滴的检测和去除方法及系统 | |
| CN107066929B (zh) | 一种融合多种特征的高速公路隧道停车事件分级识别方法 | |
| CN110765875B (zh) | 交通目标的边界检测方法、设备及装置 | |
| CN111160340B (zh) | 一种运动目标检测方法、装置、存储介质及终端设备 | |
| Xie et al. | Robust vehicles extraction in a video-based intelligent transportation systems | |
| CN109241865B (zh) | 一种弱对比度交通场景下的车辆检测分割算法 | |
| de Oliveira et al. | Vehicle counting and trajectory detection based on particle filtering | |
| CN111027560B (zh) | 文本检测方法以及相关装置 | |
| CN112183158B (zh) | 一种谷物烹饪设备的谷物种类识别方法和谷物烹饪设备 | |
| KR101372507B1 (ko) | 가변 블록 기반 역광 영역 검출을 이용한 영상 개선 장치 및 방법 | |
| CN111105394A (zh) | 一种检测发光小球特征信息的方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |