CN115082473B - 脏污检测方法、装置及电子设备 - Google Patents
脏污检测方法、装置及电子设备 Download PDFInfo
- Publication number
- CN115082473B CN115082473B CN202211003718.7A CN202211003718A CN115082473B CN 115082473 B CN115082473 B CN 115082473B CN 202211003718 A CN202211003718 A CN 202211003718A CN 115082473 B CN115082473 B CN 115082473B
- Authority
- CN
- China
- Prior art keywords
- image
- training
- dirt
- dirty
- cutting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 88
- 238000000034 method Methods 0.000 claims abstract description 40
- 238000012549 training Methods 0.000 claims description 171
- 239000002689 soil Substances 0.000 claims description 31
- 230000006870 function Effects 0.000 claims description 26
- 238000012545 processing Methods 0.000 claims description 18
- 239000013598 vector Substances 0.000 claims description 12
- 238000013527 convolutional neural network Methods 0.000 claims description 9
- 238000011109 contamination Methods 0.000 claims description 7
- 238000002372 labelling Methods 0.000 claims description 7
- 230000004044 response Effects 0.000 claims description 6
- 230000003321 amplification Effects 0.000 claims description 4
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 4
- 238000004422 calculation algorithm Methods 0.000 description 15
- 238000004891 communication Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 238000007726 management method Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 239000000428 dust Substances 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000002002 slurry Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本公开提供了一种脏污检测方法、装置及电子设备，涉及自动驾驶技术领域。具体步骤为：将待检测图像裁剪为多个图像块，将所述图像块组成数据批；将所述数据批输入脏污检测模型进行推理运算以获取每个所述图像块的脏污评分；根据所述脏污评分获取所述待检测图像的脏污判别结果。本公开通过裁剪待检测图像获取图像块，并预测图像块的脏污评分，实现了根据脏污评分判断待检测图像，避免低效率的脏污识别，提高了脏污识别的准确度和速度。
Description
技术领域
本公开涉及自动驾驶技术领域，尤其涉及一种脏污检测方法、装置及电子设备。
背景技术
车载摄像头已经成为自动驾驶车辆感知周围的路况的重要设备之一。通过视觉图图像算法诸如3D目标检测算法、可行使区域检测算法对摄像头采集到的图像进行分析，自车可以感知到周围的环境信息，进而对后续的路径规划等做出重要的参考。车载摄像头长期暴露在车辆的外部，难免会被户外的灰尘、水滴、泥浆等污染。而被污染的摄像头采集到的图像将会边得模糊，甚至会被遮挡重要的信息。
相关技术中，通过传统的图像处理算法判断摄像头是否存在脏污，设定人为的先验规则进行判断，这就导致算法的执行效率较低，识别的准确率也无法保证。
发明内容
本公开提供一种脏污检测方法、装置及电子设备，以至少解决相关技术中脏污检测准确率低下的问题。本公开的技术方案如下：
根据本公开实施例的第一方面，提供一种脏污检测方法，包括：
将待检测图像裁剪为多个图像块，将所述图像块组成数据批；
将所述数据批输入脏污检测模型进行推理运算以获取每个所述图像块的脏污评分；
根据所述脏污评分获取所述待检测图像的脏污判别结果。
可选的，所述将待检测图像裁剪为多个图像块包括：
获取预设的裁剪长度和裁剪宽度；
对所述待检测图像进行裁剪，使所述待检测图像的长度为所述裁剪长度的整数倍，所述待检测图像的宽度为所述裁剪宽度的整数倍；
将裁剪后的待检测图像按照所述裁剪长度和裁剪宽度进行二次裁剪以获取所述图像块。
可选的，所述根据所述脏污评分获取所述待检测图像的脏污判别结果的步骤具体包括以下任意一项：
响应于所述图像块对应的脏污评分小于预设的评分阈值，确定所述图像块为无脏污图像块；
响应于所述图像块对应的脏污评分大于或等于预设的评分阈值，确定所述图像块为脏污图像块。
可选的，所述方法还包括：
如果所述待检测图像对应的图像块均为所述无脏污图像块，确定所述脏污判别结果为无脏污；
否则，确定所述脏污判别结果为存在脏污。
根据本公开实施例的第二方面，提供一种模型训练方法，用于训练如第一方面中任一项所述的脏污检测模型，包括：
对训练图像进行裁剪以获取训练图像块，标注所述训练图像块的目标脏污评分，以生成训练数据集；
将所述训练数据集输入所述脏污检测模型以提取图像特征，并根据所述图像特征生成预测评分；
根据所述预测评分和对应的目标脏污评分获取损失函数值，以降低所述损失函数值为目标训练所述脏污检测模型。
可选的，所述对训练图像进行裁剪以获取训练图像块的步骤具体包括：
获取预设的裁剪长度和裁剪宽度；
对所述训练图像进行裁剪，使所述训练图像的长度为所述裁剪长度的整数倍，所述训练图像的宽度为所述裁剪宽度的整数倍；
将裁剪后的训练图像按照所述裁剪长度和裁剪宽度进行二次裁剪以获取所述训练图像块。
可选的，所述目标脏污评分为0或1，所述方法还包括：
对所述训练图像块进行数据扩增，以使目标脏污评分为1的训练图像块与目标脏污评分为0的训练图像块数量比例为预设的比例。
可选的，所述方法还包括：
获取所述训练数据集中训练图像块所有像素的均值和标准差；
根据所述均值和标准差对所述训练图像块中像素的值进行归一化。
根据本公开实施例的第三方面，提供一种脏污检测装置，包括：
裁剪模块，用于将待检测图像裁剪为多个图像块，将所述图像块组成数据批；
评分模块，用于将所述数据批输入脏污检测模型进行推理运算以获取每个所述图像块的脏污评分；
脏污判断模块，用于根据所述脏污评分获取所述待检测图像的脏污判别结果。
根据本公开实施例的第四方面，提供一种模型训练装置，包括：
数据处理模块，用于对训练图像进行裁剪以获取训练图像块，标注所述训练图像块的目标脏污评分，以生成训练数据集；
预测模块，用于将所述训练数据集输入所述脏污检测模型以提取图像特征，并根据所述图像特征生成预测评分；
训练模块，用于根据所述预测评分和对应的目标脏污评分获取损失函数值，以降低所述损失函数值为目标训练所述脏污检测模型。
根据本公开实施例的第五方面，提供一种电子设备，包括：
处理器；
用于存储所述处理器可执行指令的存储器;
其中，所述处理器被配置为执行所述指令，以实现如上述第一方面中任一项所述的脏污检测方法或如上述第二方面中任一项所述的模型训练方法。
根据本公开实施例的第六方面，提供一种计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如上述第一方面中任一项所述的脏污检测方法或如上述第二方面中任一项所述的模型训练方法。
根据本公开实施例的第七方面，提供一种种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现如上述第一方面中任一项所述的脏污检测方法或如上述第二方面中任一项所述的模型训练方法。
本公开的实施例提供的技术方案至少带来以下有益效果：
通过裁剪待检测图像获取图像块，并预测图像块的脏污评分，实现了根据脏污评分判断待检测图像，避免低效率的脏污识别，提高了脏污识别的准确度和速度。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
图1是根据一示例性实施例示出的一种脏污检测方法的流程图。
图2是根据一示例性实施例示出的一种脏污检测方法的流程图。
图3是根据一示例性实施例示出的一种模型训练方法的流程图。
图4是根据一示例性实施例示出的一种模型训练方法的流程图。
图5是根据一示例性实施例示出的一种脏污检测装置的框图。
图6是根据一示例性实施例示出的一种模型训练装置的框图。
图7是根据一示例性实施例示出的一种装置的框图。
图8是根据一示例性实施例示出的一种装置的框图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的本公开的一些方面相一致的装置和方法的例子。
需要说明的是，本公开所涉及的用户信息（包括但不限于用户设备信息、用户个人信息等），均为经用户授权或者经过各方充分授权的信息。
当今的辅助驾驶系统是在汽车上安装各种的传感器如雷达、摄像头、激光等。其中，随着深度学习在视觉领域的迅速发展，车载摄像头已经成为智能汽车感知周围的路况的重要设备之一。通过视觉图图像算法诸如3D目标检测算法、可行使区域检测算法对摄像头采集到的图像进行分析，自车可以感知到周围的环境信息，进而对后续的路径规划等做出重要的参考。然而，车载摄像头长期暴露在车辆的外部，难免会被户外的灰尘、水滴、泥浆等污染。而被污染的摄像头采集到的图像将会边得模糊，甚至会被遮挡重要的信息，这对后续的视觉感知算法造成灾难性的影响，进而会影响到辅助驾驶系统的性能。因此，需要定期去检查车载摄像头的脏污情况，然而若采用人工检测的方式，效率极为低下，而且无法随时随地检查，需要司机到指定地点检查，对司机来说较为不方便。
当前存在的摄像头脏污检测算法主要是采用传统的图像处理算法，由于脏污摄像头采集到的图像有一定的模糊度，因此有的算法采用图像的频域信息、边缘信息等进行模糊度评估，进而判断摄像头是否被污染；也有的算法考虑到脏污的摄像头拍摄图像的脏污图像块是不变的，进而采用连续帧的相关性进行评估摄像头是否存在脏污。这些传统算法往往是结合多种图像信息，设定人为的先验规则进行判断，这就导致算法的执行效率较低，识别的准确率也无法保证。为此本专利提出一种基于深度学习的脏污检测方法，通过卷积神经网络提取图像的特征，不仅可以极大的提高检测精度，而且经过模型量化后可以满足实时检测的要求。
图1是根据一示例性实施例示出的一种脏污检测方法的流程图，如图1所示，所述方法包括以下步骤。
步骤101，将待检测图像裁剪为多个图像块，将所述图像块组成数据批。
本申请实施例中，在摄像头被脏污时，脏污物只集中于摄像头中的某一片区域，即摄像头拍摄出的图像中的某一片区域会出现脏污。为了更准确地检测脏污，将所述待检测图像裁剪为多个图像块，分别对各个图像块中是否存在脏污的情况进行检测。采用卷积神经网络来对图像块对所述图像块进行检测，卷积神经网络输入的数据需要批量输入，将多个图像块儿组成数据批（batch）以方便进行脏污检测。
步骤102，将所述数据批输入脏污检测模型进行推理运算以获取每个所述图像块的脏污评分。
本申请实施例中，所述脏污检测模型为卷积神经网络，用于对数据批中的每个图像块是否存在脏污进行检测。所述脏污检测模型中包含编码器和解码器，所述编码器和解码器中包含多层卷积核，每层中包含多个卷积核。所述卷积核用于进行卷积运算，卷积核计算得到的结果传递到下一层的卷积核中。所述编码器用于通过卷积核提取所述图像块中的高维特征，生成特征向量，所述解码器用于对所述特征向量进行降维，还原得到所述脏污评分。
可选的，所述脏污检测模型为VGG、ResNet、MobileNet等卷积神经网络。
步骤103，根据所述脏污评分获取所述待检测图像的脏污判别结果。
本申请实施例中，根据所述脏污评分可以判断对应的图像块中是否存在脏污，综合所述待检测图像对应的所有图像块的脏污评分可以判断所述待检测图像是否存在脏污，以确定拍摄所述待检测图像的摄像头是否存在脏污。
本公开实施例通过裁剪待检测图像获取图像块，并预测图像块的脏污评分，实现了根据脏污评分判断待检测图像，避免低效率的脏污识别，提高了脏污识别的准确度和速度。
图2是根据一示例性实施例示出的一种脏污检测方法的流程图，如图2所示，图1中的步骤101具体包括以下步骤。
步骤201，获取预设的裁剪长度和裁剪宽度。
本申请实施例中，为了方便脏污检测模型进行脏污检测，需要统一图像块的规格，也即图像块的分辨率，预先设置所述裁剪长度和裁剪宽度，使各个图像块满足所述裁剪长度和裁剪宽度。相同规格的图像块才可以组成所述数据批，提升了GPU的利用率，脏污检测效率较高；不同规格的图像块无法组成数据批输入脏污检测模型进行推理，脏污检测的效率较低。
步骤202，对所述待检测图像进行裁剪，使所述待检测图像的长度为所述裁剪长度的整数倍，所述待检测图像的宽度为所述裁剪宽度的整数倍。
本申请实施例中，所述待检测图像的长度不一定是裁剪长度的整数倍，待检测图像的宽度也不一定为所述裁剪宽度的整数倍，需要对所述待检测图像进行整体裁剪，使其长度为所述裁剪长度的整数倍，并使其宽度为所述裁剪宽度的整数倍。
步骤203，将裁剪后的待检测图像按照所述裁剪长度和裁剪宽度进行二次裁剪以获取所述图像块。
本申请实施例中，将待检测图像裁剪到符合要求后，即可将其二次裁剪为所述图像块。
在一种可能的实施例中，所述裁剪长度和裁剪宽度均为448个像素。
可选的，图1中的步骤103具体包括以下任意一项：
响应于所述图像块对应的脏污评分小于预设的评分阈值，确定所述图像块为无脏污图像块；
响应于所述图像块对应的脏污评分大于或等于预设的评分阈值，确定所述图像块为脏污图像块。
本申请实施例中，在训练所述脏污检测模型时，通过给图像块设置的标签使所述脏污检测模型可以根据图像块检测得到其脏污评分，标签为1的图像块为无脏污图像块，便签为0的图像块为脏污图像块。在所述脏污检测模型进行推理运算后，得到的所述脏污评分不一定为0或1，其取值范围为[0,1]。为了区分脏污图像块和无脏污图像块，设置所述评分阈值，以判断所述图像块是否为脏污图像块。
在一种可能的实施例里，其中一个图像块的脏污评分为0.6，评分阈值为0.5，则所述图像块为无脏污图像块。
可选的，图1中的步骤103还包括：
如果所述待检测图像对应的图像块均为所述无脏污图像块，确定所述脏污判别结果为无脏污；
否则，确定所述脏污判别结果为存在脏污。
本申请实施例中，综合所有图像块的脏污评分，对所述待检测图像是否存在脏污进行判断，如果存在对应的图像块为脏污图像块，则可以确定所述待检测图像对应的摄像头存在脏污。如果所有图像块均为无脏污图像块，则可以确定所述待检测图像对应的摄像头不存在脏污。
图3是根据一示例性实施例示出的一种模型训练方法的流程图，如图3所示，所述方法用于训练图1中所述的脏污检测模型，所述方法具体包括以下步骤。
步骤301，对训练图像进行裁剪以获取训练图像块，标注所述训练图像块的目标脏污评分，以生成训练数据集；
本申请实施例中，训练图像的获取方式为：事先将不同位置的车载摄像头采用泥浆对摄像头不同区域进行污染，然后根据所述车载摄像头拍摄图像以获取所述训练图像，在拍摄时尽可能保证场景的丰富度，在多种场景下拍摄训练图像；同时用无脏污的车载摄像头在不同的场景下拍摄以获取所述训练图像。通过训练图像裁剪得到的训练图像块来训练所述脏污检测模型，为了将所述训练图像块批量输入脏污检测模型进行训练，对训练图像进行裁剪使图像块的分辨率统一。对所述训练图像块进行标注，如果所述训练图像块对应的训练图像无脏污，则标注的目标脏污评分为1；如果所述训练图像块对应的训练图像有脏污，则标注的目标脏污评分为0。对所有的训练图像块进行标注即可获取所述训练数据集。
步骤302，将所述训练数据集输入所述脏污检测模型以提取图像特征，并根据所述图像特征生成预测评分；
本申请实施例中，将一个训练图像对应的多个所述训练图像块组成训练数据批，每次输入一个训练数据批进行批量训练。所述脏污检测模型中包含编码器和解码器，所述编码器用于通过卷积核提取所述训练图像块中的高维特征，生成特征向量，所述解码器用于对所述特征向量进行降维，还原得到所述预测评分。
步骤303，根据所述预测评分和对应的目标脏污评分获取损失函数值，以降低所述损失函数值为目标训练所述脏污检测模型。
本申请实施例中，目标脏污评分为实施者期望脏污检测模型识别的到的评分，所述损失函数值表征了预测评分和目标脏污评分的差距，为了保证脏污检测模型的识别准确度，需要使所述损失函数值较低。
在一种可能的实施例里，设置损失函数阈值，如果所述损失函数值大于所述损失函数阈值，说明预测评分和目标脏污评分的差距较大，脏污检测模型获取的评分准确度较低，需要不断对所述脏污检测模型中的超参数进行调整训练直到所述损失函数值小于或等于所述损失函数阈值。
可选的，所述损失函数为交叉熵损失函数，其公式化表达为：
其中，N为训练中每个训练数据批中训练图像块的数量；M为类别数，本脏污检测模型的任务为二分类，故M=2；y j 为符号函数，j为类别，当第i个训练图像块的类别为j时，y j 为1，否则为0；p j 为脏污检测模型将第i个训练图像块预测为j类别的概率。
图4是根据一示例性实施例示出的一种模型训练方法的流程图，如图4所示，图3中的步骤301具体包括以下步骤。
步骤401，获取预设的裁剪长度和裁剪宽度；
本申请实施例中，为了提高训练效率，需要将训练图像块批量输入脏污检测模型中，如果训练图像块的规格不同则无法组成训练数据批进行批量训练，所以需要设置所述裁剪长度和裁剪宽度。
步骤402，对所述训练图像进行裁剪，使所述训练图像的长度为所述裁剪长度的整数倍，所述训练图像的宽度为所述裁剪宽度的整数倍；
本申请实施例中，本申请实施例中，所述训练图像的长度不一定是裁剪长度的整数倍，训练图像的宽度也不一定为所述裁剪宽度的整数倍，需要对所述训练图像进行整体裁剪，使其长度为所述裁剪长度的整数倍，并使其宽度为所述裁剪宽度的整数倍。
步骤403，将裁剪后的训练图像按照所述裁剪长度和裁剪宽度进行二次裁剪以获取所述训练图像块。
本申请实施例中，本申请实施例中，将训练图像裁剪到符合要求后，即可将其二次裁剪为所述训练图像块。
可选的，所述目标脏污评分为0或1，图4中的方法还包括：
对所述训练图像块进行数据扩增，以使目标脏污评分为1的训练图像块与目标脏污评分为0的训练图像块数量比例为预设的比例。
本申请实施例中，所述目标脏污评分为1的训练图像块为正样本，目标脏污评分为0的训练图像块为负样本，为了保证所述脏污检测模型在训练中学习到多样的特征，防止模型将过多清晰的训练图像块误检为脏污区域，需要对不满足数量需求的样本进行扩增以使正负样本的比例为预设的比例。
可选的，所述比例为3:1。
可选的，所述数据扩增的方法包括：对所述训练图像块进行采样，旋转变换，翻转变换，缩放变换，平移变换，尺度变换，噪声扰动，颜色变换或遮挡。
可选的，图4中的方法还包括：
获取所述训练数据集中训练图像块所有像素的均值和标准差；
根据所述均值和标准差对所述训练图像块中像素的值进行归一化。
本申请实施例中，所述训练图像为RGB图像，其中的R、G、B通道的值较大，这样梯度值也会较大，特征值较小时，梯度值也会较小。在脏污检测模型反向传播时，梯度值更新与学习率一样，当学习率较小时，梯度值较小会导致更新缓慢，当学习率较大时，梯度值较大会导致模型不易收敛，因此为了使脏污检测模型训练收敛平稳，对训练图像块进行归一化操作，把不同维度的特征值调整到相近的范围内，就可以采用统一的学习率加速模型训练。
通过训练图像块中像素减去均值后除以方差的操作实现归一化, 这种方式可以移除图像的平均亮度值。很多情况下我们对图像的亮度并不感兴趣，而更多地关注脏污的内容，提高了脏污检测模型的训练效率。
归一化的公式化表达为：
其中，I n 为归一化后的训练图像块，I ori 为训练图像块，Mean为所述训练数据集中所有训练图像块RGB通道的均值，Std为所述训练数据集中所有训练图像块RGB通道的标准差。
图5是根据一示例性实施例示出的一种脏污检测装置的框图。参照图5，该装置500包括裁剪模块510，评分模块520和脏污判断模块530。
裁剪模块510，用于将待检测图像裁剪为多个图像块，将所述图像块组成数据批；
评分模块520，用于将所述数据批输入脏污检测模型进行推理运算以获取每个所述图像块的脏污评分；
脏污判断模块530，用于根据所述脏污评分获取所述待检测图像的脏污判别结果。
图6是根据一示例性实施例示出的一种模型训练装置的框图。参照图6，该装置600包括数据处理模块610，预测模块620和训练模块630。
数据处理模块610，用于对训练图像进行裁剪以获取训练图像块，标注所述训练图像块的目标脏污评分，以生成训练数据集；
预测模块620，用于将所述训练数据集输入所述脏污检测模型以提取图像特征，并根据所述图像特征生成预测评分；
训练模块630，用于根据所述预测评分和对应的目标脏污评分获取损失函数值，以降低所述损失函数值为目标训练所述脏污检测模型。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
图7是根据一示例性实施例示出的一种的装置700的框图。例如，装置700可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。
参照图7，装置700可以包括以下一个或多个组件：处理组件702，存储器704，电力组件706，多媒体组件707，音频组件710，输入/输出（I/ O）的接口712，传感器组件714，以及通信组件716。
处理组件702通常控制装置700的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件702可以包括一个或多个处理器720来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件702可以包括一个或多个模块，便于处理组件702和其他组件之间的交互。例如，处理组件702可以包括多媒体模块，以方便多媒体组件708和处理组件702之间的交互。
存储器704被配置为存储各种类型的数据以支持在设备700的操作。这些数据的示例包括用于在装置700上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器704可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器（SRAM），电可擦除可编程只读存储器（EEPROM），可擦除可编程只读存储器（EPROM），可编程只读存储器（PROM），只读存储器（ROM），磁存储器，快闪存储器，磁盘或光盘。
电源组件706为装置700的各种组件提供电力。电源组件706可以包括电源管理系统，一个或多个电源，及其他与为装置700生成、管理和分配电力相关联的组件。
多媒体组件708包括在所述装置700和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器（LCD）和触摸面板（TP）。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件708包括一个前置摄像头和/或后置摄像头。当设备700处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件710被配置为输出和/或输入音频信号。例如，音频组件710包括一个麦克风（MIC），当装置700处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器704或经由通信组件716发送。在一些实施例中，音频组件710还包括一个扬声器，用于输出音频信号。
I/ O接口712为处理组件702和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件714包括一个或多个传感器，用于为装置700提供各个方面的状态评估。例如，传感器组件714可以检测到设备700的打开/关闭状态，组件的相对定位，例如所述组件为装置700的显示器和小键盘，传感器组件714还可以检测装置700或装置700一个组件的位置改变，用户与装置700接触的存在或不存在，装置700方位或加速/减速和装置700的温度变化。传感器组件714可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件714还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件714还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件716被配置为便于装置700和其他设备之间有线或无线方式的通信。装置700可以接入基于通信标准的无线网络，如WiFi，运营商网络（如2G、3G、4G或5G），或它们的组合。在一个示例性实施例中，通信组件716经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件716还包括近场通信（NFC）模块，以促进短程通信。例如，在NFC模块可基于射频识别（RFID）技术，红外数据协会（IrDA）技术，超宽带（UWB）技术，蓝牙（BT）技术和其他技术来实现。
在示例性实施例中，装置700可以被一个或多个应用专用集成电路（ASIC）、数字信号处理器（DSP）、数字信号处理设备（DSPD）、可编程逻辑器件（PLD）、现场可编程门阵列（FPGA）、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
在示例性实施例中，还提供了一种包括指令的存储介质，例如包括指令的存储器704，上述指令可由装置700的处理器720执行以完成上述方法。可选地，存储介质可以是非临时性计算机可读存储介质，例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器（RAM）、CD-ROM、磁带、软盘和光数据存储设备等。
图8是根据一示例性实施例示出的一种装置800的框图。例如，装置800可以被提供为一服务器。参照图8，装置800包括处理组件822，其进一步包括一个或多个处理器，以及由存储器832所代表的存储器资源，用于存储可由处理组件822的执行的指令，例如应用程序。存储器832中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件822被配置为执行指令，以执行上述方法。
装置800还可以包括一个电源组件826被配置为执行装置800的电源管理，一个有线或无线网络接口850被配置为将装置800连接到网络，和一个输入输出（I/O）接口858。装置800可以操作基于存储在存储器832的操作系统，例如Windows ServerTM，Mac OS XTM，UnixTM, LinuxTM，FreeBSDTM或类似。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
Claims (10)
1.一种脏污检测方法，其特征在于，包括：
将待检测图像裁剪为多个图像块，将所述图像块组成数据批；
将所述数据批输入脏污检测模型进行推理运算以获取每个所述图像块的脏污评分，其中，所述脏污检测模型为卷积神经网络，用于对所述数据批中的每个图像块是否存在脏污进行检测，所述脏污检测模型包含编码器和解码器，所述编码器和解码器包含多层卷积核，所述编码器用于通过卷积核提取所述图像块中的高维特征，生成特征向量，所述解码器用于对所述特征向量进行降维，还原得到所述脏污评分；
根据所述脏污评分获取所述待检测图像的脏污判别结果，其中，根据所述脏污评分判断对应的图像块中是否存在脏污，并综合所述待检测图像对应的所有图像块的脏污评分判断所述待检测图像的脏污判别结果；
所述将待检测图像裁剪为多个图像块包括：
获取预设的裁剪长度和裁剪宽度；
对所述待检测图像进行裁剪，使所述待检测图像的长度为所述裁剪长度的整数倍，所述待检测图像的宽度为所述裁剪宽度的整数倍；
将裁剪后的待检测图像按照所述裁剪长度和裁剪宽度进行二次裁剪以获取所述图像块。
2.根据权利要求1所述的方法，其特征在于，所述根据所述脏污评分获取所述待检测图像的脏污判别结果的步骤具体包括以下任意一项：
响应于所述图像块对应的脏污评分小于预设的评分阈值，确定所述图像块为无脏污图像块；
响应于所述图像块对应的脏污评分大于或等于预设的评分阈值，确定所述图像块为脏污图像块。
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
如果所述待检测图像对应的图像块均为所述无脏污图像块，确定所述脏污判别结果为无脏污；
否则，确定所述脏污判别结果为存在脏污。
4.一种模型训练方法，其特征在于，用于训练如权利要求1-3中任一项所述的脏污检测模型，包括：
对训练图像进行裁剪以获取训练图像块，标注所述训练图像块的目标脏污评分，以生成训练数据集；
将所述训练数据集中每个训练图像对应的多个所述训练图像块组成训练数据批输入所述脏污检测模型以提取图像特征，并根据所述图像特征生成预测评分，其中，所述脏污检测模型为卷积神经网络，用于对所述数据批中的每个图像块是否存在脏污进行检测，所述脏污检测模型包含编码器和解码器，所述编码器和解码器包含多层卷积核，所述编码器用于通过卷积核提取所述图像块中的高维特征，生成特征向量，所述解码器用于对所述特征向量进行降维，还原得到所述脏污评分；
根据所述预测评分和对应的目标脏污评分获取损失函数值，以降低所述损失函数值为目标训练所述脏污检测模型；
所述对训练图像进行裁剪以获取训练图像块的步骤具体包括：
获取预设的裁剪长度和裁剪宽度；
对所述训练图像进行裁剪，使所述训练图像的长度为所述裁剪长度的整数倍，所述训练图像的宽度为所述裁剪宽度的整数倍；
将裁剪后的训练图像按照所述裁剪长度和裁剪宽度进行二次裁剪以获取所述训练图像块；
其中，所述损失函数的公式表示为：
其中，N为训练中每个训练数据批中训练图像块的数量，M为类别数，yj为符号函数，j为类别，pj为脏污检测模型将第i个训练图像块预测为j类别的概率。
5.根据权利要求4所述的方法，其特征在于，所述目标脏污评分为0或1，所述方法还包括：
对所述训练图像块进行数据扩增，以使目标脏污评分为1的训练图像块与目标脏污评分为0的训练图像块数量比例为预设的比例。
6.根据权利要求4所述的方法，其特征在于，所述方法还包括：
获取所述训练数据集中训练图像块所有像素的均值和标准差；
根据所述均值和标准差对所述训练图像块中像素的值进行归一化。
7.一种脏污检测装置，其特征在于，包括：
裁剪模块，用于将待检测图像裁剪为多个图像块，将所述图像块组成数据批；
评分模块，用于将所述数据批输入脏污检测模型进行推理运算以获取每个所述图像块的脏污评分，其中，所述脏污检测模型为卷积神经网络，用于对所述数据批中的每个图像块是否存在脏污进行检测，所述脏污检测模型包含编码器和解码器，所述编码器和解码器包含多层卷积核，所述编码器用于通过卷积核提取所述图像块中的高维特征，生成特征向量，所述解码器用于对所述特征向量进行降维，还原得到所述脏污评分；
脏污判断模块，用于根据所述脏污评分获取所述待检测图像的脏污判别结果，其中，根据所述脏污评分判断对应的图像块中是否存在脏污，并综合所述待检测图像对应的所有图像块的脏污评分判断所述待检测图像的脏污判别结果；
所述将待检测图像裁剪为多个图像块包括：
获取预设的裁剪长度和裁剪宽度；
对所述待检测图像进行裁剪，使所述待检测图像的长度为所述裁剪长度的整数倍，所述待检测图像的宽度为所述裁剪宽度的整数倍；
将裁剪后的待检测图像按照所述裁剪长度和裁剪宽度进行二次裁剪以获取所述图像块。
8.一种模型训练装置，其特征在于，包括：
数据处理模块，用于对训练图像进行裁剪以获取训练图像块，标注所述训练图像块的目标脏污评分，以生成训练数据集；
预测模块，用于将所述训练数据集中每个训练图像对应的多个所述训练图像块组成训练数据批输入所述脏污检测模型以提取图像特征，并根据所述图像特征生成预测评分，其中，所述脏污检测模型为卷积神经网络，用于对所述数据批中的每个图像块是否存在脏污进行检测，所述脏污检测模型包含编码器和解码器，所述编码器和解码器包含多层卷积核，所述编码器用于通过卷积核提取所述图像块中的高维特征，生成特征向量，所述解码器用于对所述特征向量进行降维，还原得到所述脏污评分；
训练模块，用于根据所述预测评分和对应的目标脏污评分获取损失函数值，以降低所述损失函数值为目标训练所述脏污检测模型；
所述对训练图像进行裁剪以获取训练图像块的步骤具体包括：
获取预设的裁剪长度和裁剪宽度；
对所述训练图像进行裁剪，使所述训练图像的长度为所述裁剪长度的整数倍，所述训练图像的宽度为所述裁剪宽度的整数倍；
将裁剪后的训练图像按照所述裁剪长度和裁剪宽度进行二次裁剪以获取所述训练图像块；
其中，所述损失函数的公式表示为：
其中，N为训练中每个训练数据批中训练图像块的数量，M为类别数，yj为符号函数，j为类别，pj为脏污检测模型将第i个训练图像块预测为j类别的概率。
9.一种电子设备，其特征在于，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现如权利要求1至3中任一项所述的脏污检测方法或如权利要求4至6中任一项所述的模型训练方法。
10.一种计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如权利要求1至3中任一项所述的脏污检测方法或如权利要求4至6中任一项所述的模型训练方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211003718.7A CN115082473B (zh) | 2022-08-22 | 2022-08-22 | 脏污检测方法、装置及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211003718.7A CN115082473B (zh) | 2022-08-22 | 2022-08-22 | 脏污检测方法、装置及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115082473A CN115082473A (zh) | 2022-09-20 |
| CN115082473B true CN115082473B (zh) | 2023-06-20 |
Family
ID=83245302
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211003718.7A Active CN115082473B (zh) | 2022-08-22 | 2022-08-22 | 脏污检测方法、装置及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115082473B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5883971A (en) * | 1996-10-23 | 1999-03-16 | International Business Machines Corporation | System and method for determining if a fingerprint image contains an image portion representing a smudged fingerprint impression |
| CN111726612A (zh) * | 2020-07-07 | 2020-09-29 | 歌尔科技有限公司 | 镜头模组脏污检测方法、系统、设备及计算机存储介质 |
| CN114283124A (zh) * | 2021-12-10 | 2022-04-05 | 苏州凌云视界智能设备有限责任公司 | 一种脏污检测方法、装置、设备和存储介质 |
| CN114359253A (zh) * | 2022-01-12 | 2022-04-15 | 盛泰光电科技股份有限公司 | 基于卷积神经网络的影像脏污检测方法及系统 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004173165A (ja) * | 2002-11-22 | 2004-06-17 | Canon Inc | 画像読取装置 |
| EP3489892B1 (en) * | 2017-11-24 | 2022-01-05 | Ficosa Adas, S.L.U. | Determining clean or dirty captured images |
| CN110245697B (zh) * | 2019-05-31 | 2021-10-26 | 厦门大学 | 一种表面脏污检测方法、终端设备及存储介质 |
| CN111246204B (zh) * | 2020-03-24 | 2022-02-01 | 昆山丘钛微电子科技有限公司 | 一种基于相对亮度偏差的脏污检测方法和装置 |
| CN114170424A (zh) * | 2021-12-01 | 2022-03-11 | 阿波罗智能技术(北京)有限公司 | 脏污检测方法、装置、电子设备及存储介质 |
| CN114898161A (zh) * | 2022-06-07 | 2022-08-12 | 东软睿驰汽车技术（沈阳）有限公司 | 摄像头脏污的检测方法、装置和电子设备 |
-
2022
- 2022-08-22 CN CN202211003718.7A patent/CN115082473B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5883971A (en) * | 1996-10-23 | 1999-03-16 | International Business Machines Corporation | System and method for determining if a fingerprint image contains an image portion representing a smudged fingerprint impression |
| CN111726612A (zh) * | 2020-07-07 | 2020-09-29 | 歌尔科技有限公司 | 镜头模组脏污检测方法、系统、设备及计算机存储介质 |
| CN114283124A (zh) * | 2021-12-10 | 2022-04-05 | 苏州凌云视界智能设备有限责任公司 | 一种脏污检测方法、装置、设备和存储介质 |
| CN114359253A (zh) * | 2022-01-12 | 2022-04-15 | 盛泰光电科技股份有限公司 | 基于卷积神经网络的影像脏污检测方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115082473A (zh) | 2022-09-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111310616B (zh) | 图像处理方法及装置、电子设备和存储介质 | |
| CN109829501B (zh) | 图像处理方法及装置、电子设备和存储介质 | |
| US20210133468A1 (en) | Action Recognition Method, Electronic Device, and Storage Medium | |
| CN106557768B (zh) | 对图片中的文字进行识别的方法及装置 | |
| US10007841B2 (en) | Human face recognition method, apparatus and terminal | |
| CN107480665B (zh) | 文字检测方法、装置及计算机可读存储介质 | |
| CN106228556B (zh) | 图像质量分析方法和装置 | |
| CN107784279B (zh) | 目标跟踪方法及装置 | |
| CN111104920B (zh) | 视频处理方法及装置、电子设备和存储介质 | |
| CN106557759B (zh) | 一种标志牌信息获取方法及装置 | |
| CN105631803B (zh) | 滤镜处理的方法和装置 | |
| CN110619350A (zh) | 图像检测方法、装置及存储介质 | |
| CN112967264A (zh) | 缺陷检测方法及装置、电子设备和存储介质 | |
| WO2023103298A1 (zh) | 遮挡检测方法及装置、电子设备、存储介质及计算机程序产品 | |
| CN111476057B (zh) | 车道线获取方法及装置、车辆驾驶方法及装置 | |
| WO2023115911A1 (zh) | 对象重识别方法及装置、电子设备、存储介质和计算机程序产品 | |
| CN114332149A (zh) | 图像分割方法、装置、电子设备及存储介质 | |
| CN110930351A (zh) | 一种光斑检测方法、装置及电子设备 | |
| CN117315623A (zh) | 图像特征识别方法、装置、设备及可读存储介质 | |
| CN112381091A (zh) | 视频内容识别方法、装置、电子设备及存储介质 | |
| CN111178115B (zh) | 对象识别网络的训练方法及系统 | |
| CN115082473B (zh) | 脏污检测方法、装置及电子设备 | |
| CN116310633A (zh) | 一种关键点检测模型训练方法及关键点检测方法 | |
| CN111507131A (zh) | 活体检测方法及装置、电子设备和存储介质 | |
| CN114863392A (zh) | 车道线检测方法、装置、车辆及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |