CN113256600B - 基于人工智能的相机灰尘检测方法、装置及电子设备 - Google Patents

基于人工智能的相机灰尘检测方法、装置及电子设备 Download PDF

Info

Publication number
CN113256600B
CN113256600B CN202110645091.4A CN202110645091A CN113256600B CN 113256600 B CN113256600 B CN 113256600B CN 202110645091 A CN202110645091 A CN 202110645091A CN 113256600 B CN113256600 B CN 113256600B
Authority
CN
China
Prior art keywords
anchor
anchor frame
bounding box
prediction
size
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110645091.4A
Other languages
English (en)
Other versions
CN113256600A (zh
Inventor
陶家威
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Huaray Technology Co Ltd
Original Assignee
Zhejiang Huaray Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Huaray Technology Co Ltd filed Critical Zhejiang Huaray Technology Co Ltd
Priority to CN202110645091.4A priority Critical patent/CN113256600B/zh
Publication of CN113256600A publication Critical patent/CN113256600A/zh
Application granted granted Critical
Publication of CN113256600B publication Critical patent/CN113256600B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Probability & Statistics with Applications (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供了一种基于人工智能的相机灰尘检测方法、装置及电子设备；方法包括：获取相机采集的图像；基于所述图像生成至少一个锚框，每个尺寸的所述锚框分别对应一个锚框权重系数；基于各所述尺寸的锚框分别对应的锚框权重系数，利用预先训练的预测边界框模型确定各所述锚框对应的预测边界框；基于所述预测边界框检测所述相机是否覆盖灰尘。通过本申请，能够实现对多种不同尺寸的对象进行检测，节省相机灰尘检测的成本和实现难度，及时检测相机上的灰尘，提高灰尘检测的鲁棒性。

Description

基于人工智能的相机灰尘检测方法、装置及电子设备
技术领域
本申请涉及人工智能技术和大数据技术，尤其涉及一种基于人工智能的相机灰尘检测方法、装置、电子设备及计算机可读存储介质。
背景技术
相机在使用过程中，相机上的传感器和镜头都容易覆盖灰尘，降低相机的使用性能。
在相关技术提供的方案中，通常利用部署于相机外部的红外装置检测相机的镜头是否覆盖灰尘；或者利用相机对白色平面拍照得到测试图像，基于对测试图像和对测试图像进行滤波处理后的滤波图像检测相机上是否覆盖灰尘。
然而，上述相关技术提供的方案中，利用部署于相机外部的红外装置检测相机的镜头是否覆盖灰尘时，不仅检测成本高昂，而且不容易实现；利用测试图像检测相机上是否覆盖灰尘时，不能够及时地检测出相机上的灰尘，且对检测环境有较强的依赖性，鲁棒性差。
发明内容
本申请实施例提供一种基于人工智能的相机灰尘检测方法、装置、电子设备及计算机可读存储介质，能够节省相机灰尘检测的成本和实现难度，及时检测相机上的灰尘，提高灰尘检测的鲁棒性。
本申请实施例的技术方案是这样实现的：
本申请实施例提供一种基于人工智能的相机灰尘检测方法，包括：
获取相机采集的图像；
基于所述图像生成至少一个锚框，每个尺寸的所述锚框分别对应一个锚框权重系数；
基于各所述尺寸的锚框分别对应的锚框权重系数，利用预先训练的预测边界框模型确定各所述锚框对应的预测边界框；
基于所述预测边界框检测所述相机是否覆盖灰尘。
在一些实施例中，所述基于各所述尺寸的锚框分别对应的锚框权重系数，利用预先训练的预测边界框模型确定各所述锚框对应的预测边界框包括：
针对各所述锚框，分别执行下述操作：
确定各所述锚框对应的尺寸；
基于各所述锚框对应的尺寸以及所述尺寸的锚框对应的锚框权重系数，利用预先训练的预测边界框模型确定各所述锚框的类别和偏移量；
基于各所述锚框的类别和偏移量，确定各所述锚框对应的预测边界框。
在一些实施例中，所述基于各所述锚框的类别和偏移量，确定各所述锚框对应的预测边界框，包括：
确定包括至少两个候选预测边界框的候选预测边界框集合；
基于所述候选预测边界框集合确定针对每个对象的类别预测概率值最大的候选预测边界框；
基于所述类别预测概率值最大的候选预测边界框的偏移量，确定各所述锚框对应的预测边界框。
在一些实施例中，所述基于所述候选预测边界框集合确定针对每个对象的类别预测概率值最大的候选预测边界框，包括：
针对所述候选预测边界框集合重复执行下述操作：
对全部所述候选预测边界框的类别预测概率值排序，确定类别预测概率值最大的第一候选预测边界框；
以所述第一候选预测边界框为基准，计算第二候选预测边界框与所述第一候选预测边界框的交并比；所述第二候选预测边界框为候选预测边界框集合中除所述第一候选预测边界框以外的候选预测边界框；
若所述交并比大于交并比阈值，则从所述候选预测边界框结合中移除所述第二候选预测边界框。
在一些实施例中，所述基于所述类别预测概率值最大的候选预测边界框的偏移量，确定各所述锚框对应的预测边界框，包括：
基于所述类别预测概率值最大的候选预测边界框的偏移量，调整所述类别预测概率值最大的候选预测边界框的位置，得到各所述锚框对应的预测边界框。
在一些实施例中，所述确定所述锚框对应的预测边界框之前，所述方法还包括：
获取锚框样本，以及所述锚框样本对应的标签；所述标签包括类别标签和偏移量标签；
通过所述边界框模型包括的尺寸确定层，确定所述锚框样本的尺寸以及所述尺寸的锚框样本对应的锚框权重系数；
通过所述边界框模型包括的边界框确定层，基于对应的锚框权重系数确定所述锚框样本的样本类别和样本偏移量；
获取所述锚框样本的样本类别与所述锚框样本的类别标签之间的第一差异，以及所述锚框样本的样本偏移量与所述锚框样本的偏移量标签之间的第二差异；
基于所述第一差异和所述第二差异更新所述边界框模型的参数。
在一些实施例中，所述基于图像生成至少一个锚框，包括：
以所述图像上每个像素点为中心，生成针对每个像素点的至少一个预设尺寸的锚框。
在一些实施例中，所述基于所述预测边界框检测采集所述图像的相机是否覆盖灰尘，包括：
基于所述预测边界框的类别，确定所述预测边界框内的对象是否为灰尘。
在一些实施例中，若确定所述预测边界框内的对象为灰尘，所述方法还包括：
判断所述预测边界框的尺寸；
若所述预测边界框的尺寸大于尺寸阈值，则确定所述预测边界框内的对象为所述相机的传感器上的灰尘；
若所述预测边界框的尺寸小于或等于所述尺寸阈值，则确定所述预测边界框内的对象为所述相机的镜头上的灰尘。
本申请实施例提供一种基于人工智能的相机灰尘检测装置，包括：
图像获取模块，用于获取相机采集的图像；
锚框生成模块，用于基于所述图像生成至少一个锚框，每个尺寸的所述锚框分别对应一个锚框权重系数；
边界框确定模块，用于基于各所述尺寸的锚框分别对应的锚框权重系数，利用预先训练的预测边界框模型确定各所述锚框对应的预测边界框；
灰尘检测模块，用于基于所述预测边界框检测所述相机是否覆盖灰尘。
在一些实施例中，所述边界框确定模块，用于针对各所述锚框，分别执行下述操作：
确定各所述锚框对应的尺寸；
基于各所述锚框对应的尺寸以及所述尺寸的锚框对应的锚框权重系数，利用预先训练的预测边界框模型确定各所述锚框的类别和偏移量；
基于各所述锚框的类别和偏移量，确定各所述锚框对应的预测边界框。
在一些实施例中，所述边界框确定模块，用于确定包括至少两个候选预测边界框的候选预测边界框集合；
基于所述候选预测边界框集合确定针对每个对象的类别预测概率值最大的候选预测边界框；
基于所述类别预测概率值最大的候选预测边界框的偏移量，确定各所述锚框对应的预测边界框。
在一些实施例中，所述边界框确定模块，用于针对所述候选预测边界框集合重复执行下述操作：
对全部所述候选预测边界框的类别预测概率值排序，确定类别预测概率值最大的第一候选预测边界框；
以所述第一候选预测边界框为基准，计算第二候选预测边界框与所述第一候选预测边界框的交并比；所述第二候选预测边界框为全部所述候选预测边界框中除所述第一候选预测边界框以外的候选预测边界框；
若所述交并比大于交并比阈值，则移除所述第二候选预测边界框。
在一些实施例中，所述边界框确定模块，用于基于所述类别预测概率值最大的候选预测边界框的偏移量，调整所述类别预测概率值最大的候选预测边界框的位置，得到各所述锚框对应的预测边界框。
在一些实施例中，所述边界框确定模块，还用于获取锚框样本，以及所述锚框样本对应的标签；所述标签包括类别标签和偏移量标签；
通过所述边界框模型包括的尺寸确定层，确定所述锚框样本的尺寸以及所述尺寸的锚框样本对应的锚框权重系数；
通过所述边界框模型包括的边界框确定层，基于对应的锚框权重系数确定所述锚框样本的样本类别和样本偏移量；
获取所述锚框样本的样本类别与所述锚框样本的类别标签之间的第一差异，以及所述锚框样本的样本偏移量与所述锚框样本的偏移量标签之间的第二差异；
基于所述第一差异和所述第二差异更新所述边界框模型的参数。
在一些实施例中，所述锚框生成模块，用于以所述图像上每个像素点为中心，生成针对每个像素点的至少一个预设尺寸的锚框。
在一些实施例中，所述灰尘检测模块，用于基于所述预测边界框的类别，检测所述预测边界框内的对象是否为灰尘。
在一些实施例中，所述灰尘检测模块，还用于计算所述预测边界框的尺寸；
若所述预测边界框的尺寸大于尺寸阈值，则确定所述预测边界框内的对象为所述相机的传感器上的灰尘；
若所述预测边界框的尺寸小于或等于所述尺寸阈值，则确定所述预测边界框内的对象为所述相机的镜头上的灰尘。
本申请实施例提供一种电子设备，包括：
存储器，用于存储可执行指令；
处理器，用于执行所述存储器中存储的可执行指令时，实现本申请实施例提供的基于人工智能的相机灰尘检测方法。
本申请实施例提供一种计算机可读存储介质，存储有可执行指令，用于被处理器执行时，实现本申请实施例提供的基于人工智能的相机灰尘检测方法。
本申请实施例提供的基于人工智能的相机灰尘检测方法，获取相机采集的图像；基于所述图像生成至少一个锚框，每个尺寸的所述锚框分别对应一个锚框权重系数；基于各所述尺寸的锚框分别对应的锚框权重系数，利用预先训练的预测边界框模型确定各所述锚框对应的预测边界框；基于所述预测边界框检测所述相机是否覆盖灰尘。因此，本申请实施例提供的基于人工智能的相机灰尘检测方法无需部署额外的红外装置，不仅能够降低灰尘检测的成本，而且容易实现。由于每个预设尺寸的锚框分别对应一个锚框权重系数，因此，本申请实施例基于预设尺寸的锚框和预设尺寸的锚框对应的锚框权重系数两个参数确定预测边界框，能够丰富锚框的尺寸，便于更多尺寸的目标检测。本申请实施例提供的基于人工智能的相机灰尘检测方法能够对相机拍摄的图像快速、实时地进行检测，且不依赖检测环境，灰尘检测的鲁棒性高。
附图说明
图1是本申请实施例提供的基于人工智能的相机灰尘检测系统的架构示意图；
图2是本申请实施例提供的终端设备的架构示意图；
图3是本申请实施例提供的基于人工智能的相机灰尘检测方法的流程示意图；
图4是本申请实施例提供的相机拍摄的图像示意图；
图5是本申请实施例提供的针对图4所示的图像生成的锚框示意图；
图6是本申请实施例提供的确定各所述锚框对应的预测边界框的一种可选处理流程示意图；
图7是本申请实施例提供的确定各所述锚框对应的预测边界框的可选处理流程示意图；
图8是本申请实施例提供的基于所述候选预测边界框集合确定针对每个对象的类别预测概率值最大的候选预测边界框的一种可选处理流程示意图；
图9是本申请实施例提供的训练边界框模型的一种可选处理流程示意图；
图10是本申请实施例提供的确定锚框的方法所使用的边界框模型的训练示意图；
图11是本申请实施例提供的基于人工智能的相机灰尘检测方法的可选处理示意图；
图12是本申请实施例提供的数据集中的4幅图像的示意图；
图13是本申请实施例提供的对4幅图像进行拼接后得到的图像的示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述，所描述的实施例不应视为对本申请的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解, “一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
在以下的描述中，所涉及的术语“第一\第二\第三”仅仅是是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。在以下的描述中，所涉及的术语“多个”是指至少两个。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。
对本申请实施例进行进一步详细说明之前，对本申请实施例中涉及的名词和术语进行说明，本申请实施例中涉及的名词和术语适用于如下的解释。
1）人工智能（AI，Artificial Intelligence）：利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。在本申请实施例中，可以基于人工智能原理（如机器学习原理）来构建模型，如进度分类模型和运动规划模型。
2）锚框（anchor box）：以图像中每个像素点为中心生成的不同尺寸的边界框。
3）偏移量：真实边界框相对预测边界框的偏移量。
4）边界框：用于描述图像中目标对象（如本申请实施例中覆盖在相机上的灰尘）的位置，边界框是一个矩形框，边界框可以根据矩形左上角的坐标和右下角的坐标确定。
5）数据库（Database）：类似于电子化的文件柜，即存储电子文件的处所，用户可以对文件中的数据执行新增、查询、更新及删除等操作。数据库也可以理解为以一定方式储存在一起、能与多个用户共享、具有尽可能小的冗余度、与应用程序彼此独立的数据集合。在本申请实施例中，数据库可以存储用于进行模型训练的数据。
6）大数据（Big Data）：指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。适用于大数据的技术，包括大规模并行处理数据库、数据挖掘、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统。在本申请实施例中，可以利用大数据技术来实现模型训练以及相机灰尘检测。
本申请实施例提供一种基于人工智能的相机灰尘检测方法、装置、电子设备及计算机可读存储介质，能够节省相机灰尘检测的成本和实现难度，及时检测相机上的灰尘，提高灰尘检测的鲁棒性。下面说明本申请实施例提供的电子设备的示例性应用，本申请实施例提供的电子设备可以实施为各种类型的终端设备，也可以实施为服务器。
参见图1，图1是本申请实施例提供的基于人工智能的相机灰尘检测系统100的一个架构示意图，终端设备400通过网络300连接服务器200，服务器200连接数据库500，其中，网络300可以是广域网或者局域网，又或者是二者的组合。
在一些实施例中，以电子设备是终端设备为例，本申请实施例提供的基于人工智能的相机灰尘检测方法可以由终端设备实现。例如，终端设备400运行客户端410，客户端410可以是用于执行相机灰尘检测的客户端。客户端410获取相机拍摄的样本图像，根据样本图像确定锚框样本以及锚框样本对应的标签。客户端410根据锚框样本以及锚框样本对应的标签，对边界框模型进行训练。
在需要实时对相机进行灰尘检测时，客户端410获取相机拍摄的图像，然后基于图像生成至少一个锚框，每个尺寸的所述锚框分别对应一个锚框权重系数；客户端410根据训练后的边界框模型确定各所述锚框对应的预测边界框；基于所述预测边界框检测相机是否覆盖灰尘。
在一些实施例中，以电子设备是服务器为例，本申请实施例提供的基于人工智能的相机灰尘检测方法可以由服务器和终端设备协同实现。例如，服务器200从数据库500中获取相机拍摄的历史样本图像，根据样本图像确定锚框样本以及锚框样本对应的标签。然后，根据获取到的锚框样本以及锚框样本对应的标签训练边界框模型。
针对待执行的任务，服务器200从客户端410中获取相机拍摄的图像。然后，服务器200基于图像生成至少一个锚框，每个尺寸的所述锚框分别对应一个锚框权重系数；服务器200根据训练后的边界框模型确定各所述锚框对应的预测边界框；基于所述预测边界框检测相机是否覆盖灰尘；服务器200将检测结果发送至客户端410，以使客户端410根据检测结果向应用相机的系统发送告警信息。
在一些实施例中，终端设备400或服务器200可以通过运行计算机程序来实现本申请实施例提供的基于人工智能的相机灰尘检测方法，例如，计算机程序可以是操作系统中的原生程序或软件模块；可以是本地（Native）应用程序（APP，Application），即需要在操作系统中安装才能运行的程序；也可以是小程序，即只需要下载到浏览器环境中就可以运行的程序；还可以是能够嵌入至任意APP中的小程序。总而言之，上述计算机程序可以是任意形式的应用程序、模块或插件。
在一些实施例中，服务器200可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器，其中，云技术（Cloud Technology）是指在广域网或局域网内将硬件、软件、网络等系列资源统一起来，实现数据的计算、储存、处理和共享的一种托管技术。终端设备400可以是智能手机、平板电脑、笔记本电脑、台式计算机等，但并不局限于此。终端设备以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本申请实施例中不做限制。
以本申请实施例提供的电子设备是终端设备为例说明，可以理解的，对于电子设备是服务器的情况，图2中示出的结构中的部分（例如用户接口、呈现模块和输入处理模块）可以缺省。参见图2，图2是本申请实施例提供的终端设备400的结构示意图，图2所示的终端设备400包括：至少一个处理器410、存储器450、至少一个网络接口420和用户接口430。终端400中的各个组件通过总线系统440耦合在一起。可理解，总线系统440用于实现这些组件之间的连接通信。总线系统440除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图2中将各种总线都标为总线系统440。
处理器410可以是一种集成电路芯片，具有信号的处理能力，例如通用处理器、数字信号处理器（DSP，Digital Signal Processor），或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其中，通用处理器可以是微处理器或者任何常规的处理器等。
用户接口430包括使得能够呈现媒体内容的一个或多个输出装置431，包括一个或多个扬声器和/或一个或多个视觉显示屏。用户接口430还包括一个或多个输入装置432，包括有助于用户输入的用户接口部件，比如键盘、鼠标、麦克风、触屏显示屏、摄像头、其他输入按钮和控件。
存储器450可以是可移除的，不可移除的或其组合。示例性的硬件设备包括固态存储器，硬盘驱动器，光盘驱动器等。存储器450可选地包括在物理位置上远离处理器 410的一个或多个存储设备。
存储器450包括易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。非易失性存储器可以是只读存储器（ROM，Read Only Memory），易失性存储器可以是随机存取存储器（RAM，Random Access Memory）。本申请实施例描述的存储器450旨在包括任意适合类型的存储器。
在一些实施例中，存储器450能够存储数据以支持各种操作，这些数据的示例包括程序、模块和数据结构或者其子集或超集，下面示例性说明。
操作系统451，包括用于处理各种基本系统服务和执行硬件相关任务的系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务；
网络通信模块452，用于经由一个或多个（有线或无线）网络接口420到达其他计算设备，示例性的网络接口420包括：蓝牙、无线相容性认证（WiFi）、和通用串行总线（USB，Universal Serial Bus）等；
呈现模块453，用于经由一个或多个与用户接口430相关联的输出装置431（例如，显示屏、扬声器等）使得能够呈现信息（例如，用于操作外围设备和显示内容和信息的用户接口）；
输入处理模块454，用于对一个或多个来自一个或多个输入装置432之一的一个或多个用户输入或互动进行检测以及翻译所检测的输入或互动。
在一些实施例中，本申请实施例提供的装置可以采用软件方式实现，图2示出了存储在存储器450中的基于人工智能的相机灰尘检测装置455，其可以是程序和插件等形式的软件，可以包括以下软件模块：图像获取模块4550、锚框生成模块4551、边界框确定模块4552和灰尘检测模块4553，这些模块是逻辑上的，因此根据所实现的功能可以进行任意的组合或进一步拆分。将在下文中说明各个模块的功能。
在相关技术中，可以基于硬件的方式对相机进行灰尘检测。具体的，通过检测独立于相机的红外接收管输出端的电压变化判断相机的镜头是否覆盖灰尘。但是，该种方案需要配置红外发射管、红外接收管、发射端单片机、三极管、接收端单片机及发光强度调节器等硬件；因此，该种方案不仅成本高昂、不容易实现，而且只能检测相机的镜头是否覆盖灰尘，不能检测相机的传感器上是否覆盖灰尘。
在相关技术中，还可以基于图像处理的方式对相机进行灰尘检测。具体的，利用待测相机对白色平面进行拍照，得到测试图像；对测试图像进行滤波处理，得到滤波图像，并根据测试图像及所述滤波图像得到差值图像；根据所述差值图像计算阈值，并对所述差值图像进行阈值处理，以实现灰尘检测。该种方案需要相机在特定环境下才能实现检测，不能在相机处于工作状态时对相机进行灰尘检测，即不能及时地检测出相机上的灰尘。
本申请实施例提供一种基于人工智能的相机灰尘检测方法，至少能够解决上述问题。
下面将结合本申请实施例提供的电子设备的示例性应用和实施，说明本申请实施例提供的基于人工智能的相机灰尘检测方法。
参见图3，图3是本申请实施例提供的基于人工智能的相机灰尘检测方法的一个可选流程示意图，将结合图3示出的步骤进行说明。
步骤S100，获取相机采集的图像。
在一些实施例中，相机采集的图像可以是相机通过照相的方式拍摄的任意一张图像，也可以是相机通过录像的方式拍摄的视频中的一帧图像。
步骤S101，基于图像生成至少一个锚框，每个尺寸的所述锚框分别对应一个锚框权重系数。
在一些实施例中，以所述图像上每个像素点为中心，生成针对每个像素点的至少一个预设尺寸的锚框，每个尺寸的所述锚框分别对应一个锚框权重系数。其中，锚框权重系数可以表示符合正态分布的随机权值。
在一些实施例中，可以对锚框预设尺寸，作为示例，可以预设锚框的高和宽。锚框的预设尺寸的大小包括至少一种；作为示例，预设尺寸的大小可以包括三种，如按尺寸的大小分为第一尺寸锚框，第二尺寸锚框和第三尺寸锚框，第一尺寸锚框对应的第一锚框权重系数，第二尺寸锚框对应的第二锚框权重系数，第三尺寸锚框对应的第三锚框权重系数；作为示例，预置的锚框数量可以是9个，并按照尺寸均分；如预置的第一尺寸锚框、第二尺寸锚框和第三尺寸锚框的数量均为3个。3个第一尺寸锚框分别对应3个第一锚框权重系数，3个第一锚框权重系数的值可以相同，也可以不同；3个第二尺寸锚框分别对应3个第二锚框权重系数，3个第二锚框权重系数的值可以相同，也可以不同；3个第三尺寸锚框分别对应3个第三锚框权重系数，3个第三锚框权重系数的值可以相同，也可以不同。
本申请实施例中，每个尺寸的锚框对应的锚框权重系数的大小可以是随机生成的不同的数；举例来说，基于图像生成的锚框中包括N个第一尺寸锚框，N个第一尺寸锚框可以对应N个数值不同的第一锚框权重系数。因此，针对第一尺寸锚框，本申请实施例至多可以检测对应的N个不同尺寸的对象；而相关技术中，针对第一尺寸的锚框，仅能检测对应的一个尺寸的对象。本申请实施例通过预置不同尺寸的锚框，且不同数量的同一尺寸锚框可以对应不同的锚框权重系数，能够实现对多种不同尺寸的对象进行检测。
相机拍摄的图像如图4所示，针对图4所示的图像生成的锚框如图5所示，图4所示的图像包括2个对象，对应的生成两个锚框。
在一些实施例中，可以基于锚框生成模型对输入的图像进行处理，得到图像对应的多个锚框。在具体实施时，可以通过下述方式预先训练锚框生成模型：获取图像样本，识别图像样本中的前景区域，基于所识别的前景区域生成锚框样本；计算锚框样本与真实锚框的差异，基于所述差异调整锚框生成模型的参数。
步骤S102，基于各所述尺寸的锚框分别对应的锚框权重系数，利用预先训练的预测边界框模型确定各所述锚框对应的预测边界框。
在一些实施例中，确定各所述锚框对应的预测边界框的一种可选处理流程，如图6所示，至少可以包括：
针对各所述锚框，分别执行下述操作：
步骤S102a，确定各所述锚框对应的尺寸。
在一些实施例中，基于图片生成多个锚框之后，可以确定每个锚框对应的尺寸。
步骤S102b，基于各所述锚框对应的尺寸以及所述尺寸的锚框对应的锚框权重系数，利用预先训练的预测边界框模型确定各所述锚框的类别和偏移量。
在一些实施例中，确定锚框的尺寸之后，可以进一步确定所述尺寸的锚框对应的锚框权重系数。举例来说，若锚框的尺寸为第一尺寸，则对应的锚框权重系数为第一锚框权重系数；若锚框的尺寸为第二尺寸，则对应的锚框权重系数为第二锚框权重系数；若锚框的尺寸为第三尺寸，则对应的锚框权重系数为第三锚框权重系数。
在一些实施例中，利用预先训练完成的预测边界框模型确定各所述锚框的类别和偏移量。锚框的类别可以包括第一尺寸锚框、第二尺寸锚框和第三尺寸锚框。
步骤S102c，基于各所述锚框的类别和偏移量，确定各所述锚框对应的预测边界框。
在一些实施例中，所述确定各所述锚框对应的预测边界框的可选处理流程，如图7所示，至少可以包括：
步骤S102c1，确定包括至少两个候选预测边界框的候选预测边界框集合。
在一些实施例中，在锚框数量比较多的情况下，同一个对象或目标上可能会输出较多相似的候选预测边界框；两个或两个以上的候选预测边界框构成候选预测边界框集合。
步骤S102c2，基于所述候选预测边界框集合确定针对每个对象的类别预测概率值最大的候选预测边界框。
在一些实施例中，针对一个候选预测边界框，能够得到该候选预测边界框属于不同类别的类别预测概率值，最大的类别预测概率值所对应的类别为候选预测边界框对应的预测类别；其中，类别预测概率值也可以称为置信度。
在一些实施例中，基于所述候选预测边界框集合确定针对每个对象的类别预测概率值最大的候选预测边界框的一种可选处理流程，如图8所示，至少可以包括：
针对所述候选预测边界框集合重复执行下述操作：
步骤S102c21，对全部所述候选预测边界框的类别预测概率值排序，确定类别预测概率值最大的第一候选预测边界框。
在一些实施例中，不考虑候选预测边界框所对应的类别，直接对全部候选预测边界框按类别预测概率值排序；作为示例，可以按照类别预测概率值由大到小的降序顺序排列，也可以按照类别预测概率值由小到大的升序顺序排列。若按照类别预测概率值的降序排列，则选取排列后的序列中第一个类别预测概率值对应的第一候选预测边界框；若按照类别预测概率值的升序排列，则选取排列后的序列中最后一个类别预测概率值对应的第一候选预测边界框。
步骤S102c22，以所述第一候选预测边界框为基准，计算第二候选预测边界框与所述第一候选预测边界框的交并比；所述第二候选预测边界框为候选预测边界框集合中除所述第一候选预测边界框以外的候选预测边界框。
在一些实施例中，若候选预测边界框集合包括X个候选预测边界框，第一候选预测边界框为候选预测边界框集合中除第一候选预测边界框以外的（X-1）个候选预测边界框；则计算第一候选预测边界框分别与候选预测边界框集合中除第一候选预测边界框以外的（X-1）个候选预测边界框的交并比。其中，交并比可以是指第一候选预测边界框与第二候选预测边界框相交的面积，与第一候选预测边界框与第二候选预测边界框相并的面积之比，计算第一候选预测边界框与第二候选预测边界框的交并比的示意图，如图8所示，第一候选预测边界框与第二候选预测边界框相交的面积为M，第一候选预测边界框与第二候选预测边界框相并的面积为N，第一候选预测边界框与第二候选预测边界框的交并比为M/N。
步骤S102c23，若所述交并比大于交并比阈值，则移除所述第二候选预测边界框。
在一些实施例中，第一候选预测边界框与第二候选预测边界框的交并比，用于衡量第一候选预测边界框与第二候选预测边界框得相似度；若交并比大于交并比阈值，则说明两个候选预测边界框相似度高，可能是针对同一个对象的两个候选预测边界框；在该场景下，由于第一候选预测边界框的类别预测概率值最大，因此，可以从候选预测边界框集合中移除第二候选预测边界框。如此，保留了类别预测概率值最大的候选预测边界框，并移除与类别预测概率值最大的候选预测边界框相似的其他候选预测边界框，因此，针对同一对象能够得到一个候选预测边界框。
重复步骤S102c21至步骤S102c23，得到图像中每个对象对应的一个候选预测边界框。
步骤S102c3，基于所述类别预测概率值最大的候选预测边界框的偏移量，确定各所述锚框对应的预测边界框。
在一些实施例中，在步骤S102c2中，已经确定了针对每个对象的类别预测概率值最大的候选预测边界框，根据对应的偏移量调整每个对象的类别预测概率值最大的候选预测边界框的位置，得到各所述锚框对应的预测边界框。
在一些实施例中，针对步骤S102，基于各所述尺寸的锚框分别对应的锚框权重系数，确定各所述锚框对应的预测边界框的处理过程可通过边界框模型确定。基于此，在执行步骤S102之前，可以先训练边界框模型；训练边界框模型的一种可选处理流程，如图9所示，至少可以包括：
步骤S102d，获取锚框样本，以及所述锚框样本对应的标签；所述标签包括类别标签和偏移量标签。
在一些实施例中，可以获取相机拍摄的历史图像样本，获取每张历史图像样本对应的锚框样本；并为每个锚框样本标注两个标签，分别是类别和偏移量；其中，类别可以是指锚框样本内的对象的类别，如男人、女人、灰尘、汽车、动物等；偏移量是锚框样本内的对象的真实边界框相对于锚框样本的偏移量。
在一些实施例中，可以在对历史图像样本经过一系列卷积层和池化层之后，在特征映射（feature map）层经过特征提取得到锚框样本。
步骤S102e，通过所述边界框模型包括的尺寸确定层，确定所述锚框样本的尺寸以及所述尺寸的锚框样本对应的锚框权重系数。
在一些实施例中，在尺寸确定层确定锚框样本的尺寸时，还能够根据锚框样本的尺寸匹配与锚框样本的尺寸对应的锚框权重系数。
步骤S102f，通过所述边界框模型包括的边界框确定层，基于对应的锚框权重系数确定所述锚框样本的样本类别和样本偏移量。
在一些实施例中，边界框确定层基于所确定的锚框样本的尺寸及对应的锚框权重系数，确定锚框样本的样本类别和样本偏移量。
步骤S102g，获取所述锚框样本的样本类别与所述锚框样本的类别标签之间的第一差异，以及所述锚框样本的样本偏移量与所述锚框样本的偏移量标签之间的第二差异。
步骤S102h，基于所述第一差异和所述第二差异更新所述边界框模型的参数。
在一些实施例中，可以基于YOLO系列的算法预测边界框；通常，会有预置的9个锚框，按照尺寸均分为3个尺寸。在边界框模型训练中，在初始预置锚框的基础上输出预测框，预测框与真实框（ground truth）进行计算两者差距，通过二者的差距再反向迭代更新模型参数。在YOLOV5中也是如此计算锚框。不仅如此，每次模型训练时，YOLOV5还会自适应地计算不同训练集中的最适合的锚框。但是，一旦确定最适合的锚框后，锚框的尺寸便会固定下来。对于样本量比较少的小目标和一些长宽比例不协调的大目标进行检测时，效果欠佳。
基于此，本申请实施例提供一种广义的确定锚框的方法，对于3个尺寸中的小尺寸锚框与大尺寸锚框进行随机加权以丰富其尺寸，可以更好地去检测小目标（尺寸较小的对象）和大目标（尺寸较大的对象）。其中，对于3个尺寸中的小尺寸锚框与大尺寸锚框进行随机加权，可以是指对小尺寸锚框和大尺寸锚框分别乘以随机生成的锚框权重系数。
本申请实施例提出的确定锚框的方法所使用的边界框模型的训练示意图，可以如图10所示，预设三个尺寸的锚框，每个尺寸的锚框分别对应一个锚框权重系数，作为示例，anchors表示用于检测小尺寸的特征图的锚框，WS表示符合正态分布的随机权值，WS的取值范围可以为（0，1）；anchorL表示用于检测大尺寸的特征图的锚框，WL=WS+1，WL的取值范围为（1，2）。针对锚框样本，通中间层（intermediate layer）能够得到256维的特征图，区域建议（Regional Proposal）层用于基于得到的特征图，选取出可能属于锚框样本集其中一类的候选区域；clsscore层用于基于锚框样本尺寸和对应的锚框权重系数，对锚框样本集中的锚框样本分类。
本申请实施例提供的边界框模型可基于深度学习网络实现，作为示例，边界框模型可基于深度学习网络YOLO-V5实现，并在现有的深度学习网络YOLO-V5的基础上，对每个尺寸的锚框，增加了对应的锚框权重系数，由于锚框权重系数可以是随机生成的，因此，预设尺寸的锚框乘以不同的锚框权重系数之后，能够丰富锚框尺寸，便于检测更多尺寸的对象。
步骤S103，基于所述预测边界框检测所述相机是否覆盖灰尘。
在一些实施例中，在步骤S102中确定了预测边界框，且能够确定预测边界框的类别；如预测边界框的类别为灰尘，则预测边界框对应的图像中的对象为灰尘，确定采集所述图像的相机覆盖灰尘；如预测边界框的类别为灰尘以外的其他对象，则预测边界框对应的图像中的对象不是灰尘，确定采集所述图像的相机未覆盖灰尘。
在一些实施例中，可以基于检测模型确定边界框内的对象是否为灰尘。在具体实施时，可以通过下述方式预先训练检测模型；获取边界框样本和边界框样本对应的对象标签，基于边界框样本预测边界框样本对应的预测对象标签；计算预测对象标签与边界框样本对应的真实对象标签的差异，基于所述差异调整检测模型的参数。
需要说明的是，本申请实施例中所涉及的锚框模型、边界框模型和检测模型可以包括在相机灰尘检测模型中；锚框模型、边界框模型和检测模型协同实现对相机采集的图像进行处理，以确定相机是否覆盖灰尘。相机灰尘检测模型可以基于深度学习网络实现，作为示例，相机灰尘检测模型可以基于深度学习网络YOLO-V5实现。
在执行步骤S103之后，若确定相机覆盖灰尘，则所述方法还可以包括：
步骤S104，确定相机覆盖灰尘的元件。
在一些实施例中，相机传感器上的灰尘和相机镜头上的灰尘映射到图像上尺寸差距较大。 一般而言，相机传感器上灰尘的感受野较大，映射到图像上尺寸较大；相机镜头上的灰尘的感受野较小，映射到图像上的尺寸较小。基于此，本申请实施例可以先计算预测边界框的尺寸，若预测边界框的尺寸大于尺寸阈值，则确定所述预测边界框内的对象为所述相机的传感器上的灰尘；若所述预测边界框的尺寸小于或等于所述尺寸阈值，则确定所述预测边界框内的对象为所述相机的镜头上的灰尘。其中，尺寸阈值可以根据实际场景灵活设定。
本申请实施例提供的基于人工智能的相机灰尘检测方法，获取相机采集的图像；基于图像生成至少一个锚框，每个尺寸的所述锚框分别对应一个锚框权重系数；基于各所述尺寸的锚框分别对应的锚框权重系数，确定各所述锚框对应的预测边界框；基于所述预测边界框检测所述相机是否覆盖灰尘。因此，本申请实施例提供的基于人工智能的相机灰尘检测方法无需部署额外的红外装置，不仅能够降低灰尘检测的成本，而且容易实现。由于每个预设尺寸的锚框分别对应一个锚框权重系数，因此，本申请实施例基于预设尺寸的锚框和预设尺寸的锚框对应的锚框权重系数两个参数确定预测边界框，能够丰富锚框的尺寸，便于更多尺寸的目标检测。本申请实施例提供的基于人工智能的相机灰尘检测方法能够对相机拍摄的图像快速、实时地进行检测，且不依赖检测环境，灰尘检测的鲁棒性高。
下面将说明本申请实施例在一个实际的应用场景中的示例性应用，为了便于理解，以流水线作业系统的场景进行示例说明，但这并不构成对本申请实施例的限定，也可以其他领域中的场景。
本申请实施例提供的如图11所示的基于人工智能的相机灰尘检测方法的可选处理示意图，至少可以包括：
步骤S201，获取数据集。
本申请实施例中，数据集包括相机拍摄的多张图像。在获取到数据集之后，可以对数据集包括的图像进行划分，如将数据集划分为训练集、测试集和验证集。其中，训练集中的图像用于训练边界框模型；测试集中的图像用于对边界框模型进行测试，以调整边界框模型中的参数；验证集中的图像用于验证边界框模型的置信度。
步骤S202，对数据集进行预处理。
在一些实施例中，对数据集进行预处理可以包括对数据集中的图像进行拼接、去噪声、马赛克和resize中的至少一项；以对数据集中的图像进行拼接为例，图12所示为数据集中的4幅图像，对该4幅图像进行拼接后得到的图像如图13所示。
步骤S203，构建基于深度学习的相机灰尘检测模型。
在一些实施例中，基于步骤S201中获取的数据集构建相机灰尘检测模型，其中，相机灰尘检测模型可以包括锚框模型、边界框模型和检测模型；锚框模型用于确定数据集中图像的锚框，边界框模型用于确定锚框对应的边界框；检测模型用于基于数据集中图像的边界框确定边界框内的对象是否为灰尘。
步骤S204，对相机灰尘检测模型进行训练。
在一些实施例中，基于步骤S201中获取的数据集对相机灰尘检测模型进行训练，使得相机灰尘检测模型具备基于输入的图像，确定拍摄所述图像的相机是否覆盖灰尘的性能。
步骤S205，将相机灰尘检测模型部署至流水线作业系统。
在一些实施例中，可以将安装有相机灰尘检测模型的电子设备部署至流水线作业系统。
步骤S206，对相机采集的图像进行检测，以检测相机是否覆盖灰尘。
在一些实施例中，通过相机拍摄流水线作业系统对应的图像，安装有相机灰尘检测模型的电子设备实施相机灰尘检测方法，对相机拍摄的图像进行灰尘检测。
若检测到相机上覆盖灰尘，则向流水线作业系统发送告警信息。
下面继续说明本申请实施例提供的基于人工智能的相机灰尘检测装置455实施为软件模块的示例性结构，在一些实施例中，如图2所示，存储在存储器450的基于人工智能的相机灰尘检测装置455中的软件模块可以包括：图像获取模块4550，用于获取相机采集的图像；锚框生成模块4551，用于基于所述图像生成至少一个锚框，每个尺寸的所述锚框分别对应一个锚框权重系数；边界框确定模块4552，用于基于各所述尺寸的锚框分别对应的锚框权重系数，利用预先训练的预测边界框模型确定各所述锚框对应的预测边界框；灰尘检测模块4553，用于基于所述预测边界框检测所述相机是否覆盖灰尘。
在一些实施例中，边界框确定模块4552，用于针对各所述锚框，分别执行下述操作：确定各所述锚框对应的尺寸；基于各所述锚框对应的尺寸以及所述尺寸的锚框对应的锚框权重系数，利用预先训练的预测边界框模型确定各所述锚框的类别和偏移量；基于各所述锚框的类别和偏移量，确定各所述锚框对应的预测边界框。
在一些实施例中，所述边界框确定模块，用于确定包括至少两个候选预测边界框的候选预测边界框集合；基于所述候选预测边界框集合确定针对每个对象的类别预测概率值最大的候选预测边界框；基于所述类别预测概率值最大的候选预测边界框的偏移量，确定各所述锚框对应的预测边界框。
在一些实施例中，边界框确定模块4552，用于针对所述候选预测边界框集合重复执行下述操作：对全部所述候选预测边界框的类别预测概率值排序，确定类别预测概率值最大的第一候选预测边界框；以所述第一候选预测边界框为基准，计算第二候选预测边界框与所述第一候选预测边界框的交并比；所述第二候选预测边界框为全部所述候选预测边界框中除所述第一候选预测边界框以外的候选预测边界框；若所述交并比大于交并比阈值，则移除所述第二候选预测边界框。
在一些实施例中，边界框确定模块4552，用于基于所述类别预测概率值最大的候选预测边界框的偏移量，调整所述类别预测概率值最大的候选预测边界框的位置，得到各所述锚框对应的预测边界框。
在一些实施例中，在一些实施例中，边界框确定模块4552，还用于获取锚框样本，以及所述锚框样本对应的标签；所述标签包括类别标签和偏移量标签；
通过所述边界框模型包括的尺寸确定层，确定所述锚框样本的尺寸以及所述尺寸的锚框样本对应的锚框权重系数；
通过所述边界框模型包括的边界框确定层，基于对应的锚框权重系数确定所述锚框样本的样本类别和样本偏移量；
获取所述锚框样本的样本类别与所述锚框样本的类别标签之间的第一差异，以及所述锚框样本的样本偏移量与所述锚框样本的偏移量标签之间的第二差异；
基于所述第一差异和所述第二差异更新所述边界框模型的参数。
在一些实施例中，锚框生成模块4551，用于以所述图像上每个像素点为中心，生成针对每个像素点的至少一个预设尺寸的锚框。
在一些实施例中，灰尘检测模块4553，用于基于所述预测边界框的类别，检测所述预测边界框内的对象是否为灰尘。
在一些实施例中，灰尘检测模块4553，还用于计算所述预测边界框的尺寸；
若所述预测边界框的尺寸大于尺寸阈值，则确定所述预测边界框内的对象为所述相机的传感器上的灰尘；
若所述预测边界框的尺寸小于或等于所述尺寸阈值，则确定所述预测边界框内的对象为所述相机的镜头上的灰尘。
本申请实施例提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行本申请实施例上述的基于人工智能的相机灰尘检测方法。
本申请实施例提供一种存储有可执行指令的计算机可读存储介质，其中存储有可执行指令，当可执行指令被处理器执行时，将引起处理器执行本申请实施例提供的方法，例如，如图3至图11示出的基于人工智能的相机灰尘检测方法。
在一些实施例中，计算机可读存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、闪存、磁表面存储器、光盘、或CD-ROM等存储器；也可以是包括上述存储器之一或任意组合的各种设备。
在一些实施例中，可执行指令可以采用程序、软件、软件模块、脚本或代码的形式，按任意形式的编程语言（包括编译或解释语言，或者声明性或过程性语言）来编写，并且其可按任意形式部署，包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。
作为示例，可执行指令可以但不一定对应于文件系统中的文件，可以可被存储在保存其它程序或数据的文件的一部分，例如，存储在超文本标记语言（HTML，Hyper TextMarkup Language）文档中的一个或多个脚本中，存储在专用于所讨论的程序的单个文件中，或者，存储在多个协同文件（例如，存储一个或多个模块、子程序或代码部分的文件）中。
作为示例，可执行指令可被部署为在一个计算设备上执行，或者在位于一个地点的多个计算设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个计算设备上执行。
以上，仅为本申请的实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和范围之内所作的任何修改、等同替换和改进等，均包含在本申请的保护范围之内。

Claims (12)

1.一种基于人工智能的相机灰尘检测方法，其特征在于，所述方法包括：
获取相机采集的图像；
基于所述图像生成至少一个锚框，每个尺寸的所述锚框分别对应一个锚框权重系数；
基于各所述尺寸的锚框分别对应的锚框权重系数对相应的锚框的尺寸进行加权，以增加所述锚框的尺寸的数量；其中，小尺寸的锚框对应的锚框权重系数为取值范围在0至1之间的正态分布的随机数，大尺寸的锚框对应的锚框权重系数为取值范围在1至2之间的正态分布的随机数；
利用预先训练的预测边界框模型确定加权后的各所述锚框对应的预测边界框；
基于所述预测边界框检测所述相机是否覆盖灰尘。
2.根据权利要求1所述的方法，其特征在于，所述基于各所述尺寸的锚框分别对应的锚框权重系数，利用预先训练的预测边界框模型确定各所述锚框对应的预测边界框包括：
针对各所述锚框，分别执行下述操作：
确定各所述锚框对应的尺寸；
基于各所述锚框对应的尺寸以及所述尺寸的锚框对应的锚框权重系数，利用预先训练的预测边界框模型确定各所述锚框的类别和偏移量；
基于各所述锚框的类别和偏移量，确定各所述锚框对应的预测边界框。
3.根据权利要求2所述的方法，其特征在于，所述基于各所述锚框的类别和偏移量，确定各所述锚框对应的预测边界框，包括：
确定包括至少两个候选预测边界框的候选预测边界框集合；
基于所述候选预测边界框集合确定针对每个对象的类别预测概率值最大的候选预测边界框；
基于所述类别预测概率值最大的候选预测边界框的偏移量，确定各所述锚框对应的预测边界框。
4.根据权利要求3所述的方法，其特征在于，所述基于所述候选预测边界框集合确定针对每个对象的类别预测概率值最大的候选预测边界框，包括：
针对所述候选预测边界框集合重复执行下述操作：
对全部所述候选预测边界框的类别预测概率值排序，确定类别预测概率值最大的第一候选预测边界框；
以所述第一候选预测边界框为基准，计算第二候选预测边界框与所述第一候选预测边界框的交并比；所述第二候选预测边界框为所述候选预测边界框集合中除所述第一候选预测边界框以外的候选预测边界框；
若所述交并比大于交并比阈值，则移除所述第二候选预测边界框。
5.根据权利要求3所述的方法，其特征在于，所述基于所述类别预测概率值最大的候选预测边界框的偏移量，确定各所述锚框对应的预测边界框，包括：
基于所述类别预测概率值最大的候选预测边界框的偏移量，调整所述类别预测概率值最大的候选预测边界框的位置，得到各所述锚框对应的预测边界框。
6.根据权利要求1至5任一项所述的方法，其特征在于，所述确定所述锚框对应的预测边界框之前，所述方法还包括：
获取锚框样本，以及所述锚框样本对应的标签；所述标签包括类别标签和偏移量标签；
通过所述边界框模型包括的尺寸确定层，确定所述锚框样本的尺寸以及所述尺寸的锚框样本对应的锚框权重系数；
通过所述边界框模型包括的边界框确定层，基于对应的锚框权重系数确定所述锚框样本的样本类别和样本偏移量；
获取所述锚框样本的样本类别与所述锚框样本的类别标签之间的第一差异，以及所述锚框样本的样本偏移量与所述锚框样本的偏移量标签之间的第二差异；
基于所述第一差异和所述第二差异更新所述边界框模型的参数。
7.根据权利要求1所述的方法，其特征在于，所述基于图像生成至少一个锚框，包括：
以所述图像上每个像素点为中心，生成针对每个像素点的至少一个预设尺寸的锚框。
8.根据权利要求1所述的方法，其特征在于，所述基于所述预测边界框检测采集所述图像的相机是否覆盖灰尘，包括：
基于所述预测边界框的类别，检测所述预测边界框内的对象是否为灰尘。
9.根据权利要求8所述的方法，其特征在于，若确定所述预测边界框内的对象为灰尘，所述方法还包括：
计算所述预测边界框的尺寸；
若所述预测边界框的尺寸大于尺寸阈值，则确定所述预测边界框内的对象为所述相机的传感器上的灰尘；
若所述预测边界框的尺寸小于或等于所述尺寸阈值，则确定所述预测边界框内的对象为所述相机的镜头上的灰尘。
10.一种基于人工智能的相机灰尘检测装置，其特征在于，所述装置包括：
图像获取模块，用于获取相机采集的图像；
锚框生成模块，用于基于所述图像生成至少一个锚框，每个尺寸的所述锚框分别对应一个锚框权重系数；
边界框确定模块，用于基于各所述尺寸的锚框分别对应的锚框权重系数对相应的锚框的尺寸进行加权，以增加所述锚框的尺寸的数量；利用预先训练的预测边界框模型确定所述更多的锚框中各所述锚框对应的预测边界框；其中，小尺寸的锚框对应的锚框权重系数为取值范围在0至1之间的正态分布的随机数，大尺寸的锚框对应的锚框权重系数为取值范围在1至2之间的正态分布的随机数；
灰尘检测模块，用于基于所述预测边界框检测所述相机是否覆盖灰尘。
11.一种电子设备，其特征在于，包括：
存储器，用于存储可执行指令；
处理器，用于执行所述存储器中存储的可执行指令时，实现权利要求1至9任一项所述的基于人工智能的相机灰尘检测方法。
12.一种计算机可读存储介质，其特征在于，存储有可执行指令，用于被处理器执行时，实现权利要求1至9任一项所述的基于人工智能的相机灰尘检测方法。
CN202110645091.4A 2021-06-10 2021-06-10 基于人工智能的相机灰尘检测方法、装置及电子设备 Active CN113256600B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110645091.4A CN113256600B (zh) 2021-06-10 2021-06-10 基于人工智能的相机灰尘检测方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110645091.4A CN113256600B (zh) 2021-06-10 2021-06-10 基于人工智能的相机灰尘检测方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN113256600A CN113256600A (zh) 2021-08-13
CN113256600B true CN113256600B (zh) 2021-11-19

Family

ID=77187263

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110645091.4A Active CN113256600B (zh) 2021-06-10 2021-06-10 基于人工智能的相机灰尘检测方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN113256600B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102111532A (zh) * 2010-05-27 2011-06-29 周渝斌 相机镜头遮挡检测系统及方法
CN108765424A (zh) * 2018-04-03 2018-11-06 迈克医疗电子有限公司 污点区域检测方法和装置、分析仪器和存储介质
CN112634199A (zh) * 2015-06-26 2021-04-09 柯达阿拉里斯股份有限公司 相机子组合件灰尘及缺陷检测系统及方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007215151A (ja) * 2006-01-12 2007-08-23 Canon Inc 撮像装置及びその制御方法及びプログラム
CN108022238B (zh) * 2017-08-09 2020-07-03 深圳科亚医疗科技有限公司 对3d图像中对象进行检测的方法、计算机存储介质和系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102111532A (zh) * 2010-05-27 2011-06-29 周渝斌 相机镜头遮挡检测系统及方法
CN112634199A (zh) * 2015-06-26 2021-04-09 柯达阿拉里斯股份有限公司 相机子组合件灰尘及缺陷检测系统及方法
CN108765424A (zh) * 2018-04-03 2018-11-06 迈克医疗电子有限公司 污点区域检测方法和装置、分析仪器和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
《基于卷积神经网络快速区域标定的表面缺陷检测》;李宜汀 等;《计算机集成制造系统》;20190830;第25卷(第8期);第1897-1907页 *

Also Published As

Publication number Publication date
CN113256600A (zh) 2021-08-13

Similar Documents

Publication Publication Date Title
CN112052787B (zh) 基于人工智能的目标检测方法、装置及电子设备
Arietta et al. City forensics: Using visual elements to predict non-visual city attributes
CN110807385A (zh) 目标检测方法、装置、电子设备及存储介质
CN109815843B (zh) 图像处理方法及相关产品
KR101824600B1 (ko) 단말장치를 이용한 신용카드 번호 및 유효기간 인식 시스템 및 방법
CN109791600A (zh) 将横屏视频转换为竖屏移动布局的方法
CN111612002A (zh) 一种基于神经网络的多目标物体运动追踪方法
CN112052837A (zh) 基于人工智能的目标检测方法以及装置
CN104134364B (zh) 具有自我学习能力的实时交通标记识别方法及系统
CN113537070B (zh) 一种检测方法、装置、电子设备及存储介质
CN112419202B (zh) 基于大数据及深度学习的野生动物图像自动识别系统
KR102376912B1 (ko) 인공지능을 활용한 공간정보 기반의 토지 관리 장치 및 방법
US20220366244A1 (en) Modeling Human Behavior in Work Environment Using Neural Networks
CN110780965A (zh) 基于视觉的流程自动化方法、设备及可读存储介质
JP2023176023A (ja) 分散型データ分析のためのシステムおよび方法
CN114360045A (zh) 操作检测设备的方法、存储介质和检测设备
CN115393322A (zh) 基于数字孪生的变化检测数据生成及评估的方法及设备
CN114724140A (zh) 一种基于yolo v3的草莓成熟度检测方法、装置
WO2021131248A1 (ja) 物体検索装置及び物体検索方法
CN111739649B (zh) 一种用户画像捕捉方法、装置及系统
CN113256600B (zh) 基于人工智能的相机灰尘检测方法、装置及电子设备
Hashemi et al. Runtime monitoring for out-of-distribution detection in object detection neural networks
CN113705293A (zh) 图像场景的识别方法、装置、设备及可读存储介质
CN115690615A (zh) 一种面向视频流的深度学习目标识别方法及系统
CN113223007A (zh) 视觉里程计的实现方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 310051 8 / F, building a, 1181 Bin'an Road, Binjiang District, Hangzhou City, Zhejiang Province

Applicant after: Zhejiang Huarui Technology Co.,Ltd.

Address before: 310051 8 / F, building a, 1181 Bin'an Road, Binjiang District, Hangzhou City, Zhejiang Province

Applicant before: ZHEJIANG HUARAY TECHNOLOGY Co.,Ltd.

GR01 Patent grant
GR01 Patent grant