CN116309437A - 一种灰尘检测方法、装置及存储介质 - Google Patents
一种灰尘检测方法、装置及存储介质 Download PDFInfo
- Publication number
- CN116309437A CN116309437A CN202310251021.XA CN202310251021A CN116309437A CN 116309437 A CN116309437 A CN 116309437A CN 202310251021 A CN202310251021 A CN 202310251021A CN 116309437 A CN116309437 A CN 116309437A
- Authority
- CN
- China
- Prior art keywords
- image
- dust
- vit
- network
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000000428 dust Substances 0.000 title claims abstract description 119
- 238000001514 detection method Methods 0.000 title claims abstract description 86
- 238000003860 storage Methods 0.000 title claims abstract description 15
- 238000009792 diffusion process Methods 0.000 claims abstract description 21
- 238000000034 method Methods 0.000 claims description 50
- 230000003044 adaptive effect Effects 0.000 claims description 20
- 238000004590 computer program Methods 0.000 claims description 19
- 230000008569 process Effects 0.000 claims description 19
- 230000000873 masking effect Effects 0.000 claims description 17
- 238000005070 sampling Methods 0.000 claims description 17
- 238000009499 grossing Methods 0.000 claims description 15
- 239000011159 matrix material Substances 0.000 claims description 14
- 230000002708 enhancing effect Effects 0.000 claims description 10
- 238000007781 pre-processing Methods 0.000 claims description 9
- 230000000007 visual effect Effects 0.000 claims description 7
- 239000002131 composite material Substances 0.000 claims description 6
- 230000002441 reversible effect Effects 0.000 claims description 6
- 230000002194 synthesizing effect Effects 0.000 claims description 6
- 238000005520 cutting process Methods 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 4
- 239000003550 marker Substances 0.000 claims description 4
- 230000001105 regulatory effect Effects 0.000 claims description 4
- 125000000484 butyl group Chemical group [H]C([*])([H])C([H])([H])C([H])([H])C([H])([H])[H] 0.000 claims description 3
- 230000008439 repair process Effects 0.000 claims description 3
- 230000001502 supplementing effect Effects 0.000 claims description 3
- 230000003993 interaction Effects 0.000 claims description 2
- 230000011218 segmentation Effects 0.000 claims description 2
- 238000010276 construction Methods 0.000 abstract description 11
- 230000006870 function Effects 0.000 description 16
- 230000000694 effects Effects 0.000 description 15
- 238000010586 diagram Methods 0.000 description 10
- 230000004913 activation Effects 0.000 description 7
- 238000004458 analytical method Methods 0.000 description 7
- 238000012549 training Methods 0.000 description 7
- 238000009826 distribution Methods 0.000 description 6
- 230000009466 transformation Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 5
- 230000002123 temporal effect Effects 0.000 description 5
- 239000004973 liquid crystal related substance Substances 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000003750 conditioning effect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 235000002918 Fraxinus excelsior Nutrition 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 239000002956 ash Substances 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
- G01N15/06—Investigating concentration of particle suspensions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Chemical & Material Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Software Systems (AREA)
- Quality & Reliability (AREA)
- Dispersion Chemistry (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Image Processing (AREA)
Abstract
本申请公开了一种灰尘检测方法、装置及存储介质，用于灰尘检测。本申请公开的灰尘检测方法通过扩散模型生成合成图像，对生成结果进行编辑和图像增强，以创建干净准确的生成结果，然后进行灰尘浓度密度识别，然后通过识别结果以及图像数据对施工场所的灰尘进行检测，最后对其灰尘排放进行分析，进行灰尘违规排放的预测。本申请还提供了一种灰尘检测装置及存储介质。
Description
技术领域
本申请涉及计算技术领域，尤其涉及一种灰尘检测方法、装置及存储介质。
背景技术
现有技术中，灰尘检测单元大多由光电传感器对空气中的反射光度进行检测，光电传感器对环境要求较高，且精度较低，在施工过程中，不能对各个时间段的灰尘浓度进行精确的分析。对于神经网络的方法，基于编码器解码器(encoder-decoder)的变压器(transformer)时间序列预测模型得到了广泛地应用，但是，在该模型的训练过程中，随着模型深度和数据长度的增加，需要消耗大量的内存空间及计算资源，资源利用率不高。目前检测技术不仅检测成本高昂，而且不容易实现，且对检测环境有较强的依赖性，准确度差，鲁棒性差。传感器技术，也受限于施工现场的种种客观因素，在实际使用中极易产生误触发传感器信号，造成传感器错误判断。因此，如何降低资源利用率以及识别不准确是需要解决的技术问题。
发明内容
针对上述技术问题，本申请实施例提供了一种灰尘检测方法、装置及存储介质，用以降低资源消耗，提高灰尘检测的准确性。
第一方面，本申请实施例提供的一种灰尘检测方法，包括：
采集检测区域的图像，对所述图像进行预处理得到第一图像；
根据所述第一图像进行灰尘浓度密度识别得到第一识别结果；
根据所述第一图像和所述第一识别结果，进行灰尘检测。
所述对所述图像进行预处理得到第一图像包括：
合成图像，进行增强。
优选的，所述合成图像包括：
给定条件图像，将所述条件图像进行序列化；
将位置嵌入和令牌嵌入作为时间编码器的输入，在时间上计算同一空间索引中的所有令牌之间的自我关注，得到维度减少的令牌htmp；
将所述维度减少的令牌htmp重塑为空间标记hspt，作为空间解码器的输入；
空间解码器计算相同时间索引中所有标记之间的空间维度的自关注，对每个空间维度进行采样，最终得到空间标记h′spt；
执行上采样和3D卷积运算，以获得调节信号c。
将所述调节信号c输入所述预设的扩散模型合成图像。
优选的，所述进行增强包括：
将所有生成的视频帧图像对齐并裁剪为感兴趣的区域；
将裁剪的感兴趣的区域的帧编码为潜在特征；
用DDIM正向过程调节图像特征，再利用反向过程生成编辑帧图像，并粘贴到原始帧的相应区域；
将获取的RGB图像转换为HSV空间；
提取亮度分量V并对其进行直方图均衡；
其中，所述直方图均衡根据以下公式进行：
其中，MN是图像中的像素总数，L表示图像的灰度级数量，nk是灰度为rk的像素数量，nj是灰度为rj的像素数量，j是整数，k是小于L的整数,Sk＝T(rk)是第k级灰度的直方图均衡结果。
优选的，所述根据所述第一图像进行灰尘浓度密度识别得到第一识别结果包括：
将图像切成多个块，对每个块进行阈值设置；
对所述每一个块，采用平滑方法消除图像的细节；
将每一个块均转换为HSV颜色空间，并提取亮度分量V，将分量V映射到两个独立的一维波中；
在所述两个独立的一维波中搜索出局部最小值；
对整个图像计算不同灰尘浓度区域的密度。
其中，所述平滑方法来消除图像的细节包括：
根据以下公式进行平滑处理：
其中，Sp是平滑后图像，Ip是平滑前图像，p是像素索引，Dx(p)和Dy(p)是像素p在x和y方向上的变化，Lx(p)是捕捉整体x方向的总变化，Ly(p)是捕捉整体y方向总变化，ε是一小正数，以避免被零除，λ是控制平滑度权重，S是平滑后所有图像。
其中，所述计算不同灰尘浓度区域的密度包括：
根据以下公式算不同灰尘浓度区域的密度：
其中，其中D表示以线/英寸为单位的不同灰尘浓度区域的密度，M表示不同浓度区域之间的像素数，N是图像中区域的数量，Sdpi是分辨率。
优选的，所述根据所述第一图像和所述第一识别结果，进行灰尘检测包括：
生成大小为T×Nc的指示符请求矩阵，其中T表示时间帧的总数，Nc表示不同内容的总数；
定义基于Nw×Nc窗口的请求矩阵R(w)，其中
表示长度为w的时间窗口的数量，w是两个连续更新时间之间的时间间隔；
通过长度为L的重叠滑动窗口分割所述请求矩阵R(w)；
给定图像数据的请求模式Xu作为ViT CAT架构的输入，获得的多尺度特征，结合请求内容的概率和请求模式的偏差将所述图像数据标记为超标和非超标；
构建检测模型；
根据构建的检测模型进行灰尘检测。
优选的，所述构建检测模型包括：
所述检测模型由补丁层和变压器编码器组成；
所述检补丁层由第一视觉变换器ViT网络和第二ViT网络组成；
所述变压器编码器由多头注意力模块和多层感知器模块组成；
所述第一ViT网络和第二ViT网络并行第一ViT网络和第二ViT网络与多头注意力模块连接，所述多头注意力模块与所述多层感知器模块链接；
所述第一ViT网络用于收集时间相关性，所述第二ViT网络用于捕获不同图片内容之间的相关性。
其中，所述第一ViT网络和第二ViT网络均包括：
所述第一ViT网络和第二ViT网络均为补丁网络；
所述第一ViT网络为基于时间的补丁网络，所述第二ViT网络为基于内容和时间的补丁网络。
优选的，本发明的灰尘检测方法，还包括：
采用可缩放掩蔽自动编码器对灰尘排放是否违规进行预测；
所述可缩放掩蔽自动编码器包括：
令牌化器、自适应令牌采样器、编码器和解码器。
优选的，所述令牌化器包括：
所述令牌化器对给定大小为T×C×H×W的输入图像v，标记为N个维度d的标记X；
其中T表示时间数量，C表示输入RGB通道，H×W表示空间分辨率，H表示高度，W表示宽度，N为维度数量，d表示维度。
优选的，所述编码器包括：
分析变换器、量化器。
优选的，所述解码器包括：
合成变换器。
优选的，所述自适应令牌采样器包括：
所述自适应令牌采样器包括多头部注意力MHA网络，线性层和归一化指数函数Softmax激活层；
所述自适应令牌采样器表示为：
Z＝MHA(X)；
P＝Softmax(Linear(Z))；
其中，X为令牌化器产生的令牌，MHA表示MHA网络，Linear表示线性变换，Softmax表示归一化指数函数激活。
第二方面，本申请实施例还提供一种灰尘检测装置，包括：
采集模块，被配置用于采集检测区域的图像，对所述图像进行预处理得到第一图像；
浓度密度识别模块，被配置用于根据所述第一图像进行灰尘浓度密度识别得到第一识别结果；
检测模块，被配置用于根据所述第一图像和所述第一识别结果，进行灰尘检测。
第三方面，本申请实施例还提供一种灰尘检测装置，包括：存储器、处理器和用户接口；
所述存储器，用于存储计算机程序；
所述用户接口，用于与用户实现交互；
所述处理器，用于读取所述存储器中的计算机程序，所述处理器执行所述计算机程序时，实现本发明提供的灰尘检测方法。
第四方面，本申请实施例还提供一种处理器可读存储介质，所述处理器可读存储介质存储有计算机程序，所述处理器执行所述计算机程序时实现本发明提供的灰尘检测方法。
使用本发明的灰尘检测方法，通过扩散模型生成合成图像，对生成结果进行编辑和图像增强，以创建干净准确的生成结果，然后进行灰尘浓度密度识别，然后通过识别结果以及图像数据对施工场所的灰尘进行检测，最后对其灰尘排放进行分析，进行灰尘违规排放的预测。在施工现场部署扬尘传感器采集空气中PM2.5或PM10的含量，当含量达到阈值时，会向平台发送相关数据。由平台调度该传感器绑定的摄像头转向至传感器设备所在的方位，进行抓图、分析，获取相应的图像作为数据集，检测是否有违规行为。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅是本申请的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的灰尘检测方法流程示意图；
图2为本申请实施例提供的合成图像流程示意图；
图3为本申请实施例提供的灰尘浓度识别流程示意图；
图4为本申请实施例提供的检测模型结构示意图；
图5为本申请实施例提供的灰尘检测装置示意图；
图6为本申请实施例提供的另一种灰尘检测装置结构示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部份实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
下面对文中出现的一些词语进行解释：
1、本发明实施例中术语“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
2、本申请实施例中术语“多个”是指两个或两个以上，其它量词与之类似。
3、DDPM，去噪扩散概率模型，是一种可执行高质量图像合成的生成模型。
4、RGB，即红(R)、绿(G)、蓝(B)三色空间。
5、HSV，即色调H、饱和度S、值V空间。
6、RTV，相对总变化的简称。
7、ViT，视觉转换器。
8、ViT CAT，具有交叉注意力的并行视觉变换器。
9、CA，Cross-Attention的缩写，交叉关注，也称为交叉注意力。
10、MC，多图片内容。
11、MLP，多层感知器。
12、GELU，高斯误差线性单元。
13、MSA、Multihead Self-Attention的缩写，多头自注意力。
14、Transformer，变压器。
15、SA，Self-Attention的缩写，自我注意处理。
16、AE、算数编码器。
17、AD、算数解码器。
18、DDIM，去噪扩散隐式模型。
19、TS，即时间序列。
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，并不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明的是，本申请实施例的展示顺序仅代表实施例的先后顺序，并不代表实施例所提供的技术方案的优劣。
参见图1，本申请实施例提供的一种灰尘检测方法示意图，如图1所示，该方法包括步骤S101到S103：
S101、采集检测区域的图像，对所述图像进行预处理得到第一图像；
S102、根据所述第一图像进行灰尘浓度密度识别得到第一识别结果；
S103、根据所述第一图像和所述第一识别结果，进行灰尘检测。
优选的，所述预处理包括合成图像，进行增强。
本发明的灰尘检测方法，可以面向施工场所的扬尘机器识别，并提出了灰尘密度识别、灰尘违规排放预测方法，通过扩散模型生成合成图像，对合成图像进行编辑和图像增强，以创建更干净准确的生成结果，然后进行灰尘浓度密度识别，最后通过识别结果以及图像数据对施工场所的灰尘进行检测，对其灰尘排放进行分析，进行灰尘违规排放的预测。例如，在施工现场部署扬尘传感器采集空气中PM2.5或PM10的含量，当含量达到阈值时，向平台发送相关数据。由平台调度该传感器绑定的摄像头转向至传感器设备所在的方位，进行抓图，获取到相关的图像信息作为数据集，来判断扬尘数据是否正常。
需要说明的是，本发明中，更干净准确的生成结果，是指将编辑帧图像的灰尘区域部分粘贴到原始帧的相应区域，没有不符合场景、多余部分以及不合理的地方，不会出现有违和感的地方。
作为一种可选示例，上述S101中，对所述图像进行预处理得到第一图像包括合成图像和进行增强，下面分别进行描述：
1.合成图像。
作为一种可选示例，合成图像如图2所示，包括：
S201、给定条件图像，将所述条件图像进行序列化；
S202、将位置嵌入和令牌嵌入作为时间编码器的输入，在时间上计算同一空间索引中的所有令牌之间的自我关注，得到维度减少的令牌htmp；
S203、将所述维度减少的令牌htmp重塑为空间标记hspt，作为空间解码器的输入；
S204、空间解码器计算相同时间索引中所有标记之间的空间维度的自关注，对每个空间维度进行采样，最终得到空间标记h′spt；
S205、执行上采样和3D卷积运算，以获得调节信号c；
S206、将所述调节信号c输入所述预设的扩散模型合成图像。
下面结合示例对上述步骤S201到S206进行描述。考虑到采集到的数据不足以及有限的数据样本和昂贵的注释成本的问题。如果用于训练过程和测试过程的数据集满足预设的特定要求，则任何分类模型的性能都是有效的。也就是说，数据集的大小越大、越均衡、越具有代表性，则越信任获得的结果。所以在进行检测之前，先进行图像合成来填补数据集不充足的问题。在此引用一种序列感知扩散模型，通过给定一系列条件图像的情况下合成图像。
是张量索引的标量索引序列。/>
L表示为时间长度。本发明采用了一种基于变换器的注意力模块，用于生成扩散模型的调节信号。该关注模块将指导调节图像X的哪些帧将有利于生成缺失的帧。
给定指导调节图像X，在图像上的非重叠线性投影窗口，得到的未衰减令牌h的形状。
将注意力模块因子化为时间编码器和空间解码器，以高计算效率。时间编码器在时间上计算同一空间索引中的所有令牌之间的自我注意。然后，沿着时间维度计算自我注意。空间解码器，时间编码器的输出被重塑为空间标记，并且空间解码器计算相同时间索引中所有标记之间的空间维度的自我注意。然后，对每个空间维度进行采样。最后，将一个块的输出展开，并执行上采样和3D卷积运算，以获得调节信号c。
由于变换器可以屏蔽令牌的特定索引，因此即使在纵向图像中缺少帧时也可以训练和推断。但是对于具有非零位置编码的缺失帧使用零张量比掩蔽缺失帧效果更好。然后通过使用序列感知调节信号来扩展扩散模型。此外，还使用了一种自回归抽样方案，该方案可以有效地捕获推断过程中的长距离时间相关性。
在训练序列感知扩散模型过程中，扩散模型的输入是从未观察到的指数
中随机选择的目标图像和来自先前指数的调节信号。注意力模块和条件扩散模型可以单独预训练，并一起微调。可以通过最小化目标图像和调节信号c之间的损失来预处理关注模块，并且可以使用零值或随机值张量作为调节信号来预处理扩散模型。然后使用自回归采样方案，将缺失的图像与合成图像自回归地进行插补。
通过上述生成对抗网络进行图像生成，例如从建筑工地收集的各种背景图像与模拟粉尘效应相结合，自动生成合成粉尘排放场景。然后，这些合成场景用作训练检测模型的数据样本。将模拟的灰尘效应放入具有随机位置、旋转和缩放参数的背景图像中，自动生成足够的合成灰尘图像用于训练目标检测模型。
2.进行增强。
作为一种可选示例，所述进行增强包括：
将所有生成的视频帧图像对齐并裁剪为感兴趣的区域；
将裁剪的感兴趣的区域的帧编码为潜在特征；
用DDIM正向过程调节图像特征，再利用反向过程生成编辑帧图像，并粘贴到原始帧的相应区域；
将获取的RGB图像转换为HSV空间；
提取亮度分量V并对其进行直方图均衡；
其中，所述直方图均衡根据以下公式进行：
其中，MN是图像中的像素总数，L表示图像的灰度级数量，nk是灰度为rk的像素数量，nj是灰度为rj的像素数量，j是整数，k是小于L的整数，Sk＝T(rk)是第k级灰度的直方图均衡结果。
下面结合示例对上述进行增强进行描述。为了保持时间一致性，利用扩散视频帧自动编码器对上述生成的图像进行编辑，以创建干净准确的结果。首先，所有生成的视频帧图像
对齐并裁剪为感兴趣的区域，N为图像个数。然后使用扩散视频帧自动编码器将裁剪的帧/>
编码为潜在特征(潜在特征是指可由原图像提取得到，并可用于生成或还原原图像的信息)。为了对具有N个视频帧/>
的图像进行编码，潜在特征被编码在高级语义空间/>
中。扩散视频帧自动编码器由两个分离的语义编码器(ID编码器Eid和地标编码器Elnd)和用于扩散建模的条件噪声估计器θ组成。由两个语义编码器编码的特征通过MLP级联，以最终获得相关的特征/>
为了对生成图/>
进行编码，使用噪声估计器θ以/>
为条件运行DDIM的确定性正向过程，以确定性方式运行条件DDIM的生成逆过程，将编码特征/>
重构为原始帧。
为了提取其中具有代表性的灰尘区域图像特征，将每个帧的ID特征平均为：
其中
代表ID特征。相应的，每帧地标特征被计算为/>
以最终获得每帧灰尘区域图像特征/>
之后，用DDIM正向过程调节/>
来计算
此后，通过具有/>
的条件反向过程生成编辑帧图像/>
之后，编辑帧图像的灰尘区域部分被粘贴到原始帧的相应区域，以创建更加干净准确的最终结果。
具体来说，先将获取的RGB图像转换为HSV(色调、饱和度、值)空间；然后提取亮度分量V并对其进行直方图均衡。使用的直方图均衡可以表示为：
其中，MN是图像中的像素总数，L表示图像的灰度级数量，nk是灰度为rk的像素数量。增强图像使得识别度更加准确。
作为一种可选示例，本发明S102中所述根据所述第一图像进行灰尘浓度密度识别得到第一识别结果，如图3所示，包括：
S301、将图像切成多个块，对每个块进行阈值设置；
由于灰尘颜色复杂，直接对整个图像进行阈值分割将导致许多灰尘区域无法识别。因此，首先将图像分成多个块，然后对每个块进行阈值设置。需要说明的是，阈值是预先设定的值，根据需要设定。需要说明的是，网格的数量不是固定的，而是取决于图像大小。作为一种可选示例，每个块至少包含250个像素(50像素×50像素)。
S302、对所述每一个块，采用平滑方法消除图像的细节；
作为一种优选示例，根据以下公式进行平滑处理：
其中，Sp是平滑后图像，Ip是平滑前图像，p是像素索引，Dx(p)和Dy(p)是像素p在x和y方向上的变化，Lx(p)是捕捉整体x方向的总变化，Ly(p)是捕捉整体y方向总变化，ε是一小正数，以避免被零除，λ是控制平滑度权重，S是平滑后所有图像。
从图像中去除纹理的效果是由一个新的正则化器
引入的。λ是控制平滑度的权重，而是避免被零除的小正数。图像中不均匀亮度分布被减弱或消除。该结果可用于颜色分割。通过将原始图像I元素除以平滑图像Is，可以获得间隙增强图像。
S303、将每一个块均转换为HSV颜色空间，并提取亮度分量V，将分量V映射到两个独立的一维波中；
通过使用图像的亮度特征信息，可以实现图像中的灰尘区域识别。在过渡区域可以观察到强度突变，因此可以通过使用投影算法在垂直和水平方向上找到最小强度值。假设B(i,j)是图像中第i行和第j列中像素的亮度值。然后，可以通过使用以下方程将图像映射为两个独立的一维波：
B(i)＝∑iB(i,j)；
B(j)＝∑jB(i,j)；
其中B(i)是第i行像素的累积亮度值，B(j)是图像的第j列像素的累积的亮度值。对于获得的具有增强过渡区域的图像，首先将其转换为HSV颜色空间，并提取其亮度分量V。然后将分量V映射到两个独立的一维波中。
S304、在所述两个独立的一维波中搜索出局部最小值；
如果在理想光滑曲线中B(i)>B(i-1)且B(i)>B(i+1)，则B(i)可以被视为一个峰值；如果B(i)<B(i-1)且B(i)<B(i+1)，则B(i)可被视为谷值。然而，图像中像素点的强度并不完全遵循递减分布。因此，在经纬方向上使用30像素的间距滑块分别搜索局部最小值，并且两个相邻局部最小值之间的距离大于30。搜索出的局部最小值被认为是图像中不同灰尘浓度区域之间的间隙。
S305、对整个图像计算不同灰尘浓度区域的密度。
作为一种可选示例，根据以下公式算不同灰尘浓度区域的密度：
其中，其中D表示以线/英寸为单位的不同灰尘浓度区域的密度，M表示不同浓度区域之间的像素数，N是图像中区域的数量，Sdpi是分辨率。
作为一种可选示例，本发明S103中，所述根据所述第一图像和所述第一识别结果，进行灰尘检测包括如下步骤A1到A6：
A1:生成大小为T×Nc的指示符请求矩阵，其中T表示时间帧的总数，Nc表示不同内容的总数；
将图像数据按照时间帧升序排序，所有图像数据为cl。因此，如果在时间T请求图像数据cl，则生成(T×Nc)指示符请求矩阵，其中T表示时间帧的总数，Nc表示不同内容的总数。
A2:定义基于Nw×Nc窗口的请求矩阵R(w)，其中
表示长度为w的时间窗口的数量，w是两个连续更新时间之间的时间间隔；
定义一个基于(Nw×Nc)窗口的请求矩阵，由R(w)表示，其中
表示长度为w的时间窗口的数量，其中w是两个连续更新时间之间的时间间隔。例如，
表示两次更新时间tu和tu-1之间图像数据cl的请求总数，当图像数据cl在时间t内被请求，则τt,l＝1。
A3:通过长度为L的重叠滑动窗口分割所述请求矩阵R(w)；
为了生成两维(2D)输入样本，通过长度为L的重叠滑动窗口分割基于窗口的请求矩阵R(w)。因此，准备由
表示的修改图像数据，其中M是输入图像的总数。Xu∈RL×Nc是2D输入样本，表示在更新长度为L的时间tu之前所有图像数据的请求模式。最后，术语yu∈Rl×Nc表示相应的标签，其中/>
B表示存储容量。yu(l)表示图像数据cl在tu+1时排放量可能超标，否则将为零。
A4:给定图像数据的请求模式Xu作为ViT CAT架构的输入，获得的多尺度特征，结合请求内容的概率和请求模式的偏差将所述图像数据标记为超标和非超标；
给定图像数据的请求模式Xu作为ViT CAT架构的输入，结合以下标准将此时的图像数据标记为超标和非超标：
i)请求内容的概率：请求图像数据cl的概率
更新时间tu:
ii)请求模式的偏差：图像数据cl的请求模式的偏差，1≤l≤Nc)表示为ζl，其中负偏差表示图像数据cl随时间的上升请求模式。
A5:构建检测模型；
作为一种可选示例，检测模型如图4所示：
所述检测模型由补丁层(即图4中的Patching层)和变压器编码器(即图4中的Transformer Encoder)组成；
所述检补丁层由第一视觉变换器ViT网络(即图4中基于时间的patch)和第二ViT网络(即图4中的基于内容和时间的patch)组成；
所述变压器编码器由多头注意力模块(即图4中的MSA模块)和多层感知器模块(即图4中的MLP模块)组成；
所述第一ViT网络和第二ViT网络并行第一ViT网络和第二ViT网络与所述多头注意力模块连接，所述多头注意力模块与所述多层感知器模块链接；
所述第一ViT网络用于收集时间相关性，所述第二ViT网络用于捕获不同图片内容之间的相关性。
其中，所述第一ViT网络和第二ViT网络均为补丁网络；
所述第一ViT网络为基于时间的补丁网络，所述第二ViT网络为基于内容和时间的补丁网络。
基于时间的补丁网络为了捕获内容的时间相关性，对TS路径使用基于时间的补丁，其中每个补丁的大小为S＝L×1。基于时间的补丁分别关注请求对于长度为L的时间序列，每个内容的模式，其中补丁的总数为N＝(L×Nc)/(L×1)＝Nc，这是内容的总数。
基于内容和时间的补丁网络在MC路径中，主要目标是在短时间范围Ts内捕获所有Nc内容之间的依赖关系，因此，将每个补丁的大小设置为S＝Ts×Nc，其中补丁数为N＝(L×Nc)/(Ts×Nc)＝L/Ts，其中Ts＜＜L。
下面分别对补丁网络，MSA模块和MLP模块进行描述。
1.补丁网络
一般来说，ViT网络中Transformer编码器的输入是一个嵌入的patch序列，由patch embedding和positional embedding组成。在这方面，二维输入样本Xu被分成N个不重叠的块，用
表示。对TS路径和MC路径应用了以下两种修补方法：
i)基于时间的patch：为了捕获内容的时间相关性，对TS路径使用基于时间的补丁，其中每个补丁的大小为S＝L×1。更准确地说，基于时间的补丁分别关注请求对于长度为L的时间序列，每个内容的模式，其中补丁的总数为N＝(L×Nc)/(L×1)＝Nc，这是内容的总数。
ii)基于内容和时间的patch：在MC路径中，主要目标是在短时间范围Ts内捕获所有Nc内容之间的依赖关系，因此，我们将每个补丁的大小设置为S＝Ts×Nc，其中补丁数为N＝(L×Nc)/(Ts×Nc)＝L/Ts，其中Ts＜＜L。
每个补丁(patch)被展平为向量
其中(1≤j≤N)，称为patch嵌入，用一个线性投影E∈RS×d将向量/>
嵌入到模型的维数d中，然后在嵌入的patch的开始处添加一个可学习的嵌入令牌xcls。最后，为了对输入序列的顺序进行编码，在patchembedding后面加上位置嵌入Epos∈R(N+1)×d，其中patch和位置嵌入的最终输出用Z0表示，由下式给出：
2.MLP模块
多层感知器(MLP)模块由两个线性层(LL)组成，具有高斯误差线性单元(GELU)激活函数，与多头自注意力(MSA)块构成了Transformer编码器，其中总层数用NL表示。
3.MSA模块
Multihead Self-Attention(多头自注意；MSA)模块的主要目标是注意来自多个点的各种表示子空间的输入样本。更准确地说，MSA模块由具有不同可训练权重矩阵
的h个头组成，并行执行h次。最后，将h个头的输出连接成一个矩阵并乘以
其中dh设置为d/h。因此，MSA模块的输出为：
MSA(Z)＝[SA1(Z)；SA2(Z)；...；SAh(Z)]WMSA (4)
其中，
Softmax表示缩放相似性转换概率；
给定向量序列Z0作为Transformer编码器的输入，对于(1≤L≤NL)，层L的MSA和MLP模块的输出表示为：
Z′L＝MSA(LayerNorm(Zl-1))+Zl-1 (6)
ZL＝MLP(LayerNorm(Z′L))+Z′L (7)
通过层归一化解决退化问题。最后，用
表示的Transformer的输出由下式给出：
其中提供给LL模块的
用于分类任务，如下所示：
A6：根据构建的检测模型进行灰尘检测。
作为一种优选示例，本发明如图1提供的灰尘检测方法，还可以包括：
S104：采用可缩放掩蔽自动编码器对灰尘排放是否违规进行预测。
其中，所述可缩放掩蔽自动编码器包括：
令牌化器、自适应令牌采样器、编码器和解码器。
作为一种可选示例，令牌化器包括：
所述令牌化器对给定大小为T×C×H×W的输入图像v，标记为N个维度d的标记X；
其中T表示时间数量，C表示输入RGB通道，H×W表示空间分辨率，H表示高度，W表示宽度，N为维度数量，d表示维度。
即给定大小为T×C×H×W的输入图像v，其中T表示时间数量，C表示输入(RGB)通道，H×W表示空间分辨率，首先将其通过令牌化器将v标记为N个维度d的标记，表示为X。
作为一种可选示例，所述编码器包括：
分析变换器、量化器。
本发明的编码器中，通过编码传递采样的可见令牌Xv来生成潜在表示Fv。然后给定一个随机变量图像V的样本观测值，伴随着生成模型p(v|y)，寻求后验分布p(y|v)。后验分布一般不能用封闭形式表示。因此，可以使用q(y|v)的变分密度来表示它。然后，可以将表示后验参数化为
将生成模型分布参数化为pθ(v|y；θ)，并连续地寻求最小化KL散度。其中y为潜在表示/>
θ为参数。通过将输入图像v馈送到编码器来生成特征表示s，并分析变换gs，使用s和Resize(V)的信道级联作为输入生成基本潜在表示y1，其中为调整(Resize)选择了空间双三次插值滤波器。分析变换gv，仅使用v作为输入来生成增强潜在表示y2。接下来，y1和y2被量化(Q)并被馈送到编码器(AE)，其分别产生基本比特流和增强比特流。其中基础潜在表示y1被指定为捕获v和s之间的公共信息，而增强潜在表示y2捕获仅与v相关的信息。
作为一种可选示例，解码器包括：
合成变换器。
在解码器中，在解码器侧，相应的比特流随后被馈送到解码器(AD)，以便重建基本和增强潜在表示
和/>
使用/>
合成变换/>
重建特征表示/>
最后生成推断结果，从而对粉尘排放进行分析。使用/>
和/>
的信道级联，合成变换/>
重建输入/>
然后通过可见令牌表示Fv与掩码令牌的固定可学习表示形式连接。接下来，为这两种表示添加位置信息，而不是将它们重新排列回原始顺序。最后，通过一个轻量级的变换器解码器来获得预测值/>
对其进行分析，从而对粉尘排放进行分析。
作为一种可选示例，自适应令牌采样器包括：
所述自适应令牌采样器包括多头部注意力MHA网络，线性层和归一化指数函数Softmax激活层；
所述自适应令牌采样器表示为：
Z＝MHA(X)；
P＝Softmax(Linear(Z))；
其中，X为令牌化器产生的令牌，MHA表示MHA网络，Linear表示线性变换，Softmax表示归一化指数函数激活。
给定令牌化器产生的令牌X，将其通过一个轻量级的多头部注意力(MHA)网络，然后是线性层和Softmax激活，以获得所有令牌的概率分数P∈RN；然后，进行N维分类分布P(p～Categorical(N,P))，并绘制一组可见令牌索引Iv(掩码令牌索引的集合由Im＝U-Iv给出，其中U＝{1,2,3,…,N}是所有索引的集合，即Im是Iv的集合补码)。基于预定义的掩蔽比ρ∈(0,1)计算采样可见令牌的数量Nv且等于N×(1-ρ)。
本发明实施例中，可缩放掩蔽自动编码器包括令牌化器、自适应令牌采样器、编码器和解码器。掩蔽重建损失
利用掩蔽令牌的预测和补丁归一化真实RGB值之间的均方误差(MSE)损失来优化可缩放掩蔽自动编码器(由/>
参数化)，如下所示：/>
其中，
表示预测令牌，/>
表示局部补丁归一化真实RGB值。
自适应采样损失
使用采样损失/>
优化自适应令牌采样网络(由θ参数化)，这使得能够独立可缩放掩蔽自动编码器(由/>
参数化)进行梯度更新。/>
的公式是由RL中的REAR算法驱动的，其中将可视令牌采样过程视为一个动作，将可缩放掩蔽自动编码器视为一种环境，将掩蔽的重建损失/>
视为回报。遵循REAR算法中的期望回报最大化，提出通过最大化期望重建误差/>
来优化采样网络。
当给定具有高活动信息和/或低活动信息区域的视频，可以观察到前景周围的高重建误差。由于目标是从高活动区域中采样更多可见令牌，而从背景中采样更少令牌，因此通过最大化掩码令牌上的预期重建误差来优化采样网络。当利用上述规则进行优化时，自适应令牌采样网络预测来自高活动区域的令牌与来自背景的令牌相比的高概率分数，可缩放掩蔽自动编码器的这种自适应令牌采样方法与压缩感知中的非均匀采样密切一致，其中更多的样本被分配给高活性区域，而更少的样本分配给低活性区域。由于采样基于时空信息的级别分配样本，因此与随机采样相比，需要更少的令牌来实现相同的重建误差。这也使得可缩放掩蔽自动编码器能够使用更高的掩蔽率，这进一步减少了计算负担，从而加速了预训练过程。
优化自适应令牌采样网络的目标函数可以表示为：
其中
是从由θ参数化的自适应令牌采样网络推断出的索引i处的掩码令牌的概率，/>
是第i个掩码令牌的重建误差。/>
是由参数/>
的可缩放掩蔽自动编码器引起的重建误差。此外，防止/>
的梯度更新通过可缩放掩蔽自动编码器传播。此外，采用概率的对数来避免小概率值引起的精度误差。
使用本发明的灰尘检测方法，通过扩散模型生成合成图像，对生成结果进行编辑和图像增强，以创建干净准确的生成结果，然后进行灰尘浓度密度识别，将不同浓度区域的灰尘进行识别，为后续做准备，提高检测准确度，然后通过识别结果以及图像数据对施工场所的灰尘进行检测，最后通过灰尘检测进一步对灰尘排放进行分析，最后对灰尘排放是否违规进行预测。
基于同一个发明构思，本发明实施例还提供了一种灰尘检测装置，如图5所示，该装置包括：
采集模块401，被配置用于采集检测区域的图像，对所述图像进行预处理得到第一图像；
浓度密度识别模块402，被配置用于根据所述第一图像进行灰尘浓度密度识别得到第一识别结果；
检测模块403，被配置用于根据所述第一图像和所述第一识别结果，进行灰尘检测。
作为一种优选示例，采集模块401还被配置用于对所述图像进行预处理得到第一图像，包括：
合成图像，进行增强。
所述合成图像包括：
给定条件图像，将所述条件图像进行序列化；
将位置嵌入和令牌嵌入作为时间编码器的输入，在时间上计算同一空间索引中的所有令牌之间的自我关注，得到维度减少的令牌htmp；
将所述维度减少的令牌htmp重塑为空间标记hspt，作为空间解码器的输入；
空间解码器计算相同时间索引中所有标记之间的空间维度的自关注，对每个空间维度进行采样，最终得到h′spt；
执行上采样和3D卷积运算，以获得调节信号c；
将所述调节信号c输入所述预设的扩散模型合成图像。
所述进行增强包括：
将所有生成的视频帧图像对齐并裁剪为感兴趣的区域；
将裁剪的感兴趣的区域的帧编码为潜在特征；
用DDIM正向过程调节图像特征，再利用反向过程生成编辑帧图像，并粘贴到原始帧的相应区域；
将获取的RGB图像转换为HSV空间；
提取亮度分量V并对其进行直方图均衡；
其中，所述直方图均衡根据以下公式进行：
其中，MN是图像中的像素总数，L表示图像的灰度级数量，nk是灰度为rk的像素数量，nj是灰度为rj的像素数量，j是整数，k是小于L的整数。
作为一种可选示例，浓度密度识别模块402还被配置用于根据所述第一图像进行灰尘浓度密度识别得到第一识别结果，包括：
将图像切成多个块，对每个块进行阈值设置；
对所述每一个块，采用平滑方法消除图像的细节；
将每一个块均转换为HSV颜色空间，并提取亮度分量V，将分量V映射到两个独立的一维波中；
在所述两个独立的一维波中搜索出局部最小值；
对整个图像计算不同灰尘浓度区域的密度。
所述平滑方法来消除图像的细节包括：
根据以下公式进行平滑处理：
其中，Sp是平滑后图像，Ip是平滑前图像，p是像素索引，Dx(p)和Dy(p)是像素p在x和y方向上的变化，Lx(p)是捕捉整体x方向的总变化，Ly(p)是捕捉整体y方向总变化，ε是是一小正数，以避免被零除，λ是控制平滑度权重，S是平滑后所有图像。
所述计算不同灰尘浓度区域的密度包括：
根据以下公式算不同灰尘浓度区域的密度：
其中，其中D表示以线/英寸为单位的不同灰尘浓度区域的密度，M表示不同浓度区域之间的像素数，N是图像中区域的数量，Sdpi是分辨率。
作为一种可选示例，检测模块403还被配置用于根据所述第一图像和所述第一识别结果，进行灰尘检测，包括：
生成大小为T×Nc的指示符请求矩阵，其中T表示时间帧的总数，Nc表示不同内容的总数；
定义基于Nw×Nc窗口的请求矩阵R(w)，其中
表示长度为w的时间窗口的数量，w是两个连续更新时间之间的时间间隔；
通过长度为L的重叠滑动窗口分割所述请求矩阵R(w)；
给定图像数据的请求模式Xu作为ViT CAT架构的输入，获得的多尺度特征，结合请求内容的概率和请求模式的偏差将所述图像数据标记为超标和非超标；
构建检测模型；
根据构建的检测模型进行灰尘检测。
所述构建检测模型包括：
所述检测模型由补丁层和变压器编码器组成；
所述检补丁层由第一视觉变换器ViT网络和第二ViT网络组成；
所述变压器编码器由多头注意力模块和多层感知器模块组成；
所述第一ViT网络和第二ViT网络并行第一ViT网络和第二ViT网络与多头注意力模块连接，所述多头注意力模块与所述多层感知器模块链接；
所述第一ViT网络用于收集时间相关性，所述第二ViT网络用于捕获不同图片内容之间的相关性。
所述第一ViT网络和第二ViT网络均包括：
所述第一ViT网络和第二ViT网络均为补丁网络；
所述第一ViT网络为基于时间的补丁网络，所述第二ViT网络为基于内容和时间的补丁网络。
作为一种可选示例，本发明提供的灰尘检测装置还包括分析模块404，被配置用于采用可缩放掩蔽自动编码器对灰尘排放是否违规进行预测。
所述可缩放掩蔽自动编码器包括：
令牌化器、自适应令牌采样器、编码器和解码器。
所述令牌化器包括：
所述令牌化器对给定大小为T×C×H×W的输入图像v，标记为N个维度d的标记X；
其中T表示时间数量，C表示输入RGB通道，H×W表示空间分辨率，H表示高度，W表示宽度，N为维度数量，d表示维度。
所述编码器包括：
分析变换器、量化器。
所述解码器包括：
合成变换器。
所述自适应令牌采样器包括：
所述自适应令牌采样器包括多头部注意力MHA网络，线性层和归一化指数函数Softmax激活层；
所述自适应令牌采样器表示为：
Z＝MHA(X)；
P＝Softmax(Linear(Z))；
其中，X为令牌化器产生的令牌，MHA表示MHA网络，Linear表示线性变换，Softmax表示归一化指数函数激活。
需要说明的是，本实施例提供的采集模块401，能实现上述方法实施例步骤S101包含的全部功能，解决相同技术问题，达到相同技术效果，在此不再赘述；
需要说明的是，本实施例提供的浓度密度识别模块402，能实现上述方法实施例中步骤S102包含的全部功能，解决相同技术问题，达到相同技术效果，在此不再赘述；
需要说明的是，本实施例提供的检测模块403，能实现上述方法实施例中步骤S103包含的全部功能，解决相同技术问题，达到相同技术效果，在此不再赘述；
需要说明的是，本实施例提供的分析模块404，能实现上述方法实施例中步骤S104包含的全部功能，解决相同技术问题，达到相同技术效果，在此不再赘述；
需要说明的是，本发明的装置与方法属于同一个发明构思，解决相同的技术问题，达到相同的技术效果，装置实施例能实现方法实施例的所有方法，相同之处不再赘述。
基于同一个发明构思，本发明实施例还提供了一种灰尘检测装置，如图6所示，该装置包括：
包括存储器502、处理器501和用户接口503；
所述存储器502，用于存储计算机程序；
所述用户接口503，用于与用户实现交互；
所述处理器501，用于读取所述存储器502中的计算机程序，所述处理器501执行所述计算机程序时，实现：
采集检测区域的图像，对所述图像进行预处理得到第一图像；
根据所述第一图像进行灰尘浓度密度识别得到第一识别结果；
根据所述第一图像和所述第一识别结果，进行灰尘检测。
其中，在图6中，总线架构可以包括任意数量的互联的总线和桥，具体由处理器501代表的一个或多个处理器和存储器502代表的存储器的各种电路链接在一起。总线架构还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口提供接口。处理器501负责管理总线架构和通常的处理，存储器502可以存储处理器501在执行操作时所使用的数据。
处理器501可以是CPU、ASIC、FPGA或CPLD，处理器501也可以采用多核架构。
处理器501执行存储器502存储的计算机程序时，实现实施例一中的任一灰尘检测方法。
需要说明的是，实施例三提供的装置与实施例一提供的方法属于同一个发明构思，解决相同的技术问题，达到相同的技术效果，实施例三提供的装置能实现实施例一的所有方法，相同之处不再赘述。
本申请还提出一种处理器可读存储介质。其中，该处理器可读存储介质存储有计算机程序，所述处理器执行所述计算机程序时实现实施例一中的任一灰尘检测方法。
需要说明的是，本申请实施例中对单元的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。
Claims (10)
1.一种灰尘检测方法，其特征在于，包括：
采集检测区域的图像，对所述图像进行预处理得到第一图像；
根据所述第一图像进行灰尘浓度密度识别得到第一识别结果；
根据所述第一图像和所述第一识别结果，进行灰尘检测；
所述对所述图像进行预处理得到第一图像包括：
合成图像，进行增强。
2.根据权利要求1所述的方法，其特征在于，所述合成图像包括：
给定条件图像，将所述条件图像进行序列化；
将位置嵌入和令牌嵌入作为时间编码器的输入，在时间上计算同一空间索引中的所有令牌之间的自我关注，得到维度减少的令牌htmp；
将所述维度减少的令牌htmp重塑为空间标记hspt，作为空间解码器的输入；
空间解码器计算相同时间索引中所有标记之间的空间维度的自关注，对每个空间维度进行采样，最终得到空间标记h′spt；
执行上采样和3D卷积运算，以获得调节信号c；
将所述调节信号c输入所述预设的扩散模型合成图像。
3.根据权利要求1所述的方法，其特征在于，所述进行增强包括：
将所有生成的视频帧图像对齐并裁剪为感兴趣的区域；
将裁剪的感兴趣的区域的帧编码为潜在特征；
用去噪扩散隐式模型DDIM正向过程调节图像特征，再利用反向过程生成编辑帧图像，并粘贴到原始帧的相应区域；
将获取的RGB图像转换为HSV空间；
提取亮度分量V并对其进行直方图均衡；
其中，所述直方图均衡根据以下公式进行：
其中，MN是图像中的像素总数，L表示图像的灰度级数量，nk是灰度为rk的像素数量，nj是灰度为rj的像素数量，j是整数，k是小于L的整数，Sk＝T(rk)是第k级灰度的直方图均衡结果。
4.根据权利要求1所述的方法，其特征在于，所述根据所述第一图像进行灰尘浓度密度识别得到第一识别结果包括：
将图像切成多个块，对每个块进行阈值设置；
对所述每一个块，采用平滑方法消除图像的细节；
将每一个块均转换为HSV颜色空间，并提取亮度分量V，将分量V映射到两个独立的一维波中；
在所述两个独立的一维波中搜索出局部最小值；
对整个图像计算不同灰尘浓度区域的密度。
5.根据权利要求1所述的方法，其特征在于，所述根据所述第一图像和所述第一识别结果，进行灰尘检测包括：
生成大小为T×Nc的指示符请求矩阵，其中T表示时间帧的总数，Nc表示不同内容的总数；
定义基于Nw×Nc窗口的请求矩阵R(w)，其中
表示长度为w的时间窗口的数量，w是两个连续更新时间之间的时间间隔；
通过重叠滑动窗口分割所述请求矩阵R(w)；
给定图像数据的请求模式Xu作为ViT CAT架构的输入，获得的多尺度特征，结合请求内容的概率和请求模式的偏差将所述图像数据标记为超标和非超标；
构建检测模型；
根据构建的检测模型进行灰尘检测。
6.根据权利要求5所述的方法，其特征在于，所述构建检测模型包括：
所述检测模型由补丁层和变压器编码器组成；
所述检补丁层由第一视觉变换器ViT网络和第二ViT网络组成；
所述变压器编码器由多头注意力模块和多层感知器模块组成；
所述第一ViT网络和第二ViT网络并行第一ViT网络和第二ViT网络与多头注意力模块连接，所述多头注意力模块与所述多层感知器模块链接；
所述第一ViT网络用于收集时间相关性，所述第二ViT网络用于捕获不同图片内容之间的相关性。
7.根据权利要求1所述的方法，其特征在于，还包括：
采用可缩放掩蔽自动编码器对灰尘排放是否违规进行预测；
所述可缩放掩蔽自动编码器包括：
令牌化器、自适应令牌采样器、编码器和解码器。
8.一种灰尘检测装置，其特征在于，包括：
采集模块，被配置用于采集检测区域的图像，对所述图像进行预处理得到第一图像；
浓度密度识别模块，被配置用于根据所述第一图像进行灰尘浓度密度识别得到第一识别结果；
检测模块，被配置用于根据所述第一图像和所述第一识别结果，进行灰尘检测。
9.一种灰尘检测装置，其特征在于，包括存储器、处理器和用户接口；
所述存储器，用于存储计算机程序；
所述用户接口，用于与用户实现交互；
所述处理器，用于读取所述存储器中的计算机程序，所述处理器执行所述计算机程序时，实现如权利要求1到7之一所述的灰尘检测方法。
10.一种处理器可读存储介质，其特征在于，所述处理器可读存储介质存储有计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至7之一所述的灰尘检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310251021.XA CN116309437A (zh) | 2023-03-15 | 2023-03-15 | 一种灰尘检测方法、装置及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310251021.XA CN116309437A (zh) | 2023-03-15 | 2023-03-15 | 一种灰尘检测方法、装置及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116309437A true CN116309437A (zh) | 2023-06-23 |
Family
ID=86820046
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310251021.XA Pending CN116309437A (zh) | 2023-03-15 | 2023-03-15 | 一种灰尘检测方法、装置及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116309437A (zh) |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105206025A (zh) * | 2015-09-30 | 2015-12-30 | 立德高科（昆山）数码科技有限责任公司 | 基于二维码以发送粉尘排放浓度信息的系统与方法 |
| CN107389516A (zh) * | 2017-07-17 | 2017-11-24 | 陈剑桃 | 一种高效的工厂车间粉尘监测系统 |
| CN108572127A (zh) * | 2018-04-17 | 2018-09-25 | 韩明 | 跨栏现场雾霾浓度逐级分析平台 |
| JP2019090805A (ja) * | 2017-11-13 | 2019-06-13 | 富士通株式会社 | 環境センサの検出データの処理装置、処理方法、コンピュータ読み取り可能な記憶媒体、及び環境センサシステム |
| CN112818886A (zh) * | 2021-02-09 | 2021-05-18 | 广州富港万嘉智能科技有限公司 | 飘尘检测方法、可读存储介质、飘尘检测机及智能食品机 |
| US20210166373A1 (en) * | 2019-12-03 | 2021-06-03 | Purdue Research Foundation | Method and apparatus for sensing suspended dust concentration |
| US20210375235A1 (en) * | 2020-05-26 | 2021-12-02 | Beijing Xiaomi Mobile Software Co., Ltd. | Image processing method and device, electronic device, and storage medium |
| CN113822320A (zh) * | 2021-07-12 | 2021-12-21 | 腾讯科技（深圳）有限公司 | 生成模型训练方法和装置、样本生成方法和计算设备 |
| CN114511991A (zh) * | 2022-02-16 | 2022-05-17 | 国能包头能源有限责任公司 | 矿井粉尘智能分析处理系统及方法 |
| CN115049662A (zh) * | 2022-08-16 | 2022-09-13 | 山东大拇指喷雾设备有限公司 | 基于图像处理的喷雾机流量控制方法 |
| CN115409733A (zh) * | 2022-09-02 | 2022-11-29 | 山东财经大学 | 一种基于图像增强和扩散模型的低剂量ct图像降噪方法 |
-
2023
- 2023-03-15 CN CN202310251021.XA patent/CN116309437A/zh active Pending
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105206025A (zh) * | 2015-09-30 | 2015-12-30 | 立德高科（昆山）数码科技有限责任公司 | 基于二维码以发送粉尘排放浓度信息的系统与方法 |
| CN107389516A (zh) * | 2017-07-17 | 2017-11-24 | 陈剑桃 | 一种高效的工厂车间粉尘监测系统 |
| JP2019090805A (ja) * | 2017-11-13 | 2019-06-13 | 富士通株式会社 | 環境センサの検出データの処理装置、処理方法、コンピュータ読み取り可能な記憶媒体、及び環境センサシステム |
| CN108572127A (zh) * | 2018-04-17 | 2018-09-25 | 韩明 | 跨栏现场雾霾浓度逐级分析平台 |
| US20210166373A1 (en) * | 2019-12-03 | 2021-06-03 | Purdue Research Foundation | Method and apparatus for sensing suspended dust concentration |
| US20210375235A1 (en) * | 2020-05-26 | 2021-12-02 | Beijing Xiaomi Mobile Software Co., Ltd. | Image processing method and device, electronic device, and storage medium |
| CN112818886A (zh) * | 2021-02-09 | 2021-05-18 | 广州富港万嘉智能科技有限公司 | 飘尘检测方法、可读存储介质、飘尘检测机及智能食品机 |
| CN113822320A (zh) * | 2021-07-12 | 2021-12-21 | 腾讯科技（深圳）有限公司 | 生成模型训练方法和装置、样本生成方法和计算设备 |
| CN114511991A (zh) * | 2022-02-16 | 2022-05-17 | 国能包头能源有限责任公司 | 矿井粉尘智能分析处理系统及方法 |
| CN115049662A (zh) * | 2022-08-16 | 2022-09-13 | 山东大拇指喷雾设备有限公司 | 基于图像处理的喷雾机流量控制方法 |
| CN115409733A (zh) * | 2022-09-02 | 2022-11-29 | 山东财经大学 | 一种基于图像增强和扩散模型的低剂量ct图像降噪方法 |
Non-Patent Citations (1)
| Title |
|---|
| ZOHREH HAJIAKHONDI-MEYBODI ET AL: "VIT-CAT: PARALLEL VISION TRANSFORMERS WITH CROSS ATTENTION FUSION FOR POPULARITY PREDICTION IN MEC NETWORKS", 《ARXIV》, pages 1 - 5 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhu et al. | A novel fast single image dehazing algorithm based on artificial multiexposure image fusion | |
| Meher et al. | A survey on region based image fusion methods | |
| CN108805015B (zh) | 加权卷积自编码长短期记忆网络人群异常检测方法 | |
| CN111612754B (zh) | 基于多模态图像融合的mri肿瘤优化分割方法及系统 | |
| CN111260055B (zh) | 基于三维图像识别的模型训练方法、存储介质和设备 | |
| CN112837344B (zh) | 一种基于条件对抗生成孪生网络的目标跟踪方法 | |
| CN115953582B (zh) | 一种图像语义分割方法及系统 | |
| CN110852199A (zh) | 一种基于双帧编码解码模型的前景提取方法 | |
| KR101981284B1 (ko) | 이미지 처리 장치 및 방법 | |
| Fu et al. | Multi-feature-based bilinear CNN for single image dehazing | |
| CN116205962A (zh) | 基于完整上下文信息的单目深度估计方法及系统 | |
| Wang et al. | Single underwater image enhancement using an analysis-synthesis network | |
| CN109064444B (zh) | 基于显著性分析的轨道板病害检测方法 | |
| Al Sobbahi et al. | Low-light image enhancement using image-to-frequency filter learning | |
| CN117456078A (zh) | 基于多种采样策略的神经辐射场渲染方法、系统和设备 | |
| CN117611830A (zh) | 一种基于少样本标注的任意类别目标定位与计数方法 | |
| CN117079117A (zh) | 水下图像处理及目标识别的方法及装置、存储介质及电子设备 | |
| CN116994206A (zh) | 基于多元数据融合的室内人员计数方法及系统 | |
| CN116863293A (zh) | 一种基于改进YOLOv7算法的可见光下海上目标检测方法 | |
| CN116452472A (zh) | 基于语义知识引导的低照度图像增强方法 | |
| Zhang et al. | A framework for the efficient enhancement of non-uniform illumination underwater image using convolution neural network | |
| Zhang | Image enhancement method based on deep learning | |
| CN111127355A (zh) | 一种对缺损光流图进行精细补全的方法及其应用 | |
| CN116309437A (zh) | 一种灰尘检测方法、装置及存储介质 | |
| Kumar et al. | Underwater Image Enhancement using deep learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |