CN116258715A - 一种粉尘回收方法、装置及电子设备 - Google Patents

一种粉尘回收方法、装置及电子设备 Download PDF

Info

Publication number
CN116258715A
CN116258715A CN202310537480.4A CN202310537480A CN116258715A CN 116258715 A CN116258715 A CN 116258715A CN 202310537480 A CN202310537480 A CN 202310537480A CN 116258715 A CN116258715 A CN 116258715A
Authority
CN
China
Prior art keywords
dust
feature map
image
convolution
recovery
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310537480.4A
Other languages
English (en)
Other versions
CN116258715B (zh
Inventor
罗远哲
刘瑞景
刘志明
李连庚
韩松松
王传程
王军亮
靳晓栋
李虎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing China Super Industry Information Security Technology Ltd By Share Ltd
Original Assignee
Beijing China Super Industry Information Security Technology Ltd By Share Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing China Super Industry Information Security Technology Ltd By Share Ltd filed Critical Beijing China Super Industry Information Security Technology Ltd By Share Ltd
Priority to CN202310537480.4A priority Critical patent/CN116258715B/zh
Publication of CN116258715A publication Critical patent/CN116258715A/zh
Application granted granted Critical
Publication of CN116258715B publication Critical patent/CN116258715B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明公开一种粉尘回收方法、装置及电子设备,涉及人工智能技术领域。本发明在获取待回收区域的粉尘图像后,通过采用粉尘回收模型能够充分提取粉尘图像中粉尘的粒度特征,从而准确且实时地识别出粉尘区域,并且在识别出粉尘区域后,生成粉尘回收指令,基于粉尘回收指令对待回收区域的粉尘进行回收,能够实现无人化的自动粉尘回收,以显著提升粉尘的回收效率和精确性。

Description

一种粉尘回收方法、装置及电子设备
技术领域
本发明涉及人工智能技术领域,特别是涉及一种粉尘回收方法、装置及电子设备。
背景技术
近年来,随着经济的快速发展,环保问题日益严峻,尤其是钢铁、水泥、火电、有色金属等行业的粉尘污染问题成了环境保护中亟需解决的难题之一。研究高效可靠的粉尘回收技术具有重要意义,既能减少环境污染,又能重复利用粉尘中的有效成分,降低生产成本。然而现有的粉尘回收方法高度依赖人工操作,不仅会危害操作人员的身体健康,且存在回收效率低下、操作复杂等缺点。
发明内容
为解决现有技术存在的上述问题,本发明提供了一种粉尘回收方法、装置及电子设备。
为实现上述目的,本发明提供了如下方案:
一种粉尘回收方法,包括:
获取待回收区域的粉尘图像;
将所述粉尘图像输入至粉尘回收模型中输出二值图;所述粉尘回收模型包括:卷积操作结构、第一粒度增强结构、第二粒度增强结构和图像分割转化结构;所述卷积操作结构对输入的粉尘图像进行逐层卷积操作得到第一特征图;所述第一粒度增强结构对所述第一特征图进行处理得到第二特征图;所述第二粒度增强结构对所述第二特征图进行处理得到第三特征图;所述图像分割转化结构对所述第三特征图进行图像分割和二值转化得到二值图;
判断所述二值图中是否存在值为1的区域,得到判断结果;
当所述判断结果为所述二值图中存在值为1的区域时,生成粉尘回收指令,并基于所述粉尘回收指令对待回收区域的粉尘进行回收;
当所述判断结果为所述二值图中不存在值为1的区域时,获取下一待回收区域的粉尘图像,并返回执行将所述粉尘图像输入至粉尘回收模型中输出二值图的步骤。
可选地,所述卷积操作结构包括依次级联的第一卷积结构、第二卷积结构和第三卷积结构;所述第一卷积结构、第二卷积结构和第三卷积结构均包括三个连续的卷积层。
可选地,三个连续的卷积层中,第一个卷积层的核大小为3
Figure SMS_1
3,第一个卷积层的步长为2;第二个卷积层和第三个卷积层的核大小均为3/>
Figure SMS_2
3,第二个卷积层和第三个卷积层的步长均为1;三个连续的卷积层的卷积核的个数均为32。
可选地,所述卷积操作结构对输入的粉尘图像进行逐层卷积操作得到第一特征图,具体包括:
将所述粉尘图像输入到第一卷积结构中得到特征图J_1;
将所述特征图J_1输入到第二卷积结构中得到特征图J_2;
将所述特征图J_2输入到第三卷积结构中得到特征图J_3;将所述特征图J_3作为所述第一特征图。
可选地,所述第一粒度增强结构对所述第一特征图进行处理得到第二特征图,具体包括:
对所述第一特征图进行全局平均池化操作得到特征图T_3;
对所述特征图T_3进行上采样操作得到特征图K_3;
对所述特征图J_2和所述特征图T_3进行矩阵相乘得到特征图J_2_1;
将所述特征图K_3与所述特征图J_2_1进行均和操作得到特征图J_2_2;将所述特征图J_2_2作为所述第二特征图。
可选地,所述第二粒度增强结构对所述第二特征图进行处理得到第三特征图,具体包括:
基于所述特征图J_1和所述第二特征图,采用所述第二个粒度增强结构生成特征图J_1_2;将所述特征图J_1_2作为所述第三特征图。
可选地,所述图像分割转化结构用于对所述第三特征图进行图像分割和二值转化得到二值图,具体包括:
对所述第三特征图进行卷积核为1
Figure SMS_3
1、卷积核个数为1的卷积操作得到分割图像;
将所述分割图像中像素值大于设定阈值的像素点值设为1,将所述分割图像中像素值小于等于设定阈值的像素点值设为0得到所述二值图。
根据本发明提供的具体实施例,本发明公开了以下技术效果:
本发明提供的粉尘回收方法,在获取待回收区域的粉尘图像后,通过采用粉尘回收模型能够充分提取粉尘图中粉尘的粒度特征,从而准确且实时地识别出粉尘区域,并且在识别出粉尘区域后,生成粉尘回收指令,基于粉尘回收指令对待回收区域的粉尘进行回收,能够实现无人化的自动粉尘回收,以显著提升粉尘的回收效率和精确性。
此外,本发明还提供了以下实施结构:
一种粉尘回收装置,应用于上述提供的粉尘回收方法;所述装置包括:
图像采集模块,搭载在机器人上,用于采集待回收区域的粉尘图像;
粉尘识别模块,与所述图像采集模块连接,用于将所述粉尘图像输入至粉尘回收模型中输出二值图;所述粉尘回收模型包括:卷积操作结构、第一粒度增强结构、第二粒度增强结构和图像分割转化结构;所述卷积操作结构对输入的粉尘图像进行逐层卷积操作得到第一特征图;所述第一粒度增强结构对所述第一特征图进行处理得到第二特征图;所述第二粒度增强结构对所述第二特征图进行处理得到第三特征图;所述图像分割转化结构对所述第三特征图进行图像分割和二值转化得到二值图;
回收判定模块,与所述粉尘识别模块连接,用于判断所述二值图中是否存在值为1的区域,得到判断结果;
回收控制模块,与所述回收判定模块连接,用于当所述判断结果为所述二值图中存在值为1的区域时,生成粉尘回收指令,并基于所述粉尘回收指令控制粉尘回收装置对待回收区域的粉尘进行回收;
机器人控制模块,分别与所述图像采集模块、所述回收判定模块和所述机器人连接,用于当所述判断结果为所述二值图中不存在值为1的区域时,生成机器人控制指令和图像采集指令,以控制所述机器人移动至下一待回收区域,并基于所述图像采集指令控制所述图像采集模块采集下一待回收区域的粉尘图像。
一种电子设备,包括:
存储器,用于存储计算机程序;
处理器,与所述存储器连接,用于调取并执行所述计算机程序,以实施上述提供的粉尘回收方法。
可选地,所述存储器为计算机可读存储介质。
因本发明上述提供的实施结构实现的技术效果与本发明提供的粉尘回收方法实现的技术效果相同,故在此不再进行赘述。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的粉尘回收方法的流程图;
图2为本发明实施例提供的粉尘回收装置的实施流程图;
图3为本发明实施例提供的粉尘回收模型的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明的目的是提供一种粉尘回收方法、装置及电子设备,能够在无人操作的情况下,自动识别粉尘所在区域,并提高粉尘回收的精确性和实时性。
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
实施例一
该实施例提供了一种粉尘回收方法,如图1所示,该方法包括:
步骤100:获取待回收区域的粉尘图像。
步骤101:将粉尘图像输入至粉尘回收模型中输出二值图。粉尘回收模型包括:卷积操作结构、第一粒度增强结构、第二粒度增强结构和图像分割转化结构。在该实施例中,卷积操作结构可以包括依次级联的第一卷积结构、第二卷积结构和第三卷积结构。第一卷积结构、第二卷积结构和第三卷积结构均包括三个连续的卷积层。例如,三个连续的卷积层中,第一个卷积层的核大小为3
Figure SMS_4
3,第一个卷积层的步长为2。第二个卷积层和第三个卷积层的核大小均为3/>
Figure SMS_5
3,第二个卷积层和第三个卷积层的步长均为1。三个连续的卷积层的卷积核的个数均为32。
基于此,在该实施例中,卷积操作结构、第一粒度增强结构、第二粒度增强结构和图像分割转化结构的具体处理过程为:
1)、卷积操作结构对输入的粉尘图像进行逐层卷积操作得到第一特征图的过程包括:
将粉尘图像输入到第一卷积结构中得到特征图J_1。
将特征图J_1输入到第二卷积结构中得到特征图J_2。
将特征图J_2输入到第三卷积结构中得到特征图J_3。将特征图J_3作为第一特征图。
2)第一粒度增强结构对第一特征图进行处理得到第二特征图的过程包括:
对第一特征图进行全局平均池化操作得到特征图T_3。
对特征图T_3进行上采样操作得到特征图K_3。
对特征图J_2和特征图T_3进行矩阵相乘得到特征图J_2_1。
将特征图K_3与特征图J_2_1进行均和操作得到特征图J_2_2。将特征图J_2_2作为第二特征图。
3)第二粒度增强结构对第二特征图进行处理得到第三特征图的过程包括:
基于特征图J_1和第二特征图,采用第二个粒度增强结构生成特征图J_1_2。将特征图J_1_2作为第三特征图。
4)图像分割转化结构对第三特征图进行图像分割和二值转化得到二值图的过程包括:
对第三特征图进行卷积核为1
Figure SMS_6
1、卷积核个数为1的卷积操作得到分割图像。
将分割图像中像素值大于设定阈值的像素点值设为1,将分割图像中像素值小于等于设定阈值的像素点值设为0得到二值图。
步骤102:判断二值图中是否存在值为1的区域,得到判断结果。
步骤103:当判断结果为二值图中存在值为1的区域时,生成粉尘回收指令,并基于粉尘回收指令对待回收区域的粉尘进行回收。
步骤104:当判断结果为二值图中不存在值为1的区域时,获取下一待回收区域的粉尘图像,并返回执行步骤101。
实施例二
该实施例中提供了一种粉尘回收装置,以应用于上述实施例一提供的粉尘回收方法。装置包括:图像采集模块、粉尘识别模块、回收判定模块、回收控制模块和机器人控制模块。
其中,图像采集模块搭载在机器人上,以用于采集待回收区域的粉尘图像。在该实施例中,图像采集模块由离线采集模块和在线采集模块两大部分构成。离线采集模块负责生成粉尘分割数据集。粉尘分割数据的构建过程如下:
基于彩色相机拍摄真实工作场景中地面的粉尘图像。在拍摄过程中,应确保在不同粉尘厚度、粉尘分布状态、光照环境及拍摄角度下进行粉尘图像采集,拍摄图像的数据量应达到1万张以上。基于标注软件Labelme对拍摄得到的各个粉尘图像进行标注,标注出粉尘所在区域,标注类别分为粉尘区域和背景区域两类,以获得标注文件。基于粉尘图像与其对应的标注文件,得到粉尘分割数据集。
在线采集模块为一架彩色相机和传输网线,负责在使用过程中实时采集待回收区域地面上的粉尘图像,并将所采集的图像输入到粉尘识别模块中。后续将采用粉尘分割数据集对初始构建的网络进行训练及测试,测试准确率达到应用要求(或使用要求)后,以最后一次训练所获得的网络作为粉尘识别模型,以提高粉尘检测的精确性。
粉尘识别模块与图像采集模块连接,以用于将粉尘图像输入至粉尘回收模型中输出二值图。粉尘回收模型包括:卷积操作结构、第一粒度增强结构、第二粒度增强结构和图像分割转化结构。卷积操作结构对输入的粉尘图像进行逐层卷积操作得到第一特征图。第一粒度增强结构对第一特征图进行处理得到第二特征图。第二粒度增强结构对第二特征图进行处理得到第三特征图。图像分割转化结构对第三特征图进行图像分割和二值转化得到二值图。
回收判定模块与粉尘识别模块连接,以用于判断二值图中是否存在值为1的区域,得到判断结果。
回收控制模块与回收判定模块连接,以用于当判断结果为二值图中存在值为1的区域时,生成粉尘回收指令,并基于粉尘回收指令控制粉尘回收装置对待回收区域的粉尘进行回收。
机器人控制模块分别与图像采集模块、回收判定模块和机器人连接,以用于当判断结果为二值图中不存在值为1的区域时,生成机器人控制指令和图像采集指令,以控制机器人移动至下一待回收区域,并基于图像采集指令控制图像采集模块采集下一待回收区域的粉尘图像。
为了进一步保证粉尘回收的精确性,在回收操作结束或完成一轮粉尘回收后,自动开启图像采集模块,监测当前回收区域中的粉尘是否清理完成,从而进入下一个回收循环。
实施例三
该实施例中以实施例二中提供的装置为硬件结构,实施上述提供的粉尘回收方法,各模块间的数据传输及控制过程如图2所示。基于此,粉尘回收的具体实施流程包括:
步骤1、建立图像采集模块。该实施例中建立的图像采集模块由离线采集模块和在线采集模块两大部分构成。其中,离线采集模块负责生成粉尘分割数据集。粉尘分割数据的构建过程如下:
基于彩色相机拍摄真实工作场景中地面的粉尘图像。在拍摄过程中,应确保在不同粉尘厚度、粉尘分布状态、光照环境及拍摄角度下进行粉尘图像采集,拍摄图像的数据量应达到1万张以上。基于标注软件Labelme对拍摄得到的各个粉尘图像进行标注,标注出粉尘所在区域,标注类别分为粉尘区域和背景区域两类,以获得标注文件。基于粉尘图像与其对应的标注文件,得到粉尘分割数据集。
在该实施例中,在线采集模块为一架彩色相机和传输网线,负责在使用过程中实时采集待回收区域地面上的粉尘图像,并将所采集的图像输入到粉尘识别模块中。
步骤2、设计粉尘回收模型,并采用粉尘识别模块进行粉尘图像处理。以输入一张彩色相机采集的待识别的维度为2048
Figure SMS_7
2048/>
Figure SMS_8
3(空间维度为2048/>
Figure SMS_9
2048、RGB通道数为3)的粉尘图像为例,展示粉尘回收模型的设计过程以及对粉尘图像的处理过程,如图3所示,具体的:
步骤2-1、对粉尘图像进行逐层卷积操作,以充分提取其所包含的特征信息:
将粉尘图像输入连续的三个卷积层中,获得特征图J_1,特征图J_1的维度为1024
Figure SMS_11
1024/>
Figure SMS_13
32。再将特征图J_1输入与连续的三个卷积层具有相似结构的另三个卷积层中,获得特征图J_2,特征图J_2为浅层特征图,其维度为512/>
Figure SMS_16
512/>
Figure SMS_12
32。最后将特征图J_2与连续的三个卷积层具有相似结构的又三个卷积层中,获得特征图J_3,特征图J_3的维度为256/>
Figure SMS_14
256/>
Figure SMS_15
32。上述操作通过逐层卷积特征提取,获得了充足的语义特征信息,并将特征图维度逐层缩小,节约了计算成本。其中,连续的三个卷积层中的第一个卷积层的核大小为3/>
Figure SMS_17
3,步长为2。后两个卷积层的核大小为3/>
Figure SMS_10
3,步长为1。三个卷积层的卷积核的个数均为32。
步骤2-2、构建第一粒度增强结构,以特征图J_2和特征图J_3为例,展示第一粒度增强结构的构建过程:
首先,对特征图J_3进行全局平均池化操作,将空间维度进行压缩,以提取通道维度特征,从而获得尺寸为1
Figure SMS_18
1/>
Figure SMS_19
32的特征图T_3。再对特征图J_3进行上采样操作,将空间维度调整为与上一层特征图同样尺寸,以便于下一步的空间特征融合,从而获得尺寸为512/>
Figure SMS_20
512/>
Figure SMS_21
32的特征图K_3。
接下来,对特征图J_2和特征图T_3进行矩阵相乘,生成尺寸为512
Figure SMS_22
512/>
Figure SMS_23
32的特征图J_2_1,以使特征图J_2_1获得深层通道级特征信息。对特征图K_3与特征图J_2_1进行均和操作,该操作的实际步骤为对两个等维度特征图进行元素级相加以获取两者的平均值,并将该平均值作为输出特征图J_2_2的元素,由此获得与特征图J_2等尺寸的、尺寸为512/>
Figure SMS_24
512/>
Figure SMS_25
32的特征图J_2_2。粉尘属于颗粒状微小目标,极易在逐层卷积中丢失细节信息,构建的第一粒度增强结构能够在保证特征图维度不变的前提下,通过两个分支依次为其提取来自深层特征图的粉尘粒度特征,从而增强网络对粉尘所在区域的感知能力。
步骤2-3、在特征图J_2和特征图J_3的基础上,采用第一粒度增强结构获得特征图J_2_2后,再以特征图J_2_2的基础上构建第二粒度增强结构。其中,对特征图J_2_2进行全局平均池化操作,得到特征图T_2。接着,对特征图T_2和特征图J_1进行矩阵相乘,生成尺寸为1024
Figure SMS_26
1024/>
Figure SMS_27
32的特征图J_1_1,再对特征图J_2_2进行上采样操作,获得尺寸为1024/>
Figure SMS_28
1024/>
Figure SMS_29
32的特征图K_2,对特征图K_2与特征图J_1_1进行均和操作得到维度(1024/>
Figure SMS_30
1024/>
Figure SMS_31
32)与特征图J_1相同的特征图J_1_2。
步骤2-4、对特征图J_1_2进行卷积核为1
Figure SMS_32
1、卷积核个数为1的卷积操作,获得维度为1024/>
Figure SMS_33
1024/>
Figure SMS_34
1的分割图像。
步骤2-5、将该分割图像转化为二值图。转化过程中,像素值大于阈值(可根据粉尘粒径进行设定)的像素点值设为1,即粉尘区域,像素值小于阈值的像素点值设为0,即背景区域。
基于上述步骤实现分割模型的设计后,采用步骤1中离线采集模块所生成的粉尘分割数据集对该分割模型进行训练及测试,测试准确率达到应用要求后,以最后一次训练所获得的分割模型作为粉尘回收模型。
步骤3、搭建回收判定模块及整体系统结构。
回收判定模块的输入为粉尘识别模块的输出图像。以输入一张待识别的维度为2048
Figure SMS_35
2048/>
Figure SMS_36
3的粉尘图像为例,展示回收判定模块的构建过程,具体为:将粉尘图像输入粉尘识别模块,则该模块输出维度为2048/>
Figure SMS_37
2048/>
Figure SMS_38
1的二值图。
如果维度为2048
Figure SMS_39
2048/>
Figure SMS_40
1的二值图中存在值为1的粉尘区域,则表示当前采集的粉尘图像的地面区域上存在粉尘,回收控制模块应发送“回收粉尘”指令至粉尘回收装置,开启新一轮粉尘回收,并在回收操作结束后,自动开启图像采集模块,监测当前区域中的粉尘是否清理完成,从而进入下一个回收循环。
如果维度为2048
Figure SMS_41
2048/>
Figure SMS_42
1的二值图中仅有背景区域,则说明当前地面区域上不存在粉尘,机器人控制模块应发送“继续前行”指令至机器人控制器,控制整个设备移动到下一地面区域后,自动开启图像采集模块,监测当前区域中的粉尘是否清理完成,从而进入下一个回收循环。
实施例四
该实施例提供了一种电子设备,该电子设备包括:存储器和处理器。
其中,存储器用于存储计算机程序。
处理器与存储器连接用于调取并执行计算机程序,以实施上述提供的粉尘回收方法。
此外,上述的存储器中的计算机程序通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明提供的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器、随机存取存储器、磁碟或者光盘等各种可以存储程序代码的介质。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处。综上所述,本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种粉尘回收方法,其特征在于,包括:
获取待回收区域的粉尘图像;
将所述粉尘图像输入至粉尘回收模型中输出二值图;所述粉尘回收模型包括:卷积操作结构、第一粒度增强结构、第二粒度增强结构和图像分割转化结构;所述卷积操作结构对输入的粉尘图像进行逐层卷积操作得到第一特征图;所述第一粒度增强结构对所述第一特征图进行处理得到第二特征图;所述第二粒度增强结构对所述第二特征图进行处理得到第三特征图;所述图像分割转化结构对所述第三特征图进行图像分割和二值转化得到二值图;
判断所述二值图中是否存在值为1的区域,得到判断结果;
当所述判断结果为所述二值图中存在值为1的区域时,生成粉尘回收指令,并基于所述粉尘回收指令对待回收区域的粉尘进行回收;
当所述判断结果为所述二值图中不存在值为1的区域时,获取下一待回收区域的粉尘图像,并返回执行将所述粉尘图像输入至粉尘回收模型中输出二值图的步骤。
2.根据权利要求1所述的粉尘回收方法,其特征在于,所述卷积操作结构包括依次级联的第一卷积结构、第二卷积结构和第三卷积结构;所述第一卷积结构、第二卷积结构和第三卷积结构均包括三个连续的卷积层。
3.根据权利要求2所述的粉尘回收方法,其特征在于,三个连续的卷积层中,第一个卷积层的核大小为3
Figure QLYQS_1
3,第一个卷积层的步长为2;第二个卷积层和第三个卷积层的核大小均为3/>
Figure QLYQS_2
3,第二个卷积层和第三个卷积层的步长均为1;三个连续的卷积层的卷积核的个数均为32。
4.根据权利要求2所述的粉尘回收方法,其特征在于,所述卷积操作结构对输入的粉尘图像进行逐层卷积操作得到第一特征图,具体包括:
将所述粉尘图像输入到第一卷积结构中得到特征图J_1;
将所述特征图J_1输入到第二卷积结构中得到特征图J_2;
将所述特征图J_2输入到第三卷积结构中得到特征图J_3;将所述特征图J_3作为所述第一特征图。
5.根据权利要求4所述的粉尘回收方法,其特征在于,所述第一粒度增强结构对所述第一特征图进行处理得到第二特征图,具体包括:
对所述第一特征图进行全局平均池化操作得到特征图T_3;
对所述特征图T_3进行上采样操作得到特征图K_3;
对所述特征图J_2和所述特征图T_3进行矩阵相乘得到特征图J_2_1;
将所述特征图K_3与所述特征图J_2_1进行均和操作得到特征图J_2_2;将所述特征图J_2_2作为所述第二特征图。
6.根据权利要求5所述的粉尘回收方法,其特征在于,所述第二粒度增强结构对所述第二特征图进行处理得到第三特征图,具体包括:
基于所述特征图J_1和所述第二特征图,采用所述第二个粒度增强结构生成特征图J_1_2;将所述特征图J_1_2作为所述第三特征图。
7.根据权利要求6所述的粉尘回收方法,其特征在于,所述图像分割转化结构用于对所述第三特征图进行图像分割和二值转化得到二值图,具体包括:
对所述第三特征图进行卷积核为1
Figure QLYQS_3
1、卷积核个数为1的卷积操作得到分割图像;
将所述分割图像中像素值大于设定阈值的像素点值设为1,将所述分割图像中像素值小于等于设定阈值的像素点值设为0得到所述二值图。
8.一种粉尘回收装置,其特征在于,应用于如权利要求1-7任意一项所述的粉尘回收方法;所述装置包括:
图像采集模块,搭载在机器人上,用于采集待回收区域的粉尘图像;
粉尘识别模块,与所述图像采集模块连接,用于将所述粉尘图像输入至粉尘回收模型中输出二值图;所述粉尘回收模型包括:卷积操作结构、第一粒度增强结构、第二粒度增强结构和图像分割转化结构;所述卷积操作结构对输入的粉尘图像进行逐层卷积操作得到第一特征图;所述第一粒度增强结构对所述第一特征图进行处理得到第二特征图;所述第二粒度增强结构对所述第二特征图进行处理得到第三特征图;所述图像分割转化结构对所述第三特征图进行图像分割和二值转化得到二值图;
回收判定模块,与所述粉尘识别模块连接,用于判断所述二值图中是否存在值为1的区域,得到判断结果;
回收控制模块,与所述回收判定模块连接,用于当所述判断结果为所述二值图中存在值为1的区域时,生成粉尘回收指令,并基于所述粉尘回收指令控制粉尘回收装置对待回收区域的粉尘进行回收;
机器人控制模块,分别与所述图像采集模块、所述回收判定模块和所述机器人连接,用于当所述判断结果为所述二值图中不存在值为1的区域时,生成机器人控制指令和图像采集指令,以控制所述机器人移动至下一待回收区域,并基于所述图像采集指令控制所述图像采集模块采集下一待回收区域的粉尘图像。
9.一种电子设备,其特征在于,包括:
存储器,用于存储计算机程序;
处理器,与所述存储器连接,用于调取并执行所述计算机程序,以实施如权利要求1-7任意一项所述的粉尘回收方法。
10.根据权利要求9所述的电子设备,其特征在于,所述存储器为计算机可读存储介质。
CN202310537480.4A 2023-05-15 2023-05-15 一种粉尘回收方法、装置及电子设备 Active CN116258715B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310537480.4A CN116258715B (zh) 2023-05-15 2023-05-15 一种粉尘回收方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310537480.4A CN116258715B (zh) 2023-05-15 2023-05-15 一种粉尘回收方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN116258715A true CN116258715A (zh) 2023-06-13
CN116258715B CN116258715B (zh) 2023-08-04

Family

ID=86688290

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310537480.4A Active CN116258715B (zh) 2023-05-15 2023-05-15 一种粉尘回收方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN116258715B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116993330A (zh) * 2023-09-25 2023-11-03 天津矿山工程有限公司 岩粉智能回收利用方法、装置、设备及介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110501268A (zh) * 2019-08-13 2019-11-26 湖南大学 一种基于显微图像处理的微量粉尘检测方法
CN111553403A (zh) * 2020-04-23 2020-08-18 山东大学 基于伪3d卷积神经网络的烟雾检测方法及系统
JP2021021593A (ja) * 2019-07-25 2021-02-18 株式会社神戸製鋼所 降下ばいじん測定方法および降下ばいじん測定システム
JP2021042014A (ja) * 2019-09-06 2021-03-18 新明和工業株式会社 塵芥収集車
CN112613498A (zh) * 2020-12-16 2021-04-06 浙江大华技术股份有限公司 一种指针识别方法、装置、电子设备及存储介质
CN113012179A (zh) * 2019-12-19 2021-06-22 李韵涵 煤矿井下防爆检测用煤粉尘图像识别方法
CN113887443A (zh) * 2021-10-08 2022-01-04 西北工业大学 一种基于属性感知注意力汇集的工业烟排放识别方法
CN114005058A (zh) * 2021-10-28 2022-02-01 河北省科学院应用数学研究所 粉尘识别方法、装置及终端设备
CN114815822A (zh) * 2022-04-19 2022-07-29 淮安永道智能科技有限公司 一种道路边缘检测的智能清扫系统及方法
CN114897816A (zh) * 2022-05-09 2022-08-12 安徽工业大学 基于改进掩膜的Mask R-CNN矿物颗粒识别以及粒度检测方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021021593A (ja) * 2019-07-25 2021-02-18 株式会社神戸製鋼所 降下ばいじん測定方法および降下ばいじん測定システム
CN110501268A (zh) * 2019-08-13 2019-11-26 湖南大学 一种基于显微图像处理的微量粉尘检测方法
JP2021042014A (ja) * 2019-09-06 2021-03-18 新明和工業株式会社 塵芥収集車
CN113012179A (zh) * 2019-12-19 2021-06-22 李韵涵 煤矿井下防爆检测用煤粉尘图像识别方法
CN111553403A (zh) * 2020-04-23 2020-08-18 山东大学 基于伪3d卷积神经网络的烟雾检测方法及系统
CN112613498A (zh) * 2020-12-16 2021-04-06 浙江大华技术股份有限公司 一种指针识别方法、装置、电子设备及存储介质
CN113887443A (zh) * 2021-10-08 2022-01-04 西北工业大学 一种基于属性感知注意力汇集的工业烟排放识别方法
CN114005058A (zh) * 2021-10-28 2022-02-01 河北省科学院应用数学研究所 粉尘识别方法、装置及终端设备
CN114815822A (zh) * 2022-04-19 2022-07-29 淮安永道智能科技有限公司 一种道路边缘检测的智能清扫系统及方法
CN114897816A (zh) * 2022-05-09 2022-08-12 安徽工业大学 基于改进掩膜的Mask R-CNN矿物颗粒识别以及粒度检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
史劲亭;袁非牛;夏雪;: "视频烟雾检测研究进展", 中国图象图形学报, no. 03 *
王征;潘红光;: "基于改进差分进化粒子群的煤尘颗粒图像辨识", 煤炭学报, no. 02 *
谢鹏程;陈青山;李响;: "基于机器视觉的工矿现场粉尘实时监测", 工矿自动化, no. 03 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116993330A (zh) * 2023-09-25 2023-11-03 天津矿山工程有限公司 岩粉智能回收利用方法、装置、设备及介质
CN116993330B (zh) * 2023-09-25 2023-12-26 天津矿山工程有限公司 岩粉智能回收利用方法、装置、设备及介质

Also Published As

Publication number Publication date
CN116258715B (zh) 2023-08-04

Similar Documents

Publication Publication Date Title
CN108022235B (zh) 高压输电铁塔关键部件缺陷识别方法
CN112465748B (zh) 基于神经网络的裂缝识别方法、装置、设备及存储介质
CN114549563A (zh) 一种基于DeepLabV3+的复合绝缘子实时分割方法及系统
CN111696110B (zh) 场景分割方法及系统
CN109325915B (zh) 一种用于低分辨率监控视频的超分辨率重建方法
CN116258715B (zh) 一种粉尘回收方法、装置及电子设备
CN113468996B (zh) 一种基于边缘细化的伪装物体检测方法
CN110807362A (zh) 一种图像检测方法、装置和计算机可读存储介质
CN112614136A (zh) 一种红外小目标实时实例分割方法及装置
CN112487913A (zh) 一种基于神经网络的标注方法、装置及电子设备
CN111428664A (zh) 一种基于人工智能深度学习技术的计算机视觉的实时多人姿态估计方法
Zeng et al. Deeplabv3+ semantic segmentation model based on feature cross attention mechanism
Gao et al. Background subtraction via 3D convolutional neural networks
CN115965578A (zh) 一种基于通道注意力机制的双目立体匹配检测方法及装置
CN112580778A (zh) 基于YOLOv5和Pose-estimation的工地工人手机使用检测方法
CN112528825A (zh) 一种基于图像识别的车站乘客招援服务方法
CN117115616A (zh) 一种基于卷积神经网络的实时低照度图像目标检测方法
CN114155487A (zh) 一种基于多组卷积融合的电力作业人员检测方法
CN114694080A (zh) 一种监控暴力行为检测方法、系统、装置及可读存储介质
CN113902919A (zh) 一种基于双流网络的目标检测方法及系统
CN112966788A (zh) 基于深度学习的输电线路间隔棒故障检测方法
Tian et al. Real-time vehicle detection under complex road conditions
CN115797412B (zh) 动态对象异常值并行检测方法、装置、系统、设备及介质
CN117808808B (zh) 一种矿石粒度检测方法、系统、电子设备及存储介质
CN111915621B (zh) 一种融合深度神经网络与cv模型的污损图像分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant