CN115993365A - 一种基于深度学习的皮带缺陷检测方法及系统 - Google Patents
一种基于深度学习的皮带缺陷检测方法及系统 Download PDFInfo
- Publication number
- CN115993365A CN115993365A CN202310286834.2A CN202310286834A CN115993365A CN 115993365 A CN115993365 A CN 115993365A CN 202310286834 A CN202310286834 A CN 202310286834A CN 115993365 A CN115993365 A CN 115993365A
- Authority
- CN
- China
- Prior art keywords
- belt
- feature
- defect
- branch
- picture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Image Analysis (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
本申请提供一种基于深度学习的皮带缺陷检测方法及系统,检测方法包括:构建皮带训练网络模型,构建构建皮带训练网络模型包括随机仿射变换特征提取处理步骤、激励注意力机制处理步骤和小目标检测头处理步骤;训练皮带训练网络模型得到目标权重文件;向皮带底部发射激光;获取皮带待检测图片;对皮带待检测图片进行解析检测处理得到像素块组;比对像素块组与所述目标权重文件,得到比对结果;判断比对结果是否大于比对阈值;若是,则生成用于关闭皮带机的控制指令。本申请通过上述检测方法及系统提高了对皮带缺陷的不同位置的特征提取能力,提高激光线缺陷特征在所有特征中的占比,提高对缺陷的检测精准度,优化了缺陷检测的泛化能力。
Description
技术领域
本发明涉及深度学习技术领域,特别涉及一种基于深度学习的皮带缺陷检测方法及系统。
背景技术
皮带作为运输中不可或缺的一部分,在粮食运输,矿石传送,智慧矿山等领域发挥着重要的作用,是一种简单实用的传送方式。但是随着使用时间的增加,皮带的破损与日俱增,而在皮带的破损中尤其以穿透、撕裂最为严重,发生撕裂后如果没有进行及时的停机操作,会造成长距离、大面积的撕裂,这将会造成巨额的经济损失,甚至会危及操作人员的生命安全。目前对于皮带的缺陷的检测是通过利用机械视觉算法进行的。
在目前的检测算法中,大多采用机器视觉算法对采集到图片的每一点的灰度值整合后在进行判断,增加计算量的同时无疑提高了检测的时间;此外对于目前的皮带检测方法还有设计部分深度学习算法,但是现有的深度学习算法只能针对某一种单一的皮带缺陷问题并提出解决方案,对于复杂的皮带缺陷检测却不能给予很好的检测手段,同时其检测精度低,响应时间长,也不能满足现阶段皮带检测的需求。
发明内容
本申请基于优化现有的皮带缺陷检测的方案,提供了一种基于深度学习皮带缺陷的检测方法及系统。
第一方面,本申请提供一种基于深度学习皮带缺陷的检测方法,所述检测方法包括:
构建皮带训练网络模型,所述构建皮带训练网络模型包括随机仿射变换特征提取处理步骤、激励注意力机制处理步骤和小目标检测头处理步骤;
训练所述皮带训练网络模型得到目标权重文件;
获取向所述皮带底部发射激光时,所述皮带表面的待检测图像;
对所述皮带待检测图片进行解析检测处理得到像素块组;
比对所述像素块组与所述目标权重文件,得到比对结果;
判断所述比对结果是否大于比对阈值;
若是,则生成用于关闭皮带机的控制指令。
优选的,所述随机仿射变换特征提取处理步骤包括:
获取若干张皮带缺陷图片;
对所述皮带缺陷图片进行随机仿射变换处理得到仿射图片;
对所述仿射图片进行拆分处理得到拆分图片;
所述随机仿射变换特征提取处理步骤之后还包括:
利用卷积对所述拆分图片进行通道整合处理得到扩充图片;
对所述扩充图片进行特征提取处理得到第一特征分支,留存所述第一特征分支;
对所述第一特征分支依次进行所述通道整合处理和所述特征提取处理得到第二特征分支,留存所述第二特征分支;
对所述第二特征分支依次进行所述通道整合处理和所述特征提取处理得到第三特征分支,留存所述第三特征分支;
对所述第三特征分支进行特征池化处理得到池化特征;
对所述池化特征进行特征提取处理得到第四特征分支,留存所述第四特征分支。
优选的,所述激励注意力机制处理步骤包括:
分别对所述第一特征分支、所述第二特征分支、所述第三特征分支和所述第四特征分支进行特征最大化处理得到扩充特征;
对所述扩充特征进行激励处理得到激励特征;
利用sigmoid函数对所述激励特征进行归一化处理得到特征权重;
将所述特征权重和与所述特征权重对应的特征通道相乘得到权重特征通道。
优选的,所述小目标检测头处理步骤包括:
对所述扩充特征进行采样处理得到第一采样特征;
对所述第一采样特征进行采样处理得到第二采样特征;
将所述第二采样特征和所述第一特征分支进行糅合处理得到第一小目标特征;
对所述第一小目标特征依次进行所述通道整合处理和所述特征提取处理得到目标小目标特征;
利用所述sigmoid函数对所述目标小目标特征进行归一化处理得到小目标特征权重;
将所述小目标特征权重和与所述小目标特征权重对应的特征通道相乘得到小目标权重特征通道;
对所述权重特征通道和所述小目标权重特征通道进行预测处理得到所述皮带训练网络模型。
优选的,所述分别对所述第一特征分支、所述第二特征分支、所述第三特征分支和所述第四特征分支进行特征最大化处理步骤还包括:
分别对所述第一特征分支、所述第二特征分支、所述第三特征分支和所述第四特征分支进行全局平均池化得到第一扩充特征;
将所述第一扩充特征和所述第一特征分支进行糅合处理得到所述扩充特征。
优选的,所述训练所述皮带训练网络模型步骤包括:
获取若干皮带缺陷图片;
根据所述皮带训练网络模型对所述皮带缺陷图片进行特征提取处理得到缺陷特征;
对所述缺陷特征进行标注处理得到缺陷标注图片;
根据所述皮带缺陷图片与所述缺陷标注图片之间的缺陷距离计算得出交并比;
将所述交并比代入损失函数计算得出损失值;
根据所述损失值并利用反向传播处理对所述缺陷标注图片进行缺陷修改得到目标缺陷标注图片;
根据所述皮带缺陷图片与所述目标缺陷标注图片之间的缺陷距离计算得出目标交并比;
将所述目标交并比代入所述损失函数得到目标损失值;
判断所述目标损失值是否小于或等于预设损失值;
若是,则对所述目标缺陷标注图片进行权重提取处理得到目标权重文件;
若否,则继续对所述目标缺陷标注图片进行缺陷修改直至所述目标损失值小于或等于所述预设损失值。
优选的,所述损失函数包括置信度损失、分类损失和定位损失;
所述损失函数公式为:
;
其中,所述obj_loss为所述置信度损失,所述cls_loss为所述分类损失,所述box_loss为所述定位损失。
第二方面,本申请提供一种基于深度学习皮带缺陷的检测系统,所述检测系统包括:
皮带机皮带,所述皮带机皮带沿预设轨道移动;
设置在所述皮带机皮带下方的激光发射器,所述激光发射器向所述皮带机皮带靠近所述激光发射器一侧发射激光,所述激光在所述皮带机皮带表面形成激光痕迹;
设置在所述皮带机皮带下方的摄像机;
与所述摄像机通讯连接的视觉控制器;
与所述视觉控制器通讯连接的逻辑控制器,所述逻辑控制器与皮带机通讯连接;
所述摄像机被配置为获取所述激光痕迹扫过区域的皮带图片并发送给所述视觉控制器;
所述视觉控制器被配置为对所述皮带图片进行解析检测处理到像素块组;
比对所述像素块组与目标权重文件,得到比对结果,并将所述比对结果发送给所述逻辑控制器;
所述逻辑控制器被配置为判断所述比对结果是否大于比对阈值:
若是,则生成用于关闭所述皮带机的控制指令,并将所述控制指令发送给所述皮带机。
优选的,所述视觉控制器还被配置为获取所述目标权重文件。
优选的,所述视觉控制器还被配置为:
对所述皮带图片进行随机仿射变换特征提取处理、激励注意力机制处理和小目标检测头处理得到皮带训练网络模型,所述随机仿射变换特征提取处理在所述激励注意力机制处理之前进行,所述激励注意力机制处理和所述小目标检测头处理同时进行;
训练所述皮带训练网络模型得到所述目标权重文件。
本申请提供一种基于深度学习皮带缺陷的检测方法及系统,所述检测方法包括:构建皮带训练网络模型,构建所述构建皮带训练网络模型包括随机仿射变换特征提取处理步骤、激励注意力机制处理步骤和小目标检测头处理步骤;训练所述皮带训练网络模型得到目标权重文件;向皮带底部发射激光;获取所述皮带待检测图片;对所述皮带待检测图片进行解析检测处理得到像素块组;比对所述像素块组与所述目标权重文件,得到比对结果;判断所述比对结果是否大于比对阈值;若是,则生成用于关闭皮带机的控制指令。本申请通过上述检测方法及系统提高了对皮带缺陷的不同位置的特征提取能力,提高激光线缺陷特征在所有特征中的占比,提高对缺陷的检测精准度,优化了缺陷检测的泛化能力。
附图说明
为了更清楚地说明本申请的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请一种基于深度学习皮带缺陷的检测方法的流程图;
图2为本申请一种基于深度学习皮带缺陷的检测方法中随机仿射变换特征提取处理步骤的流程图;
图3为本申请一种基于深度学习皮带缺陷的检测方法中激励注意力机制处理步骤的流程图;
图4为本申请一种基于深度学习皮带缺陷的检测方法中小目标检测头处理步骤的流程图;
图5为本申请一种基于深度学习皮带缺陷的检测方法中获取目标权重文件的流程图;
图6为本申请一种基于深度学习皮带缺陷的检测系统的示意图;
图7为本申请中随机仿射变换处理的示意图;
图8为激励注意力机制处理前后的特征对比图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整的描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图1为本申请一种基于深度学习皮带缺陷的检测方法流程图。
参考图1可知,本实施例提供一种基于深度学习皮带缺陷的检测方法,所述检测方法包括:
S100:构建皮带训练网络模型,所述构建皮带训练网络模型包括随机仿射变换特征提取处理步骤、激励注意力机制处理步骤和小目标检测头处理步骤。
具体的,在本实施例中,所述构建皮带训练网络模型包括随机仿射变换特征提取处理步骤、激励注意力机制处理步骤和小目标检测头处理步骤这三个步骤。
需要说明的是,所述随机仿射变换特征提取处理步骤在所述激励注意力机制处理步骤之前进行,所述激励注意力机制处理步骤和所述小目标检测头处理步骤同时进行。
所述随机仿射变换特征提取处理步骤用于提取皮带缺陷图片的特征,并且提高对于皮带缺陷图片不同位置的特征提取的能力,以此使得对皮带缺陷检测更具全面性。
所述激励注意力机制处理步骤用于提高缺陷特征在所有特征中的占比,以此来提高对于皮带缺陷检测的置信度。
所述小目标检测头处理步骤用于获取较小的缺陷,以此来进一步的提升对缺陷的检测的全面性。
通过所述随机仿射变换特征提取处理步骤、激励注意力机制处理步骤和小目标检测头处理步骤构建出所述皮带训练网络模型,并通过所述皮带训练网络模型对皮带缺陷特征进行精确提取。
图5为本申请一种基于深度学习皮带缺陷的检测方法中获取目标权重文件的流程图。
参考图5可知,所述检测方法还包括:
S200:训练所述皮带训练网络模型得到目标权重文件。
具体的,在本实施例中,获取所述目标权重文件的具体流程步骤为:
S211:获取若干张皮带缺陷图片。
具体的,在本实施例中,所述皮带缺陷图片为皮带出现破损的图片,可以通过预先设置皮带缺陷图片库,并从所述皮带缺陷图片库中随机获取出所述皮带缺陷图片。
获取所述目标权重文件的具体流程步骤还包括:
S212:根据皮带训练网络模型对缺陷图片进行特征提取处理得到缺陷特征;
S213:对缺陷特征进行标注处理得到缺陷标注图片;
S214:根据皮带缺陷图片与缺陷标注图片之间的缺陷距离计算得出交并比;
S215:将交并比代入损失函数计算得出损失值;
S216:根据损失值并利用反向传播处理对缺陷标注图片进行缺陷修改得到目标缺陷标注图片;
S217:根据皮带缺陷图片与目标缺陷标注图片之间的缺陷距离计算得出目标交并比;
S218:将目标交并比代入损失函数得到目标损失值;
S219:判断目标损失值是否小于或等于预设损失值;
S221:若是,则对目标缺陷标注图片进行权重提取处理得到目标权重文件;
若否,则继续对目标缺陷标注图片进行缺陷修改直至目标损失值小于或等于预设损失值。
通过不断对所述目标缺陷标注图片进行缺陷修改及标注,实现了获取全面的缺陷对照图,以此便可以准确的检测出皮带缺陷。
需要说明的是,所述交并比可以理解为两张图片的重合程度,当重合程度极限趋近于100%时,便说明此时的目标缺陷标注图片包含了所有的皮带缺陷特征。
其中所述损失函数包括置信度损失、分类损失和定位损失。
所述损失函数公式为:
;
其中,所述obj_loss为所述置信度损失,所述cls_loss为所述分类损失,所述box_loss为所述定位损失。
所述检测方法还包括:
S300:获取向所述皮带底部发射激光时,所述皮带表面的待检测图像;
S400:对所述皮带待检测图片进行解析检测处理得到像素块组。
具体的,在本实施例中,对所述皮带待检测图片进行解析检测处理包括对较大缺陷进行检测的步骤和对较小的缺陷进行检测的步骤;需要说明的是,对于较小的缺陷,采用的检测方式也可参照所述小目标检测头处理步骤。
所述检测方法还包括:
S500:比对所述像素块组与所述目标权重文件,得到比对结果;
S600:判断所述比对结果是否大于比对阈值;
S700:若是,则生成用于关闭皮带机的控制指令。
具体的,在本实施例中,所述比对结果大于对比阈值时,则说明皮带出现的需要维修或更换的缺陷,之后便生成所述控制指令,以此关闭皮带机;通过这样的设计,便可以及时的对皮带进行维修或更换,避免了因皮带破损导致的安全事故。
图2为本申请一种基于深度学习皮带缺陷的检测方法中随机仿射变换特征提取处理步骤的流程图。
图7为本申请中随机仿射变换处理的示意图,图7从左至右的三张图片分别为仿射变换中的旋转、投影和平移。
参考图2和图7可知,进一步的,在一些实施例中,所述随机仿射变换特征提取处理步骤包括:
S111:获取若干张皮带缺陷图片;
S112:对所述皮带缺陷图片进行随机仿射变换处理得到仿射图片。
具体的,在本实施例中,所述随机仿射变换处理用扩充特征,并提高整套检测方法的鲁棒性,以及泛化能力,以此进一步的提升检测的精确性。
所述皮带缺陷图片是从上述上述皮带缺陷图片库中随机获取。
所述随机仿射变换特征提取处理步骤还包括:
S113:对所述仿射图片进行拆分处理得到拆分图片;
所述随机仿射变换特征提取处理步骤之后还包括:
S114:利用卷积对所述拆分图片进行通道整合处理得到扩充图片。
具体的,在本实施例中,所述拆分处理和所述通道整合处理用于进一步的扩充特征,需要说明的是,所述通道整合处理在本实施例中起到通道扩充的效果,但根据不同的需求,所述通道整合处理也可以起到减少通道的效果。
所述随机仿射变换特征提取处理步骤之后还包括:
S115:对所述扩充图片进行特征提取处理得到第一特征分支,留存所述第一特征分支;
S116:对所述第一特征分支依次进行所述通道整合处理和所述特征提取处理得到第二特征分支,留存所述第二特征分支;
S117:对所述第二特征分支依次进行所述通道整合处理和所述特征提取处理得到第三特征分支,留存所述第三特征分支;
S118:对所述第三特征分支进行特征池化处理得到池化特征;
S119:对所述池化特征进行特征提取处理得到第四特征分支,留存所述第四特征分支。
具体的,在本实施例中,通过对所述扩充图片进行多次特征提取处理获取到若干特征分支,所述特征分支用于进一步的缺陷扩充。
所述第一特征分支、所述第二特征分支、所述第三特征分支和所述第四特征分支可理解成“反复对特征进行提取,以获取精确的特征”;多次对图片进行特征提取,每次特征提取之后将得到特征留存,留存的特征为特征分支,对特征分支再进行特征提取得到更加细致的特征并留存,留存的特征为特征分支。
需要说明的是,所述特征池化处理用于降低特征的维度,此步骤可使后续的处理更加便捷。
图3为本申请一种基于深度学习皮带缺陷的检测方法中激励注意力机制处理步骤的流程图。
图8为激励注意力机制处理前后的特征对比图。
参考图3和图8可知,进一步的,在一些实施例中,所述激励注意力机制处理步骤包括:
S121:分别对所述第一特征分支、所述第二特征分支、所述第三特征分支和所述第四特征分支进行特征最大化处理得到扩充特征。
具体的,在本实施例中,通过对所述第一特征分支、所述第二特征分支、所述第三特征分支和所述第四特征分支进行特征最大化处理,实现了对缺陷特征放大,以此提升后续的皮带缺陷检测的精确性。
所述激励注意力机制处理步骤还包括:
S122:对所述扩充特征进行激励处理得到激励特征;
S123:利用sigmoid函数对所述激励特征进行归一化处理得到特征权重;
S124:将所述特征权重和与所述特征权重对应的特征通道相乘得到权重特征通道。
具体的,在本实施例中,所述激励处理用于将特征的重要程度量化为特征参量。
通过上述三个步骤,使得神经网络重点关注与激光线条相关的特征通道,即缺陷特征通道,抑制对当前任务相关性不大的通道;从而提升所述皮带训练网络模型对于激光线特征的提取强度。
图4为本申请一种基于深度学习皮带缺陷的检测方法中小目标检测头处理步骤的流程图。
参考图4可知,进一步的,在一些实施例中,所述小目标检测头处理步骤包括:
S131:对所述扩充特征进行采样处理得到第一采样特征;
S132:对所述第一采样特征进行采样处理得到第二采样特征;
S133:将所述第二采样特征和所述第一特征分支进行糅合处理得到第一小目标特征;
S134:对所述第一小目标特征依次进行所述通道整合处理和所述特征提取处理得到目标小目标特征;
S135:利用所述sigmoid函数对所述目标小目标特征进行归一化处理得到小目标特征权重;
S136:将所述小目标特征权重和与所述小目标特征权重对应的特征通道相乘得到小目标权重特征通道;
S137:对所述权重特征通道和所述小目标权重特征通道进行预测处理得到所述皮带训练网络模型。
具体的,在本实施例中,通过对所述扩充特征两次采样处理得到第二采样特征,所述第二采样特征可以为较小缺陷特征,并通过所述第二采样特征和所述第一特征分支进行糅合处理,使得较小缺陷特征得到增强,从而实现对较小缺陷特征的精确检测。
需要说明的是,本实施例中糅合处理并不是单一的仅能通过所述第二采样特征和所述第一特征分支来完成,在糅合处理之前的采样处理也并不是仅有两种,根据不同的需求,采样处理可以为多次,因此获取到的采样特征也不仅仅局限于第一采样特征和第二采样特征,诸如第三采样特征等均可以实现,并且特征分支的采用也并非是仅为第一特征分支,根据不同的情况,诸如第二特征分支、第三特征分支等特征分支均可,对于所述糅合处理需要采用的特征应该为采样特征和与其对应的特征分支来进行。
进一步的,在一些实施例中,所述分别对所述第一特征分支、所述第二特征分支、所述第三特征分支和所述第四特征分支进行特征最大化处理步骤还包括:
分别对所述第一特征分支、所述第二特征分支、所述第三特征分支和所述第四特征分支进行全局平均池化得到第一扩充特征;
将所述第一扩充特征和所述第一特征分支进行糅合处理得到所述扩充特征。
具体的,在本实施例中,在所述激励注意力机制处理步骤中也可以添加所述糅合处理,从而进一步的提升特征的数量。
图6为本申请一种基于深度学习的皮带缺陷的检测系统的示意图。
参考图6可知,本实施例还提供一种基于深度学习皮带缺陷的检测系统,所述检测系统包括:
皮带机皮带1,所述皮带机皮带1沿预设轨道移动;
设置在所述皮带机皮带1下方的激光发射器3,所述激光发射器3向所述皮带机皮带1靠近所述激光发射器3一侧发射激光,所述激光在所述皮带机皮带1上的激光痕迹为2;
设置在所述皮带机皮带1下方的摄像机4;
与所述摄像机4通讯连接的视觉控制器5;
与所述视觉控制器5通讯连接的逻辑控制器6,所述逻辑控制器6与皮带机通讯连接。
具体的,在本实施例中,所述激光发射器3向所述皮带机皮带1下方发射激光,形成激光痕迹2,所述摄像机4获取所述激光痕迹2扫过的区域的图片,所述视觉控制器5用于进行图片的深度学习处理,所述逻辑控制器6用于判断皮带上的缺陷是否危害皮带机的运行,并判断是否要关闭所述皮带机,以此实现及时的对皮带进行维修或更换,避免了因皮带破损导致的安全事故。
所述摄像机4被配置为获取所述激光痕迹2扫过区域的皮带图片并发送给所述视觉控制器5;
所述视觉控制器5被配置为对所述皮带图片进行解析检测处理到像素块组;
比对所述像素块组与目标权重文件,得到比对结果,并将所述比对结果发送给所述逻辑控制器6。
具体的,在本实施例中,所述目标权重文件也可以理解成模型训练的输出结果,而获取所述目标权重文件由所述视觉控制器5来完成,具体的流程为:
对所述皮带图片进行随机仿射变换特征提取处理、激励注意力机制处理和小目标检测头处理得到皮带训练网络模型,所述随机仿射变换特征提取处理在所述激励注意力机制处理之前进行,所述激励注意力机制处理和所述小目标检测头处理同时进行;
训练所述皮带训练网络模型得到所述目标权重文件。
通过所述随机仿射变换特征提取处理、激励注意力机制处理和小目标检测头处理,提升了对皮带检测的精确性、置信度和全面性。
所述逻辑控制器6被配置为判断所述比对结果是否大于比对阈值:
若是,则生成用于关闭所述皮带机的控制指令,并将所述控制指令发送给所述皮带机。
具体的,在本实施例中,当所述逻辑控制器6判断出所述比对结果大于比对阈值时,则说明此时皮带上的形成了足以影响设备正常运行的破损,并生成控制指令将所述皮带机关闭。
需要说明的是,所述目标权重文件不仅可以作为判断缺陷的依据,还可以通过所述目标权重文件得到皮带缺陷的类型及位置的准确的结果。
Claims (10)
1.一种基于深度学习的皮带缺陷检测方法,其特征在于,所述检测方法包括:
构建皮带训练网络模型,所述构建皮带训练网络模型包括随机仿射变换特征提取处理步骤、激励注意力机制处理步骤和小目标检测头处理步骤;
训练所述皮带训练网络模型得到目标权重文件;
获取向所述皮带底部发射激光时,所述皮带表面的待检测图像;
对所述皮带待检测图片进行解析检测处理得到像素块组;
比对所述像素块组与所述目标权重文件,得到比对结果;
判断所述比对结果是否大于比对阈值;
若是,则生成用于关闭皮带机的控制指令。
2.根据权利要求1所述的一种基于深度学习的皮带缺陷检测方法,其特征在于,所述随机仿射变换特征提取处理步骤包括:
获取若干张皮带缺陷图片;
对所述皮带缺陷图片进行随机仿射变换处理得到仿射图片;
对所述仿射图片进行拆分处理得到拆分图片;
所述随机仿射变换特征提取处理步骤之后还包括:
利用卷积对所述拆分图片进行通道整合处理得到扩充图片;
对所述扩充图片进行特征提取处理得到第一特征分支,留存所述第一特征分支;
对所述第一特征分支依次进行所述通道整合处理和所述特征提取处理得到第二特征分支,留存所述第二特征分支;
对所述第二特征分支依次进行所述通道整合处理和所述特征提取处理得到第三特征分支,留存所述第三特征分支;
对所述第三特征分支进行特征池化处理得到池化特征;
对所述池化特征进行特征提取处理得到第四特征分支,留存所述第四特征分支。
3.根据权利要求2所述的一种基于深度学习的皮带缺陷检测方法,其特征在于,所述激励注意力机制处理步骤包括:
分别对所述第一特征分支、所述第二特征分支、所述第三特征分支和所述第四特征分支进行特征最大化处理得到扩充特征;
对所述扩充特征进行激励处理得到激励特征;
利用sigmoid函数对所述激励特征进行归一化处理得到特征权重;
将所述特征权重和与所述特征权重对应的特征通道相乘得到权重特征通道。
4.根据权利要求3所述的一种基于深度学习的皮带缺陷检测方法,其特征在于,所述小目标检测头处理步骤包括:
对所述扩充特征进行采样处理得到第一采样特征;
对所述第一采样特征进行采样处理得到第二采样特征;
将所述第二采样特征和所述第一特征分支进行糅合处理得到第一小目标特征;
对所述第一小目标特征依次进行所述通道整合处理和所述特征提取处理得到目标小目标特征;
利用所述sigmoid函数对所述目标小目标特征进行归一化处理得到小目标特征权重;
将所述小目标特征权重和与所述小目标特征权重对应的特征通道相乘得到小目标权重特征通道;
对所述权重特征通道和所述小目标权重特征通道进行预测处理得到所述皮带训练网络模型。
5.根据权利要求3所述的一种基于深度学习的皮带缺陷检测方法,其特征在于,所述分别对所述第一特征分支、所述第二特征分支、所述第三特征分支和所述第四特征分支进行特征最大化处理步骤还包括:
分别对所述第一特征分支、所述第二特征分支、所述第三特征分支和所述第四特征分支进行全局平均池化得到第一扩充特征;
将所述第一扩充特征和所述第一特征分支进行糅合处理得到所述扩充特征。
6.根据权利要求4所述的一种基于深度学习的皮带缺陷检测方法,其特征在于,所述训练所述皮带训练网络模型步骤包括:
获取若干张皮带缺陷图片;
根据所述皮带训练网络模型对所述缺陷图片进行特征提取处理得到缺陷特征;
对所述缺陷特征进行标注处理得到缺陷标注图片;
根据所述皮带缺陷图片与所述缺陷标注图片之间的缺陷距离计算得出交并比;
将所述交并比代入损失函数计算得出损失值;
根据所述损失值并利用反向传播处理对所述缺陷标注图片进行缺陷修改得到目标缺陷标注图片;
根据所述皮带缺陷图片与所述目标缺陷标注图片之间的缺陷距离计算得出目标交并比;
将所述目标交并比代入所述损失函数得到目标损失值;
判断所述目标损失值是否小于或等于预设损失值;
若是,则对所述目标缺陷标注图片进行权重提取处理得到目标权重文件;
若否,则继续对所述目标缺陷标注图片进行缺陷修改直至所述目标损失值小于或等于所述预设损失值。
7.根据权利要求6所述的一种基于深度学习的皮带缺陷检测方法,其特征在于,所述损失函数包括置信度损失、分类损失和定位损失;
所述损失函数公式为:
;
其中,所述obj_loss为所述置信度损失,所述cls_loss为所述分类损失,所述box_loss为所述定位损失。
8.一种基于深度学习的皮带缺陷检测系统,其特征在于,所述系统适用于权利要求1至7任意一项所述基于深度学习的皮带缺陷检测方法,所述检测系统包括:
皮带机皮带(1),所述皮带机皮带(1)沿预设轨道移动;
设置在所述皮带机皮带(1)下方的激光发射器(3),所述激光发射器(3)向所述皮带机皮带(1)靠近所述激光发射器(3)一侧发射激光,所述激光在所述皮带机皮带(1)表面形成激光痕迹(2);
设置在所述皮带机皮带(1)下方的摄像机(4);
与所述摄像机(4)通讯连接的视觉控制器(5);
与所述视觉控制器(5)通讯连接的逻辑控制器(6),所述逻辑控制器(6)与皮带机通讯连接;
所述摄像机(4)被配置为获取所述激光痕迹(2)扫过区域的皮带图片并发送给所述视觉控制器(5);
所述视觉控制器(5)被配置为对所述皮带图片进行解析检测处理到像素块组;
比对所述像素块组与目标权重文件,得到比对结果,并将所述比对结果发送给所述逻辑控制器(6);
所述逻辑控制器(6)被配置为判断所述比对结果是否大于比对阈值:
若是,则生成用于关闭所述皮带机的控制指令,并将所述控制指令发送给所述皮带机。
9.根据权利要求8所述的一种基于深度学习的皮带缺陷检测系统,其特征在于,所述视觉控制器(5)还被配置为获取所述目标权重文件。
10.根据权利要求9所述的一种基于深度学习的皮带缺陷检测系统,其特征在于,所述视觉控制器(5)还被配置为:
对所述皮带图片进行随机仿射变换特征提取处理、激励注意力机制处理和小目标检测头处理得到皮带训练网络模型,所述随机仿射变换特征提取处理在所述激励注意力机制处理之前进行,所述激励注意力机制处理和所述小目标检测头处理同时进行;
训练所述皮带训练网络模型得到所述目标权重文件。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310286834.2A CN115993365B (zh) | 2023-03-23 | 2023-03-23 | 一种基于深度学习的皮带缺陷检测方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310286834.2A CN115993365B (zh) | 2023-03-23 | 2023-03-23 | 一种基于深度学习的皮带缺陷检测方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115993365A true CN115993365A (zh) | 2023-04-21 |
CN115993365B CN115993365B (zh) | 2023-06-13 |
Family
ID=85995285
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310286834.2A Active CN115993365B (zh) | 2023-03-23 | 2023-03-23 | 一种基于深度学习的皮带缺陷检测方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115993365B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116883409A (zh) * | 2023-09-08 | 2023-10-13 | 山东省科学院激光研究所 | 一种基于深度学习的输送带缺陷检测方法及系统 |
Citations (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140289323A1 (en) * | 2011-10-14 | 2014-09-25 | Cyber Ai Entertainment Inc. | Knowledge-information-processing server system having image recognition system |
CN109543606A (zh) * | 2018-11-22 | 2019-03-29 | 中山大学 | 一种加入注意力机制的人脸识别方法 |
US20200104993A1 (en) * | 2018-10-01 | 2020-04-02 | Skc Co., Ltd. | Film defect detection method and system |
CN111241998A (zh) * | 2020-01-09 | 2020-06-05 | 中移(杭州)信息技术有限公司 | 人脸识别的方法、装置、电子设备和存储介质 |
CN111461213A (zh) * | 2020-03-31 | 2020-07-28 | 华中科技大学 | 一种目标检测模型的训练方法、目标快速检测方法 |
US20200342652A1 (en) * | 2019-04-25 | 2020-10-29 | Lucid VR, Inc. | Generating Synthetic Image Data for Machine Learning |
CN112329721A (zh) * | 2020-11-26 | 2021-02-05 | 上海电力大学 | 一种模型轻量化设计的遥感小目标检测方法 |
WO2021115159A1 (zh) * | 2019-12-09 | 2021-06-17 | 中兴通讯股份有限公司 | 文字识别网络模型训练方法、文字识别方法、装置、终端及其计算机存储介质 |
CN113221631A (zh) * | 2021-03-22 | 2021-08-06 | 西安电子科技大学 | 基于卷积神经网络的序列脉冲抗干扰目标检测方法 |
WO2021238826A1 (zh) * | 2020-05-26 | 2021-12-02 | 苏宁易购集团股份有限公司 | 一种实例分割模型的训练方法、装置、实例分割方法 |
WO2021249255A1 (zh) * | 2020-06-12 | 2021-12-16 | 青岛理工大学 | 一种基于RP-ResNet网络的抓取检测方法 |
WO2022017779A2 (en) * | 2020-07-21 | 2022-01-27 | Interdigital Ce Patent Holdings, Sas | Map for augmented reality |
US20220036124A1 (en) * | 2020-07-31 | 2022-02-03 | Sensetime Group Limited | Image processing method and device, and computer-readable storage medium |
CN114494812A (zh) * | 2022-02-16 | 2022-05-13 | 湖南大学 | 一种基于改进CenterNet的图像小目标检测方法 |
CN114757925A (zh) * | 2022-04-22 | 2022-07-15 | 国网陕西省电力有限公司电力科学研究院 | 一种非接触式高压断路器缺陷检测方法及系统 |
CN114782737A (zh) * | 2022-03-24 | 2022-07-22 | 福建亿榕信息技术有限公司 | 一种基于改进残差网络的图像分类方法、设备和存储介质 |
CN115049884A (zh) * | 2022-08-15 | 2022-09-13 | 菲特(天津)检测技术有限公司 | 基于Faster RCNN网络的广义少样本目标检测方法及系统 |
WO2022237139A1 (zh) * | 2021-05-14 | 2022-11-17 | 淮阴工学院 | 一种基于LaneSegNet的车道线检测方法及系统 |
CN115352832A (zh) * | 2022-09-16 | 2022-11-18 | 山东省科学院激光研究所 | 一种皮带撕裂检测方法 |
CN115409797A (zh) * | 2022-08-29 | 2022-11-29 | 上海大学 | 一种基于改进深度学习算法的pcb缺陷图像检测方法 |
US20230055146A1 (en) * | 2021-08-18 | 2023-02-23 | Zhejiang Gongshang University | Methods for recognizing small targets based on deep learning networks |
CN115775236A (zh) * | 2022-11-24 | 2023-03-10 | 广东工业大学 | 基于多尺度特征融合的表面微小缺陷视觉检测方法及系统 |
-
2023
- 2023-03-23 CN CN202310286834.2A patent/CN115993365B/zh active Active
Patent Citations (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140289323A1 (en) * | 2011-10-14 | 2014-09-25 | Cyber Ai Entertainment Inc. | Knowledge-information-processing server system having image recognition system |
US20200104993A1 (en) * | 2018-10-01 | 2020-04-02 | Skc Co., Ltd. | Film defect detection method and system |
CN109543606A (zh) * | 2018-11-22 | 2019-03-29 | 中山大学 | 一种加入注意力机制的人脸识别方法 |
US20200342652A1 (en) * | 2019-04-25 | 2020-10-29 | Lucid VR, Inc. | Generating Synthetic Image Data for Machine Learning |
WO2021115159A1 (zh) * | 2019-12-09 | 2021-06-17 | 中兴通讯股份有限公司 | 文字识别网络模型训练方法、文字识别方法、装置、终端及其计算机存储介质 |
CN111241998A (zh) * | 2020-01-09 | 2020-06-05 | 中移(杭州)信息技术有限公司 | 人脸识别的方法、装置、电子设备和存储介质 |
CN111461213A (zh) * | 2020-03-31 | 2020-07-28 | 华中科技大学 | 一种目标检测模型的训练方法、目标快速检测方法 |
WO2021238826A1 (zh) * | 2020-05-26 | 2021-12-02 | 苏宁易购集团股份有限公司 | 一种实例分割模型的训练方法、装置、实例分割方法 |
WO2021249255A1 (zh) * | 2020-06-12 | 2021-12-16 | 青岛理工大学 | 一种基于RP-ResNet网络的抓取检测方法 |
WO2022017779A2 (en) * | 2020-07-21 | 2022-01-27 | Interdigital Ce Patent Holdings, Sas | Map for augmented reality |
US20220036124A1 (en) * | 2020-07-31 | 2022-02-03 | Sensetime Group Limited | Image processing method and device, and computer-readable storage medium |
CN112329721A (zh) * | 2020-11-26 | 2021-02-05 | 上海电力大学 | 一种模型轻量化设计的遥感小目标检测方法 |
CN113221631A (zh) * | 2021-03-22 | 2021-08-06 | 西安电子科技大学 | 基于卷积神经网络的序列脉冲抗干扰目标检测方法 |
WO2022237139A1 (zh) * | 2021-05-14 | 2022-11-17 | 淮阴工学院 | 一种基于LaneSegNet的车道线检测方法及系统 |
US20230055146A1 (en) * | 2021-08-18 | 2023-02-23 | Zhejiang Gongshang University | Methods for recognizing small targets based on deep learning networks |
CN114494812A (zh) * | 2022-02-16 | 2022-05-13 | 湖南大学 | 一种基于改进CenterNet的图像小目标检测方法 |
CN114782737A (zh) * | 2022-03-24 | 2022-07-22 | 福建亿榕信息技术有限公司 | 一种基于改进残差网络的图像分类方法、设备和存储介质 |
CN114757925A (zh) * | 2022-04-22 | 2022-07-15 | 国网陕西省电力有限公司电力科学研究院 | 一种非接触式高压断路器缺陷检测方法及系统 |
CN115049884A (zh) * | 2022-08-15 | 2022-09-13 | 菲特(天津)检测技术有限公司 | 基于Faster RCNN网络的广义少样本目标检测方法及系统 |
CN115409797A (zh) * | 2022-08-29 | 2022-11-29 | 上海大学 | 一种基于改进深度学习算法的pcb缺陷图像检测方法 |
CN115352832A (zh) * | 2022-09-16 | 2022-11-18 | 山东省科学院激光研究所 | 一种皮带撕裂检测方法 |
CN115775236A (zh) * | 2022-11-24 | 2023-03-10 | 广东工业大学 | 基于多尺度特征融合的表面微小缺陷视觉检测方法及系统 |
Non-Patent Citations (2)
Title |
---|
LIXIN ZHAN 等: "FA-ResNet: Feature affine residual network for large-scale point cloud segmentation", 《INTERNATIONAL JOURNAL OF APPLIED EARTH OBSERVATION AND GEOINFORMATION》, vol. 118, pages 103259 * |
林润超 等: "基于注意力机制和元特征二次重加权的小样本目标检测", 《计算机应用》, vol. 42, no. 10, pages 3025 - 3032 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116883409A (zh) * | 2023-09-08 | 2023-10-13 | 山东省科学院激光研究所 | 一种基于深度学习的输送带缺陷检测方法及系统 |
CN116883409B (zh) * | 2023-09-08 | 2023-11-24 | 山东省科学院激光研究所 | 一种基于深度学习的输送带缺陷检测方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN115993365B (zh) | 2023-06-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109230351B (zh) | 一种皮带输送机运行异常的识别方法 | |
US10319096B2 (en) | Automated tattoo recognition techniques | |
CN115993365B (zh) | 一种基于深度学习的皮带缺陷检测方法及系统 | |
Huang et al. | DMPR-PS: A novel approach for parking-slot detection using directional marking-point regression | |
CN105740910A (zh) | 一种车辆物件检测方法及装置 | |
CN111896540B (zh) | 一种基于区块链的水质在线监测系统 | |
CN113592828B (zh) | 基于工业内窥镜的无损检测方法及系统 | |
CN114926733A (zh) | 一种改进区域卷积神经网络的传送带撕裂检测方法 | |
Jabri et al. | Moving vehicle detection using Haar-like, LBP and a machine learning Adaboost algorithm | |
CN111896541B (zh) | 一种基于区块链的烟气在线监测系统 | |
CN115880674B (zh) | 一种基于无人驾驶矿车的避障转向矫正方法 | |
Wang et al. | Unstructured road detection using hybrid features | |
CN110660049A (zh) | 一种基于深度学习的轮胎缺陷检测方法 | |
CN113657305B (zh) | 一种基于视频的黑烟车辆及林格曼黑度等级智能检测方法 | |
CN111091552A (zh) | 铁路货车折角塞门把手关闭故障图像识别方法 | |
CN111881748B (zh) | 一种基于vbai平台建模的车道线视觉识别方法和系统 | |
CN115352832A (zh) | 一种皮带撕裂检测方法 | |
Wirges et al. | Fast and robust ground surface estimation from LiDAR measurements using uniform B-Splines | |
Chung et al. | Road Pothole Detection Algorithm and Guide Belt Designed for Visually Impaired | |
CN115049600A (zh) | 一种小样本管道缺陷智能识别系统及方法 | |
Bonnin-Pascual et al. | A saliency-boosted corrosion detector for the visual inspection of vessels | |
CN116883409B (zh) | 一种基于深度学习的输送带缺陷检测方法及系统 | |
Evstafev et al. | Detecting and Classifying Surface Defects in Rolled Steel Sheets Using Deep Learning Techniques | |
KR102613160B1 (ko) | 3차원 시맨틱 세그멘테이션 방법 및 이를 실행하기위하여 기록매체에 기록된 컴퓨터 프로그램 | |
Migabo | Design and Implementation of A Smart Traffic Light System for Efficient Traffic Regulation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |