CN117237367A - 一种基于机器视觉的螺旋叶片厚度磨损检测方法及系统 - Google Patents

一种基于机器视觉的螺旋叶片厚度磨损检测方法及系统 Download PDF

Info

Publication number
CN117237367A
CN117237367A CN202311526351.1A CN202311526351A CN117237367A CN 117237367 A CN117237367 A CN 117237367A CN 202311526351 A CN202311526351 A CN 202311526351A CN 117237367 A CN117237367 A CN 117237367A
Authority
CN
China
Prior art keywords
image
abrasion
wear
blade
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311526351.1A
Other languages
English (en)
Other versions
CN117237367B (zh
Inventor
陆剑萍
刘翠凤
叶海乔
秦金涛
沈玉清
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Xinghuo Auto Parts Manufacturing Co ltd
Original Assignee
Jiangsu Xinghuo Auto Parts Manufacturing Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Xinghuo Auto Parts Manufacturing Co ltd filed Critical Jiangsu Xinghuo Auto Parts Manufacturing Co ltd
Priority to CN202311526351.1A priority Critical patent/CN117237367B/zh
Publication of CN117237367A publication Critical patent/CN117237367A/zh
Application granted granted Critical
Publication of CN117237367B publication Critical patent/CN117237367B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)

Abstract

本发明公开了一种基于机器视觉的螺旋叶片厚度磨损检测方法及系统,用于机械零件检测领域,该方法包括以下步骤:获取原始图像序列;识别原始图像序列中的异常情况,构建包含各类磨损情况的磨损规则库;提取螺旋叶片中的图像特征,判断叶片是否存在磨损以及磨损类型和磨损程度;利用机器学习算法训练机器学习预测模型,并预测叶片的磨损发展情况;将判断的结果和预测的结果进行综合,并生成磨损报告,制定维修方案;提取维修后叶片图像数据,反馈给机器学习预测模型,完善磨损规则库。本发明利用聚类算法进行图像分割,可以更好地定位特征区域,构建特征向量表达图像信息,降低后续处理的复杂度。

Description

一种基于机器视觉的螺旋叶片厚度磨损检测方法及系统
技术领域
本发明涉及机械零件检测领域,具体来说,尤其涉及一种基于机器视觉的螺旋叶片厚度磨损检测方法及系统。
背景技术
螺旋叶片是一种重要的旋转机械部件,广泛应用于飞机发动机、汽轮机、水泵等设备中。螺旋叶片的作用是将动能转化为压力能。当气流或流体通过叶片时,叶片以螺旋形的角度引导气流或流体的方向,转换其动能,产生压力以驱动整台机器运转。在长期使用过程中,螺旋叶片会因受力不均、腐蚀、磨损、裂纹等原因导致性能下降。严重时可能出现叶片断裂事故。因此需要对螺旋叶片进行定期检测和维护。检测的目的是发现叶片表面或内部的缺陷,评估磨损程度,判断是否需要维修或更换。手工目检效率低下,难以发现微小缺陷。因此迫切需要自动化的检测方法。目前常用的螺旋叶片检测技术包括:激光扫描检测外形变化,机器视觉检测表面缺陷,涡流流量检测内部缺陷,超声波探伤检测内部微裂纹等。这需要对叶片进行多角度扫描,获取充分的图像信息。
但是现有技术中,传统检测方式依赖人工经验,效率低下,无法满足大规模应用的需求,且以往算法对图像变换、不同磨损情况的鲁棒性较差,容易漏检或误检,此外,传统做法无法有效判断磨损类型和预测磨损发展趋势,存在检测盲区,未知磨损情况无法有效处理,以往结果分析依赖人工经验,维修方案制定缺乏依据。
针对相关技术中的问题,目前尚未提出有效的解决方案。
发明内容
为了克服以上问题,本发明旨在提出一种基于机器视觉的螺旋叶片厚度磨损检测方法及系统,目的在于解决传统检测方式依赖人工经验,效率低下,无法满足大规模应用的需求,且以往算法对图像变换、不同磨损情况的鲁棒性较差,容易漏检或误检的问题。
为此,本发明采用的具体技术方案如下:
根据本发明的一个方面,提供了一种基于机器视觉的螺旋叶片厚度磨损检测方法,该螺旋叶片厚度磨损检测方法包括以下步骤:
S1、利用多相机模组对螺旋叶片进行多角度拍摄,获取原始图像序列;
S2、识别原始图像序列中的异常情况,对异常情况进行分类,并构建包含各类磨损情况的磨损规则库;
S3、提取螺旋叶片中的图像特征,并将螺旋叶片中的图像特征与磨损规则库进行匹配,判断叶片是否存在磨损以及磨损类型和磨损程度;
S4、若在匹配过程中,发现叶片有未知类别的磨损,则将磨损的区域图像保存为新样本,并标注磨损类别;
若匹配结果判断存在严重磨损,但历史的特征数据对比正常,则输出预警,提示进行复核检验,并判断磨损发展趋势;
S5、根据磨损类型和磨损程度,利用机器学习算法训练机器学习预测模型,并预测叶片的磨损发展情况;
S6、将判断的结果和预测的结果进行综合,并生成磨损报告,记录磨损位置、类别、程度和未来发展趋势,同时标注磨损区域,制定维修方案;
S7、获取维修方案,并提取维修后叶片图像数据,同时反馈给机器学习预测模型,完善磨损规则库。
可选地,利用多相机模组对螺旋叶片进行多角度拍摄,获取原始图像序列包括以下步骤:
S11、利用多相机模组对螺旋叶片进行多角度同步拍摄,获取多个角度的原始图像序列;
S12、对原始图像序列中的图像进行灰度化处理,得到灰度图像;
S13、在灰度图像上,采用Sobel算子计算每个像素点的边缘梯度和方向,并采用局部梯度均值法进行局部增强,同时设置阈值过滤,得到增强后的梯度特征图像;
S14、对增强后的梯度特征图像进行细化处理,突出真实边缘线;
S15、对细化处理后的梯度特征图像进行二值化处理,确定边缘点;
S16、将相邻的边缘点连接成连通域,得到最终的边缘特征图像。
可选地,识别原始图像序列中的异常情况,对异常情况进行分类,并构建包含各类磨损情况的磨损规则库包括以下步骤:
S21、构建自动编码器网络,使用深度特征进行原始图像序列的图像重建;
S22、计算边缘特征图像和重建图像之间的误差,将重建效果异常的区域作为候选异常区域;
S23、使用区域卷积神经网络对候选异常区域进行分割,确定候选异常区域的具体形状;
S24、构建卷积神经网络分类模型,使用候选异常区域的具体形状作为输入,并输出异常类别;
S25、标注异常类别中不同类型的异常情况,生成异常类别数据集;
S26、使用异常类别数据集训练卷积神经网络分类模型,构建异常类别到对应磨损规则的映射关系,形成磨损规则库。
可选地,提取螺旋叶片中的图像特征,并将螺旋叶片中的图像特征与磨损规则库进行匹配,判断叶片是否存在磨损以及磨损类型和磨损程度包括以下步骤:
S31、使用SIFT算法检测边缘特征图像的关键点,计算关键点的方向直方图特征;
S32、结合颜色特征和纹理特征,使用聚类算法对螺旋叶片图像进行分割,得到包含不同特征的区域;
S33、计算每个区域的特征值,并将每个区域的特征值组合成特征向量,作为螺旋叶片图像的特征表示;
S34、在磨损规则库中,为每一种磨损类别预先设置对应的特征模板;
S35、计算图像特征向量与每个磨损类别特征模板之间的欧式距离;
S36、将距离最小的磨损类别,作为识别结果,若距离超过预设阈值,则判断为未知磨损;
S37、根据识别结果,查询对应磨损类别的定量损伤程度范围,作为最终的判断结果。
可选地,使用SIFT算法检测边缘特征图像的关键点,计算关键点的方向直方图特征包括以下步骤:
S311、使用高斯差分函数检测边缘特征图像中的Harris角点作为关键点,降低特征点数量;
S312、利用关键点邻域内的区域灰度差异均值作为特征描述子,降低描述子生成的计算复杂度;
S313、将区域灰度差异均值直接连接成特征向量,保留区域差异的正负性,增强描述子鲁棒性;
S314、使用特征描述子的绝对值距离进行快速匹配,再用RANSAC过滤误匹配点。
可选地,使用高斯差分函数检测边缘特征图像中的Harris角点作为关键点,降低特征点数量包括以下步骤:
S3111、对输入的边缘特征图像进行高斯平滑处理;
S3112、对每个像素点计算梯度幅值,构建每个像素点的梯度协方差矩阵;
S3113、计算每个像素点的Harris响应值,对Harris响应值进行非极大值抑制,定位角点;
S3114、设定阈值,选择Harris响应值大于阈值的像素点作为Harris角点;
S3115、对每个Harris角点计算邻域梯度直方图,确定角点主方向,获得降低数量的Harris角点及主方向信息;
其中,所述每个像素点的Harris响应值的计算公式为:
式中,表示Harris响应值;
表示M矩阵的行列式;
表示M矩阵的迹;
表示常数。
可选地,利用关键点邻域内的区域灰度差异均值作为特征描述子,降低描述子生成的计算复杂度包括以下步骤:
S3121、在关键点的邻域区域内,均匀分布采样若干子区域;
S3122、计算每一个子区域,并获取子区域与关键点的平均灰度差异;
S3123、将所有子区域的平均灰度差异连接成向量,并作为关键点的特征描述子;
S3124、对描述子向量进行归一化处理;
所述子区域的计算公式为:
式中,表示第/>个子区域与关键点的平均灰度差异;
表示子区域内第/>个像素的灰度值;
表示灰度值;
表示子区域内总像素数。
可选地,根据磨损类型和磨损程度,利用机器学习算法训练机器学习预测模型,并预测叶片的磨损发展情况包括以下步骤:
S51、收集叶片的图像数据,对图像进行标注,标注内容包括磨损类型和磨损程度,构建数据集;
S52、使用卷积神经网络模型对叶片图像数据进行特征提取,获取每个叶片图像的特征向量;
S53、构建图像分类模型,输入为叶片图像的特征向量,输出为对应的磨损类型;
S54、构建回归预测模型,输入为叶片图像的特征向量,输出为对应的磨损程度;
S55、使用构建好的含标注的数据集训练分类模型和回归预测模型;
S56、对新输入的无标注叶片图像,进行特征提取并得到特征向量;
S57、将新叶片图像的特征向量输入已训练好的分类模型,得到图像的预测磨损类型;
S58、将新叶片图像的特征向量输入已训练好的回归模型,得到图像的预测磨损程度;
S59、根据预测得到的磨损类型和磨损程度,确定新叶片的磨损发展趋势。
可选地,将判断的结果和预测的结果进行综合,并生成磨损报告,记录磨损位置、类别、程度和未来发展趋势,同时标注磨损区域,制定维修方案包括以下步骤:
S61、将图像检测算法得到的具体磨损位置坐标、磨损类别及磨损面积占比结果,集成到标准化的报告模板中;
S62、在报告模板对应的位置,绘制磨损区域的边界框标注,并写明分类结果;
S63、将机器学习回归模型预测得到的未来不同时间段内磨损面积增长数据,以折线图形式插入报告;
S64、根据当前磨损状态和未来发展预测,提出更换叶片或涂层补充的具体维修方案;
S65、参考磨损发展预测数据,确定维修方案的紧迫程度和建议维修时间节点;
S66、将磨损检测结果、预测信息、维修建议和计划统一集成到报告文档中;
S67、在报告开头用表格总结磨损关键信息,同时开发报告数据库查询和发送功能,方便结果共享和管理。
根据本发明的另一个方面,还提供了一种基于机器视觉的螺旋叶片厚度磨损检测系统,该基于机器视觉的螺旋叶片厚度磨损检测系统包括:图像获取模块、图像分析模块、特征提取模块、异常处理模块、磨损预测模块、综合分析模块及模型优化模块;
图像获取模块,利用多相机模组对螺旋叶片进行多角度拍摄,获取原始图像序列;
图像分析模块,用于识别原始图像序列中的异常情况,对异常情况进行分类,并构建包含各类磨损情况的磨损规则库;
特征提取模块,用于提取螺旋叶片中的图像特征,并将螺旋叶片中的图像特征与磨损规则库进行匹配,判断叶片是否存在磨损以及磨损类型和磨损程度;
异常处理模块,若在匹配过程中,发现叶片有未知类别的磨损,则将磨损的区域图像保存为新样本,并标注磨损类别;
若匹配结果判断存在严重磨损,但历史的特征数据对比正常,则输出预警,提示进行复核检验,并判断磨损发展趋势;
磨损预测模块,根据磨损类型和磨损程度,利用机器学习算法训练机器学习预测模型,并预测叶片的磨损发展情况;
综合分析模块,用于将判断的结果和预测的结果进行综合,并生成磨损报告,记录磨损位置、类别、程度和未来发展趋势,同时标注磨损区域,制定维修方案;
模型优化模块,用于获取维修方案,并提取维修后叶片图像数据,同时反馈给机器学习预测模型,完善磨损规则库。
相较于现有技术,本申请具有以下有益效果:
1、本发明多相机拍摄可以获取目标的多角度信息,更全面地反映目标情况,采用不同的相机阵列布局,可以根据实际需求进行优化,图像序列进行后处理,可以提升结果的质量,选择不同的相机类型,可以获得更好的拍摄效果,通过优化拍摄方案,可以大幅提高结果。
2、本发明使用深度学习方法,可以自动高效地进行图像识别,结合自动编码器网络和区域卷积网络,可以有效识别各类异常,构建异常类别数据集,可以持续优化网络的识别能力,建立异常到规则的映射关系,实现自动化生成规则库,采用端到端的深度网络结构,避免多个模块之间的隔阂;本发明采用SIFT算法提取图像特征,该算法具有旋转、尺度不变性,提高了特征的鲁棒性;结合颜色、纹理等信息进行特征表达,使特征更具区分性。
3、本发明利用聚类算法进行图像分割,可以更好地定位特征区域,构建特征向量表达图像信息,降低后续处理的复杂度,设置磨损类别的特征模板,实现特征匹配的目标化,采用欧式距离度量特征相似度,算法简单有效,设置阈值判断未知类别,使系统具有一定的容错性,与规则库匹配获取定量判定结果,使结果更具解释性,Harris角点检测降低特征点数量,提高检测效率,区域灰度差异均值特征简化描述子生成,保留差异正负性信息,增强特征鲁棒性,RANSAC过滤提高匹配准确率。
4、本发明保存未知类别样本,持续扩充样本库,提高检测覆盖面,输出预警提示人工复核,避免误报,结合历史数据判断趋势,评估风险,增加新视角重新采集,减少误报概率,将复核反馈给规则库,持续优化,且多模式展示报告,提高可读性,云存储和权限控制,方便结果利用,与企业系统集成,推动自动化维修,评估备件需求,提前准备,收集反馈结果,持续优化,分析报告制定维修策略,建立闭环反馈流程,持续优化。
附图说明
结合实施例的以下描述,本发明的上述特性、特征和优点及其实现方式和方法变得更明白易懂,实施例结合附图详细阐述。在此以示意图示出:
图1是根据本发明实施例的一种基于机器视觉的螺旋叶片厚度磨损检测方法的流程图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
根据本发明的实施例,提供了一种基于机器视觉的螺旋叶片厚度磨损检测方法及系统。
现结合附图和具体实施方式对本发明进一步说明,如图1所示,根据本发明的一个实施例,提供了一种基于机器视觉的螺旋叶片厚度磨损检测方法,该螺旋叶片厚度磨损检测方法包括以下步骤:
S1、利用多相机模组对螺旋叶片进行多角度拍摄,获取原始图像序列。
优选地,所述利用多相机模组对螺旋叶片进行多角度拍摄,获取原始图像序列包括以下步骤:
S11、利用多相机模组对螺旋叶片进行多角度同步拍摄,获取多个角度的原始图像序列;
S12、对原始图像序列中的图像进行灰度化处理,得到灰度图像;
S13、在灰度图像上,采用Sobel算子计算每个像素点的边缘梯度和方向,并采用局部梯度均值法进行局部增强,同时设置阈值过滤,得到增强后的梯度特征图像;
S14、对增强后的梯度特征图像进行细化处理,突出真实边缘线;
S15、对细化处理后的梯度特征图像进行二值化处理,确定边缘点;
S16、将相邻的边缘点连接成连通域,得到最终的边缘特征图像。
需要解释说明的是,多相机拍摄可采用不同的阵列布局,常见的有环形阵列、球形阵列等。环形阵列简单可靠,有利于获取全方位图像。而球形阵列覆盖视野更广,可以提供更丰富的图像数据。图像序列的后期处理也会影响结果。可以采用图像配准算法,通过特征匹配的方式消除不同视角间的偏差。也可以应用深度学习方法,训练网络直接从多视角图像中学习提取三维结构信息。此外,不同类型的相机也会影响效果。较高速度摄像机有利于捕捉高速旋转对象的图像序列。而高动态范围相机则可以提供更丰富的图像细节。综上所述,多相机拍摄可通过优化阵列布局、图像处理算法、相机性能等来获得更好的结果。这需要根据具体场景需求进行设计和选择。
S2、识别原始图像序列中的异常情况,对异常情况进行分类,并构建包含各类磨损情况的磨损规则库。
优选地,所述识别原始图像序列中的异常情况,对异常情况进行分类,并构建包含各类磨损情况的磨损规则库包括以下步骤:
S21、构建自动编码器网络,使用深度特征进行原始图像序列的图像重建;
S22、计算边缘特征图像和重建图像之间的误差,将重建效果异常的区域作为候选异常区域;
S23、使用区域卷积神经网络对候选异常区域进行分割,确定候选异常区域的具体形状;
S24、构建卷积神经网络分类模型,使用候选异常区域的具体形状作为输入,并输出异常类别;
S25、标注异常类别中不同类型的异常情况,生成异常类别数据集;
S26、使用异常类别数据集训练卷积神经网络分类模型,构建异常类别到对应磨损规则的映射关系,形成磨损规则库。
需要解释说明的是,在构建自动编码器时,编码器网络结构设计会影响重建效果。采用更深层的网络可以提取图像的高级语义特征,有利于重建正常图像区域。而解码器网络通常采用对称卷积结构,以获得更精细的重建结果。区域卷积神经网络中,使用位置注意力机制可以使网络自动关注异常区域的特征。而引入上下文信息,则可以帮助网络利用周边正常区域进行判断。在训练分类模型时,可采用在线难样本挖掘机制。识别出易被错误分类的异常样本,并增加其权重,使模型更加关注这些难以区分的异常情况。综上所述,自动编码器、区域卷积网络和分类模型的结构优化,以及训练策略的设计,都可以提升异常情况检测与分类的效果。
S3、提取螺旋叶片中的图像特征,并将螺旋叶片中的图像特征与磨损规则库进行匹配,判断叶片是否存在磨损以及磨损类型和磨损程度。
优选地,所述提取螺旋叶片中的图像特征,并将螺旋叶片中的图像特征与磨损规则库进行匹配,判断叶片是否存在磨损以及磨损类型和磨损程度包括以下步骤:
S31、使用SIFT算法检测边缘特征图像的关键点,计算关键点的方向直方图特征;
S32、结合颜色特征和纹理特征,使用聚类算法对螺旋叶片图像进行分割,得到包含不同特征的区域;
S33、计算每个区域的特征值,并将每个区域的特征值组合成特征向量,作为螺旋叶片图像的特征表示;
S34、在磨损规则库中,为每一种磨损类别预先设置对应的特征模板;
S35、计算图像特征向量与每个磨损类别特征模板之间的欧式距离;
S36、将距离最小的磨损类别,作为识别结果,若距离超过预设阈值,则判断为未知磨损;
S37、根据识别结果,查询对应磨损类别的定量损伤程度范围,作为最终的判断结果。
优选地,所述使用SIFT算法检测边缘特征图像的关键点,计算关键点的方向直方图特征包括以下步骤:
S311、使用高斯差分函数检测边缘特征图像中的Harris角点作为关键点,降低特征点数量;
S312、利用关键点邻域内的区域灰度差异均值作为特征描述子,降低描述子生成的计算复杂度;
S313、将区域灰度差异均值直接连接成特征向量,保留区域差异的正负性,增强描述子鲁棒性;
S314、使用特征描述子的绝对值距离进行快速匹配,再用RANSAC过滤误匹配点。
优选地,所述使用高斯差分函数检测边缘特征图像中的Harris角点作为关键点,降低特征点数量包括以下步骤:
S3111、对输入的边缘特征图像进行高斯平滑处理;
S3112、对每个像素点计算梯度幅值,构建每个像素点的梯度协方差矩阵;
S3113、计算每个像素点的Harris响应值,对Harris响应值进行非极大值抑制,定位角点;
S3114、设定阈值,选择Harris响应值大于阈值的像素点作为Harris角点;
S3115、对每个Harris角点计算邻域梯度直方图,确定角点主方向,获得降低数量的Harris角点及主方向信息;
其中,所述每个像素点的Harris响应值的计算公式为:
式中,表示Harris响应值;
表示M矩阵的行列式;
表示M矩阵的迹;
表示常数。
优选地,所述利用关键点邻域内的区域灰度差异均值作为特征描述子,降低描述子生成的计算复杂度包括以下步骤:
S3121、在关键点的邻域区域内,均匀分布采样若干子区域;
S3122、计算每一个子区域,并获取子区域与关键点的平均灰度差异;
S3123、将所有子区域的平均灰度差异连接成向量,并作为关键点的特征描述子;
S3124、对描述子向量进行归一化处理;
所述子区域的计算公式为:
式中,表示第/>个子区域与关键点的平均灰度差异;
表示子区域内第/>个像素的灰度值;
表示灰度值;
表示子区域内总像素数。
需要解释说明的是,SIFT(Scale-Invariant Feature Transform)算法即尺度不变换特征算法,除了常见的尺度空间极值点检测外,还可以结合深度学习方法自动学习更优的关键点检测器,使得关键点分布更均匀、数量适中。区域灰度差异均值特征简单易行,但对光照变化敏感。可以结合图像分割,使每个子区域内光照相对统一,提高鲁棒性。也可以引入颜色SIFT等颜色特征,增加特征表达的信息量。在构建特征模板时,可以采用增量学习算法,使用新类别样本扩展模板,而不需要重新训练整个模型,使规则库易于更新。匹配阶段也可以引入语义约束,如匹配的两图像对应同一场景,则可限制只匹配特定类别。这可以减少搜索范围,提高匹配准确率。综上所述,特征提取、表达和匹配都是可以进行扩展与优化的方向,以获得更好的磨损检测效果。
S4、若在匹配过程中,发现叶片有未知类别的磨损,则将磨损的区域图像保存为新样本,并标注磨损类别;
若匹配结果判断存在严重磨损,但历史的特征数据对比正常,则输出预警,提示进行复核检验,并判断磨损发展趋势。
需要解释说明的是,发现未知类别磨损时,除了保存样本外,还需要及时更新规则库,使用增量学习方法,避免频繁重新训练整个模型。标注未知类别样本时,可以引入交互式标注系统,提供图像分割与类别选择功能,提高标注效率。输出预警时,可以将异常匹配结果可视化显示,辅助进行复核,直观判断匹配错误的原因。判定磨损发展趋势时,需要结合历史数据分析磨损演变速率,评估当前严重磨损情况下后续发展的风险程度。复核过程中,可以增加针对性的再次图像采集,获取更多视角,进行深入分析,减少误报。也可以将复核结果反馈给规则库,调整匹配策略,降低类似错误匹配的概率
S5、根据磨损类型和磨损程度,利用机器学习算法训练机器学习预测模型,并预测叶片的磨损发展情况。
优选地,所述根据磨损类型和磨损程度,利用机器学习算法训练机器学习预测模型,并预测叶片的磨损发展情况包括以下步骤:
S51、收集叶片的图像数据,对图像进行标注,标注内容包括磨损类型和磨损程度,构建数据集;
S52、使用卷积神经网络模型对叶片图像数据进行特征提取,获取每个叶片图像的特征向量;
S53、构建图像分类模型,输入为叶片图像的特征向量,输出为对应的磨损类型;
S54、构建回归预测模型,输入为叶片图像的特征向量,输出为对应的磨损程度;
S55、使用构建好的含标注的数据集训练分类模型和回归预测模型;
S56、对新输入的无标注叶片图像,进行特征提取并得到特征向量;
S57、将新叶片图像的特征向量输入已训练好的分类模型,得到图像的预测磨损类型;
S58、将新叶片图像的特征向量输入已训练好的回归模型,得到图像的预测磨损程度;
S59、根据预测得到的磨损类型和磨损程度,确定新叶片的磨损发展趋势。
需要解释说明的是,在构建数据集时,可以使用数据增强技术扩充样本量,如旋转、翻转、添加噪声等可以模拟图像采集过程中的各种变化情况。特征提取时,可以预训练通用的特征提取网络,也可以针对工业损伤特征微调网络,提高特征表达的区分性。两类模型可以集成到一个网络中进行端到端训练,共享特征提取模块,减少冗余计算。也可以采用集成学习,组合多个模型的预测,进行投票或加权,提高结果稳定性。预测趋势时,不仅要给出定性结果,还需要确定定量的变化速率,预测不同时间段的磨损程度数值。持续新增数据进行增量学习,会使模型更快适应新情况,也可以检测模型性能,避免模型老化。综上所述,机器学习系统也需要不断优化和更新,才能持续满足工业应用的需求。
S6、将判断的结果和预测的结果进行综合,并生成磨损报告,记录磨损位置、类别、程度和未来发展趋势,同时标注磨损区域,制定维修方案。
优选地,所述将判断的结果和预测的结果进行综合,并生成磨损报告,记录磨损位置、类别、程度和未来发展趋势,同时标注磨损区域,制定维修方案包括以下步骤:
S61、将图像检测算法得到的具体磨损位置坐标、磨损类别及磨损面积占比结果,集成到标准化的报告模板中;
S62、在报告模板对应的位置,绘制磨损区域的边界框标注,并写明分类结果;
S63、将机器学习回归模型预测得到的未来不同时间段内磨损面积增长数据,以折线图形式插入报告;
S64、根据当前磨损状态和未来发展预测,提出更换叶片或涂层补充的具体维修方案;
S65、参考磨损发展预测数据,确定维修方案的紧迫程度和建议维修时间节点;
S66、将磨损检测结果、预测信息、维修建议和计划统一集成到报告文档中;
S67、在报告开头用表格总结磨损关键信息,同时开发报告数据库查询和发送功能,方便结果共享和管理。
需要解释说明的是,报告可采用多模式展示,如在数字报告的基础上,增加交互式的3D可视化界面,通过多维的视角展示磨损情况。报告数据库可进行云存储,并提供基于角色的访问控制,不同用户可获得不同的使用权限。可将报告数据与企业资源计划(ERP)系统集成,推送给相关人员,触发自动化的维修工作流。维修方案中可以增加对备件需求评估,并结合库存管理系统,提前进行备件采购或生产。可以建立报告数据与维修结果的反馈闭环,收集维修后效果数据,用于模型优化。利用报告数据的统计分析,可以总结常见磨损模式,为设计优化提供依据。
S7、获取维修方案,并提取维修后叶片图像数据,同时反馈给机器学习预测模型,完善磨损规则库。
需要解释说明的是,维修后图像中可能出现新的磨损模式,可以增加检测算法的类别,使规则库涵盖更多变化情况。维修图像中也包含大量正常状态下的图像信息,可以用来增强和补充正常样本,提升模型判断的准确性。反馈样本中可能存在检测或预测错误情况,这些错误样本对模型优化很有价值,可以加强模型对这类情况的学习。可以记录每次维修的操作步骤、使用材料等信息,提供维修方案优化的依据。可以统计不同维修方案的长期效果,为制定维修计划提供参考依据。建立闭环反馈流程,使系统在检测、预测、维修及优化中不断演进,逐步接近最优状态。
根据本发明的另一个实施例,还提供了一种基于机器视觉的螺旋叶片厚度磨损检测系统,该基于机器视觉的螺旋叶片厚度磨损检测系统包括:图像获取模块、图像分析模块、特征提取模块、异常处理模块、磨损预测模块、综合分析模块及模型优化模块;
所述图像获取模块,利用多相机模组对螺旋叶片进行多角度拍摄,获取原始图像序列;
所述图像分析模块,用于识别原始图像序列中的异常情况,对异常情况进行分类,并构建包含各类磨损情况的磨损规则库;
所述特征提取模块,用于提取螺旋叶片中的图像特征,并将螺旋叶片中的图像特征与磨损规则库进行匹配,判断叶片是否存在磨损以及磨损类型和磨损程度;
所述异常处理模块,若在匹配过程中,发现叶片有未知类别的磨损,则将磨损的区域图像保存为新样本,并标注磨损类别;
若匹配结果判断存在严重磨损,但历史的特征数据对比正常,则输出预警,提示进行复核检验,并判断磨损发展趋势;
所述磨损预测模块,根据磨损类型和磨损程度,利用机器学习算法训练机器学习预测模型,并预测叶片的磨损发展情况;
所述综合分析模块,用于将判断的结果和预测的结果进行综合,并生成磨损报告,记录磨损位置、类别、程度和未来发展趋势,同时标注磨损区域,制定维修方案;
所述模型优化模块,用于获取维修方案,并提取维修后叶片图像数据,同时反馈给机器学习预测模型,完善磨损规则库。
综上所述,借助于本发明的上述技术方案,本发明多相机拍摄可以获取目标的多角度信息,更全面地反映目标情况,采用不同的相机阵列布局,可以根据实际需求进行优化,图像序列进行后处理,可以提升结果的质量,选择不同的相机类型,可以获得更好的拍摄效果,通过优化拍摄方案,可以大幅提高结果;本发明使用深度学习方法,可以自动高效地进行图像识别,结合自动编码器网络和区域卷积网络,可以有效识别各类异常,构建异常类别数据集,可以持续优化网络的识别能力,建立异常到规则的映射关系,实现自动化生成规则库,采用端到端的深度网络结构,避免多个模块之间的隔阂;本发明采用SIFT算法提取图像特征,该算法具有旋转、尺度不变性,提高了特征的鲁棒性;结合颜色、纹理等信息进行特征表达,使特征更具区分性;利用聚类算法进行图像分割,可以更好地定位特征区域,构建特征向量表达图像信息,降低后续处理的复杂度,设置磨损类别的特征模板,实现特征匹配的目标化,采用欧式距离度量特征相似度,算法简单有效,设置阈值判断未知类别,使系统具有一定的容错性,与规则库匹配获取定量判定结果,使结果更具解释性,Harris角点检测降低特征点数量,提高检测效率,区域灰度差异均值特征简化描述子生成,保留差异正负性信息,增强特征鲁棒性,RANSAC过滤提高匹配准确率;本发明保存未知类别样本,持续扩充样本库,提高检测覆盖面,输出预警提示人工复核,避免误报,结合历史数据判断趋势,评估风险,增加新视角重新采集,减少误报概率,将复核反馈给规则库,持续优化,且多模式展示报告,提高可读性,云存储和权限控制,方便结果利用,与企业系统集成,推动自动化维修,评估备件需求,提前准备,收集反馈结果,持续优化,分析报告制定维修策略,建立闭环反馈流程,持续优化。
虽然本发明已以较佳实施例揭示如上,然所述实施例仅为了便于说明而举例而已,并非用以限定本发明,本领域的技术人员在不脱离本发明精神和范围的前提下可作若干的更动与润饰,本发明所主张的保护范围应以权利要求书所述为准。

Claims (10)

1.一种基于机器视觉的螺旋叶片厚度磨损检测方法,其特征在于,该螺旋叶片厚度磨损检测方法包括以下步骤:
S1、利用多相机模组对螺旋叶片进行多角度拍摄,获取原始图像序列;
S2、识别原始图像序列中的异常情况,对异常情况进行分类,并构建包含各类磨损情况的磨损规则库;
S3、提取螺旋叶片中的图像特征,并将螺旋叶片中的图像特征与磨损规则库进行匹配,判断叶片是否存在磨损以及磨损类型和磨损程度;
S4、若在匹配过程中,发现叶片有未知类别的磨损,则将磨损的区域图像保存为新样本,并标注磨损类别;
若匹配结果判断存在严重磨损,但历史的特征数据对比正常,则输出预警,提示进行复核检验,并判断磨损发展趋势;
S5、根据磨损类型和磨损程度,利用机器学习算法训练机器学习预测模型,并预测叶片的磨损发展情况;
S6、将判断的结果和预测的结果进行综合,并生成磨损报告,记录磨损位置、类别、程度和未来发展趋势,同时标注磨损区域,制定维修方案;
S7、获取维修方案,并提取维修后叶片图像数据,同时反馈给机器学习预测模型,完善磨损规则库。
2.根据权利要求1所述的一种基于机器视觉的螺旋叶片厚度磨损检测方法,其特征在于,所述利用多相机模组对螺旋叶片进行多角度拍摄,获取原始图像序列包括以下步骤:
S11、利用多相机模组对螺旋叶片进行多角度同步拍摄,获取多个角度的原始图像序列;
S12、对原始图像序列中的图像进行灰度化处理,得到灰度图像;
S13、在灰度图像上,采用Sobel算子计算每个像素点的边缘梯度和方向,并采用局部梯度均值法进行局部增强,同时设置阈值过滤,得到增强后的梯度特征图像;
S14、对增强后的梯度特征图像进行细化处理,突出真实边缘线;
S15、对细化处理后的梯度特征图像进行二值化处理,确定边缘点;
S16、将相邻的边缘点连接成连通域,得到最终的边缘特征图像。
3.根据权利要求2所述的一种基于机器视觉的螺旋叶片厚度磨损检测方法,其特征在于,所述识别原始图像序列中的异常情况,对异常情况进行分类,并构建包含各类磨损情况的磨损规则库包括以下步骤:
S21、构建自动编码器网络,使用深度特征进行原始图像序列的图像重建;
S22、计算边缘特征图像和重建图像之间的误差,将重建效果异常的区域作为候选异常区域;
S23、使用区域卷积神经网络对候选异常区域进行分割,确定候选异常区域的具体形状;
S24、构建卷积神经网络分类模型,使用候选异常区域的具体形状作为输入,并输出异常类别;
S25、标注异常类别中不同类型的异常情况,生成异常类别数据集;
S26、使用异常类别数据集训练卷积神经网络分类模型,构建异常类别到对应磨损规则的映射关系,形成磨损规则库。
4.根据权利要求3所述的一种基于机器视觉的螺旋叶片厚度磨损检测方法,其特征在于,所述提取螺旋叶片中的图像特征,并将螺旋叶片中的图像特征与磨损规则库进行匹配,判断叶片是否存在磨损以及磨损类型和磨损程度包括以下步骤:
S31、使用SIFT算法检测边缘特征图像的关键点,计算关键点的方向直方图特征;
S32、结合颜色特征和纹理特征,使用聚类算法对螺旋叶片图像进行分割,得到包含不同特征的区域;
S33、计算每个区域的特征值,并将每个区域的特征值组合成特征向量,作为螺旋叶片图像的特征表示;
S34、在磨损规则库中,为每一种磨损类别预先设置对应的特征模板;
S35、计算图像特征向量与每个磨损类别特征模板之间的欧式距离;
S36、将距离最小的磨损类别,作为识别结果,若距离超过预设阈值,则判断为未知磨损;
S37、根据识别结果,查询对应磨损类别的定量损伤程度范围,作为最终的判断结果。
5.根据权利要求4所述的一种基于机器视觉的螺旋叶片厚度磨损检测方法,其特征在于,所述使用SIFT算法检测边缘特征图像的关键点,计算关键点的方向直方图特征包括以下步骤:
S311、使用高斯差分函数检测边缘特征图像中的Harris角点作为关键点,降低特征点数量;
S312、利用关键点邻域内的区域灰度差异均值作为特征描述子,降低描述子生成的计算复杂度;
S313、将区域灰度差异均值直接连接成特征向量,保留区域差异的正负性,增强描述子鲁棒性;
S314、使用特征描述子的绝对值距离进行快速匹配,再用RANSAC过滤误匹配点。
6.根据权利要求5所述的一种基于机器视觉的螺旋叶片厚度磨损检测方法,其特征在于,所述使用高斯差分函数检测边缘特征图像中的Harris角点作为关键点,降低特征点数量包括以下步骤:
S3111、对输入的边缘特征图像进行高斯平滑处理;
S3112、对每个像素点计算梯度幅值,构建每个像素点的梯度协方差矩阵;
S3113、计算每个像素点的Harris响应值,对Harris响应值进行非极大值抑制,定位角点;
S3114、设定阈值,选择Harris响应值大于阈值的像素点作为Harris角点;
S3115、对每个Harris角点计算邻域梯度直方图,确定角点主方向,获得降低数量的Harris角点及主方向信息;
其中,所述每个像素点的Harris响应值的计算公式为:
式中,表示Harris响应值;
表示M矩阵的行列式;
表示M矩阵的迹;
表示常数。
7.根据权利要求6所述的一种基于机器视觉的螺旋叶片厚度磨损检测方法,其特征在于,所述利用关键点邻域内的区域灰度差异均值作为特征描述子,降低描述子生成的计算复杂度包括以下步骤:
S3121、在关键点的邻域区域内,均匀分布采样若干子区域;
S3122、计算每一个子区域,并获取子区域与关键点的平均灰度差异;
S3123、将所有子区域的平均灰度差异连接成向量,并作为关键点的特征描述子;
S3124、对描述子向量进行归一化处理;
所述子区域的计算公式为:
式中,表示第/>个子区域与关键点的平均灰度差异;
表示子区域内第/>个像素的灰度值;
表示灰度值;
表示子区域内总像素数。
8.根据权利要求1所述的一种基于机器视觉的螺旋叶片厚度磨损检测方法,其特征在于,所述根据磨损类型和磨损程度,利用机器学习算法训练机器学习预测模型,并预测叶片的磨损发展情况包括以下步骤:
S51、收集叶片的图像数据,对图像进行标注,标注内容包括磨损类型和磨损程度,构建数据集;
S52、使用卷积神经网络模型对叶片图像数据进行特征提取,获取每个叶片图像的特征向量;
S53、构建图像分类模型,输入为叶片图像的特征向量,输出为对应的磨损类型;
S54、构建回归预测模型,输入为叶片图像的特征向量,输出为对应的磨损程度;
S55、使用构建好的含标注的数据集训练分类模型和回归预测模型;
S56、对新输入的无标注叶片图像,进行特征提取并得到特征向量;
S57、将新叶片图像的特征向量输入已训练好的分类模型,得到图像的预测磨损类型;
S58、将新叶片图像的特征向量输入已训练好的回归模型,得到图像的预测磨损程度;
S59、根据预测得到的磨损类型和磨损程度,确定新叶片的磨损发展趋势。
9.根据权利要求8所述的一种基于机器视觉的螺旋叶片厚度磨损检测方法,其特征在于,所述将判断的结果和预测的结果进行综合,并生成磨损报告,记录磨损位置、类别、程度和未来发展趋势,同时标注磨损区域,制定维修方案包括以下步骤:
S61、将图像检测算法得到的具体磨损位置坐标、磨损类别及磨损面积占比结果,集成到标准化的报告模板中;
S62、在报告模板对应的位置,绘制磨损区域的边界框标注,并写明分类结果;
S63、将机器学习回归模型预测得到的未来不同时间段内磨损面积增长数据,以折线图形式插入报告;
S64、根据当前磨损状态和未来发展预测,提出更换叶片或涂层补充的具体维修方案;
S65、参考磨损发展预测数据,确定维修方案的紧迫程度和建议维修时间节点;
S66、将磨损检测结果、预测信息、维修建议和计划统一集成到报告文档中;
S67、在报告开头用表格总结磨损关键信息,同时开发报告数据库查询和发送功能,方便结果共享和管理。
10.一种基于机器视觉的螺旋叶片厚度磨损检测系统,用于实现权利要求1-9中任一项所述的基于机器视觉的螺旋叶片厚度磨损检测方法,其特征在于,该基于机器视觉的螺旋叶片厚度磨损检测系统包括:图像获取模块、图像分析模块、特征提取模块、异常处理模块、磨损预测模块、综合分析模块及模型优化模块;
所述图像获取模块,利用多相机模组对螺旋叶片进行多角度拍摄,获取原始图像序列;
所述图像分析模块,用于识别原始图像序列中的异常情况,对异常情况进行分类,并构建包含各类磨损情况的磨损规则库;
所述特征提取模块,用于提取螺旋叶片中的图像特征,并将螺旋叶片中的图像特征与磨损规则库进行匹配,判断叶片是否存在磨损以及磨损类型和磨损程度;
所述异常处理模块,若在匹配过程中,发现叶片有未知类别的磨损,则将磨损的区域图像保存为新样本,并标注磨损类别;
若匹配结果判断存在严重磨损,但历史的特征数据对比正常,则输出预警,提示进行复核检验,并判断磨损发展趋势;
所述磨损预测模块,根据磨损类型和磨损程度,利用机器学习算法训练机器学习预测模型,并预测叶片的磨损发展情况;
所述综合分析模块,用于将判断的结果和预测的结果进行综合,并生成磨损报告,记录磨损位置、类别、程度和未来发展趋势,同时标注磨损区域,制定维修方案;
所述模型优化模块,用于获取维修方案,并提取维修后叶片图像数据,同时反馈给机器学习预测模型,完善磨损规则库。
CN202311526351.1A 2023-11-16 2023-11-16 一种基于机器视觉的螺旋叶片厚度磨损检测方法及系统 Active CN117237367B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311526351.1A CN117237367B (zh) 2023-11-16 2023-11-16 一种基于机器视觉的螺旋叶片厚度磨损检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311526351.1A CN117237367B (zh) 2023-11-16 2023-11-16 一种基于机器视觉的螺旋叶片厚度磨损检测方法及系统

Publications (2)

Publication Number Publication Date
CN117237367A true CN117237367A (zh) 2023-12-15
CN117237367B CN117237367B (zh) 2024-02-23

Family

ID=89084860

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311526351.1A Active CN117237367B (zh) 2023-11-16 2023-11-16 一种基于机器视觉的螺旋叶片厚度磨损检测方法及系统

Country Status (1)

Country Link
CN (1) CN117237367B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117826658A (zh) * 2024-01-18 2024-04-05 杭州七所科技有限公司 一种燃汽轮机叶轮水洗模块的控制系统
CN118154613A (zh) * 2024-05-13 2024-06-07 浙江石化阀门有限公司 基于机器视觉的低温蝶阀表面缺陷检测方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200056501A1 (en) * 2018-08-17 2020-02-20 Rolls-Royce Plc Method of detecting rotor blade damage
CN112288135A (zh) * 2020-09-29 2021-01-29 南京航空航天大学 一种基于图像识别的风扇叶片疲劳极限衰减智能监测方法
WO2022077605A1 (zh) * 2020-10-15 2022-04-21 青岛理工大学 一种风力机叶片图像损伤检测和定位方法
DE202022105962U1 (de) * 2022-10-21 2022-11-04 Varsha Prabhakar Gaikwad Ein System zur Erkennung von Blattschäden auf der Grundlage der Form
CN115311196A (zh) * 2022-06-15 2022-11-08 上海工程技术大学 一种多视觉融合的风力发电机叶片表面缺陷检测方法
CN115575104A (zh) * 2022-09-16 2023-01-06 浙江大学 基于逆有限元重构图像识别的风机叶片损伤快速检测方法
CN116402764A (zh) * 2023-03-16 2023-07-07 河海大学 基于图像处理的风电机组叶片多类型损伤检测方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200056501A1 (en) * 2018-08-17 2020-02-20 Rolls-Royce Plc Method of detecting rotor blade damage
CN112288135A (zh) * 2020-09-29 2021-01-29 南京航空航天大学 一种基于图像识别的风扇叶片疲劳极限衰减智能监测方法
WO2022077605A1 (zh) * 2020-10-15 2022-04-21 青岛理工大学 一种风力机叶片图像损伤检测和定位方法
CN115311196A (zh) * 2022-06-15 2022-11-08 上海工程技术大学 一种多视觉融合的风力发电机叶片表面缺陷检测方法
CN115575104A (zh) * 2022-09-16 2023-01-06 浙江大学 基于逆有限元重构图像识别的风机叶片损伤快速检测方法
DE202022105962U1 (de) * 2022-10-21 2022-11-04 Varsha Prabhakar Gaikwad Ein System zur Erkennung von Blattschäden auf der Grundlage der Form
CN116402764A (zh) * 2023-03-16 2023-07-07 河海大学 基于图像处理的风电机组叶片多类型损伤检测方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
孙淑媛 等: "风力发电机叶片表面损伤监测系统的设计研究", 节能技术与应用, no. 7, 31 December 2020 (2020-12-31), pages 113 - 114 *
王一博 等: "基于机器视觉的风力机叶片损伤检测系统", 科学技术与工程, vol. 22, no. 12, 31 December 2022 (2022-12-31), pages 4879 - 4886 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117826658A (zh) * 2024-01-18 2024-04-05 杭州七所科技有限公司 一种燃汽轮机叶轮水洗模块的控制系统
CN118154613A (zh) * 2024-05-13 2024-06-07 浙江石化阀门有限公司 基于机器视觉的低温蝶阀表面缺陷检测方法及系统

Also Published As

Publication number Publication date
CN117237367B (zh) 2024-02-23

Similar Documents

Publication Publication Date Title
CN117237367B (zh) 一种基于机器视觉的螺旋叶片厚度磨损检测方法及系统
Haurum et al. A survey on image-based automation of CCTV and SSET sewer inspections
Chen et al. A texture‐based video processing methodology using Bayesian data fusion for autonomous crack detection on metallic surfaces
CN111368690B (zh) 基于深度学习的海浪影响下视频图像船只检测方法及系统
CN113592845A (zh) 一种电池涂布的缺陷检测方法及装置、存储介质
Zipfel et al. Anomaly detection for industrial quality assurance: A comparative evaluation of unsupervised deep learning models
CN115516500A (zh) 基于自动编码器和聚类的异常检测
Devereux et al. A new approach for crack detection and sizing in nuclear reactor cores
CN118176522A (zh) 用于生成分割掩码的方法和系统
CN114663687A (zh) 模型训练方法、目标识别方法、装置、设备及存储介质
Rayhana et al. Automated defect-detection system for water pipelines based on CCTV inspection videos of autonomous robotic platforms
CN113705564A (zh) 一种指针式仪表识别读数方法
CN117893195A (zh) 一种车辆故障排查和维修方法及系统
CN113778091A (zh) 一种风电场升压站设备巡检方法
CN117649515A (zh) 一种基于数字孪生的半监督3d目标检测方法、系统和设备
CN112200777A (zh) 快速判别航空发动机核心零部件装置拆装顺序的方法
CN114581440B (zh) 一种基于图像识别快速定位泄漏点的方法
Shishkin et al. Implementation of yolov5 for detection and classification of microplastics and microorganisms in marine environment
Li et al. Serial number inspection for ceramic membranes via an end-to-end photometric-induced convolutional neural network framework
Vilgertshofer et al. Recognising railway infrastructure elements in videos and drawings using neural networks
Hu et al. A weighted multi‐source domain adaptation approach for surface defect detection
WO2022251905A1 (en) Method and system for surface deformation detection
Li et al. Surface Defect Detection of Seals Based on K‐Means Clustering Algorithm and Particle Swarm Optimization
Robotyshyn et al. Surface defect detection based on deep learning approach.
Xu et al. A multitarget visual attention based algorithm on crack detection of industrial explosives

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant