CN115112509A - 一种基于Mask R-CNN网络的材料表面压痕测量方法 - Google Patents

一种基于Mask R-CNN网络的材料表面压痕测量方法 Download PDF

Info

Publication number
CN115112509A
CN115112509A CN202210516635.1A CN202210516635A CN115112509A CN 115112509 A CN115112509 A CN 115112509A CN 202210516635 A CN202210516635 A CN 202210516635A CN 115112509 A CN115112509 A CN 115112509A
Authority
CN
China
Prior art keywords
indentation
mask
network
picture
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210516635.1A
Other languages
English (en)
Other versions
CN115112509B (zh
Inventor
印峰
尹家智
潘佳豪
廖光年
李明珠
谢青松
黄欣
王星喨
肖雄兵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiangtan University
Original Assignee
Xiangtan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiangtan University filed Critical Xiangtan University
Priority to CN202210516635.1A priority Critical patent/CN115112509B/zh
Publication of CN115112509A publication Critical patent/CN115112509A/zh
Application granted granted Critical
Publication of CN115112509B publication Critical patent/CN115112509B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N3/00Investigating strength properties of solid materials by application of mechanical stress
    • G01N3/40Investigating hardness or rebound hardness
    • G01N3/42Investigating hardness or rebound hardness by performing impressions under a steady load by indentors, e.g. sphere, pyramid
    • G01N3/46Investigating hardness or rebound hardness by performing impressions under a steady load by indentors, e.g. sphere, pyramid the indentors performing a scratching movement
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2203/00Investigating strength properties of solid materials by application of mechanical stress
    • G01N2203/0058Kind of property studied
    • G01N2203/0076Hardness, compressibility or resistance to crushing
    • G01N2203/0078Hardness, compressibility or resistance to crushing using indentation
    • G01N2203/0082Indentation characteristics measured during load
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2203/00Investigating strength properties of solid materials by application of mechanical stress
    • G01N2203/02Details not specific for a particular testing method
    • G01N2203/06Indicating or recording means; Sensing means
    • G01N2203/0641Indicating or recording means; Sensing means using optical, X-ray, ultraviolet, infrared or similar detectors
    • G01N2203/0647Image analysis

Landscapes

  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种Mask R‑CNN网络的材料表面压痕测量方法,包括以下步骤:步骤一:采集多个样本在显微镜下的压痕图片与操作参数,预处理后构建训练样本集;步骤二:搭建一个基于MaskR‑CNN的神经网络,利用步骤一中的训练样本集对神经网络进行训练,得到优质网络模型;步骤三:加载优质网络模型,输入压痕图片得到压痕类别、压痕目标框和压痕形状,将压痕目标框做相应数学转换,得到压痕的真实长度。本发明鲁棒性高,与现有方法相比,不仅能精确测量压痕长度,还能同时识别压痕类别和提取压痕具体形状。

Description

一种基于Mask R-CNN网络的材料表面压痕测量方法
技术领域
本发明涉及材料硬度测量领域,尤其涉及一种基于Mask R-CNN网络的材料表面压痕测量方法。
背景技术
硬度是衡量材料硬度和柔软度的力学指标,表示在表面的局部体积内抵抗变形的能力。根据试验方法和适应范围的不同,硬度单位可分为布氏硬度、维氏硬度和洛氏硬度等。常用的布氏、维氏等硬度试验法,需要对正四菱体金刚石或硬质合金球施加试验力压入试样表面,经规定保持时间后,卸除试验力,通过显微镜获取相应的压痕图像样本,人工读取压痕的对角线或直径的长度,然后查表求得硬度值。传统的硬度试验法不仅耗费较大的人力成本,同时增加误测、漏测的可能性,且仅限获得测量压痕长度,不能提供压痕的整体形状。而根据压痕形状可以了解被测金属的特性,有助于缩短质检流程。
因此,如何实现精确、快速、同步地实现压痕长度测量与形状提取,是目前需要解决的问题。
发明内容
本发明通过采集显微镜下的压痕图像,利用设计的一种基于Mask R-CNN网络的压痕测量方法,可同步完成压痕的长度测量与形状提取。
本方法采用的技术方案如下:
一种基于Mask R-CNN网络的材料表面压痕测量方法,其特征在于,包括以下步骤:
步骤一:采集多个样本在显微镜下的压痕图片与操作参数,预处理后构建训练样本集;
步骤二:搭建一个基于Mask R-CNN的神经网络,利用步骤一中的训练样本集对神经网络进行训练,得到优质网络模型;
步骤三:加载优质网络模型,将压痕图片输入得到压痕类别、压痕目标框和压痕形状,将压痕目标框做相应数学转换,得到压痕的真实长度;
进一步的,本发明的所述步骤一具体包括:
将多个样本进行维氏、布氏硬度试验,获得原始压痕图片样本,保存压痕类别、图片长Hraw、图片宽Wraw、图像比例尺scale等参数。其中维氏硬度试验压痕使用Vickers表示,布氏硬度试验压痕使用Brinell表示;
使用labelme软件对原始压痕图片采用多边形的方式标注压痕轮廓,得到包含原始图片、压痕形状和类别的JSON文件;
然后,将JSON文件转为训练需要的COCO数据集格式的图片和标注文件,按比例构建训练集和验证集;
进一步的,本发明的所述步骤二具体包括:
搭建一个基于Mask R-CNN的神经网络,其中包括带有特征金字塔的ResNet 101网络、区域推荐网络RPN、ROI Align层、分类与回归分支和掩膜分支等;
其中,主干网络采用带有特征金字塔网络的ResNet 101网络,ResNet 101表示层数为101的深度残差神经网络,特征金字塔网络采用自顶向下的结构和横向链接,用来融合具有高分辨率的浅层特征和具有丰富语义信息的深层特征,从而快速构建在所有尺度上都具有强语义信息的特征金字塔。通过带有特征金字塔网络的ResNet 101网络,可以生成四种不同尺寸的特征图;
区域推荐网络主要用于生成候选框,即带有前景、背景和包围框信息的区域。通过在特征图中使用滑动窗口遍历,生成若干个瞄框,计算每个瞄框与目标框相交区域的面积比率,过滤掉分类分数低的瞄框,完成对背景与目标的二分类,最终得到所需要的候选框;
ROI Align层在池化时采用双线性插值计算坐标值为浮点数的像素点值,将区域推荐网络生成并筛选后的框所对应的区域转变成特定大小的特征图;
分类与回归分支是将归一化的感兴趣区域传入全连接层中,利用神经网络训练,预测生成图像的分类与目标框;
掩膜分支将归一化的感兴趣区域传入全连接层中,利用神经网络训练,预测生成目标的掩膜;
利用步骤一中的训练样本集对上述Mask R-CNN神经网络进行训练,得到优质网络模型。为了加快运行和特征学习速度,特征提取网络采用从ImageNet数据集获得的预训练权重进行模型微调;在训练过程中,采用随机梯度算法与多任务损失函数L进行算法优化;
多任务损失函数L=Lcls+Lbbox+Lmask,其中Lcls即分类损失,Lbbox即回归框损失,Lmask即分割损失。
进一步的,本发明的所述步骤三具体包括:
加载步骤二得到的优质网络模型,将压痕图片输入得到压痕类别、压痕目标框和压痕形状。压痕类别中Vickers表示维氏硬度试验压痕,Brinell表示布氏硬度试验压痕。压痕形状由压痕目标框包围,根据获得压痕的长度与宽度Lengthh和Lengthw其单位为像素;输出的图片长为Hpre,宽为Wpre;从原始操作文件中获取图像比例尺scale,获取实际比例尺在显微图像中对应的像素scalepixel,从而将相应的压痕长度转换为实际长度:
Figure BDA0003633930260000031
本发明提供的基于Mask R-CNN网络的材料表面压痕测量方法,与现有方法相比有以下优点:
(1)本发明提供的基于Mask R-CNN网络的材料表面压痕测量方法,本发明采用神经网络进行硬度测量,拥有更强的鲁棒性;
(2)本发明提供的基于Mask R-CNN网络的材料表面压痕测量方法,能在测量材料硬度压痕长度的同时提取出压痕形状和压痕类别,极大的方便了实际测量使用。
附图说明
下面将结合附图及实施例对本发明作进一步说明,附图中:
图1示出了本发明实施例中的一种Mask R-CNN网络的材料表面压痕测量方法的原始图片和预测后输出图片。
图2是本发明实施例中的流程示意图。
图3示出了本发明的方法中应用到的Mask R-CNN网络示意图。
具体实施方式
为了使本发明的目的及技术方案更加清楚明白,以下结合附图和实施例,对本发明的应用原理作详细的描述。但本发明的保护范围并不限于以下具体实施例。
除非另有定义,下文中所使用的所有专业术语与本领域技术人员通常理解含义相同。本文中所使用的专业术语只是为了描述具体实施例的目的,并不是旨在限制本发明的保护范围。
实施例1:
如图1、图2、图3所示,本发明提供一种基于Mask R-CNN网络的材料表面压痕测量方法具体步骤如下:
步骤一:采集多个样本在显微镜下的压痕图片与操作参数,预处理后构建训练样本集;
步骤二:搭建一个基于Mask R-CNN的神经网络,利用步骤一中的训练样本集对神经网络进行训练,得到优质网络模型;
步骤三:加载优质网络模型,将压痕图片输入得到压痕类别、压痕目标框和压痕形状,将压痕目标框做相应数学转换,得到压痕的真实长度;
进一步的,本发明的所述步骤一具体包括:
将多个样本进行维氏、布氏硬度试验,获得原始压痕图片样本,保存压痕类别、图片长Hraw、图片宽Wraw、图像比例尺scale等参数。其中维氏硬度试验压痕使用Vickers表示,布氏硬度试验压痕使用Brinell表示;
使用labelme软件对原始压痕图片采用多边形的方式标注压痕轮廓,得到包含原始图片、压痕形状和类别的JSON文件;
然后,将JSON文件转为训练需要的COCO数据集格式的图片和标注文件,按比例构建训练集和验证集;
进一步的,本发明的所述步骤二具体包括:
搭建一个基于Mask R-CNN的神经网络,其中包括带有特征金字塔的ResNet 101网络、区域推荐网络RPN、ROI Align层、分类与回归分支和掩膜分支等;
其中,主干网络采用带有特征金字塔网络的ResNet 101网络,其中ResNet 101表示层数为101的深度残差神经网络,特征金字塔网络采用自顶向下的结构和横向链接,用来融合具有高分辨率的浅层特征和具有丰富语义信息的深层特征,从而快速构建在所有尺度上都具有强语义信息的特征金字塔。通过带有特征金字塔网络的ResNet 101网络,可以生成P2、P3、P4、P5、P6五种不同尺寸的特征图;
区域推荐网络主要用于生成候选框,即带有前景、背景和包围框信息的区域。通过公式计算决定使用的特征图层次:
Figure BDA0003633930260000041
其中,224表示用于预训练的ImageNet图片的大小,w和h表示感兴趣区域ROI的长和宽,k0表示面积为w×h=224×224的ROI所在的层级,k为最后求得的特征图层次。如将k0设置成4,即w×h= 224×224的ROI应该从P4中选择;
通过在特征图中使用滑动窗口遍历,生成若干个瞄框,计算每个瞄框与目标框相交区域的面积比率,过滤掉分类分数低的瞄框,完成对背景与目标的二分类,最终得到所需要的候选框;
ROI Align层在池化时采用双线性插值计算坐标值为浮点数的像素点值,将区域推荐网络生成并筛选后的框所对应的区域转变成特定大小的特征图;
分类与回归分支是将归一化的感兴趣区域传入全连接层中,利用神经网络训练,预测生成图像的分类与目标框;
掩膜分支将归一化的感兴趣区域传入全连接层中,利用神经网络训练,预测生成目标的掩膜;
利用步骤一中的训练样本集对上述Mask R-CNN神经网络进行训练,得到优质网络模型。为了加快运行和特征学习速度,特征提取网络采用从ImageNet数据集获得的预训练权重进行模型微调;在训练过程中,采用随机梯度算法与多任务损失函数L进行算法优化;
多任务损失函数L=Lcls+Lbbox+Lmask,其中Lcls即分类损失,Lbbox即回归框损失,Lmask即分割损失;
进一步的,本发明的所述步骤三具体包括:
加载步骤二得到的优质网络模型,将压痕图片输入得到压痕类别、压痕目标框和压痕形状。压痕形状由压痕目标框包围,根据获得压痕的长度与宽度Lengthh和Lengthw其单位为像素;输出的图片长为Hpre,宽为Wpre;从原始操作文件中获取图像比例尺scale,获取实际比例尺在显微图像中对应的像素scalepixel,从而将相应的压痕长度转换为实际长度:
Figure BDA0003633930260000051
参考文献
1.He,Kaiming,Georgia Gkioxari,Piotr Dollár,and Ross Girshick."Mask r-cnn."In Proceedings of the IEEE international conference on computer vision,pp.2961-2969.2017.
2.Ren,Shaoqing,Kaiming He,Ross Girshick,and Jian Sun."Faster r-cnn:Towards real-time object detection with region proposal networks."Advances inneural information processing systems 28(2015)。

Claims (4)

1.一种基于Mask R-CNN网络的材料表面压痕测量方法,其特征在于,该方法包括以下步骤:
步骤一:采集多个样本在显微镜下的压痕图片与操作参数,预处理后构建训练样本集;
步骤二:搭建一个基于Mask R-CNN的神经网络,利用步骤一中的训练样本集对神经网络进行训练,得到优质网络模型;
步骤三:加载优质网络模型,将压痕图片输入得到压痕类别、压痕目标框和压痕形状,将压痕目标框做相应数学转换,得到压痕的真实长度。
2.根据权利要求1所述的基于Mask R-CNN网络的材料表面压痕测量方法,其特征在于,所述步骤一具体包括:
将多个样本进行维氏、布氏硬度试验,获得原始压痕图片样本,保存压痕类别、图片长Hraw、图片宽Wraw、图像比例尺scale等参数。其中维氏硬度试验压痕使用Vickers表示,布氏硬度试验压痕使用Brinell表示;
使用labelme软件对原始压痕图片采用多边形的方式标注压痕轮廓,得到包含原始图片、压痕形状和类别的JSON文件;
然后,将JSON文件转为训练需要的COCO数据集格式的图片和标注文件,按比例构建训练集和验证集。
3.根据权利要求1所述的基于Mask R-CNN网络的材料表面压痕测量方法,其特征在于,所述步骤二具体包括:
搭建一个基于Mask R-CNN的深度神经网络,其中包括带有特征金字塔FPN的ResNet101网络、区域建议网络RPN、ROI Align层、分类与回归分支和掩膜分支等;
利用步骤一中的训练样本集对上述Mask R-CNN神经网络进行训练,得到优质网络模型。为了加快运行和特征学习速度,特征提取网络采用从MS COCO数据集获得的预训练权重进行模型微调;在训练过程中,采用随机梯度算法与多任务损失函数L进行算法优化;
多任务损失函数L=Lcls+Lbbox+Lmask,其中Lcls即分类损失,Lbbox即回归框损失,Lmask即分割损失。
4.根据权利要求1所述的基于Mask R-CNN网络的材料表面压痕测量方法,其特征在于,所述步骤三具体包括:
加载步骤二得到的优质网络模型,将压痕图片输入得到压痕类别、压痕目标框和压痕形状;
输出结果中Vickers表示为维氏硬度试验压痕,Brinell表示为布氏硬度试验压痕;
压痕由目标框包围,维氏硬度试验压痕为菱形,布氏硬度试验压痕为圆形;
根据目标框获得压痕的长度Lengthh与宽度Lengthw,单位均为像素;输出的图片长为Hpre,宽为Wpre,单位均为像素,计算出压痕的平均长度:
Figure FDA0003633930250000021
从原始操作文件中获取图像比例尺scale,获取实际比例尺在显微图像中对应的像素scalepixel,从而计算出压痕的实际长度:
Figure FDA0003633930250000022
CN202210516635.1A 2022-05-09 2022-05-09 一种基于Mask R-CNN网络的材料表面压痕测量方法 Active CN115112509B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210516635.1A CN115112509B (zh) 2022-05-09 2022-05-09 一种基于Mask R-CNN网络的材料表面压痕测量方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210516635.1A CN115112509B (zh) 2022-05-09 2022-05-09 一种基于Mask R-CNN网络的材料表面压痕测量方法

Publications (2)

Publication Number Publication Date
CN115112509A true CN115112509A (zh) 2022-09-27
CN115112509B CN115112509B (zh) 2024-06-11

Family

ID=83326453

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210516635.1A Active CN115112509B (zh) 2022-05-09 2022-05-09 一种基于Mask R-CNN网络的材料表面压痕测量方法

Country Status (1)

Country Link
CN (1) CN115112509B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115471713A (zh) * 2022-10-27 2022-12-13 成都理工大学 基于卷积神经网络的页岩草莓状黄铁矿粒径测量方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020263358A1 (en) * 2019-06-24 2020-12-30 Nanyang Technological University Machine learning techniques for estimating mechanical properties of materials
CN112528913A (zh) * 2020-12-18 2021-03-19 中山艾尚智同信息科技有限公司 一种基于图像的砂石颗粒物粒径检测分析系统
CN113392849A (zh) * 2021-06-30 2021-09-14 哈尔滨理工大学 一种基于r-cnn的复杂路面裂缝识别方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020263358A1 (en) * 2019-06-24 2020-12-30 Nanyang Technological University Machine learning techniques for estimating mechanical properties of materials
CN112528913A (zh) * 2020-12-18 2021-03-19 中山艾尚智同信息科技有限公司 一种基于图像的砂石颗粒物粒径检测分析系统
CN113392849A (zh) * 2021-06-30 2021-09-14 哈尔滨理工大学 一种基于r-cnn的复杂路面裂缝识别方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
印峰等: "Automated measurement of vickers hardness using image segmentation with neural", 《MEASUREMENT》, 31 December 2021 (2021-12-31) *
印峰等: "维氏硬度试验中的视觉检测算法研究综述", 《材料导报》, 30 April 2023 (2023-04-30) *
苑丹丹;阎相伊;路丹丹;李宁;: "基于R-FCN深层卷积神经网络的金属冲压件表面缺陷检测", 工程机械, no. 01, 10 January 2020 (2020-01-10) *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115471713A (zh) * 2022-10-27 2022-12-13 成都理工大学 基于卷积神经网络的页岩草莓状黄铁矿粒径测量方法

Also Published As

Publication number Publication date
CN115112509B (zh) 2024-06-11

Similar Documents

Publication Publication Date Title
CN111027547B (zh) 一种针对二维图像中的多尺度多形态目标的自动检测方法
CN111223088B (zh) 一种基于深层卷积神经网络的铸件表面缺陷识别方法
JP6866495B2 (ja) 画像品質の評価方法及び画像品質の評価システム
CN109580630B (zh) 一种机械零部件缺陷的视觉检测方法
CN111402226A (zh) 一种基于级联卷积神经网络的表面疵点检测方法
CN111524135A (zh) 基于图像增强的输电线路细小金具缺陷检测方法及系统
CN111462120A (zh) 一种基于语义分割模型缺陷检测方法、装置、介质及设备
CN111462075B (zh) 一种全切片数字病理图像模糊区域的快速重聚焦方法及系统
CN116012291A (zh) 工业零件图像缺陷检测方法及系统、电子设备和存储介质
CN116883393B (zh) 一种基于无锚框目标检测算法的金属表面缺陷检测方法
CN114743102A (zh) 一种面向家具板材的瑕疵检测方法、系统及装置
CN114332473A (zh) 目标检测方法、装置、计算机设备、存储介质及程序产品
CN115775236A (zh) 基于多尺度特征融合的表面微小缺陷视觉检测方法及系统
CN113469951A (zh) 一种基于级联区域卷积神经网络的轮毂缺陷检测方法
CN108664970A (zh) 一种快速目标检测方法、电子设备、存储介质及系统
CN109584206B (zh) 零件表面瑕疵检测中神经网络的训练样本的合成方法
CN114612664A (zh) 一种基于双边分割网络的细胞核分割方法
Fan et al. Application of YOLOv5 neural network based on improved attention mechanism in recognition of Thangka image defects
CN115112509B (zh) 一种基于Mask R-CNN网络的材料表面压痕测量方法
CN116205876A (zh) 基于多尺度标准化流的无监督笔记本外观缺陷检测方法
CN113763384A (zh) 工业质检中的缺陷检测方法、缺陷检测装置
CN112200766A (zh) 基于区域关联神经网络的工业产品表面缺陷检测方法
CN118115835A (zh) 导光板缺陷小样本数据扩充方法、系统、设备及存储介质
Zhang et al. A deep learning-based approach for the automatic measurement of laser-cladding coating sizes
CN114548250A (zh) 一种基于数据分析的手机外观检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant