CN115631362B - 一种铁器的识别方法及装置 - Google Patents

一种铁器的识别方法及装置 Download PDF

Info

Publication number
CN115631362B
CN115631362B CN202211171970.9A CN202211171970A CN115631362B CN 115631362 B CN115631362 B CN 115631362B CN 202211171970 A CN202211171970 A CN 202211171970A CN 115631362 B CN115631362 B CN 115631362B
Authority
CN
China
Prior art keywords
picture
ironware
identifying
contour
analyte
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211171970.9A
Other languages
English (en)
Other versions
CN115631362A (zh
Inventor
郭劲
刘志成
孙照焱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xndt Technology Co ltd
Original Assignee
Xndt Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xndt Technology Co ltd filed Critical Xndt Technology Co ltd
Priority to CN202211171970.9A priority Critical patent/CN115631362B/zh
Publication of CN115631362A publication Critical patent/CN115631362A/zh
Application granted granted Critical
Publication of CN115631362B publication Critical patent/CN115631362B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种铁器的识别方法及装置，包括：从第一图片中识别待分析物的轮廓，第一图片是X射线灰度图片；根据所述轮廓的长宽比、轮廓的分布关系及灰度，识别铁器的类型；基于空间坐标转换关系将所述轮廓转换到第二图片中，标出第二图片中的待分析物，第二图片是可见光彩色图片或可见光灰度图片；用深度学习网络骨架模型识别所述第二图片中的待分析物的类型。解决了矿石流中难以识别铁器的问题，尤其是小体积的铁器，达到准确识别铁器的效果，大幅提高了铁器在线检测效率。对铁器和矿石数据集的增广处理，增大了深度学习模型的训练样本，提高了模型训练准确率。

Description

一种铁器的识别方法及装置
技术领域
本申请涉及计算机技术领域，尤其涉及一种铁器的识别方法及装置。
背景技术
在矿区生产环节中，矿山设备会因持续生产作业而有不同程度的损耗，并会随机掉落不同形态的铁块。这些铁块来源包括脱落的螺栓螺母等零部件，折断的锚杆、铁片及铁丝等长或薄型铁器，破碎的铁钩、弹簧等大型零件碎裂后产生的铁块，及其他偶然混入的各种铁器。这些铁器会在运输过程中与矿石混杂在一起，并被送往选矿厂。
如果矿石中混杂有铁器，由于铁器或因为硬度过高难以破碎，或尺寸过大难以排出，会对后续破碎设备等造成较大损伤。主要危害包括：易损件损耗；润滑油渗透；主轴断裂等。
目前，区分铁器的方法主要包括：
磁性区分：如通过电磁铁来吸附矿石中掺杂的铁器。当电磁铁到达设定的吸附重量时，可自动将整个电磁铁横向移出皮带上方，并断电放下吸附的铁器。使用这种方式的不足之处在于，矿石必须具有弱磁性或不具有磁性，防止矿石先于铁器被吸附，同时矿石中出现铁器的概率较低，频繁的断电放铁操作不经济。
射线区分：利用X射线透射传送皮带上的矿石产生的透射图片或X射线反射产生的反射图片，提取皮带上逐个物体的轮廓和密度，通过轮廓匹配和前期建立的密度库，判断是否为铁器。该方法适用于区分体积较大或密度区分明显铁器与矿石，但对铁矿石与薄铁片或小铁器之间的区分度较低。
图像区分：在传送皮带上方安装彩色摄像头，并实时采集皮带矿石流图片。通过训练铁器与矿石在彩色图片上的颜色、纹理、形态、反光情况等特征，利用图像分割、目标识别等深度学习算法区分铁器与矿石。该方法适用于区分体积较大的铁器与矿石，但对小体积的矿石和铁器识别不明显。
现存问题主要有：
小体积的铁器与矿石区分不明显。在利用射线区分时，小体积的铁器与矿石对射线的吸收情况相似，轮廓相似，难以直接从透射或反射图片上识别。在利用图像区分时，由于单个小体积铁器或矿石在图片占有面积较低，通常选择不训练单个小体积铁器或矿石，或者将多个小体积铁器或矿石作为一个独立整体进行训练，无法准确区分单个小体积铁器或矿石。
彩色图像铁器识别速度低。只采用彩色图片进行深度学习区分时，识别会受到数据分析设备影响。当采用的数据分析设备不具备独立深度学习算法硬件加速能力时，则识别速度低。
深度学习训练样本数量小。在使用彩色图片进行深度学习区分时，由于铁器形态各不相同，通过小批量数据集训练后的模型只能对常见大型铁器，如锚杆、螺栓、铁片具备识别能力，但对非常见铁器，如铁质设备破碎后产生的碎块、断裂的弹簧等识别能力较低。
发明内容
本申请提出一种铁器的识别方法及装置，解决现有技术中小体积的铁器与矿石不容易区分的问题。
本申请实施例提供一种铁器的识别方法，包括：
从第一图片中识别待分析物的轮廓，第一图片是X射线灰度图片；
根据所述轮廓的长宽比、轮廓的分布关系及灰度，识别铁器的类型；
基于空间坐标转换关系将所述轮廓转换到第二图片中，标出第二图片中的待分析物，第二图片是可见光彩色图片或可见光灰度图片；
用深度学习网络骨架模型识别所述第二图片中的待分析物的类型。
在一些实施例中，在所述从第一图片中识别待分析物的轮廓之前，增强图片的灰度分布。
在一些实施例中，将所述第一图片进行二值化处理，然后腐蚀膨胀，获得待分析物的轮廓。
在一些实施例中，根据所述轮廓的长宽比、轮廓的分布关系及灰度，识别铁器的类型，包含以下至少一个确定条件：
轮廓之间是包含关系；
轮廓的长宽比超出第一设定阈值；
中心像素与背景像素一致；
轮廓内平均灰度与轮廓宽度的比值大于第二设定阈值；
第一图片轮廓内像素灰度与第三图片中对应像素灰度之比的平均值大于第三设定阈值，第三图片为X射线灰度图，且生成第三图片的X射线能量强度低于生成第一图片的X射线能量强度。
在一些实施例中，所述基于空间坐标转换关系将所述轮廓转换到第二图片中，包括：将所述轮廓(X，Y)、比例系数Z、第一图片探测器与第二图片探测器相对位置的空间坐标转换矩阵R、第二图片探测器的外参矩阵K，按下面公式计算出第二图片中的轮廓：
其中，T表示转置，p1表示第一图片探测器所在空间坐标系，p2表示第二图片探测器所在空间坐标系，X表示轮廓上点的横坐标，Y表示表示轮廓上点的纵坐标。
在一些实施例中，所述用深度学习网络骨架模型识别所述第二图片中的待分析物的类型，包括：采用MobileNet v3 large模型，加上一层全连接层，识别的结果类型为铁器或非铁器。
在一些实施例中，在所述用深度学习网络骨架模型识别所述第二图片中的待分析物的类型之前，改变基础训练图片的亮度、对比度、旋转角度、翻转、缩放来增广训练图片。
本申请实施例还提供一种铁器的识别装置，包括：第一提取单元，第一识别单元，第二提取单元，第二识别单元；
第一提取单元，用于从第一图片中识别待分析物的轮廓，第一图片是X射线灰度图片；
第一识别单元，用于根据所述轮廓的长宽比、轮廓的分布关系及灰度，识别铁器的类型；
第二提取单元，用于基于空间坐标转换关系将所述轮廓转换到第二图片中，标出第二图片中的待分析物，第二图片是可见光彩色图片或可见光灰度图片；
第二识别单元，用于用深度学习网络骨架模型识别所述第二图片中的待分析物的类型。
本申请实施例采用的上述至少一个技术方案能够达到以下有益效果：利用第一图片将带有孔洞的铁器、弓形铁器、薄铁器、大块厚铁器直接识别出来，降低后续的深度学习识别铁器的范围；利用第一图片的轮廓数据、轮廓与真实物体之间的比例关系数据、第一图片探测器与第二图片探测器之间的位置数据及第二图片探测器的外参矩阵，可以计算出单个物体在第二图片中的位置，即标出待分析物的位置和轮廓，减少深度学习识别的内容；根据铁器的特征，挑选合适的铁器图片，对其进行数据增广处理后作为训练集，增加了深度学习模型的泛化能力。整体来看，大幅提高了从矿石流中识别出铁器的效率。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本申请实施例提供的一种铁器的识别方法流程图；
图2为本申请实施例提供的一种铁器识别流程示意图；
图3为本申请实施例提供的一种铁器的识别装置结构示意图；
图4为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
以下结合附图，详细说明本申请各实施例提供的技术方案。
如图1所示，本申请实施例提供了一种铁器的识别方法，该方法包括：
S110：从第一图片中识别待分析物的轮廓，第一图片是X射线灰度图片；
第一图片是X射线灰度图片，由第一图片探测器检测到穿透待分析物或被待分析物反射的X射线后生成。
在一实施例中，在从第一图片中识别待分析物的轮廓之前，增强图片的灰度分布。如对图片的灰度进行开方处理，即将原图片像素灰度(范围在0到255)乘以256后再开方取整，这样就将图片的细节由低灰度区增大到中低灰度区；还可用分段函数、log函数增强图片的灰度分布。
在一实施例中，识别待分析物的轮廓，包括：将所述第一图片进行二值化处理，然后腐蚀膨胀，获得待分析物的轮廓。
具体的二值化阈值根据图片的灰度分布确定，也可预设一阈值，当某一像素的灰度值大于阈值时，则该像素二值化处理后的值设为1；某一像素的灰度值小于等于阈值时，则该像素二值化处理后的值设为0。
二值化后再进行腐蚀膨胀操作，将图片的边缘不光滑部分剔除，将物体的边缘细化到像素级别。
S120：根据所述轮廓的长宽比、轮廓的分布关系及灰度，识别铁器的类型；
在一实施例中，根据所述轮廓的长宽比、轮廓的分布关系及灰度，识别铁器的类型，包括：
若轮廓之间是包含关系，则该轮廓对应的物体为带孔铁器；
若轮廓之间是并列关系，则计算轮廓的长宽比，并将计算结果与第一设定阈值对比。如果计算结果超出第一设定阈值，则该轮廓对应物体为棍状铁器；否则，判断中心像素是否与背景像素一致，若一致，则认为对应物体是弓形铁器；若不一致，则计算轮廓内平均灰度与轮廓宽度的比值，并与第二设定阈值比较，若比值大于第二设定阈值，则该轮廓对应物体为薄铁器，否则，获取第三图片，第三图片为X射线灰度图，且生成第三图片的X射线能量强度低于生成第一图片的X射线能量强度，计算第一图片轮廓内像素灰度与第三图片中对应像素灰度之比的平均值，若大于第三设定阈值，则该轮廓对应物体为大块厚铁器。
S130：基于空间坐标转换关系将所述轮廓转换到第二图片中，标出第二图片中的待分析物，第二图片是可见光彩色图片或可见光灰度图片；
第二图片是可见光彩色图片，由第二图片探测器检测到被待分析物反射的可见光后生成的彩色图片。第二图片也可是可见光灰度图片，由第二图片探测器检测被待分析物反射的可见光后生成的灰度图片。
在一实施例中，所述基于空间坐标转换关系将所述轮廓转换到第二图片中，包括：将所述轮廓(X，Y)、比例系数Z、第一图片探测器与第二图片探测器相对位置的空间坐标转换矩阵R、第二图片探测器的外参矩阵K，按下面公式计算出第二图片中的轮廓：
其中，T表示转置，p1表示第一图片探测器所在空间坐标系，p2表示第二图片探测器所在空间坐标系，X表示轮廓上点的横坐标，Y表示表示轮廓上点的纵坐标。
待分析物在第一图片中的轮廓，经转换后，得到待分析物在第二图片上的理论轮廓位置，即从第二图片中分割出待分析物。
S140：用深度学习网络骨架模型识别所述第二图片中的待分析物的类型。在一实施例中，所述用深度学习网络骨架模型识别所述第二图片中的待分析物的类型，包括：采用MobileNet v3 large模型，加上一层全连接层，识别的结果类型为铁器或非铁器。识别中使用的图片特征包括颜色、纹理、阴影、反光及轮廓综合特征。
在一实施例中，在所述用深度学习网络骨架模型识别所述第二图片中的待分析物的类型之前，改变基础训练图片的亮度、对比度、旋转角度、翻转、缩放来增广训练图片。
选择一共385张图片进行训练，其中铁器50张，随机矿石335张。50张铁器中平均包含弓形、棍状、片状三种结构的铁器。
为使模型泛化能力更强，对铁器数据集进行增广处理，增广处理包括以下五种组合方式：
1.随机改变亮度+随机改变对比度+随机水平翻转+随机垂直翻转
2.随机改变亮度+随机改变对比度+随机旋转90°
3.随机改变亮度+随机改变对比度+随机水平翻转+随机剪裁大小和长宽比4.随机改变亮度+随机改变对比度+随机垂直翻转+随机剪裁大小和长宽比5.随机改变亮度+随机改变对比度+随机旋转90°+随机剪裁大小和长宽比
具体的，将初始铁器数据集复制5份。保持初始铁器数据集不变，对第一份铁器数据集备份进行图像变换处理，处理过程为：首先随机改变里面图片的亮度值为随机亮度值，其次随机改变里面图片的对比度为随机对比度，然后随机水平翻转里面图片，最后随机垂直翻转里面的图片。
对第二份铁器数据集备份进行图像变换的处理过程为：首先随机改变里面图片的亮度值为随机亮度值，其次随机改变里面图片的对比度为随机对比度，然后随机逆时针旋转里面图片90°。
对第三份铁器数据集备份进行图像变换的处理过程为：首先随机改变里面图片的亮度值为随机亮度值，其次随机改变里面图片的对比度为随机对比度，然后随机水平翻转里面图片，最后随机对里面的图片进行按比例剪裁和改变长宽比。其中剪裁比例为随机数，数值范围为0.08到1；长宽比为随机数，数值范围为0.75到1.33。
对第四份铁器数据集备份进行图像变换的处理过程为：首先随机改变里面图片的亮度值为随机亮度值，其次随机改变里面图片的对比度为随机对比度，然后随机垂直翻转里面图片，最后随机对里面的图片进行按比例剪裁和改变长宽比。其中剪裁比例为随机数，数值范围为0.08到1；长宽比为随机数，数值范围为0.75到1.33。
对第五份铁器数据集备份进行图像变换的处理过程为：首先随机改变里面图片的亮度值为随机亮度值，其次随机改变里面图片的对比度为随机对比度，然后随机逆时针旋转里面图片90°，最后随机对里面的图片进行按比例剪裁和改变长宽比。其中剪裁比例为随机数，数值范围为0.08到1；长宽比为随机数，数值范围为0.75到1.33。
对铁器数据集增广处理后，铁器数据集数量扩大到原来6倍，总数据集数量变为635张。
对矿石数据集直接进行图像变换处理，但不进行图像备份，处理过程为：首先随机改变里面图片的亮度值为随机亮度值，其次随机改变里面图片的对比度为随机对比度，然后随机水平、垂直翻转里面图片，之后随机逆时针旋转里面图片90°，最后随机对里面的图片进行按比例剪裁和改变长宽比。其中剪裁比例为随机数，数值范围为0.08到1；长宽比为随机数，数值范围为0.75到1.33。
在所有数据集图片经过上述处理后，最后对每一张图片进行放缩处理，使其尺寸达到统一224×224像素。
使用上述增广数据集作为模型训练集，选用深度学习经典骨架模型mobilenet v3large模型，对模型训练2400轮，最终模型损失小于为0.0001。
在第二图片为彩色图片进行识别时，直接载入该模型，并设置模型输入为图片三通道像素数据，即可得到图片的类别代号。
通过以上实施方案得到的识别精度与速度如下表所示：
正确个数 错误个数 总数 正确率/％ 错误率/％ 平均时间ms
纯铁器一组 91 0 91 100 0 1.54
纯铁器二组 61 0 61 100 0 3.94
纯铁器三组 139 3 142 98 2 4.45
纯铁器四组 22 0 22 100 0 3.94
纯矿石一组 1349 59 1408 96 4 5.54
纯矿石二组 3456 198 3654 95 5 3.6
纯矿石三组 1512 79 1591 95 5 4.84
在一些实施例中，用于彩色图片识别的分类模型可由mobilenet v3 large替换为其他骨架模型，包括resnet50、resnet101、mobilenet v2等。通常结构都为多层卷积网络加单层或多层全连接层。
在第二图片为可见光灰度图片进行识别时，首先将可见光灰度图片锐化处理，并将灰度图片根据JET图谱转化为伪彩色图片，将伪彩色图片载入mobilenet v3 large模型中，并设置模型输入为图片像素数据，即可得到图片的类别代号。
通过该实施例可以看出，通过结合第一图片和第二图片的识别，解决了矿石流中难以识别铁器的问题，尤其是小体积的铁器，达到准确识别铁器的效果，大幅提高了铁器在线检测效率。对铁器和矿石数据集的增广处理，增大了深度学习模型的训练样本，提高了模型训练准确率。
需要说明的是，该实施例所提供方法的各步骤的执行主体均可以是同一设备，或者，该方法也由不同设备作为执行主体。比如，S110和S120的执行主体可以为设备1，S130的执行主体可以为设备2；又比如，S110的执行主体可以为设备1，S120和S130的执行主体可以为设备2；等等。
图2是一种铁器的识别流程示意图。
针对铁器与矿石识别，依次通过第一图片识别和第二图片识别流程。当通过第一X射线图片识别为铁器时，则无需继续进行第二图片识别；当识别为矿石时，则继续进行第二图片识别。本实施例中，第一图片为X射线灰度图片，第二图片为彩色图片。
其中对第一图片，采用图像形态学的方法进行识别。
本实施例中，在识别前，先探测高能X射线强度，并进行灰度变换处理，得到第一图片。由于初始的高能X射线图片中的每一个像素值代表射线强度，根据朗伯比尔公式I＝I0exp(-μmρt)，对图片进行灰度变换，公式为μmρt＝-ln(I/I0)，式中μm代表质量吸收系数，ρ代表密度，t代表深度，即物体厚度，I0为初始X射线强度，I为X射线穿透物体后的强度。灰度变换完后每一个像素值是质量吸收系数、密度及厚度的乘积。由于变换后的图片细节集中在低灰度区，因此需要再对变换后的图片进行开方处理，即将原图片像素灰度(范围在0到255)乘以256后再开方取整，这样就将图片的细节由低灰度区增大到中低灰度区。
对处理后的高能X射线图片即第一图片进行二值化及腐蚀膨胀处理，提取每一件待分析物的轮廓位置数据。根据轮廓位置数据，计算出轮廓的长宽比及轮廓与轮廓之间的包含或并列关系。由轮廓长宽比和设定的长宽比阈值，可以从待分析物中识别出锚杆、长螺钉等棍状铁器；由轮廓与轮廓之间的并列及包含关系，可以从待分析物中识别出螺母、带孔金属板等含孔洞的铁器。
利用轮廓位置数据，从包含一个或多个待分析物的第一X射线图片中提取出单个物体。对单个物体的高能X射线图片分析，提取图片中心像素的灰度值，如果灰度值与背景像素的灰度值相同，则可以从待分析物中识别出弓形铁器。
如果中心像素与背景像素值不一致，则利用轮廓位置数据和单个物体的高能X射线灰度图，计算轮廓范围内物体的平均灰度与轮廓宽度的比值。将该比值与设定的阈值进行对比，如果超出设定的阈值，则该轮廓对应的物体为薄铁器。
将单个物体的高能X射线图片即第一图片，及低能X射线即第三图片与该物体的轮廓数据相结合，提取每个物体对应的高能X射线图片与低能X射线图片部分。
单个物体在高能X射线下的质量吸收系数与低能X射线下的质量吸收系数比值为：
式中为高能X射线下待分析物的质量吸收系数，为低能X射线下待分析物的质量吸收系数，IH为高能X射线强度值，IL为低能X射线强度值，I0为X射线初始强度值。其中高能X射线下的质量吸收系数与低能X射线下的质量吸收系数比值只与高低能X射线的能量强度与元素组成有关。
根据公式μmρt＝-ln(I/I0)，获得待分析物的灰度图片。分别在高能X射线和低能X射线照射待分析物获得第一图片和第三图片。由单个物体在高能X射线灰度图片及低能X射线灰度图片中的轮廓内像素灰度之比的平均值，与第三设定阈值作比较，如大于第三设定阈值，该物体被识别为大块厚铁器。
如图2竖直虚线左侧，在对第二图片(彩色图片)进行深度学习识别前，对第二图片探测器即彩色摄像头进行标定处理，经过标定处理，得到摄像头的外参矩阵K以及空间坐标转换矩阵R。将单个物体的轮廓位置数据与比例放缩系数Z相乘，使之与物体的真实尺寸一致。再将其与空间坐标转换矩阵R相乘，将其从第一图片探测器坐标转换为第二图片探测器坐标，得到单个物体在彩色摄像头坐标系下的位置坐标。最后将单个物体在彩色摄像头坐标系下的位置坐标与摄像头的外参矩阵相乘，最终可以得到单个物体在彩色图片中的轮廓数据。其表达式为：
式中比例缩放系数Z与待分析物投影平面和第一图片探测器的位置有关，为常数；R为空间坐标转换矩阵，大小为3×4；为单个物体轮廓在X射线图片的轮廓位置数据，T表示转置，大小为4×n，n表示轮廓中点的数量(如铁器A轮廓由30个点组成，则n为30)；K为摄像头外参矩阵，大小为3×3；[X Y 1]p2为单个物体在第二图片上的轮廓位置数据，大小为n×3。p1表示第一图片探测器所在空间坐标系，p2表示第二图片探测器所在空间坐标系。待分析物在第一图片中的轮廓，经转换后，得到待分析物在第二图片上的理论轮廓位置，即从第二图片中分割出待分析物。
对单个物体的彩色图片进行抗锯齿放缩处理，使其尺寸达到224×224像素。经过放缩处理后的彩色图片，将其作为模型的输入变量。由于铁器与矿石的颜色、纹理、阴影、反光及轮廓综合特征区别较大，因此在深度学习识别过程中，优选的，经过经典骨架模型mobilenet v3 large和加上一层全连接层处理后，会输出1×1000行向量，其中行向量元素的位置编号代表分类编号，即行向量中的第一个元素代表类别1，第二个元素代表类别2，并以此类推。每一个元素的具体值代表识别为该类别的置信度，置信度越高则越有可能是该类别。寻找行向量最大值所对应的位置编号，可以区分是否为铁器。
用于彩色图片识别的深度学习分类模型可由mobilenet v3 large替换为其他骨架模型，包括resnet50、resnet101、mobilenet v2等。通常结构都为多层卷积网络加单层或多层全连接层。
在本实施例中，通过先后分析第一图片和第二图片，实现了铁器的详细识别，尤其提高了小体积铁器的识别能力。
如图3所示，本申请实施例还提供了一种铁器的识别装置，用于实现本申请任一实施例的方法，包括：第一提取单元310，第一识别单元320，第二提取单元330，第二识别单元340；
第一提取单元310，如步骤S110所述，用于从第一图片中识别待分析物的轮廓，第一图片是X射线灰度图片；
第一识别单元320，如步骤S120所述，用于根据所述轮廓的长宽比、轮廓的分布关系及灰度，识别铁器的类型；
第二提取单元330，如步骤S130所述，用于基于空间坐标转换关系将所述轮廓转换到第二图片中，标出第二图片中的待分析物，第二图片是可见光彩色图片或可见光灰度图片；
第二识别单元340，如步骤S140所述，用于用深度学习网络骨架模型识别所述第二图片中的待分析物的类型。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
因此，本申请还提出一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请中任一实施例所述的方法。
进一步地，本申请还提出一种电子设备，包括存储器，处理器及存储在存储器上并可在处理器运行的计算机程序，所述处理器执行所述计算机程序时实现如本申请任一实施例所述的方法。
本申请实施例提供了一种电子设备。图4是本申请实施例提供的一种电子设备的结构示意图。如图4所示，本实施例提供了一种电子设备400，其包括：一个或多个处理器420；存储装置410，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器420运行，使得所述一个或多个处理器420实现本申请实施例所提供的铁器识别方法，该方法包括：
从第一图片中识别待分析物的轮廓，第一图片是X射线灰度图片；
根据所述轮廓的长宽比、轮廓的分布关系及灰度，识别铁器的类型；
基于空间坐标转换关系将所述轮廓转换到第二图片中，标出第二图片中的待分析物，第二图片是可见光彩色图片或可见光灰度图片；
用深度学习网络骨架模型识别所述第二图片中的待分析物的类型。
图4显示的电子设备400仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图4所示，该电子设备400包括处理器420、存储装置410、输入装置430和输出装置440；电子设备中处理器420的数量可以是一个或多个，图4中以一个处理器420为例；电子设备中的处理器420、存储装置410、输入装置430和输出装置440可以通过总线或其他方式连接，图4中以通过总线450连接为例。
存储装置410作为一种计算机可读存储介质，可用于存储软件程序、计算机可运行程序以及模块单元，如本申请实施例中的铁器的识别方法对应的程序指令。
存储装置410可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储装置410可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储装置410可进一步包括相对于处理器420远程设置的存储器，这些远程存储器可以通过网络连接。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置430可用于接收输入的数字、字符信息或语音信息，以及产生与电子设备的用户设置以及功能控制有关的键信号输入。输出装置440可包括显示屏、扬声器等电子设备。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (9)

1.一种铁器的识别方法，其特征在于，包括：
从第一图片中识别待分析物的轮廓，第一图片是X射线灰度图片；
根据所述轮廓的长宽比、轮廓的分布关系及灰度，识别铁器的类型，包括：若轮廓之间是包含关系，则该轮廓对应的物体为带孔铁器；若轮廓之间是并列关系，则计算轮廓的长宽比，并将计算结果与第一设定阈值对比；如果计算结果超出第一设定阈值，则该轮廓对应物体为棍状铁器；否则，判断中心像素是否与背景像素一致，若一致，则认为对应物体是弓形铁器；若不一致，则计算轮廓内平均灰度与轮廓宽度的比值，并与第二设定阈值比较，若比值大于第二设定阈值，则该轮廓对应物体为薄铁器，否则，获取第三图片，第三图片为X射线灰度图，且生成第三图片的X射线能量强度低于生成第一图片的X射线能量强度，计算第一图片轮廓内像素灰度与第三图片中对应像素灰度之比的平均值，若大于第三设定阈值，则该轮廓对应物体为大块厚铁器；
基于空间坐标转换关系将所述轮廓转换到第二图片中，标出第二图片中的待分析物，第二图片是可见光彩色图片或可见光灰度图片；用深度学习网络骨架模型识别所述第二图片中的待分析物的类型为铁器或非铁器；
根据第一图片的识别结果和第二图片的识别结果获得最终识别结果。
2.根据权利要求1所述识别方法，其特征在于，在所述从第一图片中识别待分析物的轮廓之前，增强图片的灰度分布。
3.根据权利要求1所述识别方法，其特征在于，所述识别待分析物的轮廓，包括：将所述第一图片进行二值化处理，然后腐蚀膨胀，获得待分析物的轮廓。
4.根据权利要求1所述识别方法，其特征在于，所述基于空间坐标转换关系将所述轮廓转换到第二图片中，包括：将所述轮廓（X，Y）、比例系数Z、第一图片探测器与第二图片探测器相对位置的空间坐标转换矩阵R、第二图片探测器的外参矩阵K，按下面公式计算出第二图片中的轮廓：
其中，T表示转置，p1表示第一图片探测器所在空间坐标系，p2表示第二图片探测器所在空间坐标系，X表示轮廓上点的横坐标，Y表示表示轮廓上点的纵坐标。
5.根据权利要求1所述识别方法，其特征在于，所述用深度学习网络骨架模型识别所述第二图片中的待分析物的类型，包括：采用MobileNet v3 large模型，加上一层全连接层，识别的类型为铁器或非铁器。
6.根据权利要求1所述识别方法，其特征在于，在所述用深度学习网络骨架模型识别所述第二图片中的待分析物的类型之前，改变基础训练图片的亮度、对比度、旋转角度、翻转、缩放来增广训练图片。
7.一种铁器的识别装置，其特征在于，包括：第一提取单元，第一识别单元，第二提取单元，第二识别单元；
第一提取单元，用于从第一图片中识别待分析物的轮廓，第一图片是X射线灰度图片；
第一识别单元，用于根据所述轮廓的长宽比、轮廓的分布关系及灰度，识别铁器的类型，包括：若轮廓之间是包含关系，则该轮廓对应的物体为带孔铁器；若轮廓之间是并列关系，则计算轮廓的长宽比，并将计算结果与第一设定阈值对比；如果计算结果超出第一设定阈值，则该轮廓对应物体为棍状铁器；否则，判断中心像素是否与背景像素一致，若一致，则认为对应物体是弓形铁器；若不一致，则计算轮廓内平均灰度与轮廓宽度的比值，并与第二设定阈值比较，若比值大于第二设定阈值，则该轮廓对应物体为薄铁器，否则，获取第三图片，第三图片为X射线灰度图，且生成第三图片的X射线能量强度低于生成第一图片的X射线能量强度，计算第一图片轮廓内像素灰度与第三图片中对应像素灰度之比的平均值，若大于第三设定阈值，则该轮廓对应物体为大块厚铁器；
第二提取单元，用于基于空间坐标转换关系将所述轮廓转换到第二图片中，标出第二图片中的待分析物，第二图片是可见光彩色图片或可见光灰度图片；
第二识别单元，用于用深度学习网络骨架模型识别所述第二图片中的待分析物的类型为铁器或非铁器；
根据第一识别单元的识别结果和第二识别单元的识别结果获得最终识别结果。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-6中任一所述的方法。
9.一种电子设备，包括存储器，处理器及存储在存储器上并可在处理器运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-6中任一所述的方法。
CN202211171970.9A 2022-09-26 2022-09-26 一种铁器的识别方法及装置 Active CN115631362B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211171970.9A CN115631362B (zh) 2022-09-26 2022-09-26 一种铁器的识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211171970.9A CN115631362B (zh) 2022-09-26 2022-09-26 一种铁器的识别方法及装置

Publications (2)

Publication Number Publication Date
CN115631362A CN115631362A (zh) 2023-01-20
CN115631362B true CN115631362B (zh) 2024-07-05

Family

ID=84903656

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211171970.9A Active CN115631362B (zh) 2022-09-26 2022-09-26 一种铁器的识别方法及装置

Country Status (1)

Country Link
CN (1) CN115631362B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116934837B (zh) * 2023-09-13 2023-11-24 上海超群检测科技股份有限公司 物体检测处理方法、装置、系统、电子设备及存储介质

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7660453B2 (en) * 2000-10-11 2010-02-09 Imaging Therapeutics, Inc. Methods and devices for analysis of x-ray images
US20060144514A1 (en) * 2005-01-03 2006-07-06 Yongcai Wang Polarizing plate laminated with an improved glue composition and a method of manufacturing the same
CN103228436B (zh) * 2010-09-20 2016-03-16 费德罗-莫格尔动力系公司 具有粘合的无纺层和生物可降解树脂纤维层的复合板及其构造方法
US11006690B2 (en) * 2013-02-01 2021-05-18 Nike, Inc. System and method for analyzing athletic activity
CN104748746B (zh) * 2013-12-29 2017-11-03 刘进 智能机姿态测定及虚拟现实漫游方法
KR101549101B1 (ko) * 2014-02-21 2015-09-01 공주대학교 산학협력단 사철 제련방법 및 이에 따라 제조된 철괴
KR101613418B1 (ko) * 2014-05-29 2016-04-21 주식회사 고영테크놀러지 옵티컬 트래킹 시스템 및 옵티컬 트래킹 시스템의 마커부 자세 및 위치 산출방법
US9582739B2 (en) * 2014-11-18 2017-02-28 Harry Friedbert Padubrin Learning contour identification system using portable contour metrics derived from contour mappings
CN104463899B (zh) * 2014-12-31 2017-09-22 北京格灵深瞳信息技术有限公司 一种目标对象检测、监控方法及其装置
CA2898513A1 (en) * 2015-07-27 2017-01-27 Stephan HEATH Methods, products, and systems relating to making, providing, and using nanocrystalline (nc) products comprising nanocrystalline cellulose (ncc), nanocrystalline (nc) polymers and/or nanocrystalline (nc) plastics or other nanocrystals of cellulose composites or structures, in combination with other materials
CA3031802A1 (en) * 2016-08-13 2018-02-22 Zymtronix Catalytic Systems, Inc. Magnetically immobilized biocidal enzymes and biocidal chemicals
CN106182326B (zh) * 2016-08-23 2018-12-04 辽宁蓝亿实业有限公司 一种轻烧粉作填充料的环保型中密度板
CN106780550B (zh) * 2016-09-13 2020-03-31 纳恩博（北京）科技有限公司 一种目标跟踪方法及电子设备
CN108332681B (zh) * 2018-01-03 2019-07-16 东北大学 一种薄壁管材大塑性弯曲截面轮廓曲线的确定方法
EP3784139A4 (en) * 2018-04-27 2021-12-29 Delphinus Medical Technologies, Inc. System and method for feature extraction and classification on ultrasound tomography images
CN112858351A (zh) * 2019-11-28 2021-05-28 北京金自天正智能控制股份有限公司 一种基于机器视觉的x射线无损探伤方法
PE20221430A1 (es) * 2019-12-17 2022-09-21 Motion Metrics Int Corp Aparato para analizar una carga util que se transporta en un contenedor de transporte de carga de un vehiculo
CN111428622B (zh) * 2020-03-20 2023-05-09 上海健麾信息技术股份有限公司 一种基于分割算法的图像定位方法及其应用
CN111881720B (zh) * 2020-06-09 2024-01-16 山东大学 用于深度学习的数据自动增强扩充方法、识别方法及系统
CN112950560B (zh) * 2021-02-20 2024-06-21 中国电子产品可靠性与环境试验研究所（（工业和信息化部电子第五研究所）（中国赛宝实验室）） 电子元器件缺陷检测方法、装置及系统
CN113033385A (zh) * 2021-03-23 2021-06-25 广东电网有限责任公司广州供电局 一种基于深度学习的违章建筑遥感识别方法及系统
CN113083724A (zh) * 2021-03-24 2021-07-09 北京霍里思特科技有限公司 矿石识别方法、检测机构、矿产分选机
CN113158827A (zh) * 2021-03-30 2021-07-23 安徽大学 一种基于深度学习的矿石尺寸监测预警系统及方法
CN113537339B (zh) * 2021-07-14 2023-06-02 中国地质大学（北京） 一种基于多标签图像分类的识别共生或伴生矿物的方法与系统
CN114970770B (zh) * 2022-07-22 2022-09-30 核工业北京地质研究院 渗出型砂岩铀矿的识别方法

Also Published As

Publication number Publication date
CN115631362A (zh) 2023-01-20

Similar Documents

Publication Publication Date Title
CN109102502B (zh) 基于三维卷积神经网络的肺结节检测方法
CN110647817B (zh) 基于MobileNet V3的实时人脸检测方法
CN109509187B (zh) 一种针对大分辨率布匹图像中的小瑕疵的高效检验算法
CN106846362B (zh) 一种目标检测跟踪方法和装置
Hu et al. Automatic plankton image recognition with co-occurrence matrices and support vector machine
CN109363699B (zh) 一种乳腺影像病灶识别的方法及装置
US10504007B2 (en) Determination of population density using convoluted neural networks
CN111340130A (zh) 一种基于深度学习和影像组学的泌尿结石检测分类方法
CN111881909A (zh) 煤矸识别方法、装置、电子设备及存储介质
CN115631362B (zh) 一种铁器的识别方法及装置
CN111986183B (zh) 一种染色体散型图像自动分割识别系统及装置
CN111754538B (zh) Usb表面缺陷检测的阈值分割方法
CN110751606B (zh) 一种基于神经网络算法的泡沫图像处理方法及系统
CN111597845A (zh) 一种二维码检测方法、装置、设备及可读存储介质
CN112348831A (zh) 基于机器学习的页岩sem图像分割方法
CN112633392A (zh) 一种太赫兹人体安检图像目标检测模型训练数据增广方法
CN112347805A (zh) 一种多目标二维码检测识别方法、系统、装置及存储介质
CN108573254B (zh) 车牌字符灰度图的生成方法
CN110119739B (zh) 一种冰晶图片的自动分类方法
CN112801109A (zh) 一种基于多尺度特征融合的遥感图像分割方法及系统
CN111968115A (zh) 基于栅格化图像处理方法的骨科耗材检测方法及系统
CN116597466A (zh) 一种基于改进YOLOv5s的工程图纸文字检测识别方法及系统
CN105786957A (zh) 一种基于单元格邻接关系与深度优先遍历的表格排序方法
CN111178405A (zh) 一种融合多种神经网络的相似物体识别方法
CN116012659B (zh) 一种红外目标检测方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant