CN112907584B - 改进mtbcd火焰图像特征提取的转炉炼钢终点碳含量预测方法 - Google Patents

改进mtbcd火焰图像特征提取的转炉炼钢终点碳含量预测方法 Download PDF

Info

Publication number
CN112907584B
CN112907584B CN202110337801.7A CN202110337801A CN112907584B CN 112907584 B CN112907584 B CN 112907584B CN 202110337801 A CN202110337801 A CN 202110337801A CN 112907584 B CN112907584 B CN 112907584B
Authority
CN
China
Prior art keywords
flame
point
scale
color
carbon content
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN202110337801.7A
Other languages
English (en)
Other versions
CN112907584A (zh
Inventor
李超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kunming University of Science and Technology
Original Assignee
Kunming University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kunming University of Science and Technology filed Critical Kunming University of Science and Technology
Publication of CN112907584A publication Critical patent/CN112907584A/zh
Application granted granted Critical
Publication of CN112907584B publication Critical patent/CN112907584B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • C—CHEMISTRY; METALLURGY
    • C21—METALLURGY OF IRON
    • C21C—PROCESSING OF PIG-IRON, e.g. REFINING, MANUFACTURE OF WROUGHT-IRON OR STEEL; TREATMENT IN MOLTEN STATE OF FERROUS ALLOYS
    • C21C5/00—Manufacture of carbon-steel, e.g. plain mild steel, medium carbon steel or cast steel or stainless steel
    • C21C5/28—Manufacture of steel in the converter
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration by the use of histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • C—CHEMISTRY; METALLURGY
    • C21—METALLURGY OF IRON
    • C21C—PROCESSING OF PIG-IRON, e.g. REFINING, MANUFACTURE OF WROUGHT-IRON OR STEEL; TREATMENT IN MOLTEN STATE OF FERROUS ALLOYS
    • C21C2300/00—Process aspects
    • C21C2300/06—Modeling of the process, e.g. for control purposes; CII
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P10/00—Technologies related to metal processing
    • Y02P10/25—Process efficiency

Abstract

本发明提出一种改进MTBCD火焰图像特征提取的转炉炼钢终点碳含量预测方法，属于图像识别技术领域。首先，考虑颜色通道间的相关性，通过颜色通道融合策略得到火焰图像的彩色纹理表示；其次，采用多尺度非均匀采样策略选取各尺度范围内的采样点来构建彩色纹理的多尺度表达；最后，IMTBCD根据中心点对称方向和对角线对称方向上采样点的不同变化趋势进行编码得到彩色纹理特征。提取的彩色纹理特征采用KNN回归模型预测碳含量，实验表明，碳含量预测在误差范围0.01％以内的准确率为86.1％，在误差范围0.02％以内的准确率为94.1％。

Description

改进MTBCD火焰图像特征提取的转炉炼钢终点碳含量预测 方法
技术领域
本发明提出一种改进MTBCD火焰图像特征提取的转炉炼钢终点碳含量预测方法，属于图像识别技术领域。
背景技术
终点碳含量预测作为转炉炼钢过程中重要的一环，预测的准确性直接决定对钢水碳含量的控制，碳含量过高或过低都会带给钢铁质量很大的影响。因此对终点钢水碳含量的准确预测显得尤为重要，能够保证钢铁的质量，对提高钢厂生产效率、减少能源和原材料浪费具有重大的意义。
钢水碳含量可以通过数字图像分析法进行预测，数字图像分析法是指通过模拟炼钢人员观察炉口火焰的颜色、亮度、纹理等与钢水碳含量潜在相关的信息作为判断依据，通过火焰图像特征提取并建立与终点时刻以及钢水成分间的预测模型；数字图像分析法作为一种非接触式测量方法，相比传统预测方法具有成本低、易测量、安全等特点。
炼钢终点钢水的碳含量与炉口火焰的颜色、纹理等特征存在密切的联系，并且火焰纹理表现出随机性、多尺度、多方向等特点。
纹理特征分析是一个重要而广泛的研究领域，近年来已经开发许多的纹理描述符用于纹理分析，其中多趋势二进制编码描述符(Multi-trend binary code descriptor，MTBCD)通过模仿人类的视觉感知在4个对称方向上根据邻域点与中心点像素的变化趋势进行编码获取纹理特征，MTBCD反映了像素点间的相互变化关系，对于描述火焰纹理具有一定的适用性，但却忽略了火焰纹理具有的特点，仅从4个对称方向得到范围为0-15的MTBCD编码来描述火焰纹理信息并不全面，碳含量预测效果并不理想。值得注意的是，传统纹理描述符往往将彩色图像分通道处理，这样会丢失原图像通道间的相关性信息，导致不能很好的预测终点钢水碳含量。
发明内容
本发明要解决的技术问题是提出一种改进MTBCD火焰图像特征提取的转炉炼钢终点碳含量预测方法，能够提取不同钢水碳含量下具有较强区分性的炉口火焰特征，较为准确地预测炼钢终点钢水的碳含量。
本发明采用的技术方案是：在转炉炼钢过程中，终点时刻炉口火焰的颜色和纹理与钢水碳含量之间存在密切的对应关系，因此提取有效的火焰图像特征是准确预测钢水碳含量的关键。由于火焰具有随机性、多尺度、多方向等特点，并且火焰颜色作为一种全局特征可以提供更多的判别信息，受此启发，在此提出一种改进MTBCD火焰图像特征提取的转炉炼钢终点碳含量预测方法，包括如下步骤：
首先，根据原火焰图像通道间的相关性信息，提出颜色通道融合策略，将颜色信息与空间纹理信息相融合得到的火焰图像的彩色纹理表示；
其次，根据火焰纹理随机性和多尺度的特点，提出非均匀采样多尺度策略，选取各尺度范围内的采样点来构建彩色纹理的多尺度表达；
最后，根据火焰多方向的特点，采用改进的多趋势二进制编码描述符(ImprovedMulti-trend binary code descriptor，IMTBCD)，根据中心点对称方向和对角线对称方向上采样点的不同变化趋势进行编码得到彩色纹理特征，提取的彩色纹理特征采用KNN回归模型预测碳含量，得到误差范围为0.01％-0.05％的预测准确率。
具体步骤如下：
Step1、收集转炉炼钢终点炉口火焰图像作为实验数据集，通过采集不同炉次炼钢结束前N秒的炉口火焰视频，并以帧为单位进行截取，剔除受干扰大、不合格的图像，得到多张图像作为数据集，图像标签对应终点时刻副枪检测的钢水碳含量数值；
Step2、采用最大类间方差法将火焰图像分割去除边界背景以及火焰干扰，只保留关注的火焰区域，将颜色空间由RGB转换为HSI，根据式(1)对单独的H、S、I通道进行融合，融合的数学表达式如下式(1)所示：
Figure BDA0002998235160000021
式中，H、S、I表示三个单独的颜色通道，f(H,S,I)表示整合H、S、I通道构成火焰图像的彩色纹理表示；
Step3、构建基于火焰彩色纹理的多尺度表达：在Step1和Step2的基础上，在火焰图像中选定的窗口以中心像素点为原点划分为不同的尺度范围，利用权重公式分析各尺度范围内对称角度上的像素点，提出的权重公式如下式(2)所示：
Figure BDA0002998235160000022
式中α表示对应的尺度范围，s表示对应的角度，Pα,s表示该尺度范围和角度下的像素点，根据各像素点的权重占比，找到最大权重索引下的像素点作为采样点，如下式(3)所示：
Figure BDA0002998235160000023
式中w·pα,s表示像素点与权重的乘积，pmax_idx表示最大权重索引对应的像素点，cα,s表示对应尺度范围及角度下的采样点，通过不同尺度范围的采样点构成了火焰纹理的多尺度表达；
Step4、采样点阈值处理：在Step1、Step2和Step3的基础上，先对各尺度范围的采样点进行阈值处理，以其中一个尺度范围为例，计算16个角度的采样点gi与中心点gc差的绝对值gi′用于替代先前的采样点，如式(4)所示：
gi′＝abs(gi-gc)i＝0,1,2,…,15 (4)
通过像素比较的差异程度来减弱火焰明暗分布不均匀对于编码的影响，gi′累加的平均值gc′作为自适应的阈值替代之前的中心点，如式(5)所示：
Figure BDA0002998235160000031
Step5、构造IMTBCD编码：在Step1、Step2、Step3以及Step4的基础上，从中心点对称方向和对角线对称方向上描述火焰纹理，描述中心点对称方向时记为中心点对称定向模式CSOP，描述对角线对称方向时记为对角线对称定向模式DSOP，特别地，IMTBCD的窗口大小为5×5，
CSOP是指以gc′为中心点，在邻域点gi′关于gc′对称的8个方向上，根据gc′与对应方向上邻域点对的大小变化趋势进行编码，其中平行趋势编码为1，非平行趋势编码为0，8个中心点对称方向用序列号k表示，如下式(6)所示：
k＝α/22.5°，α＝0°,22.5°,...,157.5° (6)
计算序列号为k方向上的中心点gc′与邻域点对(gk′,gk+8′)的差值，得到的差值对为(pk′,pk+8′)，如下式(7)所示：
(pk′,pk+8′)＝(gk′,gk+8′)-gc′，k＝0,1,2,...,7 (7)
当中心点gc′和邻域点对(gk′,gk+8′)变化满足平行趋势时，则将(pk′,pk+8′)编码为1；变化满足非平行趋势时，则将(pk′,pk+8′)编码为0，数学表达式如下式(8)所示：
Figure BDA0002998235160000032
8个方向上获得8位二进制序列，乘以权重得到的十进制数范围为0-255，如下式(9)所示：
Figure BDA0002998235160000033
即可得到该区域的CSOP编码，表示该区域中心点对称方向上像素间的变化趋势；
DSOP是指以gc′为中心点，在关于主副对角线对称的7个方向上，根据gc′与对应方向上邻域点对的大小变化趋势进行编码，其中平行趋势编码为0，非平行趋势编码为1；主对角线邻域点对为
Figure BDA0002998235160000043
其中m1∈{3,4,5,6,7,8,9}、m2∈{1,0,15,14,13,12,11}；副对角线邻域点对为
Figure BDA0002998235160000044
其中n1∈{7,8,9,10,11,12,13}、n2∈{5,4,3,2,1,0,15}，同样地，将中心点gc′与邻域点对
Figure BDA0002998235160000045
比较计算差值，得到的差值对为
Figure BDA0002998235160000046
在对称方向上分析邻域点对与中心点的大小对应关系，当满足非平行趋势时将差值对编码为1，满足平行趋势时将差值对编码为0，数学表达式如下式(10)所示：
Figure BDA0002998235160000041
在主副对角线对称方向上分别得到7位二进制序列，乘以权重得到的十进制数范围为0-128，如式(11)所示：
Figure BDA0002998235160000042
即得到该区域的DSOP编码，表示该区域对角线对称方向上像素间的变化趋势，在多个非均匀采样尺度下，IMTBCD编码经统计直方图构成级联的特征向量作为炉口火焰图像的彩色纹理特征；
Step6、终点碳含量预测实验采用KNN作为回归预测模型，将不同炉次的火焰图像次序随机打乱，在多张火焰图像中随机挑选90％图像作为训练集，剩余的10％图像作为测试集，通过十折交叉验证寻找KNN的最优K值、并获得较为准确的碳含量预测结果。
具体地，所述的Step1中，N为2，得到共计16000张图像作为数据集。
具体地，在16000张火焰图像中随机挑选14400张图像作为训练集，剩余的1600张图像作为测试集。
本发明的有益效果是：本发明将颜色信息与空间纹理信息相结合，提出一种改进MTBCD火焰图像特征提取的转炉炼钢终点碳含量预测方法，构造了具备多尺度、多方向和多通道结合的彩色纹理特征提取模型。实验表明，本发明方法能够提取不同碳含量下具有较强区分性的火焰特征，提取的特征在进行终点碳含量预测时取得了较好的结果，从而证明其有效性。
附图说明
图1为本发明提出的改进MTBCD火焰图像特征提取的终点碳含量预测算法流程图；
图2为炉口火焰图像的数据分布；
图3为本发明提出的IMTBCD彩色纹理特征提取算法结构图；
图4为构造IMTBCD编码的原理图。
具体实施方式
下面结合附图和具体实施例，对本发明做进一步的说明。
实施例1：一种改进MTBCD火焰图像特征提取的转炉炼钢终点碳含量预测方法，方法的大体流程如图1所示，包括如下步骤：
首先，根据原火焰图像通道间的相关性信息，提出颜色通道融合策略，将颜色信息与空间纹理信息相融合得到的火焰图像的彩色纹理表示；
其次，根据火焰纹理随机性和多尺度的特点，提出非均匀采样多尺度策略，选取各尺度范围内的采样点来构建彩色纹理的多尺度表达；
最后，根据火焰多方向的特点，采用改进的多趋势二进制编码描述符IMTBCD，根据中心点对称方向和对角线对称方向上采样点的不同变化趋势进行编码得到彩色纹理特征，提取的彩色纹理特征采用KNN回归模型预测碳含量，得到误差范围为0.01％-0.05％的预测准确率。
具体步骤如下：
Step1、火焰图像数据集首先由工业相机拍摄实际钢厂在转炉炼钢生产中不同炉次下的火焰视频，在视频结束前2秒对应于炼钢终点时刻，此刻以帧为单位截取得到大小为1466×400、共计约16000张不同炉次下的火焰图像，火焰图像对应的标签为终点时刻副枪检测钢水碳含量的数值，其范围为0.01％-0.23％，具体数据集在不同碳含量下的分布情况如图2所示。
作为本发明的优选方案，所述Step1中，数据集处理采用python语言编写程序实现，对火焰视频进行截取同时剔除因受环境干扰而不合格的图像。此优选方案设计是本发明的重要组成部分，收集整理了转炉炼钢终点时刻炉口火焰图像实验数据集，为本发明方法提取的彩色纹理特征并用于预测钢水碳含量提供了数据支撑。
Step2、构建火焰图像的彩色纹理表示：构建过程如图3框(a)所示，由于转炉炼钢生产环境复杂，火焰图像中存在较多的非火焰干扰因素，采用最大类间方差法(OTSU)通过自适应的阈值分割去除边界背景以及非火焰干扰，只保留关注的火焰区域；将分割后的火焰图像由RGB颜色空间转换到HSI颜色空间下；通过如下公式(1)对对单独的H、S、I通道进行融合，融合的数学表达式如下式(1)所示：
Figure BDA0002998235160000051
式中，H、S、I表示三个单独的颜色通道，f(H,S,I)表示整合H、S、I通道构成火焰图像的彩色纹理表示。
特别地，实验中为了便于编码，本发明对彩色纹理表示进行重新投影，首先进行归一化，归一化如式(12)所示：
Figure BDA0002998235160000061
式中f(H,S,I)表示彩色纹理像素值，为防止分母为0，将δ取值为1，然后将归一化的图像F重新映射到0-255像素范围内，如式(13)所示：
Figure BDA0002998235160000062
此优选方案设计是本发明的重要组成部分，所述Step2中将颜色通道间进行计算为本发明构建火焰图像的彩色纹理表示，将颜色信息与纹理信息结合在一起以改善描火焰特征的性能。
Step3、构建彩色纹理的非均匀多尺度表达：构建过程如图3框(b)所示，在Step1和Step2的基础上，在火焰图像中选定的窗口以中心像素点为原点划分为不同的尺度范围，利用权重公式分析各尺度范围内对称角度上的像素点，提出的权重公式如下式(2)所示：
Figure BDA0002998235160000063
式中α表示对应的尺度范围，s表示对应的角度，Pα,s表示该尺度范围和角度下的像素点。根据各像素点的权重占比，找到最大权重索引下的像素点作为采样点，如下式(3)所示：
Figure BDA0002998235160000064
式中w·pα,s表示像素点与权重的乘积，pmax_idx表示最大权重索引对应的像素点。cα,s表示对应尺度范围及角度下的采样点，通过不同尺度范围的采样点构成了火焰纹理的多尺度表达。
在火焰彩色纹理区域内将选定的窗口以中心像素点为原点划分为不同的尺度范围，利用非均匀采样多尺度策略选取不同尺度范围内有代表性的采样点，构建火焰彩色纹理的非均匀多尺度表达。具体做法如下：为了避免破坏火焰纹理结构的完整性，在兼顾火焰纹理大小尺度的区域内划分不同的尺度范围，本发明以72×72像素块作为采样窗口，为了提取像素点的方便，在中心点对称的16个角度α＝0°、22.5°、…、337.5°、360°上，每个角度不通过双线性差值取得18个像素点，采样窗口共计取得288个像素点。按距离中心点远近将窗口划分成大、中、小三个尺度范围，以其中一个角度为例，大尺度范围半径跨度为[1,9]，范围内有9个像素点；中尺度范围半径跨度为[10,15]，范围内有6个像素点；小尺度范围半径跨度为[16,18]，范围内有3个像素点。对应尺度内各角度上的像素点利用权重公式进行权重分析选取采样点，依次在大、中、小尺度范围内各选取16个采样点，在采样窗口下共计选取48个采样点。
此优选方案设计是本发明的重要组成部分，所述Step3中通过选择不同尺度范围内的采样点，避免人为选择采样窗口从而对纹理信息造成影响，同时能够得到多种不同尺度的纹理结构信息，为后续提取彩色纹理特征提供支撑。
Step4、采样点阈值处理：在Step1、Step2和Step3的基础上，先对各尺度范围的采样点进行阈值处理，如图4(a)所示。以其中一个尺度范围为例，计算16个角度的采样点gi与中心点gc差的绝对值gi′用于替代先前的采样点，如式(4)所示：
gi′＝abs(gi-gc)i＝0,1,2,…,15 (4)
通过像素比较的差异程度来减弱火焰明暗分布不均匀对于编码的影响。gi′累加的平均值gc′作为自适应的阈值替代之前的中心点，如式(5)所示：
Figure BDA0002998235160000071
自适应阈值能够防止中心点因噪声干扰对于编码的影响。
作为本发明的优选方案，所述Step4中通过将邻域点与中心点相互对比计算，计算得到的自适应阈值可以减弱火焰明暗分布不均匀以及噪声干扰对于描述符的影响。
Step5、根据Step3通过多尺度非均匀采样策略选取的采样点按尺度范围大、中、小的次序依次构造IMTBCD编码，构造过程如图3框(c)所示。IMTBCD选择从中心点对称方向和对角线对称方向上描述火焰纹理，对不同方向上各尺度范围采样点的不同变化趋势进行编码，编码后提取大、中、小三个尺度的彩色纹理特征经统计直方图构成级联的特征向量作为炉口火焰图像的彩色纹理特征。
特别地，IMTBCD的窗口大小为5×5，旨在从更多方向上扩大编码范围从而提高对于火焰纹理的描述能力。
CSOP是指以gc′为中心点，在邻域点gi′关于gc′对称的8个方向上，根据gc′与对应方向上邻域点对的大小变化趋势进行编码，其中平行趋势编码为1，非平行趋势编码为0。图4(b)展示了构造CSOP的原理图，8个中心点对称方向用序列号k表示，如下式(6)所示：
k＝α/22.5°，α＝0°,22.5°,...,157.5° (6)
计算序列号为k方向上的中心点gc′与邻域点对(gk′,gk+8′)的差值，得到的差值对为(pk′,pk+8′)，如下式(7)所示：
(pk′,pk+8′)＝(gk′,gk+8′)-gc′，k＝0,1,2,...,7 (7)
当中心点gc′和邻域点对(gk′,gk+8′)变化满足平行趋势时，则将(pk′,pk+8′)编码为1；变化满足非平行趋势时，则将(pk′,pk+8′)编码为0，数学表达式如下式(8)所示：
Figure BDA0002998235160000072
8个方向上获得8位二进制序列，乘以权重得到的十进制数范围为0-255，如下式(9)所示：
Figure BDA0002998235160000081
即可得到该区域的CSOP编码，表示该区域中心点对称方向上像素间的变化趋势。
DSOP是指以gc′为中心点，在关于主副对角线对称的7个方向上，根据gc′与对应方向上邻域点对的大小变化趋势进行编码，其中平行趋势编码为0，非平行趋势编码为1。图4(c)展示了构造DSOP的原理图，主对角线邻域点对为
Figure BDA0002998235160000084
其中m1∈{3,4,5,6,7,8,9}、m2∈{1,0,15,14,13,12,11}；副对角线邻域点对为
Figure BDA0002998235160000085
其中n1∈{7,8,9,10,11,12,13}、n2∈{5,4,3,2,1,0,15}。同样地，将中心点gc′与邻域点对
Figure BDA0002998235160000086
比较计算差值，得到的差值对为
Figure BDA0002998235160000087
在对称方向上分析邻域点对与中心点的大小对应关系，当满足非平行趋势时将差值对编码为1，满足平行趋势时将差值对编码为0，数学表达式如下式(10)所示：
Figure BDA0002998235160000082
在主副对角线对称方向上分别得到7位二进制序列，乘以权重得到的十进制数范围为0-128，如式(11)所示：
Figure BDA0002998235160000083
即得到该区域的DSOP编码，表示该区域对角线对称方向上像素间的变化趋势。在多个非均匀采样尺度下，IMTBCD编码经统计直方图构成级联的特征向量作为炉口火焰图像的彩色纹理特征。
此优选方案设计是本发明的重要组成部分，所述Step5中，针对火焰纹理具有多方向的特点，IMTBCD分别从中心点对称方向和对角线对称方向对不同尺度范围采样点间不同的变化趋势进行编码，为本发明实现提取多尺度、多方向和多通道结合的彩色纹理特征。
Step6针对炼钢终点炉口火焰图像数据集对所构建的彩色纹理特征提取模型进行对比实验，验证本发明的有效性。采用多趋势二进制编码描述符(Multi-trend binarycode descriptor，MTBCD)提取火焰图像H、S、I通道下的纹理特征作为基础方法，实验将在基础方法上引入本发明方法中的颜色通道融合策略、多尺度非均匀采样策略以及IMTBCD从中心点对称方向和对角线对称方向提取火焰纹理特征3部分分别进行纵向对比以验证本发明各部分改进的有效性；同时以本发明方法作为代表模型，通过与七种局部或全局彩色纹理特征提取基线模型进行横向对比以验证本发明方法的有效性。
作为本发明的优选方案，所述Step6中，本发明根据改进前后对比MTBCD构建了六个模型，分别记为：MTBCD(Multi-trend binary code descriptor)，表示MTBCD提取H、S、I三通道纹理特征；MTBCD-C(MTBCD with Color channel fusion)，表示在MTBCD模型中引入颜色通道融合策略；MTBCD-M(MTBCD with Multi-scale non-uniform sampling)，表示在MTBCD模型中引入多尺度非均匀采样策略；IMTBCD-C(Improved Multi-trend binary codedescriptor with Color channel fusion)，表示改进MTBCD引入颜色通道融合策略；IMTBCD-M(Improved Multi-trend binary code descriptor with Multi-scale non-uniform sampling)，表示改进MTBCD引入多尺度非均匀采样策略提取H、S、I三通道纹理特征；IMTBCD-C-M(Improved Multi-trend binary code descriptor with Color channelfusion and Multi-scale non-uniform sampling)，表示改进MTBCD模型中引入颜色通道融合策略和多尺度非均匀采样策略。这里选择IMTBCD-C-M作为本发明的代表模型，并与以下基线模型进行对比：
CoLBP(Colour local binary pattern)：提取火焰纹理特征时，以LBP的三种变形(分别为均匀模式、旋转不变模式、均匀旋转不变模式)在R、G、B通道下提取彩色纹理特征，经统计直方图级联后形成315维特征向量。
QLBP(Quaternion local binary pattern)：通过四元数整合颜色通道间的相互信息，本发明在以四元数颜色表示的基础上通过LBP的三种变形提取彩色纹理特征，后经统计直方图级联后得到105维特征向量。
GLCM(Gray-level co-occurrence matrix)作为一种全局纹理描述符，为了与彩色纹理方法进行比较，本发明通过对H、S、I通道下进行非等间距量化，在各量化的通道上采用GLCM在0°、45°、90°、135°四个方向以步长分别为1、2、4、8、16提取像素间的共现信息，计算6个统计量(对比度、相异性、同质性、能量、相关性、角二阶矩)形成360维的特征向量。
LBCoP(Local binary co-occurrence pattern)在各颜色通道下结合局部与全局的纹理信息，本发明采用LBP的均匀模式提取R、G、B通道下的局部纹理信息，通过GLCM在4个方向上以步长为1、2、4、8、16提取LBP编码的共现信息并计算6个统计量后形成360维向量。
LECoP(Local extrema co-occurrence pattern)提取火焰纹理特征时，本发明通过在H、S、I三个通道下计算局部像素块的极值模式编码，再采用GLCM提取极值编码的共现信息并计算6个统计量后得到360维特征向量。
HOG(Histograms of oriented gradients)采用方向梯度直方图提取火焰纹理特征时，在H、S、I通道下对0°-180°梯度方向下的梯度幅值进行投票构成梯度直方图，将归一化后的直方图特征向量进行级联构成火焰图像的彩色纹理特征。
QDS(Quaternion direction statistics)利用四元数伪旋转得到火焰图像的旋转图谱，在0°、45°、90°、135°四个方向以相位在固定步长下的差值作为投影轴，幅值在固定步长下的差值作为权重进行投票，统计各个方向和步长下的220维特征向量作为火焰的彩色纹理特征。
基于本发明的实验，以提取炉口火焰图像特征用于预测钢水碳含量作为问题，将不同炉次的火焰图像次序随机打乱，在16000张火焰图像中随机挑选90％图像作为训练集，剩余的10％图像作为测试集。采用KNN作为回归预测模型，将上述对比方法在数据集中提取的纹理特征向量输入到KNN中进行训练和测试，通过十折交叉验证寻找KNN的最优K值、并获得较为准确的碳含量预测结果，以预测精度(误差范围为0.01％-0.05％，误差标准在±0.02％以内)作为评价指标。通过将以上对比实验均将参数调至最优，以此实现炉口火焰图像特征提取的终点碳含量预测。碳含量预测的实验结果与分析如下。
表1展示了改进前后各对比方法预测终点碳含量的准确率，改进前MTBCD作为基准模型误差在0.02％内的准确率为62.8％，将MTBCD与MTBCD-C进行对比，MTBCD-C相较于MTBCD误差在0.02％内准确率提升1.6％，验证了颜色通道融合策略的有效性，说明颜色通道融合策略能提供更多的判别信息；将MTBCD与MTBCD-M进行对比，在误差0.02％内准确率提升了17.3％，说明引入多尺度非均匀采样的有效性，能够提取到不同大小尺度的火焰纹理结构信息；将MTBCD-C与IMTBCD-C进行对比，在误差0.02％内准确率提升了6.4％，说明IMTBCD从中心点对称方向和对角线对称方向对各尺度采样点的不同变化趋势进行编码，能够适应火焰纹理多方向的特点从而提取到更为全面的火焰纹理信息；IMTBCD-C-M作为本发明的代表模型误差在0.02％内的准确率达到94.1％，相较于MTBCD预测性能有了大幅度的提升，说明本发明方法能够适应火焰纹理多方向、多尺度、随机性的特点，提取的火焰图像特征进行终点碳含量预测时取得了较好的结果。
表1改进前后对比方法的终点碳含量预测结果
Figure BDA0002998235160000101
表2为本发明方法(IMTBCD-C-M)与其它特征提取方法在碳含量误差分别为0.01％、0.02％、0.03％、0.04％、0.05％的预测准确率。本发明在碳含量误差范围为0.01％内的准确率为86.1％，在0.02％内的准确率为94.1％，相较于对比方法中预测效果较好的QDS算法在预测误差为0.01％内提升2.4％，在预测误差为0.02％内提升5.9％，说明本发明提取的火焰图像特征能够更加准确的建立与钢水碳含量的对应关系。通过与上述局部或全局彩色纹理特征提取算法进行对比和分析如下所示：
表2本发明与其它特征提取方法预测碳含量的准确率对比
Figure BDA0002998235160000111
(1)QLBP相较于CoLBP在碳含量预测误差为0.02％内的准确率提升2.3％，说明四元数表示的彩色纹理相比分通道考虑了颜色通道间的内在联系，能够为碳含量预测提供更多地判别性信息，但火焰局部区域相似度高、随机性大，因此采用局部纹理描述符QLBP和CoLBP不能有效地刻画整体火焰纹理情况。
(2)GLCM作为全局描述符，在误差0.02％内准确率相比CoLBP提升了14.5％，相比局部描述符能以不同步长多尺度的提取局部以及全局纹理信息，但以固定步长和方向并不能适应火焰随机性以及多方向的特点，并且没有考虑通道间的相关性。
(3)LBCoP、LECoP采用LBP、LEP与GLCM相结合的方式提取局部以及全局的火焰纹理信息，效果好于LBP、QLBP，性能相比CoLBP在误差0.02％内准确率分别提升了6.7％、10.4％，但局部描述符LBP、LEP编码并不能有效描述火焰纹理信息，在此基础上GLCM提取编码值之间的共现并计算统计量的方式并不理想。
(4)QDS方法通过四元数表示的彩色纹理充分考虑了通道间的相关性，以不同步长多尺度的提取局部和全局的彩色纹理特征，比较同样由四元数颜色表示的QLBP方法预测效果明显得到提升，在误差0.02％内准确率相比QLBP提升了23％，但与GLCM方法同样只考虑以4个方向和固定步长提取特征，因此并不能适应火焰纹理多方向、随机性的特点。
(5)本发明结合火焰纹理的特点，首先采用颜色通道融合策略得到火焰图像的彩色纹理表示，考虑颜色通道间的相关性；其次构建火焰彩色纹理的非均匀多尺度表达，兼顾不同大小尺度的纹理结构信息，满足火焰纹理随机性和多尺度的特点；最后IMTBCD从不同方向对采样点的变化趋势进行编码，使得描述纹理信息更加全面，满足火焰纹理多方向的特点。因此本发明能从高度相似的炉口火焰图像中更加准确的建立与钢水碳含量的对应关系，为炼钢终点的预测提供一定的参考。
本发明主要从火焰的颜色和纹理特征分析入手，在不同碳含量高度相似的火焰图像中提取有效的火焰特征，建立从火焰图像到钢水碳含量之间较为准确的对应关系。
以上结合附图对本发明的具体实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。

Claims (3)

1.一种改进MTBCD火焰图像特征提取的转炉炼钢终点碳含量预测方法，其特征在于：构造了具备多尺度、多方向和多通道结合的彩色纹理特征提取模型，包括如下步骤：
首先，根据原火焰图像通道间的相关性信息，提出颜色通道融合策略，将颜色信息与空间纹理信息相融合得到的火焰图像的彩色纹理表示；
其次，根据火焰纹理随机性和多尺度的特点，提出非均匀采样多尺度策略，选取各尺度范围内的采样点来构建彩色纹理的多尺度表达；
最后，根据火焰多方向的特点，采用改进的多趋势二进制编码描述符IMTBCD，根据中心点对称方向和对角线对称方向上采样点的不同变化趋势进行编码得到彩色纹理特征，提取的彩色纹理特征采用KNN回归模型预测碳含量，得到误差范围为0.01％-0.05％的预测准确率；
具体步骤如下：
Step1、收集转炉炼钢终点炉口火焰图像作为实验数据集，通过采集不同炉次炼钢结束前N秒的炉口火焰视频，并以帧为单位进行截取，剔除受干扰大、不合格的图像，得到多张图像作为数据集，图像标签对应终点时刻副枪检测的钢水碳含量数值；
Step2、采用最大类间方差法将火焰图像分割去除边界背景以及火焰干扰，只保留关注的火焰区域，将颜色空间由RGB转换为HSI，根据式(1)对单独的H、S、I通道进行融合，融合的数学表达式如下式(1)所示：
Figure FDA0003645272340000011
式中，H、S、I表示三个单独的颜色通道，f(H,S,I)表示整合H、S、I通道构成火焰图像的彩色纹理表示；
Step3、构建基于火焰彩色纹理的多尺度表达：在Step1和Step2的基础上，在火焰图像中选定的窗口以中心像素点为原点划分为不同的尺度范围，利用权重公式分析各尺度范围内对称角度上的像素点，提出的权重公式如下式(2)所示：
Figure FDA0003645272340000012
式中α表示对应的尺度范围，s表示对应的角度，Pα,s表示该尺度范围和角度下的像素点，根据各像素点的权重占比，找到最大权重索引下的像素点作为采样点，如下式(3)所示：
Figure FDA0003645272340000013
式中w·pα,s表示像素点与权重的乘积，pmax_idx表示最大权重索引对应的像素点，cα,s表示对应尺度范围及角度下的采样点，通过不同尺度范围的采样点构成了火焰纹理的多尺度表达；
Step4、采样点阈值处理：在Step1、Step2和Step3的基础上，先对各尺度范围的采样点进行阈值处理，以其中一个尺度范围为例，计算16个角度的采样点gi与中心点gc差的绝对值gi′用于替代先前的采样点，如式(4)所示：
gi′＝abs(gi-gc)i＝0,1,2,…,15 (4)
通过像素比较的差异程度来减弱火焰明暗分布不均匀对于编码的影响，gi′累加的平均值gc′作为自适应的阈值替代之前的中心点，如式(5)所示：
Figure FDA0003645272340000021
Step5、构造IMTBCD编码：在Step1、Step2、Step3以及Step4的基础上，从中心点对称方向和对角线对称方向上描述火焰纹理，描述中心点对称方向时记为中心点对称定向模式CSOP，描述对角线对称方向时记为对角线对称定向模式DSOP，特别地，IMTBCD的窗口大小设定为5×5；
CSOP是指以gc′为中心点，在邻域点gi′关于gc′对称的8个方向上，根据gc′与对应方向上邻域点对的大小变化趋势进行编码，其中平行趋势编码为1，非平行趋势编码为0，8个中心点对称方向用序列号k表示，如下式(6)所示：
k＝α/22.5°，α＝0°,22.5°,...,157.5° (6)
计算序列号为k方向上的中心点gc′与邻域点对(gk′,gk+8′)的差值，得到的差值对为(pk′,pk+8′)，如下式(7)所示：
(pk′,pk+8′)＝(gk′,gk+8′)-gc′，k＝0,1,2,...,7 (7)
当中心点gc′和邻域点对(gk′,gk+8′)变化满足平行趋势时，则将(pk′,pk+8′)编码为1；变化满足非平行趋势时，则将(pk′,pk+8′)编码为0，数学表达式如下式(8)所示：
Figure FDA0003645272340000022
8个方向上获得8位二进制序列，乘以权重得到的十进制数范围为0-255，如下式(9)所示：
Figure FDA0003645272340000023
即可得到该区域的CSOP编码，表示该区域中心点对称方向上像素间的变化趋势；
DSOP是指以gc′为中心点，在关于主副对角线对称的7个方向上，根据gc′与对应方向上邻域点对的大小变化趋势进行编码，其中平行趋势编码为0，非平行趋势编码为1；主对角线邻域点对为
Figure FDA0003645272340000031
其中m1∈{3,4,5,6,7,8,9}、m2∈{1,0,15,14,13,12,11}；副对角线邻域点对为
Figure FDA0003645272340000032
其中n1∈{7,8,9,10,11,12,13}、n2∈{5,4,3,2,1,0,15}，同样地，将中心点gc′与邻域点对
Figure FDA0003645272340000033
比较计算差值，得到的差值对为
Figure FDA0003645272340000036
在对称方向上分析邻域点对与中心点的大小对应关系，当满足非平行趋势时将差值对编码为1，满足平行趋势时将差值对编码为0，数学表达式如下式(10)所示：
Figure FDA0003645272340000034
在主副对角线对称方向上分别得到7位二进制序列，乘以权重得到的十进制数范围为0-128，如式(11)所示：
Figure FDA0003645272340000035
即得到该区域的DSOP编码，表示该区域对角线对称方向上像素间的变化趋势，在多个非均匀采样尺度下，IMTBCD编码经统计直方图构成级联的特征向量作为炉口火焰图像的彩色纹理特征；
Step6、终点碳含量预测实验采用KNN作为回归预测模型，将不同炉次的火焰图像次序随机打乱，在多张火焰图像中随机挑选90％图像作为训练集，剩余的10％图像作为测试集，通过十折交叉验证寻找KNN的最优K值、并获得较为准确的碳含量预测结果。
2.根据权利要求1所述的改进MTBCD火焰图像特征提取的转炉炼钢终点碳含量预测方法，其特征在于：所述的Step1中，N为2，得到共计16000张图像作为数据集。
3.根据权利要求2所述的改进MTBCD火焰图像特征提取的转炉炼钢终点碳含量预测方法，其特征在于：在16000张火焰图像中随机挑选14400张图像作为训练集，剩余的1600张图像作为测试集。
CN202110337801.7A 2021-01-08 2021-03-30 改进mtbcd火焰图像特征提取的转炉炼钢终点碳含量预测方法 Expired - Fee Related CN112907584B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN2021100221184 2021-01-08
CN202110022118 2021-01-08

Publications (2)

Publication Number Publication Date
CN112907584A CN112907584A (zh) 2021-06-04
CN112907584B true CN112907584B (zh) 2022-07-19

Family

ID=76109414

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110337801.7A Expired - Fee Related CN112907584B (zh) 2021-01-08 2021-03-30 改进mtbcd火焰图像特征提取的转炉炼钢终点碳含量预测方法

Country Status (1)

Country Link
CN (1) CN112907584B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113487520B (zh) * 2021-09-07 2021-11-05 南通宏耀锅炉辅机有限公司 基于转炉温度测量的高动态范围图像生成方法及系统

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA1101222A (en) * 1976-02-24 1981-05-19 Shin-Ichi Sanuki Method of controlling molten steel temperature and carbon content in oxygen converter
CN102876838A (zh) * 2012-10-30 2013-01-16 湖南镭目科技有限公司 一种转炉内碳含量和温度检测系统
CN104077788A (zh) * 2014-07-10 2014-10-01 中国科学院自动化研究所 融合颜色和纹理信息进行块背景建模的运动目标检测方法
CN104531936A (zh) * 2014-12-01 2015-04-22 南华大学 基于火焰图像特征的转炉钢水碳含量在线测量方法
CN105678332A (zh) * 2016-01-08 2016-06-15 昆明理工大学 火焰图像cnn识别建模的转炉炼钢终点判断方法及系统
CN106153551A (zh) * 2015-04-10 2016-11-23 南京理工大学 基于svm的转炉炼钢钢水碳含量在线实时动态检测系统
CN108229458A (zh) * 2017-12-22 2018-06-29 湖南源信光电科技股份有限公司 一种基于运动检测和多特征提取的火焰智能识别方法
CN109886227A (zh) * 2019-02-27 2019-06-14 哈尔滨工业大学 基于多通道卷积神经网络的室内火灾视频识别方法
CN109975507A (zh) * 2019-04-28 2019-07-05 华北理工大学 一种炼钢后期钢水碳含量与温度值的实时确定方法及系统
CN111368771A (zh) * 2020-03-11 2020-07-03 四川路桥建设集团交通工程有限公司 一种基于图像处理的隧道火灾预警方法、装置、计算机设备以及计算机可读存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102206727A (zh) * 2011-05-31 2011-10-05 湖南镭目科技有限公司 转炉炼钢终点判断方法及判断系统，控制方法及控制系统
CN105925750A (zh) * 2016-05-13 2016-09-07 南阳理工学院 一种基于神经网络的炼钢终点预测方法
US10991087B2 (en) * 2017-01-16 2021-04-27 Praxair Technology, Inc. Flame image analysis for furnace combustion control

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA1101222A (en) * 1976-02-24 1981-05-19 Shin-Ichi Sanuki Method of controlling molten steel temperature and carbon content in oxygen converter
CN102876838A (zh) * 2012-10-30 2013-01-16 湖南镭目科技有限公司 一种转炉内碳含量和温度检测系统
CN104077788A (zh) * 2014-07-10 2014-10-01 中国科学院自动化研究所 融合颜色和纹理信息进行块背景建模的运动目标检测方法
CN104531936A (zh) * 2014-12-01 2015-04-22 南华大学 基于火焰图像特征的转炉钢水碳含量在线测量方法
CN106153551A (zh) * 2015-04-10 2016-11-23 南京理工大学 基于svm的转炉炼钢钢水碳含量在线实时动态检测系统
CN105678332A (zh) * 2016-01-08 2016-06-15 昆明理工大学 火焰图像cnn识别建模的转炉炼钢终点判断方法及系统
CN108229458A (zh) * 2017-12-22 2018-06-29 湖南源信光电科技股份有限公司 一种基于运动检测和多特征提取的火焰智能识别方法
CN109886227A (zh) * 2019-02-27 2019-06-14 哈尔滨工业大学 基于多通道卷积神经网络的室内火灾视频识别方法
CN109975507A (zh) * 2019-04-28 2019-07-05 华北理工大学 一种炼钢后期钢水碳含量与温度值的实时确定方法及系统
CN111368771A (zh) * 2020-03-11 2020-07-03 四川路桥建设集团交通工程有限公司 一种基于图像处理的隧道火灾预警方法、装置、计算机设备以及计算机可读存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Industrial IoT for Intelligent Steelmaking With Converter Mouth Flame Spectrum Information Processed by Deep Learning;Yang Han;《IEEE Transactions on Industrial Informatics》;20200430;全文 *
基于卷积神经网络的转炉炼钢终点碳含量预测方法;罗特;《信息技术》;20181225;全文 *
基于炉口火焰图像的炼钢终点研究与优化;龚志红等;《电脑知识与技术》;20130605(第16期);全文 *

Also Published As

Publication number Publication date
CN112907584A (zh) 2021-06-04

Similar Documents

Publication Publication Date Title
CN102176208B (zh) 基于三维空时特征的鲁棒视频指纹方法
US9489561B2 (en) Method and system for estimating fingerprint pose
CN108288012B (zh) 一种基于手机实现的艺术品备案验证方法及其系统
US20110135203A1 (en) Feature selection device
CN104809463A (zh) 一种基于密集尺度不变特征转换字典学习的高精度火灾火焰检测方法
US8345742B2 (en) Method of processing moving picture and apparatus thereof
CN113963041A (zh) 一种图像纹理识别方法及系统
CN102422325A (zh) 用于识别对象及另一低级别对象的模式识别装置及其方法
CN112907584B (zh) 改进mtbcd火焰图像特征提取的转炉炼钢终点碳含量预测方法
CN110766075A (zh) 轮胎区域图像比对方法、装置、计算机设备和存储介质
CN112149603A (zh) 一种基于跨模态数据增广的连续手语识别方法
Tralic et al. Video frame copy-move forgery detection based on cellular automata and local binary patterns
CN109800771B (zh) 混合时空平面局部二值模式的自发微表情定位方法
CN116311391A (zh) 一种高低精度混合的多维度特征融合指纹检索方法
Oblak et al. Fingermark quality assessment: An open-source toolbox
CN112419464B (zh) 一种基于点云局部凹凸性的三维碎块拼接方法
US7620219B2 (en) Pattern-based interchange format
CN111382703B (zh) 一种基于二次筛选与分数融合的指静脉识别方法
Wang Quantitative Comparison of Partial-Full Fingerprints at Scenes Using a Hand-Held Digital Device: A Quasi-Experimental Design Study
Hong et al. Saliency-based feature learning for no-reference image quality assessment
JP6175904B2 (ja) 照合対象抽出システム、照合対象抽出方法、照合対象抽出プログラム
CN108710915B (zh) 基于多核学习的多特征融合胃镜图像处理方法
KR102094063B1 (ko) 마르코프 체인을 이용한 미술품 위변조 감별시스템 및 감별방법
CN112861878B (zh) 基于结构偏移特征的异常匹配识别方法
Tapia et al. Face feature visualisation of single morphing attack detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20220719

CF01 Termination of patent right due to non-payment of annual fee