CN114913423A - 一种围岩裂隙信息的模型训练方法及提取方法 - Google Patents

一种围岩裂隙信息的模型训练方法及提取方法 Download PDF

Info

Publication number
CN114913423A
CN114913423A CN202210575232.4A CN202210575232A CN114913423A CN 114913423 A CN114913423 A CN 114913423A CN 202210575232 A CN202210575232 A CN 202210575232A CN 114913423 A CN114913423 A CN 114913423A
Authority
CN
China
Prior art keywords
image
loss function
model
center
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210575232.4A
Other languages
English (en)
Inventor
黄音昊
李青春
张运达
纪海锋
杨洪
王皓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
PowerChina Chengdu Engineering Co Ltd
Original Assignee
PowerChina Chengdu Engineering Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by PowerChina Chengdu Engineering Co Ltd filed Critical PowerChina Chengdu Engineering Co Ltd
Priority to CN202210575232.4A priority Critical patent/CN114913423A/zh
Publication of CN114913423A publication Critical patent/CN114913423A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/176—Urban or other man-made structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例提供一种围岩裂隙信息的模型训练方法及提取方法，包括：S1.将原始图像数据集K分为训练集K1和测试集K2，将训练集K1中的每张图像的裂隙位置进行标注，得到标注后的图像数据集；S2.将标注后的图像数据集载入CenterNet模型进行训练，根据损失函数计算CenterNet模型的损失函数值；S3.根据损失函数值更新CenterNet模型的参数，返回S2,直至损失函数值的更新次数达到预设值；S4.比较所有的损失函数值，得到损失函数值最小的CenterNet模型即围岩裂隙信息定位模型。本发明实施例通过提取方法应用围岩裂隙信息定位模型对裂隙线段进行提取，解决了现有的掌子面围岩裂隙的测量方式准确性不足的问题。

Description

一种围岩裂隙信息的模型训练方法及提取方法
技术领域
本发明涉及一种围岩裂隙信息的模型训练方法及提取方法。
背景技术
地质工作是是隧洞建设中的关键一环，其主要工作包括隧洞的勘察设计和开挖过程。隧洞的地质条件由于多方面环境因素的影响比较复杂，同时初期勘察设计所判断的隧洞地质条件往往与隧洞开挖时的实际情况不完全相同，其围岩等级也可能不一致，因此，需要对开挖过程中隧洞的围岩状况进行准确、便捷地分级评估。
隧洞掌子面(即开挖断面)的围岩情况是隧洞施工过程中地质条件判断的重要参考，其中节理裂隙是隧洞掌子面中比较常见的构造地质现象，同时也是判断开挖过程中隧洞地质条件的重要影响性因素。
目前，传统的掌子面围岩裂隙测量手段主要是通过现场专业人员手动测量，主要根据裂隙发育数量和裂隙之间的距离两种指标分析隧洞围岩裂隙的发育情况。但现有的方法存在两个主要问题即信息准确性不足以及工作效率低。一方面，由于现场记录人员的地质知识水平和工作经验影响，不能保证判断描述的完整性和准确性；另一方面，隧洞现场环境非常恶劣，裂隙的描述分析需要大量的时间，浓粉尘和低光照等条件对记录人员进行现场分析和测量来说非常不便，同时，隧洞中的岩爆、塌方等潜在危险始终威胁着现场人员的安全。现有的裂隙处理手段除了人工，也有部分基于传统的图像处理技术，智能化程度不高，流程繁琐。
发明内容
为解决现有的掌子面围岩裂隙的测量方式准确性不足的问题，本发明实施例提供一种围岩裂隙信息的模型训练方法及提取方法。
本发明实施例通过下述技术方案实现：
第一方面，本发明实施例提供一种围岩裂隙信息的模型训练方法，包括：
S1.将原始图像数据集K分为训练集K1和测试集K2，将训练集K1中的每张图像的裂隙位置进行标注，得到标注后的图像数据集；
S2.将标注后的图像数据集载入CenterNet模型进行训练，根据损失函数计算CenterNet模型的损失函数值；
S3.根据所述损失函数值更新所述CenterNet模型的参数，返回S2,直至损失函数值的更新次数达到预设值；
S4.比较所有的损失函数值，得到损失函数值最小的CenterNet模型即围岩裂隙信息定位模型；
所述训练集K1中的每张图像为原始图像。
进一步的，所述S4包括：
根据所述损失函数值通过反向传播的方式更新所述CenterNet模型的参数，返回S2,直至损失函数值的更新次数达到预设值。
进一步的，所述S1包括：将训练集K1中的每张图像的裂隙位置进行标注，剔除光照阴影、黏土矿物影响造成的虚假裂隙，得到标注后的图像数据集。
进一步的，所述S1包括：
将训练集K1中的每张图像的裂隙位置采用矩形框进行标注，得到标注后的图像数据集。
进一步的，所述S2包括：
对载入CenterNet模型的标注后的图像数据集的图像进行图像处理；
将经过所述图像处理的图像进行卷积处理，得到热力图输出矩阵、Offset中心偏移输出矩阵和宽高输出矩阵；
根据热力图输出矩阵中每个点的由sigmoid函数归一化得到的预测值
Figure BDA0003661876760000021
确定每个点是否存在裂隙，若
Figure BDA0003661876760000022
则表示在坐标x，y处检测到裂隙；如果
Figure BDA0003661876760000023
的范围为0-1，则表示在坐标x，y处不存在裂隙；
将训练集K1中的每张图像的裂隙位置的矩形框的中心坐标B1转换成经过图像处理后的图像的中心坐标B2，通过高斯核将B2的分布映射到Offset中心偏移输出矩阵，计算每个点的Yxyc，Yxyc的范围为0-1，Yxyc＝1表示热力图输出矩阵中裂隙的实际位置；其中，中心坐标B1公式为：
Figure BDA0003661876760000024
其中，P为B1中心点，x1,y1；x2,y2为矩形框对角线两点的坐标；
中心坐标B2公式为：
Figure BDA0003661876760000025
其中，
Figure BDA0003661876760000026
为B2中心点，R为4；
高斯核公式为：
Figure BDA0003661876760000027
其中：σp是物体大小自适应的标准差；
根据每个点的
Figure BDA0003661876760000031
与Yxyc，采用损失函数计算CenterNet模型的损失函数值。
进一步的，所述损失函数包括热力图的损失函数、Offset中心偏移损失函数和宽高的损失函数；
其中，热力图的损失函数LK公式为：
Figure BDA0003661876760000032
其中：α和β为Focal Loss的超参数，N为关键点的个数，α取值为2，β取值为4，
Figure BDA0003661876760000033
表示预测值，Yxyc表示真实值；
Offset中心偏移损失函数Loff公式为：
Figure BDA0003661876760000034
其中：N为关键点的个数，
Figure BDA0003661876760000035
为网络预测的偏移量数值，p表示图像中心点坐标，R表示Heatmap的缩放因子，
Figure BDA0003661876760000036
表示缩放后中心点的近似整数坐标；
宽高的损失函数Lsize公式为：
Figure BDA0003661876760000037
其中：N为关键点的个数，sk为目标的真实尺寸，
Figure BDA0003661876760000038
为预测的尺寸。
所述S2还包括：
根据如下损失函数Ldet公式计算CenterNet模型的损失函数值：
Ldet＝Lk+λoffLoff+λsizeLsize (7)
其中，LK为热力图的损失函数，Loff为中心偏移损失函数，Lsize为宽高的损失函数,λoff＝1,λsize＝0.1。
进一步的，对载入CenterNet模型的标注后的图像数据集的图像进行图像处理，包括：
将标注后的图像数据集的图像尺寸进行缩放；
对缩放后的图像的边界零像素点填充；
将零像素点填充后的图像经过卷积层、批归一化层、激活函数层以及最大池化层处理，滑动步长为2，得到特征输出图像；
对特征输出图像进行改变网络维度和增加网络深度的卷积处理，得到卷积处理图像；
采用三层转置卷积层对卷积处理图像进行反卷积处理，得到反卷积处理图像。
第二方面，本发明实施例提供一种围岩裂隙信息的提取方法，包括：
将原始图像载入所述围岩裂隙信息的模型训练方法得到的围岩裂隙信息定位模型进行裂隙定位检测，得到原始图像的裂隙位置定位信息；
将完成定位检测的图像进行灰度化处理；
对灰度化处理后的图像进行聚类分割，得到聚类分割后的图像；
对聚类分割后的图像进行矢量化特征提取，完成对聚类分割后的图像的裂隙主干线的提取。
进一步的，对灰度化处理后的图像进行聚类分割，得到聚类分割后的图像；包括：
T1.将数据集中完成灰度化处理的图像中选择一个样本点作为第一个初始化的聚类中心Ci；
T2.计算每个样本点与当前已有聚类中心之间的最短距离，为D(x)；然后计算每个样本点被选为下一个聚类中心的概率，最后选择最大概率值P(x)，所对应的样本点作为下一个簇中心，其中P(x)的计算公式为：
Figure BDA0003661876760000041
T3.重复步骤T2选出K个聚类中心，其中K为正整数；
T4.计算每个样本点与每个聚类中心之间的相似度,将样本点划分到最相似的类别中，其中，相似度J(c,μ)的计算公式为：
Figure BDA0003661876760000042
其中，Xi代表第i个样本点，ci是Xi所属的簇,μci代表簇对应的中心点，M是样本点的总数；
T5.计算每个类别中的所有样本点特征的均值，并将该均值作为每个类别新的聚类中心，输出最终的聚类中心以及每个样本点所属的类别；
T6.将样本点的类别数据还原成图像，显示图像分割后的结果。
进一步的，所述对聚类分割后的图像进行矢量化特征提取，完成对聚类分割后的图像的裂隙主干线的提取，包括：
提取裂隙的主要干线，采用查表法对聚类分割后的图像进行骨架细化处理，细化裂隙轮廓直到获得单像素宽度的目标图像；
对所述目标图像的单一分离的裂隙线段进行提取。
本发明实施例与现有技术相比，具有如下的优点和有益效果：
本发明实施例的一种围岩裂隙信息的模型训练方法及提取方法，通过将标注后的图像数据集载入CenterNet模型进行训练，比较所有的损失函数值，得到围岩裂隙信息定位模型，通过提取方法应用围岩裂隙信息定位模型对裂隙线段进行提取，解决了现有的掌子面围岩裂隙的测量方式准确性不足的问题。
附图说明
为了更清楚地说明本发明示例性实施方式的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为围岩裂隙信息的模型训练方法的流程示意图。
图2为围岩裂隙信息的模型的提取方法的流程示意图。
图3为示例的围岩裂隙信息的模型的提取方法的流程示意图。
图4为裂隙主干线的提取流程示意图。
图5为聚类分割的流程示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。
在以下描述中，为了提供对本发明的透彻理解阐述了大量特定细节。然而，对于本领域普通技术人员显而易见的是：不必采用这些特定细节来实行本发明。在其他实施例中，为了避免混淆本发明，未具体描述公知的结构、电路、材料或方法。
在整个说明书中，对“一个实施例”、“实施例”、“一个示例”或“示例”的提及意味着：结合该实施例或示例描述的特定特征、结构或特性被包含在本发明至少一个实施例中。因此，在整个说明书的各个地方出现的短语“一个实施例”、“实施例”、“一个示例”或“示例”不一定都指同一实施例或示例。此外，可以以任何适当的组合和、或子组合将特定的特征、结构或特性组合在一个或多个实施例或示例中。此外，本领域普通技术人员应当理解，在此提供的示图都是为了说明的目的，并且示图不一定是按比例绘制的。这里使用的术语“和/或”包括一个或多个相关列出的项目的任何和所有组合。
在本发明的描述中，术语“前”、“后”、“左”、“右”、“上”、“下”、“竖直”、“水平”、“高”、“低”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明保护范围的限制。
实施例
为解决现有的掌子面围岩裂隙的测量方式准确性不足的问题，本发明实施例提供一种围岩裂隙信息的模型训练方法及提取方法。第一方面，本发明实施例提供一种围岩裂隙信息的模型训练方法，参考图1所示，包括：
S1.将原始图像数据集K分为训练集K1和测试集K2，将训练集K1中的每张图像的裂隙位置进行标注，得到标注后的图像数据集；
S2.将标注后的图像数据集载入CenterNet模型进行训练，根据损失函数计算CenterNet模型的损失函数值；
S3.根据所述损失函数值更新所述CenterNet模型的参数，返回S2,直至损失函数值的更新次数达到预设值；
S4.比较所有的损失函数值，得到损失函数值最小的CenterNet模型即围岩裂隙信息定位模型；
所述训练集K1中的每张图像为原始图像。
进一步的，所述S4包括：
根据所述损失函数值通过反向传播的方式更新所述CenterNet模型的参数，返回S2,直至损失函数值的更新次数达到预设值。
进一步的，所述S1包括：将训练集K1中的每张图像的裂隙位置进行标注，剔除光照阴影、黏土矿物影响造成的虚假裂隙，得到标注后的图像数据集。
进一步的，所述S1包括：
将训练集K1中的每张图像的裂隙位置采用矩形框进行标注，得到标注后的图像数据集。
进一步的，所述S2包括：
对载入CenterNet模型的标注后的图像数据集的图像进行图像处理；
将经过所述图像处理的图像进行卷积处理，得到热力图输出矩阵、Offset中心偏移输出矩阵和宽高输出矩阵；
根据热力图输出矩阵中每个点的由s igmo i d函数归一化得到的预测值
Figure BDA0003661876760000071
确定每个点是否存在裂隙，若
Figure BDA0003661876760000072
则表示在坐标x，y处检测到裂隙；如果
Figure BDA0003661876760000073
的范围为0-1，则表示在坐标x，y处不存在裂隙；
将训练集K1中的每张图像的裂隙位置的矩形框的中心坐标B1转换成经过图像处理后的图像的中心坐标B2，通过高斯核将B2的分布映射到Offset中心偏移输出矩阵，计算每个点的Yxyc，Yxyc的范围为0-1，Yxyc＝1表示热力图输出矩阵中裂隙的实际位置；其中，中心坐标B1公式为：
Figure BDA0003661876760000074
其中，P为B1中心点，x1,y1；x2,y2为矩形框对角线两点的坐标；
中心坐标B2公式为：
Figure BDA0003661876760000075
其中，
Figure BDA0003661876760000076
为B2中心点，R为4；
高斯核公式为：
Figure BDA0003661876760000077
其中：σp是物体大小自适应的标准差；
根据每个点的
Figure BDA0003661876760000078
与Yxyc，采用损失函数计算CenterNet模型的损失函数值。
进一步的，所述损失函数包括热力图的损失函数、Offset中心偏移损失函数和宽高的损失函数；
其中，热力图的损失函数LK公式为：
Figure BDA0003661876760000079
其中：α和β为Foca l Loss的超参数，N为关键点的个数，α取值为2，β取值为4，
Figure BDA00036618767600000710
表示预测值，Yxyc表示真实值；
Offset中心偏移损失函数Loff公式为：
Figure BDA0003661876760000081
其中：N为关键点的个数，
Figure BDA0003661876760000082
为网络预测的偏移量数值，p表示图像中心点坐标，R表示Heatmap的缩放因子，
Figure BDA0003661876760000083
表示缩放后中心点的近似整数坐标；
宽高的损失函数Lsize公式为：
Figure BDA0003661876760000084
其中：N为关键点的个数，sk为目标的真实尺寸，
Figure BDA0003661876760000085
为预测的尺寸。
所述S2还包括：
根据如下损失函数Ldet公式计算CenterNet模型的损失函数值：
Ldet＝Lk+λoffLoff+λsizeLsize (7)
其中，LK为热力图的损失函数，Loff为中心偏移损失函数，Lsize为宽高的损失函数,λoff＝1,λsize＝0.1。
进一步的，对载入CenterNet模型的标注后的图像数据集的图像进行图像处理，包括：
将标注后的图像数据集的图像尺寸进行缩放；
对缩放后的图像的边界零像素点填充；
将零像素点填充后的图像经过卷积层、批归一化层、激活函数层以及最大池化层处理，滑动步长为2，得到特征输出图像；
对特征输出图像进行改变网络维度和增加网络深度的卷积处理，得到卷积处理图像；
采用三层转置卷积层对卷积处理图像进行反卷积处理，得到反卷积处理图像。
具体地，本发明实施例提供一种围岩裂隙信息的模型训练方法，包括：
1.将原始图像数据集K分为训练集K1和测试集K2两大类，划分比例为7:3，将K1进行图像标注，对裂隙区域进行筛查，剔除可能由光照阴影、黏土矿物影响造成的虚假裂隙，生成XML格式的标注信息(标注框)。
2.基于深度学习中目标检测网络模型CenterNet主干特征网络由ResNet50残差神经网络模块构成，将K1中的图像S载入CenterNet模型之后，训练流程主要进行如下几个步骤：
①将S尺寸缩放至512×512×3。
②对S进行边界0像素点填充(Zeropad)。
③将S经过卷积层、批归一化层(BatchNorm)、激活函数层(ReLU)以及最大池化层(MaxPoo l ing)，滑动步长(str ide)为2，得到S的特征输出S1，数据尺寸为128×128×64。
④对S1进行Conv Block以及Ident ity Block的卷积处理，前者改变改变网络的维度，后者增加网络深度，将两种块进行组合得到4类模块组，处理过后得到S2，输出层数据尺寸为16×16×2048。
⑤紧接于④为三层转置卷积层，对输出的S2进行反卷积上采样(ConvTranspose),获得高的分辨率输出，输出层数据尺寸S3为128×128×64。
⑥然后为构建预测输出的头部模块(Center Head),将得到的S3进行三种卷积，得到三类输出矩阵：
热力图输出(Heatmap，A1)，输出热力图，预测裂隙中心点的存在情况，输出矩阵尺寸为128×128×n，需识别的物体为裂隙，则n＝1。
Offset中心偏移输出(A2)，表示预测裂隙中心点距离实际裂隙标签中心的偏移情况；
W(宽)H(高)输出(A3)，预测图中裂隙中心点所对应矩形框的宽高。
⑦A1矩阵中各点存在由s igmo id函数归一化得到的预测值
Figure BDA0003661876760000091
由其取值范围为
Figure BDA0003661876760000092
表示该点处存在裂隙中心点的可能性，如果
Figure BDA0003661876760000093
则表示在坐标x，y处检测到裂隙；如果
Figure BDA0003661876760000094
表示在当前该点不存在裂隙。
⑧K1中原图S的裂隙标注框对应的中心点坐标B1计算公式为
Figure BDA0003661876760000095
x1,x2,y1,y2为标注框对角线两点的坐标，变换成S3的数据尺寸特征图后，其中心点的坐标B2变为
Figure BDA0003661876760000096
R＝4，为使得S图像转化为与S3中输出热力图A1尺寸相匹配的热力图A2，通过高斯核将B2的分布映射到热力图A2中，高斯核计算公式为
Figure BDA0003661876760000097
其中：σp是物体大小自适应的标准差。计算每个点的Yxyc，Yxyc的范围是0-1，而Yxyc＝1则代表热力图A2中该点为裂隙的实际位置中心所在。
⑨模型将比对
Figure BDA0003661876760000098
与Yxyc的差异，采用损失函数大小衡量其差异性，达到尽可能的拟合。该模型的损失函数选择由三部分组成，热力图的损失函数采用Foca l l oss算法，其算法公式为：
Figure BDA0003661876760000101
其中：α和β是Foca l Loss的超参数，而其中的N表示关键点的个数，用于进行标准化。α取值为2，β取值为4。
Figure BDA0003661876760000102
表示预测值，Yxyc表示真实值。
Offset中心偏移损失函数计算采用L1 l oss算法，其算法公式为：
Figure BDA0003661876760000103
其中：N表示关键点的个数，
Figure BDA0003661876760000104
表示网络预测的偏移量数值，p表示图像中心点坐标，R表示Heatmap的缩放因子，
Figure BDA0003661876760000105
表示缩放后中心点的近似整数坐标。
WH宽高的损失函数采用L1 l oss算法，其算法公式为：
Figure BDA0003661876760000106
其中：N表示关键点的个数，sk表示目标的真实尺寸，
Figure BDA0003661876760000107
表示预测的尺寸。
总的损失函数为：Ldet＝Lk+λoffLoff+λsizeLsize；其中：λoff＝1，λsize＝0.1。
⑩计算出损失函数值后，训练模型通过反向传播更新参数，并再次计算损失函数，重复上述步骤，直到模型损失函数值达到最小，此时训练完成，将训练好的模型进行保存，存储为pth格式的文件类型。
第二方面，在围岩裂隙信息定位模型的基础上，本发明实施例提供一种围岩裂隙信息的提取方法，参考图2所示，包括：
S11.将原始图像载入所述围岩裂隙信息的模型训练方法得到的围岩裂隙信息定位模型进行裂隙定位检测，得到原始图像的裂隙位置定位信息；
S12.将完成定位检测的图像进行灰度化处理；
S13.对灰度化处理后的图像进行聚类分割，得到聚类分割后的图像；
S14.对聚类分割后的图像进行矢量化特征提取，完成对聚类分割后的图像的裂隙主干线的提取。
进一步的，对灰度化处理后的图像进行聚类分割，得到聚类分割后的图像；包括：
T1.将数据集中完成灰度化处理的图像中选择一个样本点作为第一个初始化的聚类中心Ci；
T2.计算每个样本点与当前已有聚类中心之间的最短距离，为D(x)；然后计算每个样本点被选为下一个聚类中心的概率，最后选择最大概率值P(x)，所对应的样本点作为下一个簇中心，其中P(x)的计算公式为：
Figure BDA0003661876760000111
T3.重复步骤T2选出K个聚类中心，其中K为正整数；
T4.计算每个样本点与每个聚类中心之间的相似度,将样本点划分到最相似的类别中，其中，相似度J(c,μ)的计算公式为：
Figure BDA0003661876760000112
其中，Xi代表第i个样本点，ci是Xi所属的簇,μci代表簇对应的中心点，M是样本点的总数；
T5.计算每个类别中的所有样本点特征的均值，并将该均值作为每个类别新的聚类中心，输出最终的聚类中心以及每个样本点所属的类别；
T6.将样本点的类别数据还原成图像，显示图像分割后的结果。
进一步的，所述对聚类分割后的图像进行矢量化特征提取，完成对聚类分割后的图像的裂隙主干线的提取，包括：
提取裂隙的主要干线，采用查表法对聚类分割后的图像进行骨架细化处理，细化裂隙轮廓直到获得单像素宽度的目标图像；
对所述目标图像的单一分离的裂隙线段进行提取。
具体地，围岩裂隙信息的提取方法，参考图3所示，包括：
1.将K2数据集中的图像C载入训练好的模型进行裂隙定位检测，图像的尺寸变换如步骤2中的①～⑥所示，检测输出热力图矩阵中各特征点
Figure BDA0003661876760000113
的取值，判断在该特征点处是否有存在裂隙中心点，预测得到裂隙中心点坐标，回归预测获得裂隙的宽高尺寸(矩形框)，预测完成后缩放至原图大小，最终得到K2中图片C的裂隙位置定位信息。
2.将定位检测完成的图像进行灰度化处理，对图像中红(R)、绿(G)、蓝(B)三个颜色通道的数值进行加权平均，得到灰度图像，算法公式为：Gray＝0.299*R+0.578*G+0.114*B。选择自适应中值滤波对灰度图像去噪，通过动态地改变中值滤波算法的窗口尺寸进行图像去噪，对滤波窗口中心的像素进行判断，若滤波窗口中心是噪声，则可用中值作为新像素值代替，否则不做任何改动。自适应中值滤波算法的基本思路主要分为两个过程，分别记为过程A和过程B，其具体过程如下:
A：若Zmin＜Zmed＜Zmax(Zmed，Zmin，Zmax分别是处理对象邻域S(滤波滑动窗口)中的中间亮度值、最小亮度值和最大亮度值)，则进行B步骤；否则增大S尺寸，S≤Smax(最大自适应滤波器窗口大小)，重复A过程。
B：若Zmin＜Zxy＜Zmax(Zxy表示处理对象坐标(x，y)处的像素值)，则输出Zxy；否则输出Zmed。
3.参考图5所示，为直观简单地区分2步骤图像矩形裂隙定位区域中，裂隙展布与非裂隙区域的轮廓范围，提取分割裂隙与背景，由于图像定位框中裂隙与非裂隙区域(背景)的明显像素值差异，对图像进行聚类分割，将框内所需分割的目标类型划分为两类，即裂隙、背景(K＝2)，采用划分式聚类方法K-means++，将图像的所有像素点并将其转换为样本点数据，并进行如下步骤：
①在数据集中X中随机选择一个样本点作为第一个初始化的聚类中心Ci。
②着计算每个样本点与当前已有聚类中心之间的最短距离，为D(x)；然后计算每个样本点被选为下一个聚类中心的概率，最后选择最大概率值P(x)，
Figure BDA0003661876760000121
所对应的样本点作为下一个簇中心。
③重复2步骤，直到选出K(K＝2)个聚类中心。
④计算每个样本点与每个聚类中心之间的相似度(
Figure BDA0003661876760000122
其中Xi代表第i个样本点，ci是Xi所属的簇,μci代表簇对应的中心点，M是样本点总数)，将样本点划分到最相似的类别中。
⑤计算划分到每个类别中的所有样本点特征的均值，并将该均值作为每个类新的聚类中心，输出最终的聚类中心以及每个样本点所属的类别。
⑥将样本点类别数据还原成图像，显示图像分割后的结果。
4.参考图4所示，提取裂隙的主要干线，进行图像的骨架化处理，即在保持图像中裂隙基本结构的情况下，细化裂隙轮廓直到获得单像素宽度的目标图像，主要采用查表法进行骨架细化处理，主要依据为黑色像素点附近8个相邻点(八连通)的分布情况，算法运用python进行编写，具体判据为：
①内部点不能删除
②孤立点不能删除
③直线端点不能删除
④如果P是边界点，去掉P后，如果连通分量不增加，则P可删除。
5.骨架化后提取单一分离的裂隙线段，该算法使用Python编程语言进行编写，利用栈的算法结构进行数据存储，数据提取基于Python-Opencv图像处理库。创建二维栈数组存放图中裂隙点的提取数据，第一维存储裂隙线段条数，即先前目标检测识别得到图上的裂隙数量结果，第二维存放每条裂隙相对应的裂隙点的像素坐标位置。
由于图中只存在裂隙点(白色)与背景(黑色)，首先根据邻域裂隙点的分布情况遍历存储图中各条裂隙的所有端点坐标，并将其存入列表当中。默认图像中最左边的端点坐标作为初始标记点，存入二维数组中第二维，将其像素值设置为黑色(背景色)。判断标记点邻域裂隙点的分布情况，若只有一个，则将邻域裂隙点的坐标赋值为标记点坐标并存入二维数组第二维，将新标记点像素值设置为黑色。
重复上述操作，直到遭遇标记点的邻域裂隙点存在两个或两个以上的情况，则需要进行优先级判断。基于裂隙图像的基本分布模式以及裂隙相交的几何特性，两点间角度最大的像素点应为同一条裂隙线段上的裂隙点。判断完毕后，将优先级最高的裂隙点作为标记点，存储坐标并将前标记点设置为黑色。
若标记点更新为另一个端点，则表示单条裂隙线段的所有点标记结束，图像中该线段全部隐去(点坐标全为黑色)。
选取第二个端点作为新的初始标记点，判断图像中该点的邻域裂隙点情况。若不存在邻域裂隙点，说明该端点已被标记，若存在，则重复单条裂隙线段的标记操作。标记完所有裂隙线段之后，对应先前图像裂隙目标检测识别得到的裂隙条数，完成对图像裂隙主干线的提取。
本发明实施例采取的聚类分割较边缘检测而言更适合存在模糊性的图像，裂隙图像中裂隙与背景像素之间的差异不会非常巨大，有可能是渐进式的，也有可能是不均匀分布的，如Canny此类的边缘检测算法不能得到较好的区域结构。
本发明实施例结合深度学习以及部分传统图像处理手段的裂隙提取手段，鲁棒性更强，泛化能力更好，流程简便的同时后续优化方便；本发明实施例针对裂隙的检测定位问题，CenterNet神经网络相较于现有的目标检测模型(One-stage,Two-stage)而言，结构简单。现有的裂隙图像目标检测方法在NMS(非极大值抑制)阶段就得浪费大量的时间，而CenterNet直接检测目标的关键点并回归物体大小，在检测速度上提升非常大，同时剔除Anchors(锚框)后，检测精度较传统目标检测模型而言提升明显。
从而，本发明实施例基于深度学习中目标检测算法模型CenterNet进行裂隙区域的图像定位识别，采用无监督聚类算法解决了图像中裂隙轮廓提取的问题，进行裂隙矢量化的特征提取，更好的实现了对围岩裂隙信息的提取。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种围岩裂隙信息的模型训练方法，其特征在于，包括：
S1.将原始图像数据集K分为训练集K1和测试集K2，将训练集K1中的每张图像的裂隙位置进行标注，得到标注后的图像数据集；
S2.将标注后的图像数据集载入CenterNet模型进行训练，根据损失函数计算CenterNet模型的损失函数值；
S3.根据所述损失函数值更新所述CenterNet模型的参数，返回S2,直至损失函数值的更新次数达到预设值；
S4.比较所有的损失函数值，得到损失函数值最小的CenterNet模型即围岩裂隙信息定位模型；
所述训练集K1中的每张图像为原始图像。
2.根据权利要求1所述围岩裂隙信息的模型训练方法，其特征在于，所述S4包括：
根据所述损失函数值通过反向传播的方式更新所述CenterNet模型的参数，返回S2,直至损失函数值的更新次数达到预设值。
3.根据权利要求1所述围岩裂隙信息的模型训练方法，其特征在于，所述S1包括：将训练集K1中的每张图像的裂隙位置进行标注，剔除光照阴影、黏土矿物影响造成的虚假裂隙，得到标注后的图像数据集。
4.根据权利要求1-3任意一项所述围岩裂隙信息的模型训练方法，其特征在于，所述S1包括：
将训练集K1中的每张图像的裂隙位置采用矩形框进行标注，得到标注后的图像数据集。
5.根据权利要求4所述围岩裂隙信息的模型训练方法，其特征在于，所述S2包括：
对载入CenterNet模型的标注后的图像数据集的图像进行图像处理；
将经过所述图像处理的图像进行卷积处理，得到热力图输出矩阵、Offset中心偏移输出矩阵和宽高输出矩阵；
根据热力图输出矩阵中每个点的由sigmoid函数归一化得到的预测值
Figure FDA0003661876750000011
确定每个点是否存在裂隙，若
Figure FDA0003661876750000012
则表示在坐标x，y处检测到裂隙；如果
Figure FDA0003661876750000013
Figure FDA0003661876750000014
的范围为0-1，则表示在坐标x，y处不存在裂隙；
将训练集K1中的每张图像的裂隙位置的矩形框的中心坐标B1转换成经过图像处理后的图像的中心坐标B2，通过高斯核将B2的分布映射到Offset中心偏移输出矩阵，计算每个点的Yxyc，Yxyc的范围为0-1，Yxyc＝1表示热力图输出矩阵中裂隙的实际位置；其中，中心坐标B1公式为：
Figure FDA0003661876750000021
其中，P为B1中心点，x1,y1；x2,y2为矩形框对角线两点的坐标；
中心坐标B2公式为：
Figure FDA0003661876750000022
其中，
Figure FDA0003661876750000023
为B2中心点，R为4；
高斯核公式为：
Figure FDA0003661876750000024
其中：σp是物体大小自适应的标准差；
根据每个点的
Figure FDA0003661876750000025
与Yxyc，采用损失函数计算CenterNet模型的损失函数值。
6.根据权利要求5所述围岩裂隙信息的模型训练方法，其特征在于，所述损失函数包括热力图的损失函数、Offset中心偏移损失函数和宽高的损失函数；
其中，热力图的损失函数LK公式为：
Figure FDA0003661876750000026
其中：α和β为Focal Loss的超参数，N为关键点的个数，α取值为2，β取值为4，
Figure FDA0003661876750000027
表示预测值，Yxyc表示真实值；
Offset中心偏移损失函数Loff公式为：
Figure FDA0003661876750000028
其中：N为关键点的个数，
Figure FDA0003661876750000029
为网络预测的偏移量数值，p表示图像中心点坐标，R表示Heatmap的缩放因子，
Figure FDA00036618767500000210
表示缩放后中心点的近似整数坐标；
宽高的损失函数Lsize公式为：
Figure FDA00036618767500000211
其中：N为关键点的个数，sk为目标的真实尺寸，
Figure FDA00036618767500000212
为预测的尺寸。
所述S2还包括：
根据如下损失函数Ldet公式计算CenterNet模型的损失函数值：
Ldet＝Lk+λoffLoff+λsizeLsize (7)
其中，LK为热力图的损失函数，Loff为中心偏移损失函数，Lsize为宽高的损失函数,λoff＝1,λsize＝0.1。
7.根据权利要求4所述围岩裂隙信息的模型训练方法，其特征在于，对载入CenterNet模型的标注后的图像数据集的图像进行图像处理，包括：
将标注后的图像数据集的图像尺寸进行缩放；
对缩放后的图像的边界零像素点填充；
将零像素点填充后的图像经过卷积层、批归一化层、激活函数层以及最大池化层处理，滑动步长为2，得到特征输出图像；
对特征输出图像进行改变网络维度和增加网络深度的卷积处理，得到卷积处理图像；
采用三层转置卷积层对卷积处理图像进行反卷积处理，得到反卷积处理图像。
8.一种围岩裂隙信息的提取方法，其特征在于，包括：
将原始图像载入所述权利要求1-7任意一项所述围岩裂隙信息的模型训练方法得到的围岩裂隙信息定位模型进行裂隙定位检测，得到原始图像的裂隙位置定位信息；
将完成定位检测的图像进行灰度化处理；
对灰度化处理后的图像进行聚类分割，得到聚类分割后的图像；
对聚类分割后的图像进行矢量化特征提取，完成对聚类分割后的图像的裂隙主干线的提取。
9.根据权利要求8所述的围岩裂隙信息的提取方法，其特征在于，对灰度化处理后的图像进行聚类分割，得到聚类分割后的图像；包括：
T1.将数据集中完成灰度化处理的图像中选择一个样本点作为第一个初始化的聚类中心Ci；
T2.计算每个样本点与当前已有聚类中心之间的最短距离，为D(x)；然后计算每个样本点被选为下一个聚类中心的概率，最后选择最大概率值P(x)，所对应的样本点作为下一个簇中心，其中P(x)的计算公式为：
Figure FDA0003661876750000031
T3.重复步骤T2选出K个聚类中心，其中K为正整数；
T4.计算每个样本点与每个聚类中心之间的相似度,将样本点划分到最相似的类别中，其中，相似度J(c,μ)的计算公式为：
Figure FDA0003661876750000041
其中，Xi代表第i个样本点，ci是Xi所属的簇,μci代表簇对应的中心点，M是样本点的总数；
T5.计算每个类别中的所有样本点特征的均值，并将该均值作为每个类别新的聚类中心，输出最终的聚类中心以及每个样本点所属的类别；
T6.将样本点的类别数据还原成图像，显示图像分割后的结果。
10.根据权利要求8所述的围岩裂隙信息的提取方法，其特征在于，所述对聚类分割后的图像进行矢量化特征提取，完成对聚类分割后的图像的裂隙主干线的提取，包括：
提取裂隙的主要干线，采用查表法对聚类分割后的图像进行骨架细化处理，细化裂隙轮廓直到获得单像素宽度的目标图像；
对所述目标图像的单一分离的裂隙线段进行提取。
CN202210575232.4A 2022-05-25 2022-05-25 一种围岩裂隙信息的模型训练方法及提取方法 Pending CN114913423A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210575232.4A CN114913423A (zh) 2022-05-25 2022-05-25 一种围岩裂隙信息的模型训练方法及提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210575232.4A CN114913423A (zh) 2022-05-25 2022-05-25 一种围岩裂隙信息的模型训练方法及提取方法

Publications (1)

Publication Number Publication Date
CN114913423A true CN114913423A (zh) 2022-08-16

Family

ID=82769652

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210575232.4A Pending CN114913423A (zh) 2022-05-25 2022-05-25 一种围岩裂隙信息的模型训练方法及提取方法

Country Status (1)

Country Link
CN (1) CN114913423A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115546113A (zh) * 2022-09-15 2022-12-30 山东大学 掌子面裂隙图像与前方三维结构参数预测方法及系统
CN116025336A (zh) * 2023-01-16 2023-04-28 中国矿业大学 一种基于钻孔成像的纵向裂隙识别与参数自动提取方法
CN116977857A (zh) * 2023-08-07 2023-10-31 广东粤港供水有限公司 一种基于深度学习的隧道裂缝自动检测方法
CN117152060A (zh) * 2023-07-25 2023-12-01 长安大学 基于机器学习的裂隙岩体裂隙数量确定方法、裂隙岩体质量评价方法、电子设备及存储介质
CN117690165A (zh) * 2024-02-02 2024-03-12 四川泓宝润业工程技术有限公司 一种钻杆与液压钳间人员穿行检测方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020102988A1 (zh) * 2018-11-20 2020-05-28 西安电子科技大学 基于特征融合和稠密连接的红外面目标检测方法
CN113822880A (zh) * 2021-11-22 2021-12-21 中南大学 一种基于深度学习的裂缝识别方法
CN113850281A (zh) * 2021-02-05 2021-12-28 天翼智慧家庭科技有限公司 一种基于meanshift优化的数据处理方法和装置
CN114494812A (zh) * 2022-02-16 2022-05-13 湖南大学 一种基于改进CenterNet的图像小目标检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020102988A1 (zh) * 2018-11-20 2020-05-28 西安电子科技大学 基于特征融合和稠密连接的红外面目标检测方法
CN113850281A (zh) * 2021-02-05 2021-12-28 天翼智慧家庭科技有限公司 一种基于meanshift优化的数据处理方法和装置
CN113822880A (zh) * 2021-11-22 2021-12-21 中南大学 一种基于深度学习的裂缝识别方法
CN114494812A (zh) * 2022-02-16 2022-05-13 湖南大学 一种基于改进CenterNet的图像小目标检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王彬宇等: "基于余弦距离选取初始簇中心的文本聚类研究" *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115546113A (zh) * 2022-09-15 2022-12-30 山东大学 掌子面裂隙图像与前方三维结构参数预测方法及系统
CN116025336A (zh) * 2023-01-16 2023-04-28 中国矿业大学 一种基于钻孔成像的纵向裂隙识别与参数自动提取方法
CN117152060A (zh) * 2023-07-25 2023-12-01 长安大学 基于机器学习的裂隙岩体裂隙数量确定方法、裂隙岩体质量评价方法、电子设备及存储介质
CN117152060B (zh) * 2023-07-25 2024-06-07 长安大学 基于机器学习的裂隙岩体裂隙数量确定方法、电子设备及存储介质
CN116977857A (zh) * 2023-08-07 2023-10-31 广东粤港供水有限公司 一种基于深度学习的隧道裂缝自动检测方法
CN116977857B (zh) * 2023-08-07 2024-06-11 广东粤港供水有限公司 一种基于深度学习的隧道裂缝自动检测方法
CN117690165A (zh) * 2024-02-02 2024-03-12 四川泓宝润业工程技术有限公司 一种钻杆与液压钳间人员穿行检测方法及装置
CN117690165B (zh) * 2024-02-02 2024-07-09 四川泓宝润业工程技术有限公司 一种钻杆与液压钳间人员穿行检测方法及装置

Similar Documents

Publication Publication Date Title
CN114913423A (zh) 一种围岩裂隙信息的模型训练方法及提取方法
CN110084292B (zh) 基于DenseNet和多尺度特征融合的目标检测方法
CN109685776B (zh) 一种基于ct图像的肺结节检测方法及系统
CN108549891B (zh) 基于背景与目标先验的多尺度扩散显著目标检测方法
CN109886066B (zh) 基于多尺度和多层特征融合的快速目标检测方法
Lei et al. Multiscale superpixel segmentation with deep features for change detection
CN108564085B (zh) 一种自动读取指针式仪表读数的方法
CN105809194B (zh) 一种sar影像翻译为光学影像的方法
CN111461213B (zh) 一种目标检测模型的训练方法、目标快速检测方法
CN112396619B (zh) 一种基于语义分割的内部复杂组成的小型颗粒分割方法
CN104657980A (zh) 一种改进的基于Meanshift的多通道图像分割算法
CN113223170B (zh) 一种基于致密砂岩ct图像三维重构的孔隙识别方法
CN111666856A (zh) 基于结构特性的高分辨率单极化sar影像建筑目标检测方法
CN112819753B (zh) 一种建筑物变化检测方法、装置、智能终端及存储介质
CN114091606A (zh) 一种隧道爆破炮孔半眼痕识别和损伤平整度评价分类方法
CN101770583A (zh) 一种基于场景全局特征的模板匹配方法
CN110634142B (zh) 一种复杂车路图像边界优化方法
CN109726660A (zh) 一种遥感图像船舶识别方法
CN117455868A (zh) 基于显著融合差异图和深度学习的sar图像变化检测方法
CN108804581B (zh) 一种基于深度学习的同类物体检索方法及系统
CN107292268A (zh) 快速脊波反卷积结构学习模型的sar图像语义分割方法
CN114170526A (zh) 基于轻量化网络的遥感影像多尺度目标检测识别方法
CN112163374B (zh) 一种多模态数据中间层融合全连接地质图预测模型的处理方法
CN112884835A (zh) 一种基于深度学习之目标检测的视觉slam方法
CN115497006B (zh) 基于动态混合策略的城区遥感图像变化深度监测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20220816