CN113112446A - 基于残差卷积神经网络的隧道围岩级别智能判定方法 - Google Patents

基于残差卷积神经网络的隧道围岩级别智能判定方法 Download PDF

Info

Publication number
CN113112446A
CN113112446A CN202010149083.6A CN202010149083A CN113112446A CN 113112446 A CN113112446 A CN 113112446A CN 202010149083 A CN202010149083 A CN 202010149083A CN 113112446 A CN113112446 A CN 113112446A
Authority
CN
China
Prior art keywords
image
neural network
surrounding rock
training
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010149083.6A
Other languages
English (en)
Inventor
马春驰
杨罡
李天斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Univeristy of Technology
Original Assignee
Chengdu Univeristy of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Univeristy of Technology filed Critical Chengdu Univeristy of Technology
Priority to CN202010149083.6A priority Critical patent/CN113112446A/zh
Publication of CN113112446A publication Critical patent/CN113112446A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/40Image enhancement or restoration using histogram techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/73Deblurring; Sharpening

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

基于残差卷积神经网络的隧道围岩级别智能判定方法,包括如下步骤:步骤一.采集隧道掌子面高分辨率图像数据,构建样本库;步骤二.从步骤一得到的样本库中随机选取样本作为训练集,剩余的作为测试集;步骤三.构建残差深度卷积神经网络,通过训练降低损失函数值并更新网络权重参数,得到学习后的网络权重参数;步骤四.选择需要进行围岩分级的图像,作为卷积神经网络的输入,根据所得到的围岩级别预测,返回隧道掌子面对应的围岩分级评定结果。本发明基于于卷积神经网络智能评估围岩等级,不需要进行现场或室内岩土体力学实验即可实现围岩级别判定,能规避因接触式采集围岩数据信息时的危险,实现了隧道与地下工程围岩分级工作的自动化与智能化。

Description

基于残差卷积神经网络的隧道围岩级别智能判定方法
技术领域
本发明涉及隧道与地下工程的勘察设计领域,适用于各种交通、 水利水电等隧道与地下工程的勘察设计,具体为一种基于残差卷积神 经网络的隧道围岩级别智能判定方法。
背景技术
隧道是修筑在具有一定应力历史和构造迹象的多种围岩介质中 的一种洞室结构体系,隧道围岩是指隧道周围一定范围内对隧道稳定 性产生影响的岩土体,隧道周围的地层不管是岩体还是土体统称为隧 道围岩。为满足隧道工程建设的需要,用综合指标或单一指标把围岩 的稳定程度划分为若干级别,这种分级称为围岩分级。对隧道的围岩 级别作出正确的评价不仅关系到隧道的设计和施工方案、隧道的工程 造价,而且还关系到隧道施工与运营期间的安全与稳定。因此,对岩 体给出客观评价的围岩分级方案,是隧道设计和施工阶段的重要依据。
虽然规范给出了各级围岩的相关描述,但目前围岩分级的各项指 标与围岩等级尚未建立精确的关系,并且部分围岩分级指标之间没有 明确界限,所以隧道围岩分级受主观因素的影响较大。隧道围岩分级 是一个经验性极强的领域,包含了多种不确定因素,很多情况都要依 靠工程经验丰富的专家确定围岩等级。
目前,隧道围岩分级主要依靠现场采集定量、定性指标,根据规 范要求方式进行选取。现场信息采集还存在获取难度高、工作量较大、 误差较大、效率不高、采集过程安全性差的不足。因此,研究一种基 于图像(非接触式)的隧道围岩特征提取并自动进行围岩分级的方法 十分有意义,能够很大程度上保证围岩分级的准确性、安全性。
发明内容
为克服现有技术存在的技术缺陷,本发明公开了一种基于残差卷 积神经网络的隧道围岩级别智能判定方法。
本发明所述基于残差卷积神经网络的隧道围岩级别智能判定方 法,包括如下步骤:
步骤一.采集隧道掌子面高分辨率图像数据,构建样本库;
步骤二.从步骤一得到的样本库中随机选取大于70%比例数量的 样本作为训练集,剩余的作为测试集,并采用数据增广方法进行样本 集的扩充,使其满足后续神经网络训练所需要的样本数量;
步骤三.构建残差深度卷积神经网络,用于学习训练,通过训练 不断降低损失函数值并更新网络权重参数,经过多次训练后,得到学 习后更新了网络权重参数的神经网络;
所述残差深度卷积神经网络中包括多个顺序连接的残差块,所述 残差块的数据处理方式包括直线连接和跳跃连接,所述直线连接为将 上一层输出作为本层原始输入逐步进行卷积、归一化、激活处理;所 述跳跃连接直接将上一层输出与所述直线连接输出处进行张量元素 内容相加;
所述残差块将加和结果直接作为残差块处理结果进行输出;
步骤四.选择需要进行围岩分级的图像,作为卷积神经网络的输 入,通过步骤三得到的卷积神经网络的迭代,并应用对应围岩分级训 练集训练学习得到的网络权重参数,输出围岩对应级别预测;根据所 得到的围岩级别预测,返回隧道掌子面对应的围岩分级评定结果。
优选的,所述步骤一中还包括对图像进行预处理的步骤;具体操 作步骤如下:
将图像的R、G、B三个像素通道分解成单通道,对三个通道分别 进行直方图均衡化,均衡化处理后的结果再进行合成,得到均衡化后 的图像。
优选的,所述步骤2中数据增广可以引入imutils图像处理包对 图像进行处理,具体步骤为:
调用该包的paths.list_images()函数查找从步骤一中得到的样 本库的全部图像,并抓取图像路径,罗列所有文件,并将路径保存至 变量imagePaths中,抓取图像的路径,将每张图像加载至内存,随 后初始化图像处理包中的data和labels数组,循环遍历imagePaths, 将原始像素强度调整到范围[0,1]完成图像数据预处理;
然后利用图像处理包cv2模块的imread()接口读入图像数据, 并利用resize()接口将图像尺寸修改,利用img_to_array()函数将 图片转化成数组,将转换后的数组存入data数组中;
从图像路径中提取类标签并更新标签列表完成多类标签的解析, 将标签名添加至图像处理包的labels数组中,导入机器学习库 scikit-learn库,使用LabelBinarizer()函数完成labels数组的标 签二值化;
从sklearn.model_selection函数中导入train_test_split() 函数,将数据集data、标签集labels作为参数传入 train_test_split()函数;
将图像数据划分为训练集和测试集并进行数据增广。
优选的,所述步骤三中,当前网络层第l层的输出等于正常网络 的输出计算公式如下:
a[l]=g(zl+a[l-1])=g(wla[l-1]+b[l]+a[l-1])=g((wl+1)a[l-1]+b[l]);
其中zl表示该层的线性运算结果,wl表示第l层的卷积核,g为激活 函数;
残差神经网络中反向传播的误差传播公式如下:
Figure BDA0002401065470000041
优选的,所述步骤三中,逻辑回归使用的损失函数方程为:
损失函数:
Figure BDA0002401065470000042
其中yj为(第j个期望输出),
Figure BDA0002401065470000043
表示第j个原始的实际输出;
对应的代价函数方程为:
代价函数
Figure BDA0002401065470000044
其中yj为第j个预测值,
Figure BDA0002401065470000045
表示第j个训练样本的输出值,m 为输入值的个数,w,b表示不同的卷积核和偏差;
逻辑回归梯度下降计算公式为:
Figure BDA0002401065470000046
y为预测值,
Figure BDA0002401065470000047
表示训练样本的输出值。
优选的,所述步骤三中,在神经网络中某一隐藏层的中间值实现 每一层神经网络的输入保持相同分布的方法具体如下:
Figure BDA0002401065470000048
Figure BDA0002401065470000049
Figure BDA0002401065470000051
Figure BDA0002401065470000052
Z(i)为各输入值,
m为每个送入批次(batch)中样本的数量;
μ为计算出的均值;
σ2为计算出的方差;
Figure BDA0002401065470000053
为归一化处理结果;∈是为了防止方差为0的稳定参数;
γ为尺度因子,用于调整数值大小;
β为平移因子,用于增加偏移。
优选的,所述步骤三的训练过程中,通过Adam算法降低损失函数 值并更新网络权重参数,具体为:
Adam优化算法初始化参数:
Vdw=0,Sdw=0,Vdb=0,Sdb=0;
第t次迭代时:
Vdw=β1Vdw+(1-β1)dw,Vdb=β1Vdb+(1-β1)db
Sdw=β2Sdw+(1-β2)(dw)2,Sdb=β2Sdb+(1-β2)(db)2
t迭代的次数;α学习率;
β1:一阶矩阵估计的指数衰减率;t表示不同迭代次数t下的衰 减率;
β2:二阶矩阵估计的指数衰减率;t表示不同迭代次数t下的衰 减率;
∈:为了防止分母为0的稳定参数;
w:权重;
b:偏置量;
dw:权重导数;
db:偏置量导数;
(dw)2表示是权重w的梯度的平方,也称为微分的平方;
Vdm、Vdb、Sdb、Sdw是用于保存指数加权平均值(移动平均值)的中 间变量。
优选的,所述步骤三的训练过程中,考虑偏差修正,得到修正后 的参数:
Figure BDA0002401065470000061
Figure BDA0002401065470000062
Figure BDA0002401065470000063
Vdm、Vdb、Sdb、Sdw增加上标CORRECTED表示修正后的参数。
本发明基于数字图像和基于卷积神经网络实现隧道围岩等级的 智能评估,不需要进行现场或室内岩土体力学实验即可实现围岩级别 判定,能规避因接触式采集围岩数据信息时的危险;本发明能够很好 地和各种优化问题相结合,且通用性强,对图像中不确定的信息具有 一定适应能力;本发明经济实用,操作简单,适用于各种交通、水利 水电等隧道工程围岩等级判定及勘察设计工作。
附图说明
图1为本发明所述判定方法的一个具体实施方式流程示意图。
图2为某个示例隧道掌子面图像处理前及采用本发明进行图像 处理后的图像对比示意图;
图3为另一示例隧道掌子面图像处理前及采用本发明进行图像 处理后的图像对比示意图。
图4为本发明所述ResNet10网络结构图;图4中,CONV表示卷 积层,POOL池化层,FC表示全连接层,每层的7X7,3X3表示卷积核 大小,各个卷积层的数字64,128,256,512分别表示对应卷积层卷积 核数量;图4中弧形路径表示跳跃连接。
具体实施方式
下面结合附图,对本发明的具体实施方式作进一步的详细说明。
本发明所述基于残差卷积神经网络的隧道围岩级别智能判定方 法,包括如下步骤:
步骤一、采集隧道掌子面高分辨率图像数据,构建样本库。
所述步骤一中进行图像采集可以根据以下方法进行采集。
①根据不同的拍摄内容、拍摄时间、拍摄环境、拍摄模式分别构 建数据集,根据以上要素的不同类别对数据进行细分。
其中拍摄内容由拍摄时相机到掌子面的距离和显示区域进行划 分:在不放大情况下刚好能完整拍摄掌子面全貌的图像数据作为掌子 面全貌拍摄类型数据,不放大情况下可体现不同岩性过渡部位、断层 破碎带、节理裂隙、出水部位等掌子面部分特征的图像数据为掌子面 局部拍摄类型数据。
拍摄时间根据爆破后正常通风后时间进行分类,每次拍摄间隔一 定时间例如10min;拍摄环境分类为拍摄时的外部环境亮度,光照方 向等因素,拍摄模式分类为拍摄器材的工作模式,例如正常模式不打 开闪光灯情况下,不同iso值情况下的图像数据。
②对按照步骤①构建得到的不同数据集进行卷积神经网络训练, 并根据训练结果选取最优训练准确率的数据集组合,进而确定图像采 集标准。掌子面全貌拍摄类型数据,部分局部拍摄类型数据中的一项 或多项的组合均可以用于进行后续的围岩分类。
例如发现白天爆破后20分钟,断层破碎带在ISO=200模式下的 数据集在训练后得到的训练准确率最佳,则以该数据集的拍摄要素作 为图像采集标准。
步骤一中可以结合现场数据信息对图像进行图像预处理;可以对 图像去烟尘利用基于暗通道处理的去雾算法进行图像去烟尘处理。
图像预处理技术还可以基于图像增强方法对图像进行彩色图像 直方图均衡化,具体操作步骤如下:
将图像的R、G、B三个像素通道分解成单通道,对三个通道分别 进行直方图均衡化,均衡化处理后的结果再进行合成,得到均衡化后 的图像。这样做的目的是消除拍摄误差,提高样本准确性。
图像去烟尘利用基于暗通道处理的去雾算法进行图像去烟尘处 理。
步骤二、从步骤一得到的样本库中随机选取80%作为训练集, 选取剩余的20%作为测试集,并采用数据增广方法进行样本集的扩 充,使其满足后续神经网络训练所需要的样本数量;所述数据增广方 法包括但不限于随机旋转、偏移、放大和翻转等图像处理方式。
所述步骤二中的数据增广可以引入imutils图像处理包对图像 进行处理,调用该包的paths.list_images()函数查找从步骤一中得 到的样本库的全部图像,并抓取图像路径,罗列所有文件,并将路径 保存至变量imagePaths中,抓取图像的路径,将每张图像加载至内 存,随后初始化图像处理包中的data和labels数组,循环遍历 imagePaths,将原始像素强度调整到范围[0,1]完成图像数据预处理。
然后利用图像处理包cv2模块的imread()接口读入图像数据, 并利用resize()接口将图像尺寸修改为224*224,利用 img_to_array()函数将图片转化成数组,将转换后的数组存入data 数组中,便于进行下一步计算。
从图像路径中提取类标签并更新标签列表完成多类标签的解析, 将标签名添加至图像处理包的labels数组中,导入机器学习库 scikit-learn库,使用LabelBinarizer()函数完成labels数组的标 签二值化。从sklearn.model_selection函数中导入 train_test_split()函数,(train_test_split()是处理包中提供的 随机划分训练集的函数),将数据集data、标签集labels作为参数 传入train_test_split()函数。
将数据划分为训练集和测试集,通常设置参数test_size=0.2, 即以80%的数据用于训练,其余20%用于测试。从 keras.preprocessing.image文件(该文件为keras框架中数据预处 理、数据增补模块preprocessing中的image.py文件)中导入图像 生成器ImageDataGenerator(),该生成器为keras框架中的 ImageDataGenerator类图像生成器,用于在batch中对数据进行增 强,扩充数据集大小,增强模型的泛化能力,如可以进行旋转,变形, 归一化等。
构造用于数据扩充的图像生成器,
具体的参数设置如:可以设置图片随机翻转的角度 rotation_range=25,图片随机水平偏移的幅度 width_shift_range=0.1,图片随机垂直偏移的幅度 height_shift_range=0.1,剪切强度shear_range=0.2,随机放大 zoom_range=0.1,打开随机水平翻转值horizontal_flip=True,并 设置参数fill_mode='nearest',在imutils图像处理包中, fill_mode可以设置为‘constant’,‘nearest’,‘reflect’或 ‘wrap’之一,当进行变换时超出边界的点将根据本参数给定的方法 进行处理。
设置好各项参数后,运行函数对样本库进行数据扩充,使其数量 满足神经网络训练所需。
步骤三.构建残差(ResNet)卷积神经网络,用于学习训练,通过 训练不断降低损失函数值并更新网络权重参数,经过多次训练后,得 到学习后更新了网络权重参数的神经网络;该卷积神经网络由多个卷 积层和池化层交替实现。
卷积神经网络最主要的两个部分是卷积层和池化层,卷积层(Convolutionallayer,即CONV层)的核心是卷积运算。对于图像中 所有或大部分像素,以该像素为中心的局部窗口内的像素与卷积核进 行内积运算,将计算记过作为该像素的新值。遍历图像中的所有或大 部分像素,进行上述内积运算,加上偏差,应用激活函数进行激活, 完成一次滤波,得到一个和原图像相同尺寸或比原图像尺寸较小的输 出特征。
通常情况下,卷积神经网络的当前第l层输入数据为上一层第(l-1) 层的输出数据a[l-1],对输入数据执行卷积运算,wk [l]表示第l层的第k个 卷积核,第l层共有d1个卷积核,并考虑第l层的对应层偏差b[l],该层的 线性运算结果可以表示为:
Figure BDA0002401065470000111
应用激活函数g对线性运算结果进行激活,得到下一层的输入层 a[l],第l层输出特征a[l]可以表示为 a[l]=g(zl)
当前第l层输入数据为上一层第(l-1)层的输出数据a[l-1],第l层 的对应层偏差为b[l]
ResNet残差神经网络架构的特征是引入了残差块中的恒等跳跃 式连接,使用来自输入的直接连接将上一层输出作为本层原始输入数 据直接添加到此跳跃式连接中,绕过本次卷积处理,对于残差神经网 络,当前网络层第l层的输出等于正常网络的输出计算公式如下:
a[l]=g(zl+a[l-1])=g(wla[l-1]+b[l]+a[l-1])=g((wl+1)a[l-1]+b[l]);
其中zl表示该层的线性运算结果,wl表示第l层的卷积核,g为激活 函数;
学习过程由信号的正向传播与误差的反向传播两个过程组成。误 差正向传播为:输入样本->输入层->各隐藏层(处理)->输出层。 误差反向传播为:输出误差(某种形式)->隐藏层(逐层)->输入 层,其主要目的是通过将输出误差反传,将误差分摊给各层所有单元, 从而获得各层单元的误差信号,进而修正各单元的权值;其过程是一 个权值调整的过程。
残差神经网络中误差反向传播公式如下:
Figure BDA0002401065470000121
上式中,J表示代价函数,用于衡量预测值与训练样本输出值之 间的差异;σ′(zl -1)为激活函数σ对zl-1求导。
卷线性整流层(Rectified Linear Units layer,ReLU layer) 作为每层线性运算后使用的激活函数,保证卷积层不变的同时增强卷 积神经网络的非线性特性,公式为:
f(x)=max(0,x);该公式对输入数据进行非线性处理,将输入数据 中负值全部用0替换。
利用池化层(Pooling Layer)对输入特征图的块进行缩小,并组 合其特征激活;提高了计算速度,同时提高了所提取特征的鲁棒性, 减少了噪音影响。
建立ResNet 10神经网络,ResNet10神经网络包含9个卷积层、 1个全连接层和2个池化层;如图4所示。
图4中,CONV表示卷积层,POOL池化层,FC表示全连接层,每 层的7X7,3X3表示卷积核大小,各个卷积层的数字64,128,256,512 分别表示对应卷积层卷积核数量;最大池化层即最大子采样函数取 区域内所有神经元的最大值。全局平均池化层为不以窗口的形式取均 值,而是以上一层的输入为单位进行均值化的池化层,即每一个特征 图(feature map)输出一个值。图4中的/2表示设置参数stride=2,, 使输入尺寸长度会变为原来的一半,例如原输入为224*224,经过对 应处理后会变为112*112,目的是调整特征图宽度和高度尺寸。
残差块(residual_block)数据处理分为两条路径,直线连接和跳 跃连接,直线连接为将上一层输出作为本层原始输入逐步进行卷积、 归一化、激活处理;跳跃连接与直线连接的维度不同时,需使用1× 1卷积进行调整,跳跃连接将跳过直线连接中的卷积、归一化、激活 处理等过程,直接将上一层输出与直线连接输出处进行张量元素内容 相加,将加和结果直接作为残差块处理结果进行输出。张量元素内容 相加即两张量对应位置元素值相加,加和后,张量尺寸不发生改变。
图4为本发明使用的ResNet10网络结构图。
该神经网络的构建方法规定了图像输入尺寸为224*224的RGB图 像,第一层卷积层设置64个卷积核,卷积核尺寸为7*7,卷积层步 长(stride)设置为2个像素;第一层卷积层后接一个最大池化层, 最大池化的树池尺寸为3*3,步长(stride)设置为2个像素,填充(padding)设置为补零(same);最大池化层后接4个残差块,残 差块中卷积核尺寸均为3*3;残差处理后为全局池化层;池化后接全 连接层,再使用Softmax分类进行分类,逻辑回归使用的损失函数方 程(Loss function)为:
Figure BDA0002401065470000141
其中yj为第j个预测值,
Figure BDA0002401065470000142
表示第j个训练样本的输出值;
对应的代价函数方程(Cost function)为:
代价函数
Figure BDA0002401065470000143
上式中,m为输入值的个数;w,b表示不同的权重和偏差。
逻辑回归梯度下降计算公式为:
Figure BDA0002401065470000144
y为预测值,
Figure BDA0002401065470000145
表示训练样本的输出值;
通过使用BatchNormalization()函数进行归一化处理,解决样 本点变化(Covariate Shift)问题。位于每个卷积层中的所有隐藏 层都使用ReLU函
数作为激活函数,提高决策函数的非线性。
隐藏层是除输入层和输出层以外的其他各层;在神经网络中某一 隐藏层的中间值实现每一层神经网络的输入保持相同分布(即 BatchNorm)的方法具体如下:
均值
Figure BDA0002401065470000146
方差
Figure BDA0002401065470000147
进行归一化处理
Figure BDA0002401065470000148
得到的结果进行缩放和移位
Figure BDA0002401065470000149
Z(i)为各输入值,
上述均值和方差计算式中的m为batch size,即每个送入批次 (batch)中样本的数量;
μ为计算出的均值;
σ2为计算出的方差;
Figure BDA0002401065470000151
为归一化处理结果,归一化目的:把所给出的数据进去去 单位化,把同类型的数据除以其所在数据的总和,得到该数据在总和 中的比重。
∈是为了防止方差为0,保证数值的稳定。
γ为尺度因子,用于调整数值大小;
β为平移因子,用于增加偏移。
由于归一化后的输入基本会被限制在正态分布下,使得网络的表 达能力下降,在多指标评价体系中,由于各评价指标的性质不同,通 常具有不同的量纲和数量级。当各指标间的水平相差很大时,如果直 接用原始指标值进行分析,就会突出数值较高的指标在综合分析中的 作用,相对削弱数值水平较低指标的作用。
归一化处理在这里会把数变为(0,1)之间的小数,让各个特征 对结果做出的贡献相同,使用归一化能提高模型收敛速度、提高模型 精度。但在归一化处理后,原数值较高的指标与数值较低的指标范围 相同,没有突出各指标区别于其他指标的范围特点。因此为解决表达 能力不足的问题,引入尺度因子γ和平移因子β,将各指标还原至原 有水平,恢复期表达能力,尺度因子γ和平移因子β是可以在训练中 不断更新学习的参数。
将准备好的数据集合图像标定类别输入设计好的卷积神经网络 中进行训练,并通过Adam高效优化算法降低损失函数值并更新网络 权重参数,所述Adam优化算法是由Momentum动量梯度下降算法和 RMSprop梯度下降算法结合形成。
Adam优化算法初始化参数:
Vdw=0,Sdw=0,Vdb=0,Sdb=0。
第t次迭代时:
Vdw=β1Vdw+(1-β1)dw,Vdb=β1Vdb+(1-β1)db
Sdw=β2Sdw+(1-β2)(dw)2,Sdb=β2Sdb+(1-β2)(db)2
考虑偏差修正后,最后得到修正后的参数
Figure BDA0002401065470000161
Figure BDA0002401065470000162
Figure BDA0002401065470000163
Adam算法的偏差修正每个最新数据值,依赖于以前的数据结果, 但此时初期的几个计算结果就会与真实的平均值有较大偏差,即迭代 初期计算结果与真实值偏差较大,因此可以利用上述公式进行偏差修 正,随着迭代次数t的增大,βt会越来越接近0,对前期修正效果 较好。
式中:
t为时间步,也即迭代的次数
α:学习率,也称为步长因子,学习率控制了权重的更新比率。 学习率取较大的值(如0.3)在学习率更新前会有更快的初始学习, 而较小的值(如1.0E-5)会令训练收敛到更好的性能。
β1:一阶矩阵估计的指数衰减率;t表示不同迭代次数t下的衰 减率;
β2:二阶矩阵估计的指数衰减率;t表示不同迭代次数t下的衰 减率;
∈:为了防止分母为0的稳定参数;
w:权重;
b:偏置量;
dw:权重的导数;
db:偏置量的导数;
(dw)2表示的是权重w的梯度的平方,也称为微分的平方;
Vdm、Vdb、Sdb、Sdw是用于保存指数加权平均值(移动平均值)的中 间变量,上标CORRECTED表示修正后的参数,为更新权重w和偏置b 设置的中间参数。
本实施例中,可以使用以下参数设定:
α:取0.001;
β1:取缺省值0.9;
β2:取值0.9999;
ε:取10-8
一个具体实施方式为:设置神经网络训练训练100轮(epoch), 设置初始学习率α为0.001,利用回调函数监测验证集损失函数值(val_loss)值,设置学习率衰减因子为0.5,设置学习率下降触发 器取值为3,当3轮过去后模型性能不提升时触发学习率衰减,学习率下限设置为0.00001,损失函数采用“binary_crossentropy”二 分类交叉熵损失函数,设置每个送入批次中样本的数量(Batch size) 为4,图像大小为224*224*3,。经过多次训练后,得到学习后的网 络权重参数。
从图2和图3得到的处理前后的图像可以看出;如果处理前图像 采集过程中影响因素过多,如烟尘较浓,闪光灯曝光不足或过曝,拍 摄出的图像不能准确反映隧道掌子面特征,而利用本发明采用的图像 处理后,能尽可能去除外部环境对图像质量的影响,还原再现掌子面 真实图像,提高样本质量。
步骤四:选择需要进行围岩分级的图像,作为卷积神经网络的输 入,通过步骤三得到的卷积神经网络的迭代,并应用对应围岩分级训 练集训练学习得到的网络权重参数,输出围岩对应分级评定。再根据 所得到的围岩分级评定,返回隧道掌子面对应的围岩分级评定结果。
本发明的有益效果是:
(1)采用非接触式的图像数据采集,开展基于残差卷积神经网 络的隧道工程围岩分级,实现了围岩分级工作的自动化、智能化,提 高了工作的准确率与效率,同时规避了因接触式采集围岩数据信息时 的操作危险;
(2)本方法不需要进行现场或室内岩土体力学实验,经济实用, 操作简单,参数设置较少,收敛速度快,且能够很好的和各种优化问 题相结合,且通用性比较强,对问题中不确定的信息具有一定的适应 能力。
(3)传统神经随着网络深度增加,会出现梯度消失或梯度爆炸, 训练误差会维持在一个较高水平,致使网络收敛变慢。残差神经网络 利用残差块的两条路径加和处理,增强了梯度传播能力,使得训练误 差随着网络深度增加而持续降低。
以某高速公路双洞隧道掌子面照片为例,依照图1流程进行图像 处理、模型训练及围岩等级预测。共采集图像360张,其中围岩等级 为V级的围岩图像125张,IV级围岩图像156张,III级围岩图像79 张,图像大小总计423.36MB,80%的图像用于模型的训练,20%的图 像用于模型验证,读取图像的尺寸为224*224并包含R、G、B三个通 道,训练共计100轮(epoch),初始学习率设置为0.001,批数量 (Batch size)设置为4。训练结果见下表:
训练结果见下表:
轮次 训练集损失函数值 训练集准确率 验证集损失函数值 验证集准确率
Epoch 1/100 loss:2.9575 acc:0.5567 val_loss:2.6173 val_acc:0.4676
Epoch 2/100 loss:1.2620 acc:0.6262 val_loss:1.2088 val_acc:0.6204
Epoch 3/100 loss:1.0698 acc:0.6366 val_loss:0.9476 val_acc:0.6667
Epoch 4/100 loss:0.9730 acc:0.6458 val_loss:0.9446 val_acc:0.6574
Epoch 5/100 loss:0.9142 acc:0.6771 val_loss:1.2347 val_acc:0.6852
... ... ... ... ...
Epoch 96/100 loss:0.5251 acc:0.7928 val_loss:0.5961 val_acc:0.7315
Epoch 971100 loss:0.5181 acc:0.8021 val_loss:0.6179 val_acc:0.7269
Epoch 98/100 loss:0.5263 acc:0.8090 val_loss:0.5961 val_acc:0.7407
Epoch 99/100 loss:0.4901 acc:0.8380 val_loss:0.5878 val_acc:0.7639
Epoch 100/100 loss:0.5185 acc:0.7998 val_loss:0.5662 val_acc:0.7639
本实施例中,训练集准确率达79.98%,验证集准确率达76.39%, 相较于传统的深度卷积神经网络,残差神经网络缓解了网络深度越深, 训练集训练效率减弱的问题,使得准确率有所提高。
前文所述的为本发明的各个优选实施例,各个优选实施例中的 优选实施方式如果不是明显自相矛盾或以某一优选实施方式为前提, 各个优选实施方式都可以任意叠加组合使用,所述实施例以及实施例 中的具体参数仅是为了清楚表述发明人的发明验证过程,并非用以限 制本发明的专利保护范围,本发明说明书括号中的英文为括号前中文 在计算机语言或函数中的英文名称,不在括号中的英文为没有严格中 文译文的数学函数或数据库等的命名,本发明的专利保护范围仍然以 其权利要求书为准,凡是运用本发明的说明书及附图内容所作的等同 结构变化,同理均应包含在本发明的保护范围内。

Claims (8)

1.残差卷积神经网络的隧道围岩级别智能判定方法,其特征在于,包括如下步骤:
步骤一.采集隧道掌子面高分辨率图像数据,构建样本库;
步骤二.从步骤一得到的样本库中随机选取大于70%比例数量的样本作为训练集,剩余的作为测试集,并采用数据增广方法进行样本集的扩充,使其满足后续神经网络训练所需要的样本数量;
步骤三.构建残差深度卷积神经网络,用于学习训练,通过训练不断降低损失函数值并更新网络权重参数,经过多次训练后,得到学习后更新了网络权重参数的神经网络;
所述残差深度卷积神经网络中包括多个顺序连接的残差块,所述残差块的数据处理方式包括直线连接和跳跃连接,所述直线连接为将上一层输出作为本层原始输入逐步进行卷积、归一化、激活处理;所述跳跃连接直接将上一层输出与所述直线连接输出处进行张量元素内容相加;
所述残差块将加和结果直接作为残差块处理结果进行输出;
步骤四.选择需要进行围岩分级的图像,作为卷积神经网络的输入,通过步骤三得到的卷积神经网络的迭代,并应用对应围岩分级训练集训练学习得到的网络权重参数,输出围岩对应级别预测;根据所得到的围岩级别预测,返回隧道掌子面对应的围岩分级评定结果。
2.如权利要求1所述的智能判定方法,其特征在于,所述步骤一中还包括对图像进行预处理的步骤;具体操作步骤如下:
将图像的R、G、B三个像素通道分解成单通道,对三个通道分别进行直方图均衡化,均衡化处理后的结果再进行合成,得到均衡化后的图像。
3.如权利要求1所述的智能判定方法,其特征在于,所述步骤2中数据增广可以引入imutils图像处理包对图像进行处理,具体步骤为:
调用该包的paths.list_images()函数查找从步骤一中得到的样本库的全部图像,并抓取图像路径,罗列所有文件,并将路径保存至变量imagePaths中,抓取图像的路径,将每张图像加载至内存,随后初始化图像处理包中的data和labels数组,循环遍历imagePaths,将原始像素强度调整到范围[0,1]完成图像数据预处理;
然后利用图像处理包cv2模块的imread()接口读入图像数据,并利用resize()接口将图像尺寸修改,利用img_to_array()函数将图片转化成数组,将转换后的数组存入data数组中;
从图像路径中提取类标签并更新标签列表完成多类标签的解析,将标签名添加至图像处理包的labels数组中,导入机器学习库scikit-learn库,使用LabelBinarizer()函数完成labels数组的标签二值化;
从sklearn.model_selection函数中导入train_test_split()函数,将数据集data、标签集labels作为参数传入train_test_split()函数;
将图像数据划分为训练集和测试集并进行数据增广。
4.如权利要求1所述的智能判定方法,其特征在于,所述步骤三中,当前网络层第l层的输出等于正常网络的输出计算公式如下:
a[l]=g(zl+a[l-1])=g(wla[l-1]+b[l]+a[l-1])=g((wl+1)a[l-1]+b[l]);
其中zl表示该层的线性运算结果,wl表示第l层的卷积核,g为激活函数;
残差神经网络中反向传播的误差传播公式如下:
Figure FDA0002401065460000021
5.如权利要求4所述的智能判定方法,其特征在于,所述步骤三中,逻辑回归使用的损失函数方程为:
损失函数:
Figure FDA0002401065460000031
其中yj为(第j个期望输出),
Figure FDA0002401065460000032
表示第j个原始的实际输出;
对应的代价函数方程为:
代价函数
Figure FDA0002401065460000033
其中yj为第j个预测值,
Figure FDA0002401065460000034
表示第j个训练样本的输出值,m为输入值的个数,w,b表示不同的卷积核和偏差;
逻辑回归梯度下降计算公式为:
Figure FDA0002401065460000035
y为预测值,
Figure FDA0002401065460000036
表示训练样本的输出值。
6.如权利要求4所述的智能判定方法,其特征在于,所述步骤三中,在神经网络中某一隐藏层的中间值实现每一层神经网络的输入保持相同分布的方法具体如下:
Figure FDA0002401065460000037
Figure FDA0002401065460000038
Figure FDA0002401065460000039
Figure FDA00024010654600000310
Z(i)为各输入值,
m为每个送入批次(batch)中样本的数量;
μ为计算出的均值;
σ2为计算出的方差;
Figure FDA0002401065460000041
为归一化处理结果;∈是为了防止方差为0的稳定参数;
γ为尺度因子,用于调整数值大小;
β为平移因子,用于增加偏移。
7.如权利要求1所述的智能判定方法,其特征在于,所述步骤三的训练过程中,通过Adam算法降低损失函数值并更新网络权重参数,具体为:
Adam优化算法初始化参数:
Vdw=0,Sdw=0,Vdb=0,Sdb=0;
第t次迭代时:
Vdw=β1Vdw+(1-β1)dw,Vdb=β1Vdb+(1-β1)db
Sdw=β2Sdw+(1-β2)(dw)2,Sdb=β2Sdb+(1-β2)(db)2
t迭代的次数;α学习率;
β1:一阶矩阵估计的指数衰减率;t表示不同迭代次数t下的衰减率;
β2:二阶矩阵估计的指数衰减率;t表示不同迭代次数t下的衰减率;
∈:为了防止分母为0的稳定参数;
w:权重;
b:偏置量;
dw:权重导数;
db:偏置量导数;
(dw)2表示是权重w的梯度的平方,也称为微分的平方;
Vdm、Vdb、Sdb、Sdw是用于保存指数加权平均值(移动平均值)的中间变量。
8.如权利要求7所述的智能判定方法,其特征在于,所述步骤三的训练过程中,考虑偏差修正,得到修正后的参数:
Figure FDA0002401065460000051
Figure FDA0002401065460000052
Figure FDA0002401065460000053
Vdm、Vdb、Sdb、Sdw增加上标CORRECTED表示修正后的参数。
CN202010149083.6A 2020-03-05 2020-03-05 基于残差卷积神经网络的隧道围岩级别智能判定方法 Pending CN113112446A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010149083.6A CN113112446A (zh) 2020-03-05 2020-03-05 基于残差卷积神经网络的隧道围岩级别智能判定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010149083.6A CN113112446A (zh) 2020-03-05 2020-03-05 基于残差卷积神经网络的隧道围岩级别智能判定方法

Publications (1)

Publication Number Publication Date
CN113112446A true CN113112446A (zh) 2021-07-13

Family

ID=76709143

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010149083.6A Pending CN113112446A (zh) 2020-03-05 2020-03-05 基于残差卷积神经网络的隧道围岩级别智能判定方法

Country Status (1)

Country Link
CN (1) CN113112446A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113642675A (zh) * 2021-09-07 2021-11-12 湖南大学 基于全波形反演和卷积神经网络的地下岩层分布成像获取方法、系统、终端及可读存储介质
CN114140448A (zh) * 2021-12-06 2022-03-04 广西路信云信息技术有限公司 一种基于深度学习的隧道掌子面围岩智能分级方法及设备
CN115271366A (zh) * 2022-07-01 2022-11-01 中铁二十局集团有限公司 高原隧道围岩分级模型训练方法、装置、设备及介质
CN115511001A (zh) * 2022-10-21 2022-12-23 中铁二院工程集团有限责任公司 一种基于空地井综合勘探资料的隧道围岩分级方法及设备
CN115688251A (zh) * 2022-12-19 2023-02-03 山东大学 基于深度学习的地震多发区隧道风险决策方法及系统
CN116579387A (zh) * 2023-07-14 2023-08-11 北京万普瑞能源技术有限公司 一种天然气井泡沫排水采气智能算法
CN116626080A (zh) * 2023-07-24 2023-08-22 四川省石棉县恒达粉体材料有限责任公司 一种大理岩的筛选方法
CN116682010A (zh) * 2023-06-01 2023-09-01 北京交通大学 一种基于tbm岩渣图像的围岩分类实时预测方法

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106205060A (zh) * 2016-08-19 2016-12-07 临沂大学 用于露天矿坑尾矿库边坡滑坡预警预报方法
CN107633255A (zh) * 2017-08-11 2018-01-26 天津大学 一种深度学习模式下的岩石岩性自动识别分类方法
CN109543571A (zh) * 2018-11-07 2019-03-29 西安交通大学 一种面向复杂产品异形加工特征的智能识别与检索方法
CN109635618A (zh) * 2018-08-07 2019-04-16 南京航空航天大学 基于卷积神经网络的可见光图像静脉显像方法
CN109802430A (zh) * 2018-12-29 2019-05-24 上海电力学院 一种基于LSTM-Attention网络的风电电网控制方法
CN109886947A (zh) * 2019-02-19 2019-06-14 浙江理工大学 基于区域的卷积神经网络的高压电线缺陷检测方法
CN109886329A (zh) * 2019-02-18 2019-06-14 中国铁建重工集团有限公司 围岩破碎等级检测方法、检测系统和掘进设备
CN109975412A (zh) * 2019-03-29 2019-07-05 中国电建集团华东勘测设计研究院有限公司 基于超声波频谱深度迁移学习的岩心单轴抗压强度测定方法及装置
CN110059758A (zh) * 2019-04-24 2019-07-26 海南长光卫星信息技术有限公司 一种基于语义分割的遥感影像养殖塘检测方法
CN110070552A (zh) * 2019-05-07 2019-07-30 西南石油大学 一种基于语义分割的岩石图像孔隙类型识别方法
CN110082283A (zh) * 2019-05-23 2019-08-02 山东科技大学 一种大气颗粒物sem图像识别方法及系统
CN110555846A (zh) * 2019-10-13 2019-12-10 浙江德尚韵兴医疗科技有限公司 基于卷积神经网络的全自动骨龄评定方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106205060A (zh) * 2016-08-19 2016-12-07 临沂大学 用于露天矿坑尾矿库边坡滑坡预警预报方法
CN107633255A (zh) * 2017-08-11 2018-01-26 天津大学 一种深度学习模式下的岩石岩性自动识别分类方法
CN109635618A (zh) * 2018-08-07 2019-04-16 南京航空航天大学 基于卷积神经网络的可见光图像静脉显像方法
CN109543571A (zh) * 2018-11-07 2019-03-29 西安交通大学 一种面向复杂产品异形加工特征的智能识别与检索方法
CN109802430A (zh) * 2018-12-29 2019-05-24 上海电力学院 一种基于LSTM-Attention网络的风电电网控制方法
CN109886329A (zh) * 2019-02-18 2019-06-14 中国铁建重工集团有限公司 围岩破碎等级检测方法、检测系统和掘进设备
CN109886947A (zh) * 2019-02-19 2019-06-14 浙江理工大学 基于区域的卷积神经网络的高压电线缺陷检测方法
CN109975412A (zh) * 2019-03-29 2019-07-05 中国电建集团华东勘测设计研究院有限公司 基于超声波频谱深度迁移学习的岩心单轴抗压强度测定方法及装置
CN110059758A (zh) * 2019-04-24 2019-07-26 海南长光卫星信息技术有限公司 一种基于语义分割的遥感影像养殖塘检测方法
CN110070552A (zh) * 2019-05-07 2019-07-30 西南石油大学 一种基于语义分割的岩石图像孔隙类型识别方法
CN110082283A (zh) * 2019-05-23 2019-08-02 山东科技大学 一种大气颗粒物sem图像识别方法及系统
CN110555846A (zh) * 2019-10-13 2019-12-10 浙江德尚韵兴医疗科技有限公司 基于卷积神经网络的全自动骨龄评定方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ZENRRAN: "简单理解Momentum,RMSprop,Adam优化算法", 《CSDN》 *
李汪石: "公路隧道围岩云分级系统的开发与应用", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113642675A (zh) * 2021-09-07 2021-11-12 湖南大学 基于全波形反演和卷积神经网络的地下岩层分布成像获取方法、系统、终端及可读存储介质
CN113642675B (zh) * 2021-09-07 2023-11-17 湖南大学 基于全波形反演和卷积神经网络的地下岩层分布成像获取方法、系统、终端及可读存储介质
CN114140448A (zh) * 2021-12-06 2022-03-04 广西路信云信息技术有限公司 一种基于深度学习的隧道掌子面围岩智能分级方法及设备
CN115271366A (zh) * 2022-07-01 2022-11-01 中铁二十局集团有限公司 高原隧道围岩分级模型训练方法、装置、设备及介质
CN115511001A (zh) * 2022-10-21 2022-12-23 中铁二院工程集团有限责任公司 一种基于空地井综合勘探资料的隧道围岩分级方法及设备
CN115688251A (zh) * 2022-12-19 2023-02-03 山东大学 基于深度学习的地震多发区隧道风险决策方法及系统
CN116682010A (zh) * 2023-06-01 2023-09-01 北京交通大学 一种基于tbm岩渣图像的围岩分类实时预测方法
CN116682010B (zh) * 2023-06-01 2024-01-23 北京交通大学 一种基于tbm岩渣图像的围岩分类实时预测方法
CN116579387A (zh) * 2023-07-14 2023-08-11 北京万普瑞能源技术有限公司 一种天然气井泡沫排水采气智能算法
CN116579387B (zh) * 2023-07-14 2023-10-27 北京万普瑞能源技术有限公司 一种天然气井泡沫排水采气智能算法
CN116626080A (zh) * 2023-07-24 2023-08-22 四川省石棉县恒达粉体材料有限责任公司 一种大理岩的筛选方法
CN116626080B (zh) * 2023-07-24 2023-09-26 四川省石棉县恒达粉体材料有限责任公司 一种大理岩的筛选方法

Similar Documents

Publication Publication Date Title
CN113112446A (zh) 基于残差卷积神经网络的隧道围岩级别智能判定方法
CN111882002B (zh) 一种基于msf-am的低照度目标检测方法
CN107169956B (zh) 基于卷积神经网络的色织物疵点检测方法
CN113112447A (zh) 基于vgg卷积神经网络的隧道围岩级别智能判定方法
CN110097554B (zh) 基于密集卷积和深度可分离卷积的视网膜血管分割方法
CN110189255B (zh) 基于两级检测的人脸检测方法
CN111507884A (zh) 一种基于深层卷积神经网络的自适应图像隐写分析方法及系统
CN112036513B (zh) 基于内存增强潜在空间自回归的图像异常检测方法
CN108846413B (zh) 一种基于全局语义一致网络的零样本学习方法
CN110751644B (zh) 道路表面裂纹检测方法
CN112699958A (zh) 一种基于剪枝和知识蒸馏的目标检测模型压缩与加速方法
CN111275660B (zh) 一种平板显示器缺陷检测方法及装置
CN110930378B (zh) 基于低数据需求的肺气肿影像处理方法及系统
CN109816002B (zh) 基于特征自迁移的单一稀疏自编码器弱小目标检测方法
CN112381763A (zh) 一种表面缺陷检测方法
CN113989257A (zh) 基于人工智能技术的电力综合管廊沉降裂缝识别方法
CN115035418A (zh) 一种基于改进DeepLabV3+网络的遥感图像语义分割方法及系统
CN111145145A (zh) 一种基于MobileNets的图像表面缺陷检测方法
CN112749675A (zh) 一种基于卷积神经网络的马铃薯病害识别方法
CN114565594A (zh) 基于软掩膜对比损失的图像异常检测方法
CN114647760A (zh) 一种基于神经网络自温故及知识传导机制的智能视频图像检索方法
CN112270404A (zh) 一种基于ResNet64网络的紧固件产品鼓包缺陷的检测结构及其方法
CN113033371A (zh) 基于csp模型的多级特征融合行人检测方法
CN115346091B (zh) 一种Mura缺陷图像数据集的生成方法和生成装置
CN116206227A (zh) 5g富媒体信息的图片审查系统、方法、电子设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210713