CN111554075A - 一种基于人工智能视频分析的混凝土浇筑中拔管深度估计方法 - Google Patents

一种基于人工智能视频分析的混凝土浇筑中拔管深度估计方法 Download PDF

Info

Publication number
CN111554075A
CN111554075A CN202010394166.1A CN202010394166A CN111554075A CN 111554075 A CN111554075 A CN 111554075A CN 202010394166 A CN202010394166 A CN 202010394166A CN 111554075 A CN111554075 A CN 111554075A
Authority
CN
China
Prior art keywords
length
concrete
estimating
conduit
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010394166.1A
Other languages
English (en)
Other versions
CN111554075B (zh
Inventor
张永炘
李永忠
高来先
吴国爱
李佳祺
黄伟文
贾云博
邓先亮
何东城
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Chuangcheng Construction Management & Consultation Co ltd
Original Assignee
Guangdong Chuangcheng Construction Management & Consultation Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Chuangcheng Construction Management & Consultation Co ltd filed Critical Guangdong Chuangcheng Construction Management & Consultation Co ltd
Priority to CN202010394166.1A priority Critical patent/CN111554075B/zh
Publication of CN111554075A publication Critical patent/CN111554075A/zh
Application granted granted Critical
Publication of CN111554075B publication Critical patent/CN111554075B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于人工智能视频分析的混凝土浇筑中拔管深度估计方法，通过对采集的视频数据进行分析，导管安装过程中，分析安装单根导管的行为过程，统计安装全部导管的数量，结合孔深参数，估算单根导管的长度；浇筑过程中，分析单次拔管的行为过程，分析单次拔管行为中拔管的节数，结合单管的估计长度，估计拔出的导管长度。利用浇筑方量、孔径信息，计算当前混凝土的深度，结合上述分析，计算当前混凝土中的剩余导管长度，估计拔管是否合规，是否需要风险预警。本发明采用全流程的智能化旁站监理，避免了监理员人为因素导致的潜在风险，在线实时风险预警，只需少量监理专家，远程分析系统预警的风险并判定，使旁站监督管理的人效得到提高。

Description

一种基于人工智能视频分析的混凝土浇筑中拔管深度估计 方法
技术领域
本发明涉及建筑工程技术领域，具体来说，涉及一种基于人工智能视频分析的混凝土浇筑中拔管深度估计方法。
背景技术
混凝土浇筑质量管理是工地旁站监理工作的一个重要部分，浇筑方式，往往采用导管法水下混凝土浇注法，该方法浇筑过程中，拔管深度的监理是混凝土浇筑质量管理中核心监理项目之一。其需要被监督管理的原因是，水下导管浇筑时，一开始将导管按节组装，直到导管深入到浇筑空底部，每浇筑一定方量的混凝土后，导管埋在混凝土中的部分过深，导致后续混凝土的无法依靠自身重力，持续浇筑，因而需要拔出部分导管，然后把顶部多出的导管拆卸掉，而后继续进行浇筑，在此过程中，导管不能完全拔出，必须留有符合规范的长度在已浇筑混凝土中，否则会导致浇筑失败，如果监理不到位，继续浇筑，就会出现如断桩等高风险事故。
现有人工现场监督管理的模式下，其缺点较为明显，具体展开有以下几点：旁站监督管理的质量存在如下一些高风险问题：旁站监理人员素质参差不齐，不能全面掌握旁站监理的关键要点，易导致旁站过程失控；监理人员自由裁量权大，旁站过程及旁站管理结果缺少影像资料支撑，容易导致监理收受利益而放松管理；旁站监理过程中，由于对旁站监理人员缺少约束，常发生只旁站不作为，或少作为的情况；旁站监理记录不认真，无可追溯性；旁站过程中对发现有安全、质量隐患或违反工程建设强制性标准要求的行为，停留在整改建议或口头通知，对整改情况不跟踪封闭。
基于上述缺点，急需一种基于人工智能视频分析的混凝土浇筑中拔管深度估计方法出现。
针对相关技术中的问题，目前尚未提出有效的解决方案。
发明内容
本发明的目的在于提供一种基于人工智能视频分析的混凝土浇筑中拔管深度估计方法，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：
一种基于人工智能视频分析的混凝土浇筑中拔管深度估计方法，该方法包括：
a1.通过深度学习方法CoViAR-Mobile-V3算法对实时上传的视频流进行事件分割判断，分析时间窗口视频的事件类型，对视频段进行分割，对浇筑前导管安装环节和浇筑中导管拔出环节的有效视频段进行后续分析；
a2.基于CoViAR-resnet算法，针对浇筑前导管安装环节，分析识别安装单根导管的行为过程，通过安装单根导管行为的次数，统计安装全部导管的数量，在导管安装总长约等于孔径深度的事实下，结合已知的孔深参数，估算单根导管的长度；
a3.基于CoViAR-resnet算法，针对浇筑中导管拔出环节，分析单次拔管的行为过程，并利用SSD算法检测分析单次拔管行为中，拆卸的导管的节数，结合估算的单根导管的长度，估计单次拔出的导管长度；
a4.针对每次拔管事件后，利用已知的当下的浇筑方量、孔径参数信息，计算当前终孔中混凝土深度；
a5.基于估算的单根导管的长度和单次拔出的导管长度估算出单次拔管后，已浇筑混凝土中导管剩余长度；
a6.通过混凝土中的导管深度与设定的标准值进行对比，对存在风险的拔管事件发出预警；
a7.对视频流基于输出信息，进行结构化存储。
进一步地，所述混凝土中导管剩余长度计算方式是：
混凝土中的导管剩余长度＝终孔中混凝土深度-累积拔出的导管长度。
进一步地，所述视频行为分析算法CoViAR步骤：
b1：CoViAR的输入是“压缩视频流”；
b2：对压缩视频流的P序列帧中的M信号即MotionVector运动信号、R值即ResidualP帧+M信号后相对于视频中的原始图像I帧的残值信号，进行累积解耦变换得到“解耦后的累积M信号”、“解耦后的累积R信号”，形成“解耦压缩视频流”；
b3：构建3个子模型：对原始信息“I帧”构建一个resnet152大分类器、对“解耦后的累积M信号”构建小分类器resnet18-0、对“解耦后的累积R信号”构建小分类器resnet18-1；
b4：基于融合3个子模型对视频进行动作行为分类。
进一步地，所述SSD的算法是通过在不同层级的CNN特征层上，选用不同尺寸、不同比例的侯选框，找到与目标匹配最好的候选框来对目标的位置进行预测，使不同层级的目标达到较高的检测速度和精度。
进一步地，所述OCR文本内容识别算法是结合CNN与RNN,由CNN提取图像特征，进而对特征图进行列切片，采用RNN结构进行推理文本,最后采用CTC损失函数计算预测字符串与标注的差距，完成端到端的训练，预测阶段无需计算CTC，直接对每个cell进行文字预测，并最终合并出文本串。
进一步地，所述步骤a6中预警的方式包括语音预警、灯光信号预警、预设的手机短信预警。
本发明工作原理：通过对采集的视频数据进行分析，导管安装过程中，分析安装单根导管的行为过程，统计安装全部导管的数量，结合孔深参数，估算单根导管的长度；浇筑过程中，分析单次拔管的行为过程，分析单次拔管行为中拔管的节数，结合单管的估计长度，估计拔出的导管长度。利用浇筑方量、孔径信息，计算当前混凝土的深度，结合上述分析，计算当前混凝土中的剩余导管长度，估计拔管是否合规，是否需要风险预警。
与现有技术相比，本发明具有以下有益效果：1.本发明采用全流程的智能化旁站监理，避免了监理员人为的因素导致的种种潜在风险；2.本发明采用在线实时风险预警，只需要少量的监理专家，远程分析系统预警的风险，进行判定，从而使得旁站监督管理的人效得到提高；3.本发明采用结构化视频存储，有利于事件的检索与回溯。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图.
图1是本发明一种基于人工智能视频分析的混凝土浇筑中拔管深度估计方法的步骤示意图。
具体实施方式
下面，结合附图以及具体实施方式，对发明做出进一步的描述：
一种基于人工智能视频分析的混凝土浇筑中拔管深度估计方法，该方法包括：
a1.通过深度学习方法CoViAR-Mobile-V3算法对实时上传的视频流进行事件分割判断，分析时间窗口视频的事件类型，对视频段进行分割，对浇筑前导管安装环节和浇筑中导管拔出环节的有效视频段进行后续分析；
a2.基于CoViAR-resnet算法，针对浇筑前导管安装环节，分析识别安装单根导管的行为过程，通过安装单根导管行为的次数，统计安装全部导管的数量，在导管安装总长约等于孔径深度的事实下，结合已知的孔深参数，估算单根导管的长度；
a3.基于CoViAR-resnet算法，针对浇筑中导管拔出环节，分析单次拔管的行为过程，并利用SSD算法检测分析单次拔管行为中，拆卸的导管的节数，结合估算的单根导管的长度，估计单次拔出的导管长度；
a4.针对每次拔管事件后，利用已知的当下的浇筑方量、孔径参数信息，计算当前终孔中混凝土深度；
a5.基于估算的单根导管的长度和单次拔出的导管长度估算出单次拔管后，已浇筑混凝土中导管剩余长度；
a6.通过混凝土中的导管深度与设定的标准值进行对比，对存在风险的拔管事件发出预警；
a7.对视频流基于输出信息，进行结构化存储。
根据上述内容，所述混凝土中导管剩余长度计算方式是：
混凝土中的导管剩余长度＝终孔中混凝土深度-累积拔出的导管长度。
其中CoViAR-Mobile-V3算法、CoViAR-resnet算法均属于视频行为分析算法CoViAR的不同阶段，CoViAR-Mobile-V3算法耗时低，CoViAR-resnet算法精度高。
通过智能分析，保证混凝土浇筑过程中核心视频数据被有效采集，被有效存储，通过智能视频分析对“水下导管浇筑过程中的拔管深度监理”工作进行自动监督管理，对不符合或疑似不符合规范的事件进行实时预警，从而极大程度上避免了上述人工现场监督管理的相关缺陷。
通过对采集的视频数据进行分析，导管安装过程中，分析安装单根导管的行为过程，统计安装全部导管的数量，结合孔深参数，估算单根导管的长度；浇筑过程中，分析单次拔管的行为过程，分析单次拔管行为中拔管的节数，结合单管的估计长度，估计拔出的导管长度。利用浇筑方量、孔径信息，计算当前混凝土的深度，结合上述分析，计算当前混凝土中的剩余导管长度，估计拔管是否合规，是否需要风险预警。
根据上述内容，所述视频行为分析算法CoViAR步骤：
b1：CoViAR的输入是“压缩视频流”；
b2：对压缩视频流的P序列帧中的M信号即MotionVector运动信号、R值即ResidualP帧+M信号后相对于视频中的原始图像I帧的残值信号，进行累积解耦变换得到“解耦后的累积M信号”、“解耦后的累积R信号”，形成“解耦压缩视频流”；
b3：构建3个子模型：对原始信息“I帧”构建一个resnet152大分类器、对“解耦后的累积M信号”构建小分类器resnet18-0、对“解耦后的累积R信号”构建小分类器resnet18-1；
b4：基于融合3个子模型对视频进行动作行为分类。
CoViAR算法的核心优势是：不用解压压缩视频得到原始信息，直接构建基于压缩视频进行行为分析，较大的降低了耗时；对I、P-M、P-R分开建模，在P-M序列，P-R序列中的丰富的运动信息对行为分析重要性极高，在传统的原始视频流的算法框架下，从RGB图像信号序列中挖掘这些信息，难度较大，即便是计算量大的大型网络往往难以胜任；CoViAR算法在达到精度较高的情况下，视频处理速度相比其他方法得到极大提升
根据上述内容，所述SSD的算法是通过在不同层级的CNN特征层上，选用不同尺寸、不同比例的侯选框，找到与目标匹配最好的候选框来对目标的位置进行预测，使不同层级的目标达到较高的检测速度和精度。在混凝土搅拌场景下，存在较大的目标-如搅拌机，也存在较小的目标-如一袋水泥等的检测定位需求，因而SSD效果较好。
根据上述内容，所述OCR文本内容识别算法是结合CNN与RNN,由CNN提取图像特征，进而对特征图进行列切片，采用RNN结构如典型的LSTM循环网络进行推理文本,最后采用CTC损失函数计算预测字符串与标注的差距，完成端到端的训练，预测阶段无需计算CTC，直接对每个cell进行文字预测，并最终合并出文本串。
根据上述内容，所述步骤a6预警的方式包括语音预警、灯光信号预警、预设的手机短信预警。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限定本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于人工智能视频分析的混凝土浇筑中拔管深度估计方法，其特征在于，该方法包括：
a1.通过深度学习方法CoViAR-Mobile-V3算法对实时上传的视频流进行事件分割判断，分析时间窗口视频的事件类型，对视频段进行分割，对浇筑前导管安装环节和浇筑中导管拔出环节的有效视频段进行后续分析；
a2.基于CoViAR-resnet算法，针对浇筑前导管安装环节，分析识别安装单根导管的行为过程，通过安装单根导管行为的次数，统计安装全部导管的数量，在导管安装总长约等于孔径深度的事实下，结合已知的孔深参数，估算单根导管的长度；
a3.基于CoViAR-resnet算法，针对浇筑中导管拔出环节，分析单次拔管的行为过程，并利用SSD算法检测分析单次拔管行为中，拆卸的导管的节数，结合估算的单根导管的长度，估计单次拔出的导管长度；
a4.针对每次拔管事件后，利用已知的当下的浇筑方量、孔径参数信息，计算当前终孔中混凝土深度；
a5.基于估算的单根导管的长度和单次拔出的导管长度估算出单次拔管后，已浇筑混凝土中导管剩余长度；
a6.通过混凝土中的导管深度与设定的标准值进行对比，对存在风险的拔管事件发出预警；
a7.对视频流基于输出信息，进行结构化存储。
2.根据权利要求1所述的一种基于人工智能视频分析的混凝土浇筑中拔管深度估计方法，其特征在于，所述混凝土中导管剩余长度计算方式是：
混凝土中的导管剩余长度＝终孔中混凝土深度-累积拔出的导管长度。
3.根据权利要求1所述的一种基于人工智能视频分析的混凝土浇筑中拔管深度估计方法，其特征在于，所述视频行为分析算法CoViAR步骤：
b1：CoViAR的输入是“压缩视频流”；
b2：对压缩视频流的P序列帧中的M信号即MotionVector运动信号、R值即Residual P帧+M信号后相对于视频中的原始图像I帧的残值信号，进行累积解耦变换得到“解耦后的累积M信号”、“解耦后的累积R信号”，形成“解耦压缩视频流”；
b3：构建3个子模型：对原始信息“I帧”构建一个resnet152大分类器、对“解耦后的累积M信号”构建小分类器resnet18-0、对“解耦后的累积R信号”构建小分类器resnet18-1；
b4：基于融合3个子模型对视频进行动作行为分类。
4.根据权利要求1所述的一种基于人工智能视频分析的混凝土浇筑中拔管深度估计方法，其特征在于，所述SSD的算法是通过在不同层级的CNN特征层上，选用不同尺寸、不同比例的侯选框，找到与目标匹配最好的候选框来对目标的位置进行预测，使不同层级的目标达到较高的检测速度和精度。
5.根据权利要求1所述的一种基于人工智能视频分析的混凝土浇筑中拔管深度估计方法，其特征在于，所述步骤(a7)中预警的方式包括语音预警、灯光信号预警、预设的手机短信预警。
CN202010394166.1A 2020-05-11 2020-05-11 一种基于人工智能视频分析的混凝土浇筑中拔管深度估计方法 Active CN111554075B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010394166.1A CN111554075B (zh) 2020-05-11 2020-05-11 一种基于人工智能视频分析的混凝土浇筑中拔管深度估计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010394166.1A CN111554075B (zh) 2020-05-11 2020-05-11 一种基于人工智能视频分析的混凝土浇筑中拔管深度估计方法

Publications (2)

Publication Number Publication Date
CN111554075A true CN111554075A (zh) 2020-08-18
CN111554075B CN111554075B (zh) 2022-01-28

Family

ID=72000745

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010394166.1A Active CN111554075B (zh) 2020-05-11 2020-05-11 一种基于人工智能视频分析的混凝土浇筑中拔管深度估计方法

Country Status (1)

Country Link
CN (1) CN111554075B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112560321A (zh) * 2020-12-29 2021-03-26 重庆交通大学 一种劲性骨架混凝土拱桥拱圈外包混凝土采用分环分段浇筑长度的计算方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06200528A (ja) * 1992-12-29 1994-07-19 Mitsui Constr Co Ltd コンクリート被り深さ計測装置及び水中コンクリート 打設方法
CN201344794Y (zh) * 2009-02-18 2009-11-11 楼卫刚 水下浇筑砼导管埋置深度显示仪
CN202083646U (zh) * 2010-12-31 2011-12-21 中铁大桥局集团第四工程有限公司 一种水下混凝土灌注导管的检查系统
CN203905005U (zh) * 2014-06-25 2014-10-29 中冶集团武汉勘察研究院有限公司 一种水下混凝土灌注桩标高控制装置
CN206379110U (zh) * 2016-08-03 2017-08-04 孟丛丛 一种灌注桩施工模拟装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06200528A (ja) * 1992-12-29 1994-07-19 Mitsui Constr Co Ltd コンクリート被り深さ計測装置及び水中コンクリート 打設方法
CN201344794Y (zh) * 2009-02-18 2009-11-11 楼卫刚 水下浇筑砼导管埋置深度显示仪
CN202083646U (zh) * 2010-12-31 2011-12-21 中铁大桥局集团第四工程有限公司 一种水下混凝土灌注导管的检查系统
CN203905005U (zh) * 2014-06-25 2014-10-29 中冶集团武汉勘察研究院有限公司 一种水下混凝土灌注桩标高控制装置
CN206379110U (zh) * 2016-08-03 2017-08-04 孟丛丛 一种灌注桩施工模拟装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CHAO-YUAN WU等: "Compressed Video Action recognition", 《CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》 *
龚勤波: "水下混凝土灌注桩施工方法", 《四川地质学报》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112560321A (zh) * 2020-12-29 2021-03-26 重庆交通大学 一种劲性骨架混凝土拱桥拱圈外包混凝土采用分环分段浇筑长度的计算方法

Also Published As

Publication number Publication date
CN111554075B (zh) 2022-01-28

Similar Documents

Publication Publication Date Title
CN111582188B (zh) 一种基于人工智能的混凝土浇筑旁站监理方法
CN113239863B (zh) 河道监测方法及装置
CN116910633B (zh) 一种基于多模态知识混合推理的电网故障预测方法
CN111077864A (zh) 一种智慧排水调度和分析方法及系统
CN113762171A (zh) 铁路施工现场安全监测的方法及装置
CN116821272B (zh) 一种城市内涝智慧监控预警方法及系统
CN111554075B (zh) 一种基于人工智能视频分析的混凝土浇筑中拔管深度估计方法
CN115577939A (zh) 基于水安全的城市防汛调度指挥系统
CN113487048A (zh) 一种排水隧道运营安全监测与维护系统及方法
CN111445160A (zh) 一种基于人工智能视频分析的自伴混凝土质量管理方法
CN111582191B (zh) 基于人工智能视频分析的混凝土浇筑中浇筑量估计方法
CN108052540A (zh) 一种基于gis管网系统的管道故障预判与预处理方法
CN111626151B (zh) 基于人工智能视频分析的混凝土浇筑中非法浇筑物检测方法
CN114387564A (zh) 一种基于YOLOv5的磕头机停抽检测方法
CN116612481B (zh) 基于知识图谱和多元图像的电力设备缺陷识别方法及系统
CN108764762A (zh) 一种移动式城市排水管网健康管理系统
CN112906593A (zh) 一种基于Faster RCNN的水闸图像识别方法
CN116524397A (zh) 一种管道缺陷智能检测分析方法
CN116434506A (zh) 一种基于物联网数据融合的城市内涝监测警报系统和方法
CN116013047A (zh) 基于图注意力网络和长短期记忆网络的浓雾短临趋势预警系统与方法
CN116665408B (zh) 一种地下综合管廊暴雨预警方法及系统
CN112784914A (zh) 一种基于云端处理的管廊视频智能属性检测方法及系统
CN117875558B (zh) 基于大数据的多维度交通规划场景评估系统及方法
CN217847166U (zh) 一种船闸闸室碍航异物辨识系统
CN116665408A (zh) 一种地下综合管廊暴雨预警方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant