CN113642473A - 一种基于计算机视觉的矿下煤机状态识别方法 - Google Patents
一种基于计算机视觉的矿下煤机状态识别方法 Download PDFInfo
- Publication number
- CN113642473A CN113642473A CN202110941136.2A CN202110941136A CN113642473A CN 113642473 A CN113642473 A CN 113642473A CN 202110941136 A CN202110941136 A CN 202110941136A CN 113642473 A CN113642473 A CN 113642473A
- Authority
- CN
- China
- Prior art keywords
- module
- network
- computer vision
- image
- target detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000003245 coal Substances 0.000 title claims abstract description 45
- 238000000034 method Methods 0.000 title claims abstract description 22
- 238000005065 mining Methods 0.000 title claims description 12
- 238000001514 detection method Methods 0.000 claims abstract description 36
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 20
- 238000012549 training Methods 0.000 claims abstract description 19
- 238000012360 testing method Methods 0.000 claims abstract description 12
- 238000002372 labelling Methods 0.000 claims abstract description 7
- 238000013136 deep learning model Methods 0.000 claims abstract description 4
- 238000012544 monitoring process Methods 0.000 claims description 19
- 238000011176 pooling Methods 0.000 claims description 6
- 230000004913 activation Effects 0.000 claims description 3
- 238000005520 cutting process Methods 0.000 claims description 3
- 230000002708 enhancing effect Effects 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000005096 rolling process Methods 0.000 claims 1
- 238000007635 classification algorithm Methods 0.000 abstract description 3
- 238000004458 analytical method Methods 0.000 description 4
- 230000007547 defect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000005021 gait Effects 0.000 description 1
- 238000003012 network analysis Methods 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Abstract
本发明公开了一种基于计算机视觉的矿下煤机状态识别方法，包括以下步骤：步骤1、构建深度学习模型训练集；步骤2、构建基于计算机视觉的目标检测和图像分类网络，输入已经进行样本标注的图像进行网络训练；步骤3、构建测试数据集，传入训练好的计算机视觉的目标检测和图像分类网络中进行测试，判断网络是否符合工程需求；若是则结束操作，否则重新进行网络训练；步骤4、利用训练好的基于计算机视觉的目标检测和图像分类网络完成视频流图像识别分类任务。本发明在基础的图像分类算法上引入了目标检测算法，可以高效精确地对输入图像进行准确的分类，自主高效地甄别画面中是否有煤机经过，能高效地应用到实际的矿下煤机状态检测的任务中。
Description
技术领域
本发明属于目标检测和图像分类技术领域，特别涉及一种基于计算机视觉的矿下煤机状态识别方法。
背景技术
图像分类是一个模式分类问题，它的目标是将不同的图像，划分到不同的类别，实现最小的分类误差。总体来说，对于单标签的图像分类问题，它可以分为跨物种语义级别的图像分类，子类细粒度图像分类，以及实例级图像分类三大类别。目标检测是智能监控系统的核心部分，是计算机视觉领域的一个基础性的算法，以及图像处理和计算机视觉学科的重要分支，同时目标检测对后续的人脸识别、步态识别、人群计数、实例分割等任务起着至关重要的作用。由于深度学习的广泛运用，目标检测算法得到了较为快速的发展。
目标检测的边界框可以使用四个描述符进行描述，分别为：边界框的中心、高度、宽度、值映射到对象所属的类。
目标检测算法对每个类的对象应用一个称为“非最大抑制(Non MaxSuppression)”的方法来过滤出“置信度”小于阈值的边界框，这可以对图像进行预测。
暗图像增强算法用于增强图像中的有用信息，其目的是要改善图像的视觉效果。目前图像增强常用算法有：直方图均衡化、直方图规定化、基于物理模型图像增强算法、基于偏微分方程和变分的图像增强算法以及变化域图像增强算法等等，随着技术的发展，算法也在不断地改进。
发明内容
本发明的目的在于克服现有技术的不足，提供一种在基础的图像分类算法上，引入目标检测算法，可以高效精确地对输入图像进行准确的分类，自主高效地甄别画面中是否有煤机经过并对煤机状态做进一步识别反馈的基于计算机视觉的矿下煤机状态识别方法。
本发明的目的是通过以下技术方案来实现的：一种基于计算机视觉的矿下煤机状态识别方法，包括以下步骤：
步骤1、构建深度学习模型训练集：从视频流获取图像，并基于暗通道增强算法改善图像的亮度和对比度；并对处理后的图像做样本标注；
步骤2、构建基于计算机视觉的目标检测网络和图像分类网络，目标检测网络用于检测视频帧中是否有煤机存在；图像分类网络用于对整个视频帧进行分类，画面中有煤机的属于一类，无煤机的属于另一类；输入已经进行样本标注的图像进行网络训练；
步骤3、构建测试数据集，传入训练好的计算机视觉的目标检测和图像分类网络中进行测试，判断网络是否符合工程需求；若是则结束操作，否则优化网络的复杂度、丰富网络训练的样本类别和数量或者改进算法使当前帧画面与同一摄像头前后帧画面和同一时间前后连续摄像头的画面数据相关联；然后重新进行网络训练；
步骤4、利用训练好的基于计算机视觉的目标检测和图像分类网络完成视频流图像识别分类任务。
进一步地，所述步骤1包括以下子步骤：
步骤11、从矿下监控视频流获取图像，并对图像进行预处理：将亮度低于设定阈值的图像进行增强，然后对图像进行随机水平/垂直翻转、旋转、裁剪操作；
步骤12、将处理后的图像做样本标注，对每张图像上的煤机做预先标注，具体包括两部分：1)样本类别标注，画面中存在或不存在煤机；2)样本中煤机位置标注。
进一步地，所述图像分类网络包括依次连接的zeropad层、Stage1～Stage5、全局平均池化层、展开层和全连接层，所述Stage1包括依次相连的卷积层、归一化层、非线性激活层和最大池化层；Stage2～Stage5分别包括卷积模块和ID_BLOCK模块。
所述目标检测网络包括依次顺连的Focus层、CBL模块、CSP_A模块、CBL模块、CSP_A模块、AC-Block模块、CBL模块、CSP_A模块、AC-Block模块、CBL模块、SPP模块、CSP_B模块、CBL模块、Concat模块、CSP_B模块、CBL模块、Concat模块、CSP_C模块和CONV模块，以及两个FA模块；第一个FA模块的输入端与第一个AC-Block模块的输出端相连，输出端连接第二个Concat模块；第二个FA模块的输入端与第二个AC-Block模块的输出端相连，输出端连接第一个Concat模块。
进一步地，所述步骤3中，判断网络是否符合工程需求的具体方法为：判断网络能否准确捕获到输入的多路监控视频画面；判断网络能否对各路监控视频画面实施精确的煤机监控。
本发明的有益效果是：
1、本发明在基础的图像分类算法上，引入了目标检测算法，可以高效精确地对输入图像进行准确的分类，自主高效地甄别画面中是否有煤机经过并对煤机状态做进一步识别反馈，能高效地应用到实际的矿下煤机状态检测的任务中。
2、引入了物体检测模块，可以在图像分类的基础上对预测结果做进一步校正，提高系统整体的检测效率和准确度。
3、系统可以从多路视频中通过分析比较挑选出符合工程条件的指定画面，并且整体的分析计算是精准高效的，且可应用于实际的视频监控中。
4、系统整体的检测算法可以看作为是矿下视频流分析作为基础，能够对矿下视频画面中的煤机状态进行实时检测跟踪，具有精度高、实时性好等优点，可以极大地提高监控的数据解析能力。
附图说明
图1为基于计算机视觉的矿下煤机状态识别方法的流程图；
图2为本发明的基于计算机视觉的目标检测和图像分类网络的结构图；
图3为改进算法使其与同一摄像头前后帧画面和同一时间前后连续摄像头的画面数据相关联的示意图。
具体实施方式
下面结合附图进一步说明本发明的技术方案。
如图1所示，本发明的一种基于计算机视觉的矿下煤机状态识别方法，包括以下步骤：
步骤1、构建深度学习模型训练集：从视频流获取图像，并基于暗通道增强算法改善图像的亮度和对比度；并对处理后的图像做样本标注；包括以下子步骤：
步骤11、从矿下监控视频流获取图像，并对图像进行预处理：将亮度低于设定阈值的图像进行增强，使数据集整体更好地贴合训练需求，然后对图像进行随机水平/垂直翻转、旋转、裁剪操作，增加训练集样本容量，增加模型的泛化能力和鲁棒性；
步骤12、将处理后的图像做样本标注，对每张图像上的煤机做预先标注，具体包括两部分：1)样本类别标注，画面中存在或不存在煤机；2)样本中煤机位置标注(画面中煤机所在的具体位置信息)，用于图像分类模型和目标检测模型的训练和优化。
步骤2、构建基于计算机视觉的目标检测网络和图像分类网络，目标检测网络用于检测视频帧中是否有煤机存在；图像分类网络用于对整个视频帧进行分类，画面中有煤机的属于一类，无煤机的属于另一类；在基础的目标检测和图像处理框架下，引入广泛应用的高效的特征注意力模块和特征自适应模块，本发明的基于计算机视觉的目标检测和图像分类网络结构如图2所示；输入已经进行样本标注的图像进行网络训练，对处理后的图像数据进行多次迭代训练，同时调节网络整体的优化策略和超参数设置，使得模型的性能指标可以达到最优；
所述图像分类网络包括依次连接的zeropad层、Stage1～Stage5、全局平均池化层、展开层和全连接层，所述Stage1包括依次相连的卷积层、归一化层、非线性激活层和最大池化层；Stage2～Stage5分别包括卷积模块和ID_BLOCK模块。
所述目标检测网络包括依次顺连的Focus层、CBL模块、CSP_A模块、CBL模块、CSP_A模块、AC-Block模块、CBL模块、CSP_A模块、AC-Block模块、CBL模块、SPP模块、CSP_B模块、CBL模块、Concat模块、CSP_B模块、CBL模块、Concat模块、CSP_C模块和CONV模块，以及两个FA模块；第一个FA模块的输入端与第一个AC-Block模块的输出端相连，输出端连接第二个Concat模块；第二个FA模块的输入端与第二个AC-Block模块的输出端相连，输出端连接第一个Concat模块。本发明在Backbone组件的前两个CSP_A模块之后增加一个AC-Block模块(非对称卷积结构)，能够加强卷积对于中心位置的特征提取，克服现有技术在视频质量较差时，因提取特征的能力较差而表现出的检测准确率不高的缺陷，从而提高检测取证的准确率。
Focus层的作用是将其复制四份，然后通过切片操作将四个图片切成四个切片。
CSP_A模块先是经过1x1的卷积结构(Conv+Batch_norm+Leaky relu，CBL)，然后通过残差结构与初始输入相加，最后再通过残差结构与初始输入拼接。CSP_B模块则是经过3x3的卷积结构，直接通过残差结构与初始输入拼接。CSP_A模块应用于Backbone主干网络，另一种CSP_B模块则应用于Neck中。Neck采用了FPN+PAN结构，FPN层自顶向下传达强语义特征，将高层的特征信息通过上采样的方式进行传递融合，输出76*76、38*38和19*19的特征图；后接一个PAN结构，自底向上传达强定位特征，采用下采样的方式，输出76*76、38*38和19*19的特征图，并与FPN结构的输出图进行concate操作，从不同的主干层对不同的检测层进行参数聚合。
FA块分为通道特征注意力CFA以及像素特征注意力PFA，通道特征注意力CFA负责给不同通道的特征图分配不同的权重；像素特征注意力PFA负责对图像不同区域给予不同权重的关注。
步骤3、构建测试数据集，传入训练好的计算机视觉的目标检测和图像分类网络中进行测试，判断网络是否符合工程需求；若是则结束操作，否则优化网络的复杂度、丰富网络训练的样本类别和数量；或者改进算法使当前帧画面与同一摄像头前后帧画面和同一时间前后连续摄像头的画面数据相关联，如图3所示；然后重新进行网络训练；
判断网络是否符合工程需求的具体方法为：判断网络能否准确捕获到输入的多路监控视频画面；判断网络能否对各路监控视频画面实施精确的煤机监控。
步骤4、利用训练好的基于计算机视觉的目标检测和图像分类网络完成视频流图像识别分类任务，并构建系统整体监控方案，制定煤机状态识别策略，输出识别结果。
本发明具体实施的监控方案和策略包括：1)获取输入的多路监控视频画面数据；2)基于本发明提出的网络对画面帧进行类别分析与判断；3)基于网络对模型的预测结果进行评估，即分析所获取的含有煤机的视频所对应的监控摄像头是否连续、视频画面中是否含有运动物体等方案；4)对网络分析得到的几路视频进行画面输出显示；
本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。
Claims (5)
1.一种基于计算机视觉的矿下煤机状态识别方法，其特征在于，包括以下步骤：
步骤1、构建深度学习模型训练集：从视频流获取图像，并基于暗通道增强算法改善图像的亮度和对比度；并对处理后的图像做样本标注；
步骤2、构建基于计算机视觉的目标检测网络和图像分类网络，目标检测网络用于检测视频帧中是否有煤机存在；图像分类网络用于对整个视频帧进行分类，画面中有煤机的属于一类，无煤机的属于另一类；输入已经进行样本标注的图像进行网络训练；
步骤3、构建测试数据集，传入训练好的计算机视觉的目标检测和图像分类网络中进行测试，判断网络是否符合工程需求；若是则结束操作，否则优化网络的复杂度、丰富网络训练的样本类别和数量或者改进算法使当前帧画面与同一摄像头前后帧画面和同一时间前后连续摄像头的画面数据相关联；然后重新进行网络训练；
步骤4、利用训练好的基于计算机视觉的目标检测和图像分类网络完成视频流图像识别分类任务。
2.根据权利要求1所述的一种基于计算机视觉的矿下煤机状态识别方法，其特征在于，所述步骤1包括以下子步骤：
步骤11、从矿下监控视频流获取图像，并对图像进行预处理：将亮度低于设定阈值的图像进行增强，然后对图像进行随机水平/垂直翻转、旋转、裁剪操作；
步骤12、将处理后的图像做样本标注，对每张图像上的煤机做预先标注，具体包括两部分：1)样本类别标注，画面中存在或不存在煤机；2)样本中煤机位置标注。
3.根据权利要求1所述的一种基于计算机视觉的矿下煤机状态识别方法，其特征在于，所述图像分类网络包括依次连接的zeropad层、Stage1～Stage5、全局平均池化层、展开层和全连接层，所述Stage1包括依次相连的卷积层、归一化层、非线性激活层和最大池化层；Stage2～Stage5分别包括卷积模块和ID_BLOCK模块。
4.根据权利要求1所述的一种基于计算机视觉的矿下煤机状态识别方法，其特征在于，所述目标检测网络包括依次顺连的Focus层、CBL模块、CSP_A模块、CBL模块、CSP_A模块、AC-Block模块、CBL模块、CSP_A模块、AC-Block模块、CBL模块、SPP模块、CSP_B模块、CBL模块、Concat模块、CSP_B模块、CBL模块、Concat模块、CSP_C模块和CONV模块，以及两个FA模块；第一个FA模块的输入端与第一个AC-Block模块的输出端相连，输出端连接第二个Concat模块；第二个FA模块的输入端与第二个AC-Block模块的输出端相连，输出端连接第一个Concat模块。
5.根据权利要求1所述的一种基于计算机视觉的矿下煤机状态识别方法，其特征在于，所述步骤3中，判断网络是否符合工程需求的具体方法为：判断网络能否准确捕获到输入的多路监控视频画面；判断网络能否对各路监控视频画面实施精确的煤机监控。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110941136.2A CN113642473A (zh) | 2021-08-17 | 2021-08-17 | 一种基于计算机视觉的矿下煤机状态识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110941136.2A CN113642473A (zh) | 2021-08-17 | 2021-08-17 | 一种基于计算机视觉的矿下煤机状态识别方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113642473A true CN113642473A (zh) | 2021-11-12 |
Family
ID=78422231
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110941136.2A Pending CN113642473A (zh) | 2021-08-17 | 2021-08-17 | 一种基于计算机视觉的矿下煤机状态识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113642473A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114575925A (zh) * | 2022-03-14 | 2022-06-03 | 中科海慧（北京）科技有限公司 | 一种基于时空大数据的矿井安全监测和预警的方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112149512A (zh) * | 2020-08-28 | 2020-12-29 | 成都飞机工业（集团）有限责任公司 | 一种基于两阶段深度学习的安全帽佩戴识别方法 |
| CN112308019A (zh) * | 2020-11-19 | 2021-02-02 | 中国人民解放军国防科技大学 | 基于网络剪枝和知识蒸馏的sar舰船目标检测方法 |
| CN112861737A (zh) * | 2021-02-11 | 2021-05-28 | 西北工业大学 | 一种基于图像暗通道与YoLov3的森林火灾烟雾检测方法 |
| CN112990392A (zh) * | 2021-05-20 | 2021-06-18 | 四川大学 | 基于改进YOLOv5算法的新材料地板缺陷目标检测系统 |
-
2021
- 2021-08-17 CN CN202110941136.2A patent/CN113642473A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112149512A (zh) * | 2020-08-28 | 2020-12-29 | 成都飞机工业（集团）有限责任公司 | 一种基于两阶段深度学习的安全帽佩戴识别方法 |
| CN112308019A (zh) * | 2020-11-19 | 2021-02-02 | 中国人民解放军国防科技大学 | 基于网络剪枝和知识蒸馏的sar舰船目标检测方法 |
| CN112861737A (zh) * | 2021-02-11 | 2021-05-28 | 西北工业大学 | 一种基于图像暗通道与YoLov3的森林火灾烟雾检测方法 |
| CN112990392A (zh) * | 2021-05-20 | 2021-06-18 | 四川大学 | 基于改进YOLOv5算法的新材料地板缺陷目标检测系统 |
Non-Patent Citations (2)
| Title |
|---|
| 徐凯_XP: "Build Residual Networks", 《HTTPS://WWW.JIANSHU.COM/P/D2166B38E6D1?FROM=TIMELINE》 * |
| 技术挖掘者: "YOLOv5算法详解", 《HTTPS://BLOG.CSDN.NET/WZZ18191171661/ARTICLE/DETAILS/113789486》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114575925A (zh) * | 2022-03-14 | 2022-06-03 | 中科海慧（北京）科技有限公司 | 一种基于时空大数据的矿井安全监测和预警的方法 |
| CN114575925B (zh) * | 2022-03-14 | 2022-11-18 | 中科海慧（北京）科技有限公司 | 一种基于时空大数据的矿井安全监测和预警的方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Haurum et al. | A survey on image-based automation of CCTV and SSET sewer inspections | |
| CN111339882B (zh) | 基于实例分割的输电线路隐患检测方法 | |
| CN108562589B (zh) | 一种对磁路材料表面缺陷进行检测的方法 | |
| CN106841209B (zh) | 一种基于大数据自学习化纤丝锭智能外观检测系统及方法 | |
| CN108985169B (zh) | 基于深度学习目标检测与动态背景建模的商店跨门经营检测方法 | |
| CN111126325B (zh) | 一种基于视频的智能人员安防识别统计方法 | |
| CN111368690B (zh) | 基于深度学习的海浪影响下视频图像船只检测方法及系统 | |
| CN108711148B (zh) | 一种基于深度学习的轮胎缺陷智能检测方法 | |
| CN113642474A (zh) | 一种基于yolov5的危险区域人员监控方法 | |
| CN104077577A (zh) | 一种基于卷积神经网络的商标检测方法 | |
| CN110648310A (zh) | 基于注意力机制的弱监督铸件缺陷识别方法 | |
| WO2023168972A1 (zh) | 一种基于线阵相机的铜表面缺陷检测方法及装置 | |
| CN114648714A (zh) | 一种基于yolo的车间规范行为的监测方法 | |
| CN114120093A (zh) | 一种基于改进YOLOv5算法的煤矸目标检测方法 | |
| CN115439458A (zh) | 基于深度图注意力的工业图像缺陷目标检测算法 | |
| CN106645180A (zh) | 检查基板玻璃缺陷的方法、现场终端及服务器 | |
| CN116071315A (zh) | 一种基于机器视觉的产品可视缺陷检测方法及系统 | |
| CN113642473A (zh) | 一种基于计算机视觉的矿下煤机状态识别方法 | |
| CN114429445A (zh) | 一种基于MAIRNet的PCB缺陷检测与识别方法 | |
| CN116958073A (zh) | 基于注意力特征金字塔机制的小样本钢材缺陷检测方法 | |
| CN115672778A (zh) | 一种智能视觉识别系统 | |
| CN112001396B (zh) | 一种轴承表面形变及文字混合缺陷图像检测方法 | |
| CN113888604A (zh) | 一种基于深度光流的目标跟踪方法 | |
| CN115700737A (zh) | 一种基于视频监控的溢油检测方法 | |
| Mehta et al. | An Analysis of Fabric Defect Detection Techniques for Textile Industry Quality Control |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20211112 |
|
| RJ01 | Rejection of invention patent application after publication |