CN113449617A - 轨道安全检测方法、系统、装置和存储介质 - Google Patents
轨道安全检测方法、系统、装置和存储介质 Download PDFInfo
- Publication number
- CN113449617A CN113449617A CN202110670307.2A CN202110670307A CN113449617A CN 113449617 A CN113449617 A CN 113449617A CN 202110670307 A CN202110670307 A CN 202110670307A CN 113449617 A CN113449617 A CN 113449617A
- Authority
- CN
- China
- Prior art keywords
- safety detection
- track safety
- track
- video data
- network model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Abstract
本发明公开了一种轨道安全检测方法、系统、装置和存储介质,可应用于目标检测技术领域。本发明方法包括以下步骤:获取目标区域内的视频数据;根据视频数据,采用PP‑Yolo网络模型进行轨道安全检测,得到轨道安全结果;其中,PP‑Yolo网络模型包括输入层、骨干框架、网络层和预测输出层,输入层、骨干框架、网络层和预测输出层依次连接;骨干框架包括ResNet‑50‑vd框架;预测输出层包括可变形卷积模块。本发明通过由输入层、包含ResNet‑50‑vd框架的骨干框架、网络层和包括可变形卷积模块输出层来对实时采集的视频数据进行轨道安全检测,以利用可变形卷积模块的宽视野性,提高检测结果的准确性和扩宽应用范围。
Description
技术领域
本发明涉及目标检测技术领域,尤其是一种轨道安全检测方法、系统、装置和存储介质。
背景技术
随着铁路路网规模的不断扩张,铁路轨道上的和接触电网上的异物给铁路运输带来巨大的安全隐患。为了确保铁路运营安全以及旅客安全出行,需要全面提升铁路安全保障能力。目前,对于轨道安全检测方面,主要通过YOLOv3目标检测算法来检测轨道上的目标。但是,由于YOLOv3目标检测算法无法检测到更宽阔视野内的目标,因而降低了检测结果的准确性。
发明内容
本发明旨在至少解决现有技术中存在的技术问题之一。为此,本发明提出一种轨道安全检测方法、系统、装置和存储介质,能够有效提高检测结果的准确性。
第一方面,本发明实施例提供了一种轨道安全检测方法,包括以下步骤:
获取目标区域内的视频数据;
根据所述视频数据,采用PP-Yolo网络模型进行轨道安全检测,得到轨道安全结果;
其中,所述PP-Yolo网络模型包括输入层、骨干框架、网络层和预测输出层,所述输入层、所述骨干框架、所述网络层和所述预测输出层依次连接;所述骨干框架包括ResNet-50-vd框架;所述预测输出层包括可变形卷积模块。
本发明实施例提供的一种轨道安全检测方法,具有如下有益效果:
本实施例通过由输入层、包含ResNet-50-vd框架的骨干框架、网络层和包括可变形卷积模块预测输出层来对实时采集的视频数据进行轨道安全检测,以利用可变形卷积模块的宽视野性和ResNet-50-vd框架的轻量级性能,提高检测结果的准确性和扩宽应用范围。
可选地,所述ResNet-50-vd框架包括卷积模块和上采用模块;所述卷积模块用于对所述视频数据进行初步特征处理;所述上采用模块用于对处理特征处理后的视频数据进行特征采样。
可选地,所述网络层包括FPN特征金字塔;所述卷积模块、上采用模块和所述FPN特征金字塔均包括可变形卷积模块。
可选地,所述预测输出层还包括Yolo模块,所述Yolo模块用于识别所述视频数据内的目标位置和类型。
可选地,在所述采用PP-Yolo网络模型进行轨道安全检测这一步骤之前,还包括对所述PP-Yolo网络模型的训练步骤,所述训练步骤包括:
获取若干张第一图像作为训练集;
采用所述训练集对所述PP-Yolo网络模型进行训练;
获取若干张第二图像作为测试集;
采用所述测试集对训练后的PP-Yolo网络模型进行测试;
确定测试过程的错误结果和损失函数;
根据所述错误结果和所述损失函数调整所述PP-Yolo网络模型的参数。
第二方面,本发明实施例提供了一种轨道安全检测系统,包括:
数据采集单元,所述数据采集单元用于实时采集预设采集区域内的视频数据;
数据处理单元,所述数据处理单元用于执行第一方面实施例提供的轨道安全检测方法;
数据显示单元,所述数据显示单元用于统计所述数据处理单元输出的轨道安全检测结果,并显示统计结果。
可选地,所述数据采集单元包括若干个摄像头,所述若干个摄像头的拍摄区域覆盖所述预设采集区域。
可选地,所述数据处理单元包括ARM嵌入平台,所述ARM嵌入平台分别与所述若干个摄像头和所述数据显示单元无线通信。
第三方面,本发明实施例提供了一种轨道安全检测装置,包括:
至少一个存储器,用于存储程序;
至少一个处理器,用于加载所述程序以执行第一方面实施例提供的轨道安全检测方法。
第四方面,本发明实施例提供了一种计算机可读存储介质,其中存储有处理器可执行的程序,所述处理器可执行的程序在由处理器执行时用于执行第一方面实施例提供的轨道安全检测方法。
本发明的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
下面结合附图和实施例对本发明做进一步的说明,其中:
图1为本发明实施例的一种轨道安全检测方法的流程图;
图2为本发明实施例的PP-Yolo网络模型的模块框图;
图3为本发明实施例的PP-Yolo网络模型的具体结构图;
图4为本发明实施例的双线性插值得示意图;
图5为本发明实施例的一种轨道安全检测系统的模块框图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本发明,而不能理解为对本发明的限制。
在本发明的描述中,需要理解的是,涉及到方位描述,例如上、下、前、后、左、右等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
在本发明的描述中,若干的含义是一个以上,多个的含义是两个以上,大于、小于、超过等理解为不包括本数,以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
本发明的描述中,除非另有明确的限定,设置、安装、连接等词语应做广义理解,所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。
本发明的描述中,参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
本发明实施例提供了一种轨道安全检测方法,本实施例可应用于服务器或者安全监控处理平台对应的控制器内,该服务器或者控制器与各个终端设备进行交互,终端设备包括录像设备和显示设备。
在应用过程在,如图1所示,本实施例包括以下步骤:
S11、获取目标区域内的视频数据。
在本申请实施例中,视频数据为预设采集区域内的实时视频数据,其通过预设设置的若干个摄像头实时采集。其中,预设采集区域可以为预设区域内的轨道、存在危险的动物园区域等区域。
S12、根据视频数据,采用PP-Yolo网络模型进行轨道安全检测,得到轨道安全结果。
在本申请实施例中,将实时获取的视频数据输入到PP-Yolo网络模型内,通过PP-Yolo网络模型对视频数据进行目标识别后,输出轨道检测结果。该轨道检测结果可在终端设备上显示,显示内容包括时间、目标类型、目标位置等信息。例如,PP-Yolo网络模型对视频数据进行检测后,检测到轨道区域A内,有个男生B正在横穿轨道,因此,再显示单元上,会显示轨道区域A、男生B和横穿轨道的时间,以便管理人员及时进行提醒,减少交通事故的发生。
具体地,本实施例通过在YOLOv3模型上进行改进。如图2和图3所示,PP-Yolo网络模型包括输入层、骨干框架、网络层和预测输出层,其中,输入层、骨干框架Backbone、网络层Neck和预测输出层Prediction依次连接。骨干框架包括ResNet-50-vd框架。由于可变形卷积模块的设置,增加了网络复杂度,从而会带来额外的推理时间,因此,仅将预测输出层的最后一层的3*3卷积设置为可变形卷积模块(Deformable Convolutional Networks,简称DCN),以在提高计算精度的同时,控制计算时间。在另一些实施例中,ResNet-50-vd框架包括卷积模块和上采用模块;卷积模块用于对视频数据进行初步特征处理;上采用模块用于对处理特征处理后的视频数据进行特征采样。网络层包括FPN特征金字塔。为了更加有效地提高计算精度,卷积模块、上采用模块和FPN特征金字塔均包括可变形卷积模块。在一些实施例中,在预测输出层内还设有Yolo模块,该Yolo模块用于识别视频数据内的目标位置和类型。
在本实施例中,将本实施例采用的可变形卷积模块与普通卷积进行如下对比:
可变形卷积模块与普通卷积的区别如下:
普通卷积以3*3卷积为例,对于每个输出y(p0)都要从输入x上进行采样9个位置,这9个位置都在中心位置x(p0)向四周扩散得到的gird形状上,(-1,-1)代表x(p0)的左上角,(1,1)代表x(p0)的右下角,其他类似。则可得如下公式1的关系式:
其中,
R={(-1,-1),(-1,0),...,(0,1),(1,1)}
p0是中心点,pn是属于3*3得kernel得9个位置,可变形卷积同样对于每个输出y(p0),都要从输入x上采样9个位置,这9个位置是中心位置x(p0)向四周扩散得到的,但是多了一个新的参数Δpn,允许采样点扩散成非gird形状。则可得如下公式2的关系式:
Δpn很有可能是小数,而feature map x上都是整数位置,这时候需要双线性插值来确定x(p0+pn+Δpn)得值xξ,xξ的浮点坐标为(i+u,j+v),其中,i和j均为浮点坐标的整数部分,u和v为浮点坐标的小数部分,是取值[0,1)区间的浮点数,则这个点的像素值xξ:(i+u,j+v)可由坐标为x(q1):(i,j)、x(q2):(i+1,j)、x(q3):(i,j+1)、x(q4):(i+1,j+1)所对应的周围四个像素的值决定。如图4所示,双线性插值公式如下公式3:f(i+u,j+v)=(1-u)*(1-v)*f(i,j)+(1-u)*v*f(i,j+1)+u*(1-v)*f(i+1,j)+u*v*f(i+1,j+1)对应到可变形卷积上求xξ,有如下公式4、公式5和公式6:
G(q,p)=g(qx*px)*g(qy,py)
g(a,b)=max(0,1,-(a-b))
其中,q就是临近的4个点,p是偏执的浮点坐标,其他坐标为(i+u,j+v),p0、pn和Δpn都是二维坐标,将这些二维坐标代入公式3,然后求导梯度可得如下公式7:
可变形卷积模块与普通卷积相比的优点为:
第一、在相同大小的卷积核计算,可变形卷积与普通卷积的输出大小都是一致的,因为可变形卷积是计算了特征图上偏置的像素,对物体的形变和尺度建模的能力比较强。
第二、可变形卷积比普通卷积感受野大很多,因为有偏移的原因,实际上相关实验已经表明了DNN网络很多时候受感受野不足的条件制约。
第三、在相同的条件下分布测试coco数据集,根据表1可以看的出,基于ResNet50-vd-dcn Yolov3(即PP-Yolo)相比DarkNet-53 Yolov3,各项指标更加优异:
表1
Methods | Map(%) | Parameters | GFLOPs | Infer time | FPS |
Darknet53 YOLOv3 | 38.9 | 59.13M | 65.52 | 17.2ms | 58.2 |
ResNet50-vd-dcn YOLOv3 | 39.1 | 43.89M | 44.71 | 12.6ms | 79.2 |
本实施例通过利用可变形卷积模块的宽视野性和ResNet-50-vd框架的轻量级性能,提高了检测结果的准确性和扩宽应用范围。
在一些实施例中,在采用PP-Yolo网络模型进行轨道安全检测这一步骤之前,还包括对PP-Yolo网络模型的训练步骤。其中,训练步骤包括:
获取若干张第一图像作为训练集。其中,若干张第一图像使用标签工具对图像进行标注。该第一图像可以是从历史监控视频数据中提取得到的图像数据,该图像数据可以包括1万张图片组成。
采用训练集对PP-Yolo网络模型进行训练,以提高网络模型在特征提取的精度。
获取若干张第二图像作为测试集。若干张第二图像使用标签工具对图像进行标注。该第二图像可以是从历史监控视频数据中提取得到的图像数据。
采用测试集对训练后的PP-Yolo网络模型进行测试和验证;
确定测试过程的错误结果和损失函数。
根据错误结果和损失函数调整PP-Yolo网络模型的参数。
在本实施例中,当错误结果过大时,则调整参数后继续训练PP-Yolo网络模型,直到网络模型的精度达到预设范围内。
参照图5,本发明实施例提供了一种轨道安全检测系统,包括数据采集单元、数据处理单元和数据显示单元,其中,数据采集单元和数据显示单元均与数据处理单元交互。具体地,数据采集单元包括若干个摄像头,若干个摄像头均用于实时采集预设采集区域内的视频数据,且若干个摄像头的拍摄区域覆盖预设采集区域,以通过多角度的视频录取,减少遮挡情况对目标检测结果的影响。数据处理单元包括ARM嵌入平台,其用于根据数据采集单元采集的视频数据,执行图1所示的轨道安全检测方法。数据显示单元用于统计数据处理单元输出的轨道安全检测结果,并显示统计结果。
本发明方法实施例的内容均适用于本系统实施例,本系统实施例所具体实现的功能与上述方法实施例相同,并且达到的有益效果与上述方法达到的有益效果也相同。
本发明实施例提供了一种轨道安全检测装置,包括:
至少一个存储器,用于存储程序;
至少一个处理器,用于加载所述程序以执行图1所示的轨道安全检测方法。
本发明方法实施例的内容均适用于本装置实施例,本装置实施例所具体实现的功能与上述方法实施例相同,并且达到的有益效果与上述方法达到的有益效果也相同。
本发明实施例提供了一种计算机可读存储介质,其中存储有处理器可执行的程序,所述处理器可执行的程序在由处理器执行时用于执行图1所示的轨道安全检测方法。
本发明实施例还公开了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行图1所示的方法。
上面结合附图对本发明实施例作了详细说明,但是本发明不限于上述实施例,在所属技术领域普通技术人员所具备的知识范围内,还可以在不脱离本发明宗旨的前提下作出各种变化。此外,在不冲突的情况下,本发明的实施例及实施例中的特征可以相互组合。
Claims (10)
1.一种轨道安全检测方法,其特征在于,包括以下步骤:
获取目标区域内的视频数据;
根据所述视频数据,采用PP-Yolo网络模型进行轨道安全检测,得到轨道安全结果;
其中,所述PP-Yolo网络模型包括输入层、骨干框架、网络层和预测输出层,所述输入层、所述骨干框架、所述网络层和所述预测输出层依次连接;所述骨干框架包括ResNet-50-vd框架;所述预测输出层包括可变形卷积模块。
2.根据权利要求1所述的一种轨道安全检测方法,其特征在于,所述ResNet-50-vd框架包括卷积模块和上采用模块;所述卷积模块用于对所述视频数据进行初步特征处理;所述上采用模块用于对处理特征处理后的视频数据进行特征采样。
3.根据权利要求2所述的一种轨道安全检测方法,其特征在于,所述网络层包括FPN特征金字塔;所述卷积模块、上采用模块和所述FPN特征金字塔均包括可变形卷积模块。
4.根据权利要求1所述的一种轨道安全检测方法,其特征在于,所述预测输出层还包括Yolo模块,所述Yolo模块用于识别所述视频数据内的目标位置和类型。
5.根据权利要求1所述的一种轨道安全检测方法,其特征在于,在所述采用PP-Yolo网络模型进行轨道安全检测这一步骤之前,还包括对所述PP-Yolo网络模型的训练步骤,所述训练步骤包括:
获取若干张第一图像作为训练集;
采用所述训练集对所述PP-Yolo网络模型进行训练;
获取若干张第二图像作为测试集;
采用所述测试集对训练后的PP-Yolo网络模型进行测试;
确定测试过程的错误结果和损失函数;
根据所述错误结果和所述损失函数调整所述PP-Yolo网络模型的参数。
6.一种轨道安全检测系统,其特征在于,包括:
数据采集单元,所述数据采集单元用于实时采集预设采集区域内的视频数据;
数据处理单元,所述数据处理单元用于执行权利要求1-5任一项所述的轨道安全检测方法;
数据显示单元,所述数据显示单元用于统计所述数据处理单元输出的轨道安全检测结果,并显示统计结果。
7.根据权利要求6所述的一种轨道安全检测系统,其特征在于,所述数据采集单元包括若干个摄像头,所述若干个摄像头的拍摄区域覆盖所述预设采集区域。
8.根据权利要求6所述的一种轨道安全检测系统,其特征在于,所述数据处理单元包括ARM嵌入平台,所述ARM嵌入平台分别与所述若干个摄像头和所述数据显示单元无线通信。
9.一种轨道安全检测装置,其特征在于,包括:
至少一个存储器,用于存储程序;
至少一个处理器,用于加载所述程序以执行如权利要求1-5任一项所述的轨道安全检测方法。
10.一种计算机可读存储介质,其中存储有处理器可执行的程序,其特征在于,所述处理器可执行的程序在由处理器执行时用于执行如权利要求1-5任一项所述的轨道安全检测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110670307.2A CN113449617A (zh) | 2021-06-17 | 2021-06-17 | 轨道安全检测方法、系统、装置和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110670307.2A CN113449617A (zh) | 2021-06-17 | 2021-06-17 | 轨道安全检测方法、系统、装置和存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113449617A true CN113449617A (zh) | 2021-09-28 |
Family
ID=77811745
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110670307.2A Pending CN113449617A (zh) | 2021-06-17 | 2021-06-17 | 轨道安全检测方法、系统、装置和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113449617A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114299479A (zh) * | 2021-12-21 | 2022-04-08 | 佛山中科云图智能科技有限公司 | 一种车牌号预测方法和电子设备 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108197610A (zh) * | 2018-02-02 | 2018-06-22 | 北京华纵科技有限公司 | 一种基于深度学习的轨道异物检测系统 |
CN111598846A (zh) * | 2020-04-26 | 2020-08-28 | 鲲鹏通讯(昆山)有限公司 | 一种基于yolo的隧道内铁轨缺陷检测方法 |
-
2021
- 2021-06-17 CN CN202110670307.2A patent/CN113449617A/zh active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108197610A (zh) * | 2018-02-02 | 2018-06-22 | 北京华纵科技有限公司 | 一种基于深度学习的轨道异物检测系统 |
CN111598846A (zh) * | 2020-04-26 | 2020-08-28 | 鲲鹏通讯(昆山)有限公司 | 一种基于yolo的隧道内铁轨缺陷检测方法 |
Non-Patent Citations (4)
Title |
---|
JIFENG DAI ET AL.: "Deformable Convolutional Networks", 《HTTPS://ARXIV.ORG/ABS/1703.06211V3》 * |
XIANG LONG ET AL.: "PP-YOLO: An Effective and Efficient Implementation of Object Detector", 《HTTPS://ARXIV.ORG/ABS/2007.12099》 * |
公安部第三研究所: "《多摄像机协同关注目标检测跟踪技术》", 30 June 2017, 东南大学出版社 * |
杨露菁 等: "《智能图像处理及应用》", 31 March 2019, 中国铁道出版社 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114299479A (zh) * | 2021-12-21 | 2022-04-08 | 佛山中科云图智能科技有限公司 | 一种车牌号预测方法和电子设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111539273B (zh) | 一种交通视频背景建模方法及系统 | |
Akagic et al. | Pothole detection: An efficient vision based method using rgb color space image segmentation | |
CN110346699B (zh) | 基于紫外图像处理技术的绝缘子放电信息提取方法及装置 | |
CN109410192B (zh) | 一种多纹理分级融合的织物缺陷检测方法及其装置 | |
CN110781839A (zh) | 一种基于滑窗的大尺寸图像中小目标识别方法 | |
CN111191570B (zh) | 图像识别方法和装置 | |
EP3855389A1 (en) | Training data collection device, training data collection method, and program | |
CN105976392B (zh) | 基于最大输出概率的车辆轮胎检测方法及装置 | |
CN109489724A (zh) | 一种隧道列车安全运行环境综合检测装置及检测方法 | |
CN108830133A (zh) | 合同影像图片的识别方法、电子装置及可读存储介质 | |
CN111753794B (zh) | 水果品质分类方法、装置、电子设备及可读存储介质 | |
US11315229B2 (en) | Method for training defect detector | |
CN112580600A (zh) | 粉尘浓度检测方法、装置、计算机设备和存储介质 | |
CN112508019A (zh) | 基于图像识别的gis隔离/接地开关状态检测方法及系统 | |
CN111967345A (zh) | 一种实时判定摄像头遮挡状态的方法 | |
CN113449617A (zh) | 轨道安全检测方法、系统、装置和存储介质 | |
CN114581419A (zh) | 变压器绝缘套管缺陷检测方法、相关设备及可读存储介质 | |
CN111563492B (zh) | 一种跌倒检测方法、跌倒检测装置及存储装置 | |
CN116091503B (zh) | 一种面板异物缺陷的判别方法、装置、设备及介质 | |
CN111597939B (zh) | 一种基于深度学习的高铁线路鸟窝缺陷检测方法 | |
CN106778822B (zh) | 基于漏斗变换的图像直线检测方法 | |
CN111723656A (zh) | 一种基于YOLO v3与自优化的烟雾检测方法及装置 | |
CN112001963A (zh) | 消防通道的排查的方法、系统和计算机设备 | |
CN112084892A (zh) | 一种道路异常事件检测管理装置及其方法 | |
CN117237835A (zh) | 一种基于yolov7的货架安全自动检测方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210928 |