CN115082870A - 一种停车场异常事件检测方法 - Google Patents

一种停车场异常事件检测方法 Download PDF

Info

Publication number
CN115082870A
CN115082870A CN202210838170.1A CN202210838170A CN115082870A CN 115082870 A CN115082870 A CN 115082870A CN 202210838170 A CN202210838170 A CN 202210838170A CN 115082870 A CN115082870 A CN 115082870A
Authority
CN
China
Prior art keywords
image
video
abnormal
convolution layers
prediction network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210838170.1A
Other languages
English (en)
Inventor
刘寒松
王永
王国强
翟贵乾
刘瑞
李贤超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sonli Holdings Group Co Ltd
Original Assignee
Sonli Holdings Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sonli Holdings Group Co Ltd filed Critical Sonli Holdings Group Co Ltd
Priority to CN202210838170.1A priority Critical patent/CN115082870A/zh
Publication of CN115082870A publication Critical patent/CN115082870A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/049Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00Computing arrangements using knowledge-based models
    • G06N5/04Inference or reasoning models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/586Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于停车场检测技术领域,涉及一种停车场异常事件检测方法,通过构建数据集训练视频帧预测网络,训练时利用多帧和多尺度的特征进行预测,对比原始图像和预测图像,通过SSIM计算原始图像和预测图像之间的相似度,检测视频帧的异常,能有效检测到视频中的异常事件,为停车场用户和管理者提供证据,减小损失。

Description

一种停车场异常事件检测方法
技术领域
本发明属于停车场检测技术领域,涉及一种停车场异常事件检测方法。
背景技术
随着人工智能与计算机视觉等技术的迅速发展,智慧停车场在智慧城市中发挥了重要作用,智慧停车场除了门禁采用自动识别车牌进行车辆通行控制,实现停车场停车自动导航、全自动化泊车管理,合理疏导车流,还有一个更加重要的作用是能够自动识别停车场内的异常事件,包括车辆被刮擦,车辆被行人故意破坏等事件,及时提醒给车主或管理员,以更好的应对突发事件,对车主或停车场运营公司带来最小的损失。
随着停车场高位相机的普及,基于人工智能的视频分析技术在异常事件监测中成为可能,因此,基于视频分析的异常行人检测具有重要的现实意义,但是目前尚未见有基于高位相机的停车场异常事件检测方法,为了利用高位相机对智慧城市进行赋能,亟需设计提供一种基于高位相机的停车场异常事件检测方法。
发明内容
本发明的目的在于克服现有技术存在的缺点,设计提供一种停车场异常事件检测方法,利用高位相机对停车场视频进行采集,采用视频帧预测的方法进行异常视频帧检测,从而实现异常事件的检测和预测。
为实现上述目的,本发明实现停车场异常事件检测的具体过程为:
(1)数据集构建:从高位相机监测到的视频中采集图像构建数据集,将采集到的图像按照正常图像和异常图像进行标注,并将数据集划分为训练集、验证集和测试集;
(2)基于序列图像帧预测图像:将根据视频采集的前十幅图像通过预测网络生成当前图像的预测图像;
(3)训练视频帧预测网络模型:选用标注为正常图像继续训练,网络结构采用步骤(2)的预测网络,能量损失采用L2损失,即能量损失函数为:
Figure DEST_PATH_IMAGE001
其中I为真实图像,
Figure 161857DEST_PATH_IMAGE002
为预测图像;将训练集中的图像尺寸缩放为
Figure DEST_PATH_IMAGE004A
, 依次把连续的图像送入预测网络,根据每次训练需要的图像数量B,依次输入到预测网络后 输出预测图像,再通过反向传播更新参数,经过200次完整训练集训练迭代后,保存验证集 上结果最好的模型参数,作为最终模型训练好的参数,即得到训练好的视频帧预测网络模 型;
(4)计算异常分值判断是否存在事件异常:选用原始图像与预测图像之间的SSIM值作为视频帧是否为异常帧的判断准则,根据步骤(1)标注的异常图像确定SSIM值的阈值参数,如果小于阈值则认为该视频帧为异常视频帧,如果大于阈值,则认为该视频预测帧与真实视频帧很相似,不存在异常;
(5)通过推理得到结果:将图像输入到步骤(3)中得到的视频帧预测网络模型中得到预测图像,利用步骤(4)中的方法判断图像是否为异常,实现停车场异常事件检测。
作为本发明的进一步技术方案,步骤(1)采集图像的过程为:根据高位相机监测的视频每隔5帧采样一张图像,对于每秒30帧的视频,每秒钟采集5张图像,并将采集的图像进行二值标签标注,正常的视频图像标注为1,异常视频图像标注为0,其中正常视频是指没有车辆刮擦、没有行人损坏车辆的视频,异常视频是指视频中存在车辆刮擦和行人破坏车辆的视频。
作为本发明的进一步技术方案,步骤(2)中所述预测网络由卷积神经网络和ConvLSTM网络组成,卷积神经网络的卷积层用来提取特征,ConvLSTM将不同帧的特征进行融合并往下一帧进行特征传递,预测网络的最下一层为解码层,解码层自左至右有三个卷积层,最左侧的卷积层为3个3*3卷积,中间的卷积层采用的64个3*3卷积,最右侧采用的是128个3*3卷积,在上面的各层为译码层,每层译码层自左至右有三个卷积层,最左侧的卷积层采用的64个3*3卷积,中间的卷积层采用的128个3*3卷积,最右侧采用的是256个3*3卷积。
与现有技术相比,本发明的有益效果是:通过构建数据集训练视频帧预测网络,训练时利用多帧和多尺度的特征进行预测,对比原始图像和预测图像,通过SSIM计算原始图像和预测图像之间的相似度,检测视频帧的异常,能有效检测到视频中的异常事件,为停车场用户和管理者提供证据,减小损失。
附图说明
图1为本发明所述预测网络结构图。
图2为本发明的工作流程框图。
具体实施方式
下面结合附图并通过实施例进一步描述本发明,但不以任何方式限制本发明的范围。
实施例:
本实施例实现停车场异常事件检测的具体过程如图2所示,具体包括如下步骤:
(1)数据集构建:
收集高位相机视频并对其进行图像采样得到图像数据集,每隔5帧采样一张图像,对于每秒30帧的视频图像,每秒钟采集5张图像,并对图像进行二值标签标注,正常的视频帧标注为1,异常视频帧标注为0;将图像数据集划分为训练集、验证集和测试集;
(2)基于序列图像帧预测未来图像帧:
给定间隔采样的图像(每隔5帧采集一张图像),将前面采集的十幅图像I,通过预测网络P生成当前图像的预测图像I’(0)=P (I(-10),I(-9)...,I(−1)),其中预测网络P由卷积神经网络和ConvLSTM网络来共同实现进行图像预测,其结构如图1所示,采用了多尺度的方法,即通过不同尺度特征层的融合进行预测,网络结构中的卷积层用来提取特征,ConvLSTM用来把不同帧的特征进行融合并往下一帧进行特征传递,通过这种机制,在视频帧预测的时候融合近十帧的特征,预测网络结构中,除去最下面一层,在上面的各层统称为译码层,最左侧的卷积层采用的64个3*3卷积,中间的卷积层采用的128个3*3卷积,最右侧采用的是256个3*3卷积。最下面一层为解码层,在解码层中,最左侧的卷积层为3个3*3卷积,中间的卷积层采用的64个3*3卷积,最右侧采用的是128个3*3卷积,C表示特征之间是通过特征排列叠加进行融合;如果预测帧I’与真实值图像I之间的差异很小,则认为该视频帧为正常,如果预测帧与真实视频帧之间差距很大,则认为该视频可能存在异常;
(3)设计网络训练预测图像帧:
利用步骤(1)中的数据集,选用标注为正常的图像继续训练,网络结构采用步骤(2)中的预测网络结构,能量损失采用L2损失,即能量损失函数为:
Figure 374883DEST_PATH_IMAGE001
使用数据集中训练集的图像,原始视频图像为
Figure DEST_PATH_IMAGE006A
,我们把图片尺寸 缩放为
Figure DEST_PATH_IMAGE004AA
,依次把连续的视频帧送入网络中,根据每次训练所需的图像数量B, 依次输入到网络中,所以整个网络的输入
Figure DEST_PATH_IMAGE007
,输出为预测的图像,通过反 向传播更新参数,经过设定次数(200次)完整训练集训练迭代后,保存验证集上结果最好的 模型参数,作为最终模型训练好的参数,即得到训练好的视频帧预测网络模型;
(4)计算异常分值判断是否存在事件异常:
选用原始图像与预测图像之间的SSIM值作为图像是否为异常的判断准则,如果小于阈值则认为该视频帧为异常视频帧,如果大于阈值,则认为该视频预测帧与真实视频帧很相似,不存在异常,其中阈值根据步骤(1)中数据集标注为异常的图像进行确定;
(5)通过推理得到结果:
对于需要测试的图像,将图像输入到步骤(3)中得到的网络中计算预测视频帧图像,利用步骤(4)中的方法判断视频帧是否为异常。
本文中未详细说明的算法和计算过程均为本领域通用技术。
需要注意的是,公布实施例的目的在于帮助进一步理解本发明,但是本领域的技术人员可以理解:在不脱离本发明及所附权利要求的精神和范围内,各种替换和修改都是可能的,因此,本发明不应局限于实施例所公开的内容,本发明要求保护的范围以权利要求书界定的范围为准。

Claims (3)

1.一种停车场异常事件检测方法,其特征在于,具体过程为:
(1)数据集构建:从高位相机监测到的视频中采集图像构建数据集,将采集到的图像按照正常图像和异常图像进行标注,并将数据集划分为训练集、验证集和测试集;
(2)基于序列图像帧预测图像:将根据视频采集的前十幅图像通过预测网络生成当前图像的预测图像;
(3)训练视频帧预测网络模型:选用标注为正常图像继续训练,网络结构采用步骤(2)的预测网络,能量损失采用L2损失,即能量损失函数为:
Figure 535122DEST_PATH_IMAGE001
其中I为真实图像,
Figure 83915DEST_PATH_IMAGE002
为预测图像;将训练集中的图像尺寸缩放为
Figure 640798DEST_PATH_IMAGE003
,依次 把连续的图像送入预测网络,根据每次训练需要的图像数量B,依次输入到预测网络后输出 预测图像,再通过反向传播更新参数,经过200次完整训练集训练迭代后,保存验证集上结 果最好的模型参数,作为最终模型训练好的参数,即得到训练好的视频帧预测网络模型;
(4)计算异常分值判断是否存在事件异常:选用原始图像与预测图像之间的SSIM值作为视频帧是否为异常帧的判断准则,根据步骤(1)标注的异常图像确定SSIM值的阈值参数,如果小于阈值则认为该视频帧为异常视频帧,如果大于阈值,则认为该视频预测帧与真实视频帧很相似,不存在异常;
(5)通过推理得到结果:将图像输入到步骤(3)中得到的视频帧预测网络模型中得到预测图像,利用步骤(4)中的方法判断图像是否为异常,实现停车场异常事件检测。
2.根据权利要求1所述停车场异常事件检测方法,其特征在于,步骤(1)采集图像的过程为:根据高位相机监测的视频每隔5帧采样一张图像,对于每秒30帧的视频,每秒钟采集5张图像,并将采集的图像进行二值标签标注,正常的视频图像标注为1,异常视频图像标注为0,其中正常视频是指没有车辆刮擦、没有行人损坏车辆的视频,异常视频是指视频中存在车辆刮擦和行人破坏车辆的视频。
3.根据权利要求2所述停车场异常事件检测方法,其特征在于,步骤(2)中所述预测网络由卷积神经网络和ConvLSTM网络组成,卷积神经网络的卷积层用来提取特征,ConvLSTM将不同帧的特征进行融合并往下一帧进行特征传递,预测网络的最下一层为解码层,解码层自左至右有三个卷积层,最左侧的卷积层为3个3*3卷积,中间的卷积层采用的64个3*3卷积,最右侧采用的是128个3*3卷积,在上面的各层为译码层,每层译码层自左至右有三个卷积层,最左侧的卷积层采用的64个3*3卷积,中间的卷积层采用的128个3*3卷积,最右侧采用的是256个3*3卷积。
CN202210838170.1A 2022-07-18 2022-07-18 一种停车场异常事件检测方法 Pending CN115082870A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210838170.1A CN115082870A (zh) 2022-07-18 2022-07-18 一种停车场异常事件检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210838170.1A CN115082870A (zh) 2022-07-18 2022-07-18 一种停车场异常事件检测方法

Publications (1)

Publication Number Publication Date
CN115082870A true CN115082870A (zh) 2022-09-20

Family

ID=83259096

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210838170.1A Pending CN115082870A (zh) 2022-07-18 2022-07-18 一种停车场异常事件检测方法

Country Status (1)

Country Link
CN (1) CN115082870A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115841654A (zh) * 2023-02-20 2023-03-24 松立控股集团股份有限公司 一种基于高位监控视频的异常事件检测方法

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106778595A (zh) * 2016-12-12 2017-05-31 河北工业大学 基于高斯混合模型的人群中异常行为的检测方法
CN108509827A (zh) * 2017-02-27 2018-09-07 阿里巴巴集团控股有限公司 视频流中异常内容的识别方法及视频流处理系统和方法
CN109615019A (zh) * 2018-12-25 2019-04-12 吉林大学 基于时空自动编码器的异常行为检测方法
CN109711280A (zh) * 2018-12-10 2019-05-03 北京工业大学 一种基于ST-Unet的视频异常检测方法
CN110097028A (zh) * 2019-05-14 2019-08-06 河北工业大学 基于三维金字塔图像生成网络的人群异常事件检测方法
CN110826702A (zh) * 2019-11-18 2020-02-21 方玉明 一种多任务深度网络的异常事件检测方法
CN111062297A (zh) * 2019-12-11 2020-04-24 青岛科技大学 基于eann深度学习模型的暴力异常行为检测方法
CN111400547A (zh) * 2020-03-05 2020-07-10 西北工业大学 一种人机协作的视频异常检测方法
CN112115769A (zh) * 2020-08-05 2020-12-22 西安交通大学 一种基于视频的无监督稀疏人群异常行为检测算法
CN112861071A (zh) * 2021-02-05 2021-05-28 哈尔滨工程大学 一种基于深度自编码的高铁牵引系统异常检测方法
CN113076683A (zh) * 2020-12-08 2021-07-06 国网辽宁省电力有限公司锦州供电公司 用于变电站行为监测的卷积神经网络模型的建模方法
CN114648076A (zh) * 2022-04-11 2022-06-21 杭州电子科技大学 一种无监督学习的电池生产工艺异常波动检测方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106778595A (zh) * 2016-12-12 2017-05-31 河北工业大学 基于高斯混合模型的人群中异常行为的检测方法
CN108509827A (zh) * 2017-02-27 2018-09-07 阿里巴巴集团控股有限公司 视频流中异常内容的识别方法及视频流处理系统和方法
CN109711280A (zh) * 2018-12-10 2019-05-03 北京工业大学 一种基于ST-Unet的视频异常检测方法
CN109615019A (zh) * 2018-12-25 2019-04-12 吉林大学 基于时空自动编码器的异常行为检测方法
CN110097028A (zh) * 2019-05-14 2019-08-06 河北工业大学 基于三维金字塔图像生成网络的人群异常事件检测方法
CN110826702A (zh) * 2019-11-18 2020-02-21 方玉明 一种多任务深度网络的异常事件检测方法
CN111062297A (zh) * 2019-12-11 2020-04-24 青岛科技大学 基于eann深度学习模型的暴力异常行为检测方法
CN111400547A (zh) * 2020-03-05 2020-07-10 西北工业大学 一种人机协作的视频异常检测方法
CN112115769A (zh) * 2020-08-05 2020-12-22 西安交通大学 一种基于视频的无监督稀疏人群异常行为检测算法
CN113076683A (zh) * 2020-12-08 2021-07-06 国网辽宁省电力有限公司锦州供电公司 用于变电站行为监测的卷积神经网络模型的建模方法
CN112861071A (zh) * 2021-02-05 2021-05-28 哈尔滨工程大学 一种基于深度自编码的高铁牵引系统异常检测方法
CN114648076A (zh) * 2022-04-11 2022-06-21 杭州电子科技大学 一种无监督学习的电池生产工艺异常波动检测方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115841654A (zh) * 2023-02-20 2023-03-24 松立控股集团股份有限公司 一种基于高位监控视频的异常事件检测方法

Similar Documents

Publication Publication Date Title
CN109697852B (zh) 基于时序交通事件的城市道路拥堵程度预测方法
CN113486726A (zh) 一种基于改进卷积神经网络的轨道交通障碍物检测方法
CN110689054A (zh) 一种工人违规行为监测方法
CN112419718B (zh) 一种基于时空图卷积神经网络的交通拥塞传播预测方法
CN113160575A (zh) 一种非机动车辆及驾驶人的交通违法行为检测方法及系统
CN104301697A (zh) 一种公共场所暴力事件自动检测系统及其方法
CN107730530A (zh) 一种基于智慧城市的远程应急管理控制方法
CN115082870A (zh) 一种停车场异常事件检测方法
CN118135800B (zh) 基于深度学习的异常交通事件精准识别告警方法
CN113221760A (zh) 一种高速公路摩托车检测方法
KR102186974B1 (ko) 차량의 주차면 분석을 위한 지능형 cctv 시스템
Katsamenis et al. A few-shot attention recurrent residual U-Net for crack segmentation
CN118447687A (zh) 一种基于大数据的城市道路交通流量状态预测方法及系统
CN117351318A (zh) 一种基于交通算网的多源多要素融合方法
Priya et al. Road traffic condition monitoring using deep learning
KR102143073B1 (ko) 차량의 주차면 분석을 위한 지능형 cctv 장치
Pramanik et al. Detection of Potholes using Convolutional Neural Network Models: A Transfer Learning Approach
CN117350635A (zh) 建筑材料出入库管理系统及方法
CN116824520A (zh) 基于ReID和图卷积网络的车辆轨迹预测方法及系统
CN116259042A (zh) 基于图注意力的环视图像停车位检测方法及装置
Algiriyage et al. Traffic Flow Estimation based on Deep Learning for Emergency Traffic Management using CCTV Images.
CN115841654B (zh) 一种基于高位监控视频的异常事件检测方法
Sadek et al. Vision Transformer based Intelligent Parking System for Smart Cities
Maligalig et al. Machine Vision System of Emergency Vehicle Detection System Using Deep Transfer Learning
ALzubaidy et al. Implementing deep learning and CNNs for vehicle detection to alleviate highway traffic congestion

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20220920