CN113378799A - 基于目标检测和姿态检测框架的行为识别方法及系统 - Google Patents

基于目标检测和姿态检测框架的行为识别方法及系统 Download PDF

Info

Publication number
CN113378799A
CN113378799A CN202110834226.1A CN202110834226A CN113378799A CN 113378799 A CN113378799 A CN 113378799A CN 202110834226 A CN202110834226 A CN 202110834226A CN 113378799 A CN113378799 A CN 113378799A
Authority
CN
China
Prior art keywords
target
detection
behavior
key
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110834226.1A
Other languages
English (en)
Inventor
姬冰
崔贺
孙如月
宋锐
李贻斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University
Original Assignee
Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University filed Critical Shandong University
Priority to CN202110834226.1A priority Critical patent/CN113378799A/zh
Publication of CN113378799A publication Critical patent/CN113378799A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于图像处理领域,提供了一种基于目标检测和姿态检测框架的行为识别方法及系统。其中,该方法包括获取目标人物图像;利用目标检测框架对目标人物图像进行行人检测,并对检测到的目标进行图像分割,得到目标图片;利用姿态检测框架从目标图片中提取人体关键骨骼点特征;对人体关键骨骼点特征进行行为分类,得到目标人物的具体行为类别。

Description

基于目标检测和姿态检测框架的行为识别方法及系统
技术领域
本发明属于图像处理领域,尤其涉及一种基于目标检测和姿态检测框架的行为识别方法及系统。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息,不必然构成在先技术。
外肢体机器人是一种新型可穿戴式机器人,可以在特定工作场景下,与操作者进行协作,从而完成一些高难度操作,辅助操作者完成施工。在这种场景下,若外肢体设备能够准确、快速地识别操作者行为意图,可以使得人机交互变得更加容易,提高工作效率。
目前常用的行为识别方法是,利用姿态检测框架,如OpenPose、Tf-pose等,对图片中人体进行骨骼关键点提取,逐一获得关键点位置坐标信息;将获取的关键点位置信息作为神经网络输入、将该行为种类作为分类标签一同放入神经网络进行训练;将训练好的行为分类器搭配外置摄像头,便可以达到实时行为识别的效果。发明人发现,虽然这种方法可以较为准确的实现行为分类,但其需要先对图片进行人物检测再对人物逐一提取骨骼关键点,行为识别的实时性并不能达到人机协作的要求。
发明内容
为了解决上述背景技术中存在的技术问题,本发明提供一种基于目标检测和姿态检测框架的行为识别方法及系统,其仅使用目标检测算法对行为追踪上的局限性,通过引入姿态检测框架与神经网络分类器,可以在保证行为分类准确性的同时,提高行为分类的速度。
为了实现上述目的,本发明采用如下技术方案:
本发明的第一个方面提供一种基于目标检测和姿态检测框架的行为识别方法,其包括:
获取目标人物图像;
利用目标检测框架对目标人物图像进行行人检测,并对检测到的目标进行图像分割,得到目标图片;
利用姿态检测框架从目标图片中提取人体关键骨骼点特征;
对人体关键骨骼点特征进行行为分类,得到目标人物的具体行为类别。
本发明的第二个方面提供一种基于目标检测和姿态检测框架的行为识别系统,其包括:
图像获取模块,其用于获取目标人物图像;
目标检测及分割模块,其用于利用目标检测框架对目标人物图像进行行人检测,并对检测到的目标进行图像分割,得到目标图片;
关键骨骼点特征提取模块,其用于利用姿态检测框架从目标图片中提取人体关键骨骼点特征;
行为分类模块,其用于对人体关键骨骼点特征进行行为分类,得到目标人物的具体行为类别。
本发明的第三个方面提供一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如上述所述的基于目标检测和姿态检测框架的行为识别方法中的步骤。
本发明的第四个方面提供一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上述所述的基于目标检测和姿态检测框架的行为识别方法中的步骤。
与现有技术相比,本发明的有益效果是:
本发明利用目标检测框架对目标人物图像进行行人检测,并对检测到的目标进行图像分割,得到目标图片,利用姿态检测框架从目标图片中提取人体关键骨骼点特征,对人体关键骨骼点特征进行行为分类,得到目标人物的具体行为类别,通过目标检测框架可以快速、准确的检测到图像中所有行人,可以扩大检测范围并提高检测速度;对目标检测框架获得关键点坐标进行特征提取后,可以简化神经网络分类器模型结构,提高分类精确度,使训练更为简单。
本发明附加方面的优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。
图1是本发明实施例的基于目标检测和姿态检测框架的行为识别方法流程图;
图2(a)是本发明实施例的目标人物原图;
图2(b)是本发明实施例的目标人物Padding后图片;
图3是本发明实施例的标检测所获得参数示意;
图4是本发明实施例的人体骨骼关键点示意图;
图5是本发明实施例的神经网络分类器模型图。
具体实施方式
下面结合附图与实施例对本发明作进一步说明。
应该指出,以下详细说明都是例示性的,旨在对本发明提供进一步的说明。除非另有指明,本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是,这里所使用的术语仅是为了描述具体实施方式,而非意图限制根据本发明的示例性实施方式。如在这里所使用的,除非上下文另外明确指出,否则单数形式也意图包括复数形式,此外,还应当理解的是,当在本说明书中使用术语“包含”和/或“包括”时,其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
实施例一
如图1所示,本实施例提供了一种基于目标检测和姿态检测框架的行为识别方法,其具体包括如下步骤:
步骤1:获取目标人物图像,如图2(a)所示。
其中,针对单人行为数据采集如下:
一名实验人员在实验场地以慢动作形式分别做出站立、下蹲、弯腰、挥手、跌倒、踢腿6种行为动作,同组一名成员为该同学录制视频,在录制时应保持:视频拍摄标准为720P、30FPS;拍摄时应镜头应能装下实验人员全身;应拍摄实验人员不同角度下的行为特征。
针对多人行为数据采集如下:
每组2-3名实验人员以慢动作形式做出上述6种动作其中一种,同组一名成员为实验人员录制视频,在录制时应保持:视频拍摄标准为720P、30FPS;拍摄时应镜头应能装下实验人员全身;应拍摄实验人员不同角度下的行为特征。
步骤2:利用目标检测框架对目标人物图像进行行人检测,并对检测到的目标进行图像分割,得到目标图片。
在具体实施中,利用目标检测框架对目标人物图像进行行人检测之前,还包括对目标人物图像进行处理,其具体过程为:
利用OpenCV对视频进行处理,每隔10帧对图片进行保存——通过选取适当频率间隔性保存,可以降低重复性样本,起到增强数据作用;
使用标签制作软件(如labelimg、labelme软件)对所得到的图片进行标签制作,得到每种图片对应的行为标签;
将图片宽、高调整为416×416格式,以满足目标检测框架需求;在调整图片宽高过程中,为防止图片失真,需对图片进行padding处理,如图2(b)所示。
具体地,目标检测框架的训练过程为:
将预训练图片放入目标检测框架进行行人检测,得到行人目标的中心坐标(x,y)与矩形框h、w参数,如图3所示;
根据上述所得到的参数,将图片中的行人所对应的矩形框逐一从原图像中分割并保留下来。
步骤3:利用姿态检测框架从目标图片中提取人体关键骨骼点特征。
在具体实施中,利用姿态检测框架从目标图片中提取人体关键骨骼点特征的过程为:
步骤3.1:利用姿态检测框架对目标图片进行人体关键点检测,具体检测包括:鼻子、左眼、左耳、右眼、右耳等18个关节点,具体如图4所示;
步骤3.2:对检测到的关节点进行有效关键点对判断并连接;
具体关节相关性判断公式为:
Figure BDA0003173527220000061
其中,LC是2D向量场(vector fields),表示了两个关键点之间关联度;u是插值自变量,公式中将其0、1值作为积分起始条件。
式中,p(u)是对两个关节点
Figure BDA0003173527220000062
之间的位置进行插值,插值公式为:
Figure BDA0003173527220000063
步骤3.3:提取有效关节点位置信息对并保存其行为信息标签。
步骤4:对人体关键骨骼点特征进行行为分类,得到目标人物的具体行为类别。
具体地,对人体关键骨骼点特征进行行为分类的过程中,还包括:对人体关键骨骼点特征所对应的关节点位置信息进行特征提取。
其中,对人体关键骨骼点特征所对应的关节点位置信息进行特征提取的过程包括:
所有关节位置都转换为相对于头部关节的坐标;
将所有关节点位置转换为八个关节角,这八个关节角分别为:左/右肩、左/右肘、左/右胯以及左/右膝盖;
具体转换公式为:
Figure BDA0003173527220000064
式中,dp1,dp2为关节点向量,表达式为:
dp1=(x1-x2,y1-y2)
dp2=(x3-x2,y1-y2)
p1(x1,y1),p2(x2,y2),p3(x3,y3)为关节点坐标。
对数据进行归一化处理,将数据范围区间归一化为[0,1],具体公式为:
Figure BDA0003173527220000071
式中,xi为变量当前值,minx为变量最小值,maxx为变量最大值,xinorm为当前变量进行归一化后值。
在本实施例中,利用神经网络分类器对人体关键骨骼点特征进行行为分类。
其中,所述神经网络分类的输出层激活函数采用softmax函数,其余层激活函数均采用relu函数。所述神经网络分类的输出层神经元数目等于行为种类的数量。
例如,如图5所示的神经网络分类器,输入层特征维度为28,第一层隐藏层神经元数目为128,第二层隐藏层神经元数目为64,第三层隐藏层神经元数目为16,输出层神经元数目为6(代表6种行为)。
实施例二
本实施例提供了一种基于目标检测和姿态检测框架的行为识别系统,其具体包括如下模块:
图像获取模块,其用于获取目标人物图像;
目标检测及分割模块,其用于利用目标检测框架对目标人物图像进行行人检测,并对检测到的目标进行图像分割,得到目标图片;
关键骨骼点特征提取模块,其用于利用姿态检测框架从目标图片中提取人体关键骨骼点特征;
行为分类模块,其用于对人体关键骨骼点特征进行行为分类,得到目标人物的具体行为类别。
此处需要说明的是,本实施例的基于目标检测和姿态检测框架的行为识别系统中的各个模块与实施例一中的各个步骤一一对应,其具体实施过程相同,此处不再累述。
实施例三
本实施例提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如上述所述的基于目标检测和姿态检测框架的行为识别方法中的步骤。
实施例四
本实施例提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上述所述的基于目标检测和姿态检测框架的行为识别方法中的步骤。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(RandomAccessMemory,RAM)等。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于目标检测和姿态检测框架的行为识别方法,其特征在于,包括:
获取目标人物图像;
利用目标检测框架对目标人物图像进行行人检测,并对检测到的目标进行图像分割,得到目标图片;
利用姿态检测框架从目标图片中提取人体关键骨骼点特征;
对人体关键骨骼点特征进行行为分类,得到目标人物的具体行为类别。
2.如权利要求1所述的基于目标检测和姿态检测框架的行为识别方法,其特征在于,利用姿态检测框架从目标图片中提取人体关键骨骼点特征的过程为:
利用姿态检测框架对目标图片进行人体关键点检测;
对检测到的关节点进行有效关键点对判断并连接;
提取有效关节点位置信息对并保存其行为信息标签。
3.如权利要求1所述的基于目标检测和姿态检测框架的行为识别方法,其特征在于,对人体关键骨骼点特征进行行为分类的过程中,还包括:对人体关键骨骼点特征所对应的关节点位置信息进行特征提取。
4.如权利要求3所述的基于目标检测和姿态检测框架的行为识别方法,其特征在于,对人体关键骨骼点特征所对应的关节点位置信息进行特征提取的过程包括:
所有关节位置都转换为相对于头部关节的坐标;
将所有关节点位置转换为八个关节角,这八个关节角分别为:左/右肩、左/右肘、左/右胯以及左/右膝盖;
对数据进行归一化处理,将数据范围区间归一化为[0,1]。
5.如权利要求1所述的基于目标检测和姿态检测框架的行为识别方法,其特征在于,利用神经网络分类器对人体关键骨骼点特征进行行为分类。
6.如权利要求5所述的基于目标检测和姿态检测框架的行为识别方法,其特征在于,所述神经网络分类的输出层激活函数采用softmax函数,其余层激活函数均采用relu函数。
7.如权利要求5所述的基于目标检测和姿态检测框架的行为识别方法,其特征在于,所述神经网络分类的输出层神经元数目等于行为种类的数量。
8.一种基于目标检测和姿态检测框架的行为识别系统,其特征在于,包括:
图像获取模块,其用于获取目标人物图像;
目标检测及分割模块,其用于利用目标检测框架对目标人物图像进行行人检测,并对检测到的目标进行图像分割,得到目标图片;
关键骨骼点特征提取模块,其用于利用姿态检测框架从目标图片中提取人体关键骨骼点特征;
行为分类模块,其用于对人体关键骨骼点特征进行行为分类,得到目标人物的具体行为类别。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-7中任一项所述的基于目标检测和姿态检测框架的行为识别方法中的步骤。
10.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1-7中任一项所述的基于目标检测和姿态检测框架的行为识别方法中的步骤。
CN202110834226.1A 2021-07-21 2021-07-21 基于目标检测和姿态检测框架的行为识别方法及系统 Pending CN113378799A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110834226.1A CN113378799A (zh) 2021-07-21 2021-07-21 基于目标检测和姿态检测框架的行为识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110834226.1A CN113378799A (zh) 2021-07-21 2021-07-21 基于目标检测和姿态检测框架的行为识别方法及系统

Publications (1)

Publication Number Publication Date
CN113378799A true CN113378799A (zh) 2021-09-10

Family

ID=77582744

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110834226.1A Pending CN113378799A (zh) 2021-07-21 2021-07-21 基于目标检测和姿态检测框架的行为识别方法及系统

Country Status (1)

Country Link
CN (1) CN113378799A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114638744A (zh) * 2022-03-03 2022-06-17 厦门大学 人体姿态迁移方法及装置
CN114952854A (zh) * 2022-06-16 2022-08-30 山东大学 基于人机协作的人体碰撞物对接方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112183153A (zh) * 2019-07-01 2021-01-05 中国移动通信集团浙江有限公司 一种基于视频分析的对象行为检测方法及装置
CN112949439A (zh) * 2021-02-19 2021-06-11 中国石油天然气集团有限公司 一种油罐车重点区域人员入侵监测方法和系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112183153A (zh) * 2019-07-01 2021-01-05 中国移动通信集团浙江有限公司 一种基于视频分析的对象行为检测方法及装置
CN112949439A (zh) * 2021-02-19 2021-06-11 中国石油天然气集团有限公司 一种油罐车重点区域人员入侵监测方法和系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
窦雪婷: "基于骨架节点的车辆前方行人行为识别方法研究", 《中国优秀博硕士学位论文全文数据库(硕士) 工程科技Ⅱ辑》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114638744A (zh) * 2022-03-03 2022-06-17 厦门大学 人体姿态迁移方法及装置
CN114952854A (zh) * 2022-06-16 2022-08-30 山东大学 基于人机协作的人体碰撞物对接方法及系统

Similar Documents

Publication Publication Date Title
CN110147721B (zh) 一种三维人脸识别方法、模型训练方法和装置
CN104318558B (zh) 复杂场景下基于多信息融合的手势分割方法
CN109685037B (zh) 一种实时动作识别方法、装置及电子设备
Geng et al. Human action recognition based on convolutional neural networks with a convolutional auto-encoder
CN110532897A (zh) 零部件图像识别的方法和装置
Sincan et al. Using motion history images with 3d convolutional networks in isolated sign language recognition
CN112131908A (zh) 基于双流网络的动作识别方法、装置、存储介质及设备
CN114187665B (zh) 一种基于人体骨架热图的多人步态识别方法
CN111723687A (zh) 基于神经网路的人体动作识别方法和装置
CN110969110B (zh) 一种基于深度学习的人脸跟踪方法及系统
CN109325408A (zh) 一种手势判断方法及存储介质
CN111898571A (zh) 动作识别系统及方法
CN110807391A (zh) 基于视觉的人-无人机交互用人体姿态指令识别方法
CN112906520A (zh) 一种基于姿态编码的动作识别方法及装置
Hang et al. Spatial-temporal adaptive graph convolutional network for skeleton-based action recognition
CN114708617A (zh) 行人重识别方法、装置及电子设备
CN113378799A (zh) 基于目标检测和姿态检测框架的行为识别方法及系统
CN117437691A (zh) 一种基于轻量化网络的实时多人异常行为识别方法及系统
Chaudhary et al. A vision-based method to find fingertips in a closed hand
CN112487926A (zh) 一种基于时空图卷积网络的景区投喂行为识别方法
CN112766065A (zh) 一种移动端考生身份认证方法、装置、终端及存储介质
CN110348395B (zh) 一种基于时空关系的骨架行为识别方法
Du The computer vision simulation of athlete’s wrong actions recognition model based on artificial intelligence
Vasconcelos et al. Methodologies to build automatic point distribution models for faces represented in images
Ye et al. Human motion analysis based on extraction of skeleton and dynamic time warping algorithm using RGBD camera

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210910