CN113139441A - 一种图像处理方法及系统 - Google Patents

一种图像处理方法及系统 Download PDF

Info

Publication number
CN113139441A
CN113139441A CN202110370945.2A CN202110370945A CN113139441A CN 113139441 A CN113139441 A CN 113139441A CN 202110370945 A CN202110370945 A CN 202110370945A CN 113139441 A CN113139441 A CN 113139441A
Authority
CN
China
Prior art keywords
image
loss
value
deep learning
inputting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110370945.2A
Other languages
English (en)
Inventor
任永腾
王堃
王成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Yisa Data Technology Co Ltd
Original Assignee
Qingdao Yisa Data Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Yisa Data Technology Co Ltd filed Critical Qingdao Yisa Data Technology Co Ltd
Priority to CN202110370945.2A priority Critical patent/CN113139441A/zh
Publication of CN113139441A publication Critical patent/CN113139441A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种图像处理方法及系统,包括获取原始图像并进行归一化处理;将经过归一化处理后的图像输入预先建立的深度学习模型进行深度学习,提取图像特征;将图像特征生成的特征图维度放缩到计算获取的维度;将对应标签和放缩后的图像特征输入损失函数,进而获取损失值;根据损失值获取损失值梯度并进行反向传播,获取单点准确位置信息。上述方案能有效解决现有技术的不足,既可以兼顾整体效果,得到一个整体准确的结果,又可以提升单个点的精度,满足某些应用对高精度的需求。

Description

一种图像处理方法及系统
技术领域
本发明涉及软件领域,具体涉及一种图像处理方法及系统。
背景技术
关键点检测分为人脸、人体姿态关键点检测等。人脸关键点检测是人脸识别和分析领域中的关键一步,它是诸如自动人脸识别、表情分析、三维人脸重建及三维动画等其它人脸相关问题的前提和突破口。人体骨骼关键点检测是诸多计算机视觉任务的基础,例如动作分类,行为识别,以及无人驾驶等等。
当前的关键点检测主要分为HeatMap和回归两种思路,HeatMap方法关键点定位准确,但是不同点之间没有直接关系,被遮挡位置的关键点容易乱飘,导致整体效果不理想,无法直接应用。回归方法不同点之间有相互联系,可以得到一个整体相对准确的结果,但单个点的位置不够准确,对于需要点位精度较高的应用帮助不大。
当前关键点检测的思路在确保单点位置精确的同时无法兼顾得到一个整体相对准确的结果,这样就无法满足一些对精度要求较高的工作需求,所以如何得到一个整体准确结果且同时能确保单个点位置准确成为了我们不得不面对的问题。
发明内容
为了解决上述现有技术中的问题,本发明提供一种图像处理方法及系统,可以兼顾整体结果准确和单点位置的准确定,适用于某些应用的高精度需求。
一种图像处理方法,所述方法包括:
获取原始图像并进行归一化处理;
将经过归一化处理后的图像输入预先建立的深度学习模型进行深度学习,提取图像特征;
将图像特征生成的特征图维度放缩到计算获取的维度;
将对应标签和放缩后的图像特征输入损失函数,进而获取损失值;
根据损失值获取损失值梯度并进行反向传播,获取整体准确结果和单点准确位置信息。
优选的,所述获取原始图像并进行归一化处理包括:
获取原始图像并放缩所述原始图像的尺寸至预设特定值,获得放缩图像;
计算所述放缩图像的像素的均值和方差值;
获取所述放缩图像的每一个像素值,将所述放缩图像的每一个像素值与其均值相减,再除以方差,获得归一化图像。
优选的,所述将归一化图像进行深度学习包括:
将经过归一化处理后的图像输入预先建立的深度学习模型,通过
所述深度学习模型中的卷积神经网络对输入的归一化图像信息进行深度学习;
根据所述深度学习的结果提取所述图像特征。
进一步地,所述将图像特征生成的特征图维度放缩到计算获取的维度包括:
将所述特征图的维度放缩到(5+c+2*k)维度;
其中,5为检测框的坐标x,y,w,h和置信度,为物体类别,k为想要获取的关键点数量。
进一步地,将所述对应标签和放缩后的图像特征输入损失函数包括:
将对应标签和放缩后的图像特征输入均方误差损失函数进行计算;
根据均方误差损失函数进行计算,获取并定义检测框与标签值的误差系数为p1,置信度损失为p2,关键点损失和的误差系数为p3;
其中,p1>p2>p3;
根据p1、p2和p3获取损失值;
根据损失值获取损失值梯度并进行反向传播,获取整体准确结果和单点准确位置信息。
一种图像处理系统,所述系统包括:
获取模块,用于获取原始图像并进行归一化处理,进而获取归一化图像;
深度学习模块,用于将经过归一化处理后的图像输入预先建立的深度学习模型进行深度学习,提取图像特征;
卷积层,用于将图像特征生成的特征图维度放缩到计算获取的维度;
损失函数模块,用于将对应标签和放缩后的图像特征输入损失函数,进而获取损失值;
反向传播模块,用于根据损失值获取损失值梯度并进行反向传播,获取整体准确结果和单点准确位置信息。
优选的,所述获取模块包括:
获取单元,用于获取原始图像;
放缩单元,用于放缩所述原始图像的尺寸至预设特定值,获取放缩图像;
第一计算单元,用于计算所述放缩图像的像素的均值和方差值;
第二计算单元,用于获取所述放缩图像的每一个像素值,将所述放缩图像的每一个像素值与其均值相减,再除以方差,获得归一化图像。
优选的,所述深度学习模块包括:
卷积神经网络,用于输入所述归一化图像信息至卷积神经网络进行深度学习;
特征提取单元,用于根据所述卷积神经网络经过深度学习提取所述图像特征。
进一步地,所述卷积神经网络包括:
卷积层,用于将所述图像特征的维度放缩到(5+c+2*k)维度;
其中,5为检测框的坐标x,y,w,h和置信度,为物体类别,k为想要获取的关键点数量。
进一步地,所述损失函数模块连接所述反向传播模块;
所述损失函数模块包括:
均方误差损失函数,用于将对应标签和放缩后的图像特征输入均方误差损失函数进行计算;
获取定义单元,用于根据均方误差损失函数进行计算,获取并定义检测框与标签值的误差系数为p1,置信度损失为p2,关键点损失和的误差系数为p3;
其中,p1>p2>p3;
损失值获取单元,用于根据p1、p2和p3获取损失值;
所述损失获取单元将所述损失值输入所述反向传播模块;
所述反向传播模块,用于根据损失值获取损失值梯度并进行反向传播,进而获取整体准确结果和单点准确位置信息。
本发明的有益效果体现在:
1、本发明能有效解决现有技术HeatMap和回归两种思路无法兼顾整体准确结果和单点位置准确的问题。
2、本发明既可以兼顾整体效果,得到一个整体准确的结果,又可以提升单个点的精度,获取准确的单点准确位置信息,满足某些应用对高精度的需求。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。在所有附图中,类似的元件或部分一般由类似的附图标记标识。附图中,各元件或部分并不一定按照实际的比例绘制。
图1为本发明提供的方法流程图;
图2为本发明系统的连接示意图;
附图中,1、获取模块,11、获取单元,12、放缩单元,13、第一计算单元,14、第二计算单元;
2、深度学习模块,21、卷积神经网络,211、卷积层,22、特征提取单元;
3、损失函数模块,31、均方误差损失函数,32、获取定义单元,33、损失值获取单元;
4、反向传播模块。
具体实施方式
下面将结合附图对本发明技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本发明的技术方案,因此只作为示例,而不能以此来限制本发明的保护范围。
需要注意的是,除非另有说明,本申请使用的技术术语或者科学术语应当为本发明所属领域技术人员所理解的通常意义。
本发明具体实施例提供一种显示屏幕图像处理方法,如图1所示,所述方法包括:
S1获取原始图像并进行归一化处理,进而获取归一化图像;
S2将所述归一化图像进行深度学习,并提取图像特征;
S3将所述图像特征的维度放缩到计算获取的维度;
S4将对应标签和放缩后的图像特征输入损失函数,进而获取损失值;
S5根据损失值获取损失值梯度并进行反向传播,获取单点准确位置信息。
基于同一发明构思,上述方案应用于以下具体实施例中:
实施例1
结合图2,一种图像处理系统,首先通过获取模块获取原始图像,其中,获取模块包括获取单元可以通过摄像头设备实时进行原始图像获取,也可以通过其他图像储存或者播放设备进行原始图像的获取;
原始图像获取后,通过获取模块包括的放缩单元放缩所述原始图像的尺寸至预设特定值,获取放缩图像;
获取放缩图像后,获取模块包括的第一计算单元会计算所述放缩图像的像素的均值和方差值,并将计算得到的均值和方差值输入获取模块包括的第二计算单元,第二计算单元获取所述放缩图像的每一个像素值,将所述放缩图像的每一个像素值与其均值相减,再除以方差,获得归一化图像。
接下来,将归一化图像输入深度学习模块,深度学习模块会根据需求不同选取不同的深度学习特征提取模型,这里针对图像可以采用卷积神经网络(例如ResNet等),卷积神经网络由一个或多个卷积层和顶端的全连通层(对应经典的神经网络)组成,同时也包括关联权重和池化层。这一结构使得卷积神经网络能够利用输入数据的二维结构。与其他深度学习结构相比,卷积神经网络在图像和语音识别方面能够给出更优的结果;特征提取单元会根据所述卷积神经网络经过深度学习提取所述图像特征。
深度学习模块提取图像特之后,通过卷积层将获取的特征图维度放缩到5+c+2*k维,其中c为物体类别(一般为1,代表只获得某一类物体的关键点,如人脸),k为想要获取的关键点数量。以人脸5点关键点为例,c为1,k为5,则卷积层需要将特征纬度放缩为16维,其中5为人脸检测框的坐标x,y,w,h和置信度score,2*k中的2位关键点的坐标kx,ky;x,y,w,h,kx,ky均为坐标相对于人脸图片宽和高的比值。
然后,将卷积层放缩后的特征与对应标签输入损失函数求得损失值,损失函数可为均方误差损失,这里的损失函数可为均方误差损失函数;
均方误差损失函数将对应标签和放缩后的图像特征输入均方误差损失函数进行计算;
获取定义单元根据均方误差损失函数进行计算,获取并定义检测框与标签值的误差系数为p1,置信度损失为p2,关键点损失和的误差系数为p3;
在本实施例中,人脸检测框与标签值的误差系数为p1,置信度损失为p2,关键点损失和的误差系数为p3,三个系数之间的大小关系应为p1>p2>p3,具体数值可通过观察模型测试效果进行调整。
损失值获取单元,用于根据p1、p2和p3获取损失值;
所述损失获取单元将所述损失值输入所述反向传播模块;
所述反向传播模块,用于根据损失值获取损失值梯度并进行反向传播,进而获取整体准确结果和单点准确位置信息。反向传播目前常见的深度学习框架均已支持,在此不再赘述。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围,其均应涵盖在本发明的权利要求和说明书的范围当中。

Claims (10)

1.一种图像处理方法,其特征在于,所述方法包括:
对预先获取的原始图像进行归一化处理;
将经过归一化处理后的图像输入预先建立的深度学习模型,提取图像特征;
将提取图像特征生成的特征图维度放缩至预设维度;
将对应标签和放缩后的图像特征输入损失函数,进而获取损失值;
根据损失值获取损失值梯度并进行反向传播,获取整体准确结果和单点准确位置信息。
2.根据权利要求1所述的一种图像处理方法,其特征在于,所述对预先获取的原始图像进行归一化处理包括:
获取原始图像,将原始图像尺寸放缩至预设值,获得放缩图像;
计算所述放缩图像的像素均值和方差值;
将所述放缩图像的每一个像素值与其均值相减,再除以方差,获得归一化图像。
3.根据权利要求1所述的一种图像处理方法,其特征在于,所述将归一化图像进行深度学习包括:
将经过归一化处理后的图像输入预先建立的深度学习模型,通过所述深度学习模型中的卷积神经网络对输入的归一化图像信息进行深度学习;
根据所述深度学习的结果提取所述图像特征。
4.根据权利要求3所述的一种图像处理方法,其特征在于,所述将图像特征生成的特征图维度放缩到计算获取的维度包括:
将所述特征图的维度放缩到(5+c+2*k)维度;
其中,5为检测框的坐标x,y,w,h和置信度,c为物体类别,k为目标关键点数量。
5.根据权利要求4所述的一种图像处理方法,其特征在于,将所述对应标签和放缩后的图像特征输入损失函数包括:
将对应标签和放缩后的图像特征输入均方误差损失函数进行计算;
根据均方误差损失函数进行计算,获取并定义检测框与标签值的误差系数为p1,置信度损失为p2,关键点损失和的误差系数为p3;
其中,p1>p2>p3;
根据p1、p2和p3获取损失值;
根据损失值获取损失值梯度并进行反向传播,获取整体准确结果和单点准确位置信息。
6.一种图像处理系统,其特征在于,所述系统包括:
获取模块,用于对预先获取的原始图像进行归一化处理;;
深度学习模块,用于将经过归一化处理后的图像输入预先建立的深度学习模型,提取图像特征;
卷积层,用于将将提取图像特征生成的特征图维度放缩至预设维度;
损失函数模块,用于将对应标签和放缩后的图像特征输入损失函数,进而获取损失值;
反向传播模块,用于根据损失值获取损失值梯度并进行反向传播,获取整体准确结果和单点准确位置信息。
7.根据权利要求6所述的一种图像处理系统,其特征在于,所述获取模块包括:
获取单元,用于获取原始图像;
放缩单元,用于放缩所述原始图像的尺寸至预设特定值,获取放缩图像;
第一计算单元,用于计算所述放缩图像的像素的均值和方差值;
第二计算单元,用于获取所述放缩图像的每一个像素值,将所述放缩图像的每一个像素值与其均值相减,再除以方差,获得归一化图像。
8.根据权利要求6所述的一种图像处理系统,其特征在于,所述深度学习模块包括:
卷积神经网络,用于输入所述归一化图像信息至卷积神经网络进行深度学习;
特征提取单元,用于根据所述卷积神经网络经过深度学习提取所述图像特征。
9.根据权利要求8所述的一种图像处理系统,其特征在于,所述卷积神经网络包括:
卷积层,用于将所述图像特征的维度放缩到(5+c+2*k)维度;
其中,5为检测框的坐标x,y,w,h和置信度,c为物体类别,k为目标关键点数量。
10.根据权利要求9所述的一种图像处理系统,其特征在于,所述损失函数模块连接所述反向传播模块;
所述损失函数模块包括:
均方误差损失函数,用于将对应标签和放缩后的图像特征输入均方误差损失函数进行计算;
获取定义单元,用于根据均方误差损失函数进行计算,获取并定义检测框与标签值的误差系数为p1,置信度损失为p2,关键点损失和的误差系数为p3;
其中,p1>p2>p3;
损失值获取单元,用于根据p1、p2和p3获取损失值;
所述损失获取单元将所述损失值输入所述反向传播模块;
所述反向传播模块,用于根据损失值获取损失值梯度并进行反向传播,进而获取整体准确结果和单点准确位置信息。
CN202110370945.2A 2021-04-07 2021-04-07 一种图像处理方法及系统 Pending CN113139441A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110370945.2A CN113139441A (zh) 2021-04-07 2021-04-07 一种图像处理方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110370945.2A CN113139441A (zh) 2021-04-07 2021-04-07 一种图像处理方法及系统

Publications (1)

Publication Number Publication Date
CN113139441A true CN113139441A (zh) 2021-07-20

Family

ID=76810421

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110370945.2A Pending CN113139441A (zh) 2021-04-07 2021-04-07 一种图像处理方法及系统

Country Status (1)

Country Link
CN (1) CN113139441A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170344808A1 (en) * 2016-05-28 2017-11-30 Samsung Electronics Co., Ltd. System and method for a unified architecture multi-task deep learning machine for object recognition
CN110503097A (zh) * 2019-08-27 2019-11-26 腾讯科技(深圳)有限公司 图像处理模型的训练方法、装置及存储介质
CN111104813A (zh) * 2019-12-16 2020-05-05 北京达佳互联信息技术有限公司 二维码图像关键点检测方法、装置、电子设备及存储介质
US20200387698A1 (en) * 2018-07-10 2020-12-10 Tencent Technology (Shenzhen) Company Limited Hand key point recognition model training method, hand key point recognition method and device

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170344808A1 (en) * 2016-05-28 2017-11-30 Samsung Electronics Co., Ltd. System and method for a unified architecture multi-task deep learning machine for object recognition
US20200387698A1 (en) * 2018-07-10 2020-12-10 Tencent Technology (Shenzhen) Company Limited Hand key point recognition model training method, hand key point recognition method and device
CN110503097A (zh) * 2019-08-27 2019-11-26 腾讯科技(深圳)有限公司 图像处理模型的训练方法、装置及存储介质
CN111104813A (zh) * 2019-12-16 2020-05-05 北京达佳互联信息技术有限公司 二维码图像关键点检测方法、装置、电子设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
李昊璇 等: "基于深度学习的自然场景下多人脸实时检测", 《测试技术学报》 *
齐国强 等: "引入多尺度特征图融合的人脸关键点检测网络", 《计算机应用研究》 *

Similar Documents

Publication Publication Date Title
CN108764048B (zh) 人脸关键点检测方法及装置
CN109508681B (zh) 生成人体关键点检测模型的方法和装置
CN108304820B (zh) 一种人脸检测方法、装置及终端设备
CN113393522B (zh) 一种基于单目rgb相机回归深度信息的6d位姿估计方法
CN110246181B (zh) 基于锚点的姿态估计模型训练方法、姿态估计方法和系统
WO2016030305A1 (en) Method and device for registering an image to a model
CN111368637B (zh) 一种基于多掩模卷积神经网络的搬运机器人识别目标方法
CN111209811B (zh) 一种实时检测眼球注意力位置的方法及系统
CN113516693B (zh) 一种快速通用的图像配准方法
CN112183506A (zh) 一种人体姿态生成方法及其系统
CN112801047B (zh) 缺陷检测方法、装置、电子设备及可读存储介质
CN114219855A (zh) 点云法向量的估计方法、装置、计算机设备和存储介质
CN114529946A (zh) 基于自监督学习的行人重识别方法、装置、设备及存储介质
CN112651316A (zh) 二维和三维多人姿态估计系统及方法
CN111652273A (zh) 一种基于深度学习的rgb-d图像分类方法
CN111709268A (zh) 一种深度图像中的基于人手结构指导的人手姿态估计方法和装置
CN111967527A (zh) 一种基于人工智能牡丹品种识别方法及识别系统
CN111507184B (zh) 基于并联空洞卷积和身体结构约束的人体姿态检测方法
CN113838058A (zh) 一种基于小样本分割的医学图像自动标注方法及系统
CN109919215B (zh) 基于聚类算法改进特征金字塔网络的目标检测方法
CN112669452B (zh) 一种基于卷积神经网络多分支结构的物体定位方法
CN113033774A (zh) 图处理网络模型的训练方法、装置、电子设备和存储介质
CN111274901A (zh) 一种基于深度门控递归单元的手势深度图像连续检测方法
CN113139441A (zh) 一种图像处理方法及系统
CN113610856B (zh) 训练图像分割模型和图像分割的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 266000 Room 302, building 3, Office No. 77, Lingyan Road, Huangdao District, Qingdao, Shandong Province

Applicant after: QINGDAO YISA DATA TECHNOLOGY Co.,Ltd.

Address before: 266000 3rd floor, building 3, optical valley software park, 396 Emeishan Road, Huangdao District, Qingdao City, Shandong Province

Applicant before: QINGDAO YISA DATA TECHNOLOGY Co.,Ltd.

RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210720