CN109447008B - 基于注意力机制和可变形卷积神经网络的人群分析方法 - Google Patents
基于注意力机制和可变形卷积神经网络的人群分析方法 Download PDFInfo
- Publication number
- CN109447008B CN109447008B CN201811301953.6A CN201811301953A CN109447008B CN 109447008 B CN109447008 B CN 109447008B CN 201811301953 A CN201811301953 A CN 201811301953A CN 109447008 B CN109447008 B CN 109447008B
- Authority
- CN
- China
- Prior art keywords
- crowd
- attention
- map
- generator
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
Abstract
本发明提供了一种基于注意力机制和可变形卷积神经网络的人群分析方法,包括:训练阶段,首先通过人群图像和背景图像训练注意力图生成器(AMG),并将训练好的注意力图生成器模型作为辅助密度图生成器(DME)训练的部件;测试阶段,仅使用训练好的密度图生成器对输入的人群图像生成对应的密度图。本发明通过结合注意力机制,生成注意力图检测人群的区域并在一定程度上反映人群区域的拥挤程度。注意力图作为人群的先验知识训练可变形卷积神经网络,使得网络能够克服人群场景中人群分布不均,环境噪声等问题,生成准确的人群密度图。
Description
技术领域
本发明涉及一种基于注意力机制和可变形卷积神经网络的人群分析方法。
背景技术
随着监控摄像头的普遍使用和人们对于公共安全日益关心,人群分析近年来吸引了很多研究工作者的关注。为了适应实际应用的需求,人群分析也从最初简单的人群计数发展为通过密度图展示人群分布特征。人群密度图比简单的人群数量包含更多的人群空间分布信息,这些信息能够帮助我们在人群拥挤的高风险环境中作出正确的决策,防止发生暴动和踩踏等事故。
当前,应用于人群分人群场景析的方法主要分为三大类:检测计数,回归计数和密度图分析。检测计数通过检测人群场景中人的个数实现人群计数。然而这种方法处存在两个问题:第一,这种方法需要通过移动窗口扫描整张图像计算人的个数,十分耗时;第二,检测方法在人群拥挤的环境中受遮挡,环境噪声等影响,计数结果不准确。回归计数方法旨在领用回归模型学习视觉特征和人群人数之间的映射关系。这些特征可以是手工提取的诸如形状、纹理和边缘等特征,也可以是通过神经网络学习的特征。虽然回归计数的方法在一定程度上克服环境噪声的干扰,但是在人群极其密集的场景中,该方法也不能准确地预测人群人数。此外,回归计数方法忽略了人群空间分布信息,无法提供对人群分析极为重要的人群分布特征。
基于密度图的分析方法,以密度图为输出,根据密度图得到人群的密度分布信息和预测人群总人数。近期很多的研究工作都关注利用卷积神经网络(convolution neuralnetwork,CNN)来生成密度图。当前基于CNN生成密度图的方法能够很好的解决人群遮挡和尺度不一等问题。然而,这些方法在面对人群场景中人群分布不均,环境噪声等问题时,仍然会出现准确性下降的情况。基于上述问题,本发明提出一种基于注意力机制和可变形卷积神经网络(A2CrowNet)的人群分析方法。
发明内容
针对以上问题,本发明提供了一种基于注意力机制和可变形卷积神经网络的人群分析方法。
为实现上述目的本发明采用的技术方案如下:
一种基于注意力机制和可变形卷积神经网络的人群分析方法,包括:
训练阶段,首先通过人群图像和背景图像训练注意力图生成器(AMG),并将训练好的注意力图生成器模型作为辅助密度图生成器(DME)训练的部件;
测试阶段,仅使用训练好的密度图生成器对输入的人群图像生成对应的密度图。
本发明提供的基于注意力机制和可变形卷积神经网络的人群分析方法通过结合注意力机制,生成注意力图检测人群的区域并在一定程度上反映人群区域的拥挤程度。注意力图作为人群的先验知识训练可变形卷积神经网络,使得网络能够克服人群场景中人群分布不均,环境噪声等问题,生成准确的人群密度图。
附图说明
附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明的实施例一起用于解释本发明,并不构成对本发明的限制。在附图中:
图1是本发明基于注意力机制和可变形卷积神经网络的人群分析方法整体流程图;
图2是注意力图的产生方式;
图3是注意力图生成器的网络结构图;
图4为不同人群密度下的注意力图,最左列为人群图像,中间列为对应的注意力图,最右列为人群图像和注意力图的混合图;
图5是密度图生成器的网络结构图;
图6是实验结果图,图6(a)为人群图像,图6(b)为对应的真实密度图,图6(c)为估计密度图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图1是给出了本发明基于注意力机制和可变形卷积神经网络的人群分析方法整体流程图:
在训练阶段,首先通过人群图像和背景图像(不含有人)训练注意力图生成器(Attention Map Generator,AMG),并将训练好的注意力图生成器模型作为辅助密度图生成器(Density Map Estimator,DME)训练的部件。训练密度图生成器时,输入的人群图像先通过注意力图生成器生成对应的注意力图(attention map),输入的人群图像与注意力图的点乘乘积作为训练密度图生成器的输入。在训练密度图生成器时,训练好的注意力图生成器仅作为辅助训练的部件,不更新参数。
在测试阶段,仅使用训练好的密度图生成器对输入的人群图像生成对应的密度图。
本发明的具体实施步骤如下:
(1)生成人群图像对应的密度图标签,其处理过程如下所示:
人群图像的训练数据包含对应的人工标记好的人头坐标位置,对这些人头坐标位置做高斯模糊并累加,生成人群图像的密度图标签。具有N个人头标记的密度图生成公式如下:
其中,F(x)是密度图,δ(x-xi)是delta函数,xi是每个人头的位置,是带标准差为σi的高斯核函数,β是常数,是与xi距离最近k个人的平均距离。在生成的密度图中,某一位置的值越大表示该位置的人群密度越高。
(2)构建基于注意力机制和可变形卷积神经网络
本发明提出了一种通过结合注意力机制的方法A2CrowdNet,利用注意力图生成器生成人群图像的注意力图检测人群区域并在一定程度上反映人群区域的拥挤程度。注意力图作为人群的先验知识训练密度图生成器,使得训练好的密度图生成器模型能够克服人群场景中人群分布不均,环境噪声等问题,生成准确的人群密度图。
A2CrowdNet由两部分组成,分别是注意力图生成器和密度图生成器。注意力图生成器是一个全卷积的分类网络,用于生成人群图像的注意力图用于检测人群区域并在一定程度上反映人群区域的拥挤程度,做为训练密度图生成器的先验知识。生成注意力图的方式如图2所示,人群图像作为注意力图生成器的输入,Fb和Fc为网络最后一层卷积层的输出特征图,Wb和Wc是Fb和Fc经过全局平均池化(global average pooling,GAP)得到的对应的均值,Pb和Pc是Wb和Wc经过Softmax函数后得到对应的分类得分(predicted score),分别表示背景图像和人群图像的概率。生成注意力图的公式如下所示:
M=Fb·Pb+Fc·Pc
其中,M表示输入人群图像对应的注意力图。注意力图需要通过双线性插值放大至与输入人群图像相同的大小,并且将图中的值归一化在0到1的范围内。注意力图生成器的网路结构如图3所示,卷积层的参数设置为“Conv-(卷积核大小)-(卷积核个数)-(扩张率)”,网络由前端(front end)和后端(back end)两部分组成。前端是预训练好的VGG16模型的前10层;后端由具有不同扩张率的扩张卷积层以类似inception module(Szegedy C,Liu W,Jia Y,et al.Going deeper with convolutions[J].2014:1-9.)的结构组成。为了保证生成的注意力图能够很好地检测出人群图像中所有人群区域,网络采用扩张率为1,3,6,9的扩张卷积层,并用类似inception module的结构和1×1卷积处理不同尺度的信息。注意力图生成器在不同人群密度等级下生成的注意力图如图4所示,注意力图不仅能够检测出人群图像中的人群区域,还能够在一定程度上反映人群区域的拥挤程度,值高的位置拥挤程度高,值低的地方拥挤程度低。
密度图生成器的网络结构如图5所示,卷积层的参数设置为“Conv-(卷积核大小)-(卷积核个数)-(步长)”,可变形卷积层的参数设置“Dconv-(卷积核大小)-(卷积核个数)-(步长)”,网络由前端(front end)和后端(back end)两部分组成。前端是预训练好的VGG16模型的前10层;后端由具有不同卷积核大小的可变形卷积层以类似inception module的结构组成。可变形卷积最初应用于目标检测和语义分割领域,基于它具有能够通过学习调整卷积核采样点位置的能力,可变形卷积能够提取更多关于目标的有效特征,而避免提取无用的环境噪声特征。可变形卷积得这种特性很适用于人群分析领域,所以后端采用卷积核大小为3×3,5×5,7×7的可变形卷积层来提取不同尺度的特征,并用类似inceptionmodule的结构和1×1卷积处理不同尺度的信息。
训练及测试细节
在训练阶段,首先通过人群图像和背景图像(不含有人)训练注意力图生成器,人群图像来自各个数据集的训练集,背景图像从网络上下载,训练注意力图生成器的损失函数选用标准的交叉熵损失函数。训练好的注意力图生成器模型作为辅助密度图生成器训练的部件,训练密度图生成器时,输入的人群图像先通过注意力图生成器生成对应的注意力图,输入的人群图像与注意力图的点乘乘积作为训练密度图生成器的输入,输出估计的密度图(density map)。密度图生成器用欧式距离函数来衡量估计密度图和真实密度图之间的差异,其损失函数如下所示:
其中N是训练图像的数量,Θ是密度图生成器训练得到的参数,Xi是输入图像,F(Xi;Θ)是估计密度图,Fi是输入图像的真实密度图。在训练密度图生成器的工程中,训练好的注意力图生成器仅作为辅助训练的部件,不更新参数。
在测试阶段,仅使用密度图生成器估计输入人群图像的密度图,不将注意力图生成器应用于测试阶段。这是因为在训练阶段密度图生成器通过注意力图生成器生成的注意力图,已经训练获得克服环境噪声,只关注人群区域特征的能力。同时,如果在测试阶段加入注意力图生成器会使网络结构变复杂,预测密度图所消耗的时间变长。综合考虑下,在测试阶段只使用密度图生成器估计输入人群图像的密度图。图6是密度图生成器的实验结果。
尽管已经示出和描述了本发明的实施例,对于本领域的普通技术人员而言,可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由所附权利要求及其等同物限定。
Claims (4)
1.一种基于注意力机制和可变形卷积神经网络的人群分析方法,其特征在于包括:
训练阶段,首先通过人群图像和背景图像训练注意力图生成器(AMG),并将训练好的注意力图生成器模型作为辅助密度图生成器(DME)训练的部件;
测试阶段,仅使用训练好的密度图生成器对输入的人群图像生成对应的密度图;
其中,训练密度图生成器时,输入的人群图像先通过注意力图生成器生成对应的注意力图(attention map),输入的人群图像与注意力图的点乘乘积作为训练密度图生成器的输入,在训练密度图生成器时,训练好的注意力图生成器仅作为辅助训练的部件,不更新参数;
训练阶段包括以下步骤:
(1)生成人群图像对应的密度图标签,其处理过程如下:
人群图像的训练数据包含对应的人工标记好的人头坐标位置,对这些人头坐标位置做高斯模糊并累加,生成人群图像的密度图标签,具有N个人头标记的密度图生成公式如下:
其中,F(x)是密度图,δ(x-xi)是delta函数,xi是每个人头的位置,是带标准差为σi的高斯核函数,β是常数,是与xi距离最近k个人的平均距离,在生成的密度图中,某一位置的值越大表示该位置的人群密度越高;
(2)构建基于注意力机制和可变形卷积神经网络:
利用注意力图生成器生成人群图像的注意力图检测人群区域并在一定程度上反映人群区域的拥挤程度,注意力图生成器用于生成人群图像的注意力图用于检测人群区域并在一定程度上反映人群区域的拥挤程度,做为训练密度图生成器的先验知识;
生成注意力图包括以下步骤:
人群图像作为注意力图生成器的输入,Fb和Fc为网络最后一层卷积层的输出特征图,Wb和Wc是Fb和Fc经过全局平均池化(GAP)得到的对应的均值,Pb和Pc是Wb和Wc经过Softmax函数后得到对应的分类得分(predicted score),分别表示背景图像和人群图像的概率,生成注意力图的公式如下所示:
M=Fb·Pb+Fc·Pc
其中,M表示输入人群图像对应的注意力图,注意力图需要通过双线性插值放大至与输入人群图像相同的大小,并且将图中的值归一化在0到1的范围内。
2.如权利要求1所述的基于注意力机制和可变形卷积神经网络的人群分析方法,其特征在于:
注意力图生成器的网路结构由前端(front end)和后端(back end)两部分组成,前端是预训练好的VGG16模型的前10层;后端由具有不同扩张率的扩张卷积层组成。
3.如权利要求1所述的基于注意力机制和可变形卷积神经网络的人群分析方法,其特征在于:
密度图生成器的网路结构由前端(front end)和后端(back end)两部分组成,前端是预训练好的VGG16模型的前10层;后端由具有不同卷积核大小的可变形卷积层组成。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811301953.6A CN109447008B (zh) | 2018-11-02 | 2018-11-02 | 基于注意力机制和可变形卷积神经网络的人群分析方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811301953.6A CN109447008B (zh) | 2018-11-02 | 2018-11-02 | 基于注意力机制和可变形卷积神经网络的人群分析方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109447008A CN109447008A (zh) | 2019-03-08 |
CN109447008B true CN109447008B (zh) | 2022-02-15 |
Family
ID=65550061
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811301953.6A Active CN109447008B (zh) | 2018-11-02 | 2018-11-02 | 基于注意力机制和可变形卷积神经网络的人群分析方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109447008B (zh) |
Families Citing this family (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109993269B (zh) * | 2019-03-13 | 2022-03-29 | 华南理工大学 | 基于注意力机制的单张图像人群计数方法 |
CN110162777B (zh) * | 2019-04-01 | 2020-05-19 | 广东外语外贸大学 | 一种看图写作型作文自动评分方法和系统 |
CN110222593A (zh) * | 2019-05-18 | 2019-09-10 | 四川弘和通讯有限公司 | 一种基于小规模神经网络的车辆实时检测方法 |
CN110245637A (zh) * | 2019-06-20 | 2019-09-17 | 深圳市成者云科技有限公司 | 一种坐姿监控方法及装置 |
CN110705340B (zh) * | 2019-08-12 | 2023-12-26 | 广东石油化工学院 | 一种基于注意力神经网络场的人群计数方法 |
CN110610143B (zh) * | 2019-08-27 | 2023-05-12 | 汇纳科技股份有限公司 | 多任务联合训练的人群计数网络方法、系统、介质及终端 |
CN110941999B (zh) * | 2019-11-12 | 2023-02-17 | 通号通信信息集团有限公司 | 一种人群计数系统中自适应计算高斯核大小的方法 |
CN110889343B (zh) * | 2019-11-15 | 2023-05-05 | 复旦大学 | 基于注意力型深度神经网络的人群密度估计方法及装置 |
CN111080541B (zh) * | 2019-12-06 | 2020-10-30 | 广东启迪图卫科技股份有限公司 | 基于比特分层和注意力融合机制的彩色图像去噪方法 |
CN111667493B (zh) * | 2020-05-27 | 2022-09-20 | 华中科技大学 | 基于可变形卷积神经网络的果园果树区域分割方法和系统 |
CN111710008B (zh) * | 2020-05-29 | 2023-07-11 | 北京百度网讯科技有限公司 | 人流密度的生成方法、装置、电子设备以及存储介质 |
CN111652152A (zh) * | 2020-06-04 | 2020-09-11 | 上海眼控科技股份有限公司 | 人群密度检测方法、装置、计算机设备和存储介质 |
CN111680648B (zh) * | 2020-06-12 | 2023-04-18 | 成都数之联科技股份有限公司 | 一种目标密度估计神经网络的训练方法 |
CN111681236B (zh) * | 2020-06-12 | 2022-05-17 | 成都数之联科技股份有限公司 | 一种带注意力机制的目标密度估计方法 |
CN111932550B (zh) * | 2020-07-01 | 2021-04-30 | 浙江大学 | 一种基于深度学习的3d心室核磁共振视频分割系统 |
CN112307984B (zh) * | 2020-11-02 | 2023-02-17 | 安徽工业大学 | 基于神经网络的安全帽检测方法和装置 |
CN114120361B (zh) * | 2021-11-19 | 2023-06-02 | 西南交通大学 | 一种基于编解码结构的人群计数定位方法 |
CN115346180B (zh) * | 2022-10-18 | 2023-02-10 | 湖北车安达信息科技有限公司 | 一种基于低频数据的道路拥挤情况检测方法和装置 |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8195598B2 (en) * | 2007-11-16 | 2012-06-05 | Agilence, Inc. | Method of and system for hierarchical human/crowd behavior detection |
US10009579B2 (en) * | 2012-11-21 | 2018-06-26 | Pelco, Inc. | Method and system for counting people using depth sensor |
CN104077613B (zh) * | 2014-07-16 | 2017-04-12 | 电子科技大学 | 一种基于级联多级卷积神经网络的人群密度估计方法 |
CN107624189B (zh) * | 2015-05-18 | 2020-11-20 | 北京市商汤科技开发有限公司 | 用于生成预测模型的方法和设备 |
CN105528589B (zh) * | 2015-12-31 | 2019-01-01 | 上海科技大学 | 基于多列卷积神经网络的单张图像人群计数算法 |
WO2017201638A1 (en) * | 2016-05-23 | 2017-11-30 | Intel Corporation | Human detection in high density crowds |
CN106326937B (zh) * | 2016-08-31 | 2019-08-09 | 郑州金惠计算机系统工程有限公司 | 基于卷积神经网络的人群密度分布估计方法 |
CN107330364B (zh) * | 2017-05-27 | 2019-12-03 | 上海交通大学 | 一种基于cGAN网络的人群计数方法及系统 |
CN107729799A (zh) * | 2017-06-13 | 2018-02-23 | 银江股份有限公司 | 基于深度卷积神经网络的人群异常行为视觉检测及分析预警系统 |
CN107657226B (zh) * | 2017-09-22 | 2020-12-29 | 电子科技大学 | 一种基于深度学习的人数估计方法 |
CN107742099A (zh) * | 2017-09-30 | 2018-02-27 | 四川云图睿视科技有限公司 | 一种基于全卷积网络的人群密度估计、人数统计的方法 |
CN107679503A (zh) * | 2017-10-12 | 2018-02-09 | 中科视拓(北京)科技有限公司 | 一种基于深度学习的人群计数算法 |
CN107609541B (zh) * | 2017-10-17 | 2020-11-10 | 哈尔滨理工大学 | 一种基于可变形卷积神经网络的人体姿态估计方法 |
CN107967451B (zh) * | 2017-11-23 | 2021-04-27 | 常州大学 | 一种对静止图像进行人群计数的方法 |
CN108596054A (zh) * | 2018-04-10 | 2018-09-28 | 上海工程技术大学 | 一种基于多尺度全卷积网络特征融合的人群计数方法 |
CN108664632B (zh) * | 2018-05-15 | 2021-09-21 | 华南理工大学 | 一种基于卷积神经网络和注意力机制的文本情感分类算法 |
CN108717528A (zh) * | 2018-05-15 | 2018-10-30 | 苏州平江历史街区保护整治有限责任公司 | 一种基于深度网络的多策略全局人群分析方法 |
-
2018
- 2018-11-02 CN CN201811301953.6A patent/CN109447008B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN109447008A (zh) | 2019-03-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109447008B (zh) | 基于注意力机制和可变形卷积神经网络的人群分析方法 | |
Yi et al. | An improved tiny-yolov3 pedestrian detection algorithm | |
Ke et al. | Multi-dimensional traffic congestion detection based on fusion of visual features and convolutional neural network | |
CN113688723B (zh) | 一种基于改进YOLOv5的红外图像行人目标检测方法 | |
CN111723693B (zh) | 一种基于小样本学习的人群计数方法 | |
CN110033473B (zh) | 基于模板匹配和深度分类网络的运动目标跟踪方法 | |
CN112733822B (zh) | 一种端到端文本检测和识别方法 | |
CN110276264B (zh) | 一种基于前景分割图的人群密度估计方法 | |
CN108346159A (zh) | 一种基于跟踪-学习-检测的视觉目标跟踪方法 | |
CN111709300B (zh) | 基于视频图像的人群计数方法 | |
CN112232371B (zh) | 一种基于YOLOv3与文本识别的美式车牌识别方法 | |
CN109377511B (zh) | 基于样本组合和深度检测网络的运动目标跟踪方法 | |
CN107977683A (zh) | 基于卷积特征提取和机器学习的联合sar目标识别方法 | |
CN107944354A (zh) | 一种基于深度学习的车辆检测方法 | |
CN116309705A (zh) | 一种基于特征交互的卫星视频单目标跟踪方法及系统 | |
CN106056078A (zh) | 一种基于多特征回归式集成学习的人群密度估计方法 | |
CN111444816A (zh) | 一种基于Faster RCNN的多尺度密集行人检测方法 | |
CN114529552A (zh) | 一种基于几何轮廓顶点预测的遥感影像建筑物分割方法 | |
Ren et al. | Research on infrared small target segmentation algorithm based on improved mask R-CNN | |
CN112270285B (zh) | 一种基于稀疏表示和胶囊网络的sar图像变化检测方法 | |
CN111797795A (zh) | 一种基于YOLOv3与SSR的行人检测算法 | |
Huang et al. | Drone-based car counting via density map learning | |
CN116665153A (zh) | 一种基于改进型Deeplabv3+网络模型的道路场景分割方法 | |
Pillai et al. | Fine-Tuned EfficientNetB4 Transfer Learning Model for Weather Classification | |
CN111914751B (zh) | 一种图像人群密度识别检测方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |