CN111639570B - 一种基于运动模型和单目标线索的在线多目标跟踪方法 - Google Patents
一种基于运动模型和单目标线索的在线多目标跟踪方法 Download PDFInfo
- Publication number
- CN111639570B CN111639570B CN202010429681.9A CN202010429681A CN111639570B CN 111639570 B CN111639570 B CN 111639570B CN 202010429681 A CN202010429681 A CN 202010429681A CN 111639570 B CN111639570 B CN 111639570B
- Authority
- CN
- China
- Prior art keywords
- target
- frame
- tracking
- motion
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于运动模型和单目标线索的在线多目标跟踪方法,属于多目标跟踪领域。本发明以双流结构融合运动模型与单目标线索,在避免相互干扰的基础上,综合利用运动信息和表观信息来解决多目标跟踪问题。其中,运动模型部分,建立行人非刚性运动模型来预测行人位置,建立相机刚性运动模型来模拟相机外参变化,通过行人运动预测、相机运动矫正、行人预测更新三步将相机运动嵌入到行人运动模型中,有效地缓解了相机运动所造成的干扰,能够更精确地预测行人位置;单目标线索部分,通过单目标跟踪器来搜索每一帧的跟踪目标,引入背景信息来帮助解决遮挡问题,提高了单目标跟踪器在多目标场景下的鲁棒性。
Description
技术领域
本发明属于视频场景理解与分析中的多目标跟踪领域,更具体地,涉及一种基于运动模型和单目标线索的在线多目标跟踪方法。
背景技术
近年来,视频监控系统的普及和相机、手机等硬件成本的降低使得每天都会产生大量视频数据,单靠人工来处理难免耗时耗力,如何借助计算机来高效地分析处理这些数据成为了亟待解决的问题。计算机视觉技术研究的正是如何利用计算机来进行目标的检测、定位、跟踪、识别和行为分析等问题,其中多目标跟踪(Multi-Object Tracking,MOT)负责处理跟踪和识别任务,借助目标检测、定位类任务来帮助解决行为分析等任务。因此,多目标跟踪任务一直是计算机视觉的热门领域,备受广大研究人员的关注。多目标跟踪任务的目的是得到视频中每个目标的行动轨迹,除了要定位每个目标在每一帧的具体位置,还要保证每个目标的身份维持不变。多目标跟踪任务所得到的每个目标的行动轨迹,能够提供很多有价值的信息。比如,每个目标的位置、速度、加速度、何时出现、何时消失等信息,这些信息可以用来处理行为识别、行为预测等计算机视觉任务。另外,还可以综合多个轨迹来处理统计人流量,分析目标之间的交互等任务。因此,多目标跟踪技术在诸多领域,如自动驾驶、智能监控、机器人控制等,展现了重要的应用价值。
现有大部分多目标跟踪算法可划分为四个步骤:检测、特征提取/运动预测、相似度计算和数据关联。其中,检测阶段,许多现有的检测器质量并不够好(误检、漏检,检测精度低),对跟踪质量影响很大;运动预测主要采用运动模型和表观模型两大模型,然而现有的运动模型建模时,往往只考虑行人非刚性运动,忽略了相机刚性运动。如图1所示,当相机运动剧烈时,视频帧中的同一位置由上一帧的第一个人变成了下一帧的第二个人,很容易会造成目标跟错,因此相机运动会干扰行人运动模型从而给多目标跟踪带来很大影响。至于表观模型,由于多目标场景中存在着大量的具有相似外观的行人,且行人之间遮挡交互频繁,无论是简单的单目标跟踪器还是复杂的ReID模型性能都受到了限制。此外,当前的多目标跟踪算法,通常仅依靠运动信息或表观信息进行运动预测,很少将运动信息和表观信息综合考虑,即使有个方法综合考虑两种信息,但往往计算复杂度高、资源占用大。
综上所述,现有多目标跟踪算法存在诸多缺陷,其精度及准确度还有待提高。
发明内容
针对现有技术的以上缺陷或改进需求,本发明提供了一种基于运动模型和单目标线索的在线多目标跟踪方法,其目的在于采用双流结构融合运动模型和单目标线索,综合利用运动信息和表观信息,提高多目标跟踪的精度及准确度。
为实现上述目的,本发明提供了一种基于运动模型和单目标线索的在线多目标跟踪方法,包括:
S1.检测视频每一帧中各个目标的位置,得到目标检测框,以视频第一帧中各个目标所在位置,对跟踪轨迹进行初始化;
S2.将视频第二帧作为当前帧;
S3.将相机运动模型嵌入目标运动模型中,根据视频上一帧中各个目标的运动信息对视频当前帧中各个目标的位置进行预测,得到预测目标框;
S4.对于视频当前帧中的每个目标,将步骤S1得到的目标检测框与步骤S3得到的预测目标框输入至区域回归网络进行校正,得到校正后的检测目标框;
S5.利用单目标跟踪器对上一帧中的所有目标在当前帧进行搜索,获得各个目标的跟踪轨迹;
S6.通过数据关联匹配校正后的检测目标框与各个目标的跟踪轨迹,并根据匹配结果对跟踪轨迹进行更新、增加和删除;
S7.将视频下一帧作为当前帧,重复执行步骤S3-S6直至视频结束。
优选地,目标运动模型采用自适应线性Kalman滤波器。
优选地,相机运动模型采用增强相关系数最大化模型ECC。
优选地,单目标跟踪器采用DiMP单目标跟踪器。
进一步地,步骤S3具体包括:
采用Kalman滤波器根据视频上一帧中各个目标的运动信息对视频当前帧中各个目标的位置进行预测,得到各个目标的初始预测框;
通过ECC计算计算上一帧和当前帧的场景变化,得到仿射矩阵;
利用仿射矩阵对初始预测框进行矫正,得到矫正后的的预测目标框;
利用矫正后的预测目标框和步骤S1的目标检测框更新Kalman滤波器参数。
进一步地,步骤S5具体包括:
以上一帧目标位置中心为中心的二倍框范围作为搜索区域;
提取目标特征与搜索区域特征,两者进行卷积得到响应图;
将响应图峰值最大的区域作为目标区域,完成目标与背景的分类;
在目标区域周围生成若干个初始边界框,求得三个IOU最大的边界框,取其平均值作为最终的目标边界框。
进一步地,步骤S6具体包括:
计算每个跟踪轨迹和校正后检测行人框的位置差异,为各个跟踪轨迹匹配对应地检测行人框;
对于匹配成功的跟踪轨迹,直接更新其相关参数;对于没有匹配成功的检测行人框,视为新出现的目标加入跟踪序列;对于没有匹配成功的跟踪轨迹,视为丢失状态;如果丢失状态持续超过一定时间,则删除轨迹。
进一步地,成功匹配是指跟踪轨迹与检测行人框的重合程度大于设定阈值。
总体而言,通过本发明所构思的以上技术方案与现有技术相比,能够取得下列有益效果。
(1)本发明采用双流结构融合目标运动信息与单目标线索,采用目标运动模型利用运动信息预测目标位置,采用单目标跟踪器利用表观信息获取目标跟踪轨迹,最大限度实现多目标跟踪任务中运动信息和表观信息的充分利用,大大提升跟踪精度及准确度,其中,双流结构分别利用了运动信息和表观信息,将两者分开使用避免了相互干扰。
(2)针对相机运动对行人运动估计造成干扰的问题,本发明通过估计相机运动来辅助行人运动预测。具体地,建立行人非刚性运动模型来预测行人位置,建立相机刚性运动模型来模拟相机外参变化,通过行人运动预测、相机运动矫正、行人预测更新三步将相机运动嵌入到行人运动模型中,有效地缓解了相机运动所造成的干扰,能够更精确地预测行人位置。
(3)针对单目标跟踪器在多目标跟踪场景中由于频繁遮挡所导致的性能受限的问题,本发明改进了密集人群场景下的单目标跟踪。具体地,通过提供更为精确的搜索区域进行搜索,同时对目标和背景区域进行分类,充分利用背景信息解决目标之间的遮挡问题,提高了单目标跟踪器在多目标场景下的鲁棒性。
附图说明
图1是相机运动对行人运动估计造成干扰的问题示意图;
图2是本发明实施例提供的一种基于运动模型和单目标线索的在线多目标跟踪方法的流程图;
图3是本发明实施例提供的一种轨迹后处理流程图;
图4是本发明实施例提供的一种基于运动模型和单目标线索的在线多目标跟踪基础框架结构图;
图5是本发明实施例提供的多目标跟踪效果示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。此外,下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
如图2所示,本发明提供了一种基于运动模型和单目标线索的在线多目标跟踪方法,包括:
S1.检测视频每一帧中各个目标的位置,得到目标检测框,以视频第一帧中各个目标所在位置,对跟踪轨迹进行初始化;
具体地,利用检测器检测视频每一帧中各个目标的位置,得到目标检测框;对初始帧的每个目标进行轨迹初始化,包含目标id、目标边界框坐标、轨迹丢失帧数等信息。
S2.将视频第二帧作为当前帧;从视频第二帧开始执行后续操作;
S3.将相机运动模型嵌入目标运动模型中,根据视频上一帧中各个目标的运动信息对视频当前帧中各个目标的位置进行预测,得到预测目标框;
通过估计相机运动来辅助行人运动预测,解决了相机运动带来的干扰问题,使得行人运动预测更为精准。将相机运动模型嵌入行人运动模型中,具体包括行人运动预测、相机运动矫正、行人预测更新三步,具体包括:
S3.1.行人运动预测;
采用Kalman滤波器根据视频上一帧中各个目标的运动信息对视频当前帧中各个目标的位置进行预测,得到各个目标的初始预测框;
predict:P=fading_memory×FPFT+Q
update:P=(I-KH)P(I-KH)T+KRKT
式中,fading_memory为遗忘系数,系数越大,遗忘的历史信息越多,当跟踪目标为行人时,优选为1.14;F为状态转移矩阵;Q为系统过程噪声协方差矩阵;K为Kalman增益矩阵;H为系统测量矩阵;R为测量噪声协方差矩阵;
S3.2.相机运动矫正;
采用相机运动模型计算上一帧和当前帧的场景变化,得到仿射矩阵,该矩阵包括平移因子与旋转角度;仿射矩阵表征了相机的外参变化;利用仿射矩阵对初始预测框进行矫正,得到矫正后的预测目标框;
经过实验验证,本发明优选增强相关系数最大化模型(Enhanced CorrelationCoefficient,ECC)为相机运动模型,并简化相机运动变换为欧式变换。在计算仿射矩阵时,为提高算法速度,减少行人非刚性区域对相机刚性运动估计的影响,选择将视频帧放缩一定比例,比例系数优选为0.1倍,在得到仿射矩阵后再将矩阵中的偏置因子乘以比例系数。ECC算法的参数设置条件优选设定为最大迭代次数100,最小精度要求为0.01。
S3.3.行人预测更新;
利用矫正后的预测目标框和步骤S1的目标检测框更新Kalman滤波器参数。
S4.对于视频当前帧中的每个目标,将步骤S1得到的目标检测框与步骤S3得到的预测目标框输入至区域回归网络进行修正,得到校正后的检测目标框;
S5.利用单目标跟踪器对上一帧中的所有目标在当前帧进行搜索,获得各个目标的跟踪轨迹;
本发明优选单目标跟踪器为DiMP(Learning Discriminative Model Predictionfor Tracking)单目标跟踪器。步骤S5具体包括:
S5.1.精确搜索;
以上一帧目标位置中心为中心的二倍框范围作为搜索区域;
S5.2.特征提取;
提取目标特征与搜索区域特征,两者进行卷积得到响应图;
S5.3.目标分类;
将响应图峰值最大的区域作为目标区域,完成目标与背景的分类;
为了借助背景信息帮助缓解遮挡问题,对目标区域和背景采用不同的损失函数,对于目标区域采用均方误差损失MSE Loss(Mean Square Error Loss),对于背景区域采用铰链损失函数(Hinge Loss),训练分类模块最终的残差函数如下所示:
r(s,c)=vc*(mcs+(1-mc)max(0,s)-yc)
式中下标c代表对中心点的依赖程度。vc为权重,mc(t)∈[0,1]为掩膜Mask,在背景区域,mc≈0,在物体对应区域mc≈1,s表示热力图,yc表示以c为中心的高斯分布。
S5.4.IOU预测;
在目标区域周围生成若干个初始边界框,求得三个IOU最大的边界框,取其平均值作为最终的目标边界框。
S6.通过数据关联匹配校正后的检测目标框与各个目标的跟踪轨迹,并根据匹配结果对跟踪轨迹进行更新、增加和删除;
进一步地,步骤S6具体包括:
计算每个跟踪轨迹和校正后检测行人框位置上的重合程度(IOU),作为代价矩阵,接着利用KM(Kuhn-Munkras,带权二分图的最优匹配)算法完成数据关联,代价矩阵阈值优选为0.7;
如图3所示,对于匹配成功的跟踪轨迹,直接更新其相关参数,包括目标位置,丢失时长;对于没有匹配成功的检测行人框,视为新出现的目标加入跟踪序列;对于没有匹配成功的跟踪轨迹,视为丢失状态;如果丢失状态持续超过设定时间,则删除轨迹,本发明设定时间为2帧。匹配成功具体是指跟踪轨迹与检测行人框的重合程度大于阈值,本发明实施例设置阈值为0.7
S7.将视频下一帧作为当前帧,重复执行步骤S3-S6直至视频结束。
最终本实施例将以上过程整合为统一的多目标跟踪框架,其框架结构如图4所示。以MOT17测试集(属于MOT Challenge数据集里的子数据集,共包含14个视频数据,拍摄的是街道、商场等不同场景下的行人目标)为例进行效果展示,不同算法在MOT17测试集上的整体跟踪效果如表1所示,其中,MOTA表示整体跟踪正确的轨迹占比,IDF1表示跟踪轨迹的身份置信度得分,MT表示跟踪轨迹中有效长度超过80%的轨迹占比,ML表示跟踪轨迹中有效长度少于20%的轨迹占比,FP表示背景被判作跟踪对象的数量,FN表示跟踪对象被判作背景的数量,ID Sw.表示轨迹中发生身份转换的次数,从表中数据可以看出,本发明方法在MOTA、MOTP和FN等指标上与其它算法相比有着巨大的优势,尤其是跟踪准确度MOTA远超其它算法。
表1
通过上述数据能够定量表现出本发明方法的有效性,图5则更直观地定性展示出了本发明效果的有效性,从图5可以看出,采用本发明方法对能够准确地检测出视频中运动的多个目标。
本领域的技术人员容易理解,以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。
Claims (4)
1.一种基于运动模型和单目标线索的在线多目标跟踪方法,其特征在于,包括:
S1.检测视频每一帧中各个目标的位置,得到目标检测框,以视频第一帧中各个目标所在位置,对跟踪轨迹进行初始化;
S2.将视频第二帧作为当前帧;
S3.将相机运动模型嵌入目标运动模型中,根据视频上一帧中各个目标的运动信息对视频当前帧中各个目标的位置进行预测,得到预测目标框;
步骤S3包括,采用Kalman滤波器根据视频上一帧中各个目标的运动信息对视频当前帧中各个目标的位置进行预测,得到各个目标的初始预测框;
简化相机运动变换为欧式变换,将视频帧放缩一定比例后通过相关系数最大化模型ECC计算上一帧和当前帧的场景变化,得到仿射矩阵;
将仿射矩阵中的偏置因子乘以缩放比例系数;
利用仿射矩阵对初始预测框进行矫正,得到矫正后的预测目标框;
利用矫正后的预测目标框和步骤S1的目标检测框更新Kalman滤波器参数;
S4.对于视频当前帧中的每个目标,将步骤S1得到的目标检测框与步骤S3得到的预测目标框输入至区域回归网络进行校正,得到校正后的检测目标框;
S5.利用单目标跟踪器对上一帧中的所有目标在当前帧进行搜索,获得各个目标的跟踪轨迹;步骤S5具体包括:
以上一帧目标位置中心为中心的二倍框范围作为搜索区域;
提取目标特征与搜索区域特征,两者进行卷积得到响应图;
将响应图峰值最大的区域作为目标区域,完成目标与背景的分类;
在目标区域周围生成若干个初始边界框,求得三个IOU最大的边界框,取其平均值作为最终的目标边界框;
S6.通过数据关联匹配校正后的检测目标框与各个目标的跟踪轨迹,并根据匹配结果对跟踪轨迹进行更新、增加和删除;
S7.将视频下一帧作为当前帧,重复执行步骤S3-S6直至视频结束。
2.根据权利要求1所述的一种基于运动模型和单目标线索的在线多目标跟踪方法,其特征在于,单目标跟踪器采用DiMP单目标跟踪器。
3.根据权利要求1所述的一种基于运动模型和单目标线索的在线多目标跟踪方法,其特征在于,步骤S6具体包括:
计算每个跟踪轨迹和校正后检测行人框的位置差异,为各个跟踪轨迹匹配对应地检测行人框;
对于匹配成功的跟踪轨迹,直接更新其相关参数;对于没有匹配成功的检测行人框,视为新出现的目标加入跟踪序列;对于没有匹配成功的跟踪轨迹,视为丢失状态;如果丢失状态持续超过一定时间,则删除轨迹。
4.根据权利要求3所述的一种基于运动模型和单目标线索的在线多目标跟踪方法,其特征在于,所述匹配成功是指跟踪轨迹与检测行人框的重合程度大于设定阈值。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010429681.9A CN111639570B (zh) | 2020-05-20 | 2020-05-20 | 一种基于运动模型和单目标线索的在线多目标跟踪方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010429681.9A CN111639570B (zh) | 2020-05-20 | 2020-05-20 | 一种基于运动模型和单目标线索的在线多目标跟踪方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111639570A CN111639570A (zh) | 2020-09-08 |
CN111639570B true CN111639570B (zh) | 2023-04-18 |
Family
ID=72328989
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010429681.9A Active CN111639570B (zh) | 2020-05-20 | 2020-05-20 | 一种基于运动模型和单目标线索的在线多目标跟踪方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111639570B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113096155B (zh) * | 2021-04-21 | 2023-01-17 | 青岛海信智慧生活科技股份有限公司 | 一种社区多特征融合的目标跟踪方法及装置 |
CN113963375A (zh) * | 2021-10-20 | 2022-01-21 | 中国石油大学(华东) | 一种基于区域的多特征匹配速滑运动员多目标跟踪方法 |
CN115188081B (zh) * | 2022-09-13 | 2022-12-02 | 北京航空航天大学 | 一种面向复杂场景的检测跟踪一体化方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190130583A1 (en) * | 2017-10-30 | 2019-05-02 | Qualcomm Incorporated | Still and slow object tracking in a hybrid video analytics system |
CN109636829B (zh) * | 2018-11-24 | 2021-01-01 | 华中科技大学 | 一种基于语义信息和场景信息的多目标跟踪方法 |
CN110472496B (zh) * | 2019-07-08 | 2022-10-11 | 长安大学 | 一种基于目标检测与跟踪的交通视频智能分析方法 |
-
2020
- 2020-05-20 CN CN202010429681.9A patent/CN111639570B/zh active Active
Non-Patent Citations (1)
Title |
---|
李星辰 ; 柳晓鸣 ; 成晓男 ; .融合YOLO检测的多目标跟踪算法.计算机工程与科学.2020,(第04期),第98-105页. * |
Also Published As
Publication number | Publication date |
---|---|
CN111639570A (zh) | 2020-09-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111639570B (zh) | 一种基于运动模型和单目标线索的在线多目标跟踪方法 | |
Shen et al. | Fast online tracking with detection refinement | |
CN108573496B (zh) | 基于lstm网络和深度增强学习的多目标跟踪方法 | |
CN113723190A (zh) | 一种面向同步移动目标的多目标跟踪方法 | |
CN116128932B (zh) | 一种多目标跟踪方法 | |
CN111986225A (zh) | 一种基于角点检测和孪生网络的多目标跟踪方法及装置 | |
CN112052802A (zh) | 一种基于机器视觉的前方车辆行为识别方法 | |
Dai et al. | Instance segmentation enabled hybrid data association and discriminative hashing for online multi-object tracking | |
CN116402850A (zh) | 一种面向智能驾驶的多目标跟踪方法 | |
CN116883458B (zh) | 基于Transformer并融合以观测为中心运动特征的多目标跟踪系统 | |
CN112037257B (zh) | 一种目标跟踪方法、终端及其计算机可读存储介质 | |
CN117036397A (zh) | 一种基于融合信息关联和相机运动补偿的多目标跟踪方法 | |
He et al. | Fast online multi-pedestrian tracking via integrating motion model and deep appearance model | |
CN113608663A (zh) | 一种基于深度学习和k-曲率法的指尖跟踪方法 | |
CN116563376A (zh) | 基于深度学习的lidar-imu紧耦合语义slam方法及相关装置 | |
CN111914627A (zh) | 一种车辆识别与追踪方法及装置 | |
CN110660084A (zh) | 一种多目标跟踪的方法及装置 | |
WO2024114500A1 (zh) | 一种人体姿态识别方法及装置 | |
CN114038011A (zh) | 一种室内场景下人体异常行为的检测方法 | |
CN111768427A (zh) | 一种多运动目标跟踪方法、装置及存储介质 | |
CN111986231A (zh) | 一种多目标跟踪方法及系统 | |
CN115100249B (zh) | 一种基于目标跟踪算法的智慧工厂监控系统 | |
CN113129332A (zh) | 执行目标对象跟踪的方法和装置 | |
Liu et al. | Multipedestrian online tracking based on social force-predicted deformable key-points mapping via compressive sensing | |
CN112949615B (zh) | 一种基于融合检测技术的多目标跟踪系统及跟踪方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |