CN111681259A - 基于无Anchor机制检测网络的车辆跟踪模型建立方法 - Google Patents

基于无Anchor机制检测网络的车辆跟踪模型建立方法 Download PDF

Info

Publication number
CN111681259A
CN111681259A CN202010416099.9A CN202010416099A CN111681259A CN 111681259 A CN111681259 A CN 111681259A CN 202010416099 A CN202010416099 A CN 202010416099A CN 111681259 A CN111681259 A CN 111681259A
Authority
CN
China
Prior art keywords
vehicle
matrix
network
tracking frame
tracking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010416099.9A
Other languages
English (en)
Other versions
CN111681259B (zh
Inventor
杨璐
刘涛
周海波
刘佳琦
张建波
王龙志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University of Technology
Original Assignee
Tianjin University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University of Technology filed Critical Tianjin University of Technology
Priority to CN202010416099.9A priority Critical patent/CN111681259B/zh
Publication of CN111681259A publication Critical patent/CN111681259A/zh
Application granted granted Critical
Publication of CN111681259B publication Critical patent/CN111681259B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于无Anchor机制检测网络的车辆跟踪模型建立方法，该方法依次由对输入图像进行图像处理、构建无Anchor机制检测网络并利用完成训练的检测网络确定跟踪车辆的状态信息、以及建立车辆跟踪模型以配合无Anchor机制神经网络对车辆实现实时跟踪建立三个步骤构成；该方法中图像处理步骤实现有效去除不相关背景信息，保留图像重要信息，无Anchor机制检测网络有效抑制了低质量边界框，获得与Anchor机制检测网络的水平相同的车辆跟踪框；进而该检测网路建立的车辆跟踪模型的处理速度优于目前深度学习的端到端的跟踪方法和单目标跟踪器的车辆跟踪方法，准确性优于位置预测的车辆跟踪方法。

Description

基于无Anchor机制检测网络的车辆跟踪模型建立方法
技术领域
本发明涉及车辆跟踪技术领域，特别涉及一种基于无Anchor机制检测网络的车辆跟踪模型建立方法。
背景技术
智能网联汽车作为未来十年国家智能制造的重点领域，其关键在于在汽车上搭载各种先进的传感器、控制器、执行器等装置，并结合信息通讯技术，实现车内网、车外网、车际网的无缝链接，从而使得汽车具备信息共享、复杂环境感知、智能化决策、自动化协同等功能。
装备智能辅助驾驶系统的智能网联汽车的将提高80％的道路交通使用率，减少80％的交通事故发生率，事故造成的死亡率将减少90％，汽车二氧化碳排放量将减少20％。这一系列数字凸显了智能辅助驾驶系统将会在未来大大推动国家的发展，因此，智能辅助驾驶系统具有重要的研究意义。
车辆跟踪方面的研究存在三个方向：1)基于位置预测的车辆跟踪方法；2)基于单目标跟踪器的车辆跟踪方法；3)基于深度学习的端到端车辆跟踪方法。但是，在大量的研究中，也存在很多问题：1.第一种方法的跟踪效果极其依赖于检测算法与特征区分的效果；2.第二种方法为每一个目标都分配一个跟踪器，在多目标情况下实时性较低，且需要大量的计算资源；3.第三种方法包含较多的处理过程，模型较为复杂，速度极慢。因此，如何解决这些问题对于车辆跟踪具有关键意义。
发明内容
本发明的目的是提供一种针对目前车辆跟踪算法计算复杂、速度较慢但准确性高，速度较快但准确性低的问题的基于无Anchor机制检测网络的车辆跟踪模型建立方法。
为此，本发明技术方案如下：
一种基于无Anchor机制检测网络的车辆跟踪模型建立方法，步骤如下：
S1、将通过摄像头采集的输入图像进行处理，以得到突出输入图像中车辆部分的视觉显著图；
S2、构建无Anchor机制神经网络以对输入图像中的车辆采用车辆跟踪框的方式进行准确标记；具体实施步骤为：
S201、采用残差网络作为基础网络，并设定神经网络的运行机制为：残差网络读取输入图像后，将残差网络的后三层的特征图C1、特征图C2、特征图C3分别与其上一层特征图进行融合，得到的新特征图与上一层级特征图进行横向连接的融合得到特征图P1、特征图P2、特征图P3；其中，特征图P3经过特征图C3卷积操作获得，特征图C2卷积操作结果与特征图P3进行特征融合得到特征图P2，特征图C1卷积操作结果与特征图P2进行特征融合得到特征图P1；进而，特征图P3进行卷积获得特征图P4，特征图P4卷积获得特征图P5；
S202、采用车辆检测领域通用的KITTI数据集作为输入图像，对步骤S201所构建的神经网络进行网络训练：将每个特征图中的像素会逐个映射回步骤S1生成的视觉显著图中；对满足处理条件的点进行低质量边界框策略处理，并以最小化网络输出值与KITTI数据集中标签数据中真实值的差值作为训练目标，将远离物体中心点的像素点生成的定位较差的车辆边界框进行约束，得到更为准确定位车辆的车辆跟踪框；
S203、利用完成步骤S202的无Anchor机制神经网络对步骤S1中由摄像头获取的输入图像进行与网络训练相同的处理步骤，获得准确标记车辆的车辆跟踪框；
S3、建立车辆跟踪模型以配合无Anchor机制神经网络对车辆实时跟踪，其具体实施步骤为：基于当前时刻车辆跟踪框状态作为初始跟踪框状态信息，对该车辆下一时刻车辆跟踪框的状态信息进行预测，得到预测跟踪框；同时，以无Anchor机制检测网络获得的下一时刻的车辆跟踪框，即实测跟踪框，作为观测信息；然后通过构造状态信息与观测信息的交并比矩阵实现利用观测信息对状态信息的预测方式进行修正，并用于在下一时刻车辆跟踪框状态的预测中，依次类推，车辆跟踪模型生成。
进一步地，步骤S1的具体实施步骤为：
S101、将通过摄像头采集的输入图像转化成灰度图像I，并基于灰度图像I创建高斯图像金字塔，进而通过对高斯图像金字塔的相邻层进行图像差分，获得图像变化特征描述图F1；
S102、对输入图像的RGB通道进行分离，重新构造RG通道和B通道，并按照公式(2)和(3)：得到基于RG通道的图像颜色特征描述图FRG和基于B通道的图像颜色特征描述图FB；
RG_Channel＝(R-G)/max(R,G,B) 式(2)，
B_Channel＝(B-min(R,G))/max(R,G,B) 式(3)，
其中，max(R,G,B)[max(R,G,B)≤0]＝0.0001；该赋值方式保障分母小于或等于0的情况；将RG通道和B通道中小于0的像素值重新赋值为0；
S103、运用不同方向的Gabor滤波器对步骤S101得到的灰度图像进行方向特征描述，得到图像方向特征描述图F4；
S104、对步骤S101～S103得到的结果按照公式(4)进行加权计算，得到视觉显著图F；
F＝0.4*F1+0.4*F2+0.2*F4 式(4)。；
进一步地，在步骤S103中，方向设置为：0°、45°、90°和135°。
进一步地，在步骤S201中，残差网络采用残差网络ResNet50、残差网络ResNet100或残差网络ResNet150。
进一步地，在步骤S202中，神经网络训练方法的具体实施步骤为：
S2021、将步骤S201得到的P1～P5五个尺度的特征图分别映射回步骤S1得到的视觉显著图中；映射方式为：若当前特征图在之前卷积操作的总步长为s，则映射位置为(xs+s/2,ys+s/2)；其中，x与y分别代表视觉显著图中的像素点在像素矩阵中的横坐标和纵坐标；
S2022、判断映射位置处的像素点在视觉显著图中是否赋值为0：1)若像素点在视觉显著图中赋值为0，则不再对该像素点进行后续计算；2)若像素点在视觉显著图中赋值不为0，则进行如下步骤S2023的低质量边界框抑制处理；
S2023、根据KITTI数据集的标签数据获得车辆边界框的坐标信息，从而可以获得车辆中心点xc的位置；然后根据车辆中心点与车辆边界框的位置信息，以车辆中心点为基准生成一个小于车辆边界框的矩形区域作为车辆跟踪框；其中，车辆跟踪框的长和宽一般设定为车辆边界框的长和宽的1/4～3/4；根据车辆的中心点xc至矩形区域角点的长度最大原则，设车辆的中心点xc至生成的矩形区域的四个角点xr的欧式距离记为lr,c，然后计算满足步骤S2022的像素点xi至车辆的中心点xc的欧式距离li,c，并筛除li,c＜lr,c的像素点；其中，欧式距离的计算公式见公式(5)；
li,c＝||xi-xc||2 式(5)。
进一步地，该步骤S3的具体实施步骤为：
S301、基于t-1时刻的状态向量去估计t时刻的状态向量：
Figure BDA0002495134670000041
其中，u表示外部影响因素，
Figure BDA0002495134670000042
表示t时刻状态向量，A为状态转移矩阵；
由于神经网络不考虑车辆的速度信息，即速度为0，因此，基于当前时刻采集的输入图像所处理得到的车辆跟踪框确定车辆的初始状态向量x：
x＝[x0,0,y0,0,x1,0,y1,0] 式(8)，
其中，x0和y0为车辆跟踪框的左上角的横坐标和纵坐标；x1和y1为车辆跟踪框的右下角的横坐标和纵坐标；
其中，由于速度为0，则加速度为0，则外部影响因素u＝0，因此，状态转移矩阵A定义为：
Figure BDA0002495134670000051
S302、考虑预测时存在噪声和不确定性，引入状态协方差矩阵P(状态之间的协方差构成的矩阵)和过程误差协方差矩阵Q，根据协方差的性质得到整个模型的不确定性Pt：
Pt＝A*Pt-1*AT+Q 式(10)，
其中，A为状态转移矩阵；AT为状态转移矩阵的转置矩阵；
由于物体的位置相对准确，不确定性较低，Q初始化为单位矩阵，对角矩阵P初始化为：
Figure BDA0002495134670000052
S303、根据公式(12)计算卡尔曼增益：
Kt＝Pt*HT*(H*Pt*HT+R)-1 式(12)，
其中，R为t时刻预测值
Figure BDA0002495134670000061
与通过步骤S2获得的t时刻检测值之间差值的噪声矩阵，H为观测矩阵，HT为观测矩阵的转置矩阵；因为检测网络只会输出车辆的位置坐标，不会有速度信息，则观测矩阵为：
Figure BDA0002495134670000062
S304、由步骤S2得到的车辆跟踪框框作为观测值Z来修正步骤S301的预测值，则可知误差量e：
Figure BDA0002495134670000063
S305、依据步骤S304得到的误差来更新步骤S302中的不确定性与步骤S301中预测的状态向量：
Figure BDA0002495134670000064
进而输出为：
Yt＝H*xt 式(16)，
其中，Yt为输出的t时刻跟踪状态向量。
进一步地，在步骤S3的具体实施步骤为：在步骤S303中，基于输入图像上可能存在多个车辆，以及可能出现的车辆驶入或车辆驶出的情况考虑，通过建立实测跟踪框与预测跟踪框的交并比矩阵计算，区分t时刻实际检测到的车辆与t-1时刻跟踪车辆的关系，其具体实施步骤如下：对经过步骤S2输出的t时刻下输入图像生成的实测跟踪框与步骤S305输出的t时刻预测跟踪框进行交并比计算，从而构造交并比矩阵；交并比矩阵使用匈牙利算法求解，经过求解得到的无法与预测跟踪框匹配的实测跟踪框，则认为该车是需要跟踪的新车辆，进而，在t+1时刻建立对该新车辆的跟踪任务，即对其车辆跟踪框开始进行预测；同样地，对于驶离的车辆，t时刻输入图像经过步骤S2输出的实测跟踪框与步骤S305输出的t-1时刻的预测跟踪框进行交并比计算，通过交并比矩阵的求解则会删除对驶离车辆的跟踪，进而完成实测跟踪框与预测跟踪框之间的匹配。
与现有技术相比，该基于无Anchor机制检测网络的车辆跟踪模型建立方法的有益效果：
1)针对目前无Anchor机制检测网络需要计算图像所有像素点的问题，本发明使用视觉显著性图，保留图像的重要信息，去除不相关的背景信息等，采用特征图映射回显著图的策略，解决了计算图像所有像素点的问题；
2)针对目前基于Anchor机制检测网络存在的弊端，本发明采用无Anchor机制检测网络进行车辆的检测；其依次通过特征金字塔式的多级预测、限制约束区域的方式有效抑制了低质量边界框，预测效果也达到了Anchor机制检测网络的水平；
3)本发明采用卡尔曼滤波算法的思想提出基于无Anchor机制检测网路建立了车辆跟踪模型，将检测方法与跟踪预测方法相结合，使其速度优于深度学习的端到端的跟踪方法和单目标跟踪器的车辆跟踪方法，准确性优于位置预测的车辆跟踪方法。
附图说明
图1为本发明的基于无Anchor机制检测网络的车辆跟踪模型建立方法的结构示意图；
图2为采用本发明的基于无Anchor机制检测网络的车辆跟踪模型建立方法中输入图像与经过步骤S1处理得到视觉显著图的像素分布对比图；
图3(a)为COCO数据集中汽车图像1的原始输入图像；
图3(b)为采用本发明的基于无Anchor机制检测网络的车辆跟踪模型建立方法的步骤S1对图3(a)处理后得到的视觉显著图；
图3(c)为COCO数据集中汽车图像2的原始输入图像；
图3(d)为采用本发明的基于无Anchor机制检测网络的车辆跟踪模型建立方法的步骤S1对图3(c)处理后得到的视觉显著图；
图3(e)为COCO数据集中汽车图像3的原始输入图像；
图3(f)为采用本发明的基于无Anchor机制检测网络的车辆跟踪模型建立方法的步骤S1对图3(e)处理后得到的视觉显著图；
图4为本发明的基于无Anchor机制检测网络的车辆跟踪模型建立方法中的无Anchor机制神经网络的网络运行机制流程图；
图5为本发明的基于无Anchor机制检测网络的车辆跟踪模型建立方法中获取车辆跟踪框的原理图；
图6为本发明的基于无Anchor机制检测网络的车辆跟踪模型建立方法中步骤S3的流程图；
图7为本发明的基于无Anchor机制检测网络的车辆跟踪模型建立方法的步骤S3中的交并比矩阵的示意图；
图8(a)为采用本发明的基于无Anchor机制检测网络的车辆跟踪模型建立方法对实际场景视频数据第120帧的预测结果图；
图8(b)为采用本发明的基于无Anchor机制检测网络的车辆跟踪模型建立方法对实际场景视频数据第420帧的预测结果图；
图8(c)为采用本发明的基于无Anchor机制检测网络的车辆跟踪模型建立方法对实际场景视频数据第825帧的预测结果图；
图8(d)为采用本发明的基于无Anchor机制检测网络的车辆跟踪模型建立方法对实际场景视频数据第135帧的预测结果图；；
图8(e)为采用本发明的基于无Anchor机制检测网络的车辆跟踪模型建立方法对实际场景视频数据第450帧的预测结果图；；
图8(f)为采用本发明的基于无Anchor机制检测网络的车辆跟踪模型建立方法对实际场景视频数据第675帧的预测结果图；；
图9为采用本申请的跟踪方法与目前常用的Faster R-CNN跟踪方法和YOLO跟踪方法的PR曲线测试图。
具体实施方式
下面结合附图及具体实施例对本发明做进一步的说明，但下述实施例绝非对本发明有任何限制。
如图1所示，该基于无Anchor机制检测网络的车辆跟踪模型建立方法依次由对输入图像进行图像处理、构建无Anchor机制检测网络并利用完成训练的检测网络确定跟踪车辆的状态信息、以及建立车辆跟踪模型以配合无Anchor机制神经网络对车辆实现实时跟踪建立三个步骤构成。
S1、对输入图像进行图像处理：
S101、通过下述公式(1)将通过摄像头采集的输入图像(RGB图像)转化成灰度图像I；
I＝0.299·R+0.587·G+0.114·B 公式(1)，
然后，基于灰度图像I创建高斯图像金字塔，以实现对图像进行多尺度描述；
最后，对高斯图像金字塔的相邻层进行图像差分，削弱图像中的“相似部分”，即没有发生变化的背景，突出图像中的“变化部分”，即背景中的物体、人、车，以获得图像变化特征描述图F1；
S102、对输入图像的RGB通道进行分离，并按照公式(2)和(3)重新构造RG通道和B通道，以分别对图像颜色特征进行描述，得到基于RG通道的图像颜色特征描述图FRG和基于B通道的图像颜色特征描述图FB，通过将基于RG通道的图像颜色特征描述图FRG与基于B通道的图像颜色特征描述图FB中相同像素位置处的像素值进行加和，得到融合图像颜色特征描述图F2；
RG_Channel＝(R-G)/max(R,G,B) 式(2)，
B_Channel＝(B-min(R,G))/max(R,G,B) 式(3)，
其中，max(R,G,B)[max(R,G,B)≤0]＝0.0001；该赋值方式保障分母小于或等于0的情况；将RG通道和B通道中小于0的像素值重新赋值为0；
S103、运用不同方向的Gabor滤波器对步骤S101得到的灰度图像进行方向特征描述，得到图像方向特征描述图F4；其中，方向设置为：0°、45°、90°和135°；
S104、对步骤S101～S103得到的结果按照公式(4)进行加权计算，得到视觉显著图F；
F＝0.4*F1+0.4*F2+0.2*F4 式(4)。
如图2所示为原始输入图像的像素分布(图中三角形部分)与经过上述步骤S1处理后得到视觉显著图像的像素分布(图中圆形部分)的对比图；从该图2的对比可见，经过步骤S1的多步处理，视觉显著图上的像素分布相比原图大大减少，通过去除不必要的像素，使后续处理的数据得到有效的简化；
如图3(a)、图3(c)和图3(e)所示为COCO数据集中的三种不角度采集的不同汽车图像，其经过上述步骤S1处理后分别得到如图3(b)、图3(d)和图3(f)所示的视觉显著图。从原图和处理后的图像对比中可以看出，经过步骤S1处理后，原始输入图像中的车辆部分的图像能够有效提取出来。
S2、构建无Anchor机制神经网络以对输入图像中的车辆进行准确标记：
S201、如图4所示，采用残差网络ResNet50作为基础网络，并设定神经网络的运行机制为：残差网络读取输入图像后，将残差网络的后三层的特征图C1、特征图C2、特征图C3分别与其上一层特征图进行融合，得到的新特征图与上一层级特征图进行横向连接的融合得到特征图P1、特征图P2、特征图P3；其中，特征图P3经过特征图C3卷积操作获得，特征图C2卷积操作结果与特征图P3进行特征融合得到特征图P2，特征图C1卷积操作结果与特征图P2进行特征融合得到特征图P1；进而，特征图P3进行卷积获得特征图P4，特征图P4卷积获得特征图P5，以最终得到P1～P5五个尺度的特征图；
其中，除残差网络ResNet50外，还可以采用残差网络ResNet100或残差网络ResNet150。
S202、采用车辆分析领域通用的KITTI数据集作为输入图像，对步骤S201所构建的神经网络进行如下网络训练：
S2021、如图4所示，采用逐个像素点进行预测的方式，将步骤S201得到的P1～P5五个尺度的特征图分别映射回步骤S1得到的视觉显著图中；具体映射方式为：若当前特征图在之前卷积操作的总步长为s，则映射位置为(xs+s/2,ys+s/2)；其中，x与y分别代表视觉显著图中的像素点在像素矩阵中的横坐标和纵坐标；
S2022、判断映射位置处的像素点在视觉显著图中是否赋值为0：
1)若像素点在视觉显著图中赋值为0，则不再对该像素点进行后续计算；
2)若像素点在视觉显著图中赋值不为0，则进行步骤S2023的处理；
S2023、根据KITTI数据集的标签数据获得车辆边界框的坐标信息，从而可以获得车辆中心点xc的位置；然后根据车辆中心点与车辆边界框的位置信息，以车辆中心点为基准生成一个小于车辆边界框的矩形区域作为车辆跟踪框；其中，车辆跟踪框的长和宽一般设定为车辆边界框的长和宽的1/4～3/4；根据车辆的中心点xc至矩形区域角点的长度最大原则，设车辆的中心点xc至生成的矩形区域的四个角点xr的欧式距离记为lr,c，然后计算满足步骤S2022的像素点xi至车辆的中心点xc的欧式距离li,c，并筛除li,c＜lr,c的像素点；其中，欧式距离的计算公式见公式(5)；
li,c＝||xi-xc||2 式(5)；
通过利用KITTI数据不断重复上述步骤S2021～S2023，以对该无Anchor机制神经网络进行训练，并在训练过程中最小化网络输出值与KITTI数据集中标签数据中真实值的差值，即如下公式(6)的最小化损失函数L({px,y},{tx,y})：
Figure BDA0002495134670000111
使该无Anchor机制神经网络在读取输入图像后能够准确定位车辆，并标记出与预期一致的车辆跟踪框；
S203、使用经过步骤S202训练好的无Anchor机制神经网络读取如图3(a)所示的输入图像，并结合经过步骤S1处理得到的如图3(b)所示的视觉显著图，通过与上述步骤S2021～S2023相同的处理步骤，完成对输入图像的处理，得到如图5所示的标记有车辆跟踪框的图像；
具体地，在图5中，区域I为车辆边界框，xc为车辆中心点，其中，在步骤S2023的处理过程中，xi2至xc的距离大于xr至xc的距离，处于区域II外，则对xi2不进行后续的计算；而xi1到xc的距离满足条件li,c＜lr,c，处于区域II内，则对xi1进行预测，所有满足预测的像素即构成与图5中的区域II对应的车辆跟踪框；该车辆跟踪框的设定可实现进一步减少计算量并提高准确率；
S3、建立车辆跟踪模型以配合无Anchor机制神经网络对车辆实时跟踪：
如图6所示，步骤S3的具体实施步骤如下：
S301、基于t-1时刻的状态向量去估计t时刻的状态向量：
Figure BDA0002495134670000121
其中，u表示外部影响因素，
Figure BDA0002495134670000122
表示t时刻状态向量，A为状态转移矩阵；
由于神经网络不考虑车辆的速度信息，即速度为0，因此，基于当前时刻采集的输入图像所处理得到的车辆跟踪框确定车辆的初始状态向量x：
x＝[x0,0,y0,0,x1,0,y1,0] 式(8)，
其中，x0和y0为车辆跟踪框的左上角的横坐标和纵坐标；x1和y1为车辆跟踪框的右下角的横坐标和纵坐标；
其中，由于速度为0，则加速度为0，则外部影响因素u＝0，因此，状态转移矩阵A定义为：
Figure BDA0002495134670000131
S302、考虑预测时存在噪声和不确定性，引入状态协方差矩阵P(状态之间的协方差构成的矩阵)和过程误差协方差矩阵Q，根据协方差的性质得到整个模型的不确定性Pt：
Pt＝A*Pt-1*AT+Q 式(10)，
其中，A为状态转移矩阵；AT为状态转移矩阵的转置矩阵；
由于物体的位置相对准确，不确定性较低，Q初始化为单位矩阵，对角矩阵P初始化为：
Figure BDA0002495134670000132
S303、根据公式(12)计算卡尔曼增益：
Kt＝Pt*HT*(H*Pt*HT+R)-1 式(12)，
其中，R为t时刻预测值
Figure BDA0002495134670000133
与通过步骤S2获得的t时刻检测值之间差值的噪声矩阵，H为观测矩阵，HT为观测矩阵的转置矩阵；因为检测网络只会输出车辆的位置坐标，不会有速度信息，则观测矩阵为：
Figure BDA0002495134670000141
S304、以步骤S2得到的车辆边界框信息作为观测值Z来修正步骤S301的预测值，则可知误差量e：
Figure BDA0002495134670000142
S305、依据步骤S304得到的误差来更新步骤S302中的不确定性与步骤S301中预测的状态向量：
Figure BDA0002495134670000143
进而输出为：
Yt＝H*xt 式(16)，
其中，Yt为t时刻车辆跟踪框状态信息。
上述公式(14)使用检测网络的观测信息来修正车辆跟踪模块预测的状态信息，并且考虑了噪声误差；而公式(15)考虑了不确定性，进一步提高了跟踪准确性。
重复上述步骤S301～S305，直至跟踪完成。
其中，在步骤S303中，基于输入图像上可能存在多个车辆，以及可能出现的车辆驶入或车辆驶出的情况考虑，通过建立实测跟踪框与预测跟踪框的交并比矩阵计算，区分t时刻实际检测到的车辆与t-1时刻跟踪车辆的关系，其具体实施步骤如下：对经过步骤S2输出的t时刻下输入图像生成的实测跟踪框与步骤S305输出的t时刻预测跟踪框进行交并比计算，从而构造交并比矩阵；交并比矩阵使用匈牙利算法求解，经过求解得到的无法与预测跟踪框匹配的实测跟踪框，则认为该车是需要跟踪的新车辆，进而，在t+1时刻建立对该新车辆的跟踪任务，即对其车辆跟踪框开始进行预测；同样地，对于驶离的车辆，t时刻输入图像经过步骤S2输出的实测跟踪框与步骤S305输出的t-1时刻的预测跟踪框进行交并比计算，通过交并比矩阵的求解则会删除对驶离车辆的跟踪，进而完成实测跟踪框与预测跟踪框之间的匹配；
如图7所示，D2、D3为未匹配的实测跟踪框，T2、T3为未匹的预测跟踪框；D1、D4为匹配的实测跟踪框，T1、T4为匹配的预测跟踪框，在四种分配情况的基础上进一步引入最小匹配检测次数与最大未匹配检测次数，当匹配检测次数大于最小匹配检测次数则建立跟踪，当未匹配检测次数大于最大未匹配检测次数则删除跟踪；利用该交并比矩阵计算可避免新的车辆驶入以及跟踪车辆驶离的情况，提高模型的准确性。
如图8(a)～图8(f)所示为选取真实场景中的一段行车记录仪的影像并采用本申请的基于无Anchor机制检测网络的车辆跟踪模型进行测试的结果。测试结果表示，采用本申请的跟踪方法跟踪结果准确，不会发生跟踪框漂移、漏跟车辆等问题。
如图9所示为采用本申请的跟踪方法与目前常用的Faster R-CNN跟踪方法和YOLO跟踪方法的PR曲线测试图，在该图中，横纵坐标分别为召回率与准确率，其曲线下的面积为平均精度。从图中的PR曲线可以看出，采用本申请的跟踪方法对应的P-R曲线下的面积最大，明显优于Faster R-CNN跟踪方法和YOLO跟踪方法的检测结果。另外，现有车辆跟踪算法如相关滤波、核相关滤波、Boosting等虽然速度较快，但是无法避免视角变换导致的漂移问题；而光流法虽然相对稳定，但是无法达到本申请可以实现的实时预测效果。
综上所述，该方法针对目前车辆跟踪算法计算复杂、速度较慢但准确性高，速度较快但准确性低的问题，引入无Anchor机制检测网络，通过构建检测框与跟踪框的交并比矩阵与卡尔曼滤波算法的启发，创新提出了基于无Anchor机制检测网络的车辆跟踪模型建立方法，实现对车辆的准确跟踪，为进一步进行基于智能辅助驾驶系统的智能网联汽车方面的研究打下研究基础。

Claims (7)

1.一种基于无Anchor机制检测网络的车辆跟踪模型建立方法，其特征在于，步骤如下：
S1、将通过摄像头采集的输入图像进行处理，以得到突出输入图像中车辆部分的视觉显著图；
S2、构建无Anchor机制神经网络以对输入图像中的车辆采用车辆跟踪框的方式进行准确标记；具体实施步骤为：
S201、采用残差网络作为基础网络，并设定神经网络的运行机制为：残差网络读取输入图像后，将残差网络的后三层的特征图C1、特征图C2、特征图C3分别与其上一层特征图进行融合，得到的新特征图与上一层级特征图进行横向连接的融合得到特征图P1、特征图P2、特征图P3；其中，特征图P3经过特征图C3卷积操作获得，特征图C2卷积操作结果与特征图P3进行特征融合得到特征图P2，特征图C1卷积操作结果与特征图P2进行特征融合得到特征图P1；进而，特征图P3进行卷积获得特征图P4，特征图P4卷积获得特征图P5；
S202、采用车辆检测领域通用的KITTI数据集作为输入图像，对步骤S201所构建的神经网络进行网络训练：将每个特征图中的像素会逐个映射回步骤S1生成的视觉显著图中；对满足处理条件的点进行低质量边界框策略处理，并以最小化网络输出值与KITTI数据集中标签数据中真实值的差值作为训练目标，将远离物体中心点的像素点生成的定位较差的车辆边界框进行约束，得到更为准确定位车辆的车辆跟踪框；
S203、利用完成步骤S202的无Anchor机制神经网络对步骤S1中由摄像头获取的输入图像进行与网络训练相同的处理步骤，获得准确标记车辆的车辆跟踪框；
S3、建立车辆跟踪模型以配合无Anchor机制神经网络对车辆实时跟踪，其具体实施步骤为：基于当前时刻车辆跟踪框状态作为初始跟踪框状态信息，对该车辆下一时刻车辆跟踪框的状态信息进行预测，得到预测跟踪框；同时，以无Anchor机制检测网络获得的下一时刻的车辆跟踪框，即实测跟踪框，作为观测信息；然后通过构造状态信息与观测信息的交并比矩阵实现利用观测信息对状态信息的预测方式进行修正，并用于在下一时刻车辆跟踪框状态的预测中，依次类推，车辆跟踪模型生成。
2.根据权利要求1所述的基于无Anchor机制检测网络的车辆跟踪模型建立方法，其特征在于，步骤S1的具体实施步骤为：
S101、将通过摄像头采集的输入图像转化成灰度图像I，并基于灰度图像I创建高斯图像金字塔，进而通过对高斯图像金字塔的相邻层进行图像差分，获得图像变化特征描述图F1；
S102、对输入图像的RGB通道进行分离，重新构造RG通道和B通道，并按照公式(2)和(3)：得到基于RG通道的图像颜色特征描述图FRG和基于B通道的图像颜色特征描述图FB；
RG_Channel＝(R-G)/max(R,G,B) 式(2)，
B_Channel＝(B-min(R,G))/max(R,G,B) 式(3)，
其中，max(R,G,B)[max(R,G,B)≤0]＝0.0001；该赋值方式保障分母小于或等于0的情况；将RG通道和B通道中小于0的像素值重新赋值为0；
S103、运用不同方向的Gabor滤波器对步骤S101得到的灰度图像进行方向特征描述，得到图像方向特征描述图F4；
S104、对步骤S101～S103得到的结果按照公式(4)进行加权计算，得到视觉显著图F；
F＝0.4*F1+0.4*F2+0.2*F4 式(4)。
3.根据权利要求2所述的基于无Anchor机制检测网络的车辆跟踪模型建立方法，其特征在于，在步骤S103中，方向设置为：0°、45°、90°和135°。
4.根据权利要求1所述的基于无Anchor机制检测网络的车辆跟踪模型建立方法，其特征在于，在步骤S201中，残差网络采用残差网络ResNet50、残差网络ResNet100或残差网络ResNet150。
5.根据权利要求1所述的基于无Anchor机制检测网络的车辆跟踪模型建立方法，其特征在于，在步骤S202中，神经网络训练方法的具体实施步骤为：
S2021、将步骤S201得到的P1～P5五个尺度的特征图分别映射回步骤S1得到的视觉显著图中；映射方式为：若当前特征图在之前卷积操作的总步长为s，则映射位置为(xs+s/2,ys+s/2)；其中，x与y分别代表视觉显著图中的像素点在像素矩阵中的横坐标和纵坐标；
S2022、判断映射位置处的像素点在视觉显著图中是否赋值为0：1)若像素点在视觉显著图中赋值为0，则不再对该像素点进行后续计算；2)若像素点在视觉显著图中赋值不为0，则进行步骤S2023的处理；
S2023、根据KITTI数据集的标签数据获得车辆边界框的坐标信息，从而可以获得车辆中心点xc的位置；然后根据车辆中心点与车辆边界框的位置信息，以车辆中心点为基准生成一个小于车辆边界框的矩形区域作为车辆跟踪框；其中，车辆跟踪框的长和宽一般设定为车辆边界框的长和宽的1/4～3/4；根据车辆的中心点xc至矩形区域角点的长度最大原则，设车辆的中心点xc至生成的矩形区域的四个角点xr的欧式距离记为lr,c，然后计算满足步骤S2022的像素点xi至车辆的中心点xc的欧式距离li,c，并筛除li,c＜lr,c的像素点；其中，欧式距离的计算公式见公式(5)；
li,c＝||xi-xc||2 式(5)。
6.根据权利要求1所述的基于无Anchor机制检测网络的车辆跟踪模型建立方法，其特征在于，在步骤S3的具体实施步骤为：
S301、基于t-1时刻的状态向量去估计t时刻的状态向量：
Figure FDA0002495134660000031
其中，u表示外部影响因素，
Figure FDA0002495134660000032
表示t时刻状态向量，A为状态转移矩阵；
由于神经网络不考虑车辆的速度信息，即速度为0，因此，基于当前时刻采集的输入图像所处理得到的车辆跟踪框确定车辆的初始状态向量x：
x＝[x0,0,y0,0,x1,0,y1,0] 式(8)，
其中，x0和y0为车辆跟踪框的左上角的横坐标和纵坐标；x1和y1为车辆跟踪框的右下角的横坐标和纵坐标；
其中，由于速度为0，则加速度为0，则外部影响因素u＝0，因此，状态转移矩阵A定义为：
Figure FDA0002495134660000041
S302、考虑预测时存在噪声和不确定性，引入状态协方差矩阵P(状态之间的协方差构成的矩阵)和过程误差协方差矩阵Q，根据协方差的性质得到整个模型的不确定性Pt：
Pt＝A*Pt-1*AT+Q 式(10)，
其中，A为状态转移矩阵；AT为状态转移矩阵的转置矩阵；
由于物体的位置相对准确，不确定性较低，Q初始化为单位矩阵，对角矩阵P初始化为：
Figure FDA0002495134660000051
S303、根据公式(12)计算卡尔曼增益：
Kt＝Pt*HT*(H*Pt*HT+R)-1 式(12)，
其中，R为t时刻预测值
Figure FDA0002495134660000055
与通过步骤S2获得的t时刻检测值之间差值的噪声矩阵，H为观测矩阵，HT为观测矩阵的转置矩阵；因为检测网络只会输出车辆的位置坐标，不会有速度信息，则观测矩阵为：
Figure FDA0002495134660000052
S304、以步骤S2得到的车辆边界框信息作为观测值Z来修正步骤S301的预测值，则可知误差量e：
Figure FDA0002495134660000053
S305、依据步骤S304得到的误差来更新步骤S302中的不确定性与步骤S301中预测的状态向量：
Figure FDA0002495134660000054
进而输出为：
Yt＝H*Xt 式(16)，
即修正后的t时刻的预测跟踪框。
7.根据权利要求6所述的基于无Anchor机制检测网络的车辆跟踪模型建立方法，其特征在于，在步骤S3的具体实施步骤为：在步骤S303中，基于输入图像上可能存在多个车辆，以及可能出现的车辆驶入或车辆驶出的情况考虑，通过建立实测跟踪框与预测跟踪框的交并比矩阵计算，区分t时刻实际检测到的车辆与t-1时刻跟踪车辆的关系，其具体实施步骤如下：对经过步骤S2输出的t时刻下输入图像生成的实测跟踪框与步骤S305输出的t时刻预测跟踪框进行交并比计算，从而构造交并比矩阵；交并比矩阵使用匈牙利算法求解，经过求解得到的无法与预测跟踪框匹配的实测跟踪框，则认为该车是需要跟踪的新车辆，进而，在t+1时刻建立对该新车辆的跟踪任务，即对其车辆跟踪框开始进行预测；同样地，对于驶离的车辆，t时刻输入图像经过步骤S2输出的实测跟踪框与步骤S305输出的t-1时刻的预测跟踪框进行交并比计算，通过交并比矩阵的求解则会删除对驶离车辆的跟踪，进而完成实测跟踪框与预测跟踪框之间的匹配。
CN202010416099.9A 2020-05-17 2020-05-17 基于无Anchor机制检测网络的车辆跟踪模型建立方法 Active CN111681259B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010416099.9A CN111681259B (zh) 2020-05-17 2020-05-17 基于无Anchor机制检测网络的车辆跟踪模型建立方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010416099.9A CN111681259B (zh) 2020-05-17 2020-05-17 基于无Anchor机制检测网络的车辆跟踪模型建立方法

Publications (2)

Publication Number Publication Date
CN111681259A true CN111681259A (zh) 2020-09-18
CN111681259B CN111681259B (zh) 2023-05-05

Family

ID=72451932

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010416099.9A Active CN111681259B (zh) 2020-05-17 2020-05-17 基于无Anchor机制检测网络的车辆跟踪模型建立方法

Country Status (1)

Country Link
CN (1) CN111681259B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112258453A (zh) * 2020-09-27 2021-01-22 南京一起康讯智能科技有限公司 一种工业故障巡检机器人定位地标检测方法
CN112464886A (zh) * 2020-12-14 2021-03-09 上海交通大学 一种飞行器识别追踪方法
CN112785626A (zh) * 2021-01-27 2021-05-11 安徽大学 一种基于多尺度特征融合的孪生网络小目标跟踪方法
CN113128563A (zh) * 2021-03-23 2021-07-16 武汉泰沃滋信息技术有限公司 一种高速工程车辆检测方法、装置、设备及存储介质
CN113379794A (zh) * 2021-05-19 2021-09-10 重庆邮电大学 基于注意力-关键点预测模型的单目标跟踪系统及方法
CN114037752A (zh) * 2021-10-25 2022-02-11 北京科技大学设计研究院有限公司 一种基于多模型信息匹配的冷床区钢板跟踪方法
CN116153100A (zh) * 2023-04-20 2023-05-23 江西通慧科技集团股份有限公司 基于物联网的施工现场的监控方法、系统、设备及介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109886079A (zh) * 2018-12-29 2019-06-14 杭州电子科技大学 一种车辆检测与跟踪方法
CN110929670A (zh) * 2019-12-02 2020-03-27 合肥城市云数据中心股份有限公司 基于yolo3技术的渣土车洁净度视频识别分析方法
CN110988912A (zh) * 2019-12-06 2020-04-10 中国科学院自动化研究所 自动驾驶车辆的道路目标与距离检测方法、系统、装置
CN111008633A (zh) * 2019-10-17 2020-04-14 安徽清新互联信息科技有限公司 一种基于注意力机制的车牌字符分割方法
CN111027539A (zh) * 2019-10-17 2020-04-17 安徽清新互联信息科技有限公司 一种基于空间位置信息的车牌字符分割方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109886079A (zh) * 2018-12-29 2019-06-14 杭州电子科技大学 一种车辆检测与跟踪方法
CN111008633A (zh) * 2019-10-17 2020-04-14 安徽清新互联信息科技有限公司 一种基于注意力机制的车牌字符分割方法
CN111027539A (zh) * 2019-10-17 2020-04-17 安徽清新互联信息科技有限公司 一种基于空间位置信息的车牌字符分割方法
CN110929670A (zh) * 2019-12-02 2020-03-27 合肥城市云数据中心股份有限公司 基于yolo3技术的渣土车洁净度视频识别分析方法
CN110988912A (zh) * 2019-12-06 2020-04-10 中国科学院自动化研究所 自动驾驶车辆的道路目标与距离检测方法、系统、装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
杨红红;曲仕茹: "基于稀疏约束深度学习的交通目标跟踪", 中国公路学报 *
沈峘;李舜酩;柏方超;缪小冬;李芳培: "路面车辆实时检测与跟踪的视觉方法", 光学学报 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112258453A (zh) * 2020-09-27 2021-01-22 南京一起康讯智能科技有限公司 一种工业故障巡检机器人定位地标检测方法
CN112258453B (zh) * 2020-09-27 2024-04-26 南京一起康讯智能科技有限公司 一种工业故障巡检机器人定位地标检测方法
CN112464886A (zh) * 2020-12-14 2021-03-09 上海交通大学 一种飞行器识别追踪方法
CN112785626A (zh) * 2021-01-27 2021-05-11 安徽大学 一种基于多尺度特征融合的孪生网络小目标跟踪方法
CN113128563A (zh) * 2021-03-23 2021-07-16 武汉泰沃滋信息技术有限公司 一种高速工程车辆检测方法、装置、设备及存储介质
CN113128563B (zh) * 2021-03-23 2023-11-17 武汉泰沃滋信息技术有限公司 一种高速工程车辆检测方法、装置、设备及存储介质
CN113379794A (zh) * 2021-05-19 2021-09-10 重庆邮电大学 基于注意力-关键点预测模型的单目标跟踪系统及方法
CN113379794B (zh) * 2021-05-19 2023-07-25 重庆邮电大学 基于注意力-关键点预测模型的单目标跟踪系统及方法
CN114037752A (zh) * 2021-10-25 2022-02-11 北京科技大学设计研究院有限公司 一种基于多模型信息匹配的冷床区钢板跟踪方法
CN116153100A (zh) * 2023-04-20 2023-05-23 江西通慧科技集团股份有限公司 基于物联网的施工现场的监控方法、系统、设备及介质

Also Published As

Publication number Publication date
CN111681259B (zh) 2023-05-05

Similar Documents

Publication Publication Date Title
CN111681259A (zh) 基于无Anchor机制检测网络的车辆跟踪模型建立方法
CN112818903B (zh) 一种基于元学习和协同注意力的小样本遥感图像目标检测方法
CN109977812B (zh) 一种基于深度学习的车载视频目标检测方法
CN110472496B (zh) 一种基于目标检测与跟踪的交通视频智能分析方法
CN112233097B (zh) 基于空时域多维融合的道路场景他车检测系统和方法
CN112084869B (zh) 一种基于紧致四边形表示的建筑物目标检测方法
CN112417926B (zh) 车位识别方法、装置、计算机设备及可读存储介质
CN104282020B (zh) 一种基于目标运动轨迹的车辆速度检测方法
CN111563442A (zh) 基于激光雷达的点云和相机图像数据融合的slam方法及系统
CN108961235A (zh) 一种基于YOLOv3网络和粒子滤波算法的缺陷绝缘子识别方法
CN113516664A (zh) 一种基于语义分割动态点的视觉slam方法
CN111667512A (zh) 基于改进卡尔曼滤波的多目标车辆轨迹预测方法
CN112330593A (zh) 基于深度学习网络的建筑物表面裂缝检测方法
CN111169468A (zh) 一种自动泊车的系统及方法
CN115205264A (zh) 一种基于改进YOLOv4的高分辨率遥感船舶检测方法
CN103206957B (zh) 车辆自主导航的车道线检测与跟踪方法
CN112364855A (zh) 一种基于多尺度特征融合的视频目标检测方法及系统
CN107909012B (zh) 一种基于视差图的实时车辆跟踪检测方法与装置
CN111259796A (zh) 一种基于图像几何特征的车道线检测方法
CN110176022B (zh) 一种基于视频检测的隧道全景监控系统及方法
CN113361528B (zh) 一种多尺度目标检测方法及系统
CN115115859A (zh) 基于无人机航拍的长线性工程施工进度智能识别与分析方法
CN111967396A (zh) 障碍物检测的处理方法、装置、设备及存储介质
CN116385493A (zh) 野外环境下多运动目标检测与轨迹预测方法
CN111696147B (zh) 一种基于改进YOLOv3模型的深度估计方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant