CN114092516B - 一种多目标跟踪检测方法、装置、设备及介质 - Google Patents

一种多目标跟踪检测方法、装置、设备及介质 Download PDF

Info

Publication number
CN114092516B
CN114092516B CN202111317983.8A CN202111317983A CN114092516B CN 114092516 B CN114092516 B CN 114092516B CN 202111317983 A CN202111317983 A CN 202111317983A CN 114092516 B CN114092516 B CN 114092516B
Authority
CN
China
Prior art keywords
tracking
target
video frame
motion estimation
tracking target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111317983.8A
Other languages
English (en)
Other versions
CN114092516A (zh
Inventor
胡孟琦
管越
杨晓松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guoqi Intelligent Control Beijing Technology Co Ltd
Original Assignee
Guoqi Intelligent Control Beijing Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guoqi Intelligent Control Beijing Technology Co Ltd filed Critical Guoqi Intelligent Control Beijing Technology Co Ltd
Priority to CN202111317983.8A priority Critical patent/CN114092516B/zh
Publication of CN114092516A publication Critical patent/CN114092516A/zh
Application granted granted Critical
Publication of CN114092516B publication Critical patent/CN114092516B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种多目标跟踪检测方法、装置、设备及介质,其中方法包括:先后对待检测视频帧进行跟踪目标检测和运动估计,在得到得到当前视频帧对应的跟踪目标检测结果和下一视频帧对应的运动估计结果后,再对当前视频帧对应的跟踪目标检测结果和下一视频帧对应的运动估计结果先后进行特征提取和特征相似度计算,得到各个跟踪目标之间的特征相似度后计算最高相似度,并与运动估计结果进行匹配,得到目标检测结果及二次运动估计结果;计算各个跟踪目标的运动速度,结合二次运动估计结果确定最终跟踪结果。本发明能够有效对多个跟踪目标进行区分和跟踪检测,在提高多目标跟踪检测效率的同时,也提高了多目标跟踪检测结果的准确性,避免发生混淆。

Description

一种多目标跟踪检测方法、装置、设备及介质
技术领域
本发明涉及人工智能技术领域,尤其是涉及一种多目标跟踪检测方法、装置、设备及介质。
背景技术
目前,随着人工智能技术的不断发展,目标跟踪技术也越发普及,已经逐渐应用于监控安防和交通管理等各个不同领域中,更多研发人员和管理人员也越发重视目标跟踪技术的发展。
在现有技术中,一般通过提取监控图像中目标检测框,再利用卷积神经网络多假设方法、最小代价流方法和最小多割方法等传统方法提取各目标检测框的特征向量,最后基于每个目标检测框的特征向量对所有预设的样本框进行匹配,以获得跟踪对象的跟踪结果。然而,本发明的发明人发现,目前现有的目标跟踪技术在需要同时监控多个跟踪对象时,容易会出现混淆的现象,导致多个目标跟踪结果的准确性较低的问题。因此,亟需一种能够克服上述技术缺陷的多目标跟踪方法,能够提高多个目标跟踪结果的准确性和可靠性。
发明内容
本发明实施例所要解决的技术问题在于,提供一种多目标跟踪检测方法、装置、设备及介质,能够解决现有目标跟踪技术在需要同时监控多个跟踪对象时容易出现目标混淆,导致多个目标跟踪结果准确性低下的问题。
为解决上述问题,本申请实施例的第一方面提供了一种多目标跟踪检测方法,至少包括如下步骤:
输入待检测视频帧,采用YOLOv3目标检测算法对所述待检测视频帧进行跟踪目标检测,得到当前视频帧对应的跟踪目标检测结果;其中,所述跟踪目标检测结果包括各个跟踪目标及其对应的目标框位置和目标类别;
采用运动估计算法对所述当前视频帧对应的跟踪目标检测结果进行运动估计,得到所述下一视频帧对应的运动估计结果;
采用特征提取算法对所述当前视频帧对应的跟踪目标检测结果和所述下一视频帧对应的运动估计结果先后进行特征提取和特征相似度计算,分别得到各个跟踪目标之间的特征相似度;
计算所述各个跟踪目标之间的最高相似度结果后与所述运动估计结果进行匹配,得到各个跟踪目标对应的跟踪目标检测结果及二次运动估计结果;
采用光流法计算得到的各个跟踪目标的运动速度,根据所述各个跟踪目标的运动速度以及对应的所述二次运动估计结果确定各个跟踪目标的最终跟踪结果。
在第一方面的一种可能的实现方式中,所述采用YOLOv3目标检测算法对所述待检测视频帧进行跟踪目标检测,得到当前视频帧对应的跟踪目标检测结果,具体包括:
采集与跟踪目标所属同一类别的图像数据并进行图像预处理,分别构建得到YOLOv3目标检测模型的训练集、验证集和测试集;
通过所述训练集、验证集和测试集对预先构建的YOLOv3目标检测模型进行模型训练,得到训练后的YOLOv3目标检测模型;
根据所述训练后的YOLOv3目标检测模型对输入的待检测视频帧进行跟踪目标检测,输出得到当前视频帧中各个跟踪目标及其对应的目标框位置和目标类别。
在第一方面的一种可能的实现方式中,在所述采用运动估计算法对所述当前视频帧对应的跟踪目标检测结果进行运动估计步骤之前,还包括:
对所述当前视频帧进行目标检测后提取目标特征信息,并在所述待检测视频帧的初始帧中以跟踪目标为中心选取候选区域,构建跟踪目标模型;
在所述下一视频帧中查找与所述跟踪目标模型相似度最高的区域,并计算所述相似度最高的区域的遮挡系数;
若所述遮挡系数大于第一阈值,则判定所述下一视频帧的跟踪目标被障碍物遮挡;
若所述遮挡系数小于第一阈值,则判定所述下一视频帧的跟踪目标没有被障碍物遮挡。
在第一方面的一种可能的实现方式中,所述在所述下一视频帧中查找与所述跟踪目标模型相似度最高的区域,具体为:
对所述当前视频帧的跟踪目标模型的源图像和所述下一视频中待筛选的区域图像进行直方图数据采集处理,对采集得到的图像直方图进行归一化处理后,采用巴氏算法对各个归一化处理后的图像直方图进行相似度计算,分别得到各个所述下一视频中待筛选的区域图像与当前视频帧的跟踪目标模型的源图像的图像相似度,选取得到图像相似度最高的区域。
在第一方面的一种可能的实现方式中,所述采用运动估计算法对所述当前视频帧对应的跟踪目标检测结果进行运动估计,得到所述下一视频帧对应的运动估计结果,具体为:
采用卡尔曼滤波算法对所述当前视频帧对应的任一跟踪目标的目标框位置和目标类别进行运动估计,得到在下一视频帧中的所述任一跟踪目标可能的目标框位置和运动状态。
在第一方面的一种可能的实现方式中,所述采用特征提取算法对所述当前视频帧对应的跟踪目标检测结果和所述下一视频帧对应的运动估计结果先后进行特征提取和特征相似度计算,分别得到各个跟踪目标之间的特征相似度,具体包括:
采用特征提取算法分别对当前视频帧的每一个跟踪目标的检测结果及其在下一视频帧的运动估计结果进行特征提取和跟踪表征,得到每一个跟踪目标的特征;
分别计算所有跟踪目标中两两之间的特征相似度,得到各个跟踪之间的特征相似度。
在第一方面的一种可能的实现方式中,在所述根据所述各个跟踪目标的运动速度以及对应的所述二次运动估计结果确定各个跟踪目标的最终跟踪结果步骤之后,还包括:
采集用户对所述最终跟踪结果的反馈信息,根据反馈信息对各个跟踪目标的最终跟踪结果进行修正,并构建目标跟踪检测结果数据集作为YOLOv3目标检测算法的训练数据。
本申请实施例的第二方面提供了一种多目标跟踪检测装置,包括:
目标检测模块,用于输入待检测视频帧,采用YOLOv3目标检测算法对所述待检测视频帧进行跟踪目标检测,得到当前视频帧对应的跟踪目标检测结果;其中,所述跟踪目标检测结果包括各个跟踪目标及其对应的目标框位置和目标类别;
运动估计模块,用于采用运动估计算法对所述当前视频帧对应的跟踪目标检测结果进行运动估计,得到所述下一视频帧对应的运动估计结果;
特征提取计算模块,用于采用特征提取算法对所述当前视频帧对应的跟踪目标检测结果和所述下一视频帧对应的运动估计结果先后进行特征提取和特征相似度计算,分别得到各个跟踪目标之间的特征相似度;
目标匹配关联模块,用于计算所述各个跟踪目标之间的最高相似度结果后与所述运动估计结果进行匹配,得到各个跟踪目标对应的跟踪目标检测结果及二次运动估计结果;
跟踪结果模块,用于采用光流法计算得到的各个跟踪目标的运动速度,根据所述各个跟踪目标的运动速度以及对应的所述二次运动估计结果确定各个跟踪目标的最终跟踪结果。
本申请实施例的第三方面还提出了一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述任一项所述方法的步骤。
本申请实施例的第四方面还提出了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述任一项所述的方法的步骤。
实施本发明实施例,具有如下有益效果:
本发明实施例提供的一种多目标跟踪检测方法、装置、设备及介质,通过采用YOLOv3目标检测算法对所述待检测视频帧进行跟踪目标检测,得到当前视频帧对应的跟踪目标检测结果;采用运动估计算法对所述当前视频帧对应的跟踪目标检测结果进行运动估计,得到所述下一视频帧对应的运动估计结果,从而能够同时对多个跟踪目标对象进行跟踪检测,有效提高了多目标跟踪检测的效率;通过采用特征提取算法对所述当前视频帧对应的跟踪目标检测结果和所述下一视频帧对应的运动估计结果先后进行特征提取和特征相似度计算,分别得到各个跟踪目标之间的特征相似度,计算所述各个跟踪目标之间的最高相似度结果后与所述运动估计结果进行匹配,得到各个跟踪目标对应的跟踪目标检测结果及二次运动估计结果,采用光流法计算得到的各个跟踪目标的运动速度,根据所述各个跟踪目标的运动速度以及对应的所述二次运动估计结果确定各个跟踪目标的最终跟踪结果,从而能够通过根据各个跟踪目标的特征信息,对多个跟踪目标对象进行区分,以准确得到各个跟踪目标对象对应的跟踪结果,避免发生混淆,极大提高多目标跟踪检测结果的准确性。
附图说明
图1为本申请一实施例的多目标跟踪检测方法的流程示意图;
图2为本申请一实施例的多目标跟踪检测装置的结构示意框图;
图3为本申请一实施例的计算机设备的结构示意框图。
本申请目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
在本申请的描述中,需要理解的是,术语“第一”、“第二”等仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”等的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中,除非另有说明,“多个”的含义是两个或两个以上。
本申请实施例可以基于人工智能技术对相关的数据进行获取和处理。其中,人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
本申请实施例可以应用于服务器中,服务器可以是独立的服务器,也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network,CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。
首先介绍本发明可以提供的应用场景,如提供一种多目标跟踪检测方法、装置、设备及介质,能够同时对多个跟踪对象进行跟踪检测和区分,避免发生混淆导致跟踪结果不准确。
本发明第一实施例:
请参阅图1。
如图1所示,本实施例提供了一种多目标跟踪检测方法,至少包括如下步骤:
S1、输入待检测视频帧,采用YOLOv3目标检测算法对所述待检测视频帧进行跟踪目标检测,得到当前视频帧对应的跟踪目标检测结果;其中,所述跟踪目标检测结果包括各个跟踪目标及其对应的目标框位置和目标类别;
S2、采用运动估计算法对所述当前视频帧对应的跟踪目标检测结果进行运动估计,得到所述下一视频帧对应的运动估计结果;
S3、采用特征提取算法对所述当前视频帧对应的跟踪目标检测结果和所述下一视频帧对应的运动估计结果先后进行特征提取和特征相似度计算,分别得到各个跟踪目标之间的特征相似度;
S4、计算所述各个跟踪目标之间的最高相似度结果后与所述运动估计结果进行匹配,得到各个跟踪目标对应的跟踪目标检测结果及二次运动估计结果;
S5、采用光流法计算得到的各个跟踪目标的运动速度,根据所述各个跟踪目标的运动速度以及对应的所述二次运动估计结果确定各个跟踪目标的最终跟踪结果。
在现有技术中,现有目标追踪技术通常是提取监控图像中目标检测框,利用卷积神经网络多假设方法、最小代价流方法和最小多割方法等传统方法提取各目标检测框的特征向量,基于每个目标检测框的特征向量对所有预设的样本框进行匹配,以获得跟踪对象的跟踪结果。但是,当同时监控多个跟踪对象时,现有技术常常会出现混淆,导致跟踪结果的准确性较低。而本实施例为了解决上述技术问题,先后对待检测视频帧进行跟踪目标检测和运动估计,在得到得到当前视频帧对应的跟踪目标检测结果和下一视频帧对应的运动估计结果后,能够同时对多个跟踪目标对象进行跟踪检测,有效提高了多目标跟踪检测的效率;再通过对当前视频帧对应的跟踪目标检测结果和下一视频帧对应的运动估计结果先后进行特征提取和特征相似度计算,得到各个跟踪目标之间的特征相似度后计算最高相似度,并与运动估计结果进行匹配,得到各个跟踪目标对应的跟踪目标检测结果及二次运动估计结果;计算各个跟踪目标的运动速度,结合二次运动估计结果确定最终跟踪结果,从而能够通过根据各个跟踪目标的特征信息,对多个跟踪目标对象进行区分,以准确得到各个跟踪目标对象对应的跟踪结果,避免发生混淆,极大提高多目标跟踪检测结果的准确性。
对于步骤S1,首先是获取输入待检测视频帧,利用YOLOv3目标检测算法对输入的待检测视频帧进行跟踪目标检测,该步骤主要是检测当前视频帧中存在的跟踪目标对象和目标位置,从而输出当前视频帧对应的跟踪目标检测结果,包括若干个跟踪目标,以及各个跟踪目标对应的目标框位置和目标类别,提供后续同时对多个目标跟踪检测的初始跟踪目标数据,提高后续对多个目标跟踪检测的准确性。
对于步骤S2,在获取当前视频帧对应的跟踪目标检测结果后,即若干个跟踪目标以及各个跟踪目标对应的目标框位置和目标类别,采用运动估计算法,根据当前视频帧的跟踪目标检测结果进行运动估计,估计下一视频帧对应的运动估计结果,包括下一视频帧中各个跟踪目标可能的目标位置和运动状态,本步骤结合上一步骤,能够同时对多个跟踪目标对象进行跟踪检测,有效提高了多目标跟踪检测的效率。
对于步骤S3,在估计得到下一视频帧对应的运动估计结果后,采用特征提取算法对当前视频帧中的每一个跟踪目标的检测结果及其在下一视频帧的运动估计结果进行特征提取,得到相应的特征信息来表征该追踪,即得到各个跟踪目标对象的特征信息,再分别计算所有跟踪目标中两两之间的特征相似度,得到各个跟踪之间的特征相似度,用以区分不同跟踪目标。
对于步骤S4,根据每两两跟踪目标之间的特征相似度计算结果,选取特征相似度最高的跟踪目标对应的跟踪目标检测结果与运动估计结果进行匹配,认为是同一个跟踪目标,进而得到各个跟踪目标对应的跟踪目标检测结果和二次运动估计结果,从而对多个跟踪目标进行区分。
对于步骤S5,采用光流法根据各个跟踪目标帧间像素变化,确定跟踪目标的运动速度,结合估计的在下一视频帧的目标位置和运动状态,确定各个跟踪目标的最终跟踪结果,完成多目标的跟踪检测,准确得到各个跟踪目标对应的跟踪检测结果,提高多个目标跟踪检测结果的准确性。
在一种优选的实施例中,所述采用YOLOv3目标检测算法对所述待检测视频帧进行跟踪目标检测,得到当前视频帧对应的跟踪目标检测结果的步骤S1,具体包括:
采集与跟踪目标所属同一类别的图像数据并进行图像预处理,分别构建得到YOLOv3目标检测模型的训练集、验证集和测试集;
通过所述训练集、验证集和测试集对预先构建的YOLOv3目标检测模型进行模型训练,得到训练后的YOLOv3目标检测模型;
根据所述训练后的YOLOv3目标检测模型对输入的待检测视频帧进行跟踪目标检测,输出得到当前视频帧中各个跟踪目标及其对应的目标框位置和目标类别。
在具体的实施例中,采用YOLOv3目标检测算法对待检测视频帧进行跟踪目标检测的具体步骤如下,首先是采集与跟踪目标所属同一大类别的图像数据,例如跟踪目标为车辆时,则采集若干包含车辆的图片,并对每张图片进行图像预处理,包括归一化和二值化等等,并对每张图片进行人工标注,标注每张图片所包含的车辆类型以及将图片中的车辆用目标框框出,得到各个跟踪目标对应的目标框位置和目标类别,将所有完成图像预处理的图像数据按照比例划分为YOLOv3目标检测模型的训练集、验证集和测试集;再通过划分得到的训练集、验证集和测试集对预先构建的YOLOv3目标检测模型进行模型训练,得到训练后的YOLOv3目标检测模型,最后将待检测视频帧输入至训练优化后的YOLOv3目标检测模型中进行跟踪目标检测,从而输出得到当前视频帧中包含的若干个跟踪目标,以及各个跟踪目标对应的目标框位置和目标类别信息,完成多个目标的跟踪目标检测,提高多目标跟踪检测的效率。
在一种优选的实施例中,在所述采用运动估计算法对所述当前视频帧对应的跟踪目标检测结果进行运动估计步骤之前,还包括:
对所述当前视频帧进行目标检测后提取目标特征信息,并在所述待检测视频帧的初始帧中以跟踪目标为中心选取候选区域,构建跟踪目标模型;
在所述下一视频帧中查找与所述跟踪目标模型相似度最高的区域,并计算所述相似度最高的区域的遮挡系数;
若所述遮挡系数大于第一阈值,则判定所述下一视频帧的跟踪目标被障碍物遮挡;
若所述遮挡系数小于第一阈值,则判定所述下一视频帧的跟踪目标没有被障碍物遮挡。
在具体的实施例中,在对当前视频帧的跟踪目标检测结果进行运动估计前,还包括遮挡检测,即判断下一帧的跟踪目标是否被障碍物遮挡,具体步骤包括:首先对当前视频帧进行目标检测,提取跟踪目标的目标特征信息,并且在待检测视频帧的初始帧以当前跟踪目标为中心选取对应的候选区域,构建生成当前跟踪目标对应的跟踪目标模型,构建跟踪目标模型完成后,在下一视频帧中查找与跟踪目标模型特征相似度最高的区域,作为下一视频帧中跟踪目标的所在区域,并计算该区域的遮挡系数;通过判断该区域的遮挡系数是否大于预设阈值,从而判定下一视频帧中的跟踪目标是否被障碍物遮挡,若判断小于预设阈值,则认为该跟踪良好,继续对目标进行跟踪;若判断大于预设阈值,则认为跟踪受到干扰,需要重新跟踪,从而减少在跟踪目标检测过程中受到外界的影响,提高多目标跟踪检测的准确性。
在一种优选的实施例中,所述在所述下一视频帧中查找与所述跟踪目标模型相似度最高的区域,具体为:
对所述当前视频帧的跟踪目标模型的源图像和所述下一视频中待筛选的区域图像进行直方图数据采集处理,对采集得到的图像直方图进行归一化处理后,采用巴氏算法对各个归一化处理后的图像直方图进行相似度计算,分别得到各个所述下一视频中待筛选的区域图像与当前视频帧的跟踪目标模型的源图像的图像相似度,选取得到图像相似度最高的区域。
在具体的实施例中,在下一视频帧中查找与跟踪目标模型相似度最高的区域的步骤包括:首先对在当前视频帧中的跟踪模型的源图像和下一视频帧中所有待筛选的区域图像均进行直方图数据采集处理,得到各自的图像直方图后进行归一化处理,然后采用巴氏算法对各个归一化处理后的图像直方图进行相似度计算,从而得到下一视频帧中所有待筛选的区域图像分别与当前视频帧的跟踪目标模型的源图像的图像相似度,从中筛选出与跟踪目标模型图像相似度最高的区域图像,作为下一视频帧中跟踪目标的估计所在区域。
在一种优选的实施例中,所述采用运动估计算法对所述当前视频帧对应的跟踪目标检测结果进行运动估计,得到所述下一视频帧对应的运动估计结果,具体为:
采用卡尔曼滤波算法对所述当前视频帧对应的任一跟踪目标的目标框位置和目标类别进行运动估计,得到在下一视频帧中的所述任一跟踪目标可能的目标框位置和运动状态。
在具体的实施例中,采用运动估计算法对当前视频帧的跟踪目标检测结果进行运动估计的过程如下,采用卡尔曼波滤波算法对在当前视频帧中的各个跟踪目标的目标框位置和目标类别进行运动估计,从而估计得到在下一视频中的各个跟踪目标的目标框位置和运动状态,对多个跟踪目标同时进行运动状态和运动位置估计,提高多目标跟踪检测的效率。需要说明的是,本实施例中虽然只提出采用了卡尔曼滤波算法进行运动估计,但其它常见的运动估计算法也能用于本申请中。
在一种优选的实施例中,所述采用特征提取算法对所述当前视频帧对应的跟踪目标检测结果和所述下一视频帧对应的运动估计结果先后进行特征提取和特征相似度计算,分别得到各个跟踪目标之间的特征相似度,具体包括:
采用特征提取算法分别对当前视频帧的每一个跟踪目标的检测结果及其在下一视频帧的运动估计结果进行特征提取和跟踪表征,得到每一个跟踪目标的特征;
分别计算所有跟踪目标中两两之间的特征相似度,得到各个跟踪之间的特征相似度。
在具体的实施例中,在估计得到下一视频帧对应的运动估计结果后,采用特征提取算法对当前视频帧中的每一个跟踪目标的检测结果及其在下一视频帧的运动估计结果进行特征提取,得到相应的特征信息来表征该追踪,即得到各个跟踪目标对象的特征信息,再分别计算每两两跟踪目标之间的特征相似度,从而得到各个跟踪之间的特征相似度,来用以区分不同跟踪目标,避免发生跟踪目标混淆的情况。
在一种优选的实施例中,在所述根据所述各个跟踪目标的运动速度以及对应的所述二次运动估计结果确定各个跟踪目标的最终跟踪结果步骤之后,还包括:
采集用户对所述最终跟踪结果的反馈信息,根据反馈信息对各个跟踪目标的最终跟踪结果进行修正,并构建目标跟踪检测结果数据集作为YOLOv3目标检测算法的训练数据。
在具体的实施例中,在确定各个跟踪目标的最终跟踪结果之后,还包括跟踪最终结果进行修正优化,采集用户对各个目标最终跟踪结果的反馈信息,从而对各个跟踪目标的最终跟踪结果进行实时修正,同时,采集完成修正后的最终跟踪结果,构建目标跟踪检测数据集,作为对YOLOv3目标检测算法中的YOLOv3目标检测模型的训练数据,再次对模型进行训练优化,提高目标检测的准确性和可靠性。
本实施例提供的一种多目标跟踪检测方法,包括:通过采用YOLOv3目标检测算法对所述待检测视频帧进行跟踪目标检测,得到当前视频帧对应的跟踪目标检测结果;采用运动估计算法对所述当前视频帧对应的跟踪目标检测结果进行运动估计,得到所述下一视频帧对应的运动估计结果,从而能够同时对多个跟踪目标对象进行跟踪检测,有效提高了多目标跟踪检测的效率;通过采用特征提取算法对所述当前视频帧对应的跟踪目标检测结果和所述下一视频帧对应的运动估计结果先后进行特征提取和特征相似度计算,分别得到各个跟踪目标之间的特征相似度,计算所述各个跟踪目标之间的最高相似度结果后与所述运动估计结果进行匹配,得到各个跟踪目标对应的跟踪目标检测结果及二次运动估计结果,采用光流法计算得到的各个跟踪目标的运动速度,根据所述各个跟踪目标的运动速度以及对应的所述二次运动估计结果确定各个跟踪目标的最终跟踪结果,从而能够通过根据各个跟踪目标的特征信息,对多个跟踪目标对象进行区分,以准确得到各个跟踪目标对象对应的跟踪结果,避免发生混淆,极大提高多目标跟踪检测结果的准确性。
本发明第二实施例:
请参阅图2。
如图2所示,本实施例提供了一种多目标跟踪检测装置,包括:
目标检测模块100,用于输入待检测视频帧,采用YOLOv3目标检测算法对所述待检测视频帧进行跟踪目标检测,得到当前视频帧对应的跟踪目标检测结果;其中,所述跟踪目标检测结果包括各个跟踪目标及其对应的目标框位置和目标类别。
对于目标检测模块100,首先是获取输入待检测视频帧,利用YOLOv3目标检测算法对输入的待检测视频帧进行跟踪目标检测,该步骤主要是检测当前视频帧中存在的跟踪目标对象和目标位置,从而输出当前视频帧对应的跟踪目标检测结果,包括若干个跟踪目标,以及各个跟踪目标对应的目标框位置和目标类别,提供后续同时对多个目标跟踪检测的初始跟踪目标数据,提高后续对多个目标跟踪检测的准确性。
运动估计模块200,用于采用运动估计算法对所述当前视频帧对应的跟踪目标检测结果进行运动估计,得到所述下一视频帧对应的运动估计结果。
对于运动估计模块200,在获取当前视频帧对应的跟踪目标检测结果后,即若干个跟踪目标以及各个跟踪目标对应的目标框位置和目标类别,采用运动估计算法,根据当前视频帧的跟踪目标检测结果进行运动估计,估计下一视频帧对应的运动估计结果,包括下一视频帧中各个跟踪目标可能的目标位置和运动状态,能够同时对多个跟踪目标对象进行跟踪检测,有效提高了多目标跟踪检测的效率。
特征提取计算模块300,用于采用特征提取算法对所述当前视频帧对应的跟踪目标检测结果和所述下一视频帧对应的运动估计结果先后进行特征提取和特征相似度计算,分别得到各个跟踪目标之间的特征相似度。
对于特征提取计算模块300,在估计得到下一视频帧对应的运动估计结果后,采用特征提取算法对当前视频帧中的每一个跟踪目标的检测结果及其在下一视频帧的运动估计结果进行特征提取,得到相应的特征信息来表征该追踪,即得到各个跟踪目标对象的特征信息,再分别计算所有跟踪目标中两两之间的特征相似度,得到各个跟踪之间的特征相似度,用以区分不同跟踪目标。
目标匹配关联模块400,用于计算所述各个跟踪目标之间的最高相似度结果后与所述运动估计结果进行匹配,得到各个跟踪目标对应的跟踪目标检测结果及二次运动估计结果。
对于目标匹配关联模块400,根据每两两跟踪目标之间的特征相似度计算结果,选取特征相似度最高的跟踪目标对应的跟踪目标检测结果与运动估计结果进行匹配,认为是同一个跟踪目标,进而得到各个跟踪目标对应的跟踪目标检测结果和二次运动估计结果,从而对多个跟踪目标进行区分。
跟踪结果模块500,用于采用光流法计算得到的各个跟踪目标的运动速度,根据所述各个跟踪目标的运动速度以及对应的所述二次运动估计结果确定各个跟踪目标的最终跟踪结果。
对于跟踪结果模块500,采用光流法根据各个跟踪目标帧间像素变化,确定跟踪目标的运动速度,结合估计的在下一视频帧的目标位置和运动状态,确定各个跟踪目标的最终跟踪结果,完成多目标的跟踪检测,准确得到各个跟踪目标对应的跟踪检测结果,提高多个目标跟踪检测结果的准确性。
本实施例通过采用YOLOv3目标检测算法对所述待检测视频帧进行跟踪目标检测,得到当前视频帧对应的跟踪目标检测结果;采用运动估计算法对所述当前视频帧对应的跟踪目标检测结果进行运动估计,得到所述下一视频帧对应的运动估计结果,从而能够同时对多个跟踪目标对象进行跟踪检测,有效提高了多目标跟踪检测的效率;通过采用特征提取算法对所述当前视频帧对应的跟踪目标检测结果和所述下一视频帧对应的运动估计结果先后进行特征提取和特征相似度计算,分别得到各个跟踪目标之间的特征相似度,计算所述各个跟踪目标之间的最高相似度结果后与所述运动估计结果进行匹配,得到各个跟踪目标对应的跟踪目标检测结果及二次运动估计结果,采用光流法计算得到的各个跟踪目标的运动速度,根据所述各个跟踪目标的运动速度以及对应的所述二次运动估计结果确定各个跟踪目标的最终跟踪结果,从而能够通过根据各个跟踪目标的特征信息,对多个跟踪目标对象进行区分,以准确得到各个跟踪目标对象对应的跟踪结果,避免发生混淆,极大提高多目标跟踪检测结果的准确性。
参照图3,本申请实施例中还提供一种计算机设备,该计算机设备可以是服务器,其内部结构可以如图3所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中,该计算机设计的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于储存多目标跟踪检测方法等数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种多目标跟踪检测方法。所述多目标跟踪检测方法,包括:输入待检测视频帧,采用YOLOv3目标检测算法对所述待检测视频帧进行跟踪目标检测,得到当前视频帧对应的跟踪目标检测结果;其中,所述跟踪目标检测结果包括各个跟踪目标及其对应的目标框位置和目标类别;采用运动估计算法对所述当前视频帧对应的跟踪目标检测结果进行运动估计,得到所述下一视频帧对应的运动估计结果;采用特征提取算法对所述当前视频帧对应的跟踪目标检测结果和所述下一视频帧对应的运动估计结果先后进行特征提取和特征相似度计算,分别得到各个跟踪目标之间的特征相似度;计算所述各个跟踪目标之间的最高相似度结果后与所述运动估计结果进行匹配,得到各个跟踪目标对应的跟踪目标检测结果及二次运动估计结果;采用光流法计算得到的各个跟踪目标的运动速度,根据所述各个跟踪目标的运动速度以及对应的所述二次运动估计结果确定各个跟踪目标的最终跟踪结果。
本申请一实施例还提供一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现一种多目标跟踪检测方法,包括步骤:输入待检测视频帧,采用YOLOv3目标检测算法对所述待检测视频帧进行跟踪目标检测,得到当前视频帧对应的跟踪目标检测结果;其中,所述跟踪目标检测结果包括各个跟踪目标及其对应的目标框位置和目标类别;采用运动估计算法对所述当前视频帧对应的跟踪目标检测结果进行运动估计,得到所述下一视频帧对应的运动估计结果;采用特征提取算法对所述当前视频帧对应的跟踪目标检测结果和所述下一视频帧对应的运动估计结果先后进行特征提取和特征相似度计算,分别得到各个跟踪目标之间的特征相似度;计算所述各个跟踪目标之间的最高相似度结果后与所述运动估计结果进行匹配,得到各个跟踪目标对应的跟踪目标检测结果及二次运动估计结果;采用光流法计算得到的各个跟踪目标的运动速度,根据所述各个跟踪目标的运动速度以及对应的所述二次运动估计结果确定各个跟踪目标的最终跟踪结果。
上述执行的多目标跟踪检测方法,本实施例通过采用YOLOv3目标检测算法对所述待检测视频帧进行跟踪目标检测,得到当前视频帧对应的跟踪目标检测结果;采用运动估计算法对所述当前视频帧对应的跟踪目标检测结果进行运动估计,得到所述下一视频帧对应的运动估计结果,从而能够同时对多个跟踪目标对象进行跟踪检测,有效提高了多目标跟踪检测的效率;通过采用特征提取算法对所述当前视频帧对应的跟踪目标检测结果和所述下一视频帧对应的运动估计结果先后进行特征提取和特征相似度计算,分别得到各个跟踪目标之间的特征相似度,计算所述各个跟踪目标之间的最高相似度结果后与所述运动估计结果进行匹配,得到各个跟踪目标对应的跟踪目标检测结果及二次运动估计结果,采用光流法计算得到的各个跟踪目标的运动速度,根据所述各个跟踪目标的运动速度以及对应的所述二次运动估计结果确定各个跟踪目标的最终跟踪结果,从而能够通过根据各个跟踪目标的特征信息,对多个跟踪目标对象进行区分,以准确得到各个跟踪目标对象对应的跟踪结果,避免发生混淆,极大提高多目标跟踪检测结果的准确性。
在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的技术内容,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述模块的划分,可以为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个模块或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理模块,即可以位于一个地方,或者也可以分布到多个模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能模块可以集成在一个处理模块中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。
以上所述是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和变形,这些改进和变形也视为本发明的保护范围。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的和实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双速据率SDRAM(SSRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

Claims (10)

1.一种多目标跟踪检测方法,其特征在于,至少包括如下步骤:
输入待检测视频帧,采用YOLOv3目标检测算法对所述待检测视频帧进行跟踪目标检测,得到当前视频帧对应的跟踪目标检测结果;其中,所述跟踪目标检测结果包括各个跟踪目标及其对应的目标框位置和目标类别;
采用运动估计算法对所述当前视频帧对应的跟踪目标检测结果进行运动估计,得到所述下一视频帧对应的运动估计结果;
采用特征提取算法对所述当前视频帧对应的跟踪目标检测结果和所述下一视频帧对应的运动估计结果先后进行特征提取和特征相似度计算,分别得到各个跟踪目标之间的特征相似度;
计算所述各个跟踪目标之间的最高相似度结果后与所述运动估计结果进行匹配,得到各个跟踪目标对应的跟踪目标检测结果及二次运动估计结果;
采用光流法计算得到的各个跟踪目标的运动速度,根据所述各个跟踪目标的运动速度以及对应的所述二次运动估计结果确定各个跟踪目标的最终跟踪结果。
2.根据权利要求1所述的多目标跟踪检测方法,其特征在于,所述采用YOLOv3目标检测算法对所述待检测视频帧进行跟踪目标检测,得到当前视频帧对应的跟踪目标检测结果,具体包括:
采集与跟踪目标所属同一类别的图像数据并进行图像预处理,分别构建得到YOLOv3目标检测模型的训练集、验证集和测试集;
通过所述训练集、验证集和测试集对预先构建的YOLOv3目标检测模型进行模型训练,得到训练后的YOLOv3目标检测模型;
根据所述训练后的YOLOv3目标检测模型对输入的待检测视频帧进行跟踪目标检测,输出得到当前视频帧中各个跟踪目标及其对应的目标框位置和目标类别。
3.根据权利要求1所述的多目标跟踪检测方法,其特征在于,在所述采用运动估计算法对所述当前视频帧对应的跟踪目标检测结果进行运动估计步骤之前,还包括:
对所述当前视频帧进行目标检测后提取目标特征信息,并在所述待检测视频帧的初始帧中以跟踪目标为中心选取候选区域,构建跟踪目标模型;
在所述下一视频帧中查找与所述跟踪目标模型相似度最高的区域,并计算所述相似度最高的区域的遮挡系数;
若所述遮挡系数大于第一阈值,则判定所述下一视频帧的跟踪目标被障碍物遮挡;
若所述遮挡系数小于第一阈值,则判定所述下一视频帧的跟踪目标没有被障碍物遮挡。
4.根据权利要求3所述的多目标跟踪检测方法,其特征在于,所述在所述下一视频帧中查找与所述跟踪目标模型相似度最高的区域,具体为:
对所述当前视频帧的跟踪目标模型的源图像和所述下一视频中待筛选的区域图像进行直方图数据采集处理,对采集得到的图像直方图进行归一化处理后,采用巴氏算法对各个归一化处理后的图像直方图进行相似度计算,分别得到各个所述下一视频中待筛选的区域图像与当前视频帧的跟踪目标模型的源图像的图像相似度,选取得到图像相似度最高的区域。
5.根据权利要求1所述的多目标跟踪检测方法,其特征在于,所述采用运动估计算法对所述当前视频帧对应的跟踪目标检测结果进行运动估计,得到所述下一视频帧对应的运动估计结果,具体为:
采用卡尔曼滤波算法对所述当前视频帧对应的任一跟踪目标的目标框位置和目标类别进行运动估计,得到在下一视频帧中的所述任一跟踪目标可能的目标框位置和运动状态。
6.根据权利要求1所述的多目标跟踪检测方法,其特征在于,所述采用特征提取算法对所述当前视频帧对应的跟踪目标检测结果和所述下一视频帧对应的运动估计结果先后进行特征提取和特征相似度计算,分别得到各个跟踪目标之间的特征相似度,具体包括:
采用特征提取算法分别对当前视频帧的每一个跟踪目标的检测结果及其在下一视频帧的运动估计结果进行特征提取和跟踪表征,得到每一个跟踪目标的特征;
分别计算所有跟踪目标中两两之间的特征相似度,得到各个跟踪之间的特征相似度。
7.根据权利要求1所述的多目标跟踪检测方法,其特征在于,在所述根据所述各个跟踪目标的运动速度以及对应的所述二次运动估计结果确定各个跟踪目标的最终跟踪结果步骤之后,还包括:
采集用户对所述最终跟踪结果的反馈信息,根据反馈信息对各个跟踪目标的最终跟踪结果进行修正,并构建目标跟踪检测结果数据集作为YOLOv3目标检测算法的训练数据。
8.一种多目标跟踪检测装置,其特征在于,包括:
目标检测模块,用于输入待检测视频帧,采用YOLOv3目标检测算法对所述待检测视频帧进行跟踪目标检测,得到当前视频帧对应的跟踪目标检测结果;其中,所述跟踪目标检测结果包括各个跟踪目标及其对应的目标框位置和目标类别;
运动估计模块,用于采用运动估计算法对所述当前视频帧对应的跟踪目标检测结果进行运动估计,得到所述下一视频帧对应的运动估计结果;
特征提取计算模块,用于采用特征提取算法对所述当前视频帧对应的跟踪目标检测结果和所述下一视频帧对应的运动估计结果先后进行特征提取和特征相似度计算,分别得到各个跟踪目标之间的特征相似度;
目标匹配关联模块,用于计算所述各个跟踪目标之间的最高相似度结果后与所述运动估计结果进行匹配,得到各个跟踪目标对应的跟踪目标检测结果及二次运动估计结果;
跟踪结果模块,用于采用光流法计算得到的各个跟踪目标的运动速度,根据所述各个跟踪目标的运动速度以及对应的所述二次运动估计结果确定各个跟踪目标的最终跟踪结果。
9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN202111317983.8A 2021-11-08 2021-11-08 一种多目标跟踪检测方法、装置、设备及介质 Active CN114092516B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111317983.8A CN114092516B (zh) 2021-11-08 2021-11-08 一种多目标跟踪检测方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111317983.8A CN114092516B (zh) 2021-11-08 2021-11-08 一种多目标跟踪检测方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
CN114092516A CN114092516A (zh) 2022-02-25
CN114092516B true CN114092516B (zh) 2024-05-14

Family

ID=80299483

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111317983.8A Active CN114092516B (zh) 2021-11-08 2021-11-08 一种多目标跟踪检测方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN114092516B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106845385A (zh) * 2017-01-17 2017-06-13 腾讯科技(上海)有限公司 视频目标跟踪的方法和装置
CN109325967A (zh) * 2018-09-14 2019-02-12 腾讯科技(深圳)有限公司 目标跟踪方法、装置、介质以及设备
CN111402294A (zh) * 2020-03-10 2020-07-10 腾讯科技(深圳)有限公司 目标跟踪方法、装置、计算机可读存储介质和计算机设备
WO2021017283A1 (zh) * 2019-07-30 2021-02-04 平安科技(深圳)有限公司 基于离线型的在线跟踪方法、装置、计算机设备及存储介质
WO2021184621A1 (zh) * 2020-03-19 2021-09-23 南京因果人工智能研究院有限公司 一种基于mdp的多目标车辆跟踪方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106845385A (zh) * 2017-01-17 2017-06-13 腾讯科技(上海)有限公司 视频目标跟踪的方法和装置
CN109325967A (zh) * 2018-09-14 2019-02-12 腾讯科技(深圳)有限公司 目标跟踪方法、装置、介质以及设备
WO2021017283A1 (zh) * 2019-07-30 2021-02-04 平安科技(深圳)有限公司 基于离线型的在线跟踪方法、装置、计算机设备及存储介质
CN111402294A (zh) * 2020-03-10 2020-07-10 腾讯科技(深圳)有限公司 目标跟踪方法、装置、计算机可读存储介质和计算机设备
WO2021184621A1 (zh) * 2020-03-19 2021-09-23 南京因果人工智能研究院有限公司 一种基于mdp的多目标车辆跟踪方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
在线多目标视频跟踪算法综述;李月峰;周书仁;;计算技术与自动化;20180315(第01期);全文 *
基于YOLOv3与卡尔曼滤波的多目标跟踪算法;任珈民;宫宁生;韩镇阳;;计算机应用与软件;20200512(第05期);全文 *

Also Published As

Publication number Publication date
CN114092516A (zh) 2022-02-25

Similar Documents

Publication Publication Date Title
CN109035299B (zh) 目标跟踪方法、装置、计算机设备及存储介质
CN110020592B (zh) 物体检测模型训练方法、装置、计算机设备及存储介质
CN109426785B (zh) 一种人体目标身份识别方法及装置
CN110807491A (zh) 车牌图像清晰度模型训练方法、清晰度检测方法及装置
CN109670383B (zh) 视频遮蔽区域选取方法、装置、电子设备及系统
CN110706261A (zh) 车辆违章检测方法、装置、计算机设备和存储介质
CN108921026A (zh) 动物身份的识别方法、装置、计算机设备和存储介质
WO2014151035A1 (en) Computer-based method and system of dynamic category object recognition
CN114092515B (zh) 用于障碍遮挡的目标跟踪检测方法、装置、设备及介质
CN111210399B (zh) 一种成像质量评价方法、装置及设备
CN111160275B (zh) 行人重识别模型训练方法、装置、计算机设备和存储介质
CN110428442B (zh) 目标确定方法、目标确定系统和监控安防系统
CN112633255B (zh) 目标检测方法、装置及设备
CN111814690A (zh) 一种目标重识别方法、装置和计算机可读存储介质
CN112580581A (zh) 目标检测方法、装置及电子设备
CN110599514B (zh) 图像分割的方法、装置、电子设备及存储介质
CN109145752A (zh) 用于评估对象检测和跟踪算法的方法、装置、设备和介质
CN113158773B (zh) 一种活体检测模型的训练方法及训练装置
CN114359787A (zh) 目标属性识别方法、装置、计算机设备及存储介质
CN114511922A (zh) 一种体能训练姿态识别方法、装置、设备及存储介质
CN111027434B (zh) 一种行人识别模型的训练方法、装置及电子设备
CN114092516B (zh) 一种多目标跟踪检测方法、装置、设备及介质
CN116091781B (zh) 一种用于图像识别的数据处理方法及装置
CN112053382A (zh) 出入口监测方法、设备及计算机可读存储介质
CN115311680A (zh) 人体图像质量检测方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant