CN110717414B - 一种目标检测追踪方法、装置及设备 - Google Patents

一种目标检测追踪方法、装置及设备 Download PDF

Info

Publication number
CN110717414B
CN110717414B CN201910904165.4A CN201910904165A CN110717414B CN 110717414 B CN110717414 B CN 110717414B CN 201910904165 A CN201910904165 A CN 201910904165A CN 110717414 B CN110717414 B CN 110717414B
Authority
CN
China
Prior art keywords
target object
target
image
tracking
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910904165.4A
Other languages
English (en)
Other versions
CN110717414A (zh
Inventor
毕晓辉
郝旭宁
杜保坤
尚利堃
尹鲁杰
王保杰
刘见
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hisense TransTech Co Ltd
Original Assignee
Hisense TransTech Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hisense TransTech Co Ltd filed Critical Hisense TransTech Co Ltd
Priority to CN201910904165.4A priority Critical patent/CN110717414B/zh
Publication of CN110717414A publication Critical patent/CN110717414A/zh
Application granted granted Critical
Publication of CN110717414B publication Critical patent/CN110717414B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Abstract

本发明公开了一种目标检测追踪方法、装置及设备，用于提高目标追踪过程中各视频监控点位拍摄的视频帧的关联准确度，进而提高目标检测追踪的精准度。该方法包括：将目标对象的特征信息与待检索集合中的图像对应的特征信息进行比对，其中所述目标对象的特征信息是对视频监控点位获取的包含目标对象的视频帧进行特征提取得到的，所述待检索集合中的图像是通过不同类型的目标检测追踪算法从视频监控点位获取的视频帧中筛选出的；根据所述比对结果从所述待检索集合中确定包含目标对象的图像；将已确定的所述目标对象的行动轨迹与所述包含目标对象的图像中的目标对象的行动轨迹进行关联，将得到的行动轨迹作为所述目标对象确定的行动轨迹。

Description

一种目标检测追踪方法、装置及设备
技术领域
本发明涉及技术计算机视觉技术领域，尤其涉及一种目标检测追踪方法、装置及设备。
背景技术
目标追踪作为计算机视觉重要的热点研究领域之一，目的是在连续的图像序列中确定追踪的目标的位置并产生该目标的运动轨迹，目标检测作为目标追踪的基础前提，其主要任务是从图像中定位追踪的目标，目标检测追踪主要对追踪的目标进行检测定位，并确定该目标的追踪轨迹。但由于目前对目标进行检测追踪的过程中，由于拍摄的图像序列中目标可能会发生外观、姿态、尺度的变化，而且受遮挡、光照等环境因素的制约，因此目前仍无法做到对目标的精准追踪。
在公安业务中，目标检测追踪主要应用于嫌疑人的实时追踪和轨迹再现。但公安实战现实场景复杂，利用通用视频监控点位进行目标追踪的过程中，无法保证源获取的图像数据的高质量要求，导致目标追踪过程中各视频监控点位拍摄的视频帧的关联准确度较低，进行目标检测追踪的精准度较差。
发明内容
本发明提供一种目标检测追踪方法，用于提高目标追踪过程中各视频监控点位拍摄的视频帧的关联准确度，进而提高目标检测追踪的精准度。
第一方面，本发明提供一种目标检测追踪方法，该方法包括：
将目标对象的特征信息与待检索集合中的图像对应的特征信息进行比对，其中所述目标对象的特征信息是对视频监控点位获取的包含目标对象的视频帧进行特征提取得到的，所述待检索集合中的图像是通过不同类型的目标检测追踪算法从视频监控点位获取的视频帧中筛选出的；
根据所述比对结果从所述待检索集合中确定包含目标对象的图像；
将已确定的所述目标对象的行动轨迹与所述包含目标对象的图像中的目标对象的行动轨迹进行关联，将得到的行动轨迹作为所述目标对象确定的行动轨迹。
本发明提供的基于时空分析的目标追踪方法，能够将通过路网视频监控点位拍摄的所有包含目标对象的视频帧作为待检索集合，从所述待检索集合中确定出包含目标对象的图像，从而将已确定的目标对象的行动轨迹与所述包含目标对象的图像中的目标对象的行动轨迹进行关联，实现了跨视频监控点位之间的目标对象的轨迹关联，提高了各视频监控点位拍摄的视频帧的关联准确度，进而提高目标检测追踪的精准度。
作为一种可选的实施方式，所述特征信息包括矢量特征、结构化数据及场景信息；
通过如下方式从视频监控点位获取的视频帧中筛选出待检索集合中的图像：
计算视频监控点位获取的视频帧对应的特征信息与预设图像对应的特征信息之间的相似度，得到矢量特征相似度、结构化数据相似度及场景信息相似度；
根据与所述矢量特征、结构化数据及场景信息分别对应的权重因子，对所述矢量特征相似度、结构化数据相似度及场景信息相似度进行加权求和；
按求和值从大到小的顺序从所述视频监控点位获取的视频帧中选取前N个视频帧，并输出选取的所述视频帧；
根据收到的确认指令从选取的所述视频帧中筛选出待检索集合中的图像。
作为一种可选的实施方式，所述特征信息还包括图像中目标的行驶方向；
将目标对象的特征信息与待检索集合中的图像对应的特征信息进行比对，包括：
比对所述目标对象的特征信息与所述图像对应的特征信息之间的相似度，及所述目标对象的行驶方向与所述图像中的目标对象的行驶方向之间的接续度；
根据所述比对结果从所述待检索集合中确定包含目标对象的图像，包括：
将所述相似度大于设定值且所述接续度大于预设值的图像，作为从所述待检索集合中确定的图像。
作为一种可选的实施方式，所述不同类型的目标检测追踪算法包括：人脸检测跟踪算法和行人检测跟踪算法；
将已确定的所述目标对象的行动轨迹与所述包含目标对象的图像中的目标对象的行动轨迹进行关联，还包括：
在获取的同一视频帧中，根据通过人脸检测跟踪算法确定的人脸区域及通过行人检测跟踪算法确定的行人区域之间的交并比IOU值，对所述视频帧中的人脸和行人进行关联；
根据所述视频帧中关联的人脸和行人，将已确定的所述目标对象的人脸行动轨迹与所述图像中的目标对象的行人行动轨迹进行关联，或将已确定的所述目标对象的行人行动轨迹与所述图像中的目标对象的人脸行动轨迹进行关联。
作为一种可选的实施方式，若所述获取的同一视频帧中的待检测目标对象为多个时，对所述视频帧中的人脸和行人进行关联，还包括：
利用预设图像与所述视频帧进行比对，从所述视频帧中的多个待检测目标对象中筛选出与所述预设图像中的目标对象相似度最高的目标对象；
通过人脸检测跟踪算法确定所述相似度最高的目标对象在所述视频帧中的人脸区域，以及通过行人检测跟踪算法确定所述相似度最高的目标对象在所述视频帧中的行人区域；
根据所述人脸区域及所述行人区域之间的交并比IOU值，对所述相似度最高的目标对象中的人脸和行人进行关联。
作为一种可选的实施方式，通过如下方法确定所述视频监控点位：
根据用户设置的包含目标对象的多个视频帧的采集时间和采集多个视频帧的视频监控点位的地理位置信息，预测所述目标对象的行驶速度；
根据已确定的所述目标对象的行动轨迹及预设的方向预测权重，预测所述目标对象的行驶方向；
根据所述行驶速度和行驶方向预测行驶范围，并将所述预测行驶范围内的视频监控点位确定为所述视频监控点位。
作为一种可选的实施方式，将得到的行动轨迹作为所述目标对象确定的行动轨迹之后还包括：
若检测到所述目标对象位于车辆中，且所述车辆的车主与所述目标对象为同一对象，则将利用车辆检测跟踪算法得到的所述车辆的行动轨迹与所述目标对象确定的行动轨迹进行关联。
第二方面，本发明提供一种目标检测追踪装置，该装置设备包括：检索比对模块、确定图像模块、轨迹关联模块，其中：
检索比对模块，用于将目标对象的特征信息与待检索集合中的图像对应的特征信息进行比对，其中所述目标对象的特征信息是对视频监控点位获取的包含目标对象的视频帧进行特征提取得到的，所述待检索集合中的图像是通过不同类型的目标检测追踪算法从视频监控点位获取的视频帧中筛选出的；
确定图像模块，用于根据所述比对结果从所述待检索集合中确定包含目标对象的图像；
轨迹关联模块，用于将已确定的所述目标对象的行动轨迹与所述包含目标对象的图像中的目标对象的行动轨迹进行关联，将得到的行动轨迹作为所述目标对象确定的行动轨迹。
作为一种可选的实施方式，所述特征信息包括矢量特征、结构化数据及场景信息；
所述检索比对模块具体用于：
计算视频监控点位获取的视频帧对应的特征信息与预设图像对应的特征信息之间的相似度，得到矢量特征相似度、结构化数据相似度及场景信息相似度；
根据与所述矢量特征、结构化数据及场景信息分别对应的权重因子，对所述矢量特征相似度、结构化数据相似度及场景信息相似度进行加权求和；
按求和值从大到小的顺序从所述视频监控点位获取的视频帧中选取前N个视频帧，并输出选取的所述视频帧；
根据收到的确认指令从选取的所述视频帧中筛选出待检索集合中的图像。
作为一种可选的实施方式，所述特征信息还包括图像中目标的行驶方向；
所述检索比对模块具体用于：
比对所述目标对象的特征信息与所述图像对应的特征信息之间的相似度，及所述目标对象的行驶方向与所述图像中的目标对象的行驶方向之间的接续度；
根据所述比对结果从所述待检索集合中确定包含目标对象的图像，包括：
将所述相似度大于设定值且所述接续度大于预设值的图像，作为从所述待检索集合中确定的图像。
作为一种可选的实施方式，所述不同类型的目标检测追踪算法包括：人脸检测跟踪算法和行人检测跟踪算法；
所述轨迹关联模块具体还用于：
在获取的同一视频帧中，根据通过人脸检测跟踪算法确定的人脸区域及通过行人检测跟踪算法确定的行人区域之间的交并比IOU值，对所述视频帧中的人脸和行人进行关联；
根据所述视频帧中关联的人脸和行人，将已确定的所述目标对象的人脸行动轨迹与所述图像中的目标对象的行人行动轨迹进行关联，或将已确定的所述目标对象的行人行动轨迹与所述图像中的目标对象的人脸行动轨迹进行关联。
作为一种可选的实施方式，若所述获取的同一视频帧中的待检测目标对象为多个时，所述轨迹关联模块具体还用于：
利用预设图像与所述视频帧进行比对，从所述视频帧中的多个待检测目标对象中筛选出与所述预设图像中的目标对象相似度最高的目标对象；
通过人脸检测跟踪算法确定所述相似度最高的目标对象在所述视频帧中的人脸区域，以及通过行人检测跟踪算法确定所述相似度最高的目标对象在所述视频帧中的行人区域；
根据所述人脸区域及所述行人区域之间的交并比IOU值，对所述相似度最高的目标对象中的人脸和行人进行关联。
作为一种可选的实施方式，所述检索比对模块具体用于：
根据用户设置的包含目标对象的多个视频帧的采集时间和采集多个视频帧的视频监控点位的地理位置信息，预测所述目标对象的行驶速度；
根据已确定的所述目标对象的行动轨迹及预设的方向预测权重，预测所述目标对象的行驶方向；
根据所述行驶速度和行驶方向预测行驶范围，并将所述预测行驶范围内的视频监控点位确定为所述视频监控点位。
作为一种可选的实施方式，还包括人车轨迹关联模块用于：
若检测到所述目标对象位于车辆中，且所述车辆的车主与所述目标对象为同一对象，则将利用车辆检测跟踪算法得到的所述车辆的行动轨迹与所述目标对象确定的行动轨迹进行关联。
第三方面，本发明提供一种目标检测追踪设备，该设备包括：处理器以及存储器，其中，所述存储器存储有程序代码，当所述程序代码被所述处理器执行时，使得所述处理器用于执行如下步骤：
将目标对象的特征信息与待检索集合中的图像对应的特征信息进行比对，其中所述目标对象的特征信息是对视频监控点位获取的包含目标对象的视频帧进行特征提取得到的，所述待检索集合中的图像是通过不同类型的目标检测追踪算法从视频监控点位获取的视频帧中筛选出的；
根据所述比对结果从所述待检索集合中确定包含目标对象的图像；
将已确定的所述目标对象的行动轨迹与所述包含目标对象的图像中的目标对象的行动轨迹进行关联，将得到的行动轨迹作为所述目标对象确定的行动轨迹。
作为一种可选的实施方式，所述特征信息包括矢量特征、结构化数据及场景信息；
所述处理器具体用于：
计算视频监控点位获取的视频帧对应的特征信息与预设图像对应的特征信息之间的相似度，得到矢量特征相似度、结构化数据相似度及场景信息相似度；
根据与所述矢量特征、结构化数据及场景信息分别对应的权重因子，对所述矢量特征相似度、结构化数据相似度及场景信息相似度进行加权求和；
按求和值从大到小的顺序从所述视频监控点位获取的视频帧中选取前N个视频帧，并输出选取的所述视频帧；
根据收到的确认指令从选取的所述视频帧中筛选出待检索集合中的图像。
作为一种可选的实施方式，所述特征信息还包括图像中目标的行驶方向；所述处理器具体用于：
比对所述目标对象的特征信息与所述图像对应的特征信息之间的相似度，及所述目标对象的行驶方向与所述图像中的目标对象的行驶方向之间的接续度；
根据所述比对结果从所述待检索集合中确定包含目标对象的图像，包括：
将所述相似度大于设定值且所述接续度大于预设值的图像，作为从所述待检索集合中确定的图像。
作为一种可选的实施方式，所述不同类型的目标检测追踪算法包括：人脸检测跟踪算法和行人检测跟踪算法；
所述处理器具体还用于：
在获取的同一视频帧中，根据通过人脸检测跟踪算法确定的人脸区域及通过行人检测跟踪算法确定的行人区域之间的交并比IOU值，对所述视频帧中的人脸和行人进行关联；
根据所述视频帧中关联的人脸和行人，将已确定的所述目标对象的人脸行动轨迹与所述图像中的目标对象的行人行动轨迹进行关联，或将已确定的所述目标对象的行人行动轨迹与所述图像中的目标对象的人脸行动轨迹进行关联。
作为一种可选的实施方式，若所述获取的同一视频帧中的待检测目标对象为多个时，所述处理器具体还用于：
利用预设图像与所述视频帧进行比对，从所述视频帧中的多个待检测目标对象中筛选出与所述预设图像中的目标对象相似度最高的目标对象；
通过人脸检测跟踪算法确定所述相似度最高的目标对象在所述视频帧中的人脸区域，以及通过行人检测跟踪算法确定所述相似度最高的目标对象在所述视频帧中的行人区域；
根据所述人脸区域及所述行人区域之间的交并比IOU值，对所述相似度最高的目标对象中的人脸和行人进行关联。
作为一种可选的实施方式，所述处理器具体用于：
根据用户设置的包含目标对象的多个视频帧的采集时间和采集多个视频帧的视频监控点位的地理位置信息，预测所述目标对象的行驶速度；
根据已确定的所述目标对象的行动轨迹及预设的方向预测权重，预测所述目标对象的行驶方向；
根据所述行驶速度和行驶方向预测行驶范围，并将所述预测行驶范围内的视频监控点位确定为所述视频监控点位。
作为一种可选的实施方式，所述处理器具体还用于：
若检测到所述目标对象位于车辆中，且所述车辆的车主与所述目标对象为同一对象，则将利用车辆检测跟踪算法得到的所述车辆的行动轨迹与所述目标对象确定的行动轨迹进行关联。
第四方面，本发明提供一种计算机存储介质，其上存储有计算机程序，该程序被处理单元执行时实现第一方面所述方法的步骤。
另外，第二方面至第四方面中任一种实现方式所带来的技术效果可参见第一方面中不同实现方式所带来的技术效果，此处不再赘述。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种目标检测追踪方法流程图；
图2A-图2E为本发明实施例提供的一种确定目标对象行驶范围的示意图；
图3A为本发明实施例提供的一种目标检测追踪方法的服务架构示意图；
图3B为本发明实施例提供的一种推荐目标点位的方法流程图；
图3C为本发明实施例提供的一种实现追踪的目标对象的轨迹关联流程图；
图4为本发明实施例提供的一种人车并轨分析的方法具体流程图；
图5为本发明实施例提供的一种目标检测追踪装置示意图；
图6为本发明实施例提供的一种目标检测追踪设备示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
本发明实施例中术语“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
本发明实施例描述的应用场景是为了更加清楚的说明本发明实施例的技术方案，并不构成对于本发明实施例提供的技术方案的限定，本领域普通技术人员可知，随着新应用场景的出现，本发明实施例提供的技术方案对于类似的技术问题，同样适用。其中，在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。
首先对本发明中提出的目标检测追踪技术进行说明。
随着人工智能的迅速发展，目标检测追踪技术越来越受到重视，在进行目标检测追踪时，传统的方法是利用卡尔曼滤波算法对目标物体的运动情况进行预测，根据目标物体前一帧的状态预测当前帧的状态，并使用当前观测状态进行校正，从而保证输出状态平稳变化，可有效抵抗观测误差。
在对运动目标进行目标检测跟踪时，通过简单匹配方法来给出目标的第一帧图像和第二帧图像的状态，从第三帧图像的状态开始，就先使用卡尔曼滤波器利用前一帧图像预测出当前帧图像的状态，再用当前帧图像的检测结果作为观测值进行校正，得到的校正结果就认为是目标在当前帧图像的真实状态。
目标检测作为目标追踪的基础前提，在事件识别、场景理解中有广泛的应用，其主要任务是从图像中定位特定目标并识别其属性，具体可以分解为两个关键的步骤目标分类和目标定位，其中：
目标分类是通过训练从数据中获取目标类别的模型，利用模型可以判断输入图像是否是某个特定的类别；
目标定位就是在图像中找到感兴趣目标的区域，一般采用滑动窗口等方式获取候选位置，然后使用分类模型去判断该区域是否存在特定目标，进而确定目标的具体位置。
目标检测处理对象的维度可以分为单张图像静态目标检测和图像序列运动目标检测，基于图像序列的运动目标检测目的是定位运动目标，相对于单张图像目标检测，图像序列运动目标检测能够得到连续多帧图像帧，可以利用检测到的相邻两帧图像帧中目标所在图像帧中的位置关系来预测目标在下一图像帧中的位置，目标追踪是在连续的图像序列中确定特定目标的位置并产生目标的运动轨迹。
本发明提供的目标检测追踪的过程可以理解为包含了目标检测、目标追踪的过程，其中，目标检测可以理解为输入视频帧，输出所述视频帧中目标的检测结果，输出的检测结果包括检测框和所述检测框的置信度，其中所述检测框用于表示检测出的视频帧中的目标在视频帧中的位置，输出的检测框所确定的区域用于表示利用目标检测对所述视频帧进行识别后确定的感兴趣目标区域即(ROI，Region Of Interest)，在所述视频帧中的置信度表示检测框中的目标是需要追踪的目标的概率；
目标追踪可以理解为基于所述检测结果，针对同一个目标对象进行目标检测追踪，在输入的每一视频帧中，输出该目标对象对应的一个检测框，为该目标对象对应的检测框提供一个唯一标识ID，根据该目标对象在多个视频帧中确定的多个具有同一ID的检测框，来表示针对该目标对象的追踪链路，即用针对同一目标对象的检测框的ID来表示该目标对象的追踪链路，所述目标对象的追踪链路可以理解为将不同时刻确定的同一ID的检测框所在视频帧中的位置进行关联，从而根据包含目标对象的多帧视频帧确定目标对象的追踪路径。需要注意的是，该目标追踪的链路是针对同一监控点拍摄到的多张视频帧而言，目标追踪的过程可能持续数秒甚至十数秒，在这个过程中，针对同一个监控点位可能拍摄到的多张图像择优输出原则，即从整个目标跟踪链路中选择一个目标最优快照来输出，该输出策略可以根据检测出的目标的可辨识度，比如人脸正侧面，清晰度等。
其次，对应用于公安业务中的目标检测追踪技术进行说明。
在公安业务中，目标检测追踪技术主要应用于嫌疑人的实时追踪和轨迹再现，但在具体的应用过程中存在如下缺陷：
实际应用效果和理论研究结论存在较大差距：公安实战现实场景复杂，例如图像拍摄角度、图像质量均是影响目标识别精准度的关键因素，但在理论研究中却仅作为数据输入的前提条件，虽然理论研究日趋成熟，但是实际应用却难以落地，因此实际应用中获取通用视频监控点位拍摄的图像，由于不能保证图像的高质量，因此目标追踪的准确率较低，实际应用效果差。
不同目标类型的检测和追踪效果差距大：嫌疑车辆的追踪效果普遍要优于嫌疑人的追踪效果，由于车辆目标车型固定，目标相对较大，而且有车牌号码作为唯一标识属性，检测和追踪有利因素较多，但嫌疑人目标可变弹性空间过大，比如衣着、发式、出行方式的变换等；而且抓拍像素较少，简单遮挡即可影响目标检测结果，如戴帽子、口罩、墨镜等，此外，无法从图像中获得嫌疑人目标的唯一标识属性，因此对嫌疑人目标检测追踪的难度较大、准确率较低。
为了解决上述技术问题，本发明提供了一种目标检测追踪方法，针对公安嫌疑人目标追踪业务，结合各地天网工程中通用视频监控点位建设数量和密度的实际情况，将通用视频监控点位纳入嫌疑人目标追踪的图像来源，降低追踪过程对人脸卡口设备的依赖，同时提高公安实战业务中嫌疑人目标追踪的准确性。
实施例1
首先对本实施例中采用的目标检测追踪算法进行说明：
本实施例在建立与所述每个监控点位的视频会话后，获取所述监控点位集合中的每个监控点位输入的视频帧，从而利用目标检测追踪算法进行目标检测跟踪，所述目标检测跟踪算法包括目标检测、目标跟踪两个步骤，具体步骤如下：
首先，对每个监控点位输入的每一视频帧进行目标检测，输出检测目标框和对应的目标置信度，其中，所述检测目标框用于表示目标在视频帧中的位置，即将检测出的感兴趣区域(ROI，Region Of Interest)作为目标在视频帧中的位置，根据输出检测目标框对应的目标置信度来确定检测目标框中的目标是否为追踪目标；
然后，根据每个监控点位输入的每一视频帧的目标检测结果，以及相邻视频帧之间的关联关系，进行目标跟踪，对于每个监控点位输入的视频帧而言，输出该监控点位检测出的追踪目标的跟踪链路，即为每一个检测目标框确定一个ID，用于标识检测出的追踪目标的跟踪链路。
另外，目标跟踪还可以输出当前视频帧相对前一视频帧中目标的偏移量；还可以输出目标的状态，如输出“是否移出区域”，用于表示目标是否运动到视野边缘消失，针对同一监控点位输入的视频帧，若某次对该视频帧进行目标检测跟踪后未输出目标对象的状态，则很大概率上说明目标被遮挡导致跟踪断裂。
本实施例中利用目标检测追踪算法对获取的视频帧进行目标检测追踪，实时输出“检测+跟踪”的结果，具体的输出结果包括如下内容：
目标检测的输出结果包括：检测框、置信度，其中，检测框用于表示目标对象在视频帧中的区域，检测框所确定的目标对象所在的区域，可以理解为通过目标检测输出的目标对象在视频帧中的感兴趣区域(ROI，Region Of Interest)；置信度用于表示目标对象检测出的置信度，可以理解为检测框中的目标对象是需要进行追踪的目标对象的概率。
目标跟踪的输出结果包括：
目标跟踪链路UID，用于为一个目标对象的检测框提供一个唯一ID，用于标识该目标对象的跟踪链路，即一个UID对应一个目标对象，可以理解的是对于前后相邻的视频帧来说，被判定为同一个目标对象的跟踪链路UID应该是相同的。
当前视频帧中的目标对象相对于前一视频帧中的目标对象的偏移量，可以通过定义一个Java类“Point”来表示，其中“Point”用来表示平面直角坐标系中点的横坐标和纵坐标的信息。
目标跟踪的输出状态，用于针对同一视频监控点位输入的视频帧，对该视频帧进行目标跟踪的输出状态，例如通过“是否移出区域”表示目标对象是否运动到该视频监控点位能够拍摄的视野边缘或消失，当某次进行目标跟踪后输出的视频帧中未输出该目标对象的检测框时，那么大概率为目标被遮挡导致跟踪断裂。
如图1所示，本发明实施例提供一种目标检测追踪方法，用于实现各个视频监控点位获取的视频帧中目标对象的轨迹关联，提高目标检测追踪的精准度，具体实施流程如下：
步骤100、将目标对象的特征信息与待检索集合中的图像对应的特征信息进行比对，其中所述目标对象的特征信息是对视频监控点位获取的包含目标对象的视频帧进行特征提取得到的，所述待检索集合中的图像是通过不同类型的目标检测追踪算法从视频监控点位获取的视频帧中筛选出的；
需要说明的是，本实施例中的目标对象具体指人，本实施例中的待检索集合中的图像是变化的，可选的，可以建立一个检索库用于存储所述待检索集合中的图像，可选的，也可以存储所述待检索集合中的图像对应的特征信息，所述待检索集合中的图像是从视频监控点位获取的视频帧中筛选出的，因此，所述待检索集合可以是在对目标检测追踪的初始化阶段创建，在各视频监控点位不断获取视频帧的过程中，所述待检索集合中的图像也在对应不断增加。
作为一种可选的实施方式，可以在追踪任务初始化阶段建立一个检索库用于存储视频监控点位获取的包含目标对象的视频帧，在追踪任务结束后删除所述检索库中的信息，存储的信息包括但不限于：
1)视频监控点位获取的包含目标对象的视频帧、所述视频帧中的目标对象所在的区域(即感兴趣区域ROI)及目标对象的跟踪链路标识UID、所述视频帧的输出时间戳；
2)所述包含目标对象的视频帧中的目标对象的特征信息；可选的，所述特征信息为所述目标对象的结构化数据，如性别、上身衣服颜色、下身衣服颜色等。
3)所述包含目标对象的视频帧对应的监控点位的标识信息。
本实施例中利用目标对象的特征信息与待检索集合中的图像对应的特征信息进行比对，比对的目的是为了从待检索集合中的图像中筛选出与目标对象最接近的图像，从而将与目标图像最接近的图像中的目标对象的行动轨迹关联起来，实现跨镜头的轨迹关联。
可选的，所述特征信息可以通过如下方式获取：
对视频帧(图像)进行特征提取，得到所述最优帧中的目标的矢量特征；
对视频帧(图像)进行结构化处理，得到所述最优帧中的目标的结构化数据。
其中，所述结构化数据包括性别、年龄、衣服颜色，是否戴眼镜，是否戴帽子；所述矢量特征可理解为无法用结构化数据表示的图像信息，比如，图像的边缘、角，区域等。
本发明实施例在每次视频监控点位获取的视频帧中筛选出待检索集合中的图像，即对目标对象(嫌疑人)进行确认，可选的确认方式包括如下两种：
第一种是选取所述视频帧中与预设图像相似度最高的视频帧，自动确认所述相似度最高的视频帧为包含目标对象的视频帧；所述预设图像为预先获取的包含目标对象(嫌疑人)的高质量图像。
第二种是利用矢量特征、结构化数据及场景信息的加权策略，将预设图像与视频监控点位获取的视频帧对应的特征信息进行相似度计算，按相似度排序推送批量相似目标，并由人工进行确认，从而提高目标对象的检测追踪的准确率，尤其提高了所述目标对象的行人检测追踪的准确率。
作为一种可选的实施方式，本发明实施例采用第二种方法确定视频监控点位获取的包含目标对象的视频帧，若所述特征信息包括矢量特征、结构化数据及场景信息，所述场景信息包括但不限于白天场景、夜晚场景。
本实施例中对获取的视频帧中的图像进行确认后，将确认的图像加入到待检索集合中，保证了待检索集合中的图像都能够包含目标对象，另外，也可以将预设图像加入到待检索集合中，以进行后续检索。
具体的，通过如下方式从视频监控点位获取的视频帧中筛选出待检索集合中的图像：
计算视频监控点位获取的视频帧对应的特征信息与预设图像对应的特征信息之间的相似度，得到矢量特征相似度、结构化数据相似度及场景信息相似度；其中，所述预设图像可以是进行目标检测追踪任务初始导入的目标对象的图片(嫌疑人图片)。
根据与所述矢量特征、结构化数据及场景信息分别对应的权重因子，对所述矢量特征相似度、结构化数据相似度及场景信息相似度进行加权求和；
按求和值从大到小的顺序从所述视频监控点位获取的视频帧中选取前N个视频帧，并输出选取的所述视频帧；
根据收到的确认指令从选取的所述视频帧中筛选出待检索集合中的图像。
本实施例提出的对所述矢量特征、结构化数据及场景信息的权重分配如下表所示。
表1目标对象整体属性权重分配
属性 白天场景 夜晚场景
矢量权重 70％ 60％
标量权重 30％ 40％
合计 100％ 100％
表2目标对象结构化数据权重分配
标量属性 白天场景 夜晚场景
性别 20％ 0％
上衣颜色 25％ 10％
下衣颜色 25％ 10％
背包 10％ 30％
拎东西/手提包 10％ 20％
戴帽子 10％ 30％
合计 100％ 100％
需要说明的是，本实施例中的确定的视频监控点位所在的范围也是变化的，可以理解的是，目标对象是运动的并非静止的，因此目标对象运动到的某一视频监控点位所在的地理位置时，根据预测的该目标对象的行驶范围，从而确定的视频监控点位所在的范围便会进行更新。
可选的，通过如下步骤确定所述视频监控点位：
1)根据用户设置的包含目标对象的多个视频帧的采集时间和采集多个视频帧的视频监控点位的地理位置信息，预测所述目标对象的行驶速度；
若所述目标对象小于2人时，根据预设的速度确定目标对象的行驶速度；
若所述目标对象不小于2人时，根据用户设置的多个视频帧的采集时间和采集多个视频帧的视频监控点位的地理位置信息，计算所述相邻两个视频帧确定的子路段中的速度
Figure BDA0002212769280000171
将所述确定的所有的子路段中的速度的平均值作为所述目标对象的行驶速度；若所述Vi低于最低车速，则过滤掉，将剩下的所有Vi取平均值
Figure BDA0002212769280000172
可选的，还可以设定最低车速来进行纠偏，若所述子路段的速度低于预设的最低速度，则删除所述子路段的速度，即低于最低车速的路线段不参与后续平均车速的计算。避免由于嫌疑目标对象发生逗留等情况，计算出的车速与实际值偏差较大的问题。
2)根据已确定的所述目标对象的行动轨迹及预设的方向预测权重，预测所述目标对象的行驶方向。方向用方位角表示为
Figure BDA0002212769280000173
假设当前有n个点，最后两个点坐标为Pn-1(Xn-1，Yn-1)和Pn(Xn，Yn)，则行进方向
Figure BDA0002212769280000174
在还未确定所述目标对象的行动轨迹时，通过用户设置的包含目标对象的多个视频帧的采集时间和采集多个视频帧的视频监控点位的地理位置信息，将所述采集时间最晚的视频帧的视频监控点位的地理位置作为所述目标对象的基点，计算行驶范围；
若已经确定过所述目标对象的行动轨迹，则预测行驶方向时，将已确定的目标对象的行动轨迹的终点作为基点，计算行驶范围。
设置方向预测权重，从0到1影响力由低到高，设置为0时，不考虑方向预测，即直接根据已确定的所述目标对象的行动轨迹的终点作为基点，计算行驶范围；设置为1时，在预测的行驶方向上，用偏移分析里程后的位置作为基点计算行驶范围。
3)根据所述行驶速度和行驶方向预测行驶范围，并将所述预测行驶范围内的视频监控点位确定为所述视频监控点位。
如图2A，根据上述基点确定分析基点，基点为当前分析的目标对象的实际终点；分析基点为预测方向上按一定权重做的偏移点，目的是加大行驶方向上分析的设备点位的权重；
如图2B，基于分析基点，获取指定里程(如500米内)的服务区范围(利用空间算法进行服务区分析)；
如图2C，选取服务区所有边界点与分析基点分别进行路径分析，确定出道路；
如图2D，利用GIS空间分析创建道路缓冲区；
如图2E，各路径缓冲区进行叠加融合形成最终的缓冲区范围，获取所述缓冲区范围内点位集合。
步骤101、根据所述比对结果从所述待检索集合中确定包含目标对象的图像。
由于目前仅能建立在当前时空条件下已检测行人和人脸目标跟踪链之间，无法实现跨越时空的跟踪链“接续”。如：一个行人在运动过程中，中间因某些原因跟踪失败，导致整体跟踪过程断裂为两段独立的跟踪链，无法对两段独立的跟踪链进行关联。
本实施例中通过比对所述目标对象的特征信息与所述图像对应的特征信息之间的相似度，根据所述比对结果从所述待检索集合中确定包含目标对象的图像，从而将不同监控点位获取的包含目标对象的视频帧中的目标对象的轨迹进行关联。
实施中，若所述特征信息还包括图像中目标的行驶方向；
则比对所述目标对象的特征信息与所述图像对应的特征信息之间的相似度，及所述目标对象的行驶方向与所述图像中的目标对象的行驶方向之间的接续度，其中所述接续度可以理解为行驶方向之间的接近程度；
将所述相似度大于设定值且所述接续度大于预设值的图像，作为从所述待检索集合中确定的图像，从而将已确定的所述目标对象的行动轨迹与所述包含目标对象的图像中的目标对象的行动轨迹进行关联，实现了跨越时空的跟踪链“接续”。
步骤102、将已确定的所述目标对象的行动轨迹与所述包含目标对象的图像中的目标对象的行动轨迹进行关联，将得到的行动轨迹作为所述目标对象确定的行动轨迹。
可选的，所述不同类型的目标检测追踪算法包括：人脸检测跟踪算法和行人检测跟踪算法。
本实施例能够实现更加准确、跨摄像头区域的人员信息精确关联，从而实现“精准追人”，实现的手段具体在于进行轨迹关联，本实例中的轨迹关联包括至少如下步骤：
步骤1、针对同一视频监控点位中，对目标对象的人脸轨迹和行人轨迹各自进行关联。
通过人脸检测跟踪算法对同一视频监控点位获取的包含目标对象的视频帧进行人脸检测跟踪，输出人脸检测框(感兴趣区域ROI)及对应的人脸跟踪链路UID；
同时，通过行人检测跟踪算法对所述同一视频监控点位获取的包含目标对象的视频帧进行行人检测跟踪，输出行人检测框(感兴趣区域ROI)及对应的行人跟踪链路UID；
将所述目标对象的人脸轨迹通过人脸跟踪链路UID进行关联，将所述目标对象的行人轨迹通过行人跟踪链路UID进行关联。
可选的，将上述在同一视频监控点位下关联的人脸轨迹和行人轨迹存储到上述检索库中以用于后续检索进行轨迹关联。
步骤2、针对同一视频帧中，对目标对象的人脸和行人进行关联。
在获取的同一视频帧中，根据通过人脸检测跟踪算法确定的人脸区域及通过行人检测跟踪算法确定的行人区域之间的交并比IOU值，对所述视频帧中的人脸和行人进行关联，实施中，所述IOU值越大表示所述视频帧中的人脸和行人为同一个人的概率越大，可选的，若所述IOU值大于预设阈值时，确定所述视频帧中的人脸和行人为同一个人，对所述视频帧中的人脸和行人进行关联。
具体的计算公式：
Figure BDA0002212769280000201
上述公式中，Area(*)表示*所在的区域，ROI表示检测框，通过同一帧内输出的ROI行人检测框和人脸检测框的位置、大小等信息，判断该行人和人脸是否属于同一个人。
可选的，将上述人脸和行人的关联关系存储到上述检索库中以用于后续检索进行轨迹关联。
可选的，针对连续多帧视频帧，利用步骤2中的方法，对连续多帧视频帧中的每一视频帧中的人脸和行人进行关联，对该关联关系进行强化。
步骤3、根据所述视频帧中关联的人脸和行人，能够对如下轨迹进行关联：
1)将已确定的所述目标对象的人脸行动轨迹与所述图像中的目标对象的人脸行动轨迹进行关联；
2)将已确定的所述目标对象的行人行动轨迹与所述图像中的目标对象的行人行动轨迹进行关联；
3)将已确定的所述目标对象的人脸行动轨迹与所述图像中的目标对象的行人行动轨迹进行关联；
4)将已确定的所述目标对象的行人行动轨迹与所述图像中的目标对象的人脸行动轨迹进行关联。
另外，由于现有技术中无法准确处理“同行”干扰，如果视频中有两个或多个人一直以非常靠近的姿态同行，单纯依靠IOU进行轨迹关联，误关联会升高，可能导致多条行人轨迹或人脸轨迹错误拟合。
鉴于此，本实施例还提供一种去干扰的方法，具体如下：
若所述获取的同一视频帧中的待检测目标对象为多个时，对所述视频帧中的人脸和行人进行关联，还包括：
利用预设图像与所述视频帧进行比对，从所述视频帧中的多个待检测目标对象中筛选出与所述预设图像中的目标对象相似度最高的目标对象；其中，所述预设图像为目标检测跟踪任务初始阶段，由用户提供的追踪的目标的线索图片，该线索图片中的所述目标对象的质量较高。
通过人脸检测跟踪算法确定所述相似度最高的目标对象在所述视频帧中的人脸区域，以及通过行人检测跟踪算法确定所述相似度最高的目标对象在所述视频帧中的行人区域；
根据所述人脸区域及所述行人区域之间的交并比IOU值，对所述相似度最高的目标对象中的人脸和行人进行关联。
可选的，确定出目标对象的行动轨迹后，通过最小二乘曲线拟合算法对所述行动轨迹进行拟合，具体实施方式如下：
对于目标出现的坐标数据{(xi,yi),i＝1,2,…,N},可以用曲线模型对该组数进行描述为：
y(x)＝f(a,x)＝a0+a1x+a2x2+…+anxn(n<N-1)
其中，n是曲线模型的阶数；
求解参数a＝[a0,a1,…,an]T使得拟合模型与实际观测值在各点的残差δi＝f(xi)-yi的加权平方和达到最小，即
Figure BDA0002212769280000211
Figure BDA0002212769280000212
最小。
可选的，本实施例还提供一种人车并行进行目标追踪的方法，将得到的行动轨迹作为所述目标对象确定的行动轨迹之后还包括：
若检测到所述目标对象位于车辆中，且所述车辆的车主与所述目标对象为同一对象，则将利用车辆检测跟踪算法得到的所述车辆的行动轨迹与所述目标对象确定的行动轨迹进行关联。
通常，业内通过判断嫌疑人目标和嫌疑车目标的车主(通过车管库查询获得)是否为同一人，进而进行并轨分析，本发明实施例在上述方法的基础上，首先通过对视频帧中车辆驾驶/副驾驶的人脸进行检测跟踪，建立当前车辆和该人脸档案的关联；其次通过和常口库/重点人员库人脸比对获取驾驶/副驾驶人详细信息；最后综合判断车辆、车主、人脸、驾驶/副驾驶人四路信息确认嫌疑人目标和嫌疑车目标之间的关系，从而在确定了所述车辆的车主与所述目标对象为同一对象，则将利用车辆检测跟踪算法得到的所述车辆的行动轨迹与所述目标对象确定的行动轨迹进行关联，解决了实际情况中驾驶/副驾驶人不是车主等问题，使人车关联逻辑更加完备，提高了并轨分析业务的准确率。
实施例2
下面从时空分析和轨迹关联的角度对本发明实施例提出的一种目标检测追踪方法进行详细说明。
如图3A所示，本实施例提出一种目标检测追踪方法的服务架构，包括如下部分：目标对象初始信息获取部分、时空分析部分、追踪引擎部分、目标对象确认和轨迹刻画部分，其中：
图3A中的目标对象初始信息获取部分，用于获取目标对象(嫌疑人)的初始线索信息，包括从案件线索中导入的包含目标对象的图像(相当于实施例1中的预设图像)、包含目标对象的多个视频帧的采集时间和采集多个视频帧的视频监控点位的地理位置信息等。
可选的，若所述导入的预设图像中存在多个目标对象的情况时，还可以对所述预设图像中的目标对象进行目标提取，提取出需要追踪的目标对象，进而确定需要追踪的目标对象。
图3A中的时空分析部分，用于实现有针对性的目标准追踪，根据行驶速度、行驶方向等影响因子构建行驶区域，再结合路网数据和行驶区域进行时空分析，进而推荐目标点位集合，如图3B所示，具体步骤如下：
步骤300、设定预设行驶速度、最低行驶速度及方向预测权重。
若根据目标对象初始信息获取部分确定需要追踪的目标对象小于2人时，无法预测速度，将目标对象的行驶速度按预设行驶速度计算。可选的，通过配置文件配置预设行驶速度。
设定最低行驶速度，可以利用设定的最低行驶速度纠正预测的行驶速度，不用低于设定最低行驶速度的预测速度进行平均预测速度的计算。
设定方向预测权重，其中，方向预测权重的范围从0-1，可根据需求设定从0-1的任一权重。
步骤301、预测行驶速度。
实施中，根据用户设置的包含目标对象的多个视频帧的采集时间和采集多个视频帧的视频监控点位的地理位置信息，预测所述目标对象的行驶速度。
步骤302、预测行驶方向。
实施中，根据已确定的所述目标对象的行动轨迹及预设的方向预测权重，预测所述目标对象的行驶方向。
步骤303、预测行驶范围。
实施中，根据所述行驶速度和行驶方向预测行驶范围。
步骤304、将所述预测行驶范围内的视频监控点位确定为所述视频监控点位。
图3A中的追踪引擎部分，用于根据所述预测行驶范围内的视频监控点位对目标对象进行检测追踪，同时提取目标对象的特征信息，进行检索比对，实现追踪的目标对象的轨迹关联，如图3C所示，具体实施步骤如下：
步骤305、从所述预测行驶范围内的视频监控点位获取视频帧。
实施中，并行分别同时进行人脸检测跟踪和行人检测跟踪，其中步骤306、步骤307、步骤308是进行人脸检测跟踪的具体步骤，步骤309、步骤310、步骤311是进行行人检测跟踪的具体步骤。
步骤306、通过人脸检测跟踪算法对获取的视频帧进行人脸检测跟踪。
步骤307、将人脸检测跟踪得到的视频帧分别进行人脸特征提取和结构化处理，得到人脸矢量特征和结构化数据；
步骤308、将人脸矢量特征和结构化数据与待检索集合中的图像对应的人脸矢量特征和结构化数据进行比对；
步骤309、通过行人检测跟踪算法对获取的视频帧进行行人检测跟踪。
步骤310、将行人检测跟踪得到的视频帧分别进行行人特征提取和结构化处理，得到行人矢量特征和结构化数据；
步骤311、将行人矢量特征和结构化数据与待检索集合中的图像对应的行人矢量特征和结构化数据进行比对；
步骤312、根据所述比对结果从所述待检索集合中确定包含目标对象的图像；
步骤313、将所述视频帧中的目标对象已确定的行动轨迹与所述包含目标对象的图像中的目标对象的行动轨迹进行关联。
图3A中的目标对象确认和轨迹刻画部分，用于根据特征信息进行加权后的比对结果，人工确认目标对象，从所述待检索集合中将确认的目标对象对应的已关联的行动轨迹进行拟合，实现对目标对象的检测追踪。
本实施例还提供一种人车并轨分析的方法，同时对车辆和车辆中的驾驶或副驾驶人脸进行目标检测识别，基于车辆检测跟踪算法得到车辆的行动轨迹，基于本实施例1中的目标检测跟踪算法得到人脸的行动轨迹，然后对车辆车主和驾驶或副驾驶中的目标对象的人脸进行比对，当比对结果一致时，将人车轨迹进行关联，实现了人车并轨分析。
如图4所示，具体流程如下：
步骤400、从视频监控点位获取视频帧。
若检测到所述目标对象位于车辆中时，并行通过如下步骤同时进行车辆检测跟踪和人脸检测跟踪，其中步骤401、步骤402、步骤403、步骤404是对车辆进行检测跟踪并确定车辆行动轨迹的具体步骤，步骤405、步骤406、步骤407、步骤408是利用本实施例1中的方法对车辆中的人脸进行检测跟踪并确定人脸行动轨迹的具体步骤。
步骤401、利用车辆检测跟踪算法对车辆进行检测识别；
步骤402、对车辆进行特征提取和结构化处理，得到车辆的矢量特征和结构化数据；
步骤403、确定所述车辆的行动轨迹；
步骤404、从车管库中获取车辆的车主信息；
步骤405、利用驾驶或副驾驶人脸检测识别、通用人脸检测识别对车辆中的目标对象的人脸进行检测；
步骤406、对目标对象的人脸进行特征提取和结构化处理，得到人脸的矢量特征和结构化数据；
步骤407、确定所述目标对象的人脸行动轨迹；
具体的，将目标对象的人脸特征信息与待检索集合中的图像对应的特征信息进行比对，根据所述比对结果从所述待检索集合中确定包含目标对象的图像；将已确定的所述目标对象的人脸行动轨迹与所述包含目标对象的图像中的目标对象的人脸行动轨迹进行关联，将得到的人脸行动轨迹作为所述目标对象确定的人脸行动轨迹。
步骤408、将所述目标对象的人脸与常口库或重点人员库进行比对，获取所述目标对象的人脸的信息；
步骤409、确定所述车辆的车主与所述目标对象为同一对象时，将利用车辆检测跟踪算法得到的所述车辆的行动轨迹与所述目标对象确定的行动轨迹进行关联。
实施例3
基于相同的发明构思，本发明实施例还提供了一种目标检测追踪装置，由于该装置即是本发明实施例中的方法中的装置，并且该装置解决问题的原理与该方法相似，因此该装置的实施可以参见方法的实施，重复之处不再赘述。
如图5所示，该装置包括：检索比对模块500、确定图像模块501、轨迹关联模块502，其中：
检索比对模块500，用于将目标对象的特征信息与待检索集合中的图像对应的特征信息进行比对，其中所述目标对象的特征信息是对视频监控点位获取的包含目标对象的视频帧进行特征提取得到的，所述待检索集合中的图像是通过不同类型的目标检测追踪算法从视频监控点位获取的视频帧中筛选出的；
确定图像模块501，用于根据所述比对结果从所述待检索集合中确定包含目标对象的图像；
轨迹关联模块502，用于将已确定的所述目标对象的行动轨迹与所述包含目标对象的图像中的目标对象的行动轨迹进行关联，将得到的行动轨迹作为所述目标对象确定的行动轨迹。
作为一种可选的实施方式，所述特征信息包括矢量特征、结构化数据及场景信息；
所述检索比对模块500具体用于：
计算视频监控点位获取的视频帧对应的特征信息与预设图像对应的特征信息之间的相似度，得到矢量特征相似度、结构化数据相似度及场景信息相似度；
根据与所述矢量特征、结构化数据及场景信息分别对应的权重因子，对所述矢量特征相似度、结构化数据相似度及场景信息相似度进行加权求和；
按求和值从大到小的顺序从所述视频监控点位获取的视频帧中选取前N个视频帧，并输出选取的所述视频帧；
根据收到的确认指令从选取的所述视频帧中筛选出待检索集合中的图像。
作为一种可选的实施方式，所述特征信息还包括图像中目标的行驶方向；
所述检索比对模块500具体用于：
比对所述目标对象的特征信息与所述图像对应的特征信息之间的相似度，及所述目标对象的行驶方向与所述图像中的目标对象的行驶方向之间的接续度；
根据所述比对结果从所述待检索集合中确定包含目标对象的图像，包括：
将所述相似度大于设定值且所述接续度大于预设值的图像，作为从所述待检索集合中确定的图像。
作为一种可选的实施方式，所述不同类型的目标检测追踪算法包括：人脸检测跟踪算法和行人检测跟踪算法；
所述轨迹关联模块502具体还用于：
在获取的同一视频帧中，根据通过人脸检测跟踪算法确定的人脸区域及通过行人检测跟踪算法确定的行人区域之间的交并比IOU值，对所述视频帧中的人脸和行人进行关联；
根据所述视频帧中关联的人脸和行人，将已确定的所述目标对象的人脸行动轨迹与所述图像中的目标对象的行人行动轨迹进行关联，或将已确定的所述目标对象的行人行动轨迹与所述图像中的目标对象的人脸行动轨迹进行关联。
作为一种可选的实施方式，若所述获取的同一视频帧中的待检测目标对象为多个时，所述轨迹关联模块502具体还用于：
利用预设图像与所述视频帧进行比对，从所述视频帧中的多个待检测目标对象中筛选出与所述预设图像中的目标对象相似度最高的目标对象；
通过人脸检测跟踪算法确定所述相似度最高的目标对象在所述视频帧中的人脸区域，以及通过行人检测跟踪算法确定所述相似度最高的目标对象在所述视频帧中的行人区域；
根据所述人脸区域及所述行人区域之间的交并比IOU值，对所述相似度最高的目标对象中的人脸和行人进行关联。
作为一种可选的实施方式，所述检索比对模块500具体用于：
根据用户设置的包含目标对象的多个视频帧的采集时间和采集多个视频帧的视频监控点位的地理位置信息，预测所述目标对象的行驶速度；
根据已确定的所述目标对象的行动轨迹及预设的方向预测权重，预测所述目标对象的行驶方向；
根据所述行驶速度和行驶方向预测行驶范围，并将所述预测行驶范围内的视频监控点位确定为所述视频监控点位。
作为一种可选的实施方式，还包括人车轨迹关联模块502用于：
若检测到所述目标对象位于车辆中，且所述车辆的车主与所述目标对象为同一对象，则将利用车辆检测跟踪算法得到的所述车辆的行动轨迹与所述目标对象确定的行动轨迹进行关联。
实施例4
基于相同的发明构思，本发明实施例中还提供了一种目标检测追踪设备，由于该设备即是本发明实施例中的方法中的设备，并且该设备解决问题的原理与该方法相似，因此该设备的实施可以参见方法的实施，重复之处不再赘述。
如图6所示，该设备包括：处理器600以及存储器601，其中，所述存储器存储有程序代码，当所述程序代码被所述处理器执行时，使得所述处理器用于执行如下步骤：
将目标对象的特征信息与待检索集合中的图像对应的特征信息进行比对，其中所述目标对象的特征信息是对视频监控点位获取的包含目标对象的视频帧进行特征提取得到的，所述待检索集合中的图像是通过不同类型的目标检测追踪算法从视频监控点位获取的视频帧中筛选出的；
根据所述比对结果从所述待检索集合中确定包含目标对象的图像；
将已确定的所述目标对象的行动轨迹与所述包含目标对象的图像中的目标对象的行动轨迹进行关联，将得到的行动轨迹作为所述目标对象确定的行动轨迹。
作为一种可选的实施方式，所述特征信息包括矢量特征、结构化数据及场景信息；
所述处理器600具体用于：
计算视频监控点位获取的视频帧对应的特征信息与预设图像对应的特征信息之间的相似度，得到矢量特征相似度、结构化数据相似度及场景信息相似度；
根据与所述矢量特征、结构化数据及场景信息分别对应的权重因子，对所述矢量特征相似度、结构化数据相似度及场景信息相似度进行加权求和；
按求和值从大到小的顺序从所述视频监控点位获取的视频帧中选取前N个视频帧，并输出选取的所述视频帧；
根据收到的确认指令从选取的所述视频帧中筛选出待检索集合中的图像。
作为一种可选的实施方式，所述特征信息还包括图像中目标的行驶方向；所述处理器600具体用于：
比对所述目标对象的特征信息与所述图像对应的特征信息之间的相似度，及所述目标对象的行驶方向与所述图像中的目标对象的行驶方向之间的接续度；
根据所述比对结果从所述待检索集合中确定包含目标对象的图像，包括：
将所述相似度大于设定值且所述接续度大于预设值的图像，作为从所述待检索集合中确定的图像。
作为一种可选的实施方式，所述不同类型的目标检测追踪算法包括：人脸检测跟踪算法和行人检测跟踪算法；
所述处理器600具体还用于：
在获取的同一视频帧中，根据通过人脸检测跟踪算法确定的人脸区域及通过行人检测跟踪算法确定的行人区域之间的交并比IOU值，对所述视频帧中的人脸和行人进行关联；
根据所述视频帧中关联的人脸和行人，将已确定的所述目标对象的人脸行动轨迹与所述图像中的目标对象的行人行动轨迹进行关联，或将已确定的所述目标对象的行人行动轨迹与所述图像中的目标对象的人脸行动轨迹进行关联。
作为一种可选的实施方式，若所述获取的同一视频帧中的待检测目标对象为多个时，所述处理器600具体还用于：
利用预设图像与所述视频帧进行比对，从所述视频帧中的多个待检测目标对象中筛选出与所述预设图像中的目标对象相似度最高的目标对象；
通过人脸检测跟踪算法确定所述相似度最高的目标对象在所述视频帧中的人脸区域，以及通过行人检测跟踪算法确定所述相似度最高的目标对象在所述视频帧中的行人区域；
根据所述人脸区域及所述行人区域之间的交并比IOU值，对所述相似度最高的目标对象中的人脸和行人进行关联。
作为一种可选的实施方式，所述处理器600具体用于：
根据用户设置的包含目标对象的多个视频帧的采集时间和采集多个视频帧的视频监控点位的地理位置信息，预测所述目标对象的行驶速度；
根据已确定的所述目标对象的行动轨迹及预设的方向预测权重，预测所述目标对象的行驶方向；
根据所述行驶速度和行驶方向预测行驶范围，并将所述预测行驶范围内的视频监控点位确定为所述视频监控点位。
作为一种可选的实施方式，所述处理器600具体还用于：
若检测到所述目标对象位于车辆中，且所述车辆的车主与所述目标对象为同一对象，则将利用车辆检测跟踪算法得到的所述车辆的行动轨迹与所述目标对象确定的行动轨迹进行关联。
本发明实施例还提供一种计算机可读非易失性存储介质，包括程序代码，当所述程序代码在计算终端上运行时，所述程序代码用于使所述计算终端执行如下步骤：
将目标对象的特征信息与待检索集合中的图像对应的特征信息进行比对，其中所述目标对象的特征信息是对视频监控点位获取的包含目标对象的视频帧进行特征提取得到的，所述待检索集合中的图像是通过不同类型的目标检测追踪算法从视频监控点位获取的视频帧中筛选出的；
根据所述比对结果从所述待检索集合中确定包含目标对象的图像；
将已确定的所述目标对象的行动轨迹与所述包含目标对象的图像中的目标对象的行动轨迹进行关联，将得到的行动轨迹作为所述目标对象确定的行动轨迹。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的设备。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令设备的制造品，该指令设备实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种目标检测追踪方法，其特征在于，该方法包括：
在追踪任务初始化阶段建立一个检索库用于存储视频监控点位获取的包含目标对象的视频帧，在追踪任务结束后删除所述检索库中的信息，存储的信息包括视频监控点位获取的包含目标对象的视频帧、所述视频帧中的目标对象所在的区域、所述目标对象的跟踪链路标识UID、所述视频帧的输出时间戳、包含目标对象的视频帧中的目标对象的特征信息、包含目标对象的视频帧对应的监控点位的标识信息；所述特征信息包括矢量特征、结构化数据及场景信息；
将目标对象的特征信息与待检索集合中的图像对应的特征信息进行比对，其中所述目标对象的特征信息是对视频监控点位获取的包含目标对象的视频帧进行特征提取得到的，所述待检索集合中的图像是通过不同类型的目标检测追踪算法从视频监控点位获取的视频帧中筛选出的；其中，在各视频监控点位获取视频帧的过程中对应增加所述待检索集合中的图像；通过如下方式从所述待检索集合中确定包含目标对象的图像：选取所述待检索集合中与预设图像相似度最高的图像，所述预设图像为预先获取的包含目标对象的高质量图像；或，所述特征信息包括矢量特征、结构化数据及场景信息；利用矢量特征、结构化数据及场景信息的加权策略，将预设图像与所述待检索集合中的图像对应的特征信息进行相似度计算，按相似度排序推送批量相似目标，选取由人工进行确认的图像；
根据所述比对结果从所述待检索集合中确定包含目标对象的图像；在确定包含目标对象的图像之后，将所述包含目标对象的图像添加到所述待检索集合中；
将已确定的所述目标对象的行动轨迹与所述包含目标对象的图像中的目标对象的行动轨迹进行关联，将得到的行动轨迹作为所述目标对象确定的行动轨迹。
2.根据权利要求1所述的方法，其特征在于，
通过如下方式从视频监控点位获取的视频帧中筛选出待检索集合中的图像：
计算视频监控点位获取的视频帧对应的特征信息与预设图像对应的特征信息之间的相似度，得到矢量特征相似度、结构化数据相似度及场景信息相似度；
根据与所述矢量特征、结构化数据及场景信息分别对应的权重因子，对所述矢量特征相似度、结构化数据相似度及场景信息相似度进行加权求和；
按求和值从大到小的顺序从所述视频监控点位获取的视频帧中选取前N个视频帧，并输出选取的所述视频帧；
根据收到的确认指令从选取的所述视频帧中筛选出待检索集合中的图像。
3.根据权利要求2所述的方法，其特征在于，所述特征信息还包括图像中目标的行驶方向；
将目标对象的特征信息与待检索集合中的图像对应的特征信息进行比对，包括：
比对所述目标对象的特征信息与所述图像对应的特征信息之间的相似度，及所述目标对象的行驶方向与所述图像中的目标对象的行驶方向之间的接近程度；
根据所述比对结果从所述待检索集合中确定包含目标对象的图像，包括：
将所述相似度大于设定值且所述接近程度大于预设值的图像，作为从所述待检索集合中确定的图像。
4.根据权利要求1所述的方法，其特征在于，所述不同类型的目标检测追踪算法包括：人脸检测跟踪算法和行人检测跟踪算法；
将已确定的所述目标对象的行动轨迹与所述包含目标对象的图像中的目标对象的行动轨迹进行关联，还包括：
在获取的同一视频帧中，根据通过人脸检测跟踪算法确定的人脸区域及通过行人检测跟踪算法确定的行人区域之间的交并比IOU值，对所述视频帧中的人脸和行人进行关联；
根据所述视频帧中关联的人脸和行人，将已确定的所述目标对象的人脸行动轨迹与所述图像中的目标对象的行人行动轨迹进行关联，或将已确定的所述目标对象的行人行动轨迹与所述图像中的目标对象的人脸行动轨迹进行关联。
5.根据权利要求4所述的方法，其特征在于，若所述获取的同一视频帧中的待检测目标对象为多个时，对所述视频帧中的人脸和行人进行关联，还包括：
利用预设图像与所述视频帧进行比对，从所述视频帧中的多个待检测目标对象中筛选出与所述预设图像中的目标对象相似度最高的目标对象；
通过人脸检测跟踪算法确定所述相似度最高的目标对象在所述视频帧中的人脸区域，以及通过行人检测跟踪算法确定所述相似度最高的目标对象在所述视频帧中的行人区域；
根据所述人脸区域及所述行人区域之间的交并比IOU值，对所述相似度最高的目标对象中的人脸和行人进行关联。
6.根据权利要求1所述的方法，其特征在于，通过如下方法确定所述视频监控点位：
根据用户设置的包含目标对象的多个视频帧的采集时间和采集多个视频帧的视频监控点位的地理位置信息，预测所述目标对象的行驶速度；
根据已确定的所述目标对象的行动轨迹及预设的方向预测权重，预测所述目标对象的行驶方向；
根据所述行驶速度和行驶方向预测行驶范围，并将所述预测行驶范围内的视频监控点位确定为所述视频监控点位。
7.根据权利要求1所述的方法，其特征在于，将得到的行动轨迹作为所述目标对象确定的行动轨迹之后还包括：
若检测到所述目标对象位于车辆中，且所述车辆的车主与所述目标对象为同一对象，则将利用车辆检测跟踪算法得到的所述车辆的行动轨迹与所述目标对象确定的行动轨迹进行关联。
8.一种目标检测追踪装置，其特征在于，该装置设备包括：检索比对模块、确定图像模块、轨迹关联模块，其中：
检索比对模块，用于在追踪任务初始化阶段建立一个检索库用于存储视频监控点位获取的包含目标对象的视频帧，在追踪任务结束后删除所述检索库中的信息，存储的信息包括视频监控点位获取的包含目标对象的视频帧、所述视频帧中的目标对象所在的区域、所述目标对象的跟踪链路标识UID、所述视频帧的输出时间戳、包含目标对象的视频帧中的目标对象的特征信息、包含目标对象的视频帧对应的监控点位的标识信息；所述特征信息包括矢量特征、结构化数据及场景信息；将目标对象的特征信息与待检索集合中的图像对应的特征信息进行比对，其中所述目标对象的特征信息是对视频监控点位获取的包含目标对象的视频帧进行特征提取得到的，所述待检索集合中的图像是通过不同类型的目标检测追踪算法从视频监控点位获取的视频帧中筛选出的；其中，在各视频监控点位获取视频帧的过程中对应增加所述待检索集合中的图像；通过如下方式从所述待检索集合中确定包含目标对象的图像：选取所述待检索集合中与预设图像相似度最高的图像，所述预设图像为预先获取的包含目标对象的高质量图像；或，所述特征信息包括矢量特征、结构化数据及场景信息；利用矢量特征、结构化数据及场景信息的加权策略，将预设图像与所述待检索集合中的图像对应的特征信息进行相似度计算，按相似度排序推送批量相似目标，选取由人工进行确认的图像；
确定图像模块，用于根据所述比对结果从所述待检索集合中确定包含目标对象的图像；在确定包含目标对象的图像之后，将所述包含目标对象的图像添加到所述待检索集合中；
轨迹关联模块，用于将已确定的所述目标对象的行动轨迹与所述包含目标对象的图像中的目标对象的行动轨迹进行关联，将得到的行动轨迹作为所述目标对象确定的行动轨迹。
9.一种目标检测追踪设备，其特征在于，该设备包括：处理器以及存储器，其中，所述存储器存储有程序代码，当所述程序代码被所述处理器执行时，使得所述处理器执行权利要求1～7任一所述方法的步骤。
10.一种计算机存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1～7任一所述方法的步骤。
CN201910904165.4A 2019-09-24 2019-09-24 一种目标检测追踪方法、装置及设备 Active CN110717414B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910904165.4A CN110717414B (zh) 2019-09-24 2019-09-24 一种目标检测追踪方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910904165.4A CN110717414B (zh) 2019-09-24 2019-09-24 一种目标检测追踪方法、装置及设备

Publications (2)

Publication Number Publication Date
CN110717414A CN110717414A (zh) 2020-01-21
CN110717414B true CN110717414B (zh) 2023-01-03

Family

ID=69210017

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910904165.4A Active CN110717414B (zh) 2019-09-24 2019-09-24 一种目标检测追踪方法、装置及设备

Country Status (1)

Country Link
CN (1) CN110717414B (zh)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111612814A (zh) * 2020-02-04 2020-09-01 北京旷视科技有限公司 发热人员识别与追踪方法、装置和电子系统
CN111339852B (zh) * 2020-02-14 2023-12-26 阿波罗智联(北京)科技有限公司 追踪方法、装置、电子设备和计算机可读存储介质
CN111339898A (zh) * 2020-02-21 2020-06-26 上海商汤智能科技有限公司 行为检测方法和装置、计算机可读存储介质、计算机设备
CN111027525B (zh) * 2020-03-09 2020-06-30 中国民用航空总局第二研究所 疫情期间公共场所潜在被感染者追踪方法、装置及系统
CN111462200B (zh) * 2020-04-03 2023-09-19 中国科学院深圳先进技术研究院 一种跨视频行人定位追踪方法、系统及设备
CN111860190B (zh) * 2020-06-24 2024-04-12 国汽(北京)智能网联汽车研究院有限公司 目标追踪的方法、装置、设备及存储介质
CN111935450A (zh) * 2020-07-15 2020-11-13 长江大学 一种智能疑犯追踪方法、系统及计算机可读存储介质
CN111784745A (zh) * 2020-07-28 2020-10-16 国网江苏省电力有限公司南通供电分公司 一种用于封样送检的样品追踪方法与系统
CN112131419A (zh) * 2020-08-17 2020-12-25 浙江大华技术股份有限公司 图像档案的合并方法、装置、电子设备和存储介质
CN112017171B (zh) * 2020-08-27 2021-10-26 四川云从天府人工智能科技有限公司 一种图像处理指标评估方法、系统、设备和介质
CN112422772B (zh) * 2020-10-23 2023-12-01 深圳市优必选科技股份有限公司 图像获取方法、图像获取装置、终端设备及可读存储介质
CN112417977B (zh) * 2020-10-26 2023-01-17 青岛聚好联科技有限公司 一种目标对象查找方法和终端
CN112309118B (zh) * 2020-11-03 2021-11-09 广州市交通规划研究院 一种基于时空相似度的车辆轨迹推算方法
CN112418026B (zh) * 2020-11-11 2023-06-02 宁波职业技术学院 基于视频检测的车辆违章检测方法、系统和装置
CN112633063B (zh) * 2020-11-18 2023-06-30 深圳供电局有限公司 一种人物行动跟踪系统及其方法
CN113033281B (zh) * 2020-12-16 2024-04-09 浙江大华技术股份有限公司 一种对象重识别的方法、装置及设备
CN112507953B (zh) * 2020-12-21 2022-10-14 重庆紫光华山智安科技有限公司 一种目标搜索及追踪方法和装置及设备
CN112541464A (zh) * 2020-12-21 2021-03-23 北京百度网讯科技有限公司 关联道路对象的确定方法、装置、路侧设备和云控平台
CN112699810B (zh) * 2020-12-31 2024-04-09 中国电子科技集团公司信息科学研究院 一种提升室内监控系统人物识别精度的方法及装置
CN112906466A (zh) * 2021-01-15 2021-06-04 深圳云天励飞技术股份有限公司 图像关联方法、系统及设备以及图像搜索方法及系统
CN112818172B (zh) * 2021-01-18 2023-04-18 浙江大华技术股份有限公司 视频检索方法、电子装置和存储介质
CN112907628A (zh) * 2021-02-09 2021-06-04 北京有竹居网络技术有限公司 视频目标追踪方法、装置、存储介质及电子设备
CN112785628B (zh) * 2021-02-09 2023-08-08 成都视海芯图微电子有限公司 一种基于全景视角检测跟踪的轨迹预测方法及系统
CN113158794A (zh) * 2021-03-16 2021-07-23 西安天和防务技术股份有限公司 目标检测方法、边缘设备及计算机可读存储介质
CN112967276B (zh) * 2021-03-31 2023-09-05 杭州海康威视数字技术股份有限公司 对象检测方法、装置、内窥镜系统、电子设备及存储介质
CN112926542B (zh) * 2021-04-09 2024-04-30 博众精工科技股份有限公司 一种性别检测方法、装置、电子设备及存储介质
CN113343795B (zh) * 2021-05-24 2024-04-26 广州智慧城市发展研究院 一种目标关联视频追踪处理方法
CN113378005B (zh) * 2021-06-03 2023-06-02 北京百度网讯科技有限公司 事件处理方法、装置、电子设备以及存储介质
CN113642404A (zh) * 2021-07-13 2021-11-12 季华实验室 目标识别检测关联方法、设备、介质及计算机程序产品
CN113553951B (zh) * 2021-07-23 2024-04-16 北京市商汤科技开发有限公司 对象关联方法及装置、电子设备、计算机可读存储介质
CN114663648A (zh) * 2022-03-11 2022-06-24 深圳市商汤科技有限公司 结构化目标检测方法、装置、设备及存储介质
CN114724230A (zh) * 2022-06-10 2022-07-08 湖北微模式科技发展有限公司 一种签字人身份识别的方法与系统
CN114973166B (zh) * 2022-07-26 2022-10-25 中诚华隆计算机技术有限公司 一种交通信息追踪方法、系统及计算机设备
CN115731287B (zh) * 2022-09-07 2023-06-23 滁州学院 基于集合与拓扑空间的运动目标检索方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010152543A (ja) * 2008-12-24 2010-07-08 Fujitsu Ltd 検出装置、検出方法および検出プログラム
CN101840507A (zh) * 2010-04-09 2010-09-22 江苏东大金智建筑智能化系统工程有限公司 基于角点特征不变量和图论聚类的目标跟踪方法
CN101877130A (zh) * 2009-04-29 2010-11-03 中国科学院自动化研究所 复杂场景下基于粒子滤波器的运动目标跟踪方法
JP2017162409A (ja) * 2016-03-11 2017-09-14 ヤンマー株式会社 顔の表情と動作の認識装置及び方法
CN107273905A (zh) * 2017-06-14 2017-10-20 电子科技大学 一种结合运动信息的目标主动轮廓跟踪方法
CN107316322A (zh) * 2017-06-27 2017-11-03 上海智臻智能网络科技股份有限公司 视频跟踪方法和装置、以及对象识别方法和装置
CN108230353A (zh) * 2017-03-03 2018-06-29 北京市商汤科技开发有限公司 目标跟踪方法、系统及电子设备
CN109446942A (zh) * 2018-10-12 2019-03-08 北京旷视科技有限公司 目标跟踪方法、装置和系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010152543A (ja) * 2008-12-24 2010-07-08 Fujitsu Ltd 検出装置、検出方法および検出プログラム
CN101877130A (zh) * 2009-04-29 2010-11-03 中国科学院自动化研究所 复杂场景下基于粒子滤波器的运动目标跟踪方法
CN101840507A (zh) * 2010-04-09 2010-09-22 江苏东大金智建筑智能化系统工程有限公司 基于角点特征不变量和图论聚类的目标跟踪方法
JP2017162409A (ja) * 2016-03-11 2017-09-14 ヤンマー株式会社 顔の表情と動作の認識装置及び方法
CN108230353A (zh) * 2017-03-03 2018-06-29 北京市商汤科技开发有限公司 目标跟踪方法、系统及电子设备
CN107273905A (zh) * 2017-06-14 2017-10-20 电子科技大学 一种结合运动信息的目标主动轮廓跟踪方法
CN107316322A (zh) * 2017-06-27 2017-11-03 上海智臻智能网络科技股份有限公司 视频跟踪方法和装置、以及对象识别方法和装置
CN109446942A (zh) * 2018-10-12 2019-03-08 北京旷视科技有限公司 目标跟踪方法、装置和系统

Also Published As

Publication number Publication date
CN110717414A (zh) 2020-01-21

Similar Documents

Publication Publication Date Title
CN110717414B (zh) 一种目标检测追踪方法、装置及设备
CN105678811B (zh) 一种基于运动检测的人体异常行为检测方法
CN103971386B (zh) 一种动态背景场景下的前景检测方法
Angah et al. Tracking multiple construction workers through deep learning and the gradient based method with re-matching based on multi-object tracking accuracy
US11367219B2 (en) Video analysis apparatus, person retrieval system, and person retrieval method
CN112883819A (zh) 多目标跟踪方法、装置、系统及计算机可读存储介质
CN111639551A (zh) 基于孪生网络和长短期线索的在线多目标跟踪方法和系统
Liao et al. A localized approach to abandoned luggage detection with foreground-mask sampling
CN110852269B (zh) 一种基于特征聚类的跨镜头人像关联分析方法及装置
CN110414441B (zh) 一种行人行踪分析方法及系统
CN108198201A (zh) 一种多目标跟踪方法、终端设备及存储介质
CN104615986B (zh) 利用多检测器对场景变化的视频图像进行行人检测的方法
CN111935450A (zh) 一种智能疑犯追踪方法、系统及计算机可读存储介质
CN104966305A (zh) 基于运动矢量划分的前景检测方法
CN111666860A (zh) 一种车牌信息与车辆特征融合的车辆轨迹跟踪方法
CN113436229A (zh) 一种多目标跨摄像机行人轨迹路径的生成方法
Elihos et al. Deep learning based segmentation free license plate recognition using roadway surveillance camera images
Li et al. Visual slam in dynamic scenes based on object tracking and static points detection
CN114581990A (zh) 一种跑步智能测试方法以及装置
Islam et al. Correlating belongings with passengers in a simulated airport security checkpoint
Khan et al. Foreground detection using motion histogram threshold algorithm in high-resolution large datasets
Czyzewski et al. Examining Kalman filters applied to tracking objects in motion
Sun et al. Dynamic multi-cue tracking using particle filter
CN114898287A (zh) 用于餐盘检测预警的方法、装置、电子设备、存储介质
Qin et al. Scene segmentation based on seeded region growing for foreground detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant