CN110443828A - 对象跟踪方法和装置、存储介质及电子装置 - Google Patents

对象跟踪方法和装置、存储介质及电子装置 Download PDF

Info

Publication number
CN110443828A
CN110443828A CN201910704621.0A CN201910704621A CN110443828A CN 110443828 A CN110443828 A CN 110443828A CN 201910704621 A CN201910704621 A CN 201910704621A CN 110443828 A CN110443828 A CN 110443828A
Authority
CN
China
Prior art keywords
image
target
target object
similarity
space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910704621.0A
Other languages
English (en)
Inventor
黄湘琦
周文
陈泳君
唐梦云
颜小云
唐艳平
涂思嘉
冷鹏宇
刘水生
牛志伟
董超
路明
贺鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201910704621.0A priority Critical patent/CN110443828A/zh
Publication of CN110443828A publication Critical patent/CN110443828A/zh
Priority to PCT/CN2020/102667 priority patent/WO2021017891A1/zh
Priority to US17/366,513 priority patent/US20210343027A1/en
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/48Matching video sequences
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30232Surveillance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30241Trajectory

Abstract

本发明公开了一种对象跟踪方法和装置、存储介质及电子装置。该方法包括:获取至少一个图像采集设备采集到的至少一张图像;根据至少一张图像获取目标对象的第一外观特征和目标对象的第一时空特征;获取目标对象与当前已记录的全局跟踪对象队列中每个全局跟踪对象之间的外观相似度和时空相似度;在根据外观相似度和时空相似度确定出目标对象与目标全局跟踪对象相匹配的情况下,为目标对象分配与目标全局跟踪对象对应的目标全局标识;利用目标全局标识确定与目标对象关联的多个图像采集设备所采集到的多张关联图像;根据多张关联图像生成与目标对象相匹配的跟踪轨迹。本发明解决了相关技术对象跟踪准确性较差的技术问题。

Description

对象跟踪方法和装置、存储介质及电子装置
技术领域
本发明涉及数据监控领域,具体而言,涉及一种对象跟踪方法和装置、存储介质及电子装置。
背景技术
为了对公共区域实现安全防护,通常会在公共区域安装视频监控系统。通过该视频监控系统所监控到的画面,来对公共区域发生的突发事件实现事前智能预警、事中及时告警、事后高效追溯。
然而,目前在传统的视频监控系统中,往往只能获取到在单个摄像头下监控到的孤立的画面,而无法对各个摄像头的画面进行关联。也就是说,在一个摄像头拍摄的画面中发现目标对象时,只能确定该目标对象当时所在的位置,而无法对该目标对象进行实时定位跟踪,从而导致对象跟踪准确性较差的问题。
针对上述的问题,目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种对象跟踪方法和装置、存储介质及电子装置,以至少解决相关技术对象跟踪准确性较差的技术问题。
根据本发明实施例的一个方面,提供了一种对象跟踪方法,包括:获取至少一个图像采集设备采集到的至少一张图像,其中,上述至少一张图像中包括至少一个目标对象;根据上述至少一张图像获取上述目标对象的第一外观特征和上述目标对象的第一时空特征;获取上述目标对象与当前已记录的全局跟踪对象队列中每个全局跟踪对象之间的外观相似度和时空相似度,其中,上述外观相似度为上述目标对象的上述第一外观特征与上述全局跟踪对象的第二外观特征之间的相似度,上述时空相似度为上述目标对象的上述第一时空特征与上述全局跟踪对象的第二时空特征之间的相似度;在根据上述外观相似度和上述时空相似度确定出上述目标对象与上述全局跟踪对象队列中的目标全局跟踪对象相匹配的情况下,为上述目标对象分配与上述目标全局跟踪对象对应的目标全局标识,以使上述目标对象与上述目标全局跟踪对象建立关联关系;利用上述目标全局标识确定与上述目标对象关联的多个图像采集设备所采集到的多张关联图像;根据上述多张关联图像生成与上述目标对象相匹配的跟踪轨迹。
根据本发明实施例的另一方面,还提供了一种对象跟踪装置,包括:第一获取单元,用于获取至少一个图像采集设备采集到的至少一张图像,其中,上述至少一张图像中包括至少一个目标对象;第二获取单元,用于根据上述至少一张图像获取上述目标对象的第一外观特征和上述目标对象的第一时空特征;第三获取单元,用于获取上述目标对象与当前已记录的全局跟踪对象队列中每个全局跟踪对象之间的外观相似度和时空相似度,其中,上述外观相似度为上述目标对象的上述第一外观特征与上述全局跟踪对象的第二外观特征之间的相似度,上述时空相似度为上述目标对象的上述第一时空特征与上述全局跟踪对象的第二时空特征之间的相似度;分配单元,用于在根据上述外观相似度和上述时空相似度确定出上述目标对象与上述全局跟踪对象队列中的目标全局跟踪对象相匹配的情况下,为上述目标对象分配与上述目标全局跟踪对象对应的目标全局标识,以使上述目标对象与上述目标全局跟踪对象建立关联关系;第一确定单元,用于利用上述目标全局标识确定与上述目标对象关联的多个图像采集设备所采集到的多张关联图像;生成单元,用于根据上述多张关联图像生成与上述目标对象相匹配的跟踪轨迹。
根据本发明实施例的又一方面,还提供了一种存储介质,该存储介质中存储有计算机程序,其中,该计算机程序被设置为运行时执行上述对象跟踪方法。
根据本发明实施例的又一方面,还提供了一种电子装置,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其中,上述处理器通过计算机程序执行上述的对象跟踪方法。
在本发明实施例中,在本实施例中,在获取至少一个图像采集设备采集到的包含目标对象的至少一张图像的情况下,提取上述目标对象的第一外观特征和第一时空特征,以便于通过比对确定该目标对象与全局跟踪对象队列中每个全局跟踪对象之间的外观相似度和时空相似度,从而实现根据上述外观相似度和时空相似度确定出目标对象是否为全局跟踪对象。在确定该目标对象为目标全局跟踪对象的情况下,为其分配全局标识,以便于利用该全局标识获取与目标对象关联的全部关联图像,从而实现基于上述关联图像的时空特征生成目标对象对应的跟踪轨迹。也就是说,在获取一个目标对象之后,根据其外观特征和时空特征进行全局搜索。在搜索出与目标对象匹配的目标全局跟踪对象的情况下,为其分配目标全局跟踪对象的全局标识,以利用该全局标识触发对多个关联图像采集设备已采集到的关联图像的联动,实现对标记有相同的全局标识的关联图像进行整合,以便于生成上述目标对象的跟踪轨迹。而不再是单一地参考独立的位置,从而实现对该目标对象进行实时定位跟踪,进而解决了相关技术对象跟踪准确性较差的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是根据本发明实施例的一种可选的对象跟踪方法的网络环境的示意图;
图2是根据本发明实施例的一种可选的对象跟踪方法的流程图;
图3是根据本发明实施例的一种可选的对象跟踪方法的示意图;
图4是根据本发明实施例的另一种可选的对象跟踪方法的示意图;
图5是根据本发明实施例的又一种可选的对象跟踪方法的示意图;
图6是根据本发明实施例的又一种可选的对象跟踪方法的示意图;
图7是根据本发明实施例的又一种可选的对象跟踪方法的示意图;
图8是根据本发明实施例的一种可选的对象跟踪装置的结构示意图;
图9是根据本发明实施例的一种可选的电子装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
相关缩略语定义:
1)轨迹:人员在真实楼宇建筑环境中行走后,映射到电子地图上的行动轨迹;
2)智能安防:替代传统安防的被动防御,实现事前智能预警、事中及时告警、事后高效追溯,解决传统视频监控系统被动人防、低效检索的现状。
3)人工智能(Artificial Intelligence,简称AI)人形识别:是基于人的身形、衣着、步态、姿势等特征信息进行身份识别的一种AI视频算法技术,通过摄像头捕捉的画面来分析以上特征,对比多个人物个体,区分画面中哪些个体属于同一人,并以此进行人员轨迹跟踪串联及其他分析。
4)轨迹跟踪:追踪某些人员在监控范围内的全部行动路径。
5)BIM:(Building Information Modeling)技术是目前已经在全球范围内得到业界的广泛认可,它可以帮助实现建筑信息的集成,从建筑的设计、施工、运行直至建筑全寿命周期的终结,各种信息始终整合于一个三维模型信息数据库中,设计团队、施工单位、设施运营部门和业主等各方人员可以基于BIM进行协同工作,有效提高工作效率、节省资源、降低成本、以实现可持续发展。
6)电子地图:基于BIM模型对建筑空间进行结构化后,将物联设备直接显示在二维或三维地图上供用户操作和选择
根据本发明实施例的一个方面,提供了一种对象跟踪方法,可选地,作为一种可选的实施方式,上述对象跟踪方法可以但不限于应用于如图1所示的对象跟踪系统所在的网络环境中。该对象跟踪系统可以包括但不限于:图像采集设备102、网络104、用户设备106及服务器108。其中,上述图像采集设备102用于采集指定区域的图像,以实现对该区域内出现的对象的监控跟踪。上述用户设备106中包括人机交互屏幕1062,处理器1064,存储器1066。人机交互屏幕1062用于显示图像采集设备102采集到的图像,还用于获取对该图像执行的人机交互操作;处理器1064用于响应上述人机交互操作确定待跟踪的目标对象;存储器1066用于存储上述图像。服务器108包括:单屏处理模块1082、数据库1084以及跨屏处理量模块1086。其中,单屏处理模块1082用于获取一个图像采集设备采集的图像,并对该图像进行特征提取,得到其中包含的移动的目标对象的外观特征和时空特征;跨屏处理模块1086用于获取上述单屏处理模块1082的处理结果,并对上述处理结果进行整合,以确定上述目标对象是否为数据库1084中存储的全局跟踪对象队列中的全局跟踪对象。并在确定出目标对象与目标全局跟踪对象匹配的情况下,生成相应的跟踪轨迹。
具体过程如以下步骤:如步骤S102,图像采集设备102将采集到的图像通过网络104发送给服务器108,服务器108将把上述图像存储到数据库1084中。
进一步,如步骤S104,获取用户设备106通过人机交互屏幕1062选取的至少一张图像,其中包括至少一个目标对象。然后通过单屏处理模块1082和跨屏处理模块1086执行步骤S106-S114:根据上述至少一张图像获取目标对象的第一外观特征和目标对象的第一时空特征;获取上述目标对象与当前已记录的全局跟踪对象队列中每个全局跟踪对象之间的外观相似度和时空相似度。并在根据上述外观相似度和时空相似度确定出目标对象与目标全局跟踪对象相匹配的情况下,为上述目标对象分配与目标全局跟踪对象对应的目标全局标识,以使该目标对象与目标全局跟踪对象建立关联关系;利用目标全局标识确定与上述目标对象关联的多个图像采集设备采集到的多张关联图像;根据上述多张关联图像来生成上述目标对象的跟踪轨迹。
然后如步骤S116-S118,服务器108将上述跟踪轨迹通过网络104发送给用户设备106,并在该用户设备106中显示上述目标对象的跟踪轨迹。
需要说明的是,在本实施例中,在获取至少一个图像采集设备采集到的包含目标对象的至少一张图像的情况下,提取上述目标对象的第一外观特征和第一时空特征,以便于通过比对确定该目标对象与全局跟踪对象队列中每个全局跟踪对象之间的外观相似度和时空相似度,从而实现根据上述外观相似度和时空相似度确定出目标对象是否为全局跟踪对象。在确定该目标对象为目标全局跟踪对象的情况下,为其分配全局标识,以便于利用该全局标识获取与目标对象关联的全部关联图像,从而实现基于上述关联图像的时空特征生成目标对象对应的跟踪轨迹。也就是说,在获取一个目标对象之后,根据其外观特征和时空特征进行全局搜索。在搜索出与目标对象匹配的目标全局跟踪对象的情况下,为其分配目标全局跟踪对象的全局标识,以利用该全局标识触发对多个关联图像采集设备已采集到的关联图像的联动,实现对标记有相同的全局标识的关联图像进行整合,以便于生成上述目标对象的跟踪轨迹。而不再是单一地参考独立的位置,从而实现对该目标对象进行实时定位跟踪,进而克服相关技术中对象跟踪准确性较差的问题。
可选地,在本实施例中,上述用户设备可以但不限于为手机、平板电脑、笔记本电脑、个人计算机(Personal Computer,简称PC)等支持运行应用客户端的终端设备。上述服务器与用户设备可以但不限于通过网络实现数据交互,上述网络可以包括但不限于无线网络或有线网络。其中,该无线网络包括:蓝牙、WIFI及其他实现无线通信的网络。上述有线网络可以包括但不限于:广域网、城域网、局域网。上述仅是一种示例,本实施例中对此不作任何限定。
可选地,作为一种可选的实施方式,如图2所示,上述对象跟踪方法包括:
S202,获取至少一个图像采集设备采集到的至少一张图像,其中,至少一张图像中包括至少一个目标对象;
S204,根据至少一张图像获取目标对象的第一外观特征和目标对象的第一时空特征;
S206,获取目标对象与当前已记录的全局跟踪对象队列中每个全局跟踪对象之间的外观相似度和时空相似度,其中,外观相似度为目标对象的第一外观特征与全局跟踪对象的第二外观特征之间的相似度,时空相似度为目标对象的第一时空特征与全局跟踪对象的第二时空特征之间的相似度;
S208,在根据外观相似度和时空相似度确定出目标对象与全局跟踪对象队列中的目标全局跟踪对象相匹配的情况下,为目标对象分配与目标全局跟踪对象对应的目标全局标识,以使目标对象与目标全局跟踪对象建立关联关系;
S210,利用目标全局标识确定与目标对象关联的多个图像采集设备所采集到的多张关联图像;
S212,根据多张关联图像生成与目标对象相匹配的跟踪轨迹。
可选地,在本实施例中,上述对象跟踪方法可以但不限于应用于对象监控平台,该对象监控平台可以但不限于是基于在建筑内安装的至少两个图像采集设备所采集到的图像,对选定的至少一个目标对象进行实时跟踪定位的平台应用。其中,上述图像采集设备可以但不限于为安装在建筑内的摄像头,如红外摄像头或其他配置有摄像头的物联网设备等。上述建筑可以但不限于配置有基于建筑信息模型(Building Information Modeling,简称BIM)构建的地图,如电子地图,在该电子地图中将标记显示物联网中的各个物联网设备所在位置,如上述摄像头所在位置。此外,在本实施例中,上述目标对象可以但不限于为图像中识别出移动对象,如待监控的人。对应的,上述目标对象的第一外观特征可以包括但不限于是基于行人重识别(Person Re-Identification,简称Re-ID)技术和人脸识别技术,来对上述目标对象的外形提取出的特征,如身高、体型、服饰等信息。上述图像可以为图像采集设备按照预定周期采集到离散图像中的图像,也可以为图像采集设备实时录制的视频中的图像,也就是说,本实施例中的图像来源可以是图像集合,也可以是视频中的图像帧。本实施例中对此不作限定。此外,上述目标对象的第一时空特征可以包括但不限于最新采集到该目标对象的采集时间戳及目标对象所在最新位置。也就是说,通过比对外观特征和时空特征,从全局跟踪对象队列中确定出当前目标对象是否已被标记为全局跟踪对象,若是,则为其分配全局标识,并基于该全局标识直接联动获取关联的图像采集设备局部采集到的关联图像,以便于直接利用上述关联图像确定出上述待跟踪的目标对象的位置移动路线,从而实现快速准确地生成其跟踪轨迹的效果。
需要说明的是,上述图2所示对象跟踪方法可以但不限于用于图1所示的服务器108中。在服务器108获取各个图像采集设备102返回的图像及用户设备106确定的目标对象之后,通过比对外观相似度和时空相似度,确定是否为目标对象分配全局标识,以便于联动该全局标识对应的多张关联图像,来生成目标对象的跟踪轨迹,从而实现跨设备对至少一个目标对象的实时跟踪定位的效果。
可选地,在本实施例中,在获取至少一个图像采集设备采集到的至少一张图像之前,还可以包括但不限于:获取目标建筑内各个图像采集设备采集到的图像以及基于BIM为目标建筑创建的电子地图;在电子地图中标记出上述目标建筑内各个图像采集设备所在位置;根据上述采集到的图像来生成在该目标建筑内的全局跟踪对象队列。
需要说明的是,在中心节点服务器尚未生成全局跟踪对象队列的情况下,则可以基于采集到的图像中首次识别出的对象构建上述全局跟踪对象队列。进一步,在全局跟踪对象队列中包括至少一个全局跟踪对象的情况下,则在获取到目标对象的情况下,可以通过比对目标对象与上述至少一个全局跟踪对象的外观特征和时空特征,以根据比对得到的外观相似度和时空相似度来确定二者是否匹配。并在匹配的情况下,通过为目标对象分配全局标识,来建立二者的关联关系。
可选地,在本实施例中,上述目标对象与每个全局跟踪对象之间的外观相似度可以包括但不限于:比对目标对象的第一外观特征和全局跟踪对象的第二外观特征;获取二者之间的特征距离作为上述目标对象与全局跟踪对象的外观相似度。其中,上述外观特征可以包括但不限于:身高、体型、服饰、发型等特征。上述仅是示例,本实施例中对此不作任何限定。
需要说明的是,在本实施例中,上述第一外观特征和第二外观特征可以但不限于为多维外观特征,通过获取二者之间的余弦距离或欧式距离,来作为二者之间的特征距离,即外观相似度。进一步,在本实施例中,可以但不限于采用非归一化的欧式距离。上述仅是示例,本实施例中还可以但不限于采用其他距离计算方式来确定多维外观特征之间的相似度,本实施例在此不作限定。
此外,在本实施例中,在获取到图像采集设备采集到的图像之后,可以但不限于通过单屏处理模块运用目标检测技术对图像中包含的移动对象进行检测,其中目标检测技术可以包括但不限于单点多框检测(Single Shot Multibox Detector,简称SSD)、单次阅览检测(You Only Look Once,简称YOLO)等技术。进一步,再用跟踪算法对上述检测出的移动对象进行跟踪计算,为该移动对象分配局部标识。其中,上述跟踪算法可以包括但不限于相关滤波算法(Kernel Correlation Filter,简称KCF),以及基于深度神经网络的跟踪算法,如SiameseNet等等。在确定移动对象所在目标检测框的同时,基于上述行人重识别(PersonRe-Identification,简称Re-ID)技术和人脸识别技术来提取其外观特征,并采用openpose或maskrcnn等相关算法检测移动对象的人体关键点。
然后将通过上述过程获取的人的局部标识、人体检测框、提取出的外观特征、人体关键点等信息推送至跨屏处理模块,以便于进行全局信息的整合比对。
需要说明的是,上述实施例中的算法均为示例,在本实施例中对此不作任何限定。
可选地,在本实施例中,上述目标对象与每个全局跟踪对象之间的时空相似度可以包括但不限于为:获取目标对象的最新的第一时空特征(即最新检测到该目标对象的采集时间戳和位置信息),以及全局跟踪对象的最新的第二时空特征(即最新检测到该全局跟踪对象的采集时间戳和位置信息);结合时间和位置信息来确定二者之间的时空相似度。
需要说明的是,在本实施例中,在确定上述时空相似度时需要参考的依据可以包括但不限于以下至少之一:出现的最新时间差、以及是否出现在同一个图像采集设备采集到的图像内、不同图像采集设备之间则区分是否相邻(或称邻接)以及是否有拍摄重叠区域。具体可以包括:
1)同一个对象在同一时间不能出现在不同位置;
2)当对象消失后,时间越久,则之前检测出的位置信息的可信度越低;
3)对于拍摄重叠区域,可利用地平面之间的仿射变换来确定位置这里可以是统一映射至物理世界坐标系,也可以是有重叠的摄像头画面坐标系之间的相对转换,本实施例中对此不作限定;
4)同一个图像采集设备内出现的对象之间的距离,可以但不限于为两个人体检测框之间的距离,该距离并非单纯的考虑检测框中心点,而是同时考虑了检测框的大小对相似度的影响。
需要说明的是,在本实施例中,利用物理世界中的平面投影到图像采集设备所采集的图像中的成像满足仿射变换这一性质,可以对大地平面的实际物理坐标系和图像坐标系之间的转换关系进行建模。需要事前标定至少3对特征点即可完成仿射变换模型的计算。通常情况下可假设人体是站立于地面上,即人体足部位于地平面之上,若足部可见则可将足部特征点的图像位置换算至全局物理位置。有地面拍摄重叠区域的摄像头之间,也可以用同样的方法实现图像采集设备所采集到的图像之间的相对坐标转换。上述仅是坐标转换过程参考的一个维度,本实施例中的处理过程不限于此。
可选地,在本实施例中,针对一个目标对象与一个全局跟踪对象,可以但不限于对二者之间的外观相似度和时空相似度进行加权求和计算,以得到上述目标对象与全局跟踪对象之间的相似度。进一步,根据该相似度确定目标对象是否需要分配与该全局跟踪对象对应的全局标识,以便于基于该全局标识对目标对象进行全局搜索,获取全部关联图像,从而实现基于上述全部关联图像来确定目标对象的移动位置的变化,以便于生成用于实时跟踪定位的跟踪轨迹。
此外,在本实施例中,针对M个目标对象和全局跟踪对象队列中的N个全局跟踪对象,可以但不限于在根据外观相似度和时空相似度确定出上述的相似度矩阵(M*N)之后,再用带权重的匈牙利算法球的最佳数据匹配,以实现对M个目标对象分配对应的全局标识,达到提高匹配效率的目的。
可选地,在本实施例中,获取至少一个图像采集设备采集到的至少一张图像可以包括但不限于:在对象监控平台(如应用APP-1)的显示界面中呈现所有候选的图像中选定一张图像,然后将该图像中包含的对象作为目标对象。例如,如图3所示为一个图像采集设备在时间段17:00-18:00内采集到的全部图像,通过人机交互操作(如勾选点击等操作)确定将图像A中包含的对象301作为目标对象。上述仅是一种示例,上述目标对象可以为一个或多个,上述显示界面也可以通过选择切换呈现不同图像采集设备在不同时间段内采集到的图像,本实施例中对此不作任何限定。
可选地,在本实施例中,在利用外观相似度和时空相似度进行比对后,确定目标对象与全局跟踪对象队列中的目标全局跟踪对象相匹配的情况下,为该目标对象分配目标全局标识,并获取具有该目标全局标识的全部关联图像。然后基于上述关联图像的时空特征对关联图像进行排列,并在与目标建筑对应的地图中,按照采集时间戳标记采集到上述关联图像的位置,以生成上述目标对象的跟踪轨迹,实现全局跟踪监控的效果。例如,如图4所示,假设根据关联图像确定出目标对象(如已选定的对象301)出现在图4所示三个位置,则根据这三个位置在该目标建筑对应的地图内标记,以生成如图4所示的跟踪轨迹。
进一步,在本实施例中,跟踪轨迹上可以但不限于包括操作控件。响应对该操作控件执行的操作,可以显示在该位置上采集到的图像或视频。如图5所示,上述操作控件对应的图标可以为图中所示数字“①、②、③”,在点击上述数字图标后,可以但不限于呈现如图5所示的采集画面,以便于灵活查看对应位置上监控到的内容。
需要说明的是,在本实施例中,在确定目标对象时,若要扩大搜索范围,可以调整相似度比对的阈值,并增加用户反选操作,以通过人眼再在扩大的范围内进行搜索目标确认,如图6,用户可以在每个图像采集设备下勾选自己觉得相关的对象,从而更好的辅助算法完成搜索结果。
此外,在本实施例中,在获取到至少一张图像来确定目标对象时,还可以但不限于:对相邻且视野有重叠的图像采集设备所采集的图像中包含的对象进行比对,以确定二者是否为同一对象,以建立二者的关联关系。
通过本申请提供的实施,在获取一个目标对象之后,根据其外观特征和时空特征进行全局搜索。在搜索出与目标对象匹配的目标全局跟踪对象的情况下,为其分配目标全局跟踪对象的全局标识,以利用该全局标识触发对多个关联图像采集设备已采集到的关联图像的联动,实现对标记有相同的全局标识的关联图像进行整合,以便于生成上述目标对象的跟踪轨迹。而不再是单一地参考独立的位置,从而实现对该目标对象进行实时定位跟踪,进而克服相关技术中对象跟踪准确性较差的问题。
作为一种可选的方法,根据多张关联图像生成与目标对象相匹配的跟踪轨迹包括:
S1,获取多张关联图像中每张关联图像内目标对象的第三时空特征;
S2,根据第三时空特征对多张关联图像进行排列,得到图像序列;
S3,在安装有至少一个图像采集设备的目标建筑对应的地图中,根据图像序列标记目标对象出现的位置,以生成目标对象的跟踪轨迹。
可选地,在本实施例中,在确定所要跟踪的对象为目标对象,且该目标对象与全局跟踪对象队列中的目标全局跟踪对象相匹配的情况下,为该目标对象分配目标全局标识,以使得该目标对象基于该目标全局标识,可以对全部已采集到的图像进行全局搜索,获取到关联的多张关联图像,并获取每张关联图像内所包含的目标对象的第三时空特征,如包括采集该目标对象的采集时间戳,及目标对象所在位置。从而实现根据第三时空特征中的采集时间戳的指示,对目标对象出现的位置进行排列,并将上述位置标记在地图中,以生成目标对象实时跟踪的轨迹。
需要说明的是,在本实施例中,上述时空特征中所指示的目标对象的位置可以但不限于根据采集到目标对象的图像采集设备的位置,以及目标对象在图像中的图像位置来共同确定。此外,还需区分图像采集设备是否相邻,视野是否有重叠等信息来精准定位出目标对象所在的位置。
具体结合图4所示进行说明,假设获取到3组关联图像,并确定出目标对象出现的位置依次为:第一组关联图像指示目标对象第一次出现的位置为第三列房间1旁边,第二组关联图像指示目标对象第二次出现的位置为第二列房间1旁边,第三组关联图像指示目标对象第三次出现的为左侧电梯。则可以在建筑对应的BIM电子地图中标记上述位置,并生成轨迹(如图4所示带箭头的轨迹),作为该目标对象的跟踪轨迹。
需要说明的是,上述多张关联图像可以但不限于为多个图像采集设备采集到的不同的图像,也可以为多个图像采集设备采集到的视频流数据中提取出的不同的图像。也就是说,上述一组图像可以但不限于为一个图像采集设备采集到的一组离散图像集合,或一个视频。上述仅是示例,本示例中不作任何限定。
可选地,在本实施例中,在安装有至少一个图像采集设备对应的地图中,根据图像序列标记目标对象出现的位置,以生成目标对象的跟踪轨迹之后,还包括:
S4,显示跟踪轨迹,其中,跟踪轨迹中包括多个操作控件,操作控件与目标对象出现的位置具有映射关系;
S5,响应对操作控件执行的操作,显示在操作控件所指示的位置上采集到的目标对象的图像。
需要说明的是,上述操作控件可以但不限于为人机交互界面设置的交互控件,该操作控件对应的人机交互操作可以包括但不限于:单击操作、双击操作、滑动操作等。在获取到对操作控件执行的操作后,响应该操作,将可以弹出显示窗口,以展示在该位置上采集到的图像,如一张截图或一段视频。
具体结合图5所示,假设仍以上述场景为例进行说明,上述操作控件对应的图标可以为图中所示数字“①、②、③”。进一步,假设已点击上述数字图标,则可以呈现如图5所示的采集画面或视频,以便于直接查看该目标对象经过该位置时的画面,以便于对上述目标对象的行动进行完整回放。
通过本申请提供的实施例,在确定待跟踪的目标对象,且该目标对象与目标全局跟踪对象相匹配的情况下,通过为该目标对象分配与目标全局跟踪对象相匹配的目标全局标识,以使得目标对象可以利用该目标全局标识实现对全部采集图像的全局联动搜索,得到采集到目标对象的多张关联图像。进一步,基于上述多张关联图像中目标对象的时空特征,确定该目标对象的移动路线,以保证快速准确地生成该目标对象的跟踪轨迹,达到对目标对象的定位跟踪的目的。
作为一种可选的方法,在获取目标对象与当前已记录的全局跟踪对象队列中每个全局跟踪对象之间的外观相似度和时空相似度之后,还包括:
S1,依次将全局跟踪对象队列中的每个全局跟踪对象作为当前全局跟踪对象,执行以下步骤:
S12,对当前全局跟踪对象的外观相似度及时空相似度进行加权计算,得到目标对象与当前全局跟踪对象之间的当前相似度;
S14,在当前相似度大于第一阈值的情况下,确定当前全局跟踪对象为目标全局跟踪对象。
需要说明的是,为了保证定位跟踪的全面性和准确性,在本实施例中,需要对目标对象与全局跟踪对象队列中包括的每个全局跟踪对象进行比对,以便于确定出与该目标对象匹配的目标全局跟踪对象。
可选地,在本实施例中,上述目标对象与全局跟踪对象之间的外观相似度可以但不限于通过以下步骤确定:获取当前全局跟踪对象的第二外观特征;获取第二外观特征与第一外观特征之间的特征距离,其中,特征距离包括以下至少之一:余弦距离、欧式距离;将特征距离作为目标对象与当前全局跟踪对象之间的外观相似度。
进一步,在本实施例中,可以但不限于采用非归一化处理的欧式距离。其中,上述外观特征可以但不限于是基于行人重识别(Person Re-Identification,简称Re-ID)技术和人脸识别技术,来对上述目标对象的外形提取出的多维特征,如身高、体型、服饰、发型等信息。进一步,将第一外观特征中的多维特征转化为第一外观特征向量,对应的将第二外观特征中的多维特征转化为第二外观特征向量。然后,比对上述第一外观特征向量和第二外观特征向量,得到向量距离(如欧式距离)。并将该向量距离作为两个对象的外观相似度。
可选地,在本实施例中,上述目标对象与全局跟踪对象之间的时空相似度可以但不限于通过以下步骤确定:在对当前全局跟踪对象的外观相似度及时空相似度进行加权计算,得到目标对象与当前全局跟踪对象之间的当前相似度之前,还包括:确定出获取到目标对象的最新的第一时空特征的第一图像采集设备,及获取到当前全局跟踪对象的最新的第二时空特征的第二图像采集设备二者之间的位置关系;获取目标对象的最新的第一时空特征中的第一采集时间戳,及当前全局跟踪对象的最新的第二时空特征中的第二采集时间戳二者之间的时间差;根据位置关系及时间差确定目标对象与当前全局跟踪对象二者之间的时空相似度。
也就是说,结合位置关系与时间差来共同确定目标对象与全局跟踪对象之间的时空相似度。其中,在确定上述时空相似度时需要参考的依据可以包括但不限于以下至少之一:出现的最新时间差、以及是否出现在同一个图像采集设备采集到的图像内、不同图像采集设备之间则区分是否相邻(或称邻接)以及是否有拍摄重叠区域。
通过本申请提供的实施例,通过比对外观特征得到外观相似度,通过比对时空特征得到时空相似度,进一步融合外观相似度与时空相似度,得到用于标识目标对象与全局跟踪对象之间的相似度。从而实现结合外观和时空两个维度确定二者之间的关联关系,以便于快速而准确地确定出目标对象匹配的全局跟踪对象,以提高匹配效率,进而缩短获取关联图像以生成跟踪轨迹的时长,实现提高轨迹生成效率的效果。
作为一种可选的方法,根据位置关系及时间差确定目标对象与当前全局跟踪对象二者之间的时空相似度包括:
1)在时间差大于第二阈值的情况下,根据第一目标值确定目标对象与当前全局跟踪对象二者之间的时空相似度,其中,第一目标值小于第三阈值;
2)在时间差小于第二阈值且大于零,且位置关系指示第一图像采集设备与第二图像采集设备为同一设备的情况下,获取第一图像采集设备中包含目标对象的第一图像采集区域与第二图像采集设备中包含当前全局跟踪对象的第二图像采集区域二者之间的第一距离,根据第一距离确定时空相似度;
3)在时间差小于第二阈值且大于零,且位置关系指示第一图像采集设备与第二图像采集设备为相邻设备的情况下,对第一图像采集设备中包含目标对象的第一图像采集区域的各个像素点进行坐标转换,得到在第一目标坐标系下的第一坐标;对第二图像采集设备中包含当前全局跟踪对象的第二图像采集区域的各个像素点进行坐标转换,得到在第一目标坐标系下的第二坐标;获取第一坐标与第二坐标之间的第二距离,根据第二距离确定时空相似度;
4)在时间差等于零,且位置关系指示第一图像采集设备与第二图像采集设备为同一设备的情况下,或者,在时间差等于零,且位置关系指示第一图像采集设备与第二图像采集设备为相邻设备但视野无重叠的情况下,或者,在位置关系指示第一图像采集设备与第二图像采集设备为非相邻设备的情况下,根据第二目标值确定目标对象与当前全局跟踪对象二者之间的时空相似度,其中,第二目标值大于第四阈值。
需要说明的是,由于时间差越大,对应的位置关系的可信度越低;同一个对象在同一时间不能出现在位置并未邻接的不同图像采集设备中。位置邻接且视野有重叠的不同图像采集设备中采集到的对象可以通过比对确定是否为同一对象,以便于建立对象之间的关联。
基于上述需要考虑的诸项因素,在本示例中可以但不限于通过时间和空间两个维度来确定时空相似度。具体可以结合表1所示进行说明,其中,假设第一图像采集设备用Cam_1表示,第二图像采集设备用Cam_2表示,二者之间的时间差用t_diff表示。
表1
假设第二阈值以但不限于为表1所示T1或T2,第一目标值可以但不限于为表1所示INF_MAX或常数c,第二目标值也可以但不限于为表1所示INF_MAX。具体的,可以参照如下示例情况:
1)在时间差t_diff>T2,且位置关系指示Cam_1==Cam_2,或Cam_1!=Cam_2,但Cam_1与Cam_2为相邻设备(也可称作邻接)的情况下,则根据上述常数c确定目标对象与当前全局跟踪对象之间的时空相似度。
2)在时间差t_diff>T2,且位置关系指示Cam_1为非相邻设备(无邻接)的情况下,则根据INF_MAX确定目标对象与当前全局跟踪对象之间的时空相似度,其中,INF_MAX表示无限大,基于此确定出的时空相似度表示二者之间的时空相似性极小。
3)在时间差T1<t_diff≤T2,且位置关系指示Cam_1==Cam_2的情况下,则根据上述常数c确定目标对象与当前全局跟踪对象之间的时空相似度。
4)在时间差T1<t_diff≤T2,且位置关系指示Cam_1!=Cam_2,但Cam_1与Cam_2为相邻设备(也可称作邻接)的情况下,则根据上述常数c或全局坐标距离(global_distance)确定目标对象与当前全局跟踪对象之间的时空相似度。其中,上述全局坐标距离(global_distance)用于指示将两个图像采集设备中对象对应的人体检测框(如虚拟空间)中各个像素点的图像坐标转换到第一目标坐标系(如实际空间对应的物理坐标系)下的全局坐标,然后在相同坐标系下,获取目标对象与当前全局跟踪对象之间的距离(global_distance),以根据该距离确定二者之间的时空相似度。
5)在时间差T1<t_diff≤T2,且位置关系指示Cam_1为非相邻设备(无邻接)的情况下,则根据INF_MAX确定目标对象与当前全局跟踪对象之间的时空相似度,其中,INF_MAX表示无限大,基于此确定出的时空相似度表示二者之间的时空相似性极小。
6)在时间差0<t_diff≤T1,且位置关系指示Cam_1!=Cam_2,但Cam_1与Cam_2为相邻设备(也可称作邻接)的情况下,则根据上述常数c或全局坐标距离(global_distance)确定目标对象与当前全局跟踪对象之间的时空相似度。其中,上述全局坐标距离(global_distance)用于指示将两个图像采集设备中对象对应的人体检测框(如虚拟空间)中各个像素点的图像坐标转换到第一目标坐标系(如实际空间对应的物理坐标系)下的全局坐标,然后在相同坐标系下,获取目标对象与当前全局跟踪对象之间的距离(即global_distance),以根据该距离确定二者之间的时空相似度。
7)在时间差0<t_diff≤T1,且位置关系指示Cam_1==Cam_2的情况下,则根据图像内检测框距离(bbox_distance)确定目标对象与当前全局跟踪对象之间的时空相似度。其中,在上述情况下,目标对象与当前全局跟踪对象确定在相同的坐标系下,则可以直接获取两个对象对应的人体检测框中各个像素点之间的图像距离(即bbox_distance),以根据该距离确定二者之间的时空相似度。其中,检测框距离(bbox_distance)可以但不限于与人体检测框的面积相关,计算方式可以参考相关技术,本实施例中在此不再赘述。
8)在时间差0<t_diff≤T1,且位置关系指示Cam_1为非相邻设备(无邻接)的情况下,则根据INF_MAX确定目标对象与当前全局跟踪对象之间的时空相似度,其中,INF_MAX表示无限大,基于此确定出的时空相似度表示二者之间的时空相似性极小。
9)在时间差t_diff==0,且位置关系指示Cam_1==Cam_2,或Cam_1!=Cam_2但Cam_1与Cam_2为相邻设备(也可称作邻接)且视野无重叠,或Cam_1为非相邻设备(无邻接)的情况下,则根据INF_MAX确定目标对象与当前全局跟踪对象之间的时空相似度,其中,INF_MAX表示无限大,基于此确定出的时空相似度表示二者之间的时空相似性极小。
10)在时间差t_diff==0,且位置关系指示Cam_1!=Cam_2但Cam_1与Cam_2为相邻设备(也可称作邻接)且视野有重叠的情况下,则可以基于两个图像采集设备所采集到的图像中的至少3对特征点获取二者之间的坐标系映射关系。进一步基于该坐标系映射关系,将二者坐标映射到相同坐标系下,并基于相同坐标系下的坐标计算出的距离,来确定目标对象与当前全局跟踪对象之间的时空相似度。
通过本申请提供的实施例,通过结合时间和空间位置的关系,确定目标对象与当前全局跟踪对象二者之间的时空相似度,以保证确定出与目标对象关联关系更紧密的全局跟踪对象,从而准确获取到相关联的多张关联图像,进而保证基于上述多张关联图像生成与目标对象匹配度更高的跟踪轨迹,保证实时定位跟踪的准确性和有效性。
作为一种可选的方法,在获取至少一个图像采集设备采集到的至少一张图像之后,还包括:
S1,从至少一张图像中确定出包含目标对象的一组图像;
S2,在采集到一组图像的多个图像采集设备中包括至少两个图像采集设备为相邻设备且视野有重叠的情况下,将至少两个图像采集设备采集到的图像中各个像素点的坐标转换为第二目标坐标系下的坐标;
S3,根据第二目标坐标下的坐标,确定至少两个图像采集设备采集到的图像中包含的目标对象之间的距离;
S4,在距离小于目标阈值的情况下,确定至少两个图像采集设备采集到的图像中所包含的目标对象为同一对象。
需要说明的是,在本实施例中,在获取到包含目标对象的一组图像之后,可以但不限于基于采集到上述一组图像的各个图像采集设备之间的位置关系来确定上述目标对象之间的关系。比如是否为同一对象。此外,也可以基于外观特征中的人体关键点来确定多张图像中的目标对象是否为同一对象,具体的比对方法可以参考相关技术中提供的人体关键点的检测算法,这里不再赘述。
对于上述一组图像,可以但不限于先根据图像采集设备之间的位置关系,对包含的目标对象进行坐标转换,以便于统一进行距离比对。
需要说明的是,对于出现在同一图像采集设备内的目标对象,可以直接采用自身坐标系下的坐标进行距离计算,而无需进行坐标转换。对于非相邻的图像采集设备,或,对于位置相邻但视野无重叠的图像采集设备,则可以将各个图像采集设备所采集到的图像中目标对象进行坐标位置映射,如将从虚拟空间下的坐标映射到真实空间下的坐标。也就是说,利用该图像采集设备所在的目标建筑对应的BIM模型地图与图像采集设备的位置对应关系,来确定各个图像采集设备的真实世界坐标。进一步,基于该图像采集设备的真实世界坐标,以及上述位置对应关系,确定目标对象在真实空间下的全局坐标,以便于计算确定距离。
进一步,对于本实施例中位置相邻且视野有重叠的图像采集设备的情况,可以但不限于:将各个图像采集设备所采集到的图像中目标对象进行坐标位置映射,1)将从虚拟空间下的坐标映射到真实空间下的坐标。2)统一映射到同一个图像采集设备的坐标系。例如,将目标对象在摄像头A下的图像坐标(xA,yA)映射至摄像头B的图像坐标系下,然后比较在相同坐标系下二者之间的距离,在该距离小于一阈值的情况下即可认为是同一对象,完成两个摄像头之间的数据关联。以此类推,可以完成多个摄像头之间的关联,形成全局映射关系。
通过本申请提供的实施例,通过坐标映射转换以实现对不同图像采集设备所采集到的图像中的目标对象进行比对,以确定其是否为同一对象,从而实现对不同图像采集设备下的目标对象建立关联,同时也完成对多个图像采集设备建立关联。
作为一种可选的方法,在所述将所述至少两个图像采集设备采集到的图像中各个像素点的坐标转换为第二目标坐标系下的坐标之前,还包括:
S1,在至少两个图像采集设备为相邻设备且视野有重叠的情况下,对至少两个图像采集设备在第一时间段内采集到的图像进行缓存,生成与目标对象关联的多段轨迹;
S2,获取多段轨迹中两两之间的轨迹相似度;
S3,在轨迹相似度大于等于第五阈值的情况下,确定两个图像采集设备采集到的数据并未同步。
需要说明的是,在上述对象监控平台中往往布局多个图像采集设备,而由于各种原因,如传感器自身系统时间未同步,或者网络传输延迟,或者上游算法处理延迟等等,导致在跨图像采集设备进行实时数据关联时,会出现较大误差。
为了克服上述问题,利用目标在有拍摄重叠区域的图像采集设备采集到的对象具有相同运动轨迹的特性,在本实施例中,针对相邻设备且视野有重叠的情况,可以但不限于对采集到图像数据进行缓存,即,将位置相邻且视野有重叠的至少两个图像采集设备在一段时间内采集到的图像数据进行缓存,对上述缓存的图像数据中记录的对象的移动轨迹进行曲线形状匹配,得到轨迹相似度。其中,在轨迹相似度大于阈值的情况下,表示相关联的两个轨迹曲线不相似,则可基于此提示:对应的图像采集设备已经出现数据不同步的问题,需要及时调整以控制误差。
通过本申请提供更好的实施例,通过数据缓存机制,将位置相邻且视野有重叠的图像采集设备在一段时间内采集到的图像数据进行缓存,以便于利用缓存的图像数据得到其中移动的对象的移动轨迹,通过对移动轨迹进行曲线形状匹配,来监控各个图像采集设备是否受到干扰而产生数据不同步的问题。从而实现通过监控的结果来及时生成提示信息,以避免单个时间点的数据直接匹配时由于时间未对齐而造成的误差。、具体结合图7所示示例进行说明:
从多个摄像头(如摄像头1至摄像头k)采集的多张图像中,服务器中的单屏处理模块将获取一个摄像头发送的至少一张图像,并对该图像运用目标检测技术(如SSD、YOLO系列等方法)进行目标对象检测。再用跟踪算法(如KCF等相关滤波算法,以及基于深度神经网络的跟踪算法,如SiameseNet等等)进行跟踪,获取与该目标对象对应局部标识(如lid_1)。进一步,在得到目标检测框的同时,计算外观特征(如re-id特征),并同时进行人体关键点的检测(可采用openpose或maskrcnn等相关算法)。
进一步,基于上述检测运算结果,得到该目标对象的第一外观特征和第一时空特征。在跨屏处理模块中的跨屏比对模块中,对上述目标对象的第一外观特征和第一时空特征,与全局跟踪对象队列中每个全局跟踪对象的第二外观特征和第二时空特征进行对应比对。在跨屏跟踪模块中,基于上述比对得到的外观相似度和时空相似度得到对象之间的相似度,并基于该相似度与阈值的比对,确定是否为该目标对象(gid_1)分配当前全局跟踪对象的全局标识,如gid_1。
在确定分配上述全局标识的情况下,则可以基于该全局标识(如gid_1)在全局进行搜索,以获取与目标对象关联的多张关联图像,从而实现基于该多张关联图像的时空特征来生成目标对象的跟踪轨迹。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,因为依据本发明,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本发明所必须的。
根据本发明实施例的另一个方面,还提供了一种用于实施上述对象跟踪方法的对象跟踪装置。如图8所示,该装置包括:
1)第一获取单元802,用于获取至少一个图像采集设备采集到的至少一张图像,其中,至少一张图像中包括至少一个目标对象;
2)第二获取单元804,用于根据至少一张图像获取目标对象的第一外观特征和目标对象的第一时空特征;
3)第三获取单元806,用于获取目标对象与当前已记录的全局跟踪对象队列中每个全局跟踪对象之间的外观相似度和时空相似度,其中,外观相似度为目标对象的第一外观特征与全局跟踪对象的第二外观特征之间的相似度,时空相似度为目标对象的第一时空特征与全局跟踪对象的第二时空特征之间的相似度;
4)分配单元808,用于在根据外观相似度和时空相似度确定出目标对象与全局跟踪对象队列中的目标全局跟踪对象相匹配的情况下,为目标对象分配与目标全局跟踪对象对应的目标全局标识,以使目标对象与目标全局跟踪对象建立关联关系;
5)第一确定单元810,用于利用目标全局标识确定与目标对象关联的多个图像采集设备所采集到的多张关联图像;
6)生成单元812,用于根据多张关联图像生成与目标对象相匹配的跟踪轨迹。
可选地,在本实施例中,上述对象跟踪装置可以但不限于应用于对象监控平台,该对象监控平台可以但不限于是基于在建筑内安装的至少两个图像采集设备所采集到的图像,对选定的至少一个目标对象进行实时跟踪定位的平台应用。其中,上述图像采集设备可以但不限于为安装在建筑内的摄像头,如红外摄像头或其他配置有摄像头的物联网设备等。上述建筑可以但不限于配置有基于建筑信息模型(Building Information Modeling,简称BIM)构建的地图,如电子地图,在该电子地图中将标记显示物联网中的各个物联网设备所在位置,如上述摄像头所在位置。此外,在本实施例中,上述目标对象可以但不限于为图像中识别出移动对象,如待监控的人。对应的,上述目标对象的第一外观特征可以包括但不限于是基于行人重识别(Person Re-Identification,简称Re-ID)技术和人脸识别技术,来对上述目标对象的外形提取出的特征,如身高、体型、服饰等信息。上述图像可以为图像采集设备按照预定周期采集到离散图像中的图像,也可以为图像采集设备实时录制的视频中的图像,也就是说,本实施例中的图像来源可以是图像集合,也可以是视频中的图像帧。本实施例中对此不作限定。此外,上述目标对象的第一时空特征可以包括但不限于最新采集到该目标对象的采集时间戳及目标对象所在最新位置。也就是说,通过比对外观特征和时空特征,从全局跟踪对象队列中确定出当前目标对象是否已被标记为全局跟踪对象,若是,则为其分配全局标识,并基于该全局标识直接联动获取关联的图像采集设备局部采集到的关联图像,以便于直接利用上述关联图像确定出上述待跟踪的目标对象的位置移动路线,从而实现快速准确地生成其跟踪轨迹的效果。
需要说明的是,上述图8所示对象跟踪装置可以但不限于用于图1所示的服务器108中。在服务器108获取各个图像采集设备102返回的图像及用户设备106确定的目标对象之后,通过比对外观相似度和时空相似度,确定是否为目标对象分配全局标识,以便于联动该全局标识对应的多张关联图像,来生成目标对象的跟踪轨迹,从而实现跨设备对至少一个目标对象的实时跟踪定位的效果。
作为一种可选的方法,生成单元812包括:
1)第一获取模块,用于获取多张关联图像中每张关联图像内目标对象的第三时空特征;
2)排列模块,用于根据第三时空特征对多张关联图像进行排列,得到图像序列;
3)标记模块,用于在安装有至少一个图像采集设备的目标建筑对应的地图中,根据图像序列标记目标对象出现的位置,以生成目标对象的跟踪轨迹。
本方案中的实施例,可以但不限于参照上述实施例,本实施例中对此不作任何限定。
作为一种可选的方法,还包括:
1)第一显示模块,用于在在安装有至少一个图像采集设备对应的地图中,根据图像序列标记目标对象出现的位置,以生成目标对象的跟踪轨迹之后,显示跟踪轨迹,其中,跟踪轨迹中包括多个操作控件,操作控件与目标对象出现的位置具有映射关系;
2)第二显示模块,用于响应对操作控件执行的操作,显示在操作控件所指示的位置上采集到的目标对象的图像。
本方案中的实施例,可以但不限于参照上述实施例,本实施例中对此不作任何限定。
作为一种可选的方法,还包括:
1)处理单元,用于在获取目标对象与当前已记录的全局跟踪对象队列中每个全局跟踪对象之间的外观相似度和时空相似度之后,依次将全局跟踪对象队列中的每个全局跟踪对象作为当前全局跟踪对象,执行以下步骤:
S1,对当前全局跟踪对象的外观相似度及时空相似度进行加权计算,得到目标对象与当前全局跟踪对象之间的当前相似度;
S2,在当前相似度大于第一阈值的情况下,确定当前全局跟踪对象为目标全局跟踪对象。
本方案中的实施例,可以但不限于参照上述实施例,本实施例中对此不作任何限定。
作为一种可选的方法,处理单元还用于:
S1,在对当前全局跟踪对象的外观相似度及时空相似度进行加权计算,得到目标对象与当前全局跟踪对象之间的当前相似度之前,获取当前全局跟踪对象的第二外观特征;
S2,获取第二外观特征与第一外观特征之间的特征距离,其中,特征距离包括以下至少之一:余弦距离、欧式距离;
S3,将特征距离作为目标对象与当前全局跟踪对象之间的外观相似度。
本方案中的实施例,可以但不限于参照上述实施例,本实施例中对此不作任何限定。
作为一种可选的方法,处理单元还用于:
S1,在对当前全局跟踪对象的外观相似度及时空相似度进行加权计算,得到目标对象与当前全局跟踪对象之间的当前相似度之前,确定出获取到目标对象的最新的第一时空特征的第一图像采集设备,及获取到当前全局跟踪对象的最新的第二时空特征的第二图像采集设备二者之间的位置关系;
S2,获取目标对象的最新的第一时空特征中的第一采集时间戳,及当前全局跟踪对象的最新的第二时空特征中的第二采集时间戳二者之间的时间差;
S3,根据位置关系及时间差确定目标对象与当前全局跟踪对象二者之间的时空相似度。
本方案中的实施例,可以但不限于参照上述实施例,本实施例中对此不作任何限定。
作为一种可选的方法,处理单元通过以下步骤实现根据位置关系及时间差确定目标对象与当前全局跟踪对象二者之间的时空相似度:
1)在时间差大于第二阈值的情况下,根据第一目标值确定目标对象与当前全局跟踪对象二者之间的时空相似度,其中,第一目标值小于第三阈值;
2)在时间差小于第二阈值且大于零,且位置关系指示第一图像采集设备与第二图像采集设备为同一设备的情况下,获取第一图像采集设备中包含目标对象的第一图像采集区域与第二图像采集设备中包含当前全局跟踪对象的第二图像采集区域二者之间的第一距离,根据第一距离确定时空相似度;
3)在时间差小于第二阈值且大于零,且位置关系指示第一图像采集设备与第二图像采集设备为相邻设备的情况下,对第一图像采集设备中包含目标对象的第一图像采集区域的各个像素点进行坐标转换,得到在第一目标坐标系下的第一坐标;对第二图像采集设备中包含当前全局跟踪对象的第二图像采集区域的各个像素点进行坐标转换,得到在第一目标坐标系下的第二坐标;获取第一坐标与第二坐标之间的第二距离,根据第二距离确定时空相似度;
4)在时间差等于零,且位置关系指示第一图像采集设备与第二图像采集设备为同一设备的情况下,或者,在时间差等于零,且位置关系指示第一图像采集设备与第二图像采集设备为相邻设备但视野无重叠的情况下,或者,在位置关系指示第一图像采集设备与第二图像采集设备为非相邻设备的情况下,根据第二目标值确定目标对象与当前全局跟踪对象二者之间的时空相似度,其中,第二目标值大于第四阈值。
本方案中的实施例,可以但不限于参照上述实施例,本实施例中对此不作任何限定。
作为一种可选的方法,还包括:
1)第二确定单元,用于在获取至少一个图像采集设备采集到的至少一张图像之后,从至少一张图像中确定出包含目标对象的一组图像;
2)转换单元,用于在采集到一组图像的多个图像采集设备中包括至少两个图像采集设备为相邻设备且视野有重叠,则将至少两个图像采集设备采集到的图像中各个像素点的坐标转换为第二目标坐标系下的坐标;
3)第三确定单元,用于根据第二目标坐标下的坐标,确定至少两个图像采集设备采集到的图像中包含的目标对象之间的距离;
4)第四确定单元,用于在距离小于目标阈值的情况下,确定至少两个图像采集设备采集到的图像中所包含的目标对象为同一对象。
本方案中的实施例,可以但不限于参照上述实施例,本实施例中对此不作任何限定。
作为一种可选的方法,还包括:
1)缓存单元,用于在将至少两个图像采集设备采集到的图像中各个像素点的坐标转换为第二目标坐标系下的坐标之前,在至少两个图像采集设备为相邻设备且视野有重叠的情况下,对至少两个图像采集设备在第一时间段内采集到的图像进行缓存,生成与目标对象关联的多段轨迹;
2)第四获取单元,用于获取多段轨迹中两两之间的轨迹相似度;
3)第五确定单元,用于在轨迹相似度大于等于第五阈值的情况下,确定两个图像采集设备采集到的数据并未同步。
本方案中的实施例,可以但不限于参照上述实施例,本实施例中对此不作任何限定。
作为一种可选的方法,还包括:
1)第五获取单元,用于在获取至少一个图像采集设备采集到的一组图像之前,获取安装有至少一个图像采集设备的目标建筑内全部图像采集设备所采集到的图像;
2)构建单元,用于在并未生成全局跟踪对象队列的情况下,根据目标建筑内全部图像采集设备所采集到的图像构建全局跟踪对象队列。
本方案中的实施例,可以但不限于参照上述实施例,本实施例中对此不作任何限定。
根据本发明实施例的又一个方面,还提供了一种用于实施上述对象跟踪方法的电子装置,如图9所示,该电子装置包括存储器902和处理器904,该存储器902中存储有计算机程序,该处理器904被设置为通过计算机程序执行上述任一项方法实施例中的步骤。
可选地,在本实施例中,上述电子装置可以位于计算机网络的多个网络设备中的至少一个网络设备。
可选地,在本实施例中,上述处理器可以被设置为通过计算机程序执行以下步骤:
S1,获取至少一个图像采集设备采集到的至少一张图像,其中,至少一张图像中包括至少一个目标对象;
S2,根据至少一张图像获取目标对象的第一外观特征和目标对象的第一时空特征;
S3,获取目标对象与当前已记录的全局跟踪对象队列中每个全局跟踪对象之间的外观相似度和时空相似度,其中,外观相似度为目标对象的第一外观特征与全局跟踪对象的第二外观特征之间的相似度,时空相似度为目标对象的第一时空特征与全局跟踪对象的第二时空特征之间的相似度;
S4,在根据外观相似度和时空相似度确定出目标对象与全局跟踪对象队列中的目标全局跟踪对象相匹配的情况下,为目标对象分配与目标全局跟踪对象对应的目标全局标识,以使目标对象与目标全局跟踪对象建立关联关系;
S5,利用目标全局标识确定与目标对象关联的多个图像采集设备所采集到的多张关联图像;
S6,根据多张关联图像生成与目标对象相匹配的跟踪轨迹。
可选地,本领域普通技术人员可以理解,图9所示的结构仅为示意,电子装置也可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌上电脑以及移动互联网设备(Mobile Internet Devices,MID)、PAD等终端设备。图9其并不对上述电子装置的结构造成限定。例如,电子装置还可包括比图9中所示更多或者更少的组件(如网络接口等),或者具有与图9所示不同的配置。
其中,存储器902可用于存储软件程序以及模块,如本发明实施例中的对象跟踪方法和装置对应的程序指令/模块,处理器904通过运行存储在存储器902内的软件程序以及模块,从而执行各种功能应用以及数据处理,即实现上述的对象跟踪方法。存储器902可包括高速随机存储器,还可以包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器902可进一步包括相对于处理器904远程设置的存储器,这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。其中,存储器902具体可以但不限于用于存储目标对象的第一外观特征和第一时空特征,以及全局跟踪对象队列及其相关等信息。作为一种示例,如图9所示,上述存储器902中可以但不限于包括上述对象跟踪装置中的第一获取单元802、第二获取单元804、第三获取单元806、第一确定单元810及生成单元1812。此外,还可以包括但不限于上述对象跟踪装置中的其他模块单元,本示例中不再赘述。
可选地,上述的传输装置906用于经由一个网络接收或者发送数据。上述的网络具体实例可包括有线网络及无线网络。在一个实例中,传输装置906包括一个网络适配器(Network Interface Controller,NIC),其可通过网线与其他网络设备与路由器相连从而可与互联网或局域网进行通讯。在一个实例中,传输装置906为射频(Radio Frequency,RF)模块,其用于通过无线方式与互联网进行通讯。
此外,上述电子装置还包括:显示器908,用于显示至少一张图像或目标对象等信息;和连接总线910,用于连接上述电子装置中的各个模块部件。
根据本发明的实施例的又一方面,还提供了一种存储介质,该存储介质中存储有计算机程序,其中,该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
可选地,在本实施例中,上述存储介质可以被设置为存储用于执行以下步骤的计算机程序:
S1,获取至少一个图像采集设备采集到的至少一张图像,其中,至少一张图像中包括至少一个目标对象;
S2,根据至少一张图像获取目标对象的第一外观特征和目标对象的第一时空特征;
S3,获取目标对象与当前已记录的全局跟踪对象队列中每个全局跟踪对象之间的外观相似度和时空相似度,其中,外观相似度为目标对象的第一外观特征与全局跟踪对象的第二外观特征之间的相似度,时空相似度为目标对象的第一时空特征与全局跟踪对象的第二时空特征之间的相似度;
S4,在根据外观相似度和时空相似度确定出目标对象与全局跟踪对象队列中的目标全局跟踪对象相匹配的情况下,为目标对象分配与目标全局跟踪对象对应的目标全局标识,以使目标对象与目标全局跟踪对象建立关联关系;
S5,利用目标全局标识确定与目标对象关联的多个图像采集设备所采集到的多张关联图像;
S6,根据多张关联图像生成与目标对象相匹配的跟踪轨迹。
可选地,在本实施例中,本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:闪存盘、只读存储器(Read-Only Memory,ROM)、随机存取器(Random Access Memory,RAM)、磁盘或光盘等。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在上述计算机可读取的存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在存储介质中,包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。
在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的客户端,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (22)

1.一种对象跟踪方法,其特征在于,包括:
获取至少一个图像采集设备采集到的至少一张图像,其中,所述至少一张图像中包括至少一个目标对象;
根据所述至少一张图像获取所述目标对象的第一外观特征和所述目标对象的第一时空特征;
获取所述目标对象与当前已记录的全局跟踪对象队列中每个全局跟踪对象之间的外观相似度和时空相似度,其中,所述外观相似度为所述目标对象的所述第一外观特征与所述全局跟踪对象的第二外观特征之间的相似度,所述时空相似度为所述目标对象的所述第一时空特征与所述全局跟踪对象的第二时空特征之间的相似度;
在根据所述外观相似度和所述时空相似度确定出所述目标对象与所述全局跟踪对象队列中的目标全局跟踪对象相匹配的情况下,为所述目标对象分配与所述目标全局跟踪对象对应的目标全局标识,以使所述目标对象与所述目标全局跟踪对象建立关联关系;
利用所述目标全局标识确定与所述目标对象关联的多个图像采集设备所采集到的多张关联图像;
根据所述多张关联图像生成与所述目标对象相匹配的跟踪轨迹。
2.根据权利要求1所述的方法,其特征在于,所述根据所述多张关联图像生成与所述目标对象相匹配的跟踪轨迹包括:
获取所述多张关联图像中每张关联图像内所述目标对象的第三时空特征;
根据所述第三时空特征对所述多张关联图像进行排列,得到图像序列;
在安装有所述至少一个图像采集设备的目标建筑对应的地图中,根据所述图像序列标记所述目标对象出现的位置,以生成所述目标对象的所述跟踪轨迹。
3.根据权利要求2所述的方法,其特征在于,在所述在安装有所述至少一个图像采集设备对应的地图中,根据所述图像序列标记所述目标对象出现的位置,以生成所述目标对象的所述跟踪轨迹之后,还包括:
显示所述跟踪轨迹,其中,所述跟踪轨迹中包括多个操作控件,所述操作控件与所述目标对象出现的位置具有映射关系;
响应对所述操作控件执行的操作,显示在所述操作控件所指示的位置上采集到的所述目标对象的图像。
4.根据权利要求1所述的方法,其特征在于,在所述获取所述目标对象与当前已记录的全局跟踪对象队列中每个全局跟踪对象之间的外观相似度和时空相似度之后,还包括:
依次将所述全局跟踪对象队列中的每个全局跟踪对象作为当前全局跟踪对象,执行以下步骤:
对所述当前全局跟踪对象的所述外观相似度及所述时空相似度进行加权计算,得到所述目标对象与所述当前全局跟踪对象之间的当前相似度;
在所述当前相似度大于第一阈值的情况下,确定所述当前全局跟踪对象为所述目标全局跟踪对象。
5.根据权利要求4所述的方法,其特征在于,在所述对所述当前全局跟踪对象的所述外观相似度及所述时空相似度进行加权计算,得到所述目标对象与所述当前全局跟踪对象之间的当前相似度之前,还包括:
获取所述当前全局跟踪对象的第二外观特征;
获取所述第二外观特征与所述第一外观特征之间的特征距离,其中,所述特征距离包括以下至少之一:余弦距离、欧式距离;
将所述特征距离作为所述目标对象与所述当前全局跟踪对象之间的所述外观相似度。
6.根据权利要求4所述的方法,其特征在于,在所述对所述当前全局跟踪对象的所述外观相似度及所述时空相似度进行加权计算,得到所述目标对象与所述当前全局跟踪对象之间的当前相似度之前,还包括:
确定出获取到所述目标对象的最新的所述第一时空特征的第一图像采集设备,及获取到所述当前全局跟踪对象的最新的第二时空特征的第二图像采集设备二者之间的位置关系;
获取所述目标对象的最新的所述第一时空特征中的第一采集时间戳,及所述当前全局跟踪对象的最新的第二时空特征中的第二采集时间戳二者之间的时间差;
根据所述位置关系及所述时间差确定所述目标对象与所述当前全局跟踪对象二者之间的时空相似度。
7.根据权利要求6所述的方法,其特征在于,所述根据所述位置关系及所述时间差确定所述目标对象与所述当前全局跟踪对象二者之间的时空相似度包括:
在所述时间差大于第二阈值的情况下,根据第一目标值确定所述目标对象与所述当前全局跟踪对象二者之间的所述时空相似度,其中,所述第一目标值小于第三阈值;
在所述时间差小于所述第二阈值且大于零,且所述位置关系指示所述第一图像采集设备与所述第二图像采集设备为同一设备的情况下,获取所述第一图像采集设备中包含所述目标对象的第一图像采集区域与所述第二图像采集设备中包含所述当前全局跟踪对象的第二图像采集区域二者之间的第一距离,根据所述第一距离确定所述时空相似度;
在所述时间差小于所述第二阈值且大于零,且所述位置关系指示所述第一图像采集设备与所述第二图像采集设备为相邻设备的情况下,对所述第一图像采集设备中包含所述目标对象的第一图像采集区域的各个像素点进行坐标转换,得到在第一目标坐标系下的第一坐标;对所述第二图像采集设备中包含所述当前全局跟踪对象的第二图像采集区域的各个像素点进行坐标转换,得到在所述第一目标坐标系下的第二坐标;获取所述第一坐标与所述第二坐标之间的第二距离,根据所述第二距离确定所述时空相似度;
在所述时间差等于零,且所述位置关系指示所述第一图像采集设备与所述第二图像采集设备为同一设备的情况下,或者,在所述时间差等于零,且所述位置关系指示所述第一图像采集设备与所述第二图像采集设备为相邻设备但视野无重叠的情况下,或者,在所述位置关系指示所述第一图像采集设备与所述第二图像采集设备为非相邻设备的情况下,根据第二目标值确定所述目标对象与所述当前全局跟踪对象二者之间的所述时空相似度,其中,所述第二目标值大于第四阈值。
8.根据权利要求1所述的方法,其特征在于,在所述获取至少一个图像采集设备采集到的至少一张图像之后,还包括:
从所述至少一张图像中确定出包含所述目标对象的一组图像;
在采集到所述一组图像的多个图像采集设备中包括至少两个图像采集设备为相邻设备且视野有重叠的情况下,将所述至少两个图像采集设备采集到的图像中各个像素点的坐标转换为第二目标坐标系下的坐标;
根据所述第二目标坐标下的坐标,确定所述至少两个图像采集设备采集到的图像中包含的所述目标对象之间的距离;
在所述距离小于目标阈值的情况下,确定所述至少两个图像采集设备采集到的图像中所包含的所述目标对象为同一对象。
9.根据权利要求8所述的方法,其特征在于,在所述将所述至少两个图像采集设备采集到的图像中各个像素点的坐标转换为第二目标坐标系下的坐标之前,还包括:
在所述至少两个图像采集设备为相邻设备且视野有重叠的情况下,对所述至少两个图像采集设备在第一时间段内采集到的图像进行缓存,生成与所述目标对象关联的多段轨迹;
获取所述多段轨迹中两两之间的轨迹相似度;
在所述轨迹相似度大于等于第五阈值的情况下,确定两个图像采集设备采集到的数据并未同步。
10.根据权利要求1所述的方法,其特征在于,在所述获取至少一个图像采集设备采集到的一组图像之前,还包括:
获取安装有所述至少一个图像采集设备的目标建筑内全部图像采集设备所采集到的图像;
在并未生成所述全局跟踪对象队列的情况下,根据所述目标建筑内全部图像采集设备所采集到的图像构建所述全局跟踪对象队列。
11.一种对象跟踪装置,其特征在于,包括:
第一获取单元,用于获取至少一个图像采集设备采集到的至少一张图像,其中,所述至少一张图像中包括至少一个目标对象;
第二获取单元,用于根据所述至少一张图像获取所述目标对象的第一外观特征和所述目标对象的第一时空特征;
第三获取单元,用于获取所述目标对象与当前已记录的全局跟踪对象队列中每个全局跟踪对象之间的外观相似度和时空相似度,其中,所述外观相似度为所述目标对象的所述第一外观特征与所述全局跟踪对象的第二外观特征之间的相似度,所述时空相似度为所述目标对象的所述第一时空特征与所述全局跟踪对象的第二时空特征之间的相似度;
分配单元,用于在根据所述外观相似度和所述时空相似度确定出所述目标对象与所述全局跟踪对象队列中的目标全局跟踪对象相匹配的情况下,为所述目标对象分配与所述目标全局跟踪对象对应的目标全局标识,以使所述目标对象与所述目标全局跟踪对象建立关联关系;
第一确定单元,用于利用所述目标全局标识确定与所述目标对象关联的多个图像采集设备所采集到的多张关联图像;
生成单元,用于根据所述多张关联图像生成与所述目标对象相匹配的跟踪轨迹。
12.根据权利要求11所述的装置,其特征在于,所述生成单元包括:
第一获取模块,用于获取所述多张关联图像中每张关联图像内所述目标对象的第三时空特征;
排列模块,用于根据所述第三时空特征对所述多张关联图像进行排列,得到图像序列;
标记模块,用于在安装有所述至少一个图像采集设备的目标建筑对应的地图中,根据所述图像序列标记所述目标对象出现的位置,以生成所述目标对象的所述跟踪轨迹。
13.根据权利要求12所述的装置,其特征在于,还包括:
第一显示模块,用于在所述在安装有所述至少一个图像采集设备对应的地图中,根据所述图像序列标记所述目标对象出现的位置,以生成所述目标对象的所述跟踪轨迹之后,显示所述跟踪轨迹,其中,所述跟踪轨迹中包括多个操作控件,所述操作控件与所述目标对象出现的位置具有映射关系;
第二显示模块,用于响应对所述操作控件执行的操作,显示在所述操作控件所指示的位置上采集到的所述目标对象的图像。
14.根据权利要求11所述的装置,其特征在于,还包括:
处理单元,用于在所述获取所述目标对象与当前已记录的全局跟踪对象队列中每个全局跟踪对象之间的外观相似度和时空相似度之后,依次将所述全局跟踪对象队列中的每个全局跟踪对象作为当前全局跟踪对象,执行以下步骤:
对所述当前全局跟踪对象的所述外观相似度及所述时空相似度进行加权计算,得到所述目标对象与所述当前全局跟踪对象之间的当前相似度;
在所述当前相似度大于第一阈值的情况下,确定所述当前全局跟踪对象为所述目标全局跟踪对象。
15.根据权利要求14所述的装置,其特征在于,所述处理单元还用于:
在所述对所述当前全局跟踪对象的所述外观相似度及所述时空相似度进行加权计算,得到所述目标对象与所述当前全局跟踪对象之间的当前相似度之前,获取所述当前全局跟踪对象的第二外观特征;
获取所述第二外观特征与所述第一外观特征之间的特征距离,其中,所述特征距离包括以下至少之一:余弦距离、欧式距离;
将所述特征距离作为所述目标对象与所述当前全局跟踪对象之间的所述外观相似度。
16.根据权利要求14所述的装置,其特征在于,所述处理单元还用于:
在所述对所述当前全局跟踪对象的所述外观相似度及所述时空相似度进行加权计算,得到所述目标对象与所述当前全局跟踪对象之间的当前相似度之前,确定出获取到所述目标对象的最新的所述第一时空特征的第一图像采集设备,及获取到所述当前全局跟踪对象的最新的第二时空特征的第二图像采集设备二者之间的位置关系;
获取所述目标对象的最新的所述第一时空特征中的第一采集时间戳,及所述当前全局跟踪对象的最新的第二时空特征中的第二采集时间戳二者之间的时间差;
根据所述位置关系及所述时间差确定所述目标对象与所述当前全局跟踪对象二者之间的时空相似度。
17.根据权利要求16所述的装置,其特征在于,所述处理单元通过以下步骤实现所述根据所述位置关系及所述时间差确定所述目标对象与所述当前全局跟踪对象二者之间的时空相似度:
在所述时间差大于第二阈值的情况下,根据第一目标值确定所述目标对象与所述当前全局跟踪对象二者之间的所述时空相似度,其中,所述第一目标值小于第三阈值;
在所述时间差小于所述第二阈值且大于零,且所述位置关系指示所述第一图像采集设备与所述第二图像采集设备为同一设备的情况下,获取所述第一图像采集设备中包含所述目标对象的第一图像采集区域与所述第二图像采集设备中包含所述当前全局跟踪对象的第二图像采集区域二者之间的第一距离,根据所述第一距离确定所述时空相似度;
在所述时间差小于所述第二阈值且大于零,且所述位置关系指示所述第一图像采集设备与所述第二图像采集设备为相邻设备的情况下,对所述第一图像采集设备中包含所述目标对象的第一图像采集区域的各个像素点进行坐标转换,得到在第一目标坐标系下的第一坐标;对所述第二图像采集设备中包含所述当前全局跟踪对象的第二图像采集区域的各个像素点进行坐标转换,得到在所述第一目标坐标系下的第二坐标;获取所述第一坐标与所述第二坐标之间的第二距离,根据所述第二距离确定所述时空相似度;
在所述时间差等于零,且所述位置关系指示所述第一图像采集设备与所述第二图像采集设备为同一设备的情况下,或者,在所述时间差等于零,且所述位置关系指示所述第一图像采集设备与所述第二图像采集设备为相邻设备但视野无重叠的情况下,或者,在所述位置关系指示所述第一图像采集设备与所述第二图像采集设备为非相邻设备的情况下,根据第二目标值确定所述目标对象与所述当前全局跟踪对象二者之间的所述时空相似度,其中,所述第二目标值大于第四阈值。
18.根据权利要求11所述的装置,其特征在于,还包括:
第二确定单元,用于在所述获取至少一个图像采集设备采集到的至少一张图像之后,从所述至少一张图像中确定出包含所述目标对象的一组图像;
转换单元,用于在采集到所述一组图像的多个图像采集设备中包括至少两个图像采集设备为相邻设备且视野有重叠,则将所述至少两个图像采集设备采集到的图像中各个像素点的坐标转换为第二目标坐标系下的坐标;
第三确定单元,用于根据所述第二目标坐标下的坐标,确定所述至少两个图像采集设备采集到的图像中包含的所述目标对象之间的距离;
第四确定单元,用于在所述距离小于目标阈值的情况下,确定所述至少两个图像采集设备采集到的图像中所包含的所述目标对象为同一对象。
19.根据权利要求18所述的装置,其特征在于,还包括:
缓存单元,用于在所述将所述至少两个图像采集设备采集到的图像中各个像素点的坐标转换为第二目标坐标系下的坐标之前,在所述至少两个图像采集设备为相邻设备且视野有重叠的情况下,对所述至少两个图像采集设备在第一时间段内采集到的图像进行缓存,生成与所述目标对象关联的多段轨迹;
第四获取单元,用于获取所述多段轨迹中两两之间的轨迹相似度;
第五确定单元,用于在所述轨迹相似度大于等于第五阈值的情况下,确定两个图像采集设备采集到的数据并未同步。
20.根据权利要求11所述的装置,其特征在于,还包括:
第五获取单元,用于在所述获取至少一个图像采集设备采集到的一组图像之前,获取安装有所述至少一个图像采集设备的目标建筑内全部图像采集设备所采集到的图像;
构建单元,用于在并未生成所述全局跟踪对象队列的情况下,根据所述目标建筑内全部图像采集设备所采集到的图像构建所述全局跟踪对象队列。
21.一种存储介质,所述存储介质包括存储的程序,其中,所述程序运行时执行上述权利要求1至10任一项中所述的方法。
22.一种电子装置,包括存储器和处理器,其特征在于,所述存储器中存储有计算机程序,所述处理器被设置为通过所述计算机程序执行所述权利要求1至10任一项中所述的方法。
CN201910704621.0A 2019-07-31 2019-07-31 对象跟踪方法和装置、存储介质及电子装置 Pending CN110443828A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201910704621.0A CN110443828A (zh) 2019-07-31 2019-07-31 对象跟踪方法和装置、存储介质及电子装置
PCT/CN2020/102667 WO2021017891A1 (zh) 2019-07-31 2020-07-17 对象跟踪方法和装置、存储介质及电子设备
US17/366,513 US20210343027A1 (en) 2019-07-31 2021-07-02 Object tracking method and apparatus, storage medium and electronic device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910704621.0A CN110443828A (zh) 2019-07-31 2019-07-31 对象跟踪方法和装置、存储介质及电子装置

Publications (1)

Publication Number Publication Date
CN110443828A true CN110443828A (zh) 2019-11-12

Family

ID=68432782

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910704621.0A Pending CN110443828A (zh) 2019-07-31 2019-07-31 对象跟踪方法和装置、存储介质及电子装置

Country Status (3)

Country Link
US (1) US20210343027A1 (zh)
CN (1) CN110443828A (zh)
WO (1) WO2021017891A1 (zh)

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111047622A (zh) * 2019-11-20 2020-04-21 腾讯科技(深圳)有限公司 视频中对象的匹配方法和装置、存储介质及电子装置
CN111104900A (zh) * 2019-12-18 2020-05-05 北京工业大学 高速公路费用清分方法及装置
CN111242986A (zh) * 2020-01-07 2020-06-05 北京百度网讯科技有限公司 跨相机的障碍物跟踪方法、装置、设备、系统及介质
CN111784730A (zh) * 2020-07-01 2020-10-16 杭州海康威视数字技术股份有限公司 一种对象跟踪方法、装置、电子设备及存储介质
CN111784729A (zh) * 2020-07-01 2020-10-16 杭州海康威视数字技术股份有限公司 一种对象跟踪方法、装置、电子设备及存储介质
CN111860168A (zh) * 2020-06-18 2020-10-30 汉王科技股份有限公司 行人重识别方法、装置、电子设备及存储介质
CN112037245A (zh) * 2020-07-22 2020-12-04 杭州海康威视数字技术股份有限公司 一种确定追踪目标相似度的方法和系统
CN112287911A (zh) * 2020-12-25 2021-01-29 长沙海信智能系统研究院有限公司 数据标注方法、装置、设备及存储介质
WO2021017891A1 (zh) * 2019-07-31 2021-02-04 腾讯科技(深圳)有限公司 对象跟踪方法和装置、存储介质及电子设备
CN112651386A (zh) * 2020-10-30 2021-04-13 杭州海康威视系统技术有限公司 一种身份信息的确定方法、装置及设备
CN113012223A (zh) * 2021-02-26 2021-06-22 清华大学 目标流动监测方法、装置、计算机设备和存储介质
CN113032498A (zh) * 2019-12-24 2021-06-25 深圳云天励飞技术有限公司 一种轨迹相似的判断方法、装置、电子设备及存储介质
CN113111685A (zh) * 2020-01-10 2021-07-13 杭州海康威视数字技术股份有限公司 追踪系统、追踪数据的采集/处理方法和装置
CN113362376A (zh) * 2021-06-24 2021-09-07 武汉虹信技术服务有限责任公司 一种目标跟踪方法
WO2021217777A1 (zh) * 2020-04-27 2021-11-04 初速度(苏州)科技有限公司 一种目标关联方法及装置
CN113609317A (zh) * 2021-09-16 2021-11-05 杭州海康威视数字技术股份有限公司 一种图像库构建方法、装置及电子设备
CN114067270A (zh) * 2021-11-18 2022-02-18 华南理工大学 一种车辆追踪方法、装置、计算机设备及存储介质
CN114820700A (zh) * 2022-04-06 2022-07-29 北京百度网讯科技有限公司 对象跟踪方法及装置
CN114898307A (zh) * 2022-07-11 2022-08-12 浙江大华技术股份有限公司 一种对象跟踪方法、装置、电子设备和存储介质
CN114972814A (zh) * 2022-07-11 2022-08-30 浙江大华技术股份有限公司 一种目标匹配的方法、装置及存储介质
WO2023098339A1 (zh) * 2021-12-03 2023-06-08 上海商汤智能科技有限公司 数据处理方法、装置、设备、存储介质及程序产品
CN116258984A (zh) * 2023-05-11 2023-06-13 中航信移动科技有限公司 一种物体识别的系统
CN111784730B (zh) * 2020-07-01 2024-05-03 杭州海康威视数字技术股份有限公司 一种对象跟踪方法、装置、电子设备及存储介质

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113514069B (zh) * 2021-03-23 2023-08-01 重庆兰德适普信息科技有限公司 一种实时自动驾驶定位方法及系统
US20230112584A1 (en) * 2021-10-08 2023-04-13 Target Brands, Inc. Multi-camera person re-identification
CN113989851B (zh) * 2021-11-10 2023-04-07 合肥工业大学 一种基于异构融合图卷积网络的跨模态行人重识别方法
CN114120428A (zh) * 2022-01-18 2022-03-01 深圳前海中电慧安科技有限公司 一种图码联侦关联方法、装置、计算机设备及存储介质
US20230273965A1 (en) * 2022-02-25 2023-08-31 ShredMetrix LLC Systems And Methods For Comparing Data Sets For Sporting Equipment
CN114332744B (zh) * 2022-03-10 2022-06-07 成都诺比侃科技有限公司 一种基于机器视觉的变电站自适应安防方法及系统
CN115661780A (zh) * 2022-12-23 2023-01-31 深圳佑驾创新科技有限公司 一种交叉视角下的摄像头目标匹配方法、装置及存储介质
CN117351039B (zh) * 2023-12-06 2024-02-02 广州紫为云科技有限公司 一种基于特征查询的非线性多目标跟踪方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150071529A1 (en) * 2013-09-12 2015-03-12 Kabushiki Kaisha Toshiba Learning image collection apparatus, learning apparatus, and target object detection apparatus
CN104794429A (zh) * 2015-03-23 2015-07-22 中国科学院软件研究所 一种面向监控视频的关联可视分析方法
CN106469299A (zh) * 2016-08-31 2017-03-01 北京邮电大学 一种车辆搜索方法及装置
CN107315755A (zh) * 2016-04-27 2017-11-03 杭州海康威视数字技术股份有限公司 查询对象的轨迹生成方法及装置
CN110070005A (zh) * 2019-04-02 2019-07-30 腾讯科技(深圳)有限公司 图像目标识别方法、装置、存储介质及电子设备

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108229292A (zh) * 2017-07-28 2018-06-29 北京市商汤科技开发有限公司 目标识别方法、装置、存储介质和电子设备
CN110443828A (zh) * 2019-07-31 2019-11-12 腾讯科技(深圳)有限公司 对象跟踪方法和装置、存储介质及电子装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150071529A1 (en) * 2013-09-12 2015-03-12 Kabushiki Kaisha Toshiba Learning image collection apparatus, learning apparatus, and target object detection apparatus
CN104794429A (zh) * 2015-03-23 2015-07-22 中国科学院软件研究所 一种面向监控视频的关联可视分析方法
CN107315755A (zh) * 2016-04-27 2017-11-03 杭州海康威视数字技术股份有限公司 查询对象的轨迹生成方法及装置
CN106469299A (zh) * 2016-08-31 2017-03-01 北京邮电大学 一种车辆搜索方法及装置
CN110070005A (zh) * 2019-04-02 2019-07-30 腾讯科技(深圳)有限公司 图像目标识别方法、装置、存储介质及电子设备

Cited By (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021017891A1 (zh) * 2019-07-31 2021-02-04 腾讯科技(深圳)有限公司 对象跟踪方法和装置、存储介质及电子设备
CN111047622A (zh) * 2019-11-20 2020-04-21 腾讯科技(深圳)有限公司 视频中对象的匹配方法和装置、存储介质及电子装置
CN111104900A (zh) * 2019-12-18 2020-05-05 北京工业大学 高速公路费用清分方法及装置
CN111104900B (zh) * 2019-12-18 2023-07-14 北京工业大学 高速公路费用清分方法及装置
CN113032498A (zh) * 2019-12-24 2021-06-25 深圳云天励飞技术有限公司 一种轨迹相似的判断方法、装置、电子设备及存储介质
CN111242986A (zh) * 2020-01-07 2020-06-05 北京百度网讯科技有限公司 跨相机的障碍物跟踪方法、装置、设备、系统及介质
CN111242986B (zh) * 2020-01-07 2023-11-24 阿波罗智能技术(北京)有限公司 跨相机的障碍物跟踪方法、装置、设备、系统及介质
CN113111685A (zh) * 2020-01-10 2021-07-13 杭州海康威视数字技术股份有限公司 追踪系统、追踪数据的采集/处理方法和装置
WO2021217777A1 (zh) * 2020-04-27 2021-11-04 初速度(苏州)科技有限公司 一种目标关联方法及装置
CN111860168A (zh) * 2020-06-18 2020-10-30 汉王科技股份有限公司 行人重识别方法、装置、电子设备及存储介质
CN111784729A (zh) * 2020-07-01 2020-10-16 杭州海康威视数字技术股份有限公司 一种对象跟踪方法、装置、电子设备及存储介质
CN111784730A (zh) * 2020-07-01 2020-10-16 杭州海康威视数字技术股份有限公司 一种对象跟踪方法、装置、电子设备及存储介质
CN111784730B (zh) * 2020-07-01 2024-05-03 杭州海康威视数字技术股份有限公司 一种对象跟踪方法、装置、电子设备及存储介质
CN112037245A (zh) * 2020-07-22 2020-12-04 杭州海康威视数字技术股份有限公司 一种确定追踪目标相似度的方法和系统
CN112037245B (zh) * 2020-07-22 2023-09-01 杭州海康威视数字技术股份有限公司 一种确定追踪目标相似度的方法和系统
CN112651386A (zh) * 2020-10-30 2021-04-13 杭州海康威视系统技术有限公司 一种身份信息的确定方法、装置及设备
CN112651386B (zh) * 2020-10-30 2024-02-27 杭州海康威视系统技术有限公司 一种身份信息的确定方法、装置及设备
CN112287911A (zh) * 2020-12-25 2021-01-29 长沙海信智能系统研究院有限公司 数据标注方法、装置、设备及存储介质
CN113012223A (zh) * 2021-02-26 2021-06-22 清华大学 目标流动监测方法、装置、计算机设备和存储介质
CN113012223B (zh) * 2021-02-26 2023-01-24 清华大学 目标流动监测方法、装置、计算机设备和存储介质
CN113362376A (zh) * 2021-06-24 2021-09-07 武汉虹信技术服务有限责任公司 一种目标跟踪方法
CN113609317B (zh) * 2021-09-16 2024-04-02 杭州海康威视数字技术股份有限公司 一种图像库构建方法、装置及电子设备
CN113609317A (zh) * 2021-09-16 2021-11-05 杭州海康威视数字技术股份有限公司 一种图像库构建方法、装置及电子设备
CN114067270A (zh) * 2021-11-18 2022-02-18 华南理工大学 一种车辆追踪方法、装置、计算机设备及存储介质
CN114067270B (zh) * 2021-11-18 2022-09-09 华南理工大学 一种车辆追踪方法和装置、计算机设备及存储介质
WO2023098339A1 (zh) * 2021-12-03 2023-06-08 上海商汤智能科技有限公司 数据处理方法、装置、设备、存储介质及程序产品
CN114820700B (zh) * 2022-04-06 2023-05-16 北京百度网讯科技有限公司 对象跟踪方法及装置
CN114820700A (zh) * 2022-04-06 2022-07-29 北京百度网讯科技有限公司 对象跟踪方法及装置
CN114972814B (zh) * 2022-07-11 2022-10-28 浙江大华技术股份有限公司 一种目标匹配的方法、装置及存储介质
CN114898307B (zh) * 2022-07-11 2022-10-28 浙江大华技术股份有限公司 一种对象跟踪方法、装置、电子设备和存储介质
CN114972814A (zh) * 2022-07-11 2022-08-30 浙江大华技术股份有限公司 一种目标匹配的方法、装置及存储介质
CN114898307A (zh) * 2022-07-11 2022-08-12 浙江大华技术股份有限公司 一种对象跟踪方法、装置、电子设备和存储介质
CN116258984A (zh) * 2023-05-11 2023-06-13 中航信移动科技有限公司 一种物体识别的系统

Also Published As

Publication number Publication date
US20210343027A1 (en) 2021-11-04
WO2021017891A1 (zh) 2021-02-04

Similar Documents

Publication Publication Date Title
CN110443828A (zh) 对象跟踪方法和装置、存储介质及电子装置
JP6831769B2 (ja) 画像検索装置、画像検索方法、及び、それに用いる設定画面
CN109886078B (zh) 目标对象的检索定位方法和装置
CN110516620A (zh) 目标跟踪方法、装置、存储介质及电子设备
CN110533685B (zh) 对象跟踪方法和装置、存储介质及电子装置
CN108256443A (zh) 一种人员定位方法、系统及终端设备
CN111291589A (zh) 信息的关联分析方法及装置、储存介质、电子装置
CN110428449A (zh) 目标检测跟踪方法、装置、设备及存储介质
Khaire et al. A semi-supervised deep learning based video anomaly detection framework using RGB-D for surveillance of real-world critical environments
CN106030610A (zh) 移动设备的实时3d姿势识别和跟踪系统
CN110533700A (zh) 对象跟踪方法和装置、存储介质及电子装置
EP2618288A1 (en) Monitoring system and method for video episode viewing and mining
D'Orazio et al. A survey of automatic event detection in multi-camera third generation surveillance systems
Gaikwad et al. Smart surveillance system for real-time multi-person multi-camera tracking at the edge
CN108875507A (zh) 行人跟踪方法、设备、系统和计算机可读存储介质
Yan et al. Human-object interaction recognition using multitask neural network
KR101446422B1 (ko) 영상 감시 시스템 및 방법
Vaniya et al. Exploring object segmentation methods in visual surveillance for human activity recognition
Yadav et al. Human Illegal Activity Recognition Based on Deep Learning Techniques
CN114782677A (zh) 图像处理方法、装置、计算机设备、存储介质和计算机程序
Ntalampiras et al. PROMETHEUS: heterogeneous sensor database in support of research on human behavioral patterns in unrestricted environments
CN113378691A (zh) 基于实时用户行为分析的智能家居管理系统及方法
Hu et al. Multi-camera trajectory mining: database and evaluation
Srivastava et al. Automatic and multimodal nuisance activity detection inside ATM cabins in real time
Wu et al. A Multi-Camera Tracker for Monitoring Pedestrians in Enclosed Environments

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination