CN112465078B - 跨摄像头行人轨迹处理方法、计算机设备及可读存储介质 - Google Patents

跨摄像头行人轨迹处理方法、计算机设备及可读存储介质 Download PDF

Info

Publication number
CN112465078B
CN112465078B CN202110147011.2A CN202110147011A CN112465078B CN 112465078 B CN112465078 B CN 112465078B CN 202110147011 A CN202110147011 A CN 202110147011A CN 112465078 B CN112465078 B CN 112465078B
Authority
CN
China
Prior art keywords
track
pedestrian
content
feature
space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110147011.2A
Other languages
English (en)
Other versions
CN112465078A (zh
Inventor
郭俊豪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhongke Zhiyun Technology Co ltd
Chengdu Dianze Intelligent Technology Co ltd
Original Assignee
Zhongke Zhiyun Technology Co ltd
Chengdu Dianze Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhongke Zhiyun Technology Co ltd, Chengdu Dianze Intelligent Technology Co ltd filed Critical Zhongke Zhiyun Technology Co ltd
Priority to CN202110147011.2A priority Critical patent/CN112465078B/zh
Publication of CN112465078A publication Critical patent/CN112465078A/zh
Application granted granted Critical
Publication of CN112465078B publication Critical patent/CN112465078B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29Geographical information databases
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/953Querying, e.g. by the use of web search engines
    • G06F16/9537Spatial or temporal dependent retrieval, e.g. spatiotemporal queries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30241Trajectory

Abstract

本发明具体涉及跨摄像头行人轨迹处理方法、计算机设备及可读存储介质,在yolov4检测以及行人重识别技术ReID作为人形匹配的基础上,结合计算机设备的内存空间和硬盘空间进行行人轨迹拼接。在进行行人轨迹拼接时,通过对预设映射空间是否存在轨迹进行判断,从而根据不同的判断结果进行对应的行人轨迹的映射和确定,并且在将行人轨迹进行空间映射时,能够确保所映射的行人轨迹互相之间在时间上冲突或者在空间上冲突,这样能够确保待拼接的行人轨迹之间不会存在互相干扰,以确保轨迹拼接的准确性和可信度,进一步地,基于特征相似度进行轨迹拼接,能将行人的多维特征考虑在内,从而完整、准确地确定出全局行人轨迹,避免出现轨迹错乱和轨迹丢失等现象。

Description

跨摄像头行人轨迹处理方法、计算机设备及可读存储介质
技术领域
本发明实施例涉及行人识别技术领域,具体涉及一种跨摄像头行人轨迹处理方法、计算机设备及可读存储介质。
背景技术
行人重识别(Person Re-Identification,ReID)也称为跨镜追踪,是现在计算机视觉研究的热门方向,主要解决跨摄像头跨场景下行人的识别与检索。该技术能够根据行人的穿着、体态、发型等信息认知行人,与人脸识别结合能够适用于更多新的应用场景,将人工智能的认知水平提高到一个新阶段。举例而言,行人重识别可以应用于智能安防、大型公共场所的智能寻人、以及智能商场的用户轨迹兴趣分析等。然而,相关技术在确定全局行人轨迹时会出现轨迹错乱和轨迹丢失等现象。
发明内容
有鉴于此,本发明实施例提供了一种跨摄像头行人轨迹处理方法、计算机设备及可读存储介质,能够完整、准确地确定出全局行人轨迹,避免出现轨迹错乱和轨迹丢失等现象。
本发明实施例提供了一种跨摄像头行人轨迹处理方法,应用于与摄像头通信的计算机设备,所述计算机设备的硬盘空间中存储有待处理行人轨迹,所述待处理行人轨迹是从所述计算机设备的内存空间导入到所述硬盘空间中的,所述内存空间中的行人轨迹是基于所述摄像头上传的图片生成的,所述方法包括:
判断预设映射空间是否为初始化空间;
在所述预设映射空间为所述初始化空间的情况下,将多条第一待处理行人轨迹映射到所述预设映射空间中并作为原始行人轨迹;其中,各所述第一待处理行人轨迹互相之间在时间上冲突或者在空间上冲突;
在所述预设映射空间为非初始化空间的情况下,将多条第二待处理行人轨迹映射到所述预设映射空间中;其中,各所述第二待处理行人轨迹互相之间在时间上冲突或者在空间上冲突,所述非初始化空间中包括有在时间上冲突或者在空间上冲突的多条原始行人轨迹;
针对所述非初始化空间中的每条原始行人轨迹,确定该条原始行人轨迹与每条所述第二待处理行人轨迹之间的特征相似度;根据所述特征相似度确定与该条原始行人轨迹相匹配的目标行人轨迹;其中,所述目标行人轨迹是所述多条第二待处理行人轨迹中,与该条原始行人轨迹之间的特征相似度大于设定相似度且与该条原始行人轨迹在时间上和空间上均不冲突的第二待处理行人轨迹;
将该条原始行人轨迹及其对应的目标行人轨迹进行拼接,得到该条原始行人轨迹对应的全局轨迹。
在一个可选的实施例中,所述方法还包括:
将所述多条第二待处理行人轨迹中的未拼接的目标行人轨迹确定为原始行人轨迹。
在一个可选的实施例中,确定该条原始行人轨迹与每条所述第二待处理行人轨迹之间的特征相似度,包括:
提取该条原始行人轨迹对应的第一全局特征内容以及每条所述第二待处理行人轨迹之间的第二全局特征内容;
基于所述第一全局特征内容以及所述第二全局特征内容,确定该条原始行人轨迹与每条所述第二待处理行人轨迹之间的特征相似度。
在一个可选的实施例中,提取该条原始行人轨迹对应的第一全局特征内容,包括:
获取该条原始行人轨迹对应的待识别轨迹描述内容,并将所述待识别轨迹描述内容输入至全局状态识别模型中,所述全局状态识别模型基于随机轨迹描述内容训练集和随机模型评价指标训练得到,所述随机轨迹描述内容训练集为特征标签正例训练集的数目和特征标签负例训练集的数目非一致的轨迹描述内容训练集;所述随机模型评价指标根据特征标签的样本轨迹测试率和全局状态样本轨迹确定,其中,所述全局状态样本轨迹为所述随机轨迹描述内容训练集中各轨迹描述内容样本轨迹对应的全局状态样本轨迹,所述特征标签的样本轨迹测试率为利用所述全局状态识别模型获取的所述轨迹描述内容样本轨迹对应的特征标签的样本轨迹测试率,所述随机模型评价指标包括第一泛化指标、第二泛化指标和交叉熵损失;
通过所述全局状态识别模型对所述待识别轨迹描述内容进行内容解析,以获取与所述待识别轨迹描述内容对应的特征标签;
根据所述特征标签从所述待识别轨迹描述内容中获取对应的特征内容块,并根据所述特征标签和所述特征内容块生成行人轨迹关联信息,以根据所述行人轨迹关联信息生成该条原始行人轨迹对应的第一全局特征内容;
其中,所述全局状态识别模型包括轨迹拆分子网络和标签测试子网络;所述通过所述全局状态识别模型对所述待识别轨迹描述内容进行内容解析,以获取与所述待识别轨迹描述内容对应的特征标签,包括:
将所述待识别轨迹描述内容输入至所述轨迹拆分子网络进行内容标记处理和内容拆分处理,以获取与所述待识别轨迹描述内容对应的特征内容片段;
将所述特征内容片段输入至所述标签测试子网络进行标签测试,以获取特征标签测试结果;
根据第一预设测试评价阈值和所述特征标签测试结果确定与所述待识别轨迹描述内容对应的特征标签;
其中,所述轨迹拆分子网络包括内容标记网络层、标识分类网络层和内容拆分网络层;所述将所述待识别轨迹描述内容输入至所述轨迹拆分子网络进行内容标记处理和内容拆分处理,以获取与所述待识别轨迹描述内容对应的特征内容片段,包括:
通过所述内容标记网络层将所述待识别轨迹描述内容中的各个描述类别信息转换为类别特征;
通过所述标识分类网络层对所述待识别轨迹描述内容进行分类,并对获取的各个分类的人形属性信息进行识别,以获取标识分类信息;
通过所述内容拆分网络层对各所述描述类别信息对应的类别特征和标识分类信息进行内容拆分,以获取与各所述描述类别信息对应的特征内容拆分集;
根据所述待识别轨迹描述内容中所有描述类别信息对应的特征内容拆分集确定与所述待识别轨迹描述内容对应的特征内容片段。
在一个可选的实施例中,基于所述第一全局特征内容以及所述第二全局特征内容,确定该条原始行人轨迹与每条所述第二待处理行人轨迹之间的特征相似度,包括:
基于所述第一全局特征内容以及所述第二全局特征内容确定目标特征内容集合,其中,所述目标特征内容集合包括所述非初始化空间中该条原始行人轨迹在目标时段内对应的多个第一局部特征内容、所述所述非初始化空间中每条所述第二待处理行人轨迹在所述目标时段内对应的多个第二局部特征内容,以及各局部特征内容的对应时段指标;
利用与所述多个第一局部特征内容对应的第一局部描述标签子队列,及与所述多个第二局部特征内容对应的第二局部描述标签子队列生成局部描述标签序列,并根据所述局部描述标签序列获取行人轨迹时空域特征,其中,所述第一局部描述标签子队列用于指示按照所述对应时段指标绑定的所述多个第一局部特征内容的特征内容类型所对应的局部描述标签,所述第二局部描述标签子队列用于指示按照所述对应时段指标绑定的所述多个第二局部特征内容的特征内容类型所对应的局部描述标签,所述行人轨迹时空域特征用于指示所述第一局部描述标签子队列及所述第二局部描述标签子队列的时空域传递权重;所述时空域传递权重用于表征该条原始行人轨迹与每条所述第二待处理行人轨迹之间的时空域关联度;
利用所述目标特征内容集合中在目标时段段内被选中且按所述对应时段指标排序的所述第一局部特征内容与所述第二局部特征内容生成特征内容关系矩阵,并根据所述特征内容关系矩阵获取特征内容相似信息,其中,所述特征内容相似信息用于指示所述特征内容关系矩阵中至少两个相邻特征内容之间的时空域传递权重;
根据所述行人轨迹时空域特征与所述特征内容相似信息,获取所述该条原始行人轨迹与所述每条所述第二待处理行人轨迹之间的行人轨迹匹配度;将所述行人轨迹匹配度中最大值所指示的目标特征相似度,确定为所述该条原始行人轨迹与所述每条所述第二待处理行人轨迹之间的特征相似度。
在一个可选的实施例中,所述内存空间中的行人轨迹通过以下方式生成:
获取所述摄像头上传的图片,对所述图片进行人形检测,得到人形检测框;
判断所述内存空间中是否存在待匹配轨迹;
若不存在,则根据所述人形检测框以及检测框对应的人形特征创建新的行人轨迹并存储到所述内存空间中;
若存在,提取所述图片中的当前检测框对应的人形特征,并计算所述当前检测框与所述待匹配轨迹对应的历史检测框之间的第一iou;其中,所述历史检测框是所述待匹配轨迹对应的最后时刻的检测框;以及,计算所述图片中除所述第一iou之外的每两个检测框之间的第二iou;
根据所述人形特征以及所述第一iou构建所述当前检测框和所述待匹配轨迹之间的相似度矩阵;根据所述相似度矩阵选择相似度大于设定阈值的k对匹配对,其中,k不大于待匹配轨迹的条数以及不大于检测框的个数,每个匹配对对应一个待匹配轨迹以及一个检测框;
当存在未成功匹配的检测框时,根据所述第二iou,将与遮挡人检测框之间的iou大于0的检测框划入由被遮挡人遮挡而导致丢失的轨迹,以得到k对匹配对;
更新每条待匹配轨迹对应的轨迹信息,并判断更新完成的已更新轨迹中是否存在丢失帧数超过设定帧数阈值的目标已更新轨迹,若存在,将所述目标已更新轨迹迁移存储至所述硬盘空间。
在一个可选的实施例中,更新每条待匹配轨迹对应的轨迹信息,包括:
根据所述匹配对将该待匹配轨迹与其对应的检测框进行绑定;
判断该待匹配轨迹是否满足人形遮挡条件,当检测对象没有位于所述图片的边界处,所述图片的上一帧图片中存在两个检测框对应的iou大于0且所述图片中仅存在一个检测框时,将所述图片中与检测框匹配成功的轨迹判定为遮挡人轨迹,并将所述遮挡人轨迹对应的轨迹标签录入被遮挡人轨迹中。
在一个可选的实施例中,更新每条待匹配轨迹对应的轨迹信息之前,所述方法还包括:
若存在没有匹配成功的检测框,则根据没有匹配成功的检测框以及检测框对应的人形特征创建新的轨迹。。
本发明实施例还提供了一种计算机设备,包括处理器、通信总线和存储器;所述处理器和所述存储器通过所述通信总线通信,所述处理器从所述存储器中读取计算机程序并运行,以实现上述的方法。
本发明实施例还提供了一种可读存储介质,其上存储有计算机程序,所述计算机程序在运行时执行上述的方法。
本发明实施例提供的跨摄像头行人轨迹处理方法、计算机设备及可读存储介质具有以下技术效果:在yolov4检测以及行人重识别技术ReID作为人形匹配的基础上,结合计算机设备的内存空间和硬盘空间进行行人轨迹拼接。在进行行人轨迹拼接时,通过对预设映射空间是否存在轨迹进行判断,从而根据不同的判断结果进行对应的行人轨迹的映射和确定,并且在将行人轨迹进行空间映射时,能够确保所映射的行人轨迹互相之间在时间上冲突或者在空间上冲突,这样能够确保待拼接的行人轨迹之间不会存在互相干扰,以确保轨迹拼接的准确性和可信度,进一步地,基于特征相似度进行轨迹拼接,能将行人的多维特征考虑在内,从而完整、准确地确定出全局行人轨迹,避免出现轨迹错乱和轨迹丢失等现象。
在后面的描述中,将部分地陈述其他的特征。在检查后面内容和附图时,本领域的技术人员将部分地发现这些特征,或者可以通过生产或运用了解到这些特征。通过实践或使用后面所述详细示例中列出的方法、工具和组合的各个方面,当前申请中的特征可以被实现和获得。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本发明实施例所提供的一种计算机设备的方框示意图。
图2为本发明实施例所提供的一种跨摄像头行人轨迹处理方法的流程图。
图3为本发明实施例所提供的一种跨摄像头行人轨迹处理装置的框图。
图4为本发明实施例所提供的一种跨摄像头行人轨迹处理系统的架构图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例只是本发明的一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
以上现有技术中的方案所存在的缺陷,均是发明人在经过实践并仔细研究后得出的结果,因此,上述问题的发现过程以及下文中本发明实施例针对上述问题所提出的解决方案,都应该是发明人在本发明过程中对本发明做出的贡献。
基于上述研究,本发明实施例提供了一种跨摄像头行人轨迹处理方法、计算机设备及可读存储介质。
图1示出了本发明实施例所提供的一种计算机设备10的方框示意图。本发明实施例中的计算机设备10可以为具有数据存储、传输、处理功能的服务端,如图1所示,计算机设备10包括:存储器11、处理器12、通信总线13和跨摄像头行人轨迹处理装置20。
存储器11、处理器12和通信总线13之间直接或间接地电性连接,以实现数据的传输或交互。例如,这些元件互相之间可以通过一条或多条通讯总线或信号线实现电性连接。存储器11中存储有跨摄像头行人轨迹处理装置20,所述跨摄像头行人轨迹处理装置20包括至少一个可以软件或固件(firmware)的形式储存于所述存储器11中的软件功能模块,所述处理器12通过运行存储在存储器11内的软件程序以及模块,例如本发明实施例中的跨摄像头行人轨迹处理装置20,从而执行各种功能应用以及数据处理,即实现本发明实施例中的跨摄像头行人轨迹处理方法。
其中,所述存储器11可以是,但不限于,随机存取存储器(RandomAccessMemory,RAM),只读存储器(ReadOnlyMemory,ROM),可编程只读存储器(ProgrammableRead-OnlyMemory,PROM),可擦除只读存储器(ErasableProgrammableRead-OnlyMemory,EPROM),电可擦除只读存储器(ElectricErasableProgrammableRead-OnlyMemory,EEPROM)等。其中,存储器11用于存储程序,所述处理器12在接收到执行指令后,执行所述程序。
所述处理器12可能是一种集成电路芯片,具有数据的处理能力。上述的处理器12可以是通用处理器,包括中央处理器(CentralProcessingUnit,CPU)、网络处理器(networPProcessor,nP)等。可以实现或者执行本发明实施例中公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
通信总线13用于通过网络生成计算机设备10与其他通信终端设备之间的通信连接,实现网络信号及数据的收发操作。上述网络信号可包括无线信号或者有线信号。
可以理解,图1所示的结构仅为示意,计算机设备10还可包括比图1中所示更多或者更少的组件,或者具有与图1所示不同的配置。图1中所示的各组件可以采用硬件、软件或其组合实现。
本发明实施例还提供了一种计算机用可读存储介质,所述可读存储介质存储有计算机程序,所述计算机程序在运行时实现上述的方法。
图2示出了本发明实施例所提供的一种跨摄像头行人轨迹处理方法的流程图。所述方法有关的流程所定义的方法步骤应用于计算机设备10,可以由所述处理器12实现,进一步地,计算机设备10可以与摄像头通信连接的计算机设备,所述计算机设备的硬盘空间中存储有待处理行人轨迹,所述待处理行人轨迹是从所述计算机设备的内存空间导入到所述硬盘空间中的,所述内存空间中的行人轨迹是基于所述摄像头上传的图片生成的,摄像头可以安装在街道、工厂、居民小区、大型商场或者大型游乐园等场所,在此不作限定。
可以理解,计算机设备基于内存空间中对行人轨迹进行预处理,基于硬盘空间实现行人轨迹的拼接,进一步地,在进行预处理时,可以是针对图片的人形检测,轨迹调整等,比如引用旧检测框以及新检测框之间iou作为新的依据,又比如针对行人相互遮挡导致追踪丢失的情形,引入遮挡标签,这样可以确保预处理得到的行人轨迹的完整性和准确性,从而确保后续全局轨迹拼接的质量。
在上述内容的基础上,跨摄像头行人轨迹处理方法可以包括以下步骤S100-S500。
S100:判断预设映射空间是否为初始化空间。
举例而言,预设映射空间是用于进行轨迹拼接的空间,可以理解为与实际监控区域场景对应的图片空间。初始化空间可以理解为预设映射空间中不存在行人轨迹,非初始化空间可以理解为预设映射空间中存在行人轨迹。若预设映射空间为初始化空间,则转向S200。若预设映射空间为非初始化空间,则转向S300。
S200:在所述预设映射空间为所述初始化空间的情况下,将多条第一待处理行人轨迹映射到所述预设映射空间中并作为原始行人轨迹。
举例而言,各所述第一待处理行人轨迹互相之间在时间上冲突或者在空间上冲突。时间上冲突可以理解为相同监控位置位置的行人轨迹处于不同监控时段,空间上冲突可以理解为相同监控时段内的行人轨迹处于不同的监控位置。
S300:在所述预设映射空间为非初始化空间的情况下,将多条第二待处理行人轨迹映射到所述预设映射空间中。
举例而言,各所述第二待处理行人轨迹互相之间在时间上冲突或者在空间上冲突,所述非初始化空间中包括有在时间上冲突或者在空间上冲突的多条原始行人轨迹。
S400:针对所述非初始化空间中的每条原始行人轨迹,确定该条原始行人轨迹与每条所述第二待处理行人轨迹之间的特征相似度;根据所述特征相似度确定与该条原始行人轨迹相匹配的目标行人轨迹。
举例而言,所述目标行人轨迹是所述多条第二待处理行人轨迹中,与该条原始行人轨迹之间的特征相似度大于设定相似度且与该条原始行人轨迹在时间上和空间上均不冲突的第二待处理行人轨迹。其中,设定相似度可以根据实际情况进行设置,比如80%,亦或者90%,在此不作限定。
在实际实施过中,为了确保轨迹拼接的准确性和可靠性,需要准确确定与原始行人轨迹相匹配的目标行人轨迹,而确定依据是特征相似度,因此,在进行特征相似度的计算时,需要考虑不同行人轨迹在时空域上的全局性,为实现这一目的,S400中描述的确定该条原始行人轨迹与每条所述第二待处理行人轨迹之间的特征相似度,还可以通过以下步骤S410和S420实现。
S410:提取该条原始行人轨迹对应的第一全局特征内容以及每条所述第二待处理行人轨迹之间的第二全局特征内容。
举例而言,全局特征内容可以基于图像识别算法提取,在此不做赘述。在实际实施过程中,第一全局特征内容和第二全局特征内容的提取方式可以是类似的,因此在此仅对第一全局特征内容提取的进一步实施方式进行说明,基于此,提取该条原始行人轨迹对应的第一全局特征内容,可以通过以下步骤S411-S413实现。
S411:获取该条原始行人轨迹对应的待识别轨迹描述内容,并将所述待识别轨迹描述内容输入至全局状态识别模型中。
举例而言,所述全局状态识别模型基于随机轨迹描述内容训练集和随机模型评价指标训练得到,所述随机轨迹描述内容训练集为特征标签正例训练集的数目和特征标签负例训练集的数目非一致的轨迹描述内容训练集;所述随机模型评价指标根据特征标签的样本轨迹测试率和全局状态样本轨迹确定,其中,所述全局状态样本轨迹为所述随机轨迹描述内容训练集中各轨迹描述内容样本轨迹对应的全局状态样本轨迹,所述特征标签的样本轨迹测试率为利用所述全局状态识别模型获取的所述轨迹描述内容样本轨迹对应的特征标签的样本轨迹测试率,所述随机模型评价指标包括第一泛化指标、第二泛化指标和交叉熵损失。进一步地,泛化指标用于描述模型的泛化能力,交叉熵损失可以用于对模型的识别、测试或预测能力进行评估,一般而言,泛化指标和/或交叉熵损失可以作为模型训练的终止条件。
S412:通过所述全局状态识别模型对所述待识别轨迹描述内容进行内容解析,以获取与所述待识别轨迹描述内容对应的特征标签。举例而言,特征标签可以用于对待识别轨迹描述内容进行区分。进一步地,所述全局状态识别模型包括轨迹拆分子网络和标签测试子网络;所述通过所述全局状态识别模型对所述待识别轨迹描述内容进行内容解析,以获取与所述待识别轨迹描述内容对应的特征标签,包括:将所述待识别轨迹描述内容输入至所述轨迹拆分子网络进行内容标记处理和内容拆分处理,以获取与所述待识别轨迹描述内容对应的特征内容片段;将所述特征内容片段输入至所述标签测试子网络进行标签测试,以获取特征标签测试结果;根据第一预设测试评价阈值和所述特征标签测试结果确定与所述待识别轨迹描述内容对应的特征标签。更进一步地,所述轨迹拆分子网络包括内容标记网络层、标识分类网络层和内容拆分网络层;所述将所述待识别轨迹描述内容输入至所述轨迹拆分子网络进行内容标记处理和内容拆分处理,以获取与所述待识别轨迹描述内容对应的特征内容片段,包括:通过所述内容标记网络层将所述待识别轨迹描述内容中的各个描述类别信息转换为类别特征;通过所述标识分类网络层对所述待识别轨迹描述内容进行分类,并对获取的各个分类的人形属性信息进行识别,以获取标识分类信息;通过所述内容拆分网络层对各所述描述类别信息对应的类别特征和标识分类信息进行内容拆分,以获取与各所述描述类别信息对应的特征内容拆分集;根据所述待识别轨迹描述内容中所有描述类别信息对应的特征内容拆分集确定与所述待识别轨迹描述内容对应的特征内容片段。
S413:根据所述特征标签从所述待识别轨迹描述内容中获取对应的特征内容块,并根据所述特征标签和所述特征内容块生成行人轨迹关联信息,以根据所述行人轨迹关联信息生成该条原始行人轨迹对应的第一全局特征内容。举例而言,行人轨迹关联信息能够从全局层面对行人轨迹进行表达。
如此设计,在应用上述S411-S413所描述的内容时,能够基于机器学习模型确定特征标签,进而得到能够从全局层面对行人轨迹进行表达的行人轨迹关联信息,这样能够基于行人轨迹关联信息生成原始行人轨迹对应的第一全局特征内容,以确保第一全局特征内容的时效性和完整性。
S420:基于所述第一全局特征内容以及所述第二全局特征内容,确定该条原始行人轨迹与每条所述第二待处理行人轨迹之间的特征相似度。进一步地,基于所述第一全局特征内容以及所述第二全局特征内容,确定该条原始行人轨迹与每条所述第二待处理行人轨迹之间的特征相似度,可以通过以下步骤S421-S424所描述的内容实现。
S421:基于所述第一全局特征内容以及所述第二全局特征内容确定目标特征内容集合。
举例而言,所述目标特征内容集合包括所述非初始化空间中该条原始行人轨迹在目标时段内对应的多个第一局部特征内容、所述所述非初始化空间中每条所述第二待处理行人轨迹在所述目标时段内对应的多个第二局部特征内容,以及各局部特征内容的对应时段指标。
S422:利用与所述多个第一局部特征内容对应的第一局部描述标签子队列,及与所述多个第二局部特征内容对应的第二局部描述标签子队列生成局部描述标签序列,并根据所述局部描述标签序列获取行人轨迹时空域特征。
举例而言,所述第一局部描述标签子队列用于指示按照所述对应时段指标绑定的所述多个第一局部特征内容的特征内容类型所对应的局部描述标签,所述第二局部描述标签子队列用于指示按照所述对应时段指标绑定的所述多个第二局部特征内容的特征内容类型所对应的局部描述标签,所述行人轨迹时空域特征用于指示所述第一局部描述标签子队列及所述第二局部描述标签子队列的时空域传递权重;所述时空域传递权重用于表征该条原始行人轨迹与每条所述第二待处理行人轨迹之间的时空域关联度。
S423:利用所述目标特征内容集合中在目标时段段内被选中且按所述对应时段指标排序的所述第一局部特征内容与所述第二局部特征内容生成特征内容关系矩阵,并根据所述特征内容关系矩阵获取特征内容相似信息。
举例而言,所述特征内容相似信息用于指示所述特征内容关系矩阵中至少两个相邻特征内容之间的时空域传递权重。时空域传递权重用于表征不同特征内容之间在时间和空间上的关联性和传递性。
S424:根据所述行人轨迹时空域特征与所述特征内容相似信息,获取所述该条原始行人轨迹与所述每条所述第二待处理行人轨迹之间的行人轨迹匹配度;将所述行人轨迹匹配度中最大值所指示的目标特征相似度,确定为所述该条原始行人轨迹与所述每条所述第二待处理行人轨迹之间的特征相似度。
这样一来,在确定特征相似度时,能够考虑不同特征内容之间在时间和空间上的关联性和传递性,从而确保特征相似度的完整性和准确性。
如此设计,通过实施上述S410和S420,考虑不同行人轨迹在时空域上的全局性,从而确保特征相似度的完整性和准确性,这样能够基于特征相似度准确确定与原始行人轨迹相匹配的目标行人轨迹,进而确保轨迹拼接的准确性和可靠性。
S500:将该条原始行人轨迹及其对应的目标行人轨迹进行拼接,得到该条原始行人轨迹对应的全局轨迹。
可以理解,原始行人轨迹和目标行人轨迹可以对应于统一摄像头在不同时段的拍摄结果,也可以对应于不同摄像头在不同时段的拍摄结果,在此不作限定。进一步地,原始行人轨迹对应的全局轨迹考虑了行人互相遮挡以及行人位于监控画面之外的情况,并结合人形特征进行分析,能够确保轨迹拼接的完整性和可靠性。
在一个可选的实施例中,在上述S100-S500的基础上,还可以包括以下内容:将所述多条第二待处理行人轨迹中的未拼接的目标行人轨迹确定为原始行人轨迹。举例而言,未拼接的目标行人轨迹可以理解为引入的新的行人轨迹,因此,可以将未拼接的目标行人轨迹确定为原始行人轨迹,用于后续的轨迹拼接。
在实际实施过程中,硬盘空间中的行人轨迹是基于内容空间得到的,计算机设备在内存空间中对图片进行识别处理,以得到对应的行人轨迹,进一步地,为了考虑行人遮挡和行人脱离监控区域等情况对轨迹处理造成的影响,内存空间中的行人轨迹可以通过以下方式生成。获取所述摄像头上传的图片,对所述图片进行人形检测,得到人形检测框。判断所述内存空间中是否存在待匹配轨迹。若不存在,则根据所述人形检测框以及检测框对应的人形特征创建新的行人轨迹并存储到所述内存空间中。若存在,提取所述图片中的当前检测框对应的人形特征,并计算所述当前检测框与所述待匹配轨迹对应的历史检测框之间的第一iou;其中,所述历史检测框是所述待匹配轨迹对应的最后时刻的检测框;以及,计算所述图片中除所述第一iou之外的每两个检测框之间的第二iou。根据所述人形特征以及所述第一iou构建所述当前检测框和所述待匹配轨迹之间的相似度矩阵;根据所述相似度矩阵选择相似度大于设定阈值的k对匹配对,其中,k不大于待匹配轨迹的条数以及不大于检测框的个数,每个匹配对对应一个待匹配轨迹以及一个检测框。当存在未成功匹配的检测框时,根据所述第二iou,将与遮挡人检测框之间的iou大于0的检测框划入由被遮挡人遮挡而导致丢失的轨迹,以得到k对匹配对。更新每条待匹配轨迹对应的轨迹信息,并判断更新完成的已更新轨迹中是否存在丢失帧数超过设定帧数阈值的目标已更新轨迹,若存在,将所述目标已更新轨迹迁移存储至所述硬盘空间。
举例而言,人形检测可以基于FasterRCNN、yolov3以及yolov4等实现,行人追踪可以基于ReID、Siam-RPN以及Deep SORT等方式实现,在此不作限定。交并比(Intersection-over-Union,IoU)是目标检测中使用的一个概念,是产生的候选框(candidate bound)与原标记框(ground truth bound)的交叠率,即它们的交集与并集的比值。最理想情况是完全重叠,即比值为1。可以理解,本申请实施例在进行行人轨迹处理时引用了旧检测框以及新检测框之间iou作为新的依据,能够改善行人重识别单独使用效果不佳的现象以及行人相互遮挡导致追踪错乱的问题,从而确保得到的行人轨迹能够直接用于后续的轨迹拼接。
在一些可能的实施例中,上述内容中的“更新每条待匹配轨迹对应的轨迹信息”,可以包括以下内容。根据所述匹配对将该待匹配轨迹与其对应的检测框进行绑定。判断该待匹配轨迹是否满足人形遮挡条件,当检测对象没有位于所述图片的边界处,所述图片的上一帧图片中存在两个检测框对应的iou大于0且所述图片中仅存在一个检测框时,将所述图片中与检测框匹配成功的轨迹判定为遮挡人轨迹,并将所述遮挡人轨迹对应的轨迹标签录入被遮挡人轨迹中。如此设计,能将行人遮挡的情况考虑在内,从而避免行人轨迹出现错乱和丢失。
在另外的一些实施例中,上述内容中的“更新每条待匹配轨迹对应的轨迹信息”之前,该方法还可以包括以下内容:若存在没有匹配成功的检测框,则根据没有匹配成功的检测框以及检测框对应的人形特征创建新的轨迹。。如此设计,能够将图片中的新的行人轨迹考虑在内,从而确保后续轨迹处理的完整性。
综上,通过S100-S500,在yolov4检测以及行人重识别技术ReID作为人形匹配的基础上,结合计算机设备的内存空间和硬盘空间进行行人轨迹拼接。在进行行人轨迹拼接时,通过对预设映射空间是否存在轨迹进行判断,从而根据不同的判断结果进行对应的行人轨迹的映射和确定,并且在将行人轨迹进行空间映射时,能够确保所映射的行人轨迹互相之间在时间上冲突或者在空间上冲突,这样能够确保待拼接的行人轨迹之间不会存在互相干扰,以确保轨迹拼接的准确性和可信度,进一步地,基于特征相似度进行轨迹拼接,能将行人的多维特征考虑在内,从而完整、准确地确定出全局行人轨迹,避免出现轨迹错乱和轨迹丢失等现象。
基于上述同样的发明构思,请结合参阅图3,示出了一种跨摄像头行人轨迹处理装置30的模块框图,关于该跨摄像头行人轨迹处理装置30的描述如下。
空间判断模块31,用于判断预设映射空间是否为初始化空间。
轨迹映射模块32,用于在所述预设映射空间为所述初始化空间的情况下,将多条第一待处理行人轨迹映射到所述预设映射空间中并作为原始行人轨迹;其中,各所述第一待处理行人轨迹互相之间在时间上冲突或者在空间上冲突;在所述预设映射空间为非初始化空间的情况下,将多条第二待处理行人轨迹映射到所述预设映射空间中;其中,各所述第二待处理行人轨迹互相之间在时间上冲突或者在空间上冲突,所述非初始化空间中包括有在时间上冲突或者在空间上冲突的多条原始行人轨迹;
轨迹确定模块33,用于针对所述非初始化空间中的每条原始行人轨迹,确定该条原始行人轨迹与每条所述第二待处理行人轨迹之间的特征相似度;根据所述特征相似度确定与该条原始行人轨迹相匹配的目标行人轨迹;其中,所述目标行人轨迹是所述多条第二待处理行人轨迹中,与该条原始行人轨迹之间的特征相似度大于设定相似度且与该条原始行人轨迹在时间上和空间上均不冲突的第二待处理行人轨迹。
轨迹拼接模块34,用于将该条原始行人轨迹及其对应的目标行人轨迹进行拼接,得到该条原始行人轨迹对应的全局轨迹。
进一步地,轨迹拼接模块34,还用于:
将所述多条第二待处理行人轨迹中的未拼接的目标行人轨迹确定为原始行人轨迹。
进一步地,轨迹确定模块33,用于:
提取该条原始行人轨迹对应的第一全局特征内容以及每条所述第二待处理行人轨迹之间的第二全局特征内容;
基于所述第一全局特征内容以及所述第二全局特征内容,确定该条原始行人轨迹与每条所述第二待处理行人轨迹之间的特征相似度。
进一步地,轨迹确定模块33,用于:
获取该条原始行人轨迹对应的待识别轨迹描述内容,并将所述待识别轨迹描述内容输入至全局状态识别模型中,所述全局状态识别模型基于随机轨迹描述内容训练集和随机模型评价指标训练得到,所述随机轨迹描述内容训练集为特征标签正例训练集的数目和特征标签负例训练集的数目非一致的轨迹描述内容训练集;所述随机模型评价指标根据特征标签的样本轨迹测试率和全局状态样本轨迹确定,其中,所述全局状态样本轨迹为所述随机轨迹描述内容训练集中各轨迹描述内容样本轨迹对应的全局状态样本轨迹,所述特征标签的样本轨迹测试率为利用所述全局状态识别模型获取的所述轨迹描述内容样本轨迹对应的特征标签的样本轨迹测试率,所述随机模型评价指标包括第一泛化指标、第二泛化指标和交叉熵损失;
通过所述全局状态识别模型对所述待识别轨迹描述内容进行内容解析,以获取与所述待识别轨迹描述内容对应的特征标签;
根据所述特征标签从所述待识别轨迹描述内容中获取对应的特征内容块,并根据所述特征标签和所述特征内容块生成行人轨迹关联信息,以根据所述行人轨迹关联信息生成该条原始行人轨迹对应的第一全局特征内容;
其中,所述全局状态识别模型包括轨迹拆分子网络和标签测试子网络;所述通过所述全局状态识别模型对所述待识别轨迹描述内容进行内容解析,以获取与所述待识别轨迹描述内容对应的特征标签,包括:
将所述待识别轨迹描述内容输入至所述轨迹拆分子网络进行内容标记处理和内容拆分处理,以获取与所述待识别轨迹描述内容对应的特征内容片段;
将所述特征内容片段输入至所述标签测试子网络进行标签测试,以获取特征标签测试结果;
根据第一预设测试评价阈值和所述特征标签测试结果确定与所述待识别轨迹描述内容对应的特征标签;
其中,所述轨迹拆分子网络包括内容标记网络层、标识分类网络层和内容拆分网络层;所述将所述待识别轨迹描述内容输入至所述轨迹拆分子网络进行内容标记处理和内容拆分处理,以获取与所述待识别轨迹描述内容对应的特征内容片段,包括:
通过所述内容标记网络层将所述待识别轨迹描述内容中的各个描述类别信息转换为类别特征;
通过所述标识分类网络层对所述待识别轨迹描述内容进行分类,并对获取的各个分类的人形属性信息进行识别,以获取标识分类信息;
通过所述内容拆分网络层对各所述描述类别信息对应的类别特征和标识分类信息进行内容拆分,以获取与各所述描述类别信息对应的特征内容拆分集;
根据所述待识别轨迹描述内容中所有描述类别信息对应的特征内容拆分集确定与所述待识别轨迹描述内容对应的特征内容片段。
进一步地,轨迹确定模块33,用于:
基于所述第一全局特征内容以及所述第二全局特征内容确定目标特征内容集合,其中,所述目标特征内容集合包括所述非初始化空间中该条原始行人轨迹在目标时段内对应的多个第一局部特征内容、所述所述非初始化空间中每条所述第二待处理行人轨迹在所述目标时段内对应的多个第二局部特征内容,以及各局部特征内容的对应时段指标;
利用与所述多个第一局部特征内容对应的第一局部描述标签子队列,及与所述多个第二局部特征内容对应的第二局部描述标签子队列生成局部描述标签序列,并根据所述局部描述标签序列获取行人轨迹时空域特征,其中,所述第一局部描述标签子队列用于指示按照所述对应时段指标绑定的所述多个第一局部特征内容的特征内容类型所对应的局部描述标签,所述第二局部描述标签子队列用于指示按照所述对应时段指标绑定的所述多个第二局部特征内容的特征内容类型所对应的局部描述标签,所述行人轨迹时空域特征用于指示所述第一局部描述标签子队列及所述第二局部描述标签子队列的时空域传递权重;所述时空域传递权重用于表征该条原始行人轨迹与每条所述第二待处理行人轨迹之间的时空域关联度;
利用所述目标特征内容集合中在目标时段段内被选中且按所述对应时段指标排序的所述第一局部特征内容与所述第二局部特征内容生成特征内容关系矩阵,并根据所述特征内容关系矩阵获取特征内容相似信息,其中,所述特征内容相似信息用于指示所述特征内容关系矩阵中至少两个相邻特征内容之间的时空域传递权重;
根据所述行人轨迹时空域特征与所述特征内容相似信息,获取所述该条原始行人轨迹与所述每条所述第二待处理行人轨迹之间的行人轨迹匹配度;将所述行人轨迹匹配度中最大值所指示的目标特征相似度,确定为所述该条原始行人轨迹与所述每条所述第二待处理行人轨迹之间的特征相似度。
进一步地,还包括:轨迹生成模块35,用于:
获取所述摄像头上传的图片,对所述图片进行人形检测,得到人形检测框;
判断所述内存空间中是否存在待匹配轨迹;
若不存在,则根据所述人形检测框以及检测框对应的人形特征创建新的行人轨迹并存储到所述内存空间中;
若存在,提取所述图片中的当前检测框对应的人形特征,并计算所述当前检测框与所述待匹配轨迹对应的历史检测框之间的第一iou;其中,所述历史检测框是所述待匹配轨迹对应的最后时刻的检测框;以及,计算所述图片中除所述第一iou之外的每两个检测框之间的第二iou;
根据所述人形特征以及所述第一iou构建所述当前检测框和所述待匹配轨迹之间的相似度矩阵;根据所述相似度矩阵选择相似度大于设定阈值的k对匹配对,其中,k不大于待匹配轨迹的条数以及不大于检测框的个数,每个匹配对对应一个待匹配轨迹以及一个检测框;
当存在未成功匹配的检测框时,根据所述第二iou,将与遮挡人检测框之间的iou大于0的检测框划入由被遮挡人遮挡而导致丢失的轨迹,以得到k对匹配对;
更新每条待匹配轨迹对应的轨迹信息,并判断更新完成的已更新轨迹中是否存在丢失帧数超过设定帧数阈值的目标已更新轨迹,若存在,将所述目标已更新轨迹迁移存储至所述硬盘空间。
进一步地,轨迹生成模块35,用于:
根据所述匹配对将该待匹配轨迹与其对应的检测框进行绑定;
判断该待匹配轨迹是否满足人形遮挡条件,当检测对象没有位于所述图片的边界处,所述图片的上一帧图片中存在两个检测框对应的iou大于0且所述图片中仅存在一个检测框时,将所述图片中与检测框匹配成功的轨迹判定为遮挡人轨迹,并将所述遮挡人轨迹对应的轨迹标签录入被遮挡人轨迹中。
进一步地,轨迹生成模块35,还用于:
若存在没有匹配成功的检测框,则根据没有匹配成功的检测框以及检测框对应的人形特征创建新的轨迹。。
基于上述同样的发明构思,请结合参阅图4,提供了一种跨摄像头行人轨迹处理系统50,该系统包括互相之间通信的计算机设备10和摄像头40,所述计算机设备的硬盘空间中存储有待处理行人轨迹,所述待处理行人轨迹是从所述计算机设备的内存空间导入到所述硬盘空间中的,所述摄像头40上传图片至所述内存空间,所述计算机设备10通过内存空间中的图片生成行人轨迹,之后,所述计算机设备10判断预设映射空间是否为初始化空间;在所述预设映射空间为所述初始化空间的情况下,将多条第一待处理行人轨迹映射到所述预设映射空间中并作为原始行人轨迹;其中,各所述第一待处理行人轨迹互相之间在时间上冲突或者在空间上冲突;在所述预设映射空间为非初始化空间的情况下,将多条第二待处理行人轨迹映射到所述预设映射空间中;其中,各所述第二待处理行人轨迹互相之间在时间上冲突或者在空间上冲突,所述非初始化空间中包括有在时间上冲突或者在空间上冲突的多条原始行人轨迹;针对所述非初始化空间中的每条原始行人轨迹,确定该条原始行人轨迹与每条所述第二待处理行人轨迹之间的特征相似度;根据所述特征相似度确定与该条原始行人轨迹相匹配的目标行人轨迹;其中,所述目标行人轨迹是所述多条第二待处理行人轨迹中,与该条原始行人轨迹之间的特征相似度大于设定相似度且与该条原始行人轨迹在时间上和空间上均不冲突的第二待处理行人轨迹;将该条原始行人轨迹及其对应的目标行人轨迹进行拼接,得到该条原始行人轨迹对应的全局轨迹。
上述系统的进一步实施方式可以参阅对图2所示的方法的说明,因此在此不作更多说明。
在本发明实施例所提供的几个实施例中,应该理解到,所揭露的装置和方法,也可以通过其它的方式实现。以上所描述的装置和方法实施例仅仅是示意性的,例如,附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
另外,在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,计算机设备10,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,RandomAccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (9)

1.一种跨摄像头行人轨迹处理方法,其特征在于,应用于与摄像头通信连接的计算机设备,所述计算机设备的硬盘空间中存储有待处理行人轨迹,所述待处理行人轨迹是从所述计算机设备的内存空间导入到所述硬盘空间中的,所述内存空间中的行人轨迹是基于所述摄像头上传的图片生成的,所述方法包括:
判断预设映射空间是否为初始化空间;
在所述预设映射空间为所述初始化空间的情况下,将多条第一待处理行人轨迹映射到所述预设映射空间中并作为原始行人轨迹;其中,各所述第一待处理行人轨迹互相之间在时间上冲突或者在空间上冲突;
在所述预设映射空间为非初始化空间的情况下,将多条第二待处理行人轨迹映射到所述预设映射空间中;其中,各所述第二待处理行人轨迹互相之间在时间上冲突或者在空间上冲突,所述非初始化空间中包括有在时间上冲突或者在空间上冲突的多条原始行人轨迹;
针对所述非初始化空间中的每条原始行人轨迹,确定该条原始行人轨迹与每条所述第二待处理行人轨迹之间的特征相似度;根据所述特征相似度确定与该条原始行人轨迹相匹配的目标行人轨迹;其中,所述目标行人轨迹是所述多条第二待处理行人轨迹中,与该条原始行人轨迹之间的特征相似度大于设定相似度且与该条原始行人轨迹在时间上和空间上均不冲突的第二待处理行人轨迹;
将该条原始行人轨迹及其对应的目标行人轨迹进行拼接,得到该条原始行人轨迹对应的全局轨迹;
其中,所述内存空间中的行人轨迹通过以下方式生成:
获取所述摄像头上传的图片,对所述图片进行人形检测,得到人形检测框;
判断所述内存空间中是否存在待匹配轨迹;
若不存在,则根据所述人形检测框以及检测框对应的人形特征创建新的行人轨迹并存储到所述内存空间中;
若存在,提取所述图片中的当前检测框对应的人形特征,并计算所述当前检测框与所述待匹配轨迹对应的历史检测框之间的第一iou;其中,所述历史检测框是所述待匹配轨迹对应的最后时刻的检测框;以及,计算所述图片中除所述第一iou之外的每两个检测框之间的第二iou;
根据所述人形特征以及所述第一iou构建所述当前检测框和所述待匹配轨迹之间的相似度矩阵;根据所述相似度矩阵选择相似度大于设定阈值的k对匹配对,其中,k不大于待匹配轨迹的条数以及不大于检测框的个数,每个匹配对对应一个待匹配轨迹以及一个检测框;
当存在未成功匹配的检测框时,根据所述第二iou,将与遮挡人检测框之间的iou大于0的检测框划入由被遮挡人遮挡而导致丢失的轨迹,以得到k对匹配对;
更新每条待匹配轨迹对应的轨迹信息,并判断更新完成的已更新轨迹中是否存在丢失帧数超过设定帧数阈值的目标已更新轨迹,若存在,将所述目标已更新轨迹迁移存储至所述硬盘空间。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
将所述多条第二待处理行人轨迹中的未拼接的目标行人轨迹确定为原始行人轨迹。
3.根据权利要求1或2所述的方法,其特征在于,确定该条原始行人轨迹与每条所述第二待处理行人轨迹之间的特征相似度,包括:
提取该条原始行人轨迹对应的第一全局特征内容以及每条所述第二待处理行人轨迹之间的第二全局特征内容;
基于所述第一全局特征内容以及所述第二全局特征内容,确定该条原始行人轨迹与每条所述第二待处理行人轨迹之间的特征相似度。
4.根据权利要求3所述的方法,其特征在于,提取该条原始行人轨迹对应的第一全局特征内容,包括:
获取该条原始行人轨迹对应的待识别轨迹描述内容,并将所述待识别轨迹描述内容输入至全局状态识别模型中,所述全局状态识别模型基于随机轨迹描述内容训练集和随机模型评价指标训练得到,所述随机轨迹描述内容训练集为特征标签正例训练集的数目和特征标签负例训练集的数目非一致的轨迹描述内容训练集;所述随机模型评价指标根据特征标签的样本轨迹测试率和全局状态样本轨迹确定,其中,所述全局状态样本轨迹为所述随机轨迹描述内容训练集中各轨迹描述内容样本轨迹对应的全局状态样本轨迹,所述特征标签的样本轨迹测试率为利用所述全局状态识别模型获取的所述轨迹描述内容样本轨迹对应的特征标签的样本轨迹测试率,所述随机模型评价指标包括第一泛化指标、第二泛化指标和交叉熵损失;
通过所述全局状态识别模型对所述待识别轨迹描述内容进行内容解析,以获取与所述待识别轨迹描述内容对应的特征标签;
根据所述特征标签从所述待识别轨迹描述内容中获取对应的特征内容块,并根据所述特征标签和所述特征内容块生成行人轨迹关联信息,以根据所述行人轨迹关联信息生成该条原始行人轨迹对应的第一全局特征内容;
其中,所述全局状态识别模型包括轨迹拆分子网络和标签测试子网络;所述通过所述全局状态识别模型对所述待识别轨迹描述内容进行内容解析,以获取与所述待识别轨迹描述内容对应的特征标签,包括:
将所述待识别轨迹描述内容输入至所述轨迹拆分子网络进行内容标记处理和内容拆分处理,以获取与所述待识别轨迹描述内容对应的特征内容片段;
将所述特征内容片段输入至所述标签测试子网络进行标签测试,以获取特征标签测试结果;
根据第一预设测试评价阈值和所述特征标签测试结果确定与所述待识别轨迹描述内容对应的特征标签;
其中,所述轨迹拆分子网络包括内容标记网络层、标识分类网络层和内容拆分网络层;所述将所述待识别轨迹描述内容输入至所述轨迹拆分子网络进行内容标记处理和内容拆分处理,以获取与所述待识别轨迹描述内容对应的特征内容片段,包括:
通过所述内容标记网络层将所述待识别轨迹描述内容中的各个描述类别信息转换为类别特征;
通过所述标识分类网络层对所述待识别轨迹描述内容进行分类,并对获取的各个分类的人形属性信息进行识别,以获取标识分类信息;
通过所述内容拆分网络层对各所述描述类别信息对应的类别特征和标识分类信息进行内容拆分,以获取与各所述描述类别信息对应的特征内容拆分集;
根据所述待识别轨迹描述内容中所有描述类别信息对应的特征内容拆分集确定与所述待识别轨迹描述内容对应的特征内容片段。
5.根据权利要求4所述的方法,其特征在于,基于所述第一全局特征内容以及所述第二全局特征内容,确定该条原始行人轨迹与每条所述第二待处理行人轨迹之间的特征相似度,包括:
基于所述第一全局特征内容以及所述第二全局特征内容确定目标特征内容集合,其中,所述目标特征内容集合包括所述非初始化空间中该条原始行人轨迹在目标时段内对应的多个第一局部特征内容、所述非初始化空间中每条所述第二待处理行人轨迹在所述目标时段内对应的多个第二局部特征内容,以及各局部特征内容的对应时段指标;
利用与所述多个第一局部特征内容对应的第一局部描述标签子队列,及与所述多个第二局部特征内容对应的第二局部描述标签子队列生成局部描述标签序列,并根据所述局部描述标签序列获取行人轨迹时空域特征,其中,所述第一局部描述标签子队列用于指示按照所述对应时段指标绑定的所述多个第一局部特征内容的特征内容类型所对应的局部描述标签,所述第二局部描述标签子队列用于指示按照所述对应时段指标绑定的所述多个第二局部特征内容的特征内容类型所对应的局部描述标签,所述行人轨迹时空域特征用于指示所述第一局部描述标签子队列及所述第二局部描述标签子队列的时空域传递权重;所述时空域传递权重用于表征该条原始行人轨迹与每条所述第二待处理行人轨迹之间的时空域关联度;
利用所述目标特征内容集合中在目标时段内被选中且按所述对应时段指标排序的所述第一局部特征内容与所述第二局部特征内容生成特征内容关系矩阵,并根据所述特征内容关系矩阵获取特征内容相似信息,其中,所述特征内容相似信息用于指示所述特征内容关系矩阵中至少两个相邻特征内容之间的时空域传递权重;
根据所述行人轨迹时空域特征与所述特征内容相似信息,获取所述该条原始行人轨迹与所述每条所述第二待处理行人轨迹之间的行人轨迹匹配度;将所述行人轨迹匹配度中最大值所指示的目标特征相似度,确定为所述该条原始行人轨迹与所述每条所述第二待处理行人轨迹之间的特征相似度。
6.根据权利要求1所述的方法,其特征在于,更新每条待匹配轨迹对应的轨迹信息,包括:
根据所述匹配对将该待匹配轨迹与其对应的检测框进行绑定;
判断该待匹配轨迹是否满足人形遮挡条件,当检测对象没有位于所述图片的边界处,所述图片的上一帧图片中存在两个检测框对应的iou大于0且所述图片中仅存在一个检测框时,将所述图片中与检测框匹配成功的轨迹判定为遮挡人轨迹,并将所述遮挡人轨迹对应的轨迹标签录入被遮挡人轨迹中。
7.根据权利要求1所述的方法,其特征在于,更新每条待匹配轨迹对应的轨迹信息之前,所述方法还包括:
若存在没有匹配成功的检测框,则根据没有匹配成功的检测框以及检测框对应的人形特征创建新的轨迹。
8.一种计算机设备,其特征在于,包括处理器、通信总线和存储器;所述处理器和所述存储器通过所述通信总线通信,所述处理器从所述存储器中读取计算机程序并运行,以实现权利要求1-7任一项所述的方法。
9.一种可读存储介质,其特征在于,其上存储有计算机程序,所述计算机程序在运行时执行权利要求1-7任一项所述的方法。
CN202110147011.2A 2021-02-03 2021-02-03 跨摄像头行人轨迹处理方法、计算机设备及可读存储介质 Active CN112465078B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110147011.2A CN112465078B (zh) 2021-02-03 2021-02-03 跨摄像头行人轨迹处理方法、计算机设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110147011.2A CN112465078B (zh) 2021-02-03 2021-02-03 跨摄像头行人轨迹处理方法、计算机设备及可读存储介质

Publications (2)

Publication Number Publication Date
CN112465078A CN112465078A (zh) 2021-03-09
CN112465078B true CN112465078B (zh) 2021-04-16

Family

ID=74802539

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110147011.2A Active CN112465078B (zh) 2021-02-03 2021-02-03 跨摄像头行人轨迹处理方法、计算机设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN112465078B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112686221B (zh) * 2021-03-11 2021-05-25 成都点泽智能科技有限公司 行人进出监测方法、装置、设备及计算机存储介质
CN113628248B (zh) * 2021-08-11 2024-04-09 云从科技集团股份有限公司 行人驻留时长确定方法、装置以及计算机可读存储介质
CN115525640B (zh) * 2022-11-25 2023-04-07 三亚海兰寰宇海洋信息科技有限公司 一种目标对象的轨迹处理方法、装置及设备
CN115619832B (zh) * 2022-12-20 2023-04-07 浙江莲荷科技有限公司 多摄像头协同进行多目标轨迹确认方法、系统及相关装置
CN117495913B (zh) * 2023-12-28 2024-04-30 中电科新型智慧城市研究院有限公司 夜间目标轨迹的跨时空关联方法和装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110490901A (zh) * 2019-07-15 2019-11-22 武汉大学 抗姿态变化的行人检测跟踪方法
CN111274886A (zh) * 2020-01-13 2020-06-12 天地伟业技术有限公司 一种基于深度学习的行人闯红灯违法行为分析方法及系统
CN111652909A (zh) * 2020-04-21 2020-09-11 南京理工大学 一种基于深度哈希特征的行人多目标追踪方法
CN112257669A (zh) * 2020-11-13 2021-01-22 珠海大横琴科技发展有限公司 行人重识别方法、装置及电子设备
CN112507848A (zh) * 2020-12-03 2021-03-16 中科智云科技有限公司 一种移动端实时人脸姿态估计方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100538262C (zh) * 2007-11-16 2009-09-09 清华大学 用于离心机模型试验的土体图像实时采集方法和系统
CN107087102B (zh) * 2017-03-13 2020-07-24 联想(北京)有限公司 对焦信息处理方法及电子设备
CN108629791B (zh) * 2017-03-17 2020-08-18 北京旷视科技有限公司 行人跟踪方法和装置及跨摄像头行人跟踪方法和装置
US10607484B2 (en) * 2017-12-28 2020-03-31 Intel Corporation Privacy-preserving distributed visual data processing
CN109800181B (zh) * 2018-12-12 2021-05-04 深圳市景阳科技股份有限公司 一种基于磁盘的数据写入方法、数据写入装置及终端设备
CN110175527B (zh) * 2019-04-29 2022-03-25 北京百度网讯科技有限公司 行人再识别方法及装置、计算机设备及可读介质
CN110503032B (zh) * 2019-08-21 2021-08-31 中南大学 基于监控摄像头轨迹数据的个体重要场所探测方法
CN110826594B (zh) * 2019-09-29 2022-08-09 成都华为技术有限公司 一种轨迹聚类的方法、设备及存储介质
CN110852303A (zh) * 2019-11-21 2020-02-28 中科智云科技有限公司 一种基于OpenPose的吃东西行为识别方法
CN111274992A (zh) * 2020-02-12 2020-06-12 北方工业大学 一种跨摄像头的行人重识别方法及系统
CN111401265B (zh) * 2020-03-19 2020-12-25 重庆紫光华山智安科技有限公司 行人重识别方法、装置、电子设备和计算机可读存储介质
CN111461222B (zh) * 2020-04-01 2023-05-02 北京爱笔科技有限公司 目标物轨迹相似度的获取方法、装置及电子设备
CN111368943B (zh) * 2020-05-27 2020-09-01 腾讯科技(深圳)有限公司 图像中对象的识别方法和装置、存储介质及电子装置
CN112004023A (zh) * 2020-08-31 2020-11-27 深圳创维数字技术有限公司 拍摄方法、多摄像头模组以及存储介质
CN112215423B (zh) * 2020-10-13 2023-06-06 西安交通大学 一种基于趋势引导与稀疏交互的行人轨迹预测方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110490901A (zh) * 2019-07-15 2019-11-22 武汉大学 抗姿态变化的行人检测跟踪方法
CN111274886A (zh) * 2020-01-13 2020-06-12 天地伟业技术有限公司 一种基于深度学习的行人闯红灯违法行为分析方法及系统
CN111652909A (zh) * 2020-04-21 2020-09-11 南京理工大学 一种基于深度哈希特征的行人多目标追踪方法
CN112257669A (zh) * 2020-11-13 2021-01-22 珠海大横琴科技发展有限公司 行人重识别方法、装置及电子设备
CN112507848A (zh) * 2020-12-03 2021-03-16 中科智云科技有限公司 一种移动端实时人脸姿态估计方法

Also Published As

Publication number Publication date
CN112465078A (zh) 2021-03-09

Similar Documents

Publication Publication Date Title
CN112465078B (zh) 跨摄像头行人轨迹处理方法、计算机设备及可读存储介质
Rocco et al. Efficient neighbourhood consensus networks via submanifold sparse convolutions
CN110175527B (zh) 行人再识别方法及装置、计算机设备及可读介质
Arietta et al. City forensics: Using visual elements to predict non-visual city attributes
US20220101644A1 (en) Pedestrian re-identification method, device, electronic device and computer-readable storage medium
US8467570B2 (en) Tracking system with fused motion and object detection
CN111222500B (zh) 一种标签提取方法及装置
CN110796204B (zh) 视频标签确定方法、装置和服务器
CN110348463B (zh) 用于识别车辆的方法和装置
CN110781911A (zh) 一种图像匹配方法、装置、设备及存储介质
CN111373393B (zh) 图像检索方法和装置以及图像库的生成方法和装置
CN115620090A (zh) 模型训练方法、低照度目标重识别方法和装置、终端设备
CN114943937A (zh) 行人重识别方法、装置、存储介质及电子设备
Isa et al. Real-time traffic sign detection and recognition using Raspberry Pi
Matzen et al. Bubblenet: Foveated imaging for visual discovery
CN113705293A (zh) 图像场景的识别方法、装置、设备及可读存储介质
CN111753618A (zh) 图像识别方法、装置、计算机设备及计算机可读存储介质
CN113505716B (zh) 静脉识别模型的训练方法、静脉图像的识别方法及装置
CN114419480A (zh) 一种多人身份和动作关联识别方法、装置及可读介质
CN113743359A (zh) 车辆重识别方法、模型训练方法及相关装置
CN114372580A (zh) 模型训练方法、存储介质、电子设备和计算机程序产品
CN113869367A (zh) 模型能力检测方法、装置、电子设备和计算机可读介质
CN113010727A (zh) 直播平台画像的构建方法、装置、设备及存储介质
CN113792569A (zh) 对象识别方法、装置、电子设备及可读介质
CN113569600A (zh) 物体重识别的方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant