CN112037245B - 一种确定追踪目标相似度的方法和系统 - Google Patents

一种确定追踪目标相似度的方法和系统 Download PDF

Info

Publication number
CN112037245B
CN112037245B CN202010713155.5A CN202010713155A CN112037245B CN 112037245 B CN112037245 B CN 112037245B CN 202010713155 A CN202010713155 A CN 202010713155A CN 112037245 B CN112037245 B CN 112037245B
Authority
CN
China
Prior art keywords
track
compared
segment
time domain
similarity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010713155.5A
Other languages
English (en)
Other versions
CN112037245A (zh
Inventor
王静斐
李林森
王鹏宇
曾挥毫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN202010713155.5A priority Critical patent/CN112037245B/zh
Publication of CN112037245A publication Critical patent/CN112037245A/zh
Application granted granted Critical
Publication of CN112037245B publication Critical patent/CN112037245B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例提供一种确定追踪目标相似度的方法和系统。该方法包括:将待对比轨迹段的追踪目标的人体图像与待对比轨迹序列的追踪目标的人体图像作对比,获取量化的图像相似度值;在同步时间节点的前提下,将待对比轨迹段的追踪目标的轨迹位置与待对比轨迹序列的追踪目标的轨迹位置作对比,获取量化的轨迹相似度值;对所述图像相似度值以及所述轨迹相似度值进行融合计算,获取所述待对比轨迹段与所述待对比轨迹序列的追踪目标相似度值。根据本申请一实施例的方法,可以获取待对比轨迹段与待对比轨迹序列之间的追踪目标相似度,为判断待对比轨迹段与待对比轨迹序列的追踪目标是否为同一目标对象提供有力数据支持。

Description

一种确定追踪目标相似度的方法和系统
技术领域
本申请涉及智能终端技术领域,特别涉及一种确定追踪目标相似度的方法和系统。
背景技术
基于视频监控数据的目标跟踪广泛应用于各行各业,如安防领域的嫌疑人跟踪、商业 场景下的顾客购买行为挖掘等。目前的目标跟踪多针对单相机(单镜头)下的目标跟踪,且多是逐帧跟踪检测,所依赖的信息也多是依赖于相机采集的目标的图像特征。这种逐帧 检测的方式使得在进行目标匹配的时候只能考虑当前时刻以及目标历史时刻的信息,若目 标存在漏拍、遮挡或者跨镜头的目标跟踪出现中断时,只利用当前时刻一帧的信息与历史 信息进行匹配是不可靠的。
进一步的,随着视频监控的普及,在实际应用场景中,同一目标对象往往会出现在多 个相机的视野中。确定不同的相机所监控的目标对象是否为同一目标对象就成为视频监控 数据分析环节中不可绕过的重点环节。但是,由于针对多个相机所产生的多个不同的视频片段之间,目标对象存在漏拍、遮挡或者跨镜头的目标跟踪出现中断的情况是无法避免的, 因此,无法采用逐帧跟踪检测的方式来确定不同的相机所监控的追踪目标是否为同一目标 对象。
发明内容
本申请提供了一种确定追踪目标相似度的方法和系统,用于解决现有技术中无法确 定不同的相机所监控的追踪目标是否为同一目标对象的问题。
本申请实施例采用下述技术方案:
本申请一实施例提供一种确定追踪目标相似度的方法,包括:
将待对比轨迹段的追踪目标的人体图像与待对比轨迹序列的追踪目标的人体图像作 对比,以获取量化的图像相似度值,所述图像相似度值用于描述不同人体图像间的视觉相 似度;
在同步时间节点的前提下,将待对比轨迹段的追踪目标的轨迹位置与待对比轨迹序列 的追踪目标的轨迹位置作对比,以获取量化的轨迹相似度值,所述轨迹相似度值用于描述 不同轨迹位置间的时空相似度;
对所述图像相似度值以及所述轨迹相似度值进行融合计算,以获取所述待对比轨迹段 的追踪目标与所述待对比轨迹序列的追踪目标之间的追踪目标相似度值。
在本申请一实施例中,所述将待对比轨迹段的追踪目标的人体图像与待对比轨迹序列 的追踪目标的人体图像作对比,以获取量化的图像相似度值,包括:
将所述待对比轨迹段的追踪目标的人体图像,与所述待对比轨迹序列中的一个或多个 轨迹段的追踪目标的人体图像作对比,以获取量化的图像相似度值。
在本申请一实施例中,所述图像相似度值为,所述待对比轨迹序列中的一个轨迹段的 追踪目标的人体图像,与所述待对比轨迹段的追踪目标的人体图像作对比而获取的相似度 值。
在本申请一实施例中,所述图像相似度值为,所述待对比轨迹序列中,与所述待对比 轨迹段的时间节点最接近的轨迹段的追踪目标的人体图像,与所述待对比轨迹段的追踪目 标的人体图像作对比而获取的相似度值。
在本申请一实施例中,所述图像相似度值为多个分段相似度值的综合值,其中:
所述多个分段相似度值为,所述待对比轨迹序列中,按照预设规则选取的多个轨迹段 的追踪目标的人体图像,与所述待对比轨迹段的追踪目标的人体图像分别作对比而获取的 多个相似度值;
或者,
所述多个分段相似度值为,所述待对比轨迹序列中,所有的轨迹段的追踪目标的人体 图像,与所述待对比轨迹段的追踪目标的人体图像分别作对比而获取的多个相似度值。
在本申请一实施例中,所述在同步时间节点的前提下,将待对比轨迹段的追踪目标的 轨迹位置与待对比轨迹序列的追踪目标的轨迹位置作对比,以获取量化的轨迹相似度值, 包括:
判断所述待对比轨迹段与所述待对比轨迹序列间是否存在时域重叠;
当存在时域重叠时,对比所述待对比轨迹段与所述待对比轨迹序列的时域重叠部分的 轨迹位置,以获取所述轨迹相似度值。
在本申请一实施例中,所述当存在时域重叠时,对比所述待对比轨迹段与所述待对比 轨迹序列的时域重叠部分的轨迹位置,以获取所述轨迹相似度值,包括:
计算所述时域重叠部分中,所述待对比轨迹段与所述待对比轨迹序列上,对应相同时 间节点的每一对轨迹位置间的轨迹位置距离;
计算所有轨迹位置距离的平均值;
根据所述所有轨迹位置距离的平均值计算距离相似度,以获取所述轨迹相似度值。
在本申请一实施例中,所述当存在时域重叠时,对比所述待对比轨迹段与所述待对比 轨迹序列的时域重叠部分的轨迹位置,以获取所述轨迹相似度值,包括:
基于预设规则,从所述时域重叠部分对应的时间节点范围中,确定对比时间节点;
针对确定出的所述对比时间节点,对比所述待对比轨迹段与所述待对比轨迹序列的轨 迹位置,以获取所述对比时间节点对应的位置相似度值;
根据所述对比时间节点对应的位置相似度值计算所述轨迹相似度值。
在本申请一实施例中,所述当存在时域重叠时,对比所述待对比轨迹段与所述待对比 轨迹序列的时域重叠部分的轨迹位置,以获取所述轨迹相似度值,包括:
按照预设间隔将所述时域重叠部分划分为多个时域片段;
确定所述时域片段在所述待对比轨迹段中所对应的第一时域片段位置,以及,确定所 述时域片段在所述待对比轨迹序列中所对应的第二时域片段位置;
对比所述时域片段所对应的第一时域片段位置以及第二时域片段位置,获取所述时域 片段所对应的分段位置相似度值;
根据所有所述时域片段所对应的分段位置相似度值计算所述轨迹相似度值。
在本申请一实施例中,所述确定所述时域片段在所述待对比轨迹段中所对应的第一时 域片段位置,以及,确定所述时域片段在所述待对比轨迹序列中所对应的第二时域片段位 置,其中:
在所述待对比轨迹段或所述待对比轨迹序列中,当所述时域片段仅对应一个轨迹点位 置时,以所述时域片段对应的轨迹点位置为所述第一时域片段位置或所述第二时域片段位 置;
和/或,
在所述待对比轨迹段或所述待对比轨迹序列中,当所述时域片段对应多个轨迹点位置 时,以所述时域片段对应的多个轨迹点位置的中心位置为所述第一时域片段位置或所述第 二时域片段位置;
和/或,
在所述待对比轨迹段或所述待对比轨迹序列中,当所述时域片段不对应轨迹点位置 时,以所述时域片段相邻的两个时域片段所对应的轨迹点位置的中心位置为所述第一时域 片段位置或所述第二时域片段位置。
在本申请一实施例中,所述在同步时间节点的前提下,将待对比轨迹段的追踪目标的 轨迹位置与待对比轨迹序列的追踪目标的轨迹位置作对比,以获取量化的轨迹相似度值, 还包括:
当不存在时域重叠时,估算第一时间节点上所述待对比轨迹段对应的第一估算位置, 或者,估算第二时间节点上所述待对比轨迹序列对应的第二估算位置,其中,所述第一时 间节点为所述待对比轨迹序列上距离所述待对比轨迹段最近的时间节点,所述第二时间节点为所述待对比轨迹段上距离所述待对比轨迹序列最近的时间节点;
将所述待对比轨迹序列上所述第一时间节点对应的轨迹位置与所述第一估算位置作 对比,或者,将所述待对比轨迹段上所述第二时间节点对应的轨迹位置与所述第二估算位 置作对比,以获所述轨迹相似度值。
本申请一实施例还提出了一种确定追踪目标一致性的方法,包括:
根据本申请实施例所述的方法计算待对比轨迹段的追踪目标与待对比轨迹序列的追 踪目标之间的追踪目标相似度值;
当所述追踪目标相似度值大于预设的相似度阈值时,判定所述待对比轨迹段的追踪目 标与所述待对比轨迹序列的追踪目标一致。
本申请一实施例还提出了一种确定追踪目标的方法,其特征在于,包括:
分别以已记录的每一个追踪目标所对应的轨迹序列为待对比轨迹序列,以待确定追踪 目标的轨迹段为待对比轨迹段,根据本申请实施例所述的方法,计算待对比轨迹段的追踪 目标与待对比轨迹序列的追踪目标之间的追踪目标相似度值,获取多个追踪目标相似度 值;
当存在以大于预设的相似度阈值的追踪目标相似度值时,将数值最大的追踪目标相似 度值所对应的轨迹序列的追踪目标确定为所述待确定追踪目标的轨迹段的追踪目标。
在本申请一实施例中,所述方法还包括:
当不存在以大于预设的相似度阈值的追踪目标相似度值时,所述待确定追踪目标的轨 迹段的追踪目标为尚未记录的全新目标。
本申请一实施例还提出了一种确定追踪目标相似度的系统,包括:
视觉对比模块,其用于将待对比轨迹段的追踪目标的人体图像与待对比轨迹序列的追 踪目标的人体图像作对比,获取量化的图像相似度值,所述图像相似度值用于描述待对比 轨迹段与待对比轨迹序列的视觉相似度;
时空轨迹对比模块,其用于在同步时间节点的前提下,将待对比轨迹段的追踪目标的 轨迹位置与待对比轨迹序列的追踪目标的轨迹位置作对比,获取量化的轨迹相似度值,所 述轨迹相似度值用于描述待对比轨迹段与待对比轨迹序列的时空相似度;
融合计算模块,其用于对所述图像相似度值以及所述轨迹相似度值进行融合计算,以 获取所述待对比轨迹段的追踪目标与所述待对比轨迹序列的追踪目标之间的追踪目标相 似度值。
本申请一实施例还提出了一种确定追踪目标一致性的系统,包括:
相似度值获取模块,其用于获取根据本申请实施例所述的系统所生成的追踪目标相似 度;
阈值对比模块,其用于当所述追踪目标相似度值大于预设的相似度阈值时,判定所述 待对比轨迹段的追踪目标与所述待对比轨迹序列的追踪目标一致。
本申请一实施例还提出了一种确定追踪目标的系统,包括:
相似度值获取模块,其用于分别以已记录的每一个追踪目标所对应的轨迹序列为待对 比轨迹序列,以待确定追踪目标的轨迹段为待对比轨迹段,根据本申请实施例所述的系统, 计算待对比轨迹段的追踪目标与待对比轨迹序列的追踪目标之间的追踪目标相似度值,获取多个追踪目标相似度值;
追踪目标判定模块,其用于当存在以大于预设的相似度阈值的追踪目标相似度值时, 将数值最大的追踪目标相似度值所对应的轨迹序列的追踪目标确定为所述待确定追踪目 标的轨迹段的追踪目标。
本申请一实施例还提出了一种电子设备,所述电子设备包括用于存储计算机程序指 令的存储器和用于执行程序指令的处理器,其中,当该计算机程序指令被该处理器执行时, 触发所述电子设备执行如本申请实施例所述的方法步骤。
本申请一实施例还提出了一种计算机可读存储介质,其特征在于,所述计算机可读 存储介质中存储有计算机程序,当其在计算机上运行时,使得计算机执行如本申请实施例所述的方法。
本申请实施例采用的上述至少一个技术方案能够达到以下有益效果:根据本申请一实 施例的方法,从视觉以及时空位置两个角度进行综合考虑,获取待对比轨迹段的追踪目标 与待对比轨迹序列的追踪目标之间的追踪目标相似度值,从而为判断待对比轨迹段与待对比轨迹序列的追踪目标是否为同一目标对象提供有力数据支持,进而为判断不同的相机所 监控的追踪目标是否为同一目标对象或同一相机不同监控时间段的追踪目标是否为同一 目标对象提供有力数据支持。
附图说明
图1为本申请确定追踪目标相似度的方法一实施例的流程图;
图2为本申请确定追踪目标相似度的方法一实施例的部分流程图;
图3为本申请确定追踪目标相似度的方法一实施例的部分流程图;
图4为本申请确定追踪目标相似度的方法一实施例的部分流程图;
图5为本申请确定追踪目标相似度的方法一实施例的部分流程图;
图6为本申请确定追踪目标相似度的方法一实施例的部分流程图;
图7为本申请确定追踪目标相似度的方法一实施例的部分流程图;
图8为本申请确定追踪目标相似度的方法一实施例的轨迹示意图;
图9为本申请确定追踪目标相似度的方法一实施例的轨迹示意图;
图10为本申请确定追踪目标一致性的方法一实施例的流程图;
图11为本申请确定追踪目标的方法一实施例的流程图;
图12为本申请确定追踪目标相似度的系统一实施例的结构图;
图13为本申请确定追踪目标一致性的系统一实施例的结构图;
图14为本申请确定追踪目标的系统一实施例的结构图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合本申请具体实施例及相 应的附图对本申请技术方案进行清楚、完整地描述。显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在 没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请的实施方式部分使用的术语仅用于对本申请的具体实施例进行解释,而非旨 在限定本申请。
随着视频监控的普及,在实际应用场景中,同一目标对象往往会出现在多个相机的 视野中。确定不同的相机所监控的目标对象是否为同一目标对象就成为视频监控数据分 析环节中不可绕过的重点环节。但是,由于针对多个相机所产生的多个不同的视频片段之间,目标对象存在漏拍、遮挡或者跨镜头的目标跟踪出现中断的情况是无法避免的,因此,无法采用逐帧跟踪检测的方式来确定不同的相机所监控的追踪目标是否为同一目 标对象。
针对上述问题,本申请一实施例中提出了一种确定追踪目标相似度的方法。在本申请 一实施例中,相机针对追踪目标的追踪结果以轨迹段数据的方式保存。每个轨迹段数据对 应一个追踪目标,轨迹段数据中保存有其所对应的追踪目标一个连续时间段内的轨迹位置变化以及多个时间节点(或者多个位置节点)所对应的追踪目标人体图像。例如,在一应 用场景中,一个轨迹段数据包括一个连续时间段内的追踪目标连续位移轨迹描述以及上述 连续时间段内多个时刻对应的追踪目标人体图像,或者,包括一个连续时间段内的追踪目标连续位移轨迹描述以及该连续位移轨迹上多个位置点对应的追踪目标人体图像。再例 如,在一应用场景中,一个轨迹段数据包括针对追踪目标的不间断监控视频片段,在视频 片段上标记追踪目标以及各个时刻的位置变化。
进一步的,不同的轨迹段可以来自于不同的相机,也可以是同一相机不同时间段的监 控结果。在本申请一实施例中,通过获取不同轨迹段所针对的追踪目标的相似度,来为判 断不同的轨迹段的追踪目标是否为同一目标对象提供数据支持,进而为判断不同的相机所监控的追踪目标是否为同一目标对象或同一相机不同监控时间段的追踪目标是否为同一 目标对象提供数据支持。
进一步的,在实际应用场景中,一种应用场景是,已确认多个轨迹段的追踪目标为同 一目标对象,现需要确定一新的轨迹段的追踪目标是否与上述已确认的多个轨迹段的追踪 目标为同一目标对象。针对上述场景,在本申请一实施例中,一个轨迹序列包含一个或多个轨迹段。同一轨迹序列中的轨迹段所针对的追踪目标为同一目标对象。对比待对比轨迹 序列以外的轨迹段(待对比轨迹段)与待对比轨迹序列(这里需要说明的是,待对比轨迹 段并不属于待对比轨迹序列),获取待对比轨迹段与待对比轨迹序列之间的追踪目标相似 度(当待对比轨迹序列只包含一个轨迹段时,即为获取两个不同的轨迹段之间的追踪目标 相似度),从而为判断待对比轨迹段与待对比轨迹序列的追踪目标是否为同一目标对象提 供数据支持。
进一步的,在实际应用场景中,人类对某人进行识别通常是从外观特征进行识别,体 现到计算机识别领域,即是对人体图像进行识别。如果两张人体图像完全一致或者人体图 像的特征属性具有相当高的一致性,那么就可以判定这两张人体图像针对的是同一个人。因此,在本申请一实施例中,通过对比待对比轨迹段与待对比轨迹序列所对应的监控目标 的人体图像间的相似度,获取待对比轨迹段与待对比轨迹序列所对应的监控目标的视觉相 似度,通过视觉相似度来确认待对比轨迹段与待对比轨迹序列所对应的监控目标间的相似 度。
进一步的,在实际应用场景中,对某人进行识别还可以从该人的位置轨迹上进行识别, 例如,两段描述中分别描述了两个目标人物在某时刻在某位置,如果确认同一时刻上两段 描述所指的目标人物处在一个位置点上,那么这两段描述所针对的很有可能是同一个人。因此,在本申请一实施例中,通过待对比轨迹段与待对比轨迹序列所展示的监控目标的位 置轨迹来对比同时刻下、待对比轨迹段与待对比轨迹序列所展示的监控目标的位置点,获 取待对比轨迹段与待对比轨迹序列所展示的监控目标的位置相似度(时空相似度),通过位置相似度确认待对比轨迹段与待对比轨迹序列所对应的监控目标间的相似度。
进一步的,在本申请一实施例中,为了提高最终获取的追踪目标相似度的准确性,获 取待对比轨迹段与待对比轨迹序列之间的视觉相似度结果以及位置相似度(时空相似度),将视觉相似度结果与位置相似度(时空相似度)结果融合计算,从而获取待对比轨迹段与 待对比轨迹序列之间的追踪目标相似度。
根据本申请一实施例的方法,从视觉以及时空位置两个角度进行综合考虑,获取待对 比轨迹段与待对比轨迹序列之间的追踪目标相似度,为判断待对比轨迹段与待对比轨迹序 列的追踪目标是否为同一目标对象提供有力数据支持,进而为判断不同的相机所监控的追踪目标是否为同一目标对象或同一相机不同监控时间段的追踪目标是否为同一目标对象 提供有力数据支持。
以下结合附图,详细说明本申请各实施例提供的技术方案。
图1为本申请确定追踪目标相似度的方法一实施例的流程图。如图1所示,在本申请 一实施例中,确定追踪目标相似度的方法包括:
步骤110,将待对比轨迹段的追踪目标的人体图像与待对比轨迹序列的追踪目标的人 体图像作对比,以获取量化的图像相似度值,图像相似度值用于描述不同人体图像间的视 觉相似度;
步骤120,在同步时间节点的前提下,将待对比轨迹段的追踪目标的轨迹位置与待对 比轨迹序列的追踪目标的轨迹位置作对比,以获取量化的轨迹相似度值,轨迹相似度值用 于描述不同轨迹位置间的时空相似度;
步骤130,对图像相似度值以及轨迹相似度值进行融合计算,以获取待对比轨迹段的 追踪目标与待对比轨迹序列的追踪目标之间的追踪目标相似度值。
具体的,考虑到待对比轨迹序列包含一个或多个不同的轨迹段,在本申请一实施例中, 在获取图像相似度值的过程中,将待对比轨迹段与待对比轨迹序列中的一个轨迹段进行对 比。
图2为本申请确定追踪目标相似度的方法一实施例的部分流程图。如图2所示,将待 对比轨迹段的追踪目标的人体图像与待对比轨迹序列的追踪目标的人体图像作对比,获取 量化的图像相似度值,包括:
步骤210,将待对比轨迹段的追踪目标的人体图像与待对比轨迹序列中的一个轨迹段 的追踪目标的人体图像作对比;
步骤220,获取待对比轨迹段的追踪目标的人体图像与待对比轨迹序列中的一个轨迹 段的追踪目标的人体图像的相似度值。
具体的,考虑到如果时间跨度过大,即使是同一目标对象,其展示出的人体图像也会 存在较大差异,例如,衣着变化、光照变化、表情变化等等。在本申请一实施例中,在将待对比轨迹段的追踪目标的人体图像与待对比轨迹序列中的一个轨迹段的追踪目标的人体图像作对比的过程中,将待对比轨迹序列中与待对比轨迹段时间节点最接近的轨迹段选定为对比对象。
进一步的,考虑到待对比轨迹序列包含一个或多个不同的轨迹段,在本申请一实施例 中,在获取图像相似度值的过程中,将待对比轨迹段与待对比轨迹序列中的多个轨迹段进 行对比,综合多个对比成果来获取量化的图像相似度值(具体的,当待对比轨迹序列中只 包含一个轨迹段时,根据将两个轨迹段的对比结果获取量化的图像相似度值)。
图3为本申请确定追踪目标相似度的方法一实施例的部分流程图。如图3所示,将待 对比轨迹段的追踪目标的人体图像与待对比轨迹序列的追踪目标的人体图像作对比,获取 量化的图像相似度值,包括:
步骤310,将待对比轨迹段的追踪目标的人体图像与待对比轨迹序列中的多个轨迹段 的追踪目标的人体图像分别作对比;
步骤320,获取待对比轨迹段的追踪目标的人体图像与待对比轨迹序列中的每一个作 为对比对象的轨迹段的追踪目标的人体图像的相似度值;
步骤330,综合所有的相似度值获取量化的图像相似度值。
具体的,在本申请一实施例中,在步骤310中,按照预设规则从待对比轨迹序列中选 取多个轨迹段作为对比对象。
具体的,在本申请一实施例中,在步骤310中,选取待对比轨迹序列中所有轨迹段作 为对比对象。即,将待对比轨迹段的追踪目标的人体图像与待对比轨迹序列中的每个轨迹 段的追踪目标的人体图像分别作对比。
具体的,在本申请一实施例中,在步骤310中,按照预设时间节点间隔,选取对应时间节点对应的轨迹段作为对比对象。
具体的,在本申请一实施例中,在步骤310中,选取对应时间节点与待对比轨迹段最 接近的N个轨迹段作为对比对象(N为预设值)。具体的,在本申请一实施例中,N的大 小可以在具体实现时根据系统性能和/实现需求等自行设定,本实施例对N的大小不作限 定。
具体的,在本申请一实施例中,在步骤330中,以获取到的所有的相似度值的平均值 作为图像相似度值。
进一步的,在本申请一实施例中,在步骤310中,将待对比轨迹段的最优帧人体图像 与待对比轨迹序列中作为对比对象的轨迹段的最优帧人体图像作对比。具体的,在本申请 一实施例中,最优帧人体图像指的是轨迹段中显示效果最好的人体图像。例如,轨迹段中 被遮挡部位最少和/或分辨率最高的人体图像。
进一步的,在本申请一实施例中,将待对比轨迹段的追踪目标的人体图像与待对比轨 迹序列的追踪目标的人体图像作对比的过程中,通过计算两个人体图像的图像特征的余弦 相似度来获取两个人体图像的相似度。
具体的,在本申请一实施例中,计算待对比轨迹段与待对比轨迹序列的视觉相似度 visualSim为待对比轨迹段与待对比轨迹序列中每个轨迹段中采集到的人体图像的相似度 均值。待对比轨迹段与待对比轨迹序列中轨迹段的人体图像的相似度为两轨迹段中最优帧 人体图像的相似度。其中两张人体图像的相似度可以通过计算图像特征的余弦相似度获 得,即人体图像的相似度为:
式1中:pi,pj为人体图像;和/>为两人体图像的图像特征(可通过卷积神经网络等模型学习并提取而得)。
因此,视觉相似度visualSim为:
式2中:traceSegi为待对比轨迹段;tracej为待对比轨迹序列,pi为轨迹段traceSegi中最优帧的人体图像,pjk为待对比轨迹序列tracej中第k个轨迹段中的最优帧人体图像。
进一步的,由于在实际场景中,经常存在相机的视域重叠,即同一目标同时被多个相 机跟踪到,因此,在本申请一实施例中,在进行轨迹相似度值计算的时候也同时考虑轨迹 段之间存在时域重叠以及不存在时域重叠的两种情况进行处理。
具体的,在本申请一实施例中,判断待对比轨迹段与待对比轨迹序列是否有时域重叠。 若存在时域重叠,则计算两个轨迹段重叠时间段内的轨迹相似度。进一步的,在本申请一 实施例中,判断待对比轨迹段与待对比轨迹序列间是否存在时域重叠,是判断待对比轨迹段与待对比轨迹序列中的轨迹段间是否存在时域重叠。并不是判断待对比轨迹序列首尾两 个轨迹段所构成的整个时域范围是否与待对比轨迹段重叠。
图4为本申请确定追踪目标相似度的方法一实施例的部分流程图。如图4所示,在同 步时间节点的前提下,将待对比轨迹段的追踪目标的轨迹位置与待对比轨迹序列的追踪目 标的轨迹位置作对比,获取量化的轨迹相似度值,包括:
步骤410,判断待对比轨迹段与待对比轨迹序列间是否存在时域重叠;
步骤420,当存在时域重叠时,对比待对比轨迹段与待对比轨迹序列的时域重叠部分 的轨迹位置,获取量化的轨迹相似度值。
具体的,在本申请一实施例中,采用对比特定时间节点的轨迹位置的方式对比待对比 轨迹段与待对比轨迹序列的时域重叠部分的轨迹位置。图5为本申请确定追踪目标相似度 的方法一实施例的部分流程图。如图5所示,对比待对比轨迹段与待对比轨迹序列的时域 重叠部分的轨迹位置,获取量化的轨迹相似度值,包括:
步骤510,基于预设规则,从待对比轨迹段与待对比轨迹序列的时域重叠部分对应的 时间节点范围中确定一个或多个时间节点;
步骤520,对比确定出的时间节点上、待对比轨迹段与待对比轨迹序列的轨迹位置, 获取一个或多个位置相似度值;
步骤530,根据位置相似度值计算轨迹相似度值。
具体的,在本申请一实施例中,考虑到轨迹段中轨迹位置可能以采样点的方式被记录 (而不是连续的轨迹线),在步骤520中,如果轨迹段中不存在对应确定出的时间节点的 轨迹位置记录时,根据轨迹段中距离确定出的时间节点最近的两个轨迹位置记录来计算确 定出的时间节点所对应的轨迹位置。
具体的,在本申请一实施例中,采用对比特定时间片段的轨迹位置的方式对比待对比 轨迹段与待对比轨迹序列的时域重叠部分的轨迹位置。图6为本申请确定追踪目标相似度 的方法一实施例的部分流程图。如图6所示,对比待对比轨迹段与待对比轨迹序列的时域 重叠部分的轨迹位置,获取量化的轨迹相似度值,包括:
步骤610,按照预设间隔将待对比轨迹段与待对比轨迹序列的时域重叠部分划分为多 个时域片段;
步骤620,确定每一个时域片段在待对比轨迹段对应的一个轨迹位置以及每一个时域 片段在待对比轨迹序列中对应的一个轨迹位置;
步骤630,对比每一个时域片段对应的两个轨迹位置,获取位置相似度值;
步骤640,根据位置相似度值计算轨迹相似度值。
具体的,在本申请一实施例中,确定每一个时域片段在待对比轨迹段对应的一个轨迹 位置以及每一个时域片段在所述待对比轨迹序列中对应的一个轨迹位置,包括:
在待对比轨迹段或待对比轨迹序列中,当一个时域片段中仅包含一个轨迹点位置时, 以该轨迹点位置为时域片段对应的轨迹位置;
和/或,
在待对比轨迹段或待对比轨迹序列中,当一个时域片段中包含多个轨迹点位置时,以 多个轨迹点位置的中心位置(所有轨迹点坐标的均值)为时域片段对应的轨迹位置;
和/或,
在待对比轨迹段或所述待对比轨迹序列中,当一个时域片段中不包含轨迹点位置时, 以时域片段相邻的两个时域片段所对应的两个轨迹位置的中心位置为时域片段对应的轨 迹位置。
具体的,在本申请一实施例中,判断待对比轨迹段与待对比轨迹序列是否有时域重叠。 若不存在时域重叠,则根据待对比轨迹段预测计算某一特定时间节点的轨迹位置(该特定 时间节点在待对比轨迹序列中有对应的轨迹位置),或者,根据待对比轨迹序列预测计算 某一特定时间节点的轨迹位置(该特定时间节点在待对比轨迹段中有对应的轨迹位置)。 之后对应预测计算出的轨迹位置以及记录中的轨迹位置,获取待对比轨迹段与待对比轨迹 序列之间的轨迹相似度。
具体的,图7为本申请确定追踪目标相似度的方法一实施例的部分流程图。如图7所 示,在同步时间节点的前提下,将待对比轨迹段的追踪目标的轨迹位置与待对比轨迹序列 的追踪目标的轨迹位置作对比,获取量化的轨迹相似度值,包括:
步骤710,判断待对比轨迹段与待对比轨迹序列间是否存在时域重叠;
步骤720,当不存在时域重叠时,轨迹位置;
步骤730,对比预测出的轨迹位置与同一时间节点上记录的轨迹位置,根据对比结果 计算轨迹相似度值。
具体的,在本申请一实施例中,在步骤720中,当不存在时域重叠时,根据待对比轨迹段预测待对比轨迹序列中、距离待对比轨迹段最近的、具有轨迹位置记录的时间节点所对应的轨迹位置;在步骤730中,对比预测出的轨迹位置与同一时间节点上、待对比轨迹序列中轨迹段记录的轨迹位置,根据对比结果计算轨迹相似度值。
具体的,在本申请一实施例中,步骤720中,根据待对比轨迹序列预测待对比轨迹段 中、距离待对比轨迹序列中最近的、有轨迹位置记录的时间节点所对应的轨迹位置;在步 骤730中,对比预测出的轨迹位置与同一时间节点上、待对比轨迹段中记录的轨迹位置,根据对比结果计算轨迹相似度值。
进一步的,在本申请一实施例中,在预测轨迹位置的过程中,使用卡尔曼算法。进一 步的,在本申请其他实施例中,也可以采用其他位置预测算法来预测轨迹位置。
进一步的,在本申请一实施例中,考虑到如果待对比轨迹段与待对比轨迹序列在时间 范围上差距越远,根据其中一项去预测另一项所包含的时间节点的轨迹位置的预测准确性 就越低。因此,在本申请一实施例中,设置时间差阈值,在待对比轨迹段与待对比轨迹序列没有时域重叠时,如果待对比轨迹序列中时域范围距离待对比轨迹段最近的轨迹段与待 对比轨迹段的时域范围距离差大于时间差阈值时,则视为根据待对比轨迹序列中时域范围 距离待对比轨迹段最近的轨迹段预测计算出的轨迹位置,或者,根据待对比轨迹段预测计 算出的轨迹位置不具备参考价值。此时,不再进一步进行轨迹位置预测计算以及后续的获取轨迹相似度值的操作。
进一步的,在本申请一实施例中,在计算轨迹相似度值时,根据作对比的轨迹位置之 间的距离来计算轨迹相似度值。
具体的,在本申请一实施例中,在同步时间节点的前提下,在将待对比轨迹段的追踪 目标的轨迹位置与待对比轨迹序列的追踪目标的轨迹位置作对比,获取量化的轨迹相似度 值的过程中:当作对比的是一对轨迹位置时,计算轨迹位置间的轨迹位置距离,根据计算出的轨迹位置距离计算距离相似度,以计算出的距离相似度的计算结果为轨迹相似度值。
具体的,在本申请一实施例中,在同步时间节点的前提下,在将待对比轨迹段的追踪 目标的轨迹位置与待对比轨迹序列的追踪目标的轨迹位置作对比,获取量化的轨迹相似度 值的过程中:当作对比的是多对轨迹位置时,计算每一对轨迹位置间的轨迹位置距离;计算所有轨迹位置距离的平均值;根据所有轨迹位置距离的平均值计算距离相似度,以计算 出的距离相似度的计算结果为轨迹相似度值。
具体的,在本申请一实施例中,在计算距离相似度的过程中,由于距离越大相似度越 小,因此设计距离相似度函数与距离负相关。具体的,在本申请一实施例中,距离相似度为:
stSim=e-dis,(3)
式3中,stSim为距离相似度,dis为用于计算距离相似度的轨迹位置间距离。
具体的,在根据本申请一实施例的应用场景中,计算两个轨迹段重叠时间段内的轨迹 相似度的过程包括:
首先对重叠时间段内的两个轨迹片段分别进行固频处理,即,每个小的时间间隔内, 仅保留1个轨迹点(可取时间间隔内所有轨迹点坐标的均值),然后计算每个时间间隔内 对应轨迹点的平均距离,该值越大,两轨迹的相似度越小。
图8为本申请确定追踪目标相似度的方法一实施例的轨迹示意图。如图8所示,轨迹 段1和轨迹段2,两轨迹段从t0时刻开始有时域重叠,t1-t0=t2-t1=t3-t2=t4-t3。对两个轨 迹片段重叠时间区域中每个时间间隔内的轨迹点求坐标均值,作为用于进行对比的轨迹位 置点的坐标,如图中点701~704,711~714所示。
固频后对应时间间隔内轨迹位置点的距离假设为d1,d2,…,dt,则:
根据式4计算出的dis来计算stSim。
具体的,在根据本申请一实施例的应用场景中,若不存在时域重叠,且待对比轨迹序 列中距离待对比轨迹段最近的轨迹段与待对比轨迹段之间的时间间隔小于时间差阈值时, 则对待对比轨迹序列中距离待对比轨迹段最近的轨迹段的轨迹进行预测,预测其在待比对轨迹段起始或结束时间节点时的轨迹位置,预测轨迹点位置的方法可以用卡尔曼算法。计 算预测出的位置与待比对轨迹段起始或结束的轨迹位置之间的相似度。具体的,计算相似 度的计算方式仍采用距离相似度,即计算预测点与待比对轨迹段起始/结束点之间的距离, 距离越大,相似度越低。
图9为本申请确定追踪目标相似度的方法一实施例的轨迹示意图。如图9所示,轨迹 片段3和轨迹片段4没有时间重叠区域,则对轨迹片段3进行轨迹点预测,然后计算预测点901与轨迹片段4起始点902的距离d1,并计算相似度stSim。
进一步的,在本申请一实施例中,对图像相似度值以及轨迹相似度值进行融合计算, 其中,对图像相似度值以及轨迹相似度值进行加权计算。
具体的,在本申请一实施例中,对图像相似度值以及轨迹相似度值进行加权计算为:
sim=α·visualSim+(1-α)·stSim,(5)
式5中,sim为追踪目标相似度;a为根据实际应用场景设定的加权值,用于体现在分析判断过程中图像相似度值以及轨迹相似度值的侧重度对比。具体的,再根据额本申请一实施例的应用场景中,根据相机的硬件配置以及应用场景环境情况确定a的值。例如, 当相机的定位系统定位精度/准确度相对较低,相机的图像分辨率相对较高、场景环境中 遮蔽物相对较少时,将侧重度偏向图像相似度值(a的取值接近1);当相机的定位系统定 位精度/准确度相对较高,相机的图像分辨率相对较低、场景环境中遮蔽物相对较多时, 将侧重度偏向轨迹相似度值(a的取值接近0)。
具体的,在本申请一实施例中,a的大小可以在具体实现时根据系统性能和/实现需求 等自行设定,本实施例对a的大小不作限定。例如,在一应用场景中,a取0.8。
进一步的,基于本申请实施例提出的确定追踪目标相似度的方法。本申请一实施例还 提出了一种确定追踪目标一致性的方法。具体的,确定相似度阈值,当待对比轨迹段与待 对比轨迹序列的追踪目标相似度值大于相似度阈值时,即判定待对比轨迹段与待对比轨迹序列的追踪目标是一致的。
具体的,图10为本申请确定追踪目标一致性的方法一实施例的流程图。如图10所示, 确定追踪目标一致性的方法包括:
步骤1010,根据本申请实施例所述的方法计算待对比轨迹段与待对比轨迹序列的追 踪目标相似度值;
步骤1020,判断追踪目标相似度值是否大于预设的相似度阈值;
步骤1030,当追踪目标相似度值大于预设的相似度阈值时,判定待对比轨迹段的追 踪目标与待对比轨迹序列的追踪目标一致。
具体的,在本申请一实施例中,预设的相似度阈值的大小可以在具体实现时根据系统 性能和/实现需求等自行设定,本实施例对预设的相似度阈值的大小不作限定。例如,在 一应用场景中,预设的相似度阈值取0.89。
进一步的,基于本申请实施例提出的确定追踪目标一致性的方法。本申请一实施例还 提出了一种确定追踪目标的方法。具体的,分别以已记录的每一个追踪目标所对应的轨迹 序列为待对比轨迹序列,以待确定追踪目标的轨迹段为待对比轨迹段,根据本申请实施例所述的方法,计算待对比轨迹段与待对比轨迹序列的追踪目标相似度值,获取多个追踪目 标相似度值;当存在以大于预设的相似度阈值的追踪目标相似度值时,将数值最大的追踪 目标相似度值所对应的轨迹序列的追踪目标确定为所述待确定追踪目标的轨迹段的追踪 目标。
进一步的,在本申请一实施例中,当不存在以大于预设的相似度阈值的追踪目标相似 度值时,待确定追踪目标的轨迹段的追踪目标为尚未记录的全新目标。
具体的,图11为本申请确定追踪目标的方法一实施例的流程图。如图11所示,确定追踪目标的方法包括:
步骤1110,确定对比对象分别以已记录的每一个追踪目标所对应的轨迹序列为待对比 轨迹序列,以待确定追踪目标的轨迹段为待对比轨迹段;
步骤1120,根据本申请实施例所述的方法,计算待对比轨迹段与待对比轨迹序列的追 踪目标相似度值,获取多个追踪目标相似度值;
步骤1130,判断是否存在大于预设的相似度阈值的追踪目标相似度值;
如果存在,执行步骤1131;
如果不存在,执行步骤1132;
步骤1131,判定多个追踪目标相似度值中最大的追踪目标相似度值对应的追踪目标为 待确定追踪目标的轨迹段的追踪目标;
步骤1132,判定待确定追踪目标的轨迹段的追踪目标为不存在历史记录中的新追踪目 标。
具体的,在根据本申请一实施例中,在内存中维护一个轨迹队列,该轨迹队列中为历史跟踪到的各个目标(P1~Pn)的轨迹序列,每个目标的轨迹序列由多个轨迹片段(g1~gn) 构成。根据本申请实施例的方法,确认待确定追踪目标的轨迹段的追踪目标与哪一个目标轨迹序列一致(追踪目标相似度值大于预设的相似度阈值中最大的一个),如果均不一致 (追踪目标相似度值均小于等于预设的相似度阈值),则为待确定追踪目标的轨迹段建立 一个新的轨迹序列P(n+1)。
根据本申请一实施例的方法,在实现基于轨迹层面的跨相机目标跟踪过程中,比较的是两个轨迹段之间的相似度(包括视觉和时空相似度),能够利用整条轨迹片段的图像信 息、时空信息进行目标匹配,对于跨相机以及目标漏拍等跟踪信息不完整的情况具有较强 的鲁棒性,较逐帧跨相机跟踪的方式具有更多的可利用信息,更可靠。
进一步的,根据本申请一实施例的方法,综合考虑了行人轨迹片段的视觉相似度和时 空相似度,避免由于遮挡、光线、角度等原因造成的目标图像质量较差导致的仅仅依赖图 像信息进行目标匹配不准确,较传统的只依赖视觉信息进行跨相机跟踪的方法具有更好准确性。
此外,在进行完轨迹片段的关联后,可进一步通过与人员底库进行匹配,从而进行目 标的身份确认。该过程使得本方法的召回率更高,从而跟踪到的行人轨迹更完整。这是因 为,在该过程中,能够将在轨迹关联阶段未成功关联在一起的轨迹,通过相同的人员底库关联起来。
可以理解的是,上述实施例中的部分或全部步骤或操作仅是示例,本申请实施例还 可以执行其它操作或者各种操作的变形。此外,各个步骤可以按照上述实施例呈现的不同的顺序来执行,并且有可能并非要执行上述实施例中的全部操作。
进一步的,基于本申请实施例的确定追踪目标相似度的方法,本申请实施例还提出了 一种确定追踪目标相似度的系统。具体的,图12为本申请确定追踪目标相似度的系统一 实施例的结构图。如图12所示,在本申请一实施例中,确定追踪目标相似度的系统1200包括:
视觉对比模块1210,其用于将待对比轨迹段的追踪目标的人体图像与待对比轨迹序 列的追踪目标的人体图像作对比,获取量化的图像相似度值,图像相似度值用于描述待对 比轨迹段与待对比轨迹序列的视觉相似度;
时空轨迹对比模块1220,其用于在同步时间节点的前提下,将待对比轨迹段的追踪 目标的轨迹位置与待对比轨迹序列的追踪目标的轨迹位置作对比,获取量化的轨迹相似度 值,轨迹相似度值用于描述待对比轨迹段与待对比轨迹序列的时空相似度;
融合计算模块1230,其用于对图像相似度值以及轨迹相似度值进行融合计算,获取 待对比轨迹段与待对比轨迹序列的追踪目标相似度值。
进一步的,基于本申请实施例的确定追踪目标一致性的方法,本申请实施例还提出了 一种确定追踪目标一致性的系统。具体的,图13为本申请确定追踪目标一致性的系统一 实施例的结构图。如图13所示,在本申请一实施例中,确定追踪目标一致性的系统1300包括:
相似度值获取模块1310,其用于获取根据本申请实施例的系统所生成的追踪目标相 似度;
阈值对比模块1320,其用于当追踪目标相似度值大于预设的相似度阈值时,判定待 对比轨迹段的追踪目标与待对比轨迹序列的追踪目标一致。
进一步的,基于本申请实施例的确定追踪目标的方法,本申请实施例还提出了一种确 定追踪目标的系统。具体的,图14为本申请确定追踪目标的系统一实施例的结构图。如 图14所示,在本申请一实施例中,确定追踪目标的系统1400包括:
相似度值获取模块1410,其用于分别以已记录的每一个追踪目标所对应的轨迹序列 为待对比轨迹序列,以待确定追踪目标的轨迹段为待对比轨迹段,根据本申请实施例所述 的系统,计算待对比轨迹段与待对比轨迹序列的追踪目标相似度值,获取多个追踪目标相似度值;
追踪目标判定模块1420,其用于当存在以大于预设的相似度阈值的追踪目标相似度 值时,将数值最大的追踪目标相似度值所对应的轨迹序列的追踪目标确定为待确定追踪目 标的轨迹段的追踪目标。
图12~14所示的本申请一实施例提供的系统可用于执行本申请实施例的方法实施例 的技术方案,其实现原理和技术效果可以进一步参考方法实施例中的相关描述。
应理解以上图12~图14所示系统的各个模块的划分仅仅是一种逻辑功能的划分,实 际实现时可以全部或部分集成到一个物理实体上,也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现;也可以全部以硬件的形式实现;还可以部分 模块以软件通过处理元件调用的形式实现,部分模块通过硬件的形式实现。例如,检测 模块可以为单独设立的处理元件,也可以集成在电子设备的某一个芯片中实现。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起,也可以独立实现。在实 现过程中,上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑 电路或者软件形式的指令完成。
例如,以上这些模块可以是被配置成实施以上方法的一个或多个集成电路,例如:一个或多个特定集成电路(Application Specific Integrated Circuit;以下简称:ASIC),或, 一个或多个微处理器(Digital Singnal Processor;以下简称:DSP),或,一个或者多个现 场可编程门阵列(Field Programmable Gate Array;以下简称:FPGA)等。再如,这些模 块可以集成在一起,以片上系统(System-On-a-Chip;以下简称:SOC)的形式实现。
进一步的,基于本申请实施例提出的方法,本申请实施例提出还提出了一种电子设 备,该电子设备包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器,其 中,当该计算机程序指令被该处理器执行时,触发该电子设备执行本申请实施例所述的方法步骤。
具体的,本申请实施例还提出了一种电子设备,该电子设备包括用于存储计算机程序 指令的存储器和用于执行程序指令的处理器,其中,当该计算机程序指令被该处理器执行 时,触发电子设备执行如本申请实施例所述的方法步骤。
具体的,在本申请一实施例中,上述电子设备可以为移动终端(手机),智慧屏,无人机,智能网联车(Intelligent Connected Vehicle;以下简称:ICV),智能(汽)车(smart/intelligent car)或车载设备等设备。其中上述一个或多个计算机程序被存储在上述 存储器中,上述一个或多个计算机程序包括指令,当上述指令被上述设备执行时,使得 上述设备执行本申请实施例所述的方法步骤。
进一步的,本申请一实施例所示的电子设备可以是终端设备也可以是内置于上述终端 设备的电路设备。该设备可以用于执行本申请实施例提供的方法中的功能/步骤。
具体的,在本申请一实施例中,电子设备包括处理器以及存储器。其中,处理器和存 储器之间可以通过内部连接通路互相通信,传递控制和/或数据信号,该存储器用于存储 计算机程序,该处理器用于从该存储器中调用并运行该计算机程序。
上述存储器可以是只读存储器(read-only memory,ROM)、可存储静态信息和指令的其它类型的静态存储设备、随机存取存储器(random access memory,RAM)或可存储信息和指令的其它类型的动态存储设备,也可以是电可擦可编程只读存储器(electricallyerasable programmable read-only memory,EEPROM)、只读光盘(compact disc read-only memory,CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字 通用光碟、蓝光光碟等)、磁盘存储介质或者其它磁存储设备,或者还可以是能够用于携 带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其它介 质等。
上述处理器可以和存储器可以合成一个处理装置,更常见的是彼此独立的部件,处理 器用于执行存储器中存储的程序代码来实现上述功能。具体实现时,该存储器也可以集成 在处理器中,或者,独立于处理器。
应理解,电子设备中的处理器可以是片上系统SOC,该处理器中可以包括中央处理器 (Central Processing Unit;以下简称:CPU),还可以进一步包括其他类型的处理器,例如:图像处理器(Graphics Processing Unit;以下简称:GPU)等。
总之,处理器内部的各部分处理器或处理单元可以共同配合实现之前的方法流程,且 各部分处理器或处理单元相应的软件程序可存储在存储器中。
以上各实施例中,涉及的处理器可以例如包括CPU、DSP、微控制器或数字信号处理器,还可包括GPU、嵌入式神经网络处理器(Neural-network Process Units;以下简称:NPU)和图像信号处理器(Image Signal Processing;以下简称:ISP),该处理器还可包 括必要的硬件加速器或逻辑处理硬件电路,如ASIC,或一个或多个用于控制本申请技术 方案程序执行的集成电路等。此外,处理器可以具有操作一个或多个软件程序的功能, 软件程序可以存储在存储介质中。
应理解,上述电子设备能够实现本申请实施例提供的方法的各个过程。电子设备中的 各个模块的操作和/或功能,分别为了实现上述方法实施例中的相应流程。具体可参见本 申请实施例所述方法实施例中的描述,为避免重复,此处适当省略详细描述。
本申请一实施例中还提供一种计算机可读存储介质,该计算机可读存储介质中存储 有计算机程序,当其在计算机上运行时,使得计算机执行本申请实施例提供的方法。
本申请实施例还提供一种计算机程序产品,该计算机程序产品包括计算机程序,当 其在计算机上运行时,使得计算机执行本申请实施例提供的方法。
本申请实施例中,“至少一个”是指一个或者多个,“多个”是指两个或两个以 上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B, 可以表示单独存在A、同时存在A和B、单独存在B的情况。其中A,B可以是单数或者 复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项”及其类似表达,是指的这些项中的任意组合,包括单项或复数项的任意组合。例如,a,b和c 中的至少一项可以表示:a,b,c,a和b,a和c,b和c或a和b和c,其中a,b,c可 以是单个,也可以是多个。
本领域普通技术人员可以意识到,本申请实施例中描述的各单元及算法步骤,能够 以电子硬件、计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的 应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、模块和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,任一功能如果以软件功能单元的形式实现并作为 独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申 请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、 只读存储器(Read-Only Memory;以下简称:ROM)、随机存取存储器(Random Access Memory;以下简称:RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本申请实施例的具体实施方式,任何熟悉本技术领域的技术人员在 本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。本申请的保护范围应以所述权利要求的保护范围为准。

Claims (9)

1.一种确定追踪目标相似度的方法,其特征在于,包括:
将待对比轨迹段的追踪目标的人体图像与待对比轨迹序列的追踪目标的人体图像作对比,以获取量化的图像相似度值,所述图像相似度值用于描述不同人体图像间的视觉相似度;
在同步时间节点的前提下,将待对比轨迹段的追踪目标的轨迹位置与待对比轨迹序列的追踪目标的轨迹位置作对比,以获取量化的轨迹相似度值,所述轨迹相似度值用于描述不同轨迹位置间的时空相似度;
对所述图像相似度值以及所述轨迹相似度值进行融合计算,以获取所述待对比轨迹段的追踪目标与所述待对比轨迹序列的追踪目标之间的追踪目标相似度值,包括:判断所述待对比轨迹段与所述待对比轨迹序列间是否存在时域重叠;当存在时域重叠时,按照预设间隔将时域重叠部分划分为多个时域片段;确定所述时域片段在所述待对比轨迹段中所对应的第一时域片段位置,以及,确定所述时域片段在所述待对比轨迹序列中所对应的第二时域片段位置;对比所述时域片段所对应的第一时域片段位置以及第二时域片段位置,获取所述时域片段所对应的分段位置相似度值;根据所有所述时域片段所对应的分段位置相似度值计算所述轨迹相似度值;其中:
在所述待对比轨迹段或所述待对比轨迹序列中,当所述时域片段仅对应一个轨迹点位置时,以所述时域片段对应的轨迹点位置为所述第一时域片段位置或所述第二时域片段位置;
和/或,
在所述待对比轨迹段或所述待对比轨迹序列中,当所述时域片段对应多个轨迹点位置时,以所述时域片段对应的多个轨迹点位置的中心位置为所述第一时域片段位置或所述第二时域片段位置;
和/或,
在所述待对比轨迹段或所述待对比轨迹序列中,当所述时域片段不对应轨迹点位置时,以所述时域片段相邻的两个时域片段所对应的轨迹点位置的中心位置为所述第一时域片段位置或所述第二时域片段位置。
2.根据权利要求1所述的方法,其特征在于,所述将待对比轨迹段的追踪目标的人体图像与待对比轨迹序列的追踪目标的人体图像作对比,以获取量化的图像相似度值,包括:
将所述待对比轨迹段的追踪目标的人体图像,与所述待对比轨迹序列中的一个或多个轨迹段的追踪目标的人体图像作对比,以获取量化的图像相似度值。
3.根据权利要求2所述的方法,其特征在于,所述图像相似度值为,所述待对比轨迹序列中的一个轨迹段的追踪目标的人体图像,与所述待对比轨迹段的追踪目标的人体图像作对比而获取的相似度值。
4.根据权利要求3所述的方法,其特征在于,所述图像相似度值为,所述待对比轨迹序列中,与所述待对比轨迹段的时间节点最接近的轨迹段的追踪目标的人体图像,与所述待对比轨迹段的追踪目标的人体图像作对比而获取的相似度值。
5.根据权利要求2所述的方法,其特征在于,所述图像相似度值为多个分段相似度值的综合值,其中:
所述多个分段相似度值为,所述待对比轨迹序列中,按照预设规则选取的多个轨迹段的追踪目标的人体图像,与所述待对比轨迹段的追踪目标的人体图像分别作对比而获取的多个相似度值;
或者,
所述多个分段相似度值为,所述待对比轨迹序列中,所有的轨迹段的追踪目标的人体图像,与所述待对比轨迹段的追踪目标的人体图像分别作对比而获取的多个相似度值。
6.根据权利要求1所述的方法,其特征在于,所述对所述图像相似度值以及所述轨迹相似度值进行融合计算,以获取所述待对比轨迹段的追踪目标与所述待对比轨迹序列的追踪目标之间的追踪目标相似度值,还包括:
当存在时域重叠时,计算所述时域重叠部分中,所述待对比轨迹段与所述待对比轨迹序列上,对应相同时间节点的每一对轨迹位置间的轨迹位置距离;
计算所有轨迹位置距离的平均值;
根据所述所有轨迹位置距离的平均值计算距离相似度,以获取所述轨迹相似度值。
7.根据权利要求1所述的方法,其特征在于,所述对所述图像相似度值以及所述轨迹相似度值进行融合计算,以获取所述待对比轨迹段的追踪目标与所述待对比轨迹序列的追踪目标之间的追踪目标相似度值,还包括:
当存在时域重叠时,基于预设规则,从所述时域重叠部分对应的时间节点范围中,确定对比时间节点;
针对确定出的所述对比时间节点,对比所述待对比轨迹段与所述待对比轨迹序列的轨迹位置,以获取所述对比时间节点对应的位置相似度值;
根据所述对比时间节点对应的位置相似度值计算所述轨迹相似度值。
8.根据权利要求1所述的方法,其特征在于,所述对所述图像相似度值以及所述轨迹相似度值进行融合计算,以获取所述待对比轨迹段的追踪目标与所述待对比轨迹序列的追踪目标之间的追踪目标相似度值,还包括:
当不存在时域重叠时,估算第一时间节点上所述待对比轨迹段对应的第一估算位置,或者,估算第二时间节点上所述待对比轨迹序列对应的第二估算位置,其中,所述第一时间节点为所述待对比轨迹序列上距离所述待对比轨迹段最近的时间节点,所述第二时间节点为所述待对比轨迹段上距离所述待对比轨迹序列最近的时间节点;
将所述待对比轨迹序列上所述第一时间节点对应的轨迹位置与所述第一估算位置作对比,或者,将所述待对比轨迹段上所述第二时间节点对应的轨迹位置与所述第二估算位置作对比,以获所述轨迹相似度值。
9.一种确定追踪目标相似度的系统,包括:
视觉对比模块,其用于将待对比轨迹段的追踪目标的人体图像与待对比轨迹序列的追踪目标的人体图像作对比,获取量化的图像相似度值,所述图像相似度值用于描述待对比轨迹段与待对比轨迹序列的视觉相似度;
时空轨迹对比模块,其用于在同步时间节点的前提下,将待对比轨迹段的追踪目标的轨迹位置与待对比轨迹序列的追踪目标的轨迹位置作对比,获取量化的轨迹相似度值,所述轨迹相似度值用于描述待对比轨迹段与待对比轨迹序列的时空相似度;
融合计算模块,其用于对所述图像相似度值以及所述轨迹相似度值进行融合计算,以获取所述待对比轨迹段的追踪目标与所述待对比轨迹序列的追踪目标之间的追踪目标相似度值,包括:判断所述待对比轨迹段与所述待对比轨迹序列间是否存在时域重叠;当存在时域重叠时,按照预设间隔将时域重叠部分划分为多个时域片段;确定所述时域片段在所述待对比轨迹段中所对应的第一时域片段位置,以及,确定所述时域片段在所述待对比轨迹序列中所对应的第二时域片段位置;对比所述时域片段所对应的第一时域片段位置以及第二时域片段位置,获取所述时域片段所对应的分段位置相似度值;根据所有所述时域片段所对应的分段位置相似度值计算所述轨迹相似度值;其中:
在所述待对比轨迹段或所述待对比轨迹序列中,当所述时域片段仅对应一个轨迹点位置时,以所述时域片段对应的轨迹点位置为所述第一时域片段位置或所述第二时域片段位置;
和/或,
在所述待对比轨迹段或所述待对比轨迹序列中,当所述时域片段对应多个轨迹点位置时,以所述时域片段对应的多个轨迹点位置的中心位置为所述第一时域片段位置或所述第二时域片段位置;
和/或,
在所述待对比轨迹段或所述待对比轨迹序列中,当所述时域片段不对应轨迹点位置时,以所述时域片段相邻的两个时域片段所对应的轨迹点位置的中心位置为所述第一时域片段位置或所述第二时域片段位置。
CN202010713155.5A 2020-07-22 2020-07-22 一种确定追踪目标相似度的方法和系统 Active CN112037245B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010713155.5A CN112037245B (zh) 2020-07-22 2020-07-22 一种确定追踪目标相似度的方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010713155.5A CN112037245B (zh) 2020-07-22 2020-07-22 一种确定追踪目标相似度的方法和系统

Publications (2)

Publication Number Publication Date
CN112037245A CN112037245A (zh) 2020-12-04
CN112037245B true CN112037245B (zh) 2023-09-01

Family

ID=73582502

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010713155.5A Active CN112037245B (zh) 2020-07-22 2020-07-22 一种确定追踪目标相似度的方法和系统

Country Status (1)

Country Link
CN (1) CN112037245B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112770252A (zh) * 2020-12-31 2021-05-07 深圳前海中电慧安科技有限公司 基于单点相似度的人车关联方法、装置、设备及存储介质
CN112925948A (zh) * 2021-02-05 2021-06-08 上海依图网络科技有限公司 视频处理方法及其装置、介质、芯片和电子设备
CN113114850B (zh) * 2021-03-18 2021-09-21 电子科技大学 一种基于监控视频和pdr在线融合定位方法
CN113034546A (zh) * 2021-04-07 2021-06-25 杭州海康威视数字技术股份有限公司 一种轨迹合并方法、装置、电子设备及存储介质
JP7350222B1 (ja) * 2023-03-30 2023-09-25 三菱電機株式会社 動作分析装置、動作分析方法、及び動作分析プログラム
CN116541727B (zh) * 2023-07-07 2023-09-12 中国兵工物资集团有限公司 一种轨迹相似度计算方法和系统
CN117557789B (zh) * 2024-01-12 2024-04-09 国研软件股份有限公司 一种海上目标的智能化检测方法及系统

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012134700A (ja) * 2010-12-21 2012-07-12 Nippon Telegr & Teleph Corp <Ntt> 軌跡・場所履歴データ作成装置と動画像表示装置と動画像オブジェクト探索システムと、それらの方法とプログラム
CN102722541A (zh) * 2012-05-23 2012-10-10 中国科学院计算技术研究所 一种时空轨迹相似度计算方法及系统
CN103593430A (zh) * 2013-11-11 2014-02-19 胡宝清 一种基于移动对象时空信息轨迹分段聚类的方法
CN103942533A (zh) * 2014-03-24 2014-07-23 河海大学常州校区 一种基于视频监控系统的城市交通违规行为检测方法
CN104464379A (zh) * 2014-12-09 2015-03-25 中国船舶重工集团公司第七0九研究所 基于分段匹配的航行计划与雷达航迹关联方法及系统
CN107766407A (zh) * 2017-08-29 2018-03-06 厦门理工学院 一种采用两阶段搜索的轨迹相似性连接查询方法
CN108133172A (zh) * 2017-11-16 2018-06-08 北京华道兴科技有限公司 视频中运动对象分类的方法、车流量的分析方法及装置
CN108765459A (zh) * 2018-04-18 2018-11-06 中国人民解放军国防科技大学 基于小轨迹图关联模型的半在线视觉多目标跟踪方法
CN110135314A (zh) * 2019-05-07 2019-08-16 电子科技大学 一种基于深度轨迹预测的多目标跟踪方法
CN110162586A (zh) * 2019-05-24 2019-08-23 中国科学院地理科学与资源研究所 一种适用于移动目标分支轨迹的相似度查询系统及方法
CN110443828A (zh) * 2019-07-31 2019-11-12 腾讯科技(深圳)有限公司 对象跟踪方法和装置、存储介质及电子装置
CN110555061A (zh) * 2019-09-06 2019-12-10 北京百度网讯科技有限公司 轨迹相似度确定方法和装置
CN111242985A (zh) * 2020-02-14 2020-06-05 电子科技大学 基于马尔科夫模型的视频多行人追踪方法
CN111243277A (zh) * 2020-03-09 2020-06-05 山东大学 基于车牌识别数据的通勤车辆时空轨迹重构方法及系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9747805B2 (en) * 2013-07-31 2017-08-29 International Business Machines Corporation Computing a similarity measure over moving object trajectories
CN107392937B (zh) * 2017-07-14 2023-03-14 腾讯科技(深圳)有限公司 目标跟踪方法、装置及电子设备

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012134700A (ja) * 2010-12-21 2012-07-12 Nippon Telegr & Teleph Corp <Ntt> 軌跡・場所履歴データ作成装置と動画像表示装置と動画像オブジェクト探索システムと、それらの方法とプログラム
CN102722541A (zh) * 2012-05-23 2012-10-10 中国科学院计算技术研究所 一种时空轨迹相似度计算方法及系统
CN103593430A (zh) * 2013-11-11 2014-02-19 胡宝清 一种基于移动对象时空信息轨迹分段聚类的方法
CN103942533A (zh) * 2014-03-24 2014-07-23 河海大学常州校区 一种基于视频监控系统的城市交通违规行为检测方法
CN104464379A (zh) * 2014-12-09 2015-03-25 中国船舶重工集团公司第七0九研究所 基于分段匹配的航行计划与雷达航迹关联方法及系统
CN107766407A (zh) * 2017-08-29 2018-03-06 厦门理工学院 一种采用两阶段搜索的轨迹相似性连接查询方法
CN108133172A (zh) * 2017-11-16 2018-06-08 北京华道兴科技有限公司 视频中运动对象分类的方法、车流量的分析方法及装置
CN108765459A (zh) * 2018-04-18 2018-11-06 中国人民解放军国防科技大学 基于小轨迹图关联模型的半在线视觉多目标跟踪方法
CN110135314A (zh) * 2019-05-07 2019-08-16 电子科技大学 一种基于深度轨迹预测的多目标跟踪方法
CN110162586A (zh) * 2019-05-24 2019-08-23 中国科学院地理科学与资源研究所 一种适用于移动目标分支轨迹的相似度查询系统及方法
CN110443828A (zh) * 2019-07-31 2019-11-12 腾讯科技(深圳)有限公司 对象跟踪方法和装置、存储介质及电子装置
CN110555061A (zh) * 2019-09-06 2019-12-10 北京百度网讯科技有限公司 轨迹相似度确定方法和装置
CN111242985A (zh) * 2020-02-14 2020-06-05 电子科技大学 基于马尔科夫模型的视频多行人追踪方法
CN111243277A (zh) * 2020-03-09 2020-06-05 山东大学 基于车牌识别数据的通勤车辆时空轨迹重构方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于时间序列的轨迹数据相似性度量方法研究及应用综述;潘晓;《燕山大学学报》;531-545页 *

Also Published As

Publication number Publication date
CN112037245A (zh) 2020-12-04

Similar Documents

Publication Publication Date Title
CN112037245B (zh) 一种确定追踪目标相似度的方法和系统
US11288495B2 (en) Object tracking and best shot detection system
CN108629791B (zh) 行人跟踪方法和装置及跨摄像头行人跟踪方法和装置
Arroyo et al. Expert video-surveillance system for real-time detection of suspicious behaviors in shopping malls
Tian et al. Robust detection of abandoned and removed objects in complex surveillance videos
CN107506684B (zh) 步态识别方法及装置
US9412180B2 (en) Information processing apparatus, information processing method, and program
US7825954B2 (en) Multi-state target tracking
CN110268440B (zh) 图像解析装置、图像解析方法、以及存储介质
CN112016353A (zh) 一种基于视频的人脸图像进行身份识别方法及装置
CN110675426B (zh) 人体跟踪方法、装置、设备及存储介质
KR101492059B1 (ko) 평균이동 알고리즘을 적용한 실시간 객체 추적방법 및 시스템
Xu et al. Smart video surveillance system
CN111061825B (zh) 一种蒙面和换装伪装身份的时空关系匹配关联识别方法
Almomani et al. Segtrack: A novel tracking system with improved object segmentation
KR101595334B1 (ko) 농장에서의 움직임 개체의 이동 궤적 트래킹 방법 및 장치
CN110728249A (zh) 目标行人的跨摄像机识别方法、装置及系统
CN110956649A (zh) 多目标三维物体跟踪的方法和装置
KR101407394B1 (ko) 방치물 및 도난물 탐지 시스템
CN114387296A (zh) 目标轨迹追踪方法、装置、计算机设备及存储介质
CN111597979B (zh) 一种目标对象聚类方法及装置
Martínez-Martín et al. Motion detection in static backgrounds
CN117036407B (zh) 多目标跟踪方法、装置及设备
CN113449596B (zh) 对象重识别方法以及电子设备、存储装置
Shen et al. Multihuman tracking based on a spatial–temporal appearance match

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant