CN111739056B - 一种轨迹追踪系统 - Google Patents
一种轨迹追踪系统 Download PDFInfo
- Publication number
- CN111739056B CN111739056B CN202010580969.6A CN202010580969A CN111739056B CN 111739056 B CN111739056 B CN 111739056B CN 202010580969 A CN202010580969 A CN 202010580969A CN 111739056 B CN111739056 B CN 111739056B
- Authority
- CN
- China
- Prior art keywords
- visual
- track
- visual track
- data
- similarity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000000007 visual effect Effects 0.000 claims abstract description 486
- 238000013523 data management Methods 0.000 claims abstract description 99
- 239000012634 fragment Substances 0.000 claims abstract description 90
- 230000003993 interaction Effects 0.000 claims abstract description 16
- 230000005540 biological transmission Effects 0.000 claims abstract description 14
- 238000004364 calculation method Methods 0.000 claims description 29
- 238000004458 analytical method Methods 0.000 claims description 17
- 238000001514 detection method Methods 0.000 claims description 14
- 238000007781 pre-processing Methods 0.000 claims description 11
- 230000004044 response Effects 0.000 claims description 8
- 238000012937 correction Methods 0.000 claims description 7
- 238000012216 screening Methods 0.000 claims description 2
- 238000000034 method Methods 0.000 description 23
- 230000008569 process Effects 0.000 description 13
- 238000012544 monitoring process Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 238000012545 processing Methods 0.000 description 8
- 230000002159 abnormal effect Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 238000007726 management method Methods 0.000 description 6
- 238000013507 mapping Methods 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 238000010276 construction Methods 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 230000000875 corresponding effect Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20104—Interactive definition of region of interest [ROI]
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种轨迹追踪系统，该系统包括，由用于形成视觉轨迹片段的数据接入层，以及，用于对各个视觉轨迹片段进行管理和/或分析的数据管理层所组成的网络层架构，所述数据接入层与数据管理层之间具有用于交互和传输的第一接口，其中，数据接入层通过第一接口与数据管理层进行交互，将基于分布于采集点的图像采集设备所采集的视频流图像数据所生成视觉轨迹片段，通过第一接口传输到数据管理层，数据管理层通过第一接口与数据接入层进行交互，汇集来自数据接入层的各个视觉轨迹片段，统一各个视觉轨迹片段的格式，对各个视觉轨迹片段进行管理和/或分析，得到轨迹追踪数据。本申请整体系统构建简单，网络层的架构使得各层可扩展性好。
Description
技术领域
本发明涉及视频智能分析领域，特别地，涉及一种轨迹追踪系统。
背景技术
随着智能传感器技术的发展，目标定位及目标轨迹的追踪逐渐趋向于精细化和智能化。
传统追踪往往基于带标识标签的被动追踪方式，例如，使用射频标识(RFID)作为目标的感知设备，以使得目标在运动过程中绑定有用于运动信息收集的传感器，根据传感器检测目标轨迹来实现轨迹追踪。这种轨迹追踪方式对感知设备具有较大的依赖性，在一些特定情况下并不适用。
基于传统监控的视频数据进行智能分析能够避免被动追踪方式的局限，但获取轨迹需要消耗巨大的人力物力，并且已经无法满足高实时性、自动化的需求。
发明内容
本发明提供了一种轨迹追踪系统，以实现轨迹追踪的自动化。
本发明提供了一种轨迹追踪系统，该系统包括，由用于形成视觉轨迹片段的数据接入层，以及，用于对各个视觉轨迹片段进行管理和/或分析的数据管理层所组成的网络层架构，所述数据接入层与数据管理层之间具有用于交互和传输的第一接口，
其中，
数据接入层通过第一接口与数据管理层进行交互，将基于分布于采集点的图像采集设备所采集的视频流图像数据所生成视觉轨迹片段，通过第一接口传输到数据管理层，
数据管理层通过第一接口与数据接入层进行交互，汇集来自数据接入层的各个视觉轨迹片段，统一各个视觉轨迹片段的格式，对各个视觉轨迹片段进行管理和/或分析，得到轨迹追踪数据。
较佳地，所述系统还包括用于基于数据管理层的轨迹追踪数据进行业务应用的数据应用层网络层架构，所述数据管理层与数据应用层之间具有用于交互和传输的第二接口，
所述数据应用层通过第二接口与数据管理层交互，访问和/或调用数据管理层中的轨迹追踪数据，以进行业务应用。
较佳地，所述数据接入层通过第一接口与数据管理层进行交互，将基于分布于采集点的图像采集设备所采集的视频流图像数据所生成视觉轨迹片段，通过第一接口传输到数据管理层，包括，
数据接入层响应于来自数据管理层的第一请求，该请求携带有采集点图像设备的信息，
根据第一请求中所携带的图像采集设备信息，汇总视频流图像数据，基于所汇总视频流图像数据，为各视频流图像数据生成世界坐标系下的各个视觉轨迹片段；和/或，根据第一请求中所携带的图像采集设备信息，汇总图像采集设备所生成的世界坐标系下视觉轨迹片段；
将汇总的各个视觉轨迹片段通过第一接口传输给数据管理层。
较佳地，所述数据接入层通过第一接口与数据管理层进行交互，将基于分布于采集点的图像采集设备所采集的视频流图像数据所生成视觉轨迹片段，通过第一接口传输到数据管理层，包括，
数据接入层向数据管理层发送请求上传数据的第二请求，
根据来自数据管理层对第二请求的响应，将待上传的视觉轨迹片段通过第一接口传输到数据管理层。
较佳地，所述数据管理层通过第一接口与数据接入层进行交互，汇集来自数据接入层的各个视觉轨迹片段，统一各个视觉轨迹片段的格式，对各个视觉轨迹片段进行管理和/或分析，得到轨迹追踪数据，包括，
数据管理层向数据接入层发送第一请求，该请求携带有图像采集设备的信息，或者，响应于来自数据接入层的第二请求，向数据接入层提供用于数据上传的参数，
数据管理层通过第一接口接收来自数据接入层的各个视觉轨迹片段，对各个视觉轨迹片段进行预处理以统一各个视觉轨迹片段的格式，基于预处理后的各个视觉轨迹片段，进行关联计算。
较佳地，所述数据管理层还包括，
响应于来自数据应用层请求业务应用所需轨迹追踪数据的第三请求，
通过第二接口为数据应用层提供数据应用层所请求的轨迹追踪数据；
所述业务应用包括至少统计、报警、行为检测、查询之一。
所述预处理插值、和/或固定频率降采样操作，
所述关联计算包括，时间关联计算、时空关联计算、跨镜头关联计算、禁止关联计算、标签关联计算、视觉关联计算之一或其任意组合，
其中，
禁止关联计算包括，
对于来源于同一图像采集设备的同一时间视觉轨迹片段，不进行空间关联和/或视觉关联的关联计算；
对于来源于非同一图像采集设备的不同时间视觉轨迹片段，计算视觉轨迹片段之间轨迹相似度和/或目标特征轮廓的相似度，如果轨迹相似度和/或目标特征轮廓的相似度不满足设定条件，则不进行空间关联和/或视觉关联的关联计算；
跨镜头关联计算包括，
按照视觉信息选择出包含有目标的视觉轨迹片段作为目标视觉轨迹片段，将各目标视觉轨迹片段与各个视觉轨迹片段的视觉信息和/或时空信息进行相似度比对，以将同一目标的视觉轨迹片段关联；
标签关联计算包括，将轨迹追踪数据中的目标与底库数据进行匹配，对于匹配成功的轨迹追踪数据，将轨迹追踪数据中的目标设置标签。
较佳地，所述数据管理层还包括，基于预处理后的各个视觉轨迹片段，进行异常检测、轨迹预测、轨迹修正之一或任意组合的分析；
其中，
轨迹预测包括，从目标在连续的N个时间周期内的轨迹数据，筛选出与预测时间点处于同一时间片的轨迹数据，基于所述预测时间点与当前时间点之间的时间差、筛选出的轨迹追踪数据和所述目标在当前时间点所处的位置，预测目标在预测时间点的轨迹；
轨迹修正包括，用轨迹标定真值对轨迹数据进行修正，得到修正后的轨迹数据；
所述轨迹数据包括视觉轨迹片段和/或轨迹追踪数据，N为大于1的自然数。
本发明提供的一种轨迹追踪系统，该系统包括，用于形成视觉轨迹片段的数据接入层网络层架构，所述数据接入层与一数据管理层之间具有用于交互和传输的第一接口，
其中，
数据接入层通过第一接口与数据管理层进行交互，将基于分布于采集点的图像采集设备所采集的视频流图像数据所生成视觉轨迹片段，通过第一接口传输到数据管理层，以使得数据管理层通过第一接口与数据接入层进行交互，汇集来自数据接入层的各个视觉轨迹片段，统一各个视觉轨迹片段的格式，对各个视觉轨迹片段进行管理和/或分析，得到轨迹追踪数据。
本发明提供的一种轨迹追踪系统，该系统包括，用于对各个视觉轨迹片段进行管理和/或分析的数据管理层网络层架构，所述数据管理层与一数据接入层之间具有用于交互和传输的第一接口，
其中，
数据管理层通过第一接口与数据接入层进行交互，汇集来自数据接入层的各个视觉轨迹片段，统一各个视觉轨迹片段的格式，对各个视觉轨迹片段进行管理和/或分析，得到轨迹追踪数据。
较佳地，该系统还包括，用于基于数据管理层的轨迹追踪数据进行业务应用的数据应用层网络层架构，所述数据管理层与数据应用层之间具有用于交互和传输的第二接口，
所述数据应用层通过第二接口与数据管理层交互，访问和/或调用数据管理层中的轨迹追踪数据，以进行业务应用。
本发明提供的轨迹追踪系统，基于数据接入层、数据管理层的网络层架构，通过数据接入层与数据管理层的交互，使得视觉轨迹数据的获取与基于对视觉轨迹数据的管理分析有机地结合，对于视觉轨迹数据的获取可以采取分布式处理，根据数据管理层的需要获取视觉轨迹数据，使得视觉轨迹数据具有较高的实时性；对于对视觉轨迹数据汇总后进行分析，能够为各种业务应用提供更好的数据服务基础；整体系统构建简单，网络层的架构使得各层可扩展性好。
附图说明
图1a为本申请实现轨迹追踪一种的系统平台示意图。
图1b为本申请轨迹追踪系统中各个网络层之间交互的一种示意图。
图2a为实现轨迹追踪的一种流程示意图。
图2b为关联计算实施方式一的一种流程示意图。
图2c为关联计算实施方式之二的一种流程示意图。
图2d为禁止关联的一种流程示意图。
图3为酒店智能监控系统的一种示意图。
图4为一无人商店的建筑平面一种示意图。
图5为本发明应用于无人商店时获取入店人员的轨迹追踪的一种监控示意图。
图6为本发明轨迹追踪系统的一种示意图。
具体实施方式
为了使本申请的目的、技术手段和优点更加清楚明白，以下结合附图对本申请做进一步详细说明。
本申请基于分布于各个监控点的图像采集设备的视频流数据进行如下之一的处理：目标检测，目标跟踪，关注区域(ROI区域)划定，空间信息描述数据的加载，基于来自不同图像采集设备视频流数据所形成轨迹的坐标转换，以得到至少一个视觉轨迹片段；对视觉轨迹片段进行管理，包括且不限于时空关联、视觉关联、标签关联，以得到轨迹追踪数据；基于轨迹追踪数据进行业务需求应用，包括且不限于统计、报警、徘徊检测、数据查询。
参见图1a所示，图1a为本申请实现轨迹追踪一种的系统平台示意图。从网络层架构而言，包括数据接入层、数据管理层、数据应用层。
数据接入层用于将图像采集设备的视频图像数据进行处理以得到视觉轨迹片段，为数据管理层提供基础的数据来源。在数据接入层，分布于各个监控点的图像采集设备的视频图像数据可以被汇总，形成用于轨迹追踪的视频流数据，也可以分布于各个前端设备；为了在无感知设备的情形下准确地生成目标的轨迹，从视频流数据中的图像检测目标的特征轮廓，并对目标的特征轮廓按照设定的帧率进行跟踪，根据像素坐标系中的像素特征点与图像采集设备的相机坐标系的映射关系，将跟踪的特征轮廓的像素特征点转换成相机坐标系下的特征点，从而生成了目标轨迹在相机坐标系下的轨迹。
由于图像采集设备存在着畸变等的视觉特征，来自远端的图像采集设备图像中的轨迹与相机坐标系下的轨迹存在的较大差别，因此可对视频图像进行ROI区域的划定，以生成可信区域的轨迹。
实际应用中，需要多个图像采集设备对目标的轨迹进行描绘，这样，便可得到来自多个图像采集设备的轨迹数据。由于根据视频流数据中的图像所得到的轨迹是在该视频流的相机坐标系下的，因此需要对不同相机坐标系进行统一，即，将各个目标轨迹转换到世界坐标系下。
为了便于轨迹的展示，根据图像采集设备采集范围的位置地图，构建采集图像的空间信息，以便将空间信息融合至目标轨迹。例如，利用CAD平面图或者SLAM技术输出空间的描述数据，用于与空间信息相关的轨迹优化及轨迹展示。常见的建立采集图像的空间信息是室内参数化，例如，SLAM(即时定位和地图)构建技术；CAD平面图参数化等。在空间信息构建的基础上，建立坐标系，作为世界坐标系，测量各个图像采集设备在世界坐标系下的坐标，根据图像采集设备参数，即相机的内参和外参，可以将各个目标轨迹转换成世界坐标系下的轨迹，从而使得目标轨迹可用世界坐标系中坐标描述，加载构建的空间信息，实现目标轨迹可视化展示。
在数据接入层，通过目标检测、目标跟踪、关注区域(ROI区域)划定，获得相机坐标系下的目标轨迹片段；根据构建的空间信息，获得世界坐标系下的目标轨迹，从而得到视觉轨迹片段。
数据管理层用于对数据接入层的视觉轨迹片段进行所需要的管理和分析，以从视觉轨迹片段中获取所需发业务应用数据。在数据管理层中，为了统一不同图像采集设备生成的轨迹片段的格式以便于分析和管理，需要对的轨迹片段进行预处理。预处理包含了异常轨迹的检测，轨迹插值、固定频率降采样等操作。具体而言，异常轨迹是出现丢帧、时间不同步等异常。插值是将视觉轨迹片段进行补帧操作，固定频率降采样是对轨迹数据进行降采样操作，以得到稳定可用的轨迹点集。
由于视觉轨迹片段是图像采集设备采集的具有时空属性的点集按照时间排序后形成的有序集合，视觉轨迹片段至少包括了时间信息、空间信息、目标信息之一或其组合，这使得视觉轨迹片段之间存在关联，通过分析视觉轨迹片段的关联以获得轨迹追踪数据。视觉轨迹片段的关联包括时空关联、时间关联、空间关联、视觉关联、跨镜头轨迹关联、标签关联中的任一种或任意组合。其中，
时间关联是基于视觉轨迹片段形成的时间信息，视觉轨迹片段之间所具有时间关系，例如，视觉轨迹片段1的起始时间为t1结束时间为t2、视觉轨迹片段2的起始时间为t2结束时间为t3，两者具有时间关联，
空间关联是基于视觉轨迹片段所采集的空间信息，视觉轨迹片段之间所具有空间关系，例如，采集有空间1的视觉轨迹片段1、采集有空间1的视觉轨迹片段2，两者具有空间关联，
时空关联是基于视觉轨迹片段形成的先后顺序以及视觉轨迹片段所采集的空间信息，视觉轨迹片段之间具有的时间和空间关系，例如，t1时刻所采集的空间1中的目标1的视觉轨迹片段1、t2时刻所采集的空间2中的目标1的视觉轨迹片段2，两者具有时空关联；
视觉关联是基于目标的视觉信息，具有的相同目标的视觉轨迹片段之间的关系，用于目标的关联。例如，视觉轨迹片段1中包含有目标1，视觉轨迹片段2中也包含有目标1，则视觉轨迹片段1和视觉轨迹片段2具有视觉关联。
跨镜头轨迹关联是鉴于来源于各个图像采集设备的视觉轨迹片段是采集设备各自采集的轨迹片段，未能形成完整轨迹，而通过跨镜头目标轨迹追踪来对各自采集设备间的轨迹片段进行关联，例如，方式之一，将各个单镜头下追踪的目标视觉轨迹片段与各个视觉轨迹片段的视觉信息和/或时空信息进行相似度比对，将同一目标的视觉轨迹片段关联起来，从而实现跨镜头轨迹关联。方式之二，确定当前目标在当前帧的位置和图像信息，通过与历史时刻所追踪到的目标信息(例如图像、速度等)进行匹配，从而完成当前目标匹配。
标签关联是根据底库数据对视觉轨迹片段中的目标进行标记，如果底裤数据中包含有目标，则标记视觉轨迹片段中的目标，否则，如果底裤数据中未包含有目标，则不标记。
上述空间关联、视觉关联、时空关联的关联计算是根据视觉轨迹片段之间的相似度来获得的，如果相似度大于设定的阈值，则判定关联，否则判定为不关联。
为了避免来自同一图像采集设备的同一时间视觉轨迹片段之间的关联计算而导致占用计算资源，在数据管理层，还包括对来自同一图像采集设备的同一时间视觉轨迹片段之间的禁止关联处理。所述禁止关联处理包括，
实施方式之一，根据视觉轨迹片段的时间信息确定视觉轨迹片段之间是否存在时间重叠、视觉轨迹片段是否来源于同一图像采集设备，筛选出来自同一图像采集设备的同一时间视觉轨迹片段，不进行视觉轨迹片段之间的关联；比较来自非同一图像采集设备的非同一时间视觉轨迹片段之间的轨迹相似度，如果轨迹相似度大于设定的第二轨迹相似度阈值，则进行关联，如果轨迹相似度不大于设定的第二轨迹相似度阈值，则不进行关联。其中,轨迹相似度包括且不限于LCSS(最大公共子串，longest common subsequence)、DTW(动态时间调整，dynamic time warping)、EDR(编辑轨迹相似度，Edit Distance on RealSequence)等。
实施方式之二，根据视觉轨迹片段的时间信息确定视觉轨迹片段之间是否存在时间重叠、视觉轨迹片段是否来源于同一图像采集设备，筛选出来自同一图像采集设备的同一时间视觉轨迹片段，不进行视觉轨迹片段之间的关联；比较来自非同一图像采集设备的非同一时间视觉轨迹片段之间目标特征轮廓的相似度，例如，人体轮廓、头肩轮廓，如果相似度大于设定的第四相似度阈值，则进行关联，如果相似度不大于设定的第四相似度阈值，则不进行关联。
较佳地，轨迹预测是从目标在连续的N个时间周期内的轨迹追踪数据，筛选出与预测时间点处于同一时间片的轨迹追踪数据，基于所述预测时间点与当前时间点之间的时间差、筛选出的轨迹追踪数据和所述目标在当前时间点所处的位置，预测目标在预测时间点的轨迹，其中，每个时间周期被划分为多个时间片，且每个时间片的时长相同。
由于视觉轨迹片段在生成的过程中，检测、目标跟踪、视觉传感器光学畸变等原因造成了视觉轨迹往往与真实轨迹具有一定的差异性。为了度量生成的轨迹追踪数据与真实轨迹的差异性，可通过对目标的真实轨迹进行高精度测量，以获得轨迹标定真值，并用轨迹标定真值对轨迹追踪数据进行修正，得到修正后的轨迹追踪数据。
数据应用层调用数据管理层所形成的轨迹追踪数据，使用定制化的业务算法，提供业务应用，还可通过数据库的查询接口，对轨迹追踪数据按照时间、空间、属性等信息进行查询。其中，数据库使用GeoMesa对轨迹追踪数据进行索引的构建和查询，极大地提升了查询的效率。
业务应用之一，基于轨迹追踪数据进行统计；在该应用中，数据应用层调用轨迹追踪数据，搜索轨迹追踪数据中的目标，统计目标数量，例如，调用目标区域为商店的轨迹追踪数据，搜索轨迹追踪数据中的一定时间范围内的不同人员目标，统计人员数量，得到进店统计；
业务应用之二，轨迹关联；在该应用中，搜索轨迹追踪数据中的同一目标人员，将该目标人员的各个数据轨迹数据进行关联，得到该目标人员的在任意时刻的位置，
业务应用之三，根据标签关联的标记进行报警；在该应用中，数据应用层调用轨迹追踪数据，搜索轨迹追踪数据中的目标，将目标与底库数据比对，根据比对结果输出报警。例如，搜索轨迹追踪数据的目标人员，如果在底库数据中未找到该目标人员，则判定为陌生人，进行陌生人报警。
业务应用之四，根据视觉轨迹进行行为检测；例如，在徘徊应用中，数据应用层调用轨迹追踪数据，搜索轨迹追踪数据中目标的轨迹，对徘徊动作进行识别和判断。
参见图1b所示，图1b为本申请轨迹追踪系统中各个网络层之间交互的一种示意图。数据管理层通过数据接入层与数据管理层之间用于交互和传输的第一接口，向数据接入层请求发送第一请求，该请求携带有图像采集设备的信息；数据接入层响应于该第一请求，根据第一请求中携带有图像采集设备的信息，汇总所述图像采集设备的视频流图像数据，基于所汇总视频流图像数据，为各视频流图像数据生成世界坐标系下的各个视觉轨迹片段；对于具有较强的视频流处理功能的图像采集设备，这些图像采集设备可以将采集的视频流处理为世界坐标系下视觉轨迹片段，在这种情形下，可以根据第一请求中所携带的图像采集设备信息，汇总图像采集设备所生成的世界坐标系下视觉轨迹片段。数据接入层通过第一接口将视觉轨迹片段传输给数据管理层。
作为另一种实施方式，数据接入层向数据管理层发送请求上传数据的第二请求，以主动向数据管理层上传视频轨迹片段，数据管理层响应于该请求，向数据接入层提供用于数据上传的参数，例如，上传的网络地址等；数据接入层根据来自数据管理层对第二请求的响应，将待上传的视觉轨迹片段通过第一接口传输到数据管理层。
当业务应用需要数据管理层中的轨迹追踪数据时，数据应用层通过数据管理层与数据应用层之间用于交互和传输的第二接口，向数据管理层发送请求业务应用所需轨迹追踪数据的第三请求，该请求可以携带有所需轨迹追踪数据的属性信息，例如，时间信息、空间信息、视觉信息、目标信息等；数据管理层响应于该请求，通过第二接口为数据应用层提供数据应用层所请求的轨迹追踪数据。此外，数据管理层也可以根据系统配置主动向数据应用层提供特定的轨迹追踪数据。本发明的系统平台架构，从逻辑功能上对数据的处理进行了分离，有利于适用于分布式智能监控系统，具有较高的实时性，数据应用层基于数据管理层的轨迹追踪数据进行业务的应用，便于各类业务的应用的扩展，实现灵活。
参见图2a所示，图2a为基于本申请轨迹追踪系统实现轨迹追踪的一种流程示意图。该轨迹追踪的实现方法包括，
步骤201，基于来自任一图像采集设备的视频图像数据，对视频图像进行ROI区域的划定；在划定的ROI区域内，检测目标的特征轮廓；对目标的特征轮廓按照设定的帧率进行跟踪；根据像素坐标系中的像素特征点与相机坐标系的映射关系，将跟踪的特征轮廓的像素特征点转换成相机坐标系下的特征点，从而生成了目标轨迹在相机坐标系下的轨迹。
步骤202，根据图像采集设备在世界坐标系下的坐标、图像采集设备的内参和外参，将相机坐标系下的轨迹转换为世界坐标系下的轨迹，并将轨迹加载采集图像空间信息，得到视觉轨迹片段。
上述步骤201、202可以在图像采集设备侧的前端设备上完成，也可以在将视频流所传输至的后端设备上完成；无论是在前端设备还是后端设备，从逻辑功能而言，上述步骤形成了数据接入层的处理。
步骤203，判断视觉轨迹片段是否异常，如果是，则对视觉轨迹片段进行预处理，包括，轨迹插值、固定频率降采样等操作；然后执行步骤204，否则，直接执行步骤204，
步骤204，对视觉轨迹片段进行管理和分析。具体地，对各个视觉轨迹片段进行关联计算，
关联计算实施方式之一，对于任一视觉轨迹片段，分别计算当前视觉轨迹片段与各分组视觉轨迹片段集合中每个视觉轨迹片段之间的空间信息和/或视觉信息相似度，将当前视觉轨迹片段加入至满足相似度条件的分组视觉轨迹片段集合中；如果当前视觉轨迹片段与所有分组视觉轨迹片段集合都不满足相似度条件，则建立新的分组。
参见图2b所示，图2b为关联计算实施方式一的一种流程示意图。将来自各个前端设备的视觉轨迹片段、后端设备的视觉轨迹片段进行汇总，得到视觉轨迹片段集合；
对于视觉轨迹片段集合中的任一视觉轨迹片段，
步骤2041，判断当前视觉轨迹片段是否为第一条，
如果是，则建立新的分组，否则，执行步骤2042；
步骤2042，将当前分组视觉轨迹片段集合中的任一视觉轨迹片段作为被比较视觉轨迹片段，
步骤2043，计算当前视觉轨迹片段与该被比较视觉轨迹片段的空间信息和/或视觉信息相似度；
将该分组视觉轨迹片段集合中下一视觉轨迹片段作为被比较视觉轨迹片段，返回执行步骤2043，直至该分组视觉轨迹片段集合中每个视觉轨迹片段都被比较过，
步骤2044，判断该分组所有空间信息和/或视觉信息相似度是否大于设定的第一相似度阈值，如果是，则判定当前视觉轨迹片段与该分组视觉轨迹片段集合具有空间关联和/或视觉关联，将当前视觉轨迹片段加入到该分组集合中；否则，判定当前视觉轨迹片段与该分组视觉轨迹片段集合不具有空间关联和/或视觉关联，选择下一分组视觉轨迹片段集合作为当前分组视觉轨迹片段集合，返回执行步骤2042，直至每个分组视觉轨迹片段集合都被比较过；如果当前视觉轨迹片段与所有分组视觉轨迹片段集合都不具有关联，则建立新的分组，
对视觉轨迹片段集合中的每个视觉轨迹片段反复执行上述步骤2041～2044，从而视觉轨迹片段集合中的每个视觉轨迹片段被分组。
关联计算实施方式之二，对于当前视觉轨迹片段集合中的任一视觉轨迹片段，分别计算当前视觉轨迹片段与当前视觉轨迹片段集合中其他各个被比较视觉轨迹片段之间空间信息和/或视觉信息的相似度，将当前视觉轨迹片段与被比较视觉轨迹片段之间具有最大相似度的两视觉轨迹片段作为一分组，并去除已被分组的视觉轨迹片段，反复执行上述步骤，直至当前视觉轨迹片段集合中的所有视觉轨迹片段都被分组；将相似度满足预设条件的各个分组合并为同一分组。
参见图2c所示，图2c为关联计算实施方式之二的一种流程示意图。将来自各个前端设备的视觉轨迹片段、后端设备的视觉轨迹片段进行汇总，得到视觉轨迹片段集合；
对于视觉轨迹片段集合中的任一视觉轨迹片段i，
步骤2045，将视觉轨迹片段集合中除当前视觉轨迹片段i之外的任一视觉轨迹片段j，作为被比较视觉轨迹片段，其中，i与j不相等；
步骤2046，判断当前视觉轨迹片段i与被比较视觉轨迹片段j之间的轨迹相似度是否大于设定的第一轨迹相似度阈值，
如果是，则判定当前视觉轨迹片段与被比较视觉轨迹片段之间无关联，从当前视觉轨迹片段集合中选择未被比较的视觉轨迹片段作为下一被比较视觉轨迹片段，返回步骤2046，
否则，则计算当前视觉轨迹片段i与该被比较视觉轨迹片段j的空间信息和/或视觉信息相似度，
从视觉轨迹片段集合中选择未被比较的视觉轨迹片段作为下一被比较视觉轨迹片段j+1，返回执行步骤2046，直至视觉轨迹片段集合中除当前视觉轨迹片段i之外的所有视觉轨迹片段都被比较过，得到当前视觉轨迹片段i与每个被比较视觉轨迹片段j的各个空间信息和/或视觉信息相似度；
将各个空间信息和/或视觉信息相似度中具有最大相似度的被比较视觉轨迹片段作为与当前视觉轨迹片段易关联的、置信度高的视觉轨迹片段，并将该被比较视觉轨迹片段和当前视觉轨迹片段作为一分组，并将视觉轨迹片段集合中已被分组的视觉轨迹片段去除，以实现一次轨迹关联，
判断剩余相似度的平均值是否大于设定的第二相似度阈值，如果是，则计算各个剩余相似度对应的视觉轨迹片段中两两视觉轨迹片段的相似度，将相似度大于第二相似度阈值的每两个视觉轨迹片段作为一分组，将视觉轨迹片段集合中已被分组的视觉轨迹片段去除，从当前视觉轨迹片段集合中选择下一视觉轨迹片段，返回执行步骤2045，以得到下一分组，直至视觉轨迹片段集合所有的视觉轨迹片段都被分组；否则，判定当前视觉轨迹片段与各个被比较视觉轨迹片段之间无关联，从当前视觉轨迹片段集合中选择未被比较的视觉轨迹片段作为下一被比较视觉轨迹片段，返回步骤2046，
步骤2047，将各个分组的空间信息和/或视觉信息相似度按照相似度的大小进行排序，
步骤2048，判断各个分组中是否包含有同一视觉轨迹片段，以避免同一视觉轨迹片段被划分为不同的分组，使得分组之间存在冲突，
如果不存在冲突，则将排序中空间信息和/或视觉信息相似度大于设定的第三相似度阈值的分组合并为同一分组，
如果存在冲突，则在各个分组中找到存在冲突的视觉轨迹片段，将该视觉轨迹片段保留在空间信息和/或视觉信息相似度大的分组中，删除存在冲突的其它各个分组，将被删除分组中的另一视觉轨迹片段划分至排序仅次于被删除分组的分组中，以实现二次关联。
例如，按照空间信息和/或视觉信息相似度的大小进行由大到小排序如下表，其中，第1、第2、第4序号的分组存在冲突，则将视觉轨迹片段a保留在第1分组中，删除第2分组、第4分组，将被删除的第2分组中的视觉轨迹片段c划分至排序仅次于第2分组中，即，划分至第3分组；同样地，将被删除的第4分组中的视觉轨迹片段g划分至排序仅次于第4分组中，即，划分至第5分组，
| 序号 | 各个分组 |
| 1 | 视觉轨迹片段a，视觉轨迹片段b |
| 2 | 视觉轨迹片段a，视觉轨迹片段c |
| 3 | 视觉轨迹片段d，视觉轨迹片段e |
| 4 | 视觉轨迹片段a，视觉轨迹片段g |
| 5 | 视觉轨迹片段h，视觉轨迹片段f |
较佳地，在上述关联计算之前，可进行跨镜头轨迹关联，即，从视觉轨迹片段集合中，按照视觉信息选择出包含有目标的视觉轨迹片段(为便于描述，称为目标视觉轨迹片段)，将各目标视觉轨迹片段与各个视觉轨迹片段的视觉信息和/或时空信息进行相似度比对，从而将同一目标的视觉轨迹片段关联起来。
较佳地，在上述关联计算开始时，进行禁止关联，即，对于来源于同一图像采集设备的同一时间视觉轨迹片段，不进行空间关联和/或视觉关联的关联计算；对于来源于非同一图像采集设备的不同时间视觉轨迹片段，计算视觉轨迹片段之间轨迹相似度和/或目标特征轮廓的相似度，如果轨迹相似度和/或目标特征轮廓的相似度不满足设定条件，则不进行空间关联和/或视觉关联的关联计算。
参见图2d所示，图2d为禁止关联的一种流程示意图。对于视觉轨迹片段集合中的任一视觉轨迹片段，根据当前视觉轨迹片段的起始时间和结束时间、被比较视觉轨迹片段的起始时间和结束时间，判断当前视觉轨迹片段和被比较视觉轨迹片段时间上是否存在重叠，
如果存在时间重叠，则判断当前视觉轨迹片段与被比较视觉轨迹片段是否来源于同一图像采集设备，如果是来源于同一图像采集设备，则不关联当前视觉轨迹片段；如果不是来源于同一图像采集设备，则比较当前视觉轨迹片段与被比较视觉轨迹片段之间的轨迹相似度是否大于设定的第二轨迹相似度阈值，如果是，则判定当前视觉轨迹片段不是来自同一图像采集设备的同一时间视觉轨迹片段，需进行关联，否则，不进行关联；和/或，比较来自非同一图像采集设备的非同一时间视觉轨迹片段之间目标特征轮廓的相似度，如果相似度大于设定的第四相似度阈值，则进行关联，如果相似度不大于设定的第四相似度阈值，则不进行关联。
如果不存在时间重叠，则比较视觉轨迹片段之间的轨迹相似度是否大于设定的第二轨迹相似度阈值，如果是，则判定视觉轨迹片段不是来自同一图像采集设备的同一时间视觉轨迹片段，需进行关联，否则，则不进行关联。
通过步骤203以及204，可以得到具有关联的各个视觉轨迹片段，这些关联的视觉轨迹片段属于同一分组，同一分组的视觉轨迹片段关联起来，得到一轨迹追踪数据。
步骤205，从目标在连续的N个时间周期内的轨迹数据，筛选出与预测时间点处于同一时间片的轨迹数据，基于所述预测时间点与当前时间点之间的时间差、筛选出的轨迹追踪数据和所述目标在当前时间点所处的位置，预测目标在预测时间点的轨迹，和/或
用轨迹标定真值对轨迹数据进行修正，得到修正后的轨迹数据。所述轨迹数据包括视觉轨迹片段和/或轨迹追踪数据。
步骤206，根据是否存在底库数据确定是否对轨迹追踪数据中的目标进行标签标记，如果有底库数据，则将各个分组中的目标与底库数据进行匹配，即，将轨迹追踪数据中的视觉信息与底库数据进行比较，如果匹配成功，则将该目标设置标签，并存储于GeoMesa数据库中，否则，该目标不设置标签，直接将轨迹追踪数据存储于GeoMesa数据库中。
上述步骤203～206可在集中在同一应用服务器上执行，也可以在不同服务器或分布式服务器或应用客户端执行，无论在何实体设备执行，从逻辑功能而言，上述步骤形成了数据管理层的处理。
步骤207，基于轨迹追踪数据的各个应用，调用存储于数据库中的轨迹追踪数据，将各个应用的输出结果上报给用户终端或者应用接口；为便于查询，可基于轨迹追踪数据生成时间索引、空间索引、时空索引、属性索性，以便于通过查询接口进行查询。
该步骤的各个应用可在服务器上执行，也可以在终端设备上执行，无论在何实体设备执行，从逻辑功能而言，该步骤形成了数据应用层的处理。
本发明提供的轨迹追踪方法和轨迹追踪方法的实现系统平台，无需用于感知运动信息的感知设备，只需要获取视频图像数据，实现了主动式轨迹追踪，可实现更广泛的轨迹追踪应用，实时性更高；由于视频覆盖范围内的轨迹密度取决于视频帧率，轨迹密度较高，从而通过高密度精细化的轨迹产生精确的追踪信息；将视觉轨迹片段与空间信息融合，提高了轨迹追踪数据描述的精确性，细粒度地描述目标在相对封闭空间下的轨迹；从多个维度进行视觉轨迹片段的关联，提高了轨迹追踪数据的准确性和可靠性。
参见图3所示，图3为酒店智能监控系统的一种示意图。包括用于至少采集图像数据的前端设备，将前端设备的输出信号传输至中控的传输设备，用于存储、监控、智能分析等的后端设备。在酒店大堂布设垂直多个垂直相机，以便采集大范围的图像；在走廊、过道布设多个倾斜相机，以便于采集行人长距离的图像。所应理解的是，智能监控系统可不限于此，可根据实际应用的需求具体设计。以下结合该智能监控系统来说明本发明实现酒店中人员轨迹追踪的方法。
为便于与空间信息相关的轨迹优化和轨迹展示，基于酒店室内的CAD平面图或者利用SLAM技术输出室内空间信息的描述数据，较佳地，在调试阶段，使用CAD建模对酒店中的空间信息进行描述，以便于快速验证轨迹追踪结果，在调试结束后，使用SLAM技术生成室内地图，以用于精确地展示人员轨迹。进一步地，基于空间信息的描述数据，建立世界坐标系，并测量得到各个图像采集设备在世界坐标系下的坐标，作为相机参数保存。上述室内信息的描述数据、相机参数可集中存储于后端设备，也可分布存储于空间信息对应的前端设备中，例如，酒店前台区域的空间信息描述数据存储于用于采集前台区域范围图像的前端设备中。
基于一视频图像，划定ROI区域，在ROI区域检测行人的特征轮廓，包括且不限于头肩框、人体框，并对特征轮廓按照设定的帧率进行跟踪；根据像素坐标系中的像素特征点与相机坐标系的映射关系，将跟踪的特征轮廓的像素特征点转换成相机坐标系下的特征点，得到行人轨迹在相机坐标系下的轨迹；根据相机参数，将相机坐标系下的轨迹转换为世界坐标系下的轨迹；将该轨迹加载其空间信息的描述数据，得到视觉轨迹片段，例如，行人在酒店经过大堂步入电梯的视觉轨迹片段1被加载大堂空间信息描述数据，进入房间的视觉轨迹片段2被加载房间所在楼层的空间信息描述数据。上述得到视觉轨迹片段的过程可以在前端设备上执行，也可以将视频图像传输至后端设备，在后端设备上实现，包括且不限于服务器、用于生成视频轨迹片段的客户端、智能分析设备等。
汇总各个视觉轨迹片段，对异常的视觉轨迹片段进行预处理，包括轨迹插值、固定频率将采样；按照视觉信息，例如人脸信息、头肩信息、人体信息等，将来源于各个相机、且具有同一视觉信息的视觉轨迹片段进行跨境头轨迹关联；对于来源于同一相机同一时间的各个视觉轨迹片段，不进行关联，对于来源于不同相机不同时间的各个视觉轨迹片段，根据视觉轨迹片段之间的轨迹相似度和/或空间信息和/或视觉信息相似度确定是否进行关联：如果视觉轨迹片段之间的轨迹相似度大于设定的第二轨迹相似度阈值、和/或者空间信息和/或视觉信息相似度大于设定的第四相似度阈值，则进行关联，否则，则不进行关联。具体的关联计算如步骤2041～2044所述，或者步骤2045～2048所述，由此得到轨迹追踪数据。基于轨迹追踪数据，可以选择性地进行轨迹预测、轨迹修正、行人身份认证的处理，并存储轨迹追踪数据。所述对视觉轨迹片段的分析和管理可以在后端设备上实现，包括且不限于服务器、用于视频轨迹片段管理和分析的客户端、智能分析设备等。
基于轨迹追踪数据，可进行查询、统计、报警、检测等应用，这些应用可运行于后端设备，包括且不限于应用服务器、应用客户端、智能分析设备等。
参见图4所示，图4为一无人商店的建筑平面一种示意图。参见图5所示，图5为本发明应用于无人商店时获取入店人员的轨迹追踪的一种监控示意图。为便于采集入店人员的轨迹，在商店的天花板安装垂直相机，在商店四周的墙壁安装倾斜相机，相机分布的位置和数量可根据实际的需求设计。各个相机的视频流可输入至后端设备进行处理，例如，对于建筑面积较小的商店，后端设备可以是一计算机终端，该计算机终端安装有本发明用于获取轨迹数据的客户端。
为便于与空间信息相关的轨迹优化和轨迹展示，基于商店建筑平面的CAD平面图或者利用SLAM技术输出空间信息的描述数据，较佳地，在调试阶段，使用CAD建模对空间信息进行描述，以便于快速验证轨迹追踪结果，在调试结束后，使用SLAM技术生成室内地图，以用于精确地展示人员轨迹。进一步地，基于空间信息的描述数据，建立世界坐标系，并测量得到各个相机在世界坐标系下的坐标，作为相机参数保存。上述室内信息的描述数据、相机参数可集中存储于后端设备。
基于一视频图像，划定ROI区域，在ROI区域检测行人的特征轮廓，包括且不限于头肩框、人体框，并对特征轮廓按照设定的帧率进行跟踪；根据像素坐标系中的像素特征点与相机坐标系的映射关系，将跟踪的特征轮廓的像素特征点转换成相机坐标系下的特征点，得到行人轨迹在相机坐标系下的轨迹；根据相机参数，将相机坐标系下的轨迹转换为世界坐标系下的轨迹；将该轨迹加载其空间信息的描述数据，得到视觉轨迹片段。上述得到视觉轨迹片段的过程可以在前端设备上执行，也可以将视频图像传输至后端设备，在后端设备上实现。
汇总各个视觉轨迹片段，对异常的视觉轨迹片段进行预处理，包括轨迹插值、固定频率将采样；按照视觉信息，例如人脸信息、头肩信息、人体信息等，将来源于各个相机、且具有同一视觉信息的视觉轨迹片段进行跨境头轨迹关联；对于来源于同一相机同一时间的各个视觉轨迹片段，不进行关联，对于来源于不同相机不同时间的各个视觉轨迹片段，根据视觉轨迹片段之间的轨迹相似度和/或目标特征轮廓相似度确定是否进行关联：如果视觉轨迹片段之间的轨迹相似度大于设定的第二轨迹相似度阈值、和/或空间信息和/或视觉信息相似度大于设定的第四相似度阈值，则进行关联，否则，则不进行关联。具体的关联计算如步骤2041～2044所述，或者步骤2045～2048所述，由此得到轨迹追踪数据。基于轨迹追踪数据，可以选择性地进行轨迹预测、轨迹修正、行人身份认证的处理，并存储轨迹追踪数据。所述对视觉轨迹片段的分析和管理可以在后端设备上实现，包括且不限于服务器、功能客户端、智能分析设备等。
基于轨迹追踪数据，可进行查询、统计、报警、行为检测等应用，例如，进店统计、无感支付、商品消费统计等，这些应用可运行于后端设备，包括且不限于服务器、应用客户端、智能分析设备等。
参见图6所示，图6为本发明轨迹追踪系统的一种集中式示意图。系统可以是集成于一体的独立设备，包括数据接入层、数据管理层、数据应用层，其中，
数据接入层包括，
空间信息构建模块，基于图像采集设备所采集空间的CAD平面图和/或即时定位与地图SLAM，构建空间信息描述数据；基于构建的空间信息描述数据，建立世界坐标系，并测量各个图像采集设备的相机在世界坐标系下的坐标；保存所述空间信息描述数据和图像采集设备的相机在世界坐标系下的坐标；
视觉轨迹片段生成模块，获取来自至少一个图像采集设备的视频流图像数据，
基于各个视频流图像数据，分别检测目标特征，按照设定帧率对目标特征进行跟踪，得到至少一个以上视觉轨迹片段，并加载将空间信息描述数据其空间信息描述数据；
数据管理层包括，
视觉轨迹片段预处理模块，检测视觉轨迹片段是否异常，对于异常的视觉轨迹片段进行预处理，所述预处理包括插值、和/或固定频率降采样操作；
视觉轨迹片段分析模块，对各个视觉轨迹片段进行分析，至少进行空间关联和/或视觉关联的关联计算，以及异常检测、时间关联、空间关联、跨镜头关联、禁止关联、标签关联、轨迹预测、轨迹修正之一或任意组合得到轨迹追踪数据。
数据应用层包括统计应用模块、报警应用模块、行为检测应用模块查询模块之一或上述模块的任意组合。
本发明实施例还提供了一种计算机可读存储介质，所述存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述轨迹追踪的步骤。
对于装置/网络侧设备/存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
在本文中，诸如第一和第二等之组的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。
Claims (10)
1.一种轨迹追踪系统，其特征在于，该系统包括，由用于形成视觉轨迹片段的数据接入层，以及，用于对各个视觉轨迹片段进行管理和/或分析的数据管理层所组成的网络层架构，所述数据接入层与数据管理层之间具有用于交互和传输的第一接口，
数据接入层通过第一接口与数据管理层进行交互，将基于分布于采集点的图像采集设备所采集的视频流图像数据所生成视觉轨迹片段，通过第一接口传输到数据管理层，
数据管理层通过第一接口与数据接入层进行交互，汇集来自数据接入层的各个视觉轨迹片段，统一各个视觉轨迹片段的格式，对各个视觉轨迹片段进行管理和/或分析，得到轨迹追踪数据，
所述对各个视觉轨迹片段进行管理和/或分析包括：
对于视觉轨迹片段集合中的任一视觉轨迹片段，
根据该视觉轨迹片段与视觉轨迹片段集合中除该视觉轨迹片段之外的其余各视觉轨迹片段之间的轨迹相似度，判定该视觉轨迹片段与其余各视觉轨迹片段之间是否关联，
对于与该视觉轨迹片段存在关联的各视觉轨迹片段，计算该视觉轨迹片段与存在关联的各视觉轨迹片段之间的空间信息和/或视觉信息相似度，
将各个空间信息和/或视觉信息相似度中具有最大相似度的视觉轨迹片段与该视觉轨迹片段组成一分组，并去除该具有空间信息和/或视觉信息最大相似度的视觉轨迹片段，在剩余空间信息和/或视觉信息相似度的平均值大于第二相似度阈值的情形下，根据剩余空间信息和/或视觉信息相似度的视觉轨迹片段中两两视觉轨迹片段之间的轨迹相似度，判定该两两视觉轨迹片段之间是否关联，将存在关联的两视觉轨迹片段作为一分组，并去除该两视觉轨迹片段，
返回至所述对于视觉轨迹片段集合中的任一视觉轨迹片段的步骤，直至视觉轨迹片段集合中的视觉轨迹片段均被分组；
将各个分组的空间信息和/或视觉信息相似度按照相似度的大小进行排序，
判断各个分组中是否包含有同一视觉轨迹片段，
如果不是，则判定不存在冲突，将排序中空间信息和/或视觉信息相似度大于设定的第三相似度阈值的分组合并为同一分组，
如果是，则判定存在冲突，在各个分组中找到存在冲突的视觉轨迹片段，将该视觉轨迹片段保留在空间信息和/或视觉信息相似度大的分组中，删除存在冲突的其它各个分组，将被删除分组中的另一视觉轨迹片段划分至排序仅次于被删除分组的分组中。
2.如权利要求1所述的系统，其特征在于，所述系统还包括用于基于数据管理层的轨迹追踪数据进行业务应用的数据应用层网络层架构，所述数据管理层与数据应用层之间具有用于交互和传输的第二接口，
所述数据应用层通过第二接口与数据管理层交互，访问和/或调用数据管理层中的轨迹追踪数据，以进行业务应用。
3.如权利要求2所述的系统，其特征在于，所述数据接入层通过第一接口与数据管理层进行交互，将基于分布于采集点的图像采集设备所采集的视频流图像数据所生成视觉轨迹片段，通过第一接口传输到数据管理层，包括，
数据接入层响应于来自数据管理层的第一请求，该请求携带有采集点图像设备的信息，
根据第一请求中所携带的图像采集设备信息，汇总视频流图像数据，基于所汇总视频流图像数据，为各视频流图像数据生成世界坐标系下的各个视觉轨迹片段；和/或，根据第一请求中所携带的图像采集设备信息，汇总图像采集设备所生成的世界坐标系下视觉轨迹片段；
将汇总的各个视觉轨迹片段通过第一接口传输给数据管理层。
4.如权利要求2所述的系统，其特征在于，所述数据接入层通过第一接口与数据管理层进行交互，将基于分布于采集点的图像采集设备所采集的视频流图像数据所生成视觉轨迹片段，通过第一接口传输到数据管理层，包括，
数据接入层向数据管理层发送请求上传数据的第二请求，
根据来自数据管理层对第二请求的响应，将待上传的视觉轨迹片段通过第一接口传输到数据管理层。
5.如权利要求2所述的系统，其特征在于，所述数据管理层通过第一接口与数据接入层进行交互，汇集来自数据接入层的各个视觉轨迹片段，统一各个视觉轨迹片段的格式，对各个视觉轨迹片段进行管理和/或分析，得到轨迹追踪数据，包括，
数据管理层向数据接入层发送第一请求，该请求携带有图像采集设备的信息，或者，响应于来自数据接入层的第二请求，向数据接入层提供用于数据上传的参数，
数据管理层通过第一接口接收来自数据接入层的各个视觉轨迹片段，对各个视觉轨迹片段进行预处理以统一各个视觉轨迹片段的格式，基于预处理后的各个视觉轨迹片段，进行关联计算。
6.如权利要求5所述的系统，其特征在于，所述数据管理层还包括，
响应于来自数据应用层请求业务应用所需轨迹追踪数据的第三请求，
通过第二接口为数据应用层提供数据应用层所请求的轨迹追踪数据；
所述业务应用包括至少统计、报警、行为检测、查询之一；
所述预处理包括插值、和/或固定频率降采样操作，所述关联计算包括，时间关联计算、时空关联计算、跨镜头关联计算、禁止关联计算、标签关联计算、视觉关联计算之一或其任意组合，
其中，
禁止关联计算包括，
对于来源于同一图像采集设备的同一时间视觉轨迹片段，不进行空间关联和/或视觉关联的关联计算；
对于来源于非同一图像采集设备的不同时间视觉轨迹片段，计算视觉轨迹片段之间轨迹相似度和/或目标特征轮廓的相似度，如果轨迹相似度和/或目标特征轮廓的相似度不满足设定条件，则不进行空间关联和/或视觉关联的关联计算；
跨镜头关联计算包括，
按照视觉信息选择出包含有目标的视觉轨迹片段作为目标视觉轨迹片段，将各目标视觉轨迹片段与各个视觉轨迹片段的视觉信息和/或时空信息进行相似度比对，以将同一目标的视觉轨迹片段关联；
标签关联计算包括，将轨迹追踪数据中的目标与底库数据进行匹配，对于匹配成功的轨迹追踪数据，将轨迹追踪数据中的目标设置标签。
7.如权利要求5所述的系统，其特征在于，所述数据管理层还包括，基于预处理后的各个视觉轨迹片段，进行异常检测、轨迹预测、轨迹修正之一或任意组合的分析；
其中，
轨迹预测包括，从目标在连续的N个时间周期内的轨迹数据，筛选出与预测时间点处于同一时间片的轨迹数据，基于所述预测时间点与当前时间点之间的时间差、筛选出的轨迹追踪数据和所述目标在当前时间点所处的位置，预测目标在预测时间点的轨迹；
轨迹修正包括，用轨迹标定真值对轨迹数据进行修正，得到修正后的轨迹数据；
所述轨迹数据包括视觉轨迹片段和/或轨迹追踪数据，N为大于1的自然数。
8.一种轨迹追踪系统，其特征在于，该系统包括，用于形成视觉轨迹片段的数据接入层网络层架构，所述数据接入层与一数据管理层之间具有用于交互和传输的第一接口，
数据接入层通过第一接口与数据管理层进行交互，将基于分布于采集点的图像采集设备所采集的视频流图像数据所生成视觉轨迹片段，通过第一接口传输到数据管理层，以使得数据管理层通过第一接口与数据接入层进行交互，汇集来自数据接入层的各个视觉轨迹片段，统一各个视觉轨迹片段的格式，对各个视觉轨迹片段进行管理和/或分析，得到轨迹追踪数据；
所述对各个视觉轨迹片段进行管理和/或分析包括：
所述对各个视觉轨迹片段进行管理和/或分析包括：
对于视觉轨迹片段集合中的任一视觉轨迹片段，
根据该视觉轨迹片段与视觉轨迹片段集合中除该视觉轨迹片段之外的其余各视觉轨迹片段之间的轨迹相似度，判定该视觉轨迹片段与其余各视觉轨迹片段之间是否关联，
对于与该视觉轨迹片段存在关联的各视觉轨迹片段，计算该视觉轨迹片段与存在关联的各视觉轨迹片段之间的空间信息和/或视觉信息相似度，
将各个空间信息和/或视觉信息相似度中具有最大相似度的视觉轨迹片段与该视觉轨迹片段组成一分组，并去除该具有空间信息和/或视觉信息最大相似度的视觉轨迹片段，在剩余空间信息和/或视觉信息相似度的平均值大于第二相似度阈值的情形下，根据剩余空间信息和/或视觉信息相似度的视觉轨迹片段中两两视觉轨迹片段之间的轨迹相似度，判定该两两视觉轨迹片段之间是否关联，将存在关联的两视觉轨迹片段作为一分组，并去除该两视觉轨迹片段，
返回至所述对于视觉轨迹片段集合中的任一视觉轨迹片段的步骤，直至视觉轨迹片段集合中的视觉轨迹片段均被分组；
将各个分组的空间信息和/或视觉信息相似度按照相似度的大小进行排序，
判断各个分组中是否包含有同一视觉轨迹片段，
如果不是，则判定不存在冲突，将排序中空间信息和/或视觉信息相似度大于设定的第三相似度阈值的分组合并为同一分组，
如果是，则判定存在冲突，在各个分组中找到存在冲突的视觉轨迹片段，将该视觉轨迹片段保留在空间信息和/或视觉信息相似度大的分组中，删除存在冲突的其它各个分组，将被删除分组中的另一视觉轨迹片段划分至排序仅次于被删除分组的分组中。
9.一种轨迹追踪系统，其特征在于，该系统包括，用于对各个视觉轨迹片段进行管理和/或分析的数据管理层网络层架构，所述数据管理层与一数据接入层之间具有用于交互和传输的第一接口，
数据管理层通过第一接口与数据接入层进行交互，汇集来自数据接入层的各个视觉轨迹片段，统一各个视觉轨迹片段的格式，对各个视觉轨迹片段进行管理和/或分析，得到轨迹追踪数据，
所述对各个视觉轨迹片段进行管理和/或分析包括：
所述对各个视觉轨迹片段进行管理和/或分析包括：
对于视觉轨迹片段集合中的任一视觉轨迹片段，
根据该视觉轨迹片段与视觉轨迹片段集合中除该视觉轨迹片段之外的其余各视觉轨迹片段之间的轨迹相似度，判定该视觉轨迹片段与其余各视觉轨迹片段之间是否关联，
对于与该视觉轨迹片段存在关联的各视觉轨迹片段，计算该视觉轨迹片段与存在关联的各视觉轨迹片段之间的空间信息和/或视觉信息相似度，
将各个空间信息和/或视觉信息相似度中具有最大相似度的视觉轨迹片段与该视觉轨迹片段组成一分组，并去除该具有空间信息和/或视觉信息最大相似度的视觉轨迹片段，在剩余空间信息和/或视觉信息相似度的平均值大于第二相似度阈值的情形下，根据剩余空间信息和/或视觉信息相似度的视觉轨迹片段中两两视觉轨迹片段之间的轨迹相似度，判定该两两视觉轨迹片段之间是否关联，将存在关联的两视觉轨迹片段作为一分组，并去除该两视觉轨迹片段，
返回至所述对于视觉轨迹片段集合中的任一视觉轨迹片段的步骤，直至视觉轨迹片段集合中的视觉轨迹片段均被分组；
将各个分组的空间信息和/或视觉信息相似度按照相似度的大小进行排序，
判断各个分组中是否包含有同一视觉轨迹片段，
如果不是，则判定不存在冲突，将排序中空间信息和/或视觉信息相似度大于设定的第三相似度阈值的分组合并为同一分组，
如果是，则判定存在冲突，在各个分组中找到存在冲突的视觉轨迹片段，将该视觉轨迹片段保留在空间信息和/或视觉信息相似度大的分组中，删除存在冲突的其它各个分组，将被删除分组中的另一视觉轨迹片段划分至排序仅次于被删除分组的分组中。
10.如权利要求9所述的系统，其特征在于，该系统还包括，用于基于数据管理层的轨迹追踪数据进行业务应用的数据应用层网络层架构，所述数据管理层与数据应用层之间具有用于交互和传输的第二接口，
所述数据应用层通过第二接口与数据管理层交互，访问和/或调用数据管理层中的轨迹追踪数据，以进行业务应用。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010580969.6A CN111739056B (zh) | 2020-06-23 | 2020-06-23 | 一种轨迹追踪系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010580969.6A CN111739056B (zh) | 2020-06-23 | 2020-06-23 | 一种轨迹追踪系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111739056A CN111739056A (zh) | 2020-10-02 |
| CN111739056B true CN111739056B (zh) | 2024-02-13 |
Family
ID=72650587
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010580969.6A Active CN111739056B (zh) | 2020-06-23 | 2020-06-23 | 一种轨迹追踪系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111739056B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112491999B (zh) * | 2020-11-18 | 2022-10-11 | 成都佳华物链云科技有限公司 | 一种数据上报方法及装置 |
| CN112631333B (zh) * | 2020-12-25 | 2024-04-12 | 南方电网数字电网研究院有限公司 | 无人机的目标跟踪方法、装置及图像处理芯片 |
| CN112801050B (zh) * | 2021-03-29 | 2021-07-13 | 民航成都物流技术有限公司 | 行李智能跟踪监测方法和系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1761319A (zh) * | 2004-10-12 | 2006-04-19 | 国际商业机器公司 | 视频监视系统的视频分析、存档和报警方法和设备 |
| CN103593361A (zh) * | 2012-08-14 | 2014-02-19 | 中国科学院沈阳自动化研究所 | 感应网络环境下移动时空轨迹分析方法 |
| WO2019035771A1 (en) * | 2017-08-17 | 2019-02-21 | National University Of Singapore | METHODS AND SYSTEMS FOR DETECTING VISUAL RELATIONS IN A VIDEO |
| CN109542997A (zh) * | 2018-11-23 | 2019-03-29 | 成都四方伟业软件股份有限公司 | 运动轨迹显示方法及装置 |
| CN111242978A (zh) * | 2020-01-15 | 2020-06-05 | 合肥慧图软件有限公司 | 基于红外相机技术的生物行为轨迹分析系统 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2013130682A1 (en) * | 2012-02-27 | 2013-09-06 | 5 Examples, Inc. | Date entry system controllers for receiving user input line traces relative to user interfaces to determine ordered actions, and related systems and methods |
| US9824281B2 (en) * | 2015-05-15 | 2017-11-21 | Sportlogiq Inc. | System and method for tracking moving objects in videos |
-
2020
- 2020-06-23 CN CN202010580969.6A patent/CN111739056B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1761319A (zh) * | 2004-10-12 | 2006-04-19 | 国际商业机器公司 | 视频监视系统的视频分析、存档和报警方法和设备 |
| CN103593361A (zh) * | 2012-08-14 | 2014-02-19 | 中国科学院沈阳自动化研究所 | 感应网络环境下移动时空轨迹分析方法 |
| WO2019035771A1 (en) * | 2017-08-17 | 2019-02-21 | National University Of Singapore | METHODS AND SYSTEMS FOR DETECTING VISUAL RELATIONS IN A VIDEO |
| CN109542997A (zh) * | 2018-11-23 | 2019-03-29 | 成都四方伟业软件股份有限公司 | 运动轨迹显示方法及装置 |
| CN111242978A (zh) * | 2020-01-15 | 2020-06-05 | 合肥慧图软件有限公司 | 基于红外相机技术的生物行为轨迹分析系统 |
Non-Patent Citations (1)
| Title |
|---|
| 基于运动轨迹的视频语义事件建模方法;张静;高伟;刘安安;高赞;苏育挺;张哲;;电子测量技术(09);37-42 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111739056A (zh) | 2020-10-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111739056B (zh) | 一种轨迹追踪系统 | |
| US9363489B2 (en) | Video analytics configuration | |
| US20080130951A1 (en) | System and Method for Modeling Movement of Objects Using Probabilistic Graphs Obtained From Surveillance Data | |
| WO2008100359A1 (en) | Threat detection in a distributed multi-camera surveillance system | |
| CN102200578B (zh) | 数据关联设备和方法 | |
| CN105930768A (zh) | 一种基于时空约束的目标重识别方法 | |
| CN109902681B (zh) | 用户群体关系确定方法、装置、设备及存储介质 | |
| CN112770265B (zh) | 一种行人身份信息获取方法、系统、服务器和存储介质 | |
| CN115808170A (zh) | 一种融合蓝牙与视频分析的室内实时定位方法 | |
| WO2021056050A1 (en) | Systems and methods for identifying and/or tracking objects | |
| KR20210136286A (ko) | 비디오 데이터 통합 분석 및 관리 시스템 | |
| Shahid et al. | Indoor positioning:“an image-based crowdsource machine learning approach” | |
| US20240111835A1 (en) | Object detection systems and methods including an object detection model using a tailored training dataset | |
| Bazo et al. | Baptizo: A sensor fusion based model for tracking the identity of human poses | |
| WO2022126668A1 (zh) | 一种公共场所行人识别方法及人流统计系统 | |
| US11815357B2 (en) | Method and apparatus for indoor mapping, positioning, or navigation | |
| Dai et al. | Trajectory outlier detection based on dbscan and velocity entropy | |
| CN112487966B (zh) | 一种流动商贩行为识别管理系统 | |
| Fahim et al. | AcTrak: Controlling a Steerable Surveillance Camera using Reinforcement Learning | |
| CN113609317A (zh) | 一种图像库构建方法、装置及电子设备 | |
| Bastani et al. | SkyQuery: an aerial drone video sensing platform | |
| RU2698157C1 (ru) | Система поиска нарушений в порядке расположения объектов | |
| Shahid et al. | Images based indoor positioning using AI and crowdsourcing | |
| CN111652173B (zh) | 一种适合综合商场内人流管控的采集方法 | |
| Xu et al. | Clique: Spatiotemporal Object Re-identification at the City Scale |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |