CN115393751A - 数据处理方法、存储介质及电子设备 - Google Patents

Abstract

本申请公开了一种数据处理方法、存储介质及电子设备。其中，该方法包括：获取多模态数据；对多模态数据进行特征提取处理，得到待比对序列的第一比对特征，其中，待比对序列是通过图像采集设备获取的目标对象跟踪序列；基于第一比对特征选取多个聚簇，得到多个聚簇中每个聚簇的第二比对特征，其中，多个聚簇的每个聚簇中包括：属于相同目标对象的至少一个序列；对第一比对特征与第二比对特征进行第一相似度比对处理，得到第一比对结果；按照第一比对结果将待比对序列归并至目标聚簇。本申请解决了现有技术中的目标对象重识别方案无法实现跨境头的精准目标对象关联以及目标对象数据的实时归并的技术问题。

Description

数据处理方法、存储介质及电子设备

技术领域

本申请涉及数据处理领域，具体而言，涉及一种数据处理方法、存储介质及电子设备。

背景技术

智能视频监控是人工智能的重要应用场景，它利用视频技术实现对重要场所(商场、社区、车站等)的目标对象(包括：有生命体征对象、无生命体征对象)的数字化，是实现精准智慧管理的主要途径之一。如何从部署的大量摄像头中实现对目标对象的精准检测，识别、追踪和定位，是实现智能应用的重要内容。在智能应用的视频流处理过程中，目标对象的数字化最核心的是要实现跨镜头的目标对象关联，即目标对象重识别，将不同镜头下离散的同一目标对象进行关联，实现视频流中同一物体的关联度分析，或者跨镜头跨区域的全场全方位的轨迹跟踪和定位。

然而，视频流处理场景中的目标对象重识别属于自然条件下的无感数据获取技术，在非配合式条件下采集的目标对象存在姿态多样、光线变化、局部遮挡、视角差异、远近不一、图像模糊等诸多挑战，因此，如何实现跨境头的精准目标对象关联是一个极具挑战性的研究课题，是落地过程中必然面临的技术难点，另外，在商超、工业园、车站等区域部署的视频监控系统通常包含上百个镜头，它们时刻都在上报视频流，目标对象归并系统在对这些源源不断上报的数据执行归并时，通常面临着巨大的计算压力。因此，如何降低目标对象数据的归并计算复杂度，提高数据处理的时效性，也是智能监控系统实际应用中需要重点解决的问题。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本申请实施例提供了一种数据处理方法、存储介质及电子设备，以至少解决现有技术中的目标对象重识别方案无法实现跨境头的精准目标对象关联以及目标对象数据的实时归并的技术问题。

根据本申请实施例的一个方面，提供了一种数据处理方法，包括：获取多模态数据，其中，上述多模态数据由图像采集设备采集的图像信息以及上述图像采集设备自身的属性信息来确定；对上述多模态数据进行特征提取处理，得到待比对序列的第一比对特征，其中，上述待比对序列是通过上述图像采集设备获取的目标对象跟踪序列；基于上述第一比对特征选取多个聚簇，得到上述多个聚簇中每个聚簇的第二比对特征，其中，上述多个聚簇的每个聚簇中包括：属于相同目标对象的至少一个序列；对上述第一比对特征与上述第二比对特征进行第一相似度比对处理，得到第一比对结果；按照上述第一比对结果将上述待比对序列归并至目标聚簇。

根据本申请实施例的另一方面，还提供了一种数据处理装置，包括：获取模块，用于获取多模态数据，其中，上述多模态数据由图像采集设备采集的图像信息以及上述图像采集设备自身的属性信息来确定；提取模块，用于对上述多模态数据进行特征提取处理，得到待比对序列的第一比对特征，其中，上述待比对序列是通过上述图像采集设备获取的目标对象跟踪序列；选取模块，用于基于上述第一比对特征选取多个聚簇，得到上述多个聚簇中每个聚簇的第二比对特征，其中，上述多个聚簇的每个聚簇中包括：属于相同目标对象的至少一个序列；比对模块，用于对上述第一比对特征与上述第二比对特征进行第一相似度比对处理，得到第一比对结果；归并模块，用于按照上述第一比对结果将上述待比对序列归并至目标聚簇。

根据本申请实施例的另一方面，还提供了一种非易失性存储介质，上述非易失性存储介质包括存储的程序，其中，在上述程序运行时控制上述非易失性存储介质所在设备执行任意一项上述的数据处理方法。

根据本申请实施例的另一方面，还提供了一种电子设备，包括：处理器；以及存储器，与上述处理器连接，用于为上述处理器提供处理以下处理步骤的指令：获取多模态数据，其中，上述多模态数据由图像采集设备采集的图像信息以及上述图像采集设备自身的属性信息来确定；对上述多模态数据进行特征提取处理，得到待比对序列的第一比对特征，其中，上述待比对序列是通过上述图像采集设备获取的目标对象跟踪序列；基于上述第一比对特征选取多个聚簇，得到上述多个聚簇中每个聚簇的第二比对特征，其中，上述多个聚簇的每个聚簇中包括：属于相同目标对象的至少一个序列；对上述第一比对特征与上述第二比对特征进行第一相似度比对处理，得到第一比对结果；按照上述第一比对结果将上述待比对序列归并至目标聚簇。

在本申请实施例中，通过获取多模态数据，其中，上述多模态数据由图像采集设备采集的图像信息以及上述图像采集设备自身的属性信息来确定；对上述多模态数据进行特征提取处理，得到待比对序列的第一比对特征，其中，上述待比对序列是通过上述图像采集设备获取的目标对象跟踪序列；基于上述第一比对特征选取多个聚簇，得到上述多个聚簇中每个聚簇的第二比对特征，其中，上述多个聚簇的每个聚簇中包括：属于相同目标对象的至少一个序列；对上述第一比对特征与上述第二比对特征进行第一相似度比对处理，得到第一比对结果；按照上述第一比对结果将上述待比对序列归并至目标聚簇。

容易注意到的是，本申请实施例提供了监控数据从镜头采集到归并入库的完整处理过程(例如，监控动物园区内的动物)，通过极致梯度提升器XGBoost综合决策方案完成了多模态信息的综合利用，通过重识别ReID流式归并方案充分利用了监控系统中目标对象数据的流式上报的特点，通过缓存一个聚类池，新进入的待对比序列在聚类时只需要以聚簇为单位进行相似度计算，以增量聚类的方式实现了目标对象数据的实时归并，具有算法复杂度低、计算开销小、运行效率高等独特优势，进而实现全场全周期的目标对象身份和轨迹的数据化和结构化，可以较好的实现智能监控系统在落地过程中面临的数据利用全和系统运行快等技术要求，推动目标对象重识别技术更好的落地，进而可以取得更好的业务效果。

由此，本申请实施例达到了实现跨境头的精准目标对象关联以及目标对象数据的实时归并的目的，从而实现了提供更高效更高精度的智能监控应用，方便智能监控系统的优化升级和持续迭代的技术效果，进而解决了现有技术中的目标对象重识别方案无法实现跨境头的精准目标对象关联以及目标对象数据的实时归并的技术问题。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是根据本申请实施例的一种用于实现数据处理方法的计算机终端(或移动设备)的硬件结构框图；

图2是根据本申请实施例的一种数据处理方法的流程图；

图3是根据本申请实施例的一种可选的基于XGBoost综合决策的流式归并系统的示意框图；

图4是根据本申请实施例的一种可选的流式归并的原理示意图；

图5是根据本申请实施例的一种数据处理装置的结构示意图；

图6是根据本申请实施例的另一种计算机终端的结构框图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

首先，在对本申请实施例进行描述的过程中出现的部分名词或术语适用于如下解释：

目标对象重识别(person reidentification,person ReID)：一种跨镜头的目标对象身份关联技术。

极致梯度提升器(Extreme Gradient Boosting,XGBoost)：一种基于梯度提升决策树的机器学习方法。

多模态数据：在数据来源、获取方式、数据格式、物理意义等方面均具有较大模态差异的结构/非结构化数据。

目标对象归并：将多个摄像头上报的目标对象数据按照目标对象的身份进行聚合，使相同的目标对象归并到同一个聚簇，而不同的目标对象划分到不同的聚簇。

流式归并：一种(近)实时的归并流程，能够以流式处理的方式对摄像头上报的目标对象数据实时地执行归并。

目前学术界对该问题的研究主要集中于目标对象图像这种单一的数据源，在实际应用中容易带来较严重的错误关联，影响了实际应用的效果。其根本原因在于监控环境下，目标对象图像存在以上提到的诸多局限，仅仅依靠目标对象数据难以克服以上缺陷。实际上，监控系统中除了目标对象数据，一般还会同步地采集目标对象的属性数据、摄像头位置数据、目标对象采集时间等其他数据，这些数据对于精准的目标对象关联也能发挥重要的辅助作用，比如利用目标对象上报的时间和空间信息，可以很大程度上排除跨镜头同时刻的目标对象误归并。如何将以上多种来源的多模态数据有机地组织和利用，成为跨镜头的目标对象关联的关键。

在商超、工业园、车站等区域部署的视频监控系统通常包含上百个镜头，它们时刻都在上报监控的数据流，目标对象归并系统在对这些源源不断上报的数据执行归并时，通常面临着巨大的计算压力。为了不影响系统的正常运行，一般的做法是对上报的数据先入库保存，然后采用(近)离线的方式执行归并。这种方案的弊端在于数据归并会存在较长时间的延迟，限制了一些需要及时响应的业务应用，例如车站风险人员、物体物排查，商超偷盗物品锁定，货柜顾客智能营销等等。如何降低目标对象归并的计算复杂度，提高数据处理的时效性，也是智能监控系统实际应用中需要重点解决的问题。

针对以上两大痛点，本申请有针对性地提出了相应的解决方案。首先，对于多模态数据的综合利用问题，本申请提出了基于机器学习XGBoost判决器的信息融合方案，它以数据驱动的方式自主地选择和融合有价值的信息执行综合决策，以克服单一数据源的局限性，同时避免了人工设计的决策规则的繁琐和不可扩展性。第二，为了提高归并系统的实时性，本申请提出了一种流式的目标对象归并算法，它以实时归并和动态聚合的方式，实现了跨镜头长周期的高效关联。使用本申请，可以较好的解决智能监控系统在落地过程中面临的数据利用全和系统运行快等技术要求，推动目标对象重识别技术更好的落地，取得更好的业务效果。

实施例1

根据本申请实施例，提供了一种数据处理方法的实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

本申请实施例1所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。图1示出了一种用于实现数据处理方法的计算机终端(或移动设备)的硬件结构框图。如图1所示，计算机终端10(或移动设备10)可以包括一个或多个(图中采用102a、102b，……，102n来示出)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器104、以及用于通信功能的传输模块106。除此以外，还可以包括：显示器、输入/输出接口(I/O接口)、通用串行总线(USB)端口(可以作为BUS总线的端口中的一个端口被包括)、网络接口、电源和/或相机。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，计算机终端10还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。

应当注意到的是上述一个或多个处理器102和/或其他数据处理电路在本文中通常可以被称为“数据处理电路”。该数据处理电路可以全部或部分的体现为软件、硬件、固件或其他任意组合。此外，数据处理电路可为单个独立的处理模块，或全部或部分的结合到计算机终端10(或移动设备)中的其他元件中的任意一个内。如本申请实施例中所涉及到的，该数据处理电路作为一种处理器控制(例如与接口连接的可变电阻终端路径的选择)。

存储器104可用于存储应用软件的软件程序以及模块，如本申请实施例中的数据处理方法对应的程序指令/数据存储装置，处理器102通过运行存储在存储器104内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的数据处理方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至计算机终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端10的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器(Network Interface Controller，NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频(Radio Frequency，RF)模块，其用于通过无线方式与互联网进行通讯。

显示器可以例如触摸屏式的液晶显示器(LCD)，该液晶显示器可使得用户能够与计算机终端10(或移动设备)的用户界面进行交互。

近年，随着深度学习技术的发展，目标对象重识别(person ReID)技术也取得长足的进步，并逐渐从学术研究走向产业应用。每年各种学术顶会(CVPR，ECCV，AAAI等)都会有大量的相关论文涌现，国内互联网公司也在该领域积极部署，争夺技术制高点和市场份额。在学术界，目前的研究主要是集中于单点的技术突破，通过算法创新提高目标对象特征的鉴别性，比如遮挡情况下的目标对象识别、跨场景的特征迁移、无监督的模型训练等等，其共同点都是从目标对象图像出发，通过更深入的算法创新、模型设计、优化训练来提高目标对象特征的比对能力。然而考虑到监控视频所固有的遮挡、模糊、姿态变化、视角差异等挑战，在模型层面的创新和优化也逐渐面临着技术瓶颈，虽然可以在某些方面取得改善，但是在实际落地中也存在较大的技术障碍和成本限制。

在系统构建初期，对于多源信息的利用主要是基于人工经验，通过设计相应的规则和策略来进行，例如，首先根据时间和空间进行比对池的筛选，然后再对目标对象设计相应的比对规则进行聚合，这种方案需要大量的人工介入，在项目初期数据源不多时尚可应对，随着系统的不断完善，数据来源越发多元和精细化，这种基于人工规则的模式也越发不可持续。

从系统论的角度来看，模型上的创新属于深度层面的挖掘，而本申请方案的多源数据综合利用属于广度层面的扩展，二者互为补充，目标对象特征的改善也会对本申请方案的最终效果产生积极影响。

在工业界，目标对象重识别技术通常以目标对象特征提取API或者SDK的形式对外提供服务，在应用层面上依然局限于目标对象图像这种单一的数据源，未涉及视频监控系统所蕴含的丰富的多源多模态数据。相比现有技术中的单一解决而言，本申请实施例所提供的数据处理方法是一个系统级的解决方案，将监控系统中所涉及的目标对象、物体主要区域、属性、时间、空间等多种数据综合利用，在信息的利用上更加充分和全面。

在上述运行环境下，本申请提供了如图2所示的一种数据处理方法。图2是根据本申请实施例的一种数据处理方法的流程图，如图2所示，上述数据处理方法，包括：

步骤S202，获取多模态数据，其中，上述多模态数据由图像采集设备采集的图像信息以及上述图像采集设备自身的属性信息来确定；

步骤S204，对上述多模态数据进行特征提取处理，得到待比对序列的第一比对特征，其中，上述待比对序列是通过上述图像采集设备获取的目标对象跟踪序列；

步骤S206，基于上述第一比对特征选取多个聚簇，得到上述多个聚簇中每个聚簇的第二比对特征，其中，上述多个聚簇的每个聚簇中包括：属于相同目标对象的至少一个序列；

步骤S208，对上述第一比对特征与上述第二比对特征进行第一相似度比对处理，得到第一比对结果；

步骤S210，按照上述第一比对结果将上述待比对序列归并至目标聚簇。

需要说明的是，本申请实施例所提供的数据处理方法可以但不限于应用于智能视频监控场景中，例如，智能安防、智慧商超、动物园区监控、数字政务等数字化应用场景中，智能视频监控在智能安防、智慧商超、动物园区监控、数字政务等数字化应用中具有不可替代的重要作用。针对视频监控系统中跨镜头跨区域的目标对象重识别所面临的数据类型多、模态差异大、计算复杂度高等挑战，本申请方案所提供的数据处理方法通过在应用模式和基础算法上进行技术创新，提供一种基于XGBoost综合决策的流式归并方法及系统，该基于XGBoost综合决策的流式归并系统即为视频监控系统，可以用于实施或实现基于XGBoost综合决策的流式归并方法，在一定程度上较好的解决了视频监控系统中数据的充分利用和系统的高效运行两大技术难点，为更高效更高精度的智能监控应用提供了新的解决方案。

可选的，在多模态数据利用方面，本申请实施例提出了一种基于XGBoost的综合决策方法，通过机器学习自动地实现多源信息的最佳利用，具有系统复杂度低、研发成本小、可扩展性好等突出优势。

可选的，在跨镜头目标对象的数据归并领域，本申请实施例提出了一种面向监控数据流的流式归并算法，通过充分利用监控数据的流式特点和时空上的关联性，以增量聚类的方式实现了目标对象数据的实时归并，具有算法复杂度低、计算开销小、运行效率高等独特优势。

仍需要说明的是，本申请实施例中所提供的数据处理方案，孕育于互联网的安全线下安防的实际业务，例如，在新零售数字商超和智慧园区等场景中需要执行客流智能分析和物品智能管理等任务，也就需要自动化的目标对象归并和轨迹关联技术。区别现有技术中主要基于人工经验利用多源信息的解决方案，本申请方案提出的基于极致梯度提升器XGBoost的综合决策方案，不仅可以适应任意数量和类型的多源多模态的数据，而且数据来源越丰富其决策的精度也越高，可以极大地方便智能监控系统的优化升级和持续迭代。

仍需要说明的是，在跨镜头归并流程上，由于现有技术中常用的解决方案是借助数据聚类技术，首先需要收集待聚类的数据，然后采用通用的聚类算法(层次聚类，DBSCAN，HDBSCAN等)进行数据的聚合，输出的聚簇即为归并结果，而由于聚类算法通常非常耗时，无法做到实时，难以满足需要实时归并的应用场景。因此，本申请实施例中，针对监控系统的数据流的特点，设计出一种面向流式数据的增量式聚类算法，它能够记忆历史的聚类结果，对新的上报数据只需要执行少量的计算即可完成归并，大大简化了计算的复杂度，具有实时归并的技术优势。

以下以本申请实施例所提供的数据处理方法应用于动物园区监控场景为例，对一种可选的数据处理方法实施例进行示意说明，需要说明的是，该数据处理方法可以通过监控系统(监控平台、视频监控应用软件等)提供的可视化的图形用户界面(交互界面、监控管理界面)展示数据处理过程，在通过机器学习自动地处理数据的过程中，实时与用户进行交互，更加灵活方便用户使用和接受；例如，对于图像采集设备采集得到多模态数据，可以在监控系统的监控管理界面上显示该多模态数据，其中，该图像采集设备获取的目标对象跟踪序列为待比对序列，响应于用户的执行指令，对多模态数据进行样本基础特征的提取，即得到待比对序列的第一比对特征，并在该监控管理界面上显示该待比对序列和提取得到的第一比对特征，以及待选取的多个聚簇；响应于用户的选取指令，基于第一比对特征选取多个聚簇，得到上述多个聚簇中每个聚簇的第二比对特征，并在该监控管理界面上显示该第二比对特征；响应于用户的对比指令，然后对上述第一比对特征与上述第二比对特征进行第一相似度比对处理，最后基于得到的第一比对结果将上述待比对序列归并至目标聚簇，并在该监控管理界面上显示该第一比对界面、待比对序列在目标聚簇的归并结果，进而实现了对上述待比对序列执行流式归并的过程。

在一种可选的实施例中，上述多模态数据包括以下部分或全部数据：

目标对象特征数据、目标对象属性数据、目标对象质量数据、目标对象正背面标识数据、上述图像采集设备的目标对象跟踪序列数据、目标对象序列采集时间数据、上述图像采集设备的标识数据以及上述图像采集设备的位置数据。

通过本申请实施例所提供的一种系统级的智能监控解决方案，本申请实施例所提供的数据处理方法，建立在目标对象特征提取、目标对象属性提取等原子能力的基础之上，对于图像采集设备采集得到多模态数据，首先，执行对多模态数据进行样本基础特征的提取，得到待比对序列的第一比对特征，并基于第一比对特征选取多个聚簇，得到上述多个聚簇中每个聚簇的第二比对特征，然后对上述第一比对特征与上述第二比对特征进行第一相似度比对处理，最后基于得到的第一比对结果对上述待比对序列执行流式归并。

作为一种可选的实施例，上述图像采集设备即摄像设备，例如，监控摄像头、AI摄像头等，上述图像采集设备采集的图像信息以及上述图像采集设备自身的属性信息用于确定多模态数据，其中，上述图像采集设备采集的图像信息即包括以下部分或全部数据：目标对象特征数据、目标对象属性数据、目标对象质量数据、目标对象正背面标识数据；上述图像采集设备自身的属性信息即包括以下部分或全部数据：上述图像采集设备的目标对象跟踪序列数据、目标对象序列采集时间数据、上述图像采集设备的标识数据以及上述图像采集设备的位置数据。

作为一种可选的实施例，在本申请实施例所提供的基于XGBoost综合决策的流式归并系统中，可以用于实施或实现本申请实施例所提供的基于XGBoost综合决策的流式归并方法，如图3所示，该系统包括：特征提取模块、TopK候选池构建模块、XGBoost特征计算模块、XGBoost判决器、冲突消除模块，下面对应于方法实现的过程，分别对各个模块予以示例性进行详细介绍：

在本申请实施例中，上述特征提取模块是多源数据的采集模块，它主要是通过各种网络模型从非结构化的监控视频中所提取的各种结构化数据以及设备参数、采集时间等元数据，即多模态数据，该多模态数据包括以下部分或全部数据：目标对象特征向量，目标对象属性数组，目标对象质量分，目标对象正背面标识，镜头的目标对象跟踪序列ID，目标对象序列采集时间，上报的镜头ID以及地理位置等，在本申请实施例中，上述特征提取模块一般在AI摄像头或者边缘设备上实时提取上述多模态数据，然后上报到归并服务器。

在一种可选的实施例中，基于上述第一比对特征选取上述多个聚簇，得到第二比对特征包括：

步骤S302，对上述第一比对特征与聚类池中当前缓存的聚簇进行第二相似度比对处理，得到第二比对结果；

步骤S304，按照相似度从高到低的排序方式对上述第二比对结果进行排序，得到排序结果；

步骤S306，通过上述排序结果从上述当前缓存的聚簇中选取上述多个聚簇，得到上述第二比对特征。

可选的，在确定上述多个聚簇中每个聚簇的第二比对特征之前，需要基于确定的第一比对特征选取多个聚簇，即执行基于XGBoost的综合决策之前，会对每个序列track的候选池先执行一次初步的筛选，即从已有的聚类池中选出最可能的TopK个聚簇，然后只对这些少量的选取到的多个聚簇计算XGBoost综合相似度。

在本申请实施例中，通过对上述第一比对特征与聚类池中当前缓存的聚簇进行第二相似度比对处理，得到第二比对结果；例如，采用如图3所示的TopK候选池构建模块，按照相似度从高到低的排序方式对上述第二比对结果进行排序，得到排序结果；再通过上述排序结果从上述当前缓存的聚簇中选取上述多个聚簇，得到上述第二比对特征。

作为一种可选的实施例，参考如图3所示的TopK候选池构建模块，对上述方法步骤的实现过程进行详细说明。在归并服务器上，对于AI摄像头或者边缘设备上报的基础的多模态数据，在执行基于XGBoost的综合决策之前，会对每个待比对序列track(例如，镜头内的一个目标对象跟踪序列)的候选池先执行一次初步的筛选，即从已有的聚类池中选出最可能的TopK个聚簇，然后只对这些少量的聚簇计算XGBoost综合相似度。

需要说明的是，由于XGBoost的计算涉及较复杂的比对特征的构建，如果全量计算会存在较大的计算开销，因此，在本申请实施例中，通过将比对范围限制在最可能的TopK中可以显著降低计算量，对最终效果也不会带来明显的影响。

仍需要补充说明的是，在本申请实施例中，上述TopK的选择可以基于目标对象特征进行确定，例如，可以通过计算目标对象特征的cos相似度，从聚类池中选出相似度最高的topK作为进一步综合比对的候选项。

在一种可选的实施例中，对上述第一比对特征与上述第二比对特征进行上述第一相似度比对处理，得到上述第一比对结果包括：

步骤S402，对上述第一比对特征与上述第二比对特征进行融合处理，得到融合特征；

步骤S404，基于上述融合特征获取上述第一比对结果。

可选的，上述融合特征包括：多个维度的相似度特征量；上述第一比对结果包括：多个预测概率，上述多个预测概率用于表示上述待比对序列分别属于上述多个聚簇中每个聚簇的概率。

作为一种可选的实施例，参考如图3所示的XGBoost特征计算模块，对上述方法步骤的实现过程进行详细说明。本申请方案的XGBoost判决器是用于对两个待比对序列(例如，track2track)，或者待比对序列与聚簇(track2session)，或者两个聚簇(session2session)，进行同人判定，它的输入是待比对的两个特征经过一定的预处理后的融合特征—特征工程，其中，track是镜头内的一个目标对象跟踪序列，session是聚类池中的同人tracks构成的一个聚簇。

需要说明的是，在本申请实施例中，上述特征工程包括：1)track内目标对象特征的平均相似度，2)track内目标对象特征的最大相似度，3)track内物体主要区域特征的平均相似度，4)track内物体主要区域特征的最大相似度，5)track目标对象的平均质量分的乘积，6)track目标对象的最大相似度对应质量分的乘积，7)track物体主要区域的平均质量分的乘积，8)track物体主要区域的最大相似度对应质量分的乘积，9)session内track目标对象平均相似度的0％,50％,100％百分位以及对应的质量分乘积，10)session内track物体主要区域平均相似度的0％,50％,100％百分位以及对应的质量分乘积，11)相同摄像头的最小时间间隔，12)跨摄像头的最小时间间隔等，上述特征量分别构成XGBoost综合特征的对应维度，作为其综合判决的特征输入。

仍需要补充说明的是，在上述“XGBoost特征计算模块”的特征设计中，除了本申请方案提出的特征工程之外，任何其他有意义的特征构造都是可以直接加入的，例如，新的信息源、新的特征组合等，其结果只是增加了XGBoost的输入特征的维度，不需要对整个系统做任何调整，这也是本申请方案的灵活之处。

在一种可选的实施例中，按照上述第一比对结果将上述待比对序列归并至上述目标聚簇包括：

步骤S502，当上述多个预测概率中部分或全部预测概率大于或等于第一预设阈值时，将上述多个预测概率中预测概率最大的聚簇确定为上述目标聚簇；

步骤S504，将上述待比对序列归并至上述目标聚簇。

作为一种可选的实施例，参考如图3所示的XGBoost判决器，对上述方法步骤的实现过程进行详细说明。XGboost判决器用于判断track/session之间的相似度，对两者是否属于同一个人做出综合的预测，并输出预测的同人概率。在部署到业务系统之前，需要先基于标注数据训练XGBoost模型，通过收集并打标足够数量的目标对象track数据，利用特征计算模块构建特征工程，然后训练XGBoost判决器。

由于，在本申请实施例中，XGBoost判决器给出了镜头上报的每个待比对序列属于聚类池中各个聚簇的概率，因而，当上述多个预测概率中部分或全部预测概率大于或等于第一预设阈值时，将上述多个预测概率中预测概率最大的聚簇确定为上述目标聚簇；将上述待比对序列归并至上述目标聚簇，进而可以根据该概率的大小即可将每个待比对序列归并到其最相似的目标聚簇上。

在一种可选的实施例中，按照上述第一比对结果将上述待比对序列归并至上述目标聚簇包括：

步骤S602，当上述多个预测概率均小于上述第一预设阈值时，为上述待比对序列创建上述目标聚簇；

步骤S604，将上述待比对序列归并至上述目标聚簇。

在上述可选的实施例中，如果XGBoost判决器得到的多个预测概率均小于预先设定的第一预设阈值，则表明该待比对序列不属于任何一个聚簇，那么就为待比对序列创建一个新的目标聚簇，将上述待比对序列归并至上述目标聚簇。

在一种可选的实施例中，上述数据处理方法还包括：

步骤S606，当确定在相同时刻获取到的多个待比对序列均属于上述目标聚簇时，从上述多个待比对序列中确定预测概率最大的待比对序列；

步骤S608，将上述预测概率最大的待比对序列归并至上述目标聚簇，并为上述多个待比对序列中除上述预测概率最大的待比对序列之外的其余待比对序列重新确定新的聚簇，直至上述多个待比对序列均归并至对应聚簇。

作为一种可选的实施例，参考如图3所示的冲突消除模块以及如图4所示的流式归并的原理示意图，对上述方法步骤的实现过程进行详细说明。由于各个监控镜头源源不断的上报携带有待比对序列的数据流到归并服务器，对同一时刻T(0)到来的多个待比对序列，首先利用XGBoost综合决策模型计算每个待比对序列与聚类池中最相似的目标聚簇，此时，可能出现多个待比对序列一同时与某个聚簇存在最相似的情况，而结合常识可知，在同一时刻到来的待比对序列是不可能属于同一个目标对象的，因此就出现了冲突，需要进行冲突消除。

在本申请实施例中，当确定在相同时刻获取到的多个待比对序列均属于上述目标聚簇时，即对于发生冲突的多个待对比序列，则可以从上述多个待比对序列中确定预测概率最大的待比对序列，例如，可以根据多个待对比序列与该目标聚簇的XGBoost预测值，将该目标聚簇划归到预测概率最大的待比对序列，多个待比对序列中除上述预测概率最大的待比对序列之外的其余待比对序列重新确定新的聚簇，即将其余待比对序列再去寻找各自第二相似的目标聚簇，如果第二相似的目标聚簇没有被共用，则将该其余的一个待比对序列划归该第二相似的目标聚簇，否则按照类似的逻辑再次执行冲突消除，直至不再有冲突并将上述多个待比对序列均归并至对应聚簇。

仍需要补充说明的是，本申请方案不仅可以简化目标对象归并系统的设计复杂度，还能大大降低部署的成本。XGBoost判决器是一种高效的决策树分类器，而且支持并行加速，具有很高执行效率；流式归并算法是一种增量式的聚类算法，每次迭代只需要很小的计算量，大大降低了聚类模块的计算压力。在单机下可以实现50QPS以上的计算压力，满足100路以上镜头的实时归并，对于一个中小型的监控场景只需要一台普通的服务器即可满足需求。

在一种可选的实施例中，上述数据处理方法还包括：

步骤S702，在聚类池当前缓存的聚簇中，对上述目标聚簇与相邻聚簇进行上述第一相似度比对处理，得到第三比对结果；

步骤S704，当基于上述第三比对结果确定上述目标聚簇与上述相邻聚簇的相似度大于第二预设阈值时，对上述目标聚簇与上述相邻聚簇进行聚合处理。

作为一种可选的实施例，仍结合如图4所示的流式归并的原理示意图，对上述方法步骤的实现过程进行详细说明。如图4所示的动态聚合是对聚类池中的相似聚簇执行聚合，即将聚类池当前缓存的属于同一目标对象的多个聚簇合并为一个聚簇。

例如，在监控系统中，由于目标对象姿态多变、拍摄角度差异、光线变化、物体遮挡等，同一目标对象的目标对象特征可能存在较大的差异，在归并初期它们被分裂到不同的聚簇中，但是，随着数据流的不断到来，收集到同一目标对象在不同姿态下的目标对象特征，通过样本的积累和传递作用，起初间隔较大的两个聚簇可能变得相邻了，因而，动态聚合即是在新的多个待对比序列到来后，对于发生更新的目标聚簇，计算该目标聚簇与相邻聚簇的XGBoost相似度(session2session)，如果确定上述目标聚簇与上述相邻聚簇的相似度大于第二预设阈值时，说明该目标聚簇与相邻聚簇是属于同一个目标对象的，可以将目标聚簇与相邻聚簇进行聚合处理，进而通过本申请实施例，随着数据流的不断到来，可以及时地动态调整聚类池的聚簇结构，降低目标对象归并的分裂率。

在一种可选的实施例中，上述数据处理方法还包括：

步骤S802，记录上述目标聚簇的目标时长，其中，上述目标时长为上述目标聚簇持续未更新的时长；

步骤S804，当上述目标时长超过第三预设阈值时，从聚类池中移除上述目标聚簇并基于上述目标聚簇对目标对象进行行为分析。

可选的，从聚类池中移除上述目标聚簇的过程，即聚簇出栈，该聚簇出栈是ReID归并系统的最后一步操作，它将终止的聚簇及时地退出归并系统。对于聚类池中长期无更新的目标聚簇，例如，超过足够长的时间(比如1个小时)没有新的待对比序列并入，说明该目标对象已经离场，可以将这些“沉寂”的多个聚簇及时的清出聚类池，一方面可以降低内存的占用，另一方面也减少了TopK候选池构建时的无效计算。

在本申请实施例中，出栈的目标聚簇即为归并系统的最终输出，它包含了对应的目标对象在全场的完整的行为轨迹，可以在移除目标聚簇之后基于该轨迹数据即可进行应用层的行为分析。

通过本申请上述数据处理方法提供了监控数据从镜头采集到归并入库的完整处理过程，通过XGBoost综合决策模块完成了多模态信息的综合利用，通过ReID流式归并模块实现了跨境头的目标对象数据的实时归并，进而实现全场全周期的人员身份和轨迹的数据化和结构化。

作为另一种可选的实施例，在时空关系的利用上，本申请实施例中，除了利用摄像头内/间的时间间隔之外，如果提供了摄像头的空间地图数据，则还可以将目标对象的移动速度融入进来，一方面在XGBoost的特征构造中添加移动速度作为特征，增加输入特征的信息量；另一方面在冲突消除模块中增加移动速度作为判断项，进一步消除不合理的归并。

通过本申请上述实施例可知，本申请实施例基于XGboost的综合决策方案将监控系统中的多种信息(目标对象、属性、时间、空间等信息)有机的结合起来，而不是只基于仅识别目标对象的某一个特征的传统处理方式，例如，在对动物园区内的动物进行重识别时，仅基于动物的面部特征进行识别，本申请实施例从系统的角度解决目标对象重识别中遇到的数据缺陷、信息不足等痛点，提升决策精度和追踪效果。本申请方案利用数据驱动的机器学习模型，自动地实现多模态数据的深度挖掘和有机利用，克服了传统的基于人工规则和策略的复杂度高、组合效果差等固有缺陷。另外，本申请方案还具有灵活性高、易于扩展的技术优势，例如，当添加新的数据来源，例如，地图数据，wifi数据，红外数据等，直接以新特征的形式加入XGboost特征提取模块即可，系统层面不需要进行任何调整，可以快速实现系统的迭代升级。

本申请方案提出的ReID流式归并算法充分利用了监控系统中目标对象数据的流式上报的特点，通过缓存一个聚类池，新进入的待对比序列track在聚类时只需要以聚簇session为单位进行相似度计算，而相比较传统的聚类算法需要以序列为单位，本申请实施例中的处理方法不仅可以将计算复杂度从O(N²)降到O(N)。同时，聚类池中的聚簇随着新的多个tracks的到来，动态地调整session的层次结构，以最小的计算量实现了增量式的聚类。

完全不同于传统的聚类算法一般是从头开始聚类，无法利用已有的聚类结果，存在大量的重复计算的情况，本申请方案的流式归并算法实际上是针对监控系统专门设计的一个增量式聚类算法，可以大大减小聚类的计算复杂度，将传统的离线的目标对象归并推进为一个实时的跨区域轨迹跟踪系统，满足诸如风险人员快速锁定、商超顾客智能导购等需要快速响应的智能化应用。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例上述的方法。

实施例2

根据本申请实施例，还提供了一种用于实施上述数据处理方法的装置实施例，图5是根据本申请实施例的一种数据处理装置的结构示意图，如图5所示，该数据处理装置包括：获取模块500、提取模块502、选取模块504、比对模块506和归并模块508，其中：

获取模块500，用于获取多模态数据，其中，上述多模态数据由图像采集设备采集的图像信息以及上述图像采集设备自身的属性信息来确定；提取模块502，用于对上述多模态数据进行特征提取处理，得到待比对序列的第一比对特征，其中，上述待比对序列是通过上述图像采集设备获取的目标对象跟踪序列；选取模块504，用于基于上述第一比对特征选取多个聚簇，得到上述多个聚簇中每个聚簇的第二比对特征，其中，上述多个聚簇的每个聚簇中包括：属于相同目标对象的至少一个序列；比对模块506，用于对上述第一比对特征与上述第二比对特征进行第一相似度比对处理，得到第一比对结果；归并模块508，用于按照上述第一比对结果将上述待比对序列归并至目标聚簇。

此处需要说明的是，上述获取模块500、提取模块502、选取模块504、比对模块506和归并模块508对应于实施例1中的步骤S202至步骤S210，五个模块与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例1所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在实施例1提供的计算机终端10中。

需要说明的是，本实施例的优选实施方式可以参见实施例1中的相关描述，此处不再赘述。

实施例3

根据本申请实施例，还提供了一种电子设备的实施例，该电子设备可以是计算设备群中的任意一个计算设备。该电子设备包括：处理器和存储器，其中：

处理器；以及存储器，与上述处理器连接，用于为上述处理器提供处理以下处理步骤的指令：获取多模态数据，其中，上述多模态数据由图像采集设备采集的图像信息以及上述图像采集设备自身的属性信息来确定；对上述多模态数据进行特征提取处理，得到待比对序列的第一比对特征，其中，上述待比对序列是通过上述图像采集设备获取的目标对象跟踪序列；基于上述第一比对特征选取多个聚簇，得到上述多个聚簇中每个聚簇的第二比对特征，其中，上述多个聚簇的每个聚簇中包括：属于相同目标对象的至少一个序列；对上述第一比对特征与上述第二比对特征进行第一相似度比对处理，得到第一比对结果；按照上述第一比对结果将上述待比对序列归并至目标聚簇。

在本申请实施例中，通过获取多模态数据，其中，上述多模态数据由图像采集设备采集的图像信息以及上述图像采集设备自身的属性信息来确定；对上述多模态数据进行特征提取处理，得到待比对序列的第一比对特征，其中，上述待比对序列是通过上述图像采集设备获取的目标对象跟踪序列；基于上述第一比对特征选取多个聚簇，得到上述多个聚簇中每个聚簇的第二比对特征，其中，上述多个聚簇的每个聚簇中包括：属于相同目标对象的至少一个序列；对上述第一比对特征与上述第二比对特征进行第一相似度比对处理，得到第一比对结果；按照上述第一比对结果将上述待比对序列归并至目标聚簇。

容易注意到的是，本申请实施例提供了监控数据从镜头采集到归并入库的完整处理过程，通过极致梯度提升器XGBoost综合决策方案完成了多模态信息的综合利用，通过目标对象重识别ReID流式归并方案充分利用了监控系统中目标对象数据的流式上报的特点，通过缓存一个聚类池，新进入的待对比序列在聚类时只需要以聚簇为单位进行相似度计算，以增量聚类的方式实现了目标对象数据的实时归并，具有算法复杂度低、计算开销小、运行效率高等独特优势，进而实现全场全周期的人员身份和轨迹的数据化和结构化，可以较好的实现智能监控系统在落地过程中面临的数据利用全和系统运行快等技术要求，推动目标对象重识别技术更好的落地，进而可以取得更好的业务效果。

由此，本申请实施例达到了实现跨境头的精准目标对象关联和监控上报数据的实时归并的目的，从而实现了提供更高效更高精度的智能监控应用，方便智能监控系统的优化升级和持续迭代的技术效果，进而解决了现有技术中的目标对象重识别方案无法实现跨境头的精准目标对象关联以及目标对象数据的实时归并的技术问题。

需要说明的是，本实施例的优选实施方式可以参见实施例1中的相关描述，此处不再赘述。

实施例4

根据本申请的实施例，还提供了一种计算机终端的实施例，该计算机终端可以是计算机终端群中的任意一个计算机终端设备。可选地，在本实施例中，上述计算机终端也可以替换为移动终端等终端设备。

可选地，在本实施例中，上述计算机终端可以位于计算机网络的多个网络设备中的至少一个网络设备。

在本实施例中，上述计算机终端可以执行数据处理方法中以下步骤的程序代码：获取多模态数据，其中，上述多模态数据由图像采集设备采集的图像信息以及上述图像采集设备自身的属性信息来确定；对上述多模态数据进行特征提取处理，得到待比对序列的第一比对特征，其中，上述待比对序列是通过上述图像采集设备获取的目标对象跟踪序列；基于上述第一比对特征选取多个聚簇，得到上述多个聚簇中每个聚簇的第二比对特征，其中，上述多个聚簇的每个聚簇中包括：属于相同目标对象的至少一个序列；对上述第一比对特征与上述第二比对特征进行第一相似度比对处理，得到第一比对结果；按照上述第一比对结果将上述待比对序列归并至目标聚簇。

可选地，图6是根据本申请实施例的另一种计算机终端的结构框图，如图6所示，该计算机终端可以包括：一个或多个(图中仅示出一个)处理器602、存储器604、以及外设接口606。

其中，存储器可用于存储软件程序以及模块，如本申请实施例中的数据处理方法和装置对应的程序指令/模块，处理器通过运行存储在存储器内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的数据处理方法。存储器可包括高速随机存储器，还可以包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器可进一步包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至计算机终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

处理器可以通过传输装置调用存储器存储的信息及应用程序，以执行下述步骤：获取多模态数据，其中，上述多模态数据由图像采集设备采集的图像信息以及上述图像采集设备自身的属性信息来确定；对上述多模态数据进行特征提取处理，得到待比对序列的第一比对特征，其中，上述待比对序列是通过上述图像采集设备获取的目标对象跟踪序列；基于上述第一比对特征选取多个聚簇，得到上述多个聚簇中每个聚簇的第二比对特征，其中，上述多个聚簇的每个聚簇中包括：属于相同目标对象的至少一个序列；对上述第一比对特征与上述第二比对特征进行第一相似度比对处理，得到第一比对结果；按照上述第一比对结果将上述待比对序列归并至目标聚簇。

可选的，上述处理器还可以执行本申请实施例1中所提供的任意一种方法步骤的程序代码，可以参见实施例1中的相关描述，此处不再赘述。

采用本申请实施例，提供了一种数据处理的方案。通过获取多模态数据，其中，上述多模态数据由图像采集设备采集的图像信息以及上述图像采集设备自身的属性信息来确定；对上述多模态数据进行特征提取处理，得到待比对序列的第一比对特征，其中，上述待比对序列是通过上述图像采集设备获取的目标对象跟踪序列；基于上述第一比对特征选取多个聚簇，得到上述多个聚簇中每个聚簇的第二比对特征，其中，上述多个聚簇的每个聚簇中包括：属于相同目标对象的至少一个序列；对上述第一比对特征与上述第二比对特征进行第一相似度比对处理，得到第一比对结果；按照上述第一比对结果将上述待比对序列归并至目标聚簇。

容易注意到的是，本申请实施例提供了监控数据从镜头采集到归并入库的完整处理过程，通过极致梯度提升器XGBoost综合决策方案完成了多模态信息的综合利用，通过目标对象重识别ReID流式归并方案充分利用了监控系统中目标对象数据的流式上报的特点，通过缓存一个聚类池，新进入的待对比序列在聚类时只需要以聚簇为单位进行相似度计算，以增量聚类的方式实现了目标对象数据的实时归并，具有算法复杂度低、计算开销小、运行效率高等独特优势，进而实现全场全周期的人员身份和轨迹的数据化和结构化，可以较好的实现智能监控系统在落地过程中面临的数据利用全和系统运行快等技术要求，推动目标对象重识别技术更好的落地，进而可以取得更好的业务效果。

由此，本申请实施例达到了实现跨境头的精准目标对象关联和监控上报数据的实时归并的目的，从而实现了提供更高效更高精度的智能监控应用，方便智能监控系统的优化升级和持续迭代的技术效果，进而解决了现有技术中的目标对象重识别方案无法实现跨境头的精准目标对象关联以及目标对象数据的实时归并的技术问题。

本领域普通技术人员可以理解，图6所示的结构仅为示意，计算机终端也可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌声电脑以及移动互联网设备(MobileInternet Devices，MID)、PAD等终端设备。图6其并不对上述电子装置的结构造成限定。例如，计算机终端还可包括比图6中所示更多或者更少的组件(如网络接口、显示装置等)，或者具有与图6所示不同的配置。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成，该程序可以存储于一计算机可读非易失性存储介质中，非易失性存储介质可以包括：闪存盘、只读存储器(Read-Only Memory，ROM)、随机存取器(Random Access Memory，RAM)、磁盘或光盘等。

实施例5

根据本申请的实施例，还提供了一种非易失性存储介质的实施例。可选地，在本实施例中，上述非易失性存储介质包括存储的程序，其中，在上述程序运行时控制上述非易失性存储介质所在设备执行上述的数据处理方法。

可选地，在本实施例中，上述非易失性存储介质可以位于计算机网络中计算机终端群中的任意一个计算机终端中，或者位于移动终端群中的任意一个移动终端中。

可选地，在本实施例中，非易失性存储介质被设置为存储用于执行以下步骤的程序代码：获取多模态数据，其中，上述多模态数据由图像采集设备采集的图像信息以及上述图像采集设备自身的属性信息来确定；对上述多模态数据进行特征提取处理，得到待比对序列的第一比对特征，其中，上述待比对序列是通过上述图像采集设备获取的目标对象跟踪序列；基于上述第一比对特征选取多个聚簇，得到上述多个聚簇中每个聚簇的第二比对特征，其中，上述多个聚簇的每个聚簇中包括：属于相同目标对象的至少一个序列；对上述第一比对特征与上述第二比对特征进行第一相似度比对处理，得到第一比对结果；按照上述第一比对结果将上述待比对序列归并至目标聚簇。

可选地，在本实施例中，上述非易失性存储介质被设置为存储用于执行本申请实施例1中所提供的任意一种方法步骤的程序代码，可以参见实施例1中的相关描述，此处不再赘述。

上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。

在本申请的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (10)

1.一种数据处理方法，其特征在于，包括：

获取多模态数据，其中，所述多模态数据由图像采集设备采集的图像信息以及所述图像采集设备自身的属性信息来确定；

对所述多模态数据进行特征提取处理，得到待比对序列的第一比对特征，其中，所述待比对序列是通过所述图像采集设备获取的目标对象跟踪序列；

基于所述第一比对特征选取多个聚簇，得到所述多个聚簇中每个聚簇的第二比对特征，其中，所述多个聚簇的每个聚簇中包括：属于相同目标对象的至少一个序列；

对所述第一比对特征与所述第二比对特征进行第一相似度比对处理，得到第一比对结果；

按照所述第一比对结果将所述待比对序列归并至目标聚簇。

2.根据权利要求1所述的数据处理方法，其特征在于，基于所述第一比对特征选取所述多个聚簇，得到第二比对特征包括：

对所述第一比对特征与聚类池中当前缓存的聚簇进行第二相似度比对处理，得到第二比对结果；

按照相似度从高到低的排序方式对所述第二比对结果进行排序，得到排序结果；

通过所述排序结果从所述当前缓存的聚簇中选取所述多个聚簇，得到所述第二比对特征。

3.根据权利要求1所述的数据处理方法，其特征在于，对所述第一比对特征与所述第二比对特征进行所述第一相似度比对处理，得到所述第一比对结果包括：

对所述第一比对特征与所述第二比对特征进行融合处理，得到融合特征，其中，所述融合特征包括：多个维度的相似度特征量；

基于所述融合特征获取所述第一比对结果，其中，所述第一比对结果包括：多个预测概率，所述多个预测概率用于表示所述待比对序列分别属于所述多个聚簇中每个聚簇的概率。

4.根据权利要求3所述的数据处理方法，其特征在于，按照所述第一比对结果将所述待比对序列归并至所述目标聚簇包括：

当所述多个预测概率中部分或全部预测概率大于或等于第一预设阈值时，将所述多个预测概率中预测概率最大的聚簇确定为所述目标聚簇；

将所述待比对序列归并至所述目标聚簇。

5.根据权利要求4所述的数据处理方法，其特征在于，按照所述第一比对结果将所述待比对序列归并至所述目标聚簇包括：

当所述多个预测概率均小于所述第一预设阈值时，为所述待比对序列创建所述目标聚簇；

将所述待比对序列归并至所述目标聚簇。

6.根据权利要求1所述的数据处理方法，其特征在于，所述数据处理方法还包括：

当确定在相同时刻获取到的多个待比对序列均属于所述目标聚簇时，从所述多个待比对序列中确定预测概率最大的待比对序列；

将所述预测概率最大的待比对序列归并至所述目标聚簇，并为所述多个待比对序列中除所述预测概率最大的待比对序列之外的其余待比对序列重新确定新的聚簇，直至所述多个待比对序列均归并至对应聚簇。

7.根据权利要求1所述的数据处理方法，其特征在于，所述数据处理方法还包括：

在聚类池当前缓存的聚簇中，对所述目标聚簇与相邻聚簇进行所述第一相似度比对处理，得到第三比对结果；

当基于所述第三比对结果确定所述目标聚簇与所述相邻聚簇的相似度大于第二预设阈值时，对所述目标聚簇与所述相邻聚簇进行聚合处理。

8.根据权利要求1所述的数据处理方法，其特征在于，所述数据处理方法还包括：

记录所述目标聚簇的目标时长，其中，所述目标时长为所述目标聚簇持续未更新的时长；

当所述目标时长超过第三预设阈值时，从聚类池中移除所述目标聚簇并基于所述目标聚簇对目标对象进行行为分析。

9.一种非易失性存储介质，其特征在于，所述非易失性存储介质包括存储的程序，其中，在所述程序运行时控制所述非易失性存储介质所在设备执行权利要求1至8中任意一项所述的数据处理方法。

10.一种电子设备，其特征在于，包括：

处理器；以及

存储器，与所述处理器连接，用于为所述处理器提供处理以下处理步骤的指令：

获取多模态数据，其中，所述多模态数据由图像采集设备采集的图像信息以及所述图像采集设备自身的属性信息来确定；

对所述多模态数据进行特征提取处理，得到待比对序列的第一比对特征，其中，所述待比对序列是通过所述图像采集设备获取的目标对象跟踪序列；

基于所述第一比对特征选取多个聚簇，得到所述多个聚簇中每个聚簇的第二比对特征，其中，所述多个聚簇的每个聚簇中包括：属于相同目标对象的至少一个序列；

对所述第一比对特征与所述第二比对特征进行第一相似度比对处理，得到第一比对结果；

按照所述第一比对结果将所述待比对序列归并至目标聚簇。

Images