CN113126929A - 一种特征数据去重的方法、系统、介质和终端 - Google Patents

Abstract

本发明提供一种特征数据去重的方法、系统、介质和终端，方法包括：获取一接入设备的待处理数据，根据待处理数据的接入时间与基准时间，判断所述接入设备的设备状态，若判定为正常设备，则将待处理数据的接入时间为基准，对超时数据进行删除；若判定为异常设备，则根据设备列表仅对所述接入设备的超时数据进行删除；对删除超时数据后的数据进行数据特征对比，并完成数据去重；本发明可以通过以设备和时间的双链表存储形式，极大的加快内存中的处理速度；通过抓拍时间和服务器的偏移量来确定数据是否异常，以及通过异常设备和正常设备的分别处理，保证系统的稳定性。

Description

一种特征数据去重的方法、系统、介质和终端

技术领域

本发明涉及安防领域，尤其涉及一种特征数据去重的方法、系统、介质和终端。

背景技术

随着物联网的普及，智能设备的应用越来越广泛，智能监控设备如智能摄像头等产品，已经越来越普遍地见诸日常生活。智能监控设备除了可以实施实时录像之外，还可以依据场景进行抓拍。

但是，当前的视频摄像头种类越来越多，各个厂商的产品标准也都各不相同，会导致摄像头上传的抓拍时间不统一和摄像头存在多次抓拍的情况很常见，使数据的可用性变差。

发明内容

鉴于以上所述现有技术的缺点，本发明提供一种特征数据去重的方法、系统、介质和终端，以解决上述技术问题。

本发明提供的特征数据去重的方法，包括：

获取一接入设备的待处理数据，根据待处理数据的接入时间与基准时间，判断所述接入设备的设备状态，所述设备状态包括正常设备和异常设备；

若判定所述接入设备为正常设备，则根据所述待处理数据的接入时间，对所有正常设备的超时数据进行删除；

若判定所述接入设备为异常设备，则根据仅对所述异常设备的超时数据进行删除；

对删除超时数据后的数据进行数据特征对比，并完成数据去重。

与本发明的一实施例中，所述待处理数据的接入时间包括抓拍时间，所述基准时间包括服务器时间，根据待处理数据的接入时间与基准时间获取时间的偏移量，

若所述偏移量在预设的时间阈值范围内，则判定所述接入设备为正常设备；

若所述偏移量不在预设的时间阈值范围内，则判定所述接入设备为异常设备。

与本发明的一实施例中，预先建立用于存储所有设备的图像数据的设备维度链表和用于存储所有待处理数据的接入时间的时间链表，所述设备维度链表包括正常设备链表和异常设备链表，所有接入设备在接入时初始化判定为正常设备；

若根据所述偏移量判定所述接入设备为正常设备，则统一根据抓拍时间通过时间链表对所有接入设备的超时数据进行删除。

与本发明的一实施例中，对判定为正常设备的超时数据进行删除后，根据所述设备链表中的图像数据进行特征比对，

若比对结果不符合预设的相似度阈值，则判定为不重复；

若比对结果符合预设的相似度阈值，则判定为重复，则根据图像数据的图像质量，择优选取。

与本发明的一实施例中，若所述偏移量不在预设的时间阈值范围内，则将所述接入设备的设备信息加入异常设备列表中，并删除正常设备列表中的设备信息；

根据设备链表对所述接入设备的超时数据进行删除。

与本发明的一实施例中，对判定为异常设备的超时数据进行删除后，根据所述设备链表中的图像数据进行特征比对，

若比对结果不符合预设的相似度阈值，则判定为不重复；

若比对结果符合预设的相似度阈值，则判定为重复，则根据图像数据的图像质量，择优选取。

与本发明的一实施例中，预设超时阈值，将抓拍时间和超时阈值作为删除条件，并根据删除条件执行超时数据的删除。

与本发明的一实施例中，当存在一异常设备，且在所述异常设备在预设的时间范围内无数据产生时，则对所述异常设备的缓存数据进行删除处理，所述预设的时间范围根据最新的数据接入时间、偏移量和超时阈值获取。

与本发明的一实施例中，定时获取每个接入设备的最新数据，若一异常设备的抓拍时间、偏移量、超时阈值之和小于服务器时间，则删除所述异常设备的所有待处理数据。

本发明还提供一种特征数据去重系统，包括：

数据采集模块，用于获取一接入设备的待处理数据，

数据处理模块，用于根据待处理数据的接入时间与基准时间，判断所述接入设备的设备状态，所述设备状态包括正常设备和异常设备；

若判定所述接入设备为正常设备，则所述待处理数据的接入时间为基准，对所有正常设备的超时数据进行删除；

若判定所述接入设备为异常设备，则仅对所述异常设备的超时数据进行删除；

数据去重模块，用于对删除超时数据后的数据进行数据特征对比，并完成数据去重。

本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述中任一项所述方法。

本发明还提供一种电子终端，包括：处理器及存储器；

所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行如上述中任一项所述方法。

本发明的有益效果：本发明中的特征数据去重的方法、系统、介质和终端，可以通过以设备和时间的双链表存储形式，极大的加快内存中的处理速度；通过抓拍时间和服务器的偏移量来确定数据是否异常，以及通过异常设备和正常设备的分别处理，保证系统的稳定性。

另外，本发明通过定时任务对最新抓拍时间加上抓拍数据与设备时间的偏移量，在加上超时时间来确保超时的设备数据及时的从内存中被删除，保证系统的健壮性。

附图说明

图1是本发明实施例中的特征数据去重的方法的实施例一的流程示意图。

图2是本发明实施例中的特征数据去重的方法的整体流程示意图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

在下文描述中，探讨了大量细节，以提供对本发明实施例的更透彻的解释，然而，对本领域技术人员来说，可以在没有这些具体细节的情况下实施本发明的实施例是显而易见的，在其他实施例中，以方框图的形式而不是以细节的形式来示出公知的结构和设备，以避免使本发明的实施例难以理解。

如图2所示，本实施例中的特征数据去重的方法，包括：

S101.获取一接入设备的待处理数据，根据待处理数据的接入时间与基准时间，判断所述接入设备的设备状态，所述设备状态包括正常设备和异常设备；

S102.若判定所述接入设备为正常设备，则以所述待处理数据的接入时间为基准，对所有正常设备的超时数据进行删除；

S103.若判定所述接入设备为异常设备，则根据设备列表仅对所述异常设备的超时数据进行删除；

S104.对删除超时数据后的数据进行数据特征对比，并完成数据去重。

在本实施例的步骤S101中，当数据接入时，首先判断接入时间与服务器时间的偏移量，确认偏移量是否在阈值范围内，本实施例中的待处理数据的接入时间包括抓拍时间，基准时间包括服务器时间，预设的时间阈值范围可以选为2S，在偏移量2S内则认为是正常设备，在2S外则认为属于异常的数据。

在本实施例中，当数据接入时，可以根据键值对获取结构体中的抓拍时间，再用date方法获取服务器的时间，计算两个时间的偏移量是否小于2S。本实施例中的偏移量阈值2S可以为配置的偏移量参数，在服务启动时加载。

在本实施例的步骤S102中，同样以预设的时间阈值范围取2S为例，当抓拍时间的偏移量与服务器的偏移量小于2S时，判定结果是正常设备，则以统一以此抓拍时间通过抓拍时间的链表删除掉超时的数据，超时的时间目前设置为30S，在删除完成超时数据后，会再以设备维度去取设备维度链表的数据进行特征比对，执行后续的去重操作。

在本实施例中，可以通过将数据进行特征比对的相似度来进行确定重复数据，然后执行去重操作，在步骤102中，在删除完成超时数据后，会再以设备维度去取设备维度链表的数据进行特征比对，若特征不存在相似度达到阈值95％的，则认为不重复。若存在相似度达到阈值95％的，则判断图片质量与重复数据哪个图片质量更高，若新接入数据图片质量分高，则更新内存，若之前的图片质量高，则不更新内存。本实施例中的图片质量可以由接入数据自带，也可以由解析算法根据算法打分获取。

在本实施例中，当偏移量小于2S，首先判断设备是否在异常列表中，若在，则在异常设备列表中删除该设备ID，并在正常的设备列表中新增该设备ID。当上一步骤完成后，以该数据的抓拍时间为准，并以时间维度删除掉内存中加载的超时数据，通过使用以时间维度的链表，可以在不遍历所有的设备的所有数据的情况下，直接通过链表的时间进行删除，加快处理效率。

在本实施例中，对判定为正常设备的超时数据进行删除后，根据所述设备链表中的图像数据进行特征比对，若比对结果不符合预设的相似度阈值，则判定为不重复；若比对结果符合预设的相似度阈值，则判定为重复，则根据图像数据的图像质量，择优选取。具体的，当删除超时数据完成后，通过以设备链表为维度进行数据的特征比对，若特征相似度低于95％(也可以选择其他阈值数值)，则认为没有数据相同，则更新内存，结束流程。若特征相似度高于95％，则认为有相同数据，则进行图片质量的比对，若图片的质量高于之前的数据，则更新内存；若图片的质量低于之前的数据，则不更新内存中的数据。

在本实施例的步骤S103中，当抓拍时间的偏移量与服务器的偏移量大于2S时，判定结果为异常设备，首先加入异常设备列表中并删除正常设备列表中的设备信息，然后根据设备维度删除超时的单个设备的超时数据，删除条件为在抓拍时间的基础上加30S。在上一步骤完成后，则根据设备维度进行超时数据的删除，此处仅删除单个设备的超时数据。在删除超市数据完成后，在根据设备维度进行数据的比对去重，比对去重的逻辑与在阈值内的逻辑一致。均为判断相似度、再判断图片的质量，根据相似度和图片质量确认是否更新内存。

在本实施例中，可以将所有的设备添加的时候，在缓存中加入到正常设备中，当判定存在异常，再在添加异常的时候删除掉，下次正常的时候，再删除异常设备列表。

在本实施例中，由于环境中可能存在设备长时间不上传抓拍时间，预设超时阈值，将抓拍时间和超时阈值作为删除条件，并根据删除条件执行超时数据的删除，当存在一异常设备，且在该异常设备在预设的时间范围内无数据产生时，则对该异常设备的缓存数据进行删除处理，预设的时间范围根据最新的数据接入时间、偏移量和超时阈值获取。具体的，可以设计一个专门进行异常数据的清理的定时服务进程，以释放内存，该进程2min运行一次。通过遍历每个设备，取每个设备的最新一条数据来进行计算。计算的规则为：抓拍时间+偏移量+30S，是否小于服务器时间，若小于服务器时间，则删除该设备的所有抓拍数据，释放内存。若大于服务器时间，则不进行处理。

下面以一个具体实施例进行说明：

实施例1：

本实施例中包括N个前端摄像头，时间偏移量为2S，30S内数据去重，相似度高于95％，认为是同一数据，进行举例说明，如图1所示：

首先在抓拍相机被添加到系统时，内存中会新增一个设备的记录列表，该列表存储正常的设备ID，在收到解析后抓拍图片后，首先判断进入的数据的偏移量与当前的微云服务器中的时间偏移量是否在可接受的范围内：

若在可接受的范围内，则判断设备ID是否在正常设备列表中，若在，则进行后续步骤，若不在正常的设备列表中，则新增该设备ID，并删除异常设备列表中的数据；

若不在阈值内，则判断设备ID是否在异常设备列表中，若在异常设备列表中，则进行后续步骤，若不在异常设备列表中，则在正常设备列表中删除该设备ID并在异常设备列表中加入该设备ID。

接入数据在阈值内，且已经完成了设备列表的校验，则将进行数据的超时判断：

首先，根据时间维度删除掉所有正常的设备的超时数据，删除完成后以设备维度进行数据的比对，比对如果低于阈值95％，则直接更新内存；若高于95％，则判断之前的数据和当前的数据图片的质量分数谁更高，若之前高，则不更新内存，结束，若当前图片高，则更新内存，删除原有数据。

接入数据在阈值外，且已经完成了设备列表的校验，则单个设备信息和抓拍时间删除掉单个设备超时数据，再用设备为维度加载单个设备的数据进行特征比对，比对之后的流程判断与正常的一致。

针对于长时间没有数据产生的设备数据，建立一个定时任务子流程进行数据处理，子流程任务2min运行一次，运行时通过每个设备最新的数据的抓拍时间加上偏移量，再加上30S，来进行判断：

判断结果是否小于服务器的当前时间，

若小于，则删除内存链表中的该设备的所有数据，更新内存。

若不小于，则不做任何操作。

相应的，本实施例还提供一种特征数据去重系统，包括：

数据采集模块，用于获取一接入设备的待处理数据，

数据处理模块，用于根据待处理数据的接入时间与基准时间，判断所述接入设备的设备状态，所述设备状态包括正常设备和异常设备；

若判定所述接入设备为正常设备，则将所述待处理数据的接入时间为基准，对所有正常设备的超时数据进行删除；

若判定所述接入设备为异常设备，则根据设备列表仅对所述异常设备的超时数据进行删除；

数据去重模块，用于对删除超时数据后的数据进行数据特征对比，并完成数据去重。

在本实施例中，特征数据去重系统可以采用上述方法实施例进行，可以根据待处理数据的接入时间与基准时间获取时间的偏移量，

若偏移量在预设的时间阈值范围内，则判定接入设备为正常设备；

若偏移量不在预设的时间阈值范围内，则判定接入设备为异常设备。

在本实施例中，预先建立用于存储所有设备的图像数据的设备维度链表和用于存储所有待处理数据的接入时间的时间链表，设备维度链表包括正常设备链表和异常设备链表，接入设备在接入时初始化判定为正常设备；若根据偏移量判定所述接入设备为正常设备，则统一根据抓拍时间通过时间链表对所有接入设备的超时数据进行删除。

对判定为正常设备的超时数据进行删除后，根据设备链表中的图像数据进行特征比对，

若比对结果不符合预设的相似度阈值，则判定为不重复；

若比对结果符合预设的相似度阈值，则判定为重复，则根据图像数据的图像质量，择优选取。

在本实施例中，若偏移量不在预设的时间阈值范围内，则将接入设备的设备信息加入异常设备列表中，并删除正常设备列表中的设备信息；

根据设备链表对接入设备的超时数据进行删除。

对判定为异常设备的超时数据进行删除后，根据所述设备链表中的图像数据进行特征比对，

若比对结果不符合预设的相似度阈值，则判定为不重复；

若比对结果符合预设的相似度阈值，则判定为重复，则根据图像数据的图像质量，择优选取。

在本实施例中，预设超时阈值，将抓拍时间和超时阈值作为删除条件，并根据删除条件执行超时数据的删除，当存在一异常设备，且在异常设备在预设的时间范围内无数据产生时，则对该异常设备的缓存数据进行删除处理，预设的时间范围根据最新的数据接入时间、偏移量和超时阈值获取。可选的，可以定时获取每个接入设备的最新数据，若一异常设备的抓拍时间、偏移量、超时阈值之和小于服务器时间，则删除异常设备的所有待处理数据。

本实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本实施例中的任一项方法。

本实施例还提供一种电子终端，包括：处理器及存储器；

所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行本实施例中任一项方法。

本实施例中的计算机可读存储介质，本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过计算机程序相关的硬件来完成。前述的计算机程序可以存储于一计算机可读存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

本实施例提供的电子终端，包括处理器、存储器、收发器和通信接口，存储器和通信接口与处理器和收发器连接并完成相互间的通信，存储器用于存储计算机程序，通信接口用于进行通信，处理器和收发器用于运行计算机程序，使电子终端执行如上方法的各个步骤。

在本实施例中，存储器可能包含随机存取存储器(Random Access Memory，简称RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。

上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

在上述实施例中，说明书对“本实施例”、“一实施例”、“另一实施例”、或“其他实施例”的提及表示结合实施例说明的特定特征、结构或特性包括在至少一些实施例中，但不必是全部实施例。“本实施例”、“一实施例”、“另一实施例”的多次出现不一定全部都指代相同的实施例。

在上述实施例中，尽管已经结合了本发明的具体实施例对本发明进行了描述，但是根据前面的描述，这些实施例的很多替换、修改和变形对本领域普通技术人员来说将是显而易见的。例如，其他存储结构(例如，动态RAM(DRAM))可以使用所讨论的实施例。本发明的实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本发明可用于众多通用或专用的计算系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。

本发明可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本发明，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

上述实施例仅示例性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，但凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (12)

1.一种特征数据去重的方法，其特征在于，包括：

获取一接入设备的待处理数据，根据待处理数据的接入时间与基准时间，判断所述接入设备的设备状态，所述设备状态包括正常设备和异常设备；

若判定所述接入设备为正常设备，则根据所述待处理数据的接入时间，对所有正常设备的超时数据进行删除；

若判定所述接入设备为异常设备，则仅对所述异常设备的超时数据进行删除；

对删除超时数据后的数据进行数据特征对比，并完成数据去重。

2.根据权利要求1所述的特征数据去重的方法，其特征在于，所述待处理数据的接入时间包括抓拍时间，所述基准时间包括服务器时间，根据待处理数据的接入时间与基准时间获取时间的偏移量，

若所述偏移量在预设的时间阈值范围内，则判定所述接入设备为正常设备；

若所述偏移量不在预设的时间阈值范围内，则判定所述接入设备为异常设备。

3.根据权利要求2所述的特征数据去重的方法，其特征在于，预先建立用于存储所有设备的图像数据的设备维度链表和用于存储所有待处理数据的接入时间的时间链表，所述设备维度链表包括正常设备链表和异常设备链表，所有接入设备在接入时初始化判定为正常设备；

若根据所述偏移量判定所述接入设备为正常设备，则统一根据抓拍时间通过时间链表对所有正常设备的超时数据进行删除。

4.根据权利要求3所述的特征数据去重的方法，其特征在于，

对判定为正常设备的超时数据进行删除后，根据所述设备链表中的图像数据进行特征比对，

若比对结果不符合预设的相似度阈值，则判定为不重复；

若比对结果符合预设的相似度阈值，则判定为重复，则根据图像数据的图像质量，择优选取。

5.根据权利要求3所述的特征数据去重的方法，其特征在于，

若所述偏移量不在预设的时间阈值范围内，则将所述接入设备的设备信息加入异常设备列表中，并删除正常设备列表中的设备信息；

根据设备链表仅对所述异常设备的超时数据进行删除。

6.根据权利要求5所述的特征数据去重的方法，其特征在于，

对判定为异常设备的超时数据进行删除后，根据所述设备链表中的图像数据进行特征比对，

若比对结果不符合预设的相似度阈值，则判定为不重复；

若比对结果符合预设的相似度阈值，则判定为重复，则根据图像数据的图像质量，择优选取。

7.根据权利要求5所述的特征数据去重的方法，其特征在于，预设超时阈值，将抓拍时间和超时阈值作为删除条件，并根据删除条件执行超时数据的删除。

8.根据权利要求7所述的特征数据去重的方法，其特征在于，当存在一异常设备，且在所述异常设备在预设的时间范围内无数据产生时，则对所述异常设备的缓存数据进行删除处理，所述预设的时间范围根据最新的数据接入时间、偏移量和超时阈值获取。

9.根据权利要求8所述的特征数据去重的方法，其特征在于，定时获取每个接入设备的最新数据，若一异常设备的抓拍时间、偏移量、超时阈值之和小于服务器时间，则删除所述异常设备的所有待处理数据。

10.一种特征数据去重系统，其特征在于，包括：

数据采集模块，用于获取一接入设备的待处理数据，

数据处理模块，用于根据待处理数据的接入时间与基准时间，判断所述接入设备的设备状态，所述设备状态包括正常设备和异常设备；

若判定所述接入设备为正常设备，则根据所述待处理数据的接入时间，对所有正常设备的超时数据进行删除；

若判定所述接入设备为异常设备，则仅对所述异常设备的超时数据进行删除；

数据去重模块，用于对删除超时数据后的数据进行数据特征对比，并完成数据去重。

11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现权利要求1至9中任一项所述方法。

12.一种电子终端，其特征在于，包括：处理器及存储器；

所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行如权利要求1至9中任一项所述方法。

Images