CN114445737A - 数据处理方法、装置、电子设备及存储介质 - Google Patents

Abstract

本发明实施例提供一种数据处理方法，包括将待处理视频流输入到预先训练好的目标检测网络中，得到待处理视频流所包含的待处理对象对应的结构化特征数据序列；基于预设的时间分片策略对待处理对象的结构化特征数据序列进行分片，并对分片后的结构化特征数据序列进行第一去重处理，得到分片数据；对分片数据进行哈希处理，得到待处理对象的分片哈希数据；基于分片哈希数据，对待处理对象进行第二去重处理，得到待处理视频流所包含的待处理对象的数量结果。通过从视频流中获取人车的结构化特征数据序列，可以避免人车数据的重复统计，提高了人车数量统计结果的准确率。

Description

数据处理方法、装置、电子设备及存储介质

技术领域

本发明涉及数据处理领域，尤其涉及一种数据处理方法、装置、电子设备及存储介质。

背景技术

随着数字化进程的发展，需要数据挖掘和分析越来越重视，然而，随着海量数据被采集和存储，使得重复的数据较多，不利于数据的统计，在数据看板中，对于数据挖掘的结果往往只看的是统计后的数据，比如某时间段的数量。进一步的，在视频流中的人车数据统计中，由于视频流中行人与车辆都是持续出现在视频中某一段时间内的，对于连续多段时间的人车数据统计来说，会存在重复统计的情况，比如，A车在时间段a出现，同时在时间段a－1和时间段a+1都出现，则会在按时段统计时，也将A车统计到时间段a－1和时间段a+1中，造成数据层面的误差，导致统计结果的准确率低，从而降低了数据挖掘的可靠性。

发明内容

本发明实施例提供一种数据处理方法，通过从视频流中获取人车的结构化特征数据序列，将人车的结构化特征数据序列进行分片，对分片的结构化特征数据序列进行第一去重，去掉各分片数据之间重复的结构化数据，对经过哈希处理后得到的分片哈希数据再进行第二去重处理，可以去掉分片数据内重复的结构化数据，从而避免了人车数据的重复统计，提高了人车数量统计结果的准确率；同时，基于哈希处理后得到的分片哈希数据再进行第二去重处理，可以提高第二去重的速度。

第一方面，本发明实施例提供一种数据处理方法，所述方法包括：

将待处理视频流输入到预先训练好的目标检测网络中，得到所述待处理视频流所包含的待处理对象对应的结构化特征数据序列，其中，所述待处理对象的对象类型包括机动车类型、非机动车类型以及行人类型中的至少一项；

基于预设的时间分片策略对所述待处理对象的结构化特征数据序列进行分片，并对分片后的结构化特征数据序列进行第一去重处理，得到分片数据；

对所述分片数据进行哈希处理，得到所述待处理对象的分片哈希数据；

基于所述分片哈希数据，对所述待处理对象进行第二去重处理，得到所述待处理视频流所包含的待处理对象的数量结果。

可选的，所述时间分片策略包括分片时长，在所述基于预设的时间分片策略对所述待处理对象的结构化特征数据序列进行分片之前，所述方法还包括：

按照所述待处理对象的对象类型所对应的速度来确定不同待处理对象的对象类型所对应的分片时长。

可选的，所述基于预设的时间分片策略对所述待处理对象的结构化特征数据序列进行分片，包括：

根据所述待处理对象的对象类型所对应的分片时长，对所述结构化特征数据序列进行分片。

可选的，在所述基于预设的时间分片策略对所述待处理对象的结构化特征数据序列进行分片之前，所述方法还包括：

对于同一类型的待处理对象，在所述同一类型的待处理对象对应的结构化特征数据序列提取第一目标的第一出现时长，所述第一目标为所述同一类型的待处理对象对应的结构化特征数据序列最先出现的单个目标；

在所述同一类型的待处理对象对应的结构化特征数据序列提取第二目标的第二出现时长，所述第二目标的出现时间在第一目标的出现时间内；

若存在第二出现时长大于所述第一出现时长，则根据所述第二出现时长确定所述待处理对象的结构化特征数据序列对应的时间分片策略；

若不存在第二出现时长大于所述第一出现时长，则根据所述第一出现时长确定所述待处理对象的结构化特征数据序列对应的时间分片策略。

可选的，所述对所述分片数据进行哈希处理，得到所述待处理对象的分片哈希数据，包括：

将所述分片数据中每个结构化数据进行二进制哈希编码，得到所述分片数据中每个结构化数据的二进制哈希值；

将所述分片数据中每个结构化数据的二进制哈希值按按照从前往后的时间顺序进行排序，得到所述待处理对象的分片哈希数据。

可选的，所述基于所述分片哈希数据，对所述待处理对象进行第二去重处理，得到所述待处理视频流所包含的待处理对象的数量结果，包括：

获取二进制哈希值的后N位二进制值，并将所述二进制哈希值的后N位二进制值转换为10进制，得到所述二进制哈希值的编号；

维护2N个计数容器，每个计数容器根据10进制数字进行编号；

根据所述二进制哈希值的编号将所述二进制哈希值放入对应编号的计数容器中；

根据所述计数容器中每个二进制哈希值前M位二进制值与其他二进制哈希值前M位二进制值进行去重，得到每个计数容器中二进制哈希值的去重后数量；

将所有计数容器的去重后数量进行相加，得到所述待处理对象在对应的时间分片策略下的数量结果。

可选的，所述对分片后的结构化特征数据序列进行第一去重处理，包括：

在当前时间片n中，在所述同一类型的待处理对象对应的结构化特征数据序列提取第三目标的第三出现时长；

当所述第三出现时长小于预设时长时，则根据第三目标对应的结构化数据判断上一时间片n－1和/或下一时间片n+1中是否存在第三目标的结构化特征数据序列；

若所述上一时间片n－1和/或下一时间片n+1中存在所述第三目标的结构化特征数据序列，则根据所述第三目标的结构化特征数据序列提取第三目标的第四出现时长；

若所述第四出现时长大于所述第三出现时长，则将所述第三目标的结构化特征数据序列从所述当前时间片n中删除；

若所述第四出现时长小于所述第三出现时长，则将所述第三目标的结构化特征数据序列从所述上一时间片n－1和/或下一时间片n+1中删除。

第二方面，本发明实施例提供一种数据处理装置，所述装置包括：

第一处理模块，用于将待处理视频流输入到预先训练好的目标检测网络中，得到所述待处理视频流所包含的待处理对象对应的结构化特征数据序列，其中，所述待处理对象的对象类型包括机动车类型、非机动车类型以及行人类型中的至少一项；

分片模块，用于基于预设的时间分片策略对所述待处理对象的结构化特征数据序列进行分片，并对分片后的结构化特征数据序列进行第一去重处理，得到分片数据；

第二处理模块，用于对所述分片数据进行哈希处理，得到所述待处理对象的分片哈希数据；

第三处理模块，用于基于所述分片哈希数据，对所述待处理对象进行第二去重处理，得到所述待处理视频流所包含的待处理对象的数量结果。

第三方面，本发明实施例提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本发明实施例提供的数据处理方法中的步骤。

第四方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现发明实施例提供的数据处理方法中的步骤。

本发明实施例中，将待处理视频流输入到预先训练好的目标检测网络中，得到所述待处理视频流所包含的待处理对象对应的结构化特征数据序列，其中，所述待处理对象的对象类型包括机动车类型、非机动车类型以及行人类型中的至少一项；基于预设的时间分片策略对所述待处理对象的结构化特征数据序列进行分片，并对分片后的结构化特征数据序列进行第一去重处理，得到分片数据；对所述分片数据进行哈希处理，得到所述待处理对象的分片哈希数据；基于所述分片哈希数据，对所述待处理对象进行第二去重处理，得到所述待处理视频流所包含的待处理对象的数量结果。通过从视频流中获取人车的结构化特征数据序列，将人车的结构化特征数据序列进行分片，对分片的结构化特征数据序列进行第一去重，去掉各分片数据之间重复的结构化数据，对经过哈希处理后得到的分片哈希数据再进行第二去重处理，可以去掉分片数据内重复的结构化数据，从而避免了人车数据的重复统计，提高了人车数量统计结果的准确率；同时，基于哈希处理后得到的分片哈希数据再进行第二去重处理，可以提高第二去重的速度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种数据处理方法的流程图；

图2是本发明实施例提供的一种数据处理装置的结构示意图；

图3是本发明实施例提供的另一种数据处理装置的结构示意图；

图4是本发明实施提供的另一种分片模块的结构示意图；

图5是本发明实施例提供的一种第二处理模块的结构示意图；

图6是本发明实施例提供的一种第三处理模块的结构示意图；

图7是本发明实施例提供的另一种分片模块的结构示意图；

图8是本发明实施例提供的一种电子设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参见图1，图1是本发明实施例提供的一种数据处理方法的流程图，如图1所示，该数据处理方法包括以下步骤：

101、将待处理视频流输入到预先训练好的目标检测网络中，得到待处理视频流所包含的待处理对象对应的结构化特征数据序列。

在本发明实施例中，上述待处理视频流可以是采集设备采集的实时视频流，比如机场摄像头、公路摄像头、商场摄像头等实时采集的视频流；上述待处理视频流也可以是离线视频流，比如已经存储好的视频流或者用户上传的视频流，上述待处理对象的对象类型包括机动车类型、非机动车类型以及行人类型中的至少一项。

上述预先训练好的目标检测网络可以是基于深度学习的目标检测网络，上述目标检测网络可以是现有的目标检测网络，上述目标检测网络经过深度学习(训练)后，可以检测出对应的结构化数据，上述结构化数据包括车辆、车辆属性、行人以及行人属性，上述车辆包括机动车以及非机动车，上述车辆属性可以是车牌、车辆类型、品牌、颜色等，上述行人属性可以是行人的上衣颜色、下衣颜色、携带物、身高、佩带物等。上述结构化数据可以用于在网页上实时展示，方便办案人员直观查看，同时也可以存储在数据库中，方便办案人员回溯；另一方面，通过MQ消息队列的方式放入缓存，用于对结构化数据中的车辆行人的统计。

上述待处理视频流是由连续的图像帧构成，比如，一段50秒的视频流，由每秒30帧，总共1500帧的图像帧按时序构成，在目标检测网络中，对每帧图像帧都会进行检测，因此，每帧图像帧都会产生对应的结构化数据，将该结构化数据按对应图像帧的时序进行排列，则得到上结构化特征数据序列。

102、基于预设的时间分片策略对所述待处理对象的结构化特征数据序列进行分片，并对分片后的结构化特征数据序列进行第一去重处理，得到分片数据。

在本发明实施例中，上述待处理对象的对象类型包括机动车类型、非机动车类型以及行人类型中的至少一项。待处理对象的对象类型不同，对应的时间分片策略不同。

上述时间分片策略可以是根据预设的时间来进行确定，比如机动车对应的时间分片策略可以是10S，非机动车对应的时间分片策略可以是20S，行人对应的分片策略可以是30S。

在一种可能的实施例中，对于同一类型的待处理对象，可以在上述同一类型的待处理对象对应的结构化特征数据序列提取第一目标的第一出现时长，上述第一目标为上述同一类型的待处理对象对应的结构化特征数据序列最先出现的单个目标；在上述同一类型的待处理对象对应的结构化特征数据序列提取第二目标的第二出现时长，上述第二目标的出现时间在第一目标的出现时间内；若存在第二出现时长大于上述第一出现时长，则根据上述第二出现时长确定上述待处理对象的结构化特征数据序列对应的时间分片策略；若不存在第二出现时长大于上述第一出现时长，则根据上述第一出现时长确定上述待处理对象的结构化特征数据序列对应的时间分片策略。

具体的，对于同一类型的待处理对象，在上述同一类型的待处理对象对应的结构化特征数据序列提取第一目标的出现时间T0以及离开时间T1，上述第一目标为上述同一类型的待处理对象对应的结构化特征数据序列最先出现的单个目标；在上述同一类型的待处理对象对应的结构化特征数据序列提取第二目标的出现时间T3以及离开时间T4，上述第二目标的出现时间T3在第一目标的出现时间T0以及离开时间T1之间；根据上述出现时间T0以及离开时间T1计算上述第一目标的第一出现时长；以及根据上述出现时间T3以及离开时间T4计算上述第二目标的第二出现时长。

可选的，可以按照待处理对象的对象类型所对应的速度来确定不同待处理对象的对象类型所对应的分片时长。

在一种可能的实施例中，可以根据上述机动车类型中机动车的速度确定第一时间长度，并根据上述第一时间长度确定上述时间分片策略为按第一时间长度进行分片；以及根据上述非机动车类型中非机动车的速度确定第二时间长度，并根据上述第二时间长度确定上述时间分片策略为按第二时间长度进行分片；以及根据上述行人类型中行人的速度确定第三时间长度，并根据上述第三时间长度确定上述时间分片策略为按第三时间长度进行分片；其中，上述第一时间长度小于上述第二时间长度，上述第二时间长度小上述第三时间长度。

具体的，可以截取所述机动车对应的结构化特征数据序列中的一段时间，计算该段时间内机动车的平均速度，计算在该机动车的平均速度下，机动车通过画面的时间长度作为第一时间长度。同样的，可以截取所述非机动车对应的结构化特征数据序列中的一段时间，计算该段时间内非机动车的平均速度，计算在该非机动车的平均速度下，非机动车通过画面的时间长度作为第二时间长度。可以截取所述行人对应的结构化特征数据序列中的一段时间，计算该段时间内行人的平均速度，计算在该行人的平均速度下，行人通过画面的时间长度作为第三时间长度。

在本发明实施例中，通过待处理对象的平均速度来确定分片的时间长度，可以确定每个分片数据中的目标数量，使得目标数量不会过多而导致分片数据的数据量大，也不会使得目标数量过少而导致分片数据的数据分散。

可选的，可以根据待处理对象的对象类型所对应的分片时长，对结构化特征数据序列进行分片。

在一种可能的实施例中，可以为上述机动车类型的结构化特征数据序列匹配按第一时间长度进行分片的时间分片策略，并基于上述第一时间长度对上述机动车类型的结构化特征数据序列进行分片；和/或为上述非机动车类型的结构化特征数据序列匹配按第二时间长度进行分片的时间分片策略，并基于上述第二时间长度对上述非机动车类型的结构化特征数据序列进行分片；和/或为上述行人类型的结构化特征数据序列匹配按第一时间长度进行分片的时间分片策略，并基于上述第三时间长度对上述机动车类型的结构化特征数据序列进行分片。根据待处理对象的不同类型，匹配不同的时间分片策略，可以提高分片的灵活性。

需要说明的是，一般情况下，在需要统计包括时间段a、时间段a－1和时间段a+1三个时间在内的较长时段的，因为存在重复统计的情况，所以无法直接用这三个时间段的统计数量来直接进行相加，需要重新进行该较长时段的人车数据统计，也需要一个上级界面来支持该较长时段的人车数据统计，这样，无疑增加了统计计算的次数。而在本发明实施例中，可以对分片后的结构化特征数据序列进行第一去重，上述第一去重为片间去重，指的是对相邻的结构化特征数据序列进行去重。

可选的，可以在当前时间片n中，在上述同一类型的待处理对象对应的结构化特征数据序列提取第三目标的第三出现时长；当上述第三出现时长小于预设时长时，则根据第三目标对应的结构化数据判断上一时间片n－1和/或下一时间片n+1中是否存在第三目标的结构化特征数据序列；若上述上一时间片n－1和/或下一时间片n+1中存在上述第三目标的结构化特征数据序列，则根据上述第三目标的结构化特征数据序列提取第三目标的第四出现时长；若上述第四出现时长大于上述第三出现时长，则将上述第三目标的结构化特征数据序列从上述当前时间片n中删除；若上述第四出现时长小于上述第三出现时长，则将上述第三目标的结构化特征数据序列从上述上一时间片n－1和/或下一时间片n+1中删除。每个上述结构化数据对应一个检测框ID，上述检测框ID由上述目标检测网络进行分配，每个检测框ID代表一个目标，可以根据上述检测框ID，在上述同一类型的待处理对象对应的结构化特征数据序列提取第三目标的第三出现时长；可以根据上述检测框ID判断上一时间片n－1和/或下一时间片n+1中是否存在第三目标的结构化特征数据序列；以及可以根据上述检测框ID在上一时间片n－1和/或下一时间片n+1中对应第三目标的结构化特征数据序列提取第三目标的第四出现时长。

通过第一去重，可以将相邻分片数据之间的重复的目标进行去除，并且将重复的目标合理的分配到出现时长最长的分片数据中。

103、对分片数据进行哈希处理，得到待处理对象的分片哈希数据。

在本发明实施例中，上述哈希处理是通过一个哈希函数进行实现，需要说明的是，在哈希处理过程中，相同的数据具有相同的哈希值，不同的数据对应不同的哈希值。

可选的，可以将上述分片数据中每个结构化数据进行二进制哈希编码，得到上述分片数据中每个结构化数据的二进制哈希值；将上述分片数据中每个结构化数据的二进制哈希值按按照从前往后的时间顺序进行排序，得到上述待处理对象的分片哈希数据。上述二进制哈希编码中包括0和1，一个二进制哈希值中包括不同位置的0和1，上述二进制哈希值的长度为L，上述二进制哈希值的长度表示有多少个0和1。

在本发明实施例中，通过哈希处理，将待处理对象的结构化数据转换为对应的二进制哈希值，方便存储的同时，基于二进制哈希值的计算会更简单，从而可以提高后续第二去重处理的速度。

104、基于所述分片哈希数据，对待处理对象进行第二去重处理，得到待处理视频流所包含的待处理对象的数量结果。

在本发明实施例中，上述数量结果可以是待处理对象的数量统计结果。

需要说明的是，由于大多数目标统计采用的目标检测网络都是采用的检测框ID来时行统计，有多少个检测框ID就有多少个目标，然而由于在视频流的检测过程中，可能存在目标暂时被遮挡住，导致同一个目标因算法重启而分配了两个不同的检测框ID，也会造成重复统计。因此，需要对分片数据进行片内去重，即第二去重处理。

可选的，在本发明实施例中，可以获取二进制哈希值的后N位二进制值，并将上述二进制哈希值的后N位二进制值转换为10进制，得到上述二进制哈希值的编号；维护2^N个计数容器，每个计数容器根据10进制数字进行编号；根据上述二进制哈希值的编号将上述二进制哈希值放入对应编号的计数容器中；根据上述计数容器中每个二进制哈希值前M位二进制值与其他二进制哈希值前M位二进制值进行去重，得到每个计数容器中二进制哈希值的去重后数量；将所有计数容器的去重后数量进行相加，得到上述待处理对象在对应的时间分片策略下的数量结果。通过二进制哈希值进行第二去重，在提高去重准确度的情况下，可以节省缓存读写开销和计算开销，提高第二去重的计算速度。

在一种可能的实施例中，上述后N位与前M位的关系可以是N+M＝L或者N+M＝L+b，b是大于0的整数，通过后N位二进制值将上述二进制哈希值进行划分，可以将后N位二进制值相同的所有二进制哈希值分配到同一个计数容器中；再将前M位二进制值进行比较，前M位二进制值相同的二进制哈希值为同一个目标对应的二进制哈希值，前M位二进制值不相同的二进制哈希值为两个不同目标对应的二进制哈希值。从而可以统计出一个计数容器中不同的二进制哈希值，确定一个计数容器对应的目标数量。

在一种可能的实施例中，待处理对象的数量结果包括对应类型中每个时间分片的目标数量结果，可以直接将时间分片的目标数量结果进行展示。需要说明的是，在得到待处理对象的数量结果后，由于第一去重对不同时间分片之间进行去重，第二去重对同一时间分片内进行去重，避免各个时间分片的目标数量出现重复统计，不同时间分片的目标数量相加，可以得到聚合时间分片的目标数量结果。具体的，可以将时间分片对应的目标数量作为基础统计数量进行存储，在需要聚合时间分析时，聚合对应的时间分片并将对应的时间分片的目标数量进行相加，得到聚合时间分片的目标数量结果进行展示。

在本发明实施例中，将待处理视频流输入到预先训练好的目标检测网络中，得到所述待处理视频流所包含的待处理对象对应的结构化特征数据序列，其中，所述待处理对象的对象类型包括机动车类型、非机动车类型以及行人类型中的至少一项；基于预设的时间分片策略对所述待处理对象的结构化特征数据序列进行分片，并对分片后的结构化特征数据序列进行第一去重处理，得到分片数据；对所述分片数据进行哈希处理，得到所述待处理对象的分片哈希数据；基于所述分片哈希数据，对所述待处理对象进行第二去重处理，得到所述待处理视频流所包含的待处理对象的数量结果。通过从视频流中获取人车的结构化特征数据序列，将人车的结构化特征数据序列进行分片，对分片的结构化特征数据序列进行第一去重，去掉各分片数据之间重复的结构化数据，对经过哈希处理后得到的分片哈希数据再进行第二去重处理，可以去掉分片数据内重复的结构化数据，从而避免了人车数据的重复统计，提高了人车数量统计结果的准确率；同时，基于哈希处理后得到的分片哈希数据再进行第二去重处理，可以提高第二去重的速度。

需要说明的是，本发明实施例提供的数据处理方法可以应用于可以进行数据处理的智能手机、电脑、服务器等设备。

可选的，请参见图2，图2是本发明实施例提供的一种数据处理装置的结构示意图，如图2所示，所述装置包括：

第一处理模块201，用于将待处理视频流输入到预先训练好的目标检测网络中，得到所述待处理视频流所包含的待处理对象对应的结构化特征数据序列，其中，所述待处理对象的对象类型包括机动车类型、非机动车类型以及行人类型中的至少一项；

分片模块202，用于基于预设的时间分片策略对所述待处理对象的结构化特征数据序列进行分片，并对分片后的结构化特征数据序列进行第一去重处理，得到分片数据；

第二处理模块203，用于对所述分片数据进行哈希处理，得到所述待处理对象的分片哈希数据；

第三处理模块204，用于基于所述分片哈希数据，对所述待处理对象进行第二去重处理，得到所述待处理视频流所包含的待处理对象的数量结果。

可选的，所述时间分片策略包括分片时长，如图3所示，所述装置还包括：

第一确定模块205，用于按照所述待处理对象的对象类型所对应的速度来确定不同待处理对象的对象类型所对应的分片时长

可选的，所述分片模块202还用于根据所述待处理对象的对象类型所对应的分片时长，对所述结构化特征数据序列进行分片。

可选的，如图4所示，所述分片模块202，还包括：

第一提取单元2024，用于对于同一类型的待处理对象，在所述同一类型的待处理对象对应的结构化特征数据序列提取第一目标的第一出现时长，所述第一目标为所述同一类型的待处理对象对应的结构化特征数据序列最先出现的单个目标；

第二提取单元2025，用于在所述同一类型的待处理对象对应的结构化特征数据序列提取第二目标的第二出现时长，所述第二目标的出现时间在第一目标的出现时间内；

第一确定单元2026，用于若存在第二出现时长大于所述第一出现时长，则根据所述第二出现时长确定所述待处理对象的结构化特征数据序列对应的时间分片策略；

第二确定单元2027，用于若不存在第二出现时长大于所述第一出现时长，则根据所述第一出现时长确定所述待处理对象的结构化特征数据序列对应的时间分片策略。

可选的，如图5所示，所述第二处理模块203，包括：

第一编码单元2031，用于将所述分片数据中每个结构化数据进行二进制哈希编码，得到所述分片数据中每个结构化数据的二进制哈希值；

排序单元2032，用于将所述分片数据中每个结构化数据的二进制哈希值按照从前往后的时间顺序进行排序，得到所述待处理对象的分片哈希数据。

可选的，如图6所示，所述第三处理模块204，包括：

获取单元2041，用于获取二进制哈希值的后N位二进制值，并将所述二进制哈希值的后N位二进制值转换为10进制，得到所述二进制哈希值的编号；

第二编号单元2042，用于维护2^N个计数容器，每个计数容器根据10进制数字进行编号；

放入单元2043，用于根据所述二进制哈希值的编号将所述二进制哈希值放入对应编号的计数容器中；

去重单元2044，用于根据所述计数容器中每个二进制哈希值前M位二进制值与其他二进制哈希值前M位二进制值进行去重，得到每个计数容器中二进制哈希值的去重后数量；

相加单元2045，用于将所有计数容器的去重后数量进行相加，得到所述待处理对象在对应的时间分片策略下的数量结果。

可选的，如图7所示，所述分片模块202，还包括：

第三提取单元2028，用于在当前时间片n中，在所述同一类型的待处理对象对应的结构化特征数据序列提取第三目标的第三出现时长；

判断单元2029，用于当所述第三出现时长小于预设时长时，则根据第三目标对应的结构化数据判断上一时间片n－1和/或下一时间片n+1中是否存在第三目标的结构化特征数据序列；

第四提取单元20210，用于若所述上一时间片n－1和/或下一时间片n+1中存在所述第三目标的结构化特征数据序列，则根据所述第三目标的结构化特征数据序列提取第三目标的第四出现时长；

第一删除单元20211，用于若所述第四出现时长大于所述第三出现时长，则将所述第三目标的结构化特征数据序列从所述当前时间片n中删除；

第二删除单元20212，用于若所述第四出现时长小于所述第三出现时长，则将所述第三目标的结构化特征数据序列从所述上一时间片n－1和/或下一时间片n+1中删除。

需要说明的是，本发明实施例提供的数据处理装置可以应用于可以进行数据处理的智能手机、电脑、服务器等设备。

本发明实施例提供的数据处理装置能够实现上述方法实施例中数据处理方法实现的各个过程，且可以达到相同的有益效果。为避免重复，这里不再赘述。

参见图8，图8是本发明实施例提供的一种电子设备的结构示意图，如图8所示，包括：存储器802、处理器801及存储在所述存储器802上并可在所述处理器801上运行的数据处理方法的计算机程序，其中：

处理器801用于调用存储器802存储的计算机程序，执行如下步骤：

处理器801执行的，将待处理视频流输入到预先训练好的目标检测网络中，得到所述待处理视频流所包含的待处理对象对应的结构化特征数据序列，其中，所述待处理对象的对象类型包括机动车类型、非机动车类型以及行人类型中的至少一项；

基于预设的时间分片策略对所述待处理对象的结构化特征数据序列进行分片，并对分片后的结构化特征数据序列进行第一去重处理，得到分片数据；

对所述分片数据进行哈希处理，得到所述待处理对象的分片哈希数据；

基于所述分片哈希数据，对所述待处理对象进行第二去重处理，得到所述待处理视频流所包含的待处理对象的数量结果。

可选的，所述时间分片策略包括分片时长，在所述基于预设的时间分片策略对所述待处理对象的结构化特征数据序列进行分片之前，处理器801执行的，所述方法还包括：

按照所述待处理对象的对象类型所对应的速度来确定不同待处理对象的对象类型所对应的分片时长。

可选的，处理器801执行的，所述基于预设的时间分片策略对所述待处理对象的结构化特征数据序列进行分片，包括：

根据所述待处理对象的对象类型所对应的分片时长，对所述结构化特征数据序列进行分片。

可选的，在所述基于预设的时间分片策略对所述待处理对象的结构化特征数据序列进行分片之前，处理器801执行的，所述方法还包括：

对于同一类型的待处理对象，在所述同一类型的待处理对象对应的结构化特征数据序列提取第一目标的第一出现时长，所述第一目标为所述同一类型的待处理对象对应的结构化特征数据序列最先出现的单个目标；

在所述同一类型的待处理对象对应的结构化特征数据序列提取第二目标的第二出现时长，所述第二目标的出现时间在第一目标的出现时间内；

若存在第二出现时长大于所述第一出现时长，则根据所述第二出现时长确定所述待处理对象的结构化特征数据序列对应的时间分片策略；

若不存在第二出现时长大于所述第一出现时长，则根据所述第一出现时长确定所述待处理对象的结构化特征数据序列对应的时间分片策略。

可选的，处理器801执行的，所述对所述分片数据进行哈希处理，得到所述待处理对象的分片哈希数据，包括：

将所述分片数据中每个结构化数据进行二进制哈希编码，得到所述分片数据中每个结构化数据的二进制哈希值；

将所述分片数据中每个结构化数据的二进制哈希值按按照从前往后的时间顺序进行排序，得到所述待处理对象的分片哈希数据。

可选的，处理器801执行的，所述基于所述分片哈希数据，对所述待处理对象进行第二去重处理，得到所述待处理视频流所包含的待处理对象的数量结果，包括：

获取二进制哈希值的后N位二进制值，并将所述二进制哈希值的后N位二进制值转换为10进制，得到所述二进制哈希值的编号；

维护2N个计数容器，每个计数容器根据10进制数字进行编号；

根据所述二进制哈希值的编号将所述二进制哈希值放入对应编号的计数容器中；

根据所述计数容器中每个二进制哈希值前M位二进制值与其他二进制哈希值前M位二进制值进行去重，得到每个计数容器中二进制哈希值的去重后数量；

将所有计数容器的去重后数量进行相加，得到所述待处理对象在对应的时间分片策略下的数量结果。

可选的，处理器801执行的，所述对分片后的结构化特征数据序列进行第一去重处理，包括：

在当前时间片n中，在所述同一类型的待处理对象对应的结构化特征数据序列提取第三目标的第三出现时长；

当所述第三出现时长小于预设时长时，则根据第三目标对应的结构化数据判断上一时间片n－1和/或下一时间片n+1中是否存在第三目标的结构化特征数据序列；

若所述上一时间片n－1和/或下一时间片n+1中存在所述第三目标的结构化特征数据序列，则根据所述第三目标的结构化特征数据序列提取第三目标的第四出现时长；

若所述第四出现时长大于所述第三出现时长，则将所述第三目标的结构化特征数据序列从所述当前时间片n中删除；

若所述第四出现时长小于所述第三出现时长，则将所述第三目标的结构化特征数据序列从所述上一时间片n－1和/或下一时间片n+1中删除。

需要说明的是，本发明实施例提供的电子设备可以应用于可以进行数据处理的智能手机、电脑、服务器等设备。

本发明实施例提供的电子设备能够实现上述方法实施例中数据处理方法实现的各个过程，且可以达到相同的有益效果。为避免重复，这里不再赘述。

本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现本发明实施例提供的数据处理方法或应用端数据处理方法的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存取存储器(Random AccessMemory，简称RAM)等。

以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (10)

1.一种数据处理方法，其特征在于，包括以下步骤：

将待处理视频流输入到预先训练好的目标检测网络中，得到所述待处理视频流所包含的待处理对象对应的结构化特征数据序列，其中，所述待处理对象的对象类型包括机动车类型、非机动车类型以及行人类型中的至少一项；

基于预设的时间分片策略对所述待处理对象的结构化特征数据序列进行分片，并对分片后的结构化特征数据序列进行第一去重处理，得到分片数据；

对所述分片数据进行哈希处理，得到所述待处理对象的分片哈希数据；

基于所述分片哈希数据，对所述待处理对象进行第二去重处理，得到所述待处理视频流所包含的待处理对象的数量结果。

2.如权利要求1所述的方法，其特征在于，所述时间分片策略包括分片时长，在所述基于预设的时间分片策略对所述待处理对象的结构化特征数据序列进行分片之前，所述方法还包括：

按照所述待处理对象的对象类型所对应的速度来确定不同待处理对象的对象类型所对应的分片时长。

3.如权利要求2所述的方法，其特征在于，所述基于预设的时间分片策略对所述待处理对象的结构化特征数据序列进行分片，包括：

根据所述待处理对象的对象类型所对应的分片时长，对所述结构化特征数据序列进行分片。

4.如权利要求1所述的方法，其特征在于，在所述基于预设的时间分片策略对所述待处理对象的结构化特征数据序列进行分片之前，所述方法还包括：

对于同一类型的待处理对象，在所述同一类型的待处理对象对应的结构化特征数据序列提取第一目标的第一出现时长，所述第一目标为所述同一类型的待处理对象对应的结构化特征数据序列最先出现的单个目标；

在所述同一类型的待处理对象对应的结构化特征数据序列提取第二目标的第二出现时长，所述第二目标的出现时间在第一目标的出现时间内；

若存在第二出现时长大于所述第一出现时长，则根据所述第二出现时长确定所述待处理对象的结构化特征数据序列对应的时间分片策略；

若不存在第二出现时长大于所述第一出现时长，则根据所述第一出现时长确定所述待处理对象的结构化特征数据序列对应的时间分片策略。

5.如权利要求1－4中任一所述的方法，其特征在于，所述对所述分片数据进行哈希处理，得到所述待处理对象的分片哈希数据，包括：

将所述分片数据中每个结构化数据进行二进制哈希编码，得到所述分片数据中每个结构化数据的二进制哈希值；

将所述分片数据中每个结构化数据的二进制哈希值按按照从前往后的时间顺序进行排序，得到所述待处理对象的分片哈希数据。

6.如权利要求5所述的方法，其特征在于，所述基于所述分片哈希数据，对所述待处理对象进行第二去重处理，得到所述待处理视频流所包含的待处理对象的数量结果，包括：

获取二进制哈希值的后N位二进制值，并将所述二进制哈希值的后N位二进制值转换为10进制，得到所述二进制哈希值的编号；

维护2^N个计数容器，每个计数容器根据10进制数字进行编号；

根据所述二进制哈希值的编号将所述二进制哈希值放入对应编号的计数容器中；

根据所述计数容器中每个二进制哈希值前M位二进制值与其他二进制哈希值前M位二进制值进行去重，得到每个计数容器中二进制哈希值的去重后数量；

将所有计数容器的去重后数量进行相加，得到所述待处理对象在对应的时间分片策略下的数量结果。

7.如权利要求6所述的方法，其特征在于，所述对分片后的结构化特征数据序列进行第一去重处理，包括：

在当前时间片n中，在所述同一类型的待处理对象对应的结构化特征数据序列提取第三目标的第三出现时长；

当所述第三出现时长小于预设时长时，则根据第三目标对应的结构化数据判断上一时间片n－1和/或下一时间片n+1中是否存在第三目标的结构化特征数据序列；

若所述上一时间片n－1和/或下一时间片n+1中存在所述第三目标的结构化特征数据序列，则根据所述第三目标的结构化特征数据序列提取第三目标的第四出现时长；

若所述第四出现时长大于所述第三出现时长，则将所述第三目标的结构化特征数据序列从所述当前时间片n中删除；

若所述第四出现时长小于所述第三出现时长，则将所述第三目标的结构化特征数据序列从所述上一时间片n－1和/或下一时间片n+1中删除。

8.一种数据处理装置，其特征在于，所述装置包括：

第一处理模块，用于将待处理视频流输入到预先训练好的目标检测网络中，得到所述待处理视频流所包含的待处理对象对应的结构化特征数据序列，其中，所述待处理对象的对象类型包括机动车类型、非机动车类型以及行人类型中的至少一项；

分片模块，用于基于预设的时间分片策略对所述待处理对象的结构化特征数据序列进行分片，并对分片后的结构化特征数据序列进行第一去重处理，得到分片数据；

第二处理模块，用于对所述分片数据进行哈希处理，得到所述待处理对象的分片哈希数据；

第三处理模块，用于基于所述分片哈希数据，对所述待处理对象进行第二去重处理，得到所述待处理视频流所包含的待处理对象的数量结果。

9.一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的数据处理方法中的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的数据处理方法中的步骤。

Images