CN111092926A - 一种数字视网膜多元数据快速关联方法 - Google Patents

Abstract

本申请提供一种数字视网膜多元数据快速关联方法及装置、一种电子设备、一种网络视频监控设备以及一种计算机可读介质。其中，数字视网膜多元数据快速关联方法包括：获取监控视频流；根据所述监控视频流生成数字视网膜数据，其中，所述数字视网膜数据包括根据所述监控视频流提取的目标图像、结构化数据、特征流和浓缩视频流中的多项数据，且所述多项数据中的每一项均携带有摄像头任务标识和时间戳信息；将所述数字视网膜数据上传至云端服务器，以使云端服务器将所述数字视网膜数据分项存储，并根据所述摄像头任务标识和时间戳信息将分项存储的所述数字视网膜数据进行关联。本方法网络传输负荷低，且可有效提升监控视频的调阅效率。

Description

一种数字视网膜多元数据快速关联方法

技术领域

本申请涉及安防监控技术领域，具体涉及一种数字视网膜多元数据快速关联方法及装置、一种电子设备、一种网络视频监控设备以及一种计算机可读介质。

背景技术

随着计算机技术和互联网技术的高速发展，网络监控摄像机已逐步替代传统的本地监控系统而得到广泛普及，其通过将采集的监控录像上传至云端服务器，从而可以使用户在异地随时随地的查看监控录像，实现远程监控。

但是，一方面，现有技术中，上述监控录像仍然主要采用H.264等编码技术进行编码，存在数据压缩效率低、占用存储空间大、网络传输负载较重等问题；另一方面，现有技术往往是将全天候采集的监控视频全部上传到云端服务器，数据冗余度很高，但很难提取全局有价值信息，造成巨大的信息浪费，同时存在较大的存储空间、网络带宽的浪费；再一方面，在公安等部门的实战应用中，监控视频存在视频调阅慢、分析难的问题，如何从海量视频中发现重要而有价值的线索，如快速识别定位目标、挖掘其行动轨迹，对缩短事件处理时间，降低执法人员的工作强度，提高工作效率具有积极意义。

发明内容

本申请的目的是提供一种数字视网膜多元数据快速关联方法及装置、一种电子设备、一种网络视频监控设备以及一种计算机可读介质。

本申请第一方面提供一种数字视网膜多元数据快速关联方法，包括：

获取监控视频流；

根据所述监控视频流生成数字视网膜数据，其中，所述数字视网膜数据包括根据所述监控视频流提取的目标图像、结构化数据、特征流和浓缩视频流中的多项数据，且所述多项数据中的每一项均携带有摄像头任务标识和时间戳信息；

将所述数字视网膜数据上传至云端服务器，以使云端服务器将所述数字视网膜数据分项存储，并根据所述摄像头任务标识和时间戳信息将分项存储的所述数字视网膜数据进行关联。

在本申请第一方面的一些变更实施方式中，所述目标图像、结构化数据和特征流还携带有全局唯一标识信息，并根据所述全局唯一标识信息相互关联；

所述浓缩视频流还携带有视频文件标识信息。

在本申请第一方面的一些变更实施方式中，所述根据所述监控视频流生成数字视网膜数据，包括：

针对所述监控视频流进行目标识别及跟踪处理，添加摄像头任务标识和时间戳信息，得到处理结果；

根据所述处理结果，提取所有已识别目标对象的目标图像，并为每个所述目标图像分配全局唯一标识信息以及添加所述摄像头任务标识和时间戳信息；

针对所述目标对象进行结构化处理和视觉特征提取，并添加所述全局唯一标识信息、摄像头任务标识和时间戳信息后，得到结构化数据和特征流；

对所述监控视频流进行视频浓缩处理并添加时间戳信息和视频文件标识信息，得到浓缩视频流。

本申请第二方面提供一种数字视网膜多元数据快速关联装置，包括：

视频流获取模块，用于获取监控视频流；

数字视网膜数据生成模块，用于根据所述监控视频流生成数字视网膜数据，其中，所述数字视网膜数据包括根据所述监控视频流提取的目标图像、结构化数据、特征流和浓缩视频流中的多项数据，且所述多项数据中的每一项均携带有摄像头任务标识和时间戳信息；

数字视网膜数据上传模块，用于将所述数字视网膜数据上传至云端服务器，以使云端服务器将所述数字视网膜数据分项存储，并根据所述摄像头任务标识和时间戳信息将分项存储的所述数字视网膜数据进行关联。

在本申请第二方面的一些变更实施方式中，所述目标图像、结构化数据和特征流还携带有全局唯一标识信息，并根据所述全局唯一标识信息相互关联；

所述浓缩视频流还携带有视频文件标识信息。

在本申请第二方面的一些变更实施方式中，所述数字视网膜数据生成模块，包括：

目标识别跟踪单元，用于针对所述监控视频流进行目标识别及跟踪处理，添加摄像头任务标识和时间戳信息，得到处理结果；

目标图像提取单元，用于根据所述处理结果，提取所有已识别目标对象的目标图像，并为每个所述目标图像分配全局唯一标识信息以及添加所述摄像头任务标识和时间戳信息；

特征提取单元，用于针对所述目标对象进行结构化处理和视觉特征提取，并添加所述全局唯一标识信息、摄像头任务标识和时间戳信息后，得到结构化数据和特征流；

视频浓缩单元，用于对所述监控视频流进行视频浓缩处理并添加时间戳信息和视频文件标识信息，得到浓缩视频流。

本申请第三方面提供一种数字视网膜多元数据快速关联方法，用于云端服务器，包括：

接收数字视网膜数据，其中，所述数字视网膜数据包括根据所述监控视频流提取的目标图像、结构化数据、特征流和浓缩视频流中的多项数据，且所述多项数据中的每一项均携带有摄像头任务标识和时间戳信息；

将所述数字视网膜数据分项存储，并根据所述摄像头任务标识和时间戳信息将分项存储的所述数字视网膜数据进行关联。

在本申请第三方面的一些变更实施方式中，所述将所述数字视网膜数据分项存储，包括：

将所述目标图像、结构化数据、特征流和浓缩视频流分别存储至特征库、图像库、结构数据库和视频库；

在所述特征库、图像库、结构数据库和视频库的各个数据表中分别建立用于存储所述摄像头任务标识和时间戳信息的表项，并根据所述表项存储所述摄像头任务标识和时间戳信息。

在本申请第三方面的一些变更实施方式中，所述目标图像、结构化数据和特征流还携带有全局唯一标识信息，所述浓缩视频流还携带有视频文件标识信息；

所述将所述数字视网膜数据分项存储，还包括：

在所述特征库、图像库和结构数据库的各个数据表中分别建立用于存储所述全局唯一标识信息的表项，并根据所述表项存储所述全局唯一标识信息；

在所述视频库中的各个数据表中建立用于存储所述视频文件标识信息的表项，并根据所述表项存储所述视频文件标识信息；

建立所述全局唯一标识信息与所述视频文件标识信息的映射关系。

本申请第四方面提供一种数字视网膜多元数据快速关联装置，包括：

数字视网膜数据接收模块，用于接收数字视网膜数据，其中，所述数字视网膜数据包括根据所述监控视频流提取的目标图像、结构化数据、特征流和浓缩视频流中的多项数据，且所述多项数据中的每一项均携带有摄像头任务标识和时间戳信息；

数字视网膜多元数据快速关联模块，用于将所述数字视网膜数据分项存储，并根据所述摄像头任务标识和时间戳信息将分项存储的所述数字视网膜数据进行关联。

在本申请第四方面的一些变更实施方式中，所述数字视网膜多元数据快速关联模块，包括：

分项存储单元，用于将所述目标图像、结构化数据、特征流和浓缩视频流分别存储至特征库、图像库、结构数据库和视频库；

时间戳信息存储单元，用于在所述特征库、图像库、结构数据库和视频库的各个数据表中分别建立用于存储所述摄像头任务标识和时间戳信息的表项，并根据所述表项存储所述摄像头任务标识和时间戳信息。

在本申请第四方面的一些变更实施方式中，所述目标图像、结构化数据和特征流还携带有全局唯一标识信息，所述浓缩视频流还携带有视频文件标识信息；

所述数字视网膜多元数据快速关联模块，还包括：

全局标识信息存储单元，用于在所述特征库、图像库和结构数据库的各个数据表中分别建立用于存储所述全局唯一标识信息的表项，并根据所述表项存储所述全局唯一标识信息；

视频标识信息存储单元，用于在所述视频库中的各个数据表中建立用于存储所述视频文件标识信息的表项，并根据所述表项存储所述视频文件标识信息；

全局标识信息关联单元，用于建立所述全局唯一标识信息与所述视频文件标识信息的映射关系。

本申请第五方面提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序时执行以实现本申请第一方面或第三方面所述的方法。

在本申请第五方面的一些变更实施方式中，所述电子设备为视频智能转换器，所述视频智能转换器的输入端可连接监控摄像机的输出端，用于通过执行本申请第一方面所述的方法，根据所述监控摄像机输出的监控视频流生成数字视网膜数据后上传至云端服务器。

本申请第六方面提供一种网络视频监控设备，包括：监控摄像机和与所述监控摄像机连接的视频智能转换器；

所述监控摄像机用于采集监控视频流，并将所述监控视频流发送给所述视频智能转换器；

所述视频智能转换器用于通过执行本申请第一方面所述的方法，根据所述监控摄像机输出的监控视频流生成数字视网膜数据后上传至云端服务器。

本申请第七方面提供一种计算机可读介质，其上存储有计算机可读指令，所述计算机可读指令可被处理器执行以实现本申请第一方面或第三方面所述的方法。

相较于现有技术，本申请第一方面提供的数字视网膜多元数据快速关联方法，在获取监控视频流后，首先根据所述监控视频流生成数字视网膜数据，其中，所述数字视网膜数据包括根据所述监控视频流提取的目标图像、结构化数据、特征流和浓缩视频流中的多项数据，然后将所述数字视网膜数据上传至云端服务器。一方面，所述数字视网膜数据中的浓缩视频流相较于所述监控视频流，具有占用存储空间小但保真率高等优点，因此，相较于现有技术中将所有监控视频流都上传至云端服务器的方式，本申请方法具有占用存储空间小、网络传输负荷低、传输效率高等优点；另一方面，由于本申请方法还根据监控视频流提取目标图像、结构化数据、特征流并上传至云端服务器，通过上述目标图像、结构化数据、特征流，有助于快速识别定位目标、挖掘其行动轨迹等，可有效提升监控视频的调阅效率；再一方面，本申请方法的每一项数字视网膜数据中都携带有摄像头任务标识和时间戳信息，有助于云端服务器将所述数字视网膜数据分项存储并进行关联，从而提升数据管理效率及检索效率。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本申请的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了本申请的一些实施方式所提供的一种数字视网膜多元数据快速关联方法的流程图；

图2示出了本申请的一些实施方式所提供的一种数字视网膜多元数据快速关联装置的示意图；

图3示出了本申请的一些实施方式所提供的一种数字视网膜多元数据快速关联方法的流程图；

图4示出了本申请的一些实施方式所提供的一种数字视网膜视频监控系统的示意图；

图5示出了本申请的一些实施方式所提供的一种数字视网膜多元数据快速关联装置的示意图；

图6示出了本申请的一些实施方式所提供的一种电子设备的示意图；

图7示出了本申请的一些实施方式所提供的一种网络视频监控设备的示意图；

图8示出了本申请的一些实施方式所提供的一种计算机可读介质的示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施方式。虽然附图中显示了本公开的示例性实施方式，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

需要注意的是，除非另有说明，本申请使用的技术术语或者科学术语应当为本申请所属领域技术人员所理解的通常意义。

另外，术语“第一”和“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

为了便于对本申请下述实施例进行理解，首先，对本申请实施例相关的现有技术信息介绍如下：

目前部署的视频监控系统，采用的是十多年前的技术标准H.264，数据压缩效率低，建设成本高，应用效果差强人意，主要表现在：

1)早期标准压缩效率低。在保证视频质量的情况下，我国部署的三千万摄像机估计需要数千亿元的存储成本，各地在存储空间不足的情况下，往往对视频进行过度压缩，造成大量视频图像质量严重劣化，在发生案件或安全事故时，看不清关键人物和车辆；

2)监控视频联网难。很多省市部署的摄像机都超过百万，但采用老标准编码，在现有通信带宽条件下，能够实时传输的视频只有数百路，大部分监控视频得不到有效利用；

3)高度密集的摄像机无法进行全场景覆盖。尽管部分地区的摄像机分布密集度很高，仍然无法进行全场景覆盖，对于摄像机覆盖的区域地面摄像机拍摄的信息也是有限的，同时全天候采集的视频数据冗余度很高，但很难提取全局有价值信息，造成巨大的信息浪费；

4)海量视频检索难。传统视频监控系统是通过监控人员调阅历史录像来实现事件的回放取证，人工回放录像取证的方式效率低，尽管图像检索技术有了快速的发展，但是在产业界应用，特别是安防领域的大规模应用还亟待解决；

5)缺乏视频精准分析。在公安等部门的实战应用中，视频监控技术存在视频调阅慢、分析难的问题，如何从海量视频中发现重要而有价值的线索，如快速识别定位目标、挖掘其行动轨迹，对缩短事件处理时间，降低执法人员的工作强度，提高工作效率具有积极意义。

鉴于上述问题，本申请实施例提供一种数字视网膜多元数据快速关联方法及装置、一种电子设备、一种网络视频监控设备以及一种计算机可读介质，下面结合附图进行说明。

请参考图1，其示出了本申请的一些实施方式所提供的一种数字视网膜多元数据快速关联方法的流程图，如图所示，所述数字视网膜多元数据快速关联方法可以包括以下步骤：

步骤S101：获取监控视频流。

本申请实施例提供的数字视网膜多元数据快速关联方法的执行主体可以是外接到监控摄像机输出端的、专用于根据监控视频流生成数字视网膜数据的视频智能转换器，也可以是集成有上述视频智能转换器的网络视频监控设备，本申请实施例不做限定。

本步骤可以获取监控摄像头实时采集的监控视频流，从而可以实时地根据所述监控视频流生成数字视网膜数据并上传至云端服务器；也可以获取存量摄像头存储的监控视频流进行处理，本申请实施例不做限定。

步骤S102：根据所述监控视频流生成数字视网膜数据，其中，所述数字视网膜数据包括根据所述监控视频流提取的目标图像、结构化数据、特征流和浓缩视频流中的多项数据，且所述多项数据中的每一项均携带有摄像头任务标识和时间戳信息。

在一些实施方式中，本步骤中，可以通过对所述监控视频流执行目标检测、目标跟踪、结构化处理、视觉特征提取等操作，并添加摄像头任务标识和时间戳信息后，得到所述目标图像、结构化数据和特征流。

在另一些实施方式中，本步骤中，可以采用视频浓缩技术，生成所述监控视频流对应的浓缩视频流。

本申请实施例可以采用现有技术提供的任意视频浓缩技术，根据所述监控视频流生成对应的浓缩视频流。

在一些实施方式中，视频浓缩技术又称视频摘要技术，是对视频内容的简单概括，以自动或半自动的方式，先通过运动目标分析，提取运动目标，然后对各个目标的运动轨迹进行分析，将不同的目标拼接到一个共同的背景场景中，并将它们以某种方式进行组合。视频摘要在视频分析和基于内容的视频检索中扮演着重要角色。

视频浓缩技术的简要流程如下：

1)、运动目标检测，涉及到背景建模，场景分割，运动目标提取等算法；

2)、目标轨迹提取，轨迹提取算法涉及到目标跟踪算法，如camshift、TLD等；

3)、轨迹组合优化，主要是通过组合算法得到轨迹时间序列；

4)、生成浓缩视频，将目标轨迹集合与背景图像拼接成帧，再将帧组合成视频。

在本申请实施例的一些实施方式中，监控摄像机输出的监控视频流可以是以某种编码方式编码的视频流，相应的，所述采用视频浓缩技术，生成所述监控视频流的浓缩视频流，可以包括：

根据所述监控视频流所采用的编码协议，采用对应的解码器对所述监控视频流进行解码；

对解码后的监控视频流，采用视频浓缩技术进行处理，得到浓缩视频帧；

将所述浓缩视频帧采用H.265编码器或AVS2编码器进行编码，并加入摄像头任务标识和时间戳信息，得到浓缩视频流。

例如，所述监控视频流可以是RTSP((Real Time Streaming Protocol)，实时流传输协议，是TCP/IP协议体系中的一个应用层协议)视频流，可以采用RTSP解码器进行解码，对解码后的监控视频流可以采用基于目标的视频浓缩技术或将分辨率浓缩技术等进行视频浓缩处理，然后对浓缩后的视频帧序列进行视频编码(采用H.265/AVS2编码协议)，并在视频流中加入时间戳信息例如显示时间戳(Presentation Time Stamp，PTS)，封装得到浓缩视频流。

在本申请实施例的一些实施方式中，所述目标图像、结构化数据和特征流还携带有全局唯一标识信息，并根据所述全局唯一标识信息相互关联；

所述浓缩视频流还携带有视频文件标识信息，基于上述全局唯一标识信息和视频文件标识信息，云端服务器可以将上述四项数字视网膜数据进行相互关联。

在上述实施方式的基础上，在一些实施方式中，所述根据所述监控视频流生成数字视网膜数据，可以包括以下步骤S1021-S1024：

步骤S1021：针对所述监控视频流进行目标识别及跟踪处理，添加摄像头任务标识和时间戳信息，得到处理结果。

例如，在一些实施方式中，步骤S1021可以包括：

对获取的监控视频流解码并完成目标检测跟踪处理，对处理后的结果增加handle项(用于存储摄像头任务标识，例如摄像头任务ID)和pts项(用于存储时间戳信息)，可按如下操作：

协议：zmq-req/rep；

发起方：检测跟踪程序；

步骤S1022：根据步骤S1021得到的所述处理结果，提取所有已识别目标对象的目标图像，并为每个所述目标图像分配全局唯一标识信息(GUID)以及添加所述摄像头任务标识和时间戳信息。

例如，在一些实施方式中，步骤S1022可以包括：

根据目标检测跟踪处理后的结果提取所有目标的目标图像，并为每一目标图像分配唯一目标ID(即全局唯一标识信息)，并传递步骤S1021中添加的handle项和pts项，可按如下操作：

协议：zmq-req/rep

发起方：调度程序；

步骤S1023：针对所述目标对象进行结构化处理和视觉特征提取，并添加所述全局唯一标识信息、摄像头任务标识和时间戳信息后，得到结构化数据和特征流。

例如，在一些实施方式中，步骤S1023可以包括：

对得到的目标图像进行目标结构化处理、视觉特征提取，并在结果中传递步骤S1021中添加的handle项和pts项。例如，结构化处理可按如下操作:

协议：zmq-req/rep

发起方：结构化处理程序

步骤S1024：对所述监控视频流进行视频浓缩处理并添加时间戳信息和视频文件标识信息，得到浓缩视频流。

例如，在一些实施方式中，步骤S1024可以包括：

对解码后的视频序列进行浓缩编码，并在编码后的视频码流中增加handle项和pts项，可按如下操作：

协议：zmq-req/rep

发起方：转码程序(qtran)；

其中，filename_pts项存储的视频文件时戳是视频文件标识信息的一种，此外，所述视频文件标识信息也可以通过对上述视频文件时戳进行格式转换(例如基于int64小端序)得到的标识信息，本申请实施例不做限定。

步骤S103：将所述数字视网膜数据上传至云端服务器，以使云端服务器将所述数字视网膜数据分项存储，并根据所述摄像头任务标识和时间戳信息将分项存储的所述数字视网膜数据进行关联。

由于视频转码(即视频浓缩)的处理速度要快于智能分析(即特征提取)的处理速度，为避免前端视频智能转换器在向云端服务器推送数据时产生堆积现象，本步骤中，可以将各项所述数字视网膜数据分别传输至云端服务器，从而避免上述堆积现象。

本申请实施例提供的数字视网膜多元数据快速关联方法，在获取监控视频流后，首先根据所述监控视频流生成数字视网膜数据，其中，所述数字视网膜数据包括根据所述监控视频流提取的目标图像、结构化数据、特征流和浓缩视频流中的多项数据，然后将所述数字视网膜数据上传至云端服务器。一方面，所述数字视网膜数据中的浓缩视频流相较于所述监控视频流，具有占用存储空间小但保真率高等优点，因此，相较于现有技术中将所有监控视频流都上传至云端服务器的方式，本申请方法具有占用存储空间小、网络传输负荷低、传输效率高等优点；另一方面，由于本申请方法还根据监控视频流提取目标图像、结构化数据、特征流并上传至云端服务器，通过上述目标图像、结构化数据、特征流，有助于快速识别定位目标、挖掘其行动轨迹等，可有效提升监控视频的调阅效率；再一方面，本申请方法的每一项数字视网膜数据中都携带有摄像头任务标识和时间戳信息，有助于云端服务器将所述数字视网膜数据分项存储并进行关联，从而提升数据管理效率及检索效率。

在上述的实施例中，提供了一种数字视网膜多元数据快速关联方法，与之相对应的，本申请还提供一种数字视网膜多元数据快速关联装置。本申请实施例提供的数字视网膜多元数据快速关联装置可以实施上述数字视网膜多元数据快速关联方法，该数字视网膜多元数据快速关联装置可以通过软件、硬件或软硬结合的方式来实现。例如，该数字视网膜多元数据快速关联装置可以包括集成的或分开的功能模块或单元来执行上述各方法中的对应步骤。请参考图2，其示出了本申请的一些实施方式所提供的一种数字视网膜多元数据快速关联装置的示意图。由于装置实施例基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。下述描述的装置实施例仅仅是示意性的。

如图2所示，所述数字视网膜多元数据快速关联装置10可以包括：

视频流获取模块101，用于获取监控视频流；

数字视网膜数据生成模块102，用于根据所述监控视频流生成数字视网膜数据，其中，所述数字视网膜数据包括根据所述监控视频流提取的目标图像、结构化数据、特征流和浓缩视频流中的多项数据，且所述多项数据中的每一项均携带有摄像头任务标识和时间戳信息；

数字视网膜数据上传模块103，用于将所述数字视网膜数据上传至云端服务器，以使云端服务器将所述数字视网膜数据分项存储，并根据所述摄像头任务标识和时间戳信息将分项存储的所述数字视网膜数据进行关联。

在本申请实施例的一些变更实施方式中，所述目标图像、结构化数据和特征流还携带有全局唯一标识信息，并根据所述全局唯一标识信息相互关联；

所述浓缩视频流还携带有视频文件标识信息。

在本申请实施例的一些变更实施方式中，所述数字视网膜数据生成模块102，可以包括：

目标识别跟踪单元，用于针对所述监控视频流进行目标识别及跟踪处理，添加摄像头任务标识和时间戳信息，得到处理结果；

目标图像提取单元，用于根据所述处理结果，提取所有已识别目标对象的目标图像，并为每个所述目标图像分配全局唯一标识信息以及添加所述摄像头任务标识和时间戳信息；

特征提取单元，用于针对所述目标对象进行结构化处理和视觉特征提取，并添加所述全局唯一标识信息、摄像头任务标识和时间戳信息后，得到结构化数据和特征流；

视频浓缩单元，用于对所述监控视频流进行视频浓缩处理并添加时间戳信息和视频文件标识信息，得到浓缩视频流。

本申请实施例提供的数字视网膜多元数据快速关联装置10，与本申请前述实施例提供的数字视网膜多元数据快速关联方法出于相同的发明构思，具有相同的有益效果。

在上述的实施例中，提供了一种数字视网膜多元数据快速关联方法，与之相对应的，本申请还提供一种数字视网膜多元数据快速关联方法，所述数字视网膜多元数据快速关联方法是与前述数字视网膜多元数据快速关联方法互相配合实施的，属于相同的发明构思，因此，以下关于数字视网膜多元数据快速关联方法的实施例说明，可参照前述关于数字视网膜多元数据快速关联方法的实施例说明进行理解，部分内容不再赘述，相应的，前述关于数字视网膜多元数据快速关联方法的实施例，也可以参照下述关于数字视网膜多元数据快速关联方法的实施例说明进行理解。

请参考图3，其示出了本申请的一些实施方式所提供的一种数字视网膜多元数据快速关联方法的流程图，所述数字视网膜多元数据快速关联方法，可以应用于云端服务器，如图3所示，所述数字视网膜多元数据快速关联方法，可以包括以下步骤：

步骤S201：接收数字视网膜数据，其中，所述数字视网膜数据包括根据所述监控视频流提取的目标图像、结构化数据、特征流和浓缩视频流中的多项数据，且所述多项数据中的每一项均携带有摄像头任务标识和时间戳信息。

步骤S202：将所述数字视网膜数据分项存储，并根据所述摄像头任务标识和时间戳信息将分项存储的所述数字视网膜数据进行关联。

在本申请实施例的一些实施方式中，所述将所述数字视网膜数据分项存储，可以包括：

将所述目标图像、结构化数据、特征流和浓缩视频流分别存储至特征库、图像库、结构数据库和视频库；

在所述特征库、图像库、结构数据库和视频库的各个数据表中分别建立用于存储所述摄像头任务标识和时间戳信息的表项，并根据所述表项存储所述摄像头任务标识和时间戳信息。

通过本实施方式，可以基于所述摄像头任务标识和时间戳信息将分项存储的所述数字视网膜数据进行关联，从而可以有效提升监控视频的检索、调阅效率。

在本申请实施例的另一些实施方式中，所述目标图像、结构化数据和特征流还携带有全局唯一标识信息，所述浓缩视频流还携带有视频文件标识信息；

所述将所述数字视网膜数据分项存储，还包括：

在所述特征库、图像库和结构数据库的各个数据表中分别建立用于存储所述全局唯一标识信息的表项，并根据所述表项存储所述全局唯一标识信息；

在所述视频库中的各个数据表中建立用于存储所述视频文件标识信息的表项，并根据所述表项存储所述视频文件标识信息；

建立所述全局唯一标识信息与所述视频文件标识信息的映射关系。

由于同一视频文件会存在多个目标，同一目标也会出现在多个视频文件中，因此，通过上述实施方式，可以将上述四项数字视网膜数据建立关联关系，从而能够基于目标的任意维度数据进行该目标的全维度数据查询，解决智能视频监控系统中多元数据呈现及复杂应用问题，可有效提升监控视频的检索、调阅效率。

本申请实施例提供的数字视网膜多元数据快速关联方法与本申请前述实施例提供的数字视网膜多元数据快速关联方法出于相同的发明构思，具有相同的有益效果，至少具有以下有益效果：通过将数字视网膜数据分项存储，可有效提升数据管理效率及维护效率，通过建立相应的表项存储摄像头任务标识、时间戳信息和视频文件标识信息等信息，可有效建立各项所述数字视网膜数据之间的关联关系，避免云端服务器汇聚异构数据库的信息孤岛问题，从而能够基于目标的任意维度数据进行该目标的全维度数据查询，可有效提升监控视频的检索、调阅效率。

此外，本申请实施例中，通过前端视频智能转换器在数字视网膜数据中添加摄像头任务标识、时间戳信息和视频文件标识信息等简单的操作，即可在云端服务器实现各项数字视网膜数据之间的关联，具有简单易行、处理及存储速度快、效率高等优点。

为了便于对本申请实施例进行理解，请参考图4，其示出了本申请的一些实施方式所提供的一种数字视网膜视频监控系统的示意图，前述关于数字视网膜多元数据快速关联方法及用于云端服务器的数字视网膜多元数据快速关联方法的实施例，都可以参照该数字视网膜视频监控系统进行理解，以下关于数字视网膜视频监控系统的说明，也可以参照前述关于数字视网膜多元数据快速关联方法及用于云端服务器的数字视网膜多元数据快速关联方法的实施例进行理解，部分内容不再赘述。

如图4所示，所述数字视网膜视频监控系统至少包括视频智能转换器和云端服务器，其中，云端服务器可以接收多个视频智能转换器上传的数字视网膜数据，并在接收到所述数字视网膜数据后进行分项存储，其中，数据库(即用于存储结构化数据的结构数据库)、图像库和特征库之间通过目标ID(全局唯一标识信息的一种)进行关联，视频库与数据库之间通过视频ID(视频文件标识信息的一种)进行关联，当业务终端发送业务查询请求后，视觉目标检索引擎即可基于目标图像、结构化数据、特征流和浓缩视频流中的任意维度开展全维度数据查询，可有效提升监控视频的检索、调阅效率。

在前述实施例中，提供了一种数字视网膜多元数据快速关联方法，与之相对应的，本申请还提供一种数字视网膜多元数据快速关联装置。本申请实施例提供的数字视网膜多元数据快速关联装置可以实施上述用于云端服务器的数字视网膜多元数据快速关联方法，该数字视网膜多元数据快速关联装置可以通过软件、硬件或软硬结合的方式来实现。例如，该数字视网膜多元数据快速关联装置可以包括集成的或分开的功能模块或单元来执行上述各方法中的对应步骤。请参考图5，其示出了本申请的一些实施方式所提供的一种数字视网膜多元数据快速关联装置的示意图。由于装置实施例基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。下述描述的装置实施例仅仅是示意性的。

如图5所示，所述数字视网膜多元数据快速关联装置20可以包括：

数字视网膜数据接收模块201，用于接收数字视网膜数据，其中，所述数字视网膜数据包括根据所述监控视频流提取的目标图像、结构化数据、特征流和浓缩视频流中的多项数据，且所述多项数据中的每一项均携带有摄像头任务标识和时间戳信息；

数字视网膜多元数据快速关联模块202，用于将所述数字视网膜数据分项存储，并根据所述摄像头任务标识和时间戳信息将分项存储的所述数字视网膜数据进行关联。

在本申请实施例的一些变更实施方式中，所述数字视网膜多元数据快速关联模块202，可以包括：

分项存储单元，用于将所述目标图像、结构化数据、特征流和浓缩视频流分别存储至特征库、图像库、结构数据库和视频库；

时间戳信息存储单元，用于在所述特征库、图像库、结构数据库和视频库的各个数据表中分别建立用于存储所述摄像头任务标识和时间戳信息的表项，并根据所述表项存储所述摄像头任务标识和时间戳信息。

在本申请实施例的一些变更实施方式中，所述目标图像、结构化数据和特征流还携带有全局唯一标识信息，所述浓缩视频流还携带有视频文件标识信息；

所述数字视网膜多元数据快速关联模块202，还可以包括：

全局标识信息存储单元，用于在所述特征库、图像库和结构数据库的各个数据表中分别建立用于存储所述全局唯一标识信息的表项，并根据所述表项存储所述全局唯一标识信息；

视频标识信息存储单元，用于在所述视频库中的各个数据表中建立用于存储所述视频文件标识信息的表项，并根据所述表项存储所述视频文件标识信息；

全局标识信息关联单元，用于建立所述全局唯一标识信息与所述视频文件标识信息的映射关系。

本申请实施例提供的数字视网膜多元数据快速关联装置20，与本申请前述实施例提供的数字视网膜多元数据快速关联方法出于相同的发明构思，具有相同的有益效果。

本申请实施方式还提供一种与前述实施方式所提供的数字视网膜多元数据快速关联方法或用于云端服务器的数字视网膜多元数据快速关联方法对应的电子设备，所述电子设备可以是具备数据处理分析能力的任意计算设备，以执行上述数字视网膜多元数据快速关联方法或用于云端服务器的数字视网膜多元数据快速关联方法，例如，所述电子设备可以是外接到监控摄像机输出端的、专用于根据监控视频流生成数字视网膜数据的视频智能转换器，也可以是集成有上述视频智能转换器的网络视频监控设备，以执行上述数字视网膜多元数据快速关联方法；又如，所述电子设备也可以是云端服务器，包括分布式服务器集群或独立式服务器，以执行上述用于云端服务器的数字视网膜多元数据快速关联方法，本申请实施例不做限定。

请参考图6，其示出了本申请的一些实施方式所提供的一种电子设备的示意图。如图6所示，所述电子设备30包括：处理器300，存储器301，总线302和通信接口303，所述处理器300、通信接口303和存储器301通过总线302连接；所述存储器301中存储有可在所述处理器300上运行的计算机程序，所述处理器300运行所述计算机程序时执行本申请前述任一实施方式所提供的数字视网膜多元数据快速关联方法或用于云端服务器的数字视网膜多元数据快速关联方法。

其中，存储器301可能包含高速随机存取存储器(RAM：Random Access Memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口303(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网、广域网、本地网、城域网等。

总线302可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。其中，存储器301用于存储程序，所述处理器300在接收到执行指令后，执行所述程序，前述本申请实施例任一实施方式揭示的所述数字视网膜多元数据快速关联方法或用于云端服务器的数字视网膜多元数据快速关联方法可以应用于处理器300中，或者由处理器300实现。

处理器300可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器300中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器300可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器301，处理器300读取存储器301中的信息，结合其硬件完成上述方法的步骤。

在一些实施方式中，所述电子设备可以是视频智能转换器，所述视频智能转换器的输入端可连接监控摄像机的输出端，用于通过执行本申请前述任一实施方式所提供的数字视网膜多元数据快速关联方法，根据所述监控摄像机输出的监控视频流生成数字视网膜数据后上传至云端服务器。

需要说明的是，所述视频智能转换器也可能有其他名称，例如智能转换器、智能分析器等，本申请实施例不做限定，本领域技术人员可以给根据其实现的上述功能确定其为同一产品。

本申请实施例提供的电子设备与本申请实施例提供的数字视网膜多元数据快速关联方法或用于云端服务器的数字视网膜多元数据快速关联方法出于相同的发明构思，具有与其采用、运行或实现的方法相同的有益效果。

请参考图7，本申请实施方式还提供一种与前述实施方式所提供的数字视网膜多元数据快速关联方法对应的网络视频监控设备4，包括：监控摄像机41和与所述监控摄像机41连接的视频智能转换器42；

所述监控摄像机41用于采集监控视频流，并将所述监控视频流发送给所述视频智能转换器42；

所述视频智能转换器42用于执行本申请前述任一实施方式所提供的数字视网膜多元数据快速关联方法，以根据所述监控视频流生成数字视网膜数据后上传至云端服务器，相关内容请参照前述关于数字视网膜多元数据快速关联方法的实施例说明进行理解。

本申请实施例提供的网络视频监控设备与本申请实施例提供的数字视网膜多元数据快速关联方法出于相同的发明构思，具有与其采用、运行或实现的方法相同的有益效果。

本申请实施方式还提供一种与前述实施方式所提供的数字视网膜多元数据快速关联方法对应的计算机可读介质，请参考图8，其示出的计算机可读存储介质为光盘50，其上存储有计算机程序(即程序产品)，所述计算机程序在被处理器运行时，会执行前述任意实施方式所提供的数字视网膜多元数据快速关联方法或用于云端服务器的数字视网膜多元数据快速关联方法。

需要说明的是，所述计算机可读存储介质的例子还可以包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他光学、磁性存储介质，在此不再一一赘述。

本申请的上述实施例提供的计算机可读存储介质与本申请实施例提供的数字视网膜多元数据快速关联方法或用于云端服务器的数字视网膜多元数据快速关联方法出于相同的发明构思，具有与其存储的应用程序所采用、运行或实现的方法相同的有益效果。

需要说明的是，附图中的流程图和框图显示了根据本申请的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围，其均应涵盖在本申请的权利要求和说明书的范围当中。

Claims (10)

1.一种数字视网膜多元数据快速关联方法，其特征在于，包括：

获取监控视频流；

根据所述监控视频流生成数字视网膜数据，其中，所述数字视网膜数据包括根据所述监控视频流提取的目标图像、结构化数据、特征流和浓缩视频流中的多项数据，且所述多项数据中的每一项均携带有摄像头任务标识和时间戳信息；

将所述数字视网膜数据上传至云端服务器，以使云端服务器将所述数字视网膜数据分项存储，并根据所述摄像头任务标识和时间戳信息将分项存储的所述数字视网膜数据进行关联。

2.根据权利要求1所述的方法，其特征在于，所述目标图像、结构化数据和特征流还携带有全局唯一标识信息，并根据所述全局唯一标识信息相互关联；

所述浓缩视频流还携带有视频文件标识信息。

3.根据权利要求2所述的方法，其特征在于，所述根据所述监控视频流生成数字视网膜数据，包括：

针对所述监控视频流进行目标识别及跟踪处理，添加摄像头任务标识和时间戳信息，得到处理结果；

根据所述处理结果，提取所有已识别目标对象的目标图像，并为每个所述目标图像分配全局唯一标识信息以及添加所述摄像头任务标识和时间戳信息；

针对所述目标对象进行结构化处理和视觉特征提取，并添加所述全局唯一标识信息、摄像头任务标识和时间戳信息后，得到结构化数据和特征流；

对所述监控视频流进行视频浓缩处理并添加时间戳信息和视频文件标识信息，得到浓缩视频流。

4.一种数字视网膜多元数据快速关联装置，其特征在于，包括：

视频流获取模块，用于获取监控视频流；

数字视网膜数据生成模块，用于根据所述监控视频流生成数字视网膜数据，其中，所述数字视网膜数据包括根据所述监控视频流提取的目标图像、结构化数据、特征流和浓缩视频流中的多项数据，且所述多项数据中的每一项均携带有摄像头任务标识和时间戳信息；

数字视网膜数据上传模块，用于将所述数字视网膜数据上传至云端服务器，以使云端服务器将所述数字视网膜数据分项存储，并根据所述摄像头任务标识和时间戳信息将分项存储的所述数字视网膜数据进行关联。

5.一种数字视网膜多元数据快速关联方法，用于云端服务器，其特征在于，包括：

接收数字视网膜数据，其中，所述数字视网膜数据包括根据所述监控视频流提取的目标图像、结构化数据、特征流和浓缩视频流中的多项数据，且所述多项数据中的每一项均携带有摄像头任务标识和时间戳信息；

将所述数字视网膜数据分项存储，并根据所述摄像头任务标识和时间戳信息将分项存储的所述数字视网膜数据进行关联。

6.根据权利要求5所述的方法，其特征在于，所述将所述数字视网膜数据分项存储，包括：

将所述目标图像、结构化数据、特征流和浓缩视频流分别存储至特征库、图像库、结构数据库和视频库；

在所述特征库、图像库、结构数据库和视频库的各个数据表中分别建立用于存储所述摄像头任务标识和时间戳信息的表项，并根据所述表项存储所述摄像头任务标识和时间戳信息。

7.根据权利要求6所述的方法，其特征在于，所述目标图像、结构化数据和特征流还携带有全局唯一标识信息，所述浓缩视频流还携带有视频文件标识信息；

所述将所述数字视网膜数据分项存储，还包括：

在所述特征库、图像库和结构数据库的各个数据表中分别建立用于存储所述全局唯一标识信息的表项，并根据所述表项存储所述全局唯一标识信息；

在所述视频库中的各个数据表中建立用于存储所述视频文件标识信息的表项，并根据所述表项存储所述视频文件标识信息；

建立所述全局唯一标识信息与所述视频文件标识信息的映射关系。

8.一种数字视网膜多元数据快速关联装置，其特征在于，包括：

数字视网膜数据接收模块，用于接收数字视网膜数据，其中，所述数字视网膜数据包括根据所述监控视频流提取的目标图像、结构化数据、特征流和浓缩视频流中的多项数据，且所述多项数据中的每一项均携带有摄像头任务标识和时间戳信息；

数字视网膜多元数据快速关联模块，用于将所述数字视网膜数据分项存储，并根据所述摄像头任务标识和时间戳信息将分项存储的所述数字视网膜数据进行关联。

9.一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器运行所述计算机程序时执行以实现如权利要求1至3、或5至7任一项所述的方法。

10.一种网络视频监控设备，其特征在于，包括：监控摄像机和与所述监控摄像机连接的视频智能转换器；

所述监控摄像机用于采集监控视频流，并将所述监控视频流发送给所述视频智能转换器；

所述视频智能转换器用于通过执行权利要求1至3任一项所述的方法，根据所述监控摄像机输出的监控视频流生成数字视网膜数据后上传至云端服务器。

Images