CN108769576B - 智能视频处理方法和系统 - Google Patents

Abstract

本发明提供一种智能视频处理方法和系统，具体包括视频监控终端、多个远端机、多个近端机以及云端服务器，本发明从视频监控终端获取监控视频数据，将监控视频数据和当前位置信息、时间信息组合成多维视频帧保存在远端机中，同时从监控视频数据中提取出特征数据并与当前位置信息、时间信息组合成多维特征帧，将多维视频帧与多维特征帧关联并将多维特征帧发送到近端机；近端机将多维特征帧汇聚到云端服务器，以实现特定对象（人员、车辆）的追踪分析。本发明适用于已部署传统视频监控系统但智能化改造难度较大的场景，在不改变现有的视频监控系统部署架构的基础上，实现智能监控的功能，且有效降低了工程改造量和建设成本。

Description

智能视频处理方法和系统

技术领域

本发明涉及智能视频处理领域，具体的说，涉及了一种智能视频处理方法和系统。

背景技术

视频监控系统已经在交通、安防、反恐维稳等方面发挥重要的作用。当前已有的视频监控系统大致可以分为两类：传统视频监控系统和智能视频监控系统。

在传统的视频监控系统中，由于系统本身只具有视频采集、视频传输、视频存储等基本功能，不具备自动分析视频内容的能力，因而若要在传统视频监控系统中对人员或车辆进行身份确认和位置定位，需要耗费大量的人力资源。

现有的智能视频监控系统中，除了具有视频采集、传输及存储等基本功能外，也具有一定的视频内容分析功能，通过将视频上传到视频服务器，对需要的分析的视频进行处理，并在监控中心展示。然而，上述方法对视频的处理有很大的局限性，所有的视频都在视频服务器端进行处理，对视频服务器端的处理能力有很高的要求。同时，由于信息的汇聚是局部的，很难对信息进行全局的分析与目标跟踪，从而丧失监控的最佳时效性，难以实现真正实时有效的监控。

为了解决以上存在的问题，人们一直在寻求一种理想的技术解决方案。

发明内容

本发明的目的是针对现有技术的不足，从而提供了一种智能视频处理方法和系统。

为了实现上述目的，本发明所采用的技术方案是：一种智能视频处理方法，包括以下步骤：

步骤1，远端机从视频监控终端获取监控视频数据，并将监控视频数据与所述远端机的位置信息和时间信息进行组合，形成多维视频帧存储在本地；

步骤2，所述远端机从所述监控视频数据中提取特征数据，并将所述特征数据、所述位置信息和所述时间信息进行组合，形成多维特征帧；

步骤3，所述远端机将所述多维视频帧与所述多维特征帧进行关联后，将所述多维特征帧传送给近端机；

步骤4，所述近端机将多个所述远端机传送的多维特征帧汇总后上传给云端服务器进行数据融合，形成轨迹分类；

步骤5，所述云端服务器根据所述轨迹分类生成携带有检索条件的请求指令发送至所述远端机；

步骤6，所述远端机根据所述请求指令对本地存储的多维视频帧进行检索，并将与所述检索条件相关联的多维视频帧返回至所述云端服务器。

基于上述，所述多维视频帧包括视频帧头和所述监控视频数据，所述视频帧头包括视频帧序列号、所述位置信息和所述时间信息；

所述多维特征帧包括特征帧头和所述特征数据，所述特征帧头包括特征帧序列号、所述位置信息和所述时间信息。

基于上述，所述云端服务器的数据融合包括特定目标轨迹融合、特定事件信息融合或关联信息融合，

所述特定目标轨迹融合是以特定目标的特征数据为基准，从所述多维特征帧的集合中得到多维特征帧聚类，并对所述多维特征帧聚类中的所述多维特征帧按照空间序列、时间序列进行分析，得到特定目标的轨迹分类；

所述特定事件信息融合是以特定位置为中心，对流入、流出该位置范围的所述多维特征帧进行聚类得到多维特征帧聚类，并对所述多维特征帧聚类中的所述多维特征帧按照时间序列进行分析，得到特定事件的轨迹分类；

所述关联信息融合是以特定目标的特征数据作为关联信息组合条件，从所述多维特征帧的集合中得到多维特征帧聚类，并对所述多维特征帧聚类中的所述多维特征帧按照空间序列、时间序列进行分析，得到特定目标的轨迹分类。

基于上述，所述检索条件为所述特征帧序列号，步骤5中，所述云端服务器获取所述轨迹分类所对应的多个特征帧序列号，生成携带有所述特征帧序列号的请求指令，并通过所述近端机发送至所述远端机。

本发明还提供一种智能视频处理系统，包括多个视频监控终端、多个远端机、多个近端机以及云端服务器，每个视频监控终端连接一个所述远端机，每个所述远端机连接一个所述近端机，每个所述近端机对应连接多个所述远端机，所述服务器端连接多个所述近端机；

所述远端机从所述视频监控终端获取监控视频数据，并将所述监控视频数据与所述远端机的位置信息和时间信息进行组合，形成多维视频帧存储在本地；

远端机从所述监控视频数据中提取特征数据，将所述特征数据、所述位置信息和所述时间信息组合成多维特征帧，在将所述多维特征帧与所述多维视频帧进行关联后，上传所述多维特征帧至所述近端机；

所述近端机将多个所述远端机传送的多维特征帧汇总后上传给所述云端服务器进行数据融合，形成轨迹分类；

所述云端服务器根据所述轨迹分类向所述远端机发送携带有检索条件的请求指令；

所述远端机根据所述请求指令对本地存储的多维视频帧进行检索，并将与所述检索条件相关联的多维视频帧返回至所述云端服务器以形成时空轨迹视频流。

基于上述，所述远端机与所述视频监控终端为一体式结构或分体式结构。

基于上述，所述远端机包括：

位置模块，用于提供所述远端机当前所处的位置信息；

时间模块，用于提供所述远端机当前的时间信息；

AI模块，用于从所述多维视频帧中得到所述特征数据；

存储模块，用于存储所述多维视频帧和所述多维特征帧；

数据融合模块，用于将所述监控视频数据、所述位置信息和所述时间信息组合成所述多维视频帧，将所述特征数据与所述位置信息、所述时间信息组合成所述多维特征帧；

传输模块，用于将所述多维特征帧传送至所述近端机、接收所述云端服务器发送的加载有检索条件的请求指令以及将与所述检索条件相关联的多维视频帧返回至所述云端服务器。

基于上述，所述多维视频帧包括视频帧头和所述监控视频数据，所述视频帧头包括视频帧序列号、所述位置信息和所述时间信息；所述多维特征帧包括特征帧头和所述特征数据，所述特征帧头包括特征帧序列号、所述位置信息和所述时间信息。

基于上述，所述位置模块为内置有位置信息的存储器或能够实时定位的定位模块。

基于上述，所述时间模块为采用全网基准时间的计时器。

本发明相对现有技术具有突出的实质性特点和显著的进步，具体的说，本发明从视频监控终端获取监控视频数据，并将监控视频数据和当前位置信息、时间信息组合成多维视频帧保存在远端机中，以供调取；同时从所述监控视频数据中提取出车辆特征数据、人员特征数据等特征数据，将上述特征数据与当前位置信息、时间信息共同封装成多维特征帧发送到近端机，近端机将多维特征帧汇聚到服务器或云端，根据视频特征数据帧的信息，实时实现特定对象（人员、车辆）的追踪分析。本发明适用于已部署传统视频监控系统但智能化改造难度较大的场景，在不改变现有的视频监控系统部署架构，实现智能监控的功能，有效降低工程改造量和建设成本。

附图说明

图1是本发明所述视频处理方法的流程示意图。

图2是本发明所述视频处理系统的原理框图。

图3是本发明所述近端机的北斗授时模块的原理框图。

具体实施方式

下面通过具体实施方式，对本发明的技术方案做进一步的详细描述。

如图1所示，本发明提供一种智能视频处理方法，该方法的具体处理步骤为：

步骤1，远端机从视频监控终端获取监控视频数据，并将所述监控视频数据与所述远端机的位置信息和时间信息进行组合，形成具有时间属性和空间属性的多维视频帧存储在本地，以供调取；具体的，所述多维视频帧包括视频帧头和所述监控视频数据，所述视频帧头包括视频帧序列号、所述位置信息和所述时间信息；

步骤2，所述远端机从所述监控视频数据中提取特征数据，优选的，所述特征数据包括车辆特征、人脸特征和行为特征；所述远端机将所述特征数据、所述位置信息和所述时间信息进行组合，形成具有时间属性和空间属性的多维特征帧；具体的，所述多维特征帧包括特征帧头和所述特征数据，所述特征帧头包括特征帧序列号、所述位置信息和所述时间信息；

步骤3，所述远端机采用关联表形式将所述视频帧序列号与所述特征帧序列号进行关联，以实现所述多维视频帧与所述多维特征帧的关联，并将所述多维特征帧传送给近端机；

步骤4，所述近端机将多个所述远端机传送的多维特征帧汇总后上传给云端服务器进行数据融合，形成轨迹分类；

具体的，所述云端服务器的数据融合具体包括特定目标轨迹融合、特定事件信息融合或关联信息融合，

所述特定目标轨迹融合是以特定目标（如车辆、人物）的特征数据为基准，从所述多维特征帧的集合中得到多维特征帧聚类，并对所述多维特征帧聚类中的所述多维特征帧按照空间序列、时间序列进行分析，得到特定目标的轨迹分类；

所述特定事件信息融合是以特定位置为中心，对流入、流出该位置范围的多维特征帧进行聚类得到多维特征帧聚类，并对所述多维特征帧聚类中的所述多维特征帧按照时间序列进行分析，得到特定事件的轨迹分类；

所述关联信息融合是以特定目标（如车辆、人物）的特征数据作为关联信息组合条件，从多维特征帧的集合中得到多维特征帧聚类，并对所述多维特征帧聚类中的所述多维特征帧按照空间序列、时间序列进行分析，得到特定目标的轨迹分类；

步骤5，所述云端服务器根据所述轨迹分类生成携带有检索条件的请求指令发送至所述远端机；

优选的，所述检索条件为所述特征帧序列号，所述云端服务器获取所述轨迹分类所对应的多个特征帧序列号，生成携带有所述特征帧序列号的请求指令，并通过所述近端机发送至所述远端机；

步骤6，所述远端机根据所述请求指令对本地存储的多维视频帧进行检索，并将与所述检索条件相关联的多维视频帧通过所述近端机返回至所述云端服务器，所述云端服务器将获取的多维视频帧按照所述轨迹分类的顺序组合起来形成时空轨迹视频流。

本发明具有以下优势：

(1)兼容现有视频监控设备部署体系；

(2)数据传输量小，监控视频数据主要在本地存储，一般情况下只传输多维特征数据；

(3)工程调试简单，通过增加外接模块，降低现有视频监控部署体系的智能化改造成本；

（4）视频数据智能处理能力强，所有监控视频数据都可以实现时间、位置的序列化，可以快速实现事件的时空数据关联分析；

（5）提高视频服务器的数据处理效率，降低视频存储的压力，实现对数据的深度挖掘利用，大大提高视频数据的应用价值。

如图2所示，本发明还提供一种智能视频处理系统，包括多个视频监控终端、多个远端机、多个近端机以及云端服务器，每个视频监控终端连接一个所述远端机，每个所述远端机连接一个所述近端机，每个所述近端机对应连接多个所述远端机，所述服务器端连接多个所述近端机。优选的，所述远端机与所述视频监控终端为一体式结构或分体式结构，即所述远端机既可以是所述视频监控终端的一部分，也可能是独立于所述视频监控终端外的外接模块。

所述远端机从所述视频监控终端获取监控视频数据，并将所述监控视频数据与所述远端机的位置信息和时间信息进行组合，形成多维视频帧存储在本地；所述多维视频帧包括视频帧头和所述监控视频数据，所述视频帧头包括视频帧序列号、所述位置信息和所述时间信息；同时所述远端机还从所述监控视频数据中提取特征数据，将所述特征数据、所述位置信息和所述时间信息组合成多维特征帧；所述多维特征帧包括特征帧头和所述特征数据，所述特征帧头包括特征帧序列号、所述位置信息和所述时间信息；采用关联表形式将所述视频帧序列号与所述特征帧序列号进行关联，以实现所述多维视频帧与所述多维特征帧的关联；并在将所述多维特征帧与所述多维视频帧进行关联后，上传所述多维特征帧至所述近端机。

所述近端机将多个所述远端机传送的多维特征帧汇总后上传给所述云端服务器进行数据融合，形成轨迹分类。

所述云端服务器根据所述轨迹分类向所述远端机发送携带有检索条件的请求指令。所述检索条件为所述特征帧序列号；所述云端服务器获取所述轨迹分类所对应的多个特征帧序列号，生成携带有所述特征帧序列号的请求指令，并通过所述近端机发送至所述远端机。

所述远端机根据所述请求指令对本地存储的多维视频帧进行检索，并将与所述检索条件相关联的多维视频帧通过所述近端机返回至所述云端服务器以形成时空轨迹视频流。

具体的，所述远端机包括：

位置模块，用于提供所述远端机当前所处的位置信息；所述位置模块的结构形式与所述视频监控终端的安装方式有关，具体的，对于位置固定的监控视频监控终端而言，所述位置模块可以为内置有位置信息的存储器，也可以为独立的定位模块；对于流动的视频监控终端而言，所述位置模块只能为独立的定位模块；

时间模块，用于提供所述远端机当前的时间信息，优选的，所述时间模块为采用全网基准时间的计时器，其中，所述全网基准时间由所述近端机内的北斗授时模块产生；具体的，如图3所示，所述北斗授时模块包括北斗授时性接收天线、北斗授时接收模块、时频处理模块、应用接口和对时模块，所述北斗授时接收模块通过所述北斗授时性接收天线接收北斗卫星信号，采用单向授时技术，实现北斗卫星信号的快速捕获、跟踪、解调功能，恢复出卫星数据和同步信号；所述时频处理模块结合高精度卫星授时处理和高精度数字时频标合成，生成授时信号；所述对时模块用于通过网络对时的方式，根据授时信号产生全网统一的基准时间，为视频监控精准的时间序列化提供统一时间；所述应用接口用于修正本地时间，实现计算机网络时间同步；

AI模块，用于从所述多维视频帧中得到所述特征数据；优选的，所述AI模块为训练好的人工智能模型，并在正常运行过程中不断修正、优化；

存储模块，用于存储所述多维视频帧和所述多维特征帧；其中，所述多维视频帧和所述特征帧的保存时长与所述储存模块的内存和预设存储时间有关；

数据融合模块，用于将所述监控视频数据、所述位置信息和所述时间信息组合成所述多维视频帧，将所述特征数据与所述位置信息、所述时间信息组合成所述多维特征帧；

传输模块，用于将所述多维特征帧传送至所述近端机、接收所述云端服务器发送的加载有检索条件的请求指令以及将与所述检索条件相关联的多维视频帧返回至所述云端服务器。

最后应当说明的是:以上实施例仅用以说明本发明的技术方案而非对其限制；尽管参照较佳实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者对部分技术特征进行等同替换；而不脱离本发明技术方案的精神，其均应涵盖在本发明请求保护的技术方案范围当中。

Claims (4)

1.一种智能视频处理方法，其特征在于，包括以下步骤：

步骤1，远端机从视频监控终端获取监控视频数据，并将监控视频数据与所述远端机的位置信息和时间信息进行组合，形成多维视频帧存储在本地；所述多维视频帧包括视频帧头和所述监控视频数据，所述视频帧头包括视频帧序列号、所述位置信息和所述时间信息；其中，所述远端机的位置信息通定位模块实时获取；所述远端机的时间信息采用全网基准时间；

步骤2，所述远端机从所述监控视频数据中提取特征数据，并将所述特征数据、所述位置信息和所述时间信息进行组合，形成多维特征帧；所述多维特征帧包括特征帧头和所述特征数据，所述特征帧头包括特征帧序列号、所述位置信息和所述时间信息；

步骤3，所述远端机采用关联表形式将所述视频帧序列号与所述特征帧序列号进行关联，以实现所述多维视频帧与所述多维特征帧的关联，并将所述多维特征帧传送给近端机；

步骤4，所述近端机将多个所述远端机传送的多维特征帧汇总后上传给云端服务器进行数据融合，形成轨迹分类；

步骤5，所述云端服务器根据所述轨迹分类生成携带有检索条件的请求指令发送至所述远端机；所述检索条件为所述特征帧序列号；所述云端服务器获取所述轨迹分类所对应的多个特征帧序列号，生成携带有所述特征帧序列号的请求指令，并通过所述近端机发送至所述远端机；

步骤6，所述远端机根据所述请求指令对本地存储的多维视频帧进行检索，并将与所述检索条件相关联的多维视频帧通过所述近端机返回至所述云端服务器。

2.根据权利要求1所述的智能视频处理方法，其特征在于：所述云端服务器的数据融合包括特定目标轨迹融合、特定事件信息融合或关联信息融合，

所述特定目标轨迹融合是以特定目标的特征数据为基准，从所述多维特征帧的集合中得到多维特征帧聚类，并对所述多维特征帧聚类中的所述多维特征帧按照空间序列、时间序列进行分析，得到特定目标的轨迹分类；

所述特定事件信息融合是以特定位置为中心，对流入、流出该位置范围的所述多维特征帧进行聚类得到多维特征帧聚类，并对所述多维特征帧聚类中的所述多维特征帧按照时间序列进行分析，得到特定事件的轨迹分类；

所述关联信息融合是以特定目标的特征数据作为关联信息组合条件，从所述多维特征帧的集合中得到多维特征帧聚类，并对所述多维特征帧聚类中的所述多维特征帧按照空间序列、时间序列进行分析，得到特定目标的轨迹分类。

3.一种智能视频处理系统，其特征在于：包括多个视频监控终端、多个远端机、多个近端机以及云端服务器，每个视频监控终端连接一个所述远端机，每个所述远端机连接一个所述近端机，每个所述近端机对应连接多个所述远端机，所述服务器端连接多个所述近端机；

所述远端机从所述视频监控终端获取监控视频数据，并将所述监控视频数据与所述远端机的位置信息和时间信息进行组合，形成多维视频帧存储在本地；所述多维视频帧包括视频帧头和所述监控视频数据，所述视频帧头包括视频帧序列号、所述位置信息和所述时间信息；

远端机从所述监控视频数据中提取特征数据，将所述特征数据、所述位置信息和所述时间信息组合成多维特征帧；所述多维特征帧包括特征帧头和所述特征数据，所述特征帧头包括特征帧序列号、所述位置信息和所述时间信息；采用关联表形式将所述视频帧序列号与所述特征帧序列号进行关联，以实现所述多维视频帧与所述多维特征帧的关联；在将所述多维特征帧与所述多维视频帧进行关联后，上传所述多维特征帧至所述近端机；

所述近端机将多个所述远端机传送的多维特征帧汇总后上传给所述云端服务器进行数据融合，形成轨迹分类；

所述云端服务器根据所述轨迹分类向所述远端机发送携带有检索条件的请求指令；所述检索条件为所述特征帧序列号；所述云端服务器获取所述轨迹分类所对应的多个特征帧序列号，生成携带有所述特征帧序列号的请求指令，并通过所述近端机发送至所述远端机；

所述远端机根据所述请求指令对本地存储的多维视频帧进行检索，并将与所述检索条件相关联的多维视频帧通过所述近端机返回至所述云端服务器以形成时空轨迹视频流；

所述远端机包括：

位置模块，用于提供所述远端机当前所处的位置信息；所述位置模块为能够实时定位的定位模块；

时间模块，用于提供所述远端机当前的时间信息；所述时间模块为采用全网基准时间的计时器；

AI模块，用于从所述多维视频帧中得到所述特征数据；

存储模块，用于存储所述多维视频帧和所述多维特征帧；

数据融合模块，用于将所述监控视频数据、所述位置信息和所述时间信息组合成所述多维视频帧，将所述特征数据与所述位置信息、所述时间信息组合成所述多维特征帧；

传输模块，用于将所述多维特征帧传送至所述近端机、接收所述云端服务器发送的加载有检索条件的请求指令以及将与所述检索条件相关联的多维视频帧返回至所述云端服务器。

4.根据权利要求3所述的智能视频处理系统，其特征在于：所述远端机与所述视频监控终端为一体式结构或分体式结构。

Images