CN111046228B - 一种基于流计算的视频处理方法 - Google Patents

Abstract

本发明公开了一种基于流计算的视频处理方法，在分布式云计算框架中，视频数据经转换后分别得到图形以及图形属性，分析引擎解析出图形以及图形属性，将所述图形发送至图形分析数据库，所述图形属性发送至第一存储数据库；所述图形分析数据库分析所述图形，并将分析结果传输至第二存储数据库；处于第二存储数据库内的分析结果与第一存储数据库中的图形属性进行关联，关联结果存储至所述第一存储数据库中；API接口，所述API接口与第一存储数据库相交互，所述API接口用于实现视频数据的快速检索。本发明通过结合采用分布式计算技术和分布式存储技术，高效利用集群，提升分析效率，提供存储和检索性能，有效解决海量图形分析需求。

Description

一种基于流计算的视频处理方法

技术领域

本发明属于视频处理方法技术领域，具体涉及一种基于流计算技术的视频处理方法。

背景技术

随着物联技术的发展，各类智能设备产生的视频越来越多，对海量数据的产生对视频分析及检索造成了挑战。传统方式，采用数据库存储，检索性能受到集群规模限制（一般不能超过100节点），检索性能较差；且对图形进行分析过程也无法集群并行化处理，分析往往无法满足海量图形分析需求。通过采用分布式计算技术和分布式存储技术，可以高效利用集群资源，提升分析效率，提供存储和检索性能，有效解决了海量图形分析需求。

发明内容

本发明的目的是提升海量视频分析处理能力和存储能力。

为达到上述目的，本发明的技术方案如下：

一种基于流计算的视频处理方法，在分布式云计算框架中，视频数据通过Opencv按帧转换后，分别得到图形以及图形属性，分析引擎解析出图形以及图形属性，将所述图形发送至图形分析数据库，所述图形属性发送至第一存储数据库；

所述图形分析数据库内交互有应用程序接口，所述应用程序接口用于接入特定场景分析程序，以实现对图形的特定场景分析，所述特定场景分析程序通过智能算法模型，调用所述图形并对其进行业务分析，得到场景分析后图形的特征信息，并将所述特征信息通过数据流的形式传输至第二存储数据库；处于第二存储数据库内的所述特征信息与第一存储数据库中的图形属性进行关联，关联结果存储至所述第一存储数据库中；

API接口，所述API接口与所述第一存储数据库相交互，所述API接口用于实现视频数据的快速检索。

本发明中，首先通过数据转换，将其分别以图形以及图形属性的方式单独存储，与之前的单独数据库相比，本发明采用分布式云计算框架，检索不受规模限制，检索性能优；同时，后期计算与检索时，图形与图形属性独立，互不影响，则检索时，能够根据图形属性，快速找到对应图形，提高了检索效率，

本发明中，由于结合了图形分析数据库，对图形进行单独分析，能够满足海量图形需求；无需在同一个数据库中进行多重运算，提高了视频数据处理的效率，使得分布式云计算框架内的多个数据库，均有各自独立的运算性能，提高应用效率。

本发明中，通过结合采用分布式计算技术和分布式存储技术，可以高效利用集群资源，提升分析效率，提供存储和检索性能，有效解决了海量图形分析需求。

本发明中，由于图形和图形属性通过不同的数据库存储，实现了分布式云计算框架，为海量视频分析与存储提供了一套通用技术方案，基于流计算技术，将实时采集的视频数据，进行解析和智能分析处理，实现基于场景的视频分析和检索，有效满足实时视频图形的智能分析需求。

作为本发明的进一步改进，所述视频数据经转换后分别得到图形以及图形属性具体为：

视频数据通过Opencv按帧转换后，分别得到图形以及图形属性。

本技术方案中，采用的是Opencv技术，其是一种轻量级、高效且由一系列C的函数和少量C++类构成，同时提供多种语言接口，实现图形处理和计算机视觉方面的多种通用算法；同时，OpenCV提供的视觉处理算法非常丰富，并且其它部分以C语言编写，加上其开源的特性，处理得当，不需要添加新的外部支持也可以完整的编译链接生成执行程序，故可以用它来做算法的移植，OpenCV的代码经过适当改写可以正常的运行在DSP系统和ARM嵌入式系统中，方便应用，无需进行过多的改进。

本技术方案中，转化过程具体采用分布式过程，在多机集群上并行执行，转换速度快，可有效应对海量视频格式转换，转换后图形与图形属性分离，图形用于后续分析，图形属性用于标注分析图形，提供后期检索元数据。

作为本发明的进一步改进，所述图形以及图形属性以消息流的形式推送至分析引擎，分析引擎解析出图形以及图形属性。

本发明中，采用kafka消息队列进行消息流的推送，通过kafka的检查点（Checkpointing），配合流处理引擎的水印机制，保障图形数据的时序处理，解决分布式环境下时序数据处理的数据乱序问题。

作为本发明的进一步改进，所述分析引擎内设有流计算单元，所述分析引擎根据流计算单元解析出图形以及图形属性。

本技术方案中，尤其是在一些实时搜索应用环境中的某些具体问题，类似于MapReduce方式的离线处理，其并不能很好地解决问题。而流计算方式，可以很好地对大规模流动数据在不断变化的运动过程中实时地进行分析，捕捉到可能有用的信息，并把结果发送到下一计算节点。同时，流运算在内容方面，能够对于数据进行更快运算和分析的需求;对数字格式的信息流，进行快速处理并反馈。

本发明中，通过流计算单元进行解析，可以将图形以及图形属性分别进行解析，便于后期的分离等。由于之前已经进行了转换，故此处需要进行解析，使得图形以及图形属性后期便于区分，以实现初步存储图形属性的目的。

作为本发明的进一步改进，所述图形分析数据库内交互有应用程序接口，所述应用程序接口用于接入特定场景分析程序，以实现对图形的特定场景分析。

本发明中，通过增加通用型的应用程序接口，便于根据需求进行多种程序的载入，并插入相关分析算法，通过算法替换，可以快速将本发明用于不同业务分析场景，大大提升视频分析灵活性，有效适应业务分析需求。

作为本发明的进一步改进，所述特定场景分析程序通过智能算法模型，调用所述图形并对其进行业务分析，得到场景分析后图形的特征信息，并将所述特征信息传输至第二存储数据库。

本技术方案中，具体是通过得到的特征信息，进行存储，便于后期的检索等，提高了检索效率，且智能算法模型等技术，较为成熟；比如：入侵检测，通过前后时序图形中的物体位置坐标差异，检测物体是否移动，通过标识移动路径确定是否入侵特定区域。针对入侵检测，可获得位置，入侵路径等信息并进行保存，以便于检索使用。

作为本发明的进一步改进，所述特征信息通过数据流的形式传输至第二存储数据库。

本技术方案中，特征信息通过数据流的形式传输，数据传输快速、广域以及持续；其具备一次存取，持续处理，有限存储，近似结果，快速响应的特点。

作为本发明的进一步改进，所述处于第二存储数据库内的分析结果与第一存储数据库中的图形属性进行关联，具体是指将第二存储数据库内的图形的特征信息与第一数据库内图形属性的特征信息进行关联。

本技术方案中，通过特征信息进行关联，相比于其它信息，特征信息容易获得，且区别性强，进而与图形属性关联时，关联度高，不易混淆。

作为本发明的进一步改进，所述API接口，通过与每个第一数据库中的图形属性分别进行匹配，将匹配度最高的图形属性对应的图形作为匹配结果进行检索结果输出。

本技术方案中，通过API接口，可快速定位图形分析特征和特征指向对应的图形，并以可视化形式直观展示，为视频检索，提供了一定的基础，同时用户可以直观、快速得到检索结果。

作为本发明的进一步改进，所述API接口具体是通过特征信息与每个第一数据库中的图形属性分别进行匹配。

由于之前的存储和分析以及关联都是通过特征信息，则为了加快检索效率，此处也是采用特征信息进行配对。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1本发明提供的实施例3中的一种基于流计算的视频处理方法的流程图；

图2是本发明提供的实施例4中的一种基于流计算的视频处理系统的结构示意图。

具体实施方式

为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体图示，进一步阐述本发明。

实施例1

本实施例中，介绍通过流计算处理海量视频的大致步骤。

本实施例中，一种基于流计算的视频处理方法，流程为：

在分布式云计算框架中，视频数据经转换后分别得到图形以及图形属性，分析引擎解析出图形以及图形属性，将所述图形发送至图形分析数据库，所述图形属性发送至第一存储数据库；

所述图形分析数据库分析所述图形，并将分析结果传输至第二存储数据库；处于第二存储数据库内的分析结果与第一存储数据库中的图形属性进行关联，关联结果存储至所述第一存储数据库中；

API接口，所述API接口与所述第一存储数据库相交互，所述API接口用于实现视频数据的快速检索。

本实施例中，与现有通过一个数据库实现海量视频分析检索相比，首先通过数据转换，将其分别以图形以及图形属性的方式单独存储，进而可存储的视频数据量多；其次，本发明通过采用分布式云计算框架，检索不受规模限制，检索性能优；再次，后期计算与检索时，图形与图形属性独立，互不影响，则检索时，能够根据图形属性，快速找到对应图形，提高了检索效率。

本实施例由于结合了图形分析数据库，对图形进行单独分析，能够满足海量图形需求；无需在同一个数据库中进行多重运算，提高了视频数据处理的效率，使得分布式云计算框架内的多个数据库，均有各自独立的运算性能，提高应用效率。

本实施例中，通过结合采用分布式计算技术和分布式存储技术，可以高效利用集群资源，提升分析效率，提供存储和检索性能，有效解决了海量图形分析需求。

本实施例中，由于图形和图形属性通过不同的数据库存储，实现了分布式云计算框架，为海量视频分析与存储提供了一套通用技术方案，基于流计算技术，将实时采集的视频数据，进行解析和智能分析处理，实现基于场景的视频分析和检索，有效满足实时视频图形的智能分析需求。

实施例2

本实施例中，主要介绍每个步骤的具体方案。

具体地，所述视频数据经转换后分别得到图形以及图形属性具体为：

视频数据通过Opencv按帧转换后，分别得到图形以及图形属性。

本技术方案中，采用的是Opencv技术，其是一种轻量级、高效且由一系列C的函数和少量C++类构成，同时提供多种语言接口，实现图形处理和计算机视觉方面的多种通用算法；同时，OpenCV提供的视觉处理算法非常丰富，并且其它部分以C语言编写，加上其开源的特性，处理得当，不需要添加新的外部支持也可以完整的编译链接生成执行程序，故可以用它来做算法的移植，OpenCV的代码经过适当改写可以正常的运行在DSP系统和ARM嵌入式系统中，方便应用，无需进行过多的改进。

本实施例中，转化过程具体采用分布式过程，即在多机集群上并行执行，进而转换速度快，可有效应对海量视频格式转换，转换后图形与图形属性分离，图形用于后续分析，图形属性用于标注分析图形，提供后期检索元数据。

进一步地，所述图形以及图形属性以消息流的形式推送至分析引擎，分析引擎解析出图形以及图形属性。

本发明中，具体采用kafka消息队列进行消息流的推送，通过kafka的检查点（Checkpointing），配合流处理引擎的水印机制，保障图形数据的时序处理，解决分布式环境下时序数据处理的数据乱序问题。

进一步地，所述分析引擎内设有流计算单元，所述分析引擎根据流计算单元解析出图形以及图形属性。

本实施例中，尤其是在一些实时搜索应用环境中的某些具体问题，类似于MapReduce方式的离线处理，其并不能很好地解决问题。而流计算方式，可以很好地对大规模流动数据在不断变化的运动过程中实时地进行分析，捕捉到可能有用的信息，并把结果发送到下一计算节点。同时，流运算在内容方面，能够对于数据进行更快运算和分析的需求;对数字格式的信息流，进行快速处理并反馈。

本发明中，通过流计算单元进行解析，可以将图形以及图形属性分别进行解析，便于后期的分离等。由于之前已经进行了转换，故此处需要进行解析，使得图形以及图形属性后期便于区分，以实现初步存储图形属性的目的。

进一步地，所述图形分析数据库内交互有应用程序接口，所述应用程序接口用于接入特定场景分析程序，以实现对图形的特定场景分析。

本发明中，通过增加通用型的应用程序接口，便于根据需求进行多种程序的载入，并插入相关分析算法，通过算法替换，可以快速将本发明用于不同业务分析场景，大大提升视频分析灵活性，有效适应业务分析需求。

具体地，所述特定场景分析程序通过智能算法模型，调用所述图形并对其进行业务分析，得到场景分析后图形的特征信息，并将所述特征信息传输至第二存储数据库。

本实施例中，具体是通过得到的特征信息，进行存储，便于后期的检索等，提高了检索效率，且智能算法模型等技术，较为成熟；比如：入侵检测，通过前后时序图形中的物体位置坐标差异，检测物体是否移动，通过标识移动路径确定是否入侵特定区域。针对入侵检测，可获得位置，入侵路径等信息并进行保存，以便于检索使用。

具体地，所述特征信息通过数据流的形式传输至第二存储数据库。

本实施例中，特征信息通过数据流的形式传输，数据传输快速、广域以及持续；其具备一次存取，持续处理，有限存储，近似结果，快速响应的特点。

具体地，所述处于第二存储数据库内的分析结果与第一存储数据库中的图形属性进行关联，具体是指将第二存储数据库内的图形的特征信息与第一数据库内图形属性的特征信息进行关联。

本实施例中，通过特征信息进行关联，相比于其它信息，特征信息容易获得，且区别性强，进而与图形属性关联时，关联度高，不易混淆。

具体地，所述API接口，通过与每个第一数据库中的图形属性分别进行匹配，将匹配度最高的图形属性对应的图形作为匹配结果进行检索结果输出。

本实施例中，通过API接口，可快速定位图形分析特征和特征指向对应的图形，并以可视化形式直观展示，为视频检索，提供了一定的基础，同时用户可以直观、快速得到检索结果。

具体地，所述API接口具体是通过特征信息与每个第一数据库中的图形属性分别进行匹配。

由于之前的存储和分析以及关联都是通过特征信息，则为了加快检索效率，此处也是采用特征信息进行配对。

实施例3

本实施例中一种基于流计算技术的视频分析方法，参照附图1所示，其包括以下步骤：首先，视频数据转换；其次，消息列队；即转换后的视频数据通过消息列队传输；再次，数据解析，即对传输过来的转换后的视频数据进行解析；最后，属性数据存储，具体存储于BASE中；图形数据分析经图形数据存储与HDFS中，且BASE与图形数据存储交互。

本实施例中方法，具体是：

实时视频转换为图形以及图形属性后，并以消息流形式推送到分析引擎，分析引擎通过解析消息队列数据，将图形属性数据存入库Hbase数，图形数据以数据流的形式传入特定分析场景进行分析，再将分析据结果上传至HDFS，分析后的图形特征数据与图形属性数据进行关联，并存储到Hbase。最后在BASE中提供检索API，实现按照分析场景进行快速检索。

本实施例中，采用流计算技术通过解析数据，将图形数据和图形属性数据分离，并将图形属性存入HABSE数据库。

更进一步地，将解析后的视频图形数据通过智能算法模型进行场景化分析，调用数据流写入函数将分析后的图像数据以数据流的形式上传至HDFS，将场景分析后的特征信息,与数据库Hbase的图形属性信息进行关联，并将特征信息存储到HABSE数据。

还包括将检索特征信息与所述数据库HABSE的属性信息进行匹配，并将匹配结果进行显示，包括：将所述检索特征信息与所述数据库Hbase的属性信息进行匹配，得到与每个属性信息对应的匹配度，将匹配度最高的属性信息作为匹配结果进行显示。

本实施例中，将两个存储数据库的型号等进行了限定，同时，提及到可以将最终匹配后得到的检索结果进行显示，以便于后期显示以及用户视频数据的提取。

实施例4

本实施例中，主要是一种基于opencv、spark和hadoop的视频处理方法，

包括：将采集视频通过Opencv按帧转换为图形格式并附加相关视频采集的图形属性（位置、格式等），转化后的数据推送到kafka消息队列中；

分析引擎（即spark）连接到kafka，接收数据并解析，将图形属性数据存入库Hbase数据，图形数据以数据流的形式传入特定分析场景进行分析；

图形数据采用智能算法根据业务场景进行分析，再将分析结果上传至HDFS，分析后的图形特征数据与图形属性数据进行关联，并存储到Hbase；

最后提供检索API，实现按照分析场景进行快速检索。

本实施例中，HDFS以及Hbase即为hadoop分布式数据库。

本实施例中通过采用分布式云计算框架，为海量视频分析与存储提供了一套通用技术方案，基于流计算技术，将实时采集的视频数据，进行解析和智能分析处理，实现基于场景的视频分析和检索，有效满足实时视频图形的智能分析需求。

具体地，参照图2所示，基于流计算技术的视频分析方法，采用以下系统实现，所述系统包括：

一、视频转换服务,该模块用于对采集视频进项转换，具体是通过接入STMP、RTSP等视频协议，获取视频数据，并采用opencv技术将视频数据转换为图形数据格式，再将图形数据和图形属性数据打包发送给消息队列。

二、数据解析服务，该模块将消息对列传送的打包数据进行解析，分离图形数据和图形属性数据，并将图形属性数据传入数据存储服务，将图形数据以数据流的形式传入特定分析场景进行图形分析。

三、图形分析服务，用解析后的图形数据，根据分析业务场景，采用特定的分析算法进行分析，行程分析图形数据和分析特征数据。

四、数据存储服务，调用存储函数，将图形属性数据存入库Hbase中接，分析图形存储hdfs，分析图形特征数据与图形属性数据关联后存储Hbase中。

四、特征检索服务，服务提供检索API，通过API可以根据业务场景检索特定特征的视频信息。

实施例5

本实施例中，具体用于处理某一个视频数据，具体流程如下：

S1采集视频数据：通过端口、内存卡、监控摄像等得到视频数据，先通过Opencv按帧转换为图形格式以及图形属性，具体地，图形属性是所属摄像头，地理位置信息，发生时间等信息。

即与实施例4相比，所述视频数据还可以通过端口、内存卡、监控摄像等获得。

S2视频数据传输：转换后的数据，通过消息流传输至kafka消息队列中，进而传输至分析引擎中；

S3视频分析处理：具体是将图形以及图形属性进行分析，根据具体业务场景，扩展通用分析接口，插入智能算法（如：入侵检测），分析场景特征获取特征数据和标识图形。比如，如果是入侵检测，则通过前后时序图形中的物体坐标差异，检测物体是否移动，通过表标识移动路径，确定是否入侵特定区域；针对入侵检测，则可以获得位置、入侵路线等信息，后期检索时，则可以通过位置、入侵路线等，用于作为特征信息进行检索。

S4存储：将分析得到的图形数据存储于HDFS数据库中，而将图形属性、分析得到的图形数据与图形属性的关联结果，存储于Hbase数据库中；

S5检索：当需要检索某类业务分析特征时，采用Hbase数据库的API接口，采用分布式查询，根据图形特征数据快速定位某一时间段或某一时刻的特征视频，实现即时检索。

以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (6)

1.一种基于流计算的视频处理方法，其特征在于，在分布式云计算框架中，视频数据通过Opencv按帧转换后，分别得到图形以及图形属性，分析引擎解析出图形以及图形属性，将所述图形发送至图形分析数据库，所述图形属性发送至第一存储数据库；

所述图形分析数据库内交互有应用程序接口，所述应用程序接口用于接入特定场景分析程序，以实现对图形的特定场景分析，所述特定场景分析程序通过智能算法模型，调用所述图形并对其进行业务分析，得到场景分析后图形的特征信息，并将所述特征信息通过数据流的形式传输至第二存储数据库；处于第二存储数据库内的所述特征信息与第一存储数据库中的图形属性进行关联，关联结果存储至所述第一存储数据库中；

API接口，所述API接口与所述第一存储数据库相交互，所述API接口用于实现视频数据的快速检索。

2.根据权利要求1所述的一种基于流计算的视频处理方法，其特征在于，所述图形以及图形属性以消息流的形式推送至分析引擎，分析引擎解析出图形以及图形属性。

3.根据权利要求2所述的一种基于流计算的视频处理方法，其特征在于，所述分析引擎内设有流计算单元，所述分析引擎根据流计算单元解析出图形以及图形属性。

4.根据权利要求1所述的一种基于流计算的视频处理方法，其特征在于，所述处于第二存储数据库内的分析结果与第一存储数据库中的图形属性进行关联，具体是指将第二存储数据库内的图形的特征信息与第一数据库内图形属性的特征信息进行关联。

5.根据权利要求4所述的一种基于流计算的视频处理方法，其特征在于，所述API接口，通过与每个第一数据库中的图形属性分别进行匹配，将匹配度最高的图形属性对应的图形作为匹配结果进行检索结果输出。

6.根据权利要求5所述的一种基于流计算的视频处理方法，其特征在于，所述API接口具体是通过特征信息与每个第一数据库中的图形属性分别进行匹配。

Images