CN114255432A - 视频流处理方法、装置、电子设备、存储介质及系统 - Google Patents

Abstract

本申请提供一种视频流处理方法、装置、电子设备、存储介质及系统。方法包括：接收视频采集装置发送的视频流数据；其中，所述边缘节点所负责处理的视频采集装置为所述中心节点根据预设分配原则分配；按照预设抽帧规则对所述视频流数据进行抽帧，获得图片信息；向所述中心节点发送所述图片信息，以使所述中心节点对所述图片信息进行分析处理。本申请实施例通过边缘节点对接收到的视频流数据进行抽帧，获得图片信息，然后将图片信息发送给中心节点，由中心节点对图片进行分析，从而实现了对视频流数据的分析，大大降低了对边缘节点和中心节点GPU算力的要求，进而降低了成本。

Description

视频流处理方法、装置、电子设备、存储介质及系统

技术领域

本申请涉及视频处理技术领域，具体而言，涉及一种视频流处理方法、装置、电子设备、存储介质及系统。

背景技术

移动边缘计算(Mobile Edge Computing，MEC)应用于移动通信领域，依靠基站附近设置的边缘计算节点，承担计算任务，从而降低网络提供商的中心平台服务器压力，提高用户访问的速率。

在视频分析领域中，可以通过边缘计算节点对接收到的视频流进行分析，但是基于视频流的分析需要耗费较大的GPU算力，并且GPU算力模块较贵，因此成本较高。

发明内容

本申请实施例的目的在于提供一种视频流处理方法、装置、电子设备及存储介质，用以降低对视频流进行分析的成本。

第一方面，本申请实施例提供一种视频流处理方法，应用于边缘节点，所述边缘节点与中心节点通信连接，所述方法包括：接收视频采集装置发送的视频流数据；其中，所述边缘节点所负责处理的视频采集装置为所述中心节点根据预设分配原则分配；按照预设抽帧规则对所述视频流数据进行抽帧，获得图片信息；向所述中心节点发送所述图片信息，以使所述中心节点对所述图片信息进行分析处理。

本申请实施例通过边缘节点对接收到的视频流数据进行抽帧，获得图片信息，然后将图片信息发送给中心节点，由中心节点对图片进行分析，从而实现了对视频流数据的分析，大大降低了对边缘节点和中心节点GPU算力的要求，进而降低了成本。

第二方面，本申请实施例提供一种视频流处理方法，应用于边缘节点，所述边缘节点与中心节点通信连接，所述方法包括：接收视频采集装置发送的视频流数据；其中，所述边缘节点所负责处理的视频采集装置为所述中心节点根据预设分配原则分配；按照预设抽帧规则对所述视频流数据进行抽帧，获得图片信息；获取所述视频采集装置对应的图像分析模型；利用所述图像分析模型对所述图片信息进行分析处理，获得分析结果；向所述中心节点发送所述分析结果。

本申请实施例通过边缘节点对接收到的视频流数据进行抽帧，获得图片信息，然后对图片信息进行分析，获得分析结果，从而实现了对视频流数据的分析，大大降低了对边缘节点和中心节点GPU算力的要求，进而降低了成本，并且，还降低了中心节点的负载压力。

在第一方面或第二方面所述的方法的基础上，所述按照预设抽帧规则对所述视频流数据进行抽帧，包括：根据预设的抽取帧率对所述视频流数据进行抽帧。本申请实施例根据预设的抽取帧率对视频流数据进行抽帧，获得图片信息，降低了对视频流分析的运算量，提高分析效率。

在第一方面或第二方面所述的方法的基础上，所述按照预设抽帧规则对所述视频流数据进行抽帧，包括：对所述视频流数据进行分帧处理，获得对应的多个帧图像；对所述多个帧图像进行运动目标检测，抽取包含目标对象的帧图像。本申请实施例通过对视频流对应的图像进行运动目标检测，从而进行抽帧，降低了对视频流分析的运算量，提高分析效率。

在第一方面或第二方面所述的方法的基础上，所述方法还包括：接收图像采集装置发送的抓拍图像，并向所述中心节点发送所述抓拍图像，以使所述中心节点对所述抓拍图像进行分析，获得分析结果。本申请实施例通过将接收到的抓拍图像发送给中心节点，由中心节点对图片进行分析，因此，通过中心节点中的GPU算力对各个边缘节点发送的图片进行处理，充分利用了资源，降低了成本。

第三方面，本申请实施例提供一种视频流处理方法，应用于中心节点，所述中心节点与多个边缘节点通信连接，所述方法包括：接收所述边缘节点发送的图片信息和处理标识；其中，所述图片信息为所述边缘节点对接收到视频采集装置发送的视频流数据进行抽帧获得；根据所述处理标识获取对应的图像分析模型；利用所述图像分析模型对所述图片信息进行分析处理，获得处理结果。

本申请实施例通过边缘节点对接收到的视频流数据进行抽帧，获得图片信息，然后将图片信息发送给中心节点，由中心节点对图片进行分析，从而实现了对视频流数据的分析，大大降低了对边缘节点和中心节点GPU算力的要求，进而降低了成本。

在任一实施例中，在接收所述边缘节点发送的图片信息和处理标识之前，所述方法还包括：接收所述视频采集装置发送的接入请求，所述接入请求包括所述视频采集装置对应的装置标识；根据预设调度原则从多个所述边缘节点中选择一个作为目标边缘节点；根据所述装置标识将所述视频采集装置接入所述目标边缘节点。本申请实施例通过预设调度原则为视频采集装置分配边缘节点，实现了对边缘节点的负载均衡。

在任一实施例中，所述预设调度原则包括就近原则和/或负载均衡原则。

第四方面，本申请实施例提供一种视频流处理装置，包括：第一接收模块，用于接收视频采集装置发送的视频流数据；其中，所述边缘节点所负责处理的视频采集装置为中心节点根据预设分配原则分配；第一抽帧模块，用于按照预设抽帧规则对所述视频流数据进行抽帧，获得图片信息；第一发送模块，用于向所述中心节点发送所述图片信息，以使所述中心节点对所述图片信息进行分析处理。

第五方面，本申请实施例提供一种视频流处理装置，包括：第二接收模块，用于接收视频采集装置发送的视频流数据；其中，所述边缘节点所负责处理的视频采集装置为所述中心节点根据预设分配原则分配；第二抽帧模块，用于按照预设抽帧规则对所述视频流数据进行抽帧，获得图片信息；第一获取模块，用于获取所述视频采集装置对应的图像分析模型；第一分析模块，用于利用所述图像分析模型对所述图片信息进行分析处理，获得分析结果；

第二发送模块，用于向所述中心节点发送所述分析结果。

第六方面，本申请实施例提供一种视频流处理装置，包括：第三接收模块，用于接收所述边缘节点发送的图片信息和处理标识；其中，所述图片信息为所述边缘节点对接收到视频采集装置发送的视频流数据进行抽帧获得；第二获取模块，用于根据所述处理标识获取对应的图像分析模型；第二分析模块，用于利用所述图像分析模型对所述图片信息进行分析处理，获得处理结果。

第七方面，本申请实施例提供一种电子设备，包括：处理器、存储器和总线，其中，所述处理器和所述存储器通过所述总线完成相互间的通信；所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行第一方面、第二方面或第三方面的方法。

第八方面，本申请实施例提供一种非暂态计算机可读存储介质，包括：所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行第一方面、第二方面或第三方面的方法。

第九方面，本申请实施例提供一种视频流处理系统，包括中心节点和多个边缘节点；其中，所述中心节点与各个所述边缘节点通信连接，所述边缘节点用于执行第一方面或第二方面所述的方法，所述中心节点用于执行第三方面所述的方法。

本申请的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请实施例了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请实施例提供的一种视频流处理方法流程示意图；

图2为本申请实施例提供的另一种视频流处理方法流程示意图；

图3为本申请实施例提供的抽帧方法流程示意图；

图4为本申请实施例提供的又一种视频流处理方法流程示意图；

图5为本申请实施例提供的一种视频流处理装置结构示意图；

图6为本申请实施例提供的另一种视频流处理装置结构示意图；

图7为本申请实施例提供的又一种视频流处理装置结构示意图；

图8为本申请实施例提供的电子设备实体结构示意图；

图9为本申请实施例提供的一种视频流处理系统架构示意图；

图10为本申请实施例提供的该系统一种视频流处理系统部署示意图。

具体实施方式

由于在终端或服务器上安装GPU的价格较贵，因此为了解决现有技术中，对视频流数据进行分析需要消耗大量的GPU算力资源的问题，本申请实施例提供一种视频流处理方法，该方法通过在边缘节点对视频流数据进行抽帧处理，然后对抽帧后获得图像进行分析，而不是直接对视频流数据进行分析，从而大大降低了对GPU算力的消耗，降低了成本。

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。

图1为本申请实施例提供的一种视频流处理方法流程示意图，如图1所示，该方法应用于边缘节点，该边缘节点与中心节点通信连接。可以理解的是，边缘节点是指在靠近用户的网络边缘侧构建的业务平台，提供存储、计算、网络等资源，将部分关键业务应用下沉到接入网络边缘，以减少网络传输和多级转发带来的宽度和时延损耗。因此，边缘节点位置介于用户终端和中心节点之间。

移动边缘计算是指接近智能手机或移动终端的地方提供云计算能力。本申请实施例采用了移动边缘计算对视频流数据进行处理。

该方法包括如下步骤：

步骤101：接收视频采集装置发送的视频流数据；其中，所述边缘节点所负责处理的视频采集装置为所述中心节点根据预设分配原则分配。

在具体的实施过程中，视频采集装置预先与边缘节点通信连接，具体的，视频采集装置可以通过网关与边缘节点通信连接。视频采集装置具体可以是监控摄像头或录像机等具备视频采集的设备。

另外，中心节点统筹管理所有的视频采集装置与边缘节点的对应关系。即，当有视频采集装置需要加入时，会向中心节点发送接入请求，中心节点基于预设分配原则将视频采集装置分配给边缘节点。其中，接入请求中可以包含视频采集装置的装置标识，例如IP地址等，中心节点在选中边缘节点后，将视频采集装置的装置标识发送给边缘节点，边缘节点在接收到装置标识后通过IP地址与视频采集装置通信连接。

可以理解的是，边缘节点可以接收视频采集装置实时采集的视频流数据，也可以接收视频采集装置在历史时间段内采集的视频流数据。

步骤102：按照预设抽帧规则对所述视频流数据进行抽帧，获得图片信息。

其中，在边缘节点接收到视频流数据后，可以先对视频流数据进行分帧处理，获得多张帧图像。例如：从监控摄像头采集的图像信息中提取人脸图像，并且，监控摄像头采集的区域不经常有人出现，那么多张帧图像中便会有很多图像都是无用图像。为了降低后续对图像分析的计算量，可以从多张帧图像中抽取一些帧图像作为抽帧获得的图片信息。

步骤103：向所述中心节点发送所述图片信息，以使所述中心节点对所述图片信息进行分析处理。

其中，边缘节点在经过抽帧后获得图片信息，并向中心节点发送该图片信息，从而使得中心节点对接收到的图片信息进行分析处理。

应当说明的是，中心节点可以与多个边缘节点通信连接，且中心节点中包括有GPU算力分析模块，例如：一个GPU算力模块可以同时处理160路，而一个边缘节点对应5路视频采集装置，因此，可以向中心节点发送5路图片信息。中心节点可以同时处理32个边缘节点发送过来的160路视频采集装置对应的图片信息。因此，对于边缘节点对应的视频采集装置的数量较少的情况，如果在每个边缘节点布设GPU算力模块，则会导致边缘节点中GPU算力模块利用不充分，资源浪费的问题。因此，本申请实施例将图片信息发送给中心节点，由中心节点集中对边缘节点发送的图片信息进行处理，使得中心节点的GPU算力模块得到充分的利用。

本申请实施例通过边缘节点对接收到的视频流数据进行抽帧，获得图片信息，然后对图片信息进行分析，获得分析结果，从而实现了对视频流数据的分析，相比于直接对视频流分析，大大降低了对边缘节点和中心节点GPU算力的要求，进而降低了成本，并且，还降低了中心节点的负载压力。

图2为本申请实施例提供的另一种视频流处理方法流程示意图，如图2所示，该方法同样应用于边缘节点，该边缘节点与中心节点通信连接。应当说明的是，边缘节点的定义参见上述实施例，此处不再赘述。该方法包括如下步骤：

步骤201：接收视频采集装置发送的视频流数据；其中，所述边缘节点所负责处理的视频采集装置为所述中心节点根据预设分配原则分配。

其中，视频采集装置预先与边缘节点通信连接，具体的，视频采集装置可以通过网关与边缘节点通信连接。视频采集装置具体可以是监控摄像头或录像机等可以具备视频采集的设备。

另外，中心节点统筹管理所有的视频采集装置与边缘节点的对应关系。即，当有视频采集装置需要加入时，会向中心节点发送接入请求，中心节点基于预设分配原则将视频采集装置分配给边缘节点。具体可以是，接入请求中包含了视频采集装置的装置标识，例如IP地址等，中心节点在选中边缘节点后，将视频采集装置的装置标识发送给边缘节点，边缘节点在接收到装置标识后通过IP地址与视频采集装置通信连接。

可以理解的是，边缘节点可以接收视频采集装置实时采集的视频流数据，也可以接收视频采集装置在历史时间段内采集的视频流数据。

步骤202：按照预设抽帧规则对所述视频流数据进行抽帧，获得图片信息。

其中，在边缘节点接收到视频流数据后，可以先对视频流数据进行分帧处理，获得多张帧图像。例如：从监控摄像头采集的图像信息中提取人脸图像，并且，监控摄像头采集的区域不经常有人出现，那么多张帧图像中便会有很多图像都是无用图像。为了降低后续对图像分析的计算量，可以从多张帧图像中抽取一些帧图像作为抽帧获得的图片信息。

步骤203：获取所述视频采集装置对应的图像分析模型。

其中，边缘节点中预先存储有至少一种图像分析模型，图像分析模型可以是用于人脸识别的模型，可以是用于车牌号识别的模型等等。边缘节点中存储的图像分析模型的种类可以是根据其接入的视频采集装置所需的分析对象确定。在边缘节点中可以存储有视频采集装置的装置标识与图像分析模型的对应关系。边缘节点接收到的视频流数据中包括视频采集装置的装置标识，因此，边缘节点可以根据装置标识确定图像分析模型。

步骤204：利用所述图像分析模型对所述图片信息进行分析处理，获得分析结果。

其中，边缘节点在获取到图像分析模型后，利用图像分析模型分别对每张图片信息进行分析处理，获得分析结果。为了便于理解，本申请实施例以人脸匹配为例进行描述：边缘节点中预先存储有多张人脸的特征信息。边缘节点在获得图片信息后，获取人脸识别模型，对该图片信息的中人脸特征进行提取，获得待匹配的人脸特征，然后根据待匹配的人脸特征和预先存储的人脸特征进行相似度计算，从而根据相似度从预先存储的人脸中找出与图片信息中的人脸属于同一个人的人脸信息。

步骤205：边缘节点向所述中心节点发送所述分析结果。中心节点在接收到该分析结果后，可以对该分析结果进行存储。

本申请实施例通过边缘节点对接收到的视频流数据进行抽帧，获得图片信息，然后对图片信息进行分析，获得分析结果，从而实现了对视频流数据的分析，相比于直接对视频流分析，大大降低了对边缘节点和中心节点GPU算力的要求，进而降低了成本，并且，还降低了中心节点的负载压力。

在上述任一实施例的基础上，所述按照预设抽帧规则对所述视频流数据进行抽帧，包括：

根据预设的抽取帧率对所述视频流数据进行抽帧。

在具体的实施过程中，图3为本申请实施例提供的抽帧方法流程示意图，如图3所示，该方法包括：

步骤301：获取视频流数据；边缘节点从视频采集装置获取视频流数据。

步骤302：从视频流数据中抽取一帧图像信息；在抽取视频流的第一张图片信息时，可以将视频流数据的第一帧图像作为第一张图片信息。

步骤303：根据自定义抽帧率计算每抽一帧后需要丢弃的帧数；自定义抽帧率即本申请实施例中的预设的抽取帧率，假设，预设的抽取帧率为5帧，并且，自上一次抽取图片信息后，还未丢弃过帧图像，则需要丢弃的帧数为5。

步骤304：丢帧处理；从上一次抽取帧图像开始，连续丢弃5帧图像；

步骤305：判断当前需要丢帧数是否大于1；在丢帧的过程中，虽然已经在步骤303中计算出需要丢弃的帧数，但在实际丢帧过程中，可能会出现少丢帧的情况，因此，该步骤可以统计从上一次抽取帧图像之后，累计丢弃了多少帧图像，以及根据预设的抽取帧率判断当前需要丢帧数是否大于1，如果是，则返回步骤304，继续丢帧处理；否则说明本轮丢帧完成，执行步骤302，直至接收到的视频流数据全部抽帧完成为止。

应当说明的是，本申请实施例适用于边缘节点与多个视频采集装置通信连接的情况，在边缘节点中布设有GPU算力模块，边缘节点在处理多个视频采集装置的视频流数据时，可以充分利用GPU算力模块。

本申请实施例根据预设的抽取帧率对视频流数据进行抽帧，获得图片信息，降低了对视频流分析的运算量，提高分析效率。

在上述实施例的基础上，所述按照预设抽帧规则对所述视频流数据进行抽帧，包括：

对所述视频流数据进行分帧处理，获得对应的多个帧图像；

对所述多个帧图像进行运动目标检测，抽取包含目标对象的帧图像。

在具体的实施过程中，本申请实施例提供另一种抽帧方式，对于需要人脸检测、车牌检测的视频流数据，其所需要的是画面中有人或车辆出现，对于没有人或没有车的画面是没有分析价值的。为了能够获取有价值的图像，并且降低后续的计算量，本申请实施例采用运动目标检测方法对视频流数据进行抽帧处理。运动目标检测是指在序列图像中检测出变化区域并将运动目标从背景图像中提取出来。根据摄像头是否保持静止，运动检测分为静态背景和运动背景两类。大多数视频监控系统是摄像头固定的，因此静态背景下运动目标检测算法受到广泛关注，常用的方法有帧差法、光流法、背景减除法等。下面以帧差法为例进行介绍：

帧差法的基本原理就是在图像序列相邻两帧或三帧间采用基于像素的时间差分通过闭值化来提取出图像中的运动区域。首先，将相邻帧图像对应像素值相减得到差分图像，然后对差分图像二值化，在环境亮度变化不大的情况下，如果对应像素值变化小于事先确定的阈值时，可以认为此处为背景像素；如果图像区域的像素值变化很大，可以认为这是由于图像中运动物体引起的，将这些区域标记为前景像素，利用标记的像素区域可以确定运动目标在图像中的位置。由于相邻两帧间的时间间隔非常短，用前一帧图像作为当前帧的背景模型具有较好的实时性，其背景不积累，且更新速度快、算法简单、计算量小。

边缘节点在获取到视频流数据后，对视频流数据进行分帧处理，获得多个帧图像，然后可以利用帧差法从多个帧图像中获取包含目标对象的帧图像。其中，这里的目标对是指后续待分析的对象，可以是人脸，也可以是车辆等。

本申请实施例通过对视频流对应的图像进行运动目标检测，从而进行抽帧，降低了对视频流分析的运算量，提高分析效率。

在上述任一实施例的基础上，所述方法还包括：

接收图像采集装置发送的抓拍图像，并向所述中心节点发送所述抓拍图像，以使中心节点对抓拍图像进行分析，获得分析结果。

在具体的实施过程中，边缘节点还可以与图像采集装置通信连接，应当说明的是，图像采集装置是指具备拍摄照片的装置，例如：照相机，具备抓拍功能的监控摄像头等。另外，图像采集装置也是通过中心节点按照预设分配原则将其分配给边缘节点的。即，当有图像采集装置需要加入时，会向中心节点发送接入请求，中心节点基于预设分配原则将图像采集装置分配给边缘节点。具体可以是，接入请求中包含了图像采集装置的装置标识，例如IP地址等，中心节点在选中边缘节点后，将图像采集装置的装置标识发送给边缘节点，边缘节点在接收到装置标识后通过IP地址与图像采集装置通信连接。

图像采集装置在采集到抓拍图像后，将抓拍图像发送给通信连接的边缘节点，边缘节点在接收到抓拍图像后，将抓拍图像发送给中心节点。中心节点在接收到抓拍图像后，利用对应的图片分析模型对抓拍图像进行分析，获得分析结果。

应当说明的是，边缘节点还可以直接对抓拍图像进行处理，具体处理方法参见图3所述的方法步骤，此处不再赘述。

在另一实施例中，边缘节点中包括视图库，视图库负责采集智能设备抓拍的图片数据，并存储该图片数据。边缘节点可以从视图库中获取图片数据，将获取到的图片数据发送给中心节点。

本申请实施例通过将接收到的抓拍图像发送给中心节点，由中心节点对图片进行分析，因此，通过中心节点中的GPU算力对各个边缘节点发送的图片进行处理，充分利用了资源，降低了成本。

图4为本申请实施例提供的又一种视频流处理方法流程示意图，如图4所示，该方法应用于中心节点，中心节点与多个边缘节点通信连接，该方法包括：

步骤401：接收所述边缘节点发送的图片信息和处理标识；其中，所述图片信息为所述边缘节点对接收到视频采集装置发送的视频流数据进行抽帧获得。

在具体的实施过程中，边缘节点接收与其通信连接的视频采集装置发送的视频流数据，并对接收到的视频流数据进行抽帧处理。应当说明的是，边缘节点对视频流数据进行抽帧的方法可以参见上述实施例，此处不再赘述。处理标识的作用是指示中心节点获取对应的图像分析模型，不同的视频采集装置所采集的视频其对应的分析方法不同。例如，有的视频采集装置采集的视频是需要对其进行人脸分析的，有的视频采集装置采集的视频时需要对其进行车牌识别的等等。本申请实施例通过处理标识来确定分析方法。可以理解的是，处理标识可以是视频采集装置对应的装置标识，例如，可以是视频采集装置的MAC地址，或IP地址，还可以是视频采集装置的出厂编号等等。视频采集装置在向边缘节点发送的视频流数据中包含该处理标识。

另外，图片信息还可以是边缘节点接收到的图像采集装置发送的抓拍图像，此时，边缘节点主要承担的是图像转发的作用，即，边缘节点将接收到的抓拍图像发送给中心节点。

步骤402：根据所述处理标识获取对应的图像分析模型；中心节点中可以维护处理标识与图像分析模型的对应关系，当中心节点在接收到处理标识后，并可以通过处理标识获取对应的图像分析模型。

步骤403：利用所述图像分析模型对所述图片信息进行分析处理，获得处理结果。应当说明的是，利用图像分析模型对图片信息进行处理的过程与上述实施例一致，此处不再赘述。

本申请实施例通过边缘节点对接收到的视频流数据进行抽帧，获得图片信息，然后将图片信息发送给中心节点，由中心节点对图片进行分析，从而实现了对视频流数据的分析，大大降低了对边缘节点和中心节点GPU算力的要求，进而降低了运营成本。

在上述实施例的基础上，在接收所述边缘节点发送的图片信息和处理标识之前，所述方法还包括：

接收所述视频采集装置发送的接入请求，所述接入请求包括所述视频采集装置对应的装置标识；

根据预设调度原则从多个所述边缘节点中选择一个作为目标边缘节点；

根据所述装置标识将所述视频采集装置接入所述目标边缘节点。

在具体的实施过程中，当一个新的视频采集装置需要接入，或视频采集装置重启后，需要向中心节点发送接入请求，该接入请求用于让中心节点为对应的视频采集装置分配通信连接的边缘节点。装置标识可以是视频采集装置的IP地址等，中心节点按照预设调度原则在选中边缘节点后，将视频采集装置的装置标识发送给边缘节点，边缘节点在接收到装置标识后通过IP地址与视频采集装置通信连接。

其中，预设调度原则可以包括就近原则和负载均衡原则等，下面分别针对具体的预设调度原则进行描述：

1、预设调度原则为就近原则

所谓就近原则是考虑边缘节点与视频采集装置在物理距离上的远近，以及在网络逻辑上的远近。在实际应用中，可以综合考虑物理距离和网络逻辑距离。例如：视频采集装置所在的位置为上海，与中心节点通信连接的边缘节点分为位于：上海、北京、重庆。且，视频采集装置与上海的边缘节点通信其对应的网络跳数为2，视频采集装置与北京的边缘节点通信其对应的网络跳数为3，视频采集装置与重庆的边缘节点通信其对应的网络跳数为4，由于视频采集装置与上海在物理距离上最近，且与上海的边缘节点通信的网络跳数最小，所以，中心节点将视频采集装置分配给上海的边缘节点。

因此，在实际应用中，可以预先设定物理距离与网络跳数的权重，然后，对其进行加权求和，根据加权求和后的得分确定目标边缘节点。

2、预设调度原则为负载均衡

所谓负载均衡就是让各个边缘节点接入的视频采集装置的数量处于平均的状态。也就是说，当有视频采集装置向中心节点发送接入请求时，中心节点从多个边缘节点中找当前负载最小的边缘节点，将视频采集装置分配给当前负载最小的这个边缘节点。

3、预设调度原则为就近原则和负载均衡

这里的预设调度原则综合考虑了就近原则和负载均衡。在实际应用中，可以分给为物理距离、网络跳数和当前负载设定权重，当有视频采集装置向中心节点发送接入请求时，中心节点计算该视频采集装置与每个边缘节点之间的得分，该得分是指该视频采集装置与边缘节点之间的物理距离、网络跳数和边缘节点的当前负载的加权求和后的值。根据得分可以确定目标边缘节点。

另外，中心节点还可以先利用就近原则，即，先在距离视频采集装置附近找边缘节点，如果附近的边缘节点没有空闲资源处理，在通过负载均衡原则确定边缘节点。

可以理解的是，在实际应用中，还可以选择其他原则，本申请实施例对此不作具体限定。

本申请实施例通过预设调度原则实现视频采集装置的智能分配，从而提高了对视频流数据分析的效率。

图5为本申请实施例提供的视频流处理装置结构示意图，该装置可以是电子设备上的模块、程序段或代码。应理解，该装置与上述图1方法实施例对应，能够执行图1方法实施例涉及的各个步骤，该装置具体的功能可以参见上文中的描述，为避免重复，此处适当省略详细描述。所述装置包括：第一接收模块501、第一抽帧模块502和第一发送模块503，其中：

第一接收模块501用于接收视频采集装置发送的视频流数据；其中，所述边缘节点所负责处理的视频采集装置为中心节点根据预设分配原则分配；

第一抽帧模块502用于按照预设抽帧规则对所述视频流数据进行抽帧，获得图片信息；

第一发送模块503用于向所述中心节点发送所述图片信息，以使所述中心节点对所述图片信息进行分析处理。

在上述实施例的基础上，第一抽帧模块502具体用于：

根据预设的抽取帧率对所述视频流数据进行抽帧。

在上述实施例的基础上，第一抽帧模块502具体用于：

对所述视频流数据进行分帧处理，获得对应的多个帧图像；

对所述多个帧图像进行运动目标检测，抽取包含目标对象的帧图像。

在上述实施例的基础上，该装置还包括第一抓拍图像接收模块，用于：

接收图像采集装置发送的抓拍图像，并向所述中心节点发送所述抓拍图像，以使所述中心节点对所述抓拍图像进行分析，获得分析结果。

图6为本申请实施例提供的视频流处理装置结构示意图，该装置可以是电子设备上的模块、程序段或代码。应理解，该装置与上述图2方法实施例对应，能够执行图2方法实施例涉及的各个步骤，该装置具体的功能可以参见上文中的描述，为避免重复，此处适当省略详细描述。所述装置包括：第二接收模块601、第二抽帧模块602、第一获取模块603、第一分析模块604和第二发送模块605，其中：

第二接收模块601用于接收视频采集装置发送的视频流数据；其中，所述边缘节点所负责处理的视频采集装置为所述中心节点根据预设分配原则分配；

第二抽帧模块602用于按照预设抽帧规则对所述视频流数据进行抽帧，获得图片信息；

第一获取模块603用于获取所述视频采集装置对应的图像分析模型；

第一分析模块604用于利用所述图像分析模型对所述图片信息进行分析处理，获得分析结果；

第二发送模块605用于向所述中心节点发送所述分析结果。

在上述实施例的基础上，第二抽帧模块602具体用于：

根据预设的抽取帧率对所述视频流数据进行抽帧。

在上述实施例的基础上，第二抽帧模块602具体用于：

对所述视频流数据进行分帧处理，获得对应的多个帧图像；

对所述多个帧图像进行运动目标检测，抽取包含目标对象的帧图像。

在上述实施例的基础上，该装置还包括第二抓拍图像接收模块，用于：

接收图像采集装置发送的抓拍图像，并向所述中心节点发送所述抓拍图像。

图7为本申请实施例提供的又一种视频流处理装置结构示意图，该装置可以是电子设备上的模块、程序段或代码。应理解，该装置与上述图4方法实施例对应，能够执行图4方法实施例涉及的各个步骤，该装置具体的功能可以参见上文中的描述，为避免重复，此处适当省略详细描述。所述装置包括：第三接收模块701、第二获取模块702和第二分析模块703，其中：

第三接收模块701用于接收所述边缘节点发送的图片信息和处理标识；其中，所述图片信息为所述边缘节点对接收到视频采集装置发送的视频流数据进行抽帧获得；

第二获取模块702用于根据所述处理标识获取对应的图像分析模型；

第二分析模块703用于利用所述图像分析模型对所述图片信息进行分析处理，获得处理结果。

在上述实施例的基础上，该装置还包括请求接收模块，用于：

接收所述视频采集装置发送的接入请求，所述接入请求包括所述视频采集装置对应的装置标识；

根据预设调度原则从多个所述边缘节点中选择一个作为目标边缘节点；

根据所述装置标识将所述视频采集装置接入所述目标边缘节点。

图8为本申请实施例提供的电子设备实体结构示意图，如图8所示，所述电子设备，包括：处理器(processor)801、存储器(memory)802和总线803；其中，

所述处理器801和存储器802通过所述总线803完成相互间的通信；

所述处理器801用于调用所述存储器802中的程序指令，以执行上述各方法实施例所提供的方法，例如包括：接收视频采集装置发送的视频流数据；其中所述视频采集装置为所述中心节点根据预设分配原则分配给所述边缘节点；按照预设抽帧规则对所述视频流数据进行抽帧，获得图片信息；向所述中心节点发送所述图片信息，以使所述中心节点对所述图片信息进行分析处理。或

接收视频采集装置发送的视频流数据；其中所述视频采集装置为所述中心节点根据预设分配原则分配给所述边缘节点；按照预设抽帧规则对所述视频流数据进行抽帧，获得图片信息；获取所述视频采集装置对应的图像分析模型；利用所述图像分析模型对所述图片信息进行分析处理，获得分析结果；向所述中心节点发送所述分析结果。或

接收所述边缘节点发送的图片信息和处理标识；其中，所述图片信息为所述边缘节点对接收到视频采集装置发送的视频流数据进行抽帧获得；根据所述处理标识获取对应的图像分析模型；利用所述图像分析模型对所述图片信息进行分析处理，获得处理结果。

处理器801可以是一种集成电路芯片，具有信号处理能力。上述处理器801可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(NetworkProcessor，NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。其可以实现或者执行本申请实施例中公开的各种方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器802可以包括但不限于随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-OnlyMemory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器(Electrically Erasable Programmable Read-Only Memory，EEPROM)等。

本实施例公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法，例如包括：接收视频采集装置发送的视频流数据；其中所述视频采集装置为所述中心节点根据预设分配原则分配给所述边缘节点；按照预设抽帧规则对所述视频流数据进行抽帧，获得图片信息；向所述中心节点发送所述图片信息，以使所述中心节点对所述图片信息进行分析处理。或

接收视频采集装置发送的视频流数据；其中所述视频采集装置为所述中心节点根据预设分配原则分配给所述边缘节点；按照预设抽帧规则对所述视频流数据进行抽帧，获得图片信息；获取所述视频采集装置对应的图像分析模型；利用所述图像分析模型对所述图片信息进行分析处理，获得分析结果；向所述中心节点发送所述分析结果。或

接收所述边缘节点发送的图片信息和处理标识；其中，所述图片信息为所述边缘节点对接收到视频采集装置发送的视频流数据进行抽帧获得；根据所述处理标识获取对应的图像分析模型；利用所述图像分析模型对所述图片信息进行分析处理，获得处理结果。

本实施例提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述各方法实施例所提供的方法，例如包括：接收视频采集装置发送的视频流数据；其中所述视频采集装置为所述中心节点根据预设分配原则分配给所述边缘节点；按照预设抽帧规则对所述视频流数据进行抽帧，获得图片信息；向所述中心节点发送所述图片信息，以使所述中心节点对所述图片信息进行分析处理。或

接收视频采集装置发送的视频流数据；其中所述视频采集装置为所述中心节点根据预设分配原则分配给所述边缘节点；按照预设抽帧规则对所述视频流数据进行抽帧，获得图片信息；获取所述视频采集装置对应的图像分析模型；利用所述图像分析模型对所述图片信息进行分析处理，获得分析结果；向所述中心节点发送所述分析结果。或

接收所述边缘节点发送的图片信息和处理标识；其中，所述图片信息为所述边缘节点对接收到视频采集装置发送的视频流数据进行抽帧获得；根据所述处理标识获取对应的图像分析模型；利用所述图像分析模型对所述图片信息进行分析处理，获得处理结果。

图9为本申请实施例提供的一种视频流处理系统架构示意图，如图9所示，该系统包括任务管理模块901、取流模块902、分析模块903和算法模块904，其中，任务管理模块901：负责对接分析管理平台，提供南向网关以及任务管理功能。取流模块902：根据任务执行要求及自定义抽帧规则从视频流中抓帧并发送到分析模块进行分析处理。分析模块903：接收取流模块抓取的视频图片，根据任务设定运行对应算法。获取算法推理结果后根据任务设定参数判断是否进行告警处理。算法模块904：接收模型推理请求、返回模型运算结果。

图10为本申请实施例提供的该系统一种视频流处理系统部署示意图，如图10所示，包括中心节点1001和多个边缘节点1002。应理解，图10中只画出了一个边缘节点1002，但在实际应用中，可以有更多个边缘节点1002与中心节点1001通信连接。边缘节点1002中部署有南向网关、会话初始协议(Session Initiation Protocol，SIP)、北向网关、1400接口、视图库、流媒体、存储设备、算力调度模块、算力单元、大数据处理模块等。其中，南向网关负责边缘节点1002与国标摄像头的接入。SIP负责边缘节点1002的国标摄像头的信令处理。北向网关负责边缘节点1002与中心节点1001的通信。1400接口负责边缘侧的各类智能终端通过国标协议进行接入，以及分发视图数据。视图库负责采集智能设备抓拍的图片数据并存储，同时通过北向网关与中心节点1001进行图片数据的共享。流媒体用于承载本地摄像头的推流存储服务及实时视频分发浏览。存储设备：本地存储资源池。分布式存储由省中心分布式存储管理平台实现集中的业务能力及监控维护能力，并通过NFS协议挂载给流媒体、视图库使用。存储设备中存储有流媒体、视图库直接对接使用。算力调度：根据分析业务特性以及算力单元，采用就近原则、资源空闲率等策略，实现任务下发及智能调度功能。算力单元：智能算法计算单元，通过算力资源加载算法引擎镜像，实现智能分析服务。大数据处理：在视图库的原始库数据的基础上进行数据处理、筛选、关联、数据建模，形成专题库数据，存储视图库中。

中心节点中1001包括接入管理模块、视图中心管理模块、分布式存储管理和分析管理调度模块。其中，接入管理模块用于控制国标摄像头和智能设备的接入。视图中心管理模块用于与视图库共享视图库中的图片数据。分布式存储管理模块用于管理各个边缘节点1002中的存储设备。分析管理调度用于管理边缘节点1002。

本申请实施例所提供的系统具备如下优点：

根据业务分析场景需求进行自定义的抽帧规则，通过自定义的抽帧规则进行视频动态抓拍分析，由传统的视频流分析变为图片比对，从而提供更快的响应速度，并减轻中心节点的压力，节约成本。

平台及算法的协同调度能力，通过调度策略，实现分析任务的智能下发，中心实现静态类算法及算力的纳管及调用，边端实现动态类算法及算力的纳管及使用，支持MEC智能数据处理，让数据响应更迅速、带宽要求更低，节约运营成本。

根据客户实际业务量进行视频分析能力分配，包含接入，存储，分析，大数据等相关能力。

采用MEC边缘节点进行视频推理分析，中心节点用于收集结构化数据和相关分析结果信息。

在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

再者，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。

以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (13)

1.一种视频流处理方法，其特征在于，应用于边缘节点，所述边缘节点与中心节点通信连接，所述方法包括：

接收视频采集装置发送的视频流数据；其中，所述边缘节点所负责处理的视频采集装置为所述中心节点根据预设分配原则分配；

按照预设抽帧规则对所述视频流数据进行抽帧，获得图片信息；

向所述中心节点发送所述图片信息，以使所述中心节点对所述图片信息进行分析处理。

2.一种视频流处理方法，其特征在于，应用于边缘节点，所述边缘节点与中心节点通信连接，所述方法包括：

接收视频采集装置发送的视频流数据；其中，所述边缘节点所负责处理的视频采集装置为所述中心节点根据预设分配原则分配；

按照预设抽帧规则对所述视频流数据进行抽帧，获得图片信息；

获取所述视频采集装置对应的图像分析模型；

利用所述图像分析模型对所述图片信息进行分析处理，获得分析结果；

向所述中心节点发送所述分析结果。

3.根据权利要求1或2所述的方法，其特征在于，所述按照预设抽帧规则对所述视频流数据进行抽帧，包括：

根据预设的抽取帧率对所述视频流数据进行抽帧。

4.根据权利要求1或2所述的方法，其特征在于，所述按照预设抽帧规则对所述视频流数据进行抽帧，包括：

对所述视频流数据进行分帧处理，获得对应的多个帧图像；

对所述多个帧图像进行运动目标检测，抽取包含目标对象的帧图像。

5.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：

接收图像采集装置发送的抓拍图像，并向所述中心节点发送所述抓拍图像，以使所述中心节点对所述抓拍图像进行分析，获得分析结果。

6.一种视频流处理方法，其特征在于，应用于中心节点，所述中心节点与多个边缘节点通信连接，所述方法包括：

接收所述边缘节点发送的图片信息和处理标识；其中，所述图片信息为所述边缘节点对接收到视频采集装置发送的视频流数据进行抽帧获得；

根据所述处理标识获取对应的图像分析模型；

利用所述图像分析模型对所述图片信息进行分析处理，获得处理结果。

7.根据权利要求6所述的方法，其特征在于，在接收所述边缘节点发送的图片信息和处理标识之前，所述方法还包括：

接收所述视频采集装置发送的接入请求，所述接入请求包括所述视频采集装置对应的装置标识；

根据预设调度原则从多个所述边缘节点中选择一个作为目标边缘节点；

根据所述装置标识将所述视频采集装置接入所述目标边缘节点。

8.一种视频流处理装置，其特征在于，包括：

第一接收模块，用于接收视频采集装置发送的视频流数据；其中，边缘节点所负责处理的视频采集装置为中心节点根据预设分配原则分配；

第一抽帧模块，用于按照预设抽帧规则对所述视频流数据进行抽帧，获得图片信息；

第一发送模块，用于向所述中心节点发送所述图片信息，以使所述中心节点对所述图片信息进行分析处理。

9.一种视频流处理装置，其特征在于，包括：

第二接收模块，用于接收视频采集装置发送的视频流数据；其中，边缘节点所负责处理的视频采集装置为中心节点根据预设分配原则分配；

第二抽帧模块，用于按照预设抽帧规则对所述视频流数据进行抽帧，获得图片信息；

第一获取模块，用于获取所述视频采集装置对应的图像分析模型；

第一分析模块，用于利用所述图像分析模型对所述图片信息进行分析处理，获得分析结果；

第二发送模块，用于向所述中心节点发送所述分析结果。

10.一种视频流处理装置，其特征在于，包括：

第三接收模块，用于接收边缘节点发送的图片信息和处理标识；其中，所述图片信息为所述边缘节点对接收到视频采集装置发送的视频流数据进行抽帧获得；

第二获取模块，用于根据所述处理标识获取对应的图像分析模型；

第二分析模块，用于利用所述图像分析模型对所述图片信息进行分析处理，获得处理结果。

11.一种电子设备，其特征在于，包括：处理器、存储器和总线，其中，

所述处理器和所述存储器通过所述总线完成相互间的通信；

所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如权利要求1-7任一项所述的方法。

12.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令被计算机运行时，使所述计算机执行如权利要求1-7任一项所述的方法。

13.一种视频流处理系统，其特征在于，包括中心节点和多个边缘节点；其中，所述中心节点与各个所述边缘节点通信连接，所述边缘节点用于执行如权利要求1-5任一项所述的方法，所述中心节点用于执行如权利要求6或7所述的方法。

Images