CN107241577B - 一种基于协作性组群机制的视频处理系统 - Google Patents

Abstract

本发明公开了一种基于协作性组群机制的视频处理系统，属于视频无线通信领域。本发明系统包括摄像头节点、边缘节点和服务器节点；服务器节点的控制模块通过接收到的边缘节点的信道状态和计算能力信息，基于平均视频码率和物体侦测精确度之间的关系，利用边缘节点的协作处理，即形成协作性组群，以及构建视频块调度机制，有效地提高了物体侦测精确度，同时，它解决了在摄像头节点处理带来的计算时延、在远端服务器处理带来的传输时延、非协作处理机制中多余的边缘节点的计算资源浪费以及传输速率的差异性带来的子任务调度问题。

Description

一种基于协作性组群机制的视频处理系统

技术领域

本发明属于视频无线通信领域，更具体地，涉及一种基于协作性组群机制的视频处理系统。

背景技术

近些年来，随着通信和网络技术的快速发展，例如无线传感器网络，短距离无线通信和4G/5G蜂窝通信，物联网正在成为一种能使智能城市和家居中的物体和人类交互的机制。作为一种兴起的物联网类型，多媒体物联网系统整合图像处理、计算机视觉和网络，包含摄像头节点和物联网服务器两大主要部分，已经广泛应用在监控、自动行为分析和事件侦测。常见的多媒体物联网系统处理框架分为两种，一种是传统视频处理框架，另一种为基于边缘计算的视频处理框架。在这两种视频处理框架中，都包含了摄像头节点和物联网服务器，其中摄像头节点都具备捕获视频图像功能，物联网服务器负责对视频图像进行分析处理，例如特征匹配、目标侦测。

传统视频处理框架，传统视频处理框架可分为两种，分别为本地视频处理框架和远端服务器视频处理框架：本地视频处理框架是指由摄像头节点处预处理视频任务，例如视频压缩、特征提取，然后将预处理视频结果传输给远端物联网服务器进行深入的视频分析，例如特征匹配、目标侦测；而在远端物联网服务器视频处理框架内，摄像头将捕获的视频图像任务不经任何处理直接传输到远端物联网服务器，由服务器来完成所有的处理。然而，测试表明上述两种机制会导致严重的时延，分别为当在本地预处理视频时，由于摄像头节点有限的计算资源可能会导致计算时延，而由于有限的网络带宽，传输视频任务数据到远端服务器可能会造成拥塞和时延。

基于边缘计算的视频处理框架，该框架引入了边缘计算，利用边缘节点来协作计算，其能够实现低时延，该框架包括摄像头节点、边缘节点和远端物联网服务器三大部分，其中摄像头节点负责捕获视频图像任务并将任务分配给边缘节点进行预处理，边缘节点主要负责对视频子任务执行兴趣点侦测和特征提取等工作，远端物联网服务器则收集边缘节点的视频预处理结果并进行整合以及深入分析，来实现识别率最大化的目标。

传统视频处理框架中，在本地预处理视频时，由于摄像头节点有限的计算资源可能会导致计算时延，而由于有限的网络带宽，传输视频任务数据到远端服务器可能会造成拥塞和时延。非协作处理机制中，没有考虑多节点协作处理同一子任务，导致资源的闲置；同时没有考虑由于传输速率的差异性带来的子任务调度问题。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种基于协作性组群机制的视频处理系统，其目的在于通过利用边缘节点的协作处理，即形成协作性组群，以及视频块调度机制，可以有效地提高物体侦测精确度，解决在本地摄像头节点视频处理带来的计算时延、在远端服务器视频处理带来的传输时延、非协作处理机制中多余的边缘节点的计算资源浪费以及传输速率的差异性带来的子任务调度问题。

为实现上述目的，按照本发明的一个方面，提供了一种基于协作性组群机制的视频处理系统，所述系统包括：

摄像头节点，用于捕获视频信号并将视频信号分割成相等大小的视频块并对视频块进行压缩，根据边缘节点的信道状态和计算能力信息得到视频块的压缩率、协作组群形成方案和视频块调度方案；将按视频块的压缩率压缩后的视频块按照视频块调度方案传输给边缘节点，将协作组群形成方案发送至相应边缘节点；

边缘节点，用于将各自的信道状态和计算能力信息发送给摄像头节点，然后根据协作组群形成方案形成协作性组群，对接收到的视频块进行初步处理，并将处理后的结果发送至服务器节点；

服务器节点，用于接收和整合边缘节点的视频处理结果并进行深入的视频分析。

进一步地，所述摄像头节点包括：

捕获模块，用于周期性捕获视频信号并暂时储存在缓存区内；

控制模块，用于接收各个边缘节点发送的信道状态和计算能力信息，并根据信道状态和计算能力信息计算得到协作组群形成方案、视频块的压缩率和视频块调度方案；将协作组群形成方案发送至相应边缘节点，将视频块的压缩率发送至压缩模块，将视频块调度方案发送至调度模块；

压缩模块，用于将缓存区内的视频信号分割成相等大小的视频块，并根据压缩指令将相应视频块按照特定的压缩率进行压缩；

调度模块，用于根据视频块调度方案将压缩后的视频块分配给相应的边缘节点。

进一步地，所述协作组群形成方案具体为：

定义前L个边缘节点作为竞拍者I＝{1,2,…,L}，剩余边缘节点作为物品Δ＝{1,2,…,δ}，其中，δ＝N-L；N为边缘节点总数；物品包B是一个物品集合且满足定义v_i(B)为竞拍者i竞拍到Β的效益，效益的计算公式为：

其中，如果第i个竞拍者拍到了物品包B，其计算时间的减少量为传输时间的增加量为

其中，C_ps表示每个边缘节点处理单位任务所需时间；表示第i个边缘节点传输单位任务所需时间；s表示任务大小；表示第i个竞拍者和物品包B形成组群后的组播速率；n_B表示物品包B包含的物品数量；

构建协作性组群形成问题P₁：二元变量集合x＝{x_i(B),i∈Ι}被定义为具体的分配结果，x_i(B)＝1表示竞拍者i获得物品包B，而x_i(B)＝0表示物品包B没有分配给竞拍者i；通过求解所有竞拍者的效益和最大化问题P₁，即得到最优二元变量集合{x(B)}，以此获得协作性组群形成方案：

其中，问题P₁的目标是最大化所有竟拍者的效益和f(x)；e表示物品集合Δ中的一个物品；限制条件表示每个竟拍者最多能获得一个物品包；限制条件表示每个物品最多只能出现在一个物品包中。

进一步地，所述视频块调度方案具体为：

通过解决问题P₁，获得了协作性组群集合组群传输速率集合以及组群计算速率集合其中， 是组群中包含的边缘节点数量；通过求解下述视频块调度问题P₂来获得视频块调度方案：

s.t.:r_i＝α_is,i∈L,α_i∈α

T＝max{t_i|i∈L}≤D

α_i∈β＝{β₁,β₂,…,β_p},i∈L

G_i,j∈{0,1}

其中，问题P₂的目标是最大化所有视频块的平均视频码率f(α)；r_i表示视频块i的码率；L表示视频块集合；L表示视频块数量；α表示视频块的压缩率集合；α_i表示视频块i的压缩率，α_k表示视频块k的压缩率；s表示视频块的原始大小；t_i表示前i个视频块的传输时间和视频块i的处理时间的和；G_i,j＝1表示视频块i分配给组群j处理；G_k,j＝1表示视频块k分配给组群j处理；T表示视频任务的完成时间，D表示视频任务的截止时间，β＝{β₁,β₂,…,β_p}表示每个视频块的压缩率等级集合；限制条件T＝max{t_i|i∈L}≤D表示视频任务的完成时间是由最慢处理完的视频块决定的，限制条件和确保视频块与协作性组群是一一对应的，即一个视频块由一个组群处理；

为解决视频块调度问题P₂，先证明了最佳匹配理论，即当视频块和协作性组群是按照组群传输速率递减顺序匹配时，最优匹配序列就会得到；其中，最佳匹配序列指依次处理视频块1到视频块L的L个组群的排列顺序，其能产生最大的平均压缩率；然后基于最佳匹配理论，视频块调度问题P₂转换为一个整数线性规划问题P₃：

s.t.:r_i＝α_is,i∈L,α_i∈α

T＝max{t_i|i∈L}≤D

α_i∈β＝{β₁,β₂,…,β_p},i∈L

其中，限制条件表示视频块i分配给协作性组群i处理；问题P₃将采用低复杂度的启发式算法来解决。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，具有以下技术特征及有益效果：

(1)本发明提出了一种基于协作性组群机制的视频处理系统，利用边缘节点形成最优协作性组群，并为组群设计最优任务调度方案，实现了在视频任务截止期限内最大化物体侦测精确度；

(2)本发明针对协作性组群的形成问题，创造性地构建赢者决策模型并采用贪婪算法求解，极大地降低了计算复杂度和计算开销；

(3)本发明针对协作性组群的视频调度问题，基于导出的最优匹配理论，并采用启发式算法求解，极大地降低了计算复杂度和计算开销。

附图说明

图1是本发明系统的结构示意图；

图2是本发明摄像头节点的结构框图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

如图1所示，本发明框架包括摄像头节点1、边缘节点2、边缘节点3、边缘节点4以及服务器节点5，其中边缘节点2和边缘节点3在同一协作组群内。

摄像头节点1用于捕获视频信号，将视频信号分割为更小的视频块，根据边缘节点2、3、4的无线信道状态和计算能力信息并给出相应的协作组群形成、视频块的压缩以及视频块调度方案，将压缩后的视频块最终传输给协作组群中的边缘节点进行预处理。摄像头节点将压缩后的视频块传输给边缘节点有两种方式，分别为组播和单播，其中组播是指将视频块以组播方式传输给协作性组群内的边缘节点，例如边缘节点2和边缘节点3，而单播则是将视频块直接传输给单个边缘节点，例如边缘节点4。

边缘节点2、3、4将各自的信道状态和计算能力信息通过短距离通信技术，例如设备间直接通信(Device-to-Device，D2D),方式传输给摄像头节点1，然后根据摄像头节点的协作组群形成方案形成协作性组群，此处，边缘节点2和边缘节点3形成协作性组群，同时，根据视频块调度方案接收相应的视频块进行后续处理。同一协作性组群内的边缘节点均分处理相应视频块的等大小非重叠的部分。边缘节点处理完视频块后，例如图像特征识别和提取，将视频处理结果传输给服务器节点进行深入分析。

服务器节点5负责收集来自边缘节点2、3、4视频处理结果，并对所收集的视频处理结果进行深入分析，例如物体侦测以及行为分析等等。其中，服务器节点5会首先对边缘节点2、3的视频处理结果进行整合。

图2所示为基于组群形成和视频块调度的摄像头节点的系统框图，包括捕获模块11、压缩模块12、调度模块13、控制模块14。

捕获模块11的主要功能是周期性捕获视频信号并暂时存储在其缓存区内，等待控制模块14的进一步指令。压缩模块12则根据控制模块14的分割指令将视频信号分割成特定数量的视频块，并根据控制模块的压缩指令将相应视频块按照特定的压缩率进行压缩，此处的压缩率指的是压缩后的视频块的大小与视频块的原始大小的比值。调度模块13则根据控制模块14的视频块调度方案，将压缩后的视频块分配给相应的协作性组群。控制模块14用于收集边缘节点2、3、4发送的信道状态和计算能力信息，根据所收集的信息来确定边缘节点的协作组群形成方案、视频块的压缩率以及视频块调度方案。控制模块14将协作组群形成方案传输给相应的边缘节点，视频块的压缩率则传给压缩模块12，视频块调度方案则传给摄像头节点的调度模块13。

控制模块14给出协作性组群形成方案和视频块调度方案。在本发明中，边缘节点集合为N＝{1,2,...,N}，协作性组群集合表示视频块集合为L＝{1,2,...,L}，视频块和组群数量都为L。协作性组群形成的流程如下：

将协作性组群形成问题构建成一个赢者决策问题，定义前面L个边缘节点作为竞拍者I＝{1,2,…,L}，剩余的边缘节点作为物品Δ＝{1,2,…,δ}，δ＝N-L，其中N为边缘节点总数。物品包B是一个物品集合且满足对于竞拍者i和物品包B，我们定义v_i(B)为竞拍者i竞拍到Β的效益，这里指特定视频块完成时间的减少量。效益函数的计算公式为：

其中，如果第i个竞拍者拍到了物品包B，其计算时间的减少量传输时间的增加量

其中，边缘节点是按传输速率大小降序排列的， 表示第i个边缘节点传输单位任务所需时间，C_ps表示边缘节点处理单位任务所需时间，s表示任务大小，表示第i个竞拍者和物品包B形成组群后的组播速率，n_B表示物品包B包含的物品数量。

构建协作性组群形成问题P₁：二元变量集合x＝{x_i(B),i∈Ι}被定义为具体的分配结果。x_i(B)＝1表示竞拍者i获得物品包B，而x_i(B)＝0表示物品包B没有分配给竞拍者i。通过求解所有竞拍者的效益和最大化问题P₁，即得到最优二元变量集合{x(B)}，以此获得协作性组群形成方案：

其中，问题P₁的目标是最大化所有竟拍者的效益和f(x)；e表示物品集合Δ中的一个物品，公式(4)表示每个竟拍者最多能获得一个物品包，公式(5)表示每个物品最多只能出现在一个物品包中。

提出一个2-approximate的贪婪算法来求解P₁，其基本思想如下：

将物品集合Δ中的物品一个一个进行分配，例如：分配第1个物品时，计算所有的竞拍者获得第1个物品后的获得的增益，假设将第1个物品分配给竞拍者1能获得最大增益，则将第1个物品分配给竞拍者1；分配第2个物品时，计算所有的竞拍者获得第2个物品后的获得的增益，竞拍者1获得了第1个物品，因此此处竞拍者1获得第2个物品的增益应该为竞拍者获得第1、2个物品后的增益减去获得第1个物品的增益，这样才是第2个物品带来的新增益，获得增益最大的竞拍者获得第2个物品；依次进行下去，直到物品集合Δ中的物品全部被分配完。

视频块调度的流程如下：

通过解决问题P₁，获得了协作性组群集合组群传输速率集合以及组群计算速率集合其中， 是组群中包含的边缘节点数量。通过求解下述视频块调度问题P₂来获得视频块调度方案：

s.t.:r_i＝α_is,i∈L,α_i∈α (6)

T＝max{t_i|i∈L}≤D (8)

α_i∈β＝{β₁,β₂,…,β_p},i∈L (11)

G_i,j∈{0,1} (12)

其中，问题P₂的目标是最大化所有视频块的平均视频码率f(α)；r_i表示视频块i的码率；α表示视频块的压缩率集合；α_i表示视频块i的压缩率，α_k表示视频块k的压缩率，此处的压缩率定义为视频块压缩后的大小与视频块原大小的比值；s表示视频块的原始大小；t_i表示前i个视频块的传输时间和视频块i的处理时间的和；G_i,j＝1表示视频块i分配给组群j处理；G_k,j＝1表示视频块k分配给组群j处理；T表示视频任务的完成时间，D表示视频任务的截止时间，β＝{β₁,β₂,…,β_p}表示每个视频块的压缩率等级集合；限制条件T₁＝max{t_i|i∈L}≤D表示视频任务的完成时间是由最慢处理完的视频块决定的，限制条件和确保视频块与协作性组群是一一对应的，即一个视频块由一个组群处理；

为了解决视频块调度问题P₂，我们先证明了最佳匹配理论，即当视频块和协作性组群是按照组群传输速率递减顺序匹配时，最优匹配序列就会得到。其中，最佳匹配序列指依次处理视频块1到视频块L的L个组群的排列顺序，其能产生最大的平均压缩率。然后基于最佳匹配理论，视频块调度问题P₂转换为一个整数线性规划问题P₃：

s.t.:r_i＝α_is,i∈L,α_i∈α (13)

T₁＝max{t_i|i∈L}≤D (15)

α_i∈{β₁,β₂,…,β_p},i∈L (16)

其中，公式表示视频块i分配给协作性组群i处理。此外，问题P₃将采用低复杂度的启发式算法来解决。

为了解决问题P₃，我们提出了一个低复杂度的启发式算法，其基本思想如下：

首先，基于协作性组群形成方案和最优匹配理论，形成协作性组群以及组群匹配序列。然后，初始化迭代为d＝0，初始化每个视频块的压缩率级别为最低的，即β₁，集合Γ由在截止期限内的视频块组成，在当前压缩率级别下满足t_i＜D，集合Ω由超过截止期限的视频块组成，在当前压缩率级别下满足t_i＞D，集合Ψ包含即使是最小压缩率级别下还是超出截止期限的视频块。初始化集合Γ，Ω，Ψ分别为L，φ，φ。每次迭代过程如下：

步骤1：计算集合L中的每个视频块的完成时间，将集合Γ中的超过截止期限的视频块移出，并将它们加入集合Ω；

步骤2：判断集合Ω是否为空，如果为空，则让集合Γ中的所有视频块的压缩级别提高一个层次，在增加前，先移除集合Γ已经达到最高压缩率级别的视频块，即β_p；如果集合Ω非空，将集合Ω中压缩率是β₁的视频块移出，并将它们加入到集合Ψ中，然后再将集合Ω中的视频块的压缩率级别都分别提高一个层次；

步骤3：将集合Ω设置为φ，迭代标号d加1。

当集合Γ为空或者集合Ψ等于集合L时，迭代将会停止。然后，视频块的压缩率集合就得到了。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (2)

1.一种基于协作性组群机制的视频处理系统，其特征在于，所述系统包括：

摄像头节点，用于捕获视频信号并将视频信号分割成相等大小的视频块并对视频块进行压缩，根据边缘节点的信道状态和计算能力信息得到视频块的压缩率、协作组群形成方案和视频块调度方案；将按视频块的压缩率压缩后的视频块按照视频块调度方案传输给边缘节点，将协作组群形成方案发送至相应边缘节点；

边缘节点，用于将各自的信道状态和计算能力信息发送给摄像头节点，然后根据协作组群形成方案形成协作性组群，对接收到的视频块进行初步处理，并将处理后的结果发送至服务器节点；

服务器节点，用于接收和整合边缘节点的视频处理结果并进行深入的视频分析；

所述协作组群形成方案具体为：

定义前L个边缘节点作为竞拍者I＝{1,2,…,L}，剩余边缘节点作为物品Δ＝{1,2,…,δ}，其中，δ＝N-L；N为边缘节点总数；物品包B是一个物品集合且满足定义v_i(B)为竞拍者i竞拍到Β的效益，效益的计算公式为：

其中，如果第i个竞拍者拍到了物品包B，其计算时间的减少量为传输时间的增加量为

其中，C_ps表示每个边缘节点处理单位任务所需时间；表示第i个边缘节点传输单位任务所需时间；s表示任务大小；表示第i个竞拍者和物品包B形成组群后的组播速率；n_B表示物品包B包含的物品数量；

构建协作性组群形成问题P₁：二元变量集合x＝{x_i(B),i∈Ι}被定义为具体的分配结果，x_i(B)＝1表示竞拍者i获得物品包B，而x_i(B)＝0表示物品包B没有分配给竞拍者i；通过求解所有竞拍者的效益和最大化问题P₁，即得到最优二元变量集合{x(B)}，以此获得协作性组群形成方案：

其中，问题P₁的目标是最大化所有竟拍者的效益和f(x)；e表示物品集合Δ中的一个物品；限制条件表示每个竟拍者最多能获得一个物品包；限制条件表示每个物品最多只能出现在一个物品包中；

所述视频块调度方案具体为：

通过解决问题P₁，获得了协作性组群集合组群传输速率集合以及组群计算速率集合其中， 是组群中包含的边缘节点数量；通过求解下述视频块调度问题P₂来获得视频块调度方案：

s.t.:r_i＝α_is,i∈L,α_i∈α

T＝max{t_i|i∈L}≤D

α_i∈β＝{β₁,β₂,…,β_p},i∈L

G_i,j∈{0,1}

其中，问题P₂的目标是最大化所有视频块的平均视频码率f(α)；r_i表示视频块i的码率；L表示视频块集合；L表示视频块数量；α表示视频块的压缩率集合；α_i表示视频块i的压缩率，α_k表示视频块k的压缩率；s表示视频块的原始大小；t_i表示前i个视频块的传输时间和视频块i的处理时间的和；G_i,j＝1表示视频块i分配给组群j处理；G_k,j＝1表示视频块k分配给组群j处理；T表示视频任务的完成时间，D表示视频任务的截止时间，β＝{β₁,β₂,…,β_p}表示每个视频块的压缩率等级集合；限制条件T＝max{t_i|i∈L}≤D表示视频任务的完成时间是由最慢处理完的视频块决定的，限制条件和确保视频块与协作性组群是一一对应的，即一个视频块由一个组群处理；

为解决视频块调度问题P₂，先证明了最佳匹配理论，即当视频块和协作性组群是按照组群传输速率递减顺序匹配时，最优匹配序列就会得到；其中，最佳匹配序列指依次处理视频块1到视频块L的L个组群的排列顺序，其能产生最大的平均压缩率；然后基于最佳匹配理论，视频块调度问题P₂转换为一个整数线性规划问题P₃：

s.t.:r_i＝α_is,i∈L,α_i∈α

T＝max{t_i|i∈L}≤D

α_i∈β＝{β₁,β₂,…,β_p},i∈L

其中，限制条件表示视频块i分配给协作性组群i处理；问题P₃将采用低复杂度的启发式算法来解决。

2.根据权利要求1所述的一种基于协作性组群机制的视频处理系统，其特征在于，所述摄像头节点包括：

捕获模块，用于周期性捕获视频信号并暂时储存在缓存区内；

控制模块，用于接收各个边缘节点发送的信道状态和计算能力信息，并根据信道状态和计算能力信息计算得到协作组群形成方案、视频块的压缩率和视频块调度方案；将协作组群形成方案发送至相应边缘节点，将视频块的压缩率发送至压缩模块，将视频块调度方案发送至调度模块；

压缩模块，用于将缓存区内的视频信号分割成相等大小的视频块，并根据压缩指令将相应视频块按照特定的压缩率进行压缩；

调度模块，用于根据视频块调度方案将压缩后的视频块分配给相应的边缘节点。