CN115767098A - 面向机器视觉的端-边协同视频编码方法及视频传输系统 - Google Patents

面向机器视觉的端-边协同视频编码方法及视频传输系统 Download PDF

Info

Publication number
CN115767098A
CN115767098A CN202211294861.6A CN202211294861A CN115767098A CN 115767098 A CN115767098 A CN 115767098A CN 202211294861 A CN202211294861 A CN 202211294861A CN 115767098 A CN115767098 A CN 115767098A
Authority
CN
China
Prior art keywords
edge
video
camera
current
coding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211294861.6A
Other languages
English (en)
Inventor
周楚骎
杨鹏
张泽宇
喻莉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN202211294861.6A priority Critical patent/CN115767098A/zh
Publication of CN115767098A publication Critical patent/CN115767098A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种面向机器视觉的端‑边协同视频编码方法及视频传输系统，其中，该编码方法根据当前时段的原始视频数据得到初始化的编码策略
Figure DDA0003902681880000011
其中，
Figure DDA0003902681880000012
为将区域划分为若干不同质量等级区域的划分方式，
Figure DDA0003902681880000013
为每个质量等级的量化参数；摄像头根据最新编码策略
Figure DDA0003902681880000014
进行编码后传输给边缘，边缘解码图像并重新根据目标识别结果更新编码策略中的
Figure DDA0003902681880000015
以指导摄像头下一时隙的编码；当触发结果验证时，判断当前编码策略的准确率以及延时，若不符合要求，则重新进入初始化步骤，获得更新的初始化编码策略
Figure DDA0003902681880000016
后继续按前述过程执行。本发明通过两个循环调整过程，能有效降低带宽消耗并保证获得较高的分析精度。

Description

面向机器视觉的端-边协同视频编码方法及视频传输系统
技术领域
本发明属于视频传输技术领域，更具体地，涉及一种面向机器视觉的端-边协同视频编码方法及视频传输系统。
背景技术
随着机器视觉等技术的蓬勃发展，我们部署的摄像机越来越多，所记录下来的视频也越来越多，现有的主流编码算法如H.264和H.265主要关注的是视频的纹理信息，他们通过调节不同区域的量化参数QP，在尽可能节约视频体积的同时保护住更多的纹理信息。量化参数QP反映了空间细节压缩情况，比如QP值小，更多细节就会保留；QP值越大，就会丢失更多细节，视频画面的清晰度就会越低。但对于很多机器视觉任务，有些物体表面的纹理信息是我们所不关心的，我们可以适当降低这部分区域的视频编码质量，来降低编码延迟。然而，尽管已有很多算法与优化，这种视频流分析系统依然不尽人意，难以在降低消耗的同时获得较高的分析精度。
发明内容
针对现有技术的以上缺陷或改进需求，本发明提供了一种面向机器视觉的端-边协同视频编码方法及视频传输系统，其目的在于通过实时调整编码策略来降低带宽消耗并保证获得较高的分析精度。
为实现上述目的，按照本发明的一个方面，提供了一种面向机器视觉的端-边协同视频编码方法，其特征在于，包括：
步骤S1：根据当前时段的原始视频数据将帧内画面划分M种不同重要等级的区域块
Figure BDA0003902681860000011
每个等级的区域块bi对应一个量化参数qi，以量化参数
Figure BDA0003902681860000012
为染色体，以应用当前编码策略传输的的准确率A(Q)最大为目标，通过遗传算法确定量化参数
Figure BDA0003902681860000021
得到初始化的编码策略
Figure BDA0003902681860000022
步骤S2：摄像头拍摄视频帧，根据最新确定的量化参数
Figure BDA0003902681860000023
对最新确定的划分方式所划分的区域块
Figure BDA0003902681860000024
分别进行编码后传输给边缘；
步骤S3：边缘根据编码内容解码视频帧并进行目标识别；
步骤S4：判断是否需要进行结果验证，若不需要进行结果验证，则跳转至步骤S5，若需要进行结果验证，则跳转至步骤S6；
步骤S5：根据当前时隙内视频帧的目标识别结果重新将帧内画面划分为M种不同重要等级的区域块
Figure BDA0003902681860000025
并更新至摄像头以作为摄像头下一时隙的区域块划分方式，跳转至步骤S2；
步骤S6：判断以应用当前编码策略传输的准确率A(Q)是否低于预期或延时是否超出预期，若是，则跳转至步骤S1，并在执行遗传算法时以当前量化参数
Figure BDA0003902681860000026
作为第一代染色体，且当准确率A(Q)低于预期时以减小量化参数
Figure BDA0003902681860000027
的趋势获得新的量化参数
Figure BDA0003902681860000028
当延时超出预期时以减小量化参数
Figure BDA0003902681860000029
的趋势获得新的量化参数
Figure BDA00039026818600000210
若否，则跳转至步骤S5。
在其中一个实施例中，在步骤S1中，执行遗传算法的过程包括：
设置目标函数为：Max A(Q)
设置约束条件为：B(Q)≦B
t＝tencode+ttrans+tanalysis≦T
q1>q2>…>qi…>qM
其中，B(Q)为应用当前编码策略所得的视频的比特率，B为当前的带宽约束，tencode、ttrans、tanalysis分别为摄像头端对视频进行编码的时间、将视频传输到边缘的时间以及边缘进行后续分析任务所需的时间，T为当前时隙内传输视频的时长T；
确定适应度函数为：A(Q)+α(B(Q)-B)+β(t-T)，其中，α、β为视频比特率与延迟约束的权衡系数。
在其中一个实施例中，在步骤S1中，利用训练好的轻量级神经网络快速计算准确率A(Q)。
在其中一个实施例中，在边缘执行步骤S100。
在其中一个实施例中，在步骤S3中，边缘设置有进行目标识别的神经网络，通过神经网络获得感兴趣的目标在画面中的位置与大小。
在其中一个实施例中，步骤S1和步骤S4均是通过质量选择模块进行区域快的划分，划分方法包括：
确定重要性评估函数I(N,S)＝N-γ×S，其中，N为当前区域所含目标物体占整个画面物体数目的比例，S为当前区域目标物体平均大小所占整个画面的比例，γ为权重参数；
步骤A：先将画面划分为具有相同初始等级的若干区域，
步骤B：计算每个新划分区域的重要性评估函数值，提升重要性评估函数值大于阈值的区域的等级并将等级提升区域进一步划分为若干区域，重复步骤B直至得到M个等级划分。
在其中一个实施例中，每次划分为均匀划分。
在其中一个实施例中，在步骤S4中，设定验证周期，当达到设定周期间隔时，判定为需要进行结果验证，并跳转至步骤S6。
按照本发明的另一方面，提供了一种面向机器视觉的端-边协同视频传输系统，包括摄像头和边缘，其特征在于，所述边缘包括解码模块、目标识别模块、质量选择模块、验证触发模块和初始化模块；其中，
所述摄像头用于拍摄视频帧，并在初始化时，将当前时段的原始视频数据传输给边缘，否则，根据最新确定的量化参数
Figure BDA0003902681860000031
对最新确定的划分方式所划分的区域块
Figure BDA0003902681860000032
分别进行编码后传输给边缘；
所述解码模块用于根据编码内容解码视频帧；
所述目标识别模块用于识别视频帧中的目标；
所述质量选择模块用于当未进行初始化时根据目标识别结果将帧内画面划分为M种不同重要等级的区域块
Figure BDA0003902681860000041
并传送给对应的摄像头；
所述验证触发模块用于当触发验证操作时，判断应用当前编码策略传输的的准确率A(Q)是否低于预期或延时是否超出预期，若是，则进入初始化阶段，若否，继续当前操作；
所述初始化模块，用于当进入初始化阶段时，根据当前时段的原始视频数据将帧内画面划分M种不同重要等级的区域块
Figure BDA0003902681860000042
每个等级的区域块bi对应一个量化参数qi，以量化参数
Figure BDA0003902681860000043
为染色体，以应用当前编码策略传输的的准确率A(Q)最大为目标，通过遗传算法确定量化参数
Figure BDA0003902681860000044
得到初始化的编码策略
Figure BDA0003902681860000045
Figure BDA0003902681860000046
并传送给摄像头，结束初始化。
在其中一个实施例中，每个边缘控制多个摄像头。
总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：
本发明将整个调控分为两个循环，分别为外部大循环和内部小循环。其中，在初始化阶段，可以获取当前一段时间内的原始视频数据进行分析，获得初始化的
Figure BDA0003902681860000047
和
Figure BDA0003902681860000048
该原始视频数据为基本未损失的高质量视频数据，根据
Figure BDA0003902681860000049
可以确定视频帧画面的划分方式以及每个区域块对应的等级，根据
Figure BDA00039026818600000410
可以确定每个等级对应的QP值，得到初始化的编码策略。然后，摄像头基于所更新的编码策略对下一时隙的视频帧进行编码后传输给边缘。由于初始化的编码策略为经过视频数据分析后所得，而固定的摄像头所拍摄的画面一般具有一定的相似度，因此，可以以初始化的编码策略指导后续编码，重要区域则进行高质量编码，而非重要区域则进行低质量编码，由此可以在保证分析精度的同时节省带宽资源。与此同时，考虑到不同时隙内的画面并非完全静止不动，目标物是会存在一定的移动，因此，通过设置内部小循环，在每个时隙内识别出目标之后重新根据目标识别结果对帧内画面进行划分，以更新划分方式
Figure BDA00039026818600000411
并根据更新后的
Figure BDA00039026818600000412
和原
Figure BDA00039026818600000413
构成新的编码策略，指导下一时隙的视频编码。考虑到在一定时间段后，视频内容可能变化较大，只更新
Figure BDA0003902681860000051
不足以保证最终结果的准确率，因此，本发明设置大循环，当准确率低于预期时，返回初始化步骤，重新获取当前时段的原始视频数据并基于该原始视频数据获得初始化的
Figure BDA0003902681860000052
和
Figure BDA0003902681860000053
同时，考虑到时空相关性，在重新初始化执行遗传算法时，以已有的量化参数
Figure BDA0003902681860000054
作为第一代染色体，并以减小量化参数
Figure BDA0003902681860000055
的趋势获得新的量化参数
Figure BDA0003902681860000056
由此可以缩短迭代周期，快速定位最佳的
Figure BDA0003902681860000057
值，形成更新后的初始化编码策略并传输给摄像头继续进行编码。本发明通过两个循环调整过程，能有效降低带宽消耗并保证获得较高的分析精度。
附图说明
图1是一实施例中的监控系统架构图；
图2是一实施例中的面向机器视觉的端-边协同视频编码方法的步骤流程图。
图3是一实施例中的面向机器视觉的端-边协同视频传输系统的结构框图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
为了便于理解，先介绍下常规的监控系统架构，如图1所示，分布于不同区域的摄像头拍摄视频后将视频画面进行编码并传输至边缘中心，由边缘中心进行处理后，再传输至云端进行后续分析。从摄像头端到边缘中心以及从边缘中心到云端，均通过有限的带宽资源进行数据传送。
如图2所示为一实施例中的面向机器视觉的端-边协同视频编码方法的步骤流程图，该方法主要针对摄像机端和边缘之间的信息交互和处理，包括以下步骤：
步骤S100：根据当前时段的原始视频数据将帧内画面划分M种不同重要等级的区域块
Figure BDA0003902681860000061
每个等级的区域块bi对应一个量化参数qi，以量化参数
Figure BDA0003902681860000062
为染色体，以应用当前编码策略传输的的准确率A(Q)最大为目标，通过遗传算法确定量化参数
Figure BDA0003902681860000063
得到初始化的编码策略
Figure BDA0003902681860000064
在初始化阶段，先通过当前摄像头获取原始视频数据，通过原始视频数据获得初始化的编码策略。其中，初始化操作可以在边缘进行，也可以在边缘之外的处理器进行。本实施例以在边缘进行初始化处理为例进行说明。其中，原始视频数据为高质量的视频数据，若是由摄像头传输至边缘，则是经过高质量编码的视频数据，以尽量保留画面所有特征。
在获取到一定数量的原始视频数据之后，对视频数据的特征进行分析，并根据目标物的位置和大小将画面划分M种不同重要等级的区域块，目标物数量越多、目标面积越小，对应的区域就越重要。其中，一个重要等级可以对应一个区域，也可以对应多个区域。由此可以得到初始的画面划分方式
Figure BDA0003902681860000065
其中，bi表示第i等级的区域块，该区域块可以为一个区域，也可以为多个等级为i的区域。
随后，确定M个质量等级的初始化量化参数
Figure BDA0003902681860000066
每个量化参数qi分配给对应等级的区域bi。具体的，以量化参数
Figure BDA0003902681860000067
Figure BDA0003902681860000068
为染色体，以应用当前编码策略传输的的准确率A(Q)最大为目标，通过遗传算法确定量化参数
Figure BDA0003902681860000069
得到初始化的编码策略
Figure BDA00039026818600000610
在一具体的实施例中，根据网络带宽约束和延迟约束为M个不同质量等级选取不同的编码质量，即每一质量等级对应Q中的一个qi，满足以下方程：
Max A(Q)
B(Q)≦B
t＝tencode+ttrans+tanalysis≦T
Q＝[q1,q2……qM]
q1>q2>…>qi…>qM,qi∈[0,51]
其中，Q是为M个编码质量等级选取的量化参数QP，A(Q)为应用该编码策略所得视频经过机器视觉任务所得的准确率，目标为最大化分析任务的准确率；B(Q)为应用该编码策略所得的视频的比特率，B为当前的带宽约束，视频比特率不能大于带宽约束；同时在摄像头端对视频进行编码、将视频传输到边缘以及边缘进行后续分析任务所需的时间和需要小于这段视频的时长T，来满足实时性要求。
本发明选择使用遗传算法来求解这个高复杂度的最优化问题，以Q作为为“染色体”，由拉格朗日乘子法，以A(Q)+α(B(Q)-B)+β(t-T)作为适应度函数，其中α、β为视频比特率与延迟约束的权衡系数，B为选取的带宽约束。利用编码器根据当前Q对视频进行编码，获得对应的B(Q)以及获得预测的对应A(Q)。通过随机生成的满足要求的“染色体”之间的“交叉、变异与复制”一步步进行迭代，并对迭代得到的Q保证其中元素为从大到小排列，在有限次数内获得出使得样本视频适应度函数最大的“染色体”，这就是为M个视频编码质量等级所选取的M个量化参数QP。
边缘节点通过下行链路将分析得到的不同区域所选取的量化参数QP传和区域划分方式输到对应的摄像头端，摄像头端将分析结果存储并修改编码器指令，来指导接下来的视频编码。
步骤S200：摄像头拍摄视频帧，根据最新确定的量化参数
Figure BDA0003902681860000071
对最新确定的划分方式所划分的区域块
Figure BDA0003902681860000072
分别进行编码后传输给边缘。
摄像头对拍摄区域捕获光信号，对捕获的光信号进行处理，利用数字信号处理单元将信号转换为图像。在得到更新的编码策略后，摄像头利用最新的编码策略对图像进行编码，对不同区域运用不同的量化参数QP，将图像内容编码压缩为视频，并通过上行链路传输到它所分配的边缘控制节点。
步骤S300：边缘根据编码内容解码视频帧并进行目标识别。
边缘接收到编码内容后，对其进行解码，获得视频帧，并对视频帧内容进行目标识别。
在一实施例中，边缘设置有目标识别神经网络，边缘节点对摄像头传输过来的视频进行解码获得组成视频的那些帧，将这些图片作为输入，输入到目标识别的神经网络中，获得感兴趣的目标在画面中的位置与大小。后续会将目标识别结果进一步传送给云端进行分析和存储。
在一实施例中，在步骤S100中也可以设置一个轻量级神经网络分析准确率A(Q)。具体步骤为：搭建一个轻量级神经网络，该神经网络由现有已训练好的目标识别神经网络的前若干个量卷积层和池化层提取输入视频的低级特征，将获得的低级特征输入到两层全连接层中，输出为该视频与原始视频对比的分析准确度的预测值。利用原始视频以及对其利用不同配置进行编码后的视频的目标识别结果作为训练集，对该轻量级神经网络进行训练。通过该轻量级神经网络，可以快速获得某配置的视频的分析准确度，从而加速后续遗传算法的计算时间。
步骤S400：判断是否需要进行结果验证，若不需要进行结果验证，则跳转至步骤S500，若需要进行结果验证，则跳转至步骤S600。
在一实施例中，可以设置验证周期自动触发验证动作或者人为触发验证动作。例如，每经过预设的时间间隔后，进入结果验证操作，因此跳转至步骤S600进行结果验证，其他时间则跳转至步骤S500，执行更新区域划分的操作。
步骤S500：根据当前时隙内视频帧的目标识别结果重新将帧内画面划分为M种不同重要等级的区域块
Figure BDA0003902681860000091
并更新至摄像头以作为摄像头下一时隙的区域块划分方式，跳转至步骤S200。
在每一帧数据传输至边缘后，边缘都会对其进行目标识别的操作，当识别出目标后，一方面可以传输至云端进行进一步的分析，另一方面则可以继续用于更新区域划分信息
Figure BDA0003902681860000092
因为不同时隙的画面会发生一定的变化，本发明通过根据最新的视频帧所识别出的目标重新进行区域划分，并以当前更新的
Figure BDA0003902681860000093
和已有的
Figure BDA0003902681860000094
形成新的编码策略，指导下一时隙中视频帧的编码。其中，由于重新划分是根据边缘向云端上传的目标识别结果进行划分，在原有的操作上并不会增加系统太大的消耗。
在一实施例中，可以定义区域的重要性评估函数I(N,S)，其中N为该区域所含物体占整个画面物体数目的比例，S为该区域物体平均大小所占整个画面的比例。这个I(N,S)需满足与N呈正相关，与S成负相关，也就是物体数目越多这个区域越重要，物体数目越小这个区域越重要。例如我们可以选择令I(N,S)＝N-γ×I，其中γ为一权重参数，用于调整评估中物体的数目与大小之间的重要性。根据重要性评估函数将画面划分为M个质量等级，质量等级越高，说明该区域越重要，质量等级高的将选取较低的量化参数QP，更低的量化参数QP意味着对该区域编码更加细致，对细节纹理的刻画也会更加准确，这个区域所占的视频大小也会变大。
具体的，可以采用如下划分方式：
先将画面划分为若干个初始区域并赋予初始等级，例如划分为2*2个区域，分别为A、B、C、D并赋予每个区域的初始等级为1；
再计算A、B、C、D每个区域的I(N,S)，若该区域的I(N,S)大于预设的阈值T，就将这个区域均分为2*2个区域，并将这四个子区域的编码质量等级提升一档。例如A、B区域的I(N,S)大于预设的阈值T，则分别将A、B分别继续均分为2*2个区域，分别为A1、A2、A3、A4、B1、B2、B3、B4且质量等级均提升至2；
再计算A1、A2、A3、A4、B1、B2、B3、B4中的I(N,S)，若该区域的I(N,S)大于预设的阈值T，就将这个区域均分为2*2个区域，并将这四个子区域的编码质量等级提升一档。例如，若A1区域的I(N,S)大于预设的阈值T，则将A1区域划分为A11、A12、A13、A14，并提升档次至等级3，依次重复，直至划分出M个质量等级。其中，一个质量等级可以有多个区域，即，多个区域可以对应一个质量等级。由于目标可能在下一时隙发生局部的移动，以当前时隙的质量等级划分方式作为下一时隙的编码策略，仍然可能会存在一定的误差，本实施例按照该方式进行划分，质量等级由大区域逐渐向小区域递增，区域的质量等级自最高等级逐渐向周边降级，质量等级最高的区域，其相邻的区域的质量等级仍然属于次高，即使目标在短暂的时隙内发生移动，也能对其进行质量较好的编码，从而保证分析精度。
步骤S600：判判断以应用当前编码策略传输的准确率A(Q)是否低于预期或延时是否超出预期，若是，则跳转至步骤S100，并在执行遗传算法时以当前量化参数
Figure BDA0003902681860000101
作为第一代染色体，且当准确率A(Q)低于预期时以减小量化参数
Figure BDA0003902681860000102
的趋势获得新的量化参数
Figure BDA0003902681860000103
当延时超出预期时以减小量化参数
Figure BDA0003902681860000104
的趋势获得新的量化参数
Figure BDA0003902681860000105
若否，则跳转至步骤S500。
本步骤是当触发验证操作时，进行编码策略准确率和延时的验证。具体的，当触发验证操作时，摄像头一方面会按照当前编码策略将视频传输至边缘，另一方面还会将原视频数据传输至边缘，该原视频数据为经过精细编码的高质量视频数据，通过原视频数据与当前编码策略传输的数据进行比较，得到应用当前编码策略传输的的准确率A(Q)。延时的验证则只需要将当前传输所需带宽和实际带宽进行比较，当所需带宽大于实际带宽时，说明延时问题严重。当准确率和带宽需求均符合预期，说明可继续使用上述编码策略，若准确率低于预期或延时超出预期，说明当前场景的图像变动较大，上述编码策略需要调整。此时，跳转至步骤S100，重新执行初始化步骤，即重新根据当前时段的原始数据初始化编码策略，其初始化步骤已在上文介绍，在此不再赘述。其中，当重新初始化时，可以以当前量化参数
Figure BDA0003902681860000111
作为第一代染色体，当准确率低于预期时，说明需要提高视频质量，则以减小量化参数
Figure BDA0003902681860000112
的趋势获得新的量化参数
Figure BDA0003902681860000113
当延时超出预期时，则说明编码后的视频体积较大，需增大量化参数，牺牲部分细节，减小视频码率和延迟，因此以减小量化参数
Figure BDA0003902681860000114
的趋势获得新的量化参数
Figure BDA0003902681860000115
由此可以缩短迭代时间，快速确定最佳的量化参数
Figure BDA0003902681860000116
相应的，本发明还涉及一种面向机器视觉的端-边协同视频传输系统，如图3所示，该系统包括摄像头和边缘，其中，摄像头用于拍摄视频帧，并在初始化时，将当前时段的原始视频数据传输给边缘，否则，根据最新确定的量化参数
Figure BDA0003902681860000117
对最新确定的划分方式所划分的区域块
Figure BDA0003902681860000118
分别进行编码后传输给边缘。边缘则用于接收摄像头传输过来的视频数据并进行目标识别，一方面将识别结果上传至云端，另一方面进行编码策略的调整，判断是否需要进入初始化阶段，当进入初始化阶段时，基于原始数据确定初始的量化参数
Figure BDA0003902681860000119
和划分信息
Figure BDA00039026818600001110
并传送给摄像头，否则，只根据当前帧数据重新确定不同质量等级的区域划分方式以更新
Figure BDA00039026818600001111
并传送给摄像头。
具体的，边缘包含有解码模块、目标识别模块、质量选择模块、验证触发模块和初始化模块。
其中，解码模块用于接收摄像头传输过来的编码内容，根据编码内容解码视频帧；
目标识别模块用于基于解码出的视频帧进行目标识别；
质量选择模块用于当未进行初始化时根据目标识别结果将帧内画面划分为M种不同重要等级的区域块
Figure BDA00039026818600001112
并传送给对应的摄像头；
验证触发模块用于当触发验证操作时，判断应用当前编码策略传输的的准确率A(Q)是否低于预期或延时是否超出预期，若是，则进入初始化阶段，若是，继续当前更新区域块
Figure BDA0003902681860000121
的循环操作；
初始化模块，用于当进入初始化阶段时，根据当前时段的原始视频数据将帧内画面划分M种不同重要等级的区域块
Figure BDA0003902681860000122
每个等级的区域块bi对应一个量化参数qi，以量化参数
Figure BDA0003902681860000123
为染色体，以应用当前编码策略传输的的准确率A(Q)最大为目标，通过遗传算法确定量化参数
Figure BDA0003902681860000124
得到初始化的编码策略
Figure BDA0003902681860000125
Figure BDA0003902681860000126
并传送给摄像头，结束初始化。
在系统运行时，首次启动系统会直接进入初始化阶段，此时，摄像头将当前时段的原始视频数据传输给边缘；边缘中的初始化模块根据当前时段的原始视频数据得到初始化的编码策略
Figure BDA0003902681860000127
Figure BDA0003902681860000128
并传输给摄像头，结束初始化。摄像头基于更新的编码策略
Figure BDA0003902681860000129
Figure BDA00039026818600001210
对视频画面进行编码后传输给边缘。边缘中的目标识别模块进行目标识别，质量选择模块基于识别结果重新对视频帧进行区域划分，以更新摄像头中的
Figure BDA00039026818600001211
与此同时，验证触发模块则判断是否接收到验证触发操作，若触发验证操作，则判断应用当前编码策略传输的的准确率A(Q)是否低于预期或延时是否超出预期，若没有触发验证操作，则每一时隙重新获取
Figure BDA00039026818600001212
并更新至摄像头中以指导摄像头下一时隙的编码。若验证操作时判断出准确率A(Q)低于预期或延时超出预期，则通知系统重新进入初始化阶段，此时，摄像头将当前时段的原始视频数据传输给边缘；边缘中的初始化模块根据当前时段的原始视频数据得到初始化的编码策略
Figure BDA00039026818600001213
Figure BDA00039026818600001214
并传输给摄像头，结束初始化，摄像头基于更新的编码策略
Figure BDA00039026818600001215
Figure BDA00039026818600001216
对视频画面进行编码后传输给边缘。如此循环，以实现降低带宽消耗的同时保证获得较高的分析精度。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种面向机器视觉的端-边协同视频编码方法，其特征在于，包括：
步骤S1：根据当前时段的原始视频数据将帧内画面划分M种不同重要等级的区域块
Figure FDA0003902681850000011
每个等级的区域块bi对应一个量化参数qi，以量化参数
Figure FDA0003902681850000012
为染色体，以应用当前编码策略传输的的准确率A(Q)最大为目标，通过遗传算法确定量化参数
Figure FDA0003902681850000013
得到初始化的编码策略
Figure FDA0003902681850000014
步骤S2：摄像头拍摄视频帧，根据最新确定的量化参数
Figure FDA0003902681850000015
对最新确定的划分方式所划分的区域块
Figure FDA0003902681850000016
分别进行编码后传输给边缘；
步骤S3：边缘根据编码内容解码视频帧并进行目标识别；
步骤S4：判断是否需要进行结果验证，若不需要进行结果验证，则跳转至步骤S5，若需要进行结果验证，则跳转至步骤S6；
步骤S5：根据当前时隙内视频帧的目标识别结果重新将帧内画面划分为M种不同重要等级的区域块
Figure FDA0003902681850000017
并更新至摄像头以作为摄像头下一时隙的区域块划分方式，跳转至步骤S2；
步骤S6：判断以应用当前编码策略传输的准确率A(Q)是否低于预期或延时是否超出预期，若是，则跳转至步骤S1，并在执行遗传算法时以当前量化参数
Figure FDA0003902681850000018
作为第一代染色体，且当准确率A(Q)低于预期时以减小量化参数
Figure FDA0003902681850000019
的趋势获得新的量化参数
Figure FDA00039026818500000110
当延时超出预期时以减小量化参数
Figure FDA00039026818500000111
的趋势获得新的量化参数
Figure FDA00039026818500000112
若否，则跳转至步骤S5。
2.如权利要求1所述的面向机器视觉的端-边协同视频编码方法，其特征在于，在步骤S1中，执行遗传算法的过程包括：
设置目标函数为：Max A(Q)
设置约束条件为：B(Q)≦B
t＝tencode+ttrans+tanalysis≦T
q1>q2>…>qi…>qM
其中，B(Q)为应用当前编码策略所得的视频的比特率，B为当前的带宽约束，tencode、ttrans、tanalysis分别为摄像头端对视频进行编码的时间、将视频传输到边缘的时间以及边缘进行后续分析任务所需的时间，T为当前时隙内传输视频的时长T；
确定适应度函数为：A(Q)+α(B(Q)-B)+β(t-T)，其中，α、β为视频比特率与延迟约束的权衡系数。
3.如权利要求1所述的面向机器视觉的端-边协同视频编码方法，其特征在于，在步骤S1中，利用训练好的轻量级神经网络快速计算准确率A(Q)。
4.如权利要求1所述的面向机器视觉的端-边协同视频编码方法，其特征在于，在边缘执行步骤S100。
5.如权利要求1所述的面向机器视觉的端-边协同视频编码方法，其特征在于，在步骤S3中，边缘设置有进行目标识别的神经网络，通过神经网络获得感兴趣的目标在画面中的位置与大小。
6.如权利要求1所述的面向机器视觉的端-边协同视频编码方法，其特征在于，步骤S1和步骤S4均是通过质量选择模块进行区域快的划分，划分方法包括：
确定重要性评估函数I(N,S)＝N-γ×S，其中，N为当前区域所含目标物体占整个画面物体数目的比例，S为当前区域目标物体平均大小所占整个画面的比例，γ为权重参数；
步骤A：先将画面划分为具有相同初始等级的若干区域，
步骤B：计算每个新划分区域的重要性评估函数值，提升重要性评估函数值大于阈值的区域的等级并将等级提升区域进一步划分为若干区域，重复步骤B直至得到M个等级划分。
7.如权利要求6所述的面向机器视觉的端-边协同视频编码方法，其特征在于，每次划分为均匀划分。
8.如权利要求1所述的面向机器视觉的端-边协同视频编码方法，其特征在于，在步骤S4中，设定验证周期，当达到设定周期间隔时，判定为需要进行结果验证，并跳转至步骤S6。
9.一种面向机器视觉的端-边协同视频传输系统，包括摄像头和边缘，其特征在于，所述边缘包括解码模块、目标识别模块、质量选择模块、验证触发模块和初始化模块；其中，
所述摄像头用于拍摄视频帧，并在初始化时，将当前时段的原始视频数据传输给边缘，否则，根据最新确定的量化参数
Figure FDA0003902681850000031
对最新确定的划分方式所划分的区域块
Figure FDA0003902681850000032
分别进行编码后传输给边缘；
所述解码模块用于根据编码内容解码视频帧；
所述目标识别模块用于识别视频帧中的目标；
所述质量选择模块用于当未进行初始化时根据目标识别结果将帧内画面划分为M种不同重要等级的区域块
Figure FDA0003902681850000033
并传送给对应的摄像头；
所述验证触发模块用于当触发验证操作时，判断应用当前编码策略传输的的准确率A(Q)是否低于预期或延时是否超出预期，若是，则进入初始化阶段，若否，继续当前操作；
所述初始化模块，用于当进入初始化阶段时，根据当前时段的原始视频数据将帧内画面划分M种不同重要等级的区域块
Figure FDA0003902681850000034
每个等级的区域块bi对应一个量化参数qi，以量化参数
Figure FDA0003902681850000035
为染色体，以应用当前编码策略传输的的准确率A(Q)最大为目标，通过遗传算法确定量化参数
Figure FDA0003902681850000036
得到初始化的编码策略
Figure FDA0003902681850000037
并传送给摄像头，结束初始化。
10.如权利要求9所述的面向机器视觉的端-边协同视频传输系统，其特征在于，每个边缘控制多个摄像头。
CN202211294861.6A 2022-10-21 2022-10-21 面向机器视觉的端-边协同视频编码方法及视频传输系统 Pending CN115767098A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211294861.6A CN115767098A (zh) 2022-10-21 2022-10-21 面向机器视觉的端-边协同视频编码方法及视频传输系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211294861.6A CN115767098A (zh) 2022-10-21 2022-10-21 面向机器视觉的端-边协同视频编码方法及视频传输系统

Publications (1)

Publication Number Publication Date
CN115767098A true CN115767098A (zh) 2023-03-07

Family

ID=85352825

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211294861.6A Pending CN115767098A (zh) 2022-10-21 2022-10-21 面向机器视觉的端-边协同视频编码方法及视频传输系统

Country Status (1)

Country Link
CN (1) CN115767098A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116600090A (zh) * 2023-07-17 2023-08-15 微网优联科技(成都)有限公司 一种用于ipc网络摄像头的运维管控方法及系统
CN116761023A (zh) * 2023-07-04 2023-09-15 唯科终端技术(东莞)有限公司 不同设备之间的视频传输方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116761023A (zh) * 2023-07-04 2023-09-15 唯科终端技术(东莞)有限公司 不同设备之间的视频传输方法
CN116600090A (zh) * 2023-07-17 2023-08-15 微网优联科技(成都)有限公司 一种用于ipc网络摄像头的运维管控方法及系统
CN116600090B (zh) * 2023-07-17 2023-09-19 微网优联科技(成都)有限公司 一种用于ipc网络摄像头的运维管控方法及系统

Similar Documents

Publication Publication Date Title
CN115767098A (zh) 面向机器视觉的端-边协同视频编码方法及视频传输系统
KR101528895B1 (ko) 관심 특성 색 모델 변수의 적응성 추정을 위한 방법 및 장치
CN101069432B (zh) 用于视频编码器速率控制的量化参数的确定方法和设备
US9762917B2 (en) Quantization method and apparatus in encoding/decoding
CN110198444B (zh) 视频帧编码方法、视频帧编码设备及具有存储功能的装置
CN109792540A (zh) 利用每帧参数控制的硬件加速的视频编码方法和系统
US20060188014A1 (en) Video coding and adaptation by semantics-driven resolution control for transport and storage
US20070230565A1 (en) Method and Apparatus for Video Encoding Optimization
US20070153892A1 (en) Encoder with adaptive rate control for h.264
CN1973547A (zh) 用于视频编解码器量化的方法和设备
CN104885455A (zh) 用于高效下一代视频编码的通过使用帧层次敏感的量化的内容自适应比特率和质量控制
JP2010507983A (ja) マルチパスエンコーダにおける効率的な１パスのエンコーディングの方法および装置
CN112351280B (zh) 视频编码方法、装置、电子设备及可读存储介质
CN110876060A (zh) 一种编码过程中的码率调整方法及装置
EP3545677A1 (en) Methods and apparatuses for encoding and decoding video based on perceptual metric classification
US8270040B2 (en) Image-encoding apparatus and method outputting control parameter for controlling structure of moving image data encoded group in encoding unit based on index value
US20100104010A1 (en) Real-time rate-control method for video encoder chip
JP7171322B2 (ja) 画像処理装置、画像処理方法およびプログラム
CN114157870A (zh) 编码方法、介质及电子设备
EP1766991A1 (en) Method and apparatus for video encoding optimization
CN112243129B (zh) 视频数据处理方法、装置、计算机设备及存储介质
JP5171658B2 (ja) 画像符号化装置
CN110708548A (zh) 一种全景视频帧内比特分配的方法
CN114513670B (zh) 一种端到端的视频压缩方法、装置和计算机可读存储介质
US20220264111A1 (en) Video coding efficiency improvement using dynamic frame boost scaling

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination