CN110087078B

CN110087078B - 一种面向图像组分块压缩感知的测量端观测效能调控方法

Info

Publication number: CN110087078B
Application number: CN201910387957.9A
Authority: CN
Inventors: 刘浩; 翟广涛; 孙韶媛; 邓开连; 孙嘉曈; 刘洋; 袁浩东; 魏国林; 廖荣生; 黄震
Original assignee: Donghua University
Current assignee: Donghua University
Priority date: 2019-05-10
Filing date: 2019-05-10
Publication date: 2023-06-02
Anticipated expiration: 2039-05-10
Also published as: CN110087078A

Abstract

难控的观测效能是制约视频观测编码技术发展的主要难题。基于图像组分块压缩感知架构，本发明提供了一种模型引导的观测效能调控方法，测量端根据当前图像组的观测结果与GOP帧间相关模型，在功耗约束下为后一图像组预先分配关键帧/非关键帧的采样率和量化深度。当前图像组执行完观测编码，若当前功耗满足功耗约束，后一图像组仍然采用当前图像组的观测参数；否则，后一图像组进入递减模式或递增模式，根据GOP帧间相关模型更新观测参数。由于邻近的图像组具有近似的统计特性，所提方法为视频观测编码提供了一种在功耗约束下观测参数的预设机制，能够快速地为关键帧/非关键帧分配采样率和量化深度，为连续图像组提供优化的观测效能。

Description

一种面向图像组分块压缩感知的测量端观测效能调控方法

技术领域

本发明属于压缩感知视频通信领域，具体而言，涉及一种基于图像组分块压缩感知架构的视频观测效能调控方法。

背景技术

压缩感知能够通过远低于奈奎斯特定理的抽样速率，将原始信号分解成少量的线性观测值，同时实现信号的获取与压缩。压缩感知视频通信是一种基于压缩感知理论的视频通信系统，其测量端与重建端极不对称：物理资源有限的测量端需要执行高效的视频观测编码，计算资源丰富的重建端则需要在单向传输中恢复视频信号。在各种压缩感知系统中，分块压缩感知(BCS)对测量端的传感资源要求较低，不仅可实现低内存测量，且可逐块或并行发送。

为了防止误差累积，图像组分块压缩感知(GOP-BCS)是目前典型的视频观测编码架构，GOP-BCS架构将原始视频划分为连续的图像组(GOP)，再将每个图像组拆分为关键帧和非关键帧，每个图像组的首帧为关键帧，其余帧为非关键帧，然后利用BCS将每帧分成同等尺寸的非重叠子块。测量端采用投影矩阵按序对各个子块进行等采样率的投影观测，得到相应的子块观测向量，然后进行观测值的预测编码和量化，产生数字化的比特码流。投影矩阵的规模不随着原始视频尺寸的增加而增大，若要对原始图像的观测质量进行调整，测量端只需改变投影矩阵的采样率或量化深度，这为测量端的硬件设计提供了便利。

测量端在完成当前图像组的观测编码之后，需要预先设定后一图像组的采样率和量化深度等观测参数，以便联合控制后一图像组的观测质量与功耗性能。在压缩感知视频通信中，测量端往往需要获取连续的图像组，由于邻近的图像组具有近似的统计特性，测量端通过分析当前图像组的观测结果，可以构建采样率和量化深度的预测机制，用于设定后一图像组的观测参数。在平均功耗的约束下，测量端如何为后一图像组预先设定优化的采样率和量化深度，实现观测质量与观测功耗之间的效能控制，目前尚未见相应的方法。

发明内容

本发明要解决的技术问题是：基于GOP-BCS架构，如何在功耗约束下通过观测参数来调整连续图像组的观测质量。

为了解决上述技术问题，本发明的技术方案是提供了一种面向图像组分块压缩感知的测量端观测效能调控方法，其特征在于，为后一图像组预先设定合适的观测参数，实现效能可控的视频观测编码，包括以下步骤：

步骤一、效能控制器分别获取测量端各功能单元的耗电量，设G_m表示第m个图像组，m≥1，P_m表示观测第m个图像组的耗电量，帧间向量相关度q_m是第m个图像组非关键帧之间观测向量相关系数的平均值，则第m个图像组G_m在执行观测编码时需要确定四个观测参数：关键帧采样率S^k _m、关键帧量化深度D^k _m、非关键帧采样率S^nk _m、非关键帧量化深度D^nk _m，k表示关键帧，nk表示非关键帧；

步骤二、效能控制器根据第m个图像组G_m的耗电量P_m，判断后一图像组G_m+1的工作模式：

相邻图像组具有近似的统计特性，后一图像组可以工作在保持模式、递减模式或递增模式，对于给定的功耗阈值P_t和置信比γ，若P_t×(1-γ)％≤P_m≤P_t×(1+γ)％，满足功耗约束，后一图像组G_m+1进入保持模式，跳转到步骤三(a)；若P_m<P_t×(1-γ)％，后一图像组G_m+1进入递增模式，跳转到步骤三(b)；若P_m>P_t×(1+γ)％，后一图像组G_m+1进入递减模式，跳转到步骤三(c)；

步骤三(a)、保持模式

后一图像组G_m+1仍采用当前图像组G_m的观测参数，即{S^k _m+1＝S^k _m,D^k _m+1＝D^k _m,S^nk _m+1＝S^nk _m,D^nk _m+1＝D^nk _m}，随后跳转到步骤四；

步骤三(b)、递增模式

后一图像组G_m+1的关键帧采样率S^k _m+1是在第m个图像组G_m的关键帧采样率S^k _m的基础上增加步长α，关键帧量化深度D^k _m+1是在第m个图像组G_m的关键帧量化深度D^k _m的基础上增加步长β，直至最大的观测参数值；然后利用GOP帧间相关模型分别确定后一图像组G_m+1的非关键帧采样率S^nk _m+1、非关键帧量化深度D^nk _m+1，即{S^k _m+1＝min(S^k _m+α,1.00),D^k _m+1＝min(D^k _m+β,16),S^nk _m+1＝max(q_m·S^k _m+1,α),D^nk _m+1＝max(q_m·D^k _m+1,β)}，随后跳转到步骤四；

步骤三(c)、递减模式

后一图像组G_m+1的关键帧采样率S^k _m+1是在第m个图像组G_m的关键帧采样率S^k _m的基础上减少步长α，关键帧量化深度D^k _m+1是在第m个图像组G_m的关键帧量化深度D^k _m的基础上减少步长β，直至最小的观测参数值；然后利用GOP帧间相关模型分别确定后一图像组G_m+1的非关键帧采样率S^nk _m+1、非关键帧量化深度D^nk _m+1，即{S^k _m+1＝max(S^k _m-α,α),D^k _m+1＝max(D^k _m-β,β),S^nk _m+1＝max(q_m·S^k _m+1,α),D^nk _m+1＝max(q_m·D^k _m+1,β)}；

步骤四、测量端利用前一步骤确定的观测参数{S^k _m+1,D^k _m+1,S^nk _m+1,D^nk _m+1}对后一图像组G_m+1执行观测编码，根据图像组G_m+1的观测结果计算帧间向量相关度q_m+1，同时获取相应的耗电量P_m+1，跳转到步骤二，继续逐一观测后续的图像组，直到最后一个图像组。

优选地，所述GOP帧间相关模型包含两个关系函数：S^nk _m+1＝q_m·S^k _m+1和D^nk _m+1＝q_m·D^k _m+1，其函数值分别受限于最小采样率和最小量化深度。

针对视频观测编码，本发明提出一种基于GOP-BCS架构的观测效能调控方法，能够根据当前图像组的观测结果为后一图像组分配合适的采样率和量化深度，以便在观测功耗和观测质量之间取得有效的性能折衷。。

针对测量端的视频观测编码，本发明提出了一种基于四个观测参数的效能调控方法，根据当前图像组的观测结果与GOP帧间相关模型，在功耗约束下为后一图像组预先设定采样率和量化深度。在GOP-BCS架构下，四个观测参数为测量端的观测效能提供了较大的调控空间，随着功耗阈值的增加，观测质量能够获得稳定的提升。所提方法为视频观测编码提供了图像组级的观测效能调控机制，能够在功耗约束下为后续图像组快速地分配四个观测参数，可在观测功耗和观测质量之间取得一定程度的性能折衷。

附图说明

图1为视频观测编码中图像组的构成示意图；

图2为观测效能可控的测量端功能单元图；

图3为基于图像组的观测效能控制流程图。

具体实施方式

下面结合附图，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。

在本发明实施例中，测量端根据当前图像组的观测编码结果确定后一图像组的四个观测参数。测量端包含效能控制器、GOP分帧、BCS分块、投影、预测编码、量化、熵编码等功能单元。GOP分帧单元决定了图像组的非关键帧数量，BCS分块单元决定了BCS子块的大小，投影单元根据采样率执行投影矩阵。效能控制器以采样率和量化深度作为观测参数，根据当前图像组的观测结果与GOP帧间相关模型预先设定后一图像组的观测参数。图1为视频观测编码中图像组的构成示意图，G_m表示第m个图像组(m≥1)，每个图像组含有1个关键帧和N个非关键帧。在测量端，每一W×H像素的视频帧被划分为b×b像素的非重叠子块，每个子块通过投影矩阵Φ_B形成观测向量，每帧的所有子块具有一致的观测参数。

在压缩感知视频通信中，测量端与重建端之间通常是单向传输。图2给出了观测效能可控的测量端功能单元图，测量端包含效能控制器、GOP分帧、BCS分块、投影、预测编码、量化、熵编码等功能单元，原始视频X的各个子块通过投影矩阵Φ_B进行独立地观测，生成子块观测向量；由于观测值是实数，它们将被量化成为索引值，接着执行熵编码，然后测量端将压缩数据封装进码流Y，发送到传输信道。重建端在收到码流Y后执行GOP-BCS架构分析，然后进行残差预测重构，其中投影矩阵Φ_B与测量端相同，最后将多帧重构的结果按帧序和帧率输出，形成重构视频X’。

采样率和量化深度联合影响图像组的观测质量和观测功耗。若对同一图像组执行观测编码，更大的采样率或量化深度将导致较高的观测质量，但观测功耗会显著增加。测量端具有四个重要的观测参数：关键帧采样率(S^k _m)、关键帧量化深度(D^k _m)、非关键帧采样率(S^nk _m)、非关键帧量化深度(D^nk _m)，k表示关键帧，nk表示非关键帧。在实施例中，采样率的候选值从0.05到最大采样率1.00,步长α＝0.05；量化深度的候选值从1到最大量化深度16,步长β＝1。S^k _m＝1.00,D^k _m＝16,S^nk _m＝1.00,D^nk _m＝16通常能获得最好的观测质量。P_m表示图像组G_m的耗电量，单位是毫安时(mAh)。

测量端对图像组G_m采用一组参数{S^k _m,D^k _m,S^nk _m,D^nk _m}执行观测编码，效能控制器统计各功能单元的耗电量，GOP分帧、BCS分块、投影、预测编码、量化、熵编码的耗电量分别表示为P_m,f、P_m,b、P_m,p、P_m,c、P_m,q、P_m,e，效能控制器获得图像组的耗电量P_m＝P_m,f+P_m,b+P_m,p+P_m,c+P_m,q+P_m,e。随着功耗阈值的增加，观测质量有望获得提升。对于一个给定的功耗阈值P_t，测量端需要为后一图像组G_m+1预先设定合适的观测参数。所提方法通过对当前图像组G_m执行观测编码，根据G_m的观测结果构建GOP帧间相关模型，为后一图像组G_m+1快速选取功耗约束下的四个观测参数。重复执行上述过程，即可完成连续图像组的效能控制。

图像组的帧间存在较强的相关性，经过观测编码后，前后相邻帧的观测值之间仍然保留了这种相关性。GOP帧间相关模型采用帧间向量相关度q_m来表征同一图像组中关键帧观测参数与非关键帧观测参数的相关程度，包含如下两个关系函数：

S^nk _m+1＝max{[q_m·S^k _m+1]，α＝0.05}

D^nk _m+1＝max{[q_m·D^nk _m+1]，β＝1}

上式中“max{A,B}”表示选取A与B中的较大值，“[A]”表示选取最接近A的观测参数候选值；帧间向量相关度q_m用于表征当前图像组G_m中关键帧与非关键帧的整体相关程度，采用如下公式计算：

上式中，k是同一图像组中非关键帧的序号(1≤k≤N)，y_{m，k，i，j}表示当前图像组G_m中第k个非关键帧第i行第j列的子块观测向量，q_m等于当前图像组G_m前后非关键帧观测向量的相关系数的平均值，W为视频帧的宽度像素数，H为视频帧的高度像素数，b为子块的边长像素数。邻近的图像组在给定的功耗下往往具有相近的观测参数，GOP帧间相关模型揭示了在同一图像组中关键帧观测参数与非关键帧观测参数之间的内在关系。

测量端在功耗约束下对连续图像组逐一观测，图3是基于图像组的观测效能控制流程图。若功耗阈值为P_t，置信比γ为5％，所提方法首先对第一个图像组G₁进行初始化操作，采用默认的观测参数{0.60,10,0.50,8}，对应的观测功耗为P₁，计算帧间向量相关度q₁＝0.9。效能控制器根据当前图像组G₁的耗电量P₁，判断后一图像组G₂的工作模式：若P₁<P_t×95％，后一图像组G₂进入递增模式，关键帧的采样率和量化深度将分别增加单位步长，并利用GOP帧间相关模型分配非关键帧的观测参数，得到图像组G₂的四个观测参数{0.65,11,0.60,10}；若P₁>P_t×105％，后一图像组G₂进入递减模式，关键帧的采样率和量化深度将分别减小单位步长，并利用GOP帧间相关模型为分配非关键帧的观测参数，得到图像组G₂的四个观测参数{0.55,9,0.50,8}；若当前功耗P₁满足功耗约束：P_t×95％≤P₁≤P_t×105％，后一图像组G₂进入保持模式，得到图像组G₂的四个观测参数{0.60,10,0.50,8}。重复执行上述过程，即可对连续图像组完成功耗约束下的视频观测编码。

Claims

1.一种面向图像组分块压缩感知的测量端观测效能调控方法，其特征在于，为后一图像组预先设定合适的观测参数，实现效能可控的视频观测编码，包括以下步骤：

步骤三(a)、保持模式

步骤三(b)、递增模式

后一图像组G_m+1的关键帧采样率S^k _m+1是在第m个图像组G_m的关键帧采样率S^k _m的基础上增加步长α，关键帧量化深度D^k _m+1是在第m个图像组G_m的关键帧量化深度D^k _m的基础上增加步长β，直至最大的观测参数值；然后利用GOP帧间相关模型分别确定后一图像组G_m+1的非关键帧采样率S^nk _m+1、非关键帧量化深度D^nk _m+1，即S^k _m+1＝min{S^k _m+α,1.00},D^k _m+1＝min{D^k _m+β,16},S^nk _m+1＝max{[q_m·S^k _m+1],α},D^nk _m+1＝max{q_m·D^k _m+1,β}，随后跳转到步骤四；

步骤三(c)、递减模式

后一图像组G_m+1的关键帧采样率S^k _m+1是在第m个图像组G_m的关键帧采样率S^k _m的基础上减少步长α，关键帧量化深度D^k _m+1是在第m个图像组G_m的关键帧量化深度D^k _m的基础上减少步长β，直至最小的观测参数值；然后利用GOP帧间相关模型分别确定后一图像组G_m+1的非关键帧采样率S^nk _m+1、非关键帧量化深度D^nk _m+1，即S^k _m+1＝max{S^k _m-α,α},D^k _m+1＝max{D^k _m-β,β},S^nk _m+1＝max{[q_m·S^k _m+1],α},D^nk _m+1＝max{q_m·D^k _m+1,β}；

步骤四、测量端利用前一步骤确定的观测参数{S^k _m+1,D^k _m+1,S^nk _m+1,D^nk _m+1}对后一图像组G_m+1执行观测编码，根据图像组G_m+1的观测结果计算帧间向量相关度q_m+1，同时获取相应的耗电量P_m+1，跳转到步骤二，继续逐一观测后续的图像组，直到最后一个图像组；

所述GOP帧间相关模型包含两个关系函数：S^nk _m+1＝max{[q_m·S^k _m+1],α}和D^nk _m+1＝max{[q_m·D^k _m+1],β}，式中，max{A,B}表示选取A与B中的较大值，[A]表示选取最接近A的观测参数候选值，帧间向量相关度q_m采用如下公式计算：

式中k是同一图像组中非关键帧的序号1≤k≤N，y_m,k,i,j表示当前图像组G_m中第k个非关键帧第i行第j列的子块观测向量，q_m等于当前图像组G_m前后非关键帧观测向量的相关系数的平均值，W为视频帧的宽度像素数，H为视频帧的高度像素数，b为子块的边长像素数。/>