CN107547898B - 一种能耗-精度可控的传感器双参数分配系统 - Google Patents

Abstract

本发明提供了一种能耗‑精度可控的传感器双参数分配系统，包括通过传输信道连接的传感器和服务器；系统的训练模式通过分析采样因子S和量化参数Q如何影响监控图像的编码复杂度、比特率、图像质量等特性，统计编码能耗、传输能耗、场景归类精度等性能指标与两个控制参数之间的内在联系，构建精度阈值与(S，Q)控制参数之间的精度参数优化模型；系统的工作模式根据精度参数优化模型，能够预先设定适当的(S，Q)控制参数，在归类精度约束下渐进地调整传感器能耗，取得近似最优的能耗‑精度控制性能。本发明通过测试智能无线图像监控的编码复杂度、比特率、精度特性，给出控制参数的计算方法，为监控成像应用提供了能耗‑精度的可控机制。

Description

一种能耗-精度可控的传感器双参数分配系统

技术领域

本发明涉及一种在归类精度约束下最小化传感器能耗的双参数分配系统，属于图像通信技术领域。

背景技术

在智能无线图像监控中，电池供电的传感器能够主动收集、编码场景图像，通过无线信道将压缩码流传输到服务器进行自动场景归类。智能无线图像监控在安全监测、战场情报、环境感知等领域具有许多重要的应用。例如，传感器部署在野生动物保护区，当某种场景改变引起感应触发时，传感器立刻获取监控场景的若干图像，经过压缩后传送到服务器进行场景分类，自动确定场景图像是人或动物或是由于背景变动引起的错误报警。

作为一种新型的图像通信方式，智能无线图像监控需要及时获取、压缩和传输场景图像，以便服务器做进一步的分析。图像编码的复杂度控制在能量受限的图像通信中是一个关键问题。具有灵活抽样比例的编码方法可以获得比固定抽样比例更好的率失真性能。研究表明，伴随着一定的比特率，图像编码存在一个最优采样因子以获得最好的重构质量，但缺少自动的采样因子判决算法。如果在图像编码中给定一个抽样比例，重构质量可以在超分辨率辅助下获得改进。目前，具有灵活抽样比例的编码方法并没有考虑压缩能耗如何适配传输能耗，低功耗传感器的设计有必要联合地考虑图像编码的比特率、复杂度和重构质量。

在智能无线图像监控中，传感器的能耗和服务器的归类精度是两个关键指标。传感器在编码和传输图像样本过程中，可能浪费了过多的计算和能量资源，造成解码图像的质量远高于场景归类所需要的质量。近年来，研究人员已经意识到联合优化图像压缩和场景归类的重要性，然而目前尚没有文献给出如何进行图像压缩、无线传输、场景归类的联合设计。

发明内容

本发明要解决的技术问题是：如何在场景图像的编码、无线传输、自动归类过程中执行优化的能量分配和控制，在归类精度约束下最小化传感器能耗。

为了解决上述技术问题，本发明的技术方案是提供一种能耗-精度可控的传感器双参数分配系统，其特征在于：包括通过传输信道连接的传感器和服务器；

传感器包括依次连接的摄像模块、控制模块、下采样模块、编码模块、传输模块，变化感应模块连接摄像模块和控制模块，控制模块连接编码模块，模型训练模块连接摄像模块、控制模块、下采样模块、编码模块、传输模块；

服务器包括互相连接的解码模块和归类模块，所述传输模块通过传输信道连接解码模块，归类模块连接所述模型训练模块；

系统以采样因子S和量化参数Q作为控制参数，实现在服务器的精度约束下最小化传感器的能耗；系统分为训练模式和工作模式：在训练模式下，模型训练模块通过训练图像集构建精度参数优化模型；在工作模式下，变化感应模块触发摄像模块拍摄一幅原始图像X，控制模块根据精度参数优化模型分配(S，Q)控制参数，根据一个给定的参数S，下采样模块将X调整为下采样图像X_d，接着，编码模块采用一个给定的参数Q对X_d进行压缩编码，传输模块封装压缩数据和辅助信息进入码流Y，然后将码流Y通过传输信道传输到远端的服务器；在服务器端，码流Y由解码模块生成恢复图像X′，然后由归类模块进行场景归类。

优选地，在训练模式下，模型训练模块存储的训练图像集首先用于建立归类模块所用的归类模型，然后用于构建控制模块所用的精度参数优化模型。

优选地，在工作模式下，传感器根据精度参数优化模型为工作图像集设置(S，Q)控制参数，在给定的精度约束下可控地减少传感器能耗。

优选地，所述量化参数Q是编码模块的一种通用参数，表示量化步长的序号。

优选地，所述下采样模块采用双三次插值方式调整图像大小；

设(W，H)和(W_d，H_d)分别代表原始图像和下采样图像的(宽，高)，采样因子S用于执行以下两种下采样方式之一：

₁)平方根方式：

[k]表示对k执行邻近尺寸归整算子；在平方根方式的下采样中，邻近尺寸归整算子[k]表示一个最接近k的整数、且是编码模块所允许的最小编码边长B_m的整数倍；

2)步长递减方式：(W_d，H_d)＝([W-B_m×S]，[H-B_m×S])，B_m代表编码模块所允许的最小编码边长。

优选地，所述训练图像集为由摄像模块采集并标注的场景图像，或是涵盖监控内容的已标注图像数据库。

更优选地，所述归类模型通过任一种图像分类与识别方法建立，例如支持向量机、卷积神经网络。

优选地，所述精度参数优化模型的构建分为以下3个步骤：

步骤1：根据每一种(S，Q)控制参数，传感器对训练图像集的每幅训练图像逐一执行下采样模块和编码模块，生成传输码流；在对训练图像集测试完所有的(S，Q)控制参数之后，训练数据模块统计训练图像集平均每幅图像的编码复杂度C(S，Q)和比特率R(S，Q)；

步骤2：传输码流输入服务器的解码模块，服务器采用归类模块对各个解码图像执行场景归类，并将归类结果传回训练数据模块；对于每一种(S，Q)控制参数，训练数据模块统计训练图像集的归类精度P(S，Q)；

步骤3：对于允许的精度阈值P_t和传输-编码能耗比λ，系统在满足P(S，Q)≥P_t条件下最小化传感器能耗C(S，Q)+λ·R(S，Q)，在所有(S，Q)控制参数中寻找一组最优的(S，Q)控制参数；通过测试各种λ值，获取最优S值和最优Q值的平均值；在测试完每个P_t值之后，训练数据模块完成精度参数优化模型的两个拟合函数：S(P_t)和Q(P_t)。

优选地，所述传输-编码能耗比λ和精度阈值P_t在可能的取值范围内按一定步长变化，精度阈值总数N_p＝(最大精度-最小精度)/精度步长。

优选地，所述训练图像集和工作图像集具有一致的统计特性，传感器在工作模式时根据给定的精度阈值P_t，利用精度参数优化模型为摄像模块获取的场景图像设置合适的(S，Q)控制参数；当传感器的监控内容发生显著改变时，系统再次执行训练模式，进行系统的更新。

为了在服务器的归类精度约束下最小化传感器的能耗，本发明为智能无线图像监控设计了一种能耗-精度可控系统，具有两个控制参数：采样因子(S)、量化参数(Q)。本发明所提系统通过测试不同(S，Q)控制参数如何影响监控图像的编码复杂度、比特率、归类精度等特性，构建了精度阈值与(S，Q)控制参数之间的精度参数优化模型。通过该模型，传感器能够预先设定适当的(S，Q)控制参数，在归类精度约束下渐进地调整传感器能耗。由于监控图像具有相对稳定的统计特性，在能耗-精度可控系统中，所提系统能够取得近似最优的能耗-精度控制性能。

本发明提供的系统克服了现有技术的不足，以采样因子和量化参数作为控制参数，通过测试智能无线图像监控的编码复杂度、比特率、精度特性，给出控制参数的计算方法，为监控成像应用提供了能耗-精度的可控机制。

附图说明

图1为智能无线图像监控的应用示意图；

图2为能耗-精度可控的传感器双参数分配系统的模块图；

图3为平均每幅图像的复杂度C(S，Q)曲线；

图4为平均每幅图像的比特率R(S，Q)曲线；

图5为图像集的归类精度P(S，Q)曲线；

图6为精度参数优化模型的S(P_t)函数；

图7为精度参数优化模型的Q(P_t)函数；

图8为最优的传感器能耗与模型推导的传感器能耗。

具体实施方式

下面结合具体实施例，进一步阐述本发明。

传统图像监控的目标是最大化端到端的图像质量，而不是场景归类的精度。本实施例引入了图1所示的智能无线图像监控应用。电池供电的传感器在变化感应模块触发后主动抓拍若干场景图像，然后对场景图像进行压缩编码，将比特流通过无线信道传输到基站，然后通过有线信道传输到服务器；服务器解码比特流以恢复图像，并进行场景归类。传感器在获取、编码、传输图像时需要分配它的能量资源，以便在服务器的场景归类精度约束下最小化传感器的能耗。

在本发明中，智能无线图像监控采用图2所示的能耗-精度可控系统，具有两个重要的控制参数：采样因子S、量化参数Q，以期获得优化的能耗-精度可控性能。在该系统的训练模式下，模型训练模块通过训练图像集构建精度参数优化模型。在该系统的工作模式下，变化感应模块触发摄像模块拍摄一幅原始图像X，控制模块根据精度参数优化模型分配(S，Q)控制参数，根据一个给定的参数S，下采样模块将X调整为下采样图像X_d，接着，编码模块采用一个给定的参数Q对X_d进行压缩编码，传输模块能够封装压缩数据和辅助信息进入码流Y，然后将码流通过无线信道传输到远端的服务器。在服务器端，码流Y由解码模块生成恢复图像X′，然后由归类模块进行场景归类。两个控制参数对下列因素具有直接的影响：(1)编码复杂度，它可以转化成编码能耗；(2)比特率，它可以转化成无线传输能耗；(3)场景归类的精度。传感器需要根据适当的控制参数选择策略，在一定的精度约束下降低传感器能耗。

下采样模块获取每一图像的宽和高，若采集图像尺寸不是最小编码边长(B_m)的整数倍，本实施例采用邻近尺寸归整算子，即将原始图像的宽和高分别归整为与之最近的B_m整数倍。若图像的宽分别比最近的B_m整数倍少k1、多k3，图像的高分别比最近的B_m整数倍少k2、多k4，若(kl+k2)≥(k3+k4)，则宽和高同时向下归整，同时宽和高的最小值不小于B_m，反之，宽和高同时向上归整。然后本实施例采用双三次等插值方式对图像进行收缩处理，由此获得最终的下采样图像。若(W，H)表示原始图像X的(宽，高)，(W_d，H_d)表示下采样图像X_d的(宽，高)。下采样模块能够将原始图像X的尺寸从W·H像素缩减到W_d·H_d像素。对于一个给定的采样因子S，下采样可采用如下的平方根方式：

上式中，邻近尺寸归整算子[k]表示一个最接近k的数、且是最小编码边长B_m的整数倍，在归整时一幅图像的宽和高需要同时增加或减少。下采样也可采用如下的步长递减方式：

(W_d，H_d)＝([W-B_m×S]，[H-B_m×S]) (2)

图像压缩和无线传输消耗了传感器的大部分能量。编码功率在一段时间内是相对恒定的，编码能耗通过跟踪运行时间进行累计。由于比特率的增加需要消耗更多的能量，传输能耗与比特率之间往往呈现出一种线性相关性。以某一组S和Q作为控制参数，P(S，Q)表示场景归类精度，单位是百分比(％)；R(S，Q)表示平均每幅图像的比特率，单位是Kbps；C(S，Q)表示平均每幅图像的编码复杂度，单位是毫秒(ms)。编码能耗E_c与编码复杂度C(S，Q)呈现出线性相关性：

E_c＝p_c·C(S，Q) (3)

上式中，编码功率p_c是一个常量，单位是J/ms。传输能耗E_t与比特率R(S，Q)呈现出线性相关性：

E_t＝e_t·R(S，Q) (4)

上式中，传输功率e_t是一个常量，单位是J/Kbps。因此，传感器能耗E(S，Q)可以表示为编码能耗E_c与传输能耗E_t的和：

E(S，Q)＝E_c+E_t＝p_c·(C(S，Q)+λ·R(S，Q)) (5)

上式中，λ＝e_t/p_c是传输-编码能耗比，表示传输能耗与编码能耗的相对比值。基于S和Q两个控制参数，能耗-精度可控的目标是在一定的精度约束下最小化传感器能耗，由于p_c是个常量，传感器双参数分配的优化问题表示如下：

min C(S，Q)+λ·R(S，Q)

s.t.P(S，Q)≥P_t (6)

上式中，P_t表示场景归类的精度阈值。一般而言，更大的Q或S导致较低的编码复杂度、比特率和精度，提高精度需要增加传感器能耗。在能耗-精度可控系统中，训练模式通过执行所有可能的(S，Q)控制参数，能够统计不同控制参数对监控图像复杂度、比特率、精度的影响，然后建立精度参数优化模型，提供给工作模式。

下面的实施例采用了野生动物远程监测的图像数据库，图像尺寸为640×480，包括三种场景类型：动物、人、背景，每种类型大约有1/3的图像。服务器采用深度卷积神经网络(DCNN)进行场景归类，DCNN归类模型采用Caffe进行构造和训练，具有5个卷积层和3个全连接层。已标注的训练图像集含有1001幅图像，首先用于DCNN归类模型的训练，然后用于精度参数优化模型的构建；工作图像集含有2000幅图像，用于测试和验证工作模式。编码模块采用HM-16.7Main规格的HEVC帧内编码器，最小编码尺寸B_m等于8像素。S的候选值属于集合{1，2，3，...，49，50}，下采样采用平方根方式，并用双三次插值进行尺寸归整；Q的候选值属于集合{0，1，2，...，50，51}，因此本实施例总共有50×52种(S，Q)控制参数。传感器采用DELL Tower5810进行模拟，不失一般性，编码功率p_c设置为CPU的热设计功耗0.014J/ms。在各种测试条件下，传输-编码能耗比λ以0.02的步长从0.02变化到50，精度阈值总数N_p＝(99.6-43.6)/0.1＝560。

传感器首先编码训练图像集，执行各种(S，Q)控制参数，产生编码复杂度C(S，Q)、比特率R(S，Q)、场景归类精度P(S，Q)的分布空间。对于监控图像的复杂度特性而言，图3给出了平均每幅图像的C(S，Q)曲线，编码复杂度用平均运行时间表示，单位是毫秒(ms)，当Q或S值增加时，编码复杂度将降低。对于监控图像的比特率特性而言，图4给出了平均每幅图像的比特率R(S，Q)，这些曲线表明伴随着增加的S或Q，R(S，Q)大致呈现出一种以指数方式渐减的关系。对于监控图像的精度特性而言，图5给出了训练图像集的P(S，Q)曲线。从图中可以看到，如果固定S值，对于较小的Q值(从0到30)，压缩图像的质量是高的，精度并没有显著变化，维持一定的稳定性；当Q是更大的值(超过30)，精度以近似指数的方式下降。这表明如果图像质量已经在一定门限之上，传感器可能不需要更多的能量资源，因为即使更高的图像质量也不会提升DCNN归类性能。

为了解决传感器双参数分配的优化问题，本实施例通过将C(S，Q)、R(S，Q)、P(S，Q)数据输入到表达式(6)中，可以在一定的精度约束下通过穷举地搜索最小的传感器能耗来获得最优的(S，Q)分布。对于某一精度阈值，最优的S或Q值分布在一个小范围内。由于最优参数值的变化限定在一个小范围，这就可以针对各种测试条件从一系列平均S或Q值中推导一个解析函数。通过拟合最优S和Q值的平均分布，模型训练模块在精度阈值P_t与(S，Q)控制参数之间构建精度参数优化模型，该模型含有两个关系函数：Q(P_t)函数、S(P_t)函数。类似于MATLAB cftool方法论，模型训练模块尽可能地测试评估可能的函数形式，每一精度阈值P_t对应的最优S或Q平均值被用于曲线拟合过程。为了评估拟合性能，相关性系数(R-square)表示拟合的模型与实际数据方差匹配程度。例如，R-square＝1意味着拟合的模型完全体现了实际数据的所有方差。在最优S的平均值和精度阈值Pt之间，图6表明了能耗-精度优化的S(P_t)函数。在最优Q的平均值和P_t之间，图7表明了能耗-精度优化的Q(P_t)函数，图中一个小圆点表示最优S或Q的平均值。正如从图中曲线所示，下列拟合函数的R-square值是相对更高的。通过拟合最优S或Q值的平均分布，本发明构建了下列精度参数优化模型，包含S(P_t)函数和Q(P_t)函数。

上式中，S(P_t)的值属于集合{1，2，…，49，50}，Q(P_t)的值属于集合{24，25，...，50，51}。

针对工作图像集，本发明所提系统根据精度参数优化模型设定相应的(S，Q)控制参数，直接计算模型推导的传感器能耗。为了便于比较，传感器对工作图像集运行下采样模块和编码模块，并统计编码复杂度和比特率，服务器则统计归类精度P(S，Q)，实际最优的传感器能耗在P(S，Q)≥P_t约束下通过穷尽搜索获得。当传输-编码能耗比λ等于1时，图8在各种精度阈值下比较了实际最优的传感器能耗和模型推导的传感器能耗。从图8中可以看到，模型推导的传感器能耗较好地跟踪了实际最优的传感器能耗，因此，工作模式的传感器可根据精度阈值适时地减少其能耗。当λ等于其它值时，所提系统均能在精度约束下有效地调整传感器能耗。

以上所述，仅为本发明的较佳实施例，并非对本发明任何形式上和实质上的限制，应当指出，对于本技术领域的普通技术人员，在不脱离本发明方法的前提下，还将可以做出若干改进和补充，这些改进和补充也应视为本发明的保护范围。凡熟悉本专业的技术人员，在不脱离本发明的精神和范围的情况下，当可利用以上所揭示的技术内容而做出的些许更动、修饰与演变的等同变化，均为本发明的等效实施例；同时，凡依据本发明的实质技术对上述实施例所作的任何等同变化的更动、修饰与演变，均仍属于本发明的技术方案的范围内。

Claims (9)

1.一种能耗-精度可控的传感器双参数分配系统，其特征在于：包括通过传输信道连接的传感器和服务器；

传感器包括依次连接的摄像模块、控制模块、下采样模块、编码模块、传输模块，变化感应模块连接摄像模块和控制模块，控制模块连接编码模块，模型训练模块连接摄像模块、控制模块、下采样模块、编码模块、传输模块；

服务器包括互相连接的解码模块和归类模块，所述传输模块通过传输信道连接解码模块，归类模块连接所述模型训练模块；

系统以采样因子S和量化参数Q作为控制参数，实现在服务器的精度约束下最小化传感器的能耗；系统分为训练模式和工作模式：在训练模式下，模型训练模块通过训练图像集构建精度参数优化模型；在工作模式下，变化感应模块触发摄像模块拍摄一幅原始图像X，控制模块根据精度参数优化模型分配(S,Q)控制参数，根据一个给定的参数S，下采样模块将X调整为下采样图像X_d，接着，编码模块采用一个给定的参数Q对X_d进行压缩编码，传输模块封装压缩数据和辅助信息进入码流Y，然后将码流Y通过传输信道传输到远端的服务器；在服务器端，码流Y由解码模块生成恢复图像X'，然后由归类模块进行场景归类，其中：

所述精度参数优化模型的构建分为以下3个步骤：

步骤1：根据每一种(S,Q)控制参数，传感器对训练图像集的每幅训练图像逐一执行下采样模块和编码模块，生成传输码流；在对训练图像集测试完所有的(S,Q)控制参数之后，训练数据模块统计训练图像集平均每幅图像的编码复杂度C(S,Q)和比特率R(S,Q)；

步骤2：传输码流输入服务器的解码模块，服务器采用归类模块对各个解码图像执行场景归类，并将归类结果传回训练数据模块；对于每一种(S,Q)控制参数，训练数据模块统计训练图像集的归类精度P(S,Q)；

步骤3：对于允许的精度阈值P_t和传输-编码能耗比λ，系统在满足P(S,Q)≥P_t条件下最小化传感器能耗C(S,Q)+λ·R(S,Q)，在所有(S,Q)控制参数中寻找一组最优的(S,Q)控制参数；通过测试各种λ值，获取最优S值和最优Q值的平均值；在测试完每个P_t值之后，训练数据模块完成精度参数优化模型的两个拟合函数：S(P_t)和Q(P_t)；

通过拟合最优S和Q值的平均分布，模型训练模块在精度阈值P_t与(S,Q)控制参数之间构建精度参数优化模型，该模型含有两个关系函数：Q(P_t)函数、S(P_t)函数。

2.如权利要求1所述的一种能耗-精度可控的传感器双参数分配系统，其特征在于：在训练模式下，模型训练模块存储的训练图像集首先用于建立归类模块所用的归类模型，然后用于构建控制模块所用的精度参数优化模型。

3.如权利要求1所述的一种能耗-精度可控的传感器双参数分配系统，其特征在于：在工作模式下，传感器根据精度参数优化模型为工作图像集设置(S,Q)控制参数，在给定的精度约束下可控地减少传感器能耗。

4.如权利要求1所述的一种能耗-精度可控的传感器双参数分配系统，其特征在于：所述量化参数Q是编码模块的一种通用参数，表示量化步长的序号。

5.如权利要求1所述的一种能耗-精度可控的传感器双参数分配系统，其特征在于：所述下采样模块采用双三次插值方式调整图像大小；

设(W,H)和(W_d,H_d)分别代表原始图像和下采样图像的(宽,高)，采样因子S用于执行以下两种下采样方式之一：

1)平方根方式：

[k]表示对k执行邻近尺寸归整算子；在平方根方式的下采样中，邻近尺寸归整算子[k]表示一个最接近k的整数、且是编码模块所允许的最小编码边长B_m的整数倍；

2)步长递减方式：(W_d,H_d)＝([W-B_m×S],[H-B_m×S])，B_m代表编码模块所允许的最小编码边长。

6.如权利要求1所述的一种能耗-精度可控的传感器双参数分配系统，其特征在于：所述训练图像集为由摄像模块采集并标注的场景图像，或是涵盖监控内容的已标注图像数据库。

7.如权利要求2所述的一种能耗-精度可控的传感器双参数分配系统，其特征在于：所述归类模型通过任一种图像分类与识别方法建立。

8.如权利要求1所述的一种能耗-精度可控的传感器双参数分配系统，其特征在于：所述传输-编码能耗比λ和精度阈值P_t在可能的取值范围内按一定步长变化，精度阈值总数N_p＝(最大精度-最小精度)/精度步长。

9.如权利要求1所述的一种能耗-精度可控的传感器双参数分配系统，其特征在于：所述训练图像集和工作图像集具有一致的统计特性，传感器在工作模式时根据给定的精度阈值P_t，利用精度参数优化模型为摄像模块获取的场景图像设置合适的(S,Q)控制参数；当传感器的监控内容发生显著改变时，系统再次执行训练模式，进行系统的更新。

Images