CN110557633A - 图像数据的压缩传输方法、系统和计算机可读存储介质 - Google Patents

Abstract

本发明公开图像数据的压缩传输方法、系统及计算机可读存储介质，其中图像数据的压缩传输方法包括：模拟云端服务器的深度学习模型，设计本地的自适应评估网络；使用自适应评估网络识别图像数据，选择与图像数据对应的编码器控制策略，估计云端服务器对图像数据的置信度；根据置信度对应的最低允许码率，控制图像编码器对图像数据进行压缩，得到压缩后的图像数据，其中若置信度越高，则最低允许码率越小；按最低允许码率上传压缩后的图像数据至云端服务器。本发明的技术方案能解决现有技术中图像易被压缩过度而图像失真，使云端服务器对图像的还原程度较低的问题，并保证云端服务器对压缩的图像数据具有较高模型识别度的前提下，减小对带宽的占用。

Description

图像数据的压缩传输方法、系统和计算机可读存储介质

技术领域

本发明涉及图像处理技术领域，尤其涉及一种图像数据的压缩传输方法、系统和计算机可读存储介质。

背景技术

随着智慧城市、平安城市及天网系统等监控工程的深入发展，监控摄像头早已遍布大街小巷。这些监控摄像头无时无刻不在收集图像数据，图像数据正在成指数增长，我们已处于海量图像时代。

参见图1，在图1所示的应用场景中，监控摄像头1收集到的图像数据通常需要通过无线或者有线网络2传输到云端服务器3，以使云端服务器3分析处理，例如：云端服务器3利用深度学习技术对图像数据进行特征抓取、图像分类和目标识别等。在具体实施上，在交通监控系统中云端服务器利用深度学习技术从图片或视频中检测违章车辆。

虽然监控摄像头所收集到的图像数据是经过压缩处理的，但是监控摄像头无时无刻不在收集图像数据，导致所产生的数据量仍然十分巨大。然而网络传输的带宽往往有限，所有的图像数据不经额外处理，就传输到云端服务器是不切实际的。解决这个问题的根本途径是减少图像数据的传输量，也就是说，在数据传输前对图像数据进一步压缩处理。

但是图像若被压缩过度会导致图像严重失真，进而云端服务器对图像数据的还原程度较低，然而图像若被压缩量过低，则占用带宽过大，影响云端服务器深度学习的分析效果。

发明内容

本发明提供一种图像的压缩传输方法、系统和计算机可读存储介质，旨在解决现有技术中图像传输前易被过度压缩导致图像严重失真，云端服务器对图像数据的还原度较低；而图像若压缩量过低，则占用带宽过大的问题。

为实现上述目的，根据本发明的第一方面，本发明提出了一种图像数据的压缩传输方法，包括：

模拟云端服务器的深度学习模型，设计本地的自适应评估网络；

使用自适应评估网络识别图像数据，选择与图像数据对应的编码器控制策略，估计得到云端服务器对图像数据的置信度，其中，置信度反映云端服务器的深度学习模型识别图像数据的准确程度；

根据置信度对应的最低允许码率，控制图像编码器对图像数据进行编码压缩，得到压缩后的图像数据，其中，若置信度越高，则最低允许码率越小；

按照最低允许码率，上传压缩后的图像数据至云端服务器。

优选地，上述图像数据的压缩传输方法，使用自适应评估网络识别图像数据，选择与图像数据对应的编码器控制策略，估计得到云端服务器对图像数据的置信度的步骤，包括：

使用经验值初始化编码器控制策略；

使用自适应评估网络，根据初始化的编码器控制策略，生成自适应评估网络对当前图像数据的系统状态，其中，系统状态包括置信度及最低允许码率；

提取系统状态包含的置信度，作为云端服务器对当前图像数据的置信度；

或者，

获取自适应评估网络对上一图像数据的编码器控制策略；

获取自适应评估网络对上一图像数据的系统状态；

根据自适应评估网络对上一图像数据的编码器控制策略和系统状态，利用前后图像数据的相关性，计算得到自适应评估网络对当前图像数据的系统状态；

提取自适应评估网络对当前图像数据的系统状态中的置信度，作为估计得到的云端服务器对图像数据的置信度。

优选地，上述图像数据的压缩传输方法，在估计得到云端服务器对图像数据的置信度的步骤之后，方法还包括：

根据置信度及置信度对应的最低允许码率，计算自适应评估网络对图像数据的瞬时效用函数；

根据每个瞬时效用函数对应的权重控制因子，计算自适应评估网络对图像数据的过程效用函数；

使用过程效用函数优化自适应评估网络，以使自适应评估网络后续估计得到的置信度逼近云端服务器对图像数据的真实置信度。

优选地，上述图像数据的压缩传输方法，使用过程效用函数优化自适应评估网络的步骤，包括：

获取自适应评估网络对当前图像数据的系统状态；

根据自适应评估网络对当前图像数据的系统状态，生成使过程效用函数值最小的编码器控制策略，作为自适应评估网络对下一图像数据的编码器控制策略。

优选地，上述图像数据的压缩传输方法，使用过程效用函数优化自适应评估网络的步骤，包括：

获取自适应评估网络对下一图像数据的系统状态；

根据自适应评估网络对下一图像数据的编码器控制策略和系统状态，计算自适应评估网络对下一图像数据的过程效用函数；

使用过程效用函数，更新自适应评估网络自身参数。

根据本发明的第二方面，本发明还提出了一种图像数据的压缩传输系统，包括：

神经网络设计模块，用于模拟云端服务器的深度学习模型，设计本地的自适应评估网络；

置信度估计模块，用于使用自适应评估网络识别图像数据，选择与图像数据对应的编码器控制策略，估计得到云端服务器对图像数据的置信度，其中，置信度反映云端服务器的深度学习模型识别图像数据的准确程度；

图像数据压缩模块，用于根据置信度对应的最低允许码率，控制图像编码器对图像数据进行编码压缩，得到压缩后的图像数据，其中，若置信度越高，则最低允许码率越小；

图像数据传输模块，用于按照最低允许码率，上传压缩后的图像数据至云端服务器。

优选地，上述置信度估计模块，包括：

控制策略初始化子模块，用于使用经验值初始化编码器控制策略；

系统状态生成子模块，用于使用自适应评估网络，根据初始化的编码器控制策略，生成自适应评估网络对当前图像数据的系统状态，其中，系统状态包括置信度及最低允许码率；

第一置信度提取子模块，用于提取系统状态包含的置信度，作为云端服务器对当前图像数据的置信度；

以及，

控制策略获取子模块，用于获取自适应评估网络对上一图像数据的编码器控制策略；

第一系统状态获取子模块，用于获取自适应评估网络对上一图像数据的系统状态；

系统状态计算子模块，用于根据自适应评估网络对上一图像数据的编码器控制策略和系统状态，利用前后图像数据的相关性，计算得到自适应评估网络对当前图像数据的系统状态；

第二置信度提取子模块，用于提取自适应评估网络对当前图像数据的系统状态中的置信度，作为估计得到的云端服务器对图像数据的置信度。

优选地，上述图像数据的压缩传输系统还包括：

瞬时效用函数计算模块，用于根据置信度及置信度对应的最低允许码率，计算自适应评估网络对图像数据的瞬时效用函数；

过程效用函数计算模块，用于根据每个瞬时效用函数对应的权重控制因子，计算自适应评估网络对图像数据的过程效用函数；

神经网络优化模块，用于使用过程效用函数优化自适应评估网络，以使自适应评估网络后续估计得到的置信度逼近云端服务器对图像数据的真实置信度。

优选地，上述神经网络优化模块包括：

第二系统状态获取子模块，用于获取自适应评估网络对当前图像数据的系统状态；

控制策略生成子模块，用于根据自适应评估网络对当前图像数据的系统状态，生成使过程效用函数值最小的编码器控制策略，作为自适应评估网络对下一图像数据的编码器控制策略；

以及，

第三系统状态获取子模块，用于获取自适应评估网络对下一图像数据的系统状态；

过程效用函数生成子模块，用于根据自适应评估网络对下一图像数据的编码器控制策略和系统状态，生成自适应评估网络对下一图像数据的过程效用函数；

神经网络更新子模块，用于使用过程效用函数，更新自适应评估网络自身参数。

根据本发明的第三方面，还提供了一种计算机可读存储介质，计算机可读存储介质上存储有图像数据的压缩传输的程序，图像数据的压缩传输的程序被处理器执行时实现上述任一项技术方案中的图像数据的压缩传输的步骤。

本申请提出的技术方案，通过模拟云端服务器的深度学习模型，设计本地的自适应评估网络；然后使用自适应评估网络识别图像数据，选择与图像数据对应的编码器控制策略，估计得到云端服务器对图像数据的置信度，其中，置信度反映云端服务器的深度学习模型识别图像数据的准确程度；然后根据所述置信度对应的最低允许码率，控制图像编码器对图像数据进行编码压缩，得到压缩后的图像数据，其中，若置信度越高，则所述最低允许码率越小；最后按照所述最低允许码率，上传所述压缩后的图像数据至云端服务器。

本申请提出的技术方案，通过估计云端服务器对图像数据的置信度，然后根据该置信度对应的最低允许码率压缩和传输图像数据至云端服务器；其中，该置信度反映云端服务器的深度学习模型识别图像数据的准确程度。因此，本地自适应评估网络能够根据云端服务器的深度学习模型识别图像数据的准确程度，将图像压缩至置信度允许的最低允许码率，然后上传至云端服务器，能够避免图像被过度压缩导致的图像严重失真的情况，使得云端服务器能够对压缩后的图像数据有较高的还原度，从而解决了现有技术中存在的图像若被压缩过度，导致图像严重失真，进而云端服务器对图像数据的还原程度较低，影响云端服务器深度学习的分析效果的问题。同样，根据置信度对应的最低允许码率上传图像数据，能够保证云端服务器对压缩的图像数据具有较高模型识别度度的情况下，减小对带宽的占用。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。

图1是本发明实施例提供的一种应用场景示意图；

图2是本发明实施例提供的一种硬件运行环境的装置结构示意图；

图3是本发明实施例提供的一种图像数据的压缩传输方法的流程示意图；

图4是本发明实施例提供的一种置信度的估计流程示意图；

图5是本发明实施例提供的一种自适应评估网络的处理流程示意图；

图6是图3所示实施例提供的一种置信度的估计方法的流程示意图；

图7是本发明实施例提供的一种过程效用函数计算方法的流程示意图；

图8是图7所示实施例提供的一种编码器控制策略生成方法的流程示意图；

图9是图7所示实施例提供的一种自适应评估网络的优化方法的流程示意图；

图10是本发明实施例提供的第一种图像数据的压缩传输系统的结构示意图；

图11是图10所示实施例提供的第一种置信度估计模块的结构示意图；

图12是图10所示实施例提供的第二种置信度估计模块的结构示意图；

图13是本发明实施例提供的第二种图像数据的压缩传输系统的结构示意图；

图14是图13所示实施例提供的一种神经网络优化模块的结构示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

监控摄像头收集到的图像数据正在成指数增长，占用带宽巨大，然而在数据传输前对图像数据进行压缩，则容易被压缩过度，导致图像严重失真，进而导致云端服务器对图像数据的还原程度过低，影响云端服务器深度学习的分析效果。

因此本发明的技术方案需要解决的技术问题是如何在云端服务器基于深度学习技术的图像分析应用中，如何把待分析的海量图像快速有效地通过网络传输至云端服务器。

为了解决该问题，本发明实施例的基本的思想是在图像传输前，对图像进行进一步的压缩，而压缩的程度随着图像内容识别的“难易”程度动态可调。

因此，本发明的技术方案将预测当前图像数据被云端服务器的深度学习模型分析后的置信度；若置信度高，则可以增加本地对图像数据的压缩程度；若置信度低，则减少对图像数据的压缩程度，甚至不压缩而传送原图。本发明的核心思想是把前端压缩-云端识别的整个系统的联合资源控制和性能优化问题当成一个过程控制和动态优化的问题，利用云端深度学习模型引导下的自适应评估网络(Adaptive Critical Networks)动态控制来解决。从而能够根据云端服务器的深度学习模型识别图像数据的准确程度，选择对应的最低允许码率上传至云端服务器。避免图像被过度压缩导致图像严重失真，也减少图像数据上传时占用的带宽，使得云端服务器对压缩后的图像数据仍有较高的还原度。

具体如图2所示，图2是本发明实施例提供一种的硬件运行环境的装置结构示意图。

本发明实施例装置为智能图像压缩传输装置，具体如本地服务器，或本地监控设备中的嵌入式控制装置或可编程控制器PLC等；其通过网络与云端服务器通信。

如图2所示，该装置能够包括处理器1001，例如CPU，通信总线1002、通信模块1003以及存储器1004。其中，通信总线1002用于实现这些组件之间的连接通信。网络接口1003可选的为无线接口(如WI-FI接口)、蓝牙接口以及ZIGBEE等无线网络接口。存储器1004可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1004可选的还可以是独立于前述处理器1001的存储装置。

本领域技术人员可以理解，图2中示出的装置结构并不构成对装置的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图2所示，作为一种计算机存储介质的存储器1004中可以包括图像数据的压缩传输程序。在图2所示的装置中，处理器1001可以用于调用存储器1004中图像数据的压缩传输程序，并执行以下图像数据的压缩传输方法的各个实施例中的操作。

为实现上述硬件的目的，请参见图3，图3为本发明实施例提供的一种图像数据的压缩传输方法的流程示意图，如图3所示，该图像数据的压缩传输方法包括以下步骤：

S110：模拟云端服务器的深度学习模型，设计本地的自适应评估网络。

本地的自适应评估网络(Adaptive Critical Networks，简称ACN)，是模拟云端服务器的深度学习模型而设计的，因此能够准确估计云端服务器的深度学习模型识别图像数据的准确程度，从而为后续对图像数据的压缩提供依据。

S120：使用自适应评估网络识别图像数据，选择与图像数据对应的编码器控制策略，估计得到云端服务器对图像数据的置信度。

其中，置信度反映云端服务器的深度学习模型识别图像数据的准确程度。

选择编码器控制策略，即选择编码器的参数，该编码器的参数为决定图像数据的占用空间大小和清晰度的参数，如量化步长和下采样比例等参数。

在基于深度学习的云端图像分析技术中，为减少需要传输的图像数据量，通常输入的图像X需要经过图像编码器进行压缩，压缩后成为图像数据X’，然后将图像数据X’对应码流经过网络传输至云端服务器。云端服务器的接收解码器对接收到的码流进行解码，重建X’，然后输入到深度学习模型进行分析识别。因此本地的图像编码器对图像数据的压缩程度直接影响深度学习模型对图像数据的分析识别的准确程度，即直接影响云端服务器对图像数据的置信度。

另外，由于本地的自适应评估网络是模拟云端服务器的深度学习模型得到的，所以本地的自适应评估网络能够模拟深度学习模型对图像数据的分析识别过程，因此使用自适应评估网络识别图像数据，然后选择与图像数据对应的编码器控制器策略，能够准确估计得到云端服务器对图像数据的置信度。

上述选择与图像数据对应的编码器控制策略，估计得到云端服务器对图像数据的置信度的具体流程可参见图4。在图4中，本地的自适应评估网络，选择与图像数据对应的编码器控制策略Γ_n，对相应第n帧或第n时刻的图像数据进行处理，得到系统状态函数，该系统状态函数包括上述估计得到云端服务器对图像数据的置信度P(n)，以及置信度P(n)对应的最低允许码率R(n)，其中n为帧数或时间，上述图像数据也包括n帧图像，或同一帧图像中n个时刻共同处理的图像单元。

由图4可知，该自适应评估网络输入的图像数据为图像序列{F_n}，对于图像序列中的每个图像，选择编码器控制策略序列为{A(1),A(2),……A(n)}＝{Γ₁,Γ₂,……Γ_n}，以控制图像编码器的参数对图像数据进行处理；其中，A(n)和Γ_n均为第n帧图像或第n时刻用于处理图像的编码器控制策略。图像编码后的最低允许码率序列为{R(1)，R(2)，……R(n)}；其中，R(n)为第n帧图像或第n时刻图像编码的最低允许码率。评估得到的图像的置信度序列为{P(1)，P(2)，……P(n)}；其中，P(n)为处理第n帧图像或第n时刻图像的置信度。显然，本地自适应评估网络对图像序列的平均置信度是关于编码器控制策略序列的函数其中，n为时间或帧数，L为编码器参数的数量。由上述内容可知，当选择与图像数据对应的编码器控制策略后，自适应评估网络能够根据该编码器控制策略，估计得到云端服务器对图像数据的置信度。

为了得到与图像数据对应的编码器控制策略，以及估计得到准确的置信度，模拟云端服务器的深度学习模型设计的本地的自适应评估网络如图5所示。该自适应评估网络包括三个神经网络，分别为执行网络、模型网络和评价网络。

在该自适应评估网络中，将前端包括自适应评估网络的压缩系统与云端服务器中包括有深度学习模型的AI识别系统结合起来看做一个系统，即图5中的前端压缩与云端AI识别系统，图中的模块D为延时模块。其中，该系统输出的系统状态为真实的系统状态，而模型网络得到的系统状态X(n+1)为模型网络估计得到的系统状态。通过获取真实系统状态，不断更新自身神经网络，能够提高对置信度的估计准确率。

其中，执行网络，用于根据当前图像数据的系统状态X(n)决定自适应评估网络下一步的编码器控制策略A(n+1)；其中，系统状态X(n)＝[P(n)R(n)]。

模型网络，包括深度学习模型和置信度预测模型两部分；用于模拟云端服务器中深度学习模型的行为，通过给定控制参数和当前的系统状态，利用前后图像数据的相关性，预测最低允许码率和云端服务器识别该图像数据的置信度。具体地，该模型网络的输入是当前图像的系统状态X(n)和控制策略A(n)，通过模型网络自身的深度学习模型提取当前图像的特征，输出为下一个系统状态X(n+1)。

另外，在自适应评估网络识别图像数据，估计得到云端服务器对图像数据的置信度之前，需要预先得到编码器控制策略，根据该编码器控制策略才能够估计得到图像数据的置信度。其中，对于输入的第一帧或第一时刻的图像数据进行置信度估计的方法，与后续图像数据估计置信度的方法不同。

在使用自适应评估网络识别图像数据，选择与图像数据对应的编码器控制策略，估计得到云端服务器对图像数据的置信度的步骤中，对前一帧或前△帧图像，或者对于前一时间或前△时间的图像，其图像数据的压缩传输方法包括以下步骤：

步骤1：使用经验值初始化编码器控制策略。

针对前一帧或前△帧图像，或者，针对前一时间或前△时间得到的图像，需要根据经验值初始化该编码器控制策略，从而训练自适应评估网络，使得自适应评估网络能够根据该初始化的编码器控制策略得到大体准确的置信度。

步骤2：使用自适应评估网络，根据初始化的编码器控制策略，生成自适应评估网络对当前图像数据的系统状态，其中，系统状态包括置信度及最低允许码率。

结合图5所示的自适应评估网络的处理流程，在初始化编码器控制策略的阶段，需要随机初始化自适应评估网络的三个神经网络。具体地，使用经验值设置编码器参数，然后发送前△张图像数据，记录自适应评估网络根据该通过经验值设置的编码器参数得到的系统状态X(n)＝[P(n)R(n)]，其中P(n)为置信度，R(n)为最低允许码率，1≤n≤△。

步骤3：提取系统状态包含的置信度，作为云端服务器对当前图像数据的置信度。

系统状态X(n)＝[P(n)R(n)]，其中P(n)为置信度，R(n)为最低允许码率；通过将该估计得到的置信度作为云端服务器对当前图像数据的置信度，能够大体准确地评估云端服务器识别图像数据的准确程度，从而根据该置信度对应的最低允许码率对图像数据进行压缩和传输，进而能够减少因图像压缩过度导致的云端服务器对图像数据分辨不清，或者因图像压缩程度过小而导致图像数据过度占用传输带宽的情况。

然而，在自适应评估网络得到前一帧图像或前△帧图像后，自适应评估网络能够确定前一图像数据的编码器控制策略，然后根据该前一图像的编码器控制策略和系统状态，以及图像数据的相关性，能够得到对后一图像数据的系统状态，进而根据该系统状态估计得到云端服务器对该图像数据的置信度。具体步骤参见图6，图6为图3所示实施例提供的一种置信度的估计方法的流程示意图，如图6所示，该置信度的估计方法包括以下步骤：

S121：获取自适应评估网络对上一图像数据的编码器控制策略。

结合图5所示的自适应评估网络，自适应评估网络中的执行网络能够根据当前图像数据的系统状态X(n)决定对下一图像数据的控制策略A(n+1)，即选择对下一图像数据的图像编码器的参数，例如量化步长和下采样比例等；相应地，对于上一图像数据的编码器控制策略A(n-1)，执行网络也能够根据之前图像数据的系统状态X(n-2)得到。当然上一图像数据无法根据之前的系统状态得到编码器控制策略时，例如上一图像数据为第一帧图像数据，也能够根据经验值初始化上一图像数据的编码器控制策略。

S122：获取自适应评估网络对上一图像数据的系统状态。

系统状态X(n)＝[P(n)R(n)]，包括估计的图像数据的置信度P(n)和图像数据的最低允许码率R(n)，在得到上一图像数据的系统状态后，自适应评估网络能够根据该系统状态，利用图像数据的相关性，能够推算下一图像数据的系统状态。其中，上一图像数据的系统状态能够由模型网络根据经验值设定的编码器参数估计得到，也能够根据前后图像数据的相关性计算得到。

S123：根据自适应评估网络对上一图像数据的编码器控制策略和系统状态，利用前后图像数据的相关性，计算得到自适应评估网络对当前图像数据的系统状态。

其中，由于前后图像数据能够为前后帧图像数据，也能够为前后时刻处理的同一图像中的不同图像单元；因此，前后图像数据的相关性不光包括前后帧图像的相关性，也能够包括自适应评估网络对同一图像中前后处理时刻的图形单元的相关性。从而使得该自适应评估网络能够处理视频，也能够处理单一图像。

模型网络能够根据当前图像数据的系统状态X(n)和当前图像数据的编码器控制策略A(n)，并利用前后图像数据的相关性，得到对下一图像数据的系统状态X(n+1)。同样，自适应评估网络对当前图像数据的系统状态X(n)，能够根据模型网络对上一图像数据的系统状态X(n-1)和编码器控制策略A(n-1)，并利用前后图像数据的相关性得到。

S124：提取自适应评估网络对当前图像数据的系统状态中的置信度，作为估计得到的云端服务器对图像数据的置信度。

由于系统状态X(n)＝[P(n)R(n)]，因此当获知自适应评估网络对第n帧图像数据的系统状态X(n)，或处理第n时刻图像数据的系统状态X(n)后，即能够得到自适应评估网络对当前图像数据的置信度P(n)。

本申请实施例提供的技术方案中，通过根据经验值设置编码器控制策略，然后利用该编码器控制策略得到自适应评估网络对当前图像数据的系统状态；或者利用前后图像数据的相关性，使用上一图像数据的编码器控制策略和系统状态，能够得到自适应评估网络对当前图像数据的系统状态，进而利用该系统状态，能够准确估计得到云端服务器对图像数据的置信度，从而利用该置信度适当压缩和传输图像数据。

S130：根据置信度对应的最低允许码率，控制图像编码器对图像数据进行编码压缩，得到压缩后的图像数据。

其中，置信度越高，则最低允许码率越小。最低允许码率为云端服务器能够准确和清晰还原当前置信度下的图像数据所需的最低码率。由于自适应评估网络对图像数据的系统状态X(n)＝[P(n)R(n)]，在得到系统状态X(n)后，即可得到置信度对应的最低允许码率R(n)。

通过使用该最低允许码率控制图像编码器对图像数据进行压缩编码，能够在保证云端服务器准确识别和还原该图像数据的情况下，最大限度地压缩该图像数据，从而减少图像数据对带宽的过度占用。

S140：按照最低允许码率，上传压缩后的图像数据至云端服务器。

码率是单位像素编码所需的编码长度，也是单位时间传输的数据量。码率＝文件大小*8/时间；因此码率越小，文件占用空间越小，上传图像数据所占用的带宽也越小。并且，由于该最低允许码率与置信度相对应，即云端服务器能够准确和清晰还原当前置信度下的图像数据所需的最低码率；因此按照该最低允许码率上传图像数据，能够保证云端服务器准确识别和还原该图像数据的情况下，最大程度地减少对带宽的占用，保证图像数据的上传速率。

本申请实施例提供的图像数据的压缩传输方法，通过估计云端服务器对图像数据的置信度，然后根据该置信度对应的最低允许码率能够压缩和传输图像数据至云端服务器；其中，该置信度反映云端服务器的深度学习模型识别图像数据的准确程度。因此，本地自适应评估网络能够根据云端服务器的深度学习模型识别图像数据的置信度，将图像压缩至置信度允许的最低允许码率，然后上传至云端服务器，从而能够减少图像因过度压缩导致的图像严重失真的情况，使得云端服务器能够对压缩后的图像数据有较高的还原度，并且在保证有较高还原度的基础上减少对网络带宽的占用；进而解决了现有技术中存在的图像若被压缩过度，导致图像严重失真，进而云端服务器对图像数据的还原程度较低，影响云端服务器深度学习的分析效果的问题。同样本申请实施例提供的图像数据的压缩传输方法，根据置信度对应的最低允许码率上传图像数据，能够保证云端服务器对压缩的图像数据具有较高模型识别度的情况下，减小对带宽的占用。

另外，在得到该置信度后，需要根据该置信度和云端服务器处理图像数据的真实置信度，优化自适应评估网络自身参数，以使得本地自适应评估网络得到的置信度更加准确。

具体的优化方法如图7所示，图7所示的过程效用函数计算方法，在上述估计得到云端服务器对图像数据的置信度的步骤之后，还包括以下步骤：

S210：根据置信度及置信度对应的最低允许码率，计算自适应评估网络对图像数据的瞬时效用函数。

瞬时效用函数：U(n)＝R(n)+φ(P(n)-P₀)；其中，U(n)代表瞬时的效用或奖励，φ(·)为惩罚函数，当前置信度P(n)若低于云端服务器的深度学习模型所要求的置信度P₀，则惩罚函数φ(·)取值越大，从而确保优化的置信度高于云端服务器所要求的置信度；其中，n为时间或帧数。

S220：根据每个瞬时效用函数对应的权重控制因子，计算自适应评估网络对图像数据的过程效用函数。

其中，过程效用函数：其中，J(n)为过程效用函数，γ为权重控制因子，k为时间，n为时间或帧数。对于每一帧图像，或者每一时刻处理的图像单元，其瞬时效用函数对应的权重控制因子的比重是不同的，因此在得到瞬时效用函数后，需要根据该瞬时效用函数对应的权重控制因子，计算自适应评估网络对图像数据的过程效用函数，优化自适应评估网络自身的参数。

S230：使用过程效用函数优化自适应评估网络，以使自适应评估网络后续估计得到的置信度逼近云端服务器对图像数据的真实置信度。

具体的优化方法为：自适应评估网络不断调整自身参数，以最小化该过程效用函数，从而使得自适应评估网络估计的置信度不断接近真实的置信度。

本发明实施例提供的技术方案，通过使用该自适应评估网络对图像数据的过程效用函数，优化自适应评估网络自身参数，能够使得自适应评估网络得到的置信度不断接近云端服务器对图像数据的真实置信度，进而在自适应评估网络后续处理图像数据时，评估得到更准确的置信度和最低允许码率，提高云端服务器对压缩后图像数据的还原度，并减小对网络带宽的占用。

其中，图7所示实施例中，使用过程效用函数优化自适应评估网络，首先要使用该过程效用函数控制自适应评估网络得到精确程度更高的置信度，而置信度与编码器控制策略有关，这就需要生成编码器控制策略，因此上述使用过程效用函数优化自适应评估网络方法中的编码器控制策略生成方法具体参见图8，图8实施例提供的编码器控制策略生成方法中，具体使用过程效用函数优化自适应评估网络的步骤，包括：

S310：获取自适应评估网络对当前图像数据的系统状态。

自适应评估网络对当前图像数据的系统状态X(n)＝[P(n)R(n)]，即当前图像数据的系统状态包括当前图像数据的置信度P(n)和最低允许码率R(n)。而过程效用函数根据置信度P(n)和最低允许码率R(n)得到，则通过该系统状态，能够获得并优化过程效用函数的值。

S320：根据自适应评估网络对当前图像数据的系统状态，生成使过程效用函数值最小的编码器控制策略，作为自适应评估网络对下一图像数据的编码器控制策略。

结合图5所示的自适应评估网络的处理流程，自适应评估网络中的执行网络能够根据当前图像数据的系统状态X(n)得到对下一图像数据的编码器控制策略A(n+1)，其中，该编码器控制策略为图像编码器的参数，包括量化步长和下采样比例等参数。而由上述内容可知，置信度是关于编码器控制策略的函数，即置信度是自适应评估网络根据编码器控制策略得到的，并且由于过程效用函数的值越小，置信度越准确，越高于系统要求，因此通过系统状态生成能够使过程效用函数值最小的编码器控制策略，即能够得到准确的置信度，进而使得云端服务器能够更加准确地还原图像数据。该生成使过程效用函数值最小的编码器控制策略的方法，也是执行网络优化自身参数的过程。

其中，在得到上述编码器控制策略后，还需要进一步优化自适应评估网络，具体的使用过程效用函数优化自适应评估网络的方法具体参见图9。如图9所示，该使用过程效用函数优化自适应评估网络的方法，包括：

S410：获取自适应评估网络对下一图像数据的系统状态。

S420：根据自适应评估网络对下一图像数据的编码器控制策略和系统状态，计算自适应评估网络对下一图像数据的过程效用函数。

结合图5所示的自适应评估网络，自适应评估网络对下一图像数据的编码器控制策略由执行网络根据当前图像数据的系统状态得到，并且自适应评估网络对下一图像数据的过程效用函数，是由模型网络根据对下一图像数据的系统状态及执行网络得到的编码器控制策略进行评估得到的。

S430：使用过程效用函数，更新自适应评估网络自身参数。

具体的，根据自适应动态规划理论的要求，使用该过程效用函数J(n+1)更新自适应评估网络自身配置的各种参数，以使得函数|J(n)-U(n)-γJ(k+1)|²最小。

本发明实施例提供的技术方案，根据自适应评估网络对下一图像数据的系统状态和编码器控制策略，计算自适应评估网络对下一图像数据的过程效用函数，然后使用该过程效用函数，更新自适应评估网络自身参数，从而使得自适应评估网络后续评估得到的置信度更加接近云端服务器的深度学习模型给出的真实置信度。

基于上述方法实施例的同一构思，本发明实施例还提出了图像数据的压缩传输系统，用于实现本发明的上述方法，由于该系统实施例解决问题的原理与方法相似，因此至少具有上述实施例的技术方案所带来的所有有益效果，在此不再一一赘述。

请参见图10，图10为本发明实施例提供的第一种图像数据的压缩传输系统的结构示意图，如图10所示，该图像数据的压缩传输系统包括：

神经网络设计模块101，用于模拟云端服务器的深度学习模型，设计本地的自适应评估网络。

置信度估计模块102，用于使用自适应评估网络识别图像数据，选择与图像数据对应的编码器控制策略，估计得到云端服务器对图像数据的置信度，其中，置信度反映云端服务器的深度学习模型识别图像数据的准确程度。

图像数据压缩模块103，用于根据置信度对应的最低允许码率，控制图像编码器对图像数据进行编码压缩，得到压缩后的图像数据，其中，若置信度越高，则最低允许码率越小。

图像数据传输模块104，用于按照最低允许码率，上传压缩后的图像数据至云端服务器。

本申请实施例提供的图像数据的压缩传输系统，通过神经网络设计模块101模拟云端服务器的深度学习模型，设计本地自适应评估网络；并通过置信度估计模块102根据上述自适应评估网络和编码器控制策略，估计云端服务器对图像数据的置信度；然后使用图像数据压缩模块103和图像数据传输模块104，根据该置信度对应的最低允许码率压缩和传输图像数据至云端服务器；其中，该置信度反映云端服务器的深度学习模型识别图像数据的准确程度。因此，本地自适应评估网络能够根据云端服务器的深度学习模型识别图像数据的准确程度，将图像压缩至置信度允许的最低允许码率，然后上传至云端服务器，能够避免图像被过度压缩导致的图像严重失真的情况，使得云端服务器能够对压缩后的图像数据有较高的还原度，同时减小占用的带宽，从而解决了现有技术中存在的图像被压缩过度导致图像严重失真，进而导致云端服务器对图像数据的还原程度较低，影响云端服务器深度学习的分析效果的问题。

其中，如图11所示，图10所示的图像数据的压缩传输系统中，置信度估计模块102，包括：

控制策略初始化子模块1021，用于使用经验值初始化编码器控制策略。

系统状态生成子模块1022，用于使用自适应评估网络，根据初始化的编码器控制策略，生成自适应评估网络对当前图像数据的系统状态，其中，系统状态包括置信度及最低允许码率。

第一置信度提取子模块1023，用于提取系统状态包含的置信度，作为云端服务器对当前图像数据的置信度。

或者，如图12所示，该置信度估计模块102，包括：

控制策略获取子模块1024，用于获取自适应评估网络对上一图像数据的编码器控制策略。

第一系统状态获取子模块1025，用于获取自适应评估网络对上一图像数据的系统状态。

系统状态计算子模块1026，用于根据自适应评估网络对上一图像数据的编码器控制策略和系统状态，利用前后图像数据的相关性，计算得到自适应评估网络对当前图像数据的系统状态。

第二置信度提取子模块1027，用于提取自适应评估网络对当前图像数据的系统状态中的置信度，作为估计得到的云端服务器对图像数据的置信度。

如图13所示，图13所示的图像数据的压缩传输系统，除了图10所示的各模块外，还包括：

瞬时效用函数计算模块105，用于根据置信度及置信度对应的最低允许码率，计算自适应评估网络对图像数据的瞬时效用函数。

过程效用函数计算模块106，用于根据每个瞬时效用函数对应的权重控制因子，计算自适应评估网络对图像数据的过程效用函数。

神经网络优化模块107，用于使用过程效用函数优化自适应评估网络，以使自适应评估网络后续估计得到的置信度逼近云端服务器对图像数据的真实置信度。

另外，如图14所示，该神经网络优化模块107包括：

第二系统状态获取子模块1071，用于获取自适应评估网络对当前图像数据的系统状态。

控制策略生成子模块1072，用于根据自适应评估网络对当前图像数据的系统状态，生成使过程效用函数值最小的编码器控制策略，作为自适应评估网络对下一图像数据的编码器控制策略。

以及，

第三系统状态获取子模块1073，用于获取自适应评估网络对下一图像数据的系统状态。

过程效用函数生成子模块1074，用于根据自适应评估网络对下一图像数据的编码器控制策略和系统状态，生成自适应评估网络对下一图像数据的过程效用函数。

神经网络更新子模块1075，用于使用过程效用函数，更新自适应评估网络自身参数。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD－ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

应当注意的是，在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的部件或步骤。位于部件之前的单词“一”或“一个”不排除存在多个这样的部件。本发明可以借助于包括有若干不同部件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种图像数据的压缩传输方法，其特征在于，包括：

模拟云端服务器的深度学习模型，设计本地的自适应评估网络；

使用所述自适应评估网络识别图像数据，选择与所述图像数据对应的编码器控制策略，估计得到所述云端服务器对所述图像数据的置信度，其中，所述置信度反映所述云端服务器的深度学习模型识别所述图像数据的准确程度；

根据所述置信度对应的最低允许码率，控制图像编码器对所述图像数据进行编码压缩，得到压缩后的图像数据，其中，若所述置信度越高，则所述最低允许码率越小；

按照所述最低允许码率，上传所述压缩后的图像数据至云端服务器。

2.根据权利要求1所述的图像数据的压缩传输方法，其特征在于，所述使用自适应评估网络识别图像数据，选择与所述图像数据对应的编码器控制策略，估计得到云端服务器对所述图像数据的置信度的步骤，包括：

使用经验值初始化所述编码器控制策略；

使用所述自适应评估网络，根据初始化的所述编码器控制策略，生成所述自适应评估网络对当前图像数据的系统状态，其中，所述系统状态包括置信度及所述最低允许码率；

提取所述系统状态包含的置信度，作为所述云端服务器对当前图像数据的置信度；

或者，

获取所述自适应评估网络对上一图像数据的编码器控制策略；

获取所述自适应评估网络对上一图像数据的系统状态；

根据所述自适应评估网络对上一图像数据的编码器控制策略和系统状态，利用前后图像数据的相关性，计算得到所述自适应评估网络对当前图像数据的系统状态；

提取所述自适应评估网络对当前图像数据的系统状态中的置信度，作为所述估计得到的云端服务器对所述图像数据的置信度。

3.根据权利要求1或2所述的图像数据的压缩传输方法，其特征在于，在估计得到云端服务器对图像数据的置信度的步骤之后，所述方法还包括：

根据所述置信度及所述置信度对应的最低允许码率，计算所述自适应评估网络对所述图像数据的瞬时效用函数；

根据每个瞬时效用函数对应的权重控制因子，计算所述自适应评估网络对所述图像数据的过程效用函数；

使用所述过程效用函数优化所述自适应评估网络，以使所述自适应评估网络后续估计得到的置信度逼近所述云端服务器对图像数据的真实置信度。

4.根据权利要求3所述的图像数据的压缩传输方法，其特征在于，所述使用过程效用函数优化所述自适应评估网络的步骤，包括：

获取所述自适应评估网络对当前图像数据的系统状态；

根据所述自适应评估网络对当前图像数据的系统状态，生成使所述过程效用函数值最小的编码器控制策略，作为所述自适应评估网络对下一图像数据的编码器控制策略。

5.根据权利要求4所述的图像数据的压缩传输方法，其特征在于，所述使用过程效用函数优化所述自适应评估网络的步骤，包括：

获取所述自适应评估网络对下一图像数据的系统状态；

根据所述自适应评估网络对下一图像数据的编码器控制策略和系统状态，计算所述自适应评估网络对下一图像数据的过程效用函数；

使用所述过程效用函数，更新所述自适应评估网络自身参数。

6.一种图像数据的压缩传输系统，其特征在于，包括：

神经网络设计模块，用于模拟云端服务器的深度学习模型，设计本地的自适应评估网络；

置信度估计模块，用于使用所述自适应评估网络识别图像数据，选择与所述图像数据对应的编码器控制策略，估计得到所述云端服务器对所述图像数据的置信度，其中，所述置信度反映所述云端服务器的深度学习模型识别所述图像数据的准确程度；

图像数据压缩模块，用于根据所述置信度对应的最低允许码率，控制图像编码器对所述图像数据进行编码压缩，得到压缩后的图像数据，其中，若所述置信度越高，则所述最低允许码率越小；

图像数据传输模块，用于按照所述最低允许码率，上传所述压缩后的图像数据至云端服务器。

7.根据权利要求6所述的图像数据的压缩传输系统，其特征在于，所述置信度估计模块，包括：

控制策略初始化子模块，用于使用经验值初始化所述编码器控制策略；

系统状态生成子模块，用于使用所述自适应评估网络，根据初始化的所述编码器控制策略，生成所述自适应评估网络对当前图像数据的系统状态，其中，所述系统状态包括置信度及所述最低允许码率；

第一置信度提取子模块，用于提取所述系统状态包含的置信度，作为所述云端服务器对当前图像数据的置信度；

以及，

控制策略获取子模块，用于获取所述自适应评估网络对上一图像数据的编码器控制策略；

第一系统状态获取子模块，用于获取所述自适应评估网络对上一图像数据的系统状态；

系统状态计算子模块，用于根据所述自适应评估网络对上一图像数据的编码器控制策略和系统状态，利用前后图像数据的相关性，计算得到所述自适应评估网络对当前图像数据的系统状态；

第二置信度提取子模块，用于提取所述自适应评估网络对当前图像数据的系统状态中的置信度，作为所述估计得到的云端服务器对所述图像数据的置信度。

8.根据权利要求6或7所述的图像数据的压缩传输系统，其特征在于，还包括：

瞬时效用函数计算模块，用于根据所述置信度及所述置信度对应的最低允许码率，计算所述自适应评估网络对所述图像数据的瞬时效用函数；

过程效用函数计算模块，用于根据每个瞬时效用函数对应的权重控制因子，计算所述自适应评估网络对所述图像数据的过程效用函数；

神经网络优化模块，用于使用所述过程效用函数优化所述自适应评估网络，以使所述自适应评估网络后续估计得到的置信度逼近所述云端服务器对图像数据的真实置信度。

9.根据权利要求8所述的图像数据的压缩传输系统，其特征在于，所述神经网络优化模块，包括：

第二系统状态获取子模块，用于获取所述自适应评估网络对当前图像数据的系统状态；

控制策略生成子模块，用于根据所述自适应评估网络对当前图像数据的系统状态，生成使所述过程效用函数值最小的编码器控制策略，作为所述自适应评估网络对下一图像数据的编码器控制策略；

以及，

第三系统状态获取子模块，用于获取所述自适应评估网络对下一图像数据的系统状态；

过程效用函数生成子模块，用于根据所述自适应评估网络对下一图像数据的编码器控制策略和系统状态，生成所述自适应评估网络对下一图像数据的过程效用函数；

神经网络更新子模块，用于使用所述过程效用函数，更新所述自适应评估网络自身参数。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有图像数据的压缩传输的程序，所述图像数据的压缩传输的程序被处理器执行时实现如权利要求1-5中任一项所述的图像数据的压缩传输的步骤。