一种图像传输带宽匹配方法、设备及系统
技术领域
本发明实施方式涉及视频处理技术领域,特别是涉及一种图像传输带宽匹配方法、设备及系统。
背景技术
随着无人机产业的高速发展,人们越来越重视航拍的流畅度和清晰度。而这些指标主要依靠提升无人机图传系统的性能。目前,小型无人机图传系统主要传输的格式为JPEG,分辨率为VGA(640*480)。JPEG由于压缩算法的限制,数据量较大,并且大多采用2.4GWIFI进行视频流传输,这对传输的带宽提出了较高的要求。尤其是针对低成本嵌入式网络系统,如何在有限的带宽中提升帧率,使用户有更好的体验,是各大企业面临的难题。
在申请号为“200610057890.5”,名称为“一种动态带宽适配的方法”的发明专利中,提出一种动态带宽适配的方法,应用于具有多种不同编码带宽的媒体内容的流媒体系统,实现了媒体内容与带宽的最佳匹配;在申请号为“201310597404.9”,名称为“视频监控系统”的发明专利中,提供一种视频监控系统,实现了监控系统的智能化,具有结构简单,使用方便优点。
上述专利仅仅从应用层去优化匹配带宽或者进行智能识别,并未提到从原始压缩环节进行优化。本发明主要是从压缩环节进行图像优化,使其匹配当前的环境及带宽。
发明内容
本发明实施方式提供一种图像传输带宽匹配方法、设备以及系统,能够通过解析客户端反馈的带宽、帧率信息,自适应调节压缩量化表,进而优化图片质量,满足在不同环境下的带宽要求。
为解决上述技术问题,本发明实施方式采用的技术方案是:第一方面,提供一种图像传输带宽匹配方法,包括:
发送实时传输协议数据包至客户端;
接收由客户端反馈的带宽值与帧率值,所述带宽值与帧率值由客户端解析所述数据包而获得;
根据所述带宽值得到对应的带宽权值,以及所述帧率值得到对应的帧率权值;
根据帧率值对应带宽权值与帧率权值得到量化表权值;
根据所述量化表权值进行图像传输数据的匹配,并将匹配后的图像数据发送至客户端。
其中,所述根据所述带宽值得到对应的带宽权值,以及所述帧率值得到对应的帧率权值包括:根据带宽值或帧率值的大小进行等级评定,对不同等级的带宽值的大小赋予不同的带宽权值,对不同等级的帧率值的大小赋予不同的帧率权值。
其中,根据所述量化表权值进行图像传输数据的匹配包括:根据量化表权值,对标准量化表中的矩阵数据的值进行相应的增大、减小或者保持当前数值的操作。
第二方面,提供一种图像传输带宽匹配方法,包括:
接收服务器发送的实时传输协议数据包;
根据所述实时传输协议数据包解析计算出带宽值和帧率值,再将所述带宽值与帧率值通过发送的实时传输控制协议数据包反馈给服务器,以使服务器能够根据所述带宽值得到对应的带宽权值,以及根据所述帧率值得到对应的帧率权值,再根据帧率值对应带宽权值与帧率权值得到量化表权值;
接收由服务器根据所述量化表权值进行图像传输数据匹配后的图像数据。
其中,所述带宽权值通过对带宽值进行等级评定,并对不同等级的带宽值的大小赋予不同的带宽权值而确定;所述帧率权值通过对帧率值进行等级评定,并对不同等级的帧率值的大小赋予不同的帧率权值而确定。
其中,所述根据所述量化表权值进行图像传输数据匹配具体为:根据量化表权值,对标准量化表中的矩阵数据的值进行相应的增大、减小或者保持当前数值的操作。
第三方面,提供一种图像传输带宽匹配装置,包括:
第一发送模块:用于发送实时传输协议数据包至客户端;
第一接收模块:用于接收由客户端反馈的实时传输控制协议数据包;
第一解析模块:用于解析接收模块接收的实时传输控制协议数据包获得的带宽值与帧率值,根据所述带宽值得到对应的带宽权值,以及所述帧率值得到对应的帧率权值,再根据帧率值对应带宽权值与帧率权值得到量化表权值;
匹配模块:用于根据所述量化表权值进行图像传输数据的匹配;
第一发送模块还用于将匹配后的图像数据发送至客户端。
其中,所述第一解析模块进一步用于根据带宽值或帧率值的大小进行等级评定,对不同等级的带宽值的大小赋予不同的带宽权值,对不同等级的帧率值的大小赋予不同的帧率权值。
其中,所述匹配模块进一步用于根据量化表权值,对标准量化表中的矩阵数据的值进行相应的增大、减小或者保持当前数值的操作。
第四方面,提供一种图像传输带宽匹配装置,包括:
第二接收模块:用于接收服务器发送的实时传输协议数据包;
第二解析模块:用于根据所述实时传输协议数据包解析计算出带宽值和帧率值;
第二解析模块:用于通过解析实时传输控制协议数据包获得当前传输信道的带宽值和帧率值;
第二发送模块:用于将所述带宽值与帧率值通过发送的实时传输控制协议数据包反馈给服务器,以使服务器能够根据所述带宽值得到对应的带宽权值,以及根据所述帧率值得到对应的帧率权值,再根据帧率值对应带宽权值与帧率权值得到量化表权值;
第二接收模块:还用于接收由服务器根据所述量化表权值进行图像传输数据的匹配后的发送的图像数据。
第五方面,提供一种图像传输带宽匹配系统,所述系统包括服务器与客户端,其中,
服务器包括:
第一发送模块:用于发送实时传输协议数据包至客户端;
第一接收模块:用于接收由客户端反馈的实时传输控制协议数据包;
第一解析模块:用于解析接收模块接收的实时传输控制协议数据包获得的带宽值与帧率值,根据所述带宽值得到对应的带宽权值,以及所述帧率值得到对应的帧率权值,再根据帧率值对应带宽权值与帧率权值得到量化表权值;
匹配模块:用于根据所述量化表权值进行图像传输数据的匹配;
第一发送模块还用于将匹配后的图像数据发送至客户端;
客户端包括:
第二接收模块:用于接收服务器发送的实时传输协议数据包;
第二解析模块:用于根据所述实时传输协议数据包解析计算出带宽值和帧率值;
第二解析模块:用于通过解析实时传输控制协议数据包获得当前传输信道的带宽值和帧率值;
第二发送模块:用于将所述带宽值与帧率值通过发送的实时传输控制协议数据包反馈给服务器,以使服务器能够根据所述带宽值得到对应的带宽权值,以及根据所述帧率值得到对应的帧率权值,再根据帧率值对应带宽权值与帧率权值得到量化表权值;
第二接收模块:还用于接收由服务器根据所述量化表权值进行图像传输数据的匹配后的发送的图像数据。
第六方面,提供一种电子设备,包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如上所述的方法。
本发明实施方式的有益效果是:区别于现有技术的情况,本实施例提供的一种图像传输带宽匹配方法、装置、系统及电子设备,根据带宽值与帧率值计算得出量化表的权值,根据量化表权值选择量化表数值进行量化处理,可以根据当前的带宽选择合适的量化表进行量化,经过量化后的数据进行编码形成不同质量的图像。可以根据不同的带宽选择不同的图像质量进行传输,当网络状况差或者帧率较低时增大量化表,以减小图像质量,从而减小带宽压力。当网络状况好或者帧率较高时减小量化表,以提高图像质量,使用户获得更好的体验。
附图说明
图1是JPEG图像编码过程的示意图;
图2是实本发明应用实例的示意图;
图3是标准量化表的示意图;
图4是本发明第一实施例提供的一种图像传输带宽匹配方法的流程图;
图5是本发明第二实施例提供的一种图像传输带宽匹配方法的流程图;
图6是本发明第三实施例提供的一种图像传输带宽匹配装置的结构框图;
图7是本发明第四实施例提供的一种图像传输带宽匹配装置的结构框图;
图8是本发明第五实施例提供的一种图像传输带宽匹配系统的结构框图;
图9是本发明提供的一种电子设备的机构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及本申请实施例,对本申请进行进一步详细说明。应当理解,此处所描述的具体本申请实施例仅用以解释本申请,并不用于限定本申请。
参阅图1,原始图像信息的数据量一般较大,大多数时候往往将其编码形成JPEG图像进行保存或传输。原始图像经过编码后,可形成JPEG图像。其中,编码过程具体包括:DCT变换、量化以及熵编码。
一个原始未经处理的图像是由各种色彩组成的,即在一个平面上,有各种色彩,而这个平面是由水平和垂直方向上的很多点组成的。实际上,每个点的色彩,也即计算机能表示的每个像素点的色彩,能分解成红、绿、蓝,即RGB三元色来表示,即这三种颜色的一定比例的混合就能得到一个实际的色彩值。
所以,实际上,这个平面的图像,可以理解为除了水平X和垂直Y以外,还有一个色彩值的Z的三维的系统。Z代表了三元色中各个分支R/G/B的混合时所占的具体数值大小,每个像素的RGB的混合值可能都有所不同,各个值有大有小,但临近的两个点的R/G/B三个值会比较接近。
由于这个原始图像是由很多个独立的像素点组成的,也就是说它们都是分散的,离散的。比如有些图像的尺寸为640X480,就表示水平有640个像素点,垂直有480个像素点。
从上面的内容,可以知道两个相邻的点,会有很多的色彩是很接近的,那么能在最后得到的图片中,尽量少得记录这些不需要的数据,也即达到了压缩的效果。
图像信号的频谱线一般在0-6MHz范围内,而且一幅图像内,包含了各种帧率的分量。但包含的大多数为低频频谱线,只在占图像区域比例很低的图像边缘的信号中才含有高频的谱线。这个是对JPEG图像压缩的理论依据。
因此,在对图像做数字处理时,可根据频谱因素分配比特数:对包含信息量大的低频谱区域分配较多的比特数,对包含信息量低的高频谱区域分配较少的比特数,而图像质量并没有可察觉的损伤,达到数据压缩的目的。
将原始图像这个色彩空间域,转换为频谱域,怎么转呢,这个就用到了数学上的离散余弦变换,即DCT(Discrete Cosine Transform)变换。
DCT是可逆的、离散的正交变换。变换过程本身虽然并不产生压缩作用,但是变换后的帧率系数却非常有利于码率压缩。即这个变换过程得到一个DCT变换系数。
经过上述经DCT变换得到的系数可以再进行更进一步的处理,即是量化。经过量化,就能达到数据压缩的作用了。
量化过程实际上就是对DCT系数的一个优化过程。它是利用了人眼对高频部分不敏感的特性来实现数据的大幅简化。量化过程实际上是简单地把帧率领域上每个成份,除以一个对于该成份的常数,且接着四舍五入取最接近的整数。以这个结果来说,经常会把很多高帧率的成份四舍五入而接近0,且剩下很多会变成小的正或负数。整个量化的目的是减小非“0”系数的幅度以及增加“0”值系数的数目。
量化是图像质量下降的最主要原因。因为人眼对亮度信号比对色差信号更敏感,因此使用了两种量化表:亮度量化值和色差量化值。使用这个量化矩阵与前面所得到的DCT系数矩阵:如,使用-415(DC系数)且四舍五入得到最接近的整数总体上来说,DCT变换实际是空间域的低通滤波器。对Y分量采用细量化,对UV采用粗量化。
量化表是控制JPEG压缩比的关键,这个步骤除掉了一些高频量;另一个重要原因是所有图片的点与点之间会有一个色彩过渡的过程,大量的图像信息被包含在低帧率中,经过量化处理后,在高帧率段,将出现大量连续的零。JPEG量化的核心是量化表。联合图像专家组(JPEG)推荐了色度与亮度两个量化表。参阅图2,该量化表从大量自然图像的统计和实验中获得,在与人的自然视觉和图像匹配等方面都是比较优越的,它按照自然图像进行高频与低频部分压缩量的比率分配。
接着进行对量化后的数据进行编码,包括两种熵编码方式:Huffman编码和算术编码。
以Huffman编码为例,Huffman编码对出现概率大的字符分配字符长度较短的二进制编码,对出现概率小的字符分配字符长度较长的二进制编码,从而使得字符的平均编码长度最短。
经过上述过程,对图像进行编码,去除多余的信息,要用到DCT变换中的正向DCT(FDCT),然后再对变换的系数做量化,来处理人眼视觉系统所不敏感的高频数据,从而极大地减少了需要处理的数据量,这个是结合数学方法与经验值而做的处理。
图3是本申请实施例提供一种图像传输带宽匹配方法的可能应用场景。在一些可能应用场景,如图3所示,该应用场景包括摄像头、客户端。摄像头通过WIFI与客户端进行连接,摄像头发送实时传输协议数据包至客户端,客户端接收所述实时传输协议的数据包并解析计算出带宽值和帧率值。再将所述带宽值与帧率值通过发送的实时传输控制协议数据包反馈给摄像头,摄像头进行将传输的图像数据进行JPEG编码时,根据带宽值与帧率值进行选择量化表,根据量化表进行图像质量与WIFI连接信道的带宽值匹配。当前带宽值大时,进行JPEG编码获得的图像质量较高,当前带宽值较小时,进行JPEG编码获得的图像质量较低。接着,摄像头将进行JPEG编码后的图像发送至客户端。
现有技术中,摄像头如需对图像进行传输,则需要将图像进行编码后之间通过WIFI信道进行传输,每次传输的编码形成的图像质量相同,当WIFI信道的带宽不足时,往往造成WIFI信道的带宽不足以传输编码形成的图像数据,传输时造成卡顿。或者,当WIFI信道的带宽充足时,传输图像数据后,带宽还有剩余,造成了带宽资源的浪费。现有技术有判断带宽大小后进行选择符合当前带宽大小的传输文件进行传输,这种方法可以充分利用带宽资源,但是,这种方法往往不适用于实时的图像传输。
请再参阅图3,在本申请实施例提供的可能应用场景中,摄像头根据当前的WIFI信道大小,进行根据带宽大小进行传输图像数据大小的匹配。采用该方法,对于对能够充分的利用带宽资源进行实时图像的传输。
实施例一
参阅图4,本发明的第一实施例,提供一种图像传输带宽匹配方法,所述方法的执行主体为服务器,所述方法包括:
步骤41:发送实时传输协议数据包至客户端;
服务器通过互联网、WIFI等方式与客户端进行连接。服务器发送实时传输协议(RTP)的数据包至客户端,客户端接收所述实时传输协议的数据包并解析计算出带宽值和帧率值。再将所述带宽值与帧率值通过发送的实时传输控制协议(RTCP)数据包反馈给服务器。
步骤42:接收由客户端反馈的实时传输控制协议数据包后解析获得的带宽值与帧率值,根据所述带宽值与帧率值分别得到对应的带宽权值与帧率权值,根据带宽权值与帧率权值得到量化表权值;
服务器通过解析实时传输控制协议数据包获得当前传输信道的带宽值和帧率值。根据当前传输信号的带宽值与帧率值可进行量化表权值的计算。
在计算量化表权值之前,根据带宽值与帧率值的大小进行等级评定,对不同等级的带宽值或帧率值的大小赋予不同的带宽权值或帧率权值。
进行评价服务器与客户端之间连接的通道的带宽压力的因子是带宽值和帧率值。带宽显示当前网络状况,而帧率则会直接影响用户的感受。例如,进行服务器与客户端通过WIFI连接进行图像传输时,WIFI的带宽易受到周围无线信号的干扰而对带宽值的大小造成影响,而WIFI连接信道的帧率的大小取决于当前带宽和传输的图像的质量。经测试,一张中等复杂的JPEG图片数据流大概为40KB,由于余晖效应,人眼无法分辨16帧以上的移动图像,而当帧率在25帧以上时,用户会感觉特别流畅。基于上述标准设定了带宽和帧率的等级及权值。参阅表1:
表1
将大小大于1M的带宽值的等级评定为优,赋予的权值大小为2;
将大小大于800k且小于等于1M的带宽值的等级评定为良,赋予的权值大小为1;
将大小小于800k的带宽值的等级评定为差,赋予的权值大小为0;
将大小大于25Mhz的帧率值的等级评定为优,赋予的权值大小为2;
将大小大于16Mhz且小于等于25Mhz的带宽值的等级评定为良,赋予的权值大小为1;
将大小小于16Mhz的带宽值的等级评定为差,赋予的权值大小为0。
根据赋予的带宽权值和帧率权值,可以计算出量化表的权值。具体地,将带宽的权值与帧率的权值相加之和作为量化表的权值,即量化表权值=带宽权值+帧率权值。将表1中赋予的各等级的带宽或帧率的权值进行相加,则可以得到“4、3、2、1、0”五种计算结果,将该五种计算结果作为量化表的权值。量化表的权值越大,则代表传输信道的传输带宽越大,可传输质量较高的图像。
步骤43:根据所述量化表权值进行图像传输数据的匹配,并将匹配后的图像数据发送至客户端。
所述对图像传输数据的匹配包括:根据量化表权值,对标准量化表中的矩阵数据的值进行相应的增大、减小或者保持当前数值的操作。
在量化的过程当中,需要两个8*8量化矩阵数据,一个是用于专门处理亮度的帧率系数的量化矩阵数据,另一个则是针对色度的帧率系数的量化矩阵数据,将帧率系数除以量化矩阵的值之后取整,即完成了量化过程。当帧率系数经过量化之后,将帧率系数由浮点数转变为整数,这才便于执行最后的编码。经过量化阶段之后,所有的数据只保留了整数近似值,也就再度损失了一些数据内容。由于对亮度和色度的精度要求不同,分别对亮度和色度采用不同的量化表。前者细量化,后者粗量化。
根据不同的量化表的权值,对应的进行对标准量化表中的矩阵数据的值的增大、减小或者保持的操作。参阅表2:
表2
根据计算得出的权值大小等于4时,进行选择使用标准量化表;
量化表权值大小大于0且小于4时,进行对标准量化表中的每一数据进行乘以1.25后进行使用;
量化表权值等于0时,进行对标准量化表中的每一数据进行乘以1.75后进行使用。
这样,当量化表的权值为4时,将帧率系数除以标准量化矩阵数据,进行量化后得到的数据的值为较大。
当量化表权值大于0且小于4时,将帧率系数除以标准量化矩阵数据乘以1.25后的数据,进行量化后得到的数据的值也会稍小些。
当传输信道的带宽等于0时,将帧率系数除以标准量化矩阵数据乘以1.75后的数据,进行量化后得到的数据的值也为最小。
根据量化表权值进行选择对应的量化表数值进行量化,将量化处理后的数据进行编码,而后形成图像。量化表权值越大,最后形成的图像质量也为最优。
区别于现有技术,本实施例提供的一种图像传输带宽匹配方法,根据带宽值与帧率值计算得出量化表的权值,根据量化表权值选择量化表数值进行量化处理,可以根据当前的带宽选择合适的量化表进行量化,经过量化后的数据进行编码形成不同质量的图像。可以根据不同的带宽选择不同的图像质量进行传输,当网络状况差或者帧率较低时增大量化表,以减小图像质量,从而减小带宽压力。当网络状况好或者帧率较高时减小量化表,以提高图像质量,使用户获得更好的体验。
实施例二
参阅图5,本发明的第二实施例,提供一种图像传输带宽匹配方法,所述方法的执行主体为客户端,所述方法包括:
步骤51:接收服务器发送的实时传输协议数据包;
客户端通过互联网、WIFI等方式与服务器进行连接。客户端接收服务器发送的实时传输协议(RTP)的数据包。
步骤52:根据所述实时传输协议数据包解析计算出带宽值和帧率值,再将所述带宽值与帧率值通过发送的实时传输控制协议(RTCP)数据包反馈给服务器;
服务器通过解析实时传输控制协议数据包获得当前传输信道的带宽值和帧率值。根据当前传输信号的带宽值与帧率值可进行量化表权值的计算。
在计算量化表权值之前,根据带宽值与帧率值的大小进行等级评定,对不同等级的带宽值或帧率值的大小赋予不同的带宽权值或帧率权值。
进行评价服务器与客户端之间连接的通道的带宽压力的因子是带宽值和帧率值。带宽显示当前网络状况,而帧率则会直接影响用户的感受。例如,进行服务器与客户端通过WIFI连接进行图像传输时,WIFI的带宽易受到周围无线信号的干扰而对带宽值的大小造成影响,而WIFI连接信道的帧率的大小取决于当前带宽和传输的图像的质量。经测试,一张中等复杂的JPEG图片数据流大概为40KB,由于余晖效应,人眼无法分辨16帧以上的移动图像,而当帧率在25帧以上时,用户会感觉特别流畅。基于上述标准设定了带宽和帧率的等级及权值。参阅表3:
表3
将大小大于1M的带宽值的等级评定为优,赋予的权值大小为2;
将大小大于800k且小于等于1M的带宽值的等级评定为良,赋予的权值大小为1;
将大小小于800k的带宽值的等级评定为差,赋予的权值大小为0;
将大小大于25Mhz的帧率值的等级评定为优,赋予的权值大小为2;
将大小大于16Mhz且小于等于25Mhz的带宽值的等级评定为良,赋予的权值大小为1;
将大小小于16Mhz的带宽值的等级评定为差,赋予的权值大小为0。
根据赋予的带宽权值和帧率权值,可以计算出量化表的权值。具体地,将带宽的权值与帧率的权值相加之和作为量化表的权值,即量化表权值=带宽权值+帧率权值。将表1中赋予的各等级的带宽或帧率的权值进行相加,则可以得到“4、3、2、1、0”五种计算结果,将该五种计算结果作为量化表的权值。量化表的权值越大,则代表传输信道的传输带宽越大,可传输质量较高的图像。
步骤53:接收由服务器根据所述量化表权值进行图像传输数据的匹配后的发送的图像数据。
所述对图像传输数据的匹配包括:根据量化表权值,对标准量化表中的矩阵数据的值进行相应的增大、减小或者保持当前数值的操作。
在量化的过程当中,需要两个8*8量化矩阵数据,一个是用于专门处理亮度的帧率系数的量化矩阵数据,另一个则是针对色度的帧率系数的量化矩阵数据,将帧率系数除以量化矩阵的值之后取整,即完成了量化过程。当帧率系数经过量化之后,将帧率系数由浮点数转变为整数,这才便于执行最后的编码。经过量化阶段之后,所有的数据只保留了整数近似值,也就再度损失了一些数据内容。由于对亮度和色度的精度要求不同,分别对亮度和色度采用不同的量化表。前者细量化,后者粗量化。
根据不同的量化表的权值,对应的进行对标准量化表中的矩阵数据的值的增大、减小或者保持的操作。参阅表4:
表4
根据计算得出的权值大小等于4时,进行选择使用标准量化表;
量化表权值大小大于0且小于4时,进行对标准量化表中的每一数据进行乘以1.25后进行使用;
量化表权值等于0时,进行对标准量化表中的每一数据进行乘以1.75后进行使用。
这样,当量化表的权值为4时,将帧率系数除以标准量化矩阵数据,进行量化后得到的数据的值为较大。
当量化表权值大于0且小于4时,将帧率系数除以标准量化矩阵数据乘以1.25后的数据,进行量化后得到的数据的值也会稍小些。
当传输信道的带宽等于0时,将帧率系数除以标准量化矩阵数据乘以1.75后的数据,进行量化后得到的数据的值也为最小。
根据量化表权值进行选择对应的量化表数值进行量化,将量化处理后的数据进行编码,而后形成图像。量化表权值越大,最后形成的图像质量也为最优。
区别于现有技术,本实施例提供的一种图像传输带宽匹配方法,根据带宽值与帧率值计算得出量化表的权值,根据量化表权值选择量化表数值进行量化处理,可以根据当前的带宽选择合适的量化表进行量化,经过量化后的数据进行编码形成不同质量的图像。可以根据不同的带宽选择不同的图像质量进行传输,当网络状况差或者帧率较低时增大量化表,以减小图像质量,从而减小带宽压力。当网络状况好或者帧率较高时减小量化表,以提高图像质量,使用户获得更好的体验。
实施例三
参阅图6,本发明的第三实施例,提供一种图像传输带宽匹配装置,所述装置包括:
第一发送模块61:用于发送实时传输协议数据包至客户端;
服务器通过互联网、WIFI等方式与客户端进行连接。发送模块61发送实时传输协议(RTP)的数据包至客户端,客户端接收所述实时传输协议的数据包并解析计算出带宽值和帧率值。再将所述带宽值与帧率值通过发送的实时传输控制协议(RTCP)数据包反馈给服务器。
第一接收模块62,用于接收由客户端反馈的实时传输控制协议数据包;
第一解析模块63:用于解析接收模块62接收的实时传输控制协议数据包获得的带宽值与帧率值,根据所述带宽值与帧率值分别得到对应的带宽权值与帧率权值,根据带宽权值与帧率权值得到量化表权值;
第一解析模块63在计算量化表权值之前,根据带宽值与帧率值的大小进行等级评定,对不同等级的带宽值或帧率值的大小赋予不同的带宽权值或帧率权值。
进行评价服务器与客户端之间连接的通道的带宽压力的因子是带宽值和帧率值。带宽显示当前网络状况,而帧率则会直接影响用户的感受。例如,进行服务器与客户端通过WIFI连接进行图像传输时,WIFI的带宽易受到周围无线信号的干扰而对带宽值的大小造成影响,而WIFI连接信道的帧率的大小取决于当前带宽和传输的图像的质量。经测试,一张中等复杂的JPEG图片数据流大概为40KB,由于余晖效应,人眼无法分辨16帧以上的移动图像,而当帧率在25帧以上时,用户会感觉特别流畅。基于上述标准设定了带宽和帧率的等级及权值。参阅表5:
表5
将大小大于1M的带宽值的等级评定为优,赋予的权值大小为2;
将大小大于800k且小于等于1M的带宽值的等级评定为良,赋予的权值大小为1;
将大小小于800k的带宽值的等级评定为差,赋予的权值大小为0;
将大小大于25Mhz的帧率值的等级评定为优,赋予的权值大小为2;
将大小大于16Mhz且小于等于25Mhz的带宽值的等级评定为良,赋予的权值大小为1;
将大小小于16Mhz的带宽值的等级评定为差,赋予的权值大小为0。
第一解析模块63根据赋予的带宽权值和帧率权值,可以计算出量化表的权值。具体地,将带宽的权值与帧率的权值相加之和作为量化表的权值,即量化表权值=带宽权值+帧率权值。将表1中赋予的各等级的带宽或帧率的权值进行相加,则可以得到“4、3、2、1、0”五种计算结果,将该五种计算结果作为量化表的权值。量化表的权值越大,则代表传输信道的传输带宽越大,可传输质量较高的图像。
匹配模块64:用于根据所述量化表权值进行图像传输数据的匹配。
第一发送模块61还用于将匹配后的图像数据发送至客户端。
匹配模块64对图像传输数据的匹配包括:根据量化表权值,对标准量化表中的矩阵数据的值进行相应的增大、减小或者保持当前数值的操作。
匹配模块64在量化的过程当中,需要两个8*8量化矩阵数据,一个是用于专门处理亮度的帧率系数的量化矩阵数据,另一个则是针对色度的帧率系数的量化矩阵数据,将帧率系数除以量化矩阵的值之后取整,即完成了量化过程。当帧率系数经过量化之后,将帧率系数由浮点数转变为整数,这才便于执行最后的编码。经过量化阶段之后,所有的数据只保留了整数近似值,也就再度损失了一些数据内容。由于对亮度和色度的精度要求不同,分别对亮度和色度采用不同的量化表。前者细量化,后者粗量化。
匹配模块64根据不同的量化表的权值,对应的进行对标准量化表中的矩阵数据的值的增大、减小或者保持的操作。参阅表6:
表6
根据计算得出的权值大小等于4时,进行选择使用标准量化表;
量化表权值大小大于0且小于4时,进行对标准量化表中的每一数据进行乘以1.25后进行使用;
量化表权值等于0时,进行对标准量化表中的每一数据进行乘以1.75后进行使用。
这样,当量化表的权值为4时,将帧率系数除以标准量化矩阵数据,进行量化后得到的数据的值为较大。
当量化表权值大于0且小于4时,将帧率系数除以标准量化矩阵数据乘以1.25后的数据,进行量化后得到的数据的值也会稍小些。
当传输信道的带宽等于0时,将帧率系数除以标准量化矩阵数据乘以1.75后的数据,进行量化后得到的数据的值也为最小。
所述装置还包括:编码模块65,用于将量化处理后的数据进行编码,而后形成图像。量化表权值越大,最后形成的图像质量也为最优。
区别于现有技术,本实施例提供的一种图像传输带宽匹配装置,根据带宽值与帧率值计算得出量化表的权值,根据量化表权值选择量化表数值进行量化处理,可以根据当前的带宽选择合适的量化表进行量化,经过量化后的数据进行编码形成不同质量的图像。可以根据不同的带宽选择不同的图像质量进行传输,当网络状况差或者帧率较低时增大量化表,以减小图像质量,从而减小带宽压力。当网络状况好或者帧率较高时减小量化表,以提高图像质量,使用户获得更好的体验。
实施例四
参阅图7,本发明的第四实施例,提供一种图像传输带宽匹配装置,所述装置包括:
第二接收模块71:用于接收服务器发送的实时传输协议数据包。
客户端通过互联网、WIFI等方式与服务器进行连接。接收模块71接收服务器发送的实时传输协议(RTP)的数据包。
第二解析模块72:用于根据所述实时传输协议数据包解析计算出带宽值和帧率值。
第二发送模块73:用于将所述带宽值与帧率值通过发送的实时传输控制协议(RTCP)数据包反馈给服务器。
在计算量化表权值之前,根据带宽值与帧率值的大小进行等级评定,对不同等级的带宽值或帧率值的大小赋予不同的带宽权值或帧率权值。
进行评价服务器与客户端之间连接的通道的带宽压力的因子是带宽值和帧率值。带宽显示当前网络状况,而帧率则会直接影响用户的感受。例如,进行服务器与客户端通过WIFI连接进行图像传输时,WIFI的带宽易受到周围无线信号的干扰而对带宽值的大小造成影响,而WIFI连接信道的帧率的大小取决于当前带宽和传输的图像的质量。经测试,一张中等复杂的JPEG图片数据流大概为40KB,由于余晖效应,人眼无法分辨16帧以上的移动图像,而当帧率在25帧以上时,用户会感觉特别流畅。基于上述标准设定了带宽和帧率的等级及权值。参阅表7:
表7
将大小大于1M的带宽值的等级评定为优,赋予的权值大小为2;
将大小大于800k且小于等于1M的带宽值的等级评定为良,赋予的权值大小为1;
将大小小于800k的带宽值的等级评定为差,赋予的权值大小为0;
将大小大于25Mhz的帧率值的等级评定为优,赋予的权值大小为2;
将大小大于16Mhz且小于等于25Mhz的带宽值的等级评定为良,赋予的权值大小为1;
将大小小于16Mhz的带宽值的等级评定为差,赋予的权值大小为0。
根据赋予的带宽权值和帧率权值,可以计算出量化表的权值。具体地,将带宽的权值与帧率的权值相加之和作为量化表的权值,即量化表权值=带宽权值+帧率权值。将表1中赋予的各等级的带宽或帧率的权值进行相加,则可以得到“4、3、2、1、0”五种计算结果,将该五种计算结果作为量化表的权值。量化表的权值越大,则代表传输信道的传输带宽越大,可传输质量较高的图像。
第二接收模块74,用于接收由服务器根据所述量化表权值进行图像传输数据的匹配后的发送的图像数据。
所述对图像传输数据的匹配包括:根据量化表权值,对标准量化表中的矩阵数据的值进行相应的增大、减小或者保持当前数值的操作。
在量化的过程当中,需要两个8*8量化矩阵数据,一个是用于专门处理亮度的帧率系数的量化矩阵数据,另一个则是针对色度的帧率系数的量化矩阵数据,将帧率系数除以量化矩阵的值之后取整,即完成了量化过程。当帧率系数经过量化之后,将帧率系数由浮点数转变为整数,这才便于执行最后的编码。经过量化阶段之后,所有的数据只保留了整数近似值,也就再度损失了一些数据内容。由于对亮度和色度的精度要求不同,分别对亮度和色度采用不同的量化表。前者细量化,后者粗量化。
根据不同的量化表的权值,对应的进行对标准量化表中的矩阵数据的值的增大、减小或者保持的操作。参阅表8:
表8
根据计算得出的权值大小等于4时,进行选择使用标准量化表;
量化表权值大小大于0且小于4时,进行对标准量化表中的每一数据进行乘以1.25后进行使用;
量化表权值等于0时,进行对标准量化表中的每一数据进行乘以1.75后进行使用。
这样,当量化表的权值为4时,将帧率系数除以标准量化矩阵数据,进行量化后得到的数据的值为较大。
当量化表权值大于0且小于4时,将帧率系数除以标准量化矩阵数据乘以1.25后的数据,进行量化后得到的数据的值也会稍小些。
当传输信道的带宽等于0时,将帧率系数除以标准量化矩阵数据乘以1.75后的数据,进行量化后得到的数据的值也为最小。
根据量化表权值进行选择对应的量化表数值进行量化,将量化处理后的数据进行编码,而后形成图像。量化表权值越大,最后形成的图像质量也为最优。
区别于现有技术,本实施例提供的一种图像传输带宽匹配装置,根据带宽值与帧率值计算得出量化表的权值,根据量化表权值选择量化表数值进行量化处理,可以根据当前的带宽选择合适的量化表进行量化,经过量化后的数据进行编码形成不同质量的图像。可以根据不同的带宽选择不同的图像质量进行传输,当网络状况差或者帧率较低时增大量化表,以减小图像质量,从而减小带宽压力。当网络状况好或者帧率较高时减小量化表,以提高图像质量,使用户获得更好的体验。
实施例五
参阅图8,本申请实施例提供的一种图像传输带宽匹配系统,其包括服务器81及客户端82。
服务器81包括:发送模块811用于发送实时传输协议数据包至客户端;
第一发送模块811还用于将匹配后的图像数据发送至客户端。
第一接收模块812用于接收由客户端反馈的实时传输控制协议数据包;
第一解析模块813用于通过解析实时传输控制协议数据包获得当前传输信道的带宽值和帧率值接收由客户端反馈的实时传输控制协议数据包后解析获得的带宽值与帧率值,根据所述带宽值与帧率值分别得到对应的带宽权值与帧率权值,根据带宽权值与帧率权值得到量化表权值。
第一解析模块813在计算量化表权值之前,根据带宽值与帧率值的大小进行等级评定,对不同等级的带宽值或帧率值的大小赋予不同的带宽权值或帧率权值。
第一解析模块813根据赋予的带宽权值和帧率权值,可以计算出量化表的权值。具体地,将带宽的权值与帧率的权值相加之和作为量化表的权值,即量化表权值=带宽权值+帧率权值。赋予的各等级的带宽或帧率的权值进行相加,则可以得到“4、3、2、1、0”五种计算结果,将该五种计算结果作为量化表的权值。量化表的权值越大,则代表传输信道的传输带宽越大,可传输质量较高的图像。
匹配模块814用于根据所述量化表权值进行图像传输数据的匹配。
匹配模块814对图像传输数据的匹配包括:根据量化表权值,对标准量化表中的矩阵数据的值进行相应的增大、减小或者保持当前数值的操作。
匹配模块814在量化的过程当中,需要两个8*8量化矩阵数据,一个是用于专门处理亮度的帧率系数的量化矩阵数据,另一个则是针对色度的帧率系数的量化矩阵数据,将帧率系数除以量化矩阵的值之后取整,即完成了量化过程。当帧率系数经过量化之后,将帧率系数由浮点数转变为整数,这才便于执行最后的编码。经过量化阶段之后,所有的数据只保留了整数近似值,也就再度损失了一些数据内容。由于对亮度和色度的精度要求不同,分别对亮度和色度采用不同的量化表。前者细量化,后者粗量化。
匹配模块814根据不同的量化表的权值,对应的进行对标准量化表中的矩阵数据的值的增大、减小或者保持的操作。
所述装置还包括:编码模块815,用于将量化处理后的数据进行编码,而后形成图像。量化表权值越大,最后形成的图像质量也为最优。
客户端82包括:
第二接收模块821:用于接收服务器发送的实时传输协议数据包。
接收模块821接收服务器发送的实时传输协议(RTP)的数据包。
第二解析模块822:用于根据所述实时传输协议数据包解析计算出带宽值和帧率值。
第二解析模块822通过解析实时传输控制协议数据包获得当前传输信道的带宽值和帧率值。以使服务器能够根据所述带宽值与帧率值分别得到对应的带宽权值与帧率权值,根据带宽权值与帧率权值得到量化表权值。
第二解析模块822根据赋予的带宽权值和帧率权值,可以计算出量化表的权值。
第二发送模块823:用于将所述带宽值与帧率值通过发送的实时传输控制协议(RTCP)数据包反馈给服务器,以使服务器能够根据所述带宽值得到对应的带宽权值,以及根据所述帧率值得到对应的帧率权值,再根据帧率值对应带宽权值与帧率权值得到量化表权值;
第二接收模块824,用于接收由服务器根据所述量化表权值进行图像传输数据的匹配后的发送的图像数据。
区别于现有技术,本实施例提供的一种图像传输带宽匹配装置,根据带宽值与帧率值计算得出量化表的权值,根据量化表权值选择量化表数值进行量化处理,可以根据当前的带宽选择合适的量化表进行量化,经过量化后的数据进行编码形成不同质量的图像。可以根据不同的带宽选择不同的图像质量进行传输,当网络状况差或者帧率较低时增大量化表,以减小图像质量,从而减小带宽压力。当网络状况好或者帧率较高时减小量化表,以提高图像质量,使用户获得更好的体验。
实施例六
图9是本申请实施例提供的一种图像传输带宽匹配方法的电子设备900的硬件结构示意图,如图9所示,该电子设备900包括:
一个或多个处理器901、存储器902,图9中以一个处理器901为例。
处理器901和存储器902可以通过总线或者其他方式连接,图9中以通过总线连接为例。
存储器902作为一种非易失性计算机可读存储介质,可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块。处理器901通过运行存储在存储器902中的非易失性软件程序、指令以及模块,从而执行各种功能应用以及数据处理,即实现上述方法实施例一种图像传输带宽匹配方法。
存储器902可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储根据一种图像传输带宽匹配装置的使用所创建的数据等。此外,存储器902可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。
所述一个或者多个模块存储在所述存储器902中,当被所述一个或者多个处理器901执行时,执行上述任意方法实施例中的图像传输带宽匹配方法。
上述产品可执行本申请实施例所提供的方法,具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节,可参见本申请实施例所提供的方法。
本申请实施例的电子设备以多种形式存在,包括但不限于:
(1)移动通信设备:这类设备的特点是具备移动通信功能,并且以提供话音、数据通信为主要目标。这类终端包括:智能手机(例如iPhone)、多媒体手机、功能性手机,以及低端手机等。
(2)超移动个人计算机设备:这类设备属于个人计算机的范畴,有计算和处理功能,一般也具备移动上网特性。这类终端包括:PDA、MID和UMPC设备等,例如iPad。
(3)便携式娱乐设备:这类设备可以显示和播放多媒体内容。该类设备包括:音频、视频播放器(例如iPod),掌上游戏机,电子书,以及智能玩具和便携式车载导航设备。
(4)其他具有数据交互功能的电子装置。
本申请实施例提供了一种非易失性计算机可读存储介质,所述计算机可读存储介质存储有计算机可执行指令,该计算机可执行指令被一个或多个处理器执行,例如图9中的一个处理器901,可使得上述一个或多个处理器可执行上述任意方法实施例中的图像传输带宽匹配方法。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
通过以上的实施方式的描述,本领域普通技术人员可以清楚地了解到各实施方式可借助软件加通用硬件平台的方式来实现,当然也可以通过硬件。本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Randomness,RAM)等。
以上所述仅为本发明的实施方式,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。