CN103281539B - 一种图像编、解码处理的方法、装置及终端 - Google Patents
一种图像编、解码处理的方法、装置及终端 Download PDFInfo
- Publication number
- CN103281539B CN103281539B CN201310226142.5A CN201310226142A CN103281539B CN 103281539 B CN103281539 B CN 103281539B CN 201310226142 A CN201310226142 A CN 201310226142A CN 103281539 B CN103281539 B CN 103281539B
- Authority
- CN
- China
- Prior art keywords
- image
- current frame
- changed
- sampling
- source
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 230000008569 process Effects 0.000 title abstract description 4
- 238000005070 sampling Methods 0.000 claims description 124
- 238000006243 chemical reaction Methods 0.000 claims description 7
- 230000008859 change Effects 0.000 description 23
- 230000005540 biological transmission Effects 0.000 description 17
- 230000006835 compression Effects 0.000 description 17
- 238000007906 compression Methods 0.000 description 17
- 238000010586 diagram Methods 0.000 description 12
- 238000005516 engineering process Methods 0.000 description 10
- 239000003086 colorant Substances 0.000 description 5
- 230000009467 reduction Effects 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000011022 operating instruction Methods 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本申请公开了一种图像编、解码处理的方法、装置及终端。所述方法，包括：获取当前帧的源图像中与上一帧图像相比所有发生变化的图像块，所述图像块为所述当前帧的源图像中部分的图像；获得所述发生变化的图像块在当前帧源图像中的位置信息；对所述发生变化的图像块的像素和所述发生变化的图像块在当前帧源图像中的位置信息进行编码，得到当前帧图像的编码数据。通过上述方式，本申请能够减少图像传输的数据量，降低图像编码时间，在普通的终端上实现图像的实时共享。
Description
技术领域
本申请涉及图像处理技术领域，特别是涉及一种图像编、解码处理的方法、装置及终端。
背景技术
在当前信息共享化的时代，人们可随时将自己终端上的信息远程分享给朋友。而在视觉上的信息分享，特别是一系列高清图像和视频的分享，很受人们的青睐。然而，对于高清的图像，其发送时占据的数据量很大，例如，对于一张1280*720的24位（bit）RGB真彩色图像，如果直接将整张图像传输，则需要传输2.63兆字节（Mbyte）。
现有技术中，一般会对图像编码压缩再传输。在图像压缩中较为先进的一种压缩方式是联合图像专家组（Joint Photographic Experts Group，简称JPEG）压缩技术。JPEG压缩技术是一种有损压缩格式，通过将图像中重复或不重要的资料丢掉，以减少图像的传输数据量。然而，JPEG技术常用的压缩比在10:1到40:1之间，在实时传输的情况下，即使按照每秒十帧的传输频率，每秒需要传输的数据量也达到几兆字节。
而且，对于一张高清的大容量图像，一般终端对其进行编码压缩时，其编码过程也需耗费较长的时间，因此，无法实现终端对高清图像的实时共享。
现有图像传输技术中，还提供H.264视频编解码技术，相较于JPEG技术，H.264视频编解码技术减少帧间的数据冗余，其压缩比可达到100:1，从而可实现传输数据量的减少。但是，H.264技术的运算量很大，故对终端设备要求较高，普通的终端难以支持该技术。
发明内容
本申请主要解决的技术问题是提供一种图像编、解码处理的方法、装置及终端，能够减少图像传输的数据量，降低图像编码时间，在普通的终端上实现图像的实时共享。
为解决上述技术问题，本申请第一方面提供一种图像编码处理的方法，包括以下步骤：获取当前帧的源图像中与上一帧图像相比所有发生变化的图像块，所述图像块为所述当前帧的源图像中部分的图像；获得所述发生变化的图像块在当前帧源图像中的位置信息；对所述发生变化的图像块的像素和所述发生变化的图像块在当前帧源图像中的位置信息进行编码，得到当前帧图像的编码数据，以使接收终端根据所述位置信息，将所述发生变化的图像块替换到接收到的上一帧图像中对应位置，并将替换后的图像作为当前帧图像显示。
结合第一方面，本申请第一方面的第一种可能的实施方式中，所述获取当前帧的源图像中与上一帧图像相比所有发生变化的图像块的步骤包括：对所述当前帧源图像进行降采样；将所述当前帧源图像所有的降采样值分别与对应上一帧图像的降采样值作差，得到所述当前帧源图像与所述上一帧图像相比所有的降采样差值；获取所述当前帧源图像中所述降采样差值满足预设条件的所有发生变化的图像块。
结合第一方面的第一种可能的实施方式，本申请第一方面的第二种可能的实施方式中，所述对当前帧源图像进行降采样的步骤包括：将所述当前帧的源图像转换为YUV格式的源图像；对所述YUV格式的源图像进行降采样，并将降采样中获得的亮度值作为降采样值。
结合第一方面的第一种可能的实施方式，本申请第一方面的第三种可能的实施方式中，所述获取当前帧源图像中所述降采样差值满足预设条件的所有发生变化的图像块的步骤包括：将所述当前帧的源图像等分为预设数目的图像块；将所述当前帧源图像的图像块中的所有降采样差值的绝对值相加，获得所述图像块与所述上一帧图像对应的图像块相比的总降采样差值；判断所述图像块的总降采样差值是否大于预设的阈值，如果大于所述预设的阈值，则确定所述图像块发生变化，并获取发生变化的所述图像块。
结合第一方面，本申请第一方面的第四种可能的实施方式中，所述对发生变化的图像块的像素和所述发生变化的图像块在当前帧源图像中的位置进行编码，得到当前帧图像的编码数据的步骤包括：分别计算出所述发生变化的图像块以不同组合方式进行编码需要的编码时间，选取编码时间最少的组合方式；将所述发生变化的图像块以所述编码时间最少的组合方式进行组合，并对所述发生变化的图像块组合的像素和所述发生变化的图像块组合在当前帧源图像中的位置信息进行编码，得到当前帧图像的编码数据。
为了解决上述技术问题，本申请第二方面提供一种图像解码处理的方法，包括以下步骤：获取当前帧图像的编码数据；对所述当前帧图像的编码数据进行解码，得到当前帧图像中与获取到的上一帧图像相比发生变化的图像块的像素信息，以及所述发生变化的图像块在当前帧源图像中的位置信息；根据所述位置信息，将解码后的所述发生变化的图像块的像素信息替换到所述上一帧图像中对应位置，将替换后的图像作为当前帧图像。
结合第二方面，本申请第二方面的第一种可能的实施方式中，所述对当前帧图像的编码数据进行解码的步骤包括：对当前帧图像的编码数据进行联合图像专家组JPEG解码。
为解决上述技术问题，本申请第三方面提供一种图像编码处理装置，包括获取模块、获得模块及编码模块；所述获取模块用于获取当前帧的源图像中与上一帧图像相比所有发生变化的图像块，将所述发生变化的图像块发送给所述获得模块和所述编码模块，所述图像块为所述当前帧的源图像中部分的图像；所述获得模块用于获得所述发生变化的图像块在当前帧源图像中的位置信息，并将所述位置信息发送给所述编码模块；所述编码模块用于接收所述发生变化的图像块和所述发生变化的图像块在当前帧源图像中的位置信息，对所述发生变化的图像块的像素和所述发生变化的图像块在当前帧源图像中的位置信息进行编码，得到当前帧图像的编码数据，以使接收终端根据所述位置信息，将所述发生变化的图像块替换到接收到的上一帧图像中对应位置，并将替换后的图像作为当前帧图像显示。
结合第三方面，本申请第三方面的第一种可能的实施方式中，所述获取模块包括降采样单元、比较单元及获取单元；其中，所述降采样单元用于对所述当前帧源图像进行降采样，并将降采样值发送给所述比较单元；所述比较单元用于接收所述当前帧源图像的降采样值，将所述当前帧源图像所有的降采样值分别与对应上一帧图像的降采样值作差，得到所述当前帧源图像与所述上一帧图像相比所有的降采样差值，并发送给所述获取单元；所述获取单元用于接收所述当前帧源图像所有的降采样差值，获取所述当前帧源图像中所述降采样差值满足预设条件的所有发生变化的图像块，并将所述发生变化的图像块发送给所述计算模块和所述编码模块。
结合第三方面的第一种可能的实施方式，本申请第三方面的第二种可能的实施方式中，获取模块还包括转换单元；所述转换单元用于将所述当前帧源图像转换为YUV格式的源图像，并将所述YUV格式的源图像发送给所述降采样单元；所述降采样单元进一步用于接收所述YUV格式的源图像，对所述YUV格式源图像进行降采样，并将降采样中获得的亮度值作为降采样值。
结合第三方面的第一种可能的实施方式，本申请第三方面的第三种可能的实施方式中，所述获取单元进一步用于将所述当前帧的源图像等分为预设数目的图像块，将所述当前帧源图像的图像块中的所有降采样差值的绝对值相加，获得所述图像块与所述上一帧图像对应的图像块相比的总降采样差值，判断所述图像块的总降采样差值是否大于预设的阈值，如果大于所述预设的阈值，则确定所述图像块发生变化，并获取发生变化的所述图像块。
结合第三方面，本申请第三方面的第四种可能的实施方式中，编码模块包括计算单元和编码单元；所述计算单元用于计算出所述发生变化的图像块以不同组合方式进行编码需要的编码时间，选取编码时间最少的组合方式，并将所述编码时间最少的组合方式发送给编码单元；所述编码单元用于将所述发生变化的图像块以所述编码时间最少的组合方式进行组合，并对所述发生变化的图像块组合的像素和所述发生变化的图像块组合在当前帧源图像中的位置信息进行编码，得到当前帧图像的编码数据。
为了解决上述技术问题，本申请第四方面提供一种图像解码处理装置，包括获取模块、解码模块及替换模块；所述获取模块用于获取当前帧图像的编码数据，并将所述当前帧图像的编码数据发送给所述解码模块；所述解码模块用于对所述当前帧图像的编码数据进行解码，得到当前帧图像中与获取到的上一帧图像相比发生变化的图像块的像素信息，以及所述发生变化的图像块在当前帧源图像中的位置信息，并将所述像素信息及位置信息发送给所述替换模块；所述替换模块用于根据所述位置信息，将所述发生变化的图像块的像素信息替换到所述上一帧图像中对应位置，将替换后的图像作为当前帧图像。
结合第四方面，本申请第四方面的第一种可能的实施方式中，所述解码模块进一步用于对所述当前帧图像的编码数据进行联合图像专家组JPEG解码。
为解决上述技术问题，本申请第五方面提供一种终端，包括第二方面及第二方面第一至第四种实施方式中任意一项提供的图像编码处理装置，和/或第三方面及第三方面第一种实施方式中任意一项提供的图像解码处理装置。
本申请的有益效果是：区别于现有技术的情况，本申请获取当前帧源图像发生变化的图像块，进而仅对当前帧的源图像发生变化的图像块进行编码，减少了图像传输的编码数据量，进而也降低了图像传输的时间，同时，由于图像传输数据量的减少，降低了对编码方式的要求，实现在普通的终端上图像的实时共享。
附图说明
图1是本申请图像编码处理的方法一实施方式的流程图；
图2是本申请图像编码处理的方法一实施方式中当前帧源图像中发生变化的图像块的位置关系示意图；
图3是本申请图像编码处理的方法另一实施方式的流程图；
图4是本申请图像编码处理的方法另一实施方式中当前帧源图像进行降采样的示意图；
图5是本申请图像解码处理方法一实施方式的流程图；
图6是本申请图像编码处理装置一实施方式的结构示意图；
图7是本申请图像编码处理装置另一实施方式的结构示意图；
图8是本申请图像解码处理装置一实施方式的结构示意图；
图9是本申请图像编码处理装置再一实施方式的结构示意图；
图10是本申请图像解码处理装置另一实施方式的结构示意图。
具体实施方式
下面结合附图和具体的实施方式进行说明。
图1是本申请图像编码处理的方法一实施方式的流程图。请参阅图1，所述图像编码处理的方法包括以下步骤：
步骤S101：终端获取当前帧的源图像中与上一帧图像相比所有发生变化的图像块。
在终端需要与其他终端共享图像，如终端需要让其他终端实时显示终端屏幕上的内容或需要将存储的图像发送给其他终端时，所述终端获取当前帧的源图像，并将所述当前帧的源图像与上一帧图像作比较，以确定所述当前帧的源图像中与上一帧图像相比所有发生变化的图像块，所述终端获取当前帧的源图像中所有发生变化的图像块。
其中，图像块即为当前帧的源图像中部分的图像。例如，如图2所示，终端预先将所述当前帧的源图像200分为16个固定区域，每个固定区域的图像即为当前帧的源图像中的图像块，终端获取当前帧的源图像200中与上一帧图像相比所有发生变化的图像块210、220、230、240。或者，终端无需预先划分图像块，在将所述当前帧的源图像与上一帧图像作比较时，以是否发生变化划分图像块，即将当前帧源图像中发生变化的连续的一个部分，作为一个图像块，终端则获取当前帧的源图像中所有发生变化的部分。
步骤S102：终端获得所述发生变化的图像块在当前帧源图像中的位置信息。
终端获得当前帧图像中所有发生变化的图像块后，获得所述发生变化的图像块在当前帧图像的位置信息，例如所述图像块在当前帧图像的像素坐标，或者所述发生变化的图像块在当前帧图像预先划分的图像块中的序号等能够确定所述发生变化的图像块在当前帧源图像中的位置的信息。
步骤S103：终端对所述发生变化的图像块的像素和所述发生变化的图像块在当前帧源图像中的位置信息进行编码，得到当前帧图像的编码数据。
终端对所述发生变化的图像块的像素和所述发生变化的图像块在当前帧源图像中的位置信息进行JPEG编码压缩，得到当前帧图像的编码数据，并向接收终端发送所述获得的当前帧图像的编码数据，以使接收终端根据所述位置信息，将所述发生变化的图像块替换到接收到的上一帧图像中对应位置，并将替换后的图像作为当前帧图像显示。当然，终端并不限于采用JEPG编码，在其他实施方式中，终端也可采用其他编码方式进行编码，在此不做限定。
本实施方式中，终端仅对发生变化的图像块进行编码，使得终端在与其他终端图像共享时，只传输图像中发生变化的图像块的编码数据，减少了图像发送的数据量。同时，由于图像传输数据量的减少，降低了对编码方式的要求，使得普遍支持JPEG等编码压缩技术的普通终端如手机、平板电脑（Pad）、机顶盒、电脑等，即可实现图像的实时共享。
图3是本申请图像编码处理的方法另一实施方式的流程图。请参阅图3，所述图像编码处理的方法包括以下步骤：
步骤S301：终端将当前帧的源图像转换为YUV格式的源图像。
一般，图像以RGB格式保存在本地终端中。RGB是一种对颜色进行编码的方法，利用分别代表红、绿、蓝三种颜色强度的三个变量可表示任意一种颜色。对于RGB格式的图像，每个像素颜色均必须结合三个分别代表红、绿、蓝三种颜色强度数值才能表示出来。
而YUV也是一种对颜色进行编码的方法，利用亮度信号Y和两个色差信号R－Y（即U）、B－Y（即V），表示任意一种颜色。其中，它的亮度信号Y和色度信号U、V是分离的。由于人类的视觉对亮度的变化比色度敏感得多。当图像亮度发生轻微的变化，人类的视觉也能察觉，故可利用亮度信号Y确定图像是否发生人类能够识别的变化。由于图像色度发生变化，一般也伴随着亮度的变化，故只利用亮度信号Y也能体现出图像色度的变化。因此，可仅利用亮度信号Y来表示图像的像素点，以实现判断图像是否发生变化，且能降低图像的数据量。同时，较于RGB格式，YUV格式具有良好的兼容性，一些图像压缩技术如JPEG也只支持YUV格式的数据结构的输入。
在当前帧的源图像为RGB格式时，终端将当前帧的RGB格式源图像转换为YUV格式的源图像，以降低图像的数据量，同时也有利于在本地终端中通过JPEG进行压缩保存，以减少图像的存储空间。
步骤S302：终端对所述YUV格式的源图像进行降采样，并将降采样中获得的亮度值作为降采样值。
在人类的视觉中，对亮度的变化更为敏感，故可通过以图像的像素点的亮度值作为参考，确定当前帧的源图像与前一帧图像相比发生从视觉上能看出的变化部分，降低了对图像的运算量。
同时，在图像局部范围内，图像像素的亮度值倾向于连续一致的，只有在图像中物体的边缘区域，图像像素的亮度值才会发生较为剧烈的变化。因此，在图像局部范围内，通过降采样方式获取图像局部范围内亮度值，也可反映出该局部范围中整体的亮度情况，对于整个图像，图像中物体的边缘区域所占的比例是很少的，故使用降采样方式对图像的亮度值进行获取，对检测当前帧图像与前一帧图像的变化，影响不大。
终端将当前帧的RGB格式源图像转换为YUV格式的源图像后，对YUV格式的源图像进行降采样，并将降采样中获得的亮度值作为降采样值。由于YUV图像存储的方式是多样的，既可以将图像所有像素点的亮度信号Y存放在一起，也可以将图像每个像素点的Y、U、V信号一起存放。如果图像所有像素点的亮度信号Y存放在一起，则可以对YUV格式的源图像的亮度值图像部分进行降采样，将降采样得到的亮度值直接作为降采样值。如果图像每个像素点的Y、U、V信号一起存放，则可对YUV格式的源图像进行降采样，从降采样获得的Y、U、V信号中仅获取Y信号（即亮度值）作为降采样值。
通过对YUV格式的源图像进行降采样，也降低了终端对图像亮度值的运算量。例如，请参阅图4，对于分辨率为540*360的图像400，终端以采样倍数为9进行降采样。终端对图像每9个像素点组成的区域410采集位于所述区域410中间的像素点411的亮度值，以代表所述9个像素点组成的区域410的亮度值，进而降低了对图像400亮度值的运算量。
可以理解的是，本实施方式中，终端以局部区域的中间点的亮度值作为局部区域的亮度值。在其他实施方式中，也可以局部区域中的其他像素点的亮度值作为局部区域的亮度值，在此不作限定。另外，终端进行降采样的采样倍数为预先设定的固定值。当然，在具体应用实施方式中，所述采样倍数可由终端根据实际情况进行不同数值的设定，或者，终端也可获取用户在相应输入界面输入的数值作为所述采样倍数。同时，为保证对图像一定的采集次数，以使能够检测出图像变化部分，所述采样倍数的数值不能过大。
步骤S303：终端将所述当前帧源图像所有的降采样值分别与对应上一帧图像的降采样值作差，得到所述当前帧源图像与所述上一帧图像相比所有的降采样差值。
终端对当前帧源图像的亮度值进行降采样后，将对所述当前帧源图像所有降采样获得的亮度值分别与对应上一帧图像降采样的亮度值作差，获得所述当前帧图像中所有进行降采样的像素点与上一帧图像对应像素点的亮度差值，形成差值图。
步骤S304：终端将当前帧的源图像等分为预设数目的图像块。
本实施方式中，所述终端通过对每个图像块中的总体差值情况与一预设的固定阈值的比较来判断所述图像块是否发生变化，要想保证终端通过比较每个图像块中相同数目个差值的总情况与预设的阈值的关系来正确检测出图像是否发生变化，需要使每个图像块的大小相同，以使每个图像块进行相同数目的降采样，进而获取得差值个数相同。
所述终端将所述当前帧的源图像等分为预设数目的图像块。如图2，所述终端将当前帧的源图像等分为16块的图像块。本实施方式中，所述预设数目为终端根据图像分辨率的实际大小进行设定的数值，如在获得当前帧源图像的分辨率为1280*720时，终端将所述预设数值设定为16。当然，在其他实施方式中，所述预设数目也可以为终端获取用户在相应输入界面输入的一预设数值，在此不作限定。
步骤S305：终端将当前帧源图像的图像块中的所有降采样差值的绝对值相加，获得所述图像块与所述上一帧图像对应的图像块相比的总降采样差值。
终端根据当前帧源图像的每一图像块中进行降采样的像素点与上一帧图像对应像素点的亮度差值，以及公式计算出每一图像块中的所有降采样的亮度值与上一帧图像对应降采样亮度值的差值的绝对值的和，即图像块与所述上一帧图像对应的图像块相比的总降采样差值。每一图像块的所述总降采样差值的大小，即可反映出所述图像块与上一帧图像对应图像块相比发生变化的程度。其中，SAD(m,n)为当前帧源图像中(m,n)图像块中的所有降采样的亮度值与上一帧图像对应降采样亮度值的差值的绝对值的和，如图4，(m,n)图像块为位于图像在第一方向X上第m个，在第二方向Y上第n个的图像块，例如，540*360的当前帧源图像中（60，1）图像块即为图像块420。|D(i,j)|为当前帧源图像中在第一方向X上第i个，在第二方向Y上第j个像素点与上一帧图像对应像素点的亮度差值的绝对值，(i,j)∈Ptach(m,n)表示图像中在第一方向X上第i个，在第二方向Y上第j个像素点位于（m，n）图像块中。
步骤S306：终端判断所述图像块的总降采样差值是否大于预设的阈值。
终端计算每一图像块的降采样差值的绝对值的和，获得每一图像块总降采样差值之后，判断每一图像块的总降采样差值是否大于预设的阈值，如果大于所述预设的阈值，则执行步骤S307，否则判断为所述图像块没有发生变化。
可以理解的是，所述预设的阈值可以是终端预先设定的固定值，或者也可以为终端获取用户在相应输入界面输入的一预设数值，在此不作限定。另外，对于不同的图像，可对所述阈值设定为不同值。例如，对于非自然拍摄的图像或视频信息（比如动漫、桌面图片），由于这种图像或视频信息没有受到自然噪声的影响，故阈值可以选择较小值。
当然，在其他实施方式中，终端未必通过图像块中所有降采样亮度差值的绝对值的和与预设的阈值的比较，确定图像块是否发生变化。终端还可以通过判断所有降采样亮度差值的绝对值的平均值与另一预设的阈值进行比较，确定图像块是否发生变化，在此不作限定。
步骤S307：终端确定所述当前帧源图像中的所述图像块发生改变，并获取发生变化的所述图像块。
如果终端判断所述图像块的总降采样差值大于预设的阈值，则终端确定当前帧源图像中的所述图像块发生改变。终端获取当前帧源图像中所有发生变化的图像块。
进一步举例说明，请再次参阅图4，终端以降采样倍数为9，且取每9个像素组成的正方形区域410中的中心像素点411代表所述正方形区域410亮度值的方式进行降采样。每一图像块420包括6个通过降采样获得的亮度值，计算出每个图像块420中所有通过降采样获得的亮度值与上一帧对应像素点获得的亮度值的差。例如，终端计算出（1，1）图像块中的6个像素点411与上一帧对应像素点的差的绝对值分别为：10、30、50、30、40、50。根据公式可获得SAD(1,1)=10+30+50+30+40+50=210。本例中，终端预设的阈值为150，即SAD(1,1)大于阈值，故终端确定（1，1）图像块发生变化。
步骤S308：终端获得所述发生变化的图像块在当前帧源图像中的位置信息。
步骤S309：终端分别计算出所述发生变化的图像块以不同组合方式进行编码需要的编码时间，选取编码时间最少的组合方式。
由于不同大小的图像块编码耗费的运算代价不同，即需要的编码时间不同，且不同的终端需要的编码时间也不同。所述终端提前获得不同大小的图像块需要的编码时间，一般，终端在系统初始化时获得所述编码时间。在获得当前帧源图像中的所有发生变化的图像块后，所述终端分别计算出所述发生变化的图像块以不同组合方式组合成不同大小的图像块进行编码时需要的编码时间，并根据所述发生变化的图像块的不同组合需要的编码时间，选取需要的编码时间最少的所述发生变化的图像块的组合方式。
结合图2进行举例说明，终端获取到当前帧的源图像200所有发生变化的图像块210、220、230、240，其中，每个图像块210、220、230、240的分辨率为W*H。发生变化的图像块210、220、230、240根据不同组合方式可组成的图像块组合为：四个独立的分辨率为W*H的图像块、两个分辨率为2W*H的图像块、两个分辨率为W*2H的图像块、一个分辨率为2W*2H的图像块。终端根据提前获得分辨率分别为W*H、2W*H、W*2H、2W*2H的图像块的编码时间，计算出发生变化的图像块210、220、230组合成上述四种图像块组合进行编码的需要的时间，选取需要时间最少的组合方式。例如，分辨率分别为W*H、2W*H、W*2H、2W*2H的图像块的编码时间分别为1毫秒、1.5毫秒、1.6毫秒、2毫秒，即发生变化的图像块210、220、230组合成上述四种图像块组合进行编码的需要的时间分别为4*1毫秒、1.5*2毫秒、1.6*2毫秒、2*1毫秒。故终端选取需要编码时间为2毫秒的组合方式，即将分辨率为W*H的图像块210、220、230、240融合成一个分辨率为2W*2H的图像块以进行编码。
步骤S310：终端将所述发生变化的图像块以所述编码时间最少的组合方式进行组合，并对所述发生变化的图像块组合的像素和所述发生变化的图像块组合在当前帧源图像中的位置信息进行编码，得到当前帧图像的编码数据。
终端将所述发生变化的图像块以所述编码时间最少的组合方式进行组合，获得所述发生变化的图像块组合，并对所述发生变化的图像块组合的像素和所述发生变化的图像块组合在当前帧源图像中的位置信息进行编码，得到当前帧图像的编码数据，并发送给接收终端，以使接收终端根据所述位置信息，将所述发生变化的图像块替换到接收到的上一帧图像中对应位置，并将替换后的图像作为当前帧图像显示。
本实施方式通过仅对图像像素点的亮度值作差值比较、降采样方式，减少了检测图像变化的运算量，进而减少了检测图像变化的时间。而且，上述步骤S301至步骤S303，以及步骤S305，均可利用硬件加速，以进一步减少了检测图像变化的时间。另外，本实施方式仅对发生变化的图像块进行JPEG编码压缩并发送，降低了图像编码运算量和发送的数据量。特别是在终端实时共享只发生部分改变或者静止的图像，如桌面图像时，终端需要发送的当前帧图像与上一帧图像发生变化的区域较少，通过发送变化部分，可以大大降低了图像传输的数据量，提高了图像传输效率。同时，终端对发生变化的图像块以编码时间最少的组合方式进行编码，使得编码耗费的运算代价降为最少，进一步提高了终端对图像编码的效率。
当然，在其他实施方式中，如果终端需要发送的图像分辨率较低，也可选择性地执行步骤S301和步骤S302，即可以将当前帧的源图像转换为YUV格式后，直接对YUV格式图像的每个像素点进行差值比较；或者也可以直接对RGB格式的源图像进行降采样，并对源图像中进行降采样的像素点的红、绿、蓝三种颜色强度分别与上一帧图像进行差值比较，并通过分别判断图像块中红、绿、蓝三种颜色强度的差值的绝对值的和，判断图像块是否发生变化。
图5是本申请图像解码处理的方法一实施方式的流程图。请参阅图5，所述方法包括以下步骤：
步骤S501：终端获取当前帧图像的编码数据。
在终端间实时共享过程中，其他终端向本终端发送当前帧图像的编码数据时，本终端接收以获取当前帧图像的编码数据。其中，所述当前帧图像的编码数据包括当前帧图像中与接收到的上一帧图像相比发生变化的图像块的像素信息及所述发生变化的图像块的位置信息。
步骤S502：终端对所述当前帧图像的编码数据进行解码，得到当前帧图像中与获取到的上一帧图像相比发生变化的图像块的像素信息，以及所述发生变化的图像块在当前帧源图像中的位置信息。
可选地，如果接收到其他终端进行JPEG编码压缩的编码数据，则本终端对接收到的编码数据进行JPEG解码。
步骤S503：终端根据所述位置信息，将所述发生变化的图像块的像素信息替换到所述上一帧图像中对应位置，将替换后的图像作为当前帧图像。
所述终端从解码出来的信息中，获得当前帧中发生变化的图像块的位置信息，根据所述位置信息，将所述上一帧图像中对应位置的像素信息替换为发生变化的图像块的像素信息，将替换后的图像作为当前帧图像显示。
图6是本申请图像编码处理装置一实施方式的结构示意图。请参与图6，所述图像编码处理装置包括获取模块610、获得模块620及编码模块630。
获取模块610用于获取当前帧的源图像中与上一帧图像相比所有发生变化的图像块，并将所述发生变化的图像块发送给获得模块620和编码模块630。在需要与其他终端共享图像时，获取模块610获取当前帧的源图像，并将所述当前帧的源图像与上一帧图像作比较，以确定所述当前帧的源图像中与上一帧图像相比所有发生变化的图像块。获取模块610获取当前帧的源图像中所有发生变化的图像块，并将所述发生变化的图像块发送给获得模块620和编码模块630。
其中，图像块为当前帧的源图像中部分的图像。例如，图像编码处理装置预先将所述当前帧的源图像分为16个固定区域，每个固定区域的图像即为当前帧的源图像中的图像块。或者，图像编码处理装置无需预先划分图像块，在将所述当前帧的源图像与上一帧图像作比较时，以是否发生变化划分图像块，即将当前帧源图像中发生变化的连续的一个部分，作为一个图像块，获取模块610则获取当前帧的源图像中所有发生变化的部分。
获得模块620用于获得所述发生变化的图像块在当前帧源图像中的位置信息，并将所述获得的位置信息发送给编码模块630。其中，所述位置信息为所述图像块在当前帧图像的像素坐标，或者所述发生变化的图像块在当前帧图像预先划分的图像块中的序号等能够确定所述发生变化的图像块在当前帧源图像中的位置的信息。
编码模块630用于接收所述发生变化的图像块和所述发生变化的图像块在当前帧源图像中的位置信息，对所述发生变化的图像块的像素和所述发生变化的图像块在当前帧源图像中的位置信息进行编码，得到当前帧图像的编码数据，并向接收终端发送所述获得的当前帧图像的编码数据，以使接收终端根据所述位置信息，将所述发生变化的图像块替换到接收到的上一帧图像中对应位置，并将替换后的图像作为当前帧图像显示。本实施方式中，编码模块630对所述发生变化的图像块的像素和所述发生变化的图像块在当前帧源图像中的位置信息进行JPEG编码压缩。当然，编码模块并不限于采用JEPG编码，在其他实施方式中，编码模块也可采用其他编码方式进行编码，在此不做限定。
本实施方式中，图像编码处理装置仅对发生变化的图像块进行编码，使得实现图像共享时，只传输图像中发生变化的图像块的编码数据，减少了图像发送的数据量。同时，由于图像传输数据量的减少，降低了对编码方式的要求，使得普遍支持JPEG等编码压缩技术的普通终端如手机、平板电脑（Pad）、机顶盒、电脑等，即可实现图像的实时共享。
图7是本申请图像编码处理装置另一实施方式的结构示意图。请参阅图7，所述图像编码处理装置包括：获取模块710、获得模块720及编码模块730。其中，获取模块710包括转换单元711、降采样单元712、比较单元713及获取单元714，编码模块730包括计算单元731和编码单元732。
转换单元711用于将所述当前帧的源图像转换为YUV格式的源图像，并将降采样结果发送给降采样单元712。
一般，图像以RGB格式保存在本地终端中。对于RGB格式的图像，每个像素颜色均必须结合三个分别代表红、绿、蓝三种颜色强度数值才能表示出来。而对于YUV格式的图像，其像素点的亮度信号Y和色度信号U、V是分离的。由于人类的视觉对亮度的变化比色度敏感得多。当图像亮度发生轻微的变化，人类的视觉也能察觉，故可利用亮度信号Y确定图像是否发生人类能够识别的变化。由于图像色度发生变化，一般也伴随着亮度的变化，故只利用亮度信号Y也能体现出图像色度的变化。因此，可仅利用亮度信号Y来表示图像的像素点，以实现判断图像是否发生变化，且能降低图像的数据量。同时，较于RGB格式，YUV格式具有良好的兼容性，一些图像压缩技术如JPEG也只支持YUV格式的数据结构的输入。在当前帧的源图像为RGB格式时，转换单元711将当前帧的RGB格式源图像转换为YUV格式的源图像，以降低图像的数据量，同时也有利于在图像编码处理装置所在的本地终端中通过JPEG进行压缩保存，以减少图像的存储空间。
降采样单元712用于对所述YUV格式的源图像进行降采样，并将降采样中获得的亮度值作为降采样值，将降采样值发送给比较单元713。
在人类的视觉中，对亮度的变化更为敏感，故可通过以图像的像素点的亮度值作为参考，确定当前帧的源图像与前一帧图像相比发生从视觉上能看出的变化部分，降低了对图像的运算量。同时，在图像局部范围内，图像像素的亮度值倾向于连续一致的，只有在图像中物体的边缘区域，图像像素的亮度值才会发生较为剧烈的变化。因此，在图像局部范围内，通过降采样方式获取图像局部范围内亮度值，也可反映出该局部范围中整体的亮度情况，对于整个图像，图像中物体的边缘区域所占的比例是很少的，故使用降采样方式对图像的亮度值进行获取，对检测当前帧图像与前一帧图像的变化，影响不大。
转换单元711将当前帧的RGB格式源图像转换为YUV格式的源图像后，降采样单元712对YUV格式的源图像进行降采样，并将降采样中获得的亮度值作为降采样值。由于YUV图像存储的方式是多样的，既可以将图像所有像素点的亮度信号Y存放在一起，也可以将图像每个像素点的Y、U、V信号一起存放。如果图像所有像素点的亮度信号Y存放在一起，则可以对YUV格式的源图像的亮度值图像部分进行降采样，将降采样得到的亮度值直接作为降采样值。如果图像每个像素点的Y、U、V信号一起存放，则可对YUV格式的源图像进行降采样，从降采样获得的Y、U、V信号中仅获取Y信号（即亮度值）作为降采样值。
通过对YUV格式的源图像进行降采样，也降低了图像编码处理装置对图像亮度值的运算量。例如，降采样单元712以采样倍数为9对图像进行降采样。降采样单元712对图像每9个像素点组成的正方形区域对位于所述正方形区域中间的像素点进行降采样，并获取降采样的亮度值，以代表所述正方形区域的亮度值，进而降低了对图像亮度值的运算量。
可以理解的是，本实施方式中，降采样单元712以局部区域的中间点的亮度值作为局部区域的亮度值。在其他实施方式中，也可以局部区域中的其他像素点的亮度值作为局部区域的亮度值，在此不作限定。另外，降采样单元712进行降采样的采样倍数为预先设定的固定值。当然，在具体应用实施方式中，所述采样倍数可由降采样单元712根据实际情况进行不同数值的设定，或者，降采样单元712也可获取用户在相应输入界面输入的数值作为所述采样倍数。同时，为保证对图像一定的采集次数，以使能够检测出图像变化部分，所述采样倍数的数值不能过大。
比较单元713用于接收所述当前帧源图像的降采样值，将所述当前帧源图像所有的降采样值分别与对应上一帧图像的降采样值作差，得到所述当前帧源图像与所述上一帧图像相比所有的降采样差值，并发送给所述获取单元714。降采样单元712对YUV源图像进行降采样后，比较单元713将对所述当前帧源图像所有降采样获得的亮度值分别与上一帧图像的对应降采样的亮度值作差，获得所述当前帧图像中所有进行降采样的像素点与上一帧图像对应像素点的亮度差值，形成差值图。
获取单元714用于将所述当前帧的源图像等分为预设数目的图像块，将当前帧源图像的图像块中的所有降采样差值的绝对值相加，获得所述图像块与所述上一帧图像对应的图像块相比的总降采样差值，判断所述图像块的总降采样差值是否大于预设的阈值，如果大于所述预设的阈值，则确定所述图像块发生变化，并获取发生变化的所述图像块，将发生变化的图像块发送给获得模块720和编码模块730。
获取单元714将所述当前帧的源图像等分为预设数目的图像块，以使每个图像块进行相同数目的降采样，进而保证获取单元714通过比较每个图像块中相同数目个差值的总体情况与预设的阈值的关系来正确检测出图像是否发生变化。本实施方式中，所述预设数目为获取单元714根据图像分辨率的实际大小进行设定的数值，如在获得当前帧源图像的分辨率为1280*720时，获取单元714将所述预设数值设定为16。当然，在其他实施方式中，所述预设数目也可以为获取单元714获取用户在相应输入界面输入的一预设数值，在此不作限定。
获取单元714根据当前帧源图像的每一图像块中进行降采样的像素点与上一帧图像对应像素点的亮度差值，以及公式计算出每一图像块中的所有降采样的亮度值与上一帧图像对应降采样亮度值的差值的绝对值的和，即图像块与所述上一帧图像对应的图像块相比的总降采样差值。每一图像块的所述总降采样差值的大小，即可反映出所述图像块与上一帧图像对应图像块相比发生变化的程度。其中，SAD(m,n)为当前帧源图像中(m,n)图像块中的所有降采样的亮度值与上一帧图像对应降采样亮度值的差值的绝对值的和，结合图4，(m,n)图像块为位于图像在第一方向X上第m个，在第二方向Y上第n个的图像块。|D(i,j)|为当前帧源图像中在第一方向X上第i个，在第二方向Y上第j个像素点与上一帧图像对应像素点的亮度差值的绝对值，(i,j)∈Ptach(m,n)表示图像中在第一方向X上第i个，在第二方向Y上第j个像素点位于（m，n）图像块中。
获取单元714计算每一图像块的降采样差值的绝对值的和，获得每一图像块总降采样差值之后，判断每一图像块的总降采样差值是否大于预设的阈值，在所述图像块的总降采样差值大于预设的阈值时，确定所述当前帧源图像中的所述图像块发生改变，获取单元714获取前帧源图像中所有发生变化的所述图像块。
可以理解的是，所述预设的阈值可以是获取单元714预先设定的固定值，或者也可以为获取单元714获取用户在相应输入界面输入的一预设数值，在此不作限定。另外，对于不同的图像，可对所述阈值设定为不同值。例如，对于非自然拍摄的图像或视频信息（比如动漫、桌面图片），由于这种图像或视频信息没有受到自然噪声的影响，故阈值可以选择较小值。
当然，在其他实施方式中，获取单元714未必通过对图像块中所有降采样亮度差值的绝对值的和与预设的阈值的比较，确定图像块是否发生变化。获取单元714还可以通过对所有降采样亮度差值的绝对值的平均值与另一预设的阈值进行比较，确定图像块是否发生变化，在此不作限定。
获得模块720获得所述发生变化的图像块在当前帧源图像中的位置信息，并将所述获得的位置信息发送给编码模块730的编码单元732。
计算单元731用于分别计算出所述发生变化的图像块以不同组合方式进行编码需要的编码时间，选取编码时间最少的组合方式。由于不同大小的图像块编码耗费的运算代价不同，即需要的编码时间不同。计算单元731提前获得不同大小的图像块需要的编码时间，一般，计算单元731在系统初始化时获得所述编码时间。在获得当前帧源图像中的所有发生变化的图像块后，计算单元731分别计算出所述发生变化的图像块以不同组合方式组合成不同大小的图像块进行编码时需要的编码时间，并根据所述发生变化的图像块的不同组合需要的编码时间，选取需要的编码时间最少的所述发生变化的图像块的组合方式，并发送给编码单元732。
编码单元732用于将所述发生变化的图像块以所述编码时间最少的组合方式进行组合，并对所述发生变化的图像块组合的像素和所述发生变化的图像块组合在当前帧源图像中的位置信息进行编码，得到当前帧图像的编码数据，并发送给接收终端，以使接收终端根据所述位置信息，将所述发生变化的图像块替换到接收到的上一帧图像中对应位置，并将替换后的图像作为当前帧图像显示。
当然，在其他实施方式中，获取模块未必均包括转换单元和降采样单元。如果需要发送的图像分辨率较低，获取模块可以通过转换单元将当前帧的源图像转换为YUV格式后，直接通过比较单元对YUV格式图像的每个像素点进行差值比较；或者也可以通过降采样单元直接对RGB格式的源图像进行降采样，通过比较单元对源图像中进行降采样的像素点的红、绿、蓝三种颜色强度分别进行差值比较，并通过获取单元分别判断图像块中红、绿、蓝三种颜色强度的差值的绝对值的和，判断图像块是否发生变化。
图8是本申请图像解码处理装置一实施方式的结构示意图。请参阅图8，所述图像解码处理装置包括获取模块810、解码模块820及替换模块830。
获取模块810用于获取当前帧图像的编码数据，并将所述当前帧图像的编码数据发送给解码模块820。在其他终端向图像解码装置所在终端发送当前帧图像的编码数据时，图像解码装置所在终端接收所述当前帧图像的编码数据。获取模块810获取当前帧图像的编码数据。其中，所述当前帧图像的编码数据包括当前帧图像中与接收到的上一帧图像相比发生变化的图像块的像素信息及所述发生变化的图像块的位置信息。
解码模块820用于对所述当前帧图像的编码数据进行解码，得到当前帧图像中与获取到的上一帧图像相比发生变化的图像块的像素信息，以及所述发生变化的图像块在当前帧源图像中的位置信息，并将所述像素信息及位置信息发送给替换模块830。可选地，在接收到其他终端进行JPEG编码压缩的编码数据时，解码模块820对接收到的编码数据进行JPEG解码。
替换模块830用于根据所述位置信息，将所述发生变化的图像块的像素信息替换到所述上一帧图像中对应位置，将替换后的图像作为当前帧图像。替换模块830接收当前帧中发生变化的图像块的像素信息和位置信息，根据所述位置信息，将所述上一帧图像中对应位置的像素信息替换为发生变化的图像块的像素信息，将替换后的图像作为当前帧图像显示。
图9是本申请图像编码处理装置再一实施方式的结构示意图。请参阅图9，所述图像编码处理装置包括处理器910、存储器920、发送器930及总线940，其中，处理器910、存储器920及发送器930通过总线940进行连接。
存储器920用于存放程序。具体地，程序可以包括程序代码，所述程序代码包括计算机操作指令。存储器920还用于存储处理器910运行时需要使用的数据及处理器910获取到的数据，如处理器910获取的当前帧源图像的发生变化的图像块、图像块的编码时间等。
处理器910执行存储器920所存放的程序，用于获取当前帧的源图像中与上一帧图像相比所有发生变化的图像块，并获得所述发生变化的图像块在当前帧源图像中的位置信息，对所述发生变化的图像块的像素和所述发生变化的图像块在当前帧源图像中的位置信息进行编码，得到当前帧图像的编码数据。
具体地，在需要与其他终端共享图像时，处理器910获取当前帧的源图像，并将所述当前帧的源图像与上一帧图像作比较，以确定所述当前帧的源图像中与上一帧图像相比所有发生变化的图像块。处理器910获取当前帧的源图像中所有发生变化的图像块。其中，图像块为当前帧的源图像中部分的图像。
处理器910将所述当前帧的源图像转换为YUV格式的源图像，对所述YUV格式源图像进行降采样，将降采样获得的亮度值作为降采样值，将所述当前帧源图像所有的降采样值分别与对应上一帧图像的降采样值作差，得到所述当前帧源图像与所述上一帧图像相比所有的降采样差值，并获取所述当前帧源图像中降采样差值满足预设条件的所有发生变化的图像块。
在当前帧的源图像为RGB格式时，处理器910将当前帧的RGB格式源图像转换为YUV格式的源图像，以降低图像的数据量，同时也有利于在图像编码处理装置所在的本地终端中通过JPEG进行压缩保存，以减少图像的存储空间。
处理器910将当前帧的RGB格式源图像转换为YUV格式的源图像后，对YUV格式的源图像进行降采样，并将降采样获得的亮度值作为降采样值，降低了图像编码处理装置对图像亮度值的运算量。例如，处理器910以采样倍数为9对图像进行降采样。处理器910对图像每9个像素点组成的正方形区域对位于所述正方形区域中间的像素点进行降采样，并获取降采样的亮度值，以代表所述正方形区域的亮度值，进而降低了对图像亮度值的运算量。
可以理解的是，本实施方式中，处理器910以局部区域的中间点的亮度值作为局部区域的亮度值。在其他实施方式中，也可以局部区域中的其他像素点的亮度值作为局部区域的亮度值，在此不作限定。另外，处理器910进行降采样的采样倍数为预先设定的固定值。当然，在具体应用实施方式中，所述采样倍数可由处理器910根据实际情况进行不同数值的设定，或者，处理器910也可获取用户在相应输入界面输入的数值作为所述采样倍数。同时，为保证对图像一定的采集次数，以使能够检测出图像变化部分，所述采样倍数的数值不能过大。
处理器910对当前帧源图像的亮度值进行降采样后，将对所述当前帧源图像所有降采样获得的亮度值分别与上一帧图像的对应降采样的亮度值作差，获得所述当前帧图像中所有进行降采样的像素点与上一帧图像对应像素点的亮度差值，形成差值图，并获取当前帧图像的亮度差值情况满足预设条件的发生变化的图像块。
进一步具体地，处理器910还将所述当前帧的源图像等分为预设数目的图像块，将当前帧源图像的图像块中的所有降采样差值的绝对值相加，获得所述图像块与所述上一帧图像对应的图像块相比的总降采样差值，判断所述图像块的所述总降采样差值是否大于预设的阈值，如果大于所述预设的阈值，则确定所述图像块发生变化，并获取发生变化的所述图像块。
处理器910将所述当前帧的源图像等分为预设数目的图像块后，根据当前帧源图像的每一图像块中进行降采样的像素点与上一帧图像对应像素点的亮度差值，以及公式计算出每一图像块中的所有降采样的亮度值与上一帧图像对应降采样亮度值的差值的绝对值的和，即图像块与所述上一帧图像对应的图像块相比的总降采样差值。每一图像块的所述总降采样差值的大小，即可反映出所述图像块与上一帧图像对应图像块相比发生变化的程度。其中，SAD(m,n)为当前帧源图像中(m,n)图像块中的所有降采样的亮度值与上一帧图像对应降采样亮度值的差值的绝对值的和，结合图4，(m,n)图像块为位于图像在第一方向X上第m个，在第二方向Y上第n个的图像块。|D(i,j)|为当前帧源图像中在第一方向X上第i个，在第二方向Y上第j个像素点与上一帧图像对应像素点的亮度差值的绝对值，(i,j)∈Ptach(m,n)表示图像中在第一方向X上第i个，在第二方向Y上第j个像素点位于（m，n）图像块中。
处理器910获得每一图像块的所述总降采样差值之后，判断每一图像块的总降采样差值是否大于预设的阈值。在所述图像块的总降采样差值大于预设的阈值时，确定所述当前帧源图像中的所述图像块发生改变，处理器910获取前帧源图像中所有发生变化的所述图像块，并将发生变化的图像块以所述编码时间最少的组合方式进行JPEG编码压缩，获得所述当前帧图像的编码数据。
可以理解的是，所述预设的阈值可以是处理器910预先设定的固定值，或者也可以为处理器910获取用户在相应输入界面输入的一预设数值，在此不作限定。另外，对于不同的图像，可对所述阈值设定为不同值。例如，对于非自然拍摄的图像或视频信息（比如动漫、桌面图片），由于这种图像或视频信息没有受到自然噪声的影响，故阈值可以选择较小值。
当然，在其他实施方式中，处理器910未必通过对图像块中所有降采样亮度差值的绝对值的和与预设的阈值的比较，确定图像块是否发生变化。处理器910还可以通过对所有降采样亮度差值的绝对值的平均值与另一预设的阈值进行比较，确定图像块是否发生变化，在此不作限定。
处理器910获得当前帧图像中所有发生变化的图像块后，分别计算出所述发生变化的图像块以不同组合方式进行编码需要的编码时间，选取编码时间最少的组合方式。
由于不同大小的图像块编码耗费的运算代价不同，即需要的编码时间不同。处理器910提前获得不同大小的图像块需要的编码时间，一般，处理器910在系统初始化时获得所述编码时间。在获得当前帧源图像中的所有发生变化的图像块后，处理器910分别计算出所述发生变化的图像块以不同组合方式组合成不同大小的图像块进行编码时需要的编码时间，并根据所述发生变化的图像块的不同组合需要的编码时间，选取需要的编码时间最少的所述发生变化的图像块的组合方式。
处理器910获得所述发生变化的图像块在当前帧源图像中的位置信息，及对将所述发生变化的图像块以所述编码时间最少的组合方式进行组合，并对所述发生变化的图像块组合的像素和所述发生变化的图像块组合在当前帧源图像中的位置信息进行编码，得到当前帧图像的编码数据，并发送给接收终端，以使接收终端根据所述位置信息，将所述发生变化的图像块替换到接收到的上一帧图像中对应位置，并将替换后的图像作为当前帧图像显示。
发送器930用于发送处理器910获得的当前帧图像的编码数据。
本实施方式中，图像编码处理装置仅对发生变化的图像进行发送，减少了图像传输的数据量。同时，图像编码处理装置对发生变化的图像以编码时间最少的组合方式进行编码，使得编码耗费的运算代价降为最少，进而提高了图像编码的效率。
图10是本申请图像解码处理装置另一实施方式的结构示意图。请参阅图10，所述图像解码处理装置包括处理器1010、存储器1020、接收器1030及总线1040，其中，处理器1010、存储器1020及接收器1030通过总线1040进行连接。
存储器1020用于存放程序。具体地，程序可以包括程序代码，所述程序代码包括计算机操作指令。存储器1020还用于存储处理器1010运行时需要使用的数据及接收器1030接收到的数据。
接收器1030用于接收当前帧图像的编码数据。在其他终端向图像解码装置发送当前帧图像的编码数据时，接收器1030接收当前帧图像的编码数据。其中，所述当前帧图像的编码数据包括当前帧图像中与接收到的上一帧图像相比发生变化的图像块的像素信息及所述发生变化的图像块的位置信息。
处理器1010执行存储器1020所存放的程序，用于对所述当前帧图像的编码数据进行解码，并根据所述位置信息，将所述发生变化的图像块的像素信息替换到接收到的上一帧图像中对应位置，将替换后的图像作为当前帧图像。可选地，在接收到其他终端进行JPEG编码压缩的编码数据时，处理器1010对数据中的图像发生变化的图像块的像素信息进行JPEG解码。
本申请还提供一种终端的实施方式，所述终端包括图6、7、9任一实施方式中所示的图像编码处理装置，和/或图8、10任意实施方式中所示的图像解码处理装置。具体说明请参阅图6至图10以及相关文字说明，在此不再赘述。
另外，本申请中所述图像编、解码处理的方法、装置及终端针对的处理对象为图像，但所述图像并不能认为仅限为静止的图像，还包括动态图像及视频信息等，在此不作限定。
通过上述方案，本申请获取当前帧源图像发生变化的图像块，进而仅对当前帧的源图像发生变化的图像块进行编码，减少了图像传输的编码数据量，进而也降低了图像传输的时间，同时，本申请通过计算发生变化的图像块的不同组合的编码时间，以选取最少编码时间的组合方式进行编码，降低了图像编码的时间，再者，由于图像传输数据量的减少，降低了对编码方式的要求，实现了在普通的终端上图像的实时共享。
在本申请所提供的几个实施方式中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
另外，在本申请各个实施方式中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）或处理器（processor）执行本申请各个实施方式所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
Claims (13)
1.一种图像编码处理的方法，其特征在于，包括以下步骤：
获取当前帧的源图像中与上一帧图像相比所有发生变化的图像块，所述图像块为所述当前帧的源图像中部分的图像；
获得所述发生变化的图像块在当前帧源图像中的位置信息；
对所述发生变化的图像块的像素和所述发生变化的图像块在当前帧源图像中的位置信息进行编码，得到当前帧图像的编码数据，以使接收终端根据所述位置信息，将所述发生变化的图像块替换到接收到的上一帧图像中对应位置，并将替换后的图像作为当前帧图像显示；
其中，所述对发生变化的图像块的像素和所述发生变化的图像块在当前帧源图像中的位置进行编码，得到当前帧图像的编码数据的步骤包括：
分别计算出相邻的所述发生变化的图像块以不同组合方式进行编码需要的编码时间，选取编码时间最少的组合方式；
将所述相邻的发生变化的图像块以所述编码时间最少的组合方式进行组合，并对所述相邻的发生变化的图像块组合的像素和所述相邻的发生变化的图像块组合在当前帧源图像中的位置信息进行编码，得到当前帧图像的编码数据。
2.根据权利要求1所述的方法，其特征在于，所述获取当前帧的源图像中与上一帧图像相比所有发生变化的图像块的步骤包括：
对所述当前帧源图像进行降采样；
将所述当前帧源图像所有的降采样值分别与对应上一帧图像的降采样值作差，得到所述当前帧源图像与所述上一帧图像相比所有的降采样差值；
获取所述当前帧源图像中所述降采样差值满足预设条件的所有发生变化的图像块。
3.根据权利要求2所述的方法，其特征在于，所述对当前帧源图像进行降采样的步骤包括：
将所述当前帧的源图像转换为YUV格式的源图像；
对所述YUV格式的源图像进行降采样，并将降采样中获得的亮度值作为降采样值。
4.根据权利要求2所述的方法，其特征在于，所述获取当前帧源图像中所述降采样差值满足预设条件的所有发生变化的图像块的步骤包括：
将所述当前帧的源图像等分为预设数目的图像块；
将所述当前帧源图像的图像块中的所有降采样差值的绝对值相加，获得所述图像块与所述上一帧图像对应的图像块相比的总降采样差值；
判断所述图像块的总降采样差值是否大于预设的阈值，如果大于所述预设的阈值，则确定所述图像块发生变化，并获取发生变化的所述图像块。
5.一种图像解码处理的方法，其特征在于，包括以下步骤：
获取当前帧图像的编码数据；
对所述当前帧图像的编码数据进行解码，得到当前帧图像中与获取到的上一帧图像相比发生变化的图像块的像素信息，以及所述发生变化的图像块在当前帧源图像中的位置信息；
根据所述位置信息，将所述发生变化的图像块的像素信息替换到所述上一帧图像中对应位置，将替换后的图像作为当前帧图像；
其中，所述当前帧图像的编码数据由：分别计算出相邻的所述发生变化的图像块以不同组合方式进行编码需要的编码时间，选取编码时间最少的组合方式；将所述相邻的发生变化的图像块以所述编码时间最少的组合方式进行组合，并对所述相邻的发生变化的图像块组合的像素和所述相邻的发生变化的图像块组合在当前帧源图像中的位置信息进行编码而得到。
6.根据权利要求5所述的方法，其特征在于，所述对当前帧图像的编码数据进行解码的步骤包括：
对所述当前帧图像的编码数据进行联合图像专家组JPEG解码。
7.一种图像编码处理装置，其特征在于，包括获取模块、获得模块及编码模块；
所述获取模块用于获取当前帧的源图像中与上一帧图像相比所有发生变化的图像块，将所述发生变化的图像块发送给所述获得模块和所述编码模块，所述图像块为所述当前帧的源图像中部分的图像；
所述获得模块用于获得所述发生变化的图像块在当前帧源图像中的位置信息，并将所述位置信息发送给所述编码模块；
所述编码模块用于接收所述发生变化的图像块和所述发生变化的图像块在当前帧源图像中的位置信息，对所述发生变化的图像块的像素和所述发生变化的图像块在当前帧源图像中的位置信息进行编码，得到当前帧图像的编码数据，以使接收终端根据所述位置信息，将所述发生变化的图像块替换到接收到的上一帧图像中对应位置，并将替换后的图像作为当前帧图像显示；
其中，所述编码模块包括计算单元和编码单元；
所述计算单元用于计算出相邻的所述发生变化的图像块以不同组合方式进行编码需要的编码时间，选取编码时间最少的组合方式，并将所述编码时间最少的组合方式发送给编码单元；
所述编码单元用于将所述相邻的发生变化的图像块以所述编码时间最少的组合方式进行组合，并对所述相邻的发生变化的图像块组合的像素和所述相邻的发生变化的图像块组合在当前帧源图像中的位置信息进行编码，得到当前帧图像的编码数据。
8.根据权利要求7所述的装置，其特征在于，所述获取模块包括降采样单元、比较单元及获取单元；其中，
所述降采样单元用于对所述当前帧源图像进行降采样，并将降采样值发送给所述比较单元；
所述比较单元用于接收所述当前帧源图像的降采样值，将所述当前帧源图像所有的降采样值分别与对应上一帧图像的降采样值作差，得到所述当前帧源图像与所述上一帧图像相比所有的降采样差值，并发送给所述获取单元；
所述获取单元用于接收所述当前帧源图像所有的降采样差值，获取所述当前帧源图像中所述降采样差值满足预设条件的所有发生变化的图像块，并将所述发生变化的图像块发送给所述计算模块和所述编码模块。
9.根据权利要求8所述的装置，其特征在于，获取模块还包括转换单元；
所述转换单元用于将所述当前帧源图像转换为YUV格式的源图像，并将所述YUV格式的源图像发送给所述降采样单元；
所述降采样单元进一步用于接收所述YUV格式的源图像，对所述YUV格式源图像进行降采样，并将降采样中获得的亮度值作为降采样值。
10.根据权利要求8所述的装置，其特征在于，
所述获取单元进一步用于将所述当前帧的源图像等分为预设数目的图像块，将所述当前帧源图像的图像块中的所有降采样差值的绝对值相加，获得所述图像块与所述上一帧图像对应的图像块相比的总降采样差值，判断所述图像块的总降采样差值是否大于预设的阈值，如果大于所述预设的阈值，则确定所述图像块发生变化，并获取发生变化的所述图像块。
11.一种图像解码处理装置，其特征在于，包括获取模块、解码模块及替换模块；
所述获取模块用于获取当前帧图像的编码数据，并将所述当前帧图像的编码数据发送给所述解码模块；
所述解码模块用于对所述当前帧图像的编码数据进行解码，得到当前帧图像中与获取到的上一帧图像相比发生变化的图像块的像素信息，以及所述发生变化的图像块在当前帧源图像中的位置信息，并将所述像素信息及位置信息发送给所述替换模块；
所述替换模块用于根据所述位置信息，将所述发生变化的图像块的像素信息替换到所述上一帧图像中对应位置，将替换后的图像作为当前帧图像；
其中，所述当前帧图像的编码数据由：分别计算出相邻的所述发生变化的图像块以不同组合方式进行编码需要的编码时间，选取编码时间最少的组合方式；将所述相邻的发生变化的图像块以所述编码时间最少的组合方式进行组合，并对所述相邻的发生变化的图像块组合的像素和所述相邻的发生变化的图像块组合在当前帧源图像中的位置信息进行编码而得到。
12.根据权利要求11所述的装置，其特征在于，
所述解码模块进一步用于对所述当前帧图像的编码数据进行联合图像专家组JPEG解码。
13.一种终端，其特征在于，包括权利要求7至10任一项所述的图像编码处理装置，和/或权利要求11或12所述的图像解码处理装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310226142.5A CN103281539B (zh) | 2013-06-07 | 2013-06-07 | 一种图像编、解码处理的方法、装置及终端 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310226142.5A CN103281539B (zh) | 2013-06-07 | 2013-06-07 | 一种图像编、解码处理的方法、装置及终端 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103281539A CN103281539A (zh) | 2013-09-04 |
| CN103281539B true CN103281539B (zh) | 2016-10-05 |
Family
ID=49063968
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201310226142.5A Active CN103281539B (zh) | 2013-06-07 | 2013-06-07 | 一种图像编、解码处理的方法、装置及终端 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103281539B (zh) |
Families Citing this family (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106790132A (zh) * | 2016-12-28 | 2017-05-31 | 天津天地伟业生产力促进有限公司 | 基于rtmp的无插件预览视频方法 |
| CN106713928B (zh) * | 2016-12-29 | 2020-04-10 | 深圳Tcl数字技术有限公司 | 视频编码与解码方法及装置 |
| CN106534211A (zh) * | 2016-12-29 | 2017-03-22 | 四川九洲电器集团有限责任公司 | 一种数据传输方法及电子设备 |
| CN109309867A (zh) * | 2017-07-28 | 2019-02-05 | 中兴通讯股份有限公司 | 终端的显示方法、显示终端及计算机可读存储介质 |
| CN111263216B (zh) * | 2020-02-14 | 2022-06-10 | Tcl移动通信科技（宁波）有限公司 | 一种视频传输方法、装置、存储介质及终端 |
| CN113395382B (zh) * | 2020-02-27 | 2023-08-22 | 华为技术有限公司 | 一种设备间数据交互的方法及相关设备 |
| CN111459428B (zh) * | 2020-02-28 | 2023-01-06 | 通彩视听科技(上海)有限公司 | 显示界面同步方法、装置、计算机设备及存储介质 |
| CN111371962B (zh) * | 2020-04-20 | 2021-09-07 | 广州市星飞达电子科技有限公司 | 一种视频图像传输方法及传输系统 |
| CN113905240A (zh) * | 2020-06-22 | 2022-01-07 | 中兴通讯股份有限公司 | 视频编码方法及装置、服务器、存储介质 |
| CN111787355A (zh) * | 2020-06-29 | 2020-10-16 | 西安万像电子科技有限公司 | 远程图像更新的方法及装置 |
| CN111953986A (zh) * | 2020-07-23 | 2020-11-17 | 西安万像电子科技有限公司 | 图像处理方法及装置 |
| CN114579068B (zh) * | 2020-11-30 | 2024-06-25 | 华为技术有限公司 | 一种多屏协同的显示方法及电子设备 |
| CN113079379A (zh) * | 2021-03-26 | 2021-07-06 | 山东英信计算机技术有限公司 | 一种视频压缩方法、装置、设备及计算机可读存储介质 |
| CN113315969B (zh) * | 2021-07-29 | 2021-11-05 | 杭州子默网络科技有限公司 | 一种适用于图像传输的数据处理方法、系统和存储介质 |
| CN113613014A (zh) * | 2021-08-03 | 2021-11-05 | 北京爱芯科技有限公司 | 一种图像解码方法、装置和图像编码方法、装置 |
| CN113747224A (zh) * | 2021-08-20 | 2021-12-03 | 成都安恒信息技术有限公司 | 一种实现定点播放时恢复全屏画面的方法 |
| CN113873097A (zh) * | 2021-09-27 | 2021-12-31 | 北京紫光展锐通信技术有限公司 | 一种运动检测方法、装置、存储介质和电子设备 |
| CN114189753A (zh) * | 2021-11-26 | 2022-03-15 | 安徽创世科技股份有限公司 | 一种视频片选的分享方法、装置 |
| CN115460419A (zh) * | 2022-09-01 | 2022-12-09 | 联想(北京)有限公司 | 图像处理方法、装置、电子设备及存储介质 |
| CN117915022A (zh) * | 2022-10-11 | 2024-04-19 | 中兴通讯股份有限公司 | 图像处理方法、装置和终端 |
| CN115955573A (zh) * | 2023-03-15 | 2023-04-11 | 广州思涵信息科技有限公司 | 一种二维图像实时远程同步投射方法 |
| CN116996503B (zh) * | 2023-08-03 | 2024-05-07 | 纽扣数字智能科技(深圳)集团有限公司 | 一种桌面图像传输方法、系统、电子设备及介质 |
| CN117411998B (zh) * | 2023-09-05 | 2024-09-24 | 北京仁光科技有限公司 | 基于网络传输的监控系统、方法、设备和介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1622618A (zh) * | 2004-12-24 | 2005-06-01 | 北京中星微电子有限公司 | 一种屏幕广播方法 |
| CN101883275A (zh) * | 2009-05-04 | 2010-11-10 | 青岛海信数字多媒体技术国家重点实验室有限公司 | 视频编码方法 |
| CN102695053A (zh) * | 2012-04-24 | 2012-09-26 | 浙江工业大学 | 一种基于图像平滑度的自适应视频无损压缩方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8885707B2 (en) * | 2005-04-01 | 2014-11-11 | Panasonic Corporation | Image decoding apparatus and image decoding method |
-
2013
- 2013-06-07 CN CN201310226142.5A patent/CN103281539B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1622618A (zh) * | 2004-12-24 | 2005-06-01 | 北京中星微电子有限公司 | 一种屏幕广播方法 |
| CN101883275A (zh) * | 2009-05-04 | 2010-11-10 | 青岛海信数字多媒体技术国家重点实验室有限公司 | 视频编码方法 |
| CN102695053A (zh) * | 2012-04-24 | 2012-09-26 | 浙江工业大学 | 一种基于图像平滑度的自适应视频无损压缩方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN103281539A (zh) | 2013-09-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103281539B (zh) | 一种图像编、解码处理的方法、装置及终端 | |
| CN105959700B (zh) | 视频图像编码的方法、装置、存储介质和终端设备 | |
| US9013536B2 (en) | Augmented video calls on mobile devices | |
| US20140092439A1 (en) | Encoding images using a 3d mesh of polygons and corresponding textures | |
| EP4020370A1 (en) | Image processing method and device | |
| CN101350929B (zh) | 表示图像帧的非帧边缘区块时的增强的压缩方法 | |
| WO2017069892A1 (en) | Method and system of video coding with post-processing indication | |
| CN111131828B (zh) | 一种图像压缩方法、装置、电子设备和存储介质 | |
| KR20120118501A (ko) | 코딩 구조 | |
| CN114339238A (zh) | 视频编码的方法、视频解码的方法及其装置 | |
| CN114125448B (zh) | 视频编码方法、解码方法及相关装置 | |
| CN113727073A (zh) | 一种基于云计算实现车载视频监控的方法及系统 | |
| CN111246208B (zh) | 视频处理方法、装置及电子设备 | |
| CN108668170B (zh) | 图像信息处理方法及装置、存储介质 | |
| TW201204059A (en) | Video transmission by decoupling color components and apparatus thereof and processor readable tangible medium encoded with instructions | |
| CN113613024B (zh) | 视频预处理方法及设备 | |
| JP4540552B2 (ja) | 画像伝送装置 | |
| CN111953986A (zh) | 图像处理方法及装置 | |
| CN111314701A (zh) | 视频处理方法及电子设备 | |
| US11218725B2 (en) | Method for encoding video using effective differential motion vector transmission method in omnidirectional camera, and method and device | |
| US11233999B2 (en) | Transmission of a reverse video feed | |
| CN104581186B (zh) | 一种图像压缩中对帧内移动矢量进行编码和解码的方法 | |
| KR101251879B1 (ko) | 멀티미디어 클라우드 시스템에서 화면변화에 따른 광고영상 출력 장치 및 방법 | |
| CN118646878A (zh) | 一种图像编解码方法、装置、编码器、解码器和系统 | |
| CN116708809A (zh) | 处理方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant |