CN102143360B - 一种图像编码的方法及设备 - Google Patents

Abstract

本发明公开了一种图像编码的方法及设备，属于图像编码技术领域。该方法包括：采集当前屏幕图像发生变化的图像信息，根据采集到的当前屏幕图像发生变化的图像信息进行第一次编码，并将编码后的数据发送给客户端；每隔预定时间判断当前屏幕图像是否发生变化；如果当前屏幕图像未发生变化，且满足再次编码条件，则根据上次编码数据进行再次编码，并将编码后的数据发送给客户端。本发明通过采集当前屏幕图像发生变化的图像信息，根据采集到的图像信息进行第一次编码，并将编码后的数据发送给客户端，保证客户端能有较快的图像响应速度；在当前屏幕图像未发生变化时，再发送一些数据，能有效利用空闲带宽资源，使客户端图像的质量得到进一步改善。

Description

一种图像编码的方法及设备

技术领域

本发明涉及图像编码技术领域，特别涉及一种图像编码的方法及设备。

背景技术

为了在远端客户端上重现服务器主机屏幕的界面显示内容，服务器端需要将屏幕的图像传送到客户端。由于屏幕图像数据量巨大，服务器在传输图像时要对其进行编码压缩，使其在带宽资源有限的信道中传输。因此，在图像编码的过程中需要考虑服务器端的资源消耗和编码后的数据所占用的传输带宽。

现有技术在对图像进行编码时，为了考虑服务器端的资源消耗和编码后的数据所占用的传输带宽，采用了两种方案。第一种方案是：只对变化的图像进行编码传输，即如果屏幕发生变化，则对变化后的图像做一次编码，之后通过网络发送到客户端，否则，不进行图像编码；第二种方案是：不管当前屏幕图像是否发生变化，总是定时不间断的将屏幕图像进行编码，并发送到客户端。

在实现本发明的过程中，发明人发现现有技术至少存在以下问题：

对于第一种方案，由于只对变化的图像进行编码传输，在图像未发生变化时，由于无需传输图像编码导致带宽几乎处于空闲状态，造成浪费；对于第二种方案，如果时间间隔设定的较短，屏幕图像变化较慢时，有些编码将是没有必要的，即造成编码资源的浪费；屏幕图像变化较快时，变化的图像仍有可能在一定的时间间隔之后才被编码，因而产生了一定的时延；如果时间间隔设定的较长，则会导致客户端图像响应太慢。

发明内容

为了避免带宽资源浪费，以及服务器端资源浪费，提高客户端屏幕图像的响应速度，本发明实施例提供了一种图像编码的方法及设备。所述技术方案如下：

一方面，提供了一种图像编码的方法，所述方法包括：

采集当前屏幕图像发生变化的图像信息，根据采集到的所述当前屏幕图像发生变化的图像信息进行第一次编码，并将编码后的数据发送给客户端；

每隔预定时间判断所述当前屏幕图像是否发生变化；

如果所述当前屏幕图像未发生变化，且满足再次编码条件，则根据上次编码数据进行再次编码，并将编码后的数据发送给所述客户端；

其中，所述根据上次编码数据进行再次编码，具体包括：

根据上次编码数据重建对应的图像，并确定所述重建的图像与所述第一次编码前所对应的图像之间的对应点的差值；

对上次编码时的编码参数进行调整，得到当前编码参数，根据得到的所述当前编码参数对确定的所述差值进行编码。

另一方面，提供了一种图像编码的设备，所述设备包括：

采集模块，用于采集当前屏幕图像发生变化的图像信息；

第一编码模块，用于根据所述采集模块采集到的所述当前屏幕图像发生变化的图像信息进行第一次编码；

第一发送模块，用于将所述第一编码模块编码后的数据发送给客户端；

判断模块，用于每隔预定时间判断所述当前屏幕图像是否发生变化；

第二编码模块，用于在所述判断模块判断所述当前屏幕图像未发生变化，且满足再次编码条件时，根据上次编码数据进行再次编码；

第二发送模块，用于将所述第二编码模块编码后的数据发送给所述客户端；

其中，所述第二编码模块，具体用于在所述判断模块判断所述当前屏幕图像未发生变化，且满足再次编码条件时，根据上次编码数据重建对应的图像，并确定所述重建的图像与所述第一次编码前所对应的图像之间的对应点的差值；对上次编码时的编码参数进行调整，得到当前编码参数，根据得到的所述当前编码参数对确定的所述差值进行编码。

本发明实施例提供的技术方案带来的有益效果是：

通过在当前屏幕图像发生变化时，采集当前屏幕图像发生变化的图像信息，根据采集到的图像信息进行第一次编码，并将编码后的数据发送给客户端，保证客户端能有较快的图像响应速度；另外，在预定时间内当前屏幕图像没有发生变化时，再向客户端补充发送一些数据，不仅能够有效的利用空闲带宽资源，还能使客户端图像的质量得到进一步改善。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例1提供的图像编码的方法流程图；

图2是本发明实施例2提供的图像编码的方法流程图；

图3是本发明实施例3提供的图像编码的设备结构示意图；

图4是本发明实施例3提供的另一种图像编码的设备结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

实施例1

参见图1，本实施例提供了一种实时图像编码的方法，包括：

101：采集当前屏幕图像发生变化的图像信息，根据采集到的当前屏幕图像发生变化的图像信息进行第一次编码，并将编码后的数据发送给客户端；

102：每隔预定时间判断当前屏幕图像是否发生变化，如果当前屏幕图像发生变化，则返回步骤101，如果当前屏幕图像未发生变化，且满足再次编码条件，则执行步骤103；

103：根据上次编码数据进行再次编码，并将编码后的数据发送给客户端，流程结束。

本实施例提供的方法，通过在当前屏幕图像发生变化时，采集当前屏幕图像发生变化的图像信息，根据采集到的图像信息进行第一次编码，并将编码后的数据发送给客户端，保证客户端能有较快的图像响应速度；另外，在预定时间内当前屏幕图像没有发生变化时，再向客户端补充发送一些数据，不仅能够有效的利用空闲带宽资源，还能使客户端图像的质量得到进一步改善。

实施例2

本实施例提供了一种图像编码的方法，为了便于说明，本实施例以VNC(Virtual Network Computing，虚拟网络计算)系统中的tight编码为例，对本实施例提供的方法进行详细说明。参见图2，本实施例提供的图像编码的方法流程具体如下：

201：与客户端建立连接，协商初始压缩等级；

其中，压缩等级是在图像编码过程中用到的一种编码参数，编码参数根据采取不同的编码算法而有其具体的含义，本实施例不对具体编码参数进行限定，此处仅以编码参数为压缩等级为例；对于H.263、H.264等编码算法，编码参数指量化步长。一般来说，量化步长越大、压缩等级越高，编码后的数据量越小，但同时损失也越大，解码后图像的质量也越差。

关于初始压缩等级的协商，仅在客户端与服务器端建立连接时进行，协商的具体初始压缩等级与实际编码时希望得到的编码质量有关，本实施例不对具体协商方式进行限定，实际应用中，可依据现有技术实现，此处设协商后的初始压缩等级为C_init。

202：采集当前屏幕图像发生变化的图像信息；

其中，采集当前屏幕图像发生变化的图像信息的方法可利用现有技术实现，例如系统钩子、监控显存变化等技术，得到当前屏幕图像发生变化的区域大小和位置等信息，本实施例不对采集当前屏幕图像发生变化的图像信息的具体方式以及采集的具体信息进行限定。

203：根据采集到的当前屏幕图像发生变化的图像信息进行第一次编码，并将编码后的数据发送给客户端；

具体的，编码方法可依据现有技术实现，此处不作赘述。本实施例在进行第一次编码时，需要先确定编码参数，确定编码参数的方式可以有多种，此处不进行具体限定，仅以根据采集到的当前屏幕图像发生变化的区域大小，以及当前实际可用的带宽来确定编码参数为例。对于本实施例而言，编码参数为压缩等级，此处的压缩等级为C₁，当前实际可用的带宽为B，根据当前屏幕图像发生变化的区域大小得到变化区域的大小占全屏的比例U，最后，根据U与B的大小对C_init进行调整得到C₁。实际应用中，U越大，需要编码的数据量越大，然而当前实际可用带宽B的大小有限，因此，还需要根据当前实际可用带宽B对C_init进行调整，从而确定压缩等级C₁，具体公式如下：

C₁＝C_init+UpRound((U-0.5)/0.2)+(B_normal-B)/B_normal    式(1)

C₁＝Clip{C₁，1，9}            式(2)

其中，U取值范围为(0，1]，B_normal为正常情况下的可用带宽，取带宽的平均值；UpRound为((U-0.5)/0.2)的上取整，表示U以0.5为界限，超过0.5则C₁会在C_init的基础上有提高，U超过0.5的幅度以0.2为基准导致C₁提高的等级不同，例如，如果U在0.5到0.7之间，则C₁会在C_init的基础上提高一个等级，如果U在0.7到0.9之间，则C₁会在C_init的基础上提高两个等级，同理，U低于0.5时，使得C₁会在C_init的基础上降低。(B_normal-B)/B_normal表示C₁会根据实际可用的带宽情况在C_init的基础上有所调整，例如，B每超过B_normal的一倍会使得C₁降低一个等级。

式(2)的目的是将经式(1)计算后得到的C₁的值剪切到合理的范围，例如，本例中tight的压缩等级为1～9，则式(2)会将C₁控制在1～9之间。

204：每隔预定时间判断当前屏幕图像是否发生变化，如果是，则返回202；如果否，则执行205；

其中，预定时间的设定应大于每秒25帧(或30帧)的帧间隔时间40ms(或33ms)，因为每秒25帧(或30帧)一般默认为屏幕变化的最大帧率，那么40ms(或33ms)就是屏幕发生变化的最小的帧间隔时间，则预设时间应大于最小的帧间隔时间。如果预定时间的设定小于最小的帧间隔时间，则资源消耗的情况较大，即出现了与现有技术相同的缺陷。因此，优选的，本实施例将预定时间设定为100ms。当然，预定时间还可以取其他值，但要避免资源消耗过大的情况出现。

该步骤之所以每隔预定时间判读当前屏幕图像是否发生变化，是为了发送到客户端的图像质量还没有达到最高的时候，利用空闲带宽，补充发送图像的编码数据，使客户端的图像质量更好。

205：判断未发生变化的当前屏幕图像是否满足再次编码条件，如果是，则执行206；如果否，则返回204；

针对该步骤，本实施例不对再次编码条件进行限定，具体可将压缩等级作为再次编码条件，本实施例不对具体判断方式进行限定。例如，判断压缩等级是否等于1，如果等于1说明当前屏幕图像的压缩等级已经取到最低，客户端画面已经没有改善的余地，图像质量已经达到最高，则判断当前屏幕图像不满足再次编码条件，否则，可对当前屏幕图像进行再次编码，以提高图像质量，即继续执行206。

206：根据上次编码数据进行再次编码，流程结束；

具体的，再次编码仍然需要确定压缩等级，此处以压缩等级为C_n为例，C_n可在上次编码的编码参数基础上，做一些调整，本实施例不对具体调整方式进行限定，可根据实际情况确定。由于压缩等级越高，编码后的数据量越小，但同时损失也越大，解码后图像的质量也越差，因此，为了保证通过该步骤可以使画面质量得到提高，再次编码的压缩等级可在上次编码的基础上调低，以提高解码后图像的质量。

对于本实施例，C_n＝max(1，C_n-1-2)，由于最低的压缩等级为1，所以要保证C_n的取值大于或等于1；C_n-1-2表明每次编码的压缩等级都在上一次压缩等级C_n-1的基础上降低两个压缩等级。压缩等级范围为[1，9]，那么一次调整一级、两级或三级等都可以。如果是其他编码方式，如H.263压缩，其量化步长范围为[0，32]，那么每次调整的幅度可以相对稍大。不管编码参数是压缩等级，还是量化步长，一次调整的幅度越大，则画面相对上一次改善的程度也越大，如果调整的幅度太大，则意味着两次画面质量差别也很大，这在主观体验上可能会反而给人以不适应感，因此，一次调整的幅度不能太大，保证主观上没有明显的画面质量跳跃感。

其中，本实施例不对再次编码的方式进行具体限定，实际应用中，为了进一步节省带宽资源，可以在不需要对原始数据进行编码的情况下，根据上次编码数据重建对应的图像，并确定重建的图像与第一次编码前所对应的图像之间的对应点的差值；对上次编码时的编码参数进行调整，得到当前编码参数，根据得到的当前编码参数对确定的差值进行编码即可。

可选的，在编码之后，还可以再次执行步骤204，以便利用空闲信道对图像质量没有达到最高的图像，再次进行补充编码，并发送给客户端，从而一步步提高客户端图像的显示质量。

本实施例提供的方法，通过在当前屏幕图像发生变化时，采集当前屏幕图像发生变化的图像信息，根据采集到的图像信息进行第一次编码，并将编码后的数据发送给客户端，保证客户端能有较快的图像响应速度；另外，在预定时间内当前屏幕图像没有发生变化时，再向客户端补充发送一些数据，不仅能够有效的利用空闲带宽资源，还能使客户端图像的质量得到进一步改善，且补充发送的数据是在第一次编码数据的基础上得出的，因而能够节省带宽。

实施例3

参见图3，本实施例提供了一种图像编码的设备，该设备包括：

采集模块301，用于采集当前屏幕图像发生变化的图像信息；

第一编码模块302，用于根据采集模块301采集到的当前屏幕图像发生变化的图像信息进行第一次编码；

第一发送模块303，用于将第一编码模块302编码后的数据发送给客户端；

判断模块304，用于每隔预定时间判断当前屏幕图像是否发生变化；

第二编码模块305，用于在判断模块304判断当前屏幕图像未发生变化，且满足再次编码条件时，则根据上次编码数据进行再次编码；

第二发送模块306，用于将第二编码模块305编码后的数据发送给客户端。

进一步的，参见图4，该设备还包括：

连接协商模块307，用于与客户端进行连接，并协商初始编码参数；

相应的，第一编码模块302，具体用于根据采集到的当前屏幕图像发生变化的区域大小，以及当前实际可用的带宽调整初始编码参数，得到第一次编码参数，根据第一次编码参数进行第一次编码。

其中，第二编码模块305，具体用于在判断模块304判断当前屏幕图像未发生变化，且满足再次编码条件时，根据上次编码数据重建对应的图像，并确定重建的图像与第一次编码前所对应的图像之间的对应点的差值；对上次编码时的编码参数进行调整，得到当前编码参数，根据得到的当前编码参数对确定的差值进行编码。

本实施例提供的设备，通过在当前屏幕图像发生变化时，采集当前屏幕图像发生变化的图像信息，根据采集到的图像信息进行第一次编码，并将编码后的数据发送给客户端，保证客户端能有较快的图像响应速度；另外，在预定时间内当前屏幕图像没有发生变化时，再向客户端补充发送一些数据，不仅能够有效的利用空闲带宽资源，还能使客户端图像的质量得到进一步改善，且补充发送的数据是在第一次编码数据的基础上得出的，因而能够节省带宽。

需要说明的是：上述实施例提供的图像编码的设备在进行图像编码时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的图像编码的设备与图像编码的方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

以上实施例提供的技术方案中的全部或部分内容可以通过软件编程实现，其软件程序存储在可读取的存储介质中，存储介质例如：计算机中的硬盘、光盘或软盘。以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种图像编码的方法，其特征在于，所述方法包括：

采集当前屏幕图像发生变化的图像信息，根据采集到的所述当前屏幕图像发生变化的图像信息进行第一次编码，并将编码后的数据发送给客户端；

每隔预定时间判断所述当前屏幕图像是否发生变化；

如果所述当前屏幕图像未发生变化，且满足再次编码条件，则根据上次编码数据进行再次编码，并将编码后的数据发送给所述客户端；

其中，所述根据上次编码数据进行再次编码，具体包括：

根据上次编码数据重建对应的图像，并确定所述重建的图像与所述第一次编码前所对应的图像之间的对应点的差值；

对上次编码时的编码参数进行调整，得到当前编码参数，根据得到的所述当前编码参数对确定的所述差值进行编码。

2.根据权利要求1所述的方法，其特征在于，所述采集当前屏幕图像发生变化的图像信息之前，还包括：

与所述客户端进行连接，并协商初始编码参数；

所述根据采集到的所述当前屏幕图像发生变化的图像信息进行第一次编码，具体包括：

根据采集到的所述当前屏幕图像发生变化的区域大小，以及当前实际可用的带宽调整所述初始编码参数，得到第一次编码参数；

根据所述第一次编码参数进行第一次编码。

3.根据权利要求1所述的方法，其特征在于，所述预定时间大于最小的帧间隔时间。

4.一种图像编码的设备，其特征在于，所述设备包括：

采集模块，用于采集当前屏幕图像发生变化的图像信息；

第一编码模块，用于根据所述采集模块采集到的所述当前屏幕图像发生变化的图像信息进行第一次编码；

第一发送模块，用于将所述第一编码模块编码后的数据发送给客户端；

判断模块，用于每隔预定时间判断所述当前屏幕图像是否发生变化；

第二编码模块，用于在所述判断模块判断所述当前屏幕图像未发生变化，且满足再次编码条件时，根据上次编码数据进行再次编码；

第二发送模块，用于将所述第二编码模块编码后的数据发送给所述客户端；

其中，所述第二编码模块，具体用于在所述判断模块判断所述当前屏幕图像未发生变化，且满足再次编码条件时，根据上次编码数据重建对应的图像，并确定所述重建的图像与所述第一次编码前所对应的图像之间的对应点的差值；对上次编码时的编码参数进行调整，得到当前编码参数，根据得到的所述当前编码参数对确定的所述差值进行编码。

5.根据权利要求4所述的设备，其特征在于，所述设备，还包括：

连接协商模块，用于与所述客户端进行连接，并协商初始编码参数；

所述第一编码模块，具体用于根据采集到的所述当前屏幕图像发生变化的区域大小，以及当前实际可用的带宽调整所述初始编码参数，得到第一次编码参数，根据所述第一次编码参数进行第一次编码。

Images