CN110740326A - 图像编码方法及装置 - Google Patents

Abstract

本公开提供一种图像编码方法及装置，涉及计算机图像技术领域，所述方法包括采集当前图像帧；判断当前图像帧中是否包含相对于前一图像帧基于拖动操作发生运动的窗口；如果包含相对于前一帧基于鼠标拖动发生运动的窗口，则对所述发生运动的窗口所在的区域采用第一预设编码方式进行编码。本公开能够解决现有的检测到窗口发生基于鼠标拖动而产生的相对运动时，对发生运动的窗口进行低码率方式编码效率低的问题。

Description

图像编码方法及装置

技术领域

本公开涉及计算机图像技术领域，尤其涉及图像编码方法及装置。

背景技术

随着信息技术的发展，人们对通信业务的要求不断增长，图像通信和和通信网容量的矛盾也日益突出。图像压缩是数据压缩技术在数字图像上的应用，目的是减少图像数据中的冗余信息，从而用更加高效的格式存储和传输数据。

传统的图像编码算法，主要从帧间和帧内去冗余这两个方向进行图像压缩，却少有人关注视觉冗余的问题。桌面场景下，需要传输大量的桌面图像。与自然图像不同，桌面图像有着自己的特点。自然图像指的是自然界真实存在的景色，人们生活中看到的电影、电视内容均为自然图像，自然图像的灰度和颜色的变化一般是连续的。桌面图像是采用计算机图形学技术，通过计算机上显卡计算得到的人造图像，记录的是因用户操作而变化的计算机桌面图像。

在桌面虚拟化或者云桌面场景下，用户时常会进行很多窗口拖动操作，参照图1，用户很可能将文件夹窗口从起点的位置拖动到终点所在的位置。在拖动过程中，用户往往是不关心窗口移动到中间位置过程中的图像质量的，而针对这种场景如果仍然按照高码率方式进行编码的话，将造成带宽的浪费。

发明内容

本公开实施例提供一种图像编码方法及装置，能够解决现有图像编码计算全局运动矢量的速度较慢的问题。所述技术方案如下：

根据本公开实施例的第一方面，提供一种图像编码方法，该方法包括：

采集当前图像帧；

判断当前图像帧中是否包含相对于前一图像帧基于拖动操作发生运动的窗口；

如果包含相对于前一帧基于鼠标拖动发生运动的窗口，则对所述发生运动的窗口所在的区域采用第一预设编码方式进行编码。

在一个实施例中，上述方法还包括：

如果不包含相对于前一帧基于鼠标拖动发生运动的窗口，则对所述发生运动的窗口所在的区域采用第二预设编码方式进行编码。

在一个实施例中，判断当前图像帧中是否包含相对于前一图像帧基于拖动操作发生运动的窗口包括：

获取当前图像帧和前一图像帧之间运动区域的运动向量；

当探测到鼠标拖动行为时，记录前一帧和当前帧中鼠标的坐标位置；

根据所述前一帧和当前帧中鼠标的坐标位置，获取鼠标的运动向量；

当所述运动区域的运动向量和鼠标的运动向量满足预设关系时，判断采集到的当前图像帧的运动区域的形状符合预设窗口特征；

如果采集到的当前图像帧的运动区域的形状符合预设窗口特征，当前图像帧中是否包含相对于前一图像帧基于拖动操作发生运动的窗口。

在一个实施例中，上述预设关系包括：所述运动区域的运动向量和鼠标的运动向量相同；或者，鼠标所在位置在两个运动向量所对应的运动区域中的相对位置相同。

在一个实施例中，预设窗口特征指示窗口是矩形；所述判断采集到的运动区域的形状是否符合预设窗口特征包括：

如果包含所述运动向量的最小矩形与所述运动向量重合的区域占比大于预设阈值，则确定所述运动区域为矩形窗口。

在一个实施例中，对所述发生运动的窗口所在的区域采用第一预设编码方式进行编码包括：

截取高位的N个比特，舍弃低位的M个比特进行编码，其中M+N是要编码的总比特数；或者

将像素点变换到频域后，仅对低频分量编码；或者

降低分辨率后进行编码。

在一个实施例中，降低分辨率包括：

将相邻的预设数量个像素点划分为一组；

指定一预设位置上的像素点为参考像素点；

将同组内所有像素点的像素值设置为与参考像素点相同。

根据本公开实施例的第二方面，提供一种图像编码装置，该装置包括：

采集模块，用于采集当前图像帧；

判断模块，用于判断当前图像帧中是否包含相对于前一图像帧基于拖动操作发生运动的窗口；

第一编码模块，用于如果包含相对于前一帧基于鼠标拖动发生运动的窗口，则对所述发生运动的窗口所在的区域采用第一预设编码方式进行编码。

在一个实施例中，上述装置还包括：

第二编码模块，用于如果不包含相对于前一帧基于鼠标拖动发生运动的窗口，则对所述发生运动的窗口所在的区域采用第二预设编码方式进行编码。

在一个实施例中，判断模块包括：

第一获取子模块，用于获取当前图像帧和前一图像帧之间运动区域的运动向量；

记录子模块，用于当探测到鼠标拖动行为时，记录前一帧和当前帧中鼠标的坐标位置；

第二获取子模块，用于根据所述前一帧和当前帧中鼠标的坐标位置，获取鼠标的运动向量；

第一判断子模块，用于当所述运动区域的运动向量和鼠标的运动向量满足预设关系时，判断采集到的当前图像帧的运动区域的形状符合预设窗口特征；

第二判断子模块，用于如果采集到的当前图像帧的运动区域的形状符合预设窗口特征，当判定前图像帧中包含相对于前一图像帧基于拖动操作发生运动的窗口。

在一个实施例中，预设关系包括：所述运动区域的运动向量和鼠标的运动向量相同；或者，鼠标所在位置在两个运动向量所对应的运动区域中的相对位置相同。

在一个实施例中，预设窗口特征指示窗口是矩形；判断子模块具体用于：

如果包含所述运动向量的最小矩形与所述运动向量重合的区域占比大于预设阈值，则确定所述运动区域为矩形窗口。

在一个实施例中，第一编码模块具体用于采用以下方式进行编码：

截取高位的N个比特，舍弃低位的M个比特，其中M+N是要编码的总比特数；或者

将像素点变换到频域后，仅对低频分量编码；或者

降低分辨率后进行编码。

在一个实施例中，降低分辨率包括：

将相邻的预设数量个像素点划分为一组；

指定一预设位置上的像素点为参考像素点；

将同组内所有像素点的像素值设置为与参考像素点相同。

本公开重点从视觉感受层面，提出一种窗口运动场景下的图像编码方法，通过这种方法可以在检测到窗口发生基于鼠标拖动而产生的相对运动时，对发生运动的窗口进行低码率方式编码，从而提高编码效率，降低带宽。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

图1是本公开实施例提供的背景技术使用场景示意图；

图2是本公开实施例提供的一种图像编码方法的流程图；

图3是本公开实施例提供的一种检测拖动窗口流程图；

图4是本公开实施例提供的一种拖动窗口示意图；

图5是本公开实施例提供的一种图像编码示意图；

图6是本公开实施例提供的一种图像编码方法的流程图；

图7是本公开实施例提供的一种图像编码装置的结构图；

图8是本公开实施例提供的一种图像编码装置的结构图；

图9是本公开实施例提供的一种图像编码装置的结构图；

图10是本公开实施例提供的一种图像编码装置的结构图；

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

实际应用中，在办公场景下，经常会发生用户将一个窗口(软件显示框、文本框、文件夹打开状态下的显示框)从一个位置拖动到另一个位置的情况，在这种情况下，用户往往关注的是窗口是否移动到了正确的位置，而不关心在移动过程中窗口的显示内容。基于此原理，可以对运动中的窗口进行降码率显示，能够减小码流、降低带宽。

下面对本公开所述方案进行详细阐述。

图2是本公开实施例提供的一种图像编码方法的流程图，如图2所示，该图像编码方法包括以下步骤：

步骤101、采集当前图像帧；

步骤102、判断当前图像帧中是否包含相对于前一图像帧基于拖动操作发生运动的窗口；

在一个实施例中，如图3所示，判断当前图像帧中是否包含相对于前一图像帧基于拖动操作发生运动的窗口包括：

步骤1021、获取当前图像帧和前一图像帧之间运动区域的运动向量；

步骤1022、当探测到鼠标拖动行为时，记录前一帧和当前帧中鼠标的坐标位置；

步骤1023、根据所述前一帧和当前帧中鼠标的坐标位置，获取鼠标的运动向量；

步骤1024、当所述运动区域的运动向量和鼠标的运动向量满足预设关系时，判断采集到的当前图像帧的运动区域的形状符合预设窗口特征；

步骤1025、如果采集到的当前图像帧的运动区域的形状符合预设窗口特征，当前图像帧中是否包含相对于前一图像帧基于拖动操作发生运动的窗口。

在一个实施例中，上述预设关系包括：所述运动区域的运动向量和鼠标的运动向量相同；或者，鼠标所在位置在两个运动向量所对应的运动区域中的相对位置相同。

在一个实施例中，预设窗口特征指示窗口是矩形；所述判断采集到的运动区域的形状是否符合预设窗口特征包括：

如果包含所述运动向量的最小矩形与所述运动向量重合的区域占比大于预设阈值，则确定所述运动区域为矩形窗口。

例如：如果包含所述运动向量的最小矩形与所述运动向量重合的区域占比大于预设阈值，比如95％，则确定所述运动区域为窗口。

以图4为例，假设用户通过鼠标拖动，将窗口A从左图所示位置拖动到右图所示位置。帧1和帧2的窗口A中的黑点为示意性的鼠标映射位置，假设在帧1中，鼠标映射位置的坐标为(x1，y1)，帧2中，鼠标映射位置的坐标为(x2，y2)。通过检测确定帧1和帧2中的窗口A为运动区域，同时，在帧1和帧2中，可以确定：1)窗口A所对应的运动向量的取值相同鼠标坐标在运动区域(也就是窗口A)中的相对位置相同，而且，运动区域的形状符合窗口特征，因此，可以确定帧1和帧2中存在符合上述两个条件的运动向量。

具体的，判断鼠标坐标在窗口A中的相对位置是否相同，可以通过以下方式：将窗口A左上角的角点作为坐标原点，计算鼠标映射位置的坐标，判断在两帧图像中该坐标是否相同或者偏移不超过预设阈值；如果坐标相同或者偏移不超过预设阈值，则可以确认鼠标坐标在窗口A中的相对位置相同。

步骤103、如果包含相对于前一帧基于鼠标拖动发生运动的窗口，则对所述发生运动的窗口所在的区域采用第一预设编码方式进行编码。

如果不包含相对于前一帧基于鼠标拖动发生运动的窗口，则对所述发生运动的窗口所在的区域采用第二预设编码方式进行编码。

在一个实施例中，对所述发生运动的窗口所在的区域采用第一预设编码方式进行编码包括：

截取高位的M个比特进行编码，舍弃低位的N个比特；其中M+N是要编码的总比特数；或者

舍弃高位的M个比特，截取低位的N个比特进行编码；或者

将像素点变换到频域后，仅对低频分量编码；或者

降低分辨率后进行编码。

下面针对上述三种方式分别举例说明。

舍弃低位的M个比特进行编码示例：

直接截取高位bit，舍弃低位bit，提高压缩率；

举例来说，每一个像素值取值范围是[0，255]，将像素值表示为2进制时，可以用8位字符进行表示，因此，截取高位bit，舍弃低位bit的意思是：只保留高位数字而舍弃低位数字；比如，两个像素点的像素值分别是：01011101和11010111；如果规定保留前四位数据，而丢弃后四位数据，则得到的数值为0101和1101；而所得到的数值即被作为像素点的像素值进行编码压缩。

舍弃低位的M个比特进行编码示例：

保留前四位，舍弃后四位数值，可以规定为将当前像素值(10进制)除以步进值(比如，16)后，得到的商值取整数部分。例如，像素值为240和180的两个点，按此方式处理后，像素值变为15和12。

通过上述两种方式，原本取值范围为[0，255]的像素点，其取值范围变为[0，15]。

上述只是两种不同的实现方式，但是最终达到的效果是一样的。

需要强调的是，在编码端进行像素值的变换后，按照相应编码算法进行编码后，传递到解码端，解码端按照相应解码算法进行解码后，需要对解码得到的值乘以步进值，比如16，才能得到最终显示的像素值。

将像素点变换到频域后，仅对低频分量编码示例：

具体的，对像素点进行频域变换，对于变换后的结果，只保留低频分量，而舍弃高频分量；例如JPEG中，对像素点进行DCT(离散余弦)变换后，只传dc分量，提高压缩率。

降低分辨率后进行编码示例：

具体实现方式是对图像进行降低采样处理，具体包括：

将相邻的预设数量个像素点划分为一组；指定一预设位置上的像素点为参考像素点；将同组内所有像素点的像素值设置为与参考像素点相同。

可参照图5，选择相邻的4个像素点为一组，比如，A1-A4为一组，B1-B4为一组、C1-C4为一组，D1-D4为一组。然后，将指定位置上的像素点设置为参考像素点。这里的指定位置可以根据实际需要进行设定，比如，可以将左上角第一个像素点设置为参考像素点，则A1、B1、C1、D1成为参考像素点。每一组中，其它像素点的像素值均设置成与参考像素点相同。

上述仅为一种示例，实际应用中，每一个分组中像素点的个数可以根据实际需要进行设置，而每一组中参考像素点的位置也可以根据实际需要进行设置。

图6实施例公开了一种图像处理方法，如图7所示的图像处理方法包括：

步骤601、采集当前帧图像；

具体的，图像发送端可以通过图像采集卡或者其它软件方式对计算机图像进行采集。

图像发送端包括但不限于：云服务器、远程服务器、计算机或其它具备图像数据处理能力的设备。

步骤602、判断当前帧图像中是否包含基于鼠标拖动而相对于前一帧发生运动的窗口；

所述判断当前帧图像中是否包含基于鼠标拖动而相对于前一帧发生运动的窗口，如图7所示，包括：

步骤6021、持续探测鼠标拖动行为。

鼠标拖动行为对应的鼠标活动序列为：鼠标左键按下→[1，n]个鼠标移动事件→鼠标左键释放。

步骤6022：当探测到鼠标拖动行为时，记录下帧1和帧2中鼠标的坐标位置。帧1对应鼠标刚开始拖动的时间点所对应的采集周期采集到的画面，帧2对应下一个采集周期采集到的画面。如果在帧1至帧2这个采集期间，鼠标拖动已经结束，则本流程结束。

步骤6023、对帧1和帧2进行运动向量检测；

该步骤中，可以采用现有任何一种运动向量检测方式进行运动向量检测，这里不再赘述。通过运动向量检测来检测出帧2相对于帧1发生运动的区域和相对应的运动向量，以及，两帧图像中鼠标的运动向量。

步骤6024、判断帧1和帧2中是否分别存在满足以下条件的两个运动向量：

条件1)运动区域的运动向量和鼠标的运动向量相同；或者，条件2)鼠标所在位置在两个运动向量所对应的运动区域中的相对位置相同；以及，

条件3)所检测到的运动区域的形状符合窗口特征(为矩形)。

其中，条件1)和条件2)是或的关系，也就是说，当满足条件1)和条件3)或者，满足条件2)和条件3)时都视为满足条件。其中，条件1)和条件2)都用于验证窗口的移动是由于鼠标拖动而引起的，因此，可以根据需要择其一使用。

为了区别于其它因为鼠标动作而图像帧中某一区域发生相对位置改变的情况，条件3中将所检测到的运动区域的类型规定为窗口，窗口一般为矩形形状。因此，可以通过以下方式进行判断所检测到的运动区域是否符合窗口特征：

如果包含所述运动向量的最小矩形与所述运动向量重合的区域占比大于预设阈值，比如95％，则确定所述运动区域为窗口。

步骤6025、如果存在满足上述条件的运动向量，则确定当前帧包含基于鼠标拖动而相对于前一帧发生运动的窗口；相应的，如果不存在满足上述条件的运动向量，则确定当前帧中不包含基于鼠标拖动而相对于前一帧发生运动的窗口。

步骤603、如果包含基于鼠标拖动而相对于前一帧发生相对运动的窗口，则对所述窗口所在区域采用低码率编码方式进行编码；如果不包含基于鼠标拖动而相对于前一帧发生运动的窗口，则按照正常码率对当前帧进行编码。

该步骤中，如果确定当前帧中包含基于鼠标拖动而相对于前一帧发生运动的窗口，则定位出窗口所在区域，并取出窗口所在区域内的图像数据，针对这一部分图像数据按照低码率方式进行编码。

图8是本公开实施例提供的一种图像编码装置的结构图，如图8所示，该图像编码装置80包括：采集模块801、判断模块802和第一编码模块803，其中，采集模块801用于采集当前图像帧；

判断模块802用于判断当前图像帧中是否包含相对于前一图像帧基于拖动操作发生运动的窗口；

第一编码模块803用于如果包含相对于前一帧基于鼠标拖动发生运动的窗口，则对所述发生运动的窗口所在的区域采用第一预设编码方式进行编码。

图9是本公开实施例提供的一种图像编码装置的结构图，如图9所示，该图像编码装置90包括：采集模块901、判断模块902、第一编码模块903和第二编码模块904，其中，第二编码模块904用于如果不包含相对于前一帧基于鼠标拖动发生运动的窗口，则对所述发生运动的窗口所在的区域采用第二预设编码方式进行编码。

图10是本公开实施例提供的一种图像编码装置的结构图，如图10所示，该图像编码装置100包括：采集模块1001、判断模块1002和第一编码模块1003，其中，判断模块1002包括：

第一获取子模块10021，用于获取当前图像帧和前一图像帧之间运动区域的运动向量；

记录子模块10022，用于当探测到鼠标拖动行为时，记录前一帧和当前帧中鼠标的坐标位置；

第二获取子模块10023，用于根据所述前一帧和当前帧中鼠标的坐标位置，获取鼠标的运动向量；

第一判断子模块10024，用于当所述运动区域的运动向量和鼠标的运动向量满足预设关系时，判断采集到的当前图像帧的运动区域的形状符合预设窗口特征；

第二判断子模块10025，用于如果采集到的当前图像帧的运动区域的形状符合预设窗口特征，当判定前图像帧中包含相对于前一图像帧基于拖动操作发生运动的窗口。

在一个实施例中，预设关系包括：所述运动区域的运动向量和鼠标的运动向量相同；或者，鼠标所在位置在两个运动向量所对应的运动区域中的相对位置相同。

在一个实施例中，预设窗口特征指示窗口是矩形；第一判断子模块10024具体用于：

当所述运动区域的运动向量和鼠标的运动向量满足预设关系时，如果包含所述运动向量的最小矩形与所述运动向量重合的区域占比大于预设阈值，则确定所述运动区域为矩形窗口。

在一个实施例中，第一编码模块具体用于采用以下方式进行编码：

截取高位的N个比特，舍弃低位的M个比特，其中M+N是要编码的总比特数；或者

将像素点变换到频域后，仅对低频分量编码；或者

降低分辨率后进行编码。

在一个实施例中，降低分辨率包括：

将相邻的预设数量个像素点划分为一组；

指定一预设位置上的像素点为参考像素点；

将同组内所有像素点的像素值设置为与参考像素点相同。

基于上述图2对应的实施例中所描述的图像编码方法，本公开实施例还提供一种计算机可读存储介质，例如，非临时性计算机可读存储介质可以是只读存储器(英文：ReadOnly Memory，ROM)、随机存取存储器(英文：Random Access Memory，RAM)、CD-ROM、磁带、软盘和光数据存储装置等。该存储介质上存储有计算机指令，用于执行上述图2对应的实施例中所描述的图像编码方法，此处不再赘述。

本领域技术人员在考虑说明书及实践这里公开的公开后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

Claims (10)

1.一种图像编码方法，其特征在于，所述方法包括：

采集当前图像帧；

判断当前图像帧中是否包含相对于前一图像帧基于拖动操作发生运动的窗口；

如果包含相对于前一帧基于鼠标拖动发生运动的窗口，则对所述发生运动的窗口所在的区域采用第一预设编码方式进行编码。

2.根据权利要求1所述的图像编码方法，其特征在于，所述方法还包括：

如果不包含相对于前一帧基于鼠标拖动发生运动的窗口，则对所述发生运动的窗口所在的区域采用第二预设编码方式进行编码。

3.根据权利要求1所述的图像编码方法，其特征在于，所述判断当前图像帧中是否包含相对于前一图像帧基于拖动操作发生运动的窗口包括：

获取当前图像帧和前一图像帧之间运动区域的运动向量；

当探测到鼠标拖动行为时，记录前一帧和当前帧中鼠标的坐标位置；

根据所述前一帧和当前帧中鼠标的坐标位置，获取鼠标的运动向量；

当所述运动区域的运动向量和鼠标的运动向量满足预设关系时，判断采集到的当前图像帧的运动区域的形状符合预设窗口特征；

如果采集到的当前图像帧的运动区域的形状符合预设窗口特征，当前图像帧中是否包含相对于前一图像帧基于拖动操作发生运动的窗口。

4.根据权利要求3所述的图像编码方法，其特征在于，所述预设关系包括：所述运动区域的运动向量和鼠标的运动向量相同；或者，鼠标所在位置在两个运动向量所对应的运动区域中的相对位置相同。

5.根据权利要求3所述的图像编码方法，其特征在于，所述预设窗口特征指示窗口是矩形；

所述如果采集到的当前图像帧的运动区域的形状符合预设窗口特征包括：如果包含所述运动向量的最小矩形与所述运动向量重合的区域占比大于预设阈值，则确定所述运动区域为矩形窗口。

6.根据权利要求1所述的图像编码方法，其特征在于，所述对所述发生运动的窗口所在的区域采用第一预设编码方式进行编码包括：

截取高位的M个比特进行编码，舍弃低位的N个比特；其中M+N是要编码的总比特数；或者

舍弃高位的M个比特，截取低位的N个比特进行编码；或者

将像素点变换到频域后，仅对低频分量编码；或者

降低分辨率后进行编码。

7.根据权利要求6所述的图像编码方法，其特征在于，所述降分辨率后进行编码包括：

将相邻的预设数量个像素点划分为一组；

指定一预设位置上的像素点为参考像素点；

将同组内所有像素点的像素值设置为与参考像素点相同。

8.一种图像编码装置，其特征在于，所述装置包括：

采集模块，用于采集当前图像帧；

判断模块，用于判断当前图像帧中是否包含相对于前一图像帧基于拖动操作发生运动的窗口；

第一编码模块，用于如果包含相对于前一帧基于鼠标拖动发生运动的窗口，则对所述发生运动的窗口所在的区域采用第一预设编码方式进行编码。

9.根据权利要求9所述的图像编码装置，其特征在于，所述装置还包括：

第二编码模块，用于如果不包含相对于前一帧基于鼠标拖动发生运动的窗口，则对所述发生运动的窗口所在的区域采用第二预设编码方式进行编码。

10.根据权利要求8所述的图像编码装置，其特征在于，判断模块包括：

第一获取子模块，用于获取当前图像帧和前一图像帧之间运动区域的运动向量；

记录子模块，用于当探测到鼠标拖动行为时，记录前一帧和当前帧中鼠标的坐标位置；

第二获取子模块，用于根据所述前一帧和当前帧中鼠标的坐标位置，获取鼠标的运动向量；

第一判断子模块，用于当所述运动区域的运动向量和鼠标的运动向量满足预设关系时，判断采集到的当前图像帧的运动区域的形状符合预设窗口特征；

第二判断子模块，用于如果采集到的当前图像帧的运动区域的形状符合预设窗口特征，当判定前图像帧中包含相对于前一图像帧基于拖动操作发生运动的窗口。

Images