CN101656879B - 视频编码的方法 - Google Patents

Abstract

本发明提供一种视频编码的方法。该方法利用移动物体、缩放物体或新增/删除物体等的位置信息，由此提供预估的移动向量，并依据该预估移动向量，对该视频进行编码。其中该视频由多个图像所组成，每个图像包含多个区块，该视频中一物体具有一位置信息，该方法包括：提取该物体分别在一第一图像与一第二图像中的该位置信息；依据该物体的所述位置信息，计算含有该物体的区块的预估移动向量；以及依据该预估移动向量，对该视频进行编码。进行两台屏幕同步显示时，可降低其移动估测(motion estimation)的运算量。进行录制屏幕操作画面时，改善其移动估测的运算量也可改善录制的运算量。

Description

视频编码的方法

技术领域

本发明涉及一种视频编码的方法，尤其涉及一种降低移动估测(MotionEstimation)的运算量的视频编码的方法。

背景技术

数字图像已经是非常普遍用来传播信息的媒介，为了能更有效率地节省图像处理时间以及存储空间，往往就会使用图像压缩技术。

图像压缩技术主要是利用移动估测(Motion Estimation)运算，此一运算是希望找出影片中物体移动的轨迹，以期在后续的移动补偿(MotionCompensation)能以最少的数据量重建图像(frame)。

更进一步而言，视频数据是由许多图像(frame)所组合成的，当我们在看影片的时候，那些连续动作其实都是由一张张图像(frame)所构成的，利用我们的视觉暂留，让我们以为那些动作是连续的。因此这一张张的图像中，相邻的两张图像的大部分区域都相当相像，利用这个特性，将两张图像的每个像素(pixel)相减，得到一个差值(difference)，而因为两张图像相似度高，所以相减后的值也会很小，如果我们只存第一张图像，第二张就仅存储差值，如此一来需要存储的数据量就会减少很多。而再还原的时候只要将前一张图像减掉差值就可以得到后一张的值了。

而连续影片中一定会有移动的物体，也就是相同一个物体在前后两张的位置不同。如果能找到物体移动的位置，再做相减，则得到的差值就会越小。因此就还必须找到移动向量(Motion vector)，而估测物体移动到哪里的方法就是移动估测(Motion Estimation)。还原图像时，依据移动向量找到要相减差值的图像区块就称为移动补偿(Motion Compensation)。

移动向量简单來說就是估算目前图像(Current Frame)里N×N(例如8×8或16×16)的区块(Macro Block)与前一张图像(Previous Frame)里最相似的参考区块(Reference Block)位移的向量。将目前图像里要用來估算的Macro Block和Reference Block里相同大小的某一区块作相减，然后将相减后的每个像素取绝对值相加得到一个值，称为绝对差值和(SAD)，其中SAD值越小就代表这两个区块越相近。将搜寻区域中所有的位置都算出一个SAD值，最小的值即是所要寻找的移动后的位置，如此便可算出移动向量(Motion Vector)。

虽然，利用移动向量与差值可减少需存储的运算数据量，然而比较两张图像找出移动向量仍需要不少的运算量。另外，由于图像压缩的技术架构为本领域的普通技术人员所周知，因此未在此多做赘述。

发明内容

本发明的主要目的在于提供一种视频编码的方法。

本发明的另一目的在于提供一种降低图像压缩技术中移动估测(motionestimation)的运算量的视频编码的方法。

为达到上述的目的，本发明提供一种视频编码的方法。视频由多个图像(frames)所组成，每个图像包含多个区块，该视频中一物体具有一位置信息。该方法包括以下步骤：

步骤S11：提取该物体分别在第一图像与第二图像的位置信息。例如位置信息可以是来自一作业系统(OS)。

步骤S12：依据该物体的位置信息，计算含有该物体的区块的预估移动向量。较佳者，是将该第二图像中含有该物体的所述多个区块定义为画面间区块(inter-block)，并依据该预估移动向量以进行编码。在本实施例中，本发明可依据该物体的所述位置信息，计算该物体的位置或尺寸变化。进一步将因为该物体位置或尺寸的变化而对应在该第二图像中新出现的区块定义为画面内区块(intra-block)，以进行编码。

步骤S13：依据该预估移动向量，对该视频进行编码。

该物体在第一图像的位置信息包括一识别码，且该识别码是用以辨识物体。因此通过作业系统所提供的识别码，即可辨识物体，以了解是要提取哪一个物体的位置信息，如此即可节省运算量。

该物体具有一视窗框，利用作业系统的位置信息可获知该物体在该第一图像的四个坐标值，也就是该视窗框的四个转角(corner)位置的坐标值。众所周知，作业系统可提供视窗信息，因此关于提取坐标值的技术未多赘述。

物体从第一图像移动到第二图像有多种可能实施例，包括物体单纯的移动及物体缩放(scale)。因此，若是物体单纯的移动，则物体的尺寸在该第一图像与该第二图像实质上相同。若是物体缩放，则物体的尺寸在第一图像与第二图像不同，且分别为放大或缩小物体的尺寸。

在一实施例中，该视频为一作业系统画面的操作过程，且物体的位置信息是由该作业系统提供。

除了上述物体单纯的移动及物体缩放之外，还可新增或删除物体。因此本发明还揭示在新增物体时，降低移动估测的运算量的视频编码的方法，该视频由多个图像(frames)所组成，每个图像包含多个区块，该视频中一物体具有一新增物体信息及一位置信息，其方法包含：

步骤S21：提取物体的新增物体信息。较佳者，新增物体信息是来自一作业系统(OS)。

步骤S22：当该物体于一第一图像中不存在，而新增于一第二图像时，提取该物体在该第二图像中的该位置信息。

步骤S23：将该图像含有该物体的区块定义为画面内区块，以对该视频进行编码。

另外，本发明也揭示在删除物体时，降低移动估测的运算量的视频编码的方法，其方法包含：

步骤S31：提取物体的一删除物体信息。较佳者，删除物体信息是来自一作业系统。

步骤S32：当该物体于一第一图像中存在，而在一第二图像中被删除时，提取该物体在第一图像中的位置信息。

步骤S33：将该第二图像中，对应于该物体删除后所新出现的区块定义为画面内区块，以对该视频进行编码。

如此一来，如果要进行两台屏幕同步显示时，图像传递所须进行的图像压缩技术，应当可降低其移动估测(motion estimation)的运算量。同样地，若是需要进行录制屏幕操作画面时，图像压缩技术改进其移动估测的运算量也可改善录制的运算量。

附图说明

图1为显示一物体在连续的两张图像中移动的示意图。

图1A为依据图1，显示其区块属性。

图2为显示一物体在连续的两张图像中缩放的示意图。

图2A为依据图2，显示其区块属性。

图3为依据本发明的实施例，显示降低移动估测(motion estimation)的运算量的视频编码的方法流程图。

图4为显示一物体在连续的两张图像中新增的示意图。

图5依据图4，显示其降低移动估测的运算量的视频编码的方法流程图。

图6为显示一物体在连续的两张图像中被删除的示意图。

图7依据图6，显示其降低移动估测的运算量的视频编码的方法流程图。

其中，附图标记说明如下：

10、20、20’、40、60、80物体

11、21、41、61、81第一图像

12、22、42、62、82第二图像

15、25区块属性

152、252画面间区块(inter block)

151、251画面内区块(intra block)

具体实施方式

为让本发明的上述和其他目的、特征和优点能更明显易懂，下文特举出优选实施例，并配合所附附图，作详细说明如下。

请参考图1，其显示在连续的图像中，有一物体移动。如先前技术所描述，利用人类的视觉暂留，连续动作其实都是由一张张图像(frame)所构成的。图1显示两张连续的图像，第一图像11与第二图像12，而物体10的移动，则分别显示在第一图像11与第二图像12上的不同位置，也就是物体10是从第一图像11移动到第二图像12。

请同时参考图3的流程图，本发明所提供的方法包括以下步骤：

步骤S11：提取该物体10分别在第一图像11与第二图像12的位置信息。例如所述位置信息可以是来自一作业系统(OS)。

步骤S12：依据该物体10的位置信息，计算含有该物体10的区块152的预估移动向量。请同时参考图1A的区块属性图。较佳者，区块属性15包括画面内区块(inter block)151及/或一画面内区块(intra block)152。在本实施例中，依据画面内区块(inter block)还计算出其移动向量(motion vector)。因此在进行图像压缩时，移动估测(motion estimation)的运算可利用区块属性15的画面内区块152所预先估算出的移动向量，而无须一一比较第一图像11及第二图像12的所有区块。

请回到图1与图1A，物体10在第一图像11的位置信息包括一识别码，且该识别码是用以辨识物体10的所在位置。在本实施例中，物体10具有一视窗框，利用作业系统(图未示)的位置信息可获知该物体10在该第一图像的四个坐标值10a～10d，也就是该视窗框的四个转角(corner)位置的坐标值。

举例而言，计算机的作业系统可提供物体10视窗框的识别码，因此通过作业系统所提供的识别码，即可辨识物体10，以了解是要提取哪一个物体10的位置信息。例如，利用系统程序通过作业系统呼叫：

“GetDesktopWindows()”

以取得物体10的识别码，由此更进一步可利用系统程序通过作业系统呼叫：

“GetWindowRect()”

以取得物体10视窗框的坐标值。

众所周知，作业系统可提供视窗信息，因此关于提取位置信息的技术未多赘述。

在一实施例中，本发明的视频为一作业系统画面的操作过程，且物体10的位置信息是由作业系统(OS)提供。由此，当使用者进行远端桌面连线时，传送作业系统的操作画面成为一视频，此时通常会对此视频进行编码压缩后才传送到远端。故此时可利用作业系统提供的信息，减少此视频编码所需的运算。

此外，物体从第一图像移动到第二图像有多种可能实施例。请参考图2，在此实施例中，物体20是从第一图像21缩小至第二图像22的物体20’。同样地，本发明的方法可利用计算机的作业系统提供物体20、20’视窗框的识别码及坐标值。由此，即可获得如图2A所示的区块属性25。在本实施例中，除了物体20与20’之外，第一图像21与第二图像22仅差别在于物体20缩小之后多余的空间，因此该多余的空间在区块属性25中显示即定义为画面内区块(intra block)，也就是依照本发明的方法，进行视频编码时，多余的空间会被定义为画面内区块。

由以上图1与图2可知，若物体10仅是单纯的移动，则物体10的尺寸在该第一图像11与该第二图像12实质上相同。若物体20是进行缩放，则物体20、20’的尺寸在第一图像21与第二图像22不同，且分别为放大或缩小物体的尺寸。

除了上述物体单纯的移动及物体缩放之外，还可能新增或删除物体。因此本发明还揭示在新增物体时，降低移动估测的运算量的视频编码的方法。请同时参考图4与图5，新增物体60在第二图像62，也就是第一图像61并无该物体60。在此实施例中，本发明的方法包含：

步骤S21：提取物体60的一新增物体信息。较佳者，新增物体信息是来自一作业系统。

步骤S22：当该物体于一第一图像中不存在，而新增于一第二图像时，提取该物体在该第二图像中的该位置信息。

步骤S23：将该图像含有该物体的区块定义为画面内区块，以对该视频进行编码。在本实施例中，不存在画面间区块，也就是区块属性(图未示)仅包含画面内区块(图未示)，因此视频编码是依据画面内区块。

同样地，在本实施例中，物体60具有一视窗框，利用作业系统的位置信息可获知该物体在该第一图像61的四个坐标值，也就是该视窗框的四个转角(corner)位置的坐标值。众所周知，作业系统可提供视窗信息，因此关于提取坐标值的技术未多赘述。

在一实施例中，该视频为一作业系统画面的操作过程，且物体的位置信息是由该作业系统提供。

另外，本发明也揭示在删除物体时，降低移动估测的运算量的视频编码的方法。请同时参考图6与图7，从第一图像81删除物体80，也就是第二图像82并无该物体80。在此实施例中，本发明的方法包含：

步骤S31：提取物体80的一删除物体信息。较佳者，删除物体信息是来自一作业系统。

步骤S32：依据该删除物体信息，提取物体80在第一图像81的一位置信息。

步骤S33：将该第二图像中，对应于该物体删除后所新出现的区块定义为画面内区块，以对该视频进行编码。在本实施例中，除了物体80之外，第一图像81与第二图像82并无差别，因此其区块属性(图未示)仅包含画面内区块(图未示)。

由于上述的方法最好以计算机程序完成，因此本发明的方法可以以计算机程序写于载有计算机可使用的媒介，譬如硬盘，集成电路，光盘及其他可记录计算机程序的物品。

更进一步而言，本发明的视频编码的方法，可以计算机程序语言写成以便执行，而计算机程序可以存储于任何微处理单元可以辨识、解读的记录介质，或包含有该记录介质的物品及装置或计算机程序产品。其不限为任何形式，该物品较佳为CD，CD-R，MO，软盘磁片，硬盘磁片，IC芯片或任何本领域的普通技术人员所可使用的包含有该记录介质的物品。由于本发明的视频编码的方法已揭示完整，任何熟悉计算机程序语言者阅读本发明说明书即知如何撰写计算机软件程序，故有关计算机软件程序细节部分不在此赘述。

虽然本发明已以优选实施例揭示如上，然而其并非用以限定本发明，任何本领域的普通技术人员，在不脱离本发明的精神和范围内，应当可作一些的变与润饰，因此本发明的保护范围应当视随附的权利要求书所限定的范围为准。

Claims (9)

1.一种视频编码的方法，该视频由多个图像所组成，每个图像包含多个区块，该视频中一物体具有一位置信息，该方法包括：

提取该物体分别在一第一图像与一第二图像中的该位置信息；

依据该物体的所述位置信息，计算该物体的位置或尺寸变化；

将因为该物体位置或尺寸的变化而对应在该第二图像中新出现的区块定义为画面内区块，计算含有该物体的区块的预估移动向量；

将该第二图像中含有该物体的所述多个区块定义为画面间区块，依据该预估移动向量以进行编码。

2.如权利要求1所述的方法，其中该视频为一作业系统画面的操作过程，且该物体的所述位置信息由该作业系统提供。

3.如权利要求2所述的方法，其中该物体具有一视窗框，且该物体的该位置信息包括该视窗框的四个转角位置的坐标值。

4.一种视频编码的方法，该视频由多个图像所组成，每个图像包含多个区块，该视频中一物体具有一新增物体信息及一位置信息，该方法包括：

提取该物体的该新增物体信息；

当该物体于一第一图像中不存在，而新增于一第二图像时，提取该物体在该第二图像中的该位置信息；以及

将该图像含有该物体的区块定义为画面内区块，以对该视频进行编码。

5.如权利要求4所述的方法，其中该视频为一作业系统画面的操作过程，且该物体的该新增物体信息及该位置信息由该作业系统提供。

6.如权利要求5所述的方法，其中该物体具有一视窗框，且该物体的该位置信息包括该视窗框的四个转角位置的坐标值。

7.一种视频编码的方法，该视频由多个图像所组成，每个图像包含多个区块，该视频中一物体具有一删除物体信息及一位置信息，该方法包括：

提取该物体的一删除物体信息；

当该物体于一第一图像中存在，而在一第二图像中被删除时，提取该物体在该第一图像中的该位置信息；

将该第二图像中，对应于该物体删除后所新出现的区块定义为画面内区块，以对该视频进行编码。

8.如权利要求7所述的方法，其中该视频为一作业系统画面的操作过程，且该物体的该删除物体信息及该位置信息由该作业系统提供。

9.如权利要求8所述的方法，其中该物体具有一视窗框，且该物体的该位置信息包括该视窗框的四个转角位置的坐标值。

Images