CN115516859A

CN115516859A - 用于压缩显示非摄影来源的合成图形元素的图像序列的方法

Info

Publication number: CN115516859A
Application number: CN202080092720.9A
Authority: CN
Inventors: 马可·卡格纳佐; 阿提里奥·费安德罗缇; 克里斯托弗·鲁兰
Original assignee: Institut Mines Telecom IMT; Safran Data Systems SAS
Current assignee: Institut Mines Telecom IMT; Safran Data Systems SAS
Priority date: 2019-12-10
Filing date: 2020-12-10
Publication date: 2022-12-23
Also published as: IL293730A; FR3104360A1; EP4074041A1; FR3104360B1; CA3160498A1; US20230047115A1; WO2021116615A1

Abstract

用于压缩图像序列的方法，图像序列包括第一图像和第二图像，方法包括以下步骤：生成(102)第一描述符，第一描述符包括用于显示第一图像中的计算机生成的图形元素的参数，图形元素具有非摄影来源，以及显示参数不包括像素值；处理第二图像，以确定(208)导致用于显示图形元素的参数在第一图像和第二图像之间潜在变化的事件；以及生成(210)第二描述符，第二描述符包括指示所确定的事件的事件代码。

Description

用于压缩显示非摄影来源的合成图形元素的图像序列的方法

技术领域

本发明涉及图像处理领域。

更具体地，本发明涉及一种用于压缩图像序列的方法。

背景技术

在飞行器驾驶舱中找到的屏幕上显示的视频具有特定特征。此类视频的图像显示覆盖于背景上的合成图形元素(线条、多边形、圆形、字符)。合成图形元素具有非摄影来源，在该意义上，合成图形元素的绘制完全由计算机决定，而不是由相机或摄像机决定。在图1的图像的示例中，背景来源于摄影。在图2的图像的示例中，背景具有非摄影来源，是均匀的。

这些视频必须经过压缩以便于传输和存储。

在由Iulia Mitrica等人发表的文章“飞行器驾驶舱屏幕内容的极低比特率语义压缩”中，提供一种压缩方法，其中，对图像的背景和合成图形元素分别进行压缩，以提高图像的压缩率。

具体地，为了对图像中所显示的合成图形元素进行编码，生成描述符，描述符包括图像中的合成图形元素的显示参数。显示参数不包括任何像素值。图形元素的合成性质使得能够使用比第一图像中的该图形元素所占据的所有像素值更小体量的显示参数来可视地描述该图形元素，且该描述没有损失。

因此，视频的每个图像以相同的方式压缩，使得特定描述符用于图像的合成图形元素，以及独立数据用于压缩图像的背景。

发明内容

本发明的目的在于更有效地压缩显示计算机生成的图形元素的图像序列。

为此目的，根据第一方面，提供一种用于压缩图像序列的方法，图像序列包括第一图像和第二图像，该方法包括以下步骤：

-在第一图像或第二图像中检测计算机生成的图形元素和背景，图形元素覆盖于背景上；

-生成第一描述符，第一描述符包括第一图像中的图形元素的显示参数，显示参数不包括任何像素值；

-处理第二图像，例如以确定导致图形元素的显示参数在第一图像和第二图像之间潜在变化的事件；

-生成第二描述符，第二描述符包括指示所确定的事件的事件代码，

其中，独立于对背景的压缩，实现生成第一描述符的步骤和生成第二描述符的步骤。

第一描述符包含本身足以绘制计算机生成的图形元素的显示参数。同时，第二描述符指示相对于第一描述符，哪些潜在发生变化。因此，第二描述符遵循增量逻辑，因此第二描述符的大小可以比第一描述符小得多。

因此，一旦数据被压缩，则可增加数据的传输比特率。换句话说，针对恒定的传输速率，可传输表示更多图像的数据。

根据第一方面的方法可包括以下特征，在技术上可行时，以下特征单独地采用或彼此组合。

优选地，该方法还包括以下步骤：

-修改图像，其中，检测背景，例如以获得背景图像，该修改包括对显示计算机生成的图形元素的图像的像素值应用低通滤波器，

-独立于生成第一描述符的步骤和生成第二描述符的步骤，压缩背景图像。

优选地，当确定第二图像未显示图形元素时，事件代码的值指示合成图形元素消失。

优选地，当确定第二图像显示相对于第一图像发生位移的图形元素时，事件代码的值指示计算机生成的图形元素的位移。

优选地，第二描述符包括定位数据，定位数据能够单独地或与第一描述符组合地确定图形元素在第二图像中的位置。

优选地，定位数据包括：图形元素在第一图像中的位置和图形元素在第二图像中的位置之间的位移矢量。

优选地，方法包括：将一方面，图形元素在第一图像和第二图像之间的位移与另一方面，预定阈值进行比较，其中，仅当图形元素的所述位移小于预定阈值时，事件代码的值才指示位移。

优选地，当确定第二图像中所显示的计算机生成的图形元素不同于第一图像中所显示的计算机生成的图形元素，但是第二图像中所显示的计算机生成的图形元素占据相同位置时，事件代码的值指示合成图形元素的变化，以及第二描述符包括表征该变化的数据。

优选地，当确定第二图像显示相对于第一图像未发生变化的图形元素时，事件代码的值指示任何图形元素无变化。

优选地，显示参数本身足以使得能够基于所述显示参数，如第一图像中所显示的来呈现图形元素。

替代地，图像序列还包括早于第一图像的较早图像，第一描述符包括事件代码，事件代码指示导致图形元素的显示参数在较早图像和第一图像之间潜在变化的事件。

优选地，处理步骤限于第二图像的一部分。

优选地，通过卷积神经网络实现处理步骤。

优选地，合成元素是字符、多边形、菜单、网格、或者菜单或网格的一部分。

优选地，背景来源于摄影。

优选地，当合成图形元素是字符时，第一描述符包括特定于字符的代码，以及可选地，第一描述符包括提供与字体相关的信息的代码，在第二图像中以字体显示所述字符，和/或第一描述符包括提供与第二图像中字符的颜色相关的信息的代码。

还提供一种用于对通过根据第一方面的压缩方法获得的数据进行解压缩的方法。

还提供一种计算机程序产品，计算机程序产品包括程序代码指令，当该程序由计算机执行时，程序代码指令用于执行根据第一方面的方法的步骤。

还提供一种计算机可读存储器，计算机可读存储器存储指令，指令能够由计算机执行，以用于执行根据第一方面的方法的步骤。

附图说明

通过下文的描述，本发明的其它特征、目的和优点将变得显而易见，下文的描述仅是说明性的而非限制性的，且必须参考附图进行阅读，在附图中：

图1和图2是在飞行器驾驶舱的屏幕上显示的图像的两个示例。

图3示意性地表示根据一个实施例的图像处理设备。

图4是根据本发明的一个实施例的方法的步骤的流程图。

图5和图6是能够通过图4的方法压缩的图像的两个示例。

图7示意性地表示对图像序列的不同图像生成的描述符链。

在所有附图中，相似的元素具有相同的附图标记。

具体实施方式

参考图1，用于处理图像序列的设备1包括至少一个处理器2和存储器4。

处理设备1包括输入端6，输入端6用于接收待压缩的图像序列或待解压缩的数据。

处理器2适于执行压缩程序或解压缩程序，该压缩程序本身包括用于执行压缩方法或解压缩方法的程序代码指令，现在，将在下文描述压缩方法或解压缩方法。

存储器4适于存储由输入端6接收的数据以及由处理器2生成的数据。存储器4通常包括至少一个易失性存储器单元4(例如RAM)和至少一个非易失性存储器单元4(闪存驱动器、硬盘、SSD等)以持久地存储数据。

处理设备1进一步包括输出端8，处理器2执行上述程序而实现的压缩或解压缩所生成的数据通过输出端8来提供。

假设通过处理设备1的输入端6接收图像序列，所接收的图像序列存储在存储器4中。

每个图像均是像素矩阵，每个像素具有特定于该像素的位置和颜色数据。在本文的其余部分中，假设序列的所有图像具有相同的尺寸(高度、宽度)。

序列的图像通常显示背景，该背景可来源于摄影，或者可具有非摄影来源。

图像可显示覆盖于背景上的合成图形元素。

如背景技术部分所述，合成图形元素是计算机生成的图形元素。根据相关文献中给出的通常含义，计算机生成的图形元素定义为非摄影来源。具体地，计算机生成的图形元素的绘制完全由计算机决定，而不是由相机或摄像机决定。

例如，合成图形元素可以是：字符、多边形、菜单、网格、或者菜单或网格的一部分。这些合成元素是规则的，在该意义上，这些合成元素使用有限数量的不是像素值的显示参数来精确地绘制。

例如，在字符的情况下，该字符可由以下显示参数定义：字符代码、提供与字符的字体相关的信息的代码、以及提供与字符的颜色相关的信息的代码。所有这些代码用于绘制图像中的字符。应理解，字符是任何类型的字符：字符可以是字母数字字符或任何其它符号(标点符号、箭头、数学符号等)。

当图形元素是菜单、网格、或者菜单或网格的一部分时，图形元素由有限数量的直线段或曲线段组成。

每个合成图形元素在序列的图像中占据一定数量的像素。

参照图4的流程图，由设备1实现的一种用于压缩图像序列的方法包括以下步骤。

处理器2处理序列的第一图像，例如以分析第一图像的内容(步骤100)。在本文的其余部分中，该第一图像将被称为“参考图像”。

在步骤100中所实现的处理检测参考图像中的任何以下元素：参考图像的背景，以及覆盖于该背景上的任何合成图形元素。应理解，术语“任何”的意思是处理器2可检测到在参考图像中不存在图形元素，或者处理器2可检测到存在至少一个此类元素。

为了确定在参考图像中存在哪些合成图形元素，处理器2可基于预定合成图形元素库。更准确地，处理器2将参考图像的一个区域的内容与库的元素进行比较，且估计所比较的元素之间的匹配概率。如果该概率大于预定阈值，则处理器2认为库的元素确实显示在参考图像的该区域中。否则，处理器2基于库的另一元素重复相同的步骤。在到达库的末尾，但是没有超过预定阈值的情况下，处理器2得出结论：在参考图像中未显示图形元素。

替代地，该步骤100由卷积神经网络实现。该神经网络先前已训练成能够识别库的不同元素。卷积神经网络不按时序逻辑运行，其优点在于：一旦学习完成，则快速运行。

在本文的其余部分中，假设处理器2在步骤100中确定在参考图像中存在至少一个合成图形元素。

有利地，步骤100限于参考图像的一部分。在本文中，图像的“部分”不一定是连续的。该部分可包括一个或多个预定区域，每个预定区域具有预定位置、大小和形状(例如矩形)。这些预定区域可以在参考图像中连接或分离，但不覆盖整个参考图像。该限制是优点，原因是其能够限制用于确定合成图形元素的计算负荷。当预先知道任何图形元素可能存在的位置时，该限制不会造成任何缺点。

对于在参考图像中找到的每个合成图形元素，处理器2生成与合成图形元素相关联的描述符(步骤102)。该描述符包括参考图像中的合成图形元素的显示参数。

显示参数不包括任何像素值。图形元素的合成性质使得能够使用比参考图像中的该图形元素所占据的所有像素值更小体量的显示参数，来可视地描述该图形元素。

描述符是对与描述符相关联的合成图形元素进行无损编码的结果，在该意义上，显示参数给出使得能够根据来源呈现图形元素的信息。

合成图形元素的显示参数包括指示图形元素在参考图像中的位置的数据。这些位置数据通常包括图像中的一对坐标(垂直坐标v和水平坐标h)。

除了位置数据之外，显示参数还包括至少一个附加参数。附加参数的数量取决于第一合成元素的性质，第一合成元素可能或多或少复杂。

让我们以合成图形元素是字符的情况为例。在这种情况下，该图形元素的显示参数包括特定于字符的代码(例如ASCII代码或其它代码)。该字符代码可以是第一描述符中、除了位置数据之外的唯一附加显示参数。

字符代码可如下完成：

·用于显示字符的字体(例如Arial、Times等)的代码。

·提供与字符的颜色信息的相关的代码。应注意，该代码是全局信息项，其不仅与第一图形元素的一个像素相关，而且与整个该图形元素相关。该代码可表示颜色均匀，或者表示颜色渐变等。

在另一实施例中，字体代码和颜色代码预定义，在该意义上，处理设备预先知道在预定区域中找到的字符必须具有预定字体和颜色。因此，在这种情况下，不必在描述符中对这些信息项进行编码。

在适用的情况下，针对在参考图像中找到的每个合成图形元素，重复前述步骤，例如生成多个描述符，每个描述符与参考图像的合成图形元素相关。

在文本的其余部分中，如此生成的描述符被称为“帧内”类型的描述符。“帧内”类型的描述符本身包含足够的信息以能够绘制在图像(这里是参考图像)中表示的合成图形元素。

多个“帧内”类型的描述符以表格的形式存储在存储器4中，表格的每一行是一个“帧内”类型的描述符。

图5示出了第一图像的示例，第一图像包含不同的合成图形元素，所有这些合成图形元素是字符。从该示例图像，获得如下所示的“帧内”类型的描述符的表1。

[表1]

在该示例中，针对位于参考图像左上方的字符“A”生成的“帧内”类型的描述符是表1的第二行。该描述符包括：字符“A”的代码，字符的垂直位置v＝30(对应于参考图像的行数)，字符的水平位置h＝20(对应于参考图像的列数)，以及字体代码p，这里p的值等于零。尽管这些参数不包括任何像素值，但是观察到，这些参数足以使得图形元素“A”随后能够被精确呈现。这就是上文所述的“帧内”描述符是无损的原因。

表1的其它行包含相同的显示参数，因此能够显示位于图5所示的参考图像中的其它字符。

此外，处理器2实现修补过程，该修补过程修改参考图像，例如以获得背景图像(步骤104)。为了获得该背景图像，处理器2将检测到的合成图形元素所占据的参考图像的像素值替换成适于减少或者甚至消除参考图像的光谱中的高空间频率的其它像素值。因此，像素值的这种替换是应用于参考图像的像素的低通滤波器。因此，与修补过程之前的参考图像的频谱相比，修改后的图像的频谱包括更少的高频分量。

这种低通滤波通常可通过计算与合成图形元素的像素相连的背景的像素值的平均值来获得。

例如，假设参考图像包含黑色的合成图形元素，且背景为白色，如同图5的图像的情况。在这种情况下，修补过程可以将合成图形元素的黑色像素替换成白色像素，这样能够获得完全白色的背景图像。

让我们以另一图像包含字符类型的合成图形元素为另一示例，该合成图形元素为带黑色轮廓的白色、覆盖于来源于摄影的灰度背景上，例如图1的图像。在这种情况下，修补过程可以将字符类型的合成图形元素的白色像素和黑色像素替换成背景的像素值的平均值。

然后，处理器2根据现有技术的已知方法(例如HEVC方法)压缩由修补过程产生的修改后的图像(步骤106)。该压缩106独立于生成与合成图形元素相关联的描述符的步骤。压缩106可以与步骤102一同进行，在步骤102之前或之后进行。

最后，在步骤102和106中分别压缩参考图像的合成图形元素和参考图像的背景。

此外，所接收的图像的序列包括第二图像，该第二图像在序列中位于参考图像之后。第二图像可以在序列中紧跟在参考图像之后，或者可以不跟随参考图像。

图6示出了第二图像的示例。该第二图像的内容相对于参考图像已发生变化。例如，之前所讨论的图形元素“A”不再占据完全相同的位置。某些合成图形元素替换其它图形元素。一些图形元素消失，而其它图形元素(例如字符K)出现。

处理器2实现步骤200、202、204、206，步骤200、202、204、206分别与之前所描述的步骤100、102、104和106相同，但是应用于第二图像。

具体地，在步骤202结束时，获得多个新的“帧内”类型的描述符，多个新的“帧内”类型的描述符具有与针对参考图像生成的“帧内”类型的描述符相同的格式，但是可能包含不同的值。针对图6的第二图像的示例生成的多个新的“帧内”类型的描述符所形成的表如下。

[表2]

例如，之前已陈述，与图5所示的参考图像相比，字符A在图6所示的第二图像中的位置已发生变化。该位置变化如下体现：针对第二图像所生成的新的“帧内”类型的描述符，包含与A相关且针对参考图像生成的“帧内”类型的描述符中所输入的位置数据不同的位置数据(这里，水平位置h从20变成28)。另一方面，字符A没有改变字体；因此，字体代码p与分别与参考图像和第二图像的字符A相关的两个描述符相同。

然而，第二图像的合成图形元素的压缩在该阶段尚未完成，这与对参考图像所进行的压缩不同。

处理器2确定导致合成图形元素的显示参数在参考图像和第二图像之间潜在变化的事件(步骤208)。

处理器2生成与第二图像相关联的第二描述符，第二描述符包括指示所确定的事件的事件代码，在本文的其余部分中，第二描述符将被称为“帧间”类型的描述符(步骤210)。

针对在参考图像或第二图像中找到的每个图形元素，处理器2重复这两个步骤208、210(在步骤102和/或202之后，针对参考图像或第二图像生成的“帧内”类型的描述符中，如此提及)。

因此，获得多个“帧间”类型的描述符，每个描述符与参考图像或第二图像的合成图形元素相关。多个“帧间”类型的描述符形成表，每个描述符是表的一行。

一旦生成所有“帧间”类型的描述符，则可以从存储器4中删除第二图像的“帧内”描述符。

“帧间”类型的描述符具有与“帧内”类型的描述符不同的格式。如之前所指示的，“帧内”类型的描述符包含本身足以绘制合成图形元素的显示参数。同时，“帧间”类型的描述符指示相对于“帧内”类型的描述符，哪些潜在发生变化，这使得对于不同类型的事件，“帧间”类型的描述符的体量能够比“帧内”描述符的体量小得多，这将在后文中进一步描述。

“帧间”类型的描述符可包括对参考图像的交叉引用，从而能够在图像序列中定位第一图像。例如，该交叉引用采取在图像序列中使第一图像和第二图像之间的位置间隔开的形式。例如，在序列中第二图像紧跟在第一图像之后的情况下，该间隔的值为1。在第一图像和第二图像之间存在一个或多个中间图像的情况下，该间隔可以是严格大于1的整数。那么，这意味着：第一图像的帧内描述符的表被保留作为第二图像的参考，而不是选择一个中间图像的帧内描述符的表。

然而，在“帧间”类型的描述符中包含这种交叉引用，仍然是可选的。具体地，可设想“帧间”类型的描述符隐式地交叉引用图像序列中紧跟在第二图像之前的图像。

替代地或附加地，还可以假设仅在图像序列中第一图像未紧跟在第二图像之前的情况下，在“帧间”类型的描述符中包括对第一图像的交叉引用。

“帧间”类型的描述符可进一步包括对参考图像的“帧内”类型的描述符的交叉引用。当“帧间”描述符修改其中引用的“帧内”描述符时，该交叉引用可指定针对参考图像生成的描述符的表中描述符的行数。

然而，在此再次说明，在“帧间”类型的描述符中，对“帧内”类型的描述符的交叉引用并不是强制性的。具体地，可使得“帧间”类型的描述符与其所修改的“帧内”类型的描述符占据相同的表格行。在这种情况下，正是描述符在各自表格中的位置使得能够隐式地推导从一个表到另一个表的逻辑映射。

最后，仍然存在从“帧间”描述符到“帧内”描述符之间的逻辑关系，但是这种逻辑关系可以显式地或隐式地位于“帧间”描述符中。

除了事件代码(以及对上文所提到的图像和/或描述符的任何交叉引用)之外，“帧内”类型的描述符可包括依赖于所确定的事件的附加数据。

下文是针对图6的第二图像获得的“帧间”类型的描述符的表。

[表3]

现在，将介绍不同类型的可确定事件以及在这些情况中的每种情况下生成的“帧间”类型的描述符的内容。

合成图形元素无变化

以在第一图像中，在给定位置处找到的图形元素为例。

当确定第二图像以相对于第一图像不变的方式显示第一图形元素(即，在相同的位置且具有严格相同的呈现)时，“帧间”类型的描述符中所包括的事件代码的值为“无变化”，从而指示第一图形元素在第一图像和第二图像之间没有发生变化。

为了检测这种情况，处理器2可简单地识别：分别针对第一图像和第二图像生成的两个“帧内”类型的描述符的表包含一个相同的同一描述符。

合成图形元素发生位移

在另一种情况下，处理器2在第一图像中，在某个位置处找到合成图形元素，且处理器2还在第二图像中，但是在不同的位置处找到该合成图形元素(除了合成图形元素的位置之外，该合成图形元素的显示参数在第一图像和第二图像中也相同)。

为了检测这种位移情况，处理器2可识别：分别针对第一图像和第二图像生成的两个“帧内”类型的描述符的表包含两个描述符，这两个描述符仅通过其位置数据而彼此不同。

这种情况特别适用于图5和图6的两个示例图像中所示的字符A。

在这种位移的情况下，所生成的“帧间”类型的描述符包括位置数据，使得“帧间”类型的描述符能够单独地或者与其所参考的“帧内”描述符组合地来确定合成图形元素在第二图像中的位置。

这些位置数据通常包括合成图形元素在第一图像中的位置和图形元素在第二图像中的位置之间的位移矢量。位移矢量通常包括水平分量δx和垂直分量δy。该位移矢量计算为图形元素在第一图像中的位置与图形元素在第二图像中的位置之间的间隔。

优选地，在图形元素的位移小于预定阈值的条件下，使用位移代码“位移”(以及上文所提到的相关数据)填充“帧间”类型的描述符。如果图形元素的位移不小于预定阈值，则使用另一事件代码(请参见下文所列出的其它情况)。

合成图形元素消失

现在，让我们考虑处理器2确定第二图像不再显示在第一图像中所显示的合成图形元素的情况。

为了检测这种情况，处理器2识别：针对第二图像生成的多个“帧内”类型的描述符包含用于合成图形元素的描述符，但是针对第一图像生成的多个“帧内”类型的描述符不包含此类描述符。

在这种情况下，事件代码的值为“跳过”，从而指示第一合成图形元素的消失。

如之前所看到的，事件代码“位移”指示合成图形元素的位移，在第一图像和第二图像之间图形元素所经历的位移小于预定阈值的条件下，使用事件代码“位移”。

当不满足该条件时，使用代码“跳过”来生成与消失的图形元素相关的“帧间”类型的描述符。

合成图形元素在相同位置发生变化

现在，将考虑处理器2确定第一图像和第二图像分别在相同位置处显示两个不同的合成图形元素的情况。

该差异可具有各种性质。具体地，该差异可以是在形状和/或颜色方面不同。当字符的情况下，在第一图像和第二图像之间，一个字符可替换另一字符。

在实践中，当处理器2观察到在针对第一图像生成的“帧内”类型的描述符中以及在针对第二图像生成的新的“帧内”类型的描述符中引用一个相同的位置，但是这两个描述符具有至少一个参数，而至少一个参数的值不同(除了位置之外)时，处理器2检测到这种情况。

在这种检测期间，处理器2在第二描述符中包括事件代码“已变化”，该事件代码“已变化”的值指示第一合成图形元素在第一图像和第二图像之间发生变化。

在这种情况下，第二描述符还包括表征这种变化的数据。如果包含相同位置的第一描述符和新的描述符包括其它无变化的显示参数，则这些无变化的显示参数不包括在第二描述符中。换句话说，只有在第一图像和第二图像之间发生修改的显示参数才包括在第二描述符中。

例如，图5所示的示例性第一图像在位置(v＝30，h＝52)处显示字符E，而图6所示的示例性第二图像在该相同位置处显示字符5。两个字符E和5以相同的字体显示。值为零的字体代码p已存在于与字符E相关联的“帧内”类型的描述符中，无需在与字符5相关联的“帧间”类型的描述符中重复值为零的字体代码p。相同的变化情况适用于第一图像的字符3，字符3由第二图像中的字符6替换。

新的图形元素出现

在另一种情况下，处理器2可检测到图形元素存在于第二图像中，而不是存在于第一图像中。

在这种情况下，生成“帧间”类型的描述符，“帧间”类型的描述符包括值为“新的”的事件代码，从而指示新的合成图形元素出现。相同的显示参数与该代码相关联，这些显示参数在之前所描述的“帧内”描述符中找到、本身足以绘制这些描述符所涉及的图形元素。

作为说明，在图6的示例性第二图像中出现的字符K、L各自使用代码“新的”来编码成新的字符。

如之前所看到的，事件代码“位移”指示在第一图像和第二图像之间图形元素所经历的位移小于预定阈值的条件下，使用合成图形元素的位移。当不满足该条件时，使用代码“新的”生成与出现的图形元素相关的“帧间”类型的描述符。

总而言之，在步骤208期间识别的事件如下：出现、消失、在相同地方的变化、位移、无变化。

因此，“帧间”类型的描述符的事件代码只能在3个比特上编码。

“帧内”描述符和“帧间”描述符对齐

在下表中，并排显示如下项：针对第一图像生成的“帧内”描述符、通过重复相同步骤针对第二图像生成的“帧内”描述符、以及针对第二图像生成的“帧间”描述符。

[表4]

如可以在阅读上文的表4时看到的，使用具有事件代码“跳过”和/或“新的”的“帧间”描述符，使得发现其它“帧间”描述符与其所参考的帧内描述符对齐，这使得如上文所指示的，无需在“帧间”描述符中包括针对描述符的任何显式参考。

在本描述的末尾的附录中，是实现压缩方法的伪代码示例。下文是该伪代码中使用的不同变量的含义：

·ref和cur：包括NL行的表。每一行存储[水平位置、垂直位置、字符代码、颜色]

·Δ_x_allowed：水平最大位移阈值

·Δ_y_allowed：垂直最大位移阈值

·事件新的：代码001&位置&字符代码

·事件已变化：代码011&字符代码

·事件无变化：代码1

·事件跳过：代码000

·事件位移：代码010&(displacement_x或displacement_y)

“帧间”编码的迭代

在之前的描述中，假设在步骤210期间针对第二图像生成的“帧间”类型的描述符交叉引用第一图像的“帧内”类型的描述符，即，包括显示参数的描述符，显示参数本身足以使得能够呈现如参考图像中所显示的对应图形元素。

然而，这并不是强制性的：“帧间”类型的描述符可交叉引用另一“帧间”类型的描述符。

具体地，可以在第三图像上重复步骤200、202、208、210，这次将第二图像作为参考图像。在第三图像上实现的步骤210期间，生成“帧间”类型的描述符，“帧间”类型的描述符交叉引用针对第二图像生成的“帧间”描述符，该“帧间”描述符本身交叉引用针对第一图像生成的“帧内”描述符。

最后，处理器2通过逐个图像迭代地重复上述处理过程来处理视频。因此，在初始“帧内”描述符之后，生成按时间顺序排列的“帧间”描述符，这些“帧间”描述符进而在适当的情况下依次修改合成元素。然后，该迭代创建“帧间”表链，其从最后一个帧内表到原始帧内表来编号。当对早于前一个图像的表进行交叉引用时，该链可具有多个分支。在任何时候，处理器2还可选择“刷新”图像，即，发送新的“帧内”描述符，新的“帧内”描述符用作对后续“帧间”描述符的新引用。

作为说明该链的示例，图7示出了针对一个相同图像序列中不同的图像生成的描述符D1至D7，所有描述符与相同的合成图形元素相关。

·描述符D1是“帧内”类型的描述符。

·描述符D2是“帧间”类型的描述符，其交叉引用描述符D1且包括事件代码“位移”，以指示：合成图形元素已相对于输入到描述符D1中的位置发生位移。

·描述符D3是“帧间”类型的描述符，其交叉引用描述符D2且(通过事件代码“无变化”)用信号表示图形元素没有发生变化。

·描述符D4是“帧间”类型的描述符，其同样交叉引用描述符D2且仍然包括事件代码“位移”，以指示：图形元素已相对于输入到描述符D2中的图形元素再次发生位移。

·描述符D6是“帧间”类型的描述符，其通过事件代码“跳过”用信号表示合成图形元素消失。

·描述符D1是“帧内”类型的描述符，用于与描述符D1至D6所涉及的位置相同的位置处的合成图形元素。

当发送大部分帧间表和小部分帧内表时，压缩机制的益处增加，原因是视频压缩的总增益随后增加。

解压缩

生成的描述符和根据背景压缩得到的数据一同形成一组对图像序列进行编码的输出数据，且以压缩的方式形成这一组输出数据，原因是输出数据流的体量小于图像序列。

处理设备1获得的输出数据流可通过该相同设备1或相同类型的设备进行解压缩，以获得与原始序列一致的图像序列。

该解压缩方法包括与在上文所描述的压缩方法期间实施的步骤对称的步骤。首先，接收器明确地识别图像的时间序列以及与每个图像相关联的描述符表的时间序列。

具体地，为了恢复当前图像(待显示)的图形元素，且在“帧间”类型的描述符中描述图形元素，处理器识别“帧内”类型的初始描述符，“帧间”类型的描述符的先前链引用“帧内”类型的初始描述符，从而得到当前图像，且处理器使用该“帧内”类型的描述符中所记录的显示参数，根据构成该链的“帧间”类型的描述符中所记录的任何附加信息的序列来修改该“帧内”类型的描述符。

其它实施例

应理解，上述方法适用于任何类型的具有非摄影来源的合成图形元素，而不仅仅适用于字符。例如，针对圆形生成的显示参数可包括位置、半径，以及在适用的情况下，包括其它可选参数(线条厚度、线条颜色等)。该原理当然可推广到其它几何形状。

在上面的文本中已公开一个实施例，其中，针对第二图像生成的所有“帧间”类型的描述符参考针对相同图像(即，第一图像)生成的“帧内”类型的描述符。针对一个相同图像生成的“帧间”类型的描述符的组可修改描述彼此不同的图像的描述符。在这种情况下，每个“帧间”类型的描述符必须包含一个显式图像参考图像。

附录：实现压缩方法的伪代码的示例

Claims

1.一种用于压缩图像序列的方法，所述图像序列包括第一图像和第二图像，所述方法包括：

-在所述第一图像或所述第二图像中检测(100)计算机生成的图形元素和背景，所述图形元素覆盖于所述背景上；

-生成(102)第一描述符，所述第一描述符包括所述第一图像中的图形元素的显示参数，所述显示参数不包括任何像素值；

-处理所述第二图像，例如以确定(208)导致所述图形元素的显示参数在所述第一图像和所述第二图像之间潜在变化的事件；

-生成(210)第二描述符，所述第二描述符包括指示所述事件的事件代码，

其中，独立于对所述背景的压缩，实现生成所述第一描述符的步骤和生成所述第二描述符的步骤。

2.根据权利要求1所述的方法，进一步包括以下步骤：

-将图像修改成所述第一图像和所述第二图像中的一个图像，其中，检测所述背景，例如以获得背景图像，所述修改包括对显示所述计算机生成的图形元素的图像的像素值应用低通滤波器；

-独立于生成所述第一描述符的步骤和生成所述第二描述符的步骤，压缩所述背景图像。

3.根据前述权利要求中的一项所述的方法，其中：

-当确定所述第二图像未显示所述计算机生成的图形元素时，所述事件代码的值指示计算机生成的图形元素消失。

4.根据前述权利要求中的一项所述的方法，其中：

-当确定所述第二图像显示相对于所述第一图像发生位移的计算机生成的图形元素时，所述事件代码的值指示计算机生成的图形元素的位移。

5.根据前一项权利要求所述的方法，其中，所述第二描述符包括定位数据，所述定位数据使得能够单独地或与所述第一描述符组合地确定所述计算机生成的图形元素在所述第二图像中的位置。

6.根据前一项权利要求所述的方法，其中，所述定位数据包括：所述计算机生成的图形元素在所述第一图像中的位置和所述计算机生成的图形元素在所述第二图像中的位置之间的位移矢量。

7.根据权利要求4至6中的一项所述的方法，包括：将所述计算机生成的图形元素的位移与预定阈值进行比较，其中，仅当所述计算机生成的图形元素的位移小于所述预定阈值时，所述事件代码的值才指示位移。

8.根据前述权利要求中的一项所述的方法，其中：

-当确定所述第二图像中所显示的图形元素不同于所述第一图像中所显示的计算机生成的图形元素，但是所述第二图像中所显示的图形元素占据相同位置时，所述事件代码的值指示合成图形元素的变化，以及所述第二描述符包括表征所述变化的数据。

9.根据前述权利要求中的一项所述的方法，其中：

-当确定所述第二图像显示相对于所述第一图像未发生变化的图形元素时，所述事件代码的值指示所述图形元素无变化。

10.根据前述权利要求中的一项所述的方法，其中，所述显示参数本身足以使得能够基于所述显示参数，如所述第一图像中所显示的来呈现所述计算机生成的图形元素。

11.根据权利要求1至10中的一项所述的方法，其中，所述图像序列进一步包括在所述图像序列中位于所述第一图像之前的较早图像，并且其中，所述第一描述符包括事件代码，所述事件代码指示导致所述计算机生成的图形元素的显示参数在所述较早图像和所述第一图像之间潜在变化的事件。

12.根据前述权利要求中的一项所述的方法，其中，所述处理步骤限于所述第二图像的一部分。

13.根据前述权利要求中的一项所述的方法，其中，通过卷积神经网络实现对所述第二图像的处理。

14.根据前述权利要求中的一项所述的方法，其中，所述计算机生成的元素是字符、多边形、菜单、网格、或者菜单或网格的一部分，和/或，其中，所述背景来源于摄影。

15.根据前述权利要求中的一项所述的方法，其中，当所述合成图形元素是字符时，所述第一描述符包括特定于所述字符的代码，以及可选地，所述第一描述符包括提供与字体相关的信息的代码，在所述第二图像中以所述字体显示所述字符，和/或所述第一描述符包括提供与所述第二图像中所述字符的颜色相关的信息的代码。

16.一种计算机程序产品，包括程序代码指令，当所述程序由计算机执行时，所述程序代码指令用于执行根据前述权利要求中任一项所述的方法的步骤。

17.一种计算机可读介质(4)，存储指令，所述指令能够由计算机执行，以用于执行根据权利要求1至15中任一项所述的方法的步骤。