CN103370937A - 用于压缩图像序列的编码方法和图像编码设备 - Google Patents

Abstract

描述了用于压缩图像序列（IS）编码方法（100,300,500）。在该编码方法（100,300,500）情况下，首先针对该图像序列（IS）的当前图像区域(I_n)通过与该图像序列（IS）的至少一个其它图像区域(I_n-1)相比较来确定密集的运动矢量场(V_n)。此外针对所述当前图像区域(I_n)确定置信矢量场(K_n)，该置信矢量场针对所述运动矢量场(V_n)的每个运动矢量说明至少一个置信值。于是基于所述运动矢量场(V_n)和所述置信矢量场(K_n)，针对所述当前图像区域(I_n)确定运动矢量场重建参数（FP，c，B）。此外，描述了用于对图像序列（IS）的图像数据解码的解码方法（200,400），所述图像数据用这样的编码方法（100,300,500）编码。此外描述了可以执行这种方法所利用的用于压缩图像序列（IS）的图像编码设备（1,1'）、图像解码设备（20,20'），以及用于传输和/或存储图像序列（IS）的系统，其包括这样的图像编码设备（1,1'）和这样的图像解码设备（20,20'）。

Description

用于压缩图像序列的编码方法和图像编码设备

技术领域

本发明涉及一种用于进行预测性编码以压缩图像序列的编码方法，以及一种用于对使用这样的编码方法编码的图像序列的图像区域进行解码的解码方法。此外本发明涉及一种用于压缩图像序列的图像编码设备和一种对应的图像解码设备，以及一种由这样的图像编码设备和图像解码设备组成的系统。

背景技术

在此，下面可以将图像序列理解为任意图像序列，例如在胶片上的运动图像的序列或者例如对象内部的在时间上和/或在空间上相邻的层的序列，如利用医学技术设备所检测的，通过所述医学技术设备于是可以虚拟地遍历以用于观察。此外，图像序列还包括动态图像数据中的时间上的相关性，所述动态图像数据例如是对象的三维的与时间有关的成像或重建（所谓的3D+t重建），所述对象例如是跳动的心脏。在此，图像区域可以或者被理解为该图像序列的一个或多个完整的图像，或者也可以被理解为这样的图像的仅一部分。在此，图像既可以是二维图像也可以是三维图像数据。也就是说，各个图像点既可以是像素也可以是体素，其中下面为简单起见使用术语“像素”，并且在此只要没有明确地另外表述就应当也包括体素。

目前在临床环境中诊断医学图像通常以未压缩或至少无损压缩的方式被存储，以便满足医生的要求以及法定条件。目前用于存储这样的医学图像数据的典型的标准是以DICOM标准来定义的。与在非压缩的原始图像的情况下不同，在DICOM数据组中图像也可以以压缩的格式、例如TIFF或JPEG2000无损地被存放。但是这样的用于二维图像的压缩方法未被实现用来例如压缩上述3D+t重建，该3D+t重建例如是使用诸如计算机断层造影设备或磁共振断层造影设备的成像设备记下的。因此，到目前为止这样的体积的层作为各个相互独立的图像存储。因此如果当前的成像设备的能力被用于产生高分辨率的3D+t数据组，则在每次检查时都产生大量的图像数据。

因此尤其是在这样的区域中，但是也在其它类似的、其中累积大的图像数据量的区域中，为了快速和有效地传送和存储图像数据需要在这些图像数据中尽可能好地利用空间上的、时间上的和概率理论上的冗余的压缩算法。为了实现期望的熵减小，经常基于模型假设，即在空间上相邻的像素之间仅出现小的强度变化。为此在所谓的“预测性编码”的范围内根据已经读取的、已知的数据（例如图像序列的在前图像的数据）来尝试对将来的或当前的图像数据作出陈述。于是针对当前的图像存储或传送所谓的“剩余误差”、即图像的预报（Vorhersage）与真正图像之差，以及用于重新建立所述预报的足够的信息。优点是：在好的预报情况下与真实值之间的偏差仅非常小，接近于0。在此情况下基本原理是，较频繁出现的值可以仅用短的码字来存储，并且只有较少出现的值用长的码字存储。由此对于图像数据总的来说需要较少的存储容量和/或传输容量。

对于这样的预测性编码可以使用运动矢量，以便表示对象在视频序列中或者在3D体积的不同层中的运动。在此情况下，虽然可以使用对应大数量的运动矢量来很好地描述各个“帧”（该视频序列或层的图像）之间的精确变化。但是另一方面用于对运动信息编码的开销（也就是关于运动矢量的额外需要的信息）可能又使压缩的总效率化为乌有。

目前常见的视频压缩算法因此尝试通过使用所谓的基于块的平移运动预报来减小空间上的变化并由此在时间方向上进行压缩。在此情况下，在将强度差正常值最小化的情况下确定预定像素块在当前图像中相对于在前图像的运动。如果这些运动信息被用作预报，则只必须又传输或存储剩余误差，也就是在该方法中也包含明显比初始图像少的变化的剩余差，以便在传输之后或在从存储器读取之后通过解码器实现无损的重建。

但是问题是这样的静态预报方案不能补偿旋转运动、伸缩运动或变形以及其它非平移图像运动。在出现这样的运动的位置处，不仅不能抑制存在的强度变化，而且甚至可能在块边界处出现额外的变化。因此这种简单的基于块的方法尤其是对于医学技术图像数据不是特别适合，因为在此在图像中很少能预期纯的平移运动，而更多的是组织的变形运动，这些变形运动通过诸如心跳、呼吸等的肌肉收缩而引起。

在压缩标准H.264/AVC["Advanced video coding for generic audiovisual services"，ITU-T Rec. H.264 and ISO/IEC 14496-10 (MPEG-4 AVC),2010]中描述了基于块的方法的不同改善，以减少这样的问题。一种改善例如通过对块尺寸进行自适应的改变来实现，其中该块尺寸不是被统一选择的，而是根据剩余误差而被改变。在另一种方法中建议，当预报与当前图像之间的误差太大时采用该图像的初始值。在又另一种方法中，将多个图像加权地组合并且将这样获得的图像作为参考图像用于预报。此外建议首先对具有强烈变化的图像进行平滑，并且然后从该经过平滑的图像确定运动矢量，以由此获得更好的预报。此外存在这样的建议，即执行基于网格的运动估计，在该运动估计中代替块栅格地用三角形网格网络来工作并且对每个三角形点都存储运动矢量，其中在三角形中内插矢量。根据另一建议，利用仿射块变形可以除了平移运动之外还考虑块的仿射变换[参见IEEE Transactions on Circuits and Systems for Video Technology，Vol. 4, no.1, 42-52页, 1994年2月中的Chung-lin Huang和Chao-yuen Hsu,“A new motion compensation method for image sequence coding using hierarchical grid interpolation”）。但是这些方法由于其高的复杂性和加强使用辅助信息或其只能应用于特殊的数据格式而到目前为止几乎未被使用。

原则上可以用基于像素的运动矢量场来良好地估计任意运动，在所述运动矢量场中向每个像素分配自己的运动矢量。但是，为此所需要的、关于各个运动矢量的辅助信息如此高以致于这样的方法一般遭到禁止，尤其是当期望高质量压缩的时候。因此，这样的信息本身必须在有损方法中被减少。在IEEE Transactions on Image Processing, Vol.10, no.11,1605-12页，2001年1月中的S.C.Han和C.I.Podilchuk的出版物“Video compression with dense motion fields”中，通过使用选择算法来实现了这点，在所述选择算法中分层四叉树中的所有非显著的运动矢量都被消除。于是在自适应算术熵编码器中对剩余矢量进行编码。原则上，在此情况下是与在根据规范H.264/AVC的自适应块方法情况下类似的方法，但是其中在此不仅检验块的运动矢量，而且检验每个单个像素的运动矢量。因此该方法是相对耗时间的。

发明内容

本发明的任务是实现改善的编码方法和图像编码设备，利用其尤其是还可以在图像序列具有复杂运动的情况下实现更有效的压缩，尤其是还可以实现无损的压缩。

该任务通过根据权利要求1的编码方法以及通过根据权利要求13的图像编码设备解决。

本发明的编码方法包括以下方法步骤：

首先针对图像序列的当前图像区域通过与该图像序列的至少一个其它图像区域相比较来确定密集的运动矢量场（“Dense Motion Vector Field”，密集的运动矢量场）。与其中事先定义块并且仅为这些块确定运动矢量的基于块的运动矢量场不同，在本发明意义上的“密集的运动矢量场”应当被理解为其中向所观察的图像区域的各个像素或体素、优选每个像素或体素分配自己的运动矢量或至少一个运动矢量分量的运动矢量场。作为“稀释密集”的运动矢量场下面被理解为具有基于像素或体素的运动矢量或运动矢量分量的这样的密集运动矢量场，其在本发明压缩的过程中已经被稀释，也就是其中运动矢量已经被选出。

如上面已经提到的，图像区域一般是图像序列的完整的图像。但是原则上也可以仅是这样的图像的一部分。于是该图像序列的用于比较所考虑的其它图像区域是在其它图像中、例如在前图像和/或在后图像中的对应图像区域，其中在此也可能的是，不仅使用一个其它图像，而且使用多个其它图像，这些其它图像例如被加权地组合等。

在优选的方法中，与简单的运动估计不同，在使用所谓的光流方法（“Optical Flow”）下确定密集的运动矢量场。这种光流方法是专业人员已知的，并且因此在此不必再加以阐述。

可以在确定所述运动矢量场的同时或之后进行的其它步骤中，根据本发明针对当前图像区域确定置信矢量场。该置信矢量场针对该运动矢量场的每个运动矢量说明至少一个置信值。该置信值说明所估计的运动矢量实际上以何种概率正确，也就是该估计被猜测得有多好。在此还可以确定矢量的（vektoriell）不同的置信值，也就是该置信值本身就是矢量或矢量分量，其中这些矢量分量分别说明该置信值，也就是所述运动矢量在图像的行方向或列方向上（下面也称为x方向或y方向）如何好。就此而论指出，下面虽然为简单起见根据二维图像来描述本方法，但是扩展到三维方法是毫无问题地可能的，其方式是简单地添加z方向上的第三矢量分量。

最后，针对当前图像区域来基于运动矢量场和置信矢量场确定运动矢量场重建参数。

然后可以将所述运动矢量场重建参数例如存放在存储器中，或者经由传输信道传输，并且然后可以又被用于重建密集的运动矢量场，其中精确的重建方法取决于确定什么类型的运动矢量场重建参数。为此存在不同的可能性，稍后还要对它们进行详细化的阐述。

通过在确定运动矢量场重建参数时除了运动矢量场之外还使用置信矢量场，可以通过相对简单的方式确保，利用所确定的运动矢量场重建参数可以非常好地重建运动矢量场。在此，不仅可以剧烈减少重建该运动矢量场所需要的数据量，而且通过使用置信值甚至还注意到，只有特别可靠的运动矢量被使用并且由此除了显著的数据减少之外还提高了重建的质量。

如果在以下范围中采用本方法，即除了关于用于图像预测的运动矢量场重建的信息之外还以常见的方式存储或传送剩余误差数据，以由此无损地存储或传输图像，则本方法与常规的基于块的运动估计方法相比仅导致相对少量辅助信息。在此，在剩余误差编码内的块形成伪影或另外的快速变化被避免，并且高效地抑制了剩余误差的高值，这还导致特别有效的压缩方法。

为了利用这种方法压缩图像序列，本发明的图像编码设备此外还需要以下部件：

-运动矢量场确定单元，用于针对该图像序列的当前图像区域通过与该图像序列的至少一个其它图像区域相比较来确定密集的运动矢量场，

-置信矢量场确定单元，用于针对当前图像区域确定置信矢量场，该置信矢量场对所述运动矢量场的每个矢量说明至少一个置信值，

-重建参数确定单元，用于针对所述当前图像区域基于所述运动矢量场和所述置信矢量场确定运动矢量场重建参数。

为了对利用本发明的方法编码的图像序列解码，需要一种解码方法，其中针对当前图像区域基于所述运动矢量场重建参数重建运动矢量场，并且基于此（以及基于曾被用于确定该运动矢量场的该其它图像区域）确定图像区域预测。

与此对应地，用于执行该解码方法的图像解码设备需要

-运动矢量场重建单元，用于针对当前图像区域基于所述运动矢量场重建参数来重建运动矢量场，以及

-预测图像生成单元，用于基于该运动矢量场（并且基于用于产生该运动矢量场所使用的其它图像区域）确定图像区域预测。

本发明的编码方法和解码方法在一种用于传输和/或存储图像序列的方法中采用，其中在该传输和/或存储之前利用本发明的方法对图像序列的图像区域进行编码，并且在该传输之后和/或在从存储器取出之后利用对应的解码方法又对所述图像区域进行解码。与此对应地，本发明的用于传输和/或存储图像序列的系统具有至少一个本发明图像编码设备以及本发明图像解码设备。

本发明的编码设备以及本发明的图像解码设备尤其是还可以以软件的形式在具有对应存储可能性的合适的图像处理计算单元上实现。这尤其适用于运动矢量场确定单元、置信矢量场确定单元、重建参数确定单元以及运动矢量场重建单元和预测图像生成单元，它们例如可以以软件模块的形式实现。但同样，这些单元还可以构造为硬件部件，例如以合适构建的ASIC的形式。很大程度上按照软件的实现所具有的优点是，迄今为止已经所使用的图像编码设备和图像解码设备也能以简单的方式通过软件更新来修正，以按照本发明的方式工作。本发明由此还包括计算机程序产品，其可以被直接加载到图像处理计算机的存储器中，该计算机程序产品具有程序代码片段，用以例如在用于构造图像编码设备的图像处理计算机中或者在用于构造图像解码设备的图像处理计算机中，当该程序在所述图像处理计算机中被实施时执行本发明方法之一的所有步骤。

从属权利要求以及以下描述包含本发明的特别有利的改进方案和构型，其中尤其是一种类别的权利要求也可以类似于另一种权利要求类别的从属权利要求地改进。同样，权利要求的各个特征或特征组可以被组合为新的实施例。

因此，在本发明的编码方法中确定的运动矢量场重建参数原则上可以被用于对图像序列进行简单的有损的压缩。

优选地，在该编码方法的范围内借助运动矢量场重建参数首先又重建运动矢量场。然后基于（仅仅）所重建的运动矢量场的运动矢量以及基于用于最初确定该运动矢量场所使用的其它图像区域来确定针对当前图像区域的图像区域预测。于是例如通过形成当前图像区域与该图像区域预测的差来确定剩余误差数据，并且最后将运动矢量场重建图像参数与当前图像区域的剩余误差数据逻辑连接（verknüpfen）。然后可以对这些数据进行存储和/或传输。

运动矢量场重建参数与剩余误差数据的逻辑连接在此可以通过直接的数据连接进行，例如以复用方法或类似的合适方法的形式。但是原则上能在所述存储或传输之后以任意方式确定哪些运动矢量场重建参数属于哪些剩余误差数据就足以。于是在解码时，可以在从传输和/或存储的数据中提取剩余误差数据和运动矢量场重建参数之后例如在解复用方法的范围内又从运动矢量场重建参数中重建运动矢量场，并基于此确定图像区域预测。然后可以借助剩余误差数据又精确地重建当前图像区域。

为此，本发明的图像编码设备需要对应的运动矢量场重建单元，如例如也在图像解码设备侧所设置的，以及需要比较器，用于确定剩余误差数据，也就是当前图像区域与图像区域预测的偏差，以及需要合适的编码单元，用于对所述剩余误差数据适当地编码并且例如借助合适的逻辑连接单元（如复用器）与运动矢量场重建参数逻辑连接。

于是对应地在图像解码设备侧首先需要数据分离单元，如解复用器，用于将运动矢量场重建参数与剩余误差数据分离，以及需要用于对剩余误差数据解码的单元和组合单元，该组合单元用于从预测图像数据以及解码的剩余误差数据中又优选无损地确定精确的当前图像区域。

在本方法的特别优选的变型中，以矢量分量场的形式逐分量地产生和/或处理运动矢量场和/或置信矢量场。也就是说，例如在二维图像情况下分开处理运动矢量场的x分量和y分量，并由此产生两个矢量分量场。对应地，如上面已经提到的，还可以产生分开的置信矢量分量场，它们分别说明在两个方向之一上的矢量分量的品质。清楚的是，在此原则上也可以扩展到z方向上的第三维度。

对不同方向上的矢量分量分开处理所具有的优点是，可以考虑可能能够完全在一个方向上以高概率非常精确地确定特定图像点或像素处的矢量，而在另一个方向上仅能够不精确地确定该矢量。对此的示例是位于对象的在x方向上伸展的边缘处的图像点。由于在y方向上由于在该边缘处的跳跃而使得对比度差异非常大，因此可以在y方向上以相对高的精度探测所述图像点在两个相继的图像之间的位移，从而可以在该方向上非常精确地确定运动矢量。相反，由于可能小的或根本就不可探测的变化在该边缘纵向上的运动矢量分量的确定相当少。

为了确定运动矢量场重建参数存在不同的可能性。

在特别优选的变型中，在本方法的范围内确定运动矢量场的相关特征点，并且于是运动矢量场重建参数分别包含地点信息，例如地点坐标或其它用于识别相关特征点的数据，和在所涉及的相关特征点处的运动矢量的至少一个分量。也就是说，对于每个相关特征点都确定该像素的位置以及至少一个所属的运动矢量分量。

在此，为了确定相关特征点优选首先基于置信矢量场来确定一组候选特征点，这组候选特征点分别又包括所涉及的像素的地点信息以及至少一个所属的运动矢量分量。这例如可以通过以下方式进行，即确定置信矢量场的局部最大值。然后可以从这些候选特征点中选择相关特征点。为此合适的编码设备例如需要候选特征点确定单元，例如关于所述局部最大值来搜索置信矢量场的最大值探测单元，以及需要特征选择单元。

在本方法的特别优选的改进方案中，为了从候选特征点中选择相关特征点，针对各个候选特征点、优选每个候选特征点可以分别产生密集的运动矢量场和/或针对当前图像区域的图像区域预测，而无属于该候选特征点的运动矢量分量。然后可以检验对该运动矢量场和/或图像区域预测的影响。换句话说，从候选特征点中确定相关特征点是通过确定这些候选特征点是否存在的效用来进行的。

在此，例如可以检验在具有运动矢量和不具有该运动矢量的图像区域预测之间的偏差是否低于预先给定的阈值。如果情况如此，则该候选特征点不是相关特征点。在另一种替换方案中，分别记录在具有所涉及的运动矢量和不具有所涉及的运动矢量的图像区域预测之间的偏差。该测试对于每个候选特征点都要被执行并且结果例如同样被存放在场或矢量场中。于是具有最小偏差的n个特征点是相关特征点，其中n是事先设定的数目。在该方法中也可以又逐分量地单独地工作。

因此，该第一方法基于以下思想：从密集的矢量场中借助置信矢量场的置信值产生稀释密集矢量场，该稀释密集矢量场仅还包含针对实际相关特征点或像素的矢量或矢量分量。

于是为了重建密集的运动矢量场，优选使用这些候选特征点或其运动矢量分量作为“支持位置”，以例如在非线性方法中内插或外推密集的运动矢量场的另外的运动矢量。也就是说，对密集的运动矢量场的确定是通过基于合适的基函数使面“拟合”于这些支持位置来进行的。为此，运动矢量场重建单元优选拥有用于基于候选特征点的运动矢量分量非线性地内插或外推运动矢量的单元。

在可替换的第二方法中，作为运动矢量场重建参数，基于运动矢量场以及置信矢量场确定系数，以借助预先给定的基函数重建运动矢量场。这些系数优选可以在线性回归方法中被确定。于是可以借助这些系数简单地通过将预先给定的基函数进行线性组合来重建所述运动矢量场。

在此，在优选的变型中可以预先给定这些基函数。为此，这些基函数必须被图像编码设备以及图像解码设备事先已知。但是，通过简单的方式确定所述系数并且例如除了剩余误差数据之外还仅传送这些系数作为辅助信息就足以。

在该第二方法的替换变型中，基于所述运动矢量场和所述置信矢量场一起确定属于所述系数的基函数以重建该运动矢量场。这些基函数例如可以从一组预先给定的基函数中选择。因此在该方法中，不需要事先向图像解码设备告知这些基函数。取而代之的是，必须与所述系数和必要时所述剩余误差数据一起来传送或存储所确定的基函数或用于识别这些基函数的信息。

在所有上述方法中，所述置信矢量场优选可以被通过以下方式确定，即针对运动矢量场的每个位置、也就是每个点或像素都确定偏差面。该偏差面包含在当前观察的图像点周围（例如在3×3个像素的空间中）将该运动矢量改变所定义的变化情况下基于在当前位置处的运动矢量的预测图像点与当前图像区域中的所涉及位置处的图像点的可能偏差。于是作为置信值可以分别在至少一个方向上确定该偏差面的曲率值，也就是对于每个点例如逐分量地确定二阶导数并由此对应地逐分量地构建置信矢量场。

附图说明

下面参照附图根据实施例再次详细阐述本发明。其中：

图1示出具有动态心脏计算机断层造影图像数据组的层的4个时间上相继的照片的图像序列，

图2示出本发明编码方法的第一实施例的流程图，

图3示出重建的运动矢量场的x分量的图示，

图4示出重建的运动矢量场的y分量的图示，

图5示出本发明图像编码设备的第一实施例的方框图，

图6示出本发明解码方法的第一实施例的流程图，

图7示出本发明图像解码设备的第一实施例的方框图，

图8示出对于每个帧平均剩余误差数据量和总信息量与运动信息量有关的图示，

图9示出对于每个帧均方误差（Mean Square Error=MSE）与运动信息量有关的图示，

图10示出图1中的第三图像具有部分示出的叠加的密集运动矢量场的图示，

图11示出图10中的图像在x方向上的置信值的图示，

图12示出图1中的第三图像具有根据图10的稀释的运动矢量分量场的图示，

图13示出图1中的第三图像具有叠加的运动矢量场的图示，该叠加的运动矢量场是基于根据图12的运动矢量而被重建的，

图14示出在本发明的第一编码方法中变成四倍的剩余误差的图示，

图15示出在基于块的预测性编码方法中变成四倍的剩余误差的图示，

图16示出本发明编码方法的第二实施例的流程图，

图17示出本发明编码方法的第三实施例（在此是第二实施例的变型）的流程图，

图18示出本发明图像编码设备的第二实施例的方框图，

图19示出本发明解码方法的第二实施例的流程图，

图20示出本发明图像解码设备的第二实施例的方框图。

具体实施方式

图1示出图像序列的4个图像，由同一个层的4个相继的照片组成，这些照片是在动态心脏图像数据组的范围内借助计算机断层造影设备记下的。根据这些图像表明，不同的对象随着时间首先执行变形运动，与例如另外在常见的视频照片中情况不同。下面假定本发明的方法首先被用于对这样的医学技术图像数据进行压缩，即使该方法不限于此。此外下面为简单起见还假定，总是对图像序列的完整的图像进行编码或解码，其中但是如上已经描述的还可以仅对图像的特定图像区域进行编码和解码。

根据图2现在描述本发明的无损编码方法100的第一变型。在此，根据针对该图像序列中的图像的编码经历来进行描述，其中已经存储了在先图像。因此，对于图像序列的第一图像可以不应用该方法，因为在此确实缺少比较图像，基于该比较图像可以产生预测图像或运动矢量场。

用于对图像编码的方法在步骤101（作为起点）中开始，其中首先在步骤102中读入原始图像I_n。然后该原始图像一方面在步骤103中被存储以用于下次迭代，也就是对I_n+1图像的处理。另一方面，该图像I_n在步骤104中被用于与在步骤103中的在先编码经历中存放在存储器中的在前图像I_n-1一起确定密集的运动矢量场V_n。

使用这样的密集的运动矢量场V_n尤其是具有以下优点：可以更好地与任意组织运动匹配并由此可以更好地预报。此外，对“平滑的”运动的假设具有其它优点，例如基于该假设的方法不限于基于块的压缩方法并且在剩余误差数据的编码方面可以与诸如JPEG-LS或小波压缩方法的空间预测方法在空间和时间方向上组合。

为了估计或获得密集的运动矢量场，可以使用基于相关性的光流方法，如例如以类似形式在P. Anandan, “A Computational Framework and an Algorithmen for the Measurement of Visual Motion”, Int. Journal of Computer Vision, 2(3), 283-310页, 1989年1月中所描述的。那里所使用的算法的目的是将运动图像点周围的邻里（Nachbarschaft）的平方强度差（Squared Intensity Differences=SSD）之和与相邻运动矢量的差异的加权线性组合最小化。为此将当前图像以及在前图像在它们的图像尺寸方面在每一个维度上多次地缩小到二分之一（也就是在x和y方向上，因此总共缩小到四分之一），直到达到以下尺寸，在该尺寸中运动可以最多总计一个像素。于是在该运动估计之后，在使用优选双线性的内插方法下将矢量场既在分辨率方面又在矢量长度方面分层地扩大到两倍，直到最后又达到最初图像的初始图像尺寸。在此，在每一级（Stufe）中都借助迭代算法来改善所述估计，其中将当前图像I_n中的每个位置x处的5×5像素邻里与在先图像I_n-1中的九个候选位置（候选运动矢量）v相比较。在此，所述候选位置v位于在所述在前矢量估计v_n-1所指向的位置周围仅一个像素的搜索区域内，也就是8像素邻里中。这可以用以下方程式来加以描述：

在该方程式中，第一和项将强度差最小化，而具有和变量l的第二项（其中该和在围绕点x的3×3环境中除开点x本身之外在所有l上运行）将相应候选位置v和8个邻居之间的差最小化。t在方程式（1）中是迭代索引。在方程式（1）中，如也在下面在其方面那样，假定位移矢量（也就是运动矢量）v被以这样的形式存储，即该位移矢量针对当前图像中的像素说明该像素是从在前图像中的哪个位置移位来的。与此对应地，在方程式（1）中r是围绕位置x的5×5场的位置，该位置有助于比较强度值，并且v是在所有方向上进行像素移位时在先图像中的九个搜索位置之一。权重参数λ被启发式地选择并且取决于强度被以何种形式存储。如果例如存储0和1之间的强度，则可以选择例如为10^-3的权重参数λ。决定性的是方程式（1）的第一项和第二项大致上处于相同的数量级。

通常，在每一级中执行大约2至10次迭代就足以获得对运动的非常好的近似。在本方法的现有测试实施例中，已经在常规的2.8GHz CPU上在少于两秒内对每一级用10次迭代创建512x512像素或体素矢量场，其中为此使用了简单的C程序。在使用专门为此设置的组件、例如ASIC的情况下，还可以实现明显的加速。针对图1中的序列的第三图像的利用本方法计算的运动矢量场在图10中示出。但是出于在图中更好的可表示性原因，为了创建该图像对最初的密集运动矢量场进行了降采样。

但是要明确指出，代替前面具体描述的用于在本发明的范围内确定密集的运动矢量场的方法也可以使用另外的合适的方法。为了在相对有噪声的图像数据中实现本方法的进一步改善，可以通过附加的循环内（Inloop）噪声减小滤波方法来减小在像素之间的可能在逐像素运动估计的情况下出现的高频变化，例如利用小高斯核或边缘维护方法。

于是基于运动矢量场v_n以及当前图像I_n，在根据图2的步骤105中确定当前图像I_n的置信矢量场K_n。该置信矢量场K_n描述基于密集的运动矢量场v_n对各个像素数据的时间上的运动进行预报的可靠性。

下面描述确定每个运动矢量的置信值的可能性，其中在此情况下还又仅涉及优选的变型并且另外的用于确定置信值的方法也是可能的。

该方法基于在上述的P. Anandan的出版物中描述的方法的稍有些改变的变型。在此情况下，在上述方法的范围内—以与在用于改善运动估计以确定运动矢量场的其它迭代的情况下相同的方式—分别在最高分辨率级中再次确定在所估计的最佳位移矢量周围的3x3搜索环境中的SSD值。也就是说，对于每个矢量都确定自身的3x3像素大小的SSD表面。于是可以基于所述SSD表面的曲率计算x和y中的两个置信值。为此可以简单地计算该表面函数的二阶导数，这可以例如以矩阵写法如下示出：

其中

在此情况下，S是3x3 SSD矩阵，并且k_x, k_y是x和y方向上的置信值。如果例如观察均匀图像区域中的像素，则该矩阵S中的所有录入都是类似的。在这种情况下，所估计的两个矢量分量的置信值k_x, k_y仅是小的。如果该像素位于竖直的（在y方向上伸展的）强度界限处，则当x方向上的搜索位置被改变时SSD值上升。因此矩阵S在其左列和右列中具有较高的值，从而x方向上的置信值k_x大。按照类似的方式，当该像素位于水平的、在x方向上伸展的强度界限处时，将会出现y方向上的大的置信值k_y。图11示出图10中运动矢量的x方向上的置信值k_x的示例。亮区域示出运动矢量的高可靠性，因为在此情况下是竖直的边缘。

由于在很多区域中运动矢量总的来说或者该运动矢量的至少一个分量是相对不可靠的，因此原则上不需要将这些矢量用于好的预报。因此，在其它处理中、也就是为了数据压缩而仅仅使用可靠的运动矢量分量并且仅仅传输或存储这些运动矢量分量就足以。于是在重建密集的运动矢量场的范围中又外推或内插另外的运动矢量，这尤其是在医学技术图像的情况下由于组织的关联性性质是可能的，而没有大的剩余误差。

因此在本发明的第一方法中，基于x和y方向的置信矢量场或矢量分量场分别确定特征点，所述特征点对于运动来说实际上是相关的，也就是在这些特征点处能够以高的可靠性确定运动矢量。在此情况下，可以说产生稀释的密集运动矢量场，基于该稀释的密集运动矢量场又可以重建完全的密集运动矢量场。为此存储仅在重要位置（所谓的相关特征点）处的运动矢量分量。

由于如前所述的那样运动矢量的两个分量的置信值可能完全不同，因此有意义的是也逐分量地、也就是针对每个矢量分量单独地执行特征点的确定。因此下面将特征点FP看做三元组FP(m,n,k)，其中(m,n)表示这样的相关运动矢量、也就是特征点FP的位置，并且k表示该运动矢量的重要分量的置信值。

为了找到相关特征点，首先在步骤106中基于置信矢量场确定候选特征点KFP（又参见图2）。

这例如可以通过确定置信矢量场中或优选置信矢量分量场中的局部最大值（如例如针对图11中的x分量所示出的）来确定。为此可以使用任意的极值搜索方法。

在此，当位置值在局部环境内具有最高置信值时，该位置值可以被看做局部最大值。该环境的尺寸指定局部最大值彼此的最小距离，并因此也预先给定首先选择的候选特征点的大致上的总数。因此在选择该尺寸时，必须在可能接下来的从候选特征点中对相关特征的另一选择的复杂性与实际重要的矢量信息的可能损失之间进行权衡。在试验性尝试中已经证明：3×3个像素和5×5个像素之间的邻里是良好地合适的。此外，在噪声强烈的区域中，为了减少对不利最大值的探测只能将这样的、具有高于特定阈值的尺寸的最大值作为候选特征点来接受。这样的阈值的精确值取决于当前存在的图像噪声的强度范围。一般来说，最大置信值的5%至10%的值给出良好的结果。

附加地，还可以针对具有高的最大值密度或具有高的运动矢量密度的区域以高的可靠性和类似的运动信息获得对于一组运动矢量有共同代表性的矢量。为此例如可以对这些运动矢量的各个分量求平均并且假设平均运动矢量在中心的位置处。对应地，当如前所述用针对x方向和y方向的分离的矢量分量场来进行工作时，对运动矢量分量的相邻组的这样的求平均也是可能的。

于是此外从这些候选特征点KFP中选择多个相关特征点FP。该特征点读取过程根据按照图2的方法在多个步骤107、108、109、110、111上迭代地进行。在此，这里从候选特征点KFP中读取相关特征点FP基于通过这些特征点或这些特征点的运动矢量分量导致的剩余误差来进行。

为此首先在步骤107中基于候选特征点KFP执行非线性的运动矢量场重建。在此，将候选特征点处的运动矢量分量用作支持位置，以便将面与之匹配，于是通过该面外推或内插在剩余位置处的运动矢量分量。

为了在此基于该稀释的运动矢量场来获得对初始运动矢量场的尽可能好的近似，优选应当注意若干额外的前提条件。一方面，应当精确地再生相关特征点本身处的相关运动矢量分量，因为对于这些矢量分量确实存在高的置信。此外应当考虑，在相关特征位置附近的运动矢量由于相互连接的组织而应当具有类似的矢量分量，而进一步遥远的运动信息的影响应当更可能非常小。

与相关特征点离得远的矢量应当是短的，因为组织对局部运动进行衰减，并且因此一般不存在全局运动。此外优选可以注意，相关特征点处的长估计矢量与较短的矢量相比影响更大的环境，同样是因为确实涉及相互连接的组织这一事实。

如果两个矢量分量被无关地处理，则在对运动矢量分量进行外推或内插时的所有这些准则都可以相对好地通过2D高斯函数的加权非线性叠加来实现。在此情况下，优选将高斯形的基函数设置在每个支持位置（也就是每个相关矢量分量）上方并且对这些基函数加权，使得最大权重位于自身的支持位置处并且数量级为0的权重位于外来的支持位置。从而可以简单地确保在所有支持位置处都维持初始值。在数学上，对矢量场v = (v_x(m,n),v_y(m,n))的所述重建针对x分量通过以下方程式示出（对于y分量存在未示出的、类似的方程式）：

在此，d_f ² = (m-m_f,x)²+(n-n_f,x)²是离相应支持位置f的平方间距，c_f,x是高斯函数的宽度，以及v_x(m,n)是在地点(m,n)处x方向上的运动矢量分量。高斯函数尤其是特别适合于所述任务，因为高斯函数取离其最大值附近的高值，但是向外具有非常快速和平滑的下降。因此对于F_x个相关特征点中的每一个，可以将高斯函数与其在相应特征位置(m_f,x, n_f,x)处的最大值相加，其中宽度与矢量分量c_f,x成比例，而高度与该矢量分量c_f,x相等。此外，为了在每个高斯函数的中心处获得精确内插的准则并且当特征点相互靠得有些近时减小遥远的矢量的影响，在每个高斯函数中使用d^-4权重函数（具有上述间距d）。最后将矢量分量标准化到该矢量位置处的所有权重函数之和。要注意的是，可以依据组织的坚固性来选择参数σ，即使可以在大的范围内（包括无穷）选择该参数，而不对重建结果产生大的影响。

针对运动矢量场的x分量的运动矢量分量场V_x以及针对运动矢量场的y分量的运动矢量分量场V_y的示例在图3和4中示出。在此，在具有512×512个像素的基本面上分别在针对图像的x和y方向上示出x方向上（图3）的运动矢量长度L（也以像素为单位）和y方向上（图4）的运动矢量长度L。在此情况下，与实际运动对应地存在在正方向上伸展的矢量分量和在负方向上伸展的矢量分量。

尤其是当不涉及医学图像数据或其中首先发生变形的另外的图像时，也可以选择另外的基函数来用于重建。例如，如果可以在相机照片的在前图像中对运动进行分割，例如在背景前的对象在前景中运动的情况下，可以如此选择基函数，使得这些基函数仅仅外推在运动区域中的特征点矢量分量。如果仅在正方形区域内使用具有恒定的不等于零的值的基函数并且使用合适的运动矢量场估计，则该方法类似于基于块的补偿方案，但是具有对块位置的优化。

于是在步骤108中基于在步骤107中重建的密集的运动矢量场在在先图像I_n-1的基础上为当前图像产生预报图像（预测图像），并且从当前图像I_n减去。于是在步骤109中计算均方误差MSE并且在步骤110中检验该均方误差MSE是否大于最大容许误差MSE_Max。

如果不是这种情况（支路“n”），则在步骤111中删去候选特征点。对首先删去哪个候选特征点的选择是依据该候选特征点的删去对MSE产生什么影响来进行的。也就是说，在该步骤111中（在未示出的循环中）针对每个候选特征点在没有所涉及的候选特征点的情况下重新在非线性重建方法（如在步骤107中）的范围内重建密集的运动矢量场，然后产生其它预测图像，并且产生与当前图像的差，并为此确定均方偏差MSE。然后删去“最不重要的”候选特征点。然后利用剩余的候选特征点在步骤107中重建密集的运动矢量场，在步骤108中产生其它预测图像并且在步骤109中产生与当前图像的差，并为此确定均方偏差MSE。最后在步骤110中又检验该均方误差MSE是否仍然不超过最大容许误差MSE_Max，并且如果是这种情况，则在其它循环经历中在步骤111中搜索新的“最不重要的”候选特征点。

而如果均方误差MSE首次超过最大容许误差MSE_Max（步骤110处的支路“y”），则中断该选择，因为不再存在其它“可放弃的”候选特征点。于是剩余的候选特征点是相关特征点FP。

清楚的是，在该中断准则中实际上用多个相关特征点进行工作，其中最大容许误差MSE_Max将近（knapp）被超过。但是由于在此情况下是可自由设定的阈值，因此这可以在确定该阈值时就已被考虑。

要注意的是，在最佳读取的情况下对于期望数量n个特征点必须对特征点的每个可能组合进行检验，也就是存在个这样的检验，其中N是候选特征点的数量。但是为了减小复杂性，可以选择这样的读取策略，即独立地针对每个特征点检验：当该特征点被去除时MSE是如何改变的。通过这种方式可以逐渐地减少特征点的数量，直到最后达到期望数量的特征点或者最大MSE。利用该方法可以将检验的数量减小到0.5 · N ·(n + 1)。在特征点选择之后，如所提到的那样针对每个特征位置传送或存储该位置和在该位置处的运动矢量的相关分量k_x或k_y，对此可以分别从另外的更可靠的位置中估计出还有相关特征点的另外的矢量分量。图12作为示例示出一组1170个特征点，这些特征点是从根据图10的密集的运动矢量场中确定的。

对于可能的无损图像数据压缩，可以使用重建的矢量场以确定当前图像的预报，也就是预测图像。在此，借助运动矢量从在前图像的对应强度值中预报每个像素。在从真实图像数据减去该预测图像之后，只须还传送剩余误差数据RD。为了尤其是在针对每个单个像素的运动补偿的期望精度的情况下具有高对比度的区域中，减少在预报中以及与此对应地在剩余误差中由于高频噪声带来的可能问题，可选地可以用因子2来对运动矢量场进行简单的过采样。图13示出具有对应补偿的预报的运动矢量场重建。与图10的比较表明，该运动矢量场重建几乎与最初的实际运动矢量场对应。

为了确定待传输的剩余误差数据，在最后的经历（Durchlauf）中再次用实际的相关特征点产生当前的预测图像并且从当前图像扣除。于是将在此获得的剩余误差数据RD在帧内编码方法112中（也就是与另外的图像无关地）通过常见方式编码。在此情况下，根据什么对于相应应用是有意义的，可以既在有损方法中又在无损方法中使用所有已知的图像压缩算法或图像内压缩算法，如小波编码方法（JPEG 2000），或上下文自适应算术编码方法，如JPEG-LS或H.264/AVC。在其中剩余误差低于特定阈值的区域中，可以甚至完全放弃对剩余误差的传送或存储。原则上也可以在不明确地传送剩余误差的情况下使用运动信息，即运动矢量场重建参数，例如在使用经运动补偿的时间滤波方法的情况下。

只要期望数据的无损压缩，优选也可以一直继续相关特征位置的选择规程，直到运动矢量信息和剩余误差信息的组合信息量（在预先给定剩余误差编码方法的情况下）达到最小值为止。其它用于优化的可能性在于，如果候选特征点的第一选择不是完全最佳的，则附加地还对针对特征点的相邻位置以及类似矢量分量（与在特征点选择方法中类似）在其对预报的影响方面进行检验。由此如果可以达到更好的预报，则可以修改特征点的位置或者可以修改矢量分量。

相关特征点或属于相关特征点的位置数据以及矢量分量可以在熵编码方法中被编码并且在复用方法中与经过帧内编码的剩余误差数据组合，这在步骤114中进行。然后在步骤115中，发送针对当前图像的数据并且开始在步骤101中对该图像序列的新图像进行编码。

可选地，可以在熵编码之前的步骤113中还对相关特征点进行分类。但是原则上传输或存储特征点的顺序不是特别相关的。因此可以使用任意算法，从简单的“运行级别”编码出发直至计算出最佳路线，例如用“旅行推销员”算法。这样的优化的分类可以具有以下优点：利用对位置和运动矢量分量的差分熵编码方法可以最小化这两者情况下的空间相关性并由此还可以进一步减小冗余。

图5示出用于执行如根据图2描述的编码方法的编码设备1的可能结构的粗略示意方框图。

在输入端E处，在此进行图像数据、即图像序列IS的接收，其具有大量图像I₁, I₂, …, I_n, …,I_N。然后各个图像被递交给缓冲存储器16以及运动矢量场确定单元2，在该缓冲存储器中分别存储当前图像以用于稍后对随后的图像编码，在该运动矢量场确定单元中例如用上述光流方法确定密集的运动矢量场v_n。

并行地在置信矢量场确定单元3中基于由运动矢量场确定单元2确定的密集的运动矢量场v_n以及基于当前图像I_n和从存储器16中取出的在前图像I_n-1确定当前置信矢量场K_n或x和y方向上的两个置信矢量分量场。

这些数据被转交给重建参数确定单元4，该重建参数确定单元在此由最大值探测单元5和特征点选择单元6构建而成。最大值探测单元5首先如上所述确定候选特征点KFP，并且然后特征点选择单元6从候选特征点KFP中确定实际的相关特征点FP。为此特征点选择单元6与运动矢量场重建单元9一起工作，该运动矢量场重建单元基于当前的相关特征点根据图2的方法的步骤107重建运动矢量场V’_n并且将该运动矢量场提供给预测图像生成单元8，该预测图像生成单元执行根据108的方法步骤并且确定当前的预测图像I’_n（预报图像）。附加地，在该预测图像生成单元8中还可以对预测图像I’_n去噪。

然后又将该预测图像I’_n提供回给特征点选择单元6，该特征点选择单元依据均方误差MSE决定是否去除其它候选特征点KFP或者是否已找到所有的相关特征点FP。这在此通过开关7象征性表示。如果找到合适的相关特征点FP，则在减法单元17（例如由具有针对预测图像的反相输入端的加法器组成）中从当前图像I_n扣除该当前预报图像，并且剩余的剩余误差或剩余误差数据RD与相关特征点FP一起在编码单元10中被逻辑连接和编码。

该编码单元10原则上可以按照任意方式被构建。在当前的实施例中，其由熵编码单元13、帧内编码器11以及随后的复用单元14组成，利用该熵编码单元13对相关特征点FP的运动矢量数据、也就是相关特征点FP的位置和相关矢量分量进行编码，所述帧内编码器11对剩余误差数据RD进行编码，所述复用单元14将编码的剩余误差数据RD以及特征点的编码的运动矢量数据相互逻辑连接，以然后将它们在输出端A处输出。它们从输出端A或者经由传输信道T传输或者存储在存储器S中。

在上述行为方式中，为了熵编码将相关特征点FP直接输出到熵编码单元13（在图5中经由连接15）。可替换地，也还可以在位置布置单元12中设置中间步骤，该位置布置单元以合适的方式对相关特征点FP进行分类，以由此可以在随后的熵编码方法中在熵编码单元13中对所述相关特征点更有利地进行编码。

图6示出合适的解码方法200，利用该解码方法又可以将根据图2编码的图像数据进行解码。在该方法200中也仅示出一个用于对图像序列的图像解码的经历，该图像不是该图像序列的第一图像。该经历在步骤201中开始，其中首先在步骤202中接收或从存储器读取经编码的图像数据。然后在步骤203中进行分离，例如经帧内编码的剩余误差数据与相关特征点的运动矢量数据的解复用以及对运动矢量数据的解码。

在步骤204中，基于经解码的运动矢量数据恰好与在根据图2的编码方法100的步骤107中一样地重建密集的运动矢量场V’_n。并行地在步骤205中对剩余误差数据RD执行帧内解码。在步骤206中，基于在步骤207中在在前经历中存放的在先图像I_n-1以及基于在步骤204中产生的运动矢量场V’_n产生预测图像I’_n，然后在步骤208中将该预测图像与经解码的剩余误差数据RD组合，以由此得到当前图像I_n，然后在步骤209中进一步使用该当前图像。接着在步骤201中又开始该方法以用于对随后的图像I_n+1解码。此外在步骤207中存储所产生的图像I_n以用于随后的经历。

与编码方法100对应地，在根据图6的解码方法200中还逐分量单独地进行解码。也就是说，重建针对x方向和y方向的分离的运动矢量场V’_n（或运动矢量分量场）。但是由于更好的可表示性未在图中示出。

在图7中粗略示意性地示出合适的解码设备20的方框图。在输入端E上从传输信道T或存储器S接收了经编码的数据之后，首先将这些数据输送给分离单元21，例如解复用器。经编码的剩余误差数据被输送给帧内解码器23，该帧内解码器对剩余误差数据RD进行解码。相关特征点的经编码的运动矢量数据被输送给解码单元22，例如熵解码器，尤其是算术解码器，该解码单元22对运动矢量数据进行解码并且将关于相关特征点的位置、也就是地点信息FPO以及相关特征点FP的运动矢量分量FPK输送给运动矢量场重建单元24。该运动矢量场重建单元原则上以与图像编码设备1的运动矢量场重建单元9相同的方式构建。然后，在此重建的密集的运动矢量场V’_n被输送给预测图像生成单元26，该预测图像生成单元又如图像编码设备1的预测图像生成单元8那样构建。这里同样可以发生去噪。然后在加法器27中将预测图像与剩余误差数据RD联合，以由此能够又在输出端A处输出经解码的图像序列IS。先前还在缓冲存储器25中存放当前经解码的图像I_n，以便能够在随后的经历中在预测图像生成单元26内使用该图像I_n。

与基于块的方法相比本发明方法的主要优点在于平滑的运动矢量场以及与此相关联的块伪影避免。由此随后对空间冗余的利用不限于块内的像素，并且可以采用更好的剩余误差编码方法。

图8示出根据时间上和空间上的预报平均剩余误差数据量（以比特/像素为单位）如何随着运动信息量BI（以比特/像素为单位）增长而改变。运动信息量BI在此是在该方法中待传输的运动信息的数据量，该待传输的运动信息也就是运动矢量或运动矢量分量及其位置。在那里示出针对基于块的方案的曲线（虚线）以及针对本发明方法的曲线（点划线）。实线曲线补充地示出利用本发明方法的总信息量（以比特/像素为单位），其由运动信息量和剩余误差信息量组成，其中对于剩余误差编码使用相对简单的压缩方法。为了进行比较，附加地示出针对以下方法的总信息量（以比特/像素为单位），在该方法中直接使用在前图像来进行预报而无运动估计（点曲线）。如所表明的，基于块的方案原则上甚至比其中预报直接基于在前图像的这种方法不利。与此不同，利用本发明的方法当增加额外的运动矢量信息时剩余误差信息量下降。在本发明的方法中总信息的最小值在每个图像大约1至2kB运动信息量时被达到。例如，该最小值在图10和11中的具有1170个运动矢量分量的图像中被达到，这些运动矢量分量在图12中示出。最小值的精确位置取决于实际运动。在此情况下，基于块的方法获得相对差的结果首先是由于块伪影。仅对非常大的运动信息量，也就是在块尺寸小的情况下，基于块的方法才起更好的作用。但是于是总信息量也显著比在本发明的方法中高。

图14示出用根据图10至13的本发明方法产生的剩余误差图像。相比较而言，图15示出用基于块的方法产生的对应剩余误差图像。这些图像的精确比较表明，在本发明的方法中不出现块伪影，并且因此尤其是在具有高强度变化和非刚性运动的区域中出现较小的剩余误差。

为了进行比较，图9再次示出在此以均方误差MSE形式的剩余误差量在本发明的方法情况下（实线曲线）以及在基于块的方法情况下（虚线曲线）如何随着运动信息量BI（以比特/像素为单位）变化。到平均运动信息量为止，剩余误差大致上相同大小，并且仅在高运动矢量信息的情况下基于块的方法才导致较小的剩余误差，由此可以解释图8中的实线曲线的上升。

也表明本发明方法的上述变型（在本发明方法中仅传输或存储相关特征点的运动矢量分量，其中相关特征点取决于预先给定的置信度量）与另外的方法相比仅导致非常少的辅助信息。因此总的来说，利用这样的方法甚至在无损压缩时也能较剧烈地减少数据量。与基于块的方法不同，在有损方法情况下的块伪影在此情况下基本上被避免。

下面描述两个其它编码方法300,500，其中根据本发明可以使用置信矢量场，以确定运动矢量场重建参数。两种方法都基于：借助置信矢量场在编码器侧确定系数，以通过基函数的线性叠加来重建运动矢量场。

这样的方法300的简单变型的流程图在图16中示出。在此又仅示出对该图像序列的一个图像I_n的处理，其中假定已经存放了在前图像并且可以在图像编码的范围内被使用。

该方法在步骤301处开始，其中在步骤302中首先又读入原始数据图像I_n，以一方面在步骤303中存放该原始数据图像来用于随后图像的编码，并且另一方面在步骤304中针对当前图像I_n产生密集的运动矢量场V_n。然后基于密集的运动矢量场V_n和当前图像I_n，在步骤305中确定置信矢量场K_n。步骤304和305与根据图2的方法中的步骤104,105并无不同，从而可以参见对其的阐述。

但是现在在步骤307中确定合适的系数，以通过预先给定的基函数的线性组合表示密集的运动矢量场，这些基函数在步骤306中从存储器中取出。这通过根据c来最小化目标函数：

来进行。在此情况下，v是在一行中包含当前的密集的运动矢量场V_n的所有矢量分量的矢量，也就是说，当该图像包含q = M · N个单个像素时，v具有长度q，并且各个矢量元素与密集的运动矢量场的先后写的分量对应。因此如果处理具有512 x 512个像素的图像，矢量v总共具有512 x 512 = 262144个元素。在此，这里首先仅观察一个分量，例如仅观察x分量，因为即使在本发明方法的该第二实施方式中也逐分量地进行观察。也就是说，系数的确定针对x分量和y分量分开地进行，从而对应地针对这些分量分开地单独执行根据方程式（4）的优化。可替换地，例如也可以使用具有双倍数量的分量的单个总矢量v，或者例如根据角度和矢量长度分开，等等。c在这里是具有所搜索的系数的矢量（因此下面也用c简单地总地作为整体表示系数）。如果应当使用p个基函数，则矢量c与此对应地具有p个元素。基函数数量的可能示例是p=256，p=1024或p=10000。但是也可以选择任意其它值。

B是q x p基函数矩阵，该基函数矩阵在其列中包含预先给定的基函数b₁,…,b_p，也就是B = (b₁, b₂, b₃, …)（因此下面也用B简单地总地作为整体表示基函数）。当前图像的置信值或置信矢量场K_n在方程式（4）中通过简单的方式被考虑为权重函数k类型，其中这里是在对角线上具有权重值的q x q矩阵，并且在该矩阵的其余部分中都为0。

在根据方程式（4）的加权的线性回归情况下，具有高置信值的运动矢量比具有低置信值的矢量被更好地近似。由此自动地确定比在不将考虑置信值时显著更好的系数来用于重建密集的运动矢量场。

如果确定了系数c，则在步骤308中基于预先给定的基函数B和事先在步骤307中确定的系数c来进行线性矢量场重建。然后在步骤309中借助这样重建的密集的运动矢量场和在前图像产生预测图像，并且从当前图像扣除该预测图像，从而确定剩余误差数据。这些剩余误差数据在步骤310中在帧内编码方法中被编码。然后系数c作为运动矢量场重建参数在步骤311中同样被输送给熵编码装置并且与经帧内编码的剩余误差数据RD逻辑连接，从而然后可以将它们在步骤312中发送或存储。此后在步骤301中开始对该图像序列的下一个图像的编码。

根据图16的编码方法300的前提是，事先选择理想的、尽可能小的基函数b₁, b₂, b₃, …集，该基函数集也被解码器已知。作为对此的替换，图17示出稍有变化的编码方法500。

步骤501,502,503,504和505恰好对应于在根据图16的方法情况下的步骤301至305，也就是读取原始图像I_n并且进行存放以用于对随后的图像I_n编码，并且同时基于当前图像I_n确定密集的运动矢量场V_n，并且然后基于此确定置信矢量场K_n。

但是与在根据图16的编码方法300情况下不同，在根据图17的编码方法500中基于密集的运动矢量场V_n和置信矢量场K_n不仅确定系数或系数矢量c，而且还确定最佳的基函数b₁,…,b_p或基函数矩阵B。

这在步骤506至517上的多个循环经历中进行，其中在每个循环经历时确定“最好”基函数和所属系数。在此，在每个循环经历内多次经历具有步骤507至512的内循环，以从可能的、预先给定的基函数的较大组中选择“最好”基函数（及所属系数）。

为此在步骤506中初始化运行变量和目标值，例如将运行变量设置为0并且将目标值设置为无穷。在该内循环的步骤507中，分别进行所述运行变量的增量（例如通过提高值1）。在步骤508中通过询问该运行变量的值来检验是否已经检验了可能基函数的较大组的所有基函数。为此可以简单地检查所述运行变量是否还低于为选择可供使用的基函数的数量。如果是这种情况（支路“y”），则在步骤510中类似于方程式（4）地执行优化，其中但是这里根据c将方程式：

最小化。当前图像的置信值或置信矢量场K_n也在方程式（5）中通过矩阵K来加以考虑。但是这里与在方程式（4）中不同，b仅是矢量，具有来自可能的预先给定的基函数组中的在循环507至512的相应经历中待检验的单个基函数b。为此在步骤509中从基函数的该较大组中选择基函数。原则上这可以按照任意顺序来进行，只是要确保在循环507至512的多次经历时用于选择的基函数中的每一个都仅被检验一次。

对应地，c在这里与在方程式（4）中不同不是具有待搜索系数的矢量，而仅是与相应基函数b合适的单个系数，也就是标量。

矢量v在方程式（5）中仅在外循环506至517的第一次经历时代表当前的密集的运动矢量场V_n。在所述外循环的其它经历中，矢量v仅还代表“剩余运动矢量场”，从该剩余运动矢量场扣除可利用已经在前先经历中确定的基函数和系数重建的矢量场，也就是在外经历中的每次迭代时对矢量v进行更新：

为了对于当前检验的基函数b找到最佳系数c，在步骤510中根据该系数c来对根据方程式（5）的函数最小化。在此实现的函数值在步骤511中与已在步骤506中初始化的目标值相比较。如果该函数值低于该目标值（支路“y”），则在步骤512中更新该目标值，其方式是通过该函数值来代替该目标值。这在内循环的每个第一经历时由于目标值在步骤后506中的初始化而总是这种情况。此外，在步骤512中存储当前检验的基函数b和所属的优化的系数c作为临时最佳值。

接着在步骤507中，又对运行变量进行增量并且重新经历内循环，其中现在在步骤509中选择基函数b中的另一个基函数并且为此在步骤510中通过用新的基函数b最小化方程式（5）来确定最佳系数c。然后如果在步骤511中的随后询问时确定当前函数值低于更新的目标值（支路“y”），也就是当前基函数比在前的“最好”基函数“更好”，则重新在步骤512中进行目标值的更新，并且当前检验的基函数b和所属的优化的系数c被作为新的临时最佳值存储。否则（支路“n”）立即回跳到步骤507中，以对运行变量增量并且然后测试新的基函数。

如果在内循环507至512的经历之一时在步骤508中确定运行变量已经达到用于选择的基函数的数量，也就是所有基函数都已被测试过，则中断内循环（支路“n”）。

然后在步骤513中，对矢量v进行上面根据方程式(6)描述的更新，其中使用事先在内循环中找到的“最好”基函数b和所属的“最好”系数c。此外在该步骤中在基函数矩阵B中装入找到的基函数b并且在系数矢量c中装入所属的系数c，从而最后作为整个方法的结果存在最佳基函数矩阵B和最佳系数矢量c，类似于在根据图16的方法时的情况（但是在该方法中只搜索系数矢量c并且预先给定基函数矩阵B）。

然后在步骤514中类似于根据图16的步骤308基于已经存在的基函数和系数执行线性矢量场重建。然后在步骤515中借助这样重建的密集的运动矢量场和在前图像又产生预测图像并且从当前图像扣除该预测图像，从而确定剩余误差数据。

然后在步骤516中计算均方误差MSE，并且在步骤517中检验该均方误差MSE是否小于最大容许误差MSE_Max。如果不是这种情况（支路“n”）则回跳到步骤506中，以便于是可以搜索其它最佳基函数，以扩展或补充迄今为止的基函数集B，也就是基函数矩阵B，从而密集的运动矢量场的重建变得更好。于是首先对运行变量以及目标值重新初始化，并且又对所有用于选择的基函数经历内循环507至512。

如果在步骤517中确定均方误差MSE小于最大容许误差MSE_Max（支路“y”），则可以结束该方法，因为所有最佳基函数B及其所属的系数c都已被找到（用B也在该方法中总地作为整体表示基函数，并且用c作为矩阵或矢量与其表示无关地表示所属系数）。在替换的中断变型中，该方法也可以在步骤517中在达到特定数量的基函数时被中断。

在步骤518中的剩余误差数据RD的帧内编码，以及在步骤519中对作为运动矢量场重建参数的系数c和基函数B的熵编码以及与经编码的剩余误差数据的逻辑连接（例如在复用方法的范围内），以及接着在步骤520中的发送或存储又与图16中的步骤310,311和312中的行为方式对应。为了节省存储或传输容量，在实际中仅传输恰好足以在解码器处识别基函数B的有限信息，例如由解码器已知的基函数的大选择的索引号等。同样，也可以将基函数编码为解析函数（例如cos(10·x+3·y)）。因此下面将基函数B的编码或传输和/或存储一般理解为这样的按照减小的形式的信息传输。

为完整起见要指出，在根据图17的编码方法500情况下也与在另外的方法100、300情况下一样对x方向和y方向单独地逐分量地进行系数和基函数的确定。为此这对应地适用于稍后阐述的解码方法。

图18示出如可以被用于执行根据图16和17的方法的图像编码设备1'的简化框图。该图像编码设备1'基本上非常类似地如图5中的图像编码设备1地构建。这里，在输入端E处也接收图像序列IS并且首先将当前图像I_n存放在缓冲存储器16中。此外在运动矢量场确定单元2中产生针对当前图像的密集的运动矢量场V_n，并且在置信矢量场确定单元3中确定置信矢量场K_n。

但是，这里重建参数确定单元4'由回归变换单元组成，该回归变换单元在根据图16的方法300中执行方法步骤302或在根据图17的方法500中促使或控制方法步骤507至517。

如在根据图5的实施例情况下那样，该设备也具有运动矢量场重建单元9'，但是在这里该运动矢量场重建单元通过预先给定的或同样确定的基函数B与所确定的系数c的线性组合来重建矢量场，如这已经借助根据图16的方法300中的步骤308或根据图17的方法500中的514阐述的。

然后预测图像生成单元8负责根据方法步骤309或515产生预测图像。在减法环节17中从当前图像扣除该预测图像，以获得剩余误差数据RD。

于是，当前系数c以及必要时还有在根据图17的方法中确定的基函数B同样与剩余误差数据RD一样被交给编码单元10'，以便在输出端A处将已完成编码和逻辑连接的数据递交到传输信道T上或存放在存储器S中。编码单元10'在这里由用于对剩余误差数据RD编码的帧内编码单元11以及对系数c和必要时所属的基函数B编码的熵编码器13'组成。于是来自块13'和11的经编码的数据在复用器14'中相互逻辑连接。

图19示出如何能够在解码单元侧又对利用方法300或500编码的图像数据进行解码。在这里也又仅示出对该图像序列的一个图像的解码，其中假定已经存在关于在前图像的数据。解码方法400在步骤401中开始，其中在步骤402中首先读入经编码的数据。接着在步骤403中又对数据进行解复用以及对系数c和必要时基函数B进行熵编码，所述系数c和基函数B是重建运动矢量场所需要的。在该步骤中，将剩余误差数据分离出，并且在步骤405中将所述剩余误差数据输送给帧内解码装置。然后在步骤404中使用用于运动矢量场重建的信息c，B，以便在那里通过将基函数B与预先给定的系数c进行线性组合来重建运动矢量场V’_n。然后在步骤406中使用该运动矢量场V’_n，以基于在在先经历中存储的图像I_n-1（步骤407）产生预测图像。该预测图像然后在步骤408中与经解码的剩余误差数据RD逻辑连接，以由此在步骤409中能够输出或进一步使用完成的当前原始数据图像I_n。

图20示出解码装置20'的简化方框图，该解码装置又非常类似于根据图7的解码设备20地构建。在这里，在输入端E处也从传输信道T或从存储器S取出经编码的数据。在例如解复用器的分离单元21'中，首先将经编码的剩余误差数据和经编码的运动矢量场重建参数（在此在根据图17的方法500情况下是系数c以及必要时基函数B）分开。然后这些经编码的运动矢量场重建参数c，B在解码单元22'中被解码并且被递交给运动矢量场重建单元24'。如果为了进行编码使用根据图16的编码方法300，则在这里只须转交系数c，并且运动矢量场重建单元24'从存储器28中取出所需要的预先给定的基函数B。于是在利用根据图17的编码方法500进行编码的情况下，在该存储器28中例如存放了在编码时所有可用于选择的基函数的总数。于是，所传输的以及对应地由解码单元22'提供的用于识别所选择的基函数B的信息被用于在存储器28中找到所述基函数B。

然后，由运动矢量场重建单元24'重建的密集的运动矢量场V’_n被输送给预测图像生成单元26，该预测图像生成单元从重建的运动矢量场以及事先存储的图像I_n-1来产生预测图像I’_n，所述事先存储的图像可以从缓冲存储器25取出。与此并行地，经编码的剩余误差数据由帧内解码器23解码，并且然后所述剩余误差数据RD与预测图像I’_n在加法器27中被叠加，从而最后存在图像序列IS的完整的解码图像I_n。该完整的解码图像又可以存放在缓冲存储器25中以用于对随后的图像解码，并且在输出端A处输出以用于其它使用。

最后再次指出，先前描述的详细化的方法和结构是实施例，并且基本原理也可以在其它领域中由专业人员修改，而不脱离本发明的范围，只要该范围是通过权利要求来预先给定的。即使前面根据医学领域中的图像描述了本发明，本发明也可以有益地用于对其它图像序列编码，尤其是当这些图像序列在较强烈的程度上是变形运动时。为完整性起见还要指出，不定冠词“一个（ein）”或“一种（eine）”的使用不排除所涉及的特征还可以多重存在。同样术语“单元”不排除其可以由多个部件组成，这些部件必要时还可以分布在空间中。 

Claims (16)

1.用于压缩图像序列（IS）的编码方法（100,300,500），包括以下方法步骤：

-针对该图像序列（IS）的当前图像区域(I_n)通过与该图像序列（IS）的至少一个其它图像区域(I_n-1)相比较来确定密集的运动矢量场(V_n)，

-针对所述当前图像区域(I_n)确定置信矢量场(K_n)，该置信矢量场针对所述运动矢量场(V_n)的每个运动矢量说明至少一个置信值，

-针对所述当前图像区域(I_n)来基于所述运动矢量场(V_n)和所述置信矢量场(K_n)确定运动矢量场重建参数（FP，c，B）。

2.根据权利要求1的方法，其特征在于，

-借助所述运动矢量场重建参数（FP，c，B）重建运动矢量场(V’_n)，

-基于重建的运动矢量场(V’_n)的运动矢量确定针对所述当前图像区域(I_n)的图像区域预测(I’_n)，

-鉴于所述当前图像区域(I_n)确定所述图像区域预测(I’_n)的剩余误差数据（RD），并且

-将运动矢量场重建参数（FP，c，B）与所述当前图像区域(I_n)的剩余误差数据（RD）逻辑连接。

3.根据权利要求1或2的方法，其特征在于，以矢量分量场(V_x, V_y)的形式逐分量地产生和/或处理所述运动矢量场(V_n)和/或所述置信矢量场(K_n)。

4.根据权利要求1至3之一的方法，其特征在于，为了确定运动矢量场重建参数（FP）确定所述运动矢量场(V_n)的相关特征点（FP），并且所述运动矢量场重建参数（FP）分别包括相关特征点（FP）的地点信息（FPO）以及在所涉及的相关特征点处的运动矢量的至少一个运动矢量分量（FPK）。

5.根据权利要求4的方法，其特征在于，为了确定相关特征点（FP）首先基于所述置信矢量场(K_n)来确定候选特征点（KFP），并且然后从所述候选特征点（KFP）中选择相关特征点（FP）。

6.根据权利要求5的方法，其特征在于，为了从候选特征点（KFP）中选择相关特征点（FP），针对各个候选特征点（KFP）分别产生运动矢量场(V’_n)和/或针对当前图像区域(I_n)的图像区域预测(I’_n)，而无属于该候选特征点（FP）的运动矢量分量，并且检验对该重建的运动矢量场(V’_n)和/或所述图像区域预测(I’_n)的影响。

7.根据权利要求1至3之一的方法，其特征在于，作为运动矢量场重建参数（c），基于运动矢量场以及置信矢量场（V_n）确定系数（c），以借助预先给定的基函数（B）重建所述运动矢量场(V’_n)。

8.根据权利要求7的方法，其特征在于，作为运动矢量场重建参数（B），基于所述运动矢量场（V_n）和所述置信矢量场（K_n）确定属于基函数系数（c）的基函数（B）以重建运动矢量场(V’_n)。

9.根据权利要求1至8之一的方法，其特征在于，为了确定所述置信矢量场（K_n），针对运动矢量场（V_n）的每个位置确定偏差面，该偏差面包含在将该运动矢量改变定义的变化情况下基于在当前位置处的运动矢量的预测图像点与当前图像区域中的所涉及位置处的图像点的偏差，并且作为置信值分别在至少一个方向上确定该偏差面的曲率值。

10.用于对利用根据权利要求1至9之一的编码方法编码的图像序列（IS）解码的解码方法（200,400），其中针对当前图像区域(I_n)基于所述运动矢量场重建参数（FP，c，B）重建运动矢量场(V’_n)，并且基于此来确定图像区域预测(I’_n)。

11.根据权利要求10的方法，其特征在于，所述运动矢量场（V_n）的相关特征点（FP）的运动矢量场重建参数（FP）分别包括地点信息（FPO）以及在所涉及的相关特征点（FP）处的运动矢量的至少一个运动矢量分量（FPK），并且为了重建运动矢量场(V’_n)，基于相关特征点（FP）处的运动矢量内插或外推其它图像点处的运动矢量。

12.用于传输和/或存储图像序列（IS）的方法，其中在该传输和/或存储之前利用根据权利要求1至9之一的方法对该图像序列（IS）的图像区域(I_n)进行编码，并且在该传输之后和/或在从存储器（S）中取出之后利用根据权利要求10或11之一的方法又对所述图像区域进行解码。

13.用于压缩图像序列（IS）的图像编码设备（1,1'），包括以下部件：

-运动矢量场确定单元（2），用于针对该图像序列（IS）的当前图像区域(I_n)通过与该图像序列（IS）的至少一个其它图像区域(I_n-1)相比较来确定密集的运动矢量场（V_n），

-置信矢量场确定单元（3），用于针对所述当前图像区域(I_n)确定置信矢量场(K_n)，该置信矢量场针对所述运动矢量场(V_n)的每个运动矢量说明至少一个置信值，

-重建参数确定单元（4,4'），用于针对所述当前图像区域(I_n)来基于所述运动矢量场(V_n)和所述置信矢量场(K_n)确定运动矢量场重建参数（FP，c，B）。

14.用于对图像序列（IS）的图像区域解码的图像解码设备（20,20'），所述图像区域利用根据权利要求13的图像编码设备（1，'1）编码，具有

-运动矢量场重建单元（24,24'），用于针对当前图像区域(I_n)基于所述运动矢量场重建参数（FP，c，B）来重建运动矢量场(V’_n)，

-以及预测图像生成单元（26），用于基于重建的运动矢量场(V’_n)确定图像区域预测(I’_n)。

15.用于传输和/或存储图像序列（IS）的系统，包括根据权利要求13的图像编码设备（1,1'）和根据权利要求14的图像解码设备（20,20'）。

16.计算机程序，其能够被直接加载到图像处理计算机（1,1',20,20'）的存储器中，该计算机程序具有程序代码片段，用于当该程序在所述图像处理计算机（1,1',20,20'）中被实施时执行根据权利要求1至12之一的方法的所有步骤。

Images