CN103688544A - 用于对数字图像序列进行编码的方法 - Google Patents

用于对数字图像序列进行编码的方法 Download PDF

Info

Publication number
CN103688544A
CN103688544A CN201280036836.6A CN201280036836A CN103688544A CN 103688544 A CN103688544 A CN 103688544A CN 201280036836 A CN201280036836 A CN 201280036836A CN 103688544 A CN103688544 A CN 103688544A
Authority
CN
China
Prior art keywords
image
scalar field
scalar
image sequence
encoded
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201280036836.6A
Other languages
English (en)
Other versions
CN103688544B (zh
Inventor
A.魏因利希
P.阿蒙
A.胡特
A.考普
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens AG
Original Assignee
Siemens AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens AG filed Critical Siemens AG
Publication of CN103688544A publication Critical patent/CN103688544A/zh
Application granted granted Critical
Publication of CN103688544B publication Critical patent/CN103688544B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/53—Multi-resolution motion estimation; Hierarchical motion estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H04N19/615—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding using motion compensated temporal filtering [MCTF]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明涉及一种用于对数字图像序列（S）进行编码的方法，每个图像具有相同的图像格式且包括具有所分配的像素值的多个像素，其中，第一和第二图像（I1、I2）之间的运动参数（MP）是确定的，其中，基于所述运动参数（MP），执行运动补偿（MC）以便对图像序列（S）进行编码，其中，所述运动参数（MP）被包括在已编码的图像序列（CS）中。第一图像（I1）与第二图像（I2）之间的运动参数（MP）包括具有用于图像格式中的多个图像位置的标量值的标量场（p），其中，标量场（p）被确定为使得从标量场（p）导出的梯度矢量（MV）对应于用于运动补偿（MC）的运动矢量。

Description

用于对数字图像序列进行编码的方法
技术领域
本发明涉及一种用于对数字图像序列进行编码的方法以及用于解码的对应方法。此外，本发明涉及一种编码设备和解码设备以及一种用于对图像序列进行编码和解码的系统。
背景技术
为了图像的快速且有效的传输和存储，使用压缩算法以便利用图像中的空间、时间和概率冗余性。在视频编码中，已知基于区块的运动补偿技术，其设法在使用在时间方向上的基于区块的过渡运动预测和补偿时减少空间变化。为此，确定图像序列中的当前图像中包括若干个像素的预定义区块相对于前一图像的运动，使强度差范数最小化。将此运行信息用于预测，只须传输包含少得多的变化的残余误差以便在解码器处获得无损重构。基于区块的方法具有在已解码图像中的区块边界处产生区块伪像的缺点。在现有技术中描述了基于区块的运动补偿的若干改进，例如自适应区块尺寸、帧内编码的自适应选择、来自多个在前和后续图像的加权预测、环路内滤波，等等。
除基于区块的运动补偿之外，还存在用于基于像素的运动补偿的方法。通过此运动补偿，能够使用基于像素的运动矢量场来描述任意运动。这些方法具有缺点，即由于大量的运动矢量，所以必须将很多侧面信息传输至解码器。为了减少此侧面信息，文献[1]描述了稠密运动矢量场的稀疏表示，其中，仅仅相对于其预测能力的显著运动矢量被编码。
发明内容
本发明的目的是提供一种用于以高编码效率对数字图像序列进行编码（即以高压缩率提供良好的已解码图像质量）的方法。
根据独立权利要求来解决此目的。在从属权利要求中限定了优选实施例。
本发明的方法被用于对数字图像序列进行编码，其中，每个图像具有相同的图像格式且包括具有所分配的像素值的多个像素。由于相同的图像格式，图像格式中的每个像素对应于每个图像中的预定像素。根据本发明的方法，确定第一和第二图像之间的运动参数，其中，基于所述运动参数，执行运动补偿以便对图像序列进行编码，其中，所述运动参数被包括在已编码图像序列中。术语“图像”将被广泛地解释且可以指的是任意的像素阵列，例如像素的二维或三维或更高维度阵列。
根据本发明的方法的特征在于新种类的运动参数。即，第一图像与第二图像之间的运动参数包括标量场而不是运动矢量，其中，所述标量场具有用于该图像格式中的多个图像位置的标量值。那些图像位置不需要对应于像素位置。在下述优选实施例中，标量场包括在多个图像位置处已知的标量值，这些图像位置的数目低于图像格式中的像素的数目。根据本发明的标量场被确定为使得从标量场导出的梯度矢量对应于用于运动补偿的运动矢量，即梯度矢量与运动矢量相同，或者能够通过将梯度矢量与因数相乘来确定运动矢量。由图像内的标量场的众所周知的梯度来表示梯度矢量。由于标量场的定义，该梯度矢量对应于如在现有技术编码技术中所定义的运动矢量。
本发明的编码方法具有的优点在于，代替运动矢量，在已编码图像序列中包括标量场，因此减少了侧面信息并导致更高的编码效率。此外，由于本发明的方法并不基于图像区块，所以消除了成块伪像。这在向已编码位流中的信息，例如向在预测编码中所计算的预测误差，应用去相关方法的情况下导致更好的压缩。
本发明基于的实现在于，能够基于标量场来表示某些图像序列中的运动矢量。优选地通过搜索标量场来确定此场，该标量场使第二图像的像素值与第一运动补偿图像的像素值之间的残余误差最小化，其中，基于从标量场导出的梯度矢量来确定第一运动补偿图像。即，基于使残余误差最小化的优化问题的解来确定标量场。然而，在实际实现中，不一定找到绝对最小值。根据编码努力，还能够将次最佳解用于标量场。尽管如此，还是通过搜索使残余误差最小化的标量场来找到此解。
在优选实施例中，由第二和第一图像之间的绝对像素值差的和来表示残余误差，其中，每个绝对像素值差对应于第二图像中的第二像素位置处的像素值与第一图像中的第一像素位置处的像素值之间的绝对差，所述第一像素位置对应于由所述第二像素位置处的标量场的采样版本的梯度矢量所补偿的第二像素位置。术语“绝对差”将被广泛地解释且还可以例如包括平方差。在特定优选实施例中，标量场包括用于小于图像格式中的像素数目的图像位置的标量值，其中，通过对标量场的上采样版本进行内插来确定标量场的采样版本。在本实施例中，由于包括减少数目的标量值的标量场的使用而减少了要传输以用于解码的侧面信息。在上述实施例的优选变体中，由窗口化正弦函数，特别是Lanczos滤波器，来对标量场的上采样版本进行内插。也可以使用其他内插技术，例如样条内插。
为了确定在本发明中使用的标量场，能够使用用于非线性最小二乘问题的众所周知的解算器，例如（迭代）高斯-牛顿（Gauss-Newton）算法和/或Levenberg-Marquardt算法。在本发明的另一实施例中，使运动参数（即标量场）经受变换和/或数据压缩，特别是DCT（DCT＝离散余弦变换）和/或Karhunen-Loeve变换和/或预测编码和/或熵编码。由于本实施例，增强了编码效率。
在本发明的方法中执行的运动补偿能够用于众所周知的编码技术。特别地，能够针对预测编码执行运动补偿，其中，确定由导出的梯度矢量所补偿的第二图像与第一图像之间的残余误差，并且优选地使其经受数据压缩，特别是空间预测编码和/或全图像变换，如小波分解和/或熵编码。尽管如此，还能够将运动补偿与运动补偿时间滤波相组合。
在优选实施例中，由本发明所编码的图像序列指的是时间上相继的图像。尽管如此，本发明还可适用于空间上相继的图像的序列。
在特别优选的实施例中，该图像序列基于医学数据，即已经由医学成像设备，特别是由CT设备（CT＝计算机断层成像）和/或MRT设备（MRT＝磁共振断层成像）所生成的数据。在本实施例中，图像序列优选地是人或动物组织中，特别是包括人或动物器官（例如心脏）的组织中的切片的时间或空间序列。
除上述方法之外，本发明还包括一种用于对数字图像序列进行编码的设备，每个图像具有相同的图像格式且包括具有所分配的像素值的多个像素。该设备包括用于确定第一和第二图像之间的运动参数的装置，所述运动参数被用在用于为了对图像序列进行编码而执行的运动补偿的装置中，其中，所述运动参数被包括在已编码图像序列中。在此设备中，用于确定运动参数的装置包括用于确定具有用于图像格式中的多个图像位置的标量值的标量场的装置，其中，所述标量场被确定为使得从标量场导出的梯度矢量对应于用于运动补偿的运动矢量。该设备优选地被布置用于执行根据本发明的方法的优选实施例中的一个或多个。
本发明还涉及一种用于对由本发明的编码方法或此编码方法的一个或多个优选实施例所编码的数字图像序列进行解码的方法。在此解码方法中，提取用于已编码图像序列中的对应的第一和第二图像的一个或多个标量场，并且从每个提取的标量场导出梯度矢量，其中，基于导出的梯度矢量来执行运动补偿，从而导致已解码图像序列。
本发明还涉及一种用于对由本发明的编码方法或根据本发明的编码方法的一个或多个优选实施例所编码的数字图像序列进行解码的设备。该设备包括用于提取用于已编码图像序列中的对应的第一和第二图像的一个或多个标量场的装置，用于从每个提取的标量场导出梯度矢量的装置，以及用于基于导出的梯度矢量来执行运动补偿、导致已解码图像序列的装置。
本发明还包括一种用于对图像序列进行编码和解码的系统，包括上述编码设备和上述解码设备。
附图说明
现在将相对于附图来详细地描述本发明的实施例，在所述附图中：
图1示出了图示出根据本发明的实施例的编码方法的框图；
图2示出了图示出根据本发明的实施例的解码方法的框图；
图3示出了图示出与现有技术方法相比较的根据本发明的实施例的编码的质量；以及
图4是图示出基于本发明的实施例的用于编码和解码的系统的框图。
具体实施方式
下面，将相对于由CT设备所获取的医学图像序列来描述本发明的实施例，其中，每个图像是所谓的切片，表示人类组织中的一定体积的多个体素。该图像序列是时间序列，使得相继的图像涉及人类组织中的相同位置，但是在不同的时间点被获取。因此，图像涉及像素的时间上接连的二维阵列。然而，本发明还可适用于像素的三维阵列和/或从人类组织获取的空间上接连的切片的序列。
每个切片中的体素表示随时间而移动的人类器官的组织强度，其中，由体素的各自像素值来表示该组织强度。在本发明的一个实施例中，基于本发明对示出用于人类心脏的生理肌肉组织的可形变运动的心脏CT数据的时间序列进行编码。原则上，本发明对任意种类的数据是可适用的，其中图像序列包括可形变运动。与现有技术相反，本发明并不基于使用示出区块从前一图像中的哪个位置移位的运动矢量的基于区块的运动补偿。而是，定义一组参数来表示两个时间上接连的图像之间的组织形变。然后对这些参数进行优化以导致低能量预测误差图像。
为此，使用标量场以便导出用于接连的切片之间的运动补偿的稠密运动矢量场。稠密运动矢量场                                                
Figure 2012800368366100002DEST_PATH_IMAGE001
针对每个体素示出该序列的时间上接连的（第二）图像的图像函数s2(x)中的位置，其中，体素的灰阶位于（第一）在前图像的时间上接连的图像函数s1(x)中。因此，稠密运动矢量场的矢量是示出从s1至s2的体素移位的负矢量。为了可读性，当不存在模糊时，将省略上述函数的参数x。当将v视为流场时，能够使用散度来计算每个位置处的其源或汇（source or sink）特性
Figure 2012800368366100002DEST_PATH_IMAGE003
，
其中
Figure 440147DEST_PATH_IMAGE004
是微分算子，·表示内积，以及切片域Ω包含切片的所有体素位置。在如本文所述的方法中所处理的图像中，v描述组织的形变。结果，能够将散度解释为用于局部组织膨胀和收缩而不是源和汇（source and sink）特性的度量。另一矢量场特性被称为旋度（curl），其描述流场内的某个位置处的对象将开始旋转多少。
例如在心脏采集中的组织运动是由只能膨胀或收缩而不会相对于彼此移位其位置的肌细胞所引起的。因此，矢量场v的旋度在Ω中的每个位置处为零。此类矢量场被称为保守或无旋的。从矢量计算可知，保守矢量场能够被完全地表达为称为势p的标量函数的梯度：
，
并且因此在（1）的情况下，
Figure 157567DEST_PATH_IMAGE006
。
肌肉收缩在组织的局部邻近区域中是类似的，即其仅在切片域之间缓慢地改变。这是因为那些收缩是仅由来自神经元的粗略定位电脉冲所发起的。能够由其梯度量值来表达切片域之间的div(v(x))的变化水平。  
Figure DEST_PATH_IMAGE007
。
结果，在由如本文所述的方法所编码的图像中，能够确定标量势场p，并且基于此场的梯度，能够导出稠密运动矢量场。
在如本文所述的本发明的实施例中，确定此势场的下采样版本并将其用于运动补偿。能够使用此类下采样版本是因为肌肉形变在导致势函数的局部区域中是类似的，该势函数是非常平滑的函数。在已经确定
Figure 304832DEST_PATH_IMAGE008
之后，能够在对p的上采样和内插中且在计算梯度
Figure DEST_PATH_IMAGE009
（比较公式（2））之后从
Figure 563513DEST_PATH_IMAGE008
重构运动矢量场v。在如本文所述的实施例中，使用具有三个旁瓣（lobe）的2D Lanczos滤波器Λ，其是理想正弦内插内核的窗口化版本。在其中接连的像素的距离是一个像素且上采样函数中的采样点之间的距离是d个像素的像素域中，能够如下写出内插内核：
Figure 768229DEST_PATH_IMAGE010
其中，
Figure DEST_PATH_IMAGE011
。
Lanczos滤波器可微分至二阶，并且因此是平滑度与计算复杂性之间的权衡。
根据前述内容，本文所述的本发明的主要目标是找到用于s1的最佳形变的形变参数（即下采样势场）以便近似s2。为实现这点，实现迭代优化算法。此算法并不直接地计算
Figure 511374DEST_PATH_IMAGE008
，而是针对其引起的预测误差而检查不同的可能函数直至此误差实现最小值。在数学上，这导致平方差的和的最小化和因此的s2与s1的形变之间的均方误差（MSE）：
Figure 718723DEST_PATH_IMAGE012
。
在这里，
Figure DEST_PATH_IMAGE013
是
Figure 393418DEST_PATH_IMAGE008
的上采样版本且*表示卷积。在如本文所述的实施例中，通过用于非线性最小二乘问题的众所周知的迭代高斯-牛顿算法来对最小化问题求解。然而，可以使用其他算法，例如众所周知的Levenberg-Marquardt算法。与来自基于区块的运动估计的运动矢量分量相反，下采样势函数是强相关的，因此为了进一步去相关，在优选实施例中应用附加变换或空间预测。此外，由于梯度计算创建非整数矢量，与基于区块的运动补偿相反，在s1中具有双线性内插的运动补偿允许
Figure 916803DEST_PATH_IMAGE008
在没有附加存储要求的情况下表示子体素准确运动。
在本文所述的实施例中所使用的高斯-牛顿算法中，计算雅可比矩阵，其包含像素值相对于在维度（像素的数目）×（参数的数目）的矩阵中结束的每个参数的偏导数。根据下采样标量场
Figure 284331DEST_PATH_IMAGE008
，由图像中的采样点的数目来表示参数。使用前向差来计算导数，即在每个估计步骤中，当少量地增加每个参数时，计算此参数对残余误差的影响。将此残余误差中的变化作为一列放入矩阵中。根据此矩阵且根据当前残余误差图像，估计方法计算参数组在此步骤中将被如何改变，以便收敛至最佳的参数组和因此的最小残余误差图像，从而给出固定数目的参数。
然后，相应地改变参数并为下一次迭代重新计算残余。对于特别有效的实施方式而言，能够计算残余误差中的变化，使得用优化步长来加权，将上采样滤波器的梯度加到参数位置处的重构矢量场。在此加法改变矢量场（即在此梯度不等于零）的位置处，再次完成运动补偿，并且将此新估计与没有参数变化的估计的差放入稀疏雅可比（Jacobian）矩阵中。
根据优选实施例，基于以下伪代码来计算标量势场
Figure 463639DEST_PATH_IMAGE008
：
参数：
Figure 738763DEST_PATH_IMAGE014
输入：s1，s2
输出：
Figure 818452DEST_PATH_IMAGE008
Figure DEST_PATH_IMAGE015
根据上述伪代码，只有几个参数要定义，因此该优化是非常鲁棒的。该伪代码中的优化被包括在行4中开始的循环中。重要的选择是
Figure 91302DEST_PATH_IMAGE008
中的值的数目，即相应图像中的下采样标量场
Figure 757906DEST_PATH_IMAGE008
的采样点的数目。此数目对运动信息的量进行缩放。增加
Figure 774404DEST_PATH_IMAGE008
的大小减少了预测误差信息。然而，针对此权衡的判定取决于用于
Figure 272381DEST_PATH_IMAGE008
和预测误差两者的后续编码方法。优化步长被选择为0.2，而迭代的次数在由本发明人所执行的测试中被限于100的最大值。这对于准确近似而言是很好的选择。为了较低的计算复杂性，还可以增加步长，同时可以减少迭代的最大数目。
对于上述伪代码中的高斯-牛顿优化而言，必须如前所述地计算雅可比矩阵。雅可比矩阵是使用前向差而获得的。这意味着在每次迭代中，针对每个值
Figure 480246DEST_PATH_IMAGE016
（即采样位置i处的标量函数的值）计算
Figure 368568DEST_PATH_IMAGE008
中的值
Figure 251073DEST_PATH_IMAGE016
的小幅增加对公式（6）中的差的影响（参见伪代码的行11）。然而，由于性能原因，仅仅在其中Lanczos滤波器进行操作的当前采样位置周围的范围内评估行15中的此差。在更远离的位置处，该差无论如何都是零，因为
Figure 541240DEST_PATH_IMAGE008
中的值的改变仅具有局部影响。因此，还能够使运动补偿局限于此本地邻近区域。通过在初始化期间已经预先计算v中的局部变化来实现另一性能增益。为此，通过将此变化函数与v中的对应区域的简单相加来替换上述伪算法中的行10至13。这是可能的，因为Lanczos滤波和梯度计算是线性运算，并且因此对于固定的步长而言该变化是恒定的。此外，雅可比是稀疏矩阵，因此在实施方式中应将其同样地看待，即不应将零存储在存储器中，并且不应计算与零的乘法。最后，为了数值稳定性，当然不应明确地执行行17中的取逆，而是应对线性方程组进行求解。此外，对于某些数据集而言，例如具有单强度背景，取逆是情况很糟的，并且因此需要正则化。
图1示出了图示出基于标量场
Figure 483789DEST_PATH_IMAGE008
的上述估计的图像序列的总体编码。此示图中涉及用于基于标量势场来计算运动矢量的可形变运动估计的部分被包括在块DME中。编码方法的输入是在图1中指定为S的图像序列。为了对序列中的第二图像I2进行编码，使用从缓冲器z获取的在前第一图像I1。基于那些第一和第二图像，执行上述参数估计PE，导致表示标量势函数
Figure 859406DEST_PATH_IMAGE008
的下采样值的运动参数MP。在图1的实施例中，例如经由DCT对那些参数进行变换。为了存储，可以可选地将来自在步骤PE中执行的优化的浮点值量化成整数。由于采样点之间的相当大的距离，例如16体素，此量化对运动矢量准确度的影响仅在子体素范围内且仅少量地影响预测误差。从变换T得到的运动信息MI此后被熵编码器EC无损编码，并且形成已编码图像序列CS的一部分。
根据图1的实施例，执行画面I2和I1之间的残余误差的预测编码。为此，使运动信息MI经受逆变换IT，导致重构的标量场
Figure 716242DEST_PATH_IMAGE008
。使此标量场经受上采样和Lanczos滤波LU，即评估来自公式（6）的表达式
Figure DEST_PATH_IMAGE017
。这导致经内插和上采样的标量场p。基于此标量场，在步骤GC中计算梯度矢量。此计算为每个像素提供对应的运动矢量MV。基于这些运动矢量，执行相对于第一图像I1的运动补偿MC，导致经运动补偿的第一图像I1'。此后，计算I2与I1'之间的差，导致在熵编码器EC中被熵编码的残余误差RE。此残余误差RE也是表示已编码图像序列CS的位流的一部分。在本发明的另一实施例中，另外可以在熵编码之前对残余误差进行编码，例如基于小波编码或基于JPEG-LS的预测编码。
图2示出了描述将由图1的编码方法生成的已编码位流CS进行解码的过程的框图。用于将运动矢量进行解码的步骤被包括在块MD中。首先，对已编码位流应用熵解码，导致包括已变换势函数
Figure 126494DEST_PATH_IMAGE008
的运动信息MI。此运动信息经受逆变换IT，导致包括下采样标量势函数的运动参数MP。这些运动参数经受类似于图1的Lanczos上采样LU，导致上采样标量势场p，其此后经受梯度计算GC，也类似于图1。结果，重构运动矢量MV。那些运动矢量在运动补偿MC中被用于基于从储存器z获取的前一图像I1来计算经运动补偿的预测图像I1'。将此预测图像I1'与通过熵解码ED所获得的残余误差RE进行组合。结果，产生已解码图像I2和因此的已解码位流S。
图3示出了被用于对人类心脏的CT图像进行编码的本发明的实施例的结果。图3包括两个示图D1和D2，其中，两个示图中的横坐标PV（PV=参数值）表示每个像素/体素的标量势函数
Figure 102858DEST_PATH_IMAGE008
的值的数目。两个示图中的线L1都涉及本发明的实施例，线L2涉及根据现有技术的基于区块的运动补偿，并且线L3涉及用零运动矢量进行的编码。在示图D1中，示出了基于取决于参数值PV的峰值信噪比PSNR的预测品质。PSNR的值越高，预测品质越好。很明显，本发明的方法的预测品质类似于基于区块的运动补偿的预测品质。在示图D2中，示出了在使预测误差RE经受整个切片DCT之后的变换编码增益。由于在根据本发明的编码方法中不存在区块伪像，所以与基于区块的运动补偿相比，实现了明显更高的增益。
可以由若干个选项来改善如前文中所描述的本发明。在用于估计势场的参数（即下采样值）的步骤中，还能够使该场中的参数数目和采样位置经受优化，以便减少参数相关，并且用最少运动信息来进一步改善近似。这导致不规则采样网格。当使用此类网格时，必须在能够与文献[1]的方法类似地完成的已编码位流中传输采样位置。在那里，应用简单运行级编码或替换地应用更复杂的算法，如最佳路线计算。
为了改善势函数
Figure 264849DEST_PATH_IMAGE008
的估计，替代Lanczos滤波器，可以使用更高阶的内插方案，特别是如果像素数据的运动具有平滑结构的话。
在进一步的改进中，如果数据包含类似于在CT重构中的相关噪声，则可以在运动估计之前执行去噪，其中，用能够利用此相关的算法单独地对噪声进行编码，使得形变并不去除此类相关。即使噪声是非相关的，至少环路内去噪可以是有用的。在替换方式中，可以将已去噪图像数据用于运动估计，同时使用从已去噪数据生成的运动信息来对原始图像数据进行编码。此外，可以将本发明本身的算法用于去噪。因此，可以对来自相邻帧的形变求平均以获得已去噪当前帧。
替代如图1的实施例中所描述的将预测编码用于确定残余误差，可以应用用于编码的不同方案，特别是经运动补偿的时间滤波。为此，能够在没有使用当前帧的形变来估计前一帧的附加信息的情况下从已传输的运动导出逆形变。这涉及到稠密运动矢量场的重构以及其指向的位置处的负矢量的定位以及最后的Delaunay三角测量，以便对规则网格位置处的逆矢量场进行内插。
如前文中所描述的本发明具有若干个优点。特别地，能够在相同残余误差下用较少运动信息来表示某些数据集的可形变运动，这导致适当编码器的更好的压缩性能。在使编码信息（例如预测编码中的残余误差）经受类似于小波变换的全图像变换的情况下，对于更好的能量紧凑性，有利的是，在大约相同的残余误差下在本发明的方法中完全消除了区块伪像。
由势场进行的运动表示还具有一些其他固有优点。这些涵盖参数表示相对于类似量化的小变化的鲁棒性。由于由梯度计算产生的浮点矢量，能够实现用于运动矢量的任意子像素准确度。另一优点是通过参数采样点的选择进行的运动信息的几乎任意的可缩放性，这在基于区块的方案中是不可能的。此外，不仅能够在时间方向上而且能够在多维数据集的任意空间方向上以及用于使体积数据形变而使用该方法。
本发明及其可选改进能够由编码器和/或解码器来实现。本发明的方法步骤是由编码器和/或解码器内的模块所实现的，由此，能够以软件、硬件或以软件和硬件的组合来实现该模块。例如，可以将特定方法步骤作为程序代码存储在被附接于处理器单元的存储器中。处理器单元从存储器读出程序代码并由该程序代码来执行本发明的方法步骤。另外，可以将输入和/或输出模块附接于处理器和/或存储器以支持来自和/或去往编码器/解码器的数据交换。
图4示出了用于基于编码器COD和解码器DEC对图像序列进行编码和解码的系统的示例。编码器COD接收要被编码的数字图像序列S。该编码器包括用于确定序列中的第一和第二图像之间的运动参数的装置，该运动参数在装置M2中被用于为了对图像序列进行编码而执行的运动补偿。运动参数被包括于传输至解码器DEC的已编码图像序列CS中。装置M1包括用于确定具有用于多个图像位置的标量值的标量场的装置M3，其中，通过搜索将第二图像的像素值与第一运动补偿图像的像素值之间的残余误差最小化的标量场来确定标量场，其中，基于从标量场导出的梯度矢量来确定第一运动补偿图像，如前文中所描述的。
解码器DEC包括用于提取已编码图像序列CS中的标量场的装置M4、用于从提取的标量场导出梯度矢量的装置M5、和用于基于导出的梯度矢量来执行运动补偿的装置M6。
参考文献列表：
[1] A. Weinlich, P. Amon, A. Hutter and A. Kaup : "Sparse representation of dense motion vector fields for lossless compression of 4-D medical CT data", in: European Signal Processing Conference (EUSIPCO), August 2011.

Claims (17)

1.一种用于对数字图像序列（S）进行编码的方法，每个图像具有相同图像格式且包括具有所分配的像素值的多个像素，其中，第一和第二图像（I1、I2）之间的运动参数（MP）是确定的，其中，基于所述运动参数（MP），执行运动补偿（MC）以便对所述图像序列（S）进行编码，其中，所述运动参数（MP）被包括在已编码的图像序列（CS）中，
其特征在于，
第一图像（I1）与第二图像（I2）之间的运动参数（MP）包括具有用于图像格式中的多个图像位置的标量值的标量场（                                               
Figure 2012800368366100001DEST_PATH_IMAGE001
），其中，所述标量场（
Figure 855145DEST_PATH_IMAGE001
）被确定为使得从所述标量场（）导出的梯度矢量（MV）对应于用于所述运动补偿（MC）的运动矢量。
2.根据权利要求1所述的方法，其特征在于，通过搜索将第二图像（I2）的像素值与第一运动补偿图像的像素值之间的残余误差最小化的标量场（
Figure 489705DEST_PATH_IMAGE001
）来确定所述标量场（
Figure 760281DEST_PATH_IMAGE001
），其中，基于从所述标量场（
Figure 512336DEST_PATH_IMAGE001
）导出的梯度矢量（MV）来确定所述第一运动补偿图像。
3.根据权利要求2所述的方法，其特征在于，由所述第二和第一图像（I2、I1）之间的绝对像素值差的和来表示所述残余误差，其中，每个绝对像素值差对应于所述第二图像（I2）中的第二像素位置处的像素值与所述第一图像（I1）中的第一像素位置处的像素值之间的绝对差，所述第一像素位置对应于由所述第二像素位置处的标量场（
Figure 334799DEST_PATH_IMAGE001
）的采样版本的梯度矢量（MV）所补偿的第二像素位置。
4.根据前述权利要求中的一项所述的方法，其特征在于，所述标量场（
Figure 539515DEST_PATH_IMAGE001
）包括用于小于图像格式中的像素的数目的图像位置的标量值，其中，通过对所述标量场（
Figure 676098DEST_PATH_IMAGE001
）的上采样版本进行内插来确定所述标量场（
Figure 282660DEST_PATH_IMAGE001
）的采样版本。
5.根据权利要求4所述的方法，其特征在于，由窗口化正弦函数，特别是由Lanczos滤波器，来对上采样版本进行内插。
6.根据前述权利要求中的一项所述的方法，其特征在于，由用于非线性最小二乘法问题的解算器，特别是由高斯-牛顿算法和/或Levenberg-Marquardt算法来确定所述标量场（
Figure 213707DEST_PATH_IMAGE001
）。
7.根据前述权利要求中的一项所述的方法，其特征在于，所述运动参数（MP）经受变换和/或数据压缩，特别是离散余弦变换和/或Karhunen-Loeve变换和/或预测编码和/或熵编码。
8.根据前述权利要求中的一项所述的方法，其特征在于，为预测编码而执行所述运动补偿（MC），其中，确定由从所述标量场（）导出的所述梯度矢量（MV）所补偿的所述第二图像（I2）与第一图像（I1）之间的残余误差（RE），并优选地使其经受数据压缩，特别是空间预测编码和/或全图像变换和/或熵编码。
9.根据前述权利要求中的一项所述的方法，其特征在于，为运动补偿时间滤波而执行所述运动补偿（MC）。
10.根据前述权利要求中的一项所述的方法，其特征在于，所述图像序列（S）涉及时间上相继的图像或空间上相继的图像。
11.根据前述权利要求中的一项所述的方法，其特征在于，所述图像序列（S）是已经由医学成像设备，特别是由CT设备和/或MRT设备所生成的。
12.根据权利要求11所述的方法，其特征在于，所述图像序列（S）是人类或动物组织中，特别是包括人类或动物器官的组织中的切片的时间或空间序列。
13.一种用于对数字图像序列（S）进行编码的设备，每个图像具有相同图像格式且包括具有所分配的像素值的多个像素，所述设备包括用于确定第一和第二图像（I1、I2）之间的运动参数（MP）的装置（M1），所述运动参数（MP）在装置（M2）中被用于为了对所述图像序列（S）进行编码而执行的运动补偿（MC），其中，所述运动参数（MP）被包括在已编码的图像序列（CS）中，
其特征在于，
所述用于确定运动参数（MP）的装置（M1）包括用于确定具有用于图像格式中的多个图像位置的标量值的标量场（
Figure 642731DEST_PATH_IMAGE001
）的装置（M3），其中，所述标量场（
Figure 103800DEST_PATH_IMAGE001
）被确定为使得从所述标量场（
Figure 471327DEST_PATH_IMAGE001
）导出的梯度矢量（MV）对应于用于所述运动补偿（MC）的运动矢量。
14.根据权利要求13所述的设备，其特征在于，所述设备（COD）被布置用于执行根据权利要求2至12中的一项所述的方法。
15.一种用于对由根据权利要求1至12中的一项的方法所编码的数字图像序列（CS）进行解码的方法，
其特征在于，
提取用于已编码的图像序列（CS）中的对应的第一和第二图像（I1、I2）的一个或多个标量场（
Figure 712953DEST_PATH_IMAGE001
），并从每个提取的标量场（
Figure 925759DEST_PATH_IMAGE001
）导出梯度矢量（MV），其中，基于导出的梯度矢量（MV）来执行运动补偿（MC），导致已解码的图像序列（S）。
16.一种用于对由根据权利要求1至12中的一项所述的方法所编码的数字图像序列进行解码的设备，
其特征在于，
所述设备包括用于提取用于已编码的图像序列（CS）中的对应的第一和第二图像（I1、I2）的一个或多个标量场（
Figure 506913DEST_PATH_IMAGE001
）的装置（M4），用于从每个提取的标量场（
Figure 779763DEST_PATH_IMAGE001
）导出梯度矢量（MV）的装置（M5），和用于基于导出的梯度矢量（MV）来执行运动补偿、导致已解码的图像序列（S）的装置（MC）。
17.一种包括根据权利要求13或14所述的设备和根据权利要求16所述的设备的用于对图像序列（S）进行编码和解码的系统。
CN201280036836.6A 2011-07-25 2012-07-11 用于对数字图像序列进行编码的方法 Expired - Fee Related CN103688544B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
EP11175227.5 2011-07-25
EP11175227 2011-07-25
EP12153221A EP2552115A1 (en) 2011-07-25 2012-01-31 A method for coding a sequence of digital images
EP12153221.2 2012-01-31
PCT/EP2012/063548 WO2013013977A1 (en) 2011-07-25 2012-07-11 A method for coding a sequence of digital images

Publications (2)

Publication Number Publication Date
CN103688544A true CN103688544A (zh) 2014-03-26
CN103688544B CN103688544B (zh) 2018-02-02

Family

ID=45557937

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280036836.6A Expired - Fee Related CN103688544B (zh) 2011-07-25 2012-07-11 用于对数字图像序列进行编码的方法

Country Status (5)

Country Link
US (1) US9258561B2 (zh)
EP (1) EP2552115A1 (zh)
KR (1) KR20140057282A (zh)
CN (1) CN103688544B (zh)
WO (1) WO2013013977A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2552115A1 (en) 2011-07-25 2013-01-30 Siemens Aktiengesellschaft A method for coding a sequence of digital images
US9442904B2 (en) * 2012-12-21 2016-09-13 Vmware, Inc. Systems and methods for applying a residual error image
US10542961B2 (en) 2015-06-15 2020-01-28 The Research Foundation For The State University Of New York System and method for infrasonic cardiac monitoring
CN110521207A (zh) * 2017-03-13 2019-11-29 韩国电子通信研究院 用于视频编码/解码的基于非典型块的运动预测和补偿的方法及其装置
WO2019183287A1 (en) * 2018-03-20 2019-09-26 The Medical College Of Wisconsin, Inc. Method for real-time motion monitoring and dose accumulation in magnetic resonance guided therapies using simultaneous orthogonal plane imaging
WO2020054784A1 (ja) * 2018-09-11 2020-03-19 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法および復号方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060209959A1 (en) * 2005-03-18 2006-09-21 Sharp Laboratories Of America, Inc. Methods and systems for extended spatial scalability with picture-level adaptation
WO2008024352A2 (en) * 2006-08-22 2008-02-28 Siemens Medical Solutions Usa, Inc. Methods and systems for registration of images
CN101064850B (zh) * 2006-04-24 2010-09-29 富士通株式会社 图像压缩装置和图像压缩方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8891831B2 (en) * 2010-12-14 2014-11-18 The United States Of America, As Represented By The Secretary Of The Navy Method and apparatus for conservative motion estimation from multi-image sequences
EP2552115A1 (en) 2011-07-25 2013-01-30 Siemens Aktiengesellschaft A method for coding a sequence of digital images

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060209959A1 (en) * 2005-03-18 2006-09-21 Sharp Laboratories Of America, Inc. Methods and systems for extended spatial scalability with picture-level adaptation
CN101064850B (zh) * 2006-04-24 2010-09-29 富士通株式会社 图像压缩装置和图像压缩方法
WO2008024352A2 (en) * 2006-08-22 2008-02-28 Siemens Medical Solutions Usa, Inc. Methods and systems for registration of images

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ASHRAF A. KASSIM等: "《Motion Compensated Lossy-to-Lossless Compression of 4-D Medical Images Using Integer Wavelet Transforms》", 《IEEE TRANSACTIONS ON INFORMATION TECHNOLOGY IN BIOMEDICINE》 *
WEI CHEN: "《Conservative Motion Estimation from Multi-image Sequence》", 《ADVANCES IN VISUAL COMPUTING》 *
YIANNIS ANDREOPOULOS等: "《COMPLETE-TO-OVERCOMPLETE DISCRETE WAVELET TRANSFORMS FOR SCALABLE VIDEO CODING WITH MCTF》", 《VISUAL COMMUNICATIONS AND IMAGE PROCESSING》 *

Also Published As

Publication number Publication date
US20140286589A1 (en) 2014-09-25
WO2013013977A1 (en) 2013-01-31
EP2552115A1 (en) 2013-01-30
US9258561B2 (en) 2016-02-09
KR20140057282A (ko) 2014-05-12
CN103688544B (zh) 2018-02-02

Similar Documents

Publication Publication Date Title
US10425649B2 (en) Method and apparatus for performing graph-based prediction using optimization function
JP7345654B2 (ja) ビデオコーディングのための変形可能な畳み込みによる予測フレーム生成
CN103688544A (zh) 用于对数字图像序列进行编码的方法
JP2000508127A (ja) 動きに基づく分割及び合併を用いたビデオ・エンコーダ及びデコーダ
JP2007518367A (ja) マッチング追跡を用いたデータ圧縮
CN111724307B (zh) 一种基于最大后验概率和非局部低秩先验的图像超分辨重建方法，终端及可读存储介质
US8170110B2 (en) Method and apparatus for zoom motion estimation
CN113870132A (zh) 计算鬼成像采样过程中的噪声消除方法、系统及相关组件
JP7482232B2 (ja) 時間変形可能畳み込みによるディープループフィルタ
Lakshminarayana et al. Random sample measurement and reconstruction of medical image signal using compressive sensing
JP2955526B2 (ja) 動画像符号化方法及び装置
Ebrahim et al. Multiview image block compressive sensing with joint multiphase decoding for visual sensor network
Seo et al. A least-squares-based 2-D filtering scheme for stereo image compression
Schnurrer et al. Analysis of displacement compensation methods for wavelet lifting of medical 3-D thorax CT volume data
KR101059649B1 (ko) 적응적 보간 필터를 이용한 부호화 장치, 그 방법 및 복호화 장치
Braun et al. Optical flow for compressive sensing video reconstruction
Baeza et al. SVD lossy adaptive encoding of 3D digital images for ROI progressive transmission
US20240073425A1 (en) Image encoding apparatus and image decoding apparatus both based on artificial intelligence, and image encoding method and image decoding method performed by the image encoding apparatus and the image decoding apparatus
Weinlich et al. Representation of deformable motion for compression of dynamic cardiac image data
KR20240027510A (ko) Ai에 기반한 영상 부호화 장치 및 영상 복호화 장치, 및 이들에 의한 영상의 부호화 및 복호화 방법
Thirumalai et al. Motion estimation from compressed linear measurements
Sumi et al. Distributed compressed video sensing of multi-view images using ADMM
Xiang et al. Super-resolution reconstruction of image sequences compressed with DWT-based techniques
Hussain Multi View Image BCS Compression Sensing with TV-AL3 with View Synthesis Combine Reconstruction for Low Memory Image Generation.
Kılıç UTILIZATION OF EVENT BASED CAMERAS FOR VIDEO FRAME INTERPOLATION

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180202

Termination date: 20210711