CN1115879C - 利用逐个象素运动估算与帧抽取的图象处理系统 - Google Patents

利用逐个象素运动估算与帧抽取的图象处理系统 Download PDF

Info

Publication number
CN1115879C
CN1115879C CN95106689A CN95106689A CN1115879C CN 1115879 C CN1115879 C CN 1115879C CN 95106689 A CN95106689 A CN 95106689A CN 95106689 A CN95106689 A CN 95106689A CN 1115879 C CN1115879 C CN 1115879C
Authority
CN
China
Prior art keywords
frame
motion vector
skipping
group
characteristic point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
CN95106689A
Other languages
English (en)
Other versions
CN1131872A (zh
Inventor
李敏燮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fengye Vision Technology Co., Ltd.
Original Assignee
Daewoo Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daewoo Electronics Co Ltd filed Critical Daewoo Electronics Co Ltd
Publication of CN1131872A publication Critical patent/CN1131872A/zh
Application granted granted Critical
Publication of CN1115879C publication Critical patent/CN1115879C/zh
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H04N19/54—Motion estimation other than block-based using feature points or meshes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

用于处理视频信号的图象处理系统，包括编码器及解码器，其中的编码器包括：一个帧抽取器，用于从所述视频信号中选择多个帧；一个单元，用于利用M个跳过的帧的预测因子，为各未选中的帧，即跳过的帧，建立M个候选帧；以及一个单元，用于将各该N个跳过的帧与各该候选帧进行比较而为各该N个跳过的帧将一个跳过的帧的预测因子传输给解码器；并且该解码器包括用于利用所传输的跳过的帧的预测因子确定前面的帧与重构的当前帧之间的各该跳过的帧的一个单元。

Description

利用逐个象素运动估算与帧抽取的图象处理系统
技术领域
本发明涉及编码与解码视频信号的图象处理系统；更具体地，涉及利用运动估算与补偿技术以及帧抽取过程的编码与解码视频信号的图象处理系统。
背景技术
众所周知，传输数字化视频信号能提供比传输模拟信号高得多的质量的视频图象。当包含一序列图象“帧”的一个图象信号以数字形式表示时，会生成大量的传输数据，尤其是在高清晰度电视系统的情况中。然而，由于一条传统的传输信道的可利用的频带宽度是有限的，为了通过有限的信道带宽来传输大量的数字数据，不可避免地要压缩或减少传输数据量。在各种视频压缩技术中，已知用统计编码技术将时间与空间压缩技术组合在一起的所谓混合编码技术是最高效的。
大多数混合编码技术采用运动补偿的DPCM(差分脉冲码调制)、二维DCT(离散余弦变换)、DCT系数的量化、以及VLC(可变长度编码)。运动补偿的DPCM是确定一个目标在当前帧与其前一帧之间的运动，并根据该目标的运动流来预测当前帧而生成表示当前帧与其预测帧之间的差的一个差分信号的过程。这一方法描述在诸如Staffan Ericsson的“用于混合预测/变换编码的固定与自适应预测器”(Fixed and Adaptive Predictors for
Hybrid Predictive/Transform Coding)，IEEE通信学报，COM-33，第12号(1985年12月)；以及Ninomiya与Ohtsuka的“电视画面的一种运动补偿的帧间编码方案”(A Motion-Compensated Interframe Coding Scheme for TelevisionPictures)，IEEE通信学报，COM-30，第1号(1982年1月)中。
具体地说，在运动补偿的DPCM中，当前帧数据是根据当前与前一帧之间的运动估算从对应的前一帧数据中预测出的。这种估算的运动可用表示前一帧与当前帧之间的象素的位移的二维运动矢量来描述。
已有两种估算一个目标的象素的运动或位移的基本方法：一种是逐块估算；而另一种是逐个象素的方法。
在逐块的运动估算中，将当前帧中的一块与其前一帧中的块进行比较直到确定了一个最佳匹配为止。这时，便可为正在传输的当前帧估算整个块的一个帧间位移矢量(它表示该象素块在帧间移动了多大)。然而在逐块运动估算中，如果块中的所有象素并不以相同的方式运动，便会得出低劣的估算，而降低整体编码效率。
反之，在逐个象素估算中，为各个与每个象素确定一个位移。从而，这种技术能够得出更精确的象素值的估算，并具有容易地处理标度改变(诸如，变焦、垂直于图象平面的运动)的能力。然而，在逐个象素的方法中，由于在各个与每一个象素上确定一个运动矢量，实际上不可能将所有的运动矢量数据都传输给接收机。因此，只将一组选择的象素，即特征点的运动矢量传输给接收机，其中各该特征点定义为能够代表其相邻象素的一个象素，从而在接收机上能从特征点的运动矢量中再生非特征点的运动矢量。在采用基于特征点的运动估算的编码器中，如在名为“利用逐个象素估算的编码视频信号的方法与装置”(Method and Apparatus for Encoding a Video Signal UsingPixel-by-pixel Motion Estimation)的申请号为95101356.4，于1996年7月31日公开的共有中国专利申请中，首先从包含在前一帧中的所有象素中选定若干特征点。然后，确定所选定的特征点的运动矢量，其中各该运动矢量表示前一帧中的一个特征点与当前帧中的一个对应的匹配点，即一个最相似的象素，之间的空间位移。具体地说，各该特征点的匹配点是在当前帧内的一个搜索区中搜索到的，其中的搜索区是定义为包围对应的特征点的位置的一个预定面积的区域的。
已经可以实现的另一种压缩技术为帧抽取方法，它通过只编码与传输视频信号的一定的选定的帧并跳过或消毁存在于它们之间的其余的帧而减少数据量(诸如见“在p×64kb/s上声像服务的视频编码解码器(Video Codec for Audiovisual Services at px64kb/s)”CCITT推荐技术标准(CCITT Recomm-endation)H.261，CDM XV-R37-E，国际电报与电话咨询委员会(CCITT)，1990年8月)。
通常，对视频编码器的输入为每秒30帧的视频信号。从每两个编码的帧之间跳过一、二或三个帧得出的帧速率通常分别为每秒15、10或7.5帧。
在与这种采用跳过技术的编码器相对应的解码器中，各跳过的帧只根据其相邻的解码的帧来估算，以便重构30帧/秒的视频信号。由于估算的跳过的帧是不采用对应的原始跳过的帧的实际信息构成的，有可能不能再生原始跳过的帧的实际特征，从而降低显示图象的总体质量。
发明内容
因此，本发明的主要目的为提供一种改进的图象处理系统，该系统通过采用在逐个象素的基础上应用特征点的运动估算与补偿技术并且还采用简化跳过的帧的估算的一个跳过的帧的预测因子来编码视频信号。
按照本发明，提供了一种用于处理视频信号的图象处理系统，包含用于编码该视频信号以提供编码信号的装置及用于解码该编码信号以提供重构的视频信号的装置，其特征在于所述编码装置包括：抽取装置，用于从该视频信号中选择包含一个当前的帧与一个前面的帧在内的多个帧，其中在前面的帧与当前帧之间跳过了N个帧，所述N为一个正整数；估算装置，用于估算前面的帧与当前帧之间的位移以提供代表估算的位移的第一组运动矢量，并通过利用第一组运动矢量初步补偿前面的帧而在逐个象素的基础上提供一个预测的当前帧；减法和编码装置，用于从当前帧中减去预测的当前帧而提供一个差信号并编码该差信号与该组运动矢量，借此提供一个编码的差信号及编码的第一组运动矢量；再补偿装置，用于利用以M个跳过的帧的预测因子乘该组运动矢量来进一步补偿前面的帧而提供M个候选帧，所述M为大于N的一个正整数；以及比较装置，用于将N个跳过的帧中的各个与各该候选帧进行比较而将N个跳过的帧中的各个的跳过的帧的预测因子之一传输给解码装置；以及在于所述解码装置包括：恢复装置，用于解码该编码的差信号及编码的第一组运动矢量，借此恢复差信号及第一组运动矢量；补偿装置，用于利用恢复的第一组运动矢量初步补偿前面的帧以重构预测的当前帧；加法装置，用于相加重构的预测的当前帧与恢复的差信号，借此重构当前帧；以及再补偿装置，用于利用恢复的第一组运动矢量及各该N个跳过的帧的各个传输的跳过的帧的预测因子进一步补偿前面的帧，借此构成前面的帧与重构的当前帧之间的各该N个跳过的帧。
较好地，上述编码装置中的所述估算装置包括：特征点选择装置，用于从包含在前面的帧中的象素中选择若干特征点，各该特征点是能够代表其中的一个目标的运动的一个象素点；比较装置，用于比较前面的帧与当前帧而检测各该所选择的特征点的第一组运动矢量，各该第一组运动矢量代表前面的帧中的所选择的特征点之一与当前帧中与之最相似的一个象素之间的空间位移；抽取装置，用于根据第一组运动矢量及特征点，为包含在当前帧中的所有象素推算第二组运动矢量；以及补偿装置，用于以第二组运动矢量补偿前面的帧而产生预测的当前帧。
较好地，上述编码装置中的所述的再补偿装置包括：第一确定装置，用于确定选定的数目的第j个候选帧运动矢量及第j个候选帧中对应数目的象素点，其中第j个候选帧中的各该对应数目的象素点是通过使用与前面的帧中的所述各该特征点对应的第一组运动矢量之一乘跳过的帧的预测因子(j-1)/(M-1)，移动前面的帧中的各该特征点而确定的，而第j个候选帧中的所述各该对应数目的象素点与前面的帧中的所述各该特征点之间的各若干第j个候选帧运动矢量是通过用因子(j-1)/(M-1)去乘第一组运动矢量中的所述一个而确定的；第二确定装置，用于根据所述选定数目的第j个候选帧运动矢量及第j帧中的对应数目的象素点，为包含在第j个候选帧中的所有象素确定整组第j个候选帧运动矢量；以及补偿装置，用于以该整组第j个候选帧运动矢量补偿前面的帧，借此提供第j个候选帧。
较好地，上述解码装置中的再补偿装置包括：第一确定装置，根据所传输的跳过的帧的预测因子，用于确定选定的数目的第i个跳过的帧的运动矢量及在第i个跳过的帧中的对应数目的象素点，其中第i个跳过的帧中的各该对应数目的象素点是通过利用所传输的跳过的帧的预测因子(j-1)/(M-1)乘以与前面的帧中的特征点中的所述各个相对应的第一组运动矢量之一移动前面的帧中的各该特征点而确定的，并且第i个跳过的帧中的所述各该对应数目的象素点与前面的帧中的所述各该特征点之间的选定数目的第i个跳过的帧的运动矢量中的各个是通过将第一组运动矢量中所述的一个乘以因子(j-1)/(M-1)而确定的；第二确定装置，用于利用所述选定数目的第i个跳过帧的运动矢量及第i个跳过的帧中的对应数目的象素点，为包含在第i个跳过的帧中的所有象素确定整组第i个跳过的帧的运动矢量；以及补偿装置，用于以该整组第i个跳过的帧的运动矢量补偿前面的帧，借此提供第i个跳过的帧。
附图说明
从下述结合附图给出的较佳实施例的描述中，本发明的上述与其它目的及特征将是显而易见的，附图中：
图1为具有按照本发明的当前帧预测与跳过的帧的预测因子生成框的视频信号编码器；
图2示出图1的当前帧预测与跳过的帧的预测因子生成框的详细方框图；
图3描述用于检测一个非准特征点的运动矢量的方法；
图4A与4B描绘若干示例帧来定义一个候选帧；
图5表示图2的跳过的帧的预测因子确定框的详细方框图；以及
图6示出与图1中所示的视频信号编码器对应的视频信号解码器。
具体实施方式
图1描述采用在逐个象素的基础上的运动估算与补偿技术及帧抽取过程的视频信号编码器。如图所示，将一个输入信号输送给一个帧抽取器(Frame decimator)101。在帧抽取器101中，通过在表示抽取度的一个预定的帧抽取比上跳过它们之间的帧而选择要编码的帧，并将它们输送给一个第一帧存储器100。例如，帧抽取器101在预定的抽取比为2或3时分别选择与使用视频信号中两个帧或每三个帧的一个帧，将跳过的帧存储在一个跳过帧存储器148中。
如图1中所示，所选择的信号存储在第一帧存储器100中，该存储器与一个减法器102相连并通过线L10与一个当前帧预测与跳过的帧的预测因子生成框150相连。
在当前帧预测与跳过的帧的预测因子生成框150中，从第一帧存储器100中检索到的线L10上的一个当前帧信号与从跳过的帧存储器148中检索到的线L8上的一个跳过帧信号以及来自第二帧存储器124的线L12上的一个重构的前面帧信号受到处理而在逐个象素的基础上预测当前帧以生成一个预测的当前帧信号到线L30上及一组特征点的运动矢量到线L20上及各该跳过的帧的一个跳过的帧的预测因子到线L21上。下面参照图2与3描述当前帧预测与跳过的帧的预测因子生成框150的细节。
在减法器102中从当前帧信号中减去线L30上的预测的当前帧信号并将得到的数据，即表示差分象素值的一个误差信号，发送给图象信号编码器105，在其中利用诸如DCT与任何已知的量化方法将该误差信号编码成一组量化变换系数。此后，将这些量化变换系数传输给熵编码器107与图象信号解码器113。在熵编码器107中，为了它们的传输而利用可变长度编码技术将来自图象信号编码器105的量化变换系数与通过线L20输送的来自当前帧预测框150的运动矢量编码在一起。多路复用器109多路传输熵编码器107的输出信号与通过线L21传输的来自当前帧预测与跳过的帧的预测因子生成框150的跳过的帧的预测因子。此后，将多路的信号提供给一个发送机(未示出)供传输。
同时，图象信号解码器113采用逆量化与逆离散余弦变换将来目图象信号编码器105的量化变换系数转换回重构的误差信号。在加法器115组合来自图象信号解码器113的重构的误差信号与线L30上来自当前帧预测与跳过的帧的预测因子生成框150的预测的当前帧信号，借此提供一个重构的当前帧信号供作为前面的帧存储在第二帧存储器124中。
参见图2，其中示出了图1中所示的当前帧预测与跳过的帧的预测因子生成框150的细节。将线L12上来自第二帧存储器124的前面的帧信号输入到一个特征点选择框210、一个特征点运动矢量检测框212、一个运动补偿框216及一个跳过的帧的预测因子确定框218。
在特征点选择框210中，从包含在前面的帧中的象素中选择若干个特征点。各该特征点是定义为能够代表帧中的一个目标的运动的象素的。将来自特征点选择框210的选定的特征点输入到特征点运动矢量检测框212、当前帧运动矢量检测框214及跳过的帧的预测因子确定框218。将线L10上的当前帧信号提供给特征点运动矢量检测框212。
在特征点运动矢量检测框212中，检测所选中的特征点的第一组运动矢量。各该第一组运动矢量代表前面的帧中的一个特征点与当前帧中与之最相似的一个象素之间的一个空间位移。
为所有的特征点检测了运动矢量之后，将第一组运动矢量经由线L20提供给当前帧运动矢量检测框214、跳过的帧的预测因子确定框218及熵编码器107(示出在图1中)。
在当前帧运动矢量检测框214中，利用来自特征点运动矢量检测框212的第一组运动矢量及来自特征点选择框210的选定的特征点，为包含在当前帧中的所有象素确定第二组运动矢量。为了确定第二组运动矢量，首先确定一组“准特征点”的运动矢量，各该准特征点表示从前面帧中的各该特征点位移了各个第一组特征矢量的当前帧中的一个象素。一个准特征点的运动矢量的大小等于其对应的特征点的运动矢量，然而这两个运动矢量方向是相反的。为所有的准特征点确定了运动矢量之后，便以下述方式确定非准特征点的运动矢量，这些点的运动矢量，这些非准特征点是当前帧中剩下的象素点。
如图3中所示，若干准特征点不规则地分布在整个当前帧中。通过求出位于一个半径为dr+da的园的边界内的准特征点的运动矢量的平均值而计算出带星号的非准特征点的运动矢量，其中da为距带星号的象素位置最近的准特征点的距离，而dr则为将用在运动矢量计算中的其它准特征点包含进来的一个预定的扩张半径。例如，如果最近的准特征点为“Y”而准特征点“X”位于“da+dr”的边界以内，则从下式计算出带星号的象素的运动矢量(MVx，MVy)其中dx与dy为准特征点X与Y距带星号的象素位置的相应距离；而(MVx，MVy)x与(MVx，MVy)y则为准特征点的对应运动矢量。
参见图2，将准特征点与非准特征点的第二组运动矢量提供给运动补偿框216。在运动补偿框216中，用各该第二组运动矢量经由线L12从第二帧存储器124(图1中所示)检索出要包含在一个预测的当前帧中的各象素。
同时，跳过的帧的预测因子确定框218为各该N个跳过的帧建立M个候选帧；并将各该跳过的帧与各该M个候选帧进行比较而为各该跳过的帧提供一个跳过的帧的预测因子给多路复用器109(图1中所示)。下面参照图4A、4B与5说明跳过的帧的预测因子的定义与候选帧，以及跳过的帧的预测因子确定框218的细节。
参见图4A与4B，其中示意性地示出定义候选帧的若干帧。在图4A中，其中示出了四个帧：一个前面的帧30，一个第一跳过的帧32，一个第二跳过的帧34及一个预测的当前帧36。为了例示的目的，假定前面的帧30与预测的当前帧之间的跳过的帧的数目为2，并且只有一个特征点及其对应的准特征点分别在前面的帧30上标示为特征点A及在预测的当前帧36上标示为准特征点B。并且分别将第一与第二跳过的帧32与34上与前面的帧30上的特征点A相对应的象素点标示为一个象素点C与另一个象素点D。
如图4A中所示，第一跳过的帧32中的象素点C与第二跳过的帧34中的象素点D并不位于特征点A与准特征点B之间的直线上。这说明在第一跳过的帧32或第二跳过的帧34中与前面的帧30中的特征点A相对应的象素点C或D的位置并不与前面的帧30与预测的当前帧36之间的时间间隔成比例的位置重合，即并不与该直线与跳过的帧32或34的交点重合。然而，如果前面的帧30中的特征点A线性地移动到预测的当前帧36中准特征点B上，则两个象素点C与D将会基本上对准特征点A与准特征点B之间的直线。在这种情况中，便有可能通过在特征点A与准特征点B之间的直线上顺序地排列若干个候选特征点而逼近象素点C与D的各个位置。例如，如图4B中所示，在候选特征点E与K之间的直线上指定若干个候选特征点E至K，其中候选特征点E与K分别等于特征点A与准特征点B。一个候选特征点的选择是通过将各该跳过的帧32与34与M个候选帧进行比较而完成的，各该候选帧是根据包含在其中的若干个候选特征点构成的。
M个候选帧的构成方法等同于图2中的当前帧运动矢量检测框214与运动补偿框216中所执行的预测当前帧的构成方法，只是用包含在各该候选帧中的候选特征点代替了预测当前帧中的准特征点。例如，如图4B中所示，如果第一候选帧38与第M候选帧50之间的时间段为T，而两个候选帧之间的间隔ΔT为T/(M-1)，其中M为一个大于2的整数，则第j个候选帧中的一个候选特征点及其运动矢量可确定如下。
通过将前面的帧30中的特征点A移动特征点A与准特征点B之间的运动矢量乘以一个因子(j-1)/(M-1)的距离而确定第j个候选帧中的一个候选特征点，并通过将特征点A与准特征点B之间的运动矢量乘以因子(j-1)/(M-1)而确定第j个候选帧中的候选特征点位置与前面的帧30中的特征点A之间的运动矢量。
参见图5，其中描绘了图2的跳过的帧的预测因子确定框218的详细方框图。如图5中所示，在特征点运动矢量检测框212(图2中所示)中所确定的特征点运动矢量经由线L18提供给乘法器500。同时，还将各候选帧的跳过的帧的预测因子的一个预定值从跳过的帧的预测因子生成器502提供给乘法器500，在其中将乘以第j个跳过的帧的预测因子的特征点运动矢量提供给第j个候选帧运动矢量检测框504。将图4A与4B中说明的等于(j-1)/(M-1)的第j个候选帧的跳过的帧的预测因子存储在第一寄存器516中。在第j个候选帧运动矢量检测框504中，根据来自乘法器500的乘以第j个跳过的帧的预测因子后的特征点运动矢量及经由线L13来自特征点选择框210(图2中所示)的特征点，为包含在第j个候选帧中的所有象素确定运动矢量。第j个候选帧运动矢量检测框504的操作等同于上述当前帧运动矢量检测框214(图2中所示)的操作。
将来自第j个候选帧的所有象素的运动矢量提供给第j个候选运动补偿框506。第j个候选运动补偿框506用来自第j个候选帧运动矢量检测框504的所有运动矢量补偿线L12上的前面的帧，借此提供第j个候选帧。将第j个候选帧送至第j个候选帧存储器508供存储在其中。
在减法器510中，在逐个象素的基础上计算存储在第j个候选帧存储器508中的第j个候选帧与线L8上的第i个跳过的帧之间的误差，然后将结果提供给第j个候选帧误差累加框512，在其中累加第j个候选帧误差。将第j个候选帧误差提供给比较器514与第二寄存器518。在比较器514中，将当前输入的候选帧误差与存储在第二寄存器518中的一个前面的候选帧误差进行比较，以提供第一与第二寄存器516与518的启动信号。每当当前输入的候选帧误差小于前面的帧误差时，便出现该启动信号。此时，用输入候选帧的一个新的跳过的帧的预测因子来代替存储在第一寄存器516中的前面的帧的跳过的帧的预测因子，并用输入的候选帧误差修正存储在第二寄存器518中的误差值。在第i个跳过的帧与所有的候选帧比较过之后，将存储在第一寄存器516中的最终跳过的帧的预测因子作为第i个跳过的帧的跳过的帧的预测因子产生在线L21上。
参见图6，其中示出了与图1中所示的视频信号编码器对应的视频信号解码器。来自该视频信号编码器的传输信号被输入到多路信号分离器605中，在其中将编码信号经由线L60提供给熵解码器607并将各该跳过的帧的各跳过的帧预测因子经由线L66提供给帧插入器601。在熵解码器607中，线L60上的传输信号被解码成第一组运动矢量及量化变换系数。经由线L64将运动矢量提供给当前帧预测框650及帧插入器601并经由线L62将量化变换系数耦合到图象信号解码器613上。
图象信号解码器613采用逆量化及逆离散余弦变换将量化变换系数转换回重构的误差信号。
当前帧预测框650基本上执行与图1中所示的视频信号编码器的框150的当前帧预测过程相同的操作，但是它是根据存储在帧存储器624中的前面的帧信号及来自熵解码器607的第一组运动矢量提供预测的当前帧的。
因此，当前帧预测框650具有与图2的当前帧预测部分(除跳过的帧的预测框218外)相似的结构，除非由于从编码器传输来的第一组运动矢量是在线L64上提供给它而没有诸如图2中所示的特征点运动矢量检测框212之类的运动估算器。
在解码器的特征点选择框中，以类似于编码器的方式从解码后并存储在解码器中的前面的帧中重构特征点。在解码器的当前帧运动矢量检测框中，通过利用第一组运动矢量与特征点，为包含在当前帧中的所有象素估算第二组运动矢量。在解码器的运动补偿框中，通过利用各该第二组运动矢量移动前面的帧中的各象素而确定要包含在预测的当前帧中的各象素。
在加法器615中组合来自图象信号解码器613的重构的误差信号与来自当前帧预测框650的线L70上的预测的当前帧信号，借此将重构的当前帧信号提供给帧存储器624。
将存储在帧存储器624中的重构的帧输送给帧插入器601，在其中利用来自多路信号分离器605的跳过的帧的预测因子及来自熵解码器607的第一组运动矢量重构前面的帧与当前帧之间的N个跳过的帧，如此后所述。
为了重构前面的与当前的帧之间的第i个跳过的帧，首先根据第i个跳过的帧的预测因子确定若干个运动矢量与第i个跳过的帧中的对应数目的象素点。通过利用与前面的帧中的所述各特征点相对应的第一组运动矢量之一乘i个跳过的帧的预测因子(j-1)/(M-1)移动前面的帧中的各该特征点而确定第i个跳过的帧中的各该对应数目的象素点，而第i个跳过的帧中的所述各对应数目的象素点与前面的帧中的所述各特征点之间的各该若干运动矢量则是通过在第一组运动矢量中的所述第一组上乘以因子(j-1)/(M-1)而确定的。此后，利用所述若干运动矢量与第i个跳过的帧中的对应数目的象素点确定包含在第i个跳过的帧中的所有象素的运动矢量，然后用所有象素的运动矢量补偿前面的帧以估算第i个跳过的帧。此后，帧插入器601控制输出帧的次序来重构输入信号。
虽然已参照具体的实施例示出与描述了本发明，但对于熟悉本技术的人员而言，显然可以作出许多变化与修改而仍不脱离所附的权利要求书中所限定的本发明的精神与范围。

Claims (4)

1、一种用于处理视频信号的图象处理系统，包含用于编码该视频信号以提供编码信号的装置及用于解码该编码信号以提供重构的视频信号的装置，其特征在于所述编码装置包括：
抽取装置(101)，用于从该视频信号中选择包含一个当前的帧与一个前面的帧在内的多个帧，其中在前面的帧与当前帧之间跳过了N个帧，所述N为一个正整数；
估算装置(210，212，214，216)，用于估算前面的帧与当前帧之间的位移以提供代表估算的位移的第一组运动矢量，并通过利用第一组运动矢量初步补偿前面的帧而在逐个象素的基础上提供一个预测的当前帧；
减法和编码装置(102，105)，用于从当前帧中减去预测的当前帧而提供一个差信号并编码该差信号与该组运动矢量，借此提供一个编码的差信号及编码的第一组运动矢量；
再补偿装置(500，502，504，506)，用于利用以M个跳过的帧的预测因子乘该组运动矢量来进一步补偿前面的帧而提供M个候选帧，所述M为大于N的一个正整数；以及
比较装置(514)，用于将N个跳过的帧中的各个与各该候选帧进行比较而将N个跳过的帧中的各个的跳过的帧的预测因子之一传输给解码装置；
以及在于所述解码装置包括：
恢复装置(607，613)，用于解码该编码的差信号及编码的第一组运动矢量，借此恢复差信号及第一组运动矢量；
补偿装置(650)，用于利用恢复的第一组运动矢量初步补偿前面的帧以重构预测的当前帧；
加法装置(615)，用于相加重构的预测的当前帧与恢复的差信号，借此重构当前帧；以及
再补偿装置(601)，用于利用恢复的第一组运动矢量及各该N个跳过的帧的各个传输的跳过的帧的预测因子进一步补偿前面的帧，借此构成前面的帧与重构的当前帧之间的各该N个跳过的帧。
2、权利要求1的装置，其中编码装置中的所述估算装置(210，212，214，216)包括：
特征点选择装置(210)，用于从包含在前面的帧中的象素中选择若干特征点，各该特征点是能够代表其中的一个目标的运动的一个象素点；
比较装置(212)，用于比较前面的帧与当前帧而检测各该所选择的特征点的第一组运动矢量，各该第一组运动矢量代表前面的帧中的所选择的特征点之一与当前帧中与之最相似的一个象素之间的空间位移；
抽取装置(214)，用于根据第一组运动矢量及特征点，为包含在当前帧中的所有象素推算第二组运动矢量；以及
补偿装置(216)，用于以第二组运动矢量补偿前面的帧而产生预测的当前帧。
3、权利要求2的装置，其中编码装置中的所述的再补偿装置(500，502，504，506)包括：
第一确定装置(500，502)，用于确定选定的数目的第j个候选帧运动矢量及第j个候选帧中对应数目的象素点，其中第j个候选帧中的各该对应数目的象素点是通过使用与前面的帧中的所述各该特征点对应的第一组运动矢量之一乘跳过的帧的预测因子(j-1)/(M-1)，移动前面的帧中的各该特征点而确定的，而第j个候选帧中的所述各该对应数目的象素点与前面的帧中的所述各该特征点之间的各若干第j个候选帧运动矢量是通过用因子(j-1)/(M-1)去乘第一组运动矢量中的所述一个而确定的；
第二确定装置(504)，用于根据所述选定数目的第j个候选帧运动矢量及第j帧中的对应数目的象素点，为包含在第j个候选帧中的所有象素确定整组第j个候选帧运动矢量；以及
补偿装置(506)，用于以该整组第j个候选帧运动矢量补偿前面的帧，借此提供第j个候选帧。
4、权利要求3的装置，其中解码装置中的再补偿装置(601)包括：
第一确定装置(500，502)，根据所传输的跳过的帧的预测因子，用于确定选定的数目的第i个跳过的帧的运动矢量及在第i个跳过的帧中的对应数目的象素点，其中第i个跳过的帧中的各该对应数目的象素点是通过利用所传输的跳过的帧的预测因子(j-1)/(M-1)乘以与前面的帧中的特征点中的所述各个相对应的第一组运动矢量之一移动前面的帧中的各该特征点而确定的，并且第i个跳过的帧中的所述各该对应数目的象素点与前面的帧中的所述各该特征点之间的选定数目的第i个跳过的帧的运动矢量中的各个是通过将第一组运动矢量中所述的一个乘以因子(j-1)/(M-1)而确定的；
第二确定装置(504)，用于利用所述选定数目的第i个跳过帧的运动矢量及第i个跳过的帧中的对应数目的象素点，为包含在第i个跳过的帧中的所有象素确定整组第i个跳过的帧的运动矢量；以及
补偿装置(506)，用于以该整组第i个跳过的帧的运动矢量补偿前面的帧，借此提供第i个跳过的帧。
CN95106689A 1995-03-20 1995-06-01 利用逐个象素运动估算与帧抽取的图象处理系统 Expired - Lifetime CN1115879C (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR5869/95 1995-03-20
KR5869/1995 1995-03-20
KR1019950005869A KR0181027B1 (ko) 1995-03-20 1995-03-20 화소 단위 움직임 추정을 이용하는 영상처리 시스템

Publications (2)

Publication Number Publication Date
CN1131872A CN1131872A (zh) 1996-09-25
CN1115879C true CN1115879C (zh) 2003-07-23

Family

ID=19410200

Family Applications (1)

Application Number Title Priority Date Filing Date
CN95106689A Expired - Lifetime CN1115879C (zh) 1995-03-20 1995-06-01 利用逐个象素运动估算与帧抽取的图象处理系统

Country Status (6)

Country Link
US (1) US5617144A (zh)
EP (1) EP0734165B1 (zh)
JP (1) JP3868017B2 (zh)
KR (1) KR0181027B1 (zh)
CN (1) CN1115879C (zh)
DE (1) DE69525525T2 (zh)

Families Citing this family (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6026182A (en) * 1995-10-05 2000-02-15 Microsoft Corporation Feature segmentation
US5970504A (en) * 1996-01-31 1999-10-19 Mitsubishi Denki Kabushiki Kaisha Moving image anchoring apparatus and hypermedia apparatus which estimate the movement of an anchor based on the movement of the object with which the anchor is associated
US6144972A (en) * 1996-01-31 2000-11-07 Mitsubishi Denki Kabushiki Kaisha Moving image anchoring apparatus which estimates the movement of an anchor based on the movement of the object with which the anchor is associated utilizing a pattern matching technique
US5982438A (en) * 1996-03-22 1999-11-09 Microsoft Corporation Overlapped motion compensation for object coding
US6037988A (en) * 1996-03-22 2000-03-14 Microsoft Corp Method for generating sprites for object-based coding sytems using masks and rounding average
US6147684A (en) 1998-02-06 2000-11-14 Sun Microysytems, Inc. Techniques for navigating layers of a user interface
US6563953B2 (en) 1998-11-30 2003-05-13 Microsoft Corporation Predictive image compression using a single variable length code for both the luminance and chrominance blocks for each macroblock
US6983018B1 (en) 1998-11-30 2006-01-03 Microsoft Corporation Efficient motion vector coding for video compression
US6499060B1 (en) 1999-03-12 2002-12-24 Microsoft Corporation Media coding for loss recovery with remotely predicted data units
US7043058B2 (en) * 2001-04-20 2006-05-09 Avid Technology, Inc. Correcting motion vector maps for image processing
WO2003053066A1 (en) * 2001-12-17 2003-06-26 Microsoft Corporation Skip macroblock coding
US7003035B2 (en) 2002-01-25 2006-02-21 Microsoft Corporation Video coding methods and apparatuses
US20040001546A1 (en) 2002-06-03 2004-01-01 Alexandros Tourapis Spatiotemporal prediction for bidirectionally predictive (B) pictures and motion vector prediction for multi-picture reference motion compensation
US7280700B2 (en) * 2002-07-05 2007-10-09 Microsoft Corporation Optimization techniques for data compression
US7154952B2 (en) 2002-07-19 2006-12-26 Microsoft Corporation Timestamp-independent motion vector prediction for predictive (P) and bidirectionally predictive (B) pictures
US7421129B2 (en) * 2002-09-04 2008-09-02 Microsoft Corporation Image compression and synthesis for video effects
US7558320B2 (en) * 2003-06-13 2009-07-07 Microsoft Corporation Quality control in frame interpolation with motion analysis
US7408986B2 (en) * 2003-06-13 2008-08-05 Microsoft Corporation Increasing motion smoothness using frame interpolation with motion analysis
US20050013498A1 (en) 2003-07-18 2005-01-20 Microsoft Corporation Coding of motion vector information
US7609763B2 (en) * 2003-07-18 2009-10-27 Microsoft Corporation Advanced bi-directional predictive coding of video frames
US7499495B2 (en) * 2003-07-18 2009-03-03 Microsoft Corporation Extended range motion vectors
US7577200B2 (en) 2003-09-07 2009-08-18 Microsoft Corporation Extended range variable length coding/decoding of differential motion vector information
US7599438B2 (en) * 2003-09-07 2009-10-06 Microsoft Corporation Motion vector block pattern coding and decoding
US7317839B2 (en) 2003-09-07 2008-01-08 Microsoft Corporation Chroma motion vector derivation for interlaced forward-predicted fields
US7724827B2 (en) * 2003-09-07 2010-05-25 Microsoft Corporation Multi-layer run level encoding and decoding
US8064520B2 (en) * 2003-09-07 2011-11-22 Microsoft Corporation Advanced bi-directional predictive coding of interlaced video
US7616692B2 (en) 2003-09-07 2009-11-10 Microsoft Corporation Hybrid motion vector prediction for interlaced forward-predicted fields
US7606308B2 (en) * 2003-09-07 2009-10-20 Microsoft Corporation Signaling macroblock mode information for macroblocks of interlaced forward-predicted fields
US7623574B2 (en) 2003-09-07 2009-11-24 Microsoft Corporation Selecting between dominant and non-dominant motion vector predictor polarities
US7620106B2 (en) 2003-09-07 2009-11-17 Microsoft Corporation Joint coding and decoding of a reference field selection and differential motion vector information
US7567617B2 (en) * 2003-09-07 2009-07-28 Microsoft Corporation Predicting motion vectors for fields of forward-predicted interlaced video frames
JP3846490B2 (ja) * 2004-05-17 2006-11-15 セイコーエプソン株式会社 画像データ圧縮装置、電子機器及び画像データ圧縮方法
KR100619041B1 (ko) 2004-07-22 2006-09-01 삼성전자주식회사 비디오 동기화 장치 및 비디오 동기화 방법
US8634413B2 (en) 2004-12-30 2014-01-21 Microsoft Corporation Use of frame caching to improve packet loss recovery
US9077960B2 (en) 2005-08-12 2015-07-07 Microsoft Corporation Non-zero coefficient block pattern coding
US7894522B2 (en) * 2005-09-16 2011-02-22 Sony Corporation Classified filtering for temporal prediction
US20070076796A1 (en) * 2005-09-27 2007-04-05 Fang Shi Frame interpolation using more accurate motion information
JP5188033B2 (ja) * 2006-04-24 2013-04-24 株式会社日立製作所 記録再生装置、送出装置及び伝送システム。
US8811495B1 (en) * 2007-02-06 2014-08-19 Geo Semiconductor Inc. Skipped video data recovery using multiple alternative recovery modes
US8254455B2 (en) * 2007-06-30 2012-08-28 Microsoft Corporation Computing collocated macroblock information for direct mode macroblocks
JP4523024B2 (ja) * 2007-08-08 2010-08-11 パナソニック株式会社 画像符号化装置および画像符号化方法
WO2009078686A2 (en) * 2007-12-18 2009-06-25 Humax Co., Ltd. Method and device for video coding and decoding
US8189666B2 (en) 2009-02-02 2012-05-29 Microsoft Corporation Local picture identifier and computation of co-located information
US8848799B2 (en) * 2009-09-02 2014-09-30 Sony Computer Entertainment Inc. Utilizing thresholds and early termination to achieve fast motion estimation in a video encoder
US8437505B2 (en) * 2009-12-17 2013-05-07 Lifesize Communications, Inc. Detection of local motion between image frames
KR101768207B1 (ko) 2010-01-19 2017-08-16 삼성전자주식회사 축소된 예측 움직임 벡터의 후보들에 기초해 움직임 벡터를 부호화, 복호화하는 방법 및 장치
CN106210852B (zh) * 2016-07-07 2019-06-28 青岛海信电器股份有限公司 一种终端静态图层信息检测方法及终端

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4958226A (en) * 1989-09-27 1990-09-18 At&T Bell Laboratories Conditional motion compensated interpolation of digital motion video
EP0397402A2 (en) * 1989-05-11 1990-11-14 Matsushita Electric Industrial Co., Ltd. Moving image signal encoding- and decoding apparatus
EP0420627A2 (en) * 1989-09-27 1991-04-03 Sony Corporation Video signal coding method
US5105271A (en) * 1989-09-29 1992-04-14 Victor Company Of Japan, Ltd. Motion picture data coding/decoding system having motion vector coding unit and decoding unit
US5305400A (en) * 1990-12-05 1994-04-19 Deutsche Itt Industries Gmbh Method of encoding and decoding the video data of an image sequence
EP0634874A2 (en) * 1993-07-16 1995-01-18 Daewoo Electronics Co., Ltd Apparatus and method for detecting motion vectors in a frame decimating video encoder

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5398078A (en) * 1991-10-31 1995-03-14 Kabushiki Kaisha Toshiba Method of detecting a motion vector in an image coding apparatus
GB2265065B (en) * 1992-03-02 1995-08-16 Sony Broadcast & Communication Motion compensated image processing
JPH05344493A (ja) * 1992-06-10 1993-12-24 Victor Co Of Japan Ltd 動画像符号化装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0397402A2 (en) * 1989-05-11 1990-11-14 Matsushita Electric Industrial Co., Ltd. Moving image signal encoding- and decoding apparatus
US4958226A (en) * 1989-09-27 1990-09-18 At&T Bell Laboratories Conditional motion compensated interpolation of digital motion video
EP0420627A2 (en) * 1989-09-27 1991-04-03 Sony Corporation Video signal coding method
US5105271A (en) * 1989-09-29 1992-04-14 Victor Company Of Japan, Ltd. Motion picture data coding/decoding system having motion vector coding unit and decoding unit
US5305400A (en) * 1990-12-05 1994-04-19 Deutsche Itt Industries Gmbh Method of encoding and decoding the video data of an image sequence
EP0634874A2 (en) * 1993-07-16 1995-01-18 Daewoo Electronics Co., Ltd Apparatus and method for detecting motion vectors in a frame decimating video encoder

Also Published As

Publication number Publication date
DE69525525T2 (de) 2002-07-25
EP0734165A2 (en) 1996-09-25
JP3868017B2 (ja) 2007-01-17
JPH08275177A (ja) 1996-10-18
EP0734165A3 (en) 1998-03-11
DE69525525D1 (de) 2002-03-28
CN1131872A (zh) 1996-09-25
KR0181027B1 (ko) 1999-05-01
US5617144A (en) 1997-04-01
KR960036707A (ko) 1996-10-28
EP0734165B1 (en) 2002-02-20

Similar Documents

Publication Publication Date Title
CN1115879C (zh) 利用逐个象素运动估算与帧抽取的图象处理系统
CN1117482C (zh) 利用基于特征点的运动估算编码视频信号的方法
CA2142150C (en) Motion compensation for interlaced digital video signals
EP0634874B1 (en) Determination of motion vectors in a frame decimating video encoder
CN1121120C (zh) 用于视频信号解码装置中用以去除分块效应的方法
US20120320992A1 (en) Enhancing compression quality using alternate reference frame
EP0720383A1 (en) Method and apparatus for detecting motion vectors in a frame decimating video encoder
CN1135146A (zh) 利用基于特征点的运动估算编码视频信号的装置
CN1103164C (zh) 利用逐个像素的运动估算和跳帧方法的图像处理系统
CN1136732C (zh) 用在图象编码系统中的改进的运动补偿装置
US6909748B2 (en) Method and system for image compression using block size heuristics
US5574663A (en) Method and apparatus for regenerating a dense motion vector field
JP3681784B2 (ja) 映像信号符号化装置
CN1078795C (zh) 用在图象编码系统中的改进的运动补偿方法
CN1142733A (zh) 应用基于特征点的运动估算的图象处理系统
US6061401A (en) Method and apparatus for selectively encoding/decoding a video signal
EP1905238A1 (en) Video coding method and apparatus for reducing mismatch between encoder and decoder
CN1127969A (zh) 用于在帧削减视频编码器中检测运动矢量的方法及装置
EP0734179A2 (en) Method and apparatus for selectively encoding/decoding a video signal
KR0174462B1 (ko) 프레임 데시메이션과 화소단위 움직임 추정을 이용하는 영상처리 시스템
AU681324C (en) Method and apparatus for regenerating a dense motion vector field
JPH07298270A (ja) 動き補償フレーム間予測符号化装置
KR100200226B1 (ko) 초저속 전송을 위한 영상처리 장치
KR0174463B1 (ko) 프레임 데시메이팅 비데오 부호화기의 움직임벡터 검출방법 및 장치
KR100200225B1 (ko) 초저속 전송을 위한 영상처리 시스템

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20031010

Patentee after: Daewoo Electronics Co., Ltd.

Patentee before: Daewoo Electronics Co., Ltd.

ASS Succession or assignment of patent right

Owner name: FENGYE VISION TECHNOLOGY CO., LTD.

Free format text: FORMER OWNER: DAEWOO ELECTRONICS CO., LTD.

Effective date: 20130425

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20130425

Address after: Ontario

Patentee after: Fengye Vision Technology Co., Ltd.

Address before: Seoul, South Kerean

Patentee before: Daewoo Electronics Co., Ltd.

C17 Cessation of patent right
CX01 Expiry of patent term

Expiration termination date: 20150601

Granted publication date: 20030723