CN1144471C - 利用基于特征点的运动估算编码视频信号的方法和装置 - Google Patents

利用基于特征点的运动估算编码视频信号的方法和装置 Download PDF

Info

Publication number
CN1144471C
CN1144471C CNB951977822A CN95197782A CN1144471C CN 1144471 C CN1144471 C CN 1144471C CN B951977822 A CNB951977822 A CN B951977822A CN 95197782 A CN95197782 A CN 95197782A CN 1144471 C CN1144471 C CN 1144471C
Authority
CN
China
Prior art keywords
characteristic point
group
motion vectors
accurate characteristic
reference frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
CNB951977822A
Other languages
English (en)
Other versions
CN1178057A (zh
Inventor
��Ĭ����
丁海默
李敏燮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fengye Vision Technology Co Ltd
Original Assignee
Daewoo Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daewoo Electronics Co Ltd filed Critical Daewoo Electronics Co Ltd
Publication of CN1178057A publication Critical patent/CN1178057A/zh
Application granted granted Critical
Publication of CN1144471C publication Critical patent/CN1144471C/zh
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H04N19/54—Motion estimation other than block-based using feature points or meshes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/02—Affine transformations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

一种装置，用于对一数字视频信号(217)编码以减少该数字视频信号的传送率，该装置包括基于特征点的运动补偿电路(150)，用于从重建的参考帧中选择一组特征点以通过利用基于特征点的运动估算来检测当前帧和初始参考帧之间与该组特征点相应的一组运动矢量，并用于基于该组运动矢量和重建的参考帧来产生一第二预测帧。该基于特征点的运动估算利用了一收敛过程，其中每一特征点的位移被给予它的运动矢量，而每一个六边形的6个三角形被利用其顶点特征点的位移独立地进行了仿射变换。如果该位移提供了更好的峰值信噪比，则该主特征点的运动矢量被顺序地更新。因此本发明的收敛过程在匹配处理中非常有效地确定尽可能接近于具有目标的变焦、旋转或缩放的初始图象的预测图象。

Description

利用基于特征点的运动估算编码视频信号的方法和装置
技术领域
本发明涉及一种用于对视频信号进行编码的方法和装置；更具体地，涉及一种用于利用基于改进的特征点的运动估算对数字视频信号进行编码的方法和装置，由此有效地减少该数字视频信号的传送率并确保图象质量完好。
背景技术
众所周知，数字化的视频信号的传送能够获得比模拟信号的传送更高质量的视频图象。当包含一序列图象“帧”的图象信号被以数字形式表示时，就会产生大量的待传输的数据，尤其是在高分辩率电视系统的情况下。然而，由于传统发送信道的可用频率带宽有限，为了由此传送大量的数字数据，不可避免地要压缩或减少传输的数据量。在各种视频压缩技术中，已知的最有效的是所谓的混合编码技术，该技术将时间和空间压缩技术与统计编码技术结合在一起。
大多数混合编码技术使用一运动补偿DPCM(差分脉冲编码调制)、二维DCT(离散余弦变换)、DCT系数量化，和VLC(可变长编码)。运动补偿DPCM是一个估算一目标在当前帧和先前帧或将来帧(即参考帧)之间的运动、并根据该目标的运动流预测此当前帧以产生一代表当前帧与其预测值之间的差的差分信号的过程。此方法被描述在例如，Staffan Ericsson的“FixeD anD ADaptive PreDictors for HybriD PreDictive/Transform CoDing”，IEEE Transactions on Communications，COM-33，第12期(1985年12月)；与Ninomiya和Ohtsuka的“A Motion-CompensateD Interframe CoDing Scheme for TelvisionPictures”，IEEE Transactions on Communications，COM-30，第1期(1982年1月)。
减少或利用图象数据间的空间冗余的二维DCT将一块数字图象数据，例如一8×8象素的块，转换成一组变换系数数据。此技术被描述在Chen和Pratt的“Scene ADaptive CoDer”，IEEE Transactions on Communications，COM-32，第3期(1984年3月)。通过用量化器、折线扫描器和VLC处理此变换系数数据，被传送的数据量可被有效地压缩。
具体地，在运动补偿DPCM中，根据估算当前和参考帧之间的运动从相应的参考帧数据预测当前帧数据。这种估算的运动可根据代表参考和当前帧之间象素的位移的二维运动矢量来描述。
有两种基本方法来估算一目标的象素的位移：一种是逐块估算，而另一种是逐象素的方法。
在逐块运动估算中，当前帧中的一块和其参考帧中的块进行比较直到确定了最佳匹配。由此，可以为被传送的当前帧预计整个块的帧间位移矢量(该矢量表示该块象素在帧间移动了多少)。
此种块匹配技术可被用在预测包含在视频序列中的P和B帧，如公开于ITU Telecommunication StanDarDization Sector StuDy Group 15，Working Party 15/1 Expert′s Groupon Very Low Bit Rate Visual Telephony的“ViDeo CoDec Test MoDel，TMN4 Rev1”，(1994年10月25日)，其中P或预测帧表示从其先前帧(作为参考帧)预测的一帧，而B或双向预测帧是从其先前和将来帧(作为参考帧)预测的。具体地，在对所谓的B帧编码中，利用双向运动估算技术以便向前和向后导出位移矢量，其中前向位移矢量是通过估算—目标在B帧和其先前内部帧(I)或预测帧(P)(作为参考帧)之间的运动来获得，而后向位移矢量是基于B帧和其将来帧I或P帧(作为参考帧)导出的。
然而，在逐块运动估算中，在一块的边界处的分块效应可能发生在一运动补偿过程中；并且如果该块中所有的象素不以同样方式运动的话可能导致失真的估算，由此减低了整体图象质量。
另一方面，使用逐象素的方法，为每一个象素确定一位移。此技术可使更精确地估算该象素值，并且能够轻易地处理尺寸变化(例如，变焦，垂直于图象平面的运动)。然而，在逐象素方法中，因为在每一个象素处确定一运动矢量，实际上不可能向接收机传送所有的运动矢量。
为消除处理由逐象素方法导致的多余或过多的传送数据的问题而引入的技术之一是基于特征点的运动估算方法。
在基于特征点的运动估算技术中，一组被选择的象素，即特征点的运动矢量被传送至一接收器，其中每一个特征点被定义为能够代表其相邻象素的象素以便非特征点的运动矢量能够在该接收机从这些特征点被恢复或逼近。在一共有未决的申请即美国序列号08/367,520(题为“MethoD anD Apparatus for EncoDing a ViDeo Signal Using Pixel-by-Pixel Motion Estimation”)中公开的采用该基于特征点的运动估算的一编码器中，首先从所有包含在先前帧中的象素选择多个特征点。然后，确定被选的特征点的运动矢量，其中每一运动矢量代表先前帧中的一特征点和当前帧中的一相应匹配点，即一最相似象素之间的空间位移。具体地，通过使用一已知的块匹配算法在当前帧内的一搜索区中搜索每一特征点的匹配点，其中一特征点块被定义为围绕该被选择的特征点的一块；而搜索区被定义为围绕相应特征点的位置的一预定区内的一区域。
在这种情况下，最希望或方便的是在与被选的特征点相应的全部搜索区中找到唯一的最佳匹配特征点块。然而，有时，在特征点匹配中可能有多个相同的最佳匹配特征点块。结果，难于正确检测具有此特征点块和相应搜索区之间相关性的特征点的运动矢量。而且，如果不根据参考帧中的特征点和相应的匹配点，即当前帧中的一最相似点之间的空间位移确定搜索区，可能引起失真的估算，由此减低了整体图象质量。
发明内容
因此，本发明的一个月的是提供一种方法，用于有效地估算特征点的运动矢量，由此有效地减少具有良好图象质量的数字视频信号的传送率。
本发明的另一个目的是提供一种装置，使用在视频信号编码系统中，用于利用基于一特征点的运动估算有效地估算运动矢量，由此有效地减少具有良好图象质量的数字视频信号的传送率。
本发明的另一目的是提供一种有选择地利用基于特征点的运动估算和基于块的运动估算的视频信号编码系统，以由此改进整体图象质量。
根据本发明的一个方面，提供了一种方法，用于通过利用基于特征点的运动估算方法来检测视频信号的当前帧和参考帧之间的一组运动矢量，其中该参考帧包括一重建的参考帧和一初始的参考帧，该方法包括以下步骤：
(a)从包含在重建参考帧中的象素中选择一组特征点，其中该组特征点形成一具有多个重叠多边形的多边网；
(b)基于该组特征点在当前帧上确定一组准特征点；
(c)为该组准特征点分配一组初始运动矢量，其中每一初始运动矢量被置为(0，0)；
(D)指定准特征点之一作为主准特征点，其中该主准特征点具有N个相邻的准特征点，这些相邻的准特征点形成由连接该N个相邻准特征点的线段定义的一个主当前多边形，其中N是正整数；
(e)顺序地将该主准特征点的初始运动矢量加至M个候选运动矢量以产生M个更新初始运动矢量，M是一正整数，其中所述M个候选运动矢量覆盖该主当前多边形中的一预定区域，而所述相邻特征点的初始运动矢量是固定的；
(f)根据M个该主准特征点的已更新的初始运动矢量和所述N个该相邻特征点的初始运动矢量中的每一个为包含在该主当前多边形中的每一象素在初始参考帧上确定一预测的位置；
(g)根据初始参考帧中的该预测位置为所述每一象素提供一预测象素值以形成M个预测的主当前多边形；
(h)计算当前多边形和每一预测主当前多边形之间的差以产生M个峰值信噪比(PSNR)；
(i)选择一个已更新运动矢量作为一被选择已更新运动矢量，该矢量使一预测主当前多边形具有最大PSNR以用该被选择的已更新运动矢量更新该主准特征点的初始运动矢量；
(j)重复步骤(D)到(i)直到所有的初始运动矢量都被更新；
(k)重复步骤(j)直到所述重复被执行了预定次；及
(n)将该组初始矢量设置为该组运动矢量，以由此确定该组运动矢量。
根据本发明的另一方面，提供了一种装置，使用在一视频编码系统中，用于通过利用基于特征点的运动估算来检测一组视频信号的当前帧和参考帧之间的运动矢量，其中该参考帧包括一重建参考帧和一初始参考帧中，该装置包括：
第一选择装置，用于从该重建参考帧中选择一组象素作为一组特征点，其中该组特征点形成具有多个重叠多边形的一多边形网；
装置，用于确定一组相应于该组特征点的当前帧上的准特征点；
存储装置，用于存储一组该组准特征点的初始运动矢量，其中每一初始运动矢量被置为(0，0)；
第二选择装置，用于从该组准特征点中选择L个主准特征点，其中每一主准特征点具有N个相邻准特征点，此N个相邻准特征点形成了由连接该主准特征点和所述N个相邻准特征点的线段定义的一非重叠的主当前多边形，所述L和N是正整数；
加法器装置，用于将每一主准特征点的初始运动矢量加至M个候选运动矢量以形成每一主准特征矢量的M个更新后的初始运动矢量，M是一正整数，其中所述M个候选运动矢量覆盖了每一非重叠主多边形中的一预定区域，而每一主准特征点的相邻特征点的初始运动矢量是固定的；
装置，用于根据每一更新的初始运动矢量和相应的相邻准特征点的初始运动矢量为包含在每一非重叠主当前多边形中的每一象素在初始参考帧上确定一预测位置；
装置，用于根据此预测的位置从初始参考帧中获得一预测的象素值以由此为每一非重叠主当前多边形形成M个预测的主当前多边形；
装置，用于计算每一非重叠主当前多边形和相应的M个预测主当前多边形之间的差以为每一非重叠主当前多边形产生M个峰值信噪比；
第三选择装置，用于为每一主准特征点选择一更新的初始矢量作为被选择的已更新的初始运动矢量，其使该预测的主当前多边形具有最大的PSNR，以产生L个被选择的已更新初始运动矢量；
装置，用于以相应的被选择的更新的初始运动矢量为存储在存储器装置中的每一主准特征点更新该初始运动矢量；及
装置，用于当更新了所有初始运动矢量预定次数时，从该存储器装置中取出该组初始运动矢量作为该组运动矢量。
根据本发明的另一方面，提供了一种用于对一数字视频信号编码以减少该数字视频信号的传送率的装置，所述数字视频信号具有包括一当前帧和一参考帧的多个帧，该装置包括：
第一存储器装置，用于存储该数字视频信号的一初始参考帧；
第二存储器装置，用于存储该数字视频信号的一重建的参考帧；
第一运动补偿装置，用于通过利用基于块的运动估算来检测当前帧和重建的参考帧之间的多个运动矢量，并用于根据该多个运动矢量和重建的参考帧产生第一预测当前帧；
第一选择装置，用于从该重建参考帧中选择一组象素作为一组特征点，其中该组特征点形成具有多个重叠多边形的一多边形网；
用于确定一组相应于该组特征点的当前帧上的准特征点的装置；
存储装置，用于存储一组该组准特征点的初始运动矢量，其中每一初始运动矢量被置为(0，0)；
第二选择装置，用于从该组准特征点中选择L个主准特征点，其中每一主准特征点具有N个相邻准特征点，此N个相邻准特征点形成了由连接所述N个相邻准特征点的线段定义的一非重叠的主当前多边形，所述L和N是正整数；
加法器装置，用于将每一主准特征点的初始运动矢量加至M个候选运动矢量以形成每一主准特征矢量的M个更新后的初始运动矢量，M是一正整数，其中所述M个候选运动矢量覆盖了每一非重叠主多边形中的一预定区域，而每一主准特征点的相邻特征点的初始运动矢量是固定的；
装置，用于根据每一更新的初始运动矢量和相应的相邻准特征点的初始运动矢量为包含在每一非重叠主当前多边形中的每一象素在初始参考帧上确定一预测位置；
装置，用于根据此预测的位置从初始参考帧中获得一预测的象素值以由此为每一非重叠主当前多边形形成M个预定的主当前多边形；
装置，用于计算每一非重叠主当前多边形和相应的M个预测主当前多边形之间的差以为每一非重叠主当前多边形产生M个峰值信噪比；
第三选择装置，用于为每一主准特征点选择一更新的初始矢量作为被选择的已更新的初始运动矢量，其使该预测的主当前多边形具有最大的峰值信噪比，以产生L个被选择的已更新初始运动矢量；
装置，用于以相应的被选择的更新的初始运动矢量为存储在存储器装置中的的每一主准特征点更新该初始运动矢量；及
装置，用于当更新了所有初始运动矢量预定次数时，从该存储器装置中取出该组初始运动矢量作为该组运动矢量；
装置，用于有选择性地将该多个运动矢量和第一预测当前帧或该组运动矢量和第二预测当前帧提供作为被选运动矢量和预测当前帧；
装置，用于变换编码(transform-coding)代表预测当前帧和当前帧之间的差的一误差信号以产生一变换编码误差信号；及
装置，用于统计地编码该变换编码误差信号和被选择的运动矢量以产生一被发送的已编码视频信号。
附图说明
本发明的以上和其它目的和特征将通过对下述参考附图的优选实施例的描述中变得显而易见，其中：
图1是一具有根据本发明的基于特征点的运动补偿装置的图象信号编码装置；
图2A和2b是说明二帧序列的原理图。
图3是描述了图1所示的运动补偿装置的详细方框图；
图4描述了图3所示的运动矢量搜索块的示例性方框图；
图5A和5B提供了当前帧和重建的先前帧的示例性图；
图6A至6E说明用于显示根据本发明的特征点选择操作的示意图；及
图7A和7B说明了用于显示根据本发明的运动矢量搜索过程的示意图。
具体实施方式
参考图1，其示出了根据本发明的图象编码系统的方框图。该图象编码系统包括帧重组电路101、减法器102、图象信号编码器105、图象信号解码器113、加法器115、第一存储器装置120、第二存储器装置130、平均信息量编码器107和运动补偿装置150。
一输入数字视频信号包括如图2A和2B所示的二帧(或图象)序列：第一帧序列具有一内部(I)帧(I1)、3个双向预测帧(B1，B2。B3)和3个预测帧(P1，P2，P3)；而第二帧序列有一内部(I)帧(I1)、3个前向预测帧(F1，F2，F3)和3个预测帧(P1，P2，P3)。因此，该图象编码系统包括二序列编码方式：第一序列编码方式和第二序列编码方式。在第一序列编码方式中，线路L17通过第一切换器103与线路11耦合，而包括了I1、B1、P1、B2、P2、B3、P3的第一帧序列经第一切换器103施于帧重组电路101，该帧重组电路101用于将其重组成例如I1、P1、B1、P2、B2、P3、B3的重组数字视频信号，以便双向导出B帧的预测帧信号。被重组的数字视频信号随后经线路L18、L12、L1分别被提供给第二切换器104a、第一存储器装置120和运动补偿装置150。在第二序列编码方式中，线路L17经第一切换器103与线路L10耦合，而第二帧序列I1、F1、P1、F2、P2、F3、P3经第一切换器103被耦合至分别在线路L12、L1、L18上的第一存储器装置120、运动补偿装置150和第二切换器104a。第一切换器103由来自例如是一微处理器(未示出)的传统系统控制器的序列方式控制信号CS1激发。如由上述可看到的，由于在第一序列编码方式中有重组延时，第二序列编码方式可被有利地用作如电视电路和电路会议装置之类的应用中的低延时方式。
如图1所示，图象编码系统包括：第二切换器104a和第三切换器104b，它们用于有选择地执行二帧编码方式：内部帧编码方式和帧间编码方式。如本专业内熟知的，由来自系统控制器的帧方式控制信号CS2同时激发第二和第三切换器104a和104b。
在内部帧编码方式中，经线路L14，内部帧I1作为当前帧信号直接与图象信号编码器105耦合，其中例如通过利用离散余弦变换(DCT)和任何公知的量化方法将当前帧信号编码成该组量化变换系数。内部帧I1也作为一初始参考帧存储在第一存储器装置120的帧存储器121中，其中第一存储器装置120包括分别通过线路L2、L3和L4连至运动补偿装置150的3个帧存储器121、122和123。然后，量化变换系数被发送至平均信息量编码器107和图象信号解码器113。在平均信息量编码器107，通过利用例如可变长编码技术，来自图象信号编码器105的量化变换系数被一起编码并发送至一发送器(未示出)用于从其发送。
另一方面，通过利用反量化和反离散余弦变换，图象信号解码器113将来自图象信号解码器105的量化变换系数转换回重建的内部帧信号。来自图象信号解码器113的该重建的内部帧信号作为一重建的参考帧随后被存在第二存储器装置130的帧存储器131，其中第二存储器装置130包括分别经线路L’2，L’3和L’4连至运动补偿装置150的3个帧存储器131、132、133。
在帧间编码方式，一帧间帧(例如预测帧P1、双向预测帧或前向预测帧F1)作为当前信号被施于减法器102和运动补偿装置150，并被存储在第一存储器装置120的帧存储器121，其中所谓的帧间帧包括：双向预测帧B1、B2、B3，预测帧P1、P2、P3和前向预测帧F1、F2、F3。原先存储在帧存储器121中的初始参考帧然后经线路L2被耦合至运动补偿装置150，并被变换或存储在帧存储器122。该运动补偿装置150包括如下所述的基于块的运动补偿信道和基于特征点的运动补偿信道。
当当前帧是预测帧P1时，通过利用基于块的运动补偿信道对线路L1上的当前帧信号和来自帧存储器131的线路L’1上的重建参考帧信号进行处理以根据在线路L30上产生预测的当前帧信号和线路L20上的该组运动矢量来预测当前帧。当当前帧是前向预测帧F1(或双向预测帧B1)时，通过利用基于特征点的运动补偿信道对线路L1上的当前帧信号、来自第一存储器装置120的线路L2、L3和L4之一上的初始参考帧信号以及来自第二存储器130的线路L’2、L’3和L’4之一的重建的参考帧信号进行处理以预测当前帧用来在线路L30上产生一预测的当前帧信号及在线路L20上产生一组运动矢量。将参考图3对运动补偿装置150进行详细地描述。
在减法器102将线路L30上的预测当前帧信号从线路L15上的当前帧信号中减去。而将结果数据，即表示差分象素值的误差信号分配至图象信号编码器105，在此，通过利用DCT和任何公知的量化方法将该误差信号编码成一组量化变换系数。那就是，通过从当前帧中减去预测当前帧而获得的误差是DCT编码的。在这种情况下，量化器步长被设成一大值，以便只补偿由不正确估测运动矢量引起的严重变形的区域。
之后，量化变换系数被送至平均信息量编码器107和图象信号解码器113。在平均信息量编码器107，通过利用例如可变长编码技术对来自图象信号编码器105的量化变换系数和经线路L20来自运动补偿装置150的运动矢量一起编码，并传送至一发送器(未示出)用于从其发送。
另一方面，图象信号解码器113通过利用反量化和反离散余弦变换将来自图象信号解码器105的量化变换系数转换回重建误差信号。
来自图象信号解码器113的重建误差信号和线路L16上的来自运动补偿装置150的预测的当前帧信号经切换器104b在加法器115被加在一起以由此经线路L’1提供一重建参考帧信号被作为先前帧存储在第二帧存储器130中。帧存储器装置130包括，例如，如图1所示串联的3个帧存储器131、132和133。那就是，来自加法器115的重建的帧信号被首先存储在例如帧存储器131，然后经线路L’2被提供至运动补偿装置150，并且如果来自加法器115的下一重建帧信号被输入至第一帧存储器131，则就被在逐帧的基础上变换到第二帧存储器132。只要执行图象编码工作就顺序地重复此过程。
参考图2A和2B，其中提供了说明上述第一和第二帧序列的示意图。如图所示，当当前帧是预测帧P1时，通过将重建的内部帧I1用作自第二帧存储器130恢复的参考帧就在逐块地基础上获得了一组运动矢量SMV1。以同样的方式，利用参考帧P1和P2获得当前帧P2和P3的那组运动矢量SMV2和SMV3。
当当前帧是双向预测帧B1时，通过利用自第二帧存储器130恢复的重建的参考帧I1和自第一存储器120恢复的初始参考帧I1从特征点获得一组前向运动矢量FMV1。以同样的方式，通过利用初始参考帧P1和重建参考帧P1获得当前帧B1的那组后向运动矢量BMV1。之后，图象编码系统在该组前向运动矢量FMV1和该组后向运动矢量BMV1之间选择并传送相应的运动矢量。
当当前帧是前向预测帧F1时，通过利用自第一存储器装置120恢复的初始参考帧I1和自第二存储器130恢复的重建参考帧F1从特征点获得一组前向运动矢量FMV2。
如上可看到的，对于运动估算和补偿，包含在第一和第二帧序列中的帧被如表I和表II所示地安排在第一和第二帧存储存储装置120和130。
表中○表示用于前向运动估算的一帧，而△表示用于后向运动估算的一帧。
如上可看到的，使用基于块的运动估算，通过利用基于DCT的预测编码(所谓的TMN4)重建了预测帧P1、P2和P3；根据本发明通过利用基于改进的特征点的运动补偿—离散余弦变换(MC-DCT)重建了插入帧，即双向预测帧B1、B2、B3或前向预测帧F1、F2、F3。
参考图3，其说明了图1所示的运动补偿装置150的细节。如图3所示，运动补偿装置150包括：输入选择器154、155和156，基于块的运动补偿电路151，基于第一特征点的运动补偿电路152，基于第二特征点运动补偿电路153和输出选择器157和158。
利用一传统块匹配算法的基于块的运动补偿电路151用于为每一预测帧P1、P2、P3检测一组运动矢量，并为相应的预测帧产生一预测当前帧。因此，当预测帧P1如表I和II所说的被作为当前帧施于基于块的运动补偿路151时，选择器154用于将线路L’2上的重建内部帧I1作为参考帧耦合到基于块的运动补偿电路151。在基于块的运动补偿电路151，经过其估算一组运动矢量并重建一预测当前帧信号。之后，该组运动矢量和该预测的当前帧信号分别经输出选择器157和158被耦合在线路L20和L30上。
利用下述的仿射变换的基于第一特征点的运动补偿电路152用于为每一双向预测帧B1、B2、B3或前向预测帧F1、F2和F3检测一组前向估算运动矢量，并用于为相应的双向或前向预测帧产生一预测当前帧。因此，当线路L1上的双向预测帧B1作为当前帧被施于基于特征点的运动补偿电路152时，如表I所示，选择器155用于将线路L2上的初始内部帧I1作为初始参考帧耦合到基于特征点的运动补偿电路152。选择器156用于将线路L’2上的重建内部帧I1作为重建参考帧耦合至基于特征点的运动补偿电路152以产生预测帧。在基于第一特征点的运动补偿电路152，通过利用该重建的和该初始的参考帧估算一组前向估算运动矢量，又通过利用该重建的参考帧重建一预测当前帧信号。之后，该组前向估算运动矢量和预测当前帧信号被分别经输出选择器157和158耦合至线路L20和L30上，其中通过来自系统控制器(未示出)的控制信号CS5和CS6控制输出选择器157和158。
利用下述的仿射变换的基于第二特征点的运动补偿电路153用于为每一双向预测帧B1、B2、B3检测那组后向估算运动矢量并用于为相应的双向预测帧产生一预测当前帧。因此，当双向预测帧B1被作为当前帧施于基于第二特征点的运动补偿电路153时，线路L1上的初始预测帧P1被作为初始参考帧耦合至基于特征点的运动补偿电路153，而线路L’2上的重建的预测帧P1被作为重建的参考帧耦合至基于第二特征点的运动补偿电路153。在基于第二特征点的运动补偿电路153，通过利用此重建的和初始的参考帧获得一组后向估算运动矢量，又通过利用此重建的参考帧建立一预测的当前帧信号。之后，该组后向估算运动矢量和预测当前帧信号被分别经输出选择器157和158耦合到线路L20和L30上。
参考图4，其示出图3所示的基于特征点的运动补偿电路的细节。来自第二帧存储器130的线路L’2上的一重建的参考帧信号被输入至用于产生一组特征点的特征点选择块210和运动补偿块240。该组特征点然后被耦合至运动矢量搜索块230和运动补偿块240。运动矢量搜索块230接收该初始参考帧和当前帧并用于为该组特征点产生一组运动矢量。该组运动矢量被耦合至用于根据该组运动矢量和该组特征点产生一预测当前帧的运动补偿块240。
在特征点选择块210，该组特征点被从包含在被重建的参考帧中的多个象素中选出，每一特征点根据一象素的位置被定义。图5A和5B示出了一示例当前帧和一重建参考帧。
参考图6A至6E，示出了说明根据本发明的特征点选择过程的解释图。如图6A所示，通过利用公知的索伯边缘检测器(Sobel edgedetector)(见A.K.Jain的“Fundamentals of Digital ImageProcessing”，1989，Pretice-Hall International)，在图5B所示的重建参考帧
Figure C9519778200221
中检测出边缘。从Sobel算子来的输出
Figure C9519778200222
与一预定阈值Te比较。根据本发明该预定阈值Te最好选为6。如果自Sobel算子的输出值
Figure C9519778200224
小于该预定阈值Te，则输出值 被置为0。否则，输出值|p(x，y)|可不改变。因此，图6A中所示的一边缘图象信号eg(x，y)被定义如下：
(公式1)
在本发明的一优选实施例中，如图6B所示通过使用利用具有多个重叠六边形的一六边形网格的网格技术来确定特征点。如图6C所示，由连接6个网点611至616的线段定义一六边形610。包含一六边形610中的网点617包围着比四边形更多的相邻网点611至616，由此使该特征点更有效地组构起来。六边形610包括6个非重叠三角形621至626，而网点611至617是三角形621至626的顶点。六边形610的分辨率由线HH和HV定义，在本发明中HH和HV最为分别被置成13和10。
参考图6D，对于每一网点，例如G1至G4，设置非重叠搜索范围，例如SR1至SR4。如果围绕设边缘点(例如E7)的8个象素的总和值最大，位于搜索范围SR1中的一边缘点(例如E7)变成了网格(例如G1)的一特征点，因此，特征点Di可被表示如下：
Di = { ( x , y ) | Max Σ k = - 1 1 Σ k = - 1 1 EG ( x + k , y + l ) } (公式2)
其中EG(x，y)是包含在搜索区SRi中的边缘点的值，而i是一正整数。
通过利用等式2确定此组特征点，其中该组特征点包括：重叠一边缘点的一网点，所述边缘点位于非重叠搜索区SRi并具有其围绕象素点的最大和值，以及所述的网点不包含那些处于非重叠搜索区域内的边缘点。
如果多于一个边缘点具有相同最大和值，那么将最靠近该网点的边缘点选作特征点。
当确定了该组特征点时，图6B所示的六边形网格就被形成为图6E所示的一六边形特征点网。确定了该六边形特征点网之后，该组特征点就与用于检测它的一组运动矢量的图4所示的运动矢量搜索块230相耦合。根据本发明，利用仿射变换的一收敛过程被用于搜索该组运动矢量。
参考图7A和7B，示出一说明根据本发明的运动矢量搜索过程的示例性图。通过利用该组特征点在当前帧中确定一组准特征点，其中在重建的参考帧中的每一特征点都与当前帧中的相应准特征点相匹配。对于每一准特征点，例如D1至D30，初始运动矢量被置为(0，0)。
当准特征点(例如D7)随之被分配或设置为被用于估算其运动矢量的处理的一主准特征点时，一主当前多边形700被用于此收敛处理。主当前多边形700被连接主准特征点D7和围绕该主准特征点D7的其相邻的准特征点(例如D1至D6)的线段所定义。当前多边形700包括六个非重叠三角形701至706，其中该主准特征点位于该三角形的公共顶点上。
然后预定数目的候选运动矢量被顺序地加至准特征点D7的初始运动矢量上，其中该预定数目的候选运动矢量最好水平地或垂直地从0至±7的范围内选择，而候选运动矢量 D7Y1是不允许的，图为三角形701是反的。候选运动矢量 D7X1被加至主准特征点D7的初始矢量而不改变其相邻的特征点D1至D6的初始运动矢量，以便产生一更新的初始运动矢量 D7D′7。因此，更新后的初始运动矢量 D7D′7代表主准特征点D7和候选准特征点D′7之间的位移。
通过利用该更新的初始运动矢量和相邻准特征点的初始矢量在初始参考帧上确定包含在主当前多边形700中的每一象素的一预测位置。然后，包含在主当前多边形700中的每一象素位置在相应于该预测位置的初始参考帧上被用一象素值插值以形成一预测主当前多边形。根据本发明的优选实施例，在具有3个特征点(例如D1，D2，D7)作其顶点的每一三角形(例如701)处用公知的仿射变换执行该过程。仿射变换如下
定义：
x ′ y ′ = a b c d · x y + e f (公式3)
其中，(x，y)代表在该预测的主当前多边形内的一象素的x和y座标；(x’，y’)表示在初始参考帧上的一预测位置的座标；而a至f是仿射变换系数。
利用三个准特征点(例如D1、D2、D7)的运动矢量唯一地确定6个映射参数a，b，c，d，e，f。一旦知道了仿射变换系数，三角形701中的每一剩余象素就能映射到初始参考帧中的一个位置上。因为在多数情况下获得的初始参考帧的预测位置(x’，y’)不是一组整数，所以用公知的双线性(bilinear)插值技术来计算预测位置(x’，y’)处的插值灰度级。仿射映射过程独立地用于三角形701至706。然后获得候选运动矢量的预测主当前多边形。
然后将预测主当前六边形和当前六边形700比较，并检查是否预测的主当前六边形和当前六边形的峰值信噪比增加了。如果增加了，就用更新的初始运动矢量D7D′7更新主准特征点D7的初始运动矢量(0，0)。
对于剩余候选运动矢量，重复此过程。在一次递归中，在包含在所述当前帧中的所有准特征点也执行上述过程。
参考图7B，假设完成了一次递归，准特征点D7被设置为一主准特征点；而相邻准特征点D1至D6的更新的初始运动矢量是 D1D′2， D2D′2，D3D′3， D4D′4， D5D′5，和 D6D′6；并且，以类似的方式，预定候选运动矢量被顺序地加至主准特征点 D7D′7的初始矢量。例如，候选运动矢量 D′7X2被加至主准特征点 D7D′7的初始矢量，而不改变其6个相邻特征点的初始运动矢量 D1D′1， D2D′2， D3D′3， D4D′4， D5D′ 5， D6D′6。因此，更新的初始运动矢量变成 D7X2。如上所述，预定数目的候选运动矢量最好被水平地或垂直地在0至±7的范围内选出，而候选运动矢量 D7Y2是不允许的，因为三角形701是反的。
包含在主当前多边形700的中的每一象素的一预测位置通过利用更新的运动矢量 D7X2和相邻准特征点的初始矢量( D1D′1， D2D′2，D3D′ 3， D4D′4， D5D′5， D6D′6)被在初始参考帧上确定。之后，包含在主当前多边形700中的每一象素位置被用一相应于预测位置的初始参考帧上的象素值插值，以形成预测主当前多边形700’(由图7B所示的一虚线代表)。
然后，将预测主当前六边形700’和当前六边形比较，且检查是否预测主当前六边形和当前六边形的PSNR增加了。如果增加了，则用更新的初始运动矢量 D7X2更新主准特征点的初始运动矢量 D7D′7。
对于剩余的候选运动矢量，重复此过程。在第二次递归中，在包含在所述当前帧中的所有准特征点也执行上述过程。
此过程也相对于所有准特征点执行几次直到达到了收敛。最好是，此过程的递归设为5次，因为在大多数情况下，在第5次递归之前该运动矢量收敛。
如从上述可看到的，在收敛过程中，每一特征点的位移被给予其运动矢量，而利用它们的顶点特征点的位移独立地仿射变换每一六边形的6个三角形。如果该位移提供了更好的PSNR，则顺序地更新此主特征点的运动矢量。因此，在匹配过程中，收敛过程非常有效地确定尽可能地接近于具有变焦、旋转或缩放目标的初始图象的预测图象。
根据本发明的优选实施例，对于硬件实现，本过程可用三个步骤完成。形成非重叠主当前多边形的、图7A所示的表示为D1、D3和D5的准特征点被首先用6个相邻特征点(D2，D7，D6，D10，D11，D17)，(D2，D4，D7，D12，D13，D19)，(D4，D6，D7，D8，D9，D15)中的每一个处理。下一步对点D2、D4和D6重复同样的过程。在最后一步，最后处理剩余的点D7、D8和D9。
回过来参考图4，然后将所获得的所有准特征点的运动矢量作为所有特征点的那组运动矢量耦合至用作通过利用重建的参考帧来产生一预测的当前帧信号的运动补偿块240。那就是说，通过仿射变换利用重建的先前帧和所获得的运动矢量获得了预测的当前帧信号。从上面可看出，这是利用用于运动矢量搜索过程的仿射变换的相同映射，除了使用重建的参考帧而不是初始参考帧，因为一解码器系统(未示出)只有一个重建的参考帧。另一方面，因为使用此基于特征点的运动补偿的编码系统产生只具有运动矢量的相当好的图象，当前帧和预测的当前帧之间的差或误差信号可以不发送。
如从以上看到的，容易理解利用基于特征点的运动补偿的本发明的编码系统能够获得可靠的一组运动矢量，由此改进编码效率。
基于特征点的运动补偿算法是基于图象特征的，且仿射变换被用于补偿目标的旋转和变焦。在大多数情况下，该运动补偿图象具有较高的PSNR和好的主观质量。如果在大范围运动中此运动预测失效，则误差图象能利用具有大量化步长的DCT被编码和发射。具体地，通过利用本发明的24Kbps的编码系统获得好的主观质量。另外，由于特征点的位置逐帧改变，本发明的编码器系统将既在编码器又在解码器中存在的重建的先前帧作为参考帧使用，以便不必发送特征点的位置信息。进一步地，用于编码系统中的象素方向的运动补偿产生比基于块的运动补偿更好的主观质量，因为它可以通过利用只具有运动矢量的仿射变换来补偿目标的变焦、旋转和缩放。
虽然参考了具体实施例对本发明显示和描述，但对本专业人士显而易见的是在不背离所附权利要求中所定义的本发明的精神和范围的前提下可作许多更改和变化。
表I
表II
Figure C9519778200282

Claims (20)

1.一种方法，用于通过利用基于特征点的运动估算方法来检测视频信号的当前帧和参考帧之间的一组运动矢量，其中该参考帧包括一重建的参考帧和一初始的参考帧，该方法包括以下步骤：
(a)从包含在重建参考帧中的象素中选择一组特征点，其中该组特征点形成一具有多个重叠多边形的多边网；
(b)基于该组特征点在当前帧上确定一组准特征点；
(c)为该组准特征点分配一组初始运动矢量，其中每一初始运动矢量被置为(0，0)；
(d)指定准特征点之一作为主准特征点，其中该主准特征点具有N个相邻的准特征点，这些相邻的准特征点形成由连接该N个相邻准特征点的线段定义的一个主当前多边形，其中N是正整数；
(e)顺序地将该主准特征点的初始运动矢量加至M个候选运动矢量以产生M个更新初始运动矢量，M是一正整数，其中所述M个候选运动矢量覆盖该主当前多边形中的一预定区域，而所述相邻特征点的初始运动矢量是固定的；
(f)根据M个该主准特征点的已更新的初始运动矢量和所述N个该相邻特征点的初始运动矢量中的每一个为包含在该主当前多边形中的每一象素在原始参考帧上确定一预测的位置；
(g)根据初始参考帧中的该预测位置为所述每一象素提供一预测象素值以形成M个预测的主当前多边形；
(h)计算当前多边形和每一预测主当前多边形之间的差以产生M个峰值信噪比；
(i)选择一个已更新运动矢量作为一被选择的已更新运动矢量，该矢量使一预测主当前多边形具有最大峰值信噪比以用该被选择的已更新运动矢量更新该主准特征点的初始运动矢量；
(j)重复步骤(D)到(i)直到所有的初始运动矢量都被更新；
(k)重复步骤(j)直到所述重复被执行了预定次；及
(n)将该组初始矢量设置为该组运动矢量，以由此确定该组运动矢量。
2.如权利要求1所述的方法，其中步骤(a)包括下列步骤：
(a1)检测重建的参考帧的边缘图象，其中边缘图象eg(x，y)被定义如下
Figure C9519778200031
其中 代表参考帧， 表示自公知的Sobel算子的一输出；而Te是一预定阈值；
(a2)在边缘图象上建立多边形网格，其中该多边形网格包括多个网点以形成多个重叠的多边形；
(a3)为每一网点分配一非重叠搜索区；及
(a4)确定一组特征点，其中该组特征点包括重叠一边缘点的一网点，所述边缘点位于非重叠搜索区并具有其围绕象素点的最大和值，以及所述的网点不包含那些处于非重叠搜索区域内的边缘点。
3.如权利要求2所述的方法，其中当在搜索区中有多于一个边缘点具有相同的最大和值时，该组特征点将最靠近该网点的边缘点选作特征点。
4.如权利要求3所述的方法，其中该多边形是一个六边形，而N是6。
5.如权利要求4所述的方法，其中该主当前六边形包括由连接该主准特征点和其相邻准特征点的线段定义的6个三角形；而步骤(f)和(g)是通过利用公知的仿射变换执行的。
6.如权利要求5所述的方法，其中围绕象素的点数是8；预定重复次数是5；而预定阈值是6。
7.如权利要求6所述的方法，其中该预定区域的范围是水平方向上和垂直方向上0至±7。
8.如权利要求7所述的方法，其中特征点Di被定义如下：
Di = { ( x , y ) | Max Σ k = - 1 1 Σ l = - 1 1 EG ( x + k , y + l ) }
其中EG(x，y)是包含在该搜索区中的边缘点的值，而i是一正整数。
9.一种装置，使用在一视频编码系统中，用于通过利用基于特征点的运动估算来检测一组视频信号的当前帧和参考帧之间的运动矢量，其中该参考帧包括一重建参考帧和一初始参考帧中，该装置包括：
第一选择装置，用于从该重建参考帧中选择一组象素作为一组特征点，其中该组特征点形成具有多个重叠多边形的一多边形网；
装置，用于确定一组相应于该组特征点的当前帧上的准特征点；
存储装置，用于存储一组该组准特征点的初始运动矢量，其中每一初始运动矢量被置为(0，0)；
第二选择装置，用于从该组准特征点中选择L个主准特征点，其中每一主准特征点具有N个相邻准特征点，此N个相邻准特征点形成了由连接所述N个相邻准特征点的线段定义的一非重叠的主当前多边形，所述L和N是正整数；
加法器装置，用于将每一主准特征点的初始运动矢量加至M个候选运动矢量以形成每一主准特征矢量的M个更新后的初始运动矢量，M是一正整数，其中所述M个候选运动矢量覆盖了每一非重叠主多边形中的一预定区域，而每一主准特征点的相邻特征点的初始运动矢量是固定的；
装置，用于根据每一更新的初始运动矢量和相应的相邻准特征点的初始运动矢量为包含在每一非重叠主当前多边形中的每一象素在初始参考帧上确定一预测位置；
装置，用于根据此预测的位置从初始参考帧中获得一预测的象素值以由此为每一非重叠主当前多边形形成M个预定的主当前多边形；
装置，用于计算每一非重叠主当前多边形和相应的M个预测主当前多边形之间的差以为每一非重叠主当前多边形产生M个峰值信噪比；
第三选择装置，用于为每一主准特征点选择一更新的初始矢量作为被选择的已更新的初始运动矢量，其使该预测的主当前多边形具有最大的峰值信噪比，以产生L个被选择的已更新初始运动矢量；
装置，用于以相应的被选择的更新的初始运动矢量为存储在存储器装置中的每一主准特征点更新该初始运动矢量；及
装置，用于当更新了所有初始运动矢量预定次数时，从该存储器装置中取出该组初始运动矢量作为该组运动矢量。
10.如权利要求9所述的装置，其中第一选择装置包括：
装置，用于检测重建的参考帧的边缘图象，其中边缘图象eg(x，y)被定义如下
Figure C9519778200051
其中 代表参考帧，
Figure C9519778200053
表示自公知的Sobel算子的一输出；而Te是一预定阈值；
装置，用于在边缘图象上建立多边形网格，其中该多边形网格包括多个网点以形成多个重叠的多边形；
装置，用于为每一网点建立一非重叠搜索区；及
装置，用于确定一组特征点，其中该组特征点包括重叠一边缘点的一网点，所述边缘点位于非重叠搜索区中并具有其围绕象素点的最大和值，且所述网点没有包含在其非重叠搜索区中的边缘点。
11.如权利要求10所述的装置，其中当在搜索区中有多于一个边缘点具有相同的最大和值时，该组特征点将最靠近该网点的边缘点选作特征点。
12.如权利要求11所述的装置，其中该多边形是一个六边形，而N是6。
13.如权利要求12所述的装置，其中该主当前六边形包括由连接该主准特征点和其相邻准特征点的线段定义的6个三角形；且用于确定预测位置的装置包括一公知的仿射变换器。
14.如权利要求13所述的装置，其中围绕象素的点数是8；预定重复次数是5；而预定阈值是6。
15.如权利要求14所述的装置，其中该预定区域的范围是水平方向上和垂直方向上0至±7。
16.一种用于对一数字视频信号编码以减少该数字视频信号的传送率的装置，所述数字视频信号具有包括一当前帧和一参考帧的多个帧，该装置包括：
第一存储器装置，用于存储该数字视频信号的一初始参考帧；
第二存储器装置，用于存储该数字视频信号的一重建的参考帧；
第一运动补偿装置，用于通过利用基于块的运动估算来检测当前帧和重建的参考帧之间的多个运动矢量，并用于根据该多个运动矢量和重建的参考帧产生第一预测当前帧；
第一选择装置，用于从该重建参考帧中选择一组象素作为一组特征点，其中该组特征点形成具有多个重叠多边形的一多边形网；
用于确定一组相应于该组特征点的当前帧上的准特征点的装置；
存储装置，用于存储一组该组准特征点的初始运动矢量，其中每一初始运动矢量被置为(0，0)；
第二选择装置，用于从该组准特征点中选择L个主准特征点，其中每一主准特征点具有N个相邻准特征点，此N个相邻准特征点形成了由连接所述N个相邻准特征点的线段定义的一非重叠的主当前多边形，所述L和N是正整数；
加法器装置，用于将每一主准特征点的初始运动矢量加至M个候选运动矢量以形成每一主准特征矢量的M个更新后的初始运动矢量，M是一正整数，其中所述M个候选运动矢量覆盖了每一非重叠主多边形中的一预定区域，而每一主准特征点的相邻特征点的初始运动矢量是固定的；
装置，用于根据每一更新的初始运动矢量和相应的相邻准特征点的初始运动矢量为包含在每一非重叠主当前多边形中的每一象素在初始参考帧上确定一预测位置；
装置，用于根据此预测的位置从初始参考帧中获得一预测的象素值以由此为每一非重叠主当前多边形形成M个预定的主当前多边形；
装置，用于计算每一非重叠主当前多边形和相应的M个预测主当前多边形之间的差以为每一非重叠主当前多边形产生M个峰值信噪比；
第三选择装置，用于为每一主准特征点选择一更新的初始矢量作为被选择的已更新的初始运动矢量，其使该预测的主当前多边形具有最大的峰值信噪比，以产生L个被选择的已更新初始运动矢量；
装置，用于以相应的被选择的更新的初始运动矢量为存储在存储器装置中的的每一主准特征点更新该初始运动矢量；及
装置，用于当更新了所有初始运动矢量预定次数时，从该存储器装置中取出该组初始运动矢量作为该组运动矢量；
装置，用于有选择性地将该多个运动矢量和第一预测当前帧或该组运动矢量和第二预测当前帧提供作为被选运动矢量和预测当前帧；
装置，用于变换编码代表预测当前帧和当前帧之间的差的一误差信号以产生一变换编码误差信号；及
装置，用于统计地编码该变换编码误差信号和被选择的运动矢量以产生一被发送的已编码视频信号。
17.如权利要求16所述的装置，其中第一选择装置包括：
装置，用于检测重建的参考帧的边缘图象，其中边缘图象eg(x，y)被定义如下
Figure C9519778200081
其中 代表参考帧， 表示自公知的Sobel算子的一输出；而Te是一预定阈值；
装置，用于在边缘图象上建立多边形网格，其中该多边形网格包括多个网点以形成多个重叠的多边形；
装置，用于为每一网点建立一非重叠搜索区；及
装置，用于确定一组特征点，其中该组特征点包括重叠一边缘点的一网点，所述边缘点位于非重叠搜索区中并具有其围绕象素点的最大和值，且所述网点没有包含在其非重叠搜索区中的边缘点。
18.如权利要求17所述的装置，其中该多边形是六边形，N是6，该主当前六边形包括由连接该主准特征点和其相邻准特征点的线段定义的6个三角形；且用于确定预测位置的装置包括一公知的仿射变换器。
19.如权利要求18所述的装置，其中围绕象素的点数是8；预定重复次数是5；而预定阈值是6。
20.如权利要求19所述的装置，其中该预定区域的范围是水平方向上和垂直方向上0至±7。
CNB951977822A 1995-03-18 1995-05-06 利用基于特征点的运动估算编码视频信号的方法和装置 Expired - Lifetime CN1144471C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR19955715 1995-03-18
KR1019950005715A KR0181034B1 (ko) 1995-03-18 1995-03-18 특징점 기반 움직임 추정을 이용한 움직임 벡터 검출 방법 및 장치

Publications (2)

Publication Number Publication Date
CN1178057A CN1178057A (zh) 1998-04-01
CN1144471C true CN1144471C (zh) 2004-03-31

Family

ID=19410078

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB951977822A Expired - Lifetime CN1144471C (zh) 1995-03-18 1995-05-06 利用基于特征点的运动估算编码视频信号的方法和装置

Country Status (16)

Country Link
US (1) US5978030A (zh)
EP (1) EP0815690B1 (zh)
JP (1) JP4187264B2 (zh)
KR (1) KR0181034B1 (zh)
CN (1) CN1144471C (zh)
AT (1) ATE207279T1 (zh)
AU (1) AU711311B2 (zh)
BR (1) BR9510541A (zh)
CA (1) CA2215386C (zh)
CZ (1) CZ290297A3 (zh)
DE (1) DE69523340T2 (zh)
FI (1) FI973715A (zh)
NO (1) NO974209L (zh)
PL (1) PL177586B1 (zh)
TW (1) TW257924B (zh)
WO (1) WO1996029828A1 (zh)

Families Citing this family (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100209793B1 (ko) 1995-10-28 1999-07-15 전주범 특징점 기반 움직임 추정을 이용하여 비디오 신호를 부호화 및 복호화하는 장치
JPH1098729A (ja) * 1996-09-20 1998-04-14 Hitachi Ltd フレーム間予測画像の合成方法
WO1998042134A1 (en) * 1997-03-17 1998-09-24 Mitsubishi Denki Kabushiki Kaisha Image encoder, image decoder, image encoding method, image decoding method and image encoding/decoding system
KR100265720B1 (ko) * 1997-03-31 2000-09-15 윤종용 2차원삼각형선격자모델을이용한동영상의움직임보상방법
KR100265721B1 (ko) * 1997-03-31 2000-09-15 윤종용 2차원삼각형조각선격자모델을이용한동영상의움직임추정방법
JP3966392B2 (ja) * 1997-09-30 2007-08-29 シャープ株式会社 画像合成通信装置
JP2001507552A (ja) * 1997-10-29 2001-06-05 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 隠れた／露出した像部分の動きベクトル予測及び検知
KR100255758B1 (ko) * 1997-11-21 2000-05-01 전주범 삼각 그리드로 표현된 지형상을 이동하는 물체의 위치가 존재하는 삼각형 탐색방법
US6546052B1 (en) * 1998-05-29 2003-04-08 Canon Kabushiki Kaisha Image processing apparatus and method, and computer-readable memory
JP4656680B2 (ja) * 1998-11-30 2011-03-23 シャープ株式会社 画像検索情報記録装置及び画像検索装置
WO2001041451A1 (en) * 1999-11-29 2001-06-07 Sony Corporation Video/audio signal processing method and video/audio signal processing apparatus
JP3681342B2 (ja) * 2000-05-24 2005-08-10 三星電子株式会社 映像コーディング方法
KR100359115B1 (ko) 2000-05-24 2002-11-04 삼성전자 주식회사 영상 코딩 방법
US6738520B1 (en) * 2000-06-19 2004-05-18 Intel Corporation Method of compressing an image
US7046728B1 (en) * 2000-06-30 2006-05-16 Intel Corporation Method of video coding the movement of a human face from a sequence of images
WO2002003708A2 (en) * 2000-06-30 2002-01-10 Intel Corporation Method of coding shoulder movement in a video sequence
AU2001271382A1 (en) * 2000-06-30 2002-01-14 Indian Institute Of Technology Model-based video image coding
JP2002230543A (ja) * 2000-11-28 2002-08-16 Monolith Co Ltd 画像補間方法および装置
JP2002230575A (ja) * 2000-11-30 2002-08-16 Monolith Co Ltd 映像効果方法および装置
FR2820255A1 (fr) 2001-01-26 2002-08-02 France Telecom Procedes de codage et de decodage d'images, dispositifs, systemes, signaux et applications correspondants
FR2820256B1 (fr) * 2001-01-26 2004-11-19 France Telecom Procedes de codage et de decodage d'images, dispositifs, systemes signaux et applications correspondantes
US20030189980A1 (en) * 2001-07-02 2003-10-09 Moonlight Cordless Ltd. Method and apparatus for motion estimation between video frames
FR2833797B1 (fr) * 2001-12-19 2004-02-13 Thomson Licensing Sa Procede d'estimation du mouvement dominant dans une sequence d'images
CN101083770B (zh) * 2002-08-08 2010-06-16 松下电器产业株式会社 图像解码方法和图像解码装置
KR100508975B1 (ko) * 2003-05-20 2005-08-17 주식회사 팬택 다층 레벨 연속 제거 알고리즘을 이용한 동영상 움직임추정 방법
US8467452B2 (en) * 2004-01-08 2013-06-18 Entropic Communications, Inc. Distributing candidate vectors based on local motion complexity
WO2005079074A1 (en) * 2004-01-16 2005-08-25 Koninklijke Philips Electronics N.V. Method for compressing/decompressing video information
US7483572B2 (en) * 2004-08-25 2009-01-27 Mitsubishi Electric Research Laboratories, Inc. Recovering a non-linear warping function from images
JP3935500B2 (ja) * 2005-01-14 2007-06-20 株式会社モルフォ 動きベクトル演算方法とこの方法を用いた手ぶれ補正装置、撮像装置、並びに動画生成装置
JP4620607B2 (ja) 2006-02-24 2011-01-26 株式会社モルフォ 画像処理装置
KR101119970B1 (ko) * 2007-02-05 2012-02-22 삼성전자주식회사 적응적인 양자화 스텝을 이용한 영상의 부호화, 복호화방법 및 장치
KR100851981B1 (ko) * 2007-02-14 2008-08-12 삼성전자주식회사 비디오 영상에서 실 객체 판별 방법 및 장치
KR101366242B1 (ko) * 2007-03-29 2014-02-20 삼성전자주식회사 움직임 모델 파라메터의 부호화, 복호화 방법 및 움직임모델 파라메터를 이용한 영상의 부호화, 복호화 방법 및장치
KR101366244B1 (ko) * 2007-04-24 2014-02-21 삼성전자주식회사 레지듀얼 데이터를 이용한 영상의 에러 은닉 방법 및 장치
US8665958B2 (en) * 2008-01-29 2014-03-04 Electronics And Telecommunications Research Institute Method and apparatus for encoding and decoding video signal using motion compensation based on affine transformation
US8385404B2 (en) * 2008-09-11 2013-02-26 Google Inc. System and method for video encoding using constructed reference frame
KR101279573B1 (ko) 2008-10-31 2013-06-27 에스케이텔레콤 주식회사 움직임 벡터 부호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
JP2010124397A (ja) * 2008-11-21 2010-06-03 Toshiba Corp 高解像度化装置
US9060176B2 (en) * 2009-10-01 2015-06-16 Ntt Docomo, Inc. Motion vector prediction in video coding
CN103039075B (zh) * 2010-05-21 2015-11-25 Jvc建伍株式会社 图像编码装置、图像编码方法、以及图像解码装置、图像解码方法
JP5661359B2 (ja) * 2010-07-16 2015-01-28 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
WO2013067440A1 (en) 2011-11-04 2013-05-10 General Instrument Corporation Motion vector scaling for non-uniform motion vector grid
US11317101B2 (en) 2012-06-12 2022-04-26 Google Inc. Inter frame candidate selection for a video encoder
US9503746B2 (en) 2012-10-08 2016-11-22 Google Inc. Determine reference motion vectors
US9485515B2 (en) 2013-08-23 2016-11-01 Google Inc. Video coding using reference motion vectors
KR101314632B1 (ko) * 2013-03-14 2013-10-04 에스케이텔레콤 주식회사 움직임 벡터 부호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
KR102121558B1 (ko) * 2013-03-15 2020-06-10 삼성전자주식회사 비디오 이미지의 안정화 방법, 후처리 장치 및 이를 포함하는 비디오 디코더
KR101316710B1 (ko) * 2013-05-09 2013-10-10 에스케이텔레콤 주식회사 움직임 벡터 부호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
KR101483174B1 (ko) * 2013-07-25 2015-01-20 에스케이텔레콤 주식회사 움직임 벡터 부호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
CN112383781B (zh) * 2013-08-16 2023-05-02 上海天荷电子信息有限公司 参考块的位置决定其重构阶段的块匹配编解码方法和装置
CN104363451B (zh) 2014-10-27 2019-01-25 华为技术有限公司 图像预测方法及相关装置
CN106658019B (zh) 2015-10-31 2019-11-12 华为技术有限公司 参考帧编解码的方法与装置
EP3417617A4 (en) 2016-02-17 2019-02-27 Telefonaktiebolaget LM Ericsson (publ) METHOD AND DEVICES FOR CODING AND DECODING VIDEO IMAGES

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5241608A (en) * 1988-11-25 1993-08-31 Eastman Kodak Company Method for estimating velocity vector fields from a time-varying image sequence
US5347309A (en) * 1991-04-25 1994-09-13 Matsushita Electric Industrial Co., Ltd. Image coding method and apparatus
US5317397A (en) * 1991-05-31 1994-05-31 Kabushiki Kaisha Toshiba Predictive coding using spatial-temporal filtering and plural motion vectors
JP3115651B2 (ja) * 1991-08-29 2000-12-11 シャープ株式会社 画像符号化装置
US5235419A (en) * 1991-10-24 1993-08-10 General Instrument Corporation Adaptive motion compensation using a plurality of motion compensators
JP3068304B2 (ja) * 1992-01-21 2000-07-24 日本電気株式会社 動画像符号化方式および復号化方式

Also Published As

Publication number Publication date
NO974209L (no) 1997-10-31
PL177586B1 (pl) 1999-12-31
MX9707106A (es) 1997-11-29
BR9510541A (pt) 1998-06-09
TW257924B (en) 1995-09-21
AU711311B2 (en) 1999-10-07
CN1178057A (zh) 1998-04-01
PL322302A1 (en) 1998-01-19
CA2215386C (en) 2005-06-21
JPH11506576A (ja) 1999-06-08
KR0181034B1 (ko) 1999-05-01
JP4187264B2 (ja) 2008-11-26
EP0815690B1 (en) 2001-10-17
ATE207279T1 (de) 2001-11-15
FI973715A0 (fi) 1997-09-17
KR960036766A (ko) 1996-10-28
DE69523340D1 (de) 2001-11-22
US5978030A (en) 1999-11-02
NO974209D0 (no) 1997-09-12
AU2420695A (en) 1996-10-08
FI973715A (fi) 1997-11-17
CZ290297A3 (cs) 1998-02-18
CA2215386A1 (en) 1996-09-26
EP0815690A1 (en) 1998-01-07
WO1996029828A1 (en) 1996-09-26
DE69523340T2 (de) 2002-05-02

Similar Documents

Publication Publication Date Title
CN1144471C (zh) 利用基于特征点的运动估算编码视频信号的方法和装置
CN1108062C (zh) 使用基于特征点的运动估算编码及解码视频信号的方法和装置
CN100342401C (zh) 基于段的运动估计
Secker et al. Lifting-based invertible motion adaptive transform (LIMAT) framework for highly scalable video compression
US6735249B1 (en) Apparatus, and associated method, for forming a compressed motion vector field utilizing predictive motion coding
CN1370376A (zh) 自适应运动矢量场的编码
CN101039419A (zh) 用于对图像序列的视频数据进行编码的方法
CN1278563C (zh) 视频数据压缩和解压缩的方法
JP2004520744A (ja) 画像の符号化と復号のための方法及び装置、それに関連する用途
KR100238889B1 (ko) 형태 부호화를 위한 보더 화소 예측 장치 및 방법
JPH08275157A (ja) 映像信号符号化装置
CN1204752C (zh) 存储和处理时间上顺序排列图象的图象信息的方法和装置
CN1122419C (zh) 利用对象的总运动矢量对数字化图像进行编码或解码的方法和装置
US6061401A (en) Method and apparatus for selectively encoding/decoding a video signal
CN1122421C (zh) 用于图象信号编码系统的运动矢量估算方法和设备
Tzovaras et al. Optimization of quadtree segmentation and hybrid two-dimensional and three-dimensional motion estimation in a rate-distortion framework
JP2007019687A (ja) Ｃｓｒｂｆを用いる画像処理方法
KR100238888B1 (ko) 적응적인 형태 부호화 장치 및 그 부호화 방법
JP4034236B2 (ja) 特定変換係数優先符号化装置、特定変換係数優先符号化復号システム及び特定変換係数優先符号化方法
KR100220581B1 (ko) 물체 윤곽 부호화를 위한 버텍스 부호화 장치
KR100240344B1 (ko) 적응적인 윤곽선 부호화 장치 및 방법
Tzovaras et al. Optimization of wireframe model adaptation and motion estimation in a rate‐distortion framework
Yaoping et al. A novel video coding scheme using delaunay triangulation
CN112422975A (zh) 一种基于二维层次编码结构的光场集成图片编码优化方法
Kim et al. Low bit rate video coding using wavelet-based fractal approximation

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20030425

Address after: Seoul

Applicant after: Daewoo Electronics Co., Ltd.

Address before: Seoul

Applicant before: Daewoo Electronics Co., Ltd.

C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: FENGYE VISION TECHNOLOGY CO., LTD.

Free format text: FORMER OWNER: DAEWOO ELECTRONICS CO., LTD.

Effective date: 20130422

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20130422

Address after: Ontario

Patentee after: Fengye Vision Technology Co., Ltd.

Address before: Seoul, South Kerean

Patentee before: Daewoo Electronics Co., Ltd.

C17 Cessation of patent right
CX01 Expiry of patent term

Expiration termination date: 20150506

Granted publication date: 20040331