CN1135146A - 利用基于特征点的运动估算编码视频信号的装置 - Google Patents
利用基于特征点的运动估算编码视频信号的装置 Download PDFInfo
- Publication number
- CN1135146A CN1135146A CN95118221A CN95118221A CN1135146A CN 1135146 A CN1135146 A CN 1135146A CN 95118221 A CN95118221 A CN 95118221A CN 95118221 A CN95118221 A CN 95118221A CN 1135146 A CN1135146 A CN 1135146A
- Authority
- CN
- China
- Prior art keywords
- frame
- motion vector
- pixel
- group
- difference signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/537—Motion estimation other than block-based
- H04N19/54—Motion estimation other than block-based using feature points or meshes
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
一运动补偿视频信号编码器有一基于数字视频信号的当前帧及先前帧确定一预测的当前帧的电路。该电路包括一用于基于当前帧与先前帧间的差自先前帧检测包围一移动目标的一处理区域以生成代表该经检测的处理区域的区域检测电路。基于该区域信息自该经检测的处理区中所包含的象素内选择一些象素为特征点。检测当前帧与先前帧间的第一组运动矢量。该第一组运动矢量被用于预测该预测的当前帧并作为该视频信号的一组运动矢量与区信息一起被传送。
Description
本发明涉及一种用于编码视频信号的装置;更具体地,涉及一种通过利用基于特征点的运动估算可有效地编码视频信号的装置。
众所周知,数字视频信号的传输可获得比模拟信号传输质量高得多的视频图象。当包括一序列图象“帧”的图象信号以数字形式表示时,将生成大量要传输的数据,特别是在高清晰度电视系统的情况中。然而,一常规传输信道的可用频带宽度是有限的,因此,为了通过其发送大量的数字数据,必须压缩或减少传输数据的量。在各种视频压缩技术中,将时间及空间压缩技术与统计编码技术相结合的所谓的混合编码技术是所知最为有效的。
大多数混合编码技术采用运动补偿DPCM(差分脉冲码调制),二维PCT(离散余弦变换),DCT系数的量化及VLC(可变长度编码)。运动补偿DPCM是对一当前帧和一先前帧之间的目标的运动进行估算,并根据目标的运动流预测当前帧以产生一个代表当前帧及其预测之间的差的差分信号的过程。
二维DCT减少或去除诸如运动补偿的DPCM数据的图象数据间的空间冗余,将一例如为8×8象素块的数字图象数据块变换成一组变换系数数据。这种技术在例如Chen和Pratt的“场景自适应编码器”,IEEE Transactions on Communications,COM-32,NO.3,(1984年3月)中被描述。通过用量化器,折线扫描及VLC对这些变换系数数据的处理,待传输的数据量可被有效地压缩。
特别地,在运动补偿DPCM中,基于对当前帧及先前帧间的运动的估算,当前帧数据自相应的先前帧被预测。该被估算的运动可用表示先前帧及当前帧间的象素的位移的二维运动矢量描述。
已有两种基本方法估算目标象素的位移。通常,它们可被分为两种类型:一种是逐块估算,另一种是逐象素的方法。
在逐块的运动估算中,将一当前帧中的一块与其先前帧中的各块进行比较直至确定最佳匹配。自此,可以为正在传输的当前帧估算整个块的帧间位移矢量(代表该象素块已在帧间移动了多少)。然而,在逐块的运动估算中,可能在运动补偿过程中在块的边缘产生效应;如果块中所有象素不以相同的方式移动,可导致差的估算,从而降低了整体图象质量。
在另一方面,使用逐象素的方法,可确定用于每个象素的位移。这种技术可取得象素值的更精确的估算并能容易地处理标度改变(例如变焦、垂直于图象平面的运动)。然而,在逐象素的方法中,由于是确定每个象素的运动矢量,因此几乎不可能将所有的运动矢量数据传输给一接收机。
引入的用于改善涉及由逐象素方法导致的剩余或多余的传输数据的问题的一种技术是基于特征点的运动估算方法。
在该基于特征点的运动估算技术中,用于一组被选择的象素,即特征点的运动矢量被传输给一接收机,其中特征点被定义为能够代表一个目标的运动的一先前帧或一当前帧的象素,以使在接收机中当前帧的象素的运动矢量可从特征点的运动矢量还原或近似出来。在序列号为08/367,520,题目为“利用逐象素运动估算编码视频信号的方法和装置”的共有未决的美国专利申请中公开的采用基于特征点的运动估算的编码器中,首先采用网格和/或边界检测技术从包含在先前帧中的全部象素中选择一些特征点。接着,确定这些被选择的特征点的运动矢量,其中各运动矢量表示先前帧中一特征点与相应的匹配点,即当前帧中一最相似的象素之间的空间位移。具体地,在当前帧内一搜索区中搜索各特征点的匹配点,其中该搜索区被定义为包括有相应特征点的位置的一预定面积的区域。
虽然通过使用上述的基于特征点的运动估算技术可能显著地减少待传输数据的量,但是在使用网格或/和边界技术的情况下,仍要不仅从移动目标而且从没有运动的固定目标选择大量的特征点。这么大量的特征点可能要求相当复杂的电路以支持上述的编码方法,或还要在该用于检测运动矢量的电路上施加高水平的计算的负担。并且,可能要求进一步减少待传输数据的量以成功地实现具有例如64kb/s传输信道带宽的一低比特率编码解码器系统。
因此,本发明的主要目的是提供一种改进的用于一低比特率视频编码系统的视频信号编码装置,通过利用基于特征点的运动估算对一组自一视频信号中包围一运动目标的区域被选择的运动矢量进行估算,能够有效地编码视频信号。
根据本发明,提供有在一运动补偿视频信号编码器中使用的,用于基于一数字视频信号的当前帧和先前帧确定一预测的当前帧的装置,包括有:用于基于当前帧与先前帧间的差自先前帧检测一包围一运动目标的处理区域以生成表示该经检测的处理区域的区域信息的区域检测单元;用于基于该区域信息自包含在该经检测的处理区域内的象素中选择一些象素作为特征点的特征点选择单元;用于检测在当前帧与先前帧之间的第一组运动矢量的第一运动矢量检测单元,第一组运动矢量的各运动矢量代表用于各被选择的象素的运动矢量;用于通过使用所述第一组运动矢量产生包含在当前帧中的所有象素的第二组运动矢量的第二运动矢量检测单元;及用于指定先前帧中各象素的值为当前帧中所述的一象素的值从而确定该预测的当前帧的运动补偿单元,该各象素通过第二组运动矢量中的一个运动矢量对应于当前帧中的一个象素。
通过以下结合附图对优选实施例的描述,本发明的上述及其它目的和特征将变得明显。附图中:
图1提供了根据本发明的具有一当前帧预测单元的图象信号编码装置;
图2示出了图1中的当前帧预测单元的详细方框图;
图3表示了具有一运动目标的两重叠的示例性帧;
图4A及4B例示了两种类型的网格以选择特征点;
图5A及5B描述了用于通过使用网格和目标的边界选择特征点的技术;
图6A及6B说明了根据本发明是如何检测当前帧的运动矢量的;
图7给出了图2的处理区域检测单元的详细方框图;及
图8表示基于图3中的两帧间的差的一块代表性值的阵列。
参照图1,示有一用于压缩数字视频信号的编码装置,根据本发明其采用一当前帧预测单元150。如图所示,当前帧数据作为一输入数字视频信号被馈送给一第一帧存储器100,该第一帧存储器100存储该输入的数字视频信号。该输入数字视频信号也通过线L10被耦合至当前帧预测单元150。实际上,该输入数字视频信号在逐块的基础上自第一帧存储器100被读取并通过线L11提供给一减法器102。该输入数字视频信号的块大小典型地处于8×8象素与32×32象素之间的范围内。
本发明的当前帧预测单元150最初用于通过采用基于特征点的运动估算确定一组特征点的一组运动矢量,该基于特征点的运动估算将在以后参照图2和图3进行描述,其中在一重构的先前帧的一处理区内选择这些特征点。在通过利用自第一帧存储器100取出在线L10上的一当前帧信号及取自第二帧存储器124在线L12上的一先前帧信号确定了用于全部特征点的运动矢量后,这些运动矢量被用于在逐象素的基础上预测当前帧以生成一预测的当前帧信号到线L30上。这些运动矢量和表示该区域位置的区域信息也通过线L20被耦合至一熵编码器107。
在减法器102,从线L11上的当前帧信号中减去线L30上的预测的当前帧信号,且其结果数据,即表示差分象素值的一误差信号被传送给一图象信号编码器105。在图象信号编码器105,例如,通过采用一DCT和任何已知的量化方法,该误差信号被编码成一组量化的变换系数。然后,该量化的变换系数被传送给一熵编码器107和一图象信号解码器113。
在熵编码器107,来自图象信号编码器105的量化的变换系数、运动矢量及区域信息通用采用例如一已知的可变长度编码技术被一起编码;并传送给一发射机(未示出)被发送。同时,图象信号解码器113通过采用一逆量化及一逆离散余弦变换将该来自图象信号编码器105的量化的变换系数转换回为一重构的误差信号。该来自图象信号解码器113的重构的误差信号及来自当前帧预测单元150在线L30上的预测的当前帧信号在加法器15被组合,从而提供一重构的帧信号,以作为一先前帧信号被存储在第二帧存储器124中。
参照图2,详细地例示了图1中所示的当前帧预测单元150。该当前帧预测单元150被提供有一处理区域检测单元210、一特征点选择单元230、一特征点运动矢量搜索单元240、一当前帧运动矢量检测单元250及一运动补偿单元260。
来自第一帧存储器100在线L10上的当前帧信号和来自第二帧存储器124在线L12上的先前帧信号被输入给处理区域检测单元210。该处理区域检测单元210用于通过利用当前帧信号与先前帧信号之间的差检测具有一运动目标的处理区域。参照图3,示有两重叠的示范的帧300(即,当前帧和先前帧),各帧有5×7的图象块。各图象块包括有多个象素,例如16×16个象素。假设这些重叠的帧包括有四个目标,例如,三个固定目标310至330和一移动目标340,且两帧间的差出现在包括有多个包围着移动目标340的图象块的区域350内,该区域350将被视为处理区。在检测完处理区域350后,处理区域检测单元210基于包围或围绕着移动目标340的图象块的位置数据生成代表选择的处理区域的区域信息。该区域信息然后被传送给特征点选择单元230、当前帧运动矢量检测单元250和熵编码器107。
在特征点选择单元230,通过利用来自处理区域检测单元210的区域信息和来自第二帧存储器124的先前帧信号,在包含于先前帧信号的处理区域内的象素中选择一些特征点,这些特征点被定义为能够表示帧中一目标的运动的象素。在本发明的一优选实施例中,通过采用一不同类型的网格,例如分别在图4A和4B中所示的矩形网格或重叠的六角形网格的已知的网格技术确定这些特征点。如图4A及4B中所示,这些特征点位于网格的节点上。在本发明的另一个优选实施例中,如图5A及5B中所示,一边界检测技术与上述的网格技术被一起采用。在该方案中,网格与目标边界的交叉点被选为特征点。这些来自特征点选择单元230的被选择的特征点被输入给特征点运动矢量搜索单元240。特征点选择单元230也用于基于区域信息生成特征点的位置数据,该位置数据也被传送给特征点运动矢量搜索单元240及当前帧运动矢量检测单元250。
在特征点运动矢量搜索单元240,基于线L10上的当前帧信号及线L12上的先前帧信号,被选择的特征点的第一组运动矢量被检测,第一组中的各运动矢量表示先前帧中一特征点和当前帧中与其最相似的一象素之间的空间位移。有许多处理算法可用于在逐象素的基础上检测这些运动矢量。在本发明的优选实施例中,使用有一种块匹配算法:即,当在其中心有一特征点的先前帧的一特征点块经线L12自图1中所示的第二帧存储器124中被取出时。然后,通过在特征点块和包括在自图1所示的第一帧存储器100取出的当前帧的一通常较大的P×Q,例如10×10个象素的搜索区内的多个大小相等的候选块的各块之间使用一误差函数,例如MAE(平均绝对误差)或MSE(均方误差)完成一相似性计算后,确定特征点块的运动矢量,其中该运动矢量是特征点块与产生一最小误差函数的候选块之间的位移。该被确定的运动矢量然后被设定为特征点的运动矢量。这些特征点的运动矢量被作为第一组运动矢量通过线L20,提供给图1中所示的当前帧运动矢量检测单元250及熵编码器107。
在当前帧运动矢量检测单元250,通过利用来自特征点运动矢量搜索块240的第一组运动矢量、来自特征点选择单元230的特征点的位置数据及来自处理区检测单元210的区域信息确定包含在当前帧中的所有象素的第二组运动矢量。根据本发明的优选实施例,通过使用一已知的仿射变换确定该第二组运动矢量。为了确定第二组运动矢量,首先确定准特征点,其中这些准特征点表示自包含在先前帧的处理区域中的特征点移过第一组运动矢量的当前帧的象素。在确定完准特征点(QP’s)后,通过连接例如如图6A中所示,三个相邻的准特征点确定多个非重叠的多边形,例如,三角形。
在本发明的优选实施例中,通过从最高级的一准特征点开始在一准特征点和与其最相近的准特征点之间加上一条新的线段而自一组任意分布的准特征点形成唯一的三角形。例如,如图6A中所示,如果例如QP1至QP7的七个准特征点被随机分布在一6×5象素的当前帧的一矩形处理区域内,这些准特征点的线段的形成是以QP1至QP7的顺序进行的,其中括号内的数字表示自该矩形处理区域的原点,例如左上角象素P1起所量的一准特征点的X及Y座标。也就是,以其Y值的递升次序给予这些准特征点优先级。如果一个以上的准特征点具有相同的Y值,则以其X值的递升次序给予这些准特征点优先级。
具体地,对于图6A中例示的该组特征点,首先选择用于Q1的一线段
QP1QP4,随后选择用于QP2的一线段
QP2QP3,由
QP2QP3已被选择,所以确定QP3QP4为用于QP3的一线段。次优先级的准特征点,即QP4有两个最相近的准特征点,即QP5和QP6。在这种情况下,因为QP5具有一更高的优先级,所以选择
QP4QP5。类似地,依次确定用于QP5、QP6和QP7的线段
QP5QP6、P6QP4和
QP7QP3。这些处理被重复直至在新增加的线段与任何先前选择的线段不重叠或不交叉的情况下形成所有的线段。
然后,通过使用一仿射变换技术计算第二组运动矢量。如在现有技术中所熟知的,一运动目标的任意顺序的旋转、平移及比例变化可由仿射变换来表示。
假设,图6B中所示,当前帧中的三个象素A、B和C被确定为与其各自在先前帧中的特征点A’、B’和C’对应的准特征点。当前帧的一三角形ABC中的象素可通过下式定义的仿射变换与先前帧的三角形A’B’C’中的那些象素相关联: 式(1)其中(X,Y)表示当前帧内一象素的X和Y座标且(X’,Y’)表示先前帧中的预测位置的座标;及a至f为仿射变换系数。
通过解自三组相关的特征点及准特征点,即A’-A,B’-B和C’-C得到的六个线性方程式计算出该六个仿射变换系数。一旦得知这些仿射变换系数,在三角形ABC中的各保留的象素过利用式(1)可被变换到三角形A’B’C’中的位置上。以这种方式,在当前帧内各三角形中的象素可自先前帧的那些象素被预测。两邻接三角形的边界上的象素,例如图6A中所示的P1可自这两个三角形中的任一个被预测。
然后,当前帧中各象素P(x,y)的运动矢量自象素P及其预测P’(x’,y’)之间的位移被确定如下
Mx=x’-x
式(2)
My=y’-y其中Mx和My分别是象素P的运动矢量的x和y分量。
在本发明的优选实施例中,位于当前帧中处理区域之外的象素的运动矢量被设定为零。
参照图2,自当前帧运动矢量检测单元250提供给运动补偿单元260的是当前帧的象素的第二组运动矢量。
运动补偿单元260通过使用第二组内包含的各运动矢量自图1中所示的第二帧存储器取出待包含在一预测的当前帧中的各象素值,从而提供预测的当前帧信号经过线L30给图1所示的减法器102及加法器115。如果一运动矢量的两分量,即Mx和My不是整数,该预测的象素值可通过内插与由该运动矢量指定的位置相邻的象素的象素值而得到。
在本发明的另一优选实施例中,自式(1)得到的预测的位置可不靠第二组运动矢量而直接自当前帧运动矢量检测单元250提供给运动补偿单元260。位于当前帧中处理区域外侧的象素的预测的位置被设定为具有与位于先前帧的处理区域外侧的各象素相同的位置。运动补偿单元260然后自第二帧存储器124取出与这些预测的位置对应的象素值,从而提供预测的当前帧信号到线L30。
参照图7,例示有根据本发明的在图2中所说明的处理区检测单元210的方框图。来自第一帧存储器100的当前帧信号和来自第二帧存储器124的先前帧信号都被馈送给一减法器700。
减法器700于在逐象素的基础上计算当前帧信号的象素值与对应的先前帧信号的象素值之间的差(图3中所示的A)。该结果数据,即一帧差信号自减法器700被提供给一绝对值化电路710。该绝对值化电路710将包括在帧差信号中的各象素差值转换成其绝对值。然后,一绝对值化的帧差信号被供给一第一比较器720,后者将该绝对值化的帧差信号的各绝对值化的象素差值与一预定的阈值TH1进行比较。然后,该绝对值化的帧差信号被转换为具有两种类型的数据,例如“1”或“0”。也就是,如果各绝对值化的象素差值小于TH1,该绝对值化的象素差值被设定为“0”,否则,该绝对值化的象素差值被设定为“1”,该经转换的帧差信号在逐块的基础上自第一比较器720被馈送给一开关SW1的端子1。
在开关SW1,端子1被连接至一端子3,端子3使第一比较器720与第三帧存储器730相连直至该第三帧存储器730被完全填充该经转换的帧差信号,其中该开关SW1由来自一控制器(未示出)的控制信号CS1控制。如果该第三帧存储器730被填充,开关SW1的端子1被与端子3分离,且端子2然后被耦合至端子3。同时,一控制信号CS2被提供给一开关SW2且开关SW2的一端子4被连接到端子6,后者使第三帧存储器730连至一噪声降低单元740。存储在第三帧存储器730中的经转换的帧差信号通过端子4和6被馈送至噪声降低单元740。
在噪声降低单元740,检测并去除可能包含在经转换的帧差信号中的点噪声(Spot noise)。通过将象素的差值与相邻象素的平均或中值的差值进行比较可容易地检测这些点噪声。然而,因为经转换的帧差信号的各象素差值由两种类型的数据,即“0”和“1”表示,用于点噪声的检测,噪声降低单元740采用一已知的开窗的方法,即,噪声降低单元740在一适当选择的包括待在其中心被处理的目标象素差值“1”的窗口内计数象素差值“1”,然后将计数数字与一预定的数字TH2进行比较,如果计数数字小于该预定数字TH2,该目标象素差值被确定为点噪声且通过使用经端子2和3的一变更操作将“0”指定给目标象素差值,否则,该目标象素差值将不被改变。
当目标象素差值被更新时,控制器(未示出生成)控制信号CS2用于控制开关SW2。即,在开关SW2,端子4与5相连且来自第三帧存储器730的噪声被降低的帧差信号被传送给一计数器750。
在计数器750,对包含在各图象块中的象素差值“1”进行计数。然后,包含在各图象块中的象素差值“1”的计数数字被顺序地馈送给一第二比较器760。在第二比较器760,将象素差值“1”的计数数字与一预定的数字TH3进行比较。如果该计数数字大于该预定的数字TH3,“1”被指定为该图象块的块代表性值。否则,“0”被指定为该图象块的块代表性值。
参照图8,说明有一基于图3中所示的两帧间差的块代表性值的阵列。如图所示,“1”被指定给包含在处理区域内的图象块且“0”被指定给位于处理区域外侧的其它块。该阵列的块代表性值被顺序地扫描为区域信息,后者被馈送给图2中所示的特征点选择单元230和图1中所示的熵编码器107。
自上述可以看出,由于运动矢量检测器通过利用当前帧与先前帧间的差,最初检测包围一移动目标的处理区域,本发明的编码器可得到自该处理区域选择的有限数量的特征点的运动矢量,从而减少了计算负担和待传输的运动矢量的量,从而提高了编码效率。
虽然本发明已对一些实施例进行了展示和描述,在不脱离由所附权利要求所限定的本发明的精神和范围的前提下,做出各种修改和变型对于本专利业的技术人员来说是显而易见的。
Claims (6)
1、一种在运动补偿视频信号编码器中使用的,用于基于数字视频信号的当前帧和先前帧确定一预测的当前帧的装置,包括:
用于基于当前帧与先前帧的差自先前帧检测一包围一运动目标的处理区域以生成代表该被检测的处理区域的区域信息的区域检测装置;
用于基于该区域信息自包含在该被检测的处理区域的象素中选择一些象素作为特征点的特征点选择装置;
用于检测在当前帧与先前帧之间的第一组运动矢量的第一运动矢量检测装置,第一组运动矢量的各运动矢量代表各特征点的运动矢量;
用于通过使用所述第一组运动矢量产生包含在当前帧中的所有象素的第二组运动矢量的第二运动矢量检测装置;及
用于指定先前帧中各象素的值为当前帧中所述的一象素的值,从而确定该预测的当前帧的运动补偿装置,所述各象素通过第二组运动矢量中的一运动矢量对应于当前帧中的一象素。
2、根据权利要求1所述的装置,其中所述区域检测装置包括:
用于在逐象素的基础上计算当前帧与先前帧间的差以生成一帧差信号的装置,其中该帧差信号包括N×M个块,各块有P×Q个象素差值,并且N、M、P和Q为正整数;
用于绝对值化该帧差信号以生成一绝对值化的帧差信号的装置;
用于将该绝对值化的帧差信号与一预定的值进行比较以将该绝对值化的帧差信号转换为一经转换的帧差信号的装置,其中,当该绝对值化的帧差信号的一象素差值小于该预定的值时,“0”被指定为该象素差值,否则,“1”被指定为该象素差值;
用于对包含在该经转换的帧差信号的各块中的“1”的数字进行计数的装置;
用于将各块的计数数字与一预定的数字进行比较以生成具有顺序配置的N×M个块代表性值的区域信息的装置,其中,当一块的计数数字小于该预定的值时,“0”被指定为该区域信息的块代表性值,否则,“1”被指定为块代表性值。
3、根据权利要求2所述的装置,其中第二组运动矢量包域括一基于第一组运动矢量得到的当前帧的处理区中所包含的全部象素的第三组运动矢量,及被设置为由零矢量组成的位于当前帧的处理区域外侧的象素的第四组运动矢量。
4、一种在一视频信号编码器中使用的用于降低数字视频信号的传输速率的编码装置,所述数字视频信号有包括当前帧及先前帧的多个帧,该装置包括:
用于存储该数字视频信号的先前帧的存储装置;
用于基于当前帧与先前帧间的差自先前帧检测包围一移动目标的处理区域以生成代表该被检测的处理区域的区域信息的区域检测装置;
用于基于该区域信息自包含在该被检测的处理区域中的象素内选择一些象素为特征点的特征点选择装置;
用于检测当前帧与先前帧间第一组运动矢量的第一运动矢量检测装置,该第一组运动矢量的各运动矢量代表各被选择的象素的运动;
用于通过使用第一组运动矢量产生当前帧中所包含的全部象素的第二组运动矢量的第二运动矢量检测装置;
用于指定先前帧中各象素的值为当前帧中所述一个象素的值,从而确定预测的当前帧的运动补偿装置,所述各象素通过第二组运动矢量的一运动矢量对应于当前帧中一个象素;
用于通过在逐象素的基础上从当前帧中减去该预测的当前帧而生成一第一帧差信号的装置;
用于通过使用离散余弦变换和量化电路编码该第一帧差信号的装置;
用于解码该经编码的差分象素值,从而提供一重构的帧差信号的装置;
用于通过将该重构的帧差信号与该预测的当前帧信号组合而提供一重构的当前帧信号作为先前帧信号的装置;及
用于统计地编码该第一帧差信号、第一组运动矢量和区域信息的装置。
5、根据权利要求4所述的装置,其中所述区域检测装置包括:
用于在逐象素的基础上计算当前帧与先前帧间的差以生成一第二帧差信号的装置,其中该第二帧差信号包括N×M个块,各块有P×Q个象素差值,且N、M、P和Q为正整数;
用于绝对值化该第二帧差信号以生成一绝对值化的帧差信号的装置;
用于将该绝对值化的帧差信号与一预定值进行比较以将该绝对值化的帧差信号转换成一经转换的帧差信号的装置,其中,当该绝对值化的帧差信号的一象素差值小于该预定值时,“0”被指定为该象素差值,否则,“1”被指定为该象素差值;
用于对该经转换的帧差信号的各块中的所包含的“1”的数字进行计数的装置;
用于将各块的计数数字与一预定的数字进行比较以生成具有顺序地配置的N×M个块代表性值的区域信息的装置,其中,当一块的计数数字小于该预定的值时,“0”被指定为该区域信息的一块代表性值,否则,“1”被指定该块代表性值。
6、根据权利要求5所述的装置,其中第二组运动矢量包括基于第一组运动矢量而得到的当前帧的处理区域中所包含的全部象素的一第三组运动矢量,和被设置为由零矢量组成的位于当前帧的处理区域外侧的象素的一第四组运动矢量。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR10584/95 | 1995-04-29 | ||
KR1019950010584A KR0171120B1 (ko) | 1995-04-29 | 1995-04-29 | 특징점 기반 움직임 보상을 이용한 비디오 신호 부호화에서의 움직임 영역 설정방법 및 장치 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN1135146A true CN1135146A (zh) | 1996-11-06 |
Family
ID=19413475
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN95118221A Pending CN1135146A (zh) | 1995-04-29 | 1995-10-24 | 利用基于特征点的运动估算编码视频信号的装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US5751362A (zh) |
EP (1) | EP0740473A3 (zh) |
JP (1) | JPH08307874A (zh) |
KR (1) | KR0171120B1 (zh) |
CN (1) | CN1135146A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103533384A (zh) * | 2013-09-30 | 2014-01-22 | 广州华多网络科技有限公司 | 图像处理方法、图像复原方法、装置及系统 |
CN104254001A (zh) * | 2013-06-28 | 2014-12-31 | 广州华多网络科技有限公司 | 远程分享方法、装置及终端 |
Families Citing this family (34)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100390739B1 (ko) * | 1995-10-26 | 2003-11-17 | 주식회사 팬택앤큐리텔 | 움직임보상이불가능한영역의추출장치및방법 |
EP0840510B1 (en) * | 1996-05-17 | 2003-01-29 | Matsushita Electric Industrial Co., Ltd. | Picture decoder |
JPH1098729A (ja) * | 1996-09-20 | 1998-04-14 | Hitachi Ltd | フレーム間予測画像の合成方法 |
JPH10210473A (ja) * | 1997-01-16 | 1998-08-07 | Toshiba Corp | 動きベクトル検出装置 |
EP0914738A2 (en) * | 1997-04-25 | 1999-05-12 | Koninklijke Philips Electronics N.V. | Method of estimation of motion between images |
US5999651A (en) * | 1997-06-06 | 1999-12-07 | Matsushita Electric Industrial Co., Ltd. | Apparatus and method for tracking deformable objects |
FI110743B (fi) * | 1999-06-28 | 2003-03-14 | Valtion Teknillinen | Menetelmä ja järjestelmä liike-estimoinnin suorittamiseksi |
RU2182727C2 (ru) * | 2000-07-20 | 2002-05-20 | Дворкович Александр Викторович | Способ поиска векторов движения деталей в динамических изображениях |
KR20010067778A (ko) * | 2001-03-23 | 2001-07-13 | 원치선 | 영상/비디오 처리 방법 및 영상/비디오 객체 분할 방법 |
EP1294194B8 (en) * | 2001-09-10 | 2010-08-04 | Texas Instruments Incorporated | Apparatus and method for motion vector estimation |
US6983020B2 (en) * | 2002-03-25 | 2006-01-03 | Citrix Online Llc | Method and apparatus for fast block motion detection |
US20040141555A1 (en) * | 2003-01-16 | 2004-07-22 | Rault Patrick M. | Method of motion vector prediction and system thereof |
WO2005112296A2 (en) * | 2004-04-29 | 2005-11-24 | Interdigital Technology Corporation | Wireless communication method and system for configuring radio access bearers for enhanced uplink services |
TWI511583B (zh) * | 2004-05-07 | 2015-12-01 | Interdigital Tech Corp | 配置具增強上鏈服務胞元之無線通信系統及方法 |
US8935316B2 (en) | 2005-01-14 | 2015-01-13 | Citrix Systems, Inc. | Methods and systems for in-session playback on a local machine of remotely-stored and real time presentation layer protocol data |
US8296441B2 (en) | 2005-01-14 | 2012-10-23 | Citrix Systems, Inc. | Methods and systems for joining a real-time session of presentation layer protocol data |
US8200828B2 (en) | 2005-01-14 | 2012-06-12 | Citrix Systems, Inc. | Systems and methods for single stack shadowing |
US8230096B2 (en) | 2005-01-14 | 2012-07-24 | Citrix Systems, Inc. | Methods and systems for generating playback instructions for playback of a recorded computer session |
US20060159432A1 (en) | 2005-01-14 | 2006-07-20 | Citrix Systems, Inc. | System and methods for automatic time-warped playback in rendering a recorded computer session |
JP4939890B2 (ja) * | 2006-10-02 | 2012-05-30 | 株式会社東芝 | 映像符号化装置、映像復号化装置及び映像復号化方法 |
JP2008109389A (ja) * | 2006-10-25 | 2008-05-08 | Canon Inc | 画像処理装置および画像処理装置の制御方法 |
KR101379187B1 (ko) * | 2008-06-23 | 2014-04-15 | 에스케이 텔레콤주식회사 | 블록 변환을 이용한 인트라 예측 방법 및 장치와 그를이용한 영상 부호화/복호화 방법 및 장치 |
TWI390960B (zh) * | 2008-10-15 | 2013-03-21 | Realtek Semiconductor Corp | 影像處理裝置與影像處理方法 |
US20100128797A1 (en) * | 2008-11-24 | 2010-05-27 | Nvidia Corporation | Encoding Of An Image Frame As Independent Regions |
US8615159B2 (en) | 2011-09-20 | 2013-12-24 | Citrix Systems, Inc. | Methods and systems for cataloging text in a recorded session |
US9332271B2 (en) * | 2011-11-03 | 2016-05-03 | Cisco Technology, Inc. | Utilizing a search scheme for screen content video coding |
US9577618B2 (en) | 2012-12-20 | 2017-02-21 | Advanced Micro Devices, Inc. | Reducing power needed to send signals over wires |
JP6157242B2 (ja) * | 2013-06-28 | 2017-07-05 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
KR20150072090A (ko) | 2013-12-19 | 2015-06-29 | 삼성전자주식회사 | 관심 영역 검출 장치 및 그 방법 |
US20150271514A1 (en) * | 2014-03-18 | 2015-09-24 | Panasonic Intellectual Property Management Co., Ltd. | Prediction image generation method, image coding method, image decoding method, and prediction image generation apparatus |
JP6986721B2 (ja) * | 2014-03-18 | 2021-12-22 | パナソニックIpマネジメント株式会社 | 復号装置及び符号化装置 |
WO2019124191A1 (ja) * | 2017-12-18 | 2019-06-27 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 符号化装置、復号装置、符号化方法及び復号方法 |
CN110097576B (zh) * | 2019-04-29 | 2022-11-18 | 腾讯科技(深圳)有限公司 | 图像特征点的运动信息确定方法、任务执行方法和设备 |
KR102649600B1 (ko) * | 2020-01-17 | 2024-03-22 | 삼성디스플레이 주식회사 | 클럭 생성기 및 이를 포함하는 표시 장치 |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS63155888A (ja) * | 1986-12-18 | 1988-06-29 | Mitsubishi Electric Corp | 画像符号化制御方式 |
US5048112A (en) * | 1990-04-25 | 1991-09-10 | Hughes Aircraft Company | Data decompression system and method |
SE9002647L (sv) * | 1990-08-15 | 1991-09-02 | Televerket | Metod foer roerelsekompensering och elastisk deformation i bildsekvenser |
JPH0813138B2 (ja) * | 1990-11-28 | 1996-02-07 | 松下電器産業株式会社 | 画像符号化装置 |
JPH04334188A (ja) * | 1991-05-08 | 1992-11-20 | Nec Corp | 動画像信号の符号化方式 |
JP3068304B2 (ja) * | 1992-01-21 | 2000-07-24 | 日本電気株式会社 | 動画像符号化方式および復号化方式 |
JPH06113287A (ja) * | 1992-09-30 | 1994-04-22 | Matsushita Electric Ind Co Ltd | 画像符号化装置と画像復号化装置 |
US5592228A (en) * | 1993-03-04 | 1997-01-07 | Kabushiki Kaisha Toshiba | Video encoder using global motion estimation and polygonal patch motion estimation |
DE69416717T2 (de) * | 1993-05-21 | 1999-10-07 | Nippon Telegraph & Telephone | Bewegtbildkoder und -dekoder |
FI97008C (fi) * | 1993-06-02 | 1996-09-25 | Nokia Oy Ab | Menetelmä videokuvan ennustamiseksi käsittelyjärjestyksessä edellisen kuvan perusteella |
JP3291597B2 (ja) * | 1993-06-07 | 2002-06-10 | 日本テキサス・インスツルメンツ株式会社 | 動き検出回路及びノイズ低減回路 |
US5537155A (en) * | 1994-04-29 | 1996-07-16 | Motorola, Inc. | Method for estimating motion in a video sequence |
US5608458A (en) * | 1994-10-13 | 1997-03-04 | Lucent Technologies Inc. | Method and apparatus for a region-based approach to coding a sequence of video images |
KR0171146B1 (ko) * | 1995-03-18 | 1999-03-20 | 배순훈 | 특징점을 이용한 움직임 벡터 검출 장치 |
KR0181031B1 (ko) * | 1995-03-20 | 1999-05-01 | 배순훈 | 움직임 보상된 인터폴레이션에서의 엣지 보상 장치 |
KR0181063B1 (ko) * | 1995-04-29 | 1999-05-01 | 배순훈 | 특징점을 이용한 움직임 보상에서의 그리드 형성방법 및 장치 |
-
1995
- 1995-04-29 KR KR1019950010584A patent/KR0171120B1/ko not_active IP Right Cessation
- 1995-10-16 EP EP19950116285 patent/EP0740473A3/en not_active Withdrawn
- 1995-10-17 US US08/544,355 patent/US5751362A/en not_active Expired - Fee Related
- 1995-10-23 JP JP27417395A patent/JPH08307874A/ja active Pending
- 1995-10-24 CN CN95118221A patent/CN1135146A/zh active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104254001A (zh) * | 2013-06-28 | 2014-12-31 | 广州华多网络科技有限公司 | 远程分享方法、装置及终端 |
CN104254001B (zh) * | 2013-06-28 | 2017-08-25 | 广州华多网络科技有限公司 | 远程分享方法、装置及终端 |
CN103533384A (zh) * | 2013-09-30 | 2014-01-22 | 广州华多网络科技有限公司 | 图像处理方法、图像复原方法、装置及系统 |
CN103533384B (zh) * | 2013-09-30 | 2016-09-28 | 广州华多网络科技有限公司 | 图像处理方法、图像复原方法、装置及系统 |
Also Published As
Publication number | Publication date |
---|---|
US5751362A (en) | 1998-05-12 |
EP0740473A3 (en) | 1997-07-30 |
KR960040020A (ko) | 1996-11-25 |
JPH08307874A (ja) | 1996-11-22 |
KR0171120B1 (ko) | 1999-03-20 |
EP0740473A2 (en) | 1996-10-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN1135146A (zh) | 利用基于特征点的运动估算编码视频信号的装置 | |
CN1117482C (zh) | 利用基于特征点的运动估算编码视频信号的方法 | |
CN1115879C (zh) | 利用逐个象素运动估算与帧抽取的图象处理系统 | |
CN1134090A (zh) | 编码/解码视频信号的方法与装置 | |
CN1108062C (zh) | 使用基于特征点的运动估算编码及解码视频信号的方法和装置 | |
CN1106768C (zh) | 用于检测运动矢量的方法和装置 | |
CN1130921C (zh) | 对视频信息预测编码的方法和装置 | |
CN1103166C (zh) | 利用基于特征点的运动估算编码视频信号的方法 | |
CN1142731A (zh) | 基于分级运动估算检测运动矢量的方法及装置 | |
CN1121120C (zh) | 用于视频信号解码装置中用以去除分块效应的方法 | |
CN1135148A (zh) | 利用基于特征点的运动估算编码视频信号的方法 | |
CN1262496A (zh) | 使用正交变换域中的块匹配进行运动估测的方法和装置 | |
CN1293872A (zh) | 视频序列代码转换的运动矢量外推法 | |
CN1149233A (zh) | 采用运动相关预测压缩视频信息的方法和装置 | |
KR20010013198A (ko) | 비선형 피라미드를 사용하여 계층적인 모션 추정을실행하기 위한 장치 및 방법 | |
CN1103164C (zh) | 利用逐个像素的运动估算和跳帧方法的图像处理系统 | |
CN1136732C (zh) | 用在图象编码系统中的改进的运动补偿装置 | |
CN1111336C (zh) | 用于图象信号编码系统中的当前帧预测方法和装置 | |
CN1131880A (zh) | 利用基于特征点的逐象素运动估算的图象处理装置 | |
CN1142732A (zh) | 利用基于特征点的逐象素运动估算的图象处理系统 | |
CN1126376C (zh) | 用于消除在比特数据流中的误差的方法和装置 | |
CN1078795C (zh) | 用在图象编码系统中的改进的运动补偿方法 | |
CN1142733A (zh) | 应用基于特征点的运动估算的图象处理系统 | |
CN1122421C (zh) | 用于图象信号编码系统的运动矢量估算方法和设备 | |
CN1134086A (zh) | 用于选择地编码/解码视频信号的方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
WD01 | Invention patent application deemed withdrawn after publication |