CN102204242A

CN102204242A - 用于增加帧显示速率的方法和系统

Info

Publication number: CN102204242A
Application number: CN2008801316470A
Authority: CN
Inventors: L·蔡
Original assignee: Hewlett Packard Development Co LP
Current assignee: Hewlett Packard Development Co LP
Priority date: 2008-10-24
Filing date: 2008-10-24
Publication date: 2011-09-28
Anticipated expiration: 2028-10-24
Also published as: US20110194612A1; DE112008004040T5; TW201019735A; WO2010047680A1; US9185339B2; CN102204242B

Abstract

本发明的实施例提供了一种用于增加视频显示设备的帧显示速率的方法和系统的高效且具有成本效益的实施方式。视频数据常常被以包括已编码和压缩的运动向量的压缩形式输入到视频显示设备。运动向量提供关于在相对位置方面改变的连续视频帧的各部分的信息。运动向量被连同帧一起解压缩和解码。在本发明的某些实施例中，第一帧和附随的运动向量表被从处理组件传送至视频显示设备的定时控制器组件，使用这些，定时控制器组件能够产生在第一帧的显示之后显示的第二帧。

Description

用于增加帧显示速率的方法和系统

技术领域

本发明涉及电视、计算机监视器及其它显示设备，并且特别涉及用于使用从已编码和压缩输入视频流提取的运动信息来增加显示设备的帧显示速率的方法和系统。

背景技术

在视频显示设备上呈现的电影、广播电视节目和视频通过快速地显示一系列的静止图像来向观看者提供连续运动的幻觉。静止图像被称为“帧”。当每秒显示足够数目的帧时，人类视觉系统填充连续帧之间的时间间隙而产生连续运动的幻觉。电影每秒显示24个帧，帧之间具有1/30秒的间隔，模拟电视每秒显示30个帧，或者等价的，每秒60个交织场，并且预期未来的高清晰度电视（“HDTV”）标准规定每秒60帧的帧显示速率。

虽然，通常，由一系列静止帧的显示产生的连续运动的幻觉允许人观看并欣赏电影和电视广播，但由电影和电视广播提供的连续运动的幻觉不是完美的。由于在本文件中共同地称为“视频显示”的电影、电视和视频显示的不连续性而引起某些伪象和麻烦。一个示例性伪象是在老西部片的电视广播中，有蓬货车和马车上的车轮在马车和有蓬货车向前移动时偶尔看起来是向后移动，并且以每秒转数计的车轮的旋转略慢于电影摄影机的帧捕捉速率。由视频显示的离散性引起的麻烦的示例是基于阴极射线管的电视显示器和计算机监视器的可感知的闪烁。

由于视频显示设备多年来已经改善，并且从模拟设备演进至数字设备，所以视频显示设备已变得能够提供更高的显示速率，包括比通过各种广播和电子或光学数据传输介质来传送和记录视频帧所按照的帧捕捉速率更高的显示速率。增加的显示速率通常提供具有较少伪象和麻烦的连续运动的更好的幻觉。然而，能够实现这些较高帧显示速率的视频显示设备的实现可能基本上更加复杂且昂贵。出于这个原因，各种类型的视频显示设备的设计师和制造商力求在使硬件复杂性和实现成本方面的增加最小化的同时增加帧显示速率。

发明内容

本发明的实施例提供了一种用于增加视频显示设备的帧显示速率的方法和系统的高效且具有成本效益的实现。视频数据常常被以包括编码和压缩运动向量的压缩形式输入到视频显示设备。运动向量提供关于在相对位置方面改变的连续视频帧的各部分的信息。运动向量被连同帧一起解压缩和解码。在本发明的某些实施例中，第一帧和附随的运动向量表被从处理组件传送至视频显示设备的定时控制器组件，使用这些，定时控制器组件能够产生在第一帧的显示之后显示的第二帧。以这种方式，所产生的帧的显示在解压缩和解码的帧的显示之间交织，导致相对于通过对输入视频信号解压缩和解码来接收帧所按照的速率而言增加的帧显示速率。

附图说明

图13A—I图示了当前可用视频显示设备的操作。

图14图示了LCD显示器。

图15图示了由采样与保持显示设备实现的运动对象的此模糊。

图16A—B图示了具有低和中间帧显示速率的采样与保持显示设备中所固有的模糊问题的一个潜在解决方案。

图17图示了可以通过其产生插入帧以增加采样与保持视频显示设备中的帧显示速率的一种方法。

图18图示了对参考图13A所述的视频显示设备的修改以便实现帧内插以使帧显示速率加倍，如上文参考图16A—17所讨论的。

图19图示了由视频处理系统连同视频帧一起从编码和压缩视频信号提取的运动向量。

图20图示了使用运动向量表的帧内插方法。

图21A—D图示了结合了本发明的方法和系统实施例的视频显示设备的操作。

图22提供用于结合了本发明的方法和系统实施例的视频显示设备的视频处理系统的状态转变图。

图23提供了用于结合了本发明的方法和系统实施例的视频显示设备的定时控制器系统的状态转变图。

具体实施方式

本发明的实施例针对用于以高效且具有成本效益的方式增加视频显示设备的帧显示速率的方法和硬件系统。特别地，本发明的实施例通过由视频显示设备产生被插入在从输入视频流提取的帧之间的第二组帧以便在每个时间间隔期间增加可用于显示的帧的数目来增加视频显示设备的帧显示速率。例如，在每秒接收30个帧以进行显示并通过去交织处理将可用帧加倍至每秒60个帧的HDTV中，在本发明的一个实施例中，输入视频流中的可用于显示的帧的数目被再次加倍至每秒160个帧，其中结果得到的输出视频流的每个帧显示1/120秒以产生120Hz的帧显示速率。

在下文的第一小节中，概括地描述了视频数据的编码、压缩、解压缩和解码。在第二小节中，描述当前可用视频显示设备，包括所提出的用于将当前可用视频显示设备的帧显示速率加倍的实施方式。在下文的最后小节中，讨论本发明的实施例。

视频数据的编码、压缩、解压缩和解码

图1图示了基于像素的视频信号帧。可以将帧102视为像素值的二维阵列。诸如单元104的二维阵列的每个单元通过电子显示设备（诸如电视显示器或计算机监视器）的相应像素来表示用于显示的像素值。存在用于视频信号帧的各种标准，包括规定每个帧包含240×352个像素以便在计算机监视器上显示的标准、和规定每个帧包含1920×1080个像素以便在平板HDTV上显示的标准。诸如像素值106之类的每个像素的数字表示包括辉度值108和两个色度值110—111。可以将辉度值108视为控制像素的灰度级暗度或亮度，并且色度值110和111规定将由像素显示的色彩。

图2图示了基于帧的视频信号的编码。可以将原始视频信号视为是关于时间排序的帧120的系列或序列。在一个常见标准中，任何两个连续帧（诸如图2中的帧122和124）相隔1/30秒的时间差。视频编码过程将原始信号中的帧序列划分成子序列的按时间排序序列，每个子序列被称为“GOP”。每个GOP可以与第一和最后的帧中的先前和随后的GOP交迭。在图2中，13个帧126包括单个GOP。GOP中的帧的数目可以根据特定的编解码器实现、视频信号的期望重构保真度、期望分辨率及其它因素而变。GOP通常从内帧开始和结束，诸如GOP 126中的内帧128和130。也称为“I帧”的内帧是被空间地编码的参考帧。在GOP中可以发生多个P帧132～134及B帧136～139和140～143。P帧和B帧两者都可以被空间地和时间地编码。P帧的编码依赖于先前的I帧或P帧，而B帧的编码依赖于先前和随后的I帧或P帧。通常，将I帧和P帧视为参考帧。如图2中用诸如箭头144的箭头所示，针对P帧和B帧所选的帧可以在GOP内按照与其在输入视频信号中发生的顺序不同的顺序发生。每个GOP被按照时间顺序输入到编码模块148，编码模块148将包含在GOP内的信息编码成压缩位流150，压缩位流150可以被输出以便存储在电子存储介质上或用于经由电子通信介质传输。

图3图示了帧的编码中的第一、逻辑步骤。如上文参考图1所讨论的，可以将视频帧102视为像素值的二维阵列，每个像素值包括辉度值和两个色度值。因此，可以替换地将单个视频帧视为由辉度帧302和两个色度帧304和306组成。由于与色度相比，人类的视觉感知更敏锐地适合辉度，所以两个色度帧304和306通常在每个维度上被抽减到二分之一，或者总共抽减到四分之一，以产生较低分辨率的帧。例如，可以对240×352视频帧进行抽减以产生较低分辨率的120×175帧。

图4图示了视频帧到宏块的合成。如图4中所示，诸如240×352视频帧401的视频帧、在图4中出现的仅一小部分可以被分解成一组不交迭的16×16宏块。图4中所示的帧的此小部分已被划分成四个宏块404～407。当以数字方式按照在视频帧的连续行中出现的从左到右的顺序来标记宏块时，图4中的第一宏块401被标记为“0”且第二宏块405被标记为“1”。图4中未示出的二十个附加宏块在视频帧的第一行中的宏块1之后，因此图4中所示的第三宏块406、第二行的第一宏块被标记为“22”，并且图4中所示的最后一个宏块407被标记为“23”。

图5图示了宏块到六个8×8区块的分解。如上文所讨论的，诸如图1中的视频帧102的视频帧可以被分解成一系列的16×16宏块，诸如图4中的宏块404。如参考图3所讨论的，可以将每个视频帧或视频帧内的宏块视为分别由辉度帧和两个色度帧或辉度宏块和两个色度宏块组成。如参考图3所讨论的，通常将色度帧和/或宏块总共抽减到四分之一。因此，可以将视频帧内的给定宏块（诸如图4中的宏块404）视为由辉度16×16宏块502和两个8×8色度区块504和505组成。如图5中所示，辉度宏块502可以被分解成四个8×8区块。因此，视频帧内的给定宏块（诸如图4中所示的视频帧401中的宏块404）可以被分解成六个8×8区块506，包括四个辉度8×8区块和两个色度8×8区块。以8×8区块为基础执行视频帧的空间编码。以16×16宏块为基础执行视频帧的时间编码。

如上文参考图1～5所讨论的，图6图示了从视频帧提取的8×8区块的空间编码。8×8区块602的每个单元或元素（诸如单元604）包含辉度或色度值f(i,j)，其中，i和j分别是单元的行和列坐标。在许多情况下，使用从由亮度值f(i,j)的阵列表示的空间域到由频域系数F(u,v)的二维8×8阵列表示的频域的离散余弦变换（“DCT”）来对单元进行变换606。在图6的顶部处示出用于示例性DCT的表达608。频域中的系数指示空间域内的沿垂直、水平以及垂直和水平方向二者的空间周期性。F_(0,0)系数610被视为“DC”系数，并具有与8×8空间域区块602内的平均亮度成比例的值。用频域系数表示的周期性在频率方面沿着将DC系数610与最高频率系数612互连的对角线从最低频率系数610增加至最高频率系数612。

接下来，将频域系数量化614以产生量化的频域系数616的8×8区块。图7图示了频域系数的示例性量化。量化采用8×8量化矩阵Q 702。在用图7中的表达704所表示的一个示例性量化过程中，每个频域系数f(i,j)被乘以8，并且然后使用整数除法将其除以量化矩阵Q中的相应值Q_i,j，其可以首先被以一比例因子缩放。量化系数具有小整数值。量化矩阵Q的检验显示，通常较高的频率系数在量化过程中被除以比较低频率系数大的值。由于Q矩阵整数对于较高的频率系数而言较大，所以较高的频率系数最终被量化成较小的整数范围或量化仓（bin）。换言之，用于较低的频率系数的量化值的范围比用于较高的频率系数的大。由于较低的频率系数通常具有较大幅值，并且通常对被感知的图像的贡献比较高的频率系数更多，所以量化的结果是迫使在量化系数区块616的右下三角形部分中的许多较高的频率量化系数为零。接下来，以之字形的方式遍历量化系数618的区块以产生量化系数620的一维向量。然后使用各种熵编码技术、通常为行程长度编码、后面是霍夫曼编码来将量化系数的一维向量编码，以产生压缩位流622。熵编码技术利用符号流内的符号的出现频率的不均匀分布来压缩符号流。具有最高索引的一维量化系数向量620的最后部分常常仅包括零值。行程长度编码可以用值“0”的单次出现和零值的子序列的长度来表示零值的长的连续序列。霍夫曼编码使用符号的变化位长度编码，其中较短长度编码表示更频繁地出现的符号，以便压缩符号串。

空间编码仅采用包含在特定8×8空间域区块内的信息，以将空间域区块编码。如上文所讨论的，通过仅使用空间编码来将I帧编码。换言之，每个I帧被分解成8×8区块，并且每个区块被空间地编码，如上文参考图6所讨论的那样。由于I帧的编码不取决于视频信号内的任何其它帧，所以I帧充当以规则隔开的间隔锚定解码过程的自包含参考点，防止由编码帧之间的相互依赖性引起的解码信号中的漂移。

由于视频帧的序列或视频信号常常对相对于相对固定的背景移动的人或对象的动态图像进行编码，所以摄像机跨越背景或在一段时间内相对静态的场景拍摄全景（pan），视频帧的序列常常包含大量的冗余信息，其中的某些或大部分从初始帧中的初始位置跨越随后的帧平移或移位至一系列的后续位置。出于这个原因，一系列视频帧内的图像或子图像的运动的检测提供了用于相对高水平的压缩的手段。检测随着时间的推移在视频帧序列内的图像和子图像的运动并使用包含在这些运动的图像和子图像内的冗余信息的技术被称为时间压缩。

图8图示了跨越帧序列的子图像移动和描述子图像移动的运动向量。在图8中，示出了选自GOP的三个视频帧802～804。帧803被视为是当前帧或要编码和压缩的帧。帧802在时间上比当前帧803更早地出现在原始视频信号帧序列中，并且在原始视频信号中帧804在帧803之后。在先前的帧802中的第一且不同的位置808上和后续帧804中的第二且不同的位置810上发现了当前帧803中的特定16×16宏块806。在单个帧812内的先前、当前和后续帧中叠加宏块806的位置，观察到宏块看起来已在原始视频信号中的帧序列中从第一位置808通过当前位置806对角地向下移动至第二位置810。当前帧806中的宏块的位置和两个移位或运动向量814和816描述用先前、当前和后续帧表示的时间段中的宏块806的时间和空间运动。时间压缩的基本概念是可以将当前帧中的宏块806编码为运动向量814和816中的一者或两者，因为宏块将已在先前和后续帧的编码中被编码，并因此表示当前帧中的冗余信息，除关于其在当前帧内的位置的基于运动向量的信息之外。

图9示出用于当前帧的时间编码的信息。当前帧的时间编码使用当前帧902及单个先前帧904和与该先前帧相关联的单个运动向量906或先前帧和相关运动向量904和906及后续帧908和相关运动向量910两者。P帧时间编码可以仅使用先前帧和先前I帧或P帧，并且B帧编码可以使用先前和后续I帧和/或P帧两者。

图10图示了P帧时间编码。在P帧时间编码中，在先前帧中发现的16×16匹配宏块1004和16×16当前帧宏块1002 被用于对16×16当前帧宏块1002编码。先前帧宏块1004被识别为充分地类似于当前帧宏块1002从而可通过时间压缩来压缩，并且被识别为最类似于当前帧宏块的宏块。可以采用各种技术来识别用于当前帧内的给定宏块的先前帧中的最佳匹配宏块。如果当前帧宏块与最佳匹配先前帧宏块中的相应值之间的绝对差的和（“SAD”）或方差的和（“SSD”）在阈值以下，则可以将先前帧中的最佳匹配宏块视为充分类似。与当前帧宏块1002和最佳匹配先前帧宏块1004相关联的是运动向量（图9中的906）。可以将运动向量计算为当前帧和最佳匹配先前帧宏块的左上单元的水平和垂直偏移?x和?y。用最佳匹配先前帧宏块1004减去当前帧宏块1002以产生残余宏块1006。然后将残余宏块分解成六个8×8区块1008，如上文参考图5所讨论的，并且由DCT 1010对每个8×8区块进行变换以产生频域系数1012的8×8区块。频域系数的区块被量化1014并线性化1015以产生量化系数1016的一维向量。然后对量化系数1016的一维向量进行行程长度编码和霍夫曼编码，并和与当前帧宏块1002和最佳匹配先前帧宏块1004相关联的运动向量一起打包以产生压缩位流1018。逐宏块地执行P区块的时间压缩。如果在先前帧中不能发现用于特定当前帧宏块的类似宏块，则可以对当前帧宏块进行空间编码，如上文参考图6所讨论的。可以在当前帧的时间编码期间将先前I帧或先前P帧用于先前帧。

图11图示了B帧时间编码。B帧时间编码中的许多步骤与P帧编码中的那些步骤相同。在B帧编码中，将来自先前帧1102的最佳匹配宏块和与当前帧宏块1106相对应的来自后续帧1104的最佳匹配宏块一起求平均，以产生平均匹配帧1108。用平均匹配宏块1108减去当前帧宏块1106以产生残余宏块1110。然后以与如在图10中所述的在P帧编码中将残余宏块1006空间编码完全相同的方式将残余宏块空间编码。对由残余宏块的空间编码得到的一维量化系数向量1112进行熵编码并和与最佳匹配先前帧宏块1102和最佳匹配后续帧宏块1104相关联的两个运动向量打包在一起，以产生压缩位流1114。可以使用仅最佳匹配先前帧宏块和相关运动向量（如图10中）、仅最佳匹配后续帧宏块和相关运动向量、或最佳匹配先前帧宏块与相关运动向量和最佳匹配后续帧宏块与相关运动向量（如图11中所示）两者对B帧内的每个宏块进行时间压缩。另外，如果在用于特定当前帧宏块的先前或后续帧中未能发现匹配宏块，则可以对当前帧宏块进行空间编码，如参考图6所讨论的。先前和后续帧可以是P或I帧。

图12图示了DC编码。如上文所讨论的，频域的F_(0,0)系数表示空间域内的平均亮度。DC系数是关于高保真度帧重构的单个最重要信息片。因此，通常以最高可能分辨率来表示DC系数，并用DCPM编码对其进行编码。在DCPM编码中，将第一I帧1204的DC系数1202编码成位流，并且针对后续帧1206～1208的每个DC系数，在位流中对后续帧DC系数与第一参考帧DC系数1202之间的差进行编码。

通过使编码步骤相反来执行由上文参考图1～13所讨论的视频编码方法生成的压缩位流（图2中的150）的解码。位流的熵解码返回用于空间编码的区块和用于在时间压缩期间生成的残余区块的一维量化系数向量。熵解码还返回被打包在压缩位流中的运动向量及其它头信息，以描述编码信息并促进解码。可以使用一维量化系数阵列来生成相应的二维量化系数区块和量化残余区块，并且然后可以将量化系数区块和量化残余区块转换成重构的频域系数区块。频域系数区块的重构通常引入噪声，因为信息在编码过程的量化步骤中丢失。然后可以使用逆DCT将重构的频域系数区块变换到空间域，并将其重组成重构视频帧，其中残余帧在逆时间编码期间被添加回由已重构的帧中的运动向量发现的宏块。

当前可用的视频显示设备和所提出的改进

图13A～I图示了当前可用的视频显示设备的操作。如图13A中所示的视频显示设备包括视频处理系统1302，视频处理系统1302接收压缩和编码的视频数据1304作为输入（称为“视频信号”），使用内部处理器和/或逻辑电路1306来产生被存储在视频帧缓冲器1308和1310中的解压缩和解码的视频帧来处理输入视频信号，并经由内部通信介质1312将解压缩和解码的视频帧传送至定时控制器系统1314。定时控制器系统1314从视频帧缓冲器1316和1318中的视频处理系统1302接收解压缩和解码的视频帧，定时控制器则从所述视频帧缓冲器1316和1318读取视频帧以便控制显示面板1320向一个或多个观看者显示视频帧。图13A中所述的视频显示设备在包括显示元件的二维矩阵的液晶显示面板上显示视频帧，所述显示元件中的每一个又包括可以分别被电子地控制以发射红光、绿光和蓝光的三个不同色彩的显示元件组件。每个显示元件在本文件中被称为“像素”。

视频处理系统1302主要负责将通过广播介质或通过电子通信介质接收到的压缩和编码的视频数据信号解压缩和解码的计算密集任务。如下文更详细地讨论的，使用两个视频帧缓冲器1308和1310来避免视频处理系统和定时控制器系统二者中的READ（读）/WRITE（写）冲突。在许多LCD显示设备中，内部通信介质1312是一组成对的低压差动信令（“LVDS”）信号线，诸如在串行连接SCSI（“SAS”）和PCIe通信介质中使用的那些。基于LVDS的通信介质的特征在于高带宽和灵活的配置。可以例如添加附加的成对LVDS线以便以递增的方式来增加基于LVDS的通信介质的带宽。然而，每个附加的LVDS信号线对增加了实现成本并增加了设计复杂性。

如图13B中所示，在视频显示开始时，第一帧被视频处理系统1302的处理器1306从视频流解压缩并解码，并存储在第一视频帧缓冲器1308中。在许多当前可用的系统中，大约以帧显示速率来接收半分辨率帧。因此，在图13B中，第一半分辨率帧被放置在视频帧缓冲器1308中，用双向影线来表示。下一个帧被解压缩并解码，并且如图13C中所示被添加到第一半分辨率帧以产生存储在视频帧缓冲器1308中的完整的全分辨率视频帧。LC显示器执行全分辨率帧的渐进式显示，不同于CRT显示器，CRT显示器显示交织场，每个包括CRT显示器的交替线。如图13D中所示，随着存储在第一帧缓冲器1308中的帧被传送至定时控制器系统1314中的第一帧缓冲器1316，处理器开始在第二视频帧缓冲器1310中构造下一个视频帧。使用产生全分辨率帧的去交织过程，由下一个解压缩和解码的半分辨率帧和先前构造的帧来构造下一个视频帧。所述去交织过程允许以按照其接收半分辨率帧并将其解压缩和解码的速率来构造全分辨率帧。采用双重缓冲，使得来自第一视频帧的视频数据能够被传送至定时控制器系统，同时可以将新解压缩和解码的视频数据写入第二视频帧缓冲器，并且反之亦然。接下来如图13E～F中所示，随着视频帧被视频处理系统连续地解压缩和解码，该过程无限地继续。如图13E中所示，在第一视频帧缓冲器1308中构造下一个帧，同时第二视频帧缓冲器1310中的已构造的视频帧正在被传送至定时控制器系统1314中的第二视频帧缓冲器1318。然后，如图13F中所示，缓冲器被切换，从而使得在第一视频帧缓冲器1308中的已构造的视频帧被传输至定时控制器系统1314的第一视频帧缓冲器1316的同时，在视频处理系统1302的第二视频帧缓冲器1310中构造下一个视频帧。在视频处理系统中，在任何给定时间，正在由新解压缩和解码的视频数据构造下一个帧，而同时，已构造的帧正在被传送至定时控制器系统。在定时控制器系统中，正在两个视频帧缓冲器中的一个中接收下一个帧，而同时，不同视频帧缓冲器中的已接收到的视频帧正在被读取并被变换成被传送至LCD面板的LCD显示控制信号。

图14图示了LCD显示器。LCD显示器1402在像素元件的二维矩阵上显示视频序列1404。如图14中所示，在放大或严格检查下的LCD显示器1406的任何一小部分作为像素或显示元件的二维矩阵1408出现。在甚至更大的放大1410下，可以看到每个像素包括三个子元件1412～1414，其在被电子地控制以这样做时分别发射蓝光、绿光和红光。像素能够以选自一定范围的亮度的亮度发射选自一定范围的不同色彩的一种色彩的光。

LCD显示器是采样与保持设备。当像素被电子地控制以发射特定色彩和亮度的光时，像素持续发射特定色彩和亮度的光，直至像素被控制发射不同色彩和/或亮度的光的下一个时间点为止。LCD显示器的采样与保持特性与CRT屏幕的不同，在CRT屏幕中，电子枪跨越涂敷荧光体的表面进行扫描以照亮像素，其发射的亮度随着扫描传递到涂敷荧光体的屏幕的表面的下一部分上而衰减。

遗憾的是，采样与保持显示器引入了移动对象的可觉察的模糊。图15图示了由采样与保持显示设备实现的运动对象的此模糊。图15示出以理想方式以及以由采样与保持显示设备产生的明确非连续的方式1504来显示移动对象的视频图像的第一部分。理想地，从位置1506移动至位置1508的移动对象对于观看者而言将以将允许观看者的视觉系统很容易提供连续运动幻觉的位置方面的相对小的递增变化作为对象图像1506、1508和1510～1512的序列出现。在基于CRT的显示器中，像素的亮度在帧间间隔内衰减，帮助人类视觉系统提供连续运动的幻觉。然而，在采样与保持显示设备中，对象在用于全帧显示间隔的第一位置1520上被显示，突然移位至用于第二全帧显示间隔的第二位置522，并随后再次移位至第三位置1524。换言之，采样与保持显示设备未能提供连续运动的感知，导致被人类视觉系统感知到的运动中的对象的模糊。人类观看者看到在包含三个离散对象图像1520、1522和1524的区域内被模糊的移动对象。

图16A—B图示了具有低和中间帧显示速率的采样与保持显示设备中所固有的模糊问题的一个可能的解决方案。在图16A中，示出了相对于时间线1606绘制的数字编码视频序列1602～1604的三个小部分。在时刻t1 1608，视频帧部分1602在左下角中包括小的对象1612。在时刻t2 1614，显示新视频帧部分，其中对象已经移动至新位置1616。从时刻t1至时刻t2连续地显示初始视频帧部分1602。从时刻t2 1614至时刻t3 1618连续地显示视频帧部分1608，在时刻t3 1618的时间点，显示下一个视频帧部分1604。请注意，对象已经更进一步地移动至新位置1620。如参考图15所讨论的，移动对象在对应于帧显示的时间点从一个位置到另一个位置的此不连续的跳跃被人类观看者感知为对象的模糊。

图16B图示了改善由采样与保持显示设备引入的在视频场景中快速移动的对象的模糊的一种方法。如图16B中所示，在时刻

Figure 2008801316470100002DEST_PATH_IMAGE002

1634和 1636，已经分别引入了两个新的帧部分1630和1632。通过引入两个新的交织帧，与在图16A中所示的三个帧部分的序列中相比，在图16B中所示的五个帧部分的序列中，沿水平方向的运动相对更加连续。然而，由于由有限像素尺寸引起的对象边界上的下限，沿垂直方向的运动在间隔t1至t2中以及在间隔t2至t3中仍是固定的。然而，当以是图16A中所示的帧部分的帧显示速率的两倍的帧显示速率显示时，图16B中所示的五个帧部分产生对所感知的快速移动对象的模糊的显著改善。遗憾的是，视频信号是以固定的帧捕捉速率来被捕捉的，并且不能通过增加帧捕捉速率来实现通过将附加交织帧引入帧序列中来改善模糊的期望。

图17图示了可以通过其产生中间帧以增加采样与保持视频显示设备中的帧显示速率的一种方法。图17示出包含小移动对象1704的帧n 1702和其中小移动对象已移动至不同位置1708的帧部分n+1 1706。可以通过对帧部分n和n+1的像素值求平均来生成交织的

帧1710。换言之，帧

中的每个像素P_ij的像素值被计算为：

Figure 2008801316470100002DEST_PATH_IMAGE008

如图17中所示，这并不导致其中对象出现在中间位置上的完美内插，而是替代地产生对象的两个半亮度图像1712和1714。然而，通过增加帧显示速率，并向人类视觉系统提供附加的运动线索，结果是所感知的模糊显著减少。在可替换设计中，可以使用可替换类型的帧内插，包括不同类型的像素组合功能。

图18图示了对参考图13A所述的视频显示设备的修改，以便实现帧内插以使帧显示速率加倍，如上文参考图16A—17所讨论的。两个附加视频帧缓冲器1802和1804已被添加到视频处理系统1806，并且两个附加视频帧缓冲器1808和1810已被添加到定时控制器系统1812。在视频帧缓冲器1 1814中的已构造的视频帧正在被从视频处理系统1806传送至定时控制器系统1812的同时，以及在正在将下一个帧解压缩和解码并在视频帧缓冲器2 1816中对其进行构造的同时，正在产生内插帧并将其放到缓冲器3 1802中。缓冲器4 1804中的已经构造的视频帧正在被传输至定时控制器系统1812的缓冲器4 1810。同时，在显示监视器上正在显示定时控制器系统1812的缓冲器3 1808中的已接收到的视频帧。在视频处理系统1806中执行帧内插，因为视频处理系统具有用于在计算上相当昂贵的此过程的计算资源。

图18中所示的改善的较高帧显示速率设备的实施方式涉及显著增加的成本和设计复杂性。视频处理系统1806和定时控制器系统1812中的每个要求双倍的视频帧缓冲器所需的存储器，并且还需要将视频处理系统与定时控制器系统之间的相互通信介质的信号线加倍，以便提供在视频处理系统与定时控制器系统之间每秒传送两倍的帧所需的附加带宽。

本发明的实施例

图19图示了由视频处理系统连同视频帧一起从经编码和压缩的视频信号提取的运动向量。如上文在第一小节中所讨论的，视频编码使用运动向量来描述帧之间的宏块的运动，从而使得可以传送运动向量而不是宏块，以便显著地增加用于压缩和编码视频信号的压缩比。将解压缩和解码的视频帧视为宏块的二维矩阵，其小的四宏块部分在图19中示出1902，解压缩和解码过程另外产生用于每个宏块的运动向量的二维表格，对应于宏块的二维阵列的一部分的所述每个宏块的一部分1904在图19中示出。因此，对于诸如宏块1906之类的每个宏块而言，在运动向量的附随表中存在相应的运动向量，诸如运动向量1908。如在第一小节中所讨论的，对于宏块而言，在视频序列中的不连续的情况下，可能并不总是发现运动向量，在这种情况下，可以假设0长度运动向量。运动向量被以各种不同方式编码。例如，可以分别使用三个或四个比特以及被以足够的附加比特编码以描述连续帧之间的宏块的最大可能平移距离的长度将运动向量编码为具有八个或16个不同方向中的一个方向。可替换地，可以将宏块的水平和垂直位移一起编码为运动向量。

图20图示了使用运动向量的表格的帧内插法。图20示出视频帧n 2002和视频帧n+1 2004的一小部分，其中，小对象2006从图像部分的左下区域移动至图像部分的右上区域。请注意，帧的各部分具有对应于宏块而不是像素的网格线。为了由帧n部分2002和帧n+1部分2004产生内插帧2008，具有帧部分2002以及为帧部分n+1 2004准备的运动向量表是足够的。特别地，运动向量表包含指向后的运动向量，即描述帧部分2002和2004之间的宏块运动的运动向量。由运动向量来描述在帧2002和帧2004之间的间隔中移动对象的宏块的运动，所述运动向量指定96个像素的正水平平移和96个像素的正垂直平移。因此，可以通过经由基本上将运动向量的长度除以二来修改运动向量表中的运动向量而产生内插帧2008。因此，可以在根据随附运动向量表中的经修改运动向量对宏块施加平移的同时，通过将先前帧的帧部分拷贝到缓冲器中来产生内插帧。如同任何内插法一样，基于运动向量的帧内插方法不是完美的。然而，对于图像中的大多数宏块而言，可以进行合理的内插，显著地改善了由采样与保持显示设备引起的所感知的运动不连续性。

图21A～D图示了结合了本发明的方法和系统实施例的视频显示设备的操作。除视频帧缓冲器1（2104）和2（2106）之外，视频处理系统2102包括两个运动向量表缓冲器2108和2110。定时控制器系统2112包括两个附加视频帧缓冲器2114和2116以保持内插帧，并且包括执行基于运动向量表的视频帧内插的附加处理组件2118，如上文参考图20所讨论的。可以以固件、软件或逻辑电路、或固件、软件和逻辑电路中的两个或更多的组合来实现附加处理组件。增强的通信介质2120将视频处理系统2102与定时控制器系统2112互连。例如，可以将一个或多个附加的成对LVDS信号线添加到图13A中的通信介质1312的一组LVDS信号线对。然而，不像图18中所示的设备中那样，通信介质不需要提供图13A中所示的通信介质的带宽的双倍，因为运动向量表比视频帧小得多，通常在视频帧的尺寸的1/6和1/3之间，并因此不要求通信介质的带宽的加倍。因此，使用基于运动向量的视频帧内插，根据本发明的方法，结合了本发明的方法和系统实施例的视频显示设备能够使用基于运动向量的帧内插来将帧显示速率加倍，仅具有视频显示设备的复杂性和成本方面的适度的增加。

在图21A中，视频处理系统将帧解压缩并解码，并将解压缩和解码的帧存储在视频帧缓冲器1（2104）中，同时如上文所讨论地将在解压缩和解码过程期间获得并针对帧内插修改的向后运动向量存储到运动向量表缓冲器2（2110）中。视频处理系统内的视频帧缓冲器2（2106）中的已构造视频帧正在被传送至定时控制器系统中的视频帧缓冲器2（2122），并且存储在定时控制器系统的视频帧缓冲器1（2124）中的已接收视频帧正在被显示在LCD面板上。

在图21B中，视频处理系统的运动向量表2（2110）的内容正在被传送至定时控制器系统2112，同时，下一个帧已开始被解压缩和解码并被存储到视频处理系统的视频帧缓冲器2（2106）中。定时控制器系统使用运动向量表2的运动向量和视频帧缓冲器2（2122）中的已接收视频帧来产生存储在视频帧缓冲器2.5（2116）中的内插帧。

在图21C中，图21B中的开始被解压缩和解码的帧继续被解压缩和解码并被存储在视频帧缓冲器2 2106中，其中在此过程中被提取并针对帧内插被修改的运动向量被存储在运动向量表缓冲器1 2108中。存储在视频帧缓冲器1（2104）中的已构造视频帧正在被传送至定时控制器系统2112中的视频帧缓冲器1（2124）。

在图21D中，下一个帧开始被解压缩和解码并被存储到视频帧缓冲器1（2104）中，同时，运动向量表缓冲器1 2108中的运动向量被传送至定时控制器系统2112。定时控制器系统使用这些运动向量以及存储在视频帧缓冲器1（2124）中的已接收视频帧来产生存储在视频帧缓冲器1.5（2114）中的内插帧，同时存储在视频帧缓冲器2.5（2116）中的已构造内插帧被显示给LCD面板。图21A～D中所示的操作序列因此以连续的方式继续进行，以将输入视频信号中的视频帧解码和解压缩，提取、修改运动向量并将其存储在运动向量表中，将解压缩和解码的视频帧和已修改运动向量表传送至定时控制器系统，由定时控制器系统产生内插帧，并以标称的帧显示速率的两倍以交织的方式显示来自输入视频信号的解压缩和解码视频帧以及内插帧两者。以这种方式，例如，可以将60 Hz LCD电视增强以产生120 Hz LCD电视。在替换实施例中，可以在解压缩和解码帧之间插入附加的内插帧以进一步增加帧显示速率。

在第一小节中，讨论了包括在编码和压缩视频信号中的各种不同类型的帧，包括I、B和P帧。编码的I帧未附带有运动向量，P帧包括向后运动向量，并且B帧包括向后和向前运动向量二者。本发明的某些实施例中的基于运动向量的视频帧内插的增加的复杂性是，对于进行（proceeding）I帧的帧而言，针对伴随I帧的运动向量表来提取向前运动向量，同时针对所有其它帧而言，使用来自后续帧的向后运动向量来比较伴随先前的帧的运动向量表。可以采用用于克服已编码的I帧中的运动向量的缺失的替换方法，包括通过求平均法或不使用运动向量的某种其它计算方法来在第一帧与第二I帧之间内插帧。

图22提供针对结合了本发明的方法和系统实施例的视频显示设备的视频处理系统的状态转变图。视频处理系统通常遍历包括状态2202～2205的循环进行转变。状态2202对应于图21A中所描绘的状态，状态2203对应于图21B中所描绘的状态，状态2204对应于图21C中所描绘的状态，并且状态2205对应于图21D中所描绘的状态。然而，当要被解码的下一个帧在I帧前面时，则执行状态2206～2209的序列或状态2210～2213的序列，以在状态2206和2210中提取并修改向后和向前运动向量两者，从而使得可以在状态2208和2212中为I帧准备运动向量表。在替换实施例中，可以替换地采用用于不涉及运动向量的I帧的内插法，或者在某些实施例中，不是在I帧前面的帧和后面的I帧之间内插帧，而是可以在没有内插的情况下简单地重复在所述I帧前面的帧，几乎没有结果显示的视频图像的劣化或模糊方面的代价。

图23提供了用于结合了本发明的方法和系统实施例的视频显示设备的定时控制器系统的状态转变图。状态2302对应于图21A中所示的状态，状态2304对应于图21B中所示的状态，状态2306对应于图21C中所显示的状态，并且状态2308对应于图21D中所示的状态。

虽然已经按照特定实施例描述了本发明，但并不意图使本发明局限于这些实施例。本发明的精神内的修改对于本领域的技术人员来说将是显而易见的。例如，可以将本发明的方法和系统实施例结合在多种不同类型的视频显示设备中，包括电视、计算机监视器及其它类型的视频显示系统。可以使用多种不同的内插法来执行基于运动向量的帧内插，包括参考图20所讨论的在保持运动向量方向的同时将运动向量的长度除以二的简单方法，或者通过其它更加计算密集的方法来执行基于运动向量的帧内插。通过改变各种设计参数中的任何参数，包括模块化组织、控制结构、数据结构、控制流及其它此类设计参数，很多种不同的软件、固件、逻辑电路或用于运动向量提取、修改和缓冲以及基于运动向量表的视频帧内插的逻辑的组合实现是可能的。在替换实施例中，可以通过增加包括于在输入视频信号中接收到的原始帧之间的输出视频流中的内插帧的数目来进一步增加帧显示速率。

出于解释的目的，前述说明使用特定命名法来提供本发明的透彻理解。然而，对于本领域的技术人员来说将显而易见的是，不要求特定细节以便实施本发明。本发明的特定实施例的前述说明是出于阐述和说明的目的而提出的。其并不意图是排他性的或使本发明局限于所公开的精确形式。鉴于以上教导，可以进行许多修改和变更。示出并描述实施例是为了最好地解释本发明的原理及其实际应用，以从而使得本领域的技术人员能够采用适合于预期的特定用途的各种修改来最好地利用本发明和各种实施例。意图在于由以下权利要求及其等价物来限定本发明的范围。

Claims

1. 一种视频显示设备，包括：

视频处理系统，其

接收压缩和编码的视频信号，

从所述压缩和编码的视频信号解压缩和解码视频帧和相关的运动向量，以及

将解压缩和解码的视频帧和相关的运动向量存储在存储缓冲器中；

通信介质，其将存储在存储缓冲器中的解压缩和解码的视频帧和相关的运动向量传送至定时控制器系统；以及

定时控制器系统，其

从通信介质接收解压缩和解码的视频帧和相关的运动向量，以及

针对接收到的视频帧和相关的运动向量，

从接收到的视频帧和相关的运动向量来计算内插视频帧，以及

控制显示器以在接收到的视频帧的显示之间显示内插视频帧。

2. 权利要求1的视频显示设备，其中，通过在接收到的视频帧的显示之间显示内插视频帧，视频显示设备将帧显示速率增加到等于从每个解压缩和解码的视频帧内插的视频帧的数目的倍数。

3. 权利要求1的视频显示设备，

其中，所述视频处理系统包括第一和第二视频帧存储缓冲器及第一和第二运动向量表存储缓冲器，所述第一和第二运动向量表存储缓冲器中的每一个均存储与视频帧相关联的运动向量表；

其中，从第一视频帧存储缓冲器和第一运动向量表存储缓冲器读取视频帧和运动向量表，以便传送至定时控制器系统，同时将当前解压缩和解码的视频帧和运动向量表写入第二视频帧存储缓冲器和第二运动向量表存储缓冲器；以及

当从第一视频帧存储缓冲器和第一运动向量表存储缓冲器读取的视频帧和运动向量表已被传送至定时控制器系统且当前解压缩和解码的视频帧和运动向量表已被写入第二视频帧存储缓冲器和第二运动向量表存储缓冲器时，被写入第二视频帧存储缓冲器和第二运动向量表存储缓冲器的视频帧和运动向量表开始被读取，以便传送至定时控制器系统，同时下一个视频帧和运动向量表开始被解压缩和解码并被写入第一视频帧存储缓冲器和第一运动向量表存储缓冲器。

4. 权利要求1的视频显示设备，

其中，所述定时控制器系统包括第一、第二、第三和第四视频帧存储缓冲器；

其中，从通信介质接收视频帧并将该视频帧写入第二视频帧存储缓冲器，同时读取存储在第一视频帧缓冲器中的视频帧，以便控制视频帧的显示；

其中，在完成将从通信介质接收到的视频帧写入第二视频帧存储缓冲器以及显示存储在第一视频帧缓冲器中的视频帧之后，连同从通信介质接收到的视频帧一起来使用从通信介质接收到的运动向量，以产生存储在第四视频帧缓冲器中的内插帧，同时读取存储在第三视频帧缓冲器中的视频帧，以便控制视频帧的显示；

其中，在完成将内插视频帧写入第四视频帧缓冲器以及显示存储在第三视频帧缓冲器中的视频帧之后，从通信介质接收视频帧并将其写入第一视频帧存储缓冲器，同时读取存储在第二视频帧缓冲器中的视频帧，以便控制视频帧的显示；以及

其中，在完成将从通信介质接收到的视频帧写入第一视频帧存储缓冲器和显示存储在第二视频帧缓冲器中的视频帧之后，连同从通信介质接收到的视频帧一起来使用从通信介质接收到的运动向量，以产生存储在第三视频帧缓冲器中的内插帧，同时读取存储在第四视频帧缓冲器中的视频帧，以便控制视频帧的显示。

5. 权利要求1的视频显示设备，其中，在从压缩和编码的视频信号解压缩和解码视频帧和相关的运动向量之后以及在将解压缩和解码的视频帧和相关的运动向量存储在存储缓冲器中之前，视频处理系统修改所述相关的运动向量。

6. 权利要求5的视频显示设备，其中，所述视频处理系统通过将运动向量的长度二等分来修改所述相关的运动向量。

7. 权利要求1的视频显示设备，其中，定时控制器系统通过根据对应于宏块的运动向量来使接收到的视频帧内的宏块移位而从接收到的视频帧和相关的运动向量计算内插视频帧。

8. 一种用于增加视频显示设备的帧显示速率的方法，该方法包括：

由视频处理系统从压缩和编码的视频信号解压缩和解码视频帧和相关的运动向量；

将解压缩和解码的视频帧和相关的运动向量传送至定时控制器系统；

由定时控制器系统接收所述视频帧和相关的运动向量；

由定时控制器系统使用与每个解压缩和解码的视频帧相关联的运动向量来产生一个或多个内插帧；以及

在显示从其产生内插帧的解压缩和解码的视频帧之后，由定时控制器系统显示所述一个或多个内插帧。

9. 权利要求8的方法，其中，通过在显示从其产生内插视频帧的接收到的视频帧之后显示所述内插视频帧，视频显示设备将帧显示速率增加到等于从每个解压缩和解码的视频帧产生的内插视频帧的数目的倍数。

10. 权利要求8的方法，还包括：

在视频处理系统中提供第一和第二视频帧存储缓冲器及第一和第二运动向量表存储缓冲器，所述第一和第二运动向量表存储缓冲器中的每个均存储与视频帧相关联的运动向量表；

从第一视频帧存储缓冲器和第一运动向量表存储缓冲器读取视频帧和运动向量表以便传送至定时控制器系统，同时将当前解压缩和解码的视频帧和运动向量表写入第二视频帧存储缓冲器和第二运动向量表存储缓冲器；以及

当从第一视频帧存储缓冲器和第一运动向量表存储缓冲器读取的视频帧和运动向量表已被传送至定时控制器系统且当前解压缩和解码的视频帧和运动向量表已被写入第二视频帧存储缓冲器和第二运动向量表存储缓冲器时，开始读取被写入第二视频帧存储缓冲器和第二运动向量表存储缓冲器的视频帧和运动向量表，以便传送至定时控制器系统，同时开始解压缩和解码下一个视频帧和运动向量表，以便写入第一视频帧存储缓冲器和第一运动向量表存储缓冲器。

11. 权利要求8的方法，还包括：

在定时控制器系统内提供第一、第二、第三和第四视频帧存储缓冲器；

从通信介质接收视频帧并将所述视频帧写入第二视频帧存储缓冲器，同时读取存储在第一视频帧缓冲器中的视频帧以便控制视频帧的显示；

在完成将从通信介质接收到的视频帧写入第二视频帧存储缓冲器和显示存储在第一视频帧缓冲器中的视频帧之后，连同从通信介质接收到的视频帧一起来使用从通信介质接收到的运动向量，以产生存储在第四视频帧缓冲器中的内插帧，同时读取存储在第三视频帧缓冲器中的视频帧，以便控制视频帧的显示；

在完成将内插视频帧写入第四视频帧缓冲器和显示存储在第三视频帧缓冲器中的视频帧之后，从通信介质接收视频帧并将所述视频帧写入第一视频帧存储缓冲器，同时读取存储在第二视频帧缓冲器中的视频帧，以便控制视频帧的显示；以及

在完成将从通信介质接收到的视频帧写入第一视频帧存储缓冲器和显示存储在第二视频帧缓冲器中的视频帧之后，连同从通信介质接收到的视频帧一起使用从通信介质接收到的运动向量，以产生存储在第三视频帧缓冲器中的内插帧，同时读取存储在第四视频帧缓冲器中的视频帧，以便控制视频帧的显示。

12. 权利要求8的方法，还包括，在从压缩和编码的视频信号解压缩和解码视频帧和相关的运动向量之后以及在将解压缩和解码的视频帧和相关的运动向量传送至定时控制器系统之前，修改所述相关的运动向量。

13. 权利要求12的方法，进一步地，其中，修改所述相关的运动向量还包括将运动向量的长度二等分。

14. 权利要求8的方法，其中，由定时控制器系统使用与每个解压缩和解码的视频帧相关联的运动向量来产生一个或多个内插帧还包括：根据对应于宏块的运动向量来使接收到的视频帧内的宏块移位。