CN1809125A - 稳定数字视频画面的方法 - Google Patents

Abstract

一种稳定数字视频画面的方法，以达到检测场景变化、二维稳定影像、防止画面过饱和、多分辨率移动估算、以及兼容于MPEG视频编码标准的功能。该方法会以区块移动估算为基础来判断一数字摄影机或其它录像装置的移动，而其所选微区块的集合被用来产生一移动向量集合；估算移动数据，以保存正常的场景变化并同时消除因手振所造成的画面振动；以及当检测到场景变化时，重设该移动数据。通过这些信息自所选择的画面中选取出一较小的次画面。当该次画面的任一边接近原画面的边时，一校正参数会被降低，以使快速的画面移动更平顺并避免画面过饱和。

Description

稳定数字视频画面的方法

技术领域

本发明涉及一种数字视频记录方式，尤其涉及一种当数字录像机晃动时可稳定其所拍摄的数字视频画面的方法。

背景技术

最近几年，家用录像设备越来越受到消费者的欢迎及使用，使用者可以利用这些录像设备来记录从他们生活中的点点滴滴。录像设备会受到欢迎的原因之一，在于其体积变得比以前小多了，且方便携带。然而，因重量变轻以及体积缩小的缘故，这些录像设备却变得更不容易稳定地用手把持住而不产生晃动，因此这些录像设备虽然方便携带，却有影像容易晃动的问题。就使用者的观看层面来说，晃动的画面相对地降低了其在观看影片时的兴致，并使其观看影片主体的注意力因画面的抖动而被分散。

近来，随着数字录像机所带来的方便，数字影像稳定技术也变成了其中一项受欢迎的功能。然而，目前用来稳定数字影像的方法却有着一些缺点存在。这些方法只在单一向量轴上作处理，需要大量的计算资源，包含复杂的电路以及高耗电量，而且这些补偿用的算法可能产生过度补偿或“饱和”的现象，表示这些方法可能无法在录像机移动过一场景时适当地做出补偿，因而造成不稳定的影像。

公知稳定影像的方法的最大限制在于其仅在单一向量轴上作处理，也因此这些公知的方法多数并无法克服在画面中任一物体的移动方向与整体画面移动方向不同的情况之下，画面对观看者所造成的不舒服影响。换句话说，非预期且垂直于整体画面移动向量的物体移动对观看者视觉所造成的影响大于和整体画面移动向量平行的物体移动所造成的影响。

一种典型公知的稳定画面的方法是通过以区块为基准来进行移动的预测。此一方法将所捕抓到画面切割为多个方块，而每一方块称为一微区块(macroblock)，通过将这些微区块与其之前的画面做比较，来决定画面位移的程度，并从所捕抓的画面中选取一次区域(subregion)来储存为当前的画面。在比较的过程中，所选微区块的大小为16像素乘以16像素，并在其周围64像素的距离范围内通过半像素分辨率(half-pixel resolution)的方式来进行搜寻。然而，这种方法所需的运算却是极其密集的，且因其复杂而昂贵的硬件电路需求，故并不适合应用在实时的定制化装置之中。

另一种公知稳定影像的方法也是以区块为基准来预测画面的移动，其每个微区块的大小为64像素乘以64像素，并在其周围30像素的距离范围内通过全像素分辨率(full-pixel resolution)的方式来进行搜寻。然而，这种方法所需的运算也很密集，且因其复杂而昂贵的硬件电路需求，故并不适合用来应用在实时的定制化装置之中。此外，这种方法因其使用较大尺寸的微区块来进行检测，故其并不直接兼容于数字录像机所采用的MPEG视频标准。

另一种公知的方法于美国专利号U.S.6,809,758中由Jones所揭示，其通过分析统计数值来稳定经数字化后的画面，然而此方法却会受到限制。因为这方法需要使用者以人工的方式来检测场景的变化，并需要借用统计表来校正当画面转化的时候画框跳跃的情况。当画面微小变动位超过所设定的临界值时，Jones所提供的算法可以检测到在预期移动中的快速跳动，并减缓这些跳动对整体画面的影响。但是，画面微小的变动(如：因手振引起垂直震动或是在船上时因水波所引起的晃动)却是使用者特别希望能消除的会对画质有所影响的因素。

所以，因为现有技术有诸多的缺点，目前急需一种通过二维数字影像稳定技术来善画面因晃动所产生的影响。尤其对于非预期而与预期运动方向垂直的画面移动，也迫切地需要一种新的方法来加以改善。

发明内容

因此本发明的主要目的即在于提供一种多像素解析的搜寻方法以及估算画面运动向量的方法，以改善现有技术中的缺点。

本发明的另一目的是要提供一种稳定数字影像画面的方法，以成本效益的方式来实施。

本发明的另一目的在于提供一种检测视频串行中的画面变化的方法，因此不需要从一较早画面所累积的数据即可执行画面的稳定。

本发明的另一目的在于提供一种二维的稳定数字视频影像的方法。

为达到以上发明目的，本发明提供一种方法包含有下列步骤：自一视频串中选择出一当前画面以及一先前画面；将该当前画面区分成多个微区块；自该当前画面的这些微区块中，选取出这些微区块的一次集合；于一二维比较范围内，比较该次集合的这些微区块与该先前画面，以产生一移动向量的集合；计算出该当前画面的一画面移动向量；通过一第一阶自动回归程序(autoregression)估算出该当前画面的一稳定移动向量；通过比较该稳定移动向量与该画面移动向量的差异计算出该当前画面的一手振移动向量；自该当前画面中切割出一切割画面，其中该当前画面的中心至该切割画面的中心的偏移量等于该手振移动向量；以及储存该切割画面于一储存装置中。

根据上述构想的方法，还包含步骤：自该次集合中排除一个或多个微区块，其中在距离所排除的微区块一第一像素距离的范围内的一搜寻区域的均差(mean average difference)低于一临界值、所排除的微区块内的一特征缺乏(lack offeatures)，或该先前画面中所重复的图案。

根据上述构想的方法，其中计算出该画面移动向量时，自移动向量的集合与该先前画面的画面移动向量中，选择一中位垂直分量(median verticalcomponent)与一中位水平分量(median horizontal component)。

根据上述构想的方法，该第一阶自动回归程序包含有：将该当前画面的画面移动向量乘以一第一常数；以及将该先前画面的稳定移动向量乘以一第二常数；其中该第一常数介于0～1的一浮点值(floating-point value)，而该第一常数与该第二常数之和等于1。

根据上述构想的方法，其中该第一常数选自一第三常数及一相关值(correlation value)中的最小一个。

根据上述构想的方法，还包含步骤：由该当前画面的该画面移动向量减去该先前画面的该稳定移动向量，来计算出该先前画面的一手振移动向量；以及通过取该当前画面的该手振移动向量与该先前画面的该稳定移动向量的内积(inner product)的绝对值，以及将该绝对值除以该当前画面的该手振移动向量与该当前画面的该手振移动向量的内积的方根后，再除以该先前画面的该稳定移动向量与该先前画面的该稳定移动向量的内积的方根，来计算出该手振移动向量与该稳定移动向量之间的该相关值。

根据上述构想的方法，其中该第三常数约等于0.4。

根据上述构想的方法，还包含步骤：当一累积移动向量的水平分量大于一水平范围限制与一比例参数的乘积时，将该手振移动向量的水平分量除以2；以及当该累积移动向量的垂直分量大于一垂直范围限制与该比例参数的乘积时，将该手振移动向量的垂直分量除以2。

根据上述构想的方法，其中这些微区块大小符合MPEG视频编码标准。

根据上述构想的方法，其中当分析该视频串的第一个画面时，或当该次集合所包含的这些微区块的数目低于一临界值时，则该先前画面也为该当前画面。

本发明提供一种录像装置，其包含有一透镜、一用来捕抓画面的装置、一储存装置、以及一处理器，而该处理器用以实现上述一种方法。

本发明提供一种数字录像装置，其包含有一透镜、一用来捕抓画面的装置、一储存装置、以及一处理器，而该处理器用以实现上述一种方法。

本发明提供另一种稳定数字视频画面的方法，该方法包含有下列步骤：自一视频串中选择出一当前画面以及一先前画面；将该当前画面区分成多个微区块，每一微区块的大小适用于各自编码的(autonomously encoded)画面或预期编码的(predictively encoded)画面；自该当前画面的这些微区块中，选取出这些微区块的一次集合；于一二维比较范围内，比较该次集合的这些微区块与该先前画面，以产生一移动向量的集合；自移动向量的集合与该先前画面的一画面移动向量中，选择一中位垂直分量(median vertical component)与一中位水平分量(median horizontal component)，以计算出该当前画面的画面移动向量；通过一第一阶自动回归程序，来估算出该当前画面的一稳定移动向量；通过比较该稳定移动向量与该画面移动向量的差异，来计算出该当前画面的一手振移动向量；自该当前画面中切割出一切割画面，其中该当前画面的中心至该切割画面的中心的偏移量等于该手振移动向量；储存该切割画面于一储存装置中。

根据上述构想的方法，还包含下列步骤：自该次集合中排除一个或多个微区块，其中在距离所排除的微区块一第一像素距离的范围内的一搜寻区域的均差(mean average difference)低于一临界值、所排除的微区块内的一特征缺乏(lack of features)，或该先前画面中所重复的图案。

根据上述构想的方法，其中该第一阶自动回归程序包含有：将该当前画面的画面移动向量乘以一第一常数；以及将该先前画面的稳定移动向量乘以一第二常数；其中该第一常数介于0～1的一浮点值(floating-point value)，而该第一常数与该第二常数之和等于1。

根据上述构想的方法，其中该第一常数选自一第三常数及一相关值中的最小一个。

根据上述构想的方法，还包含下列步骤：由该当前画面的该画面移动向量减去该先前画面的该稳定移动向量，来计算出该先前画面的一手振移动向量；以及通过取该当前画面的该手振移动向量与该先前画面的该稳定移动向量的内积(inner product)的绝对值，以及将该绝对值除以该当前画面的该手振移动向量与该当前画面的该手振移动向量的内积的方根后，再除以该先前画面的该稳定移动向量与该先前画面的该稳定移动向量的内积的方根，来计算出该手振移动向量与该稳定移动向量之间的该相关值。

根据上述构想的方法，其中该第三常数约等于0.4。

根据上述构想的方法，其还包含下列步骤：当一累积移动向量的水平分量大于一水平范围限制与一比例参数的乘积时，将该手振移动向量的水平分量除以2；以及当该累积移动向量的垂直分量大于一垂直范围限制与该比例参数的乘积时，将该手振移动向量的垂直分量除以2。

根据上述构想的方法，其中当分析该视频串的第一个画面时，或当该次集合所包含的这些微区块的数目低于一临界值时，则该先前画面也为该当前画面。

本发明提供一种录像装置，其包含有一透镜、一用来捕抓画面的装置、一储存装置、以及一处理器，而该处理器用以实现上述另一种方法。

本发明提供又一种稳定数字视频画面的方法，该方法包含有下列步骤：自一视频串中选择出一当前画面以及一先前画面；将该当前画面区分成多个微区块；自该当前画面的这些微区块中，选取出这些微区块的一次集合；于一二维比较范围内，比较该次集合的这些微区块与该先前画面，以产生一移动向量的集合；计算出该当前画面的一画面移动向量；通过一第一阶自动回归程序，来估算出该当前画面的一稳定移动向量；以及通过比较该稳定移动向量与该画面移动向量的差异，来计算出该当前画面的一手振移动向量。

根据上述构想的方法，还包含下列步骤：指派该视频串的一初始画面的该画面移动向量为一第一预设向量；以及指该初始画面的该稳定移动向量为一第二预设向量。

根据上述构想的方法，其中该第一预设向量为零向量<0，0>。

根据上述构想的方法，其中该第二预设向量为零向量<0，0>。

根据上述构想的方法，其中该第二预设向量即为该第一预设向量。

根据上述构想的方法，其中该当前画面的该画面移动向量通过下列步骤求得：自该移动向量的集合中，选出一中位水平分量(median horizontalcomponent)；自该移动向量的集合中，选出一中位垂直分量(median horizontalcomponent)；以及通过该中位水平分量与该中位垂直分量，组成该画面位移分量。

根据上述构想的方法，还包含下列步骤：通过加总一第一变量与该先前画面的该稳定移动向量的乘积以及一第二变量与该当前画面的该画面移动向量的乘积，来估算该当前画面的该稳定移动向量，其中该第一变量与该第二变量之和等于一第一常数。

根据上述构想的方法，其中该第一常数等于1。

根据上述构想的方法，还包含下列步骤：自该当前画面的该画面移动向量减去该当前画面的该稳定移动向量，以计算出一手振移动向量。

根据上述构想的方法，还包含下列步骤：设定该第二变量为一平滑值(smoothing value)的最小值或为一相关值(correlation value)。

根据上述构想的方法，还包含下列步骤：通过下列步骤，来计算出该相关值：求得该当前画面的该手振移动向量与该当前画面的该手振移动向量的内积的第一方根；求得该先前画面的该稳定移动向量与该先前画面的该稳定移动向量的内积的第二方根；将该第一方根乘以该第二方根，以求得一除数；求得该当前画面的该手振移动向量与该先前画面的该稳定移动向量的内积，作为一被除数；以及将该被除数除以该除数后，取其绝对值以作为该相关值。

根据上述构想的方法，其中该平滑值约等于0.4。

根据上述构想的方法，还包含下列步骤：若该当前画面的该画面移动向量的水平分量减去该先前画面的该稳定移动向量的水平分量后所取的一第一绝对值大于一第一临界值，且该先前画面的该画面移动向量的水平分量减去该先前画面的前一画面的该稳定移动向量的水平分量后所取的一第二绝对值大于一第二临界值，以及该先前画面的前一画面的该画面移动向量的水平分量减去该先前画面的前两画面的该稳定移动向量的水平分量后所取的一第三绝对值大于一第三临界值的话，则设定该平滑值为一第一平滑常数；以及若该平滑值未被设定为该第一平滑常数，则设定该平滑值为一第二平滑常数。

根据上述构想的方法，其中该第一平滑常数等于0.8，而该第二平滑常数等于0.1。

根据上述构想的方法，还包含下列步骤：若该当前画面的该画面移动向量的垂直分量减去该先前画面的该稳定移动向量的垂直分量后所取的一第一绝对值大于一第一临界值，且该先前画面的该画面移动向量的垂直分量减去该先前画面的前一画面的该稳定移动向量的垂直分量后所取的一第二绝对值大于一第二临界值，以及该先前画面的前一画面的该画面移动向量的垂直分量减去该先前画面的前两画面的该稳定移动向量的垂直分量后所取的一第三绝对值大于一第三临界值的话，则设定该平滑值为一第一平滑常数；以及若该平滑值未被设定为该第一平滑常数，则设定该平滑值为一第二平滑常数。

根据上述构想的方法，其中该第一平滑常数等于0.8，而该第二平滑常数等于0.1。

根据上述构想的方法，还包含下列步骤：当一累积移动向量的水平分量大于一水平范围限制与一比例参数的乘积时，将该手振移动向量的水平分量除以2；以及当该累积移动向量的垂直分量大于一垂直范围限制与该比例参数的乘积时，将该手振移动向量的垂直分量除以2。

根据上述构想的方法，还包含下列步骤：依据下列步骤来估算该当前画面的该稳定移动向量：通过加总一第一变量与该先前画面的该稳定移动向量的水平分量的乘积以及一第二变量与该当前画面的该画面移动向量的水平分量的乘积，来设定该稳定移动向量的水平分量，其中该第一变量与该第二变量之和等于一第一常数；以及通过加总一第三变量与该先前画面的该稳定移动向量的垂直分量的乘积以及一第四变量与该当前画面的该画面移动向量的垂直分量的乘积，来设定该稳定移动向量的垂直分量，其中该第三变量与该第四变量之和等于一第二常数。

根据上述构想的方法，其中该第一常数等于1。

根据上述构想的方法，其中该第二常数等于1。

根据上述构想的方法，还包含下列步骤：自该当前画面的该画面移动向量减去该当前画面的该稳定移动向量，以计算出一手振移动向量。

根据上述构想的方法，还包含下列步骤：设定该第二变量为一水平平滑值(horizontal smoothing value)的最小值或为一水平相关值(horizontalcorrelation value)。

根据上述构想的方法，还包含依据下列步骤来估算该水平相关值：求得该当前画面的该手振移动向量与该当前画面的该手振移动向量的内积的第一方根；求得该先前画面的该稳定移动向量与该先前画面的该稳定移动向量的内积的第二方根；将该第一方根乘以该第二方根，以求得一除数；求得该当前画面的该手振移动向量与该先前画面的该稳定移动向量的内积，作为一被除数；以及将该被除数除以该除数后，取其绝对值以作为该水平相关值。

根据上述构想的方法，其中该水平相关值约等于0.4。

根据上述构想的方法，还包含下列步骤：设定该第四变量为一垂直平滑值(vertical smoothing value)的最小值或为一垂直相关值(vertical correlationvalue)。

根据上述构想的方法，还包含依据下列步骤来估算该垂直相关值：求得该当前画面的该手振移动向量与该当前画面的该手振移动向量的内积的第一方根；求得该先前画面的该稳定移动向量与该先前画面的该稳定移动向量的内积的第二方根；将该第一方根乘以该第二方根，以求得一除数；求得该当前画面的该手振移动向量与该先前画面的该稳定移动向量的内积，作为一被除数；以及将该被除数除以该除数后，取其绝对值以作为该垂直相关值。

根据上述构想的方法，其中该垂直相关值约等于0.4。

根据上述构想的方法，还包含下列步骤：若该当前画面的该画面移动向量的水平分量减去该先前画面的该稳定移动向量的水平分量后所取的一第一绝对值大于一第一临界值，且该先前画面的该画面移动向量的水平分量减去该先前画面的前一画面的该稳定移动向量的水平分量后所取的一第二绝对值大于一第二临界值，以及该先前画面的前一画面的该画面移动向量的水平分量减去该先前画面的前两画面的该稳定移动向量的水平分量后所取的一第三绝对值大于一第三临界值的话，则设定该平滑值为一第一平滑常数；以及若该平滑值未被设定为该第一平滑常数，则设定该平滑值为一第二平滑常数。

根据上述构想的方法，其中该第一平滑常数等于0.8，而该第二平滑常数等于0.1。

根据上述构想的方法，还包含下列步骤：若该当前画面的该画面移动向量的垂直分量减去该先前画面的该稳定移动向量的垂直分量后所取的一第一绝对值大于一第一临界值，且该先前画面的该画面移动向量的垂直分量减去该先前画面的前一画面的该稳定移动向量的垂直分量后所取的一第二绝对值大于一第二临界值，以及该先前画面的前一画面的该画面移动向量的垂直分量减去该先前画面的前两画面的该稳定移动向量的垂直分量后所取的一第三绝对值大于一第三临界值的话，则设定该平滑值为一第一平滑常数；以及若该平滑值未被设定为该第一平滑常数，则设定该平滑值为一第二平滑常数。

根据上述构想的方法，其中该第一平滑常数等于0.8，而该第二平滑常数等于0.1。

本发明提供一种录像装置，其包含有一透镜、一用来捕抓画面的装置、一储存装置、以及一处理器，而该处理器用以实现上述又一种方法。

附图说明

图1是依据本发明方法的较佳实施例的流程图及其相关数据。

图2是用来辅助说明移动向量的计算过程。

图3是滑顺移动向量和画面移动向量于水平X轴上的分量。

图4是滑顺移动向量和画面移动向量于垂直y轴上的分量。

10～70：步骤             100：先前画面

200：输入画面            202：选取画面

1001：微区块             1002：区域

2001：微区块

请参考图1，图1绘示出依据本发明方法的较佳实施例的流程图及其相关数据。数字视频画面串由一连串的画面(frame所构成，而每一画面经处理后产生一对应的次区域(subregion)，而所产生的次区域会被储存至储存媒体S。其中储存媒体S可为磁带、硬盘、闪存，或是其它可写入(writable)、可复写(rewritable)的光学储存装置，如CD-R、CD-RW、DVD-R、DVD-RW、DVD+R、DVD+RW、DVD-RAM、BluRay等可写的数字储存媒体。此程序启始于没有任何先前移动历史的初始情况，其中画面号码被设定为1，一画面移动向量FMV被设定为<0，0>，一累积移动向量AMV被设定为<0，0>，以及一滑顺移动向量SMV被设定为<0，0>。一输入的视频画面200通过一视频源V产生，视频源V可以是摄影机、电视台信号、进行数字化中的影片或已数字化的影片。当处理视频串中的第一个画面时，理所当然地没有用来与输入的当前画面做比较的先前画面100存在。因此，没有任何移动向量(Motion Vector，MV)会被产生，而区块基准移动估计步骤10以及移动向量确认步骤20此时尚不会被执行。流程行进至手振估计步骤60，其中手振移动向量HMV会依据下列方程式被设定为<0，0>：

HMV(n)＝FMV(n)-SMV(n)(1)

其中参数n表示画面的编号。手振估计步骤60在初始状态下非常简单，而此步骤在其它情况下会如何执行将于下面再详细说明。接着，移动校正步骤70会被执行以处理输入的画面200。在这初始状态下，一选取画面2002会自输入的画面200的中央被选取出来。此选取画面202被处理并储存至储存媒体S，以作为下一周期的先前画面100(或储存媒体S中的先前画面SF1)。然而需特别注意的是，上述说明主要是在说明初始状态下的情况，此时画面移动向量(FMV)产生步骤50尚未被执行。

请参考图2并同时参照图1。于初始状态过后但在处理后续的画面且其拍摄场景未发生变化时，其处理步骤会有稍微的不同。区块基准移动估计步骤10中通过将输入画面200区分为多个微区块来产生移动向量。输入画面200会被切割成长宽皆为16像素的正方形微区块。一个次集合会自这些微区块中被选取，而在本发明的一较佳实施例中，135个微区块会被选出以构成该次集合，并排列成15X9的方块。在较低的处理需求的情形下，多分辨率以降低复杂度的搜寻动作会通过数字信号处理(DSP)技术来寻找出所选出的次集合中的微区块位于相前画面100的何处。此搜寻动作首先会通过一底高皆为两像素的三角搜寻区块，在先前画面100中的区域1002内，由相对于输入画面200的中心起±32像素的搜寻范围内，来找出最小变形点(least-distortion point)，之后再执行一标准的搜寻动作，找出在一个像素的分辨率下最符合的微区块1001，而二维的移动向量即可自这些最符合的微区块产生。这些移动向量的水平分量MVx以及垂直分量MVy分别是这些微区块于先前画面100与输入画面200前后两画面之间于水平方向及垂直方向的位移。图2中的图示OV即表示了输入画面200叠印在先前画面100上时的状况，且表示出微区块2001与最符合的微区块1001之间的相对位置。

上述在区块基准移动估计步骤10中所产生的移动向量会被传送到移动向量确认步骤20中继续处理。每一微区块以及其相关的移动向量会再经过三个测试以决定是否被丢弃。第一种测试是特征缺乏的评估，例如镜头拍摄蓝色天空或单调的背景画面时，这测试会通过计算微区块的均差(MeanAbsolute Difference，MAD)达成，而当微区块的均差的搜寻区域小于60像素时，该微区块的相关移动向量会被丢弃不用。第二种测试是通过消除一潜在重复的图案来达成，而具有最小均差的两个微区块会被比较，而如果最小的均差大于次小均差的0.98倍，且具最小均差的微区块若大于具次小均差的微区块1.5个像素时，则具最小均差的微区块其相关的移动向量会被丢弃不用。第三种测试是比较最小均差与临界值之间的差异，若最小均差大于临界值时，其相关的移动向量会被丢弃不用，在本实施例中该临界值为10个像素。

经上述移动向量确认步骤20的三个测试动作之后，所剩余的移动向量会被称为合格移动向量(Legal Motion Vector，LMV)，并被传送到场景变化判断步骤30中继续处理。场景变化判断步骤30会简单地测试合格移动向量LMV的数目是否大于一较低的临界值。若剩余大少的合格移动向量的话，则会判断场景有改变，并继续执行重设步骤40，其中重设步骤40被执行时，画面移动向量FMV、滑顺移动向量SMV、累积移动向量AMV皆会被设定为<0，0>，而画面号码被重新设定为1。若在场景变化判断步骤30中并未判断出场景的变化，也即若剩余的合格移动向量大于临界值时，则画面移动向量(FMV)产生步骤50会被执行，以继续处理这些合格移动向量LMV。

在进行画面移动向量产生步骤50时，会自合格移动向量LMV的集合与先前画面的画面移动向量FMV(n-1)中，选择一中位垂直分量(median verticalcomponent)与一中位水平分量(median horizontal component)。这些中位分量数值会用来构成当前画面的画面移动向量FMV(n)，而新的画面移动向量FMV(n)会被送到手振评估步骤60继续处理。

手振评估步骤60为本发明中最核心的步骤。在一连串的画面中，像素的移动由以下三个原因造成：物体的移动(如人的走动)、有意的摄影机移动(如平移拍摄及缩放画面)、无意的摄影机移动(如手振)。稳定画面的最主要目标即在于消除因无意摄影机移动所造成的对于画面的影响，同时并保留物体移动及有意的摄影机移动所造成的影响。

回顾方程式(1)：HMV(n)＝FMV(n)-SMV(n)，通过画面移动向量FMV减去滑顺移动向量SMV，可计算出手振移动向量HMV。而在本实施例中，利用移动向量加成(Motion Vector Integration，MVI)来产生滑顺移动向量SMV，其中最基本的移动向量加成为下列第一阶自动回归(first-orderautoregression)形式：

SMV(n)＝αSMV(n-1)+βFMV(n)，其中α＝1-β(2)

移动向量加成的最主要议题在于选出一阻尼系数α。阻尼系数α越大会使画面越滑顺，但却会过度抑制画面以及使画面显得不太自然；阻尼系数α越小，则会使手振的补偿效果较小。在本实施例中，系数β的初始值为0.4，而阻尼系数α为0.6，而系数α、β的值会在下面继续采用。另外，使

TMV(n)＝FMV(n)-SMV(n-1)，(3a)

SMV(1)＝FMV(1)(3b)

需注意的是，滑顺移动向量SMV为预期中的移动所产生，而画面移动向量FMV为实际画面移动所产生。向量TMV(n)为手振移动向量HMV(n)的估计值，而当前画面的向量TMV(n)与先前画面的滑顺移动向量SMV(n-1)的关系可以以下列方程式表示：

$\mathrm{\&rho;}=\left|\frac{<\mathrm{TMV}\left(n\right),\mathrm{SMV}(n-1)>}{\sqrt{<\mathrm{TMV}\left(n\right),\mathrm{TMV}\left(n\right)>}\&CenterDot;\sqrt{<\mathrm{SMV}(n-1),\mathrm{SMV}(n-1)>}}\right|\&CenterDot;\&CenterDot;\&CenterDot;\left(4\right)$

其中若标示<a，b>则代表向量a与向量b的内积，而0≤ρ≤1。ρ越小越接近0时，向量TMV(n)(手移)与滑顺移动向量SMV(n-1)(有意的移动)的方向越不一致。当向量TMV的方向与滑顺移动向量SMV的方向之间相差接近直角九十度时，ρ的值会趋近于零；而当两者方向越接近(零度或180度)时，ρ的值会趋近于壹。为整合一维及二维的移动向量加成，本发明使用方程式：

β＝min(ρ，0.4)；α＝1-β(5)

来与方程式(2)整合。在典型的视频串中，约有20％～25％的α小于0.4，而使数值β会被用在处理该画面上。当移动向量分歧时通过使用较小的β值，可以使得有意的摄影机移动对画面的影响保留下来，同时去除掉无意摄影机移动对画面的影响。因此，一准确的滑顺移动向量SMV(n)可通过方程式(2)决定，而一准确的手振移动向量HMV(n)可通过方程式(1)决定。

最后，滑顺移动向量SMV(n)与手振移动向量HMV(n)会被传送到移动校正步骤70中进行处理，以当最后场景改变时通过下列方程式计算出一累积移动向量AMV(n)：

$\mathrm{AMV}\left(n\right)={\mathrm{\&Sigma;}}_{i=2}^n\mathrm{HMV}\left(i\right)\&CenterDot;\&CenterDot;\&CenterDot;\left(6a\right)$

这可通过下列方程式以等效的方式直接地带出：

AMV(2)＝HMV(2)，当n＝2时(6b)

AMV(n)＝AMV(n-1)+HMV(n)，n＞2(6c)

其中，数字n为目前的画面编号，而累积移动向量AMV为自最近一次场景变化之后全部手振移动向量HMV的累加。需注意到场景变化是自画面编号n为2之后开始，因为初始画面之前并没有更早的画面，也因此初始画面不会有对应的移动向量。

移动校正步骤70接着会使用当前的累积移动向量AMV(n)为输入画面200内的一偏移向量，以从输入画面200中撷取出具有预设尺寸大小的选取画面202。选取画面202之后会经处理被送到储存媒体S，以保留到下一周期时作为先前画面100之用，并储存在储存媒体S作为一视频画面(如新的视频画面SF2)。

之后的流程则重复此等步骤。

在此最佳实施例中，累积移动向量AMV的范围会被限制在水平方向上±60个像素、垂直方向上±40个像素。为防止饱和，当累积移动向量AMV在任何方向上超过限制的百分之七十五时，若其后的累积移动向量AMV接近该限制，则下一个手振移动向量HMV将减半。需注意的是，上述的移动向量加成方法，因滑顺移动向量SMV变得更滑顺少变化，而使得手振移动向量HMV的改变大大地减缓了。请参考图3及图4，图3表示了滑顺移动向量SMV和画面移动向量FMV于水平X轴上的分量，而图4表示了滑顺移动向量SMV和画面移动向量FMV于垂直y轴上的分量。由这两图可知，本发明的方法的确可通过消除手振移动向量HMV的方式来使滑顺移动向量SMV的变动曲线更平滑。

上述本发明的方法可进一步通过一被限定范围的变量来取代方程式(5)中常数。在本发明另一较佳实施例中，通过下列虚拟程序来限制β：

if((FMV(n)-SMV(n-1)＞T1)

and(FMV(n-1)-SMV(n-2)＞T2)

and(FMV(n-2)-SMV(n-3)＞T3))

or((FMV(n)-SMV(n-1)＜-T1)(7)

and(FMV(n-1)-SMV(n-2)＜-T2)

and(FMV(n-2)-SMV(n-3)＜-T3))

then b＝0.8；

else b＝0.1；

其中，对于水平的移动，T1＝15，T2＝10，T3＝5；而对于垂直的移动，T1＝12，T2＝8，T3＝3。而这是测试画面移动向量FMV是否发生震荡的情况，并测试滑顺移动向量SMV是否严重落后于画面移动向量FMV。因此，该测试会对移动向量在水平方向上的分量与在垂直方向上的分量分别处理。于是可使用参数bx与by来用于X、Y轴上，并分别算出αx、αy、βx、βy。所以可导出：

βx＝min(ρ，bx)；αx＝1-βx(8a)

βy＝min(ρ，by)；αy＝1-βy(8b)

这起因于更平滑的曲线，适当地减缓了非预期的画面移动。

本发明的方法可以轻易地应用在MPEG视频编码标准的装置，或采用其它自动编码方式的装置中，但本发明的应用并不以此为限。

相较于现有技术，通过本发明所提供的方法，可以产生更滑顺、更稳定的视频画面，并使画面看起来自然。而当去除手振对于画面的影响时，一些预期内的画面变动(如缩放)的效果仍可被保存下来。此外，本发明的搜寻方法较现有技术更快，尤其是当利用多像素解析估算方法被使用时，其搜寻速度更是有着很明显地提升。

以上所述仅为本发明的较佳实施例，在不脱离本发明的精神和范围时，内可进行各种变化和改型，这些变化和改型皆被涵盖于本发明请求保护的权利要求范围之内。

Claims (53)

1.一种稳定数字视频画面的方法，该方法包含有下列步骤：

自一视频串中选择出一当前画面以及一先前画面；

将该当前画面区分成多个微区块；

自该当前画面的这些微区块中，选取出这些微区块的一次集合；

于一二维比较范围内，比较该次集合的这些微区块与该先前画面，以产生一移动向量的集合；

计算出该当前画面的一画面移动向量；

通过一第一阶自动回归程序，来估算出该当前画面的一稳定移动向量；

通过比较该稳定移动向量与该画面移动向量的差异，来计算出该当前画面的一手振移动向量；

自该当前画面中切割出一切割画面，其中该当前画面的中心至该切割画面的中心的偏移量等于该手振移动向量；以及

储存该切割画面于一储存装置中。

2.如权利要求1所述的方法，其还包含下列步骤：

自该次集合中排除一个或多个微区块，其中在距离所排除的微区块一第一像素距离的范围内的一搜寻区域的均差低于一临界值、所排除的微区块内的一特征缺乏，或该先前画面中所重复的图案。

3.如权利要求1所述的方法，其中计算出该画面移动向量时，自移动向量的集合与该先前画面的画面移动向量中，选择一中位垂直分量与一中位水平分量。

4.如权利要求1所述的方法，其中该第一阶自动回归程序包含有：

将该当前画面的画面移动向量乘以一第一常数；以及

将该先前画面的稳定移动向量乘以一第二常数；

其中该第一常数介于0～1的一浮点值，而该第一常数与该第二常数之和等于1。

5.如权利要求4所述的方法，其中该第一常数选自一第三常数及一相关值中的最小一个。

6.如权利要求5所述的方法，其还包含下列步骤：

由该当前画面的该画面移动向量减去该先前画面的该稳定移动向量，来计算出该先前画面的一手振移动向量；以及

通过取该当前画面的该手振移动向量与该先前画面的该稳定移动向量的内积的绝对值，以及将该绝对值除以该当前画面的该手振移动向量与该当前画面的该手振移动向量的内积的方根后，再除以该先前画面的该稳定移动向量与该先前画面的该稳定移动向量的内积的方根，来计算出该手振移动向量与该稳定移动向量之间的该相关值。

7.如权利要求5所述的方法，其中该第三常数约等于0.4。

8.如权利要求1所述的方法，其还包含下列步骤：

当一累积移动向量的水平分量大于一水平范围限制与一比例参数的乘积时，将该手振移动向量的水平分量除以2；以及

当该累积移动向量的垂直分量大于一垂直范围限制与该比例参数的乘积时，将该手振移动向量的垂直分量除以2。

9.如权利要求1所述的方法，其中这些微区块的大小符合MPEG视频编码标准。

10.如权利要求1所述的方法，其中当分析该视频串的第一个画面时，或当该次集合所包含的这些微区块的数目低于一临界值时，则该先前画面也为该当前画面。

11.一种录像装置，其包含有一透镜、一用来捕抓画面的装置、一储存装置、以及一处理器，而该处理器用以实现权利要求1的方法。

12.一种数字录像装置，其包含有一透镜、一用来捕抓画面的装置、一储存装置、以及一处理器，而该处理器用以实现权利要求1的方法。

13.一种稳定数字视频画面的方法，该方法包含有下列步骤：

自一视频串中选择出一当前画面以及一先前画面；

将该当前画面区分成多个微区块，每一微区块的大小适用于各自编码的画面或预期编码的画面；

自该当前画面的这些微区块中，选取出这些微区块的一次集合；

于一二维比较范围内，比较该次集合的这些微区块与该先前画面，以产生一移动向量的集合；

自移动向量的集合与该先前画面的一画面移动向量中，选择一中位垂直分量与一中位水平分量，以计算出该当前画面的画面移动向量；

通过一第一阶自动回归程序，来估算出该当前画面的一稳定移动向量；

通过比较该稳定移动向量与该画面移动向量的差异，来计算出该当前画面的一手振移动向量；

自该当前画面中切割出一切割画面，其中该当前画面的中心至该切割画面的中心的偏移量等于该手振移动向量；

储存该切割画面于一储存装置中。

14.如权利要求13所述的方法，其还包含下列步骤：

自该次集合中排除一个或多个微区块，其中在距离所排除的微区块一第一像素距离的范围内的一搜寻区域的均差低于一临界值、所排除的微区块内的一特征缺乏，或该先前画面中所重复的图案。

15.如权利要求13所述的方法，其中该第一阶自动回归程序包含有：

将该当前画面的画面移动向量乘以一第一常数；以及

将该先前画面的稳定移动向量乘以一第二常数；

其中该第一常数介于0～1的一浮点值，而该第一常数与该第二常数之和等于1。

16.如权利要求15所述的方法，其中该第一常数选自一第三常数及一相关值中的最小一个。

17.如权利要求16所述的方法，其还包含下列步骤：

由该当前画面的该画面移动向量减去该先前画面的该稳定移动向量，来计算出该先前画面的一手振移动向量；以及

通过取该当前画面的该手振移动向量与该先前画面的该稳定移动向量的内积的绝对值，以及将该绝对值除以该当前画面的该手振移动向量与该当前画面的该手振移动向量的内积的方根后，再除以该先前画面的该稳定移动向量与该先前画面的该稳定移动向量的内积的方根，来计算出该手振移动向量与该稳定移动向量之间的该相关值。

18.如权利要求16所述的方法，其中该第三常数约等于0.4。

19.如权利要求13所述的方法，其还包含下列步骤：

当一累积移动向量的水平分量大于一水平范围限制与一比例参数的乘积时，将该手振移动向量的水平分量除以2；以及

当该累积移动向量的垂直分量大于一垂直范围限制与该比例参数的乘积时，将该手振移动向量的垂直分量除以2。

20.如权利要求所述13的方法，其中当分析该视频串的第一个画面时，或当该次集合所包含的这些微区块的数目低于一临界值时，则该先前画面也为该当前画面。

21.一种录像装置，其包含有一透镜、一用来捕抓画面的装置、一储存装置、以及一处理器，而该处理器用以实现权利要求13的方法。

22.一种稳定数字视频画面的方法，该方法包含有下列步骤：

自一视频串中选择出一当前画面以及一先前画面；

将该当前画面区分成多个微区块；

自该当前画面的这些微区块中，选取出这些微区块的一次集合；

于一二维比较范围内，比较该次集合的这些微区块与该先前画面，以产生一移动向量的集合；

计算出该当前画面的一画面移动向量；

通过一第一阶自动回归程序，来估算出该当前画面的一稳定移动向量；以及

通过比较该稳定移动向量与该画面移动向量的差异，来计算出该当前画面的一手振移动向量。

23.如权利要求22所述的方法，其还包含下列步骤：

指派该视频串的一初始画面的该画面移动向量为一第一预设向量；以及

指该初始画面的该稳定移动向量为一第二预设向量。

24.如权利要求23所述的方法，其中该第一预设向量为零向量<0，0>。

25.如权利要求23所述的方法，其中该第二预设向量为零向量<0，0>。

26.如权利要求23所述的方法，其中该第二预设向量即为该第一预设向量。

27.如权利要求22所述的方法，其中该当前画面的该画面移动向量通过下列步骤求得：

自该移动向量的集合中，选出一中位水平分量；

自该移动向量的集合中，选出一中位垂直分量；以及

通过该中位水平分量与该中位垂直分量，组成该画面位移分量。

28.如权利要求22所述的方法，其还包含下列步骤：

通过加总一第一变量与该先前画面的该稳定移动向量的乘积以及一第二变量与该当前画面的该画面移动向量的乘积，来估算该当前画面的该稳定移动向量，其中该第一变量与该第二变量之和等于一第一常数。

29.如权利要求28所述的方法，其中该第一常数等于1。

30.如权利要求28所述的方法，其还包含下列步骤：

自该当前画面的该画面移动向量减去该当前画面的该稳定移动向量，以计算出一手振移动向量。

31.如权利要求30所述的方法，其还包含下列步骤：

设定该第二变量为一平滑值的最小值或为一相关值。

32.如权利要求31所述的方法，其还包含下列步骤：

通过下列步骤，来计算出该相关值：

求得该当前画面的该手振移动向量与该当前画面的该手振移动向量的内积的第一方根；

求得该先前画面的该稳定移动向量与该先前画面的该稳定移动向量的内积的第二方根；

将该第一方根乘以该第二方根，以求得一除数；

求得该当前画面的该手振移动向量与该先前画面的该稳定移动向量的内积，作为一被除数；以及

将该被除数除以该除数后，取其绝对值以作为该相关值。

33.如权利要求31所述的方法，其中该平滑值约等于0.4。

34.如权利要求32所述的方法，其还包含下列步骤：

若该当前画面的该画面移动向量的水平分量减去该先前画面的该稳定移动向量的水平分量后所取的一第一绝对值大于一第一临界值，且该先前画面的该画面移动向量的水平分量减去该先前画面的前一画面的该稳定移动向量的水平分量后所取的一第二绝对值大于一第二临界值，以及该先前画面的前一画面的该画面移动向量的水平分量减去该先前画面的前两画面的该稳定移动向量的水平分量后所取的一第三绝对值大于一第三临界值的话，则设定该平滑值为一第一平滑常数；以及

若该平滑值未被设定为该第一平滑常数，则设定该平滑值为一第二平滑常数。

35.如权利要求34所述的方法，其中该第一平滑常数等于0.8，而该第二平滑常数等于0.1。

36.如权利要求32所述的方法，其还包含下列步骤：

若该当前画面的该画面移动向量的垂直分量减去该先前画面的该稳定移动向量的垂直分量后所取的一第一绝对值大于一第一临界值，且该先前画面的该画面移动向量的垂直分量减去该先前画面的前一画面的该稳定移动向量的垂直分量后所取的一第二绝对值大于一第二临界值，以及该先前画面的前一画面的该画面移动向量的垂直分量减去该先前画面的前两画面的该稳定移动向量的垂直分量后所取的一第三绝对值大于一第三临界值的话，则设定该平滑值为一第一平滑常数；以及

若该平滑值未被设定为该第一平滑常数，则设定该平滑值为一第二平滑常数。

37.如权利要求36所述的方法，其中该第一平滑常数等于0.8，而该第二平滑常数等于0.1。

38.如权利要求22所述的方法，其还包含下列步骤：

当一累积移动向量的水平分量大于一水平范围限制与一比例参数的乘积时，将该手振移动向量的水平分量除以2；以及

当该累积移动向量的垂直分量大于一垂直范围限制与该比例参数的乘积时，将该手振移动向量的垂直分量除以2。

39.如权利要求22所述的方法，其还包含下列步骤：

依据下列步骤来估算该当前画面的该稳定移动向量：

通过加总一第一变量与该先前画面的该稳定移动向量的水平分量的乘积以及一第二变量与该当前画面的该画面移动向量的水平分量的乘积，来设定该稳定移动向量的水平分量，其中该第一变量与该第二变量之和等于一第一常数；以及

通过加总一第三变量与该先前画面的该稳定移动向量的垂直分量的乘积以及一第四变量与该当前画面的该画面移动向量的垂直分量的乘积，来设定该稳定移动向量的垂直分量，其中该第三变量与该第四变量之和等于一第二常数。

40.如权利要求39所述的方法，其中该第一常数等于1。

41.如权利要求39所述的方法，其中该第二常数等于1。

42.如权利要求39所述的方法，其还包含下列步骤：

自该当前画面的该画面移动向量减去该当前画面的该稳定移动向量，以计算出一手振移动向量。

43.如权利要求42所述的方法，其还包含下列步骤：

设定该第二变量为一水平平滑值的最小值或为一水平相关值。

44.如权利要求43所述的方法，其还包含下列步骤：

依据下列步骤来估算该水平相关值：

求得该当前画面的该手振移动向量与该当前画面的该手振移动向量的内积的第一方根；

求得该先前画面的该稳定移动向量与该先前画面的该稳定移动向量的内积的第二方根；

将该第一方根乘以该第二方根，以求得一除数；

求得该当前画面的该手振移动向量与该先前画面的该稳定移动向量的内积，作为一被除数；以及

将该被除数除以该除数后，取其绝对值以作为该水平相关值。

45.如权利要求43所述的方法，其中该水平相关值约等于0.4。

46.如权利要求42所述的方法，其还包含下列步骤：

设定该第四变量为一垂直平滑值的最小值或为一垂直相关值。

47.如权利要求46所述的方法，其还包含下列步骤：

依据下列步骤来估算该垂直相关值：

求得该当前画面的该手振移动向量与该当前画面的该手振移动向量的内积的第一方根；

求得该先前画面的该稳定移动向量与该先前画面的该稳定移动向量的内积的第二方根；

将该第一方根乘以该第二方根，以求得一除数；

求得该当前画面的该手振移动向量与该先前画面的该稳定移动向量的内积，作为一被除数；以及

将该被除数除以该除数后，取其绝对值以作为该垂直相关值。

48.如权利要求47所述的方法，其中该垂直相关值约等于0.4。

49.如权利要求47所述的方法，其还包含下列步骤：

若该当前画面的该画面移动向量的水平分量减去该先前画面的该稳定移动向量的水平分量后所取的一第一绝对值大于一第一临界值，且该先前画面的该画面移动向量的水平分量减去该先前画面的前一画面的该稳定移动向量的水平分量后所取的一第二绝对值大于一第二临界值，以及该先前画面的前一画面的该画面移动向量的水平分量减去该先前画面的前两画面的该稳定移动向量的水平分量后所取的一第三绝对值大于一第三临界值的话，则设定该平滑值为一第一平滑常数；以及

若该平滑值未被设定为该第一平滑常数，则设定该平滑值为一第二平滑常数。

50.如权利要求49所述的方法，其中该第一平滑常数等于0.8，而该第二平滑常数等于0.1。

51.如权利要求47所述的方法，其还包含下列步骤：

若该当前画面的该画面移动向量的垂直分量减去该先前画面的该稳定移动向量的垂直分量后所取的一第一绝对值大于一第一临界值，且该先前画面的该画面移动向量的垂直分量减去该先前画面的前一画面的该稳定移动向量的垂直分量后所取的一第二绝对值大于一第二临界值，以及该先前画面的前一画面的该画面移动向量的垂直分量减去该先前画面的前两画面的该稳定移动向量的垂直分量后所取的一第三绝对值大于一第三临界值的话，则设定该平滑值为一第一平滑常数；以及

若该平滑值未被设定为该第一平滑常数，则设定该平滑值为一第二平滑常数。

52.如权利要求49所述的方法，其中该第一平滑常数等于0.8，而该第二平滑常数等于0.1。

53.一种录像装置，其包含有一透镜、一用来捕抓画面的装置、一储存装置、以及一处理器，而该处理器用以实现权利要求22的方法。

Images