CN102017605A

CN102017605A - 活动影像抖动修正装置及方法

Info

Publication number: CN102017605A
Application number: CN2009801141038A
Authority: CN
Inventors: 徐康勋; 李命寿
Original assignee: Core Logic Inc
Current assignee: Core Logic Inc
Priority date: 2008-04-22
Filing date: 2009-04-22
Publication date: 2011-04-13
Also published as: WO2009131382A2; JP5189678B2; US8279937B2; WO2009131382A3; EP2277306A2; JP2011520339A; US20090296824A1; EP2277306A4

Abstract

本发明涉及一种活动影像抖动修正装置及方法，具体涉及一种以如下内容为特征的活动影像抖动修正装置及方法，其特征在于：所述活动影像抖动修正装置包括在第1帧的输入影像中选择至少一个基准宏块且在第2帧的输入影像中选择至少一个与基准宏块相对应的至少一个搜索区域的选择器、使第1帧的基准宏块与包含于第2帧的搜索区域的各个搜索块相对应，从而实施统计运算的运算器以及利用统计运算的结果数值计算出修正第2帧输出影像所需动态矢量的矢量计算器等。因此，本发明可以有效修正由于抖动带来的影像的歪曲，也可以大幅减少运算量。

Description

活动影像抖动修正装置及方法

技术领域

本发明涉及一种活动影像抖动修正装置及方法，具体涉及一种有效修正由于抖动引起的活动影像歪曲并能够大幅减少运算量的活动影像抖动修正技术。

背景技术

通常情况下，数码摄像机、数码相机等数码影像摄影装置是连续拍摄每秒15～30帧静止图像(still image)并予以显示的机构，例如，采用LCD等进行显示，从而向用户提供移动的影像。采用数码影像摄影装置拍摄视频时，必然会伴随着与数码影像摄影装置接触的用户的身体的不可预测性移动或者抖动(例如摇设及俯仰动作)。因此，如果不使用三角架等固定工具，很难保持物理特性上稳定的拍摄状态，这种物理特性上拍摄状态的不稳定性必然带来影像的歪曲问题。而且，使用CMOS模块的数码影像摄影装置，例如，移动终端等由于在按滚动式快门时出现的轻微的抖动可能会带来影像的歪曲。

这种影像的歪曲现象由于沿被摄体的轮廓移动的用户的身体以及数码影像摄影装置的移动和抖动带来的不稳定性会变得更加严重。每秒拍摄的帧数量越少，由于帧间的移动或者抖动带来的偏差间距会变得更远。此时，用户会更强烈地感觉到影像不稳定。

因此，最近正在广泛研究数码影像摄影装置的活动影像抖动修正技术。例如，活动影像抖动修正的现有技术可以分成光学式抖动修正技术及非光学式抖动修正技术等。所述光学式抖动修正技术是为了防止影像的抖动，对于通过CMOS模块输入的影像，将根本上克服抖动或者颤抖的装置应用于数码影像摄影装置之中的技术。例如，光学式抖动修正采用陀螺式传感器拍摄影响时，如果数码影像摄影装置的镜头移动，陀螺式传感器沿着与所述移动的方向相反的方向从物理性角度移动所述数码影像摄影装置镜头的中心。可是，这种光学式抖动修正需要在数码影像摄影装置中单独设置具备该功能的装置，会提高产品的生产费用和单价且增大产品的体积，不能应用于追求小型体积和轻量模式的移动终端之中。

非光学式抖动修正技术是从芯片状态的硬件或者软件的角度修正拍摄影像的技术方案。例如，计算出发生移动的被拍影像的动态矢量，并调整与此相应的摄影影像的偏移来修正影像。

发明内容

为了解决上述问题，本发明提供一种有效修正由于抖动带来的影像的歪曲且大幅减少运算量的影响抖动活动影像抖动修正技术、装置及系统。

技术方案

为了实现本发明的上述目的，本发明一方面提供了活动影像抖动修正装置。所述活动影像抖动修正装置包括在第1帧的输入影像中选择至少一个基准宏块并在第2帧的输入影像中选择与所述至少一个基准宏块相对应的至少一个搜索区域的选择器、使所述第1帧的基准宏块与包含于所述第2帧的搜索区域的各个搜索块体相对应而实施统计运算且与所述选择器连接的运算器以及利用所述统计运算的结果计算修正所述第2帧输出影像所需动态矢量且与所述运算器连接的矢量计算器。

所述至少一个搜索区域可以是与所述第2帧输入影像的中心相隔特定间距的若干个单独区域。所述选择器可以将各个帧的基准宏块和搜索区域的信息存储在存储器里。例如，所述选择器可以将所述第1帧的基准宏块的像素数据和所述第2帧的搜索区域的像素数据存储在存储器里。所述运算器包括第1输入器、第2输入器和统计运算器；该第1输入器加载存储于所述存储器的所述第1帧的基准宏块的像素数据；该第2输入器加载存储于所述存储器的所述第2帧的搜索区域的像素数据；该统计运算器与第1输入器和第2输入器连接，沿着垂直或者水平方向移动所述第1帧的基准宏块，以使其与包含于所述第2帧的搜索区域内的各个搜索块体相对应的同时，实施所述统计运算，从而计算出运算矩阵，并将所述计算出的运算矩阵存储在所述存储器里。

所述活动影像抖动修正装置可以进一步包括运算所述第1帧的特定宏块的像素数据和位于与所述第1帧的特定宏块相同的坐标的所述第2帧的宏块的像素数据、并基于所述运算信息通过所述运算器控制所述统计运算且与所述选择器和运算器连接的控制器。所述控制器包括差运算器、位置信息计算器和对象控制器；该差运算器加载所述第1帧的基准宏块的像素数据和所述第2帧的基准宏块的像素数据并按照各个不同的像素分别计算所述第1帧的基准宏块和所述第2帧的基准宏块之间的像素值差异值；该位置信息计算器与所述差运算器连接，用于计算出所述差异值达到事先设定的基准值或在该基准值以上的像素的位置信息；该对象控制器与所述位置信息计算器连接，用于控制所述运算器，以使其只针对所述第1帧的基准宏块的像素中与所述已计算位置信息相应的像素实施所述统计运算。

另外，所述控制器可以进一步包括差运算器、位置信息计算器、比率计算器和对象控制器；该差运算器加载所述第1帧的基准宏块的像素数据和所述第2帧的基准宏块的像素数据并按照各个不同的像素分别计算所述第1帧的基准宏块和所述第2帧的基准宏块之间的像素值差异值；该位置信息计算器与所述差运算器连接，用于计算出所述差异值达到事先设定的基准值或在该基准值以上的像素的位置信息；该比率计算器与差运算器连接，用于计算出所述差异值达到事先设定的第1基准值或在该基准值以上的像素在基准宏块中占据的比率；该对象控制器与所述目标信息计算器和比率计算器连接，用于控制所述运算器，以使所述计算出的比率没有达到事先设定的第2基准值时只针对所述第1帧的基准宏块的像素中对应于所述位置信息的像素实施所述统计运算，所述比率达到事先设定的第2基准值或该基准值以上时针对所述第1帧的基准宏块的所有像素实施所述统计运算。所述活动影像抖动修正装置可以包括运算所述第1帧的特定宏块的像素数据和位于与所述第1帧的特定宏块相同的坐标的所述第2帧的宏块的像素数据、并基于所述运算信息通过所述运算器控制所述统计运算且与所述选择器和运算器连接的控制器。

所述活动影像抖动修正装置可以进一步包括对分别从外部接收的第1帧及第2帧的影像实施精简，将所述精简影像的各个像素值转换成灰度级值，从而分别生成所述第1帧的输入影像和第2帧的输入影像且与所述选择器连接的输入处理器。所述输入处理器包括影像接收器、输入定标器和信息转换器；该影像接收器从影像摄影器处分别接收所述第1帧及所述第2帧的影像；该输入定标器与所述影像接收器连接，用于降低所述已接收到的第1帧及第2帧的影像的解析度；该信息转换器与所述输入定标器连接，用于将通过所述输入定标器进行处理的影像的各个像素值转换成灰度级值。所述活动影像抖动修正装置可以进一步包括从外部分别接收第1帧及第2帧的影像并将其规格精简成输出影像规格的输出定标器。另外，所述活动影像抖动修正装置还可以进一步包括对于利用所述已计算动态矢量通过所述输出定标器得到精简的所述第2帧的输出影像实施修正的修正器。所述矢量计算器从通过所述统计运算计算出的运算矩阵中检测出具有最小值的矩阵，从而计算出包含于所述第2帧的搜索区域的搜索块体中匹配块体的位置信息，并基于所述已计算出的匹配块体的位置信息计算出所述动态矢量。为了从所述运算矩阵检测出具有所述最小值的矩阵，所述矢量计算器采用从所述运算矩阵的中心部分沿着螺旋方向搜索矩阵数值的螺旋形搜索方式。

另外，为了实现本发明的上述目的，本发明另一方面提供一种活动影像抖动修正方法。所述活动影像抖动修正方法包括从第1帧的输入影像选择至少一个基准宏块的步骤、从第2帧的输入影像选择与所述至少一个基准宏块相对应的至少一个搜索区域的步骤、使所述第1帧的基准宏块与包含于所述第2帧的搜索区域内的各个搜索块体相对应而实施统计运算的步骤以及利用所述统计运算的结果计算出修正所述第2帧的输出影像时需要的动态矢量的步骤。

所述活动影像抖动修正方法可以进一步包括加载所述第1帧的基准宏块的像素数据的步骤、加载位于与所述第1帧的基准宏块相同的坐标的所述第2帧的基准宏块的步骤、运算所述已加载第1帧的基准宏块及所述已加载第2帧的基准宏块的像素数据的步骤以及依据所述已运算信息控制所述统计运算的步骤。所述运算步骤包括按照各个不同像素计算出所述第1帧的基准宏块和所述第2帧的基准宏块之间的像素值的差异值的步骤、对比第1基准值与所述已计算出的差异值的步骤以及计算出所述已计算差异值达到第1基准值或该基准值以上的像素的位置信息的步骤。此时，控制所述统计运算的步骤包括进行控制，以使只针对所述第1帧的基准宏块的像素中与所述位置信息相应的像素实施所述统计运算的步骤。另外，所述运算步骤还可以进一步包括计算出所述已计算差异值达到第1基准值或该基准值以上的像素在基准宏块中占据的比率的步骤以及对比第2基准值与所述已计算出的比率的步骤。此时，所述控制统计运算的步骤包括采用对比所述已计算出的比率和所述第2基准值后得到的结果信息和所述已计算位置信息中至少一个控制所述统计运算的步骤。

有益效果

如上所述，本发明活动影像抖动修正技术不需要增加额外的设备便可以有效修正由于抖动带来的影像歪曲并大幅减少运算量。而且，不会增加产品的制造成本、单价及其体积。而且如上所述，本发明可以避免向量估计中的误差，且不会增加计算时间以便保持更快的性能。

附图说明

图1是设置有本发明优选第1实施例中活动影像抖动修正装置的数码影像摄影装置的结构图；

图2是举例说明由于上述抖动引起歪曲的概念示意图；

图3是说明可以修正上述由于抖动引起的歪曲的推测动作图；

图4是图1所示的活动影像抖动修正装置的详细结构图；

图5是图4所示输入处理器的结构图；

图6是说明通过选择器选择的搜索区域及基准宏块的示意图；

图7是图4所示运算器的结构的图；

图8是说明通过矢量计算器实施的螺旋形搜索过程的示意图；

图9是说明本发明优选第1实施例中活动影像抖动修正方法的流程图；

图10是本发明优选第2实施例中活动影像抖动修正装置的结构图；

图11是设置于本发明优选第2实施例中活动影像抖动修正装置的控制器的结构图；

图12是说明图11所示控制器的动作的流程图；

图13是设置于本发明优选第3实施例中活动影像抖动修正装置的控制器的结构图；

图14是说明图13所示控制器的动作的流程图。

<附图主要部分的符号说明>

10：影像摄影器 20：存储器

30：显示器 100：活动影像抖动修正装置

110：输入处理器 120：输出定标器

130：选择器 140：运算器

150：矢量计算器 160：修正器

180、280：控制器

具体实施方式

<第1实施例>

图1是设置有本发明优选第1实施例中活动影像抖动修正装置的数码影像摄影装置的结构图。如图1所示，本发明优选第1实施例中活动影像抖动修正装置100设置于数码影像摄影装置1。所述数码影像摄影装置1可以是数码摄像机、具备影像摄影功能的数码相机或者移动终端等。

活动影像抖动修正装置100可以与数码影像摄影装置1的影像摄影器10、存储器20及显示器30等互相配合作用。所述影像摄影器10是获取影像并将其转换成电气性信号的装置，如CMOS模块、光学摄像传感器等。所述存储器20是可以存储数码数据的各种存储机构。另外，所述显示器30是将影像显示在画面上的装置，如LCD面板等。

所述活动影像抖动修正装置100是从影像摄影器10连续接收以帧为单位的影像，即，帧影像，且为了从接收到的帧影像中去除由于抖动等引起的歪曲，采用得到改善的有效处理程序修正所述已接收到的帧影像之后，将得到修正的帧影像传输到显示器30。

图2是举例说明由于上述抖动引起歪曲的概念示意图，图3是说明可以修正上述由于抖动引起歪曲的推测动作图。如图2所示，移动物体的实际动态被具有影像摄影器10的数码影像摄影装置1拍摄之后，通过显示器30展现给用户。此时，通过显示器30显示的影像不仅可以反映实际移动物体的动态，还可以反映由于摄影人员的抖动等引起的影像摄像器10的晃动带来的不良效果。

因此，如图3所示，数码影像摄影装置1采用活动影像抖动修正装置100在包含所述实际移动中的移动物体的影像中，使用推测动作等功能对其进行修正以显示高品质的影像。

图4是图1所示活动影像抖动修正装置100的详细结构图，其示出了本发明优选第1实施例中活动影像抖动修正装置100的结构。

如图4所示，活动影像抖动修正装置100包括输入处理器110、输出定标器120、选择器130、运算器140、矢量计算器150及修正器160等。所述组成要素可以实施各种特有功能，还可以为了响应相关的操作与存储器20互相配合使用。

以下分别详细说明所述活动影像抖动修正装置100的组成要素。

1、输入处理器110。

输入处理器110用于处理从影像摄影器10依次接收到的帧影像从而生成各个帧的输入影像，并向选择器130传输已生成的各个帧的输入影像。例如，输入处理器110降低接收的帧影像的解析度以缩小影像的大小，并将缩小影像的各个像素值转换成灰度级值，从而将其输入到选择器130生成输入影像。

图5是图4所示输入处理器110)结构图。如图5所示，输入处理器110包括影像接收器112、输入定标器114及信息转换器116等。

所述影像接收器112从影像摄影器10处接收帧影像。例如，影像接收器112自接收到影像摄影器10拍摄的影像的第一个帧影像之后，连续接收第N-1(N为整数)次帧(例如，以下为了便于理解称作之前帧)的影像、第N次帧(例如，以下为了便于理解称作当前帧)的影像等。此时，所述被接收帧影像可以是由1024x768个像素组成的高解析度影像。各个像素的像素值可以包含YCbCr数据。

所述输入定标器114精简通过影像接收器112接收到的帧影像。例如，输入定标器114降低从影像接收器112接收到的各个帧的影像，如之前帧的影像、当前帧的影像等的解析度，从而精简为具有512x384个像素的影像。

所述帧影像的大小缩小比率，可以根据不同实施例进行多种变化。优选地，为了防止降低动态矢量计算效果以及通过该效果实现的修正效果的同时，将接收的帧影像的大小缩小到50％至70％左右，以提高运算效率。

信息转换器116将通过输入定标器114得到精简的影像的各个像素值转换成灰度级值。通过所述影像接收器112接收到的帧影像的各个像素具有亮度、色度、颜色等信息。计算动态矢量时，只依据亮度信息也可以计算出动态矢量。因此，信息转换器112将各个像素的值转换成灰度级值。

对于通过影像摄像器10拍摄的高解析度帧影像实施运算时，由于运算对象的像素数量过多且各个像素的信息量过大，需要使用容量大的存储器20且降低了运算效率。可是，利用通过所述输入处理器110得到处理的输入影像实施运算时，由于像素数量变少且各个像素的信息量变少，存储器20的使用容量变少且可以提高运算效率。实际上，通过实验对比使用原来影像通过计算出的动态矢量修正输出影像时的情况和使用所述已处理输入影像通过计算出的动态矢量修正输出影像时的情况之间的差异的结果，其差异非常小，以至于人几乎察觉不到。

2、输出定标器120。

如图4所示，输出定标器120精简从影像摄影器10依次接收到的帧影像，使其符合给定输出影像规格。例如，输出定标器(120按照显示器30要求的规格精简从影像摄影器10接收到的之前帧影像、当前帧影像等。

优选地，所述输出影像的规格小于所述输入影像的规格。例如，通过所述输入定标器114实施精简的输入影像的规格为512x384时，通过输出定标器120实施精简的输出影像的规格可以是320x240。

而且，所述输出定标器120提供可以设置所述输出影像规格的用户界面，并按照用户设定的规格调整输出影像的大小。

3、选择器130。

选择器130在从输入处理器110接收到的各个帧的输入影像中选择至少一个基准宏块和与各个基准宏块相对应的搜索区域。各个帧的基准宏块可以是该帧的搜索区域内的特定宏块。

修正影像时，要区别对待由于抖动引起的影像的移动和被拍摄的被摄体的移动。因此，为了生成经精确修正的影像，只需要修正除了被摄体移动之外的由于抖动引起的影像歪曲。通常情况下，拍摄影像时，大多都会将被摄体置于影像的中心部位。因此，为了实施准确的修正，优选地，以被摄体存在的比率较小的背景部分做为主计算动态矢量。因此，所述选择器130将与各个帧的输入影像的中心相隔一定间距的若干个单独区域选定为计算动态矢量的搜索区域。

也可以由用户设定所述搜索区域及基准宏块的位置。例如，选择器130提供设定搜索区域或者基准宏块的坐标的用户界面，并按照设定的坐标选择搜索区域和基准宏块。另外，也可以根据设置有活动影像抖动修正装置100的数码影像摄影装置1的硬件资源或者运算处理能力等，事先决定所述搜索区域和基准宏块的位置。

图6是说明通过选择器130选择的搜索区域及基准宏块的示意图。如图6所示，选择器130可以选择与各个帧的输入影像(IA)的中心相隔一定间距的4个搜索区域，如搜索区域SE1、SE2、SE3、SE4。各个搜索区域的规格为144x120。

所述选择器130使所述搜索区域包含于各个帧的输出影像(OA)的规格之内。例如，在输入影像(IA)的规格为512x384且输出影像(OA)的规格为360x240时，优选地，使搜索区域SE1、SE2、SE3、SE4包含于所述360x240之内的若干个搜索区域。

选择器130在各个搜索区域内将特定坐标的若干个宏块，如宏块D1、D2、D3、D4选择为基准宏块。图6所示例子中，将所述基准宏块分别设定成规格为96x72的块体。

如上所述，在选择器130接收之前帧的输入影像时，在所述之前帧的输入影像选择搜索区域和基准宏块并将其分别存储在存储器20，在接收当前帧的输入影像时，在所述当前帧的输入影像选择搜索区域和基准宏块并将其分别存储在存储器20里。此时，所述存储器20可以包括若干个线路存储器。例如，所述搜索区域、基准宏块等的像素数据可以分别存储在各个线路存储器里。

而且，本发明为了计算出当前帧的动态矢量，使用了之前帧的基准宏块和当前帧的搜索区域。对此，在以下详细说明运算器140和矢量计算器150的结构时，会做出详细的说明。

4、运算器140。

运算器140为了计算出核算修正当前帧所需动态矢量时使用的信息，利用在之前帧的输入影像中选择的基准宏块(即，之前帧的基准宏块)和在当前帧的输入影像中选择的搜索区域(即，当前帧的搜索区域)实施统计运算，从而计算出运算矩阵。例如，运算器140可以使之前帧的基准宏块与包含于当前帧的搜索区域的各个搜索块体相对应的同时，实施统计运算。

所述统计运算可以采用计算运算矩阵时需要的各种运算方法来实施，例如，可以采用绝对差之和(SAD，Sum of Absolute Difference)、差平方之和(SSD，Sum of Squared Difference)、均方误差(MSE，mean squared error)、平均绝对误差(MAE，Mean Absolute Error)或者平均绝对失真(MAD，Mean Absolute Distortion)等。可以根据设置有活动影像抖动修正装置100的数码影像摄影装置1的配置选择所述统计运算。优选地，使用仅由加法和减法运算组成的且可以实施迅速的运算处理的SAD运算法。

图7是图4所示运算器140的结构图。如图7所示，运算器140包括第1输入器142、第2输入器144及统计运算器146。

在修正当前帧的程序中，第1输入器142从存储器20加载存储在存储器20的之前帧的基准宏块的像素数据。而且，第2输入器144从存储器20加载存储在存储器20的当前帧的搜索区域的像素数据。

统计运算器146沿着垂直或者水平方向移动所述之前帧的基准宏块，以使其与包含于所述当前帧的搜索区域内的各个搜索块体相对应的同时，实施统计运算(例如，SAD运算等)，从而计算出运算矩阵(例如，SAD运算矩阵等)。

以下进一步详细说明所述运算器140的运行。首先，为了便于理解，假设基准宏块的规格为5x5且搜索区域的规格为9x9时，此规格并不具有局限性，所述宏块的规格可以根据实施例做出各种选择，如96x72等。与此相同，搜索区域的规格也同样可以根据实施例做出各种选择，如144x120等。

另外，即使选择了若干个基准宏块和搜索区域，可各个统计运算是相同的。鉴于此，以下举例说明利用一个基准宏块和搜索区域进行的统计运算。

表1

m11	m12	m13	m14	m15
					m21	m22	m23	m24	m25
m31	m32	m33	m34	m35
					m41	m42	m43	m44	m45
m51	m52	m53	m54	m55

表1是之前帧的基准宏块，表示规格为5x5的宏块。m11、m12、...、m55表示基准宏块内的像素。

表2

s11

s12

s13

s14

s15

s16

s17

s18

s19

s21

s22

s23

s24

s25

s26

s27

s28

s29

s31

s32

s33

s34

s35

s36

s37

s38

s39

s41

s42

s43

s44

s45

s46

s47

s48

s49

s51

s52

s53

s54

s55

s56

s57

s58

s59

s61

s62

s63

s64

s65

s66

s67

s68

s69

s71

s72

s73

s78

s75

s76

s77

s78

s79

s81

s82

s83

s84

s85

s86

s87

s88

s89

s91

s92

s93

s94

s95

s96

s97

s98

s99

表2是当前帧的搜索区域，表示规格为9x9的搜索区域。s11、s12、...、s99表示搜索区域内的像素。

表3

表3表示利用表1中之前帧的基准宏块和表2中当前帧的搜索区域实施统计运算的过程。

如表3所示，运算器140在搜索区域内沿着水平或者垂直方向每次都移动一行之前帧的基准宏块，从而使所述基准宏块与搜索区域内若干个搜索块体分别对应，从而实施统计运算。此时，所述搜索块体是指在搜索区域内移动基准宏块时分别对应的块体。因此，所述搜索块体的大小与基准宏块相同。

在所述搜索区域内，所述基准宏块的移动范围限于水平方向5行和垂直方向5行。因此，所述统计运算器完成运算之后，如表4所示，可以得出25个运算结果，即，可以计算出具有5x5个矩阵的运算矩阵。此时，所述运算矩阵的各个矩阵是指利用基准宏块的像素数据和与此相对应的搜索块体的像素数据实施统计运算，例如实施SAD运算的结果。

表4

SAD11	SAD12	SAD13	SAD14	SAD15
					SAD21	SAD22	SAD23	SAD24	SAD25
SAD31	SAD32	SAD33	SAD34	SAD35
					SAD41	SAD42	SAD43	SAD44	SAD45
SAD51	SAD52	SAD53	SAD54	SAD55

与此相同，假设在当前帧的搜索区域的规格为144x120且之前帧的基准宏块的规格为96x72时，所述基准宏块在所述搜索区域内可以沿着水平方向移动49行，沿着垂直方向移动49行。因此，根据通过运算器140进行统计运算的结果，为49x49的运算矩阵。

通过上述过程计算出运算矩阵之后，运算器140可以将所述运算矩阵存储在存储器20里。例如，所述运算矩阵可以存储在线路存储器里。

5、矢量计算器150。

矢量计算器150利用运算器140计算出的统计运算的结果，即，运算矩阵，计算出修正当前帧的输出影像的动态矢量。所述动态矢量是指在包含于所述搜索区域的若干个搜索块体中最类似于所述基准宏块的匹配块体和所述基准宏块的相对矢量值。

所述矢量计算器150从所述存储器20加载通过所述运算器140存储在存储器20的运算矩阵，从所述已加载运算矩阵中检测出具有最小值的点。而且，将与所述被检测的相对应的搜索块体视为匹配块体计算出其匹配块体的位置信息之后，基于计算出的位置信息计算出动态矢量。

所述矢量计算器150为了从运算矩阵检测出具有最小值的点，采用从所述运算矩阵的中心点沿着螺旋形方向搜索矩阵值的螺旋形搜索方式。

图8是通过矢量计算器实施的螺旋形搜索过程的示意图。如图8所示，矢量计算器150为了从运算矩阵检测出具有最小值的点，从运算矩阵的中心点C1开始沿着顺时针方向(或者沿着逆时针方向)进行旋转的同时，通过扩展其旋转半径的途径进行搜索。

而且，在检测出若干个具有最小值的点时，矢量计算器150检测出离中心点C1最近的点，从而计算出匹配块体的位置信息。例如，图8所示的B1表示具有最小值的点，A1和A2表示数值与所述B1相同的点。即，B1、A1和A2具有相同的最小值。此时，矢量计算器150可以检测出离中心点C1最近的B1。

6、修正器160。

修正器160采用通过矢量计算器150计算出的动态矢量修正输出定标器120实施精简的当前帧的输出影像。

例如，所述修正器160采用动态矢量整合法(MVI，Motion Vector Integration)判断所述动态矢量的特性是否与用户所愿动作一致，从而在发生违背用户意愿的动作时，即，抖动等动作时，调整输出影像的偏移等，从而将所述动态矢量反映到输出影像进行修正。

以上详细说明了本发明优选第1实施例中活动影像抖动修正装置100的结构。以下从解决方案的角度详细说明利用所述活动影像抖动修正装置100进行修正的过程。

图9是本发明优选第1实施例中活动影像抖动修正的方法流程图，主要示出了与当前帧的影像的修正程序相关的步骤。如上所述，为了修正当前帧的影像，使用了之前帧的信息和当前帧的信息。

如图9所示，活动影像抖动修正装置100首先处理从影像摄影器依次接收到的帧影像，从而生成各个帧的输入影像(步骤S1)。

例如，在从影像摄影器10接收之前帧的影像之后，活动影像抖动修正装置100精简已经接收到的之前帧的影像，并将各个像素值转换成灰度级信息。继而，在从影像摄影器10接收到当前帧的影像之后，活动影像抖动修正装置100精简所述已经接收到的当前帧的影像，并将各个像素值转换成灰度级信息。即，活动影像抖动修正装置100可以通过所述输入处理步骤(S1步骤)将高解析度彩色影像转换成精简的黑白影像(即，各个帧的输入影像)。

继而，活动影像抖动修正装置100在所述已经处理的各个帧的输入影像中选择搜索区域和基准宏块(步骤S2)。例如，活动影像抖动修正装置100在之前帧的输入影像中选择搜索区域和基准宏块，并将已经选择的之前帧的搜索区域和基准宏块的像素数据分别存储在存储器20里。继而，活动影像抖动修正装置100在当前帧的输入影像中选择搜索区域和基准宏块，并将选择的当前帧的搜索影像和基准宏块的像素数据存储在存储器20里。在所述被存储信息中，之前帧的基准宏块的像素数据、当前帧的搜索区域的像素数据等被用作计算当前帧的动态矢量的信息。

继而，活动影像抖动修正装置100使之前帧的基准宏块与包含于当前帧的搜索区域内的各个搜索块体相对应，从而实施统计运算(步骤S3)。例如，活动影像抖动修正装置100从存储器20加载之前帧的基准宏块的像素数据，并从存储器加载当前帧的搜索块体的像素数据。加载数据之后，活动影像抖动修正装置100使所述之前帧的基准宏块与包含于当前帧的搜索区域内的各个搜索块体相互对应的同时，实施统计运算，从而计算出运算矩阵，并将所述计算出的运算矩阵存储在存储器里。

然后，活动影像抖动修正装置100利用所述统计运算的结果计算出动态矢量(步骤S4)。例如，影响抖动活动影像抖动修正装置(100)加载存储在存储器20中的所述运算矩阵，并在所述已加载运算矩阵中检测出具有最小值的点。并且，在将与所述已经检测出的点相对应的搜索块体视为匹配块体计算出其匹配块体的位置信息之后，利用计算出的位置信息计算出动态矢量。

如上所述，所述活动影像抖动修正装置100为了在运算矩阵中检测出具有最小值的点而采用了螺旋形搜索方式。另外，在搜索结果中，具有最小值的点是若干个时，检测出其若干个点中离中心矩阵最近的点。

计算出动态矢量之后，活动影像抖动修正装置100利用所述计算出的动态矢量修正输出影像(步骤S5)。例如，活动影像抖动修正装置判断所述计算出的动态矢量的特性是不是符合用户意愿的动作之后，在其动作不符合用户意愿时，即，发生抖动等问题时，通过调整当前帧的输出影像的偏移等来修正当前帧的输出影像。此时，所述当前帧的输出影像也可以是事先通过活动影像抖动修正装置100进行调整的影像。

以上详细说明了本发明优选第1实施例中活动影像抖动修正装置100及方法。以下，将详细说明本发明优选实施例中可以大幅减少统计运算的运算量的第2实施例。

<第2实施例>

图10是图示本发明优选第2实施例中活动影像抖动修正装置的结构图。如图10所示，本发明优选第2实施例中抖动修正装置101可以进一步包括上述内容中予以说明的输入处理器110、选择器130、运算器140、矢量计算器150、输出定标器120、修正器160以及控制器180。

所述控制器180按照不同的像素分别计算出两个帧，例如，分别包含于之前帧和当前帧内的处于相同位置的宏块之间的像素值的差异值，并依据计算结果控制通过运算器进行的统计运算。例如，控制器180按照不同的像素分别计算出之前帧的搜索区域内特定宏块和当前帧中、位置与所述之前帧的特定宏块相同的宏块之间的像素值的差异值，并检测出所述差异值达到特定基准值或该基准值以上的像素，并控制运算器140，从而只对该被检测像素实施统计运算。

图11是所述控制器的结构图，图12是说明图11所示控制器180动作的流程图。如图11所示，控制器180包括差运算器182、位置信息计算器184以及对象控制器186。

如图11至图12所示，差运算器182分别从存储器加载之前帧的搜索区域内的特定宏块的像素数据和当前帧中位置与所述特定宏块相同的宏块的像素数据，并计算出各个像素之间的像素值的差异值(步骤S11)。优选地，所述特定宏块是指基准宏块。例如，所述差运算器182从存储器加载之前帧的基准宏块的像素数据和当前帧的基准宏块的像素数据，在将之前帧的基准宏块的各个像素值减去与该像素相对应的当前帧的像素值之后，计算出差值的绝对值。

本第2实施例中，与上述第1实施例相同，假设之前帧和当前帧的输入影像通过输入处理器110转换成黑白影像且在各个像素值为灰度级值时，所述差异值是指灰度级的差异值。

位置信息计算器184在对比所述差运算器182计算出的各个不同像素的像素值的差异值和事先设定的基准值之后，计算出所述差异值达到设定基准值或该基准值以上的像素的位置信息(步骤S12)。

对象控制器186控制运算器140，以使其依据所述计算出的位置信息对像素选择性地实施统计运算(步骤S13)。例如，对象控制器186控制运算器140，以使其将所述已经计算出的位置信息存储在存储器20里，从而在实施统计运算时，只针对之前帧的基准宏块的像素中与所述已存储位置信息相对应的像素实施统计运算。

以下参考表5至表8详细说明具有上述结构的控制器180的运行实例。

表5

255	250	246	100	10
					1	3	78	9	9
45	4	65	0	2
					78	35	45	23	23
24	9	79	76	36

表5表示之前帧的基准宏块的实例。如表5所示，假设基准宏块的规格为5x5且各个像素值表示灰度级值，灰度级为0至255，即，显示出8比特的亮度信息。

表6

255	252	242	100	8
					2	7	66	9	11

43	6	52	0	2
					70	24	32	34	23
21	5	73	65	30

表6表示与表5所示之前帧的基准宏块相对应的当前帧的基准宏块。所述之前帧的基准宏块和当前帧的基准宏块在该帧的输入影像内位于相同的坐标上。

控制器180从存储器20加载表5至表6分别表示的各个信息。例如，在将表5中宏块的各个像素值减去表6中宏块的各个像素值之后得到绝对值，并按照各个不同像素计算出灰度级的差异值，从而生成表7中矩阵。

表7

0	2	4	0	2
					1	4	12	0	2
2	2	13	0	0
					8	11	13	11	0
3	4	6	11	6

如表7所示，控制器20计算出之前帧的基准宏块和当前帧的基准宏块的各个不同像素的灰度级的差异值。

控制器20对比所述已经计算出的不同像素的差异值和事先设定的基准值，并检测出差异值达到所述基准值或该基准值以上的若干个像素的位置信息。即，当差异值大于基准值时，控制器20会认为该像素里存在着影像的变化，当差异值小于基准值时，控制器20会认为该像素里不存在影像的变化。

例如，所述基准值为10时，控制器20对比表7中各个差异值和基准值10，并对于差异值达到基准值以上的像素给予′1′代码，对于差异值没有达到基准值的像素给予′0′代码。此时，可以计算出表8中的矩阵型结果。

表8

0	0	0	0	0
					0	0	1	0	0
0	0	1	0	0

0	1	1	1	0
					0	0	0	1	0

如表8所示，在基准宏块中，位于(2，3)、(3，3)、(4，2)、(4，3)、(4，4)及(5，4)坐标的像素存在着影像的变化。

控制器180将表8中的位置信息存储到存储器20，例如，线路存储器里并进行控制，以使其在控制运算器140实施统计运算时，只针对相应于所述位置信息的像素实施统计运算。

例如，运算器140在搜索区域内沿着水平方向或者垂直方向每次移动一行之前帧的基准宏块，以使所述基准宏块分别与搜索区域内的搜索块体相对应，从而实施统计运算。

此时，控制器180控制所述运算器140，以使只针对相应于所述位置信息的像素利用基准宏块的像素值及对应的搜索块体的像素值实施统计运算。由于该控制器180的控制，运算器140计算出的运算矩阵只有在相应于所述位置信息的像素中存在统计运算值，至于其余像素，例如，可以设定为′0′等。

例如，在假设控制器180根据表8中的位置信息控制用于计算表4中的运算矩阵的统计运算时，表4中的运算矩阵只可以计算出与(2，3)、(3，3)、(4，2)、(4，3)、(4，4)及(5，4)的坐标相应的SAD23、SAD33、SAD42、SAD43、SAD44、SAD53值，其余坐标的值均为0。

以上详细说明了本发明优选第2实施例中活动影像抖动修正装置101及其相关方法。以下将详细说明对于所述第2实施例中控制器的运行进行变形的又另一实施例。

<第3实施例>

首先，本发明优选第3实施例中活动影像抖动修正装置的结构与图10所示第2实施例的结构相同，对于控制器的功能进行了变形。本第3实施例中控制器计算出之前帧的基准宏块和当前帧的宏块之间的各个像素值的差异值，并计算出在基准宏块中所述差异值达到第1基准值或该基准值以上的像素占据的比率。而且，只有在其计算出的比率达到第2基准值以上时，才可以充分地控制运算器。

图13是具有于本发明优选第3实施例中活动影像抖动修正装置的控制器的结构图，图14是说明图13所示控制器动作的流程图。

如图13所示，控制器280包括差运算器282、比率计算器286、位置信息计算器284及对象控制器288。

如图13至图14所示，差运算器282分别从各个存储器中20加载之前帧的基准宏块的像素数据和当前帧的基准宏块的像素数据，计算出各个像素之间的像素值的差异值(步骤S21)。例如，所述差运算器282从存储器20中加载之前帧的基准宏块的像素数据和当前帧的基准宏块的像素数据，并在将之前帧的基准宏块的各个像素值减去与该像素相对应的当前帧的像素值之后，计算出差值的绝对值。此时，计算出的差异值可以是灰度级等差异值。

位置信息计算器284在对比所述差运算器282计算出的各个不同像素的像素值的差异值和事先设定的第1基准值之后，计算出所述差异值达到第1基准值或该基准值以上的像素的位置信息(步骤S22)。

比率计算器(286)计算出在基准宏块中所述差异值达到第1基准值或该基准值以上的像素占据的比率(步骤S23)。例如，如表8所示的实例中，宏块的全部像素是25个，差异值达到特定基准值或该基准值以上的像素是6个。因此，所述比率计算器286计算出的所述差异值达到第1基准值或该基准值以上的像素的比率为“24％”。

对象控制器288对比所述已计算出的比率和事先设定的第2基准值(步骤S24)。此时，如果所述已计算出的比率没有达到事先设定的第2基准值时，对象控制器288控制运算器140，以使其依据所述已计算位置信息实施统计运算(步骤S25)。例如，对象控制器288将所述已计算出的位置信息存储在存储器20里并控制运算器140，以使其在实施统计运算时，只针对之前帧的基准宏块的像素中相应于所述已存储位置信息的像素实施统计运算。

与此相反，对比所述已计算出的比率和第2基准值后得到的结果，如果所述已计算出的比率达到事先设定的第2基准值以上时，对象控制器288控制运算器140，以使其在实施统计运算时，对于包含于之前帧的基准矩阵的所有像素实施统计运算(步骤S27)。

以上通过第2实施例及第3实施例详细说明了控制器运算之前帧的宏块和位置与其相同的当前帧的宏块的像素值，进而控制运算器的实施例。由于该控制器的运行，不仅可以史无前例地缩小运算量，还可以准确地辨别实际上不存在晃动现象的像素，并且可被反应到统计运算当中。

与此同时，为了控制修正当前帧所需的统计运算，本发明还可以运算出之前帧(即，第N-1帧)和该之前帧的在先帧(即，第N-2帧)的宏块的像素值。例如，控制器分别计算出所述在先帧的基准宏块及在先帧的基准宏块之间的像素值的差异值，并检测出所述差异值达到第1基准值或该基准值以上的像素的位置信息之后，对于当前帧实施统计运算时，以位置信息为基础控制统计运算。此时，计算所述差异值达到第1基准值或该基准值以上的像素的比率并与第2基准值进行对比，从而决定控制方式。

以上参照优选实施例详细说明了本发明。本发明所属领域技术人员应当理解，在不脱离权利要求书中记载的本发明的技术思想和权利要求范围的前提下，可以对于本发明实施各种修改和变更。因此，今后对于本发明中实施例进行的变更均应涵盖于本发明的技术范畴当中。

Claims

1.一种活动影像抖动修正装置，其特征在于，包括选择器、运算器和矢量计算器；该选择器在第1帧的输入影像中选择至少一个基准宏块并在第2帧的输入影像中选择与所述至少一个基准宏块相对应的至少一个搜索区域；该运算器与所述选择器连接，并使所述第1帧的基准宏块与包含于所述第2帧的搜索区域的各个搜索块体相对应而实施统计运算；该矢量计算器与所述运算器连接，并利用所述统计运算的结果计算修正所述第2帧输出影像所需动态矢量。

2.根据权利要求1所述的活动影像抖动修正装置，其特征在于：所述至少一个搜索区域是离所述第2帧的输入影像的中心相隔一定间距的若干个单独区域。

3.根据权利要求1所述的活动影像抖动修正装置，其特征在于：所述第1帧的基准宏块包含于所述第1帧的搜索区域，所述第1帧的搜索区域和所述第2帧的搜索区域在输入影像位于相同的坐标上。

4.根据权利要求1所述的活动影像抖动修正装置，其特征在于：所述选择器将所述第1帧的基准宏块的像素数据及所述第2帧的搜索区域的像素数据存储在存储器里。

5.根据权利要求4所述的活动影像抖动修正装置，其特征在于：所述运算器包括第1输入器、第2输入器和统计运算器；该第1输入器加载存储于所述存储器的所述第1帧的基准宏块的像素数据；该第2输入器加载存储于所述存储器的所述第2帧的搜索区域的像素数据；该统计运算器与所述第1输入器及第2输入器连接，并沿着垂直或者水平方向移动所述第1帧的基准宏块，以使其与包含于所述第2帧的搜索区域内的各个搜索块体相对应的同时，实施所述统计运算，从而计算出运算矩阵，并将所述计算出的运算矩阵存储在所述存储器里。

6.根据权利要求1所述的活动影像抖动修正装置，其特征在于：可以进一步包括与所述选择器及所述运算器连接、用于运算所述第1帧的特定宏块的像素数据和位于与所述第1帧的特定宏块相同的坐标的所述第2帧的宏块的像素数据，并基于所述运算信息通过所述运算器控制所述统计运算的控制器。

7.根据权利要求6所述的活动影像抖动修正装置，其特征在于：所述特定宏块是基准宏块；所述控制器包括差运算器、位置信息计算器和对象控制器；该差运算器加载所述第1帧的基准宏块的像素数据和所述第2帧的基准宏块的像素数据，并分别计算所述第1帧的基准宏块和所述第2帧的基准宏块之间的像素值差异值；该位置信息计算器与所述差运算器连接，并计算出所述差异值达到事先设定的基准值或该基准值以上的像素的位置信息；该对象控制器与所述位置信息计算器连接，并控制所述运算器，以使其只针对所述第1帧的基准宏块的像素中与所述已计算位置信息相应的像素实施所述统计运算。

8.根据权利要求6所述的活动影像抖动修正装置，其特征在于：所述特定宏块是基准宏块；所述控制器可以进一步包括差运算器、位置信息计算器、比率计算器和对象控制器；该差运算器加载所述第1帧的基准宏块的像素数据和所述第2帧的基准宏块的像素数据分别计算所述第1帧的基准宏块和所述第2帧的基准宏块之间的像素值差异值；该位置信息计算器与所述差运算器连接，并计算出所述差异值达到事先设定的基准值或该基准值以上的像素的位置信息；该比率计算器与所述差运算器连接，并计算出所述差异值达到事先设定的第1基准值或该基准值以上的像素在基准宏块中占据的比率；该对象控制器与所述位置信息计算器及所述比率计算器连接，并控制所述运算器，以使其所述计算出的比率在没有达到事先设定的第2基准值时只针对所述第1帧的基准宏块的像素中相应于所述位置信息的像素实施所述统计运算，在所述比率达到事先设定的第2基准值或该基准值以上时，针对所述第1帧的基准宏块的所有像素实施所述统计运算。

9.根据权利要求1所述的活动影像抖动修正装置，其特征在于：可以进一步包括与所述选择器和所述运算器连接的、运算所述第1帧的特定宏块的像素数据和位于与所述第1帧的特定宏块相同的坐标的所述第1帧的之前帧的宏块的像素数据，并基于所述运算信息通过所述运算器控制所述统计运算的控制器。

10.根据权利要求1所述的活动影像抖动修正装置，其特征在于：可以进一步包括与所述选择器连接的、并分别从外部接收第1帧及第2帧的影像以实施精简，并将所述精简影像的各个像素值转换成灰度级值，从而分别生成所述第1帧的输入影像和第2帧的输入影像的输入处理器。

11.根据权利要求10所述的活动影像抖动修正装置，其特征在于：所述输入处理器包括影像接收器、输入定标器和信息转换器；该影像接收器从影像摄影器分别接收所述第1帧及所述第2帧的影像；该输入定标器与所述影像接收器连接，并降低所述已接收第1帧及第2帧的影像的解析度；该信息转换器与所述输入定标器连接，并将通过所述输入定标器得到经处理的影像的各个像素值转换成灰度级值。

12.根据权利要求1所述的活动影像抖动修正装置，其特征在于：可以进一步包括分别从外部接收第1帧及第2帧的影像并将其规格精简为输出影像的规格的输出定标器。

13.根据权利要求12所述的活动影像抖动修正装置，其特征在于：可以进一步包括与所述输出定标器连接的、并对于利用所述已计算出的动态矢量通过所述输出定标器得到精简的所述第2帧的输出影像实施修正的修正器。

14.根据权利要求1所述的活动影像抖动修正装置，其特征在于：所述矢量计算器从通过所述统计运算计算出的运算矩阵中检测出具有最小值的点，从而计算出包含于所述第2帧的搜索区域的搜索块体中匹配块体的位置信息，并基于所述已计算出的匹配块体的位置信息计算出所述动态矢量。

15.根据权利要求14所述的活动影像抖动修正装置，其特征在于：为了从所述运算矩阵检测出具有所述最小值的点，所述矢量计算器采用从所述运算矩阵的中心部分沿着螺旋方向搜索矩阵数值的螺旋形搜索方式。

16.一种活动影像抖动修正方法，其特征在于：包括从第1帧的输入影像选择至少一个基准宏块的步骤、从第2帧的输入影像选择与所述至少一个基准宏块相对应的至少一个搜索区域的步骤、使所述第1帧的基准宏块与包含于所述第2帧的搜索区域的各个搜索块体相对应从而实施统计运算的步骤以及利用所述统计运算的结果计算出修正所述第2帧的输出影像时所需要的动态矢量的步骤。

17.根据权利要求16所述的活动影像抖动修正方法，其特征在于：进一步包括加载所述第1帧的基准宏块的像素数据的步骤、加载位于与所述第1帧的基准宏块相同的坐标的所述第2帧的基准宏块的步骤、运算包含所述已经加载的第1帧的基准宏块的像素数据和所述已经加载的第2帧的基准宏块的像素数据在内的信息的步骤以及依据所述已运算出的信息控制所述统计运算的步骤。

18.根据权利要求17所述的活动影像抖动修正方法，其特征在于：所述运算步骤包括计算出所述第1帧的基准宏块和所述第2帧的基准宏块之间的像素值的差异值的步骤、对比第1基准值与所述已计算出的差异值的步骤以及计算出所述已计算出的差异值达到第1基准值或该基准值以上的像素的位置信息的步骤。

19.根据权利要求18所述的活动影像抖动修正方法，其特征在于：所述控制统计运算的步骤包括只针对所述第1帧的基准宏块的像素中与所述位置信息相应的像素实施所述统计运算的步骤。

20.根据权利要求18所述的活动影像抖动修正方法，其特征在于：所述运算步骤进一步包括计算出所述已计算出的差异值达到第1基准值或该基准值以上的像素在基准宏块中占据的比率的步骤以及对比第2基准值与所述已计算出的比率的步骤；所述控制统计运算的步骤包括采用对比所述已计算出的比率和所述第2基准值后得到的结果信息和所述已计算出的位置信息中的至少一个控制所述统计运算的步骤。