CN102457672A - 影像稳定系统及方法 - Google Patents

Abstract

一种影像稳定系统，应用于影像处理装置。该系统读取连续影像各影像帧的Y轴同一侧边缘直行/X轴同一侧边缘横列的像素点信息，根据读取的信息建立各影像帧Y轴/X轴的特征曲线样本，比较各影像帧Y轴/X轴的特征曲线样本，计算各影像帧Y轴/X轴方向的稳定区域，并将各影像帧根据Y轴/X轴方向的稳定区域进行对齐后，剪切掉各影像帧中Y轴/X轴方向的稳定区域以外的其它影像区域，以降低各影像帧Y轴/X轴方向的影像晃动程度。本发明还提供一种影像稳定方法。

Description

影像稳定系统及方法

技术领域

本发明涉及一种影像处理系统及方法，尤其是关于一种影像稳定系统及方法。

背景技术

在拍摄连续影像的过程中，由于外部原因引起的摄影装置的震动，例如用户把持摄影装置不稳或安装摄影装置的载体(例如汽车)处于震动状态，会导致拍摄的连续影像晃动。

目前，对晃动的连续影像进行处理以获得稳定的连续影像，一般采取的是全域扫描的方法。如图3所示，是待处理的晃动的连续影像，全域扫描则是以该连续影像中的第一个影像帧(t＝0)为基准帧，将后续各影像帧中的所有像素点与基准帧中的所有像素点进行比较，查找各影像帧中与基准帧中具有相同特征点的稳定区域，再将各影像帧根据稳定区域进行对齐作业，以降低连续影像的晃动程度。然而，全域扫描的方法给计算机处理器带来巨大的运算量，处理速度较慢。

发明内容

鉴于以上内容，有必要提供一种影像稳定系统及方法，可以减少处理晃动的连续影像的运算量，提高影像处理速度。

一种影像稳定系统，应用于影像处理装置。该系统包括影像边缘信息读取模块、样本建立模块、稳定区域计算模块及影像帧对齐模块。影像边缘信息读取模块，用于读取连续影像各影像帧的Y轴同一侧边缘直行/X轴同一侧边缘横列的像素点信息，包括像素点数目、各像素点的编号及灰度值。样本建立模块，用于根据读取的信息建立各影像帧Y轴/X轴的特征曲线样本，每一个特征曲线样本包括相应影像帧Y轴同一侧边缘直行/X轴同一侧边缘横列上的像素点数目、各像素点的编号及灰度值，以及相邻像素点灰度值的差值。稳定区域计算模块，用于比较各影像帧Y轴/X轴的特征曲线样本，计算各影像帧Y轴/X轴方向的稳定区域。影像帧对齐模块，用于将各影像帧根据Y轴/X轴方向的稳定区域进行对齐，并剪切掉各影像帧中Y轴/X轴方向的稳定区域以外的其它影像区域，以降低各影像帧Y轴/X轴方向的影像晃动程度。

一种影像稳定方法，应用于影像处理装置。该方法包括：(a)读取连续影像各影像帧的Y轴同一侧边缘直行/X轴同一侧边缘横列的像素点信息，包括像素点数目、各像素点的编号及灰度值；(b)根据读取的信息建立各影像帧Y轴/X轴的特征曲线样本，每一个特征曲线样本包括相应影像帧Y轴同一侧边缘直行/X轴同一侧边缘横列上的像素点数目、各像素点的编号及灰度值，以及相邻像素点灰度值的差值；(c)比较各影像帧Y轴/X轴的特征曲线样本，计算各影像帧Y轴/X轴方向的稳定区域；及(d)将各影像帧根据Y轴/X轴方向的稳定区域进行对齐，并剪切掉各影像帧中Y轴/X轴方向的稳定区域以外的其它影像区域，以降低各影像帧Y轴/X轴方向的影像晃动程度。

相较于现有技术，本发明提供的影像稳定系统及方法仅针对连续影像根据所有影像帧的Y轴同一侧边缘直行/X轴同一侧边缘横列的像素点进行对齐作业，减少了处理晃动的连续影像的运算量，提高了影像处理速度。

附图说明

图1是本发明影像稳定系统较佳实施例的应用环境图。

图2是本发明影像稳定方法较佳实施例的流程图。

图3是一笔连续影像的示意图。

图4至图7是利用本发明提供的影像稳定系统及方法处理另一笔连续影像的示意图。

主要元件符号说明

影像处理装置	100
		影像稳定系统	10
影像边缘信息读取模块	11
		样本建立模块	12
稳定区域计算模块	13
		影像帧对齐模块	14
存储器	20
		处理器	30
显示器	40

具体实施方式

参阅图1所示，是本发明影像稳定系统10较佳实施例的应用环境图。该影像稳定系统10应用于影像处理装置100。该影像处理装置100可以为摄影机、计算机或其它具有数据处理能力的电子装置。参阅图1所示，该影像处理装置100还包括存储器20、处理器30及显示器40。

在本实施例中，该影像稳定系统10包括影像边缘信息读取模块11、样本建立模块12、稳定区域计算模块13及影像帧对齐模块14。存储器20存储上述模块11至14的程序化代码，处理器30执行这些程序化代码，对连续影像进行处理，以获得稳定的连续影像。显示器40显示处理后得到的稳定的连续影像。

影像边缘信息读取模块11用于读取连续影像各影像帧的Y轴同一侧边缘直行的像素点信息，包括像素点数目、各像素点的编号及灰度值。图4示出一笔连续影像不同时刻的影像帧(图4中仅示出t＝0s，1s，2s对应的三张影像帧)。影像边缘信息读取模块11根据该连续影像的分辨率确定各影像帧的X、Y轴分布的像素点数目。例如，若该连续影像的分辨率为320*240，则各影像帧的X轴方向分布320个像素点，Y轴方向分布240个像素点。在图4中，与X轴平行的直线及与Y轴平行的直线的交点表示各影像帧的像素点。在本实施例中，影像边缘信息读取模块11读取连续影像各影像帧Y轴右侧边缘直行的像素点信息。在其它实施例中，影像边缘信息读取模块11可以读取连续影像各影像帧Y轴左侧边缘直行的像素点信息。

需要指出的是，若连续影像为彩色影像，则影像边缘信息读取模块11先将连续影像由彩色影像转换为灰度影像，得到连续影像各影像帧Y轴边缘直行的像素点的灰度值。

样本建立模块12用于根据读取的信息建立各影像帧Y轴的特征曲线样本，每一个特征曲线样本包括相应影像帧Y轴边缘直行上的像素点数目、各像素点的编号及灰度值，以及相邻像素点灰度值的差值。样本建立模块12根据t＝0s对应的影像帧的Y轴边缘直行上各像素点的灰度值计算相邻像素点灰度值的差值，并将该影像帧的Y轴边缘直行上的像素点数目、各像素点的编号及灰度值，以及相邻像素点灰度值的差值记录到该影像帧Y轴的特征曲线样本。图4中示出根据t＝0s，1s，2s对应的三张影像帧的Y轴的特征曲线样本产生的Y轴边缘直行上的特征曲线图。在各特征曲线图中，Y轴表示相应影像帧右侧Y轴边缘直行的像素点编号，X轴表示各像素点的灰度值。例如，从图4中t＝0s对应的影像帧的Y轴的特征曲线图中，可以得到该影像帧右侧Y轴边缘直行的像素点编号0，1，2，...，9，...，各像素点的灰度值分别为255，150，180，...，150，...。

稳定区域计算模块13用于比较各影像帧Y轴的特征曲线样本，计算各影像帧Y轴方向的稳定区域。所述Y轴方向的稳定区域指的是与各影像帧Y轴边缘直行满足第一预设要求的第一预设数目n1个连续像素点对应的影像区域。例如，假设用户预先设定处理后得到的各影像帧Y轴边缘直行需要保留7个连续的像素点，且该7个连续的像素点中相邻的每两个像素点灰度值的差值允许的误差范围分别为(a1，b1)，(a2，b2)，(a3，b3)，(a4，b4)，(a5，b5)及(a6，b6)，则稳定区域计算模块13对图4所示的t＝0s，1s，2s对应的三张影像帧的Y轴的特征曲线样本进行比较，在各特征曲线样本中查找满足上述要求的7个连续像素点。

在稳定区域的计算过程中，可能会出现以下情况：某一个影像帧Y轴的特征曲线样本中有一定数目m1的连续像素点，且m1＜n1，但是该m1个连续像素点中相邻的每两个像素点灰度值的差值满足预设要求。在这种情况下，稳定区域计算模块13对该影像帧进行Y轴稳定性补偿：增加n1-m1个具有相应灰度值的像素点至该影像帧Y轴的特征曲线样本，使得该影像帧Y轴边缘直行具有满足第一预设要求的第一预设数目n1个连续像素点。例如，假设稳定区域计算模块13在图4中t＝1s对应的影像帧Y轴的特征曲线样本查找到6个连续的像素点，但该6个连续的像素点中相邻的每两个像素点灰度值的差值分别落入允许的误差范围(a1，b1)，(a2，b2)，(a3，b3)，(a4，b4)及(a5，b5)，则稳定区域计算模块13增加1个像素点至该影像帧Y轴的特征曲线样本作为第7个连续的像素点，在补偿后得到的7个连续的像素点中，该增加的1个像素点的灰度值与其相邻像素点的灰度值的误差值落入允许的误差范围(a6，b6)。

影像帧对齐模块14用于将各影像帧根据Y轴方向的稳定区域进行对齐，并剪切掉各影像帧中Y轴方向的稳定区域以外的其它影像区域，以降低各影像帧Y轴方向的影像晃动程度。如图5所示，水平方向两条虚线界定的区域表示t＝0s，1s，2s对应的三张影像帧Y轴方向的稳定区域。影像帧对齐模块14将该三张影像帧根据该Y轴方向的稳定区域进行对齐，并剪切掉该三张影像帧中除Y轴方向的稳定区域以外的其它影像区域，得到图5中箭头下方分别与t＝0s，1s，2s对应的处理后的三张影像帧。

影像边缘信息读取模块11还用于读取连续影像各影像帧X轴同一侧(例如上侧)边缘横列的像素点信息，样本建立模块12还用于根据读取的信息建立各影像帧的X轴的特征曲线样本(如图6所示)。具体方法与上述建立各影像帧的Y轴的特征曲线样本类似，在此不再赘述。

稳定区域计算模块13还用于比较各影像帧的X轴的特征曲线样本，计算各影像帧的X轴方向的稳定区域。所述X轴方向的稳定区域指的是与各影像帧X轴边缘横列满足第二预设要求的第二预设数目n2个连续像素点对应的影像区域。具体方法与上述计算各影像帧Y轴方向的稳定区域类似，在此不再赘述。

需要指出的是，若某一个影像帧X轴的特征曲线样本中有一定数目m2的连续像素点，且m2＜n2，但是该m2个连续像素点中相邻的每两个像素点灰度值的差值满足预设要求。在这种情况下，稳定区域计算模块13对该影像帧进行X轴稳定性补偿：增加n2-m2个具有相应灰度值的像素点至该影像帧X轴的特征曲线样本，使得该影像帧X轴边缘横列具有满足第二预设要求的第二预设数目n2个连续像素点。

影像帧对齐模块14还用于将各影像帧根据X轴方向的稳定区域进行对齐，并剪切掉各影像帧中X轴方向的稳定区域以外的其它影像区域，以降低各影像帧X轴方向的影像晃动程度(如图7所示)。具体方法与上述将各影像帧根据Y轴方向的稳定区域进行对齐类似，在此不再赘述。

参阅图2所示，是本发明影像稳定方法较佳实施例的流程图。图2中步骤S101至S107可以移至步骤S113之后。

步骤S101，影像边缘信息读取模块11用于读取连续影像各影像帧的同一侧Y轴边缘直行的像素点信息，包括像素点数目、各像素点的编号及灰度值。如图4示所示，为一笔连续影像在t＝0s，1s，2s对应的三张影像帧。在本实施例中，若该连续影像的分辨率为320*240，则影像边缘信息读取模块11读取右侧边缘直行的240个像素点。若连续影像为彩色影像，则在步骤S101之前，影像边缘信息读取模块11先将连续影像由彩色影像转换为灰度影像，得到连续影像各影像帧Y轴边缘直行的像素点的灰度值。

步骤S103，样本建立模块12建立各影像帧Y轴的特征曲线样本，每一个特征曲线样本包括相应影像帧Y轴边缘直行上的像素点数目、各像素点的编号及灰度值，以及相邻像素点灰度值的差值。图4中示出根据t＝0s，1s，2s对应的三张影像帧的Y轴的特征曲线样本产生的Y轴边缘直行上的特征曲线图。在各特征曲线图中，Y轴表示相应影像帧右侧Y轴边缘直行的像素点编号，X轴表示各像素点的灰度值。例如，从图4中t＝0s对应的影像帧的Y轴的特征曲线图中，可以得到该影像帧右侧Y轴边缘直行的像素点编号0，1，2，...，9，...，各像素点的灰度值分别为255，150，180，...，150，...。

步骤S105，稳定区域计算模块13比较各影像帧Y轴的特征曲线样本，计算各影像帧Y轴方向的稳定区域。所述Y轴方向的稳定区域指的是与各影像帧Y轴边缘直行满足第一预设要求的第一预设数目n1个连续像素点对应的影像区域。例如，假设用户预先设定处理后得到的各影像帧Y轴边缘直行需要保留7个连续的像素点，且该7个连续的像素点中相邻的每两个像素点灰度值的差值允许的误差范围分别为(a1，b1)，(a2，b2)，(a3，b3)，(a4，b4)，(a5，b5)及(a6，b6)，则稳定区域计算模块13对图4所示的t＝0s，1s，2s对应的三张影像帧的Y轴的特征曲线样本进行比较，在各特征曲线样本中查找满足上述要求的7个连续像素点。

在稳定区域的计算过程中，可能会出现以下情况：某一个影像帧Y轴的特征曲线样本中有一定数目m1的连续像素点，且m1＜n1，但是该m1个连续像素点中相邻的每两个像素点灰度值的差值满足预设要求。在这种情况下，稳定区域计算模块13对该影像帧进行稳定性补偿：增加n1-m1个具有相应灰度值的像素点至该影像帧Y轴的特征曲线样本，使得该影像帧Y轴边缘直行具有满足第一预设要求的第一预设数目n1个连续像素点。

步骤S107，影像帧对齐模块14将各影像帧根据Y轴方向的稳定区域进行对齐，并剪切掉各影像帧中Y轴方向的稳定区域以外的其它影像区域。如图5所示，水平方向两条虚线界定的区域表示t＝0s，1s，2s对应的三张影像帧Y轴方向的稳定区域。影像帧对齐模块14将该三张影像帧根据该Y轴方向的稳定区域进行对齐，并剪切掉该三张影像帧中除Y轴方向的稳定区域以外的其它影像区域，得到图5中箭头下方分别与t＝0s，1s，2s对应的处理后的三张影像帧。

步骤S109，影像边缘信息读取模块11读取连续影像各影像帧同一侧(例如上侧)X轴边缘横列的像素点信息，样本建立模块12建立各影像帧的X轴的特征曲线样本(如图6所示)。具体方法与上述建立各影像帧的Y轴的特征曲线样本类似，在此不再赘述。

步骤S111，稳定区域计算模块13比较各影像帧的X轴的特征曲线样本，计算各影像帧的X轴方向的稳定区域。所述X轴方向的稳定区域指的是与各影像帧X轴边缘横列满足第二预设要求的第二预设数目n2个连续像素点对应的影像区域。具体方法与上述计算各影像帧Y轴方向的稳定区域类似，在此不再赘述。

需要指出的是，若某一个影像帧X轴的特征曲线样本中有一定数目m2的连续像素点，且m2＜n2，但是该m2个连续像素点中相邻的每两个像素点灰度值的差值满足预设要求。在这种情况下，稳定区域计算模块13对该影像帧进行稳定性补偿：增加n2-m2个具有相应灰度值的像素点至该影像帧X轴的特征曲线样本，使得该影像帧X轴边缘横列具有满足第二预设要求的第二预设数目n2个连续像素点。

步骤S113，影像帧对齐模块14将各影像帧根据X轴方向的稳定区域进行对齐，并剪切掉各影像帧中X轴方向的稳定区域以外的其它影像区域(如图7所示)。具体方法与上述将各影像帧根据Y轴方向的稳定区域进行对齐类似，在此不再赘述。

最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。

Claims (8)

1.一种影像稳定系统，应用于影像处理装置，其特征在于，该系统包括：

影像边缘信息读取模块，用于读取连续影像各影像帧的Y轴同一侧边缘直行的像素点信息，包括像素点数目、各像素点的编号及灰度值；

样本建立模块，用于根据读取的信息建立各影像帧Y轴的特征曲线样本，每一个特征曲线样本包括相应影像帧Y轴边缘直行上的像素点数目、各像素点的编号及灰度值，以及相邻像素点灰度值的差值；

稳定区域计算模块，用于比较各影像帧Y轴的特征曲线样本，计算各影像帧Y轴方向的稳定区域，所述Y轴方向的稳定区域指的是与各影像帧Y轴边缘直行满足第一预设要求的第一预设数目n1个连续像素点对应的影像区域；

影像帧对齐模块，用于将各影像帧根据Y轴方向的稳定区域进行对齐，并剪切掉各影像帧中Y轴方向的稳定区域以外的其它影像区域，以降低各影像帧Y轴方向的影像晃动程度；

影像边缘信息读取模块，还用于读取连续影像各影像帧X轴同一侧边缘横列的像素点信息；

样本建立模块还用于根据读取的信息建立各影像帧的X轴的特征曲线样本；

稳定区域计算模块，还用于比较各影像帧的X轴的特征曲线样本，计算各影像帧X轴方向的稳定区域，所述X轴方向的稳定区域指的是与各影像帧X轴边缘横列满足第二预设要求的第二预设数目n2个连续像素点对应的影像区域；及

影像帧对齐模块，还用于将各影像帧根据X轴方向的稳定区域进行对齐，并剪切掉各影像帧中X轴方向的稳定区域以外的其它影像区域，以降低各影像帧X轴方向的影像晃动程度。

2.如权利要求1所述的影像稳定系统，其特征在于，若所述连续影像为彩色影像，则所述影像边缘信息读取模块还用于将该连续影像由彩色影像转换为灰度影像，得到连续影像各影像帧Y轴边缘直行的像素点的灰度值。

3.如权利要求1所述的影像稳定系统，其特征在于，若某一个影像帧Y轴的特征曲线样本中有一定数目m1的连续像素点，且m1＜n1，但是该m1个连续像素点中相邻的每两个像素点灰度值的差值满足第一预设要求，则稳定区域计算模块还用于对该影像帧进行Y轴稳定性补偿：增加n1-m1个具有相应灰度值的像素点至该影像帧Y轴的特征曲线样本，使得该影像帧Y轴边缘直行具有满足第一预设要求的第一预设数目n1个连续像素点。

4.如权利要求1所述的影像稳定系统，其特征在于，若某一个影像帧X轴的特征曲线样本中有一定数目m2的连续像素点，且m2＜n2，但是该m2个连续像素点中相邻的每两个像素点灰度值的差值满足第二预设要求，则所述稳定区域计算模块还用于对该影像帧进行X轴稳定性补偿：增加n2-m2个具有相应灰度值的像素点至该影像帧X轴的特征曲线样本，使得该影像帧X轴边缘横列具有满足第二预设要求的第二预设数目n2个连续像素点。

5.一种影像稳定方法，应用于影像处理装置，其特征在于，该方法包括：

第一读取步骤：读取连续影像各影像帧的Y轴同一侧边缘直行的像素点信息，包括像素点数目、各像素点的编号及灰度值；

第一建立步骤：根据读取的信息建立各影像帧Y轴的特征曲线样本，每一个特征曲线样本包括对应影像帧Y轴边缘直行上的像素点数目、各像素点的编号及灰度值，以及相邻像素点灰度值的差值；

第一计算步骤：比较各影像帧Y轴的特征曲线样本，计算各影像帧Y轴方向的稳定区域，所述稳定区域指的是与各影像帧Y轴边缘直行满足第一预设要求的第一预设数目n1个连续像素点对应的影像区域；

第一对齐步骤：将各影像帧根据Y轴方向的稳定区域进行对齐，并剪切掉各影像帧中Y轴方向的稳定区域以外的其它影像区域，以降低各影像帧Y轴方向的影像晃动程度；

第二读取步骤：读取连续影像各影像帧X轴同一侧边缘横列的像素点信息；

第二建立步骤：根据读取的信息建立各影像帧的X轴的特征曲线样本；

第二计算步骤：比较各影像帧的X轴的特征曲线样本，计算各影像帧的X轴方向的稳定区域，所述稳定区域指的是与各影像帧X轴边缘横列满足第二预设要求的第二预设数目n2个连续像素点对应的影像区域；及

第二对齐步骤：将各影像帧根据X轴方向的稳定区域进行对齐，并剪切掉各影像帧中X轴方向的稳定区域以外的其它影像区域，以降低各影像帧X轴方向的影像晃动程度。

6.如权利要求5所述的影像稳定方法，其特征在于，若所述连续影像为彩色影像，则所述第一读取步骤前还包括步骤：将该连续影像由彩色影像转换为灰度影像，得到连续影像各影像帧Y轴边缘直行的像素点的灰度值。

7.如权利要求5所述的影像稳定方法，其特征在于，若某一个影像帧Y轴的特征曲线样本中有一定数目m1的连续像素点，且m1＜n1，但是该m1个连续像素点中相邻的每两个像素点灰度值的差值满足第一预设要求，则所述第一计算步骤还包括对该影像帧进行Y轴稳定性补偿的步骤：增加n1-m1个具有相应灰度值的像素点至该影像帧Y轴的特征曲线样本，使得该影像帧Y轴边缘直行具有满足第一预设要求的第一预设数目n1个连续像素点。

8.如权利要求5所述的影像稳定方法，其特征在于，若某一个影像帧X轴的特征曲线样本中有一定数目m2的连续像素点，且m2＜n2，但是该m2个连续像素点中相邻的每两个像素点灰度值的差值满足第二预设要求，则所述第二计算步骤还包括对该影像帧进行X轴稳定性补偿的步骤：增加n2-m2个具有相应灰度值的像素点至该影像帧X轴的特征曲线样本，使得该影像帧X轴边缘横列具有满足第二预设要求的第二预设数目n2个连续像素点。

Images