发明内容
有鉴于此,本发明的主要目的在于实现快速图像电子稳定。
为达到上述目的,按照本发明的第一个方面,提供了一种快速图像电子稳定方法,该方法包括步骤:
第一步骤,将参考图像分块,计算每个图像块的纹理特征,根据纹理特征获取基准图像块;
第二步骤,在当前图像内搜索基准图像块的匹配区域,根据匹配区域估算图像的相对位移。
其中,第一步骤中所述将参考图像
分块:将参考图像网格化划分成16﹡16共256个图像块
,
。
第一步骤中所述计算每个图像块的纹理特征包括:
计算纹理丰富性特征包括:首先根据图像块
在参考图像上的位置,沿着8个方向各平移一个像素,即
,以获得8个子图像;将图像块与上述8个方向的子图像分别进行差分,并将像素差分绝对值的累加值作为区域的相似度量
;取上述8个相似度量的最小值作为纹理丰富性特征,即
;
第一步骤中所述根据纹理特征获取基准图像块包括:使用纹理丰富性特征将图像块按照从大到小的顺序排序;选取前
个图像块
,
作为基准图像块
,
。
第二步骤中所述在当前图像内搜索基准图像块的匹配区域包括:在当前图像对应位置的8*8邻域内,遍历搜索与基准图像块匹配的区域,计算每个区域的相似度量
,并以相似度量最小的区域作为匹配区域,记录匹配区域与基准图像块的相对位移量
和匹配相似度量
;若匹配相似度量
﹤图像匹配阈值
,则认为基准图像块搜索匹配成功。
第二步骤中所述根据匹配区域估算图像的相对位移包括:统计与基准图像块匹配成功的匹配区域的数目;若匹配成功的匹配区域数目≥第一阈值T1,则使用RANSAC算法,根据匹配成功的匹配区域的相对位移量
来估算图像的相对位移,若匹配成功的匹配区域数目<第一阈值T1,则继续根据与下一个基准图像块匹配成功的匹配区域,来估算图像的相对位移,直到所有的基准图像块都搜索完毕;输出图像的相对位移。其中,第一阈值T1∈[5,7]。
按照本发明的快速图像电子稳定方法还可以包括:
第三步骤,根据图像的相对位移,校正视频图像。
按照本发明的另一个方面,提供了一种快速图像电子稳定装置,该装置包括:
基准图像块获取单元,用于将参考图像分块,计算每个图像块的纹理特征,根据纹理特征获取基准图像块;
相对位移计算单元,用于在当前图像内搜索基准图像块的匹配区域,根据匹配区域估算图像的相对位移。
所述基准图像块获取单元包括:
参考图像分块模块,用于将参考图像网格化划分成16﹡16共256个图像块
,
;
图像块的纹理特征计算模块,用于计算纹理丰富性特征和图像匹配阈值
;
根据纹理特征获取基准图像块模块,用于使用纹理丰富性特征将图像块按照从大到小的顺序排序;选取前
个图像块
,
作为基准图像块
,
。
其中,图像块的纹理特征计算模块中所述计算纹理丰富性特征包括:首先根据图像块
在参考图像上的位置,沿着8个方向各平移一个像素,即
,以获得8个子图像;将图像块与上述8个方向的子图像分别进行差分,并将像素差分绝对值的累加值作为区域的相似度量
;取上述8个相似度量的最小值作为纹理丰富性特征,即
。
图像块的纹理特征计算模块中所述计算图像匹配阈值
,其公式如下
,其中
。
所述相对位移计算单元包括:
匹配区域搜索模块,用于实现以下操作:在当前图像对应位置的8*8邻域内,遍历搜索与基准图像块匹配的区域,计算每个区域的相似度量
,并以相似度量最小的区域作为匹配区域,记录匹配区域与基准图像块的相对位移量
和匹配相似度量
;若匹配相似度量
﹤图像匹配阈值
,则认为基准图像块搜索匹配成功;
图像相对位移估算模块,用于实现以下操作:统计与基准图像块匹配成功的匹配区域的数目;若匹配成功的匹配区域数目≥第一阈值T1,则使用RANSAC算法,根据匹配成功的匹配区域的相对位移量
来估算图像的相对位移,若匹配成功的匹配区域数目<第一阈值T1,则继续根据与下一个基准图像块匹配成功的匹配区域,来估算图像的相对位移,直到所有的基准图像块都搜索完毕;输出图像的相对位移。其中,第一阈值T1∈[5,7]。
按照本发明的快速图像电子稳定装置还可以包括:
图像校正单元,用于根据图像的相对位移,校正视频图像。
与现有技术相比,按照本发明的快速图像电子稳定方法及装置更加快速和可靠。其中,快速表现在由于本发明只对参考图像提取特征,且要求的匹配特征较少,因此算法的计算量较小,更满足实时需要;可靠表现在由于本发明能够根据图像内容资助选择图像特征并自适应地调整算法参数,因此在各种环境条件下都具有较高的可靠性和稳定性。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,下面结合实施例和附图,对本发明进一步详细说明。
图1表示按照本发明的快速图像电子稳定方法的流程图。如图1所示,按照本发明的快速图像电子稳定方法包括:
第一步骤101,将参考图像分块,计算每个图像块的纹理特征,根据纹理特征获取基准图像块;
第二步骤102,在当前图像内搜索基准图像块的匹配区域,根据匹配区域估算图像的相对位移。
第一步骤:
所述将参考图像
分块:将参考图像网格化划分成16﹡16共256个图像块
,
。以一幅352*288的CIF图像为例,经过第一步骤101分块后,有256个尺寸为22*18的图像块。
所述计算每个图像块的纹理特征包括:
计算纹理丰富性特征包括:首先根据图像块
在参考图像上的位置,沿着8个方向各平移一个像素,即
,以获得8个子图像;将图像块与上述8个方向的子图像分别进行差分,并将像素差分绝对值的累加值作为区域的相似度量
;取上述8个相似度量的最小值作为纹理丰富性特征,即
;
所述根据纹理特征获取基准图像块包括:使用纹理丰富性特征将图像块按照从大到小的顺序排序;选取前
个图像块
,
作为基准图像块
,
。例如
取64。
第二步骤:
所述在当前图像内搜索基准图像块的匹配区域包括:在当前图像对应位置的8*8邻域内,遍历搜索与基准图像块匹配的区域,计算每个区域的相似度量
,并以相似度量最小的区域作为匹配区域,记录匹配区域与基准图像块的相对位移量
和匹配相似度量
;若匹配相似度量
﹤图像匹配阈值
,则认为基准图像块搜索匹配成功。
所述根据匹配区域估算图像的相对位移包括:统计与基准图像块匹配成功的匹配区域的数目;若匹配成功的匹配区域数目≥第一阈值T1,则使用RANSAC算法,根据匹配成功的匹配区域的相对位移量
来估算图像的相对位移,若匹配成功的匹配区域数目<第一阈值T1,则继续根据与下一个基准图像块匹配成功的匹配区域,来估算图像的相对位移,直到所有的基准图像块都搜索完毕;输出图像的相对位移。其中,第一阈值T1∈[5,7],RANSAC算法可以参考文献“Fischler, M.A. and Bolles, R.C. Random Sample Consensus: A Paradigm for Model Fitting with Applications to Image Analysis and Automated Cartography. Communications of the ACM , 24(6): 381-395, 1981”。
如图2所示,按照本发明的快速图像电子稳定方法还可以包括:
第三步骤103,根据图像的相对位移,校正视频图像。该步骤可以通过现有的图像校正方法实现。
图3示出了按照本发明的快速图像电子稳定装置的框架图。如图3所示,按照本发明的快速图像电子稳定装置包括:
基准图像块获取单元1,用于将参考图像分块,计算每个图像块的纹理特征,根据纹理特征获取基准图像块;
相对位移计算单元2,用于在当前图像内搜索基准图像块的匹配区域,根据匹配区域估算图像的相对位移。
图4示出了按照本发明的基准图像块获取单元的框架图,如图4所示,所述基准图像块获取单元1包括:
参考图像分块模块11,用于将参考图像网格化划分成16﹡16共256个图像块
,
;
图像块的纹理特征计算模块12,用于计算纹理丰富性特征和图像匹配阈值
;
根据纹理特征获取基准图像块模块13,用于使用纹理丰富性特征将图像块按照从大到小的顺序排序;选取前
个图像块
,
作为基准图像块
,
,例如
取64。
其中,图像块的纹理特征计算模块12中所述计算纹理丰富性特征包括:首先根据图像块
在参考图像上的位置,沿着8个方向各平移一个像素,即
,以获得8个子图像;将图像块与上述8个方向的子图像分别进行差分,并将像素差分绝对值的累加值作为区域的相似度量
;取上述8个相似度量的最小值作为纹理丰富性特征,即
。
图像块的纹理特征计算模块12中所述计算图像匹配阈值
,其公式如下
,其中
。
图5示出了按照本发明的相对位移计算单元的框架图,如图5所示,所述相对位移计算单元2包括:
匹配区域搜索模块21,用于实现以下操作:在当前图像对应位置的8*8邻域内,遍历搜索与基准图像块匹配的区域,计算每个区域的相似度量
,并以相似度量最小的区域作为匹配区域,记录匹配区域与基准图像块的相对位移量
和匹配相似度量
;若匹配相似度量
﹤图像匹配阈值
,则认为基准图像块搜索匹配成功;
图像相对位移估算模块22,用于实现以下操作:统计与基准图像块匹配成功的匹配区域的数目;若匹配成功的匹配区域数目≥第一阈值T1,则使用RANSAC算法,根据匹配成功的匹配区域的相对位移量
来估算图像的相对位移,若匹配成功的匹配区域数目<第一阈值T1,则继续根据与下一个基准图像块匹配成功的匹配区域,来估算图像的相对位移,直到所有的基准图像块都搜索完毕;输出图像的相对位移。其中,第一阈值T1∈[5,7],RANSAC算法可以参考文献“Fischler, M.A. and Bolles, R.C. Random Sample Consensus: A Paradigm for Model Fitting with Applications to Image Analysis and Automated Cartography. Communications of the ACM , 24(6): 381-395, 1981”。
如图6所示,按照本发明的快速图像电子稳定装置还可以包括:
图像校正单元3,用于根据图像的相对位移,校正视频图像。所述图像校正单元3可以通过现有的图像校正方法实现。
与现有技术相比,按照本发明的快速图像电子稳定方法及装置更加快速和可靠。其中,快速表现在由于本发明只对参考图像提取特征,且要求的匹配特征较少,因此算法的计算量较小,更满足实时需要;可靠表现在由于本发明能够根据图像内容资助选择图像特征并自适应地调整算法参数,因此在各种环境条件下都具有较高的可靠性和稳定性。
以上所述,仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围,应当理解,本发明并不限于这里所描述的实现方案,这些实现方案描述的目的在于帮助本领域中的技术人员实践本发明。任何本领域中的技术人员很容易在不脱离本发明精神和范围的情况下进行进一步的改进和完善,因此本发明只受到本发明权利要求的内容和范围的限制,其意图涵盖所有包括在由所附权利要求所限定的本发明精神和范围内的备选方案和等同方案。