CN102724387B - 一种电子稳像的方法及装置 - Google Patents

Abstract

本发明提供一种电子稳像的方法和装置，该方法包括下列步骤：采集第一帧图像数据，在图像中选取至少两个区域，计算每个区域对应的哈希序列，将所得到的哈希序列进行存储，用于下一帧图像的运动估计；读取下一帧图像数据，在当前帧图像中分别找到与所存储的哈希序列匹配的区域位置；选出匹配点对，利用选出的匹配点对来计算全局运动参数；对得到的全局运动参数进行运动滤波；利用滤波后的运动参数进行运动补偿，获得稳定的视频流。本发明采用基于图像感知哈希技术的电子稳像方法，使得电子稳像效率更高、性能更好。与现有技术相比，采用本发明技术方案，不仅视频稳定的效果更好，而且极大地减少了计算量和存储空间。<!--1-->

Description

一种电子稳像的方法及装置

技术领域

本发明涉及数字视频处理技术领域，尤其涉及一种电子稳像的方法及装置。

背景技术

摄像机在很多场合下会出现抖动，尤其是使用高倍放大的镜头的情况下。摄像机如果固定在建筑物或柱子上，当有风时会出现晃动；如果安装在机器(如车、飞机、船等)、加热通风设备、空调、PTZ云台等所有震动的场合上的摄像机则都会引起震动，导致获得的图像信息不稳定、模糊。而这种不稳定的图像对于观察者会产生疲劳感，从而导致误判和漏判；对于目标自动识别系统则会导致漏警和虚警。所以，摄像系统的稳像是一个十分重要的问题，特别是在长焦距、高分辨率的监视跟踪系统中则更加突出。

现有通常采用的稳像方法有三种，即主动稳像，被动稳像和电子稳像。主动稳像是安装陀螺稳定平台稳定摄像系统，陀螺稳定平台主要是衰减低频振动。被动稳像是采用减振装置来隔离载体的振动，抑制高频振动对摄像机的影响。但是，由于高精度的陀螺稳定平台不仅结构复杂，体积大、价格昂贵、功耗大，而且在有的场合无法使用。所以，提出一种新型的稳定方法——电子稳像技术来实现视频的稳定。数字化的电子稳像与传统的光学稳像、机电结合的稳像方法相比，电子稳像具有易于操作、更精确、更灵活、体积小以及价格低、能耗小等特点，同时由于大规模集成电路技术的不断提高，又便于实现设备的小型化。电子稳像技术是综合电子，计算机，数字信号处理等技术为一体的新一代实现图像序列稳定的技术。电子稳像技术由于它本身具有的精度高、实时性强、功耗低、便于集成化等优点，具有广阔的发展前景。

电子稳像算法主要包括以下三个步骤：1)运动估计，估计出当前帧与前一帧间的运动参数，得到全局运动参数；2)运动滤波，对全局运动参数进行滤波，得出有意运动矢量和无意随机运动矢量；3)运动补偿，利用滤波得到的补偿参数对视频序列进行逐帧补偿。

其中，运动估计是电子稳像的核心技术，其准确性与稳定性直接影响着整个系统的性能。国内外的研究人员进行了广泛而有益的探索，提出了各种各样的运动矢量估计算法，这些方法大致分为基于像素值与基于特征两类，基于像素值的方法容易受到光照变化和噪声的影响，基于特征的方法在特征提取时花费的计算量较大，这些方法都面临着计算量和存储量较大的缺点。

发明内容

本发明的特征和优点在下文的描述中部分地陈述，或者可从该描述显而易见，或者可通过实践本发明而学习。

为克服现有技术电子稳像方法存在的不足，本发明提供一种电子稳像的方法和装置，采用基于图像感知哈希技术的电子稳像方法，使得电子稳像效率更高、性能更好。

本发明解决上述技术问题所采用的技术方案如下：

根据本发明的一个方面，提供一种电子稳像的方法，包括下列步骤：

S1.采集第一帧图像数据，在图像中选取至少两个区域，计算每个区域对应的哈希序列，将所得到的哈希序列进行存储，用于下一帧图像的运动估计；

S2.读取下一帧图像数据，在当前帧图像中分别找到与所存储的哈希序列匹配的区域位置；

S3.选出匹配点对，利用选出的匹配点对来计算全局运动参数；

S4.对所得到的全局运动参数进行运动滤波；

S5.利用滤波后的全局运动参数对抖动图像进行校正，获得稳定的视频流。

根据本发明的一个实施例，还包括下列步骤：

S6.在当前帧的原图像中选取至少两个区域，计算每个区域对应的哈希序列，将所得到的哈希序列进行存储，替换上一帧图像的感知哈希序列，用于下一帧图像的运动估计。

根据本发明的一个实施例，计算区域对应的哈希序列的步骤如下：

a1.将所述区域转换成灰度图；

a2.计算灰度图的梯度图，并计算梯度图的均值；

a3.将该区域的每一个梯度值与梯度均值比较，如果梯度值大于或等于梯度均值，则哈希值为1，否则，哈希值为0；遍历该区域的每一个像素点做同样的操作，即得该区域对应的哈希序列。

根据本发明的一个实施例，在该步骤S2中，在当前帧图像中找到与所存储的哈希序列匹配的区域位置的步骤如下：

在当前帧图像中选取与所存储的哈希序列对应的上一帧图像的区域附近的区域作为搜索范围，在搜索范围内逐个像素移动，计算各像素点所对应的区域的哈希序列，再确定当前帧图像中的像素点所对应的区域与所存储的哈希序列对应的上一帧图像的区域的相似性，如果相似，则该像素点匹配成功，否则，认为该像素点匹配失败，继续匹配下一个像素点所对应的区域，直到遍历完整个搜索范围。

根据本发明的一个实施例，利用汉明距离比较两个区域的哈希序列来度量两个区域的相似性。

根据本发明的一个实施例，在该步骤S3中，利用一致性算法去除运动物体的运动矢量，获得适当的匹配点对，再利用适当的匹配点对来计算全局运动参数。

根据本发明的一个实施例，利用仿射变换模型，利用适当的匹配点对来计算全局运动参数。

根据本发明的一个实施例，在该步骤S4中，利用卡尔曼滤波对全局运动参数进行滤波，区别出人为的有意运动参数和随机抖动造成的运动参数；根据计算出来的随机抖动参数对抖动图像中每一个像素点进行校正，获得稳定的视频流。

根据本发明的另一个方面，提供一种电子稳像的装置，包括：

哈希序列获取模块，其在采集的第一帧图像中选取至少两个区域，计算每个区域灰度图的梯度值，获取每个区域对应的哈希序列，将所得到的哈希序列进行存储，用于下一帧图像的运动估计；

匹配模块，其读取下一帧图像数据，在当前帧图像中分别找到与所存储的哈希序列匹配的区域位置；

全局运动参数计算模块，其利用一致性算法去除运动物体的运动矢量，获得适当的匹配点对，利用选出的好的匹配点对来计算全局运动参数；

运动滤波模块，利用卡尔曼滤波对所得到的全局运动参数进行运动滤波；

运动补偿模块，利用滤波后的随机抖动参数对抖动图像进行校正，获得稳定的视频流。

采用本发明所述技术方案能消除视频的随机抖动干扰。与现有技术相比，采用本发明所述技术方案，不仅视频稳定的效果更好，而且极大地减少了计算量和存储空间。

通过阅读说明书，本领域普通技术人员将更好地了解这些实施例和其它实施例的特征和方面。

附图说明

下面通过参考附图并结合实例具体地描述本发明，本发明的优点和实现方式将会更加明显，其中附图所示内容仅用于对本发明的解释说明，而不构成对本发明的任何意义上的限制，在附图中：

图1为本发明实施例的基于图像感知哈希技术的电子稳像流程图；

图2为本发明实施例的计算哈希序列的流程图；

图3为本发明实施例的电子稳像装置的方框图。

具体实施方式

哈希值是一段数据唯一且极其紧凑的二进制值表示形式，它可以作为文件的唯一标识而用于内容的认证，传统的哈希函数在轻微改动内容的情况下，得到的哈希值会发生很大变化，因而可以用于内容完整性的准确认证。对于图像信号而言，由于认证对象经常通过一些常规处理(如有损压缩、增强、加噪等)，这就要求认证哈希具有一定的鲁棒性，也就是说认证哈希要保证对内容变化的敏感性和对常规操作的鲁棒性，实现对图像信号的鲁棒认证。

图像感知哈希通过对图像感知内容和信息的提取，压缩形成一个简短的摘要，用于标识图像内容。由于感知哈希是基于图像内容生成的，所以对保持内容的常规信号处理操作具有很好的鲁棒性，同时内容不同的图像具有很好的区分性，因而可以作为图像的身份标志，用于实现基于内容的准确识别。图像哈希技术通过优秀的算法可以将任意分辨率的图像数据转化为几百或几千比特的二值序列，对于大计算量的图像搜索来说，这就意味着极大地减少了搜索的时间，也降低了存储空间。

本实施例中基于图像感知哈希技术的电子稳像方法如下：

第一步视频采集

判断输入图像是否为第一帧图像，如果不是第一帧图像，则进入第二步；如果是第一帧图像，计算该图像的感知哈希序列，并储存在模板数据库中。

计算图像感知哈希序列包括下列步骤：

1、在输入图像中均匀选取至少两个小区域

均匀选取小区域能够使得后续计算出来的全局运动参数更准确，在实际操作中，优选至少三个小区域。

2、计算每个小区域对应的哈希序列

2.1将小区域转换成灰度图；

2.2计算灰度图的梯度图，并计算梯度图的均值；

2.3获得哈希序列

将该区域的每一个梯度值与其梯度均值比较，如果梯度值大于或等于梯度均值，哈希值为1，否则，哈希值为0，遍历该区域每一个像素点做同样的操作，即得该区域对应的哈希序列。

3、将所有的哈希序列存储到模板数据库中，并返回第一步，读取下一帧图像数据。

第二步哈希序列匹配

首先在当前帧图像中选取搜索范围：在当前帧图像中，以在待匹配的哈希序列所对应的小区域位置为中心，预定值为边长所覆盖的区域为该哈希序列对应的搜索范围。再在对应的搜索区域内，逐个像素移动。用步骤一中计算感知哈希序列的方法计算该像素点所对应区域的哈希序列，再计算此哈希序列与模板数据库中对应的哈希序列之间的距离，如果小于或等于阈值，则认为匹配成功，该像素点即为匹配的像素点，否则，认为该点匹配失败，继续匹配下一个像素点所对应的区域，直到遍历完整个搜索区域。

第三步选出好的匹配点对

计算哈希序列时所选取的小区域中，有的可能是运动物体，而运动物体对于整个算法是噪声干扰，因此需要利用一致性算法去除运动物体的干扰，最终得到好的匹配点对。

第四步计算全局运动参数

根据仿射变换模型，利用第三步骤中选出的好的匹配点，计算全局运动参数。

第五步运动滤波

利用卡尔曼滤波对全局运动参数进行滤波，区别出人为有意运动矢量和随机抖动造成的运动矢量。

第六步运动补偿

根据第五步中计算出来的随机抖动矢量对抖动图像进行校正，即可获得稳定的视频流。

第七步感知哈希序列

计算当前帧原图像的感知哈希序列，并储存在模板数据库中，替换上一帧图像的感知哈希序列，用于下一帧运动估计计算。

本发明实施例的主要部分在于通过何种算法来计算晃动视频相对于稳定视频的偏差量，即抖动矢量，从而进行抖动视频的校正。而本发明实施例中的图像处理方法基于以下关键事实实现：图像感知哈希的简短性、鲁棒性和敏感性。图像感知哈希通过对图像感知内容和信息的提取，压缩形成一个简短的摘要，用于标识图像内容。感知哈希由于对保持内容的常规信号处理操作具有很好的鲁棒性，同时内容不同的图像具有很好的区分性，因而可以作为图像的身份标志，用于实现基于内容的准确识别。

需要特别指出的是，所有基于哈希技术的电子稳像算法都在本发明保护范围内。

图1示出了本发明实施例提供的基于图像感知哈希技术的工作流程。下面以本发明中给出的图像感知哈希算法为例来说明本实施例的具体技术方案：

在第一步中，采集一帧图像数据。判断输入图像是否为第一帧图像，如果不是第一帧图像，则进入下一个步骤；如果是第一帧图像，计算该图像的感知哈希序列，并存储在模板数据库中。

如图2，计算图像感知哈希序列包括下列步骤：

1在输入图像I中均匀选取N个尺寸为M*M的小区域s

均匀选取小区域的方式能够使后续计算出来的全局运动参数更准确。小区域s的个数N一般取30个左右，小区域s的尺寸M要依据图像的尺寸来设定。

2计算每个小区域s对应的哈希序列

2.1将小区域s转换成灰度图I_gray

2.2计算上述灰度图I_gray的梯度图，计算梯度图的方法如公式(1)所示，并计算该梯度图的均值

为了便于编程和提高运算速度，采用绝对差算法近似计算图像梯度值，表达式为：

G[I_gray(i,j)]＝|I_gray(i,j)-I_gray(i+1,j+1)|+|I_gray(i+1,j)-I_gray(i,j+1)|(1)

其中，I_gray(i,j)是灰度图I_gray在像素点(i,j)位置的灰度值，G[I_gray(i,j)]是像素I_gray(i,j)对应的梯度值。图像梯度描述像素值变化的快慢，因而，梯度特征对灰度值不敏感而对梯度的变化非常敏感，所以，利用梯度信息计算哈希值不仅能够避免光照变化带来的不利影响，而且能够准确描述图像的特征。

2.3计算哈希序列

将该小区域的每一个像素点的梯度值与其梯度均值比较，如果梯度值大于或等于梯度均值，哈希值为1，否则，哈希值为0，遍历该区域每一个像素点，即得该区域s对应的哈希序列H_origin。

3.将这N个小区域s所对应的N个哈希序列存储到模板数据库中，并返回第一步，采集下一帧图像数据。N个小区域都要分别计算哈希序列，因为对这N个小区域都要做匹配。

在第二步中，在当前帧图像中分别找到与模板数据库中的N个哈希序列匹配的小区域位置。

在本发明实施例中，在当前帧图像中搜索与模板数据库中相似的哈希序列对应的区域位置的方法如下：在当前帧中，与模板数据库中哈希序列对应的上一帧图像小区域s附近选取搜索范围S，在对应的搜索区域S内，逐个像素移动，用第一步中计算感知哈希序列的方法计算该像素点所对应区域的哈希序列H_new，再利用规范化的汉明距离dis来度量这两个小区域的相似性。具体如下：

根据公式(2)计算出哈希序列H_new与模板数据库中对应的哈希序列H_origin之间的距离dis，如果该距离dis小于或等于阈值(阈值一般取0.12)，则认为匹配成功；否则，认为该点匹配失败，继续匹配下一个像素点所对应的区域，直到遍历完整个搜索区域S。

$\mathrm{dis}=(H_{\mathrm{new}},H_{\mathrm{origin}})=\frac{1}{L}\underset{i=1}{\overset{i=L}{\mathrm{\&Sigma;}}}|H_{\mathrm{new}}\left(i\right)-H_{\mathrm{origin}}\left(i\right)|---\left(2\right)$

其中，L是哈希序列的长度。

在第三步中，选出好的匹配点对。

由于计算哈希序列时所选取的小区域中，有的可能是运动物体，而抖动矢量是根据静止背景区域计算得到的，因此，运动物体对于整个算法属于噪声干扰，必须去除掉，因此本发明利用一致性算法来去除运动物体的运动矢量，最终获得好的匹配点对，具体如下：

1)根据仿射模型参数个数确定最小抽样数M；

2)计算抽样对应的模型参数，用所有原始数据检验模型参数质量，获得每个模型参数的inliers数量；

3)根据inliers数量和误差的方差来选择最优模型参数；

4)用最优模型参数对应的inliers估计最终模型参数。

其中，inliers数量是符合模型的数据。

在第四步中，计算整幅图像的运动参数，即全局运动参数(a,b,c,d,e,f)。

利用仿射变换模型，根据第三步中选出的好的匹配点对，计算全局运动参数，仿射模型是一种六参数线性变换模型，可描述平移运动、旋转运动及小范围的缩放和形变，仿射变化模型可以描述如下：

$\left\{\begin{array}{c}x=a\&CenterDot;u+b\&CenterDot;v+c\\ y=d\&CenterDot;u+e\&CenterDot;v+f\end{array}\right.---\left(3\right)$

(u,v)是上一帧中的像素点，(x,y)是当前帧图像中与(u,v)匹配的像素点，(a,b,c,d,e,f)是变换参数。当前帧图像是由上一帧图像经过公式(3)变换得到的。

在第五步中，对变换参数(a,b,c,d,e,f)进行运动滤波。

图像序列运动的产生原因有两种：一种是由于摄像机的正常扫描运动引起的，另一种是由于摄像机的随机振动引起的。若扫描运动被稳像系统误以为是随机振动而稳定了，就会出现过稳而达不到全景扫描的目的。运动滤波是为了从全局运动参数中获得随机振动参数，本发明中利用卡尔曼滤波对全局运动参数(a,b,c,d,e,f)进行滤波，区别出人为的有意运动参数和随机抖动造成的运动参数。

在第六步中，对抖动图像I进行运动补偿。

根据第五步中计算出来的随机抖动参数对抖动图像中的每一个像素点进行校正，即可获得稳定的视频流I-correct。

在第七步中，计算当前帧的图像感知哈希序列。

利用步骤二中计算图像感知哈希序列的方法，计算当前帧原图像I的感知哈希序列，并储存在模板数据库中，替换上一帧图像感知哈希序列，用于下一帧运动估计。

如图1所示，本发明实施例的电子稳像流程如下：

步骤101采集图像I

步骤102判断帧号iFrame是否为第一帧图像；如果为第一帧图像，进入步骤108；否则进入步骤103；

步骤103与模板数据库中的哈希序列做匹配；

步骤104去除误匹配点对；

步骤105计算全局运动参数；

步骤106运动滤波；

步骤107运动补偿得到稳定的视频流I-corret，进入步骤108；

步骤108在图像I中均匀选取N个小区域；

步骤109计算每一个小区域对应的哈希序列。

步骤110将哈希序列存入模板数据库中；

如图2所示，本发明计算哈希序列的流程如下：

步骤201选取小区域s；

步骤202对小区域s进行灰度变换；

步骤203计算灰度图I_gray的梯度图；

步骤204计算梯度图的均值；

步骤205将梯度图每一点的值与其均值比较；如果大于或等于均值，则进入步骤207；如果小于均值，则进入步骤206；

步骤206哈希值为0；

步骤207哈希值为1；

步骤208得到小区域s的哈希序列。

如图3所示，本发明同时提供一种电子稳像的装置，其包括哈希序列获取模块、匹配模块、全局运动参数计算模块、运动滤波和运动补偿模块。哈希序列获取模块在采集的第一帧图像中选取至少两个区域，计算每个区域对应的哈希序列，将所得到的哈希序列进行存储，用于下一帧图像的运动估计；匹配模块读取下一帧图像数据，在当前帧图像中分别找到与所存储的哈希序列匹配的区域位置；全局运动参数计算模块利用选出的匹配点对来计算全局运动参数；运动滤波和运动补偿模块利用所得到的全局运动参数进行运动滤波和运动补偿，获得稳定的视频流。

以上参照附图说明了本发明的优选实施例，本领域技术人员不脱离本发明的范围和实质，可以有多种变型方案实现本发明。举例而言，作为一个实施例的部分示出或描述的特征可用于另一实施例以得到又一实施例。以上仅为本发明较佳可行的实施例而已，并非因此局限本发明的权利范围，凡运用本发明说明书及附图内容所作的等效变化，均包含于本发明的权利范围之内。

Claims (7)

1.一种电子稳像的方法，其特征在于包括下列步骤：

S1.采集第一帧图像数据，在图像中选取至少两个区域，计算每个区域灰度图的梯度值，获取每个区域对应的哈希序列，将所得到的哈希序列进行存储，用于下一帧图像的运动估计；

S2.读取下一帧图像数据，在当前帧图像中分别找到与所存储的哈希序列匹配的区域位置；

S3.利用一致性算法去除运动物体的运动矢量，获得适当的匹配点对，选出匹配点对，利用选出的匹配点对来计算全局运动参数；

S4.利用卡尔曼滤波对所得到的全局运动参数进行运动滤波,区别出人为有意运动参数和随机抖动造成的运动参数；

S5.利用滤波后的随机抖动参数对抖动图像进行校正，获得稳定的视频流。

2.根据权利要求1所述的电子稳像的方法，其特征在于，还包括下列步骤：

S6.在当前帧的原图像中选取至少两个区域，计算每个区域对应的哈希序列，将所得到的哈希序列进行存储，替换上一帧图像的感知哈希序列，用于下一帧图像的运动估计。

3.根据权利要求1或2所述的电子稳像的方法，其特征在于，计算区域对应的哈希序列的步骤如下：

a1.将所述区域转换成灰度图；

a2.计算灰度图的梯度图，并计算梯度图的均值；

a3.将所述区域的每一个梯度值与梯度均值比较，如果梯度值大于或等于梯度均值，则哈希值为1，否则，哈希值为0；遍历所述区域的每一个像素点做同样的操作，即得所述区域对应的哈希序列。

4.根据权利要求1所述的电子稳像的方法，其特征在于，在所述步骤S2中，在当前帧图像中找到与所存储的哈希序列匹配的区域位置的步骤如下：

在当前帧图像中选取与所存储的哈希序列对应的上一帧图像的区域附近作为搜索范围，在搜索范围内逐个像素移动，计算各像素点所对应的区域的哈希序列，再确定当前帧图像中的像素点所对应的区域与所存储的哈希序列对应的上一帧图像的区域的相似性，如果相似，则该像素点匹配成功，否则，认为该像素点匹配失败，继续匹配下一个像素点所对应的区域，直到遍历完整个搜索范围。

5.根据权利要求4所述的电子稳像的方法，其特征在于，利用汉明距离比较两个区域的哈希序列来度量两个区域的相似性。

6.根据权利要求1所述的电子稳像的方法，其特征在于，利用仿射变换模型，利用适当的匹配点对来计算全局运动参数。

7.一种电子稳像的装置，其特征在于包括：

哈希序列获取模块，其在采集的第一帧图像中选取至少两个区域，计算每个区域灰度图的梯度值，获取每个区域对应的哈希序列，将所得到的哈希序列进行存储，用于下一帧图像的运动估计；

匹配模块，其读取下一帧图像数据，在当前帧图像中分别找到与所存储的哈希序列匹配的区域位置；

全局运动参数计算模块，其利用一致性算法去除运动物体的运动矢量，获得适当的匹配点对，利用选出的匹配点对来计算全局运动参数；

运动滤波模块：其利用卡尔曼滤波对上述计算出的全局运动参数进行滤波,区别出人为有意运动参数和随机抖动造成的运动参数；

运动补偿模块，其利用所得到的滤波后的随机抖动参数对抖动图像进行运动补偿，获得稳定的视频流。