CN112396639A - 图像对齐方法 - Google Patents

Abstract

本发明公开了一种图像对齐方法,包括标定摄像器材；由摄像器材拍摄图像视频信息；将图像视频信息、摄像器材的焦距数据和陀螺仪数据输入图像对齐模型中；由图像视频信息取出多帧图像；根据摄像器材的焦距数据及所述摄像器材的主点偏移量产生内参矩阵；根据对应于所述多帧图像的两帧图像的陀螺仪数据产生旋转矩阵；由内参矩阵、陀螺仪时间戳和图像时间戳的时间戳误差、及旋转矩阵产生两帧图像的warp矩阵，通过两帧图像的特征点集合对所述warp矩阵进行精对齐优化以得到两帧图像的对齐矩阵；及对多个对齐矩阵进行多帧融合算法,获得多帧图像的结果对齐矩阵。

Description

图像对齐方法

技术领域

本发明属于图像对齐技术领域,特别是结合陀螺仪信息和特征点匹配算法的图像对齐方法。

背景技术

随着科技水平的发展，以及现阶段对图像或者视频的像素要求的提升,手机设备图像的像素大增,导致传统的多帧图像对齐算法消耗的性能也越来越高。现有图像对齐技术中，由于需要在短时间内完成大量信息的处理，不仅对硬件提出了极高的要求，对软件方面也是极大的挑战。而且在一些较少纹理或者特别暗的场景下,加上震动的影响,更加使得传统的图像对齐方法精度大大下降。

目前,虽然市面上大部分摄像器材或手机都已经配备了陀螺仪传感器,可以即时监测手机偏转,倾斜时的角速度信息,但并没有有效利用在图像对齐上。此外,传统的多帧图像对齐方法在处理图像震动時,并不容易准确捕获到局部的差异。并且,这类图像对齐方法由于在精度上受到震动导致关键点数目下降及关键点可靠性下降等方面的影响,普遍存在由于不稳定的关键点而产生错误的点对点关系。因此，通过这类图像对齐方法很难得到高精度的对齐图像。

发明内容

实施例提供一种图像对齐方法,包括标定摄像器材；拍摄图像视频信息；将所述图像视频信息、所述摄像器材的焦距数据和陀螺仪数据输入图像对齐模型中；由所述图像视频信息取出多帧图像；

根据所述摄像器材的所述焦距数据及所述摄像器材的主点偏移量产生内参矩阵；根据对应于所述多帧图像的两帧图像的陀螺仪数据产生旋转矩阵；由所述内参矩阵、所述陀螺仪时间戳和所述图像时间戳的时间戳误差、及所述旋转矩阵产生所述两帧图像的warp矩阵；通过所述两帧图像的特征点集合对所述warp矩阵进行精对齐优化以得到所述两帧图像的对齐矩阵；及对多个对齐矩阵进行多帧融合算法,获得所述多帧图像的结果对齐矩阵。

附图说明

图1是实施例图像对齐模型示意图。

图2是实施例标定摄像器材的方法的流程图。

图3是实施例图像对齐方法的流程图。

图4是图3图像对齐方法及运算流程的示意图。

图5是两帧图像对齐及对齐矩阵使用的示意图。

图6是拍摄连续视频使用图像对齐及对齐矩阵使用的示意图。

其中，附图标记说明如下：

101 图像视频信息

102 陀螺仪数据

104 图像对齐模型

103 摄像器材的焦距数据

M 对齐矩阵

S201至S205、S301至S309 步骤

304 特征点匹配算法

K 内参矩阵

R 旋转矩阵

W warp矩阵

MR 结果对齐矩阵

td 陀螺仪和标定图像的时间戳误差

401 标定摄像器材

402 精对齐优化

403 多帧融合算法

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。

图1是实施例的图像对齐模型104示意图。当用户开启摄像器材时，摄像器材即同步记录摄像器材的陀螺仪数据102的陀螺仪时间戳与用户使用摄像器材记录的图像视频信息的时间戳。通过标定摄像器材的流程，可以得到摄像器材的焦距数据103。将图像视频信息101、摄像器材的焦距数据103和摄像器材的陀螺仪数据102会输入图像对齐模型104中。图像对齐模型104对图像视频信息101中的任意两帧图像进行运算以得到两帧图像的对齐矩阵M。对齐矩阵M可应用于图像对齐、图像识别或图像优化或是影像对齐、影像识别或影像优化。

图2是实施例标定摄像器材的方法的流程图。标定摄像器材的方法200可包括下列步骤：

S201:由摄像器材拍摄标定视频；

S202:由标定视频取出多帧标定图像；

S203:使用特征点匹配算法找出多帧标定图像中的两帧标定图像上匹配的两特征点集合；

S204:根据对应于两帧标定图像的陀螺仪数据产生旋转矩阵；及

S205:由两帧标定图像的warp矩阵以及旋转矩阵,使用迭代法得出摄像器材的焦距数据及陀螺仪和标定图像的时间戳误差。

在步骤S201，由摄像器材拍摄标定视频时，选择拍摄细节丰富的视频，有利于标定图像可得到较多特征点，增加摄像器材的标定的准确性。拍摄过程中保持手机镜头只有旋转运动，不存在平移运动。在步骤S203，使用特征点匹配算法找出两帧标定图像上匹配的两特征点集合Kp1,Kp2。实施例的特征点匹配算法使用SURF特征点匹配算法，计算出标定图像中的特征点。特征点是图像中数个特殊的点，满足不会因为视角的改变、光照的变化、图像噪点的干扰而消失的条件，比如角点、边缘点、暗区域的亮点以及亮区域的暗点，若两帧标定图像中有相同的景物，特征点就会在两帧标定图像的相同景物上出现，而实现匹配。SURF特征点匹配算法或SHIFT特征点匹配算法可采用高斯金字塔的方式提取特征点。在提取特征点针过程中，对两帧标定图像可进行图像灰度化或滤波处理或不进行处理以产生两帧修正图像供分析。图像灰度化或滤波处理，可获得仍然可以反映图像整体和局部特征的修正图像，有利于图像的进一步处理，使图像变得简单，而且数据量减小，能凸显出感兴趣的目标的轮廓。

在步骤S204，根据对应于两帧标定图像的陀螺仪的x角速度、y角速度、z角速度、加速度数据结合四元数法产生旋转矩阵R。两帧标定图像对应的时间戳分别为t1、t2,陀螺仪时间戳和标定图像时间戳的时间戳误差为td。旋转矩阵可以由这两帧标定图像之间,也就是在[t1+td,t2+td]这段时间内陀螺仪的x角速度、y角速度、z角速度、加速度数据结合四元数法产生旋转矩阵R。陀螺仪的加速度和角速度数据要转成姿态，可以转换成欧拉角(偏航角、俯仰角和滚转角)或以四元数表示，为了达到在硬件受限的系统上仍可以运行计算，减少计算量，可采用四元数法。四元数法优点在于只求解四个未知量的线性微分方程组，计算量小，易于操作，因此可用以产生旋转矩阵R。

在步骤S205，内参矩阵是由摄像器材来决定的，不会因为外界环境而改变。实施例的内参矩阵K的参数有焦距数据、x轴上的主点偏移量O_x及y轴上的主点偏移量O_y。由于摄像器材在透镜成像的过程会产生物体成像的位置的偏移，因而加入主点偏移量。主点偏移量就是物体的主点位置相对于成像平面(投影面)的位置，细分成x轴及y轴上的主点偏移量。

在步骤S205，针对两帧标定图像特征点Kp1、Kp1，求解W×Kp1与Kp1之间的最小图像误差，得出W，W是所述warp矩阵。由于W＝K×R，其中W是所述warp矩阵、K是内参矩阵、R是所述旋转矩阵。在步骤S204，得到了旋转矩阵R，因此可以使用迭代法得出内参矩阵K，再推算出摄像器材的焦距数据f。在一般实用上，如手机的焦距范围，可以从查询网络或产品的规格书中得到，但跟实际上摄像器材的焦距数据都会有数十公分不等的误差，因此若实际利用在图像的对齐上，会对后来的算法造成影响。经由实施例摄像器材的标定过程，利用拍摄一段细节丰富的标定视频，则可以算出较精确的摄像器材的焦距数据。陀螺仪时间戳和标定图像时间戳的时间戳误差为td，可由陀螺仪时间戳和标定图像的时间戳算出，在一般实用上，约为几十毫秒的误差，因此也将此数据一齐做标定。

在步骤S205得到陀螺仪时间戳和标定图像时间戳的时间戳误差td，以及摄像器材的焦距数据，之后若要处理图像，每两帧图像，只需要计算摄像器材的内参矩阵和陀螺仪数据产生旋转矩阵，就可以得到两帧之间的warp矩阵。

图3是实施例图像对齐方法的流程图。图像对齐方法300可包括下列步骤：

S301：标定摄像器材；

S302：拍摄图像视频信息101；

S303：将图像视频信息101、摄像器材的焦距数据103和陀螺仪数据102输入图像对齐模型104中；

S304：由图像视频信息101中取出两帧图像；

S305：根据摄像器材的焦距数据103及摄像器材的主点偏移量产生内参矩阵；

S306：根据对应于两帧图像的陀螺仪数据102产生旋转矩阵；

S307：由摄像器材的焦距数据103、内参矩阵、所述陀螺仪时间戳和图像时间戳的时间戳误差及旋转矩阵产生两帧图像的warp矩阵；

S308：通过两帧图像的两特征点集合对warp矩阵进行精对齐优化以得到两帧图像的对齐矩阵M；及

S309：对多个对齐矩阵M进行多帧融合算法,获得多帧图像的结果对齐矩阵。

在使用摄像器材记录图像视频信息101時，先启动时间工具，以同步记录陀螺仪数据102的陀螺仪时间戳与图像视频信息101的时间戳。步骤S301,通过标定摄像器材的流程，可以获得摄像器材的焦距数据103及所述陀螺仪和所述图像的时间戳误差。当标定好此两个数据，接下来就可以应用于图像对齐步骤中。

步骤S302,使用摄像器材拍摄图像视频信息101。在步骤S303，将图像视频信息101、步骤S301获得的摄像器材的焦距数据103和陀螺仪数据102输入图像对齐模型104中。陀螺仪数据102包括x角速度、y角速度、z角速度、加速度数据及对应的陀螺仪时间戳。目前陀螺仪采样频率可以达到500HZ，因此能提供相当好的优化参数。在步骤S303，由图像视频信息101可取出多帧图像,再由其中取出两帧图像,此两帧图像有相对应时间的陀螺仪数据102信息。

在步骤S305，实施例的内参矩阵K可由步骤S301获得的摄像器材的焦距数据103、x轴上的主点偏移量O_x及y轴上的主点偏移量O_y得出。

在步骤S306，根据对应于两帧图像的陀螺仪的x角速度、y角速度、z角速度、加速度数据结合四元数法产生旋转矩阵R。两帧图像对应的时间戳分别为t1、t2,陀螺仪时间戳和图像时间戳的时间戳误差为td。旋转矩阵可以由这两帧图像之间,也就是在[t1+td,t2+td]这段时间内陀螺仪的x角速度、y角速度、z角速度、加速度数据结合四元数法产生旋转矩阵R。

在步骤S307，由于内参矩阵K在步骤S305已算出,旋转矩阵R在步骤S306已算出,加上陀螺仪时间戳和图像时间戳的时间戳误差td,可以产生两帧图像的warp矩阵W是：

W＝K R(t)；

其中K是内参矩阵、R是旋转矩阵，t是陀螺仪时间戳。

拍摄视频或图像过程中，如果摄像器材为可以随意移动，则可能有以下的移动方向：上下左右、前后、旋转，这些动作对所拍摄视频或图像的内容会有相对的影响：摄像器材的上下左右移动会造成图像内容的下上右左位移，摄像器材的前后移动会造成图像内容的放大缩小，摄像器材的旋转会造成图像内容的顺逆方向旋转。所以本实施例根据陀螺仪信息可算出warp矩阵W，可以达到两帧图像的粗对齐。

由于拍摄视频或图像过程中，摄像器材会纪录多帧图像数据，这段时间可能由于使用者手部抖动发生平移运动。平移运动会导致利用陀螺仪计算出的warp矩阵W大概会有数个像素值的误差，此种误差对后续处理的多帧融合算法影响很大，所以在所述对齐之后，再基于图像内容进行一次精对齐。

在步骤S208，精对齐的方法可以使用传统图像对齐方法，本实施例使用SHIFT特征点匹配算法找出两帧图像上匹配的两特征点集合Sp1,Sp2,针对两帧图像特征点集合对warp矩阵W1进行精对齐优化312以得到两帧图像的对齐矩阵M,包括:W1×Sp1，Sp2；其中W1是所述warp矩阵,Sp1是两帧图像中一帧图像的特征点集合,Sp2是两帧图像中另一帧图像的特征点集合。根据求解W1×Kp1与Kp2之间的最小图像误差,取其最小图像误差的结果W1。在本实施例中，由步骤S307可得warp矩阵，因此将W和W1进行优化运算以得到两帧图像的对齐矩阵M。陀螺仪信息可以解决旋转运动的误差,精对齐的目的在于可以解决平移运动的误差,因此对齐矩阵M将会得到更好的对齐效果。

在步骤S209，由于对齐矩阵M是由拍摄视频产生多帧图像,由多帧图像其中取出其中的两帧图像算出warp矩阵W再经由精对齐产生。实际应用不限于两帧图像。应用上可根据多帧图像取出的数个图像得到多个对齐矩阵M再将多个对齐矩阵M进行多帧融合算法,获得多帧图像的结果对齐矩阵。

图4是图像对齐方法及运算流程的示意图。在使用摄像器材记录图像视频信息前，先启动时间工具，以同步记录陀螺仪数据102的陀螺仪时间戳与图像视频信息301的时间戳。在步骤S301，通过标定摄像器材401，可以获得摄像器材的焦距数据103及陀螺仪和图像的时间戳误差td。当完成摄像器材的标定，则使用摄像器材拍摄图像视频信息101，同时将陀螺仪数据102包括x角速度、y角速度、z角速度、加速度数据及对应的陀螺仪时间戳输入。

接下来由图像视频信息101可取出多帧图像,再由其中取出两帧图像,此两帧图像有相对应时间的陀螺仪数据102信息。首先处理陀螺仪数据计算旋转矩阵。两帧图像对应的时间戳分别为t1、t2,陀螺仪时间戳和图像时间戳的时间戳误差为td。旋转矩阵可以由这两帧图像之间,也就是在[t1+td,t2+td]这段时间内陀螺仪的x角速度、y角速度、z角速度、加速度数据结合四元数法产生旋转矩阵R。

实施例的内参矩阵K可由步骤S301获得的摄像器材的焦距数据103、x轴上的主点偏移量O_x及y轴上的主点偏移量O_y得出。旋转矩阵R已算出,加上陀螺仪时间戳和图像时间戳的时间戳误差td,可以产生实施例的两帧图像的warp矩阵。此步骤得出的warp矩阵W，即可以应用在两帧图像的对齐。若要达到更精准的对齐，尤其是解决平移运动的图像对齐误差，本实施例使用SHIFT特征点匹配算法，针对图像内容进行精对齐。得到对齐矩阵M,此对齐矩阵M即是两帧图像的最佳对齐矩阵。

由于对齐矩阵M是由拍摄视频产生多帧图像,由多帧图像其中取出其中的两帧图像算出warp矩阵W再经由精对齐产生。但实际应用不限于两帧图像。应用上可根据多帧图像取出的数个图像得到多个对齐矩阵M再将多个对齐矩阵M进行多帧融合算法403,获得多帧图像的结果对齐矩阵MR。

图5是两帧图像对齐及对齐矩阵使用的示意图。

图像5a是拍摄过程中由于震动所导致的变形图像。图像5b是没有变形的图像。由图像信息5a、图像信息5b、焦距数据和陀螺仪数据经由实施例进行运算得到对齐矩阵M。应用此对齐矩阵M于图像5a的图像对齐,可得到对齐后的图像5c。

图6是拍摄连续视频使用图像对齐及对齐矩阵使用的示意图。

连续图像6a是拍摄视频过程中由于手机旋转所导致的连续变形图像。由连续图像6a、焦距数据和陀螺仪数据经由实施例进行运算,可得到多帧图像的数个对齐矩阵。应用此数个对齐矩阵于连续图像6a的图像对齐,可得到对齐后的连续图像6b。

本实施例提供一种图像对齐方法,结合陀螺仪信息和特征点匹配算法。首先透过摄像器材的标定,得出摄像器材的焦距数据及陀螺仪和图像的时间戳误差。使用摄像器材拍摄图像视频信息,由图像视频信息取出两帧图像,根据图像相对应的陀螺仪数据,可产生旋转矩阵。由摄像器材的焦距数据产生内参矩阵,结合陀螺仪数据产生的旋转矩阵,可获得图像的warp矩阵。此warp矩阵即可用于两帧图像对齐。为解决拍摄过程中的平移运动问题，再一次做精对齐优化以获得图像之对齐矩阵M。当本实施例使用于较少特征纹理,或者特别暗的场景下,尤其利用了陀螺仪数据,因而较传统的图像对齐方法精度有较大提升。此外,本实施例可依需求获得两帧图像之对齐矩阵M或多帧图像之结果对齐矩阵。任意两帧图像的对齐矩阵M、或多帧图像的结果对齐矩阵,可应用于图像对齐、图像识别或应用于图像优化或是影像对齐、影像识别或影像优化。以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种图像对齐方法,其特征在于,包括：

标定摄像器材；

由所述摄像器材拍摄图像视频信息；

将所述图像视频信息、所述摄像器材的焦距数据和陀螺仪数据输入图像对齐模型中；

由所述图像视频信息取出多帧图像；

根据所述摄像器材的所述焦距数据及所述摄像器材的主点偏移量产生内参矩阵；

根据对应于所述多帧图像的两帧图像的陀螺仪数据产生旋转矩阵；

由所述内参矩阵、所述陀螺仪时间戳和所述图像时间戳的时间戳误差、及所述旋转矩阵产生所述两帧图像的warp矩阵；

通过所述两帧图像的特征点集合对所述warp矩阵进行精对齐优化以得到所述两帧图像的对齐矩阵；及

对多个对齐矩阵进行多帧融合算法,获得所述多帧图像的结果对齐矩阵。

2.如权利要求1所述的方法,其特征在于,标定所述摄像器材包括：

由所述摄像器材拍摄标定视频；

由所述标定视频取出多帧标定图像；

使用特征点匹配算法找出所述多帧标定图像中的两帧标定图像上匹配的两特征点集合；

根据对应于所述两帧标定图像的陀螺仪数据产生旋转矩阵；及

由所述两帧标定图像的warp矩阵以及所述旋转矩阵,使用迭代法得出所述摄像器材的焦距数据及所述陀螺仪和所述标定图像的时间戳误差。

3.如权利要求2所述摄像器材的标定,其特征在于,所述特征点匹配算法是：SURF特征点匹配算法或SHIFT特征点匹配算法。

4.如权利要求2所述摄像器材的标定,其特征在于,使用所述特征点匹配算法找出所述两帧标定图像上匹配的所述两特征点集合包括：

对所述两帧标定图像进行图像灰度化或滤波处理以产生两帧修正图像；

通过所述特征点匹配算法分别检测所述两帧修正图像中具有尺度不变性的多个特征点；及

集合所述多个特征点形成所述两特征点集合。

5.如权利要求2所述摄像器材的标定,其特征在于,根据对应于所述两帧标定图像的陀螺仪数据产生旋转矩阵包括：

由所述螺仪数据中的x角速度、y角速度、z角速度使用四元数法得到所述旋转矩阵。

6.如权利要求2所述摄像器材的标定,其特征在于,所述warp矩阵为：

W＝K×R

其中W是所述warp矩阵、K是内参矩阵、R是所述旋转矩阵。

7.如权利要求6所述的内参矩阵是:

其中K是所述内参矩阵，f是所述摄像器材的所述焦距数据，Ox是x轴上的主点偏移量，及Oy是y轴上的主点偏移量。

8.如权利要求2所述摄像器材的标定,其特征在于,由所述两帧标定图像的warp矩阵以及所述旋转矩阵使用迭代法得出所述摄像器材的焦距数据及所述陀螺仪和所述标定图像的时间戳误差包括：

根据W×Kp1与Kp2之间的最小图像误差，得出W，其中W是所述warp矩阵，Kp1及Kp2是两特征点集合；及

再根据所述W以及所述旋转矩阵，使用迭代法得出所述摄像器材的焦距数据及所述陀螺仪和所述标定图像的时间戳误差。

9.如权利要求1所述的方法,其特征在于,根据对应于所述多帧图像的两帧图像的陀螺仪数据产生旋转矩阵包括；

由所述陀螺仪数据中的x角速度、y角速度、z角速度使用四元数法得到所述旋转矩阵。

10.如权利要求1所述的方法,其特征在于,由所述内参矩阵、所述陀螺仪时间戳和所述图像时间戳的时间戳误差、及所述旋转矩阵产生所述两帧图像的warp矩阵是：

W＝KR(t)；其中W是所述warp矩阵、K是所述内参矩阵、R是所述旋转矩阵，t是所述陀螺仪时间戳。

Images