CN111345023B - 图像消抖方法、装置、终端及计算机可读存储介质 - Google Patents

Abstract

本发明涉及图像消抖方法、装置、终端及计算机可读存储介质，本发明通过获取当前帧摄像头的第一外参矩阵以及与第一外参矩阵对应的匹配成功的第一特征点对；根据第一特征点对与第一外参矩阵，结合摄像头的内参矩阵，获得第一外参矩阵的第一误差值；针对第一外参矩阵的第一误差值进行均值滤波处理，获得第二外参矩阵；根据第二外参矩阵对第一外参矩阵进行更新，以完成对图像的消抖。本发明根据所获得的当前帧摄像头的第一外参矩阵以及对应的匹配成功的第一特征点对，获得第一外参矩阵的第一误差值，并对第一误差值进行均值滤波处理，确保AR成像过程中所有的外参矩阵趋于均值，消除AR效果图的抖动现象，增强AR效果。

Description

图像消抖方法、装置、终端及计算机可读存储介质

技术领域

本发明涉及电子技术领域，更具体地说，涉及一种图像消抖方法、装置、 终端及计算机可读存储介质。

背景技术

根据增强现实技术(Augmented Reality，简称AR)的成像原理可知，图像 的匹配过程一般均需要进行特征点匹配，以及获得合适的拍摄摄像头的外参矩 阵。拍摄摄像头的外参矩阵是一个变换函数，其表示的是标志物图像与摄像头 拍摄的图像之间的匹配特征点的坐标对应关系，即拍摄标志物图像的摄像头在 空间中如何通过平移和旋转，可以拍摄到当前采集到的标志物图像状态。

现有的AR效果图像，在获取对应的外参矩阵时，由于在获取外参矩阵的过 程中，所进行的特征点匹配的准确性不稳定以及每一帧所计算得到的外参矩阵 并非绝对为最优解，导致即使摄像头对着标志物不动，所计算出来的外参矩阵 也会不断变化，从而导致最终AR成像时所得到的AR效果图存在不同程度的抖 动现象，降低了AR效果。

发明内容

本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种图像 消抖方法、装置、终端及计算机可读存储介质。

本发明解决其技术问题所采用的技术方案是：构造一种图像消抖方法，包 括以下步骤：

S10：获取当前帧摄像头的第一外参矩阵以及与所述第一外参矩阵对应的匹 配成功的第一特征点对；

S20：根据所述第一特征点对与所述第一外参矩阵，结合摄像头的内参矩阵， 获得所述第一外参矩阵的第一误差值；

S30：针对所述第一外参矩阵的第一误差值进行均值滤波处理，获得第二外 参矩阵；

S40：根据所述第二外参矩阵对所述第一外参矩阵进行更新，以完成对图像 的消抖。

本发明还提供一种图像消抖装置，包括：

获取单元，用于获取当前帧摄像头的第一外参矩阵以及与所述第一外参矩 阵对应的匹配成功的第一特征点对；

计算单元，用于根据所述第一特征点对与所述第一外参矩阵，结合摄像头 的内参矩阵，获得所述第一外参矩阵的第一误差值；

滤波单元，用于针对所述第一外参矩阵的第一误差值进行均值滤波处理， 获得第二外参矩阵；

更新单元，用于根据所述第二外参矩阵对所述第一外参矩阵进行更新，以 完成对图像的消抖。

本发明还提供一种实现增强现实的方法，包括前述图像消抖方法。

本发明还提供一种终端，该终端包括用于执行上述图像消抖方法的单元。

本发明还提供一种实现增强现实的终端，包括处理器、输入设备、输出设 备和存储器，所述处理器、输入设备、输出设备和存储器相互连接，其中，所 述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被 配置用于调用所述程序指令，执行前述的图像消抖方法。

本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有 计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时 使所述处理器执行前述的图像消抖方法。

实施本发明的图像消抖方法，具有以下有益效果：本发明根据所获得的当 前帧摄像头的第一外参矩阵以及与第一外参矩阵对应的匹配成功的第一特征点 对，获得第一外参矩阵的第一误差值，并对第一误差值进行均值滤波处理，使 得经过均值滤波处理后的第一外参矩阵趋于均值，即使每一帧得到的摄像头的 外参矩阵均趋于均值，确保AR成像过程中所需的外参矩阵更接近，进而消除了 AR效果图的抖动现象，增强了AR效果。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是外参矩阵获取的具体计算过程及AR成像的示意图；

图2是本发明图像消抖方法实施例一的流程示意图；

图3是本发明图像消抖装置实施例一的结构示意图；

图4是本发明摄像头外参矩阵误差分析示意图；

图5是本发明特征点匹配结果示意图；

图6是本发明一种终端实施例的示意性框图；

图7是本发明一种实现增强现实的终端的示意性框图。

具体实施方式

为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图详 细说明本发明的具体实施方式。

图1为摄像头外参矩阵获取的具体计算过程及AR成像流程图，如图1所 示：

第一步：输入摄像头的内参矩阵，内参矩阵描述了摄像头的各种自身参数， 如横、纵像素数量；摄像头的横、纵归一化焦距等。通过对摄像头做预先设定 得到，或者通过读取摄像头参数信息(像素、焦距等)直接计算得到。

第二步：输入标志物图像。标志物图像为用于后续获取AR效果图所需的 图像。其中，标志物图像为预先存储在存储器中的标志物图像，可以是从图像 库中直接调用的图像，也可以是通过现场拍摄得到并保存在存储器中的实拍图 像。在标志物图像和摄像头图像中提取特征点和特征点匹配的过程。

第三步至第六步为在标志物图像和摄像头图像中提取特征点和特征点匹配 的过程。

第七步：使用匹配的特征点和内参矩阵，计算摄像头的外参矩阵。可以 理解地，该步骤的实质是，通过两幅图像(标志物图像和摄像头图像)的匹 配的特征点的坐标的对应关系，寻找一个变换函数，来描述这个对应关系。 即拍摄标志物图像的摄像头，在空间中如何通过平移和旋转，可以拍摄到当 前采集到的标志物图像状态，这个函数使用矩阵的方式描述，即为外参矩阵。

第八步：根据第八步获得的外参矩阵和内参矩阵进行CG绘图，即代表摄 像头模型的内参矩阵，代表摄像头位置姿态变换的外参矩阵，在3D模型空间中 进行建模，得到当前位置下摄像头在3D模型空间的拍摄图像，最后将3D模型 空间计算出的图像和现实摄像头拍摄的图像叠加，获得AR效果图像。

可以理解地，上述外参矩阵的获得流程为一帧图像的处理过程，其中，每 一帧在获得外参矩阵后，都将所获得的外参矩阵保存在数据库中，同时将与该 帧对应的匹配成功的特征点对也保存在数据库中。

上述即为基于标志物的AR的基本原理，由于第六步特征点匹配的准确性 不稳定和第七步计算的外参矩阵不能总得到最优解，即第七步计算得到的外参 矩阵经常会是一个误差不大的估计。因此，即使摄像头对着标志物不动，计算 出来的外参矩阵也会不断变化，体现在CG动画上就是会不断抖动。

为了解决上述问题，本发明提出了一种图像消抖方法。参阅图2，图2是本 发明图像消抖方法实施例一的流程示意图。本实施例中的图像消抖方法的执行 主体可以为终端。其中，终端可以为手机、平板电脑等移动终端，但并不限于 此，还可以为其他终端。

如图2所示，本实施例的图像消抖方法可以包括以下步骤：

S10：获取当前帧摄像头的第一外参矩阵以及与第一外参矩阵对应的匹配成 功的第一特征点对。

在本实施例中，本发明的当前帧至少为第二帧，即在执行本发明前需确保 所处理的图像帧至少是从第二帧开始的。其中，当前帧摄像头的第一外参矩阵 可通过前述基于标志物图像的特征点匹配计算处理得到，同时提取在当前帧第 一外参矩阵的计算过程中所使用的匹配成功的特征点对，即第一特征点对。具 体实施过程中，在获取当前帧摄像头的第一外参矩阵后，即可对应提取出与第 一外参矩阵对应的匹配成功的第一特征点对。

其中，第一特征点对包括标志物图像的第一匹配特征点集和摄像头图像的 第二匹配特征点集；其中，第一匹配特征点集中的每一个标志物匹配点与第二 匹配特征点集中的一个图像匹配点匹配。

如图5所示，图5中，每一条直线的两端代表一个特征点对。其中，每一 帧所获得的摄像头图像的外参矩阵均对应一个匹配成功的特征点对集合，且每 一个匹配成功的特征点对集合由2个特征点集合组成，一个来自标志物图像的 第一匹配特征点集，一个来自当前摄像头采集的摄像头图像的第二匹配特征点 集，其中，两个匹配特征点集中的特征点一一对应匹配，即标志物图像中每一 个标志物匹配点与摄像图像中的一个图像匹配点匹配，这两个匹配点形成一个 特征点对。

S20：根据第一特征点对与第一外参矩阵，结合摄像头的内参矩阵，获得第 一外参矩阵的第一误差值。

具体地，步骤20包括：

A：获取第一匹配特征点集和第二匹配特征点集。

终端在获取到与当前帧摄像头的第一外参矩阵对应的第一特征点对后，可 以直接从第一特征点对中提取标志物图像的第一匹配特征点集和当前摄像头图 像的第二匹配特征点集。

B：利用第一外参矩阵、摄像头的内参矩阵、以及第一匹配特征点集和第二 匹配特征点集，获得第一匹配特征点集中每一个标志物匹配点在当前帧摄像头 图像中的计算坐标和匹配坐标。

在本实施例中，步骤B进一步包括：

B11：利用第一外参矩阵和摄像头的内参矩阵，计算第一匹配特征点集中的 每一个标志物匹配点在当前帧摄像头图像中的坐标位置，根据坐标位置确定每 一个标志物匹配点的计算坐标；

B12：根据第二匹配特征点集，确定第一匹配特征点集中的每一个标志物匹 配点在当前帧摄像头图像中的匹配坐标。

摄像头的内参矩阵可由终端在需要使用时直接从数据库中调用。在获得第 一匹配特征点集后，根据所获得的当前帧摄像头的第一外参矩阵，以及从数据 库中调用的摄像头的内参矩阵，可以计算出第一匹配特征点集中的每一个标志 物匹配点在当前帧摄像头图像中的坐标位置，该坐标位置即为标志物匹配点的 计算坐标。换言之，通过第一外参矩阵和内参矩阵，计算出第一匹配特征点集 中，标志物图像的每一个标志物匹配点在当前帧摄像头图像中的计算坐标。

如图4所示，图4中，左侧的图像为标志物图像，右侧的图像为当前帧摄 像头图像。其中，标志物图像中的1、2、3、4为第一匹配特征点集中的四个标 志物匹配点，其中，1′、2′、3′、4′为标志物匹配点1、2、3、4在当前帧 摄像头图像中的匹配坐标位置；1″、2″、3″、4″为利用所获得的第一外参 矩阵进行计算得到的标志物匹配点1、2、3、4在当前帧摄像头图像中的计算坐 标位置。换言之，标志物图像中的一个标志物匹配点在当前帧摄像头图像中对应有两个特征点，一个是匹配成功的特征点，一个是计算得到的特征点，其中， 匹配成功的特征点为第二匹配特征点集中的当前帧摄像头图像中与第一匹配特 征点集中的标志物匹配点匹配的图像匹配点。

因此，通过第一外参矩阵和内参矩阵，可以确定每一个标志物匹配点在当 前帧摄像头图像中的计算坐标；以及通过第二匹配特征点集，可以确定第一匹 配特征点集中的每一个标志物匹配点在当前帧摄像头图像中的匹配坐标。即如 图4所示，可以分别确定点1′、2′、3′、4′的匹配坐标和点1″、2″、3″、 4″的计算坐标。

C：根据每一个标志物匹配点在当前摄像头图像中的计算坐标和匹配坐标， 获得每一个标志物匹配点的计算坐标与匹配坐标之间的误差距离。

具体地，如图4所示，在分别确定点1′、2′、3′、4′的匹配坐标和点 1″、2″、3″、4″计算坐标后，分别计算点1″与点1′这两个坐标之间的距 离d1，点2″与点2′这两个坐标之间的距离d2，点3″与点3′这两个坐标之 间的距离d3，点4″与点4′这两个坐标之间的距离d4。

D：对所获得的所有标志物匹配点的计算坐标与匹配坐标之间的误差距离进 行处理，获得平均误差距离，平均误差距离作为第一外参矩阵的第一误差值。

在获得所有标志物匹配点的计算坐标与匹配坐标之间的误差距离后，进行 计算，取得平均误差距离，即将误差距离累加求和，再除以所使用的标志物匹 配点的点数，求得误差距离的平均值，该误差距离的平均值为平均误差距离， 其中，该平均误差距离作为第一外参矩阵的第一误差值。可以理解地，平均误 差距离可以用来判断第一外参矩阵的准确度。外参矩阵是利用匹配成功的特征 点对计算出来的数学模型，因此，本实施例通过利用第一外参矩阵反过来验证 特征点的匹配结果时，所计算出来的结果理应与匹配结果一致，对应所获得的 平均误差距离也就会非常小。所以本实施例中，通过将利用第一外参矩阵计算 出来的平均误差距离，作为第一外参矩阵的第一误差值，以实现对第一外参矩 阵的准确度的评估。

S30：针对第一外参矩阵的第一误差值进行均值滤波处理，获得第二外参矩 阵。

可以理解地，在执行步骤S30之前可以先对第一外参矩阵进行相应的处理， 例如，将第一外参矩阵转换为可进行线性旋转变化的数学模型，即将第一外参 矩阵转换为可以描述线性的旋转变换的数学模型或者近似线性的旋转变换的数 学模型。第一外参矩阵为摄像头的旋转姿态以及平移的数学模型，但是，第一 外参矩阵所表示的数学模型中的旋转姿态中的旋转角以及平移量不是线性相关 的，若要对第一外参矩阵的第一误差值进行均值滤波处理，则需将第一外参矩 阵转换为对应的可进行线性旋转变化的数学模型。其中，可进行线性旋转变化 的数学模型可以为欧拉角和平移向量，也可以为四元数和平移向量。本实施例 中，优选四元数和平移向量。

可选的，对第一外参矩阵的第一误差值进行均值滤波处理可采用加权平均 法实现。加权平均法，就是利用过去若干个按照时间顺序排列起来的同一变量 的观测值并以时间顺序数为权数，计算出观测值的加权算术平均数，以这一数 字作为预测未来期间该变量预测值的一种趋势预测法。

换言之，本实施例对第一外参矩阵的第一误差值进行均值滤波处理，可以 通过将第一外参矩阵转换为四元数和平移向量后，分别对四元数和平移向量进 行加权平均，获得四元数的加权平均值和平移向量的加权平均值，所获得的四 元数的加权平均值和平移向量的加权平均值即为第一外参矩阵的第一误差值进 行均值滤波处理后的结果，最终将所获得的四元数的加权平均值和平移向量的 加权平均值再次转换回矩阵的形式，即可获得第二外参矩阵。

具体地，在本实施例，将第一外参矩阵转换为第一四元数和第一平移向量。 转换方法与现有普通变换矩阵转换为四元数和平移向量的方法相同，其中，四 元数是用四个数表示的向量，表示摄像头的旋转姿态；平移向量代表摄像头在X、 Y、Z轴正方向上平移的距离。

第一外参矩阵转换为第一四元数和第一平移向量的具体转换如下：

其中对第一外参矩阵的均值滤波处理的具体步骤如下：

即在本实施例中，步骤S30包括：

S301：根据预设滤波器长度，分别获取摄像头的N个历史误差值。

预设滤波器的长度可以根据AR图像中实际抖动帧进行确定，例如，若AR 图像中实际抖动帧为5帧，则预设滤波器的长度为5，此时，所需获取的摄像头 的历史误差值为5个，即获取当前帧的前连续5帧的历史误差值，其中，前连 续5帧的历史误差值均预先保存在数据库中，获取时可直接从数据库中调用。 可以理解地，这里所指的历史误差值为历史帧所计算出的摄像头外参矩阵的误 差值。

S302：对N个历史误差值分别进行权值处理，获得每一个历史误差值对应 的历史权值；同时对第一外参矩阵的第一误差值进行权值处理，获得第一外参 矩阵的第一权值。

在获得N帧连续帧对应的N个历史误差值后，分别计算这N个历史误差值 的倒数，每一个历史误差值的倒数为其历史权值，即获得每一个历史误差值对 应的历史权值。同时对第一外参矩阵的第一误差值进行权值处理，即计算第一 误差值的倒数，该第一误差值的倒数为第一外参矩阵的第一权值。

S303：对第一权值和所获得的所有历史权值进行归一化处理，获得归一化 权值。

具体地，首先，将第一权值和所有历史权值(即N个历史权值)累加求和， 获得权值累加和，计算该累加和的倒数，获得累加权值。接着，将第一权值乘 以累加权值，同时将每一个历史权值分别乘一累加权值，即完成归一处理，获 得归一化权值。

可以理解地，对权值进行归一化处理的目的是为了缩放权值，使这些权值 和为1，以避免出现数值越算越大或越算越小的错误。

例如，两个数a1、a2算加权平均，a1*0.5+a2*0.5或者a1*0.1+a2*0.9来计 算是合理的，但是a1*0.6+a2*0.6就会让结果算得比a1、a2中较大的值还要大， 这是不合理的。因此，本实施例中，先对所有权值进行归一化处理，以提高计 算的准确度及效率。

S304：根据归一化权值，分别对第一四元数和第一平移向量进行加权平均 处理，获得第一四元数的加权平均值和第一平移向量的加权平均值。

具体地，本实施例中，对第一平移向量进行加权平均处理，就是将平移向 量的各个值与步骤S303中获得的归一化权值进行加权平均，获得第一平移向量 的加权平均值，该第一平移向量的加权平均值即为新的平移向量，即经过滤波 处理后的所得到的第二平移向量。

本实施例中，根据归一化权值，对第一四元数进行加权平均处理可以利用 球面线性插值法，对第一四元数进行加权平均。以下为球面插值公式，p、q为 用于插值的四元数，t为q的归一化权值(所以p的权值为1-t)，θ为向量p、q 的夹角，用向量夹角公式cosθ＝p·q/(|p|*|q|)可以求得。

由上述公式可以看出，在对四元数进行加权平均时，只能用于求2个四元 数的加权平均，但是本实施例需要求多个四元数的加权平均，因此，需要2个2 个逐步求加权平均。

例如，假设有q0、q1到qn多个四元数，它们的权值分别为t0、t1到tn。 首先取最前面2个四元数假设为q0、q1，它们的权值(使用上面提到的归一化 权值等效，因为上面提到的归一化权值为总体的归一化，这里依然需要两两归 一化计算)为t0、t1。对t0、t1，进行归一化处理，使之和为1，记为t0’、t1’。 将q0、q1、t0’、t1’带入公式算出新的四元数，设为w，计算w的权值tw＝t0+t1。 之后使用w和接下来的四元数q2使用同样的方法计算加权平均，计算新的w 和tw。接下来q3到qn依次重复此操作。最后得到的w就是最终的四元数的加 权平均值。

S305：将第一四元数的加权平均值作为第二四元数，第一平移向量的加权 平均值作为第二平移向量。

S306：将第二四元数和第二平移向量进行矩阵变换，获得第二外参矩阵。 可以理解地，第二外参矩阵即为经过均值滤波处理的外参矩阵。

S40：根据第二外参矩阵对第一外参矩阵进行更新，以完成对图像的消抖。

在本实施例中，在获得第二外参矩阵后，将第一外参矩阵替换为第二外参 矩阵并保存，且在后续的获取AR图像的过程中，直接取第二外参矩阵进行建模。 通过采用经过均值滤波处理后的得到的第二外参矩阵，可有效消除AR图像中的 抖动现象。

本发明还提供一种图像消抖装置，如图3所示，该图像消抖装置可以包括： 获取单元31、计算单元32、滤波单元33以及更新单元34。

获取单元31，用于获取当前帧摄像头的第一外参矩阵以及与第一外参矩阵 对应的匹配成功的第一特征点对；

计算单元32，用于根据第一特征点对与第一外参矩阵，结合摄像头的内参 矩阵，获得第一外参矩阵的第一误差值；

滤波单元33，用于针对第一外参矩阵的第一误差值进行均值滤波处理，获 得第二外参矩阵；

更新单元34，用于根据第二外参矩阵对第一外参矩阵进行更新，以完成对 图像的消抖。

本发明还提供一种实现增强现实的方法，该实现增强现实的方法可以前述 的图像消抖方法。

优选地，本实施例的实现增强现实的方法还包括：

根据摄像头的内参矩阵及第二外参矩阵，在预设的模型中绘制出摄像头当 前位置下的虚拟图形；

将所获得的虚拟图形与当前帧摄像头图像进行合成，得到合成图像。

本发明还提供一种终端，该终端包括用于执行前述任一项的图像消抖方法 的单元。本实施例的终端可以为智能手机、平板电脑等移动终端，也可以为其 他终端。

具体地，如图6所示，本实施例的终端600可以包括第一获取单元601、第 一计算单元602、第一滤波单元603、第一更新单元604及转换单元605。其中， 转换单元605用于将第一外参矩阵转换为可进行线性旋转变化的数学模型。

可选的，根据该可进行线性旋转变化的数学模型可以获得第一四元数和第 一平移向量。

第一获取单元601，用于获取当前帧摄像头的第一外参矩阵以及与第一外参 矩阵对应的匹配成功的第一特征点对；其中，第一特征点对包括标志物图像的 第一匹配特征点集和摄像头图像的第二匹配特征点集；其中，第一匹配特征点 集中的每一个标志物匹配点与第二匹配特征点集中的一个图像匹配点匹配。

可选的，第一获取单元601可以包括第一获取模块6011。

第一获取模块6011，用于获取摄像头的内参矩阵。

第一计算单元602，用于根据第一特征点对与第一外参矩阵，结合摄像头的 内参矩阵，获得第一外参矩阵的第一误差值。

可选的，第一计算单元602可以包括提取模块6021、坐标获取模块6022、 第一计算模块6023及第二计算模块6024。

提取模块6021，用于获取第一匹配特征点集和第二匹配特征点集。

坐标获取模块6022，用于利用第一外参矩阵、摄像头的内参矩阵、以及第 一匹配特征点集和第二匹配特征点集，获得第一匹配特征点集中每一个标志物 匹配点在当前帧摄像头图像中的计算坐标和匹配坐标。

坐标获取模块6022，还用于利用第一外参矩阵和摄像头的内参矩阵，计算 第一匹配特征点集中的每一个标志物匹配点在当前帧摄像头图像中的坐标位 置，根据坐标位置确定每一个标志物匹配点的计算坐标。同时，根据第二匹配 特征点集，确定第一匹配特征点集中的每一个标志物匹配点在当前帧摄像头图 像中的匹配坐标。

第一计算模块6023，用于根据每一个标志物匹配点在当前摄像头图像中的 计算坐标和匹配坐标，获得每一个标志物匹配点的计算坐标与匹配坐标之间的 误差距离。

第二计算模块6024，用于对所获得的所有标志物匹配点的计算坐标与匹配 坐标之间的误差距离进行处理，获得平均误差距离，平均误差距离作为第一外 参矩阵的第一误差值。

第一滤波单元603，用于针对第一外参矩阵的第一误差值进行均值滤波处 理，获得第二外参矩阵。

可选的，第一滤波单元603可以包括历史误差值计算模块6031、权值获取 模块6032、归一化处理模块6033、加权平均处理模块6034以及转换模块6035。

历史误差值计算模块6031，用于根据预设滤波器长度，分别获取摄像头的 N个历史误差值；

权值获取模块6032，用于对N个历史误差值分别进行权值处理，获得每一 个历史误差值对应的历史权值；同时对第一外参矩阵的第一误差值进行权值处 理，获得第一外参矩阵的第一权值；

归一化处理模块6033，用于对第一权值和所获得的所有历史权值进行归一 化处理，获得归一化权值。

加权平均处理模块6034，用于根据归一化权值，分别对第一四元数和第一 平移向量进行加权平均处理，获得第一四元数的加权平均值和第一平移向量的 加权平均值；并将第一四元数的加权平均值作为第二四元数，第一平移向量的 加权平均值作为第二平移向量；

转换模块6035，用于将第二四元数和第二平移向量进行矩阵变换，获得第 二外参矩阵。

第一更新单元604，用于根据第二外参矩阵对第一外参矩阵进行更新，以完 成对图像的消抖。

如上，终端获取当前帧摄像头的第一外参矩阵以及与第一外参矩阵对应的 匹配成功的第一特征点对；根据第一特征点对与第一外参矩阵，结合摄像头的 内参矩阵，获得第一外参矩阵的第一误差值；针对第一外参矩阵的第一误差值 进行均值滤波处理，获得第二外参矩阵；根据第二外参矩阵对第一外参矩阵进 行更新，以完成对图像的消抖。由于根据所获得的当前帧摄像头的第一外参矩 阵以及与第一外参矩阵对应的匹配成功的第一特征点对，获得第一外参矩阵的 第一误差值，并对第一误差值进行均值滤波处理，使得经过均值滤波处理后的 第一外参矩阵趋于均值，即使每一帧得到的摄像头的外参矩阵均趋于均值，确 保AR成像过程中所需的外参矩阵更接近，进而消除了AR效果图的抖动现象， 增强了AR效果。

本发明还提供了一种实现增强现实的终端。

如图7所示，该实施例的实现增强现实的终端700可以包括：一个或多个 处理器701、一个或多个输入设备702、一个或多个输出设备703以及一个或多 个存储器704。上述处理器701、输入设备702、输出设备703和存储器704通 过通信总线705完成相互之间的通信。

存储器704用于存储计算机程序，计算机程序包括程序指令。

处理器701被配置用于调用程序指令，执行以下操作：

获取当前帧摄像头的第一外参矩阵以及与第一外参矩阵对应的匹配成功的 第一特征点对；其中，第一特征点对包括标志物图像的第一匹配特征点集和摄 像头图像的第二匹配特征点集；其中，第一匹配特征点集中的每一个标志物匹 配点与第二匹配特征点集中的一个图像匹配点匹配。

根据第一特征点对与第一外参矩阵，结合摄像头的内参矩阵，获得第一外 参矩阵的第一误差值；

针对第一外参矩阵的第一误差值进行均值滤波处理，获得第二外参矩阵；

根据第二外参矩阵对第一外参矩阵进行更新，以完成对图像的消抖。

进一步的，处理器701具体被配置用于调用程序指令执行以下操作：

获取第一匹配特征点集和第二匹配特征点集；

利用第一外参矩阵、摄像头的内参矩阵、以及第一匹配特征点集和第二匹 配特征点集，获得第一匹配特征点集中每一个标志物匹配点在当前帧摄像头图 像中的计算坐标和匹配坐标；

根据每一个标志物匹配点在当前摄像头图像中的计算坐标和匹配坐标，获 得每一个标志物匹配点的计算坐标与匹配坐标之间的误差距离；

对所获得的所有标志物匹配点的计算坐标与匹配坐标之间的误差距离进行 处理，获得平均误差距离，平均误差距离作为第一外参矩阵的第一误差值。

进一步的，处理器701具体被配置用于调用程序指令执行以下操作：

利用第一外参矩阵和摄像头的内参矩阵，计算第一匹配特征点集中的每一 个标志物匹配点在当前帧摄像头图像中的坐标位置，根据坐标位置确定每一个 标志物匹配点的计算坐标；

根据第二匹配特征点集，确定第一匹配特征点集中的每一个标志物匹配点 在当前帧摄像头图像中的匹配坐标。

进一步的，处理器701具体被配置用于调用程序指令执行以下操作：

获取摄像头的内参矩阵。

进一步的，处理器701具体被配置用于调用程序指令执行以下操作：

根据预设滤波器长度，分别获取摄像头的N个历史误差值；

对N个历史误差值分别进行权值处理，获得每一个历史误差值对应的历史 权值；同时对第一外参矩阵的第一误差值进行权值处理，获得第一外参矩阵的 第一权值；

对第一权值和所获得的所有历史权值进行归一化处理，获得归一化权值。

进一步的，处理器701具体被配置用于调用程序指令执行以下操作：

将第一外参矩阵转换为可进行线性旋转变化的数学模型，根据所述数学模 型获得第一四元数和第一平移向量。

进一步的，处理器701具体被配置用于调用程序指令执行以下操作：

根据归一化权值，分别对第一四元数和第一平移向量进行加权平均处理， 获得第一四元数的加权平均值和第一平移向量的加权平均值；其中，对第一四 元数进行加权平均可以利用球面线性插值法。

将第一四元数的加权平均值作为第二四元数，第一平移向量的加权平均值 作为第二平移向量；

将第二四元数和第二平移向量进行矩阵变换，获得第二外参矩阵。

可以理解地，在本发明的实施例中，处理器701可以是中央处理单元 (CentralProcessing Unit，CPU)，还可以是其他通用处理器、数字信号处理器 (Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或 者其他可编程逻辑器件、晶体管逻辑器件、分立硬件组件等。通用处理器可以 是微处理器或者该处理器也可以是任何常规的处理器等。

输入设备702可以包括触控板、指纹采传感器(用于采集用户的指纹信息 和指纹的方向信息)、麦克风、按键等。输出设备703可以包括显示器(LCD、 TFT-LCD、OLED、PMOLED、AMOLED等)、扬声器、闪光灯等。

存储器704可以包括只读存储器和随机存取存储器，并向处理器701提供 指令和数据。存储器704的一部分还可以包括非易失性随机存取存储器。例如， 存储器704还可以存储设备类型的信息。

具体实现中，本发明实施例中所描述的处理器701、输入设备702、输出设 备703可执行本发明实施例提供的图像消抖方法的实施例一中所描述的实现方 式，也可执行本发明实施例所描述的终端的实现方式，在此不再赘述。

本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有 计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时 使所述处理器执行实现上述实施例的图像消抖方法的步骤。

计算机可读存储介质可以是前述任一实施例所述的终端的内部存储单元， 例如终端的硬盘或内存。该计算机可读存储介质也可以是所述终端的外部存储 设备，例如所述终端上配备的插接式硬盘，智能存储卡(Smart Media Card, SMC)，安全数字(SecureDigital,SD)卡，闪存卡(Flash Card)等。

进一步地，计算机可读存储介质还可以既包括所述终端的内部存储单元也 包括外部存储设备。计算机可读存储介质用于存储计算机程序及终端所需的其 他程序和数据。计算机可读存储介质还可以用于暂时地存储已经输出或者将要 输出的数据。

以上实施例只为说明本发明的技术构思及特点，其目的在于让熟悉此项技 术的人士能够了解本发明的内容并据此实施，并不能限制本发明的保护范围。 凡跟本发明权利要求范围所做的均等变化与修饰，均应属于本发明权利要求的 涵盖范围。

应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进 或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (15)

1.一种图像消抖方法，其特征在于，包括以下步骤：

S10：获取当前帧摄像头的第一外参矩阵以及与所述第一外参矩阵对应的匹配成功的第一特征点对；

S20：根据所述第一特征点对与所述第一外参矩阵，结合摄像头的内参矩阵，获得所述第一外参矩阵的第一误差值；

S30：针对所述第一外参矩阵的第一误差值进行均值滤波处理，获得第二外参矩阵；

S40：根据所述第二外参矩阵对所述第一外参矩阵进行更新，以完成对图像的消抖。

2.根据权利要求1所述的图像消抖方法，其特征在于，所述第一特征点对包括标志物图像的第一匹配特征点集和摄像头图像的第二匹配特征点集；其中，所述第一匹配特征点集中的每一个标志物匹配点与所述第二匹配特征点集中的一个图像匹配点匹配。

3.根据权利要求2所述的图像消抖方法，其特征在于，所述步骤S20包括：

A：获取所述第一匹配特征点集和第二匹配特征点集；

B：利用所述第一外参矩阵、摄像头的内参矩阵、以及所述第一匹配特征点集和第二匹配特征点集，获得所述第一匹配特征点集中每一个标志物匹配点在当前帧摄像头图像中的计算坐标和匹配坐标；

C：根据所述每一个标志物匹配点在当前摄像头图像中的计算坐标和匹配坐标，获得所述每一个标志物匹配点的计算坐标与匹配坐标之间的误差距离；

D：对所获得的所有标志物匹配点的计算坐标与匹配坐标之间的误差距离进行处理，获得平均误差距离，所述平均误差距离作为所述第一外参矩阵的第一误差值。

4.根据权利要求3所述的图像消抖方法，其特征在于，所述步骤B包括：

B11：利用所述第一外参矩阵和摄像头的内参矩阵，计算所述第一匹配特征点集中的每一个标志物匹配点在当前帧摄像头图像中的坐标位置，根据所述坐标位置确定所述每一个标志物匹配点的计算坐标；

B12：根据所述第二匹配特征点集，确定所述第一匹配特征点集中的每一个标志物匹配点在当前帧摄像头图像中的匹配坐标。

5.根据权利要求1所述的图像消抖方法，其特征在于，在所述步骤S20之前进一步包括：

获取所述摄像头的内参矩阵。

6.根据权利要求1所述的图像消抖方法，其特征在于，所述步骤S30包括：

S301：根据预设滤波器长度，分别获取所述摄像头的N个历史误差值；

S302：对所述N个历史误差值分别进行权值处理，获得每一个历史误差值对应的历史权值；同时对所述第一外参矩阵的第一误差值进行权值处理，获得所述第一外参矩阵的第一权值；

S303：对所述第一权值和所获得的所有历史权值进行归一化处理，获得归一化权值。

7.根据权利要求6所述的图像消抖方法，其特征在于，所述步骤S301之前还包括：

将所述第一外参矩阵转换为可进行线性旋转变化的数学模型。

8.根据权利要求7所述的图像消抖方法，其特征在于，所述方法还包括：根据所述数学模型获得第一四元数及第一平移向量。

9.根据权利要求8所述的图像消抖方法，其特征在于，所述步骤S30进一步包括：

S304：根据所述归一化权值，分别对所述第一四元数和第一平移向量进行加权平均处理，获得所述第一四元数的加权平均值和所述第一平移向量的加权平均值；

S305：将所述第一四元数的加权平均值作为第二四元数，所述第一平移向量的加权平均值作为第二平移向量；

S306：将所述第二四元数和第二平移向量进行矩阵变换，获得所述第二外参矩阵。

10.根据权利要求9所述的图像消抖方法，其特征在于，所述根据所述归一化权值，对所述第一四元数进行加权平均处理包括：

根据所述归一化权值，利用球面线性插值法，对所述第一四元数进行加权平均。

11.一种图像消抖装置，其特征在于，包括：

获取单元，用于获取当前帧摄像头的第一外参矩阵以及与所述第一外参矩阵对应的匹配成功的第一特征点对；

计算单元，用于根据所述第一特征点对与所述第一外参矩阵，结合摄像头的内参矩阵，获得所述第一外参矩阵的第一误差值；

滤波单元，用于针对所述第一外参矩阵的第一误差值进行均值滤波处理，获得第二外参矩阵；

更新单元，用于根据所述第二外参矩阵对所述第一外参矩阵进行更新，以完成对图像的消抖。

12.一种实现增强现实的方法，其特征在于，包括权利要求1-10任一项所述的图像消抖方法，还包括：

根据摄像头的内参矩阵及第二外参矩阵，在预设的模型中绘制出摄像头当前位置下的虚拟图形；

将所获得的虚拟图形与当前帧摄像头图像进行合成，得到合成图像。

13.一种终端，其特征在于，包括用于执行如权利要求1-10任一项权利要求所述的方法的单元。

14.一种实现增强现实的终端，其特征在于，包括处理器、输入设备、输出设备和存储器，所述处理器、输入设备、输出设备和存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行如权利要求1-10任一项所述的方法。

15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行如权利要求1-10任一项所述的方法。

Images