CN110097061A - 一种图像显示方法及装置 - Google Patents

Abstract

本申请公开了一种图像显示方法及装置，用以避免在较差自然场景环境和有限移动设备内存、计算能力的情况下无法快速、稳定、准确进行图像识别及跟踪注册的问题，满足基于移动设备的增强现实应用需求。本申请提供的一种图像显示方法，包括：在第一线程中确定目标与所述目标的匹配图像之间的第一单应性矩阵；在与所述第一线程并行的第二线程中，确定所述目标与包含所述目标的前一帧现实场景图像之间的第二单应性矩阵；根据所述第一单应性矩阵确定第一图形，根据所述第二单应性矩阵确定第二图形；当所述第一图形和所述第二图形的重叠面积比例大于预设阈值时，将所述目标与存储的三维模型进行虚实融合显示。

Description

一种图像显示方法及装置

技术领域

本申请涉及增强现实技术领域，尤其涉及一种图像显示方法及装置。

背景技术

增强现实(Augmented Reality，AR)技术是当前计算机应用领域中的一个研究热点。AR技术通过在真实场景中添加虚拟物体使得虚拟物体与真实环境融为一体，可以增强人们对真实环境的理解与体验。AR技术融合了虚拟现实、计算机视觉、计算机图形学、图像处理、模式识别、光电显示等多个学科的最新成果，在工业、医疗、传媒、军事、娱乐、教育等多个领域有着广泛的应用。以往的AR系统大多都采用台式机、大型工作站等作为系统运行平台，限制了用户的活动范围和准入门槛。随着移动终端和网络技术的飞速发展，使得AR技术脱离PC机、工作站等笨重设备的限制成为可能，基于移动设备、智能电视的AR技术应用而生。但是随着AR应用市场规模不断扩大，用户对AR的应用体验要求日益提高：流畅展现、实时交互、持久运行，都对终端设备的计算能力、媒体处理能力等提出挑战。如何在有限的终端设备内存、计算能力下，实现现实场景图像内容的快速、准确识别和注册跟踪，如何实时叠加并流畅展现各种媒体类型的AR内容，成为目前AR技术的研究重点和难点。

图像特征点的提取和匹配是摄像机位姿计算及实时跟踪的基础，图像特征点的提取速度及鲁棒性直接影响场景识别及虚实注册的性能。在图像特征提取方法中，使用较为广泛的有尺度不变特征变换(Scale-invariant feature transform，SIFT)、快速鲁棒特征(Speeded-Up Robust Features，SURF)和FAST特征点检测算法(Features fromAccelerated Segment Test，FAST)等算法。SIFT特征是图像的局部特征，其对光照变化、目标远近变化、目标旋转、视角变换以及部分遮挡具有较好的鲁棒性，同时SIFT特征的独特性好，具有很强的鉴别能力。因此SIFT算法一经推出就得到了大规模应用，在图像检索、图像配准、图像拼接、目标检测等相关应用中都能找到它的身影。SUFT算法使用积分图进行算法加速，算法耗时约为SIFT算法的三分之一，同时特征维度是SIFT算法的二分之一。SUFT算法对光照变化鲁棒性最好，且在对滤波模糊的鲁棒性也优于SIFT算法，而对尺度和旋转的鲁棒性则不及SIFT算法。FAST算法通过检测中心点与周围像素点的明暗程度来确定特征点，简单的计算步骤使提点算法具有快速和高效的特点。FAST算法对图像的缩放不具有自适应性，当图像尺度发生变化时FAST算法得到结果的重复性较差。近年来，在主流的增强现实应用中，图像特征点提取和匹配大多采用以上几种方法或者对其进行一定的改进。但现有的算法存在着一些不足，大多数特征提取与描述算法存在计算量和内存占用较大、特征匹配时间长等问题。考虑到移动终端与普通计算机在性能上仍然存在一定的差距，并具有独特的硬件架构，目前应用于主流计算机平台的特征匹配技术不完全适用于移动终端。近年来研究工作更多地关注如何在保持甚至是提升原始描述子鉴别能力的前提下对描述子进行深度压缩的方法。

发明内容

本申请实施例提供了一种图像显示方法及装置，用以避免在较差自然场景环境和有限移动设备内存、计算能力的情况下无法快速、稳定、准确进行图像识别及跟踪注册的问题，满足基于移动设备的增强现实应用需求，并且应用场景灵活，具有较大的实用价值。

在客户端侧，本申请实施例提供一种图像显示方法，包括：

通过摄像头获取现实场景图像；

在第一线程中根据当前帧现实场景图像对目标进行特征点匹配并确定所述当前帧现实场景图像中目标的匹配图像；确定所述目标与所述目标的匹配图像之间的第一单应性矩阵；

在与所述第一线程并行的第二线程中，基于所述当前帧现实场景图像和包含所述目标的前一帧现实场景图像跟踪所述目标；确定所述目标与包含所述目标的前一帧现实场景图像之间的第二单应性矩阵；

当所述第一单应性矩阵透视变换后生成的第一目标角点坐标所围第一图形为凸多边形时，计算所述第一图形的面积；当所述第二单应性矩阵透视变换后生成的第二目标角点坐标所围第二图形为凸多边形时，计算所述第二图形的面积；并在第一图形和第二图形的重叠面积比例大于预设阈值时，将所述目标与存储的三维模型进行虚实融合显示。本申请实施例提供的图像显示方法通过摄像头获取现实场景图像，图像匹配模块在第一线程中对目标进行特征点匹配并确定所述当前帧现实场景图像中目标的匹配图像，从而确定所述目标与所述目标的匹配图像之间的第一单应性矩阵；图像跟踪模块在与所述第一线程并行的第二线程中，基于所述当前帧现实场景图像和包含所述目标的前一帧现实场景图像跟踪所述目标，从而确定所述目标与包含所述目标的前一帧现实场景图像之间的第二单应性矩阵；当所述第一单应性矩阵透视变换后生成的第一目标角点坐标所围第一图形为凸多边形时，计算所述第一图形的面积；当所述第二单应性矩阵透视变换后生成的第二目标角点坐标所围第二图形为凸多边形时，计算所述第二图形的面积；并在第一图形和第二图形的重叠面积比例大于预设阈值时，将所述目标与存储的三维模型进行虚实融合显示。通过第一线程和第二线程的结合可以避免在较差自然场景环境和有限移动设备内存、计算能力的情况下无法快速、稳定、准确进行图像识别及跟踪注册的问题，满足基于移动设备的增强现实技术的应用需求，本申请提供的图像显示方法应用场景灵活，具有较大的实用性。

在客户端侧，本申请实施例提供了一种图像显示装置，包括：

摄像头模块，用于获取现实场景图形；

图像匹配模块，用于通过执行第一线程根据当前通过帧现实场景图像对目标进行特征点匹配并确定所述当前帧现实场景图像中目标的匹配图像；确定所述目标与所述目标的匹配图像之间的第一单应性矩阵；

图像跟踪模块，用于在与所述第一线程并行的第二线程中，基于所述当前帧现实场景图像和包含所述目标的前一帧现实场景图像跟踪所述目标；确定所述目标与包含所述目标的前一帧现实场景图像之间的第二单应性矩阵；

虚实融合显示单元，用于当所述第一单应性矩阵透视变换后生成的第一目标角点坐标所围第一图形为凸多边形时，计算所述第一图形的面积；当所述第二单应性矩阵透视变换后生成的第二目标角点坐标所围第二图形为凸多边形时，计算所述第二图形的面积；并在第一图形和第二图形的重叠面积比例大于预设阈值时，将所述目标与存储的三维模型进行虚实融合显示。

本申请另一实施例提供了一种计算设备，其包括存储器和处理器，其中，所述存储器用于存储程序指令，所述处理器用于调用所述存储器中存储的程序指令，按照获得的程序执行上述任一种方法。

本申请另一实施例提供了一种计算机存储介质，所述计算机存储介质存储有计算机可执行指令，所述计算机可执行指令用于使所述计算机执行上述任一种方法。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅是本申请的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例在客户端侧提供的一种图像显示方法的流程示意图；

图2为本申请实施例在客户端侧提供的一种图像显示装置的结构示意图；

图3为本申请实施例一提供的一种图像显示方法具体实施的流程示意图；

图4为本申请实施例提供的一种计算设备示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，并不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请实施例提供了一种图像显示方法及装置，用以避免在较差自然场景环境(例如，光照条件变化显著、图像缺失、背景复杂、物体运动剧烈等自然环境)和有限移动设备内存、计算能力的情况下无法快速、稳定、准确进行图像识别及跟踪注册的问题，满足基于移动设备的增强现实应用需求，并且应用场景灵活，具有较大的实用价值。

本申请实施例的图像显示方法在实施过程中包括两个线程，图像匹配模块侧实施的内容为本申请实施例中的第一线程，图像跟踪模块侧实施的内容为本申请实施例中的第二线程。

其中，摄像头采集当前帧现实场景图像并启动第一线程中的图像匹配。

在整个客户端侧，本申请实施例提供一种图像显示方法，参见图1，包括：

S101、通过摄像头获取现实场景图像；

S102、在第一线程中根据当前帧现实场景图像对目标进行特征点匹配并确定所述当前帧现实场景图像中目标的匹配图像；确定所述目标与所述目标的匹配图像之间的第一单应性矩阵；

S103、在与所述第一线程并行的第二线程中，基于所述当前帧现实场景图像和包含所述目标的前一帧现实场景图像跟踪所述目标；确定所述目标与包含所述目标的前一帧现实场景图像之间的第二单应性矩阵；

S104、当所述第一单应性矩阵透视变换后生成的第一目标角点坐标所围第一图形为凸多边形时，计算所述第一图形的面积；当所述第二单应性矩阵透视变换后生成的第二目标角点坐标所围第二图形为凸多边形时，计算所述第二图形的面积；并在第一图形和第二图形的重叠面积比例大于预设阈值时，将所述目标与存储的三维模型进行虚实融合显示。

本申请实施例设定一个阈值，若所述第一图形与所述第二图形的重叠面积比例大于这个阈值，则说明图像匹配与图像跟踪的结果差异较小，说明图像跟踪结果准确，此时计算本地存储的虚拟模型的变换矩阵、匹配虚拟模型的位置和角度，最终将其叠加显示到摄像机中的真实场景中去，完成虚实融合显示，然后重新开始下一帧现实场景图像的跟踪；若所述第一图形与所述第二图形的重叠面积比例小于这个阈值时，则说明图像跟踪结果不准确，此时停止真实场景中的虚实融合显示，并停止图像跟踪，且无论跟踪结果如何，都重新执行第一线程开始下一帧现实场景图像的图像匹配。由于图像跟踪的结果不准确，图像跟踪模块关闭并进入等待状态，等待图像匹配模块向所述图像跟踪模块发送所述目标的特征点。

可选地，在第一线程中，对所述匹配图像进行几何校验，消除在所述当前帧现实场景图像中所述目标与所述目标的匹配图像上的错误特征点点对。

当图像匹配模块对所述目标图像匹配成功，则采用DISTRACT算法(DISTRACT算法基于匹配对比值的统计分布进行几何验证，相对于传统的RANSAC算法具有更快的速度)进行几何一致性验证(即几何校验)来消除错误特征点点对，从而提高后续单应性矩阵计算的准确度，若匹配失败则重新进行匹配。

可选地，在第一线程中利用第一算法进行特征点匹配确定所述当前帧现实场景图像中目标的匹配图像；

当在所述第一线程首次完成特征点匹配后，启动第二线程，在所述第二线程中使用第二算法对所述目标进行跟踪，其中，第一算法的鲁棒性优于第二算法。

可选地，所述第一算法为AKAZE算法，所述第二算法为KLT光流算法。

在一些实施例中，第一线程中的图像匹配采用的第一算法可以是AKAZE算法，即加速KAZE算法，该算法用于图像匹配过程中的特征检测和提取。KAZE算法是于2012年在计算机视觉领域最顶尖的ECCV会议中提出来的一种比传统的SIFT、SURF算法更稳定、性能更好的特征检测算法。KAZE特征检测是在图像领域中进行非线性扩散处理的过程，采用加性算子分裂算法(AOS)来进行非线性扩散滤波，可以采用任意步长来构造稳定的非线性尺度空间，而AKAZE是加速版KAZE特征检测与提取算法。在一些实施例中，还可以采用K-Means聚类分析算法来进行特征点的聚类筛选(聚类筛选的目的是选出具有相似性和相邻的一些特征点，聚集成若干位置相近的点集，目的是增强匹配的成功率，让匹配更快更容易)；第二线程中的图像跟踪采用KLT光流算法，利用KLT算子提取特征点，并基于此进行最优估计匹配，实现相邻帧之间的目标跟踪，此方法使得图像跟踪具有很高的跟踪速度，且在迭代次数较少的情况下，精度可以满足一般的移动增强现实应用需求。

本申请实施例提供的图像显示方法是一种基于AKAZE特征提取、K-Means聚类分析和DISTRACT几何校验的无标志图像特征点提取和匹配算法，以及一种多线程快速跟踪注册算法，通过确定所述目标与所述目标的匹配图像之间的单应性矩阵，以及确定所述目标与摄像头采集的包含所述目标的前一帧现实场景图像之间的单应性矩阵，两个线程并行执行图像匹配和图像跟踪过程，可以实现在较差自然场景环境和有限移动设备内存、计算能力的情况下进行快速、稳定、准确的图像识别及跟踪注册，满足基于移动设备的增强现实应用需求，应用场景灵活，具有较大的实用价值。

一般地，图像跟踪注册技术性能和鲁棒性往往不能兼得，有的算法具有良好的计算性能，但是往往稳定性和鲁棒性较差，有的算法具有良好的稳定性和鲁棒性，但性能则相对较差。因此，本申请实施例提供的图像显示方法将两类算法的优点进行结合，将系统分为图像匹配和图像跟踪两个部分，分别采用不同的算法，然后采用多线程的思想，两个线程并行运行。在第一线程中使用稳定性和鲁棒性能较好但实时性较差的KAZE算法，在第二线程中则采用实时性较好的KLT算法，从而实现所述目标与本地存储的三维模型的虚实融合显示。

可选地，当所述第一图形为凹多边形时，在第一线程中重新对所述目标进行特征点匹配。

对所述单应性矩阵进行透视变换，确定所述当前帧现实场景图像上目标角点的坐标，根据所述目标角点的坐标，对所述单应性矩阵的质量进行评估，例如，所述单应性矩阵透视变换后生成4个目标角点坐标，当这4个目标角点的坐标所围图形为凸四边形，则说明单应性矩阵质量良好，判断图像跟踪模块是否启动，若没有启动，则在第二线程中启动图像跟踪模块。具体实施时，判断图像跟踪模块是否启动可以设置图像跟踪模块启动标记，初始可以为未启动状态，启动后设置启动状态，停止该模块时再次设置为未启动状态，即判断是否启动的方法为查看此标记的状态值；当这4个目标角点的坐标所围图形为凹四边形时，重新对所述当前帧现实场景图像进行特征点匹配。

可选地，在第二线程中，当跟踪到所述目标的特征点数量小于预设阈值时，从第一线程获取所述目标的特征点，并根据重新获取到的所述目标的特征点重新跟踪所述当前帧现实场景图像中的目标。

在一些实施例中，当第二算法采用KLT光流算法时，由于KLT算法不能保证特征点的数量，随着移动设备的不断移动，跟踪到的特征点数量会越来越少，导致计算结果准确性的不断下降。因此，需要在每次图像跟踪流程中判断跟踪到的点数是否小于预设的阈值，若小于阈值，则立刻主动获取第一线程中图像匹配模块的最新特征点，即向所述图像匹配模块发送特征点获取请求，并接收所述图像匹配模块发送的特征点获取响应，从中获取特征描述符，根据所述特征描述符获取最新的特征点。

在一些实施例中，图像跟踪模块在等待重新获取所述当前帧现实场景图像中的目标的特征点的过程中，对当前跟踪到的所述当前帧现实场景图像中的目标的特征点持续跟踪。图像跟踪模块持续跟踪当前帧现实场景图像中目标的特征点目的是使得特征点的更新更加平滑，防止虚实显示过程中的虚拟叠加信息出现跳跃现象，因此，在阈值判定后需要图像跟踪模块持续跟踪。

可选地，在第二线程中，当跟踪到的所述目标的特征点数量不小于预设阈值时，通过几何校验来消除所述当前帧现实场景图像中目标与包含所述目标的前一帧现实场景图像的错误特征点点对。

与图像匹配模块中完成几何校验类似，采用DISTRACT算法消除跟踪过程中的错误匹配点，完成几何一致性验证，从而提高后续单应性矩阵计算的准确度。

可选地，当所述第二图形为凹多边形时，在第二线程中重新对所述目标进行跟踪。

相应地，在客户端侧，本申请实施例提供了一种图像显示装置，参见图2，包括：

摄像头模块21，用于获取现实场景图形；

图像匹配模块22，用于通过执行第一线程根据当前通过帧现实场景图像对目标进行特征点匹配并确定所述当前帧现实场景图像中目标的匹配图像；确定所述目标与所述目标的匹配图像之间的第一单应性矩阵；

图像跟踪模块23，用于在与所述第一线程并行的第二线程中，基于所述当前帧现实场景图像和包含所述目标的前一帧现实场景图像跟踪所述目标；确定所述目标与包含所述目标的前一帧现实场景图像之间的第二单应性矩阵；

虚实融合显示单元24，用于当所述第一单应性矩阵透视变换后生成的第一目标角点坐标所围第一图形为凸多边形时，计算所述第一图形的面积；当所述第二单应性矩阵透视变换后生成的第二目标角点坐标所围第二图形为凸多边形时，计算所述第二图形的面积；并在第一图形和第二图形的重叠面积比例大于预设阈值时，将所述目标与存储的三维模型进行虚实融合显示。

可选地，所述图像匹配模块还用于：

对所述匹配图像进行几何校验，消除在所述当前帧现实场景图像中所述目标与所述目标的匹配图像上的错误特征点点对。

可选地，所述图像匹配模块在第一线程中利用第一算法进行特征点匹配确定所述当前帧现实场景图像中目标的匹配图像；

当在所述第一线程首次完成特征点匹配后，启动所述图像跟踪模块执行第二线程，在所述第二线程中使用第二算法对所述目标进行跟踪，其中，第一算法的鲁棒性优于第二算法。

可选地，所述第一算法为AKAZE算法，所述第二算法为KLT光流算法。

可选地，当所述第一图形为凹多边形时，所述图像匹配模块重新对所述目标进行特征点匹配。

可选地，所述图像跟踪模块在跟踪到所述目标的特征点数量小于预设阈值时，从所述图像匹配模块获取所述目标的特征点，并根据重新获取到的所述目标的特征点重新跟踪所述当前帧现实场景图像中的目标。

可选地，当所述图像跟踪模块跟踪到的所述目标的特征点数量不小于预设阈值时，通过几何校验来消除所述当前帧现实场景图像中的目标与包含所述目标的前一帧现实场景图像的错误特征点点对。

可选地，当所述第二图形为凹多边形时，所述图像跟踪模块重新对所述目标进行跟踪。

其中，方法和装置是基于同一申请构思的，由于方法和装置解决问题的原理相似，因此装置和方法的实施可以相互参见，重复之处不再赘述。

下面结合说明书附图对本申请各个实施例进行详细描述。需要说明的是，本申请实施例的展示顺序仅代表实施例的先后顺序，并不代表实施例所提供的技术方案的优劣。

实施例一，一种图像显示方法的具体实施流程，参见图3，包括：

S301，移动客户端启动图像显示程序；

S302，在第二线程中，开启客户端摄像头，对准包含需要捕捉识别的目标的现实场景图像，实时捕捉图像；

S303，第一次捕捉到现实场景图像后，随后切换到第一线程进行图像匹配；

S304，基于移动客户端本地存储的识别图像库将捕捉到的图像与识别图像库中的图像对目标进行图像匹配计算；

在图像匹配时，本发明采用AKAZE算法进行特征检测和提取。KAZE算法是于2012年在计算机视觉领域最顶尖的ECCV会议中提出来的一种比传统的SIFT、SURF算法更稳定、性能更好的特征检测算法。KAZE特征检测是在图像域中进行非线性扩散处理的过程，采用加性算子分裂算法AOS来进行非线性扩散滤波，可以采用任意步长来构造稳定的非线性尺度空间，而AKAZE是加速版KAZE特征检测与提取算法。特征点提取后，特征点选择用来去除干扰的特征点，保留重要性最高的点从而提升检索的效率和精准度。K-Means算法是一种聚类分析的算法，本发明采用K-Means算法来进行特征点的聚类筛选(聚类筛选目的是选出具有相似性和相邻的一些特征点，聚集成若干位置相近的点集，目的是增强匹配的成功率，让匹配更快更容易)；

判断移动客户端是否匹配成功，如移动客户端匹配成功执行S305；若匹配失败，则重新进行匹配识别，再次执行S304；

S305，采用DISTRACT算法对匹配图像进行几何一致性验证(几何校验)来消除当前帧现实场景图像中所述目标与所述目标的匹配图像上的错误匹配点，即错误特征点点对，完成几何一致性验证，从而提高接下来计算单应性矩阵计算的准确度；接收图像跟踪模块发送的最新特征点获取请求；

其中，DISTRACT算法相对于传统的RANSAC算法具有更快的速度，它基于匹配对比值的统计分布进行几何验证；

S306，当图像匹配模块通过几何一致性验证来消除错误匹配点之后，计算输出所述目标与所述目标的匹配图像之间的第一单应性矩阵，且对每一帧都执行该操作；

S307，对S306输出的第一单应性矩阵的质量进行评价，若质量评价结果较差，则执行S304进行重新图像匹配；若质量评价结果为良好，执行S308；

具体实施时，单应性矩阵的质量可以按照以下方法进行评价：

例如，计算通过单应性矩阵透视变换后的生成的4个目标角点坐标，然后判断4个角点所围四边形的类型，如果所围四边形为凸四边形，则说明单应性矩阵质量良好，如果所围四边形为凹四边形，则说明单应性矩阵质量较差，此时需要重新进行匹配识别；

S308，首先输出透视变换的4个角点，然后判断图像跟踪模块是否启动，若没有启动，则执行S309在第二线程中启动图像跟踪模块开启跟踪模块，此时图像匹配模块向图像跟踪模块发送所述目标图像匹配成功的特征点作为图像跟踪模块初始的跟踪对象；

可以通过如下方式判断图像跟踪模块是否启动：

设置图像跟踪模块启动标记，初始可以设置为未启动状态，启动后设置启动状态，停止该模块时再次设置为未启动状态，通过查看标记的状态值判断图像跟踪模块是否启动；

本发明采用KLT光流算法对目标进行跟踪，利用KLT算子提取特征点，并基于此进行最优估计匹配，实现相邻帧之间的目标跟踪。该方法具有很高的跟踪速度，且在迭代次数较少的情况下，精度可以满足一般的移动增强现实应用需求；

S309，开启图像跟踪模块，同时执行S302，将摄像机捕捉到的前一帧现实场景图像发送给图像跟踪模块，其中，所述前一帧现实场景图像包含所述目标；

S310，图像跟踪模块对前一帧现实场景图像进行持续的识别跟踪；

根据KLT光流算法判断前一帧现实场景图像是否跟踪成功，若跟踪成功，则执行S311，进行跟踪到特征点数量的判断，若跟踪失败，则重新执行S308进行图像跟踪；

由于KLT算法不能保持特征点的数量，随着移动设备不断的移动，跟踪到的特征点的数量会越来越少，会导致计算结果准确性的不断下降。因此需要在每次图像跟踪流程中判断跟踪到的特征点的数量是否小于设定的阈值。若小于阈值，则立即执行S305，向图像匹配线程发送获取最新特征点的获取请求，图像跟踪模块在等待接收所述图像匹配模块发送的所述特征点获取响应中的特征点的过程中，对当前跟踪到的特征点持续跟踪，可以让特征点的更新更加平滑、防止虚拟叠加信息出现跳跃现象，当图像匹配模块接收到所述获取请求并向图像跟踪模块发送最新特征点时，图像跟踪模块重新执行S308；若不小于阈值，则执行S311进行几何一致性验证；

S311，与图像匹配模块类似，采用DISTRACT算法消除跟踪过程中当前帧现实场景图像中的目标与包含所述目标的前一帧现实场景图像的错误匹配点，完成几何一致性验证，从而提高接下来计算单应性矩阵的准确度；

S312，完成几何一致性验证之后，计算输出所述目标与包含所述目标的前一帧现实场景图像之间的第二单应性矩阵；

S313，对S312输出的第二单应性矩阵的质量进行评价，第二单应性矩阵质量的评价方法与S307评价方法一致，若质量评价结果较差，则重新执行S308进行图像识别跟踪；若质量评价结果为良好，执行S314；

S314，输出透视变换的4个角点；

S315，根据S307和S313输出的单应性矩阵，分别计算图像匹配模块和图像跟踪模块透视角点坐标所围多边形的面积，然后再计算二者所围多边形的重叠面积比例，以此作为判断跟踪模块结果是否准确的依据；

S316，本系统设定一个阈值，若S315计算得到的重叠比例大于这个阈值，则说明图像跟踪的结果与图像匹配的结果差异较小，说明跟踪结果准确，此时执行S317；

S317，计算本地存储的虚拟模型的变换矩阵、匹配虚拟模型的位置和角度，最终将其叠加显示到摄像机中的真实场景中去，完成虚实融合显示，然后重复执行步骤S310，重新开始下一帧的图像跟踪；若面积比值小于阈值，则说明跟踪结果不准确，此时停止真实场景中的虚实融合显示，并停止图像跟踪模块。无论跟踪结果如何，以上流程结束后，均执行步骤S304重新开始下一帧的图像匹配；

若由于图像跟踪结果不准确而停止图像跟踪模块，则图像跟踪模块进入等待状态，等待图像匹配模块发送新一帧的现实场景图像中所述目标的特征点。

通过以上流程的循环、两个线程中图像匹配和图像跟踪模块的交互迭代执行，则可以实现性能高、稳定性和鲁棒性良好的无标志图像跟踪注册，满足移动增强现实应用需求。

上述方法不仅可以运行于计算能力较弱的移动设备，同样可以运行于传统的配备有摄像头的PC、具有计算能力的智能电视设备上。

此外，本申请实施例中的图像匹配模块及图像跟踪模块可以移植于云端服务器进行计算，将结果通过网络传输给移动设备使用。因此，本地存储的识别图像库以及虚拟信息数据同样可以存储于云端，而系统成功运行一次之后，这些数据可以缓存于本地，在下次运行时可以直接使用本地数据。

需要说明的是，本申请实施例中对单元的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

本申请实施例提供了一种计算设备，该计算设备具体可以为桌面计算机、便携式计算机、智能手机、平板电脑、个人数字助理(Personal Digital Assistant，PDA)等。该计算设备可以包括中央处理器(Center Processing Unit，CPU)、存储器、输入/输出设备等，输入设备可以包括键盘、鼠标、触摸屏等，输出设备可以包括显示设备，如液晶显示器(Liquid Crystal Display，LCD)、阴极射线管(Cathode Ray Tube，CRT)等。

存储器可以包括只读存储器(ROM)和随机存取存储器(RAM)，并向处理器提供存储器中存储的程序指令和数据。在本申请实施例中，存储器可以用于存储本申请实施例提供的任一所述方法的程序。

处理器通过调用存储器存储的程序指令，处理器用于按照获得的程序指令执行本申请实施例提供的任一所述方法。

在图像匹配模块，本申请实施例提供了一种图像显示装置，参见图4，包括：

处理器400，用于读取存储器420中的程序，执行下列过程：

处理器400通过摄像头获取现实场景图像；

在第一线程中根据当前帧现实场景图像对目标进行特征点匹配并确定所述当前帧现实场景图像中目标的匹配图像；确定所述目标与所述目标的匹配图像之间的第一单应性矩阵；

在与所述第一线程并行的第二线程中，基于所述当前帧现实场景图像和包含所述目标的前一帧现实场景图像跟踪所述目标；确定所述目标与包含所述目标的前一帧现实场景图像之间的第二单应性矩阵；

当所述第一单应性矩阵透视变换后生成的第一目标角点坐标所围第一图形为凸多边形时，计算所述第一图形的面积；当所述第二单应性矩阵透视变换后生成的第二目标角点坐标所围第二图形为凸多边形时，计算所述第二图形的面积；并在第一图形和第二图形的重叠面积比例大于预设阈值时，将所述目标与存储的三维模型进行虚实融合显示。

可选地，处理器400在第一线程中，对所述匹配图像进行几何校验，消除在所述当前帧现实场景图像中所述目标与所述目标的匹配图像上的错误特征点点对。

可选地，处理器400在第一线程中利用第一算法进行特征点匹配确定所述当前帧现实场景图像中目标的匹配图像；

当在所述第一线程首次完成特征点匹配后，启动第二线程，在所述第二线程中使用第二算法对所述目标进行跟踪，其中，第一算法的鲁棒性优于第二算法。

可选地，所述第一算法为AKAZE算法，所述第二算法为KLT光流算法。

可选地，当所述第一图形为凹多边形时，处理器400在第一线程中重新对所述目标进行特征点匹配。

可选地，在第二线程中，当跟踪到所述目标的特征点数量小于预设阈值时，处理器400通过收发机410从第一线程获取所述目标的特征点，并根据重新获取到的所述目标的特征点重新跟踪所述当前帧现实场景图像中的目标。

可选地，在第二线程中，当跟踪到的所述目标的特征点数量不小于预设阈值时，处理器400通过几何校验来消除所述当前帧现实场景图像中的目标与包含所述目标的前一帧现实场景图像的错误特征点点对。

可选地，当所述第二图形为凹多边形时，在第二线程中重新对所述目标进行跟踪。

收发机410，用于在处理器400的控制下接收和发送数据。

其中，在图4中，总线架构可以包括任意数量的互联的总线和桥，具体由处理器400代表的一个或多个处理器和存储器420代表的存储器的各种电路链接在一起。总线架构还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口提供接口。收发机410可以是多个元件，即包括发送机和接收机，提供用于在传输介质上与各种其他装置通信的单元。针对不同的用户设备，用户接口430还可以是能够外接内接需要设备的接口，连接的设备包括但不限于小键盘、显示器、扬声器、麦克风、操纵杆等。

处理器400负责管理总线架构和通常的处理，存储器420可以存储处理器400在执行操作时所使用的数据。

可选的，处理器400可以是CPU(中央处埋器)、ASIC(Application SpecificIntegrated Circuit，专用集成电路)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)或CPLD(Complex Programmable Logic Device，复杂可编程逻辑器件)。

本申请实施例提供了一种计算机存储介质，用于储存为上述本申请实施例提供的装置所用的计算机程序指令，其包含用于执行上述本申请实施例提供的任一方法的程序。

所述计算机存储介质可以是计算机能够存取的任何可用介质或数据存储设备，包括但不限于磁性存储器(例如软盘、硬盘、磁带、磁光盘(MO)等)、光学存储器(例如CD、DVD、BD、HVD等)、以及半导体存储器(例如ROM、EPROM、EEPROM、非易失性存储器(NANDFLASH)、固态硬盘(SSD))等。

本申请实施例提供的方法可以应用于终端设备，也可以应用于网络设备。

其中，终端设备也可称之为用户设备(User Equipment，简称为“UE”)、移动台(Mobile Station，简称为“MS”)、移动终端(Mobile Terminal)等，可选的，该终端可以具备经无线接入网(Radio Access Network，RAN)与一个或多个核心网进行通信的能力，例如，终端可以是移动电话(或称为“蜂窝”电话)、或具有移动性质的计算机等，例如，终端还可以是便携式、袖珍式、手持式、计算机内置的或者车载的移动装置。

网络设备可以为基站(例如，接入点)，指接入网中在空中接口上通过一个或多个扇区与无线终端通信的设备。基站可用于将收到的空中帧与IP分组进行相互转换，作为无线终端与接入网的其余部分之间的路由器，其中接入网的其余部分可包括网际协议(IP)网络。基站还可协调对空中接口的属性管理。例如，基站可以是GSM或CDMA中的基站(BTS，BaseTransceiver Station)，也可以是WCDMA中的基站(NodeB)，还可以是LTE中的演进型基站(NodeB或eNB或e-NodeB，evolutional Node B)，或者也可以是5G系统中的gNB等。本申请实施例中不做限定。

上述方法处理流程可以用软件程序实现，该软件程序可以存储在存储介质中，当存储的软件程序被调用时，执行上述方法步骤。

综上所述，通过本申请实施例提供的图像显示方法，将图像匹配和图像跟踪模块应用到的两类算法的优点进行了结合，即将系统分为图像匹配和图像跟踪两个主要部分，分别采用不同的算法，然后采用多线程的思路，两个线程并行运行。图像匹配模块使用稳定性和鲁棒性能较好但实时性较差的KAZE算法，图像跟踪模块则使用实时性较好的KLT算法，对外显示的数据由图像跟踪线程提供。此外，引入一定的跟踪质量评价和延时跟踪等方法，提升系统运行的流程性，保证用户体验。本申请实施例提供的图像显示方法可以解决在较差自然场景环境和有限移动设备内存、计算能力的情况下无法快速、稳定、准确进行图像识别及图像跟踪的问题。

随着应用场景愈发复杂多样，现有的增强现实技术面临着鲁棒性和效率两大挑战，本申请实施例提供的图像显示方法可以实现满足无标志图像内容的对颜色、纹理、形状等全局特征以及局部特征均有良好识别跟踪效果的图像特征点提取与匹配、三维跟踪注册算法，可以鲁棒、快速地处理大尺度场景，或是强烈旋转、快速运动等复杂操作方式，满足移动设备应用的需求。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (11)

1.一种图像显示方法，其特征在于，该方法包括：

通过摄像头获取现实场景图像；

在第一线程中根据当前帧现实场景图像对目标进行特征点匹配并确定所述当前帧现实场景图像中目标的匹配图像；确定所述目标与所述目标的匹配图像之间的第一单应性矩阵；

在与所述第一线程并行的第二线程中，基于所述当前帧现实场景图像和包含所述目标的前一帧现实场景图像跟踪所述目标；确定所述目标与包含所述目标的前一帧现实场景图像之间的第二单应性矩阵；

当所述第一单应性矩阵透视变换后生成的第一目标角点坐标所围第一图形为凸多边形时，计算所述第一图形的面积；当所述第二单应性矩阵透视变换后生成的第二目标角点坐标所围第二图形为凸多边形时，计算所述第二图形的面积；并在第一图形和第二图形的重叠面积比例大于预设阈值时，将所述目标与存储的三维模型进行虚实融合显示。

2.根据权利要求1所述的方法，其特征在于，该方法还包括：

在第一线程中，对所述匹配图像进行几何校验，消除在所述当前帧现实场景图像中所述目标与所述目标的匹配图像上的错误特征点点对。

3.根据权利要求1所述的方法，其特征在于，在第一线程中利用第一算法进行特征点匹配确定所述当前帧现实场景图像中目标的匹配图像；

当在所述第一线程首次完成特征点匹配后，启动第二线程，在所述第二线程中使用第二算法对所述目标进行跟踪，其中，第一算法的鲁棒性优于第二算法。

4.根据权利要求3所述的方法，其特征在于，所述第一算法为AKAZE算法，所述第二算法为KLT光流算法。

5.根据权利要求1所述的方法，其特征在于，当所述第一图形为凹多边形时，在第一线程中重新对所述目标进行特征点匹配。

6.根据权利要求1所述的方法，其特征在于，在第二线程中，当跟踪到所述目标的特征点数量小于预设阈值时，从第一线程获取所述目标的特征点，并根据重新获取到的所述目标的特征点重新跟踪所述当前帧现实场景图像中的目标。

7.根据权利要求1所述的方法，其特征在于，在第二线程中，当跟踪到的所述目标的特征点数量不小于预设阈值时，通过几何校验来消除所述当前帧现实场景图像中的目标与包含所述目标的前一帧现实场景图像的错误特征点点对。

8.根据权利要求1所述的方法，其特征在于，当所述第二图形为凹多边形时，在第二线程中重新对所述目标进行跟踪。

9.一种图像显示装置，其特征在于，该装置包括：

摄像头模块，用于获取现实场景图形；

图像匹配模块，用于通过执行第一线程根据当前通过帧现实场景图像对目标进行特征点匹配并确定所述当前帧现实场景图像中目标的匹配图像；确定所述目标与所述目标的匹配图像之间的第一单应性矩阵；

图像跟踪模块，用于在与所述第一线程并行的第二线程中，基于所述当前帧现实场景图像和包含所述目标的前一帧现实场景图像跟踪所述目标；确定所述目标与包含所述目标的前一帧现实场景图像之间的第二单应性矩阵；

虚实融合显示单元，用于当所述第一单应性矩阵透视变换后生成的第一目标角点坐标所围第一图形为凸多边形时，计算所述第一图形的面积；当所述第二单应性矩阵透视变换后生成的第二目标角点坐标所围第二图形为凸多边形时，计算所述第二图形的面积；并在第一图形和第二图形的重叠面积比例大于预设阈值时，将所述目标与存储的三维模型进行虚实融合显示。

10.根据权利要求9所述的装置，其特征在于，所述图像匹配模块在第一线程中利用第一算法进行特征点匹配确定所述当前帧现实场景图像中目标的匹配图像；

当在所述第一线程首次完成特征点匹配后，启动所述图像跟踪模块执行第二线程，在所述第二线程中使用第二算法对所述目标进行跟踪，其中，第一算法的鲁棒性优于第二算法。

11.根据权利要求9所述的装置，其特征在于，所述图像跟踪模块在跟踪到所述目标的特征点数量小于预设阈值时，从所述图像匹配模块获取所述目标的特征点，并根据重新获取到的所述目标的特征点重新跟踪所述当前帧现实场景图像中的目标。