CN109961519A - 移动增强现实的实现方法、装置、设备及介质 - Google Patents

Abstract

本发明实施例提供了一种移动增强现实的实现方法、装置、设备及介质。该方法包括：采用十字中心搜索算法对视频图像的当前视频图像帧和上一视频图像帧进行匹配计算，得到当前视频图像帧中的一个宏块的运动矢量；根据运动矢量判断视频图像的运动状态；在判断到视频图像的运动状态为准静止状态的情况下，将当前视频图像帧上传到服务器。通过本发明，解决了现有技术增强现实系统中的移动设备在图像配准前，会将实时图像实时不断发往服务器导致的网络传输量大以及服务器计算压力大的问题，降低了网络传输量并减小了服务器计算压力。

Description

移动增强现实的实现方法、装置、设备及介质

技术领域

本发明涉及移动增强现实技术领域，尤其涉及一种移动增强现实的实现方法、装置、设备及介质。

背景技术

移动增强现实技术已经融入到了生活的各方面，也必然成为人类下一代智能交互技术，给用户带来许许多多的方便，比如交流名片时不再是一张单薄的卡片、汽车使用须知不再需要枯燥的纸质说明书、婚纱展示也不再是一张张静态的定格图片，完全可以以不同的画面呈现在用户面前，带给用户一种新鲜、惊奇的体验。

根据增强现实技术的概念，以及实现移动增强现实系统中所涉及的相关技术可知，增强现实技术的一个关键步骤在于实时识别当前图像。在基于移动设备传感器与移动增强现实实时视频流处理的研究中，首先需要考虑到在移动设备实时获取图像的过程中，需要决定何时发送图片、何时中断发送，此策略是实现增强现实的非常重要的一部分，也是移动增强现实应用中跟踪配准技术、显示与交互技术的重要组成部分。移动设备具有内存有限、低计算能力、电源消耗过快等特点，另外光照变化、物体的快速运动、场景的变化以及数据传输速率，网络延迟等都会影响到移动增强现实智能传图的性能指标。因此，如何在移动设备上获得实时、鲁棒(应对摄像机各种比较随意的运动和跟踪失败时及时恢复)、稳定、准确的传图是目前亟待解决的问题。

另外，在移动增强现实系统的实现过程中总是会受到移动设备的计算能力、处理速度、内存、存储容量甚至电源消耗等方面的约束，所以就需要综合考虑各方面的因素。

现有技术中，移动设备选择传送图像到服务器端以方便后续进行配准应用一般采用如下两种方案：

(1)将图像实时不断地发送至后台，直到服务器端反馈结果则决定停止发送；

(2)加入用户交互，如点击拍照的方式，触发传送请求类似于Google Goggles、SOSO慧眼等当前主流视觉搜索引擎。

其中第一种方案由于传图密度过大，虽然可以保证某一帧上传的图片质量比较好，但会导致网络传输量不断的增加以及加大服务器端的计算压力；第二种方案需要用户的自主交互，给用户增加了操作的难度，且还需考虑所在应用已有交互习惯的搭配性，同时也不符合移动增强现实系统的本质。

综上所述，现有技术增强现实系统中的移动设备在图像配准前，会将实时图像实时不断发往服务器导致的网络传输量大以及服务器计算压力大的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种移动增强现实的实现方法、装置、设备及介质，以至少解决现有技术增强现实系统中的移动设备在图像配准前，会将实时图像实时不断发往服务器导致的网络传输量大以及服务器计算压力大的问题。

第一方面，本发明实施例提供了一种移动增强现实的实现方法，方法包括：

通过移动设备的内置传感器监测所述移动设备的稳定性；

在监测到所述移动设备处于稳定状态的情况下，采用十字中心搜索算法对视频图像的当前视频图像帧和上一视频图像帧进行匹配计算，得到所述当前视频图像帧中的一个宏块的运动矢量；

根据所述运动矢量判断所述视频图像的运动状态；

在判断到所述视频图像的运动状态为准静止状态的情况下，将所述当前视频图像帧上传到服务器；

在接收到所述服务器发送的增强现实识别结果的情况下，终止向所述服务器发送所述当前视频图像帧，并根据所述增强现实识别结果生成增强现实效果。

第二方面，本发明实施例提供了一种移动增强现实的实现装置，装置包括：

监测模块，用于通过移动设备的内置传感器监测所述移动设备的稳定性；

搜索模块，用于在监测到所述移动设备处于稳定状态的情况下，采用十字中心搜索算法对视频图像的当前视频图像帧和上一视频图像帧进行匹配计算，得到所述当前视频图像帧中的一个宏块的运动矢量；

判断模块，用于根据所述运动矢量判断所述视频图像的运动状态；

上传模块，用于在判断到所述视频图像的运动状态为准静止状态的情况下，将所述当前视频图像帧上传到服务器；

生成模块，用于在接收到所述服务器发送的增强现实识别结果的情况下，终止向所述服务器发送所述当前视频图像帧，并根据所述增强现实识别结果生成增强现实效果。

第三方面，本发明实施例提供了一种移动增强现实的实现设备，包括：至少一个处理器、至少一个存储器以及存储在存储器中的计算机程序指令，当计算机程序指令被处理器执行时实现如上述实施方式中第一方面的方法。

第四方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序指令，当计算机程序指令被处理器执行时实现如上述实施方式中第一方面的方法。

本发明实施例提供的移动增强现实的实现方法、装置、设备及介质，采用通过移动设备的内置传感器监测移动设备的稳定性；在监测到移动设备处于稳定状态的情况下，采用十字中心搜索算法对视频图像的当前视频图像帧和上一视频图像帧进行匹配计算，得到当前视频图像帧中的一个宏块的运动矢量；根据运动矢量判断视频图像的运动状态；在判断到视频图像的运动状态为准静止状态的情况下，将当前视频图像帧上传到服务器；在接收到服务器发送的增强现实识别结果的情况下，终止向服务器发送当前视频图像帧，并根据增强现实识别结果生成增强现实效果的方式，解决了现有技术增强现实系统中的移动设备在图像配准前，会将实时图像实时不断发往服务器导致的网络传输量大以及服务器计算压力大的问题，降低了网络传输量并减小了服务器计算压力。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本实施例的移动增强现实的实现方法的流程图；

图2示出了本实施例的移动增强现实客户端处理框架图；

图3示出了本实施例的手机标准空间坐标系的示意图；

图4示出了本实施例的移动增强现实中运动估计算法整体流程图；

图5示出了本实施例的十字中心搜索运动估计处理流程图；

图6示出了本实施例的十字中心搜索模版CCSP的示意图；

图7示出了本实施例的小十字搜索模版SCSP的示意图；

图8示出了本实施例的大十字搜索模版LCSP的示意图；

图9示出了本实施例的斜十字搜索模版OCSP的示意图；

图10示出了本实施例的斜十字搜索模版OCSP的搜索过程示意图；

图11示出了本实施例的移动增强现实客户端实时处理界面示意图；

图12示出了本实施例的移动增强现实的实现方法的另一流程图；

图13示出了本实施例的移动增强现实的实现装置的结构框图；

图14示出了本实施例的移动增强现实的实现设备的硬件结构图。

具体实施方式

下面将详细描述本发明的各个方面的特征和示例性实施例，为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细描述。应理解，此处所描述的具体实施例仅被配置为解释本发明，并不被配置为限定本发明。对于本领域技术人员来说，本发明可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本发明的示例来提供对本发明更好的理解。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

在本实施例中，提供了一种移动增强现实的实现方法。图1示出了本实施例的移动增强现实的实现方法的流程图，如图1所示，该流程包括如下步骤：

步骤S101，通过移动设备的内置传感器监测移动设备的稳定性；

步骤S102，在监测到移动设备处于稳定状态的情况下，采用十字中心搜索算法对视频图像的当前视频图像帧和上一视频图像帧进行匹配计算，得到当前视频图像帧中的一个宏块的运动矢量；

步骤S103，根据运动矢量判断视频图像的运动状态；

步骤S104，在判断到视频图像的运动状态为准静止状态的情况下，将当前视频图像帧上传到服务器；

步骤S105，在接收到服务器发送的增强现实识别结果的情况下，终止向服务器发送当前视频图像帧，并根据增强现实识别结果生成增强现实效果。

通过上述的步骤，在检测到移动设备处于稳定状态，并且通过基于十字中心搜索算法的运动估计算法确定视频图像为准静止状态的情况下，才发送当前视频图像帧至服务器，并且在收到服务器发送的增强现实识别记结果的情况下即终止向服务器发送当前视频图像帧，使得向服务器发送的图像帧大大减少，解决了现有技术增强现实系统中的移动设备在图像配准前，会将实时图像实时不断发往服务器导致的网络传输量大以及服务器计算压力大的问题，降低了网络传输量并减小了服务器计算压力。

在一个示例中，运动状态可以包括：运动中状态、运动到准静止状态、准静止状态、准静止到运动状态。

可选地，内置传感器包括但不限于：加速度传感器、陀螺仪传感器和磁场传感器。

可选地，在步骤S102中，采用十字中心搜索算法对视频图像的当前视频图像帧和上一视频图像帧进行匹配计算时，仅对视频图像的当前视频图像帧和上一视频图像帧的中间区域的有限邻域内进行匹配计算。

可选地，采用十字中心搜索算法对视频图像的当前视频图像帧和上一视频图像帧进行匹配计算，得到当前视频图像帧中的一个宏块的运动矢量包括：

步骤A，以当前搜索窗口的中心为搜索起始点，以LCSP(Large Cross SearchPattern，大十字搜索模型)搜索模版和SCSP(Small Cross Search Pattern，小十字搜索模型)搜索模版搜索并计算模版中各像素点的SAD(Sum of Absolute Difference，绝对误差和)值，选取最小SAD值像素点所在的位置作为MBD(Minimum Block Distortion，最小块误差)点；

步骤B，当MBD点位于LCSP搜索模版或者SCSP搜索模版的中心，则终止搜索并确定运动矢量为零；

其中，LCSP搜索模版为以搜索起始点为十字中心、步长为2像素点的十字型搜索模版；SCSP搜索模版为以搜索起始点为十字中心、步长为1像素点的十字型搜索模版。

可选地，在步骤A之后，方法还包括：

步骤C，当MBD点位于SCSP搜索模版的四个顶点处，则以MBD点为搜索起始点，以SCSP搜索模版搜索并计算模版中各像素点的SAD值，选取最小SAD值像素点所在的位置作为新的MBD点；

步骤D，当新的MBD点位于SCSP搜索模版的中心，则终止搜索并计算运动矢量。

可选地，在步骤C之后，方法还包括：

步骤E，当新的MBD点位于SCSP搜索模版的四个顶点处，则以新的MBD点为搜索起始点，循环执行步骤C，直至最小SAD值像素点所在的位置位于SCSP搜索模版的中心时，终止搜索并计算运动矢量。

可选地，在步骤A之后，方法还包括：

步骤F，当MBD点位于LCSP搜索模版的四个顶点处，则以MBD点为搜索起始点，以OCSP搜索模版搜索并计算模版中各像素点的SAD值，选取最小SAD值像素点所在的位置作为新的MBD点；

步骤G，当新的MBD点位于OCSP(Oriented Cross Search Pattern，方向性十字搜索模型，在本发明中也称为斜十字搜索模型)搜索模版的中心，则以新的MBD点为搜索起始点，循环执行步骤C，直至最小SAD值像素点所在的位置位于SCSP搜索模版的中心时，终止搜索并计算运动矢量；

其中，OCSP搜索模版为以搜索起始点为斜十字中心、步长为1像素点的斜十字型搜索模版。

可选地，在步骤F之后，方法还包括：

步骤H，当新的MBD点位于OCSP搜索模版的四个顶点处，则以新的MBD点为搜索起始点，执行步骤F～步骤G。

下面将对上述实施例的技术方案进行进一步地描述和说明。

本实施例提出的在保证图片质量的情况下大幅减小网络传输量和服务器运算压力是移动增强现实系统中基于视频流的实时运动估计算法的研究的重点解决问题。在移动设备摄像头实时获取图像的过程中，通过本实施例旨在实现自行决定何时将当前图片发送到服务器端与何时中断发送的功能，最终实现实时、鲁棒、稳定、准确的传图。

本实施例的移动增强现实客户端处理框架图如图2所示。在移动AR系统中基于视频流的实时运动估计算法的研究中，考虑到视频编码的运动估计算法与手机摄像头获得的视频图像序列均有共同的连续图像相关性，从理论的角度来看是通用的。因此可以将其部分特性改进到移动增强现实中，对手机抖动剧烈、图像序列中的物体运动过快的情况下实现智能判断，大幅缩减客户端/服务器传输的数据量。

一般来说，用户实际最后使用手机对准目标物体的时候可能不会有太大幅度的运动，但不能保证摄像头获取的图像序列是准确的，例如获取的图像序列可能是播放的视频，或者是移动非常快的物体等等，最终导致无法捕捉。为了提高视频图像运动估计的运算速度，使得算法在移动设备上能达到非常高效的性能，针对移动设备，本实施例提出了十字中心搜索算法与移动增强现实系统的结合，是一种新的快速块匹配运动估计的改进算法，其目的在于保证搜索精度的同时，尽可能的降低程序计算复杂度，其应用前景广泛，适合于校园、博物馆导游、购物指南、广告推荐以及室内的装修设计等领域。

本实施例中移动增强现实系统借助于移动设备传感器来辅助视频流运动估计，以Android操作系统的智能手机为例，其中有加速度传感器、陀螺仪传感器、磁场传感器三种运动型传感器。

加速度传感器主要用于感应手机的运动，即测量智能手机某个方向上在加速过程中所承受的加速力，即作用在该物体上的力。通过加速度传感器能够实时的获得手机的移动状态，返回值单位为m/s²。主要应用于计步器、手机摆放位置朝向角度，感应手机的移动等功能。如图3智能手机标准空间坐标系所示，整个空间坐标系的原点位于手机屏幕的左下角，这与手机显示屏幕的平面坐标系(原点位于手机左上角)是不相同的，当手机平放于水平面时，Z轴为垂直于手机屏幕竖直向上的方向；X轴为垂直于Z轴代表手机屏幕的水平方向的轴，向右为正；Y轴为垂直于Z轴和X轴平面代表手机屏幕的垂直方向的轴，向前为正。加速度传感器则就是通过获取空间坐标系X、Y、Z三个分量来计算智能手机在某一时刻、某一方向上的加速度大小值。在Android操作系统开发中通过得到SensorManager，注册传感器监听器后，加速度传感器主要捕获手机往三个不同方向移动时的三个参数Values[0]、Values[1]、Values[2]，分别对应于空间坐标系中的X、Y、Z三个方向的分量。

陀螺仪传感器是用于跟踪、捕捉智能手机在三维空间中运动的设备，用于测量角加速，是基于角动量守恒原理为依据的：高速旋转的物体旋转轴在没有受到外力影响时，旋转轴的方向是不会发生任何改变的。陀螺仪传感器能够实时获取物体在空间中的相对位置，例如方向、角度以及相对水平位置的变化，单位为弧度/秒。在智能手机中，由于加速度传感器是无法测量手机转动的动作，所以就无法重构出完整的三维空间动作，陀螺仪传感器就可以做到对旋转或偏转动作进行测量，通常在实际项目开发中，加速传感器一般需要与陀螺仪传感器配合使用。

陀螺仪传感器在智能手机上的用途非常广泛，与摄像头配合使用可以实现防抖动功能，用户在拍照过程中按下快门时，陀螺仪传感器可以记录手的抖动方向与距离的位移信息，反馈给图像处理器，最后通过补偿技术来弥补所造成的图像不稳定现象，抓到更清晰、稳定的图片；陀螺仪传感器配合使用加速度传感器，在飞行、射击、赛车等角色类游戏中能够完整监测游戏者手机的平移、旋转、倾斜等动作，从而实现各种游戏的实时操控；另外还可以实现惯性导航功能，用户在使用GPS导航过程中，会出现GPS讯号丢失的现象，此时利用加速传感器和陀螺仪传感器的结合来测量汽车的偏航情况或者是直线运动位移，从而继续保持导航，直到收到GPS讯号并规划新的路线。

磁场传感器(Magnetic-field Sensor)主要用于感应手机周围的磁感应强度，磁场传感器采用各向异性磁致电阻材料，通过感应磁场发生的微弱变化时导致自身电阻产生改变，并以此指示方向，一般手机需要旋转或晃动多次才会使结果更加精准。智能手机中的磁场传感器是地磁场传感设备，也即电子指南针，能实时获得准确方向信息。主要应用于指南针、地图导航。

因为地磁场是用矢量来表示的，并且该矢量是可以被分为两个与水平面平行的分量和一个与水平面垂直的分量，如果电子指南针处于与所在位置的水平面平行，则其中磁力计的三个轴就可以与这三个分量一一对应。利用磁场传感器测得的三个数据分别代表周围磁场分解到X、Y、Z三个方向上的磁场分量，所以随着智能手机等设备摆放状态的改变，周围磁场在X、Y、Z方向上也会发生改变，磁场数据的单位既可以是微特斯拉(Ut)，也可以是高斯(Gauss)，其中1Tesla＝10000Gauss。在Android操作系统中，磁场传感器与加速度传感器的结合并进行数据矩阵计算可以实现方向传感器(Orientation Sensor)的功能，即实时的准确获取当前手机方位信息。对于方向传感器来说，返回的是三轴的角度数据，单位为角度，它们分别是azimuth：方位，代表水平时地磁北极和Y轴的夹角，范围为0°至360°；pitch：代表X轴和水平面的夹角，范围为-180°至180°；roll：代表Y轴和水平面的夹角，范围为-90°至90°。

根据其原理和基本应用选择性的应用于实际开发中，通过结合这三类传感器可以粗略的达到对手机稳定性的实时监听，即初步保证了用户使用的移动设备的摄像头是处于一个相对稳定的理想状态。

通过监测手机的稳定性，能够实现简易的稳定传图效果，但是如前所述，在摄像头捕获的图像为播放的视频或者运动非常快的物体时，仍将无法获得准确的图像序列。为了解决该问题，在本实施例中进一步采用基于十字中心搜索算法的运动估计方法来对复杂运动的视频序列进行分析，并最终达到系统最适合的稳定、监测效果。

根据图2所示的移动增强现实客户端处理框架图可知，考虑到在移动增强现实应用中，即使摄像头基本是处于稳定状态的，但上传的视频序列的内容也可能是错误信息，再者结合用户使用手机拍照的习惯，通过传入的移动设备视频图像序列，为提高速率在本实施例中只针对以当前视频图像序列中间区域的有限邻域内进行搜索，减少搜索区域范围，如图4移动增强现实中运动估计算法整体流程图所示，具体可以采用以下四个步骤：

步骤一：对定时获取的视频图像序列，采用十字中心搜索运动估计来处理，参考图5，该十字中心搜索运动估计处理过程包括如下步骤：

图6示出了十字中心搜索模版CCSP的示意图；图7示出了小十字搜索模版SCSP的示意图；图8示出了大十字搜索模版LCSP的示意图；图9示出了斜十字搜索模版OCSP的示意图。

(一)以当前搜索窗口的中心为搜索起始点，分别搜索并计算CCSP中的9个像素点的SAD值，选取最小SAD值像素点所在的位置，该MBD点出现的位置分别有三种可能，并做相应的不同处理。(MBD点：最小块误差点；SAD：绝对误差和，仅反映残差时域差异)

(1)如果该像素点处于CCSP的中心，则说明目标宏块是静止的，即直接终止退出算法搜索，执行第五步；

(2)如果该像素点位于SCSP外层的4个顶点处，说明目标宏块的运动是比较小的，执行第(二)步；

(3)如果该像素点位于CCSP最外层也即LCSP外层的4个顶点处，说明目标宏块的运动是比较大的，执行第(三)步。

(二)以上一步得到的MBD点为中心，采用SCSP规则搜索，计算该模板内各像素点的SAD值，比较并判断出新的最佳MBD点。

(1)若该MBD点所在位置是SCSP的中心，则直接终止退出算法搜索，执行第五步；

(2)否则，继续重复执行第(二)步。

(三)以上一步得到的MBD点为中心，采用OCSP规则搜索，计算该模板内的MBD点周围四个方向且步长为1的像素点的SAD值，比较并判断出新的最佳MBD点，该MBD点出现的位置分别有两种可能，并做相应的不同处理。

参考图10，OCSP搜索规则：给出了一种搜索位置的可能性，其余的位置也是与之相类似的，其中白点代表待搜索的像素点，总共四个点，分别代表了当前被包围的黑点往四个方向发散的待搜索检测点，然后比较SAD值得到MBD点之后再进行下一步的选择。LCSP是大步长的搜索，SCSP是最小步长的搜索，起到了对运动矢量最小SAD点的判断和提前终止退出搜索的目的；

(1)如果该MBD点为OCSP的中心点，则采用SCSP，计算该模板内各像素点的SAD值，比较并判断出新的最佳MBD点，即执行第(二)步；

(2)如果该MBD点为OCSP的外层四个像素点上，则执行第(四)步。

(四)以上一步得到的MBD点为中心，采用LCSP规则搜索，分别计算该模板内各像素点的SAD值，比较其值并判断出新的最佳MBD点，该MBD点出现的位置分别有两种可能。

(1)此时若该MBD点位于LCSP的中心，则执行第(二)步；

(2)若MBD点位于LCSP外层4个顶点处，则执行第(三)步。

(五)最终得到的MBD点即为最佳匹配点，由此得到该目标宏块的运动矢量，该目标宏块的搜索则终止结束。

步骤二：在移动增强现实场景中，通过所得到的运动矢量需要判断实际视频序列的运动状态，其中运动状态归为四类状态，分别是：运动、准静止、运动到准静止、准静止到运动。运动与准静止状态是根据实际测得的运动矢量判断出来的，运动到准静止与准静止到运动状态是前两者变化过程中生成的状态。

步骤三：当前视频序列的准静止过程可以认为用户摄像头获取的图像区域没有明显的运动变化(或者是只有小幅度移动)，同时加上运动到准静止状态也是本系统认为可以上传图片的最佳时机，此时只需要上传当前视频图像帧。

步骤四：服务器接收得到的视频图像，经过匹配搜索数据库并返回结果，结果若合理，则客户端终止继续发送视频图像，并进入后续的物体跟踪与配准，以及显示与交互。

总而言之，通过计算视频图像的运动矢量，可以有效地防止用户使用移动设备时处于匀速运动、剧烈运动以及上传错误的视频图像信息等情况，如图11所示的移动增强现实客户端实时处理界面中，当手机客户端对准播放的视频序列时是无法进行后续操作的，如图11中的(a)所示，则提示此展品暂时没有AR展示；当手机处于晃动状态则提示将手机对准目标图片，如图11中(b)、(e)所示；手机客户端启动传图到后台的识别，并最终反馈结果，如视频、模型等虚拟信息的加载，如图11中的(c)、(d)以及(f)所示，最后终止当前图片帧的上传。

结合移动设备的传感器与移动增强现实视频流运动估计技术，已经可以较好地实时预测用户操作移动设备的意图，从而实现在运动到准静止、准静止状态的时候启动传图到后台的识别过程，该算法实现起来简单而且能够快速地解决智能上传图像到后台的问题，随着研究的深入，移动AR系统中基于视频流的实时运动估计算法的研究在实现移动终端增强现实系统具有非常重要的意义。

用户通过摄像头扫描周围的小场景，扫描到的小场景将转换成视频流进行匹配和增强，传统的技术是只通过智能手机进行处理，容易造成程序崩溃，卡顿等情况。视频流如果过小，那么智能手机可以直接不用上传服务器进行处理，但是考虑到部分智能手机内存有限，计算能力比较低，电源消耗过快等因素，这时候就需要将扫描到的视频流大部分上传到服务器进行匹配增强，但是不可能将所有的视频流都进行上传，因为带宽和空间以及效率不允许。参考图12，采用本实施例提供的移动增强现实的实现方法，利用十字中心搜索运动估计方法将部分视频流进行压缩删减处理，减少视频流冗余，大幅减小网络传输量，从而降低手机和服务器运算压力。

在本实施例中还提供了一种移动增强现实的实现装置。该装置用于实现上述的移动增强现实的实现方法。图13示出了本实施例的移动增强现实的实现装置的结构框图，如图13所示，该移动增强现实的实现装置包括：

监测模块131，用于通过移动设备的内置传感器监测移动设备的稳定性；

搜索模块132，用于在监测到移动设备处于稳定状态的情况下，采用十字中心搜索算法对视频图像的当前视频图像帧和上一视频图像帧进行匹配计算，得到当前视频图像帧中的一个宏块的运动矢量；

判断模块133，用于根据运动矢量判断视频图像的运动状态，运动状态包括：运动状态、运动到准静止状态、准静止状态、准静止到运动状态；

上传模块134，用于在判断到视频图像的运动状态为准静止状态的情况下，将当前视频图像帧上传到服务器；

生成模块135，用于在接收到服务器发送的增强现实识别结果的情况下，终止向服务器发送当前视频图像帧，并根据增强现实识别结果生成增强现实效果。

通过上述装置，解决了现有技术增强现实系统中的移动设备在图像配准前，会将实时图像实时不断发往服务器导致的网络传输量大以及服务器计算压力大的问题，降低了网络传输量并减小了服务器计算压力。

可选地，上述的内置传感器包括但不限于：加速度传感器、陀螺仪传感器和磁场传感器。

可选地，搜索模块132采用十字中心搜索算法对视频图像的当前视频图像帧和上一视频图像帧进行匹配计算时，仅对视频图像的当前视频图像帧和上一视频图像帧的中间区域的有限邻域内进行匹配计算。

可选地，搜索模块132采用十字中心搜索算法对视频图像的当前视频图像帧和上一视频图像帧进行匹配计算，得到当前视频图像帧中的一个宏块的运动矢量包括：

步骤A，以当前搜索窗口的中心为搜索起始点，以LCSP搜索模版和SCSP搜索模版搜索并计算模版中各像素点的SAD值，选取最小SAD值像素点所在的位置作为MBD点；

步骤B，当MBD点位于LCSP搜索模版或者SCSP搜索模版的中心，则终止搜索并确定运动矢量为零；

其中，LCSP搜索模版为以搜索起始点为十字中心、步长为2像素点的十字型搜索模版；SCSP搜索模版为以搜索起始点为十字中心、步长为1像素点的十字型搜索模版。

可选地，搜索模块132在步骤A之后还用于执行：

步骤C，当MBD点位于SCSP搜索模版的四个顶点处，则以MBD点为搜索起始点，以SCSP搜索模版搜索并计算模版中各像素点的SAD值，选取最小SAD值像素点所在的位置作为新的MBD点；

步骤D，当新的MBD点位于SCSP搜索模版的中心，则终止搜索并计算运动矢量。

可选地，搜索模块132在步骤C之后还用于执行：

步骤E，当新的MBD点位于SCSP搜索模版的四个顶点处，则以新的MBD点为搜索起始点，循环执行步骤C，直至最小SAD值像素点所在的位置位于SCSP搜索模版的中心时，终止搜索并计算运动矢量。

可选地，搜索模块132在步骤A之后，还用于执行：

步骤F，当MBD点位于LCSP搜索模版的四个顶点处，则以MBD点为搜索起始点，以OCSP搜索模版搜索并计算模版中各像素点的SAD值，选取最小SAD值像素点所在的位置作为新的MBD点；

步骤G，当新的MBD点位于OCSP搜索模版的中心，则以新的MBD点为搜索起始点，循环执行步骤C，直至最小SAD值像素点所在的位置位于SCSP搜索模版的中心时，终止搜索并计算运动矢量；

其中，OCSP搜索模版为以搜索起始点为斜十字中心、步长为1像素点的斜十字型搜索模版。

可选地，搜索模块132在步骤F之后还用于执行：

步骤H，当新的MBD点位于OCSP搜索模版的四个顶点处，则以新的MBD点为搜索起始点，执行步骤F～步骤G。

另外，结合图1描述的本发明实施例的移动增强现实的实现方法可以由移动增强现实的实现设备来实现。图14示出了本发明实施例提供的移动增强现实的实现设备的硬件结构示意图。

移动增强现实的实现设备可以包括处理器141以及存储有计算机程序指令的存储器142。

具体地，上述处理器141可以包括中央处理器(CPU)，或者特定集成电路(Application Specific Integrated Circuit，ASIC)，或者可以被配置成实施本发明实施例的一个或多个集成电路。

存储器142可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器142可包括硬盘驱动器(Hard Disk Drive，HDD)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(Universal Serial Bus，USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器142可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器142可在数据处理装置的内部或外部。在特定实施例中，存储器142是非易失性固态存储器。在特定实施例中，存储器142包括只读存储器(ROM)。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM(PROM)、可擦除PROM(EPROM)、电可擦除PROM(EEPROM)、电可改写ROM(EAROM)或闪存或者两个或更多个以上这些的组合。

处理器141通过读取并执行存储器142中存储的计算机程序指令，以实现上述实施例中的任意一种移动增强现实的实现方法。

在一个示例中，移动增强现实的实现设备还可包括通信接口143和总线140。其中，如图14所示，处理器141、存储器142、通信接口143通过总线140连接并完成相互间的通信。

通信接口143，主要用于实现本发明实施例中各模块、装置、单元和/或设备之间的通信。

总线140包括硬件、软件或两者，将移动增强现实的实现设备的部件彼此耦接在一起。举例来说而非限制，总线可包括加速图形端口(AGP)或其他图形总线、增强工业标准架构(EISA)总线、前端总线(FSB)、超传输(HT)互连、工业标准架构(ISA)总线、无限带宽互连、低引脚数(LPC)总线、存储器总线、微信道架构(MCA)总线、外围组件互连(PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(SATA)总线、视频电子标准协会局部(VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线140可包括一个或多个总线。尽管本发明实施例描述和示出了特定的总线，但本发明考虑任何合适的总线或互连。

该移动增强现实的实现设备可以基于获取到的数据，执行本发明实施例中的移动增强现实的实现方法，从而实现结合图1描述的移动增强现实的实现方法。

另外，结合上述实施例中的移动增强现实的实现方法，本发明实施例可提供一种计算机可读存储介质来实现。该计算机可读存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现上述实施例中的任意一种移动增强现实的实现方法。

综上所述，上述的本发明实施例、优选实施例或者实施方式，依照宏块运动矢量的时空相关性预测起始搜索点，设定阈值终止搜索判断准则，并根据其运动类型自适应的选择搜索模式，一定程度上减少了冗余的搜索。本发明实施例充分利用视频图像序列中运动矢量的中心偏置分布特性和十字偏置分布特性，详细说明了算法的流程、搜索步骤，对搜索过程出现的常见可能进行了实例分析描述快速块匹配十字中心搜索运动估计算法具有较好的健壮性，能够良好面对不同的视频图像序列进行有效地搜索，在保证搜索准确性的基础上提高了搜索速率，可行性强。

需要明确的是，本发明并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本发明的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本发明的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。

以上所述的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时，本发明的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘、光纤介质、射频(RF)链路，等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。

还需要说明的是，本发明中提及的示例性实施例，基于一系列的步骤或者装置描述一些方法或系统。但是，本发明不局限于上述步骤的顺序，也就是说，可以按照实施例中提及的顺序执行步骤，也可以不同于实施例中的顺序，或者若干步骤同时执行。

以上所述，仅为本发明的具体实施方式，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。应理解，本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。

Claims (11)

1.一种移动增强现实的实现方法，其特征在于，所述方法包括：

通过移动设备的内置传感器监测所述移动设备的稳定性；

在监测到所述移动设备处于稳定状态的情况下，采用十字中心搜索算法对视频图像的当前视频图像帧和上一视频图像帧进行匹配计算，得到所述当前视频图像帧中的一个宏块的运动矢量；

根据所述运动矢量判断所述视频图像的运动状态；

在判断到所述视频图像的运动状态为准静止状态的情况下，将所述当前视频图像帧上传到服务器；

在接收到所述服务器发送的增强现实识别结果的情况下，终止向所述服务器发送所述当前视频图像帧，并根据所述增强现实识别结果生成增强现实效果。

2.根据权利要求1所述的方法，其特征在于，所述内置传感器包括如下传感器中的至少一种：加速度传感器、陀螺仪传感器和磁场传感器；和/或，所述运动状态包括运动中状态、运动到准静止状态、准静止状态、准静止到运动状态中的至少一种。

3.根据权利要求1所述的方法，其特征在于，采用十字中心搜索算法对视频图像的当前视频图像帧和上一视频图像帧进行匹配计算包括：仅对所述视频图像的所述当前视频图像帧和所述上一视频图像帧的中间区域的有限邻域内进行匹配计算。

4.根据权利要求1至3中任一项所述的方法，其特征在于，采用十字中心搜索算法对视频图像的当前视频图像帧和上一视频图像帧进行匹配计算，得到所述当前视频图像帧中的一个宏块的运动矢量包括：

步骤A，以当前搜索窗口的中心为搜索起始点，以大十字搜索模型LCSP搜索模版和小十字搜索模型SCSP搜索模版搜索并计算模版中各像素点的绝对误差和SAD值，选取最小SAD值像素点所在的位置作为最小块误差MBD点；

步骤B，当所述MBD点位于所述LCSP搜索模版或者所述SCSP搜索模版的中心，则终止搜索并确定所述运动矢量为零；

其中，所述LCSP搜索模版为以搜索起始点为十字中心、步长为2像素点的十字型搜索模版；所述SCSP搜索模版为以搜索起始点为十字中心、步长为1像素点的十字型搜索模版。

5.根据权利要求4所述的方法，其特征在于，在步骤A之后，所述方法还包括：

步骤C，当所述MBD点位于所述SCSP搜索模版的四个顶点处，则以所述MBD点为搜索起始点，以所述SCSP搜索模版搜索并计算模版中各像素点的SAD值，选取最小SAD值像素点所在的位置作为新的MBD点；

步骤D，当所述新的MBD点位于所述SCSP搜索模版的中心，则终止搜索并计算所述运动矢量。

6.根据权利要求5所述的方法，其特征在于，在步骤C之后，所述方法还包括：

步骤E，当所述新的MBD点位于所述SCSP搜索模版的四个顶点处，则以所述新的MBD点为搜索起始点，循环执行步骤C，直至最小SAD值像素点所在的位置位于所述SCSP搜索模版的中心时，终止搜索并计算所述运动矢量。

7.根据权利要求5所述的方法，其特征在于，在步骤A之后，所述方法还包括：

步骤F，当所述MBD点位于所述LCSP搜索模版的四个顶点处，则以所述MBD点为搜索起始点，以斜十字搜索模型OCSP搜索模版搜索并计算模版中各像素点的SAD值，选取最小SAD值像素点所在的位置作为新的MBD点；

步骤G，当所述新的MBD点位于所述OCSP搜索模版的中心，则以所述新的MBD点为搜索起始点，循环执行步骤C，直至最小SAD值像素点所在的位置位于所述SCSP搜索模版的中心时，终止搜索并计算所述运动矢量；

其中，所述OCSP搜索模版为以搜索起始点为斜十字中心、步长为1像素点的斜十字型搜索模版。

8.根据权利要求7所述的方法，其特征在于，在步骤F之后，所述方法还包括：

步骤H，当所述新的MBD点位于所述OCSP搜索模版的四个顶点处，则以所述新的MBD点为搜索起始点，执行步骤F～步骤G。

9.一种移动增强现实的实现装置，其特征在于，所述装置包括：

监测模块，用于通过移动设备的内置传感器监测所述移动设备的稳定性；

搜索模块，用于在监测到所述移动设备处于稳定状态的情况下，采用十字中心搜索算法对视频图像的当前视频图像帧和上一视频图像帧进行匹配计算，得到所述当前视频图像帧中的一个宏块的运动矢量；

判断模块，用于根据所述运动矢量判断所述视频图像的运动状态；

上传模块，用于在判断到所述视频图像的运动状态为准静止状态的情况下，将所述当前视频图像帧上传到服务器；

生成模块，用于在接收到所述服务器发送的增强现实识别结果的情况下，终止向所述服务器发送所述当前视频图像帧，并根据所述增强现实识别结果生成增强现实效果。

10.一种移动增强现实的实现设备，其特征在于，包括：至少一个处理器、至少一个存储器以及存储在所述存储器中的计算机程序指令，当所述计算机程序指令被所述处理器执行时实现如权利要求1-8中任一项所述的方法。

11.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，当所述计算机程序指令被处理器执行时实现如权利要求1-8中任一项所述的方法。