CN107403441A - 增强现实系统的跟踪方法和终端设备 - Google Patents

Abstract

本发明实施例提供了一种增强现实系统的跟踪方法和终端设备。上述增强现实系统的跟踪方法包括：接收增强现实系统的输入帧图像；判断所述输入帧图像的状态，当所述输入帧图像为低速运动状态时，对所述输入帧图像进行检测跟踪；所述输入帧图像的状态包括：低光状态、相对静止状态、低速运动状态或高速运动状态。本发明实施例提供的上述增强现实系统的跟踪方法，对增强现实系统的输入帧图像进行了筛选，只对满足特定条件的输入帧图像进行检测跟踪，从而提高了增强现实系统检测跟踪的精度，降低了增强现实系统的计算压力。

Description

增强现实系统的跟踪方法和终端设备

技术领域

本发明涉及增强现实技术领域，尤其涉及增强现实系统的跟踪方法和终端设备。

背景技术

增强现实(Augmented Reality，AR)技术是一种人机交互技术。增强现实技术通过智能终端设备和可视化技术将虚拟内容应用到真实世界，使得虚拟内容和真实世界同时叠加到同一个画面或空间呈现给用户。

在增强现实系统中，对目标物体的检测和跟踪是非常重要的环节。增强现实系统的检测是对场景进行图像特征的分析和提取，并与系统数据库进行特征的比对，识别出与数据库中最为接近的目标物体。增强现实系统的跟踪是对已经识别到的场景中的目标物体进行跟踪，并计算出该目标物体在场景中的位置和姿态信息，从而使得后续的融合过程可以在正确的位置上、以正确的姿态进行增强现实效果的渲染。

因此，增强现实系统中输入帧图像的检测跟踪过程的运算速度和精度，将直接影响到整个增强现实系统的体验好坏。

发明内容

本发明实施例提供一种增强现实系统的跟踪方法和终端设备，可以提高增强现实系统检测跟踪的精度，降低增强现实系统的计算压力。

本发明的一个实施例提供一种增强现实系统的跟踪方法，包括：接收增强现实系统的输入帧图像；判断所述输入帧图像的状态，当所述输入帧图像为低速运动状态时，对所述输入帧图像进行检测跟踪；所述输入帧图像的状态包括：低光状态、相对静止状态、低速运动状态或高速运动状态。

优选地，所述判断所述输入帧图像的状态，包括：当所述输入帧图像的整体亮度低于系统预设亮度阈值，则判断所述输入帧图像为低光状态。

优选地，所述判断所述输入帧图像的状态，包括：如果根据所述输入帧图像的前后相邻图像，确定图像场景没有变化，则判断所述输入帧图像为相对静止状态。

优选地，所述判断所述输入帧图像的状态还包括：根据所述输入帧图像的前后相邻图像，计算获得所述输入帧图像的可跟踪点个数N；如果所述输入帧图像为低光状态或相对静止状态，当所述N>TH1时，则判断所述输入帧图像进入所述低速运动状态，当所述N≤TH1时，则判断所述输入帧图像进入所述高速运动状态；所述TH1为所述增强现实系统的预设阈值。进一步地，所述判断所述输入帧图像的状态还包括：如果所述输入帧图像为低速运动状态，当所述N<TH1时，则判断所述输入帧图像进入高速运动状态，当所述N≥TH1时，则判断所述输入帧图像仍为低速运动状态；或者，如果所述输入帧图像为高速运动状态，当所述N>TH2时，则判断所述输入帧图像进入所述低速运动状态，当所述N≤TH2时，则判断所述输入帧图像仍为高速运动状态；所述TH2为所述增强现实系统的预设阈值，且所述TH1小于所述TH2。

本发明的另一实施例提供一种终端设备，包括：接收单元，状态判断单元和检测跟踪单元。所述接收单元用于接收增强现实系统的输入帧图像；所述状态判断单元用于判断所述输入帧图像的状态，当所述输入帧图像为低速运动状态时，通知所述检测跟踪单元对所述输入帧图像进行检测跟踪。所述检测跟踪单元用于对所述输入帧图像进行检测跟踪。所述输入帧图像的状态包括：低光状态、相对静止状态、低速运动状态或高速运动状态。

优选地，所述状态判断单元进一步用于当所述输入帧图像的整体亮度低于系统预设亮度阈值时，判断所述输入帧图像为低光状态。

优选地，所述状态判断单元，进一步用于，如果根据所述输入帧图像的前后相邻图像，确定图像场景没有变化，则判断所述输入帧图像为相对静止状态。

优选地，所述状态判断单元还用于根据所述输入帧图像的前后相邻图像，计算获得所述输入帧图像的可跟踪点个数N；如果所述输入帧图像为低光状态或相对静止状态，当所述N>TH1时，判断所述输入帧图像进入所述低速运动状态，当所述N≤TH1时，判断所述输入帧图像进入所述高速运动状态；所述TH1为所述增强现实系统的预设阈值。进一步地，所述判断单元还用于，如果所述输入帧图像为低速运动状态，当所述N<TH1时，判断所述输入帧图像进入高速运动状态，当所述N≥TH1时，判断所述输入帧图像仍为低速运动状态；或者，如果所述输入帧图像为高速运动状态，当所述N>TH2时，判断所述输入帧图像进入所述低速运动状态，当所述N≤TH2时，判断所述输入帧图像仍为高速运动状态；所述TH2为所述增强现实系统的预设阈值，且所述TH1小于所述TH2。

本发明实施例提供的上述增强现实系统的跟踪方法和终端设备，对增强现实系统的输入帧图像进行了筛选，只对满足特定条件的输入帧图像进行检测跟踪，从而提高了增强现实系统检测跟踪的精度，降低了增强现实系统的计算压力。并且进一步通过设定一低一高两个不同的阈值TH1和TH2，可以保证输入帧的状态切换比较平缓，使得检测跟踪过程保持连贯性。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单介绍，显而易见地，下面描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例一提供的跟踪方法的流程示意图；

图2是本发明实施例二提供的终端设备的结构示意图。

具体实施方式

下面将结合本发明实施例的附图，对本发明实施例的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一

本实施例提供一种增强现实系统的跟踪方法，如图1所示，具体包括以下内容。

101，接收增强现实系统的输入帧图像。

102，判断上述输入帧图像的状态，当上述输入帧图像为低速运动状态时，对上述输入帧图像进行检测跟踪。上述输入帧图像的状态包括：低光状态、相对静止状态、低速运动状态或高速运动状态。

具体的，上述判断上述输入帧图像的状态包括：当上述输入帧图像的整体亮度低于系统预设亮度阈值，判断上述输入帧图像为低光状态；或者，如果根据上述输入帧图像的前后相邻图像，确定图像场景没有变化，判断上述输入帧图像为相对静止状态。

具体的，上述判断上述输入帧图的状态，还包括：根据上述输入帧图像的前后相邻图像，计算获得上述输入帧图像的可跟踪点个数N；如果上述输入帧图像为低光状态或相对静止状态，当上述N>TH1时，判断上述输入帧图像进入上述低速运动状态，当上述N≤TH1时，判断上述输入帧图像进入上述高速运动状态；上述TH1为上述增强现实系统的预设阈值。进一步地，上述判断上述输入帧图的状态，还包括：如果上述输入帧图像为低速运动状态，当上述N<TH1时，判断上述输入帧图像进入高速运动状态，当上述N≥TH1时，判断上述输入帧图像仍为低速运动状态；或者如果上述输入帧图像为高速运动状态，当上述N>TH2时，判断上述输入帧图像进入上述低速运动状态，当上述N≤TH2时，判断上述输入帧图像仍为高速运动状态；上述TH2为该增强现实系统的预设阈值，且上述TH1小于上述TH2。

本实施例提供的增强现实系统的跟踪方法，对增强现实系统的输入帧图像进行了筛选，只对满足特定条件的输入帧图像进行检测跟踪，本实施例中是只对低速运动状态的输入帧图像进行检测跟踪，从而提高了增强现实系统检测跟踪的精度，降低了增强现实系统的计算压力。并且通过设定一低一高两个不同的阈值TH1和TH2，可以保证输入帧的状态切换比较平缓，使得检测跟踪过程保持连贯性。

实施例二

本实施例提供一种终端设备200，如图2所示，该终端设备200包括：接收单元210、状态判断单元220和检测跟踪单元230。

上述接收单元210用于接收增强现实系统的输入帧图像；上述状态判断单元220用于判断上述输入帧图像的状态，当上述输入帧图像为低速运动状态时，通知上述检测跟踪单元对上述输入帧图像进行检测跟踪；上述检测跟踪单元230用于对上述输入帧图像进行检测跟踪。上述输入帧图像的状态包括：低光状态、相对静止状态、低速运动状态或高速运动状态。

具体的，上述状态判断单元220进一步用于，当上述输入帧图像的整体亮度低于系统预设亮度阈值时，判断上述输入帧图像为低光状态。

具体的，上述状态判断单元220进一步用于如果根据上述输入帧图像的前后相邻图像，确定图像场景没有变化，则判断上述输入帧图像为相对静止状态。

具体的，上述状态判断单元220还用于根据上述输入帧图像的前后相邻图像，计算获得上述输入帧图像的可跟踪点个数N；如果上述输入帧图像为低光状态或相对静止状态，当上述N>TH1时，判断上述输入帧图像进入上述低速运动状态，当上述N≤TH1时，判断上述输入帧图像进入上述高速运动状态；上述TH1为上述增强现实系统的预设阈值。进一步地，上述状态判断单元220还用于如果上述输入帧图像为低速运动状态，当上述N<TH1时，判断上述输入帧图像进入高速运动状态，当上述N≥TH1时，判断上述输入帧图像仍为低速运动状态；或者，如果上述输入帧图像为高速运动状态，当上述N>TH2时，判断上述输入帧图像进入上述低速运动状态，当上述N≤TH2时，判断上述输入帧图像仍为高速运动状态；上述TH2为该增强现实系统的预设阈值，且上述TH1小于上述TH2。

本实施例提供的终端设备可用于实现上述实施例一提供的增强现实系统的跟踪方法。本实施例提供的终端设备对增强现实系统的输入帧图像进行了筛选，只对满足特定条件的输入帧图像进行检测跟踪，本实施例中是只对低速运动状态的输入帧图像进行检测跟踪，从而提高了增强现实系统检测跟踪的精度，降低了增强现实系统的计算压力。并且通过设定一低一高两个不同的阈值TH1和TH2，可以保证输入帧的状态切换比较平缓，使得检测跟踪过程保持连贯性。

需要说明的是，实施例二中终端设备可与实施例一的跟踪方法相对应，在实施例二中未详尽描述的地方，可以参照实施例一中的描述。

应该理解，本发明的各种实施例中，上述各过程中序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟是以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

所属领域的技术人员可以清楚了解到，为了描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其他的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅是一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或者组件可以结合或者可以继承到一个系统，或者一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或者直接耦合或者通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其他的形式连接。

所述作为分离部件说明的单元可以是或者可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在个单元中。上述集成的单元即可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到本发明可以用硬件实现，或者软件实现，或它们的组合方式来实现。当使用软件实现时，可以见上述功能存储在计算机可读介质中或作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是计算机能够存取的任何介质。以此为例但不限于：计算机可读介质可以包括RAM、ROM、EEPROM、CD-ROM或其他光盘存储、磁盘介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质。此外，任何连接可以适当的成为计算机可读介质，例如，如果软件是使用同轴电缆、光纤光缆、双绞线、数字用户线(SDL)或者诸如红外线、无线电和微波之类的无线技术包括在所属介质的定影中。如本发明所使用的盘(Disk)和碟(Disc)包括压缩光碟(CD)、激光碟、光碟、数字通用光碟(DVD)、软盘和蓝光光碟，其中盘通常磁性的复制数据，而碟则用激光来光学的复制数据。上面的组合也应当包括在计算机可读介质的保护范围之内。

总之，以上所述仅为本发明技术方案的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种增强现实系统的跟踪方法，其特征在于，包括：

接收增强现实系统的输入帧图像；

判断所述输入帧图像的状态，当所述输入帧图像为低速运动状态时，对所述输入帧图像进行检测跟踪；

所述输入帧图像的状态包括：低光状态、相对静止状态、低速运动状态或高速运动状态。

2.根据权利要求1所述的跟踪方法，其特征在于，所述判断所述输入帧图像的状态，包括：

当所述输入帧图像的整体亮度低于系统预设亮度阈值，则判断所述输入帧图像为低光状态。

3.根据权利要求1所述的跟踪方法，其特征在于，所述判断所述输入帧图像的状态，包括：

如果根据所述输入帧图像的前后相邻图像确定图像场景没有变化，则判断所述输入帧图像为相对静止状态。

4.根据权利要求2或3所述的跟踪方法，其特征在于，所述判断所述输入帧图像的状态，还包括：

根据所述输入帧图像的前后相邻图像，计算获得所述输入帧图像的可跟踪点个数N；

如果所述输入帧图像为低光状态或相对静止状态，当所述N>TH1时，则判断所述输入帧图像进入所述低速运动状态，当所述N≤TH1时，则判断所述输入帧图像进入所述高速运动状态；

所述TH1为所述增强现实系统的预设阈值。

5.根据权利要求4所述的跟踪方法，其特征在于，所述判断所述输入帧图像的状态，还包括：

如果所述输入帧图像为低速运动状态，当所述N<TH1时，则判断所述输入帧图像进入高速运动状态，当所述N≥TH1时，则判断所述输入帧图像仍为低速运动状态；或者

如果所述输入帧图像为高速运动状态，当所述N>TH2时，则判断所述输入帧图像进入所述低速运动状态，当所述N≤TH2时，则判断所述输入帧图像仍为高速运动状态；所述TH2为所述增强现实系统的预设阈值，且所述TH1小于所述TH2。

6.一种终端设备，其特征在于，包括：接收单元，状态判断单元和检测跟踪单元；

所述接收单元，用于接收增强现实系统的输入帧图像；

所述状态判断单元，用于判断所述输入帧图像的状态，当所述输入帧图像为低速运动状态时，通知所述检测跟踪单元对所述输入帧图像进行检测跟踪；

所述检测跟踪单元，用于对所述输入帧图像进行检测跟踪；

所述输入帧图像的状态包括：低光状态、相对静止状态、低速运动状态或高速运动状态。

7.根据权利要求6所述的终端设备，其特征在于，

所述状态判断单元，进一步用于，当所述输入帧图像的整体亮度低于系统预设亮度阈值时，判断所述输入帧图像为低光状态。

8.根据权利要求6所述的终端设备，其特征在于，

所述状态判断单元，进一步用于，如果根据所述输入帧图像的前后相邻图像确定图像场景没有变化，则判断所述输入帧图像为相对静止状态。

9.根据权利要求7或8所述的终端设备，其特征在于，所述状态判断单元，还用于，

根据所述输入帧图像的前后相邻图像，计算获得所述输入帧图像的可跟踪点个数N；

如果所述输入帧图像为低光状态或相对静止状态，当所述N>TH1时，判断所述输入帧图像进入所述低速运动状态，当所述N≤TH1时，判断所述输入帧图像进入所述高速运动状态；

所述TH1为所述增强现实系统的预设阈值。

10.根据权利要求9所述的终端设备，其特征在于，所述状态判断单元，还用于，

如果所述输入帧图像为低速运动状态，当所述N<TH1时，判断所述输入帧图像进入高速运动状态，当所述N≥TH1时，判断所述输入帧图像仍为低速运动状态；或者

如果所述输入帧图像为高速运动状态，当所述N>TH2时，判断所述输入帧图像进入所述低速运动状态，当所述N≤TH2时，判断所述输入帧图像仍为高速运动状态；所述TH2为所述增强现实系统的预设阈值，且所述TH1小于所述TH2。