CN109840457B - 增强现实注册方法及增强现实注册装置 - Google Patents

Abstract

本发明提供一种增强现实注册方法及增强现实注册装置，该增强现实注册方法包括：获取当前环境的图像；将所述图像划分为多个子图像，并根据预设规则从所述多个子图像中选取目标子图像；获取所述目标子图像对应的预设子图像；根据所述目标子图像和所述预设子图像的匹配结果，获取注册信息进行增强现实注册。该方案通过减少增强现实注册过程中图像处理量，提高了增强现实注册的速度。

Description

增强现实注册方法及增强现实注册装置

技术领域

本发明涉及增强现实技术领域，尤其涉及一种增强现实注册方法及增强现实注册装置。

背景技术

随着虚拟现实(Virtual Reality，VR)技术的发展，增强现实(AugmentedReality,AR)技术作为虚拟现实技术的一个重要分支，也成为近年来的一个研究热点。其中，增强现实技术主要借助显示技术、交互技术、多种传感器技术和计算机图像与多媒体技术，将计算机生成的虚拟对象与用户周围的显示环境融为一体，构成虚实结合的虚拟空间，增强用户对现实世界的感知。

其中，增强现实注册是增强现实技术实现的关键技术之一。增强现实注册所要完成的任务就是动态跟踪中，将虚拟对象实时叠加到需要增强的真实场景中。如果真实场景为户外场景等包含较多信息的场景时，增强现实注册过程中计算量过大，会造成注册速度下降的问题。

发明内容

本发明实施例提供一种增强现实注册方法及增强现实注册装置，可以提升增强现实注册的速度。

本发明实施例提供一种增强现实注册方法，包括：

获取当前环境的图像；

将所述图像划分为多个子图像，并根据预设规则从所述多个子图像中选取目标子图像；

获取所述目标子图像对应的预设子图像；

根据所述目标子图像和所述预设子图像的匹配结果，获取注册信息进行增强现实注册。

本发明实施例还提供了一种增强现实注册装置，包括：

第一获取模块，用于获取当前环境的图像；

选取模块，用于将所述图像划分为多个子图像，并根据预设规则从所述多个子图像中选取目标子图像；

第二获取模块，用于获取所述目标子图像对应的预设子图像；

注册模块，用于根据所述目标子图像和所述预设子图像的匹配结果，获取注册信息进行增强现实注册。

本发明实施例提供的增强现实注册方法及增强现实注册装置，通过将当前环境的图像划分为多个子图像，并从多个子图像中选取目标子图像，与其对应的预设子图像进行匹配。该方案减少了增强现实注册过程中图像处理量，从而提高了增强现实注册的速度。

附图说明

下面结合附图，通过对本发明的具体实施方式详细描述，将使本发明的技术方案及其它有益效果显而易见。

图1为本发明实施例提供的增强现实注册方法的流程示意图。

图2为本发明实施例提供的增强现实注册方法的场景示意图。

图3为本发明实施例提供的增强现实注册方法的另一流程示意图。

图4为本发明实施例提供的增强现实注册方法的另一场景示意图。

图5为本发明实施例提供的增强现实注册方法的又一场景示意图。

图6为本发明实施例提供的增强现实注册装置的结构示意图。

图7为本发明实施例提供的增强现实注册装置的结构示意图。

图8为本发明实施例提供的终端的结构示意图。

具体实施方式

请参照图式，其中相同的组件符号代表相同的组件，本发明的原理是以实施在一适当的运算环境中来举例说明。以下的说明是基于所例示的本发明具体实施例，其不应被视为限制本发明未在此详述的其它具体实施例。

本文所使用的术语「模块」可看做为在该运算系统上执行的软件对象。本文该的不同组件、模块、引擎及服务可看做为在该运算系统上的实施对象。而本文该的装置及方法优选的以软件的方式进行实施，当然也可在硬件上进行实施，均在本发明保护范围之内。

本发明实施例提供一种增强现实注册方法以及增强现实注册装置，以下进行具体分析说明。

请参阅图1，图1是本发明实施例提供的一种增强现实注册方法的流程示意图。下面对增强现实注册方法的各个步骤进行详细说明。

步骤S101，获取当前环境的图像。

具体的，可以通过图像获取装置获取当前环境的图像，其中图像获取装置可以为摄像机。

步骤S102，将图像划分为多个子图像，并根据预设规则从多个子图像中选取目标子图像。

当处于户外等较复杂环境时，获取到的环境图像内包含的信息比较多，如果在增强现实注册时，对整个图像进行处理，将会造成增强现实注册时的速度变慢。因此可以将图像划分成多个子图像，并从中选取目标子图像进行处理。

如图2所示，可以先将图像A划分为多个子图像a。具体的，可以根据预设尺寸，将该图像划分为多个子图像。假设预设尺寸为2cm*2cm，则可以将尺寸为8cm*8cm的图像均分成16个2cm*2cm的子图像。在一些实施例中，如图2所示，还可以根据需要的子图像个数来划分图像。假设需要的子图像为4个，则可以将尺寸为8cm*8cm的图像均分成4个4cm*4cm的子图像。在一些实施例中，还可以选择图像中满足预设条件的区域，作为子图像。比如包含人物，建筑等鲜明特点的区域。接着，可以根据用户需求从该多个子图像中，选取目标子图像。

步骤S103，获取目标子图像对应的预设子图像。

预先的，可以通过摄像头采集多个预设子图像，将该多个预设子图像存储在预设子图像集合中。具体的，可以从该预设子图像集合中，查找该目标子图像对应的预设子图像。

步骤S104，根据目标子图像和预设子图像的匹配结果，获取注册信息进行增强现实注册。

具体的，可以采用汉明距对目标子图像和预设子图像进行强制匹配，得到匹配结果。然后计算目标子图像和预设子图像之间的位置关系，估算摄像机的位姿，最后获取注册信息进行增强现实注册，以达到虚实融合的效果。

本发明实施例的增强现实注册方法，通过将当前环境的图像划分为多个子图像，并从多个子图像中选取目标子图像，与其对应的预设子图像进行匹配。该方案减少了增强现实注册过程中图像处理量，从而提高了增强现实注册的速度。

在一优选实施例中，将对增强现实注册方法作进一步介绍。

请参照图3，图3是本发明实施例提供的一种增强现实注册方法的流程示意图。下面对增强现实注册方法的各个步骤进行详细说明。

步骤S201，获取当前环境的图像。

具体的，可以通过图像获取装置获取当前环境的图像，其中图像获取装置可以为摄像机。

步骤S202，将图像划分为多个子图像，并从多个子图像中提取特征信息。

当处于户外等较复杂环境时，获取到的环境图像内包含的信息比较多，如果在增强现实注册时，对整个图像进行处理，将会造成增强现实注册时的速度变慢。因此可以将图像划分成多个子图像，并从中选取目标子图像进行处理。

如图2所示，可以先将图像A划分为多个子图像a。具体的，可以根据预设尺寸，将该图像划分为多个子图像。假设预设尺寸为2cm*2cm，则可以将尺寸为8cm*8cm的图像均分成16个2cm*2cm的子图像。在一些实施例中，如图2所示，还可以根据需要的子图像个数来划分图像。假设需要的子图像为4个，则可以将尺寸为8cm*8cm的图像均分成4个4cm*4cm的子图像。

在一些实施例中，还可以根据图像中的对象或颜色，对图像进行划分。如图4所示，将图像A中的全部人物对象分割出来，得到8个子图像b。其中，颜色用于描述图像中景物的表面性质，主要基于像素点。对于户外环境的图像来说，可能会存在天空、大海等背景，这些背景往往颜色相近，因此根据颜色，可以准确的对图像进行划分。在一些实施例中，还可以根据图像的纹理特征、形状特征等特征来对图像进行划分。在此不对图像的具体划分方式进行限定。

接着，从该多个子图像中提取特征信息。具体的，可以先对子图像进行灰度化等处理，然后采用ORB算法检测子图像中的特征点，将检测结果保存在向量中。再使用ORB描述子对特征点进行描述，比如特征点的尺度以及方向，并保存计算结果。

步骤S203，获取子图像中特征点的数量。

在一些实施例中，可以根据子图像中包含特征信息的多少，来选取目标子图像。优选的，目标子图像中的特征信息包含量越多，即目标子图像中特征信息数量越大，后续目标子图像和预设子图像的匹配准确率越高。其中，特征信息包括特征点，可以根据子图像中特征点的数量，来选取目标子图像。因此，需要先获取子图像中特征点的数量。

步骤S204，将数量大于预设数量的子图像，设置为目标子图像。

具体的，可以设置一预设数量，当某个子图像中特征点的数量大于该预设数量时，说明该子图像包含的特征信息越多，因此将该子图像设置为目标子图像。如图5所示，图像C包括子图像c1、c2、c3、c4、c5、c6、c7和c8，假设预设数量为3个。则可将子图像c6设置为目标子图像。

在一些实施例中，可以根据子图像中包含的特征信息的重要程度，来选取目标子图像。如果某个子图像中的特征信息越重要，则说明该子图像也越重要，因此可以将该子图像设置为目标子图像。具体的，可以根据如下步骤设置目标子图像：

a)判断预设特征信息集合中是否与有特征信息匹配的目标特征信息。

b)如有，则将特征信息对应的子图像，设置为目标子图像。

预先的，将具有重要意义的特征信息收集，存储入预设特征信息集合中。当从多个子图像中提取到特征信息时，将该特征信息与预设特征信息集合中的特征信息进行对比，如果该预设特征信息集合中有与该特征信息匹配的目标特征信息，则将该特征信息对应的子图像，设置为目标子图像。

步骤S205，获取目标子图像对应的预设子图像。

在一些实施例中，可以预先收集子图像，将该子图像设置为预设子图像并存储。在实际操作中，可以直接存储的预设子图像中，获取该目标子图像对应的预设子图像。

步骤S206，根据目标子图像和预设子图像的匹配结果，获取注册信息进行增强现实注册。

具体的，可以采用汉明距对目标子图像和预设子图像进行强制匹配，得到匹配结果。然后计算目标子图像和预设子图像之间的位置关系，估算摄像机的位姿，最后获取注册信息进行增强现实注册，以达到虚实融合的效果。

本发明实施例的增强现实注册方法，通过将当前环境的图像划分为多个子图像，并从多个子图像中选取目标子图像，与其对应的预设子图像进行匹配。该方案减少了增强现实注册过程中图像处理量，从而提高了增强现实注册的速度。

为了更好的实施上述方法，在一优选实施例中还提供了一种增强现实注册装置。

请参照图6，图6为本发明实施例提供的增强现实注册装置的结构示意图。增强现实注册装置10包括第一获取模块101、选取模块102、第二获取模块103以及注册模块104，具体描述如下：

其中，第一获取模块101用于获取当前环境的图像；选取模块102用于将所述图像划分为多个子图像，并根据预设规则从所述多个子图像中选取目标子图像；第二获取模块103用于获取所述目标子图像对应的预设子图像；注册模块104用于根据所述目标子图像和所述预设子图像的匹配结果，获取注册信息进行增强现实注册。

具体的，第一获取模块101可以通过图像获取装置获取当前环境的图像，其中图像获取装置可以为摄像机。

当处于户外等较复杂环境时，获取到的环境图像内包含的信息比较多，如果在增强现实注册时，对整个图像进行处理，将会造成增强现实注册时的速度变慢。因此选取模块102可以将图像划分成多个子图像，并从中选取目标子图像进行处理。

预先的，可以通过摄像头采集多个预设子图像，将该多个预设子图像存储在预设子图像集合中。具体的，第二获取模块103可以从该预设子图像集合中，查找该目标子图像对应的预设子图像。

具体的，注册模块104可以采用汉明距对目标子图像和预设子图像进行强制匹配，得到匹配结果。然后计算目标子图像和预设子图像之间的位置关系，估算摄像机的位姿，最后获取注册信息进行增强现实注册，以达到虚实融合的效果。

在一些实施例中，如图7所示，所述选取模块102包括提取子模块1021和选取子模块1022，具体描述如下：

提取子模块1021用于从所述多个子图像中，提取特征信息；选取子模块1022用于根据所述特征信息，从所述多个子图像中选取目标子图像。

在一些实施例中，选取子模块1022具体用于：

获取所述特征信息在所述子图像中的数量；

将数量大于预设数量的子图像，设置为所述目标子图像。

在一些实施例中，选取子模块1022具体用于：

判断预设特征信息集合中是否与有所述特征信息匹配的目标特征信息；

如有，则将所述特征信息对应的子图像，设置为所述目标子图像。

在一些实施例中，如图7所示，所述选取模块102还包括划分子模块1023，具体描述如下：

划分子模块1023用于根据预设尺寸，将所述图像划分为多个子图像。

本发明实施例还提供一种终端，如图8所示，该终端400可以包括有一个或一个以上计算机可读存储介质的存储器401、传感器402、输入单元403、显示单元404、电源405、包括有一个或者一个以上处理核心的处理器406以及可穿戴式智能设备感应单元407等部件。本领域技术人员可以理解，图8中示出的终端结构并不构成对终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

存储器401可用于存储应用程序和数据。存储器401存储的应用程序中包含有可执行代码。应用程序可以组成各种功能模块。处理器406通过运行存储在存储器401的应用程序，从而执行各种功能应用以及数据处理。此外，存储器401可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器401还可以包括存储器控制器，以提供处理器406和输入单元403对存储器401的访问。

终端还可包括至少一种传感器402，比如光传感器、重力加速度传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板的亮度。

输入单元403可用于接收输入的数字、字符信息或用户特征信息(比如指纹)，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。具体地，在一个具体的实施例中，输入单元403可包括触敏表面以及其他输入设备。触敏表面，也称为触摸显示屏或者触控板，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触敏表面上或在触敏表面附近的操作)，并根据预先设定的程式驱动相应的连接装置。可选的，触敏表面可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器406，并能接收处理器406发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触敏表面。除了触敏表面，输入单元403还可以包括其他输入设备。具体地，其他输入设备可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、指纹识别模组、轨迹球、鼠标、操作杆等中的一种或多种。

显示单元404可用于显示由用户输入的信息或提供给用户的信息以及终端的各种图形用户接口，这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。显示单元404可包括显示面板。可选的，可以采用液晶显示器(LCD，Liquid Crystal Display)、有机发光二极管(OLED，Organic Light-Emitting Diode)等形式来配置显示面板。进一步的，触敏表面可覆盖显示面板，当触敏表面检测到在其上或附近的触摸操作后，传送给处理器406以确定触摸事件的类型，随后处理器406根据触摸事件的类型在显示面板上提供相应的视觉输出。虽然在图8中，触敏表面与显示面板是作为两个独立的部件来实现输入和输入功能，但是在某些实施例中，可以将触敏表面与显示面板集成而实现输入和输出功能。

终端还包括给各个部件供电的电源405(比如电池)。优选的，电源可以通过电源管理系统与处理器406逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源405还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。

处理器406是终端的控制中心，利用各种接口和线路连接整个终端的各个部分，通过运行或执行存储在存储器401内的应用程序，以及调用存储在存储器401内的数据，执行终端的各种功能和处理数据，从而对终端进行整体监控。可选的，处理器406可包括一个或多个处理核心；优选的，处理器406可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等。

可穿戴式智能设备感应单元407可用于接收可穿戴式智能设备单元的数据，以及感应可穿戴式智能设备的具体三维空间坐标，再将接收的数据以及感应的三维空间坐标发送给处理器406进行处理。

尽管图8中未示出，终端还可以包括摄像头、蓝牙模块、网络模块等，在此不再赘述。

具体在本实施例中，终端中的处理器406会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行代码加载到存储器401中，并由处理器406来运行存储在存储器401中的应用程序，从而实现各种功能：

处理器406先获取当前环境的图像，然后将所述图像划分为多个子图像，并根据预设规则从所述多个子图像中选取目标子图像，接着获取所述目标子图像对应的预设子图像，最后根据所述目标子图像和所述预设子图像的匹配结果，获取注册信息进行增强现实注册。

本发明实施例的终端，通过将当前环境的图像划分为多个子图像，并从多个子图像中选取目标子图像，与其对应的预设子图像进行匹配。该方案减少了增强现实注册过程中图像处理量，从而提高了增强现实注册的速度。

具体实施时，以上各个单元可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个单元的具体实施可参见前面的方法实施例，在此不再赘述。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见上文针对增强现实注册方法的详细描述，此处不再赘述。

需要说明的是，对本发明该增强现实注册方法而言，本领域普通测试人员可以理解实现本发明实施例基于增强现实注册方法的全部或部分流程，是可以通过计算机程序来控制相关的硬件来完成，该计算机程序可存储于一计算机可读取存储介质中，如存储在终端的存储器中，并被该终端内的至少一个处理器执行，在执行过程中可包括如该增强现实注册方法的实施例的流程。其中，该存储介质可为磁碟、光盘、只读存储器(ROM，Read OnlyMemory)、随机存取记忆体(RAM，Random Access Memory)等。

对本发明实施例的该增强现实注册装置而言，其各功能模块可以集成在一个处理芯片中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。该集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中，该存储介质譬如为只读存储器，磁盘或光盘等。

以上对本发明实施例所提供的一种增强现实注册方法及增强现实注册装置进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上该，本说明书内容不应理解为对本发明的限制。

Claims (8)

1.一种增强现实注册方法，其特征在于，所述方法包括：

获取当前环境的图像；

将所述图像划分为多个子图像，并从每一个子图像中提取特征信息；

对所述特征信息进行分析，从所述多个子图像中选取目标子图像；

获取所述目标子图像对应的预设子图像；

根据所述目标子图像和所述预设子图像的匹配结果，获取注册信息进行增强现实注册。

2.根据权利要求1所述的增强现实注册方法，其特征在于，所述特征信息包括特征点，所述根据所述特征信息，从所述多个子图像中选取目标子图像步骤，包括：

获取所述子图像中所述特征点的数量；

将所述特征点数量大于预设数量的子图像，设置为所述目标子图像。

3.根据权利要求1所述的增强现实注册方法，其特征在于，根据所述特征信息，从所述多个子图像中选取目标子图像步骤，包括：

判断预设特征信息集合中是否与有所述特征信息匹配的目标特征信息；

如有，则将所述特征信息对应的子图像，设置为所述目标子图像。

4.根据权利要求1所述的增强现实注册方法，其特征在于，所述将所述图像划分为多个子图像步骤，包括：

根据所述图像中的对象或颜色，将所述图像划分为多个子图像。

5.一种增强现实注册装置，其特征在于，所述装置包括：

第一获取模块，用于获取当前环境的图像；

选取模块，用于将所述图像划分为多个子图像，所述选取模块包括：

提取子模块，用于从每一个子图像中提取特征信息；

选取子模块，用于对所述特征信息进行分析，从所述多个子图像中选取目标子图像；

第二获取模块，用于获取所述目标子图像对应的预设子图像；

注册模块，用于根据所述目标子图像和所述预设子图像的匹配结果，获取注册信息进行增强现实注册。

6.根据权利要求5所述的增强现实注册装置，其特征在于，选取子模块具体用于：

获取所述特征信息在所述子图像中的数量；

将数量大于预设数量的子图像，设置为所述目标子图像。

7.根据权利要求5所述的增强现实注册装置，其特征在于，选取子模块具体用于：

判断预设特征信息集合中是否与有所述特征信息匹配的目标特征信息；

如有，则将所述特征信息对应的子图像，设置为所述目标子图像。

8.根据权利要求5所述的增强现实注册装置，其特征在于，所述选取模块还包括：

划分子模块，用于所述图像中的对象或颜色，将所述图像划分为多个子图像。

Images