CN110211242A - 室内增强现实信息显示的方法 - Google Patents

Abstract

本发明涉及一种室内增强现实信息显示的方法、系统及终端，该方法包括：获取第一目标位置信息；如果所述第一目标位置信息与预设位置信息的匹配度大于预设阈值，从信息数据库获取信息，进行信息显示。利用本发明的室内增强现实信息显示的方法、系统、终端，能够自动获取第一目标的位置信息，从而节约数据采集的时间和成本，提高效率；充分利用定位信息提供增值服务；同时只有在满足相应条件后才显示信息，提高了信息显示的准确度，从而避免显示错误信息，进一步提升了用户体验。

Description

室内增强现实信息显示的方法

技术领域

本发明涉及增强现实技术领域，特别是涉及一种室内增强现实信息显示的方法。

背景技术

现有技术中，还没有室内增强现实信息显示的方法，部分应用根据室内的Wifi信号来做一些简单的定位，但是现有技术存在以下问题：

(1)需要用户主动登录应用，操作繁琐；

(2)定位的精度不准，用户体验差；

(3)没有利用定位信息来提供增值服务。

因此，为了便于用户操作，节约操作时间；增加定位精度，提升用户体验；同时能够充分利用定位信息提供增值服务；急需提出一种室内增强现实信息显示的方法。

发明内容

本发明的目的在于提供一种室内增强现实信息显示的方法、系统及终端，实现了在室内通过获取定位信息，显示相关位置信息内容的目的，能够节约数据采集的时间和成本，提高效率；充分利用定位信息提供增值服务；同时只有在满足相应条件后才显示信息，提高了信息显示的准确度，从而避免显示错误信息，进一步提升了用户体验。

本发明的目的采用以下技术方案来实现。依据本发明提出的室内增强现实信息显示的方法，包括以下步骤：获取第一目标位置信息；如果所述第一目标位置信息与预设位置信息的匹配度大于预设阈值，从信息数据库获取信息，进行信息显示。

本发明的目的还可以采用以下的技术措施来进一步实现。

前述的室内增强现实信息显示的方法，所述获取第一目标位置信息包括：采集第一目标预设范围内的第一信号；如果所述第一信号满足第一条件，确定所述第一目标位置信息。

前述的室内增强现实信息显示的方法，所述采集第一目标预设范围内的第一信号采用无线信号指纹方法，所述无线信号指纹方法在构建地图时包括步骤：在预设范围内进行数据采集和系统部署；计算得到预设范围内的位置信息；其中所述数据采集和系统部署采用基于机器人或基于众包两种方式中的一种。

前述的室内增强现实信息显示的方法，所述第一信号不满足第一条件时，采集第一目标预设范围内的第二信号；其中，所述第二信号与所述第一信号融合后，确定所述第一目标位置信息。

前述的室内增强现实信息显示的方法，所述第一信号是无线信号，所述第二信号是视觉信号；或所述第一信号是视觉信号，所述第二信号是无线信号。

前述的室内增强现实信息显示的方法，所述采集第一目标预设范围内的视觉信号步骤包括：确定预设范围内的第二目标；保存所述第二目标的位置信息；其中，所述第二目标的位置信息包括所述第二目标与所述第一目标之间的相对距离与相对角度两种信息之中的至少一种。

前述的室内增强现实信息显示的方法，所述无线信号为以下信号中的至少一种：无线保真信号、蓝牙信号和惯性传感器信号。

前述的室内增强现实信息显示的方法，所述视觉信号为视觉场景信号和/或标志信号。

前述的室内增强现实信息显示的方法，在所述如果所述第一目标位置信息与预设位置信息的匹配度大于预设阈值，从信息数据库获取信息，进行信息显示步骤之前，还包括计算所述第一目标位置信息与预设位置信息的匹配度。

前述的室内增强现实信息显示的方法，所述计算所述第一目标位置信息与预设位置信息的匹配度的步骤包括：发送所述第一目标位置信息至服务端；计算所述第一目标位置信息与预设位置信息的匹配度；或所述计算所述第一目标位置信息与预设位置信息的匹配度的步骤包括：发送请求指令给服务端，所述请求指令用于请求所述服务端发送预设位置信息；接收所述服务端发送的所述预设位置信息；计算所述第一目标位置信息与预设位置信息的匹配度。

前述的室内增强现实信息显示的方法，所述进行信息显示的步骤包括：获取所述第一目标位置信息中的位置属性参数；如果所述位置属性参数与预设位置属性参数的相似度大于预设阈值，显示预设信息。

前述的室内增强现实信息显示的方法，其特征在于，所述位置属性参数包括：所述第一目标的三维坐标值；和/或所述第一目标与三维空间坐标轴的夹角度数；其中，所述位置属性参数与所述预设位置属性参数采用相同的坐标系。

本发明的目的还采用以下的技术方案来实现。依据本发明提出的建立信息数据库的方法，包括以下步骤：分别采集并存储第二目标的位置信息与内容信息；关联所述位置信息与所述内容信息。

本发明的目的还可以采用以下的技术措施来进一步实现。

前述的建立信息数据库的方法，在所述关联所述位置信息与所述内容信息步骤之后，还包括：更新所述第二目标的位置信息；和/或更新所述第二目标的内容信息。

前述的建立信息数据库的方法，所述采集并存储第二目标的位置信息包括：读取包含所述第二目标的位置图；获取所述第二目标的位置信息；存储所述第二目标的位置信息；其中，所述存储后的第二目标的位置信息可编辑。

本发明的目的还采用以下的技术方案来实现。依据本发明提出的一种室内增强现实信息显示的系统，包括：执行任意一项前述权利要求所述的室内增强现实信息显示的方法步骤的模块；和/或执行任意一项前述权利要求所述的建立信息数据库的方法步骤的模块。

本发明的目的还采用以下的技术方案来实现。依据本发明提出的一种计算机可读存储介质，其上存储有计算机程序，该程序被执行时实现前述任意一项权利要求所述的室内增强现实信息显示的方法；和/或该程序被执行时实现前述任意一项权利要求所述的建立信息数据库的方法。

本发明的目的还采用以下的技术方案来实现。依据本发明提出的一种终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现前述任一项所述的室内增强现实信息显示的方法；和/或所述处理器执行所述计算机程序时实现前述任一项所述的建立信息数据库的方法。，

本发明与现有技术相比具有明显的优点和有益效果。借由上述技术方案，本发明提出的室内增强现实信息显示的方法、系统及设备至少具有下列优点及有益效果：

(1)无需用户主动进行操作，便能自动获取第一目标的位置信息，从而节约数据采集的时间和成本，提高效率。

(2)只有在满足相应条件后才显示信息，提高了信息显示的准确度，从而避免显示错误信息，进一步提升了用户体验。

(3)进行增强现实信息显示，为用户提供增值服务。

上述说明仅是本发明技术方案的概述，为了能更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为让本发明的上述和其他目的、特征和优点能够更明显易懂，以下特举较佳实施例，并配合附图，详细说明如下。

附图说明

图1是本发明一个实施例的室内增强信息显示的方法流程框图；

图2是本发明一个实施例的室内增强信息显示的方法流程框图；

图3是本发明一个实施例的室内增强信息显示的方法流程框图；

图4是本发明一个实施例的室内增强信息显示的方法流程框图；

图5是本发明一个实施例的室内增强信息显示的方法流程框图；

图6是本发明一个实施例的室内增强信息显示的方法流程框图；

图7是本发明一个实施例的室内增强信息显示的方法流程框图；

图8是本发明一个实施例的室内增强信息显示的方法流程框图；

图9是本发明一个实施例的建立信息数据库的方法流程框图；

图10是本发明一个实施例的建立信息数据库的方法流程框图；

图11是本发明一个实施例的建立信息数据库的方法流程框图；

图12是本发明一个实施例的设备的结构框图；

图13是本发明一个实施例的流程示意图；

图14是本发明一个实施例的流程示意图。

其中，图1至图14中附图标记与名称之间的对应关系为：

终端10000，存储器11000，计算机程序11100，处理器12000。

具体实施方式

为更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的室内增强信息显示的方法、系统及设备的具体实施方式、结构、特征及其功效，详细说明如后。

虽然每个实施例代表了申请步骤的单一组合，但是本发明不同实施例的步骤可以替换，或者合并组合，因此本发明也可认为包含记载的相同和/或不同实施例中步骤的所有可能组合。因而，如果一个实施例包含步骤A、B、C，另一个实施例包含步骤B和D的组合，那么本发明也视为包括含有A、B、C、D的一个或多个步骤的所有其他可能的组合的实施例，尽管该实施例可能并未在以下内容中有明确的文字记载。

下面将结合附图，对本发明实施例提供的一种室内增强信息显示的方法进行详细介绍。

图1是本发明一个实施例的室内增强信息显示的方法流程框图。请参阅图1，本发明示例的室内增强信息显示的方法主要包括以下步骤：

S100:获取第一目标位置信息

其中，第一目标是指移动设备，该移动设备可以是增强现实眼镜(或称为AR眼镜、智能眼镜)或其他的增强现实设备(或称为AR设备)、虚拟现实设备(或称为VR设备)、移动电脑、智能手机、智能手表或其他的可穿戴设备、导航装置、或其他的可采集位置信息数据的设备。

本领域的技术人员应当了解，以上所述第一目标可以本身具有获取位置信息的功能，也可以借助其他设备获取位置信息，只要是可以移动的设备就应当在本发明的保护范围内。

其中，位置信息是指第一目标所处的位置信息，可选的，位置信息是指第一目标的经纬度值；可选的，位置信息是指第一目标相对于预设空间坐标系的相对位置；可选的，位置信息是指第一目标与预设空间坐标系中不同坐标轴的夹角度数。在一些实施例中，夹角是指终端设备中摄像头与预设空间坐标系中不同坐标轴的夹角。

在一些实施例中，请参见图2，前述的步骤S100具体包括：

S110:采集第一目标预设范围内的第一信号

其中，预设范围是指提前设置好的范围，可选的预设范围是指在一定距离范围内，可选的预设范围是指在一定角度范围内。当然也可以是指一定距离内的一定角度范围内。

本领域的技术人员应当了解，预设范围可以是提前设置好的，也可以是根据第一目标所处的环境进行实时更新设置。

在一些实施例中，第一信号是指无线信号。其中，无线信号的类型可以是无线保真信号(或称为Wi-Fi信号)、蓝牙信号(或称为Bluetooth信号)、紫蜂信号(或称为ZigBee信号)、惯性传感器信号、GPS信号，RFID红外信号或者任何其他无线信号。可选地，前述的无线信号数据包括无线信号强度信息，例如接收的信号强度指示(Received Signal StrengthIndication，简称为RSSI)。

在一些实施例中，第一信号是指视觉信号。其中，视觉信号是指视觉范围内的场景/标志物。

可选地，前述的场景或标志物是在室内选取的场景或物体，一般是标志性的场景或物体，可以是一个或多个。

采集第一目标预设范围内的第一信号时，在场景或标志物是多个的情形中，可以在每个采集点采集多个场景或多个标志物的图像。可选地，还可以计算采集到的图像的特征点并记录该特征点。

具体的，例如室内场所为商场时，可选的前述的场景或标志物是每个商店顶上的logo，可选的前述的场景或标志物是商场走道上的一些易识别的场景/标志，如女装区、男装区或者儿童区等。

本领域的技术人员应当了解，室内的同一地点的无线信号强度会受到场所环境结构、布局和人流密度等因素的影响，而在很多场所，特别是在公共场所，一天中的人流密度会有明显变化，从而无线信号强度值在不同的时间可能会不同。另外，场所的图像数据也常常会随着时间变化而改变。因此，本发明可以通过采集多个时间段的数据，能够得到更丰富、更准确的信息，有利于后期研发。

当第一信号是无线信号时，在一些实施例中S110:采集第一目标预设范围内的第一信号采用无线信号指纹方法。其中，无线信号指纹方法在构建地图时包括步骤：在预设范围内进行数据采集和系统部署；计算得到预设范围内的位置信息。

基于无线信号指纹的方法是无线信号定位系统中比较流行的方法，其做到了部署成本与定位精度的平衡。室内定位方法和导航方法主要基于无线信号指纹来实现。其基本做法是在前期的数据采集阶段，在室内场所选定足够密集的一系列关键点，在所有的关键点上采集无线信号信息，建立无线信号与关键点位置的映射(此即为前述的“无线信号指纹”)，形成一个映射的数据库；而在后续的定位和导航阶段，当用户在室内场所中佩戴移动设备时，移动设备接收到无线信号后，利用该映射数据库，通过算法将当前接收到的无线信号与数据库中已采集的无线信号进行匹配，找到在一定标准下最相近的无线信号，进而将数据库中该匹配中的信号所对应的位置作为当前移动设备所处的具体位置反馈至移动设备。由于无线信号的扫描速度较快，功耗较低，无线信号数据的维度相比图像数据也比较小，故而无线信号定位的算法耗时非常短(一次扫描信号的定位在几毫秒的量级)，从而功耗较低。

在一些实施例中，其中数据采集和系统部署采用基于众包的方式；

其中，采用基于众包的方式是指让工作人员戴上增强现实眼镜、或拿手机、或携带其他任何可以使用SLAM技术的设备，在场所行走，设备里的SLAM软件会自动对场所建图并获得采集点的坐标。与通过工作人员携带具有SLAM软件的移动设备在场所内行走而获得采集点坐标的方式相比，机器人的方式减少人力投入，节省了建图和采集点坐标提取的时间，降低了成本，而且机器人的运动更加精确可控，得到的坐标值也比工作人员通过自身行走的办法得到的坐标值更加精确。

具体的，采用众包(crowdsource)方式来实施是指任何人都可以下载安装并使用应用程序来帮助采集数据。本发明提出的定位导航数据采集方法也可以采用外包(outsource)方式来实施。在外包方式下，先将应用程序安装到移动设备上，然后雇佣一些人员来使用该应用程序进行数据采集。众包方式和外包方式均可以是多用户并行采集的方式，能够大大缩短采集的时间，极大地降低成本，提高效率。另外，众包方式还适用于对少量的采集点的定位导航数据进行更新的情形。

在另一些实施例中，其中数据采集和系统部署采用基于机器人的方式；

其中采用基于机器人的方式是指利用基于SLAM的机器人系统来对场所进行自动建图得到采集点的坐标信息。与通过工作人员携带具有SLAM软件的移动设备在场所内行走而获得采集点坐标的方式相比，机器人的方式减少人力投入，节省了建图和采集点坐标提取的时间，降低了成本，而且机器人的运动更加精确可控，得到的坐标值也比工作人员通过自身行走的办法得到的坐标值更加精确。

S111:如果第一信号满足第一条件，确定第一目标位置信息

其中，第一条件是指根据第一信号的类型已经预设好的。

比如，第一信号是无线信号时，可选的第一条件指当前无线信号是否是某一种具体的无线信号类型，可选的第一条件指当前无线信号是否满足某一强度要求，可选的第一条件指当前无线信号是否在某一波段范围内等。

第一信号是视觉信号时，可选的第一条件指当前视觉信号是否与预设视觉信号相同，可选的第一条件指当前视觉信号与预设视觉信号的相似度是否达到预设阈值等。

本领域的技术人员应当理解，无论第一信号是什么，第一条件是什么，只要是需要第一信号满足第一条件之后，才能确定第一目标位置信息的方法都应该在本发明的保护范围内。

上述实施例中关于第一目标、预设范围、无线信号及视觉信号及第一条件的解释也适用于下面的实施例，在下述实施例中不在进行赘述。

在一些实施例中，请参见图3，前述的步骤S100具体包括：

S110:采集第一目标预设范围内的第一信号

S120:第一信号不满足第一条件时，采集第一目标预设范围内的第二信号

其中，第二信号是指不同于第一信号的信号，可选的当第一信号是无线信号时第二信号是视觉信号，可选的当第一信号是视觉信号时第二信号是无线信号。

本领域的技术人员应当了解，第二信号和第一信号也可以是指无线信号中的两种不同类型信号，当然第二信号和第一信号也可以分别是视觉信号中的场景信号和标志信号。只要是第一信号不同于第二信号就都应当在本发明的保护范围内。

S121:第二信号与第一信号融合后，确定第一目标位置信息

其中，融合是指第二信号对第一信号产生修正/补充的作用。修正是指第一信号中存在错误的信号，比如精度不统一错误、信号单位不统一错误、信号源确定错误等；补充是指第一信号中信号无误，第二信号对第一信号的信号进行进一步补充，便于进一步确定位置信息从而得到更精确的位置信息。

本领域的技术人员应当了解，无线信号定位和视觉信号定位的组合可以极大地提高算法效率，降低功耗。视觉信号定位的一大耗时点在于，算法需要从庞大的视觉数据库中匹配出和当前相机所观察到的场景最相近的场景。如果没有任何先验信息，算法需要匹配整个数据库，非常耗时。而如果加入了无线信号定位，无线定位可以预先缩小用户/相机所在的位置范围，进而视觉算法只需要匹配该缩小的位置范围内已有的视觉场景/标志即可。这样可以极大地减少待匹配的视觉对象的数量，从而极大地提升算法效率，降低功耗。更重要的，无线定位可以帮助更好地提升视觉算法的准确率，因为无线定位防止视觉算法误匹配到该缩小的位置范围外的视觉对象。

在以上实施例中当第一信号是视觉信号时，请参见图4，S130:采集第一目标预设范围内的视觉信号包括步骤：

S131:确定预设范围内的第二目标

其中，确定是指通过采集预设范围内多个对象信息后，通过算法或者计算将其中一个或多个对象设置为第二目标；当然也可以是直接通过算法或者计算将预设范围内其中一个或多个对象设置为第二目标后再采集相应的对象信息。

其中，第二目标是指不同于第一目标的对象，可选的，第二目标的数量是一个；可选的，第二目标的数量是多个。第二目标是用户可能感兴趣的任意目标。在一个或多个实施例中，在商场的场景中，当第一目标为AR眼镜的时候，第二目标可以是商店的标识符(Logo)，或者是商场的指示牌，或者是商品的打折信息。

S132:保存第二目标的位置信息

本领域的技术人员应当了解，无论是保存在本地还是服务器或者其他可以实现存储的介质中，只要是将第二目标的位置信息进行了保存就应当在本发明的保护范围内。

例如，当室内场所是商场时，上述实施例中具体的可以分为以下步骤：首先在商场中根据应用需要选取一系列明显的视觉场景/标志作为识别对象。其中，一大类视觉场景/标志是每个商店顶上的logo，这类标志的识别能使得相机认出每一家商店，进而叠加针对单个商店的(3D)促销信息。具体的流程示例，请参见图13，即S1:商店图标识别；S2:室内定位与跟踪；S3:数据融合得到周边商店ID；S4:从后台调取促销信息；S5:AR眼镜近眼显示。其中，S1和S2步骤不分先后，也可以同时进行。另一大类视觉场景/标志是商场走道上的一些易识别的场景/标志，这类标志的识别能使得相机认出商场的一块区域(如女装区，男装区或者儿童区)，进而叠加该区域相关的(3D)促销信息，如该区域周围商店的汇总的促销信息等。具体的流程示例，请参见图14，即S10:商店坐标定位提取；S11:创建商店方位图。选取好这些视觉识别对象后，进行数据采集的过程，这个过程主要是对选取的视觉对象从不同方位和不同角度拍照，构建一个视觉数据库。然后建立一套算法来区分和识别这些不同的视觉对象。算法的主要原理是将当前观测到的图像和视觉数据库中的图像进行匹配，找到最匹配的视觉对象，如相似度达到一定的阈值，则认为当前观测到的图像为该匹配的视觉对象。因为数据库中含有一个视觉对象的各个方位和角度的拍摄信息，所以算法能够从不同的角度识别同一个视觉对象。这一部分算法的耗时相对会较长，因而功耗较高，但是可以带来更好的定位精度和稳定性。利用即时定位和地图构建技术(Simultaneous LocalizationAnd Mapping,SLAM)，这些视觉对象的识别还能帮助计算还原出消费者看这些视觉对象时的视角(位置和姿态)，从而可以做到叠加逼真的3D信息。

本发明实施例中提供的实施方式，通过确定第二目标再进行保存位置信息，可以快速方便的采集到视觉信号，同时减少调用视觉信号的时间，增加了使用的流畅性，从而提升了用户体验，增加了市场竞争力。

图5是本发明一个实施例的室内增强信息显示的方法流程框图。请参阅图5，本发明示例的室内增强信息显示的方法还包括步骤：

S200:计算第一目标位置信息与预设位置信息的匹配度

本发明实施例中提供的实施方式，通过计算第一目标位置信息与预设位置信息的匹配度，一方面通过匹配度结果的数值可以直观的表征两者的匹配度，从而利于判断是否大于预设阈值，进一步的增加了信息显示的准确度，提升用户体验。

在一些实施例中，请参见图6，前述的步骤S200具体包括：

S210:发送第一目标位置信息至服务端

其中，服务端中存储有预设位置信息，可选的预设位置信息是已经提前存储好的，可选的预设位置信息是实时进行更新并存储的。

在一些实施例中，预设位置信息与第一目标位置信息包括的位置信息参数条目相同。在一些实施例中，预设位置信息比第一目标位置信息包括的信息参数条目多。本领域的技术人员应当明白，预设位置信息应当至少与第一目标位置信息包括的信息参数条目相同，第一目标信息参数条目最少时也应当能够表征其位置。

本领域的技术人员应当了解，发送可以是响应服务端请求发送指令后发送，也可以是主动发送，只要是两者建立信息传递且服务端接收到第一目标的位置信息就应当在本发明的保护范围内。

S220:计算第一目标位置信息与预设位置信息的匹配度

其中，计算两者的匹配度可以是分别计算位置信息中相同参数的匹配度后进行加权计算得出最终的匹配度，也可以是选择位置信息中的某一个具体参数直接得出最终的匹配度。只要是能够表征两者位置信息的匹配度都应该在本发明的保护范围内。

因为采用本实施例中的方法，通过将第一目标位置信息发送至服务端，在服务端中进行匹配度的计算，所以可以降低终端对运算的要求，从而减小了终端因运算模块的需求而导致安装空间变大的问题，即使终端设备变得更加小巧精致，便于用户携带，提升了用户体验。

在一些实施例中，请参见图7，前述的步骤S200具体包括：

S230:发送请求指令给服务端，请求指令用于请求服务端发送预设位置信息

S240:接收服务端发送的预设位置信息

S250:计算第一目标位置信息与预设位置信息的匹配度

因为采用本实施例中的方法，通过请求服务端从而接收预设位置信息，所以可以降低终端对内存的要求，从而防止终端因内存不足而导致功能崩溃的现象发生，降低了终端的故障率，提升了用户体验。

S300:如果第一目标位置信息与预设位置信息的匹配度大于预设阈值，从信息数据库获取信息，进行信息显示

本领域的技术人员应当了解，可选的预设位置信息是已经提前存储好的位置信息，可选的预设位置信息是实时根据第一目标位置信息从相应的服务器中下载。

其中，进行信息显示是指显示增强现实的信息，可选的信息是室内的场景介绍，可选的信息是室内的物品介绍，可选的信息是室内的消息。例如，当室内场所是商场时，信息可以是商场内商店的介绍、商店内商品的介绍、商店中的促销信息及商店中的其他消息等。

图8是本发明一个实施例的室内增强信息显示的方法流程框图。请参阅图8，本发明示例的S310：进行信息显示的步骤包括：

S311:获取第一目标位置信息中的位置属性参数

其中，位置属性是指和位置有关的属性信息，在一些实施例中位置属性参数是位置的经纬度，在另一些实施例中位置属性参数是位置相对于空间坐标系中第一目标与不同轴之间的夹角度数。

本领域的技术人员应当了解，只要是能够表征第一目标的位置属性都应该在本发明的保护范围内，而无论其位置属性是经纬度还是夹角度数。

S312:如果位置属性参数与预设位置属性参数的相似度大于预设阈值，显示预设信息

其中，相似度可以是位置属性中某一个属性进行相似度计算后的相似结果，也可以是位置属性中多个属性进行相似度计算后加权计算得到的相似结果，当然也可以是位置属性中全部属性进行相似度计算后再次计算得到的相似结果。

其中，预设信息是指预先利用即时定位与地图构建技术(simultaneouslocalization and mapping，简称SLAM)，对待采集数据的场所进行建图得到各个采集点的坐标信息；预先建立并存储该采集点与其坐标信息之间的对应关系。进一步地，可以利用视觉惯性里程计(visual-inertial odometry，简称VIO)技术实现对场所进行建图和获取采集点的坐标信息。视觉惯性里程计技术也称为基于视觉惯性里程计的即时定位与地图构建技术，是结合诸如相机的视觉传感器采集到的信息以及诸如惯性测量单元(InertialMeasurement Unit,简称为IMU)的惯性传感器采集到的信息来实现定位和建图的技术。

本发明具有突出的技术效果，例如当室内场所是商场时，本发明通过结合多路信号(无线信号，移动/可穿戴设备上的惯性传感信号以及视觉信号)，来极大地提高定位精度。这个定位不仅可以定位消费者在商场中的位置，还可以定位消费者看一个场景/商品的视角，为后续通过SLAM技术达到逼真的3D叠加(overlay)做准备。另外，本发明可以根据定位结果来显示双方感兴趣的信息，如促销信息和商品信息等，提升消费者的购物体验，提升商家的吸引力和竞争力。另外，本发明的促销信息会根据消费者当前的场景或位置自动触发，省去了消费者有意识的繁复的操作，同时可以高度定制化，给消费者新颖的感觉，可以极大地促进销售。

本领域的技术人员应当了解，预设信息不仅仅是促销信息或者商品信息，还可以显示别的信息来丰富消费者的商场购物体验。比如可以像Pokemon Go一样，在商场里做一个寻宝活动，当消费者到达某一个区域后(这些区域预先设定好，但是消费者不知道)，或者用手机/AR眼镜看到商场里的某一个视觉对象(同理，商场预先设定好，但是消费者不知道)后，会显示一些好玩的东西，如宠物小精灵，一幅画，或者是一起玩一个游戏，或者是播放一段视频/音频等，给消费者惊喜。同时可以引入竞争和奖励机制，增加消费者参与活动的粘性，增加消费者在商场里的时间，增加商场人气，从而间接地增加销量。

图9是本发明一个实施例的建立信息数据库的方法流程框图。请参阅图9，本发明示例的建立信息数据库的方法包括步骤：

S1000:分别采集并存储第二目标的位置信息与内容信息

其中，内容信息是指对象内容介绍与对象相关的附加消息等。例如，室内场景为商场时，内容信息可以是商店的介绍，可以是商店内的货物介绍，也可以是商店的促销信息等。在本实施例中，第二目标的定义和图4中的第二目标的定义相同。

在一些实施例中，请参见图11，S1100:采集并存储第二目标的位置信息具体包括步骤：

S1110:读取包含第二目标的位置图；

其中，位置图是指能够表征位置关系的图，可以是平面图或立体图，可以是设计图、CAD图、全景照片、或其他等比例缩放的包含第二目标的平面图或立体图。

S1120:获取第二目标的位置信息；

S1130:存储第二目标的位置信息；

本发明实施例中利用从位置图中获取位置信息并存储，一方面避免了常规方式中人工测量带来的误差，从而提高了位置信息的精确度；另一方面提高了获取位置信息的效率，同时降低了对位置图的类型和大小等的要求，从而扩大了使用范围，增加了市场竞争力。

S2000:关联位置信息与内容信息

其中，关联是指建立位置信息与内容信息的对应关系，对应关系可以是一对一，一对多，或者多对多。

本领域的技术人员应当了解，在应用场景为商场时，对于商场平面图/CAD图无法提供的情况，也可以通过实地测绘等方式手动建立商店和其位置信息的对应关系，形成数据库。在数据库管理的前端界面上，也可以不是以地图/平面图的形式呈现，而是以传统的列表形式呈现，再配上一些文字描述和插图，来辅助数据库管理者建立起商店和其位置信息的对应关系。这一界面虽然没有地图/平面图的形式直观，但是可用。

本发明实施例提供的实施方式，便于用户根据自己需求对室内信息的内容进行管理，从而增加了用户使用的灵活度与便利性，提升了市场的竞争力。本发明利用图像处理和计算机视觉技术，可以在应用场景是商场时快速建立商场地理信息和内容信息管理的数据库，极大的节省了整个系统的部署时间和成本，为整个系统的大规模推广铺平了道路。

图10是本发明一个实施例的建立信息数据库的方法流程框图。请参阅图10，本发明示例的建立信息数据库的方法还包括步骤：

S3000:更新第二目标的位置信息；和/或更新第二目标的内容信息

其中，更新是指对位置信息和/或内容信息进行修改或补充，使其与现实信息相对应。例如，当室内场所是商场时，更新可以是商场管理者对商场内的商店位置的更新，可以是商场管理者对商场内各种信息的管理，可以是商场内商店老板对自家店面位置和店内商品的更新，也可以是商店老板对商店促销信息的管理更新等；当然也可以是商场内的顾客对商场内商店位置信息的纠错申请等。在本实施例中，第二目标的定义和图4中的第二目标的定义相同。

本发明实施例提供的方法，便于用户根据自己需求对室内信息的内容进行管理，从而增加了用户使用的灵活度与便利性，提升了市场的竞争力。

本发明实施例还提供了一种室内增强现实信息显示的系统，在一些实施例中，所述系统包括执行上述任意一个实施例中所述的室内增强现实信息显示的方法步骤的模块。

在一些实施例中，其中系统模块至少包括无线定位模块和视觉定位模块。

其中无线定位模块是基于无线信号(如Wifi或者蓝牙信号)和移动/可穿戴设备内的惯性传感器信号融合的定位模块；视觉定位模块是基于视觉场景/标志信号的定位模块，视觉定位模块不仅能够把定位精度提高，还能够通过视觉技术实时获得用户的观测视角。定位精度的提高使得基于定位的内容精准触发和推送成为可能。观测视角的获得是利用SLAM技术叠加逼真3D内容的基础。无线定位模块定位精度相对较低，但是功耗低；视觉定位模块定位精度相对较高，但是功耗也较高。这两个模块相结合组成一个精度由粗到细递进增强的整体定位系统。在一些实施例中，系统中的无线信号定位模块会一直运行(因为功耗低)，不断返回当前定位。若当前定位结果不确定性较大，未达到预期的定位精度，则会启动视觉定位模块进行校正，以达到预期的定位精度。

在一些实施例中所述系统包括执行上述任意一个实施例中所述的建立信息数据库的方法步骤的模块。

当系统中包括建立信息数据库的方法步骤的模块应用在商场中时，在一个实施例中我们将其称作管理系统。这个管理系统主要管理两部分信息，一部分是地理信息，地理信息主要包括商场中每个商店的位置信息，每个商店中的商品的位置信息，以及商场中我们选择的其他视觉场景/标志(如海报等)的位置信息；另一部分是内容信息，包括促销信息和商品信息，这些信息要和其对应的地理位置结合起来，这样在定位系统得到定位结果之后可以直接从数据库中调取该位置所对应的内容显示在消费者的终端(智能手机，AR眼镜等)上。另一方面，这个数据库在后台要方便商场管理者和每个商店的经营者实时更新内容。为了让数据库管理者能够清晰地将地理信息和内容信息对应上，无论是数据库的内部存储结构，还是前端呈现给数据库管理者进行更新内容的页面上，都不再是传统关系型数据库里的列表结构，而是一个类似图结构能够清晰地展示各个商店之间的地理位置相对关系，然后通过更新这个图里面的不同位置的信息来完成数据库的更新。举例来说，我们的数据库的更新页面可以是一个网页。传统的做法可能是这个网页里以列表的形式列出了所有商店，每个商店的店名是一个链接，数据库管理者点击链接进入该商店对应的更新界面，来接收管理者上传的新图片/视频/音频等类内容信息。而本发明的创新在于这个网页不再是一个列表，而是比如整个商场的平面图，在这个图上标记出了每个商店的位置，这样使得所有商店的位置信息一目了然。然后数据库管理者只需要在这张平面图上点击要更新的商店位置，便会跳到该商店的内容更新界面。另外本发明的数据库会将不同的商场的信息单独存放，具体使用时会根据消费者所在的商场加载相应的信息。

因为要以图的形式展现，我们的系统利用图像处理和计算机视觉技术快速的测量得到一个大型商场中各个商店的位置信息以及相对位置关系。其中，在一些实施例中图像处理和计算机视觉技术是OCR(光学字符识别)技术和图像分割技术，来自动读取商场的平面图/CAD图的信息，获得商店列表和和每个商店对应的地理位置(见图3)，将其变成一个可编程可点击可操作的对象，方便呈现给数据库管理者。

在另外一些实施例中，所述系统既包括执行上述任意一个实施例中所述的室内增强现实信息显示的方法步骤的模块又包括执行上述任意一个实施例中所述的建立信息数据库的方法步骤的模块。

本发明提供的实施例具有突出的技术效果，例如当室内场所是商场时，本发明提供的管理系统可以对大规模的商家促销信息进行高效管理。在这个日益追求个性的时代，精准的、定制化的广告更能打动消费者的心。通过移动设备或者可穿戴设备，本发明可以低成本地便捷地将广告信息推送给消费者，这使得广告快速更新和定制化精准推送成为可能(现在的很多商店还通过巨幅海报的形式将促销信息挂在门店旁，海报本身成本高，制作周期长，使得商店很难快速更新广告和促销，也无法针对不同的消费者定制)。本发明中提供的管理系统可以在大型商场，高效便捷地管理这些广告促销信息和每个商店的位置信息相对应，并且和消费者前端的智能手机/AR眼镜结合起来，根据定位结果显示相应的内容。本发明利用图像处理和计算机视觉技术，可以从一个商场的平面图/CAD图上自动化地抽取信息，建立商店名字和其地理位置上的对应关系。然后我们通过高效的数据库系统和通信系统，来达到广告促销信息后端实时更新，消费者前端实时显示的效果。将定位结果和商店的促销内容结合起来，达到了提升消费者购物体验，提高商店知名度和销量的双赢效果。

本领域的技术人员应当了解，数据库管理的前端可以是一个网站，也可以是一个手机APP，方便数据库管理者随时随地用各种设备来实时更新商场和商店的内容信息。

另外，从消费者的视角来对本发明提供的系统进行说明：

消费者的具体使用场景如下：当消费者走近某个商场，打开APP后(如是眼镜的场景，可以不是APP，而是眼镜自动完成)，首先会根据GPS信息或者无线信号定位系统来确定消费者走进的是哪一个商场，进而从远端数据库中加载相应商场的信息。这个加载可以是下载到消费者的设备上，也可以不下载，而只是告诉远端数据库对于该设备的请求只从该商场查询。然后消费者在商场里购物，消费者的设备会实时进行定位。当定位到有促销内容信息或者其他信息显示的位置时，会自动从数据库中调取相应的内容显示在消费者的手机里或眼镜上，完成整个用户体验。这个调取可以是从设备本地读取(如果数据库内容已经预先加载)，也可以是发一个网络请求给数据库。

本领域的技术人员应当了解，本发明提供的系统具有和上述实施例中一样的有益效果，在这里就不再进行赘述。

本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序11100，该程序被处理器12000执行时实现前述任一实施例方法的步骤。其中，计算机可读存储介质可以包括但不限于任何类型的盘，包括软盘、光盘、DVD、CD-ROM、微型驱动器以及磁光盘、ROM、RAM、EPROM、EEPROM、DRAM、VRAM、闪速存储器11000设备、磁卡或光卡、纳米系统(包括分子存储器11000IC)，或适合于存储指令和/或数据的任何类型的媒介或设备。具体执行过程可以参见上述方法实施例的具体说明，在此不进行赘述。

本发明实施例还提供了一种终端10000，包括存储器11000、处理器12000及存储在存储器11000上并可在处理器12000上运行的计算机程序11100。其中所述处理器12000执行所述计算机程序11100时实现上述实施例中任一项所述的室内增强现实信息显示的方法。

在一些实施例中所述处理器12000执行所述计算机程序11100时实现上述实施例中任一项所述的建立信息数据库的方法。

在另一些实施例中所述处理器12000执行所述计算机程序11100时既能实现上述实施例中任一项所述的室内增强现实信息显示的方法，又能实现上述实施例中任一项所述的建立信息数据库的方法。具体执行过程可以参见上述方法实施例的具体说明，在此不进行赘述。

本发明实施例中，处理器12000为计算机系统的控制中心，可以是实体机的处理器12000，也可以是虚拟机的处理器12000。本发明实施例中，存储器11000中存储有至少一条指令，所述指令由处理器12000加载并执行以实现上述各个实施例中的方法。

本发明实施例中的终端可以包括但不限于智能手机、平板电脑、掌上电脑、个人数字助理(Personal Digital Assistant，PAD)、交互智能平板等具有显示功能的装置和增强现实眼镜(或称为AR眼镜、智能眼镜)或其他的增强现实设备(或称为AR设备)、虚拟现实设备(或称为VR设备)、移动电脑、智能手机、智能手表或其他的可穿戴设备、导航装置、或其他的可采集位置信息数据的设备。

本发明另一个实施例中，处理器12000可以包括一个或多个处理核心，比如4核心处理器12000、8核心处理器12000等。处理器12000可以采用DSP(Digital SignalProcessing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器12000也可以包括主处理器12000和协处理器12000，主处理器12000是用于对在唤醒状态下的数据进行处理的处理器12000，也称CPU(Central Processing Unit，中央处理器12000)；协处理器12000是用于对在待机状态下的数据进行处理的低功耗处理器12000。

存储器11000可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器11000还可包括高速随机存取存储器11000，以及非易失性存储器11000，比如一个或多个磁盘存储设备、闪存存储设备。在本发明的一些实施例中，存储器11000中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器12000所执行以实现本发明实施例中的方法。

以上所述，仅是本发明的较佳实施例而已，并非对本发明做任何形式上的限制，虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明，任何熟悉本专业的技术人员，在不脱离本发明技术方案范围内，当可利用上述揭示的技术内容做出些许更动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所做的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims (19)

1.一种室内增强现实信息显示的方法，其特征在于，所述方法包括以下步骤：

获取第一目标位置信息；

如果所述第一目标位置信息与预设位置信息的匹配度大于预设阈值，从信息数据库获取信息，进行信息显示。

2.根据权利要求1所述的室内增强现实信息显示的方法，其特征在于，所述获取第一目标位置信息包括：

采集第一目标预设范围内的第一信号；

如果所述第一信号满足第一条件，确定所述第一目标位置信息。

3.根据权利要求2所述的室内增强现实信息显示的方法，其特征在于，所述采集第一目标预设范围内的第一信号采用无线信号指纹方法，所述无线信号指纹方法在构建地图时包括步骤：

在预设范围内进行数据采集和系统部署；

计算得到预设范围内的位置信息；

其中所述数据采集和系统部署采用基于机器人或基于众包两种方式中的一种。

4.根据权利要求2所述的室内增强现实信息显示的方法，其特征在于，所述第一信号不满足第一条件时，采集第一目标预设范围内的第二信号；

其中，所述第二信号与所述第一信号融合后，确定所述第一目标位置信息。

5.根据权利要求4所述的室内增强现实信息显示的方法，其特征在于，

所述第一信号是无线信号，所述第二信号是视觉信号；或

所述第一信号是视觉信号，所述第二信号是无线信号。

6.根据权利要求5所述的室内增强现实信息显示的方法，其特征在于，

所述采集第一目标预设范围内的视觉信号步骤包括：

确定预设范围内的第二目标；

保存所述第二目标的位置信息；

其中，所述第二目标的位置信息包括所述第二目标与所述第一目标之间的相对距离与相对角度两种信息之中的至少一种。

7.根据权利要求5所述的室内增强现实信息显示的方法，其特征在于，

所述无线信号为以下信号中的至少一种：

无线保真信号、蓝牙信号和惯性传感器信号。

8.根据权利要求5所述的室内增强现实信息显示的方法，其特征在于，

所述视觉信号为视觉场景信号和/或标志信号。

9.根据权利要求1所述的室内增强现实信息显示的方法，其特征在于，在所述如果所述第一目标位置信息与预设位置信息的匹配度大于预设阈值，从信息数据库获取信息，进行信息显示步骤之前，还包括计算所述第一目标位置信息与预设位置信息的匹配度。

10.根据权利要求9所述的室内增强现实信息显示的方法，其特征在于，所述计算所述第一目标位置信息与预设位置信息的匹配度的步骤包括：

发送所述第一目标位置信息至服务端；

计算所述第一目标位置信息与预设位置信息的匹配度；

或

所述计算所述第一目标位置信息与预设位置信息的匹配度的步骤包括：

发送请求指令给服务端，所述请求指令用于请求所述服务端发送预设位置信息；

接收所述服务端发送的所述预设位置信息；

计算所述第一目标位置信息与预设位置信息的匹配度。

11.根据权利要求1所述的室内增强现实信息显示的方法，其特征在于，所述进行信息显示的步骤包括：

获取所述第一目标位置信息中的位置属性参数；

如果所述位置属性参数与预设位置属性参数的相似度大于预设阈值，显示预设信息。

12.根据权利要求11所述的室内增强现实信息显示的方法，其特征在于，所述位置属性参数包括：

所述第一目标的三维坐标值；和/或

所述第一目标与三维空间坐标轴的夹角度数；

其中，所述位置属性参数与所述预设位置属性参数采用相同的坐标系。

13.根据权利要求1所述的室内增强现实信息显示的方法，其特征在于，所述第一目标是增强现实眼镜。

14.一种建立信息数据库的方法，其特征在于，包括：

分别采集并存储第二目标的位置信息与内容信息；

关联所述位置信息与所述内容信息。

15.根据权利要求14所述的建立信息数据库的方法，其特征在于，在所述关联所述位置信息与所述内容信息步骤之后，还包括：

更新所述第二目标的位置信息；和/或

更新所述第二目标的内容信息。

16.根据权利要求14所述的建立信息数据库的方法，其特征在于，所述采集并存储第二目标的位置信息包括：

读取包含所述第二目标的位置图；

获取所述第二目标的位置信息；

存储所述第二目标的位置信息；

其中，所述存储后的第二目标的位置信息可编辑。

17.一种室内增强现实信息显示的系统，其特征在于，所述系统包括：

执行权利要求1到13中任意一项权利要求所述的室内增强现实信息显示的方法步骤的模块；和/或

执行权利要求14到16中任意一项权利要求所述的建立信息数据库的方法步骤的模块。

18.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，

该程序被执行时实现如权利要求1到13中任意一项权利要求所述的室内增强现实信息显示的方法；和/或

该程序被执行时实现如权利要求14到16中任意一项权利要求所述的建立信息数据库的方法。

19.一种终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，

所述处理器执行所述计算机程序时实现如权利要求1-13中任一项所述的室内增强现实信息显示的方法；和/或

所述处理器执行所述计算机程序时实现如权利要求14-16中任一项所述的建立信息数据库的方法。