CN111028358B - 室内环境的增强现实显示方法、装置及终端设备 - Google Patents

室内环境的增强现实显示方法、装置及终端设备 Download PDF

Info

Publication number
CN111028358B
CN111028358B CN201811173526.4A CN201811173526A CN111028358B CN 111028358 B CN111028358 B CN 111028358B CN 201811173526 A CN201811173526 A CN 201811173526A CN 111028358 B CN111028358 B CN 111028358B
Authority
CN
China
Prior art keywords
image
information
environment
indoor
indoor environment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811173526.4A
Other languages
English (en)
Other versions
CN111028358A (zh
Inventor
侯松林
肖斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Research Institute HKPU
Original Assignee
Shenzhen Research Institute HKPU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Research Institute HKPU filed Critical Shenzhen Research Institute HKPU
Priority to CN201811173526.4A priority Critical patent/CN111028358B/zh
Publication of CN111028358A publication Critical patent/CN111028358A/zh
Application granted granted Critical
Publication of CN111028358B publication Critical patent/CN111028358B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/33—Services specially adapted for particular environments, situations or purposes for indoor environments, e.g. buildings
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W64/00—Locating users or terminals or network equipment for network management purposes, e.g. mobility management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Remote Sensing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明实施例适用于信息技术领域，提供了一种室内环境的增强现实显示方法、装置及终端设备，所述方法包括：采集当前位置的网络信号信息；基于所述网络信号信息，采用预置的预测模型确定当前用户在室内环境的定位区域；获取所述定位区域的环境图像；识别与所述定位区域的环境图像相匹配的目标图像，所述目标图像具有相应的位置信息；基于所述位置信息，生成待显示的虚拟物体；对所述虚拟物体进行增强现实显示，解决了现有技术中的AR系统无法直接在室内环境中进行基于LBS的相关服务的问题，减少了构建AR系统的成本，提高了AR系统的可用性。

Description

室内环境的增强现实显示方法、装置及终端设备
技术领域
本发明属于信息技术领域，特别是涉及一种室内环境的增强现实显示方法、一种室内环境的增强现实显示装置、一种终端设备及一种计算机可读存储介质。
背景技术
AR(Augmented Reality，增强现实)技术是一种实时地计算摄影机影像位置及角度并加上相应图像、视频、3D模型的技术，这种技术的目标是在屏幕上把虚拟世界套在现实世界并进行互动。作为当下研究和产业的热点之一，AR技术带来了一种全新的交互方式。
目前，在移动平台上，AR系统的关键技术大多以图像识别为主，即通过对真实场景内的图像和预先设置处理过的图像进行对照匹配，来确定虚拟物体在真实场景中的摆放角度和位置，从而达到AR显示的效果。该类AR系统可以较好地用于定点物品的展示、宣传等。
但是，上述AR系统通常需要首先对环境图像进行取样建模，对场景的依赖性较强，多用于室外环境下的AR显示。而在应用于周围环境更新快、定位精度较差的室内时，例如，通过AR来显示室内导航路线、在大型商店中展现推荐商品，或者，作为LBS(location-basedservices，基于位置服务)等与用户位置相关的服务时，上述AR系统则难以适用。
发明内容
有鉴于此，本发明实施例提供了一种室内环境的增强现实显示方法、装置及终端设备，以解决现有技术中在室内环境下AR技术无法应用于与用户位置相关的各种服务的问题。
本发明实施例的第一方面提供了一种室内环境的增强现实显示方法，包括：
采集当前位置的网络信号信息；
基于所述网络信号信息，采用预置的预测模型确定当前用户在室内环境的定位区域；
获取所述定位区域的环境图像；
识别与所述定位区域的环境图像相匹配的目标图像，所述目标图像具有相应的位置信息；
基于所述位置信息，生成待显示的虚拟物体；
对所述虚拟物体进行增强现实显示。
本发明实施例的第二方面提供了一种室内环境的增强现实显示装置，包括：
采集模块，用于采集当前位置的网络信号信息；
确定模块，用于基于所述网络信号信息，采用预置的预测模型确定当前用户在室内环境的定位区域；
获取模块，用于获取所述定位区域的环境图像；
识别模块，用于识别与所述定位区域的环境图像相匹配的目标图像，所述目标图像具有相应的位置信息；
生成模块，用于基于所述位置信息，生成待显示的虚拟物体；
显示模块，用于对所述虚拟物体进行增强现实显示。
本发明实施例的第三方面提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述室内环境的增强现实显示方法的步骤。
本发明实施例的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述室内环境的增强现实显示方法的步骤。
与背景技术相比，本发明实施例包括以下优点：
本发明实施例，通过采集当前位置的网络信号信息，基于该网络信号信息，采用预置的预测模型确定当前用户在室内环境的定位区域，然后在获取该定位区域的环境图像户，通过识别与定位区域的环境图像相匹配的目标图像，基于目标图像的位置信息生成待显示的虚拟物体，实现对虚拟物体的增强现实显示，解决了现有技术中的AR系统无法直接在室内环境中进行基于LBS的相关服务的问题。本发明实施例通过构建预测模型，并采用该预测模型进行用户在室内所在区域的模糊定位，然后结合图像匹配、距离补偿等方式，精确地定位用户位置，从而实现在室内环境的AR显示，无需用户对终端设备进行改进即可实现，减少了构建AR系统的成本，提高了AR系统的可用性。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一个实施例的构建预测模型的步骤流程示意图；
图2是本发明一个实施例的一种室内环境的增强现实显示方法的步骤流程示意图；
图3是本发明一个实施例的一种室内环境的增强现实显示方法的系统架构图；
图4(a)-图4(c)是本发明一个实施例的不同远近位置的图像与当前图像的远近程度的示意图；
图5(a)-图5(b)是本发明一个实施例的一种利用加速度传感器计算终端设备倾角的示意图；
图6是本发明一个实施例的一种室内环境的增强现实显示方法的效果图；
图7是本发明一个实施例的一种室内环境的增强现实显示装置的示意图；
图8是本发明一个实施例的一种终端设备的示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域技术人员应当清楚，在没有这些具体细节的其他实施例中也可以实现本发明。在其他情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。
为了便于理解，首先对AR技术作一介绍。
目前，可以根据是否以视觉方法为主，将AR系统的实现方法分为基于视觉方法的AR技术和基于非视觉方法的AR技术。其中，基于视觉方法的AR技术一般包括如下三种主流方式，详述如下：
1)第一种技术：基于POSIT的姿态估计
基于POSIT((Pose from Orthography and scaling with iterations，比例正交投影迭代变换算法)的AR系统利用标记的物理形状特征为识别特征，并通过将这些形状特征和虚拟三维物体的模型进行对齐来实现。由于需要从标记物体本身的物理形状为特征进行分析识别，因此标记物体不能在形状上太过于简单。例如，在基于POSIT的AR系统中，要识别和用于进行虚拟增强的标记需要是非平面对象。POSIT的直观性在于通过真实模型中的许多特征点的三维坐标和透视图中相应的图像点的二维坐标来估计相机相对于目标的位置和旋转，通过计算相机的相对姿态，可以确定虚拟物体相对于相机的姿态。
2)第二种技术：使用平面基准标记检测的AR显示
平面基准标记使用现实世界中的图像模式作为检测和跟踪的标记，使用平面基准标记的方法通常同时实现模式识别和相机姿态估计。图像匹配最常用于识别基准标记，大多数基准标记的图案通常被简化以便于匹配过程。关键点匹配适用于从标记提取的图像特征，通过在标记和图像帧之间的这些对应关键点的约束条件下进行估计，摄像机的姿态可以用线性变换来表示。因此，使用平面基准标记检测的AR显示可以计算虚拟物体的相对姿态。
3)第三种技术：等高线跟踪
等高线跟踪可以使用3D数字模型的轮廓来匹配模型。数字3D模型必须以这种方式进行准备，以便轮廓可用于对象匹配。此外，在这种方法中，跟踪的3D模型的形状应该是不对称的。一些3D建模软件(例如AutoCAD和3ds Max)通常用于在应用3D轮廓跟踪之前手工制作3D模型。对于整合增强现实和室内定位的项目，由于等高线追踪的使用成本较高因而难以实施。
此外，基于非视觉方法的AR技术一般也包括三种常见的技术，详述如下：
1)第一种技术：以GPS为主的AR系统
以GPS为主的AR系统主要应用为室外环境，其主要利用GPS来确定用户当前的坐标位置，并利用陀螺仪和罗盘获取用户当前的朝向和仰角，来达到显示对应于当前位置的信息的目的。这样的系统较多集中于导航、室外导购等领域。例如，通过在对应各个地图商铺地点的经纬度的虚拟空间中放置虚拟物体(标签)，并计算虚拟物体和当前用户GPS所对应的位置和陀螺仪或罗盘确定的用户朝向，从而可以向用户展示附近的商户信息和实现室外AR导航。此外，部分基于LBS的AR游戏也利用了GPS作为主要手段作为AR显示。
2)第二种技术：以加速度计/陀螺仪/罗盘为主的AR系统
除了GPS，加速度计，陀螺仪和罗盘等也可以作为用于实现基于非视觉方法的AR系统。陀螺仪和罗盘可以用于获取用户当前的仰角、方位角等信息，通过加速度计和陀螺仪可以获取用户当前的转向运动情况，包括以设备为基准的各个轴的转向角。其中，加速度计可以用于检测设备在对应于其自身xyz坐标的加速度，通过结合获得的仰角、方位角等信息，可以实现在用户不产生位移情况下的AR显示。
3)第三种技术：以特殊传感器或外设实现的AR系统
利用特殊传感器的AR系统主要利用红外设备来为AR提供硬件支持。例如，部分手机可以在结合传统的传感器(加速度计和陀螺仪)之外，还使用红外装置来捕获环境的点云信息，红外装置使得手机可以获取到距离信息，从而从硬件角度上解决了传统手机设备位置难以确定的问题。因此，结合红外装置的移动设备就可以利用周边的位置信息来显示细腻的AR信息。同时，进一步结合环境三维扫描和深度探测等功能，AR设备可以方便的从硬件角度上实现定位和导航。
但是，现有的AR系统并不能有效地满足LBS等与用户位置相关的服务要求，尤其是在室内环境下，更是难以直接使用现有的AR系统来实现各种功能，其限制主要体现在如下几方面：
1)对场景的依赖性强，难以用于室内快速改变的环境
目前，较为成熟的AR实现均以视觉方法作为其基本方法，首先需要对环境图像进行取样建模，在进行AR显示时对周边环境图像的依赖性较强。但是在现实场景中，室内环境更新快，变化幅度大，例如室内广告位的变化，公共设施的更新，路标的修改等等。因此，该类AR实现方式需要时刻保证更新，并重复取样建模以达到可用的标准，其维护的成本过高而难以在室内使用。
2)室内环境复杂，遮挡严重
对于基于视觉方法的AR需要利用对环境周边的多个地点进行图像采样，从而进行匹配。作为AR显示的关键步骤，其匹配的准确度和成功率跟在当前环境中采集到的图像质量直接相关。在室内环境中，当光线较好、无遮挡时，其匹配的性能较好。但由于室内环境中，其光线改变(例如照明设施的开启和关闭等)和遮挡(路人行人等)无法避免，因此其性能在真实环境中容易损失严重。
3)基于GPS的AR系统在室内的误差较大
基于GPS的AR系统通过接收GPS卫星信号来确定使用者的位置，然而在室内，GPS信号衰减严重，使得在室内环境中AR系统无法准确的确定用户所在的位置，无法进行姿态估计以计算出AR虚拟物体相对于用户展示的位置和角度。在一些利用GPS的AR应用中，使用场景均为开阔的室外，其GPS定位较好，因而可行。但是在封闭且复杂的室内环境中，其场景定位精度难以达到相应的AR显示标准。
4)定点式AR难以用于LBS服务
以加速度计/陀螺仪/罗盘为主的AR系统可以在用户不移动的情况下，为用户提供可行的AR体验。但由于其在用户位置产生移动时难以检测到位置的精确变化，其作为LBS应用的用途也十分有限。
5)成本高昂难以推广
通过目前主流手机还不具备的特殊传感器(例如红外传感器)可以使得AR系统更容易实施，但是会增加用户的额外成本。此外，昂贵的外设费用使得外设难以进行推广，因此其方案在理论上可行，但是实际操作起来却非常困难。
基于目前AR系统的现实，以及其在室内环境中应用的各种弊端，提出了本发明实施例的核心构思在于，通过建立室内三维模型，并结合机器学习的方法，构建出预测模型，然后采用该模型对用户在室内的位置进行预测，同时利用图像距离补偿的方式，提高用户位置的精准度，在此基础上实现室内环境中的AR显示。本发明实施例提供的AR系统不添加任何额外的外设，仅利用用户一般的智能手机(无需配备红外传感设备)作为硬件设备，即能实现在室内环境中的各项AR服务。
下面通过具体实施例来说明本发明的技术方案。
参照图1，示出了本发明一个实施例的构建预测模型的步骤流程示意图，具体可以包括如下步骤：
S101、对所述室内环境进行三维扫描，建立室内地图模型；
需要说明的是，构建预测模型可以看作是实现室内AR显示的线下阶段，即准备阶段。
在本发明实施例中，为了构建出针对室内环境的预测模型，可以对首先对当前室内环境进行三维扫描，建立室内地图模型。
在具体实现中，可以对室内环境进行三维扫描，获取室内环境的点云数据(pointcloud data)，然后采用上述点云数据进行三维重建，从而建立室内地图模型。
点云数据是指扫描资料以点的形式记录，每一个点包含有三维坐标。在某些情况下，有些点还可能含有颜色信息(RGB)或反射强度信息(Intensity)等等。其中，颜色信息通常是通过相机获取彩色影像，然后将对应位置的像素的颜色信息赋予点云中对应的点，而强度信息的获取则是激光扫描仪接收装置采集到的回波强度，此强度信息与目标的表面材质、粗糙度、入射角方向，以及仪器的发射能量，激光波长等有关。
在本发明实施例中，可以利用配备有三维扫描功能的手持设备对室内环境进行三维扫描获取点云数据，再通过对点云数据进行三维重建，得到室内地图模型，该模型可以作为虚拟场景，用于AR实现时虚拟物体在虚拟场景和真实场景的位置映射。
S102、根据所述室内地图模型，建立所述室内环境的坐标系；
在本发明实施例中，可以在经三维重建后得到的室内地图模型上设立坐标，从而建立室内环境的坐标系，该坐标系可以是二维坐标系，二维坐标系的原点位置可以通过人工指定，一般利用米为单位。当然，根据实际应用中对于定位精确度的不同要求，本领域技术人员也可以采用其他的单位长度作为上述二维坐标系的单位，本实施例对此不作限定。
需要说明的是，为了方便实现与国际经纬度标准的转换，本发明实施例可以以正东方向作为二维坐标系的x坐标轴，以正北方向为y坐标轴，从而将室内平面的各个位置映射为坐标系中的一个点。
对于有多层楼层的室内定位，需要针对每一楼层的室内地图分模型别建立坐标系。但为了保证室内定位上下楼层之间的连贯性，需要保持不同楼层的坐标系原点对应的经纬度位置完全一致，且坐标轴方向一致。
S103、基于所述坐标系，对所述室内环境进行网格点划分，获得多个采样点；
在本发明实施例中，建立坐标系后，可以对室内环境进行网格化的均匀划分，并将用户步行可及的范围内的划分点作为采样点(Point of Interest)。
在具体实现中，可以在用户步行可及的区域内按建筑布局划分区域，并在每个区域内均匀地进行网格化划分。例如，可以按照间隔距离0.5米将各个区域划分为不同的网格，从而得到多个采样点。
当然，以上描述仅为进行网格点划分获得采样点的一种示例，本领域技术人员可以根据实际需要，采用其他方法进行网格点的划分，本实施例对此不作限定。
S104、获取所述多个采样点的采样数据；
在本发明实施例中，采样点的采样数据可以是指各个采样点的指纹数据。该指纹数据可以通过在该采样点获得的图像特征、网络信号信息，以及，方位信息共同生成，并能够唯一地标识一个采样点。
在具体实现中，可以分别采集多个采样点的图像数据、网络信号信息，以及，方位信息，通过提取上述图像数据的特征信息，然后采用该特征信息、网络信号信息，以及，方位信息，生成各个采样点的采样数据。
上述网络信号信息可以是在各个采样点所能接收到的WiFi信号数据，上述方位信息可以是指在采集该采样点的图像数据时，拍摄设备的方位朝向。
因此，在生成各个采样点的采样数据时，可以通过手机等终端设备采集该采样点能够接收到的多组WiFi信号，然后对周围环境的多个方位进行连续的拍照，并使用终端设备中的罗盘等装置捕获拍摄每张图像时终端设备的朝向。当获得采样点的多张图像后，可以对每张图像进行特征提取，将提取获得的图像特征结合WiFi信号、图像对应的方位朝向等一起作为代表该采样点的指纹数据。
S105、采用所述多个采样点的采样数据进行机器学习，构建所述预测模型。
在本发明实施例中，可以通过机器学习的方式，进行预测模型的构建。构建出的预测模型可以对用户或使用者在室内环境中具体处于哪一个区域进行预测。
在具体实现中，可以将在先在每个采样点收集到的指纹数据作为预测模型的输入信息，将用户当前所在的可能区域作为输出结果，通过机器学习的方式，完成预测模型的构建。
在本发明实施例中，上述用户当前所在的可能区域可以按照两种不同的方式来进行划分。
例如，可以通过人为指定的方式进行区域的划分。对于整体面积较小，有较多独立结构的室内空间，如带有较多独立工作室的楼层、小型民居等等，可以将室内环境按照功能性进行明确的划分，将不同的室内单间作为一个区域。由于WiFi信号在不同室内单间中有着较为明显的差异，通过人为指定的方式进行区域的划分在有较多独立结构的室内空间中有着较高的可行性。
另一种划分方式可以是通过程序自动分析WiFi信号的强度情况，并通过聚类的方式，将室内区域划分为计算机自动生成的多个子区域。当室内环境中没有明确的单间或墙壁分隔时，采用这种划分方式可以方便地在较为广阔的大片区域中自动生成多个子区域来进行区域定位。在根据WiFi信号进行区域划分时，子区域内的WiFi信号强度情况满足区域内聚合度高，而区域间耦合度低的特点。
对于上述两种划分区域的方式而言，每个划分的区域均会包括多个区域内的采样点。每个采样点均可以该采样点所在的区域ID来进行标识。在构建预测模型时，可以将区域ID作为模型的输出，实现根据用户的WiFi信号进行所在区域ID的预测的效果。
在本发明实施例中，可以采用Extreme Gradient Boosting(一种决策树算法)进行预测模型的构建。相较于其他几种常见的数据模型，Extreme Gradient Boosting算法拥有高度的非线性能力，且在训练和测试中有着较高的扩展性表现。
通过实验，如表一所示，示出了Extreme Gradient Boosting算法在确定区域位置时与其他几种常见算法的性能比较情况(测试集正确率)。从表一中可以看出，在数据量较多时，利用Extreme Gradient Boosting算法构建预测模型可以获得最佳的正确率。
表一：几种常见算法的性能(测试集正确率)比较
数据量1 数据量2 数据量3 收敛值
ANN算法 72.4％ 81.8％ 82.1％ 82.8％
Extremely Randomized Trees算法 82.1％ 88.7％ 88.6％ 88.7％
Random Forest算法 79.7％ 79.9％ 78.3％ 79.7％
Logistic Regression算法 61.4％ 63.7％ 63.7％ 63.7％
Extreme Gradient Boosting算法 78.0％ 86.9％ 91.3％ 92.6％
其中，数据量1的样本数量为500；数据量2的样本数量为1000；数据量3的样本数量为2000。
参照图2，示出了本发明一个实施例的一种室内环境的增强现实显示方法的步骤流程示意图，具体可以包括如下步骤：
S201、采集当前位置的网络信号信息；
需要说明的是，本方法可以应用于各类具备无线网络功能的终端设备中，例如，智能手机、口袋计算机(Pocket Personal Computer，PPC)、掌上电脑、计算机、笔记本电脑、个人数字助理(Personal Digital Assistant，PDA)等等，本实施例对终端设备的具体类型不作限定。
如图3所示，是本发明一个实施例的一种室内环境的增强现实显示方法的系统架构图，包括线上阶段和线下阶段。其中，线下阶段即是前一实施例所描述的构建预测模型的过程。
本实施例所描述的是在室内环境的AR显示整体流程中的线上阶段。即，通过实时定位用户在室内的位置，在此基础上结合用户的朝向、终端设备的仰角等信息来实现在室内的AR显示。
在线上阶段，又可以包括线上阶段的前半部分和后半部分。在前半部分，通过室内定位，用户在室内的所在位置及其坐标点可以被确定，该位置可以用于后续的姿态估计，为AR显示提供前置条件。
因此，为了实现在室内环境中的AR显示，可以首先采集当前位置的网络信号信息，例如，WiFi信号强度等信息。上述当前位置可以是指用户在室内所处的位置。
S202、基于所述网络信号信息，采用预置的预测模型确定当前用户在室内环境的定位区域；
在本发明实施例中，预置的预测模型可以是在线下阶段通过对室内环境进行三维扫描建立室内地图模型，并对该模型进行网格点划分得到多个采样点，然后通过采集各个采样点的指纹数据进行机器学习而得到的。预置的预测模型的构建方法可以参见上一实施例的具体描述，本实施例对此不再赘述。
在本发明实施例中，在构建出预测模型后，可以通过该模型对用户所在区域进行定位，即位置区间匹配。由于该定位方式并不能直接反映出用户的精准坐标位置，而只能确定用户的大致位置范围，因此通过预测模型对用户进行区域定位也被称为模糊定位，它是在本发明实施例中进行精准定位的前置条件。
在具体实现中，可以通过用户的终端设备来获取周边的WiFi信号，采用在线下阶段训练的预测模型进行区域预测。
为了提高预测的精准度，降低偶然误差，本实施例可以多次采集WiFi信号，并将多次采集的WiFi信号作为一个批次(batch)在预测模型中进行批量预测。
为了同时保证每一个批次都有足够多的WiFi采集次数和定位时的实时性，本发明实施例可以利用9次连续的WiFi信号作为一个batch进行批量预测。预测的选择结果可以采用在预测中出现次数最多的区域ID作为最有可能性的用户所在区域。为了避免给出次数最多的预测值的每个结果的置信度不高，本发明实施例还可以检查给出次数最多的预测值的结果的置信度，当所有的置信度的方差均在一定阈值之内，且均值高于某一阈值时，才可以将得到的区域ID其作为有效的一次定位信息。
S203、获取所述定位区域的环境图像；
在本发明实施例中，用户定位区域的环境图像可以是指用户在当前位置时，通过终端设备的摄像头对周围环境进行多次拍摄所获得的图像。
在具体实现中，当通过预测模型确定用户所在的定位区域后，可以利用终端设备的后置摄像头实时捕获当前的环境图像。
S204、识别与所述定位区域的环境图像相匹配的目标图像，所述目标图像具有相应的位置信息；
在本发明实施例中，为了识别与用户当前所在定位区域的环境图像相匹配的目标图像，可以首先对采集得到的环境图像进行特征提取，然后将提取出的特征信息与预设图像的特征信息进行比对，从而确定最相似的目标图像。上述预设图像可以是在线下阶段构建预测模型时所采集到的图像，即前述实施例步骤S104中在各个采样点所获得的图像数据。
在具体实现中，可以首先获取环境图像中的特征信息，并将该环境图像中的特征信息与预设图像中的特征信息进行比对，以确定该环境图像与预设图像的相似度，然后根据相似度，确定与上述环境图像相匹配的目标图像。
具体地，在对环境图像进行特征提取后，可以将提取出的特征点与在该区域中的所有采样点上采集的图像的特征点进行匹配，并通过计算特征点匹配的相似程度来确定最相似的目标图像，从而得到用户的坐标位置，即最相似的图像所在的坐标位置。上述特征点匹配的相似程度可以通过如下公式进行计算：
其中，每一幅预设图像TS的第i个匹配点对和环境图像T0的第i匹配点Di的相似度用SURF(Di,Ei)表示。
需要说明的是，当在各个点多方位进行环境图像的拍摄时，照片难以反映拍摄的远近关系。而在各个采样点进行拍摄取样时，同一朝向不同采样点的照片看起来会非常相似。如果仅仅利用基于点特征相似的特征点匹配进行图像相似度判断，只能在局部的特征点上进行比较，而难以在整体布局上进行判断。因此单独使用特征点相似来进行图像匹配容易带来很大的匹配误差。
因此，作为一种示例，为了解决图像匹配时距离丢失的问题，本发明实施例提出了一种计算图像之间距离比例的方法，该方法可以对相似图像进行距离判断，通过计算距离比来确定两张图像拍摄时的位置远近关系。
因此，在将环境图像中的特征信息与预设图像中的特征信息进行比对的步骤前，可以首先确定上述环境图像与预设图像之间的拍摄距离比，从而提取拍摄距离比超过预设阈值的预设图像来进行特征点比对。
在本发明实施例中，采集的环境图像T0与在位置区间内筛选的第S幅图像TS进行图像匹配时，可以得到(D1，E1)，(D2,E2)…，(Dn,En)多组匹配点对。对于第s组匹配点对，其在图像上的坐标位置可以表示为坐标对((Dsx,Dsy),(Esx，Esy))，可以通过利用距离系数DR(Distance Ratio)来估算相对于环境图像和图像TS的拍摄距离和角度的差异，如公式(2)所示。
其中，
DR距离补偿系数描述了以环境图像T0为参照情况下，预设图像TS的拍摄位置和角度的相似程度。该算法根据图像中物体和拍摄距离的位置关系，对匹配的相似点进行像素位置判断，由此从二维上推断三维上的远近关系。
由常识可知，对于固定在空间某一点的物体M，一固定焦距的相机离该物体的距离和该物体在相机中投影的大小呈现反相关关系。同时，该相机和物体M的距离与该物体上两个端点在相机中的投影距离呈现反相关关系。因此，通过对同一个物体在不同位置的同焦距相机中投影中的二维点的距离差异，可以估计出三维空间中拍摄位置的远近程度。
如图4(a)至图4(c)所示，是不同远近位置的图像T1、T2、T3与当前图像T0的远近程度的示意图。图4(a)至图4(c)反映了距离补偿系数DR(TS|T0)的实际效能情况。对于图4(a)，两幅图像的距离较远，其距离比DR(T1|T0)＝0.86，小于1；类似地，对于图4(b)，两幅图像的距离更远，其距离比DR(T2|T0)＝0.65，其值相比图4(a)的距离补偿系数更小；而对于图4(c)，两幅图像在拍摄的位置上接近，因此两者的距离补偿系数较高，DR(T3|T0)＝1.03，接近于1。
在进行图像特征点相似度比较时，通过先进行距离补偿的方式，可以预先过滤掉拍摄距离相对较远的图像，提高图像匹配的正确率。
在本发明实施例中，通过模糊匹配和距离补偿进行处理后，可以获得相似度最高的采样点，从而可以将该采样点对应的坐标作为用户定位的位置坐标。
在本发明实施例中，利用训练的预测模型判断用户所在的大致区域，并在该区域内进行区域内采样点的图像匹配完成最相似图像的查找，最后根据最相似图像的位置来定位用户的精准位置，实现了终端上的室内用户定位。
通过步骤S201-S204即完成了线上阶段的前半部分，对用户在室内所在位置的精确定位，线下阶段和线上阶段的前半部分即是图3所示的室内定位阶段。
S205、基于所述位置信息，生成待显示的虚拟物体；
在本发明实施例中，线上阶段的后半部分即是通过结合室内定位获得的位置信息和利用用户终端设备获取的方位角、加速度等信息，实现AR显示的效果，即图3所示的姿态估计阶段。
在本发明实施例中，在完成对用户在室内的精准定位后，可以通过获取终端设备在当前位置的方位信息和倾角信息，然后确定在上述方位信息和倾角信息对应的可视范围内的目标物体，进而采用该目标物体，生成三维场景中待显示的虚拟物体。
在具体实现中，在获取了用户的室内坐标后，可以在对应的三维场景中，放置虚拟的相机，该虚拟相机在三维场景中的坐标对应于用户在真实场景中的坐标，虚拟相机的朝向等方位信息可以通过终端设备的罗盘来获取，通过终端设备的加速度传感器，可以获得设备的倾角信息等数据。
如图5(a)和图5(b)所示，是本发明一个实施例的一种利用加速度传感器计算终端设备倾角的示意图。
终端设备的加速度传感器可以捕获到相对于设备多个方向上的加速度变化。当终端设备(如手机)摆放位置完全垂直于地面且保持数值方向上运动较小时，其Y轴上加速度的值大小大致与重力加速度值g相当。当该设备随X轴旋转产生仰角时，Y轴上的值会作为重力加速度值的一个分量，其值大小将由倾角的大小决定。因此，根据终端设备实时捕获到的Y轴上的加速度值，可以估计出该终端设备在X轴上的旋转角，即倾角大小。
需要说明的是，由于大部分终端设备并没有直接获取设备距离地面高度的传感器，因此上述高度信息可以通过采用特征值(例如1.7米)或者用户手动输入来获取，该高度信息可以是对应真实场景中用户行走时双眼距离地面的高度值。
在三维场景中，加入需要进行增强的三维虚拟物体，这些三维虚拟物体会被用于叠加在相机真实场景的影像前进行展示。根据室内定位时确定的用户坐标以及所有放置的虚拟物体的坐标，可以计算在三维场景中这些三维虚拟物体的相对方位和距离。为了根据用户的位置来显示AR信息，需要首先计算出用户脸部方向的归一化矢量，该归一化矢量的方向可以由罗盘获取。然后，将表示用户身高的常数添加到坐标系中，导出当前用户的眼睛(即终端设备摄像头)的预估坐标，进而利用用户的眼睛的坐标和归一化矢量的方向来描述用户眼睛的姿态。
当确定用户的眼睛的位置和方向时，可以基于摄像头的像素纵横比、归一化矢量，以及，超出不显示虚拟对象的最大观察距离来计算代表视野范围的裁剪金字塔，通过使用视图范围来选择要显示的虚拟对象，并使用归一化矢量来估计用户之间的相对角度，通过设置一个局部笛卡尔坐标系，以用户的眼睛对应的坐标为原点，归一化矢量为零度轴，虚拟物体的姿态可以用笛卡尔坐标形式表示。虚拟物体在物理空间中的姿态信息可以通过将相对于笛卡尔坐标系的笛卡尔坐标映射回物理空间来获得。
在生成待显示的虚拟物体后，可以执行步骤S206，对上述虚拟物体进行增强现实显示。如图6所示，是本发明一个实施例的一种室内环境的增强现实显示方法的效果图。
S206、对所述虚拟物体进行增强现实显示。
在本发明实施例中，通过采集当前位置的网络信号信息，基于该网络信号信息，采用预置的预测模型确定当前用户在室内环境的定位区域，然后在获取该定位区域的环境图像户，通过识别与定位区域的环境图像相匹配的目标图像，基于目标图像的位置信息生成待显示的虚拟物体，实现对虚拟物体的增强现实显示，解决了现有技术中的AR系统无法直接在室内环境中进行基于LBS的相关服务的问题。本发明实施例通过构建预测模型，并采用该预测模型进行用户在室内所在区域的模糊定位，然后结合图像匹配、距离补偿等方式，精确地定位用户位置，从而实现在室内环境的AR显示，无需用户对终端设备进行改进即可实现，减少了构建AR系统的成本，提高了AR系统的可用性。
需要说明的是，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
参照图7，示出了本发明一个实施例的一种室内环境的增强现实显示装置的示意图，具体可以包括如下模块：
采集模块701，用于采集当前位置的网络信号信息；
确定模块702，用于基于所述网络信号信息，采用预置的预测模型确定当前用户在室内环境的定位区域；
获取模块703，用于获取所述定位区域的环境图像；
识别模块704，用于识别与所述定位区域的环境图像相匹配的目标图像，所述目标图像具有相应的位置信息；
生成模块705，用于基于所述位置信息，生成待显示的虚拟物体；
显示模块706，用于对所述虚拟物体进行增强现实显示。
在本发明实施例中，所述预测模型可以通过调用如下模块构建：
三维扫描模块，用于对所述室内环境进行三维扫描，建立室内地图模型；
坐标系建立模块，用于根据所述室内地图模型，建立所述室内环境的坐标系；
采样点划分模块，用于基于所述坐标系，对所述室内环境进行网格点划分，获得多个采样点；
采样数据获取模块，用于获取所述多个采样点的采样数据；
预测模型构建模块，用于采用所述多个采样点的采样数据进行机器学习，构建所述预测模型。
在本发明实施例中，所述三维扫描模块具体可以包括如下子模块：
三维扫描子模块，用于对所述室内环境进行三维扫描，获取所述室内环境的点云数据；
三维重建子模块，用于采用所述点云数据进行三维重建，建立所述室内地图模型；
在本发明实施例中，所述采样数据获取模块具体可以包括如下子模块：
信息采集子模块，用于分别采集所述多个采样点的图像数据、网络信号信息，以及，方位信息；
特征信息提取子模块，用于提取所述图像数据的特征信息；
采样数据生成子模块，用于采用所述特征信息、网络信号信息，以及，方位信息，生成所述采样点的采样数据。
在本发明实施例中，所述识别模块704具体可以包括如下子模块：
特征信息获取子模块，用于获取所述环境图像中的特征信息；
特征信息比对子模块，用于将所述环境图像中的特征信息与预设图像中的特征信息进行比对，以确定所述环境图像与所述预设图像的相似度；
目标图像确定子模块，用于根据所述相似度，确定与所述环境图像相匹配的目标图像。
在本发明实施例中，所述识别模块704还可以包括如下子模块：
拍摄距离比确定子模块，用于确定所述环境图像与所述预设图像之间的拍摄距离比；
预设图像提取子模块，用于提取所述拍摄距离比超过预设阈值的预设图像。
在本发明实施例中，所述生成模块705具体可以包括如下子模块：
方位信息和倾角信息获取子模块，用于获取终端设备在当前位置的方位信息和倾角信息；
目标物体确定子模块，用于确定在所述方位信息和倾角信息对应的可视范围内的目标物体；
虚拟物体生成子模块，用于采用所述目标物体，生成所述三维场景中待显示的虚拟物体。
对于装置实施例而言，由于其与方法实施例基本相似，所以描述得比较简单，相关之处参见方法实施例部分的说明即可。
参照图8，示出了本发明一个实施例的一种终端设备的示意图。如图8所示，本实施例的终端设备800包括：处理器810、存储器820以及存储在所述存储器820中并可在所述处理器810上运行的计算机程序821。所述处理器810执行所述计算机程序821时实现上述室内环境的增强现实显示方法各个实施例中的步骤，例如图2所示的步骤S201至S206。或者，所述处理器810执行所述计算机程序821时实现上述各装置实施例中各模块/单元的功能，例如图7所示模块701至706的功能。
示例性的，所述计算机程序821可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器820中，并由所述处理器810执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段可以用于描述所述计算机程序821在所述终端设备800中的执行过程。例如，所述计算机程序821可以被分割成采集模块、确定模块、获取模块、识别模块、生成模块、显示模块，各模块具体功能如下：
采集模块，用于采集当前位置的网络信号信息；
确定模块，用于基于所述网络信号信息，采用预置的预测模型确定当前用户在室内环境的定位区域；
获取模块，用于获取所述定位区域的环境图像；
识别模块，用于识别与所述定位区域的环境图像相匹配的目标图像，所述目标图像具有相应的位置信息；
生成模块，用于基于所述位置信息，生成待显示的虚拟物体；
显示模块，用于对所述虚拟物体进行增强现实显示。
所述终端设备800可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述终端设备800可包括，但不仅限于，处理器810、存储器820。本领域技术人员可以理解，图8仅仅是终端设备800的一种示例，并不构成对终端设备800的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述终端设备800还可以包括输入输出设备、网络接入设备、总线等。
所述处理器810可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器820可以是所述终端设备800的内部存储单元，例如终端设备800的硬盘或内存。所述存储器820也可以是所述终端设备800的外部存储设备，例如所述终端设备800上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(SecureDigital,SD)卡，闪存卡(Flash Card)等等。进一步地，所述存储器820还可以既包括所述终端设备800的内部存储单元也包括外部存储设备。所述存储器820用于存储所述计算机程序821以及所述终端设备800所需的其他程序和数据。所述存储器820还可以用于暂时地存储已经输出或者将要输出的数据。
本领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明。实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置/终端设备的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其他实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其他的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一方面，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其他的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件完成，所述的计算机程序可存储于计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读存储介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读存储介质不包括电载波信号和电信信号。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制。尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (8)

1.一种室内环境的增强现实显示方法，其特征在于，包括：
采集当前位置的网络信号信息；
基于所述网络信号信息，采用预置的预测模型确定当前用户在室内环境的定位区域，所述预测模型用于对所述定位区域进行模糊定位，所述定位区域按照独立结构的室内空间，或者通过程序对网络信号的强度进行自动聚类的方式划分得到；
获取所述定位区域的环境图像；
获取所述环境图像中的特征信息，将所述环境图像中的特征信息与预设图像中的特征信息进行比对，以确定所述环境图像与所述预设图像的相似度，根据所述相似度，确定与所述环境图像相匹配的目标图像，所述预设图像是与所述环境图像之间的拍摄距离比超过预设阈值的图像，所述目标图像具有相应的位置信息，所述位置信息用于定位所述用户的精准位置；
基于所述位置信息，生成待显示的虚拟物体；
对所述虚拟物体进行增强现实显示；
所述拍摄距离比采用如下公式计算得到：
其中，
DR(Ts|T0)表示环境图像T0与在位置区间内筛选的第S幅图像TS进行匹配时得到的拍摄距离比，(Eix,Eiy)与(Dix,Diy)分别表示TS与T0上相互匹配的坐标点的坐标。
2.根据权利要求1所述的方法，其特征在于，所述预测模型通过如下方式构建：
对所述室内环境进行三维扫描，建立室内地图模型；
根据所述室内地图模型，建立所述室内环境的坐标系；
基于所述坐标系，对所述室内环境进行网格点划分，获得多个采样点；
获取所述多个采样点的采样数据；
采用所述多个采样点的采样数据进行机器学习，构建所述预测模型。
3.根据权利要求2所述的方法，其特征在于，所述对所述室内环境进行三维扫描，建立室内地图模型的步骤包括：
对所述室内环境进行三维扫描，获取所述室内环境的点云数据；
采用所述点云数据进行三维重建，建立所述室内地图模型。
4.根据权利要求2所述的方法，其特征在于，所述获取所述多个采样点的采样数据的步骤包括：
分别采集所述多个采样点的图像数据、网络信号信息，以及，方位信息；
提取所述图像数据的特征信息；
采用所述特征信息、网络信号信息，以及，方位信息，生成所述采样点的采样数据。
5.根据权利要求1所述的方法，其特征在于，所述基于所述位置信息，生成待显示的虚拟物体的步骤包括：
获取终端设备在当前位置的方位信息和倾角信息；
确定在所述方位信息和倾角信息对应的可视范围内的目标物体；
采用所述目标物体，生成三维场景中待显示的虚拟物体。
6.一种室内环境的增强现实显示装置，其特征在于，包括：
采集模块，用于采集当前位置的网络信号信息；
确定模块，用于基于所述网络信号信息，采用预置的预测模型确定当前用户在室内环境的定位区域，所述预测模型用于对所述定位区域进行模糊定位，所述定位区域按照独立结构的室内空间，或者通过程序对网络信号的强度进行自动聚类的方式划分得到；
获取模块，用于获取所述定位区域的环境图像；
识别模块，用于获取所述环境图像中的特征信息，将所述环境图像中的特征信息与预设图像中的特征信息进行比对，以确定所述环境图像与所述预设图像的相似度，根据所述相似度，确定与所述环境图像相匹配的目标图像，所述预设图像是与所述环境图像之间的拍摄距离比超过预设阈值的图像，所述目标图像具有相应的位置信息，所述位置信息用于定位所述用户的精准位置；
生成模块，用于基于所述位置信息，生成待显示的虚拟物体；
显示模块，用于对所述虚拟物体进行增强现实显示；
所述拍摄距离比采用如下公式计算得到：
其中，
DR(Ts|T0)表示环境图像T0与在位置区间内筛选的第S幅图像TS进行匹配时得到的拍摄距离比，(Eix,Eiy)与(Dix,Diy)分别表示TS与T0上相互匹配的坐标点的坐标。
7.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述室内环境的增强现实显示方法的步骤。
8.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述室内环境的增强现实显示方法的步骤。
CN201811173526.4A 2018-10-09 2018-10-09 室内环境的增强现实显示方法、装置及终端设备 Active CN111028358B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811173526.4A CN111028358B (zh) 2018-10-09 2018-10-09 室内环境的增强现实显示方法、装置及终端设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811173526.4A CN111028358B (zh) 2018-10-09 2018-10-09 室内环境的增强现实显示方法、装置及终端设备

Publications (2)

Publication Number Publication Date
CN111028358A CN111028358A (zh) 2020-04-17
CN111028358B true CN111028358B (zh) 2024-02-27

Family

ID=70191033

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811173526.4A Active CN111028358B (zh) 2018-10-09 2018-10-09 室内环境的增强现实显示方法、装置及终端设备

Country Status (1)

Country Link
CN (1) CN111028358B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111537954A (zh) * 2020-04-20 2020-08-14 孙剑 一种实时高动态融合定位方法及装置
CN113556771B (zh) * 2020-04-24 2024-05-31 上海大唐移动通信设备有限公司 室内无线网络测试方法及装置
CN111738906B (zh) * 2020-05-28 2024-04-09 北京三快在线科技有限公司 室内路网生成方法、装置、存储介质及电子设备
CN111580679A (zh) * 2020-06-07 2020-08-25 浙江商汤科技开发有限公司 一种太空舱展示方法、装置、电子设备及存储介质
CN111765890B (zh) * 2020-06-28 2023-08-15 山东浪潮科学研究院有限公司 一种基于云端图像识别和ar的室内导航系统的导航方法
CN112001947A (zh) * 2020-07-30 2020-11-27 海尔优家智能科技（北京）有限公司 拍摄位置的确定方法及装置、存储介质、电子装置
CN112933550A (zh) * 2021-01-29 2021-06-11 重庆工程职业技术学院 一种基于vr技术的体育训练系统及方法
CN113628272A (zh) * 2021-07-12 2021-11-09 中国科学院自动化研究所 室内定位方法、装置、电子设备及存储介质
CN114754764A (zh) * 2022-06-15 2022-07-15 上海维智卓新信息科技有限公司 基于增强现实的导航方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105025569A (zh) * 2014-04-30 2015-11-04 中国移动通信集团北京有限公司 一种室内定位的方法、系统及装置
CN106507476A (zh) * 2016-11-22 2017-03-15 上海斐讯数据通信技术有限公司 一种WiFi定位方法及服务器及定位模型构建方法
CN106792769A (zh) * 2016-11-22 2017-05-31 上海斐讯数据通信技术有限公司 一种WiFi定位方法及服务器及定位模型建立方法
CN107025662A (zh) * 2016-01-29 2017-08-08 成都理想境界科技有限公司 一种实现增强现实的方法、服务器、终端及系统
CN108230240A (zh) * 2017-12-31 2018-06-29 厦门大学 一种基于深度学习获取图像城市范围内位置及姿态的方法
CN108318024A (zh) * 2017-01-18 2018-07-24 樊晓东 一种基于图像识别云服务的地理定位系统和方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105025569A (zh) * 2014-04-30 2015-11-04 中国移动通信集团北京有限公司 一种室内定位的方法、系统及装置
CN107025662A (zh) * 2016-01-29 2017-08-08 成都理想境界科技有限公司 一种实现增强现实的方法、服务器、终端及系统
CN106507476A (zh) * 2016-11-22 2017-03-15 上海斐讯数据通信技术有限公司 一种WiFi定位方法及服务器及定位模型构建方法
CN106792769A (zh) * 2016-11-22 2017-05-31 上海斐讯数据通信技术有限公司 一种WiFi定位方法及服务器及定位模型建立方法
CN108318024A (zh) * 2017-01-18 2018-07-24 樊晓东 一种基于图像识别云服务的地理定位系统和方法
CN108230240A (zh) * 2017-12-31 2018-06-29 厦门大学 一种基于深度学习获取图像城市范围内位置及姿态的方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
"基于指纹匹配和模糊推理的虚拟定位系统设计";黄红益;《计算机工程与设计》;第38卷(第3期);第739-743页 *
"基于移动增强现实的数字博物馆应用研究";陆可;《硕士电子期刊 信息科技辑》;第2016年卷(第03期);第2-5章 *
闫兴亚 等."基于 WiFi 定位技术的增强现实室内向导研究与应用".《计算机应用与软件》.2016,第33卷(第5期),第108-111页. *

Also Published As

Publication number Publication date
CN111028358A (zh) 2020-04-17

Similar Documents

Publication Publication Date Title
CN111028358B (zh) 室内环境的增强现实显示方法、装置及终端设备
US11393173B2 (en) Mobile augmented reality system
US10282856B2 (en) Image registration with device data
CN109520500B (zh) 一种基于终端拍摄图像匹配的精确定位及街景库采集方法
US20170322043A1 (en) Vision augmented navigation
US10043097B2 (en) Image abstraction system
US9576183B2 (en) Fast initialization for monocular visual SLAM
CN109993793B (zh) 视觉定位方法及装置
CN104378735B (zh) 室内定位方法、客户端及服务器
US20130243250A1 (en) Location of image capture device and object features in a captured image
JP2015084229A (ja) カメラ姿勢決定方法、及び実環境物体認識方法
CN102959946A (zh) 基于相关3d点云数据来扩充图像数据的技术
Gupta et al. Augmented reality system using lidar point cloud data for displaying dimensional information of objects on mobile phones
CN112907746A (zh) 电子地图的生成方法、装置、电子设备及存储介质
Radanovic et al. Aligning the real and the virtual world: Mixed reality localisation using learning-based 3D–3D model registration
KR102407802B1 (ko) 인공신경망 학습 기반의 실내외 3차원 좌표 및 방위 추정 장치
KR100981588B1 (ko) 특징점 픽셀의 크기와 방향 정보를 이용하는 벡터 변환에 기초한 도시공간 지리정보 생성 시스템
JP6304815B2 (ja) 画像処理装置ならびにその画像特徴検出方法、プログラムおよび装置
Ayadi et al. A skyline-based approach for mobile augmented reality
CN113554754A (zh) 一种基于计算机视觉的室内定位方法
CN112667832B (zh) 一种未知室内环境下基于视觉的互定位方法
CN115775325B (zh) 一种位姿确定方法及装置、电子设备和存储介质
CN117057086A (zh) 基于目标识别与模型匹配的三维重建方法、装置及设备
CN117710702A (zh) 视觉定位方法、装置、存储介质和程序产品
Mohan VirtualTag: Enabling Indoor Augmented Reality with Marker-Facilitated Localization

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant