CN110487262A - 基于增强现实设备的室内定位方法及系统 - Google Patents

基于增强现实设备的室内定位方法及系统 Download PDF

Info

Publication number
CN110487262A
CN110487262A CN201910719825.1A CN201910719825A CN110487262A CN 110487262 A CN110487262 A CN 110487262A CN 201910719825 A CN201910719825 A CN 201910719825A CN 110487262 A CN110487262 A CN 110487262A
Authority
CN
China
Prior art keywords
augmented reality
reality equipment
indoor
recognition result
result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910719825.1A
Other languages
English (en)
Inventor
刘幕俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201910719825.1A priority Critical patent/CN110487262A/zh
Publication of CN110487262A publication Critical patent/CN110487262A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/005Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20Instruments for performing navigational calculations
    • G01C21/206Instruments for performing navigational calculations specially adapted for indoor navigation

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Processing Or Creating Images (AREA)
  • Navigation (AREA)

Abstract

本公开涉及增强现实技术领域,具体涉及一种基于增强现实设备的室内定位方法、一种基于增强现实设备的室内定位系统、一种计算机可读介质以及一种电子设备。所述方法包括:获取目标室内地图模型;采集增强现实设备视野对应的环境图像,对所述环境图像进行识别以获取所述环境图像对应的对象识别结果和距离识别结果;根据所述对象识别结果和距离识别结果确定所述增强现实设备在所述目标室内地图模型中的室内位置信息。本公开的方案能够利用增强现实设备得到用户在目标地图模型中的精确位置信息,从而方便对用户在复杂的场景中进行准确的导航。

Description

基于增强现实设备的室内定位方法及系统
技术领域
本公开涉及增强现实技术领域,具体涉及一种基于增强现实设备的室内定位方法、一种基于增强现实设备的室内定位系统、一种计算机可读介质以及一种电子设备。
背景技术
现代大型购物中心占地面积大、层数多,功能区划分错综复杂。对于商场地形和结构并不熟悉的购物者来说,很难找到所需商铺或者功能区域。现在商场中最常见的购物指引是设置商场里面的电子指引设备。购物者通过在电子指引设备的触摸屏上选择或者搜索相应的商铺,从而获取商铺位置信息,再自行去寻找相应的商铺。或者通过问询工作人员的方式获取商铺的位置。
但现有的指引方式得到的信息比较模糊,例如只能商铺在某一层,大概某个位置,实际寻找过程中很不方便,且电子指引设备数量有限,查询过程并不友好。
需要说明的是,在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解,因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本公开的目的在于提供一种基于增强现实设备的室内定位方法、一种基于增强现实设备的室内定位系统、一种计算机可读介质、一种电子设备,可以通过根据实时采集的环境图像计算用户在目标地图模型中的精确位置信息,进而便于查找感兴趣的商铺或功能区域。
本公开的其他特性和优点将通过下面的详细描述变得显然,或部分地通过本公开的实践而习得。
根据本公开的第一方面,提供一种基于增强现实设备的室内定位方法,包括:
获取目标室内地图模型;
采集增强现实设备视野对应的环境图像,对所述环境图像进行识别以获取所述环境图像对应的对象识别结果和距离识别结果;
根据所述对象识别结果和距离识别结果确定所述增强现实设备在所述目标室内地图模型中的室内位置信息。
根据本公开的第二方面,提供一种基于增强现实设备的室内定位系统,包括:
地图模型匹配模块,用于获取目标室内地图模型;
环境识别模块,用于采集增强现实设备视野对应的环境图像,对所述环境图像进行识别以获取所述环境图像对应的对象识别结果和距离识别结果;
室内位置计算模块,用于根据所述对象识别结果和距离识别结果确定所述增强现实设备在所述目标室内地图模型中的室内位置信息。
根据本公开的第三方面,提供一种计算机可读介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述的基于增强现实设备的室内定位方法。
根据本公开的第四方面,提供一种电子设备,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现上述的基于增强现实设备的室内定位方法。
本公开的一种实施例所提供的基于增强现实设备的室内定位方法中,增强现实设备首先可以匹配目标室内地图模型,再采集视野内的环境图像,并对采集的环境图像进行分析和计算,得到用户在目标室内地图模型中的室内位置信息,从而方便对用户在复杂的室内场景中进行准确的定位,进而便于为用户在该室内环境中进行准确的导航。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。显而易见地,下面描述中的附图仅仅是本公开的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示意性示出本公开示例性实施例中一种基于增强现实设备的室内定位方法的示意图;
图2示意性示出本公开示例性实施例中一种处理环境图像的方法的流程示意图;
图3示意性示出本公开示例性实施例中一种基于增强现实设备进行导航的方法的流程示意图;
图4示意性示出本公开示例性实施例中一种基于增强现实设备的室内定位的组成示意图;
图5示意性示出本公开示例性实施例中一种电子设备的计算机系统的结构示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而,示例实施方式能够以多种形式实施,且不应被理解为限于在此阐述的范例;相反,提供这些实施方式使得本公开将更加全面和完整,并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。
此外,附图仅为本公开的示意性图解,并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分,因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体,不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体,或在一个或多个硬件模块或集成电路中实现这些功能实体,或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
现有的商场、医院内等大型室内公共场所内存在较少的电子指引设备,且该些电子指引设备的使用并不友好,并不能为用户提供足够方便使用的目的地信息,也无法实时的为用户提供导航或指引。
针对上述的现有技术的缺点和不足,本示例实施方式中提供了一种基于增强现实设备的室内定位方法,可以应用于AR眼镜、AR头盔等增强现实设备,或者也可以应用于手机、平板电脑等配置有后置摄像头的智能终端设备。参考图1中所示,上述的基于增强现实设备的室内定位方法可以包括以下步骤:
S11,获取目标室内地图模型;
S12,采集增强现实设备视野对应的环境图像,对所述环境图像进行识别以获取所述环境图像对应的对象识别结果和距离识别结果;
S13,根据所述对象识别结果和距离识别结果确定所述增强现实设备在所述目标室内地图模型中的室内位置信息。
本示例实施方式所提供的基于增强现实设备的室内定位方法中,一方面,增强现实设备可以响应用户的指令,首先匹配当前所在环境对应的目标室内地图模型;然后再利用增强现实设备采集视野范围内的周围的环境图像,并对采集的环境图像进行分析和计算,从而得到用户在目标室内地图模型中的精确的室内位置信息。另一方面,通过定位获取准确的室内位置信息,可以为用户在复杂的室内场景中进行准确的导航。
下面,将结合附图及实施例对本示例实施方式中的基于增强现实设备的室内定位方法的各个步骤进行更详细的说明。
上述的增强现实设备可以是AR眼镜、AR头盔等智能终端设备。以AR眼镜为例,可以在眼镜框架上设置双目或单目透视光学引擎,通过该光学引擎可以向用户展示动态数据,例如视频、图表、指示信息、控制信息等,并且不影响对周围环境的观察。另外,在AR眼镜上还可以配置摄像组件,摄像组件可以包括高清摄像机,以及深度相机等。同时,AR眼镜上还可以装配有传感器,例如陀螺仪、加速度传感器、磁力计以及光传感器,或者也可以是九轴传感器,例如包括:三轴陀螺仪、三轴加速度计、三轴地磁计的组合,或者六轴加速度传感器、三轴陀螺仪的组合,或者是六轴陀螺仪、三轴加速度计的组合。并且,AR眼镜还可以配置有GPS组件、蓝牙组件以及电源组件和输入设备。AR眼镜还可以连接有一控制器,在该控制器上可以装配上述的GPS组件、蓝牙组件、WiFi组件、电源组件以及输入设备、处理器和存储器等模块或单元。当然,在AR眼镜本体或控制器上还可以设置有数据接口,便于数据的传输,以及与外接设备的连接。本公开对AR眼镜的具体结构和形式不做特殊限定。
或者,也可以是配置有后置摄像头、传感器组件以及虚拟现实应用程序的手机、平板电脑等智能终端设备。例如,在手机中安装增强现实应用程序后,可以将手机的屏幕作为显示器,同时显示真实的环境以及虚拟控件。等等。以下实施例中以AR眼镜为例进行说明。
步骤S11,获取目标室内地图模型。
本示例实施方式中,用户可以通过一输入设备向AR眼镜输入触发指令,使AR眼镜可以首先匹配当前的目标室内地图模型。具体来说,可以包括以下步骤:
步骤S111,响应于一触发指令,获取所述增强现实设备的当前位置信息。
本示例实施方式中,AR眼镜在接收到用户的触发指令后,可以激活AR眼镜,首先通过GPS组件来获取增强设备当前的坐标数据。
举例来说,可以是用户在进入商场前,或者进入商场后,便可以通过AR眼镜连接的控制器,或者通过蓝牙、有线等方式连接的手机等输入设备输入激活AR眼镜的触发指令。AR眼镜在接收到该触发指令后,便可以激活并进入购物导航模式,并可以调用GPS组件获取AR眼镜当前的位置信息。
步骤S112,若所述当前位置信息处于一预设室内地图模型对应的预设坐标范围内,则将所述预设地图模型匹配为当前位置信息对应的目标室内地图模型。
本示例实施方式中,可以预先建立各商场、医院或者机场、车站等大型公共场所的室内地图模型,该室内地图模型可以包括每一层的各场所、各单位等对象的原生详细信息,例如:店铺、门面或窗口等对象的名称、坐标、编号、logo图像信息,以及电梯、楼梯间、卫生间、安全通道、休息区、公共座椅等公共区域对象的位置、运行方向信息,以及地下停车场的出口、入口、行驶方向,以及标识等原生详细信息。对应的,各室内地图模型可以配置有一坐标范围,该坐标范围可以包含该室内场所的所有坐标点;例如,以商场的中心点为圆心,以一定的半径作圆,在二维平面上能够利用该圆将商场包围,则该圆的坐标范围即是该商场对应的室内地图模型的坐标范围。
上述的各室内地图模型可以存储在本地,或者网络服务器上。
在AR眼镜获取当前的坐标数据后,便可以与各室内地图模型对应的坐标范围进行对比。例如,可以从本地存储器或者网路服务器上提取各预设的室内地图模型对应的坐标范围并进行比对。若当前坐标数据位于一预设的室内地图模型对应的坐标范围内时,例如用户当前已经位于一商场内时,则将该室内地图模型作为目标室内地图模型。或者,若当前坐标数据不在任何的室内地图模型对应的坐标范围内时,例如用户当前位于商场外的广场或街道上时,则可以将距离相距用户最近的室内地图模型作为目标室内地图模型。
在确定目标室内地图模型后,便可以从本地存储器或者服务器端加载并在AR眼镜中显示该目标室内地图模型。
步骤S12,采集增强现实设备视野对应的环境图像,对所述环境图像进行识别以获取所述环境图像对应的对象识别结果和距离识别结果。
本示例实施方式中,具体来说,参考图2所示,上述的步骤S12可以包括:
步骤S131,采集增强现实设备当前视野对应的彩色图像及对应的深度图像;
步骤S132,对所述彩色图像进行图像识别以获取特征识别结果,将所述特征识别结果与所述目标室内地图模型中的对象进行匹配以获取特征匹配对象,并将所述特征匹配对象作为所述对象识别结果;以及
步骤S133,读取所述深度图像中所述对象识别结果的深度数据,并将所述深度数据作为所述增强现实设备与所述对象识别结果之间的所述距离识别结果。
举例来说,AR眼镜上可以同时装配有RGB摄像头以及深度摄像头。可以利用AR眼镜上的两摄像头同时对用户当前视野内的周围环境进行拍摄,可以利用RGB摄像头拍摄并保存包含文字信息、数字信息或者logo图像等是有效数据的彩色图像,以及利用深度摄像头拍对应的相同内容的深度图像。随后,便可以利用图像识别算法对拍摄的彩色图像中的文字、数字、字母以及logo图像等特征进行识别,获取至少一个特征识别结果。例如,特征识别结果可以是“XX服饰”、“XX韩式烤肉”、“XX冷饮”,也可以是“C13”等编码或者标识。在获取特征识别结果后,便可以将其与目标室内地图模型中各对象的原生详细信息进行比对,获取准确的至少一个特征匹配对象,并将特征匹配对象作为用户当前视野内的至少一个对象识别结果。
同时,还可以读取深度图像中该对象识别结果的深度数据,从而得到AR眼镜当前与对象识别结果之间的距离,并将该距离作为距离识别结果。
进一步的,在本公开的其他示例性实施例中,在获取终端设备当前视野内的特征识别结果后,还可以利用特征匹配对象的匹配结果,结合GPS组件获取的当前的增强现实设备的坐标对目标室内地图模型进行验证,判断当前加载的目标室内地图模型是否正确,用户当前是否位于该目标室内地图模型中。
步骤S13,根据所述对象识别结果和距离识别结果确定所述增强现实设备在所述目标室内地图模型中的室内位置信息。
本示例实施方式中,在确定当前视野内的至少一个对象识别结果后,便可以提取该对象识别结果对应的原生坐标信息,结合AR眼镜当前与对象识别结果之间的距离,便可以在目标室内地图模型的坐标系中计算增强现实设备当前的精确的室内坐标。举例来说,可以利用一个对象识别结果的坐标和距离来计算AR眼镜和用户的当前室内坐标,也可以利用同时识别出的多个对象识别结果的坐标和距离来计算AR眼镜和用户的当前室内坐标,从而保证计算出的AR眼镜当前室内坐标的准确性。
举例来说,若用户佩戴AR眼镜,拍摄的当前视野对应的环境图像进行识别后,在当前识别到两个不同的对象识别结果A、B时,若A、B在同一楼层,便可以在A、B所在平面的对应的坐标系中,分别以A、B为圆心,以识别出的距离为半径分别作圆,则两圆的交点便是AR眼镜的当前室内位置。
进一步的,在本公开的其他示例实施方式中,在计算用户的室内位置信息时,还可以读取所述增强现实设备的传感器数据,根据所述传感器数据获取所述增强现实设备的动作识别结果;结合所述对象识别结果对应的原生坐标信息以及所述增强现实设备与所述对象识别结果之间的所述距离识别结果确定所述增强现实设备在所述目标室内地图模型中的室内位置信息。
举例来说,可以根据九轴传感器采集的数据来计算AR眼镜,即用户视线在水平方向及垂直方向的角度,进而获取AR眼镜与特征匹配对象之间在水平方向及垂直方向的角度。从而在目标地图模型的坐标系中,将AR眼镜与特征匹配对象之间的距离,结合AR眼镜与特征匹配对象之间在水平方向及垂直方向的角度信息,可以更加准确的计算用户当前的精确坐标。例如,当用户站在商场的1楼大堂,看向2楼或者3楼的一个店铺或者logo时,其视线与水平方向、垂直方向均具有夹角。利用九轴传感器便可以识别到用户的抬头动作,以及具体的角度,从而可以根据该角度数据结合logo对应的原生坐标以及识别出的距离更加精准的定位用户的室内位置。
或者,在在本公开的其他示例实施方式中,还可以利用环境图像中识别到的两个或者三个特征匹配对象分别利用上述的方法计算用户的精确坐标,再利用多个精确坐标之间相互校验,或者计算坐标的平均值,从而获取最终的精确坐标。
进一步的,基于上述内容,在本公开的其他示例实施方式中,还可以对用户在目标地图模型中进行导航。具体来说,参考图3所示,可以包括以下步骤:
步骤S21,接收一导航指令,对所述导航指令进行识别以获取目的地信息;
步骤S22,根据所述增强现实设备的室内坐标信息和目的地信息在所述目标室内地图模型中进行路径规划,并将规划路径展示于所述增强现实设备的视野中。
举例来说,用户可以通过语音指令或者通过控制器输入导航指令,该导航指令可以是准确的目的地信息;例如:“XX服饰”、“XX运动品”等等;也可以是语音输入的不精确、模糊的目的地信息,例如“水吧”、“冷饮店”、“篮球鞋”或者“火锅”等信息。其中,对语音信息进行识别,并获取语义特征利用常规手段即可实现,本公开对此不在赘述。
举例而言,AR眼镜在接收到目的地信息时,便在目标地图模型中搜索和匹配对应的对象,得到目的地坐标等信息。在确认目的地后,便可以根据AR眼镜当前的室内位置坐标和目的地的坐标在目标室内地图模型中规划路径,并将规划后的路径在AR眼镜中显示。
具体来说,在展示路径时,可以根据用户当前的位置信息,实时的分阶段动态展示规划路径的提示信息。例如,用户当前的位置在商场1楼大堂,目的地为3楼某品牌服饰商铺,在规划路径后,便可以实时的采集用户当前时刻的精确坐标,依次提示用户:直行30米,右转,乘坐自动扶梯上3楼,下自动扶梯右转,向左侧直行20米。同时,还可以在AR眼镜中显示对应的提示符,例如直行的提示符号、左转或右转的提示符号等等。
基于上述内容,在本公开的其他示例实施方式中,在导航的过程中,还可以提示用户路径所经过、或路径附近的功能区域,例如卫生间、公共休息区、充电桩等等。
本公开实施例所提供的方法,参考图2所示,通过预先建立大型室内公共场所的完整室内地图模型,在用户需要导航时,进入商场、车站或者医院的导航模式,使增强现实设备通过GPS定位相关场所,并调用对应的室内地图模型,增强现实设备通过摄像头捕捉当前视野中用户周围环境的特征点,结合增强现实设备的传感器采集的相关参数,获得用户在目标室内地图模型中的精确的室内位置信息。当用户通过语音或者其他交互方式搜索信息或者输入目的地后,增强现实设备自动规划路线并实时动态展示路径并指引用户,直到到达目的地。从而可以实现通过增强现实设备方便地浏览、寻找商场相关商铺的信息。且由增强现实设备实时动态指引,方便快捷,并能为用户提供友好的交互体验。
需要注意的是,上述附图仅是根据本发明示例性实施例的方法所包括的处理的示意性说明,而不是限制目的。易于理解,上述附图所示的处理并不表明或限制这些处理的时间顺序。另外,也易于理解,这些处理可以是例如在多个模块中同步或异步执行的。
进一步的,参考图4所示,本示例的实施方式中还提供一种基于增强现实设备的室内定位系统40,包括:地图模型匹配模块401、环境识别模块402和室内位置计算模块403。其中:
所述地图模型匹配模块401可以用于获取目标室内地图模型。
所述环境识别模块402可以用于采集增强现实设备视野对应的环境图像,对所述环境图像进行识别以获取所述环境图像对应的对象识别结果和距离识别结果。
所述精确位置计算模块403可以用于根据所述对象识别结果和距离识别结果确定所述增强现实设备在所述目标室内地图模型中的室内位置信息。
在本公开的一种示例中,所述模型匹配模块401可以包括:指令响应单元、模型匹配单元(图中未示出)。
所述指令响应单元可以用于响应于一触发指令,获取所述增强现实设备的当前位置信息。
所述模型匹配单元可以用于在所述当前位置信息处于一预设室内地图模型对应的预设坐标范围内,则将所述预设地图模型匹配为当前位置信息对应的目标室内地图模型。
在本公开的一种示例中,所述环境识别模块402可以可以包括:图像采集单元、特征匹配单元、距离识别单元(图中未示出)。其中:
所述图像采集单元可以用于采集增强现实设备当前视野对应的彩色图像及深度图像。
所述特征匹配单元可以用于对所述彩色图像进行图像识别以获取特征识别结果,将所述特征识别结果与所述目标室内地图模型中的对象进行匹配以获取特征匹配对象,并将所述特征匹配对象作为所述对象识别结果。
所述距离识别单元可以用于读取所述深度图像中所述对象识别结果的深度数据,并将所述深度数据作为所述增强现实设备与所述对象识别结果之间的所述距离识别结果。
在本公开的一种示例中,所述精确位置计算模块403可以包括:第一计算单元(图中未示出)。
所述第一计算单元可以用于根据所述对象识别结果对应的原生坐标信息,以及所述增强现实设备与所述对象识别结果之间的距离识别结果确定所述增强现实设备在所述目标室内地图模型中的室内位置信息。
在本公开的一种示例中,所述精确位置计算模块403还可以包括:传感器采集单元、第二计算单元(图中未示出)。
所述传感器采集单元可以用于读取所述增强现实设备的传感器数据,根据所述传感器数据获取增强现实设备的动作识别结果。
所述第二计算单元可以用于结合所述动作识别结果、所述对象识别结果对应的原生坐标信息以及所述增强现实设备与所述对象识别结果之间的所述距离识别结果确定所述增强现实设备在所述目标室内地图模型中的室内位置信息。
在本公开的一种示例中,所述装置还包括:导航指令响应模块、导航执行模块(图中未示出)。其中:
所述导航指令响应模块可以用于接收一导航指令,对所述导航指令进行识别以获取目的地信息。
所述导航执行模块可以用于根据所述增强现实设备的室内坐标信息和目的地信息在所述目标室内地图模型中进行路径规划,并将规划路径展示于所述增强现实设备的视野中。
在本公开的一种示例中,所述导航执行模块还包括:精确位置获取单元、路径展示单元(图中未示出)。
所述精确位置获取单元可以用于获取当前精确位置信息。
所述路径展示单元可以用于根据所述当前室内位置信息在所述增强现实设备的视野中实时动态展示所述规划路径对应的提示信息。
上述的基于增强现实设备的室内定位系统中各模块的具体细节已经在对应的基于增强现实设备的室内定位方法中进行了详细的描述,因此此处不再赘述。
应当注意,尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元,但是这种划分并非强制性的。实际上,根据本公开的实施方式,上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之,上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
图5示出了适于用来实现本发明实施例的电子设备的计算机系统的结构示意图。上述的电子设备可以是例如AR眼镜、AR头盔等增强现实设备
需要说明的是,图5示出的电子设备的计算机系统500仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图5所示,计算机系统500包括中央处理单元(Central Processing Unit,CPU)501,其可以根据存储在只读存储器(Read-Only Memory,ROM)502中的程序或者从存储部分508加载到随机访问存储器(Random Access Memory,RAM)503中的程序而执行各种适当的动作和处理。在RAM 503中,还存储有系统操作所需的各种程序和数据。CPU 501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出(Input/Output,I/O)接口505也连接至总线504。
以下部件连接至I/O接口505:包括键盘、鼠标等的输入部分506;包括诸如阴极射线管(Cathode Ray Tube,CRT)、液晶显示器(Liquid Crystal Display,LCD)等以及扬声器等的输出部分507;包括硬盘等的存储部分508;以及包括诸如LAN(Local Area Network,局域网)卡、调制解调器等的网络接口卡的通信部分509。通信部分509经由诸如因特网的网络执行通信处理。驱动器510也根据需要连接至I/O接口505。可拆卸介质511,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器510上,以便于从其上读出的计算机程序根据需要被安装入存储部分508。
特别地,根据本发明的实施例,下文参考流程图描述的过程可以被实现为计算机软件程序。例如,本发明的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分509从网络上被下载和安装,和/或从可拆卸介质511被安装。在该计算机程序被中央处理单元(CPU)501执行时,执行本申请的系统中限定的各种功能。
需要说明的是,本发明实施例所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory,EPROM)、闪存、光纤、便携式紧凑磁盘只读存储器(Compact Disc Read-Only Memory,CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、有线等等,或者上述的任意合适的组合。
附图中的流程图和框图,图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本发明实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现,所描述的单元也可以设置在处理器中。其中,这些单元的名称在某种情况下并不构成对该单元本身的限定。
作为另一方面,本申请还提供了一种计算机可读介质,该计算机可读介质可以是上述实施例中描述的电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被一个该电子设备执行时,使得该电子设备实现如下述实施例中所述的方法。例如,所述的电子设备可以实现如图1所示的各个步骤。
此外,上述附图仅是根据本发明示例性实施例的方法所包括的处理的示意性说明,而不是限制目的。易于理解,上述附图所示的处理并不表明或限制这些处理的时间顺序。另外,也易于理解,这些处理可以是例如在多个模块中同步或异步执行的。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其他实施例。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限。

Claims (10)

1.一种基于增强现实设备的室内定位方法,其特征在于,包括:
获取目标室内地图模型;
采集增强现实设备视野对应的环境图像,对所述环境图像进行识别以获取所述环境图像对应的对象识别结果和距离识别结果;
根据所述对象识别结果和距离识别结果确定所述增强现实设备在所述目标室内地图模型中的室内位置信息。
2.根据权利要求1所述的方法,其特征在于,所述获取目标室内地图模型包括:
响应于一触发指令,获取所述增强现实设备的当前位置信息;
若所述当前位置信息处于一预设室内地图模型对应的预设坐标范围内,则将所述预设地图模型匹配为当前位置信息对应的目标室内地图模型。
3.根据权利要求1所述的方法,其特征在于,所述采集增强现实设备视野对应的环境图像,对所述环境图像进行识别以获取所述环境图像对应的特征识别结果和距离识别结果包括:
采集增强现实设备当前视野对应的彩色图像及深度图像;
对所述彩色图像进行图像识别以获取特征识别结果,将所述特征识别结果与所述目标室内地图模型中的对象进行匹配以获取特征匹配对象,并将所述特征匹配对象作为所述对象识别结果;以及
读取所述深度图像中所述对象识别结果的深度数据,并将所述深度数据作为所述增强现实设备与所述对象识别结果之间的所述距离识别结果。
4.根据权利要求3所述的方法,其特征在于,所述根据所述对象识别结果和距离识别结果确定所述增强现实设备在所述目标室内地图模型中的室内位置信息包括:
根据所述对象识别结果对应的原生坐标信息,以及所述增强现实设备与所述对象识别结果之间的距离识别结果确定所述增强现实设备在所述目标室内地图模型中的室内位置信息。
5.根据权利要求4所述的方法,其特征在于,在采集增强现实设备视野对应的环境图像时,所述方法还包括:
读取所述增强现实设备的传感器数据,根据所述传感器数据获取所述增强现实设备的动作识别结果;以及
结合所述动作识别结果、所述对象识别结果对应的原生坐标信息以及所述增强现实设备与所述对象识别结果之间的所述距离识别结果确定所述增强现实设备在所述目标室内地图模型中的室内位置信息。
6.根据权利要求1所述的方法,其特征在于,所述方法还包括:
接收一导航指令,对所述导航指令进行识别以获取目的地信息;
根据所述增强现实设备的室内坐标信息和目的地信息在所述目标室内地图模型中进行路径规划,并将规划路径展示于所述增强现实设备的视野中。
7.根据权利要求6所述的方法,其特征在于,所述将规划路径展示于所述增强现实设备的视野中包括:
获取所述增强现实设备的当前室内位置信息;
根据所述当前室内位置信息在所述增强现实设备的视野中实时动态展示所述规划路径对应的提示信息。
8.一种基于增强现实设备的室内定位系统,其特征在于,包括:
地图模型匹配模块,用于获取目标室内地图模型;
环境识别模块,用于采集增强现实设备视野对应的环境图像,对所述环境图像进行识别以获取所述环境图像对应的对象识别结果和距离识别结果;
室内位置计算模块,用于根据所述对象识别结果和距离识别结果确定所述增强现实设备在所述目标室内地图模型中的室内位置信息。
9.一种计算机可读介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的基于增强现实设备的室内定位方法。
10.一种电子设备,其特征在于,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现如权利要求1至7中任一项所述的基于增强现实设备的室内定位方法。
CN201910719825.1A 2019-08-06 2019-08-06 基于增强现实设备的室内定位方法及系统 Pending CN110487262A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910719825.1A CN110487262A (zh) 2019-08-06 2019-08-06 基于增强现实设备的室内定位方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910719825.1A CN110487262A (zh) 2019-08-06 2019-08-06 基于增强现实设备的室内定位方法及系统

Publications (1)

Publication Number Publication Date
CN110487262A true CN110487262A (zh) 2019-11-22

Family

ID=68549534

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910719825.1A Pending CN110487262A (zh) 2019-08-06 2019-08-06 基于增强现实设备的室内定位方法及系统

Country Status (1)

Country Link
CN (1) CN110487262A (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111006672A (zh) * 2019-12-30 2020-04-14 广州市申迪计算机系统有限公司 基于增强现实的室内导航模型构建、导航方法和系统
CN111127929A (zh) * 2019-12-25 2020-05-08 Oppo广东移动通信有限公司 到站提醒的方法、装置、终端及存储介质
CN111339976A (zh) * 2020-03-03 2020-06-26 Oppo广东移动通信有限公司 室内定位方法、装置、终端及存储介质
CN111710017A (zh) * 2020-06-05 2020-09-25 北京有竹居网络技术有限公司 展示方法、装置和电子设备
CN111854790A (zh) * 2020-07-22 2020-10-30 海尔优家智能科技(北京)有限公司 定位信息的显示方法及设备、存储介质和电子装置
CN111982116A (zh) * 2020-08-13 2020-11-24 上海联影医疗科技股份有限公司 诊疗环境内的ar导航方法、装置、服务器设备及存储介质
CN112184366A (zh) * 2020-09-09 2021-01-05 珠海格力电器股份有限公司 一种基于增强现实的鞋子推荐方法、存储介质及电子设备
CN112215965A (zh) * 2020-09-30 2021-01-12 杭州灵伴科技有限公司 基于ar的场景导览方法、设备以及计算机可读存储介质
CN112215964A (zh) * 2020-09-28 2021-01-12 杭州灵伴科技有限公司 基于ar的场景导览方法和设备
CN113108793A (zh) * 2021-03-25 2021-07-13 深圳宏芯宇电子股份有限公司 室内协同定位方法、设备以及计算机可读存储介质
CN113556771A (zh) * 2020-04-24 2021-10-26 上海大唐移动通信设备有限公司 室内无线网络测试方法及装置
CN113625874A (zh) * 2021-08-05 2021-11-09 深圳市慧鲤科技有限公司 基于增强现实的交互方法及装置、电子设备和存储介质
WO2022000755A1 (zh) * 2020-06-29 2022-01-06 济南浪潮高新科技投资发展有限公司 机器人及其行动控制方法、装置和计算机可读存储介质
CN114167985A (zh) * 2021-11-29 2022-03-11 中国科学院计算机网络信息中心 一种基于5g的应急任务增强现实应用方法及系统
CN113556771B (zh) * 2020-04-24 2024-05-31 上海大唐移动通信设备有限公司 室内无线网络测试方法及装置

Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103335657A (zh) * 2013-05-30 2013-10-02 佛山电视台南海分台 一种基于图像捕获和识别技术增强导航功能的方法和系统
CN103398717A (zh) * 2013-08-22 2013-11-20 成都理想境界科技有限公司 全景地图数据库采集系统及基于视觉的定位、导航方法
CN103471581A (zh) * 2012-06-06 2013-12-25 三星电子株式会社 用于实时提供显示关注区域的3d地图的设备和方法
CN104748738A (zh) * 2013-12-31 2015-07-01 深圳先进技术研究院 室内定位导航方法和系统
CN105973236A (zh) * 2016-04-26 2016-09-28 乐视控股(北京)有限公司 室内定位或导航方法、装置以及地图数据库生成方法
CN106228127A (zh) * 2016-07-18 2016-12-14 乐视控股(北京)有限公司 室内定位方法及装置
US20170124396A1 (en) * 2015-10-29 2017-05-04 Hand Held Products, Inc. Dynamically created and updated indoor positioning map
CN106679668A (zh) * 2016-12-30 2017-05-17 百度在线网络技术(北京)有限公司 导航方法和装置
CN106840149A (zh) * 2017-01-22 2017-06-13 北京铅笔视界科技有限公司 一种三维空间跟踪定位系统及方法
CN107015193A (zh) * 2017-04-18 2017-08-04 中国矿业大学(北京) 一种双目ccd视觉矿井移动目标定位方法及系统
CN107782314A (zh) * 2017-10-24 2018-03-09 张志奇 一种基于扫码的增强现实技术室内定位导航方法
CN107796395A (zh) * 2017-08-10 2018-03-13 平安科技(深圳)有限公司 一种用于室内目标位置的导航方法、装置及终端设备
CN107830863A (zh) * 2017-10-20 2018-03-23 四川西谷物联科技有限公司 一种基于标识码识别的室内导航方法、装置及系统
CN108139211A (zh) * 2015-09-29 2018-06-08 索尼公司 用于测量的装置和方法以及程序
CN108168557A (zh) * 2017-12-19 2018-06-15 广州市动景计算机科技有限公司 导航方法、装置、移动终端及服务器
CN108444475A (zh) * 2018-01-29 2018-08-24 深圳市赛亿科技开发有限公司 智能终端及其实现室内导航的方法
CN108957504A (zh) * 2017-11-08 2018-12-07 北京市燃气集团有限责任公司 室内外连续定位的方法和系统
CN109115221A (zh) * 2018-08-02 2019-01-01 北京三快在线科技有限公司 室内定位、导航方法及装置、计算机可读介质和电子设备
CN109582880A (zh) * 2018-12-04 2019-04-05 百度在线网络技术(北京)有限公司 兴趣点信息处理方法、装置、终端及存储介质
CN109974687A (zh) * 2017-12-28 2019-07-05 周秦娜 一种基于深度摄像头的多传感器室内协同定位方法、装置及系统

Patent Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103471581A (zh) * 2012-06-06 2013-12-25 三星电子株式会社 用于实时提供显示关注区域的3d地图的设备和方法
CN103335657A (zh) * 2013-05-30 2013-10-02 佛山电视台南海分台 一种基于图像捕获和识别技术增强导航功能的方法和系统
CN103398717A (zh) * 2013-08-22 2013-11-20 成都理想境界科技有限公司 全景地图数据库采集系统及基于视觉的定位、导航方法
CN104748738A (zh) * 2013-12-31 2015-07-01 深圳先进技术研究院 室内定位导航方法和系统
CN108139211A (zh) * 2015-09-29 2018-06-08 索尼公司 用于测量的装置和方法以及程序
US20170124396A1 (en) * 2015-10-29 2017-05-04 Hand Held Products, Inc. Dynamically created and updated indoor positioning map
CN105973236A (zh) * 2016-04-26 2016-09-28 乐视控股(北京)有限公司 室内定位或导航方法、装置以及地图数据库生成方法
CN106228127A (zh) * 2016-07-18 2016-12-14 乐视控股(北京)有限公司 室内定位方法及装置
CN106679668A (zh) * 2016-12-30 2017-05-17 百度在线网络技术(北京)有限公司 导航方法和装置
CN106840149A (zh) * 2017-01-22 2017-06-13 北京铅笔视界科技有限公司 一种三维空间跟踪定位系统及方法
CN107015193A (zh) * 2017-04-18 2017-08-04 中国矿业大学(北京) 一种双目ccd视觉矿井移动目标定位方法及系统
CN107796395A (zh) * 2017-08-10 2018-03-13 平安科技(深圳)有限公司 一种用于室内目标位置的导航方法、装置及终端设备
CN107830863A (zh) * 2017-10-20 2018-03-23 四川西谷物联科技有限公司 一种基于标识码识别的室内导航方法、装置及系统
CN107782314A (zh) * 2017-10-24 2018-03-09 张志奇 一种基于扫码的增强现实技术室内定位导航方法
CN108957504A (zh) * 2017-11-08 2018-12-07 北京市燃气集团有限责任公司 室内外连续定位的方法和系统
CN108168557A (zh) * 2017-12-19 2018-06-15 广州市动景计算机科技有限公司 导航方法、装置、移动终端及服务器
CN109974687A (zh) * 2017-12-28 2019-07-05 周秦娜 一种基于深度摄像头的多传感器室内协同定位方法、装置及系统
CN108444475A (zh) * 2018-01-29 2018-08-24 深圳市赛亿科技开发有限公司 智能终端及其实现室内导航的方法
CN109115221A (zh) * 2018-08-02 2019-01-01 北京三快在线科技有限公司 室内定位、导航方法及装置、计算机可读介质和电子设备
CN109582880A (zh) * 2018-12-04 2019-04-05 百度在线网络技术(北京)有限公司 兴趣点信息处理方法、装置、终端及存储介质

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111127929A (zh) * 2019-12-25 2020-05-08 Oppo广东移动通信有限公司 到站提醒的方法、装置、终端及存储介质
CN111127929B (zh) * 2019-12-25 2022-02-08 Oppo广东移动通信有限公司 到站提醒的方法、装置、终端及存储介质
CN111006672A (zh) * 2019-12-30 2020-04-14 广州市申迪计算机系统有限公司 基于增强现实的室内导航模型构建、导航方法和系统
CN111339976A (zh) * 2020-03-03 2020-06-26 Oppo广东移动通信有限公司 室内定位方法、装置、终端及存储介质
CN111339976B (zh) * 2020-03-03 2023-08-11 Oppo广东移动通信有限公司 室内定位方法、装置、终端及存储介质
CN113556771A (zh) * 2020-04-24 2021-10-26 上海大唐移动通信设备有限公司 室内无线网络测试方法及装置
CN113556771B (zh) * 2020-04-24 2024-05-31 上海大唐移动通信设备有限公司 室内无线网络测试方法及装置
CN111710017A (zh) * 2020-06-05 2020-09-25 北京有竹居网络技术有限公司 展示方法、装置和电子设备
WO2022000755A1 (zh) * 2020-06-29 2022-01-06 济南浪潮高新科技投资发展有限公司 机器人及其行动控制方法、装置和计算机可读存储介质
CN111854790A (zh) * 2020-07-22 2020-10-30 海尔优家智能科技(北京)有限公司 定位信息的显示方法及设备、存储介质和电子装置
CN111982116A (zh) * 2020-08-13 2020-11-24 上海联影医疗科技股份有限公司 诊疗环境内的ar导航方法、装置、服务器设备及存储介质
CN112184366A (zh) * 2020-09-09 2021-01-05 珠海格力电器股份有限公司 一种基于增强现实的鞋子推荐方法、存储介质及电子设备
CN112215964A (zh) * 2020-09-28 2021-01-12 杭州灵伴科技有限公司 基于ar的场景导览方法和设备
CN112215965A (zh) * 2020-09-30 2021-01-12 杭州灵伴科技有限公司 基于ar的场景导览方法、设备以及计算机可读存储介质
CN112215965B (zh) * 2020-09-30 2024-02-20 杭州灵伴科技有限公司 基于ar的场景导览方法、设备以及计算机可读存储介质
CN113108793A (zh) * 2021-03-25 2021-07-13 深圳宏芯宇电子股份有限公司 室内协同定位方法、设备以及计算机可读存储介质
CN113625874A (zh) * 2021-08-05 2021-11-09 深圳市慧鲤科技有限公司 基于增强现实的交互方法及装置、电子设备和存储介质
CN114167985A (zh) * 2021-11-29 2022-03-11 中国科学院计算机网络信息中心 一种基于5g的应急任务增强现实应用方法及系统
CN114167985B (zh) * 2021-11-29 2022-08-12 中国科学院计算机网络信息中心 一种基于5g的应急任务增强现实应用方法及系统

Similar Documents

Publication Publication Date Title
CN110487262A (zh) 基于增强现实设备的室内定位方法及系统
CN107782314B (zh) 一种基于扫码的增强现实技术室内定位导航方法
CN105659304B (zh) 车辆、导航系统及生成并递送导航信息的方法
US6690451B1 (en) Locating object using stereo vision
US11403806B2 (en) Information processing apparatus, information processing method, and recording medium
WO2019037489A1 (zh) 地图显示方法、装置、存储介质及终端
US20210350628A1 (en) Program, information processing method, and information processing terminal
Verma et al. Indoor navigation using augmented reality
US10868977B2 (en) Information processing apparatus, information processing method, and program capable of adaptively displaying a video corresponding to sensed three-dimensional information
CN108921894A (zh) 对象定位方法、装置、设备和计算机可读存储介质
US20200257121A1 (en) Information processing method, information processing terminal, and computer-readable non-transitory storage medium storing program
KR101867020B1 (ko) 박물관/미술관용 증강 현실 구현 방법 및 장치
EP3848674B1 (en) Location signaling with respect to an autonomous vehicle and a rider
JP2011203984A (ja) ナビゲーション装置、ナビゲーション画像生成方法及びプログラム
US11334174B2 (en) Universal pointing and interacting device
CN117579791B (zh) 具有摄像功能的信息显示系统及信息显示方法
KR101568741B1 (ko) 모바일 증강현실 기반의 정보 제공 시스템
JP6993282B2 (ja) 情報端末装置、プログラム及び方法
US20230314156A1 (en) Information presentation method, information presentation system, and computer-readable medium
CN108896035B (zh) 通过影像信息实现导航的方法、设备以及导航机器人
WO2022176450A1 (ja) 情報処理装置、情報処理方法、およびプログラム
Hashimoto et al. Outdoor navigation system by AR
US20180293796A1 (en) Method and device for guiding a user to a virtual object
WO2019127320A1 (zh) 信息处理方法、装置、云处理设备及计算机程序产品
JP6487545B2 (ja) 認知度算出装置、認知度算出方法及び認知度算出プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20191122

RJ01 Rejection of invention patent application after publication