CN113393264A - 一种跨楼层导航互动的方法和系统 - Google Patents

一种跨楼层导航互动的方法和系统 Download PDF

Info

Publication number
CN113393264A
CN113393264A CN202110569038.0A CN202110569038A CN113393264A CN 113393264 A CN113393264 A CN 113393264A CN 202110569038 A CN202110569038 A CN 202110569038A CN 113393264 A CN113393264 A CN 113393264A
Authority
CN
China
Prior art keywords
floor
cross
information
point cloud
vio
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110569038.0A
Other languages
English (en)
Other versions
CN113393264B (zh
Inventor
石大兵
尚洋
万旭东
毛崯杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Yixian Advanced Technology Co ltd
Original Assignee
Hangzhou Yixian Advanced Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Yixian Advanced Technology Co ltd filed Critical Hangzhou Yixian Advanced Technology Co ltd
Priority to CN202110569038.0A priority Critical patent/CN113393264B/zh
Publication of CN113393264A publication Critical patent/CN113393264A/zh
Application granted granted Critical
Publication of CN113393264B publication Critical patent/CN113393264B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • G06Q30/0281Customer communication at a business location, e.g. providing product or service information, consulting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/003Navigation within 3D models or images
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02BCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
    • Y02B50/00Energy efficient technologies in elevators, escalators and moving walkways, e.g. energy saving or recuperation technologies

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Computer Graphics (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Software Systems (AREA)
  • Finance (AREA)
  • Game Theory and Decision Science (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Navigation (AREA)

Abstract

本申请涉及一种跨楼层导航互动的方法和系统,该方法包括:获取场景视觉图像生成点云地图,将点云地图映射到二维平面生成标注参考图,在标注参考图上载入标注内容,其中,标注内容包括扶梯区域、跨楼层区域、跨楼层时间、扶梯连接楼层,根据标注参考图,通过视觉定位和VIO跟踪来计算判断当前位置是否位于跨楼层区域内;在判断当前位置位于跨楼层区域内的情况下,进行跨楼层时间的计时,并生成跨楼层信息进行提示;在经过跨楼层时间后,生成重新定位信息进行提示。通过本申请,解决了跨楼层导航存在着导航过程不连续和智能化程度低的问题,实现了跨楼层导航过程的自动化,无需手动进行跨楼层状态的触发。

Description

一种跨楼层导航互动的方法和系统
技术领域
本申请涉及计算机视觉和导航领域,特别是涉及一种跨楼层导航互动的方法和系统。
背景技术
随着导航向商场、展馆等复杂场景的普及,跨楼层导航成为导航中的必要环节。在跨楼层在导航中,由于GPS定位误差在米级,不能感知到用户距离扶梯口距离、开始跨楼层和跨楼层成功等状态。因此,只能先导航到扶梯口,然后导航暂停,跨楼层后用户手动切换楼层重新导航,没有实现从头至尾的整体导航,中间过程出现中断且需要用户手动切换楼层重新开始导航。由此可见,相关的跨楼层导航方法中存在着导航过程不连续和智能化程度低等问题。
目前针对相关技术中跨楼层导航存在着导航过程不连续和智能化程度低的问题,尚未提出有效的解决方案。
发明内容
本申请实施例提供了一种跨楼层导航互动的方法和系统,以至少解决相关技术中跨楼层导航存在着导航过程不连续和智能化程度低的问题。
第一方面,本申请实施例提供了一种跨楼层导航互动的方法,所述方法包括:
获取场景视觉图像生成点云地图,通过将所述点云地图映射到二维平面生成标注参考图,在所述标注参考图上载入标注内容,其中,所述标注内容包括扶梯区域、跨楼层区域、跨楼层时间、扶梯连接楼层;
根据所述标注参考图,通过视觉定位和VIO跟踪来计算判断当前位置是否位于所述跨楼层区域内;
在判断所述当前位置位于所述跨楼层区域内的情况下,进行所述跨楼层时间的计时,生成跨楼层信息进行提示;
在经过所述跨楼层时间后,生成重新定位信息进行提示,通过所述视觉定位和所述VIO跟踪进行重新定位。
在其中一些实施例中,在获取场景视觉图像生成点云地图之后,所述方法还包括:
在所述点云地图中标注指引箭头的位置信息和方向信息;
通过所述视觉定位和所述VIO跟踪来计算判断当前位置与扶梯口的距离,
在判断所述距离在预设距离范围内的情况下,根据所述位置信息和所述方向信息,生成所述指引箭头进行提示。
在其中一些实施例中,在获取场景视觉图像生成点云地图之后,所述方法还包括:
通过所述视觉定位和所述VIO跟踪来计算判断当前位置与扶梯口的距离,
在判断所述距离在所述预设距离范围内的情况下,生成安全提醒信息进行提示。
在其中一些实施例中,在判断所述当前位置位于所述跨楼层区域内的情况下,生成跨楼层信息进行提示包括:
在判断所述当前位置位于所述跨楼层区域内的情况下,生成跨楼层信息进行提示,停止进行所述视觉定位与所述VIO跟踪。
在其中一些实施例中,在所述点云地图中标注指引箭头的位置信息和方向信息之后,所述方法还包括:
根据转换矩阵将所述点云地图中的坐标转换成三维空间坐标;
根据所述三维空间坐标得到所述指引箭头的位置坐标和方向坐标;
通过所述视觉定位和所述VIO跟踪来计算判断当前位置与扶梯口的距离;
在判断所述距离在预设距离范围内的情况下,根据所述位置坐标和所述方向坐标,生成所述指引箭头进行提示。
第二方面,本申请实施例提供了一种跨楼层导航互动的系统,所述系统包括终端设备和服务器设备;
所述终端设备获取场景视觉图像生成点云地图,通过将所述点云地图映射到二维平面生成标注参考图,在所述标注参考图上载入标注内容,其中,所述标注内容包括扶梯区域、跨楼层区域、跨楼层时间、扶梯连接楼层;
所述终端设备根据所述标注参考图,通过视觉定位和VIO跟踪来计算判断当前位置是否位于所述跨楼层区域内;
所述终端设备在判断所述当前位置位于所述跨楼层区域内的情况下,进行所述跨楼层时间的计时,并生成跨楼层信息进行提示;
所述终端设备在经过所述跨楼层时间后,生成重新定位信息进行提示,通过所述视觉定位和所述VIO跟踪进行重新定位。
在其中一些实施例中,所述终端设备在获取场景视觉图像生成点云地图之后;
所述终端设备在所述点云地图中标注指引箭头的位置信息和方向信息;
所述终端设备通过所述视觉定位和所述VIO跟踪来计算判断当前位置与扶梯口的距离,
所述终端设备在判断所述距离在预设距离范围内的情况下,根据所述位置信息和所述方向信息,生成所述指引箭头进行提示。
在其中一些实施例中,所述终端设备在获取场景视觉图像生成点云地图之后;
所述终端设备通过所述视觉定位和所述VIO跟踪来计算判断当前位置与扶梯口的距离,
所述终端设备在判断所述距离在所述预设距离范围内的情况下,生成安全提醒信息进行提示。
在其中一些实施例中,在判断所述当前位置位于所述跨楼层区域内的情况下,生成跨楼层信息进行提示包括:
所述终端设备在判断所述当前位置位于所述跨楼层区域内的情况下,生成跨楼层信息进行提示,停止进行所述视觉定位与所述VIO跟踪。
在其中一些实施例中,所述终端设备在所述点云地图中标注指引箭头的位置信息和方向信息之后;
所述终端设备根据转换矩阵将所述点云地图中的坐标转换成三维空间坐标,并根据所述三维空间坐标得到所述指引箭头的位置坐标和方向坐标;
所述终端设备通过所述视觉定位和所述VIO跟踪来计算判断当前位置与扶梯口的距离;
所述终端设备在判断所述距离在预设距离范围内的情况下,根据所述位置坐标和所述方向坐标,生成所述指引箭头进行提示。
相比于相关技术,本申请实施例提供的一种跨楼层导航互动的方法和系统,通过获取场景视觉图像生成点云地图,将点云地图映射到二维平面生成标注参考图,在标注参考图上载入标注内容,其中,标注内容包括扶梯区域、跨楼层区域、跨楼层时间、扶梯连接楼层,根据标注参考图,通过视觉定位和VIO跟踪来计算判断当前位置是否位于跨楼层区域内;在判断当前位置位于跨楼层区域内的情况下,进行跨楼层时间的计时,并生成跨楼层信息进行提示;在经过跨楼层时间后,生成重新定位信息进行提示,解决了跨楼层导航存在着导航过程不连续和智能化程度低的问题,实现了跨楼层导航过程的自动化,无需手动进行跨楼层状态的触发,通过三维空间的信息提示准确判断上下楼位置。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1是根据本申请实施例的跨楼层导航互动系统的结构框图;
图2是根据本申请实施例的跨楼层导航互动系统的跨楼层信息显示示意图;
图3是根据本申请实施例的跨楼层导航互动系统的重新定位信息显示示意图;
图4是根据本实施例的跨楼层导航互动系统的指引箭头流程示意图;
图5是根据本实施例的跨楼层导航互动系统的指引箭头显示示意图;
图6是根据本实施例的跨楼层导航互动系统的安全提醒信息流程示意图;
图7是根据本实施例的跨楼层导航互动系统的标注参考示意图;
图8是根据本实施例的跨楼层导航互动系统的安全提醒信息显示示意图;
图9是根据本申请实施例的跨楼层导航互动方法的步骤流程图;
图10是根据本申请具体实施例的跨楼层导航互动方法的流程示意图。
附图说明:10、终端设备;11、服务器设备。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行描述和说明。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。基于本申请提供的实施例,本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
显而易见地,下面描述中的附图仅仅是本申请的一些示例或实施例,对于本领域的普通技术人员而言,在不付出创造性劳动的前提下,还可以根据这些附图将本申请应用于其他类似情景。此外,还可以理解的是,虽然这种开发过程中所作出的努力可能是复杂并且冗长的,然而对于与本申请公开的内容相关的本领域的普通技术人员而言,在本申请揭露的技术内容的基础上进行的一些设计,制造或者生产等变更只是常规的技术手段,不应当理解为本申请公开的内容不充分。
在本申请中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是,本申请所描述的实施例在不冲突的情况下,可以与其它实施例相结合。
除非另作定义,本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制,可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形,意图在于覆盖不排他的包含;例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可以还包括没有列出的步骤或单元,或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接,而是可以包括电气的连接,不管是直接的还是间接的。本申请所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系,表示可以存在三种关系,例如,“A和/或B”可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象,不代表针对对象的特定排序。
本申请实施例提供了一种跨楼层导航互动的系统,图1是根据本申请实施例的跨楼层导航互动系统的结构框图,如图1所示,该系统包括终端设备10和服务器设备11;
终端设备10获取场景视觉图像生成点云地图,通过将点云地图映射到二维平面,生成标注参考图,在所述标注参考图上载入标注内容,其中,所述标注内容包括扶梯区域、跨楼层区域、跨楼层时间、扶梯连接楼层;
终端设备10根据标注参考图,通过视觉定位和VIO跟踪来计算判断当前位置是否位于跨楼层区域内;
图2是根据本申请实施例的跨楼层导航互动系统的跨楼层信息显示示意图,如图2所示,终端设备10在判断当前位置位于跨楼层区域内的情况下,进行跨楼层时间的计时,并生成跨楼层信息(如“正在上楼,请注意脚下安全”)进行提示;
图3是根据本申请实施例的跨楼层导航互动系统的重新定位信息显示示意图,如图3所示,终端设备10在经过跨楼层时间后,生成重新定位信息(如“请缓慢移动手机”“请于2楼扶梯口重新定位”)进行提示,通过视觉定位和VIO跟踪进行重新定位。
通过本申请实施例,终端设备10获取场景视觉图像生成点云地图,将点云地图映射到二维平面生成标注参考图,在标注参考图上载入标注内容,其中,标注内容包括扶梯区域、跨楼层区域、跨楼层时间、扶梯连接楼层,根据标注参考图,通过视觉定位和VIO跟踪来计算判断当前位置是否位于跨楼层区域内;在判断当前位置位于跨楼层区域内的情况下,进行跨楼层时间的计时,并生成跨楼层信息进行提示;在经过跨楼层时间后,生成重新定位信息进行提示,解决了跨楼层导航存在着导航过程不连续和智能化程度低的问题,实现了跨楼层导航过程的自动化,无需手动进行跨楼层状态的触发,通过三维空间的信息提示准确判断上下楼位置。
在其中一些实施例中,图4是根据本实施例的跨楼层导航互动系统的指引箭头流程示意图,如图4所示,本实施例包括以下步骤:
步骤1,生成点云地图,并标注指引箭头信息。
终端设备在扶梯场景中获取场景视觉图像,通过SLAM(SimultaneousLocalization And Mapping,同步定位与建图)方法建立点云地图(包含相机位姿信息和图像信息的场景地图),在点云地图中选中两点(平行于扶梯,并且选取顺序按扶梯口到扶梯中),以第一点坐标记录指引箭头位置、以四元数记录指引箭头方向信息。
步骤2,进行视觉定位和VIO跟踪。
终端设备通过将相机连续图像与点云地图进行比对,获取用户位置,结合VIO(Visual-Inertial Odometry,视觉惯性里程计),融合相机和陀螺仪传感器进行朝向与距离计算,计算用户行走朝向和距离,通过路径规划算法实时计算用户位置到扶梯口距离;
步骤3,坐标转换。
终端设备根据转换矩阵将点云地图中的位置坐标,通过坐标系转换,生成内容制作软件坐标系中的坐标值。
步骤4,显示上下楼指引箭头。
图5是根据本实施例的跨楼层导航互动系统的指引箭头显示示意图,终端设备在判断距离在预设距离范围内的情况下,即终端设备通过路径规划算法实时计算用户位置到扶梯口距离,距离在预先设定距离范围内时,获取到位置坐标和方向信息后在内容中显示上下楼指引箭头进行提示,同时通过视觉定位与VIO跟踪计算用户位置,当用户经过上下楼指引箭头时,指引箭头动效消失。
在其中一些实施例中,图6是根据本实施例的跨楼层导航互动系统的安全提醒信息流程示意图,如图6所示,本实施例包括以下步骤:
步骤1,生成点云地图。
终端设备在扶梯场景中获取场景视觉图像,通过SLAM(SimultaneousLocalization And Mapping,同步定位与建图)方法建立点云地图(包含相机位姿信息和图像信息的场景地图)。
步骤2,将点云地图映射到二维平面。
图7是根据本实施例的跨楼层导航互动系统的标注参考示意图,如图7所示,终端设备将点云地图映射到二维平面中,生成标注参考图。将标注参考图与真实地图(如mapbox、OpenStreetMap等开源地图服务)对齐,从而进行导航要素的标注。在地图中标注出扶梯区域、跨楼层区域、跨楼层时间和扶梯连接楼层等属性。
步骤3,进行视觉定位和VIO跟踪。
终端设备根据标注参考图,通过视觉定位和VIO跟踪来计算判断当前位置是否位于扶梯区域内。
步骤4,判断跨楼层状态并进行提示。
图8是根据本实施例的跨楼层导航互动系统的安全提醒信息显示示意图,如图8所示,终端设备沿导航路线移动,终端设备在判断距离在预设距离范围内的情况下,即终端设备通过路径规划算法实时计算用户位置到扶梯口距离,距离在预先设定距离范围内时,生成“前方扶梯,注意人流与脚下安全”的安全提醒信息进行提示。
在其中一些实施例中,在判断当前位置位于跨楼层区域内的情况下,生成跨楼层信息进行提示包括:
终端设备在判断当前位置位于跨楼层区域内的情况下,生成跨楼层信息进行提示,停止进行视觉定位与VIO跟踪。
本申请实施例提供了一种跨楼层导航互动的方法,图9是根据本申请实施例的跨楼层导航互动方法的步骤流程图,如图9所示,该方法包括以下步骤:
S902,获取场景视觉图像生成点云地图,通过将点云地图映射到二维平面生成标注参考图,其中,标注参考图包含扶梯区域、跨楼层区域、跨楼层时间和扶梯连接楼层;
S904,根据标注参考图,通过视觉定位和VIO跟踪来计算判断当前位置是否位于跨楼层区域内;
S906,在判断当前位置位于跨楼层区域内的情况下,进行跨楼层时间的计时,并生成跨楼层信息进行提示;
S908,在经过跨楼层时间后,生成重新定位信息进行提示,通过视觉定位和VIO跟踪进行重新定位。
通过本申请实施例中的步骤S902至S908,获取场景视觉图像生成点云地图,将点云地图映射到二维平面生成标注参考图,在标注参考图上载入标注内容,其中,标注内容包括扶梯区域、跨楼层区域、跨楼层时间、扶梯连接楼层,根据标注参考图,通过视觉定位和VIO跟踪来计算判断当前位置是否位于跨楼层区域内;在判断当前位置位于跨楼层区域内的情况下,进行跨楼层时间的计时,并生成跨楼层信息进行提示;在经过跨楼层时间后,生成重新定位信息进行提示,解决了跨楼层导航存在着导航过程不连续和智能化程度低的问题,实现了跨楼层导航过程的自动化,无需手动进行跨楼层状态的触发,通过三维空间的信息提示准确判断上下楼位置
在其中一些实施例中,在获取场景视觉图像生成点云地图之后;
在点云地图中标注指引箭头的位置信息和方向信息;
通过视觉定位和VIO跟踪来计算判断当前位置与扶梯口的距离,
在判断距离在预设距离范围内的情况下,根据位置信息和方向信息,生成指引箭头进行提示。
在其中一些实施例中,在获取场景视觉图像生成点云地图之后;
通过视觉定位和VIO跟踪来计算判断当前位置与扶梯口的距离,
在判断距离在所述预设距离范围内的情况下,生成安全提醒信息进行提示。
在其中一些实施例中,在判断当前位置位于跨楼层区域内的情况下,生成跨楼层信息进行提示包括:
在判断当前位置位于跨楼层区域内的情况下,生成跨楼层信息进行提示,停止进行视觉定位与VIO跟踪。
在其中一些实施例中,在点云地图中标注指引箭头的位置信息和方向信息之后;
根据转换矩阵将点云地图中的坐标转换成三维空间坐标;
根据三维空间坐标得到指引箭头的位置坐标和方向坐标;
通过视觉定位和VIO跟踪来计算判断当前位置与扶梯口的距离;
在判断距离在预设距离范围内的情况下,根据位置坐标和方向坐标,生成指引箭头进行提示。
本申请具体实施例提供了一种跨楼层导航互动的方法,图10是根据本申请具体实施例的跨楼层导航互动方法的流程示意图,如图10所示,该方法包括以下步骤:
步骤1,进行安全提醒信息提示(提示1)。
在扶梯场景中获取场景视觉图像,通过SLAM(Simultaneous Localization AndMapping,同步定位与建图)方法建立点云地图(包含相机位姿信息和图像信息的场景地图),在点云地图中选中两点(平行于扶梯,并且选取顺序按扶梯口到扶梯中),以第一点坐标记录指引箭头位置、以四元数记录指引箭头方向信息;
将点云地图映射到二维平面中,生成标注参考图。将标注参考图与真实地图(如mapbox、OpenStreetMap等开源地图服务)对齐,从而进行导航要素的标注。在地图中标注出扶梯区域、跨楼层区域、跨楼层时间和扶梯连接楼层等属性;
通过视觉定位与VIO跟踪,确定用户在场景中的所在位置,即利用相机中图像帧与点云地图进行比对,计算出用户在场景中的位置。加上VIO计算出用户行走的导航路线;
沿导航路线移动,通过视觉定位和VIO跟踪来计算判断当前位置与扶梯口的距离,在判断距离在所述预设距离范围内的情况下,即生成安全提醒信息进行提示。
步骤2,进行指引箭头显示。
通过将相机连续图像与点云地图进行比对,获取用户位置,结合VIO(Visual-Inertial Odometry,视觉惯性里程计),融合相机和陀螺仪传感器进行朝向与距离计算,计算用户行走朝向和距离,通过路径规划算法实时计算用户位置到扶梯口距离;
根据转换矩阵将点云地图中的位置坐标,通过坐标系转换,生成内容制作软件坐标系中的三维空间坐标;
在判断距离在预设距离范围内的情况下,即终端设备通过路径规划算法实时计算用户位置到扶梯口距离,距离在预先设定距离范围内时,获取到位置坐标和方向信息后在内容中显示上下楼指引箭头进行提示,同时通过视觉定位与VIO跟踪计算用户位置,当用户经过上下楼指引箭头时,指引箭头动效消失。
步骤3,进行跨楼层信息显示(提示2)。
通过视觉定位与VIO跟踪,确定用户在场景中的所在位置,即利用相机中图像帧与点云地图进行比对,计算出用户在场景中的位置。加上VIO计算出用户行走的导航路线;
沿导航路线移动,在当前位置位于跨楼层区域内时,即生成跨楼层信息进行提示,并关闭视觉定位与VIO跟踪,同时触发跨楼层时间的计时。
步骤4,进行重新定位信息提示(提示3)。
在上述跨楼层时间计时结束后,自动开始视觉定位服务和VIO跟踪,生成重新定位信息进行提示提示在新楼层进行场景扫描,完成视觉定位,然后在新楼层自动进行剩余路径的导航。
优选地,在其中一些实施例中,可通过在跨楼层场景中加装物联网近场通信设备,用户在扶梯口等区域可获得物联网设备的指示,即可获取跨楼层状态,进而进行提示与自动切换楼层等互动。在跨楼层导航过程中实现了自动化,无需用户手动进行跨楼层状态的触发,整个导航过程更加便捷,三维空间中的跨楼层箭头引导能够帮助用户准确判断上下楼位置,跨楼层过程更加人性化。
本领域的技术人员应该明白,以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种跨楼层导航互动的方法,其特征在于,所述方法包括:
获取场景视觉图像生成点云地图,通过将所述点云地图映射到二维平面生成标注参考图,在所述标注参考图上载入标注内容,其中,所述标注内容包括扶梯区域、跨楼层区域、跨楼层时间、扶梯连接楼层;
根据所述标注参考图,通过视觉定位和VIO跟踪来计算判断当前位置是否位于所述跨楼层区域内;
在判断所述当前位置位于所述跨楼层区域内的情况下,进行所述跨楼层时间的计时,并生成跨楼层信息进行提示;
在经过所述跨楼层时间后,生成重新定位信息进行提示,通过所述视觉定位和所述VIO跟踪进行重新定位。
2.根据权利要求1所述的方法,其特征在于,在获取场景视觉图像生成点云地图之后,所述方法还包括:
在所述点云地图中标注指引箭头的位置信息和方向信息;
通过所述视觉定位和所述VIO跟踪来计算判断当前位置与扶梯口的距离;
在判断所述距离在预设距离范围内的情况下,根据所述位置信息和所述方向信息,生成所述指引箭头进行提示。
3.根据权利要求2所述的方法,其特征在于,在获取场景视觉图像生成点云地图之后,所述方法还包括:
通过所述视觉定位和所述VIO跟踪来计算判断当前位置与扶梯口的距离,
在判断所述距离在所述预设距离范围内的情况下,生成安全提醒信息进行提示。
4.根据权利要求1所述的方法,其特征在于,在判断所述当前位置位于所述跨楼层区域内的情况下,生成跨楼层信息进行提示包括:
在判断所述当前位置位于所述跨楼层区域内的情况下,生成跨楼层信息进行提示,停止进行所述视觉定位与所述VIO跟踪。
5.根据权利要求2所述的方法,其特征在于,在所述点云地图中标注指引箭头的位置信息和方向信息之后,所述方法还包括:
根据转换矩阵将所述点云地图中的坐标转换成三维空间坐标;
根据所述三维空间坐标得到所述指引箭头的位置坐标和方向坐标;
通过所述视觉定位和所述VIO跟踪来计算判断当前位置与扶梯口的距离;
在判断所述距离在预设距离范围内的情况下,根据所述位置坐标和所述方向坐标,生成所述指引箭头进行提示。
6.一种跨楼层导航互动的系统,其特征在于,所述系统包括终端设备和服务器设备,其中,所述终端设备包含显示单元、相机单元和陀螺仪传感器;
所述终端设备获取场景视觉图像生成点云地图,通过将所述点云地图映射到二维平面生成标注参考图,在所述标注参考图上载入标注内容,其中,所述标注内容包括扶梯区域、跨楼层区域、跨楼层时间、扶梯连接楼层;
所述终端设备根据所述标注参考图,通过视觉定位和VIO跟踪来计算判断当前位置是否位于所述跨楼层区域内;
所述终端设备在判断所述当前位置位于所述跨楼层区域内的情况下,进行所述跨楼层时间的计时,并生成跨楼层信息进行提示;
所述终端设备在经过所述跨楼层时间后,生成重新定位信息进行提示,通过所述视觉定位和所述VIO跟踪进行重新定位。
7.根据权利要求6所述的系统,其特征在于,所述终端设备在获取场景视觉图像生成点云地图之后;
所述终端设备在所述点云地图中标注指引箭头的位置信息和方向信息;
所述终端设备通过所述视觉定位和所述VIO跟踪来计算判断当前位置与扶梯口的距离,
所述终端设备在判断所述距离在预设距离范围内的情况下,根据所述位置信息和所述方向信息,生成所述指引箭头进行提示。
8.根据权利要求7所述的系统,其特征在于,所述终端设备在获取场景视觉图像生成点云地图之后;
所述终端设备通过所述视觉定位和所述VIO跟踪来计算判断当前位置与扶梯口的距离,
所述终端设备在判断所述距离在所述预设距离范围内的情况下,生成安全提醒信息进行提示。
9.根据权利要求6所述的系统,其特征在于,在判断所述当前位置位于所述跨楼层区域内的情况下,生成跨楼层信息进行提示包括:
所述终端设备在判断所述当前位置位于所述跨楼层区域内的情况下,生成跨楼层信息进行提示,停止进行所述视觉定位与所述VIO跟踪。
10.根据权利要求7所述的系统,其特征在于,所述终端设备在所述点云地图中标注指引箭头的位置信息和方向信息之后;
所述终端设备根据转换矩阵将所述点云地图中的坐标转换成三维空间坐标,并根据所述三维空间坐标得到所述指引箭头的位置坐标和方向坐标;
所述终端设备通过所述视觉定位和所述VIO跟踪来计算判断当前位置与扶梯口的距离;
所述终端设备在判断所述距离在预设距离范围内的情况下,根据所述位置坐标和所述方向坐标,生成所述指引箭头进行提示。
CN202110569038.0A 2021-05-25 2021-05-25 一种跨楼层导航互动的方法和系统 Active CN113393264B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110569038.0A CN113393264B (zh) 2021-05-25 2021-05-25 一种跨楼层导航互动的方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110569038.0A CN113393264B (zh) 2021-05-25 2021-05-25 一种跨楼层导航互动的方法和系统

Publications (2)

Publication Number Publication Date
CN113393264A true CN113393264A (zh) 2021-09-14
CN113393264B CN113393264B (zh) 2023-04-18

Family

ID=77618975

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110569038.0A Active CN113393264B (zh) 2021-05-25 2021-05-25 一种跨楼层导航互动的方法和系统

Country Status (1)

Country Link
CN (1) CN113393264B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010181447A (ja) * 2009-02-03 2010-08-19 Navitime Japan Co Ltd 階層別地図データを備えた地図表示システム、地図表示方法、地図表示装置および情報配信サーバ
CN103646419A (zh) * 2013-12-11 2014-03-19 上海赛图计算机科技有限公司 基于室内地图应用的跨楼层路径的展示方法
CN109205413A (zh) * 2018-08-07 2019-01-15 北京云迹科技有限公司 跨楼层路径规划方法及系统
CN109764877A (zh) * 2019-02-26 2019-05-17 深圳优地科技有限公司 一种机器人跨楼层导航方法、装置及机器人
CN110553648A (zh) * 2018-06-01 2019-12-10 北京嘀嘀无限科技发展有限公司 一种用于室内导航的方法和系统
US20210148713A1 (en) * 2019-08-08 2021-05-20 Phiar Technologies, Inc. Computer-vision Based Positioning for Augmented Reality Navigation

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010181447A (ja) * 2009-02-03 2010-08-19 Navitime Japan Co Ltd 階層別地図データを備えた地図表示システム、地図表示方法、地図表示装置および情報配信サーバ
CN103646419A (zh) * 2013-12-11 2014-03-19 上海赛图计算机科技有限公司 基于室内地图应用的跨楼层路径的展示方法
CN110553648A (zh) * 2018-06-01 2019-12-10 北京嘀嘀无限科技发展有限公司 一种用于室内导航的方法和系统
CN109205413A (zh) * 2018-08-07 2019-01-15 北京云迹科技有限公司 跨楼层路径规划方法及系统
CN109764877A (zh) * 2019-02-26 2019-05-17 深圳优地科技有限公司 一种机器人跨楼层导航方法、装置及机器人
US20210148713A1 (en) * 2019-08-08 2021-05-20 Phiar Technologies, Inc. Computer-vision Based Positioning for Augmented Reality Navigation

Also Published As

Publication number Publication date
CN113393264B (zh) 2023-04-18

Similar Documents

Publication Publication Date Title
US11694407B2 (en) Method of displaying virtual information in a view of a real environment
CN111065891B (zh) 基于增强现实的室内导航系统
US10217288B2 (en) Method for representing points of interest in a view of a real environment on a mobile device and mobile device therefor
US6728636B2 (en) Destination guidance system and method for generating individually tailored routes within a complex structure
US10677596B2 (en) Image processing device, image processing method, and program
US9294873B1 (en) Enhanced guidance for electronic devices using objects within in a particular area
Reitmayr et al. Location based applications for mobile augmented reality
US10241565B2 (en) Apparatus, system, and method of controlling display, and recording medium
CN107167138A (zh) 一种图书馆智能路径指引系统及方法
CN112150072A (zh) 基于智能机器人的资产盘点方法、装置、电子设备及介质
CN117579791B (zh) 具有摄像功能的信息显示系统及信息显示方法
CN111104612B (zh) 一种通过目标追踪实现的智慧景区推荐系统和方法
CN113393264B (zh) 一种跨楼层导航互动的方法和系统
KR102442239B1 (ko) 디지털 사이니지를 이용한 실내 길안내 장치
TWM542190U (zh) 擴增實境雲端智能查找服務系統
EP3819593A1 (en) Indoor direction guiding method and system therefor
KR20150111770A (ko) 객체의 위치정보 생성 장치, 인터랙티브 다중 레이어 표시 장치 및 그 동작 방법
Möller et al. Navigating indoors using decision points
KR101299379B1 (ko) 가상 세계를 사용한 경로 안내 장치 및 방법
JP2021144009A (ja) 端末装置、ナビゲーション方法、および、ナビゲーションプログラム
KR101522340B1 (ko) 객체 감지를 이용하는 인터랙티브 다중 레이어 표시 장치, 인터랙티브 다중 레이어 표시 방법 및 그 기록매체
KR101766902B1 (ko) 디지털 사이니지 및 그 제어 방법
CN112822636A (zh) 提供增强现实导游的方法及其装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant