CN113587928A - 导航方法、装置、电子设备、存储介质及计算机程序产品 - Google Patents

导航方法、装置、电子设备、存储介质及计算机程序产品 Download PDF

Info

Publication number
CN113587928A
CN113587928A CN202110856976.9A CN202110856976A CN113587928A CN 113587928 A CN113587928 A CN 113587928A CN 202110856976 A CN202110856976 A CN 202110856976A CN 113587928 A CN113587928 A CN 113587928A
Authority
CN
China
Prior art keywords
navigation
area
augmented reality
inertial
visual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110856976.9A
Other languages
English (en)
Other versions
CN113587928B (zh
Inventor
宋春雨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202110856976.9A priority Critical patent/CN113587928B/zh
Publication of CN113587928A publication Critical patent/CN113587928A/zh
Priority to US17/871,514 priority patent/US20220357159A1/en
Application granted granted Critical
Publication of CN113587928B publication Critical patent/CN113587928B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G01C21/1656Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with passive imaging devices, e.g. cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02Services making use of location information
    • H04W4/021Services related to particular areas, e.g. point of interest [POI] services, venue services or geofences
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/005Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20Instruments for performing navigational calculations
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/3446Details of route searching algorithms, e.g. Dijkstra, A*, arc-flags, using precalculated routes
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3626Details of the output of route guidance instructions
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C22/00Measuring distance traversed on the ground by vehicles, persons, animals or other moving solid bodies, e.g. using odometers, using pedometers
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42Determining position
    • G01S19/45Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement
    • G01S19/46Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement the supplementary measurement being of a radio-wave signal type
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42Determining position
    • G01S19/45Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement
    • G01S19/47Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement the supplementary measurement being an inertial measurement, e.g. tightly coupled inertial
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02Services making use of location information
    • H04W4/025Services making use of location information using location based information parameters
    • H04W4/027Services making use of location information using location based information parameters using movement velocity, acceleration information

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Navigation (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本公开提供了一种导航方法、装置、电子设备、计算机可读存储介质及计算机程序产品,涉及增强现实、智能导航、图像识别、云服务等人工智能技术领域。该方法包括:根据电子围栏和位置坐标,确定所处区域;响应于所处区域为室内和室外之间的过渡区域,利用视觉定位算法确定出运动起点和利用视觉惯性里程计收集惯性运动信息;根据运动起点和惯性运动信息,为过渡区域中的运动生成增强现实导航。该方法针对过渡区域提供了结合视觉定位算法和视觉惯性里程计的增强现实导航方法,进而提升实时、准确的过渡区域的增强现实导航,搭配为室内区域和室外区域分别提供的增强现实导航可以实现全覆盖,进而为用户提供更全面的导航服务。

Description

导航方法、装置、电子设备、存储介质及计算机程序产品
技术领域
本公开涉及数据处理技术领域,具体涉及增强现实、智能导航、图像识别、云服务等人工智能技术领域,尤其涉及一种导航方法、装置、电子设备、计算机可读存储介质及计算机程序产品。
背景技术
当前通常是分别为室外和室内提供单独的增强现实导航,而介于室内和室外之间的过渡区域并没有合适的方案,使得较多用户在过渡区域来回打转。
如何为过渡区域也提供有对应的增强现实导航,使得室内、过渡区域、室外三个区域可以无缝结合,是本领域技术人员亟待解决的技术问题。
发明内容
本公开实施例提出了一种导航方法、装置、电子设备、计算机可读存储介质及计算机程序产品。
第一方面,本公开实施例提出了一种导航方法,包括:根据电子围栏和位置坐标,确定所处区域;响应于所处区域为室内和室外之间的过渡区域,利用视觉定位算法确定出运动起点和利用视觉惯性里程计收集惯性运动信息;根据运动起点和惯性运动信息,为过渡区域中的运动生成增强现实导航。
第二方面,本公开实施例提出了一种导航装置,包括:所处区域确定单元,被配置成根据电子围栏和位置坐标,确定所处区域;过渡区域功能启用单元,被配置成响应于所处区域为室内和室外之间的过渡区域,利用视觉定位算法确定出运动起点和利用视觉惯性里程计收集惯性运动信息;过渡区域增强现实导航生成单元,被配置成根据运动起点和惯性运动信息,为过渡区域中的运动生成增强现实导航。
第三方面,本公开实施例提供了一种电子设备,该电子设备包括:至少一个处理器;以及与至少一个处理器通信连接的存储器;其中,存储器存储有可被至少一个处理器执行的指令,该指令被至少一个处理器执行,以使至少一个处理器执行时能够实现如第一方面中任一实现方式描述的导航方法。
第四方面,本公开实施例提供了一种存储有计算机指令的非瞬时计算机可读存储介质,该计算机指令用于使计算机执行时能够实现如第一方面中任一实现方式描述的导航方法。
第五方面,本公开实施例提供了一种包括计算机程序的计算机程序产品,该计算机程序在被处理器执行时能够实现如第一方面中任一实现方式描述的导航方法。
本公开实施例提供的导航方法包括:首先,根据电子围栏和位置坐标,确定所处区域;然后,当所处区域为室内和室外之间的过渡区域时,利用视觉定位算法确定出运动起点和视觉惯性里程计收集惯性运动信息;最后,根据运动起点和惯性运动信息,为过渡区域中的运动生成增强现实导航。
本公开针对过渡区域提供了结合视觉定位算法和视觉惯性里程计的增强现实导航方法,即视觉定位算法用于通过图像内容匹配的方式提供在过渡区域内的运动起点,视觉惯性里程计则用于通过其收集到的惯性运动信息对运动起点进行惯性修正,从而通过惯性运动信息来对应用户在过渡区域内的行进状态,进而提升实时、准确的过渡区域的增强现实导航,搭配为室内区域和室外区域分别提供的增强现实导航可以实现全覆盖,进而为用户提供更全面的导航服务。
应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本公开的其它特征、目的和优点将会变得更明显:
图1是本公开可以应用于其中的示例性系统架构;
图2为本公开实施例提供的一种导航方法的流程图;
图3为本公开实施例所提供的一种基于电子围栏设置的室内、过渡区域、室外的结构示意图;
图4为本公开实施例提供的另一种导航方法的流程图;
图5为本公开实施例提供的根据所处区域选择相应的增强现实导航方式的示意图;
图6为本公开实施例提供的一种导航装置的结构框图;
图7为本公开实施例提供的一种适用于执行导航方法的电子设备的结构示意图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明,其中包括本公开实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本公开的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。需要说明的是,在不冲突的情况下,本公开中的实施例及实施例中的特征可以相互组合。
本公开的技术方案中,所涉及的用户个人信息的获取,存储和应用等,均符合相关法律法规的规定,采取了必要的保密措施,且不违背公序良俗。
图1示出了可以应用本公开的导航方法、装置、电子设备及计算机可读存储介质的实施例的示例性系统架构100。
如图1所示,系统架构100可以包括移动终端101,网络102和服务器103。网络102用以在移动终端101和服务器103之间提供通信链路的介质。网络102可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
用户可以使用移动终端101通过网络102与服务器103交互,以接收或发送消息等。移动终端101和服务器103上可以安装有各种用于实现两者之间进行信息通讯的应用,例如全场景增强现实导航类应用、视觉定位类应用、即时通讯类应用等。
移动终端101和服务器103可以是硬件,也可以是软件。当移动终端101为硬件时,可以是具有显示屏的各种电子设备,包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等;当移动终端101为软件时,可以安装在上述所列举的电子设备中,其可以实现成多个软件或软件模块,也可以实现成单个软件或软件模块,在此不做具体限定。当服务器103为硬件时,可以实现成多个服务器组成的分布式服务器集群,也可以实现成单个服务器;服务器为软件时,可以实现成多个软件或软件模块,也可以实现成单个软件或软件模块,在此不做具体限定。
服务器103通过内置的各种应用可以提供各种服务,以可以提供全场景增强现实导航服务的全场景增强现实导航类应用为例,服务器103在运行该全场景增强现实导航类应用时可实现如下效果:首先,通过网络102接收由移动终端101传入的位置坐标;然后,根据预设的电子围栏和位置坐标,确定移动终端101的所处区域;接下来,响应于所处区域为室内和室外之间的过渡区域,利用视觉定位算法确定出运动起点和利用视觉惯性里程计收集惯性运动信息;最后,根据运动起点和惯性运动信息,为在过渡区域中运动的移动终端101提供增强现实导航。
由于提供增强现实导航需要占用较多的运算资源和较强的运算能力,因此本公开后续各实施例所提供的导航方法一般由拥有较强运算能力、较多运算资源的服务器103来执行,相应地,导航装置一般也设置于服务器103中。但同时也需要指出的是,在移动终端101也具有满足要求的运算能力和运算资源时,移动终端101也可以通过其上安装的全场景增强现实导航类应用完成上述本交由服务器103做的各项运算,进而输出与服务器103同样的结果。尤其是在同时存在多种具有不同运算能力的终端设备的情况下,但全场景增强现实导航类应用判断所在的终端设备拥有较强的运算能力和剩余较多的运算资源时,可以让终端设备来执行上述运算,从而适当减轻服务器103的运算压力,相应的,导航装置也可以设置于移动终端101中。在此种情况下,示例性系统架构100也可以不包括服务器103和网络102。
应该理解,图1中的移动终端、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的移动终端、网络和服务器。
请参考图2,图2为本公开实施例提供的一种导航方法的流程图,其中流程200包括以下步骤:
步骤201:根据电子围栏和位置坐标,确定所处区域;
本步骤旨在由导航方法的执行主体(例如图1所示的服务器103)根据电子围栏和位置坐标,确定所处区域。其中,位置坐标根据实际所处区域的不同,可能无法提供精确值,例如在用户实际在室外区域时,由于可GPS(Global Positioning System,全球定位系统)信号此时得到的位置坐标相对精准,若在室内,则可以通过诸多固定物体的坐标来反推,而在过渡区域内则通过借助从室内区域或室外区域离开、进入过渡区域时刻的精准位置坐标加上运动的惯性信息来进行反推。
其中,一种具体的电子围栏和不同区域的结构信息可参见图3所示的示意图,如图3所示,最外圈的是室外区域,最内部的是室内区域,介于室内区域和室外区域之间的用黑色斜线覆盖的区域为过渡区域。
步骤202:响应于所处区域为室内和室外之间的过渡区域,利用视觉定位算法确定出运动起点和利用视觉惯性里程计收集惯性运动信息;
本步骤针对所处区域为室内和室外之间的过渡区域的情况,旨在由上述执行主体利用视觉定位算法确定出运动起点和利用视觉惯性里程计收集惯性运动信息。
其中,视觉定位算法用于通过图像内容匹配的方式提供在过渡区域内的运动起点,视觉惯性里程计则用于通过其收集到的惯性运动信息对运动起点进行惯性修正。
具体的,视觉定位算法可以包括多种,例如纯视觉定位算法,即利用拍摄得到的实景图在全量的图像数据中进行匹配操作,若过渡区域也存在多个楼层或存在复杂空间变换的地形,通常匹配时长较长;也可以采用以蓝牙信息进行辅助定位的蓝牙视觉定位算法,即通过与区域内设置有的蓝牙设备进行蓝牙通信进而帮助确定部分位置信息,例如在那一层。
视觉惯性里程计(Visual-Inertial Odometry,VIO)有时也叫视觉惯性系统(Visual-Inertial System,VINS),是一种融合相机和IMU(Inertial Measurement Unit,惯性测量单元)数据实现SLAM(Simultaneous Localization And Mapping,即时定位与地图构建)的算法,根据融合框架的区别又分为紧耦合和松耦合,松耦合中视觉运动估计和惯导运动估计系统是两个独立的模块,将每个模块的输出结果进行融合,而紧耦合则是使用两个传感器的原始数据共同估计一组变量,传感器噪声也是相互影响的,紧耦合算法上比较复杂,但充分利用了传感器数据,可以实现更好的效果。本公开正是借助VIO这一特性来辅助视觉定位算法确定出的运动起点修正当前的运动位置。
需要说明的是,借助视觉进行辅助定位时所获取到的图像内容均来自允许拍摄并用于定位或导航的物体或区域,甚至可在不小于拍摄到敏感或未经授权不允许自行拍摄的物体时,允许发出相应的警示信息,警示信息的触发可通过电子围栏为某些特殊区域的框定。
步骤203:根据运动起点和惯性运动信息,为过渡区域中的运动生成增强现实导航。
在步骤202的基础上,本步骤旨在由上述执行主体根据运动起点和惯性运动信息,以通过惯性运动信息对运动起点进行修正,从而为过渡区域中的运动生成准确的增强现实导航。
本公开实施例提供的导航方法,针对过渡区域提供了结合视觉定位算法和视觉惯性里程计的增强现实导航方法,即视觉定位算法用于通过图像内容匹配的方式提供在过渡区域内的运动起点,视觉惯性里程计则用于通过其收集到的惯性运动信息对运动起点进行惯性修正,从而通过惯性运动信息来对应用户在过渡区域内的行进状态,进而提升实时、准确的过渡区域的增强现实导航,搭配为室内区域和室外区域分别提供的增强现实导航可以实现全覆盖,进而为用户提供更全面的导航服务。
请参考图4,图4为本公开实施例提供的另一种导航方法的流程图,其中流程400包括以下步骤:
步骤401:根据电子围栏和位置坐标,确定所处区域;
步骤402:响应于所处区域为室内和室外之间的过渡区域,获取在过渡区域拍摄得到的实景图;
本步骤旨在由上述执行主体首先获取到过渡区域内拍摄到的实景图,该实景图的拍摄方可以为用户控制下的智能移动终端(例如图1所示的移动终端101)。
步骤403:利用视觉定位算法确定与实景图对应的过渡区域内的运动起点;
在步骤402的基础上,本步骤旨在由上述执行主体利用视觉定位算法确定与实景图对应的过渡区域内的运动起点,即视觉定位算法在预先存储的过渡区域内的全部物体的图像数据中进行相似性匹配,从而根据相似性匹配结果确定拍摄的位置,并将拍摄位置作为运动起点。
通常来说,实景图可以是用户通过智能移动终端在任意角度、对过渡区域内的任意物体拍摄得到的图像,但为了尽可能的提升匹配效率,应尽可能的将拍摄对象选择为过渡区域内较为显著、较容易判别位置的标志性物体。如果能够透过过渡区域拍摄到室外或室内区域的物体,那么也可以通过拍摄角度、拍摄物体的实际大小与图像中大小,来大致推测运动起点。
步骤404:根据视觉惯性里程计收集自运动起点移动至当前位置的惯性运动信息;
在步骤403的基础上,本步骤旨在由上述执行主体根据视觉惯性里程计收集自运动起点移动至当前位置的惯性运动信息。即用户在拍摄得到实景图后可能仍处于运动状态,因此记录这一运动状态下的惯性运动信息,将能够全面的还原在过渡区域内的位置变动。
步骤405:根据惯性运动信息对运动起点进行修正,得到与当前运动位置对应的增强现实导航。
在步骤404的基础上,本步骤旨在由上述执行主体根据惯性运动信息对运动起点进行修正,得到与当前运动位置对应的增强现实导航。
进一步的,还可以控制智能移动终端定期拍摄到新的实景图,用于辅助确定实时的位置信息。若区域内存在可通过蓝牙信号辅助确定位置信息的蓝牙设备,也可以通过采集到的蓝牙定位信号来调整当前的实际位置,进而提升在过渡区域内的增强现实导航的效果。例如采集预设在过渡区域内的蓝牙设备发出的蓝牙信号,然后根据与蓝牙信号对应的位置信息调整当前的导航位置。
需要说明的是,本公开所能够采集到的蓝牙定位信号,均来自专门被设计用来提供定位信号的蓝牙标签或被拥有方或使用方授予可向外广播位置信息的蓝牙设备,因此所使用的蓝牙信号是符合规定的。
另外,在行进方向为从过渡区域走向室外区域时,为了避免因连续过程中惯性运动信息逐步放大的误差,还可以确定连续接收到的GPS信号的稳定程度;从而根据稳定程度来判别是否离开过渡区域进入室外区域,例如当稳定程度大于预设程度时,可将增强现实导航的当前位置调整为室外区域,并发出已走出过渡区域的提醒。本实施例建立在离室外区域越近、GPS信号稳定程度就会越高的情况下。
为加深对本公开所提供方案的实际技术效果的理解,本申请还同时结合对室外区域和室内区域的增强现实导航方案,通过图5所示的示意图提供了一种全区域覆盖、无缝切换的增强现实导航方案:
首先:根据电子围栏和位置坐标,确定所处区域;
当所处区域为室外区域时,将GPS信息作为基础定位数据,然后在基础定位数据的基础上,根据通过惯性测量单元和视觉惯性里程计收集到的惯性数据,生成与室外区域对应的增强现实导航;
当所处区域为过渡区域时,利用视觉定位算法确定出运动起点和利用视觉惯性里程计收集惯性运动信息,然后,根据运动起点和惯性运动信息,为过渡区域中的运动生成增强现实导航;
当所处区域为室内区域时,仅利用视觉定位算法生成与室内区域对应的增强现实导航。
可以看出,当用户从室外区域经过过渡区域朝室内区域行进时,先是GPS、IMU和VIO功能组件开启,来为室外区域提供增强现实导航;然后在进入过渡区域后关闭无法提供位置参照的GPS和IMU,并开启视觉定位算法,使得通过视觉定位算法和VIO功能组件来为过渡区域提供增强现实导航;最后,在进入室内区域后,由于室内区域的复杂性,关闭无法提供准确惯性信息的VIO功能组件,仅使用视觉定位算法来为室内区域提供增强现实导航。
为加深理解,本公开还结合一个具体应用场景,给出了一种具体的实现方案。假定用户A当前在室外X处,其目的地为处于某购物中心7层的Y店,中间途径购物中心外围的过渡区域,因此用户A可通过下述步骤提供的全区域增强现实导航服务最终到达Y店:
1)全区域增强现实导航应用根据出发点和目的地将整个导航分为三个阶段,即从X处到过渡区域的入口的室外导航阶段,从过渡区域的入口到购物中心1层入口的过渡区域导航阶段,从购物中心1层入口至7层Y店的室内导航阶段;
2)全区域增强现实导航应用调用GPS、IMU和VIO功能组件为用户A提供从X处到过渡区域的入口的室外增强现实导航;
3)全区域增强现实导航应用感知到用户A当前行进至过渡区域,要求用户A在过渡区域的拍摄得到第一张定位用实景图;
4)全区域增强现实导航应用调用视觉定位组件确定出与第一张定位用实景图对应的过渡区域进入点;
5)全区域增强现实导航应用调用VIO组件获取从拍摄该第一张定位用实景图到当前时间点的惯性运动信息;
6)全区域增强现实导航应用根据惯性运动信息修正过渡区域进入点,从而基于用户A在过渡区域的当前位置提供至购物中心1层入口的增强现实导航,整个过程基于定时更新的新拍摄的实景图和惯性运动信息得到;
7)全区域增强现实导航应用感知到用户A进入室外,关闭VIO组件,调用摄像头组件配合视觉定位算法提供至7层Y店的室内增强现实导航。
进一步参考图6,作为对上述各图所示方法的实现,本公开提供了一种导航装置的一个实施例,该装置实施例与图2所示的方法实施例相对应,该装置具体可以应用于各种电子设备中。
如图6所示,本实施例的导航装置600可以包括:所处区域确定单元601、过渡区域功能启用单元602、过渡区域增强现实导航生成单元603。其中,所处区域确定单元601,被配置成根据电子围栏和位置坐标,确定所处区域;过渡区域功能启用单元602,被配置成响应于所处区域为室内和室外之间的过渡区域,利用视觉定位算法确定出运动起点和利用视觉惯性里程计收集惯性运动信息;过渡区域增强现实导航生成单元603,被配置成根据运动起点和惯性运动信息,为过渡区域中的运动生成增强现实导航。
在本实施例中,导航装置600中:所处区域确定单元601、过渡区域功能启用单元602、过渡区域增强现实导航生成单元603的具体处理及其所带来的技术效果可分别参考图2对应实施例中的步骤201-203的相关说明,在此不再赘述。
在本实施例的一些可选的实现方式中,过渡区域功能启用单元602可以被进一步配置成:
获取在过渡区域拍摄得到的实景图;
利用视觉定位算法确定与实景图对应的过渡区域内的运动起点;
根据视觉惯性里程计收集自运动起点移动至当前位置的惯性运动信息。
在本实施例的一些可选的实现方式中,导航装置600中还可以包括:
基础定位数据获取单元,被配置成响应于所处区域为室外区域,将GPS信息作为基础定位数据;
室外区域增强现实导航生成单元,被配置成在基础定位数据的基础上,根据通过惯性测量单元和视觉惯性里程计收集到的惯性数据,生成与室外区域对应的增强现实导航。
在本实施例的一些可选的实现方式中,导航装置600中还可以包括:
室内区域增强现实导航生成单元,被配置成响应于所处区域为室内区域,仅利用视觉定位算法生成与室内区域对应的增强现实导航。
在本实施例的一些可选的实现方式中,导航装置600中还可以包括:
稳定程度确定单元,被配置成响应于行进方向为从过渡区域走向室外区域,确定连续接收到的GPS信号的稳定程度;
定位区域调整单元,被配置成响应于稳定程度大于预设程度,将增强现实导航的当前位置调整为室外区域,并发出已走出过渡区域的提醒。
在本实施例的一些可选的实现方式中,在为过渡区域提供增强现实导航的过程中,导航装置600中还可以包括:
蓝牙信号采集单元,被配置成采集预设在过渡区域内的蓝牙设备发出的蓝牙信号;
当前导航位置调整单元,被配置成根据与蓝牙信号对应的位置信息调整当前的导航位置。
本实施例作为对应于上述方法实施例的装置实施例存在,本实施例提供的导航装置针对过渡区域提供了结合视觉定位算法和视觉惯性里程计的增强现实导航方法,即视觉定位算法用于通过图像内容匹配的方式提供在过渡区域内的运动起点,视觉惯性里程计则用于通过其收集到的惯性运动信息对运动起点进行惯性修正,从而通过惯性运动信息来对应用户在过渡区域内的行进状态,进而提升实时、准确的过渡区域的增强现实导航,搭配为室内区域和室外区域分别提供的增强现实导航可以实现全覆盖,进而为用户提供更全面的导航服务。
根据本公开的实施例,本公开还提供了一种电子设备,该电子设备包括:至少一个处理器;以及与至少一个处理器通信连接的存储器;其中,存储器存储有可被至少一个处理器执行的指令,该指令被至少一个处理器执行,以使至少一个处理器执行时能够实现上述任意实施例所描述的导航方法。
根据本公开的实施例,本公开还提供了一种可读存储介质,该可读存储介质存储有计算机指令,该计算机指令用于使计算机执行时能够实现上述任意实施例所描述的导航方法。
本公开实施例提供了一种计算机程序产品,该计算机程序在被处理器执行时能够实现上述任意实施例所描述的导航方法。
图7示出了可以用来实施本公开的实施例的示例电子设备700的示意性框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图7所示,设备700包括计算单元701,其可以根据存储在只读存储器(ROM)702中的计算机程序或者从存储单元708加载到随机访问存储器(RAM)703中的计算机程序,来执行各种适当的动作和处理。在RAM 703中,还可存储设备700操作所需的各种程序和数据。计算单元701、ROM 702以及RAM 703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。
设备700中的多个部件连接至I/O接口705,包括:输入单元706,例如键盘、鼠标等;输出单元707,例如各种类型的显示器、扬声器等;存储单元708,例如磁盘、光盘等;以及通信单元709,例如网卡、调制解调器、无线通信收发机等。通信单元709允许设备700通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元701可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元701的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元701执行上文所描述的各个方法和处理,例如导航方法。例如,在一些实施例中,导航方法可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元708。在一些实施例中,计算机程序的部分或者全部可以经由ROM 702和/或通信单元709而被载入和/或安装到设备700上。当计算机程序加载到RAM 703并由计算单元701执行时,可以执行上文描述的导航方法的一个或多个步骤。备选地,在其他实施例中,计算单元701可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行导航方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,又称为云计算服务器或云主机,是云计算服务体系中的一项主机产品,以解决传统物理主机与虚拟专用服务器(VPS,Virtual Private Server)服务中存在的管理难度大,业务扩展性弱的缺陷。
根据本公开实施例的技术方案,针对过渡区域提供了结合视觉定位算法和视觉惯性里程计的增强现实导航方法,即视觉定位算法用于通过图像内容匹配的方式提供在过渡区域内的运动起点,视觉惯性里程计则用于通过其收集到的惯性运动信息对运动起点进行惯性修正,从而通过惯性运动信息来对应用户在过渡区域内的行进状态,进而提升实时、准确的过渡区域的增强现实导航,搭配为室内区域和室外区域分别提供的增强现实导航可以实现全覆盖,进而为用户提供更全面的导航服务。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本公开公开的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本公开保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等,均应包含在本公开保护范围之内。

Claims (15)

1.一种导航方法,包括:
根据电子围栏和位置坐标,确定所处区域;
响应于所述所处区域为室内和室外之间的过渡区域,利用视觉定位算法确定出运动起点和利用视觉惯性里程计收集惯性运动信息;
根据所述运动起点和所述惯性运动信息,为所述过渡区域中的运动生成增强现实导航。
2.根据权利要求1所述的方法,其中,所述利用视觉定位算法确定出运动起点和利用视觉惯性里程计收集惯性运动信息,包括:
获取在所述过渡区域拍摄得到的实景图;
利用所述视觉定位算法确定与所述实景图对应的过渡区域内的运动起点;
根据视觉惯性里程计收集自所述运动起点移动至当前位置的惯性运动信息。
3.根据权利要求1所述的方法,还包括:
响应于所述所处区域为室外区域,将GPS信息作为基础定位数据;
在所述基础定位数据的基础上,根据通过惯性测量单元和所述视觉惯性里程计收集到的惯性数据,生成与所述室外区域对应的增强现实导航。
4.根据权利要求1所述的方法,还包括:
响应于所述所处区域为室内区域,仅利用所述视觉定位算法生成与所述室内区域对应的增强现实导航。
5.根据权利要求1所述的方法,还包括:
响应于行进方向为从所述过渡区域走向室外区域,确定连续接收到的GPS信号的稳定程度;
响应于所述稳定程度大于所述预设程度,将所述增强现实导航的当前位置调整为所述室外区域,并发出已走出所述过渡区域的提醒。
6.根据权利要求1-5任一项所述的方法,其中,在为所述过渡区域提供增强现实导航的过程中,还包括:
采集预设在所述过渡区域内的蓝牙设备发出的蓝牙信号;
根据与所述蓝牙信号对应的位置信息调整当前的导航位置。
7.一种导航装置,包括:
所处区域确定单元,被配置成根据电子围栏和位置坐标,确定所处区域;
过渡区域功能启用单元,被配置成响应于所述所处区域为室内和室外之间的过渡区域,利用视觉定位算法确定出运动起点和利用视觉惯性里程计收集惯性运动信息;
过渡区域增强现实导航生成单元,被配置成根据所述运动起点和所述惯性运动信息,为所述过渡区域中的运动生成增强现实导航。
8.根据权利要求7所述的装置,其中,所述过渡区域功能启用单元被进一步配置成:
获取在所述过渡区域拍摄得到的实景图;
利用所述视觉定位算法确定与所述实景图对应的过渡区域内的运动起点;
根据视觉惯性里程计收集自所述运动起点移动至当前位置的惯性运动信息。
9.根据权利要求7所述的装置,还包括:
基础定位数据获取单元,被配置成响应于所述所处区域为室外区域,将GPS信息作为基础定位数据;
室外区域增强现实导航生成单元,被配置成在所述基础定位数据的基础上,根据通过惯性测量单元和所述视觉惯性里程计收集到的惯性数据,生成与所述室外区域对应的增强现实导航。
10.根据权利要求7所述的装置,还包括:
室内区域增强现实导航生成单元,被配置成响应于所述所处区域为室内区域,仅利用所述视觉定位算法生成与所述室内区域对应的增强现实导航。
11.根据权利要求7所述的装置,还包括:
稳定程度确定单元,被配置成响应于行进方向为从所述过渡区域走向室外区域,确定连续接收到的GPS信号的稳定程度;
定位区域调整单元,被配置成响应于所述稳定程度大于所述预设程度,将所述增强现实导航的当前位置调整为所述室外区域,并发出已走出所述过渡区域的提醒。
12.根据权利要求7-11任一项所述的装置,其中,在为所述过渡区域提供增强现实导航的过程中,还包括:
蓝牙信号采集单元,被配置成采集预设在所述过渡区域内的蓝牙设备发出的蓝牙信号;
当前导航位置调整单元,被配置成根据与所述蓝牙信号对应的位置信息调整当前的导航位置。
13.一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-6中任一项所述的导航方法。
14.一种存储有计算机指令的非瞬时计算机可读存储介质,所述计算机指令用于使所述计算机执行权利要求1-6中任一项所述的导航方法。
15.一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现根据权利要求1-6中任一项所述的导航方法。
CN202110856976.9A 2021-07-28 2021-07-28 导航方法、装置、电子设备、存储介质及计算机程序产品 Active CN113587928B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110856976.9A CN113587928B (zh) 2021-07-28 2021-07-28 导航方法、装置、电子设备、存储介质及计算机程序产品
US17/871,514 US20220357159A1 (en) 2021-07-28 2022-07-22 Navigation Method, Navigation Apparatus, Electronic Device, and Storage Medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110856976.9A CN113587928B (zh) 2021-07-28 2021-07-28 导航方法、装置、电子设备、存储介质及计算机程序产品

Publications (2)

Publication Number Publication Date
CN113587928A true CN113587928A (zh) 2021-11-02
CN113587928B CN113587928B (zh) 2022-12-16

Family

ID=78251349

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110856976.9A Active CN113587928B (zh) 2021-07-28 2021-07-28 导航方法、装置、电子设备、存储介质及计算机程序产品

Country Status (2)

Country Link
US (1) US20220357159A1 (zh)
CN (1) CN113587928B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113923596A (zh) * 2021-11-23 2022-01-11 中国民用航空总局第二研究所 室内定位方法、装置、设备及介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117492408B (zh) * 2024-01-03 2024-04-02 建龙西林钢铁有限公司 一种基于plc和图像识别的电子围栏安全系统及其控制方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101155258A (zh) * 2006-09-27 2008-04-02 索尼株式会社 成像设备和成像方法
CN108235735A (zh) * 2017-12-20 2018-06-29 深圳前海达闼云端智能科技有限公司 一种定位方法、装置及电子设备、计算机程序产品
CN108957504A (zh) * 2017-11-08 2018-12-07 北京市燃气集团有限责任公司 室内外连续定位的方法和系统
CN110779520A (zh) * 2019-10-21 2020-02-11 腾讯科技(深圳)有限公司 导航方法及装置、电子设备和计算机可读存储介质
CN111627114A (zh) * 2020-04-14 2020-09-04 北京迈格威科技有限公司 室内视觉导航方法、装置、系统及电子设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101155258A (zh) * 2006-09-27 2008-04-02 索尼株式会社 成像设备和成像方法
CN108957504A (zh) * 2017-11-08 2018-12-07 北京市燃气集团有限责任公司 室内外连续定位的方法和系统
CN108235735A (zh) * 2017-12-20 2018-06-29 深圳前海达闼云端智能科技有限公司 一种定位方法、装置及电子设备、计算机程序产品
CN110779520A (zh) * 2019-10-21 2020-02-11 腾讯科技(深圳)有限公司 导航方法及装置、电子设备和计算机可读存储介质
CN111627114A (zh) * 2020-04-14 2020-09-04 北京迈格威科技有限公司 室内视觉导航方法、装置、系统及电子设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113923596A (zh) * 2021-11-23 2022-01-11 中国民用航空总局第二研究所 室内定位方法、装置、设备及介质
CN113923596B (zh) * 2021-11-23 2024-01-30 中国民用航空总局第二研究所 室内定位方法、装置、设备及介质

Also Published As

Publication number Publication date
US20220357159A1 (en) 2022-11-10
CN113587928B (zh) 2022-12-16

Similar Documents

Publication Publication Date Title
CN109087359B (zh) 位姿确定方法、位姿确定装置、介质和计算设备
KR102462799B1 (ko) 자세 추정 방법 및 자세 추정 장치
US9129397B2 (en) Human tracking method and apparatus using color histogram
CN113587928B (zh) 导航方法、装置、电子设备、存储介质及计算机程序产品
US9659380B1 (en) Object position tracking using motion estimation
US20210158560A1 (en) Method and device for obtaining localization information and storage medium
CN112432637B (zh) 定位方法及装置、电子设备和存储介质
CN111401230A (zh) 姿态估计方法及装置、电子设备和存储介质
KR20220123218A (ko) 타깃 포지셔닝 방법, 장치, 전자 기기, 저장 매체 및 프로그램
CN113610702B (zh) 一种建图方法、装置、电子设备及存储介质
CN112560769B (zh) 用于检测障碍物的方法、电子设备、路侧设备和云控平台
CN112597895B (zh) 基于偏移量检测的置信度确定方法、路侧设备及云控平台
CN114037087A (zh) 模型训练方法及装置、深度预测方法及装置、设备和介质
CN113378605B (zh) 多源信息融合方法及装置、电子设备和存储介质
KR102383567B1 (ko) 시각 정보 처리 기반의 위치 인식 방법 및 시스템
CN114187509B (zh) 对象定位方法、装置、电子设备以及存储介质
CN114299192B (zh) 定位建图的方法、装置、设备和介质
CN112948411B (zh) 位姿数据的处理方法及接口、装置、系统、设备和介质
CN114740854A (zh) 一种机器人避障控制方法和装置
CN115937305A (zh) 图像处理方法、装置及电子设备
US20220345621A1 (en) Scene lock mode for capturing camera images
CN110660134B (zh) 三维地图构建方法、三维地图构建装置及终端设备
CN115294234B (zh) 图像的生成方法、装置、电子设备和存储介质
CN113375667B (zh) 导航方法、装置、设备和存储介质
CN117906634A (zh) 一种设备检测方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant