CN109459029A - 一种用于确定目标对象的导航路线信息的方法与设备 - Google Patents

一种用于确定目标对象的导航路线信息的方法与设备 Download PDF

Info

Publication number
CN109459029A
CN109459029A CN201811397264.XA CN201811397264A CN109459029A CN 109459029 A CN109459029 A CN 109459029A CN 201811397264 A CN201811397264 A CN 201811397264A CN 109459029 A CN109459029 A CN 109459029A
Authority
CN
China
Prior art keywords
information
navigation
equipment
position information
augmented reality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811397264.XA
Other languages
English (en)
Other versions
CN109459029B (zh
Inventor
杜威
烟磊磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bright Wind Taiwan (shanghai) Mdt Infotech Ltd
Original Assignee
Bright Wind Taiwan (shanghai) Mdt Infotech Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bright Wind Taiwan (shanghai) Mdt Infotech Ltd filed Critical Bright Wind Taiwan (shanghai) Mdt Infotech Ltd
Priority to CN201811397264.XA priority Critical patent/CN109459029B/zh
Publication of CN109459029A publication Critical patent/CN109459029A/zh
Application granted granted Critical
Publication of CN109459029B publication Critical patent/CN109459029B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20Instruments for performing navigational calculations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B7/00Radio transmission systems, i.e. using radiation field
    • H04B7/14Relay systems
    • H04B7/15Active relay systems
    • H04B7/185Space-based or airborne stations; Stations for satellite systems
    • H04B7/18502Airborne stations
    • H04B7/18506Communications with or from aircraft, i.e. aeronautical mobile service
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02Services making use of location information
    • H04W4/024Guidance services

Abstract

本申请的目的是提供一种用于确定目标对象的导航路线信息的方法,其中,该方法包括:接收增强现实设备发送的关于导航事件对应的导航请求信息,其中,所述导航请求信息包括所述增强现实设备对应的用户位置信息;获取关于所述导航事件对应的目标对象的目标位置信息;根据所述用户位置信息和所述目标位置信息确定所述导航请求信息对应的导航路线信息;将所述导航路线信息返回至所述增强现实设备。本申请基于多方交互的方法从交互各方中综合获取用户位置信息和目标位置信息,从而确定对应的导航路线信息,提升了团队协作事件的信息交流效率,减少了各方信息获取过程的时间,极大地提升了用户使用体验。

Description

一种用于确定目标对象的导航路线信息的方法与设备
技术领域
本申请涉及通信领域,尤其涉及一种用于确定目标对象的导航路线信息的技术。
背景技术
增强现实(AR,Augmented Reality),通过电脑技术,将虚拟的信息应用到真实世界,真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在。它不仅展现了真实世界的信息,而且将虚拟的信息同时显示出来,两种信息相互补充、叠加。在视觉化的增强现实中,用户利用头盔显示器,把真实世界与电脑图形重合成在一起,便可以看到真实的世界围绕着它。
增强现实借助计算机图形技术和可视化技术产生现实环境中不存在的虚拟对象,并通过传感技术将虚拟对象准确"放置"在真实环境中,借助显示设备将虚拟对象与真实环境融为一体,并呈现给使用者一个感官效果真实的新环境。随着增强现实技术的发展,增强现实技术的发展越来与成熟,对应的增强现实设备(如增强现实眼镜、增强现实头盔等)也逐渐进入大众视野,开始应用于一些多方协作的团队协作事件。
发明内容
本申请的一个目的是提供一种用于确定目标对象的导航路线信息的方法与设备。
根据本申请的一个方面,提供了一种用于在网络设备端确定目标对象的导航路线信息的方法,该方法包括:
接收增强现实设备发送的关于导航事件对应的导航请求信息,其中,所述导航请求信息包括所述增强现实设备对应的用户位置信息;
获取关于所述导航事件对应的目标对象的目标位置信息;
根据所述用户位置信息和所述目标位置信息确定所述导航请求信息对应的导航路线信息;
将所述导航路线信息返回至所述增强现实设备。
根据本申请的另一个方面,提供了一种用于在增强现实设备端确定目标对象的导航路线信息的方法,其中,该方法包括:
通过对应的定位装置获取关于所述增强现实设备的用户位置信息;
基于所述用户位置信息确定导航事件对应的导航路线信息,其中,所述导航路线信息包括所述导航事件对应的目标对象的目标位置信息;
在屏幕中叠加呈现所述导航路线信息。
根据本申请的一个方面,提供了一种用于确定目标对象的导航路线信息的网络设备,其中,该设备包括:
一一模块,用于接收增强现实设备发送的关于导航事件对应的导航请求信息,其中,所述导航请求信息包括所述增强现实设备对应的用户位置信息;
一二模块,用于获取关于所述导航事件对应的目标对象的目标位置信息;
一三模块,用于根据所述用户位置信息和所述目标位置信息确定所述导航请求信息对应的导航路线信息;
一四模块,用于所述导航路线信息返回至所述增强现实设备。
根据本申请的另一个方面,提供了一种用于确定目标对象的导航路线信息的增强现实设备,其中,该设备包括:
二一模块,用于通过对应的定位装置获取关于所述增强现实设备的用户位置信息;
二二模块,用于基于所述用户位置信息确定导航事件对应的导航路线信息,其中,所述导航路线信息包括所述导航事件对应的目标对象的目标位置信息;
二三模块,用于在屏幕中叠加呈现所述导航路线信息。
根据本申请的一个方面,提供了一种用于确定目标对象的导航路线信息的方法,其中,该方法包括:
增强现实设备通过对应的定位装置获取关于所述增强现实设备的用户位置信息,向对应的网络设备发送导航请求信息,其中,所述导航请求信息包括所述用户位置信息;
所述网络设备接收所述导航请求信息,获取关于导航事件对应的目标对象的目标位置信息,根据所述用户位置信息和所述目标位置信息确定所述导航请求信息对应的导航路线信息,并将所述导航路线信息返回至所述增强现实设备;
所述增强现实设备接收所述导航路线信息,并在屏幕中叠加呈现所述导航路线信息。
根据本申请的一个方面,提供了一种用于确定目标对象的导航路线信息的系统,其中,该系统包括如上所述的网络设备和如上所述的增强现实设备。
根据本申请的一个方面,提供了一种用于确定目标对象的导航路线信息的设备,其中,该设备包括:
处理器;以及
被安排成存储计算机可执行指令的存储器,所述可执行指令在被执行时使所述处理器执行如上任一项所述方法的操作。
根据本申请的一个方面,提供了一种包括指令的计算机可读介质,所述指令在被执行时使得系统进行如上任一项所述方法的操作。
与现有技术相比,本申请通过导航事件中的增强现实设备、网络设备或者导航事件中其他设备(如无人机控制设备、指挥设备等)间的交互,基于增强现实设备当前对应的用户位置信息以及目标对象的目标位置信息,确定对应的导航路线信息。本申请基于多方交互的方法从交互各方中综合获取用户位置信息和目标位置信息,从而确定对应的导航路线信息,提升了团队协作事件的信息交流效率,减少了各方信息获取过程的时间,极大地提升了用户使用体验。而且,本申请在增强现实设备端叠加显示该导航路线信息,能够有效地指导用户前往目标位置,避免用户方向感不好、找不到路、没有按指定路线行走等意外情况,能够稳定、高效的完成导航事件,极大地提升了协作事件完成效率,提升了用户的使用体验。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本申请的其它特征、目的和优点将会变得更明显:
图1示出根据本申请一个实施例的一种用于确定目标对象的导航路线信息的系统拓扑图;
图2示出根据本申请一个实施例的一种用于在网络设备端确定目标对象的导航路线信息的方法流程图;
图3示出根据本申请一个实施例的一种用于在增强现实设备端确定目标对象的导航路线信息的方法流程图;
图4示出根据本申请一个实施例的网络设备的功能模块;
图5示出根据本申请一个实施例的增强现实设备的功能模块;
图6示出根据本申请一个实施例的一种用于确定目标对象的导航路线信息的系统方法图;
图7示出根据本申请一个实施例的一种用于确定目标对象的导航路线信息的系统示意图;
图8示出可被用于实施本申请中所述的各个实施例的示例性系统。
附图中相同或相似的附图标记代表相同或相似的部件。
具体实施方式
下面结合附图对本申请作进一步详细描述。
在本申请一个典型的配置中,终端、服务网络的设备和可信方均包括一个或多个处理器(例如,中央处理器(Central Processing Unit,CPU))、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RandomAccess Memory,RAM)和/或非易失性内存等形式,如只读存储器(Read Only Memory,ROM)或闪存(Flash Memory)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(Phase-Change Memory,PCM)、可编程随机存取存储器(Programmable Random Access Memory,PRAM)、静态随机存取存储器(Static Random-Access Memory,SRAM)、动态随机存取存储器(Dynamic Random AccessMemory,DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(Electrically-Erasable Programmable Read-Only Memory,EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(Compact Disc Read-Only Memory,CD-ROM)、数字多功能光盘(Digital Versatile Disc,DVD)或其他光学存储、磁盒式磁带,磁带磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。
本申请所指设备包括但不限于用户设备、网络设备、或用户设备与网络设备通过网络相集成所构成的设备。所述用户设备包括但不限于任何一种可与用户进行人机交互(例如通过触摸板进行人机交互)的移动电子产品,例如智能手机、平板电脑等,所述移动电子产品可以采用任意操作系统,如Android操作系统、iOS操作系统等。其中,所述网络设备包括一种能够按照事先设定或存储的指令,自动进行数值计算和信息处理的电子设备,其硬件包括但不限于微处理器、专用集成电路(Application Specific IntegratedCircuit,ASIC)、可编程逻辑器件(Programmable Logic Device,PLD)、现场可编程门阵列(Field Programmable Gate Array,FPGA)、数字信号处理器(Digital Signal Processor,DSP)、嵌入式设备等。所述网络设备包括但不限于计算机、网络主机、单个网络服务器、多个网络服务器集或多个服务器构成的云;在此,云由基于云计算(Cloud Computing)的大量计算机或网络服务器构成,其中,云计算是分布式计算的一种,由一群松散耦合的计算机集组成的一个虚拟超级计算机。所述网络包括但不限于互联网、广域网、城域网、局域网、VPN网络、无线自组织网络(Ad Hoc网络)等。优选地,所述设备还可以是运行于所述用户设备、网络设备、或用户设备与网络设备、网络设备、触摸终端或网络设备与触摸终端通过网络相集成所构成的设备上的程序。
当然,本领域技术人员应能理解上述设备仅为举例,其他现有的或今后可能出现的设备如可适用于本申请,也应包含在本申请保护范围以内,并在此以引用方式包含于此。
在本申请的描述中,“多个”的含义是两个或者更多,除非另有明确具体的限定。
图1示出了本申请的典型场景,如(a)所示,该场景包括无人机控制设备、增强现实设备以及指挥设备通过云端进行交互的场景,其中,本方案可以仅由增强现实设备、无人机控制设备通过云端交互完成,也可以仅由指挥设备、增强现实设备通过云端交互完成,还可以由无人机控制设备、增强现实设备以及指挥设备通过云端交互完成。在此,云端用于接收其它各方上传的导航事件相关信息(如用户位置信息、目标位置信息等),并基于导航事件相关信息结合地图包进行处理,确定对应的导航路线信息,其中,该导航路线信息包括用户位置信息至目标位置信息的一条或者多条可选相关路线等。经由云端的通讯方式可以实现各方的信息共享,如存在多个协作方的情况下,各协作均可以通过云端获取相关信息。
如图1中(b)所示,增强现实设备、无人机控制设备以及指挥设备间建立了通信连接,通过有线或者无线的方式进行交互,其中,本方案可以仅由增强现实设备、无人机控制设备两端配合完成,也可以仅由指挥设备、增强现实设备两端配合完成,还可以由无人机控制设备、增强现实设备以及指挥设备三端配合完成。在此,导航路线信息的计算过程,主要是在增强现实设备端结合本地地图包数据完成,当然,也可以是在无人机控制设备或者指挥设备结合两端本地存储的地图包数据完成。
本申请所指的无人机控制设备包括但不限于集成了计算机、飞行操作软件、软件操作监视器、微波图像监视器、图像接收电台、双向数据收发电台、电源管理器、高容量电池和天线等设备的无人机地面控制站,无人机控制设备可以向无人机发送关于无人机飞行或者拍摄的相关指令,无人机基于该指令拍摄对应的图像信息后,通过无线电或者其他通信连接将该图像信息返回至无人机控制设备。为方便用户进行操作,在一些实施例中,所述无人机控制设备还包括显示装置,用于向用户呈现和/或用于设置相关内容;其中,该显示装置在一些实施例中为触控屏幕,该触控屏幕不仅能用于输出图形画面,还可用作无人机控制设备的输入装置以接收用户的操作指令(如用户基于语音控制、手势识别等操作指令)。同时,无人机控制设备和其他人员的设备(如增强现实设备或者指挥设备)间可建立通信连接或者通过云端进行通信,以供无人机控制设备向其他设备发送相关信息(如目标对象相关的图像信息或者根据无人机控制的第一用户的操作确定的其他信息),并由其他人员呈现对应的对应信息,以辅助其他人员进行协作事件。其中,无人机可搭载多种传感器,这些传感器用于感测无人机自身的方位、姿态等数据或者用于采集外部环境的相关信息。例如,无人机基于GPS传感器、RTK模块、激光测距仪、气压传感器、陀螺仪、电子罗盘等采集自身的角速率、姿态、位置、加速度、高度、空速、距离等信息,并基于图像传感器拍摄场景画面,该场景画面可传输至无人机控制设备。在一些情形下,可在无人机上设置云台以安装相机,以隔离无人机姿态变化、机体震动和外界风阻力矩等外部扰动对拍摄工作带来的不利影响,保证机载相机的视轴稳定。
本申请所指的增强现实设备包括但不限于手机、平板、增强现实头盔、增强现实眼镜等计算设备。在一些实施例中,该增强现实设备可以采集当前用户前方相关的画面,用于向用户呈现和/或用于设置增强现实内容,其中,在一些实施例中,该增强现实内容叠加显示于增强现实的屏幕中。
本申请所指的指挥设备包括但不限于移动设备(如智能手机、平板电脑、笔记本电脑等)、PC设备、智能眼镜或头盔以及集成式服务器等计算设备。为方便用户进行操作,在一些实施例中,所述指挥设备还包括显示装置,用于向用户呈现和/或用于设置相关内容;其中,该显示装置在一些实施例中为触控屏幕,该触控屏幕不仅能用于输出图形画面,还可用作指挥设备的输入装置以接收用户的操作指令。当然,本领域技术人员应能理解,指挥设备的输入装置不仅限于触控屏幕,其他现有的输入技术如能适用于本申请,也包含在本申请的保护范围内,并以引用的方式包含于此。
仍然参考图1中(a)、(b)所示的系统拓扑,(a)中所示的系统拓扑与(b)中所示的系统区别在于通过云端转达进行交互或者云端进行数据处理,在此,我们仅以图a所示系统拓扑图为例阐述以下实施例,本领域技术人员应能理解,该等实施例同样适用于图b所示的系统。
参考图6,根据本申请的一个方面,提供了一种用于确定目标对象的图像位置信息的方法,其中,该方法包括:
增强现实设备通过对应的定位装置获取关于所述增强现实设备的用户位置信息,向对应的网络设备发送导航请求信息,其中,所述导航请求信息包括所述用户位置信息;
所述网络设备接收所述导航请求信息,获取关于导航事件对应的目标对象的目标位置信息,根据所述用户位置信息和所述目标位置信息确定所述导航请求信息对应的导航路线信息,并将所述导航路线信息返回至所述增强现实设备;
所述增强现实设备接收所述导航路线信息,并在屏幕中叠加呈现所述导航路线信息。
以下从将分别从网络设备、增强现实设备两个角度,对本申请的具体实施方式进行介绍。
图2示出本申请一个方面的一种用于在网络设备端确定目标对象的导航路线信息的方法,该方法可被应用于图1所示的系统,其中,该方法包括步骤S11、步骤S12、步骤S13和步骤S14。在步骤S11中,网络设备接收增强现实设备发送的关于导航事件对应的导航请求信息,其中,所述导航请求信息包括所述增强现实设备对应的用户位置信息;在步骤S12中,网络设备获取关于所述导航事件对应的目标对象的目标位置信息;在步骤S13中,网络设备根据所述用户位置信息和所述目标位置信息确定所述导航请求信息对应的导航路线信息;在步骤S14中,网络设备将所述导航路线信息返回至所述增强现实设备。
具体而言,在步骤S11中,网络设备接收增强现实设备发送的关于导航事件对应的导航请求信息,其中,所述导航请求信息包括所述增强现实设备对应的用户位置信息。例如,增强现实设备与网络设备建立了通信连接,增强现实设备通过该通信连接向网络设备发送导航事件对应的导航请求信息,其中,该导航请求信息包括用于计算导航路线信息的起始位置,如增强现实设备根据定位装置(如GPS定位或者北斗系统定位等)确定的当前的用户位置信息。其中,导航事件包括以增强现实设备对应的用户位置信息为起始位置,目标对象对应的目标位置信息为终点位置进行的路线规划事件。用户位置信息包括但不限于基于GPS定位或者北斗系统等定位装置确定的增强现实设备对应的当前的经纬度信息等。
在步骤S12中,网络设备获取关于所述导航事件对应的目标对象的目标位置信息。例如,目标位置信息包括但不限于基于GPS定位或者北斗系统等定位装置确定的关于导航事件目的地的目标对象的经纬度信息等。其中,网络设备获取目标对象的目标位置信息方式包括:1)直接接收其他设备发送的关于目标对象的目标位置信息,其中,其他设备可以是增强现实设备,可以是无人机控制设备,还可以是指挥设备;2)接收无人机控制设备发送的关于目标对象的图像信息,基于该图像信息匹配并确定对应的目标位置信息。其中,目标对象包括但不限于静止的对象(如建筑物等)和移动的对象(如移动的人或者车辆等);若目标对象是移动的对象,网络设备获取目标对象的目标位置信息的方式包括但不限于实时获取、间隔一定时间获取(如对于移动较缓慢的对象采用半分钟更新一次的方式等)等。
在步骤S13中,网络设备根据所述用户位置信息和所述目标位置信息确定所述导航请求信息对应的导航路线信息。例如,网络设备包含GIS系统,基于所述用户位置信息、目标位置信息以及GIS系统等,利用路径规划算法(如最短路径Dijkstra、A*算法等),计算确定对应的导航路线信息,其中,导航路线信息包括一条或者多条可选的从用户位置信息至目标位置信息的规划路径等。其中,网络设备计算该导航路线信息后,后续可以是实时更新该导航路线信息,或者基于一定时间间隔更新导航路线信息,或者间隔一定距离(如目标对象位置移动一定距离后更新)更新导航路线信息等方式。在一些实施方式中,网络设备还接收增强现实设备的传感数据信息(如加速度传感器、磁力传感器、方向传感器、陀螺仪、线性加速度等),并结合当前用户位置信息、目标位置信息和传感数据信息确定当前增强现实设备的具体导航路线信息,如关于增强现实设备当前朝向的指示信息(如左转、前进XX米等)等,当然,此处的指示信息可以是基于GIS(Geographic Information System,地理信息系统)地图信息中的方向指引,也可以是在增强现实屏幕中呈现于实景的叠加信息等。
在步骤S14中,网络设备将所述导航路线信息返回至所述增强现实设备。例如,网络设备通过与增强现实设备的通信连接,将导航路线信息返回至增强现实设备,增强现实设备接收并叠加呈现该导航路线信息,辅助增强现实设备对应的用户高效前往对应的目标对象所在地,提升团队协作的执行效率。
其中,上述网络设备包括但不限于采用应用虚拟化技术,集软件搜索、下载、使用、管理、备份等多种功能为一体,为网民搭建软件资源、软件应用和软件服务平台的集成式服务器等。在一些情形中,上述网络设备包括通信装置,用于与各客户端的用户设备(如增强现实设备、无人机控制设备、指挥设备等)建立通信连接,并通过该通信连接传递导航事件相关信息,如通过与增强现实设备的通信连接接收增强现实设备发送的关于导航事件的起始位置的用户位置信息,又如通过与无人机控制设备的通信连接接收无人机控制设备发送的关于到导航事件的终点位置的目标对象的目标位置信息等,还如将对应的导航路线信息通过与增强现实设备的通信连接发送至增强现实设备。所述网络设备还包括数据处理装置,用于处理所述用户位置信息和所述目标位置信息,结合该位置所在地图包信息,确定对应的导航路线信息等。当然,本领域技术人员应能理解上述网络设备仅为举例,其他现有的或今后可能出现的网络设备如可适用于本申请,也应包含在本申请保护范围以内,并在此以引用方式包含于此。
在一些实施方式中,上述步骤S12中,网络设备接收无人机控制设备发送的关于导航事件对应的目标对象的目标位置信息,其中,所述无人机控制设备处于所述导航事件。例如,上述无人机控制设备包括但不限于无人机地面控制站等计算设备;在一些情形下,以上所述的无人机控制设备可用于接收无人机通过摄像装置拍摄的图像信息,该图像信息可以是静态的图片信息或者动态的视频信息,该图片信息或者视频信息中包含了协作事件对应的目标对象或者能够用于搜索协作事件对应的目标对象。该无人机控制设备还可以包括显示装置,用于呈现该图像信息,如通过在屏幕上显示图像信息,供无人机控制设备对应的第一用户(如“无人机飞手”)根据当前拍摄的图像信息做出对应的调整指令,实时调整无人机的拍摄姿态(如无人机飞行高度、拍摄角度等),获取视野良好、清晰显示关于目标对象的图像信息。无人机控制设备包括输入装置,例如无人机控制设备在本地地图上基于飞手的操作指令(如点击或者框选等)在相应的本地地图数据库中确定目标对象的目标位置信息;所述无人机控制设备还包括数据处理装置,用于处理所述图像信息,获取目标对象在图像信息中的图像位置信息,随后,无人机控制设备基于连续帧间的图像位置信息,利用计算机视觉算法(例如,基于SLAM(simultaneous localization and mapping,即时定位与地图构建)算法或者三维重构等获取空间位置信息),计算目标对象的目标位置信息;无人机控制设备可以实时获取无人机的空间位置信息,无人机控制设备本地存储有当前无人机的空间位置信息所对应的地图包数据,根据拍摄图像信息时无人机的空间位置信息,匹配识别对应的地标建筑等,在相关GIS系统等服务中确定对应的目标对象的目标位置信息,或者,基于无人机控制设备操作员的操作指令(如选中某地址或者输入某地址等),确定目标对象的对应地址;或者,无人机控制设备基于对应的无人机与指定目标的相对方位信息,以及所述无人机的空间位置信息,确定所述指定目标的目标位置信息。其中在一些实施例中,指定目标由无人机飞手在无人机控制设备上确定,例如在无人机控制设备的显示屏幕上通过点击、框选等方式确定。例如,在一个实施例中,无人机控制设备基于用户的选定操作,确定对应的指定目标,随后无人机控制设备控制无人机测量该指定目标与无人机的直线距离(例如,基于机载的激光测距仪获得),结合无人机自身的高度信息(例如,基于气压计获得),得到无人机和指定目标的水平距离,再根据无人机自身的经纬度信息(例如,基于GPS传感器获得)以及目标相对于无人机的方位角,最终确定指定目标的经纬度信息,并将该经纬度信息作为目标的目标位置信息。又例如,在另一个实施例中,无人机控制设备基于无人机的俯仰角度(例如,基于陀螺仪获得)确定无人机与指定目标之间连线与铅垂线的夹角,并根据该夹角和无人机的高度(例如,基于气压计获得)计算无人机与指定目标之间的水平距离,再根据无人机自身的经纬度信息(例如,基于GPS传感器获得)以及目标相对于无人机的方位角,最终确定指定目标的经纬度信息,并将该经纬度信息作为目标的目标位置信息。当然,本领域技术人员应能理解,以上所述的用于取得目标位置信息的方式仅为举例,其他现有的或者今后可能出现的获取方式如能适用于本申请,也包含在本申请的保护范围内,并以引用方式包含于此。无人机控制设备还包括通信装置,用于建立与网络设备的通信连接,如无人机控制设备将目标对象相关的空间位置信息通过与网络设备的通信连接发送至网络设备。当然,本领域技术人员应能理解上述无人机控制设备仅为举例,其他现有的或今后可能出现的无人机控制设备如可适用于本申请,也应包含在本申请保护范围以内,并在此以引用方式包含于此。进一步地,在一些实施方式中,上述步骤S14中,网络设备将所述导航路线信息发送至所述增强现实设备和所述无人机控制设备。例如,网络设备将该导航路线信息发送至增强现实设备的同时,还将该导航路线信息发送至该无人机控制设备,该导航路线信息包含增强现实设备所在的用户位置信息,供无人机控制设备进行参考,实现多方交互时各方信息的共享,有利于协作效率的提升。
在一些实施方式中,无人机控制设备将对应无人机拍摄到的关于目标对象的图像信息直接发送至网络设备,网络设备基于该图像信息确定目标对象对应的空间位置信息。如上述步骤S12包括子步骤S121(未示出)和子步骤S122(未示出),在步骤S121中,网络设备接收所述无人机控制设备发送的关于导航事件对应的目标对象的图像信息,其中,所述无人机控制设备处于所述导航事件;在步骤S122中,网络设备根据所述图像信息确定所述目标对象对应的目标位置信息。例如,网络设备接收无人机控制设备发送的关于目标对象的图像信息,网络设备可以获取当前无人机的空间位置信息,然后根据存储的无人机空间位置信息所对应的地图包数据,匹配识别对应的地标建筑等,在相关GIS系统等服务中确定对应的目标对象的目标位置信息。又例如,网络设备接收无人机控制设备发送的关于目标对象的图像信息,网络设备存储有地图包数据中某些地标信息(如地标建筑)相关模板特征(如地标建筑的图片或者相关匹配特征等)以及这些地标信息对应的地标位置信息(如经纬度信息等)。网络设备基于图像信息在地标数据库中匹配,若匹配到对应的地标信息(如一个或多个地标建筑),综合该一个或多个地标建筑对应的经纬度信息,确定目标对象对应的经纬度信息,如将其中某一个地标建筑所对应的经纬度信息作为目标对象的经纬度信息,其中,该地标建筑的选择可以是随机选择,或者根据其他因素(如距离目标对象在图像上远近、便利性等)进行优选。如在一些实施方式中,上述步骤S122中,网络设备根据所述图像信息在地标数据库中进行匹配查询,确定所述图像信息对应的地标信息,其中,所述地标信息包括对应的地标位置信息;基于所述地标位置信息确定所述目标对象的目标位置信息。
在一些实施方式中,上述步骤S12中,网络设备接收指挥设备发送的关于导航事件对应的目标对象的目标位置信息,其中,所述指挥设备处于所述导航事件。例如,指挥设备包括但不限于移动设备、PC设备、智能眼镜或头盔、集成式服务器等计算设备;指挥设备与网络设备通过有线或无线的方式建立通信连接,指挥设备包括显示装置,用于呈现目标对象的图像信息,如通过在屏幕上呈现所述图像信息或者叠加显示小窗,在小窗中显示图像信息,随后,在图像信息中标出目标对象在图像中的位置信息,如呈现对应的叠加信息,叠加信息包括但不限于目标对象的图像位置信息周围不同颜色框选、轮廓凸显、箭头指示、图片/视频呈现等形式。指挥设备包括输入装置,用于输入第三用户的操作指令,如指挥设备在本地地图上基于第三用户的操作指令(如点击或者框选等)在相应的本地地图数据库中确定目标对象的目标位置信息等;又如,指挥设备接收无人机控制设备发送的关于目标对象的图像信息,指挥设备可以获取当前无人机的空间位置信息,然后根据存储的无人机空间位置信息所对应的地图包数据,匹配识别对应的地标建筑等,在相关GIS系统等服务中确定对应的目标对象的目标位置信息。又如指挥设备呈现所述图像信息时,指挥设备基于第三用户的操作指令(如点击或者框选图像信息确定目标对象在图像中的位置等)在相应的GIS系统地图数据库中基于图像信息中地标建筑与地图数据包中对应地标建筑的位置信息确定目标对象的目标位置信息等;或者,指挥设备基于无人机控制设备发送的图像信息以及其他相关信息(如无人机控制设备相对于目标对象的方位、无人机的空间位置信息等)确定所述指定目标的目标位置信息,该过程与前述无人机控制设备基于相对方位信息与无人机空间位置信息确定目标位置信息的过程类似,在此不再赘述。当然,本领域技术人员应能理解上述指挥设备仅为举例,其他现有的或今后可能出现的指挥设备如可适用于本申请,也应包含在本申请保护范围以内,并在此以引用方式包含于此。进一步地,在一些实施方式中,网络设备将所述导航路线信息发送至所述增强现实设备和所述指挥设备。例如,网络设备将该导航路线信息发送至增强现实设备的同时,还将该导航路线信息发送至该指挥设备,该导航路线信息包含增强现实设备所在的用户位置信息,供指挥设备进行参考,方便指挥设备对应的用户对增强现实设备端的用户进行团队协作任务的引导,实现多方交互时各方信息的共享同时,有利于协作效率的提升。
在一些实施方式中,所述导航路线信息包括但不限于:包含所述用户位置信息与所述目标位置信息的2D地图;包含所述用户位置信息与所述目标位置信息的3D地图;所述用户位置信息至所述目标位置信息的路线;所述用户位置信息至所述目标位置信息的指向信息;所述用户位置信息至所述目标位置信息的路线相关的指示信息。例如,导航路线信息包括增强现实设备对应的用户位置信息以及目标对象的目标位置信息,并将用户位置信息与目标位置信息呈现于地图中,所述地图数据包括但不限于2D地图、3D地图等;进一步地,导航路线信息还可以包括用户位置信息至目标位置信息对应的一条或者多条路线,以及路线对应的行程相关信息,如行程中的地标名称等,行程所需时间等;导航路线信息还包括用户位置信息至目标位置信息的指向信息,如在地图中显示向目标位置信息前进的相关方向等;导航路线信息还包括用户位置信息至目标位置信息的路线相关的指示信息,如网络设备还接收增强现实设备的传感数据信息(如加速度传感器、磁力传感器、方向传感器、陀螺仪、线性加速度等),并基于传感数据信息确定当前增强现实设备的前进方向、前进速度等,基于前进的方向和速度,在导航过程中在增强现实设备屏幕中呈现对应指示信息(如叠加的增强现实内容)引导增强现实设备对应用户更高效的前往目标位置信息,以实现实景导航。
在一些实施方式中,图2示出方法还包括步骤S15(未示出),在步骤S15中,网络设备接收增强现实设备发送的关于导航事件对应的实时导航请求信息,其中,所述实时导航请求信息包括所述增强现实设备对应的实时用户位置信息;网络设备获取关于所述导航事件对应的目标对象的实时目标位置信息,根据所述实时用户位置信息和所述实时目标位置信息确定所述实时导航请求信息对应的实时导航路线信息,将所述实时导航路线信息返回至所述增强现实设备。例如,网络设备实时接收增强现实设备发送的关于导航事件的实时用户位置信息,并基于上述方法,确定对应的实时导航路线信息,将该实时导航路线信息返回至增强现实设备,此处方法与上述类似,在此不再赘述。通过实时获取对应的导航路线信息,增强协作事件各方间的共享信息的时效性,提升了协作的效率。
参考图3,示出了一种用于在增强现实设备端确定目标对象的导航路线信息的方法,该方法同样可被应用于图1所示的系统,其中,该方法包括步骤S21、步骤S22和步骤S23。在步骤S21中,增强现实设备通过对应的定位装置获取关于所述增强现实设备的用户位置信息;在步骤S22中,增强现实设备基于所述用户位置信息确定导航事件对应的导航路线信息,其中,所述导航路线信息包括所述导航事件对应的目标对象的目标位置信息;在步骤S23中,增强现实设备在屏幕中叠加呈现所述导航路线信息。
例如,上述增强现实设备包括但不限于手机、平板和头戴式智能设备(智能眼镜/头盔)等计算设备;在一些情形下,以上所述的增强现实设备包括定位装置,用于通过GPS系统或者北斗系统等获取自身当前位置的经纬度信息等;该增强现实设备还可以将该用户位置信息(如获取到的经纬度信息)发送至云端或者其他设备端(如无人机控制设备或者指挥设备等);在一些实施方式中,该增强现实设备包括数据处理模块,增强现实模块接收其他设备发送的关于目标对象的目标位置信息,并基于该目标位置信息,在本地地图包数据中确定对应的导航路线信息等。该增强现实设备包括显示装置,用于呈现目标对象对应的导航路线信息,如通过在屏幕上叠加显示小窗,在小窗中显示相关2D或者3D地图,地图中标出相关的用户位置信息至目标位置信息对应的一条或者多条路线,标出方式包括但不限于在路线上呈现周围不同颜色线条、轮廓凸显、箭头指示等形式呈现,用于对识别的目标对象进行静态或者动态的指示,辅助增强现实对应的用户快速准确的注意图像中的导航路线信息;进一步地,该导航路线信息还包括一些增强现实内容,如根据增强现实设备的传感器数据等确定的关于用户当前位置的一些指示信息(如在用户第一视角画面中叠加显示向前走、拐弯或者转身回头走等箭头信息、导航路线或者还可以包括一些语音辅助信息等),辅助增强现实设备对应的用户快速前往目标对象的目标位置。当然,本领域技术人员应能理解上述增强现实设备仅为举例,其他现有的或今后可能出现的增强现实设备如可适用于本申请,也应包含在本申请保护范围以内,并在此以引用方式包含于此。
与上述从网络设备的角度提供的方法对应,在一些实施方式中,上述步骤S22中,增强现实设备向对应的网络设备发送导航请求信息,其中,所述导航请求信息包括所述用户位置信息;增强现实设备接收所述网络设备返回的、与所述导航请求信息对应的导航路线信息,其中,所述导航路线信息包括导航事件对应的目标对象的目标位置信息。例如,增强现实设备根据定位装置确定对应的用户位置信息,将该用户位置信息发送至网络设备,经网络设备处理后,接收网络设备返回的导航路线信息,并在当前屏幕中叠加呈现导航路线信息。
除上述与网络设备交互的方法外,在另一些实施方式中,增强现实设备与无人机控制设备直接建立了通信连接,增强现实设备将该用户位置信息发送至无人机控制设备端;无人机控制设备包括数据处理装置,用于根据获取的目标对象的目标位置信息与用户位置信息,结合无人机控制设备本地存储的地图包数据信息,利用最短路径Dijkstra、A*算法等或者基于对应用户的操作指令信息,确定对应的导航路线信息;随后,无人机控制设备将该导航路线信息返回至增强现实设备。如在上述步骤S22中,增强现实设备向对应的无人机控制设备发送导航请求信息,其中,所述导航请求信息包括所述用户位置信息,所述无人机控制设备与所述增强现实设备处于同一导航事件;增强现实设备接收所述无人机控制设备返回的、与所述导航请求信息对应的导航路线信息,其中,所述导航路线信息包括所述导航事件对应的目标对象的目标位置信息。在另一些实施方式中,增强现实设备将对应的用户位置信息通过与指挥设备的通信连接发送至指挥设备,指挥设备基于获取的目标对象的目标位置信息(如接收无人机控制设备直接发送的目标位置信息或者根据接收拍摄的图像信息确定的对应的目标位置信息等),结合指挥设备本地的地图包数据等,根据最短路径Dijkstra、A*算法等或者基于对应用户的操作指令信息,生成对应的导航路线信息,并将该导航路线信息返回至增强现实设备。如上述步骤S22中,增强现实设备向对应的指挥设备发送导航请求信息,其中,所述导航请求信息包括所述用户位置信息,所述指挥设备与所述增强现实设备处于同一导航事件;增强现实设备接收所述指挥设备返回的、与所述导航请求信息对应的导航路线信息,其中,所述导航路线信息包括所述导航事件对应的目标对象的目标位置信息。
在另一些实施方式中,上述步骤S22中,增强现实设备获取所述目标对象对应的目标位置信息,并基于所述用户位置信息与所述目标位置信息确定对应的导航路线信息。例如,增强现实设备获取目标对象的目标位置信息的方式包括:1)基于增强现实设备对应的用户在本地地图中操作指令(如点击或者框选地图中对应位置)等确定的目标位置信息,或者,增强现实设备接收无人机控制设备发送的关于目标对象的图像信息,增强现实设备可以获取当前无人机的空间位置信息,然后根据存储的无人机空间位置信息所对应的地图包数据,匹配识别对应的地标建筑等,在相关GIS系统等服务中确定对应的目标对象的目标位置信息,或者,增强现实设备用户点击或者框选无人机拍摄的图像信息确定目标对象在图像中的位置,在相应的GIS系统地图数据库中基于图像信息中地标建筑与地图数据包中对应地标建筑的位置信息确定目标对象的目标位置信息等;或者,基于无人机控制设备发送的图像信息以及其他相关信息(如无人机控制设备相对于目标对象的方位、无人机的空间位置信息等)确定所述指定目标的目标位置信息,该过程与前述无人机控制设备基于相对方位信息与无人机空间位置信息确定目标位置信息的过程类似,在此不再赘述。2)无人机控制设备对应的用户在本地地图中操作指令(如点击或者框选地图中对应位置)等确定的目标位置信息,或者无人机控制设备根据拍摄的图像信息和无人机的空间位置信息在地图包数据库中确定(如基于对应用户的操作指令等)的对应的目标位置信息或者无人机控制设备基于无人机图像信息利用计算机视觉算法确定对应目标位置信息,通过与增强现实设备的直接通信发送至增强现实设备,或者无人机控制设备基于对应的无人机与指定目标的相对方位信息,以及所述无人机的空间位置信息,确定所述指定目标的目标位置信息,方法与前述类似,在此不再赘述;3)指挥设备根据图像信息在本地地图包数据库中确定(如基于对应用户的操作指令信息等)确定对应的目标位置信息,并基于与增强现实设备的直接通信发送至增强现实设备,或者,指挥设备接收无人机控制设备发送的关于目标对象的图像信息,指挥设备可以获取当前无人机的空间位置信息,然后根据存储的无人机空间位置信息所对应的地图包数据,匹配识别对应的地标建筑等,在相关GIS系统等服务中确定对应的目标对象的目标位置信息,或者,指挥设备呈现所述图像信息时,指挥设备基于第三用户的操作指令(如点击或者框选图像信息确定目标对象在图像中的位置等)在相应的GIS系统地图数据库中基于图像信息中地标建筑与地图数据包中对应地标建筑的位置信息确定目标对象的目标位置信息等,或者,指挥设备基于无人机控制设备发送的图像信息以及其他相关信息(如无人机控制设备相对于目标对象的方位、无人机的空间位置信息等)确定所述指定目标的目标位置信息,该过程与前述无人机控制设备基于相对方位信息与无人机空间位置信息确定目标位置信息的过程类似,在此不再赘述。增强现实设备基于用户位置信息与目标位置信息,结合本地地图包数据等,确定对应的导航路线信息。
在一些实施方式中,图3所示方法还包括步骤S24(未示出),在步骤S24中,若所述导航路线信息中所述用户位置信息与所述目标位置信息间的距离阈值不超过第一距离阈值,增强现实设备在当前屏幕中识别跟踪所述目标对象。例如,在所述导航路线信息中,用户位置信息与目标位置信息的距离阈值不超过第一距离阈值(如50m等),增强现实设备在当前第一视角画面中基于目标对象的模板信息,识别跟踪目标对象,其中,目标对象的模板信息包括但不限于目标对象相关图像或者用于匹配的目标对象的特征信息等,该模板信息可以是本地存储的,可以是网络设备下发的,也可以无人机控制设备或者指挥设备发送至增强现实设备的。
在一些实施方式中,图3所示方法还包括步骤S25(未示出),在步骤S15中,增强现实设备通过对应的定位装置实时获取关于所述增强现实设备的实时用户位置信息,基于所述实时用户位置信息确定导航事件对应的实时导航路线信息,其中,所述实时导航路线信息包括所述导航事件对应的目标对象的实时目标位置信息;增强现实设备在屏幕中叠加呈现所述实时导航路线信息。例如,增强现实设备实时获取对应的实时用户位置信息,并基于上述方法,确定对应的实时导航路线信息,叠加呈现该实时导航路线信息,此处方法与上述类似,在此不再赘述。通过实时获取对应的导航路线信息,增强协作事件各方间的共享信息的时效性,提升了协作的效率。
上文主要结合从各种设备交互的角度对本申请实施例提供的方法进行了距离介绍,相对应的,本申请还提供了能够执行上述各方法的对应设备,下面结合图4和图5进行介绍。
参考图7,根据本申请的一个方面,提供了一种用于确定目标对象的图像位置信息的系统300,其中,该系统300包括:
增强现实设备通过对应的定位装置获取关于所述增强现实设备的用户位置信息,向对应的网络设备发送导航请求信息,其中,所述导航请求信息包括所述用户位置信息;
所述网络设备接收所述导航请求信息,获取关于导航事件对应的目标对象的目标位置信息,根据所述用户位置信息和所述目标位置信息确定所述导航请求信息对应的导航路线信息,并将所述导航路线信息返回至所述增强现实设备;
所述增强现实设备接收所述导航路线信息,并在屏幕中叠加呈现所述导航路线信息。
图4示出本申请一个方面的一种用于确定目标对象的导航路线信息的网络设备100,该设备可被应用于图1所示的系统,其中,该设备包括一一模块11、一二模块12、一三模块13和一四模块14。一一模块11,用于接收增强现实设备发送的关于导航事件对应的导航请求信息,其中,所述导航请求信息包括所述增强现实设备对应的用户位置信息;一二模块12,用于获取关于所述导航事件对应的目标对象的目标位置信息;一三模块13,用于根据所述用户位置信息和所述目标位置信息确定所述导航请求信息对应的导航路线信息;一四模块14,用于将所述导航路线信息返回至所述增强现实设备。
具体而言,一一模块11,用于接收增强现实设备发送的关于导航事件对应的导航请求信息,其中,所述导航请求信息包括所述增强现实设备对应的用户位置信息。例如,增强现实设备与网络设备建立了通信连接,增强现实设备通过该通信连接向网络设备发送导航事件对应的导航请求信息,其中,该导航请求信息包括用于计算导航路线信息的起始位置,如增强现实设备根据定位装置(如GPS定位或者北斗系统定位等)确定的当前的用户位置信息。其中,导航事件包括以增强现实设备对应的用户位置信息为起始位置,目标对象对应的目标位置信息为终点位置进行的路线规划事件。用户位置信息包括但不限于基于GPS定位或者北斗系统等定位装置确定的增强现实设备对应的当前的经纬度信息等。
一二模块12,用于获取关于所述导航事件对应的目标对象的目标位置信息。例如,目标位置信息包括但不限于基于GPS定位或者北斗系统等定位装置确定的关于导航事件目的地的目标对象的经纬度信息等。其中,网络设备获取目标对象的目标位置信息方式包括:1)直接接收其他设备发送的关于目标对象的目标位置信息,其中,其他设备可以是增强现实设备,可以是无人机控制设备,还可以是指挥设备;2)接收无人机控制设备发送的关于目标对象的图像信息,基于该图像信息匹配并确定对应的目标位置信息。其中,目标对象包括但不限于静止的对象(如建筑物等)和移动的对象(如移动的人或者车辆等);若目标对象是移动的对象,网络设备获取目标对象的目标位置信息的方式包括但不限于实时获取、间隔一定时间获取(如对于移动较缓慢的对象采用半分钟更新一次的方式等)等。
一三模块13,用于根据所述用户位置信息和所述目标位置信息确定所述导航请求信息对应的导航路线信息。例如,网络设备包含GIS系统,基于所述用户位置信息、目标位置信息以及GIS系统等,利用路径规划算法(如最短路径Dijkstra、A*算法等),计算确定对应的导航路线信息,其中,导航路线信息包括一条或者多条可选的从用户位置信息至目标位置信息的规划路径等。其中,网络设备计算该导航路线信息后,后续可以是实时更新该导航路线信息,或者基于一定时间间隔更新导航路线信息,或者间隔一定距离(如目标对象位置移动一定距离后更新)更新导航路线信息等方式。在一些实施方式中,网络设备还接收增强现实设备的传感数据信息(如加速度传感器、磁力传感器、方向传感器、陀螺仪、线性加速度等),并结合当前用户位置信息、目标位置信息和传感数据信息确定当前增强现实设备的具体导航路线信息,如关于增强现实设备当前朝向的指示信息(如左转、前进XX米等)等,当然,此处的指示信息可以是基于GIS(Geographic Information System,地理信息系统)地图信息中的方向指引,也可以是在增强现实屏幕中呈现于实景的叠加信息等。
一四模块14,用于将所述导航路线信息返回至所述增强现实设备。例如,网络设备通过与增强现实设备的通信连接,将导航路线信息返回至增强现实设备,增强现实设备接收并叠加呈现该导航路线信息,辅助增强现实设备对应的用户高效前往对应的目标对象所在地,提升团队协作的执行效率。
其中,上述网络设备包括但不限于采用应用虚拟化技术,集软件搜索、下载、使用、管理、备份等多种功能为一体,为网民搭建软件资源、软件应用和软件服务平台的集成式服务器等。在一些情形中,上述网络设备包括通信装置,用于与各客户端的用户设备(如增强现实设备、无人机控制设备、指挥设备等)建立通信连接,并通过该通信连接传递导航事件相关信息,如通过与增强现实设备的通信连接接收增强现实设备发送的关于导航事件的起始位置的用户位置信息,又如通过与无人机控制设备的通信连接接收无人机控制设备发送的关于到导航事件的终点位置的目标对象的目标位置信息等,还如将对应的导航路线信息通过与增强现实设备的通信连接发送至增强现实设备。所述网络设备还包括数据处理装置,用于处理所述用户位置信息和所述目标位置信息,结合该位置所在地图包信息,确定对应的导航路线信息等。当然,本领域技术人员应能理解上述网络设备仅为举例,其他现有的或今后可能出现的网络设备如可适用于本申请,也应包含在本申请保护范围以内,并在此以引用方式包含于此。
在一些实施方式中,一二模块12,用于接收无人机控制设备发送的关于导航事件对应的目标对象的目标位置信息,其中,所述无人机控制设备处于所述导航事件。例如,上述无人机控制设备包括但不限于无人机地面控制站等计算设备;在一些情形下,以上所述的无人机控制设备可用于接收无人机通过摄像装置拍摄的图像信息,该图像信息可以是静态的图片信息或者动态的视频信息,该图片信息或者视频信息中包含了协作事件对应的目标对象或者能够用于搜索协作事件对应的目标对象。该无人机控制设备还可以包括显示装置,用于呈现该图像信息,如通过在屏幕上显示图像信息,供无人机控制设备对应的第一用户(如“无人机飞手”)根据当前拍摄的图像信息做出对应的调整指令,实时调整无人机的拍摄姿态(如无人机飞行高度、拍摄角度等),获取视野良好、清晰显示关于目标对象的图像信息。无人机控制设备包括输入装置,例如无人机控制设备在本地地图上基于飞手的操作指令(如点击或者框选等)在相应的本地地图数据库中确定目标对象的目标位置信息;所述无人机控制设备还包括数据处理装置,用于处理所述图像信息,获取目标对象在图像信息中的图像位置信息,随后,无人机控制设备基于连续帧间的图像位置信息,利用计算机视觉算法(例如,基于SLAM(simultaneous localization and mapping,即时定位与地图构建)算法或者三维重构等获取空间位置信息),计算目标对象的目标位置信息;无人机控制设备可以实时获取无人机的空间位置信息,无人机控制设备本地存储有当前无人机的空间位置信息所对应的地图包数据,根据拍摄图像信息时无人机的空间位置信息,匹配识别对应的地标建筑等,在相关GIS系统等服务中确定对应的目标对象的目标位置信息,或者,基于无人机控制设备操作员的操作指令(如选中某地址或者输入某地址等),确定目标对象的对应地址;或者,无人机控制设备基于对应的无人机与指定目标的相对方位信息,以及所述无人机的空间位置信息,确定所述指定目标的目标位置信息。其中在一些实施例中,指定目标由无人机飞手在无人机控制设备上确定,例如在无人机控制设备的显示屏幕上通过点击、框选等方式确定。例如,在一个实施例中,无人机控制设备基于用户的选定操作,确定对应的指定目标,随后无人机控制设备控制无人机测量该指定目标与无人机的直线距离(例如,基于机载的激光测距仪获得),结合无人机自身的高度信息(例如,基于气压计获得),得到无人机和指定目标的水平距离,再根据无人机自身的经纬度信息(例如,基于GPS传感器获得)以及目标相对于无人机的方位角,最终确定指定目标的经纬度信息,并将该经纬度信息作为目标的目标位置信息。又例如,在另一个实施例中,无人机控制设备基于无人机的俯仰角度(例如,基于陀螺仪获得)确定无人机与指定目标之间连线与铅垂线的夹角,并根据该夹角和无人机的高度(例如,基于气压计获得)计算无人机与指定目标之间的水平距离,再根据无人机自身的经纬度信息(例如,基于GPS传感器获得)以及目标相对于无人机的方位角,最终确定指定目标的经纬度信息,并将该经纬度信息作为目标的目标位置信息。当然,本领域技术人员应能理解,以上所述的用于取得目标位置信息的方式仅为举例,其他现有的或者今后可能出现的获取方式如能适用于本申请,也包含在本申请的保护范围内,并以引用方式包含于此。无人机控制设备还包括通信装置,用于建立与网络设备的通信连接,如无人机控制设备将目标对象相关的空间位置信息通过与网络设备的通信连接发送至网络设备。当然,本领域技术人员应能理解上述无人机控制设备仅为举例,其他现有的或今后可能出现的无人机控制设备如可适用于本申请,也应包含在本申请保护范围以内,并在此以引用方式包含于此。进一步地,在一些实施方式中,上述一四模块14,用于将所述导航路线信息发送至所述增强现实设备和所述无人机控制设备。例如,网络设备将该导航路线信息发送至增强现实设备的同时,还将该导航路线信息发送至该无人机控制设备,该导航路线信息包含增强现实设备所在的用户位置信息,供无人机控制设备进行参考,实现多方交互时各方信息的共享,有利于协作效率的提升。
在一些实施方式中,无人机控制设备将对应无人机拍摄到的关于目标对象的图像信息直接发送至网络设备,网络设备基于该图像信息确定目标对象对应的空间位置信息。如上述一二模块12包括一二一单元121(未示出)和一二二单元122(未示出),一二一单元121,用于接收所述无人机控制设备发送的关于导航事件对应的目标对象的图像信息,其中,所述无人机控制设备处于所述导航事件;一二二单元122,用于根据所述图像信息确定所述目标对象对应的目标位置信息。例如,网络设备接收无人机控制设备发送的关于目标对象的图像信息,网络设备可以获取当前无人机的空间位置信息,然后根据存储的无人机空间位置信息所对应的地图包数据,匹配识别对应的地标建筑等,在相关GIS系统等服务中确定对应的目标对象的目标位置信息。又例如,网络设备接收无人机控制设备发送的关于目标对象的图像信息,网络设备存储有地图包数据中某些地标信息(如地标建筑)相关模板特征(如地标建筑的图片或者相关匹配特征等)以及这些地标信息对应的地标位置信息(如经纬度信息等)。网络设备基于图像信息在地表数据库中匹配,若匹配到对应的地标信息(如一个或多个地标建筑),综合该一个或多个地标建筑对应的经纬度信息,确定目标对象对应的经纬度信息,如将其中某一个地标建筑所对应的经纬度信息作为目标对象的经纬度信息,其中,该地标建筑的选择可以是随机选择,或者根据其他因素(如距离目标对象在图像上远近、便利性等)进行优选。如在一些实施方式中,上述一二二单元122,用于根据所述图像信息在地标数据库中进行匹配查询,确定所述图像信息对应的地标信息,其中,所述地标信息包括对应的地标位置信息;基于所述地标位置信息确定所述目标对象的目标位置信息。
在一些实施方式中,上述一二模块12,用于接收指挥设备发送的关于导航事件对应的目标对象的目标位置信息,其中,所述指挥设备处于所述导航事件。例如,指挥设备包括但不限于移动设备、PC设备、智能眼镜或头盔、集成式服务器等计算设备;指挥设备与网络设备通过有线或无线的方式建立通信连接,指挥设备包括显示装置,用于呈现目标对象的图像信息,如通过在屏幕上呈现所述图像信息或者叠加显示小窗,在小窗中显示图像信息,随后,在图像信息中标出目标对象在图像中的位置信息,如呈现对应的叠加信息,叠加信息包括但不限于目标对象的图像位置信息周围不同颜色框选、轮廓凸显、箭头指示、图片/视频呈现等形式。指挥设备包括输入装置,用于输入第三用户的操作指令,如指挥设备在本地地图上基于第三用户的操作指令(如点击或者框选等)在相应的本地地图数据库中确定目标对象的目标位置信息等;又如,指挥设备接收无人机控制设备发送的关于目标对象的图像信息,指挥设备可以获取当前无人机的空间位置信息,然后根据存储的无人机空间位置信息所对应的地图包数据,匹配识别对应的地标建筑等,在相关GIS系统等服务中确定对应的目标对象的目标位置信息。又如指挥设备呈现所述图像信息时,指挥设备基于第三用户的操作指令(如点击或者框选图像信息确定目标对象在图像中的位置等)在相应的GIS系统地图数据库中基于图像信息中地标建筑与地图数据包中对应地标建筑的位置信息确定目标对象的目标位置信息等;或者,指挥设备基于无人机控制设备发送的图像信息以及其他相关信息(如无人机控制设备相对于目标对象的方位、无人机的空间位置信息等)确定所述指定目标的目标位置信息,该过程与前述无人机控制设备基于相对方位信息与无人机空间位置信息确定目标位置信息的过程类似,在此不再赘述。当然,本领域技术人员应能理解上述指挥设备仅为举例,其他现有的或今后可能出现的指挥设备如可适用于本申请,也应包含在本申请保护范围以内,并在此以引用方式包含于此。进一步地,在一些实施方式中,网络设备将所述导航路线信息发送至所述增强现实设备和所述指挥设备。例如,网络设备将该导航路线信息发送至增强现实设备的同时,还将该导航路线信息发送至该指挥设备,该导航路线信息包含增强现实设备所在的用户位置信息,供指挥设备进行参考,方便指挥设备对应的用户对增强现实设备端的用户进行团队协作任务的引导,实现多方交互时各方信息的共享同时,有利于协作效率的提升。
在一些实施方式中,所述导航路线信息包括但不限于:包含所述用户位置信息与所述目标位置信息的2D地图;包含所述用户位置信息与所述目标位置信息的3D地图;所述用户位置信息至所述目标位置信息的路线;所述用户位置信息至所述目标位置信息的指向信息;所述用户位置信息至所述目标位置信息的路线相关的指示信息。例如,导航路线信息包括增强现实设备对应的用户位置信息以及目标对象的目标位置信息,并将用户位置信息与目标位置信息呈现于地图中,所述地图数据包括但不限于2D地图、3D地图等;进一步地,导航路线信息还可以包括用户位置信息至目标位置信息对应的一条或者多条路线,以及路线对应的行程相关信息,如行程中的地标名称等,行程所需时间等;导航路线信息还包括用户位置信息至目标位置信息的指向信息,如在地图中显示向目标位置信息前进的相关方向等;导航路线信息还包括用户位置信息至目标位置信息的路线相关的指示信息,如网络设备还接收增强现实设备的传感数据信息(如加速度传感器、磁力传感器、方向传感器、陀螺仪、线性加速度等),并基于传感数据信息确定当前增强现实设备的前进方向、前进速度等,基于前进的方向和速度,在导航过程中在增强现实设备屏幕中呈现对应指示信息(如叠加的增强现实内容)引导增强现实设备对应用户更高效的前往目标位置信息,以实现实景导航。
在一些实施方式中,图4所示设备还包括一五模块15(未示出),一五模块15,用于接收增强现实设备发送的关于导航事件对应的实时导航请求信息,其中,所述实时导航请求信息包括所述增强现实设备对应的实时用户位置信息;网络设备获取关于所述导航事件对应的目标对象的实时目标位置信息,根据所述实时用户位置信息和所述实时目标位置信息确定所述实时导航请求信息对应的实时导航路线信息,将所述实时导航路线信息返回至所述增强现实设备。例如,网络设备实时接收增强现实设备发送的关于导航事件的实时用户位置信息,并基于上述方法,确定对应的实时导航路线信息,将该实时导航路线信息返回至增强现实设备,此处方法与上述类似,在此不再赘述。通过实时获取对应的导航路线信息,增强协作事件各方间的共享信息的时效性,提升了协作的效率。
参考图5,示出了一种用于确定目标对象的导航路线信息的增强现实设备200,该设备同样可被应用于图1所示的系统,其中,该设备包括二一模块21、二二模块22和二三模块23。二一模块21,用于通过对应的定位装置获取关于所述增强现实设备的用户位置信息;二二模块22,用于基于所述用户位置信息确定导航事件对应的导航路线信息,其中,所述导航路线信息包括所述导航事件对应的目标对象的目标位置信息;二三模块23,用于在屏幕中叠加呈现所述导航路线信息。
例如,上述增强现实设备包括但不限于手机、平板和头戴式智能设备(智能眼镜/头盔)等计算设备;在一些情形下,以上所述的增强现实设备包括定位装置,用于通过GPS系统或者北斗系统等获取自身当前位置的经纬度信息等;该增强现实设备还可以将该用户位置信息(如获取到的经纬度信息)发送至云端或者其他设备端(如无人机控制设备或者指挥设备等);在一些实施方式中,该增强现实设备包括数据处理模块,增强现实模块接收其他设备发送的关于目标对象的目标位置信息,并基于该目标位置信息,在本地地图包数据中确定对应的导航路线信息等。该增强现实设备包括显示装置,用于呈现目标对象对应的导航路线信息,如通过在屏幕上叠加显示小窗,在小窗中显示相关2D或者3D地图,地图中标出相关的用户位置信息至目标位置信息对应的一条或者多条路线,标出方式包括但不限于在路线上呈现周围不同颜色线条、轮廓凸显、箭头指示等形式呈现,用于对识别的目标对象进行静态或者动态的指示,辅助增强现实对应的用户快速准确的注意图像中的导航路线信息;进一步地,该导航路线信息还包括一些增强现实内容,如根据增强现实设备的传感器数据等确定的关于用户当前位置的一些指示信息(如在用户第一视角画面中叠加显示向前走、拐弯或者转身回头走等箭头信息、导航路线或者还可以包括一些语音辅助信息等),辅助增强现实设备对应的用户快速前往目标对象的目标位置。当然,本领域技术人员应能理解上述增强现实设备仅为举例,其他现有的或今后可能出现的增强现实设备如可适用于本申请,也应包含在本申请保护范围以内,并在此以引用方式包含于此。
与上述实施例所述网络设备对应,在一些实施方式中,上述二二模块22,用于向对应的网络设备发送导航请求信息,其中,所述导航请求信息包括所述用户位置信息;增强现实设备接收所述网络设备返回的、与所述导航请求信息对应的导航路线信息,其中,所述导航路线信息包括导航事件对应的目标对象的目标位置信息。例如,增强现实设备根据定位装置确定对应的用户位置信息,将该用户位置信息发送至网络设备,经网络设备处理后,接收网络设备返回的导航路线信息,并在当前屏幕中叠加呈现导航路线信息。
除上述与网络设备外,在另一些实施方式中,增强现实设备与无人机控制设备直接建立了通信连接,增强现实设备将该用户位置信息发送至无人机控制设备端;无人机控制设备包括数据处理装置,用于根据获取的目标对象的目标位置信息与用户位置信息,结合无人机控制设备本地存储的地图包数据信息,利用最短路径Dijkstra、A*算法等或者基于对应用户的操作指令信息,确定对应的导航路线信息;随后,无人机控制设备将该导航路线信息返回至增强现实设备。如在上述二二模块22,用于向对应的无人机控制设备发送导航请求信息,其中,所述导航请求信息包括所述用户位置信息,所述无人机控制设备与所述增强现实设备处于同一导航事件;增强现实设备接收所述无人机控制设备返回的、与所述导航请求信息对应的导航路线信息,其中,所述导航路线信息包括所述导航事件对应的目标对象的目标位置信息。在另一些实施方式中,增强现实设备将对应的用户位置信息通过与指挥设备的通信连接发送至指挥设备,指挥设备基于获取的目标对象的目标位置信息(如接收无人机控制设备直接发送的目标位置信息或者根据接收拍摄的图像信息确定的对应的目标位置信息等),结合指挥设备本地的地图包数据等,根据最短路径Dijkstra、A*算法等或者基于对应用户的操作指令信息,生成对应的导航路线信息,并将该导航路线信息返回至增强现实设备。如上述二二模块22,用于向对应的指挥设备发送导航请求信息,其中,所述导航请求信息包括所述用户位置信息,所述指挥设备与所述增强现实设备处于同一导航事件;增强现实设备接收所述指挥设备返回的、与所述导航请求信息对应的导航路线信息,其中,所述导航路线信息包括所述导航事件对应的目标对象的目标位置信息。
在另一些实施方式中,上述二二模块22,用于获取所述目标对象对应的目标位置信息,并基于所述用户位置信息与所述目标位置信息确定对应的导航路线信息。例如,增强现实设备获取目标对象的目标位置信息的方式包括:1)基于增强现实设备对应的用户在本地地图中操作指令(如点击或者框选地图中对应位置)等确定的目标位置信息,或者,增强现实设备接收无人机控制设备发送的关于目标对象的图像信息,增强现实设备可以获取当前无人机的空间位置信息,然后根据存储的无人机空间位置信息所对应的地图包数据,匹配识别对应的地标建筑等,在相关GIS系统等服务中确定对应的目标对象的目标位置信息,或者,增强现实设备用户点击或者框选无人机拍摄的图像信息确定目标对象在图像中的位置,在相应的GIS系统地图数据库中基于图像信息中地标建筑与地图数据包中对应地标建筑的位置信息确定目标对象的目标位置信息等;或者,基于无人机控制设备发送的图像信息以及其他相关信息(如无人机控制设备相对于目标对象的方位、无人机的空间位置信息等)确定所述指定目标的目标位置信息,该过程与前述无人机控制设备基于相对方位信息与无人机空间位置信息确定目标位置信息的过程类似,在此不再赘述。2)无人机控制设备对应的用户在本地地图中操作指令(如点击或者框选地图中对应位置)等确定的目标位置信息,或者无人机控制设备根据拍摄的图像信息和无人机的空间位置信息在地图包数据库中确定(如基于对应用户的操作指令等)的对应的目标位置信息或者无人机控制设备基于无人机图像信息利用计算机视觉算法确定对应目标位置信息,通过与增强现实设备的直接通信发送至增强现实设备,或者无人机控制设备基于对应的无人机与指定目标的相对方位信息,以及所述无人机的空间位置信息,确定所述指定目标的目标位置信息,方法与前述类似,在此不再赘述;3)指挥设备根据图像信息在本地地图包数据库中确定(如基于对应用户的操作指令信息等)确定对应的目标位置信息,并基于与增强现实设备的直接通信发送至增强现实设备,或者,指挥设备接收无人机控制设备发送的关于目标对象的图像信息,指挥设备可以获取当前无人机的空间位置信息,然后根据存储的无人机空间位置信息所对应的地图包数据,匹配识别对应的地标建筑等,在相关GIS系统等服务中确定对应的目标对象的目标位置信息,或者,指挥设备呈现所述图像信息时,指挥设备基于第三用户的操作指令(如点击或者框选图像信息确定目标对象在图像中的位置等)在相应的GIS系统地图数据库中基于图像信息中地标建筑与地图数据包中对应地标建筑的位置信息确定目标对象的目标位置信息等,或者,指挥设备基于无人机控制设备发送的图像信息以及其他相关信息(如无人机控制设备相对于目标对象的方位、无人机的空间位置信息等)确定所述指定目标的目标位置信息,该过程与前述无人机控制设备基于相对方位信息与无人机空间位置信息确定目标位置信息的过程类似,在此不再赘述。增强现实设备基于用户位置信息与目标位置信息,结合本地地图包数据等,确定对应的导航路线信息。
在一些实施方式中,图5所示设备还包括二四模块24(未示出),二四模块24,若所述导航路线信息中所述用户位置信息与所述目标位置信息间的距离阈值不超过第一距离阈值,用于增强现实设备在当前屏幕中识别跟踪所述目标对象。例如,在所述导航路线信息中,用户位置信息与目标位置信息的距离阈值不超过第一距离阈值(如50m等),增强现实设备在当前第一视角画面中基于目标对象的模板信息,识别跟踪目标对象,其中,目标对象的模板信息包括但不限于目标对象相关图像或者用于匹配的目标对象的特征信息等,该模板信息可以是本地存储的,可以是网络设备下发的,也可以无人机控制设备或者指挥设备发送至增强现实设备的。
在一些实施方式中,图5所示设备还包括二五模块25(未示出),二五模块25,用于通过对应的定位装置实时获取关于所述增强现实设备的实时用户位置信息,基于所述实时用户位置信息确定导航事件对应的实时导航路线信息,其中,所述实时导航路线信息包括所述导航事件对应的目标对象的实时目标位置信息;增强现实设备在屏幕中叠加呈现所述实时导航路线信息。例如,增强现实设备实时获取对应的的实时用户位置信息,并基于上述方法,确定对应的实时导航路线信息,叠加呈现该实时导航路线信息,此处方法与上述类似,在此不再赘述。通过实时获取对应的导航路线信息,增强协作事件各方间的共享信息的时效性,提升了协作的效率。
上文主要从各种设备交互以及对应设备的角度对本申请各实施例提供的方法和设备进行了介绍,除上文所述方法和设备外,本申请还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机代码,当所述计算机代码被执行时,如前任一项所述的方法被执行。
本申请还提供了一种计算机程序产品,当所述计算机程序产品被计算机设备执行时,如前任一项所述的方法被执行。
本申请还提供了一种计算机设备,所述计算机设备包括:
一个或多个处理器;
存储器,用于存储一个或多个计算机程序;
当所述一个或多个计算机程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现如前任一项所述的方法。
图8示出了可被用于实施本申请中所述的各个实施例的示例性系统;
如图8所示在一些实施例中,系统400能够作为各所述实施例中的任意一个上述设备。在一些实施例中,系统400可包括具有指令的一个或多个计算机可读介质(例如,系统存储器或NVM/存储设备420)以及与该一个或多个计算机可读介质耦合并被配置为执行指令以实现模块从而执行本申请中所述的动作的一个或多个处理器(例如,(一个或多个)处理器405)。
对于一个实施例,系统控制模块410可包括任意适当的接口控制器,以向(一个或多个)处理器405中的至少一个和/或与系统控制模块410通信的任意适当的设备或组件提供任意适当的接口。
系统控制模块410可包括存储器控制器模块430,以向系统存储器415提供接口。存储器控制器模块430可以是硬件模块、软件模块和/或固件模块。
系统存储器415可被用于例如为系统400加载和存储数据和/或指令。对于一个实施例,系统存储器415可包括任意适当的易失性存储器,例如,适当的DRAM。在一些实施例中,系统存储器415可包括双倍数据速率类型四同步动态随机存取存储器(DDR4SDRAM)。
对于一个实施例,系统控制模块410可包括一个或多个输入/输出(I/O)控制器,以向NVM/存储设备420及(一个或多个)通信接口425提供接口。
例如,NVM/存储设备420可被用于存储数据和/或指令。NVM/存储设备420可包括任意适当的非易失性存储器(例如,闪存)和/或可包括任意适当的(一个或多个)非易失性存储设备(例如,一个或多个硬盘驱动器(HDD)、一个或多个光盘(CD)驱动器和/或一个或多个数字通用光盘(DVD)驱动器)。
NVM/存储设备420可包括在物理上作为系统400被安装在其上的设备的一部分的存储资源,或者其可被该设备访问而不必作为该设备的一部分。例如,NVM/存储设备420可通过网络经由(一个或多个)通信接口425进行访问。
(一个或多个)通信接口425可为系统400提供接口以通过一个或多个网络和/或与任意其他适当的设备通信。系统400可根据一个或多个无线网络标准和/或协议中的任意标准和/或协议来与无线网络的一个或多个组件进行无线通信。
对于一个实施例,(一个或多个)处理器405中的至少一个可与系统控制模块410的一个或多个控制器(例如,存储器控制器模块430)的逻辑封装在一起。对于一个实施例,(一个或多个)处理器405中的至少一个可与系统控制模块410的一个或多个控制器的逻辑封装在一起以形成系统级封装(SiP)。对于一个实施例,(一个或多个)处理器405中的至少一个可与系统控制模块410的一个或多个控制器的逻辑集成在同一模具上。对于一个实施例,(一个或多个)处理器405中的至少一个可与系统控制模块410的一个或多个控制器的逻辑集成在同一模具上以形成片上系统(SoC)。
在各个实施例中,系统400可以但不限于是:服务器、工作站、台式计算设备或移动计算设备(例如,膝上型计算设备、手持计算设备、平板电脑、上网本等)。在各个实施例中,系统400可具有更多或更少的组件和/或不同的架构。例如,在一些实施例中,系统400包括一个或多个摄像机、键盘、液晶显示器(LCD)屏幕(包括触屏显示器)、非易失性存储器端口、多个天线、图形芯片、专用集成电路(ASIC)和扬声器。
需要注意的是,本申请可在软件和/或软件与硬件的组合体中被实施,例如,可采用专用集成电路(ASIC)、通用目的计算机或任何其他类似硬件设备来实现。在一个实施例中,本申请的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地,本申请的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中,例如,RAM存储器,磁或光驱动器或软磁盘及类似设备。另外,本申请的一些步骤或功能可采用硬件来实现,例如,作为与处理器配合从而执行各个步骤或功能的电路。
另外,本申请的一部分可被应用为计算机程序产品,例如计算机程序指令,当其被计算机执行时,通过该计算机的操作,可以调用或提供根据本申请的方法和/或技术方案。本领域技术人员应能理解,计算机程序指令在计算机可读介质中的存在形式包括但不限于源文件、可执行文件、安装包文件等,相应地,计算机程序指令被计算机执行的方式包括但不限于:该计算机直接执行该指令,或者该计算机编译该指令后再执行对应的编译后程序,或者该计算机读取并执行该指令,或者该计算机读取并安装该指令后再执行对应的安装后程序。在此,计算机可读介质可以是可供计算机访问的任意可用的计算机可读存储介质或通信介质。
通信介质包括藉此包含例如计算机可读指令、数据结构、程序模块或其他数据的通信信号被从一个系统传送到另一系统的介质。通信介质可包括有导的传输介质(诸如电缆和线(例如,光纤、同轴等))和能传播能量波的无线(未有导的传输)介质,诸如声音、电磁、RF、微波和红外。计算机可读指令、数据结构、程序模块或其他数据可被体现为例如无线介质(诸如载波或诸如被体现为扩展频谱技术的一部分的类似机制)中的已调制数据信号。术语“已调制数据信号”指的是其一个或多个特征以在信号中编码信息的方式被更改或设定的信号。调制可以是模拟的、数字的或混合调制技术。
作为示例而非限制,计算机可读存储介质可包括以用于存储诸如计算机可读指令、数据结构、程序模块或其它数据的信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动的介质。例如,计算机可读存储介质包括,但不限于,易失性存储器,诸如随机存储器(RAM,DRAM,SRAM);以及非易失性存储器,诸如闪存、各种只读存储器(ROM,PROM,EPROM,EEPROM)、磁性和铁磁/铁电存储器(MRAM,FeRAM);以及磁性和光学存储设备(硬盘、磁带、CD、DVD);或其它现在已知的介质或今后开发的能够存储供计算机系统使用的计算机可读信息/数据。
在此,根据本申请的一个实施例包括一个装置,该装置包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器,其中,当该计算机程序指令被该处理器执行时,触发该装置运行基于前述根据本申请的多个实施例的方法和/或技术方案。
对于本领域技术人员而言,显然本申请不限于上述示范性实施例的细节,而且在不背离本申请的精神或基本特征的情况下,能够以其他的具体形式实现本申请。因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本申请的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外,显然“包括”一词不排除其他单元或步骤,单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一,第二等词语用来表示名称,而并不表示任何特定的顺序。

Claims (36)

1.一种用于在网络设备端确定目标对象的导航路线信息的方法,其中,该方法包括:
接收增强现实设备发送的关于导航事件对应的导航请求信息,其中,所述导航请求信息包括所述增强现实设备对应的用户位置信息;
获取关于所述导航事件对应的目标对象的目标位置信息;
根据所述用户位置信息和所述目标位置信息确定所述导航请求信息对应的导航路线信息;
将所述导航路线信息返回至所述增强现实设备。
2.根据权利要求1所述的方法,其中,所述获取关于所述导航事件对应的目标对象的目标位置信息,包括:
接收无人机控制设备发送的关于导航事件对应的目标对象的目标位置信息,其中,所述无人机控制设备处于所述导航事件。
3.根据权利要求2所述的方法,其中,所述将所述导航路线信息返回至所述增强现实设备,包括:
将所述导航路线信息发送至所述增强现实设备和所述无人机控制设备。
4.根据权利要求1所述的方法,其中,所述获取关于所述导航事件对应的目标对象的目标位置信息,包括:
接收所述无人机控制设备发送的关于导航事件对应的目标对象的图像信息,其中,所述无人机控制设备处于所述导航事件;
根据所述图像信息确定所述目标对象对应的目标位置信息。
5.根据权利要求4所述的方法,其中,所述根据所述图像信息确定所述目标对象对应的目标位置信息,包括:
根据所述图像信息在地标数据库中进行匹配查询,确定所述图像信息对应的地标信息,其中,所述地标信息包括对应的地标位置信息;
基于所述地标位置信息确定所述目标对象的目标位置信息。
6.根据权利要求1所述的方法,其中,所述获取关于所述导航事件对应的目标对象的目标位置信息,包括:
接收指挥设备发送的关于导航事件对应的目标对象的目标位置信息,其中,所述指挥设备处于所述导航事件。
7.根据权利要求6所述的方法,其中,所述将所述导航路线信息返回至所述增强现实设备,包括:
将所述导航路线信息发送至所述增强现实设备和所述指挥设备。
8.根据权利要求1至7中任一项所述的方法,其中,所述导航路线信息包括以下至少任一项:
包含所述用户位置信息与所述目标位置信息的2D地图;
包含所述用户位置信息与所述目标位置信息的3D地图;
所述用户位置信息至所述目标位置信息的路线;
所述用户位置信息至所述目标位置信息的指向信息;
所述用户位置信息至所述目标位置信息的路线相关的指示信息。
9.根据权利要求1至8中任一项所述的方法,其中,所述方法还包括:
接收增强现实设备发送的关于导航事件对应的实时导航请求信息,其中,所述实时导航请求信息包括所述增强现实设备对应的实时用户位置信息;
获取关于所述导航事件对应的目标对象的实时目标位置信息;
根据所述实时用户位置信息和所述实时目标位置信息确定所述实时导航请求信息对应的实时导航路线信息;
将所述实时导航路线信息返回至所述增强现实设备。
10.一种用于在增强现实设备端确定目标对象的导航路线信息的方法,其中,该方法包括:
通过对应的定位装置获取关于所述增强现实设备的用户位置信息;
基于所述用户位置信息确定导航事件对应的导航路线信息,其中,所述导航路线信息包括所述导航事件对应的目标对象的目标位置信息;
在屏幕中叠加呈现所述导航路线信息。
11.根据权利要求10所述的方法,其中,所述基于所述用户位置信息确定导航事件对应的导航路线信息,其中,所述导航路线信息包括所述导航事件对应的目标对象的目标位置信息,包括:
向对应的网络设备发送导航请求信息,其中,所述导航请求信息包括所述用户位置信息;
接收所述网络设备返回的、与所述导航请求信息对应的导航路线信息,其中,所述导航路线信息包括导航事件对应的目标对象的目标位置信息。
12.根据权利要求10所述的方法,其中,所述基于所述用户位置信息确定导航事件对应的导航路线信息,其中,所述导航路线信息包括所述导航事件对应的目标对象的目标位置信息,包括:
向对应的无人机控制设备发送导航请求信息,其中,所述导航请求信息包括所述用户位置信息,所述无人机控制设备与所述增强现实设备处于同一导航事件;
接收所述无人机控制设备返回的、与所述导航请求信息对应的导航路线信息,其中,所述导航路线信息包括所述导航事件对应的目标对象的目标位置信息。
13.根据权利要求10所述的方法,其中,所述基于所述用户位置信息确定导航事件对应的导航路线信息,其中,所述导航路线信息包括所述导航事件对应的目标对象的目标位置信息,包括:
向对应的指挥设备发送导航请求信息,其中,所述导航请求信息包括所述用户位置信息,所述指挥设备与所述增强现实设备处于同一导航事件;
接收所述指挥设备返回的、与所述导航请求信息对应的导航路线信息,其中,所述导航路线信息包括所述导航事件对应的目标对象的目标位置信息。
14.根据权利要求10所述的方法,其中,所述基于所述用户位置信息确定导航事件对应的导航路线信息,其中,所述导航路线信息包括所述导航事件对应的目标对象的目标位置信息,包括:
获取所述目标对象对应的目标位置信息;
基于所述用户位置信息与所述目标位置信息确定对应的导航路线信息。
15.根据权利要求10至14中任一项所述的方法,其中,所述方法还包括:
若所述导航路线信息中所述用户位置信息与所述目标位置信息间的距离阈值不超过第一距离阈值,在当前屏幕中识别跟踪所述目标对象。
16.根据权利要求10至15中任一项所述的方法,其中,所述方法还包括:
通过对应的定位装置实时获取关于所述增强现实设备的实时用户位置信息;
基于所述实时用户位置信息确定导航事件对应的实时导航路线信息,其中,所述实时导航路线信息包括所述导航事件对应的目标对象的实时目标位置信息;
在屏幕中叠加呈现所述实时导航路线信息。
17.一种用于确定目标对象的导航路线信息的网络设备,其中,该设备包括:
一一模块,用于接收增强现实设备发送的关于导航事件对应的导航请求信息,其中,所述导航请求信息包括所述增强现实设备对应的用户位置信息;
一二模块,用于获取关于所述导航事件对应的目标对象的目标位置信息;
一三模块,用于根据所述用户位置信息和所述目标位置信息确定所述导航请求信息对应的导航路线信息;
一四模块,用于所述导航路线信息返回至所述增强现实设备。
18.根据权利要求17所述的设备,其中,所述一二模块用于:
接收无人机控制设备发送的关于导航事件对应的目标对象的目标位置信息,其中,所述无人机控制设备处于所述导航事件。
19.根据权利要求18所述的设备,其中,所述一四模块用于:
将所述导航路线信息发送至所述增强现实设备和所述无人机控制设备。
20.根据权利要求17所述的设备,其中,所述一二模块包括:
一二一单元,用于接收所述无人机控制设备发送的关于导航事件对应的目标对象的图像信息,其中,所述无人机控制设备处于所述导航事件;
一二二单元,用于根据所述图像信息确定所述目标对象对应的目标位置信息。
21.根据权利要求20所述的设备,其中,所述一二二单元用于:
根据所述图像信息在地标数据库中进行匹配查询,确定所述图像信息对应的地标信息,其中,所述地标信息包括对应的地标位置信息;
基于所述地标位置信息确定所述目标对象的目标位置信息。
22.根据权利要求17所述的设备,其中,所述一二模块用于:
接收指挥设备发送的关于导航事件对应的目标对象的目标位置信息,其中,所述指挥设备处于所述导航事件。
23.根据权利要求22所述的设备,其中,所述一四模块用于:
将所述导航路线信息发送至所述增强现实设备和所述指挥设备。
24.根据权利要求17至23中任一项所述的设备,其中,所述导航路线信息包括以下至少任一项:
包含所述用户位置信息与所述目标位置信息的2D地图;
包含所述用户位置信息与所述目标位置信息的3D地图;
所述用户位置信息至所述目标位置信息的路线;
所述用户位置信息至所述目标位置信息的指向信息;
所述用户位置信息至所述目标位置信息的路线相关的指示信息。
25.根据权利要求17至24中任一项所述的设备,其中,所述设备还包括一五模块,该一五模块用于:
接收增强现实设备发送的关于导航事件对应的实时导航请求信息,其中,所述实时导航请求信息包括所述增强现实设备对应的实时用户位置信息;
获取关于所述导航事件对应的目标对象的实时目标位置信息;
根据所述实时用户位置信息和所述实时目标位置信息确定所述实时导航请求信息对应的实时导航路线信息;
将所述实时导航路线信息返回至所述增强现实设备。
26.一种用于确定目标对象的导航路线信息的增强现实设备,其中,该设备包括:
二一模块,用于通过对应的定位装置获取关于所述增强现实设备的用户位置信息;
二二模块,用于基于所述用户位置信息确定导航事件对应的导航路线信息,其中,所述导航路线信息包括所述导航事件对应的目标对象的目标位置信息;
二三模块,用于在屏幕中叠加呈现所述导航路线信息。
27.根据权利要求26所述的设备,其中,所述二二模块包括:
二二一单元,用于向对应的网络设备发送导航请求信息,其中,所述导航请求信息包括所述用户位置信息;
二二二单元,用于接收所述网络设备返回的、与所述导航请求信息对应的导航路线信息,其中,所述导航路线信息包括导航事件对应的目标对象的目标位置信息。
28.根据权利要求26所述的设备,其中,所述二二模块用于:
向对应的无人机控制设备发送导航请求信息,其中,所述导航请求信息包括所述用户位置信息,所述无人机控制设备与所述增强现实设备处于同一导航事件;
接收所述无人机控制设备返回的、与所述导航请求信息对应的导航路线信息,其中,所述导航路线信息包括所述导航事件对应的目标对象的目标位置信息。
29.根据权利要求26所述的设备,其中,所述二二模块用于:
向对应的指挥设备发送导航请求信息,其中,所述导航请求信息包括所述用户位置信息,所述指挥设备与所述增强现实设备处于同一导航事件;
接收所述指挥设备返回的、与所述导航请求信息对应的导航路线信息,其中,所述导航路线信息包括所述导航事件对应的目标对象的目标位置信息。
30.根据权利要求26所述的设备,其中,所述二二模块用于:
获取所述目标对象对应的目标位置信息;
基于所述用户位置信息与所述目标位置信息确定对应的导航路线信息。
31.根据权利要求26至30中任一项所述的设备,其中,所述设备还包括二四模块,该二四模块用于:
若所述导航路线信息中所述用户位置信息与所述目标位置信息间的距离阈值不超过第一距离阈值,在当前屏幕中识别跟踪所述目标对象。
32.根据权利要求26至31中任一项所述的设备,其中,所述设备还包括二五模块,该二五模块用于:
通过对应的定位装置实时获取关于所述增强现实设备的实时用户位置信息;
基于所述实时用户位置信息确定导航事件对应的实时导航路线信息,其中,所述实时导航路线信息包括所述导航事件对应的目标对象的实时目标位置信息;
在屏幕中叠加呈现所述实时导航路线信息。
33.一种用于确定目标对象的导航路线信息的方法,其中,该方法包括:
增强现实设备通过对应的定位装置获取关于所述增强现实设备的用户位置信息,向对应的网络设备发送导航请求信息,其中,所述导航请求信息包括所述用户位置信息;
所述网络设备接收所述导航请求信息,获取关于导航事件对应的目标对象的目标位置信息,根据所述用户位置信息和所述目标位置信息确定所述导航请求信息对应的导航路线信息,并将所述导航路线信息返回至所述增强现实设备;
所述增强现实设备接收所述导航路线信息,并在屏幕中叠加呈现所述导航路线信息。
34.一种用于确定目标对象的导航路线信息的系统,其中,该系统包括如权利要求17至25中任一项所述的网络设备及如权利要求27所述的增强现实设备。
35.一种用于确定目标对象的导航路线信息的设备,其中,该设备包括:
处理器;以及
被安排成存储计算机可执行指令的存储器,所述可执行指令在被执行时使所述处理器执行如权利要求1至16中任一项所述方法的操作。
36.一种包括指令的计算机可读介质,所述指令在被执行时使得系统进行如权利要求1至16中任一项所述方法的操作。
CN201811397264.XA 2018-11-22 2018-11-22 一种用于确定目标对象的导航路线信息的方法与设备 Active CN109459029B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811397264.XA CN109459029B (zh) 2018-11-22 2018-11-22 一种用于确定目标对象的导航路线信息的方法与设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811397264.XA CN109459029B (zh) 2018-11-22 2018-11-22 一种用于确定目标对象的导航路线信息的方法与设备

Publications (2)

Publication Number Publication Date
CN109459029A true CN109459029A (zh) 2019-03-12
CN109459029B CN109459029B (zh) 2021-06-29

Family

ID=65611242

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811397264.XA Active CN109459029B (zh) 2018-11-22 2018-11-22 一种用于确定目标对象的导航路线信息的方法与设备

Country Status (1)

Country Link
CN (1) CN109459029B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110248157A (zh) * 2019-05-25 2019-09-17 亮风台(上海)信息科技有限公司 一种进行执勤调度的方法与设备
CN110750611A (zh) * 2019-10-16 2020-02-04 上海掌门科技有限公司 一种用于提供避雨信息的方法与设备
CN111124128A (zh) * 2019-12-24 2020-05-08 Oppo广东移动通信有限公司 位置提示方法及相关产品
CN112445204A (zh) * 2019-08-15 2021-03-05 长沙智能驾驶研究院有限公司 工地中的物体移动导航方法、装置和计算机设备
WO2021073268A1 (zh) * 2019-10-15 2021-04-22 北京市商汤科技开发有限公司 一种增强现实数据呈现方法、装置、电子设备及存储介质
CN113643708A (zh) * 2021-08-27 2021-11-12 京东方科技集团股份有限公司 参会人声纹识别方法、装置、电子设备及存储介质
WO2022110159A1 (zh) * 2020-11-30 2022-06-02 深圳市大疆创新科技有限公司 定位方法、装置、可移动平台、地标及地标阵列
CN115460539A (zh) * 2022-06-30 2022-12-09 亮风台(上海)信息科技有限公司 一种获取电子围栏的方法、设备、介质及程序产品

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102436488A (zh) * 2011-11-03 2012-05-02 百度在线网络技术(北京)有限公司 获取与目标联系对象相对应的到达路线信息的方法与设备
CN103335657A (zh) * 2013-05-30 2013-10-02 佛山电视台南海分台 一种基于图像捕获和识别技术增强导航功能的方法和系统
CN106595641A (zh) * 2016-12-29 2017-04-26 深圳前海弘稼科技有限公司 一种旅游导航方法及装置
CN206193950U (zh) * 2016-08-31 2017-05-24 陈昊 基于增强现实的无人飞行器体验系统
US20180165885A1 (en) * 2016-12-14 2018-06-14 II Jonathan M. Rodriguez Systems and Methods for Creating and Sharing a 3-Dimensional Augmented Reality Space
CN108200415A (zh) * 2018-03-16 2018-06-22 广州成至智能机器科技有限公司 基于增强现实技术的无人机图像画面处理系统及其方法
CN108769517A (zh) * 2018-05-29 2018-11-06 亮风台(上海)信息科技有限公司 一种基于增强现实进行远程辅助的方法与设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102436488A (zh) * 2011-11-03 2012-05-02 百度在线网络技术(北京)有限公司 获取与目标联系对象相对应的到达路线信息的方法与设备
CN103335657A (zh) * 2013-05-30 2013-10-02 佛山电视台南海分台 一种基于图像捕获和识别技术增强导航功能的方法和系统
CN206193950U (zh) * 2016-08-31 2017-05-24 陈昊 基于增强现实的无人飞行器体验系统
US20180165885A1 (en) * 2016-12-14 2018-06-14 II Jonathan M. Rodriguez Systems and Methods for Creating and Sharing a 3-Dimensional Augmented Reality Space
CN106595641A (zh) * 2016-12-29 2017-04-26 深圳前海弘稼科技有限公司 一种旅游导航方法及装置
CN108200415A (zh) * 2018-03-16 2018-06-22 广州成至智能机器科技有限公司 基于增强现实技术的无人机图像画面处理系统及其方法
CN108769517A (zh) * 2018-05-29 2018-11-06 亮风台(上海)信息科技有限公司 一种基于增强现实进行远程辅助的方法与设备

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110248157B (zh) * 2019-05-25 2021-02-05 亮风台(上海)信息科技有限公司 一种进行执勤调度的方法与设备
CN110248157A (zh) * 2019-05-25 2019-09-17 亮风台(上海)信息科技有限公司 一种进行执勤调度的方法与设备
CN112445204B (zh) * 2019-08-15 2023-09-26 长沙智能驾驶研究院有限公司 工地中的物体移动导航方法、装置和计算机设备
CN112445204A (zh) * 2019-08-15 2021-03-05 长沙智能驾驶研究院有限公司 工地中的物体移动导航方法、装置和计算机设备
WO2021073268A1 (zh) * 2019-10-15 2021-04-22 北京市商汤科技开发有限公司 一种增强现实数据呈现方法、装置、电子设备及存储介质
CN110750611A (zh) * 2019-10-16 2020-02-04 上海掌门科技有限公司 一种用于提供避雨信息的方法与设备
CN111124128A (zh) * 2019-12-24 2020-05-08 Oppo广东移动通信有限公司 位置提示方法及相关产品
WO2022110159A1 (zh) * 2020-11-30 2022-06-02 深圳市大疆创新科技有限公司 定位方法、装置、可移动平台、地标及地标阵列
CN114729807A (zh) * 2020-11-30 2022-07-08 深圳市大疆创新科技有限公司 定位方法、装置、可移动平台、地标及地标阵列
CN113643708A (zh) * 2021-08-27 2021-11-12 京东方科技集团股份有限公司 参会人声纹识别方法、装置、电子设备及存储介质
CN113643708B (zh) * 2021-08-27 2024-01-23 京东方科技集团股份有限公司 参会人声纹识别方法、装置、电子设备及存储介质
CN115460539A (zh) * 2022-06-30 2022-12-09 亮风台(上海)信息科技有限公司 一种获取电子围栏的方法、设备、介质及程序产品
CN115460539B (zh) * 2022-06-30 2023-12-15 亮风台(上海)信息科技有限公司 一种获取电子围栏的方法、设备、介质及程序产品

Also Published As

Publication number Publication date
CN109459029B (zh) 2021-06-29

Similar Documents

Publication Publication Date Title
CN109459029A (zh) 一种用于确定目标对象的导航路线信息的方法与设备
US20220051022A1 (en) Methods and apparatus for venue based augmented reality
US9558559B2 (en) Method and apparatus for determining camera location information and/or camera pose information according to a global coordinate system
US9699375B2 (en) Method and apparatus for determining camera location information and/or camera pose information according to a global coordinate system
US11415986B2 (en) Geocoding data for an automated vehicle
CN109596118A (zh) 一种用于获取目标对象的空间位置信息的方法与设备
CN112161618B (zh) 仓储机器人定位与地图构建方法、机器人及存储介质
CN109561282B (zh) 一种用于呈现地面行动辅助信息的方法与设备
KR102344393B1 (ko) 컨텍스트적 지도 뷰
CN109656259A (zh) 一种用于确定目标对象的图像位置信息的方法与设备
CN109656319B (zh) 一种用于呈现地面行动辅助信息方法与设备
JP5883723B2 (ja) 3次元画像表示システム
CN109618131B (zh) 一种用于呈现决策辅助信息的方法与设备
US11947354B2 (en) Geocoding data for an automated vehicle
WO2021057886A1 (zh) 基于光通信装置的导航方法、系统、设备及介质
KR20220126550A (ko) 증강현실 뷰를 사용하는 경로 안내 방법 및 장치
Karlekar et al. Mixed reality on mobile devices
US20240033631A1 (en) Maintaining object alignment in 3d map segments
WO2023082066A1 (zh) 作业规划方法、控制装置、控制终端及存储介质
WO2024000733A1 (zh) 一种呈现目标对象的标记信息的方法与设备
Mantoro et al. Pragmatic framework of 3D visual navigation for mobile user
Tang A mixed reality solution for indoor navigation
KHEHASUKCHAROEN et al. Marker and IMU-based registration for mobile augmented reality
Fol Sensor Fusion of Vision-RTK and Azure Kinect for Outdoor AR Applications
TWM439180U (en) Moving object tracking system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP02 Change in the address of a patent holder

Address after: 201210 7th Floor, No. 1, Lane 5005, Shenjiang Road, China (Shanghai) Pilot Free Trade Zone, Pudong New Area, Shanghai

Patentee after: HISCENE INFORMATION TECHNOLOGY Co.,Ltd.

Address before: Room 501 / 503-505, 570 shengxia Road, China (Shanghai) pilot Free Trade Zone, Pudong New Area, Shanghai, 201203

Patentee before: HISCENE INFORMATION TECHNOLOGY Co.,Ltd.

CP02 Change in the address of a patent holder