CN109596118A - 一种用于获取目标对象的空间位置信息的方法与设备 - Google Patents

一种用于获取目标对象的空间位置信息的方法与设备 Download PDF

Info

Publication number
CN109596118A
CN109596118A CN201811397675.9A CN201811397675A CN109596118A CN 109596118 A CN109596118 A CN 109596118A CN 201811397675 A CN201811397675 A CN 201811397675A CN 109596118 A CN109596118 A CN 109596118A
Authority
CN
China
Prior art keywords
information
target object
unmanned plane
relative orientation
equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811397675.9A
Other languages
English (en)
Other versions
CN109596118B (zh
Inventor
杜威
袁科
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bright Wind Taiwan (shanghai) Mdt Infotech Ltd
Original Assignee
Bright Wind Taiwan (shanghai) Mdt Infotech Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bright Wind Taiwan (shanghai) Mdt Infotech Ltd filed Critical Bright Wind Taiwan (shanghai) Mdt Infotech Ltd
Priority to CN201811397675.9A priority Critical patent/CN109596118B/zh
Publication of CN109596118A publication Critical patent/CN109596118A/zh
Application granted granted Critical
Publication of CN109596118B publication Critical patent/CN109596118B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/005Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching

Abstract

本申请的目的是提供一种用于获取目标对象的空间位置信息的方法,其中,该方法包括:通过对应无人机的定位装置获取关于所述无人机当前的空间位置信息;通过所述无人机的摄像装置拍摄关于目标对象的图像信息,并基于所述图像信息确定所述目标对象相对于所述无人机的相对方位信息;基于所述相对方位信息通过所述无人机对应的测距装置测量所述目标对象距离所述无人机的空间距离信息;根据所述无人机当前的空间位置信息、所述相对方位信息以及所述空间距离信息确定所述目标对象的空间位置信息。本方法获取的空间位置信息精度更高,测量效果更好,提升了用户使用体验。

Description

一种用于获取目标对象的空间位置信息的方法与设备
技术领域
本申请涉及无人机领域,尤其涉及一种用于获取目标对象的空间位置信息的技术。
背景技术
无人驾驶飞机简称“无人机”,是利用无线电遥控设备和自备的程序控制装置操纵的不载人飞机。机上无驾驶舱,但安装有自动驾驶仪、程序控制装置等设备。地面、舰艇上或母机遥控站人员通过雷达等设备,对其进行跟踪、定位、遥控、遥测和数字传输。可在无线电遥控下像普通飞机一样起飞或用助推火箭发射升空,也可由母机带到空中投放飞行。回收时,可用与普通飞机着陆过程一样的方式自动着陆,也可通过遥控用降落伞或拦网回收。可反复使用多次。广泛用于空中侦察、监视、通信、反潜、电子干扰等。
无人机可以作为一种新型遥感监测平台,飞行操作智能化程度高,可按预定航线自主飞行、摄像,实时提供遥感监测数据和低空视频监控,具有机动性强、便捷、成本低等特点。
发明内容
本申请的一个目的是提供一种获取目标对象的空间位置信息的方法与设备。
根据本申请的一个方面,提供了一种通过无人机控制设备获取目标对象的空间位置信息的方法,该方法包括:
通过对应无人机的定位装置获取关于所述无人机当前的空间位置信息;
通过所述无人机的摄像装置拍摄关于目标对象的图像信息,并基于所述图像信息确定所述目标对象相对于所述无人机的相对方位信息;
基于所述相对方位信息通过所述无人机对应的测距装置测量所述目标对象距离所述无人机的空间距离信息;
根据所述无人机当前的空间位置信息、所述相对方位信息以及所述空间距离信息确定所述目标对象的空间位置信息。
根据本申请的另一个方面,提供了一种用于获取目标对象的空间位置信息的无人机控制设备,该设备包括:
第一模块,用于通过对应无人机的定位装置获取关于所述无人机当前的空间位置信息;
第二模块,用于通过所述无人机的摄像装置拍摄关于目标对象的图像信息,并基于所述图像信息确定所述目标对象相对于所述无人机的相对方位信息;
第三模块,用于基于所述相对方位信息通过所述无人机对应的测距装置测量所述目标对象距离所述无人机的空间距离信息;
第四模块,用于根据所述无人机当前的空间位置信息、所述相对方位信息以及所述空间距离信息确定所述目标对象的空间位置信息。
根据本申请的一个方面,提供了一种用于获取目标对象的空间位置信息的设备,该设备包括:
处理器;以及
被安排成存储计算机可执行指令的存储器,所述可执行指令在被执行时使所述处理器执行如上所述的方法的操作。
根据本申请的一个方面,提供了一种包括指令的计算机可读介质,所述指令在被执行时使得系统进行如上所述方法的操作。
与现有技术相比,本申请通过无人机飞手控制无人机控制设备,根据无人机当前的空间位置信息以及拍摄的图像信息,并基于测距仪测量目标对象距离无人机的空间距离信息,获取对应目标对象的空间位置信息,基于高精度的测距装置获取的空间位置信息精度更高,测量效果更好,提升了用户使用体验。而且,测距装置可以基于相对方位信息,调节对应的测距位姿信息,使得无人机定位的目标对象可以是一个或多个,获取对应相对方位后,依次调节对应的位姿信息进行测距,可以获取对应一个或多个目标对象的空间位置信息,实现对多个目标同步定位过程,使得定位的结果更加丰富,极大地提升了无人机定位的效果。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本申请的其它特征、目的和优点将会变得更明显:
图1示出根据本申请一个实施例的一种用于获取目标对象的空间位置信息的系统拓扑图;
图2示出根据本申请一个实施例的一种用于通过无人机控制设备获取目标对象的空间位置信息的方法流程图;
图3示出根据本申请一个实施例的无人机控制设备的功能模块;
图4示出可被应用于本申请各实施例的示例性系统。
附图中相同或相似的附图标记代表相同或相似的部件。
具体实施方式
下面结合附图对本申请作进一步详细描述。
在本申请一个典型的配置中,终端、服务网络的设备和可信方均包括一个或多个处理器(例如,中央处理器(Central Processing Unit,CPU))、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RandomAccess Memory,RAM)和/或非易失性内存等形式,如只读存储器(Read Only Memory,ROM)或闪存(Flash Memory)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(Phase-Change Memory,PCM)、可编程随机存取存储器(Programmable Random Access Memory,PRAM)、静态随机存取存储器(Static Random-Access Memory,SRAM)、动态随机存取存储器(Dynamic Random AccessMemory,DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(Electrically-Erasable Programmable Read-Only Memory,EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(Compact Disc Read-Only Memory,CD-ROM)、数字多功能光盘(Digital Versatile Disc,DVD)或其他光学存储、磁盒式磁带,磁带磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。
本申请所指设备包括但不限于用户设备、网络设备、或用户设备与网络设备通过网络相集成所构成的设备。所述用户设备包括但不限于任何一种可与用户进行人机交互(例如通过触摸板进行人机交互)的移动电子产品,例如智能手机、平板电脑等,所述移动电子产品可以采用任意操作系统,如Android操作系统、iOS操作系统等。其中,所述网络设备包括一种能够按照事先设定或存储的指令,自动进行数值计算和信息处理的电子设备,其硬件包括但不限于微处理器、专用集成电路(Application Specific IntegratedCircuit,ASIC)、可编程逻辑器件(Programmable Logic Device,PLD)、现场可编程门阵列(Field Programmable Gate Array,FPGA)、数字信号处理器(Digital Signal Processor,DSP)、嵌入式设备等。所述网络设备包括但不限于计算机、网络主机、单个网络服务器、多个网络服务器集或多个服务器构成的云;在此,云由基于云计算(Cloud Computing)的大量计算机或网络服务器构成,其中,云计算是分布式计算的一种,由一群松散耦合的计算机集组成的一个虚拟超级计算机。所述网络包括但不限于互联网、广域网、城域网、局域网、VPN网络、无线自组织网络(Ad Hoc网络)等。优选地,所述设备还可以是运行于所述用户设备、网络设备、或用户设备与网络设备、网络设备、触摸终端或网络设备与触摸终端通过网络相集成所构成的设备上的程序。
当然,本领域技术人员应能理解上述设备仅为举例,其他现有的或今后可能出现的设备如可适用于本申请,也应包含在本申请保护范围以内,并在此以引用方式包含于此。
在本申请的描述中,“多个”的含义是两个或者更多,除非另有明确具体的限定。
图1示出了本申请的典型场景,无人机100与无人机控制设备200通过交互,获取目标对象的空间位置信息。无人机100包括摄像装置101,用于拍摄关于目标对象相关的图像,其中,拍摄装置可以是固定拍摄无人机中心正下方一定区域的图像信息,还可以根据需求调整相机位姿信息,拍摄对应视角区域的相关的图像信息;无人机100还包括定位装置102,用于获取无人机当前所在位置的空间位置信息(如经纬度信息、高度信息等),如基于GPS(Global Positioning System,全球定位系统)系统或者北斗系统进行定位,在一些实施方式中,定位装置,还利用气压计等获取当前位置对应地面高度等信息;无人机100还包括测距装置103,其中,所述测距装置用于测量所述目标对象至所述无人机的空间距离,该测距装置可以根据需求调整对应的位姿信息,从而实现获取较为精确的测距效果,测距装置包括但不限于激光测距仪、超声波测距仪等高精度测距装置,以及雷达等其它测距装置;在一些实施方式中,该测距装置可以基于图像信息中多个目标对象的图像位置信息,调整不同的位姿信息,测量多个目标对象的空间距离信息,实现多目标的空间距离信息的获取等;无人机100还包括通信装置104,用于建立与无人机控制设备的通信连接,将拍摄的图像信息和测量的空间距离信息、空间位置信息等传输至无人机控制设备,同时,还可以接收无人机控制设备发送的关于无人机飞行或者调整姿态信息等相关的指令信息。其中,无人机控制设备200包括通信装置205,用于建立与无人机的通信连接,接收无人机拍摄的图像信息和测量获取的空间距离信息以及无人机的当前空间位置信息等;所述无人机控制设备200还包括数据处理装置206,用于处理相关信息,并根据数据处理结果输出相关指令等。
本申请所指的无人机控制设备包括但不限于集成了计算机、飞行操作软件、软件操作监视器、微波图像监视器、图像接收电台、双向数据收发电台、电源管理器、高容量电池和天线等设备的无人机地面控制站,无人机控制设备可以向无人机发送关于无人机飞行或者拍摄的相关指令,无人机基于该指令拍摄对应的图像信息后,通过无线电或者其他通信连接将该图像信息返回至无人机控制设备。为方便用户进行操作,在一些实施例中,所述无人机控制设备还包括显示装置,用于向用户呈现和/或用于设置相关内容;其中,该显示装置在一些实施例中为触控屏幕,该触控屏幕不仅能用于输出图形画面,还可用作无人机控制设备的输入装置以接收用户的操作指令(如用户基于触摸控制、语音控制、手势识别等操作指令)。同时,无人机控制设备和其他人员的设备(如增强现实设备或者指挥设备)间可建立通信连接或者通过云端进行通信,以供无人机控制设备向其他设备发送相关信息(如目标对象相关的空间位置信息),并由其他人员呈现对应的相关信息,以辅助其他人员进行协作事件。其中,无人机可搭载多种传感器,这些传感器用于感测无人机自身的方位、姿态等数据或者用于采集外部环境的相关信息。例如,无人机基于GPS传感器、RTK模块、激光测距仪、气压传感器、陀螺仪、电子罗盘等采集自身的角速率、姿态、位置、加速度、高度、空速、距离等信息,并基于图像传感器拍摄场景画面,该场景画面可传输至无人机控制设备。在一些情形下,可在无人机上设置云台以安装相机,以隔离无人机姿态变化、机体震动和外界风阻力矩等外部扰动对拍摄工作带来的不利影响,保证机载相机的视轴稳定。
以下将从无人机控制设备的角度,结合图2,对本申请的具体实施方式进行介绍。
图2示出根据本申请一个方面一个实施例的一种通过无人机控制设备确定目标对象的空间位置信息的方法,该方法可被应用于图1所示的系统,其中,该方法包括步骤S11、步骤S12、步骤S13以及步骤S14。在步骤S11中,无人机控制设备通过对应无人机的定位装置获取关于所述无人机当前的空间位置信息;在步骤S12中,无人机控制设备通过所述无人机的摄像装置拍摄关于目标对象的图像信息,并基于所述图像信息确定所述目标对象相对于所述无人机的相对方位信息;在步骤S13中,无人机控制设备基于所述相对方位信息通过所述无人机对应的测距装置测量所述目标对象距离所述无人机的空间距离信息;在步骤S14中,无人机控制设备根据所述无人机当前的空间位置信息、所述相对方位信息以及所述空间距离信息确定所述目标对象的空间位置信息。在此,步骤S11与步骤S12至S13可以是同步进行,没有具体顺序上的限制等。
具体而言,在步骤S11中,无人机控制设备通过对应无人机的定位装置获取关于所述无人机当前的空间位置信息。例如,无人机控制设备通过无人机的定位装置获取无人机当前位置的空间位置信息,如通过GPS系统或者北斗系统等获取当前经纬度信息等。
在步骤S12中,无人机控制设备通过所述无人机的摄像装置拍摄关于目标对象的图像信息,并基于所述图像信息确定所述目标对象相对于所述无人机的相对方位信息。例如,无人机控制设备通过无人机的摄像装置拍摄目标对象相关的图像信息,并根据该图像信息确定目标对象相对于无人机的相对方位信息,如基于无人机控制设备对应的无人机飞手的操作指令,在图像信息中选中对应的目标对象,或者基于目标对象的模板信息等,在图像信息中进行目标识别,从而确定目标对象的图像位置信息,并基于图像位置信息确定所述目标对象相对于无人机的相对方位信息,其中,相对方位信息包括以无人机为起点,指向所述目标对象的三维向量的方向。
在步骤S13中,无人机控制设备基于所述相对方位信息通过所述无人机对应的测距装置测量所述目标对象距离所述无人机的空间距离信息。例如,无人机控制设备根据所述目标对象相对于无人机的相对方位信息,调整测距装置测量的测距位姿信息(如测距仪的方位角,俯仰角等),并利用测距装置进行测距,测量所述无人机至所述目标对象的空间距离信息等。
在步骤S14中,无人机控制设备根据所述无人机当前的空间位置信息、所述相对方位信息以及所述空间距离信息确定所述目标对象的空间位置信息。例如,无人机控制设备获取无人机当前的空间位置信息(如经纬度信息),以及所述目标对象相对于所述无人机的相对方位信息(如方位角、俯仰角等),结合所述目标对象相对于所述无人机的空间距离信息,通过所述目标对象相对于所述无人机的俯仰角,结合空间距离信息计算所述无人机相对于地面的高度信息,并推导出所述目标对象相对于所述无人机的平面距离信息,进一步地,结合所述目标对象相对于所述无人机的方位角信息,从而计算出所述目标对象相对于所述无人机在经纬度轴线对应方向上的距离,再结合无人机当前的经纬度信息,计算得到目标对象的经纬度信息等。在一些实施方式中,计算目标对象的经纬度的过程中,还会结合测距仪的中心至无人机中心(如质心或几何中心等)的偏移量,获得较为精确的目标对象的空间位置信息,如根据所述目标对象相对于所述无人机测距装置在经纬度轴线对应方向上的距离、测距装置与无人机中心的偏移量,再结合无人机当前的经纬度信息,确定目标对象的经纬度信息等。
其中,上述无人机控制设备包括但不限于无人机地面控制站等计算设备;在一些情形下,以上所述的无人机控制设备可以接收无人机通过定位装置获取的所述无人机当前的空间位置信息,如通过GPS系统或者北斗系统获取所述无人机当前的经纬度信息等;所述无人机控制设备还可以接收无人机通过摄像装置拍摄的图像信息,该图像信息可以是静态的图片信息或者动态的视频信息,该图片信息或者视频信息中包含了目标对象。该无人机控制设备还可以包括显示装置,用于呈现该图像信息,如通过在屏幕上显示图像信息,供无人机控制设备对应的第一用户(如“无人机飞手”)根据当前拍摄的图像信息做出对应的调整指令,实时调整无人机的拍摄姿态(如无人机飞行高度、拍摄角度等),获取视野良好、清晰显示关于目标对象的图像信息。所述无人机控制设备还包括数据处理装置,用于处理所述图像信息,获取目标对象在图像信息中的图像位置信息,如根据第一用户的操作,在所述图像信息中标出目标对象的位置作为图像位置信息,又如,根据图像信息及目标对象的模板信息,利用计算机视觉算法,对图像信息中的目标对象进行目标识别,并在后续图像信息中实时跟踪该目标对象,获取对应的图像位置信息,从而获取目标对象的空间位置信息。无人机控制设备还包括通信装置,用于建立与无人机的通信连接。当然,本领域技术人员应能理解上述无人机控制设备仅为举例,其他现有的或今后可能出现的无人机控制设备如可适用于本申请,也应包含在本申请保护范围以内,并在此以引用方式包含于此。
在一些实施方式中,所述相对方位信息包括所述目标对象相对于所述无人机的方位角信息和俯仰角信息。例如,所述相对方位信息包括以无人机为起点,指向所述目标对象的三维向量的方向,其中,该三维向量的方向在竖直方向上的分量为所述目标对象相对于所述无人机的俯仰角信息,在平面方向上的分量为所述目标对象相对于所述无人机的方位角信息。
在一些实施方式中,上述步骤S12可以分为步骤S121(未示出)和步骤S122(未示出),如在步骤S121中,无人机控制设备通过所述无人机的摄像装置拍摄关于目标对象的图像信息;在步骤S122中,无人机控制设备基于所述图像信息确定所述目标对象相对于所述无人机的相对方位信息。步骤S122包括子步骤S1221(未示出)和子步骤S1222(未示出),在步骤S1221中,无人机控制设备基于所述图像信息确定所述目标对象在所述图像信息中的图像位置信息;在步骤S1222中,无人机控制设备根据所述图像位置信息确定所述目标对象相对于所述无人机的相对方位信息。例如,所述无人机控制设备还包括数据处理装置,用于处理所述图像信息,获取目标对象在图像信息中的图像位置信息,如根据第一用户的操作,在所述图像信息中标出目标对象的位置作为图像位置信息,标出方式包括但不限于目标对象的图像位置信息周围不同颜色框选、轮廓凸显、箭头指示、图片/视频呈现等形式;又如,根据图像信息及目标对象的目标相关信息,利用计算机视觉算法,对图像信息中的目标对象进行目标识别,并在后续图像信息中实时跟踪该目标对象,获取对应的图像位置信息。后续,所述无人机控制设备根据目标对象的图像位置信息,若所述摄像装置拍摄的角度始终是无人机正下方的图像信息,根据图像信息的范围以及所述图像位置信息,计算所述目标对象相对于所述无人机的相对方位信息。
例如,所述无人机拍摄的正下方100*100m的实景,获取的图像信息显示为20cm*20cm的图像信息,如基于所述图像信息左上角为原点,X轴向右,Y轴向下,建立对应图像坐标系,摄像装置光轴与图像中心在同一条直线上,对应着图像坐标系中(10cm,10cm)的点。若目标对象刚好处于图像中心,无人机控制设备基于无人机飞手的选中或者目标识别等,确定(10cm,10cm)对应的点坐标为目标对象在图像信息的图像位置信息,从而确定目标对象在所述无人机中心正下方,对应的相对方位信息包括所述目标对象相对于无人机的俯仰角为-90°。又如,目标对象处于(15cm,10cm)的位置,无人机航向为正北方向(如向上),根据图像拍摄比例大小以及摄像装置的缩放比例等,可以确定所述无人机当前高度,根据该高度可以确定目标对象相对于所述无人机的方位角为正东方,根据无人机的当前高度信息以及目标对象的相对于无人机位置(如相对于无人机后方25m等),可以计算对应俯仰角信息。
在一些实施方式中,上述步骤S1221,无人机控制设备基于所述目标对象的模板信息及所述图像信息,确定所述目标对象在所述图像信息中的图像位置信息。例如,目标模板信息包括目标相关的图像信息或者用于模板匹配的目标相关特征信息。又如,根据图像信息及目标对象的目标相关信息,利用计算机视觉算法,对图像信息中的目标对象进行目标识别,并在后续图像信息中实时跟踪该目标对象,获取对应的图像位置信息。
在一些实施方式中,上述步骤S1222中,无人机控制设备根据所述摄像装置拍摄所述图像信息时的相机姿态信息以及所述图像位置信息,确定所述目标对象相对于所述无人机的相对方位信息。例如,无人机上安装的摄像装置的拍摄角度是可调节的,无人机控制设备根据图像信息对应的范围以及所述图像位置信息,结合无人机当前高度(如根据摄像装置摄像比例等计算获得或者根据气压计等计算从而获取),先计算出目标对象所在位置相对于摄像装置的光轴的偏移角度信息等,再结合相机的姿态信息(如相机拍摄时的方位角信息和俯仰角信息等)计算所述目标对象相对于所述无人机的相对方位信息(如所述目标对象相对于所述无人机的方位角信息和俯仰角信息等)。在一些实施方式中,无人机控制设备可以同时确定图像信息中一个或多个目标对象的图像位置信息,并基于各个不同的图像位置信息确定对应的一个或多个目标对象相对于无人机的相对方位信息,从而实现多目标的实时定位。
在一些实施方式中,上述步骤S1222中,无人机控制设备基于所述图像位置信息确定所述目标对象在所述摄像装置对应的摄像坐标系中的摄像位置信息,根据所述摄像位置信息及所述摄像坐标系至所述无人机对应的世界坐标系的第一转换参数,确定所述目标对象在所述世界坐标系中的相对位置信息,基于所述相对位置信息获取所述目标对象相对于所述无人机的相对方位信息。例如,我们以图像信息的平面的横向和竖直方向作为X轴和Y轴建立图像平面坐标系;以摄像装置摄像头的主点为原点,x轴向右,z轴向前(朝向屏幕内或摄像机方向),y轴向上(不是世界的上方而是摄像机本身的上方),建立对应的摄像坐标系;以无人机中心(如质心或几何中心等)为原点,X轴水平向右,Y轴向上,Z轴根据X轴和Y轴依据右手法则确定,从而建立对应的世界坐标系。无人机控制设备根据图像信息以及图像坐标系至摄像坐标系的转换参数,将所述图像位置信息转换至对应的摄像坐标系中,获得目标对象在摄像坐标系中的摄像位置信息。随后,根据摄像坐标系转换至世界坐标系的转换参数,将所述目标对象的摄像位置信息转换至世界坐标系中,获得目标对象在世界坐标系中的坐标位置,该坐标位置为目标对象相对于无人机的相对位置信息,由于坐标转换以及算法等带来的误差不小,该相对位置信息仅作为确定相对方位信息的一个参考。随后,以测距装置在世界坐标系中的坐标为起点、目标对象所在坐标为终点,作一个向量,该向量的方向表示所述目标对象相对于无人机的相对方位信息。
在一些实施方式中,在步骤S14中,无人机控制设备根据所述相对方位信息以及所述空间距离信息确定所述目标对象在所述世界坐标系中的位置信息,基于所述目标对象在所述世界坐标系中的位置信息以及所述无人机当前的空间位置信息确定所述目标对象的空间位置信息。例如,无人机控制设备根据测距装置测量所得的目标对象距离无人机测距装置的空间距离信息,利用测距装置在世界坐标系中的位置信息,测量的相对方位信息(如测距装置测量时的方位角信息和俯仰角信息等),结合空间距离信息,计算出目标对象在世界坐标系中的坐标位置,该坐标位置为目标对象相对于无人机精度较高的相关位置信息。随后,根据无人机中心的定位装置获取的无人机中心的经纬度信息等,结合目标对象在世界坐标系中的坐标位置,换算得到目标对象的经纬度信息。
在一些实施方式中,在步骤S13中,无人机控制设备基于所述相对方位信息调整所述无人机对应的测距装置的测距姿态信息,通过所述测距装置测量所述目标对象距离所述无人机的空间距离信息。例如,无人机控制设备获取到对应的相对方位信息后,基于该相对方位信息调节对应的测距装置的测距姿态信息(如测距装置的方位角和俯仰角等),该测距装置调节完毕后,测量该方向目标对象至无人机的距离,将该距离作为目标对象距离无人机的空间距离信息。在一些实施方式中,无人机控制设备基于无人机飞手选中操作或者多个目标对象模板信息的目标识别,确定对应多个目标对象的相对方位信息,进一步,依次调节测距装置,测量多个空间距离信息,并再后续计算各目标对象对应的经纬度信息等。
在一些实施方式中,所述无人机控制设备处于协作事件中;其中,上述方法还包括步骤S15(未示出)。在步骤S15中,无人机控制设备将所述目标对象的空间位置信息发送至所述协作事件对应的协作设备,其中,所述协作设备包括处于所述协作事件的增强现实设备和/或指挥设备。例如,无人机控制设备与增强现实设备和/或指挥设备处于同一协作事件,其中,所指的增强现实设备包括但不限于手机、平板、增强现实头盔、增强现实眼镜等计算设备。在一些实施例中,该增强现实设备可以采集当前用户前方相关的画面,用于向用户呈现和/或用于设置增强现实内容,其中,在一些实施例中,该增强现实内容叠加显示于增强现实设备的屏幕中;指挥设备包括但不限于移动设备(如智能手机、平板电脑、笔记本电脑等)、PC设备、智能眼镜或头盔以及集成式服务器等计算设备。为方便用户进行操作,在一些实施例中,所述指挥设备还包括显示装置,用于向用户呈现和/或用于设置相关内容;其中,该显示装置在一些实施例中为触控屏幕,该触控屏幕不仅能用于输出图形画面,还可用作指挥设备的输入装置以接收用户的操作指令。当然,本领域技术人员应能理解,指挥设备的输入装置不仅限于触控屏幕,其他现有的输入技术如能适用于本申请,也包含在本申请的保护范围内,并以引用的方式包含于此。
例如,无人机控制设备获取该空间位置信息后,将该空间位置信息发送至增强现实设备和/或指挥设备,供增强现实设备和/或指挥设备参考或者进一步处理等,如获取目标对象进一步详细位置信息,或者根据该空间位置引导对应的第二用户(增强现实设备对应的用户)快速接近目标对象等。
当然,本领域技术人员应能理解上述增强现实和/或指挥设备仅为举例,其他现有的或今后可能出现的增强现实和/或指挥设备如可适用于本申请,也应包含在本申请保护范围以内,并在此以引用方式包含于此。
在一些实施方式中,该方法包括步骤S16(未示出)。在步骤S16中,若存在所述多个目标对象且多个目标对象对应的相对方位信息不完全相同,无人机控制设备优选确定所述测距装置的测距顺序信息;其中,在步骤S13中,无人机控制设备基于所述相对方位信息及所述测距装置的测距顺序信息,依次调节所述测距装置的测距姿态信息,测量所述多个目标对象距离所述无人机的空间距离信息。例如,无人机控制设备基于无人机飞手选中操作或者多个目标对象模板信息的目标识别,确定对应多个目标对象的相对方位信息,并结合多个目标对象间的关系或者多个目标对象的相对方位信息间的关系,优选确定对应的测距装置的测距顺序信息,根据测距顺序信息依次调节测距装置,测量多个空间距离信息,并在后续计算各目标对象对应的经纬度信息等,优化了测距装置的跟踪顺序,减少了测距装置的调整角度和响应时间等。在一些实施方式中,所述优选确定所述测距装置的测距顺序信息,包括以下至少任一项:优选确定多个目标对象的相对方位信息中与测距装置当前姿态信息的角度偏移最小的目标对象为第一顺位测距,依次根据各目标对象的相对方位信息间的角度偏移差值,顺位确定对应的测距顺序信息;根据所述多个目标对象的顺序排位,优选确定所述测距装置的测距顺序信息。例如,无人机控制设备根据当前测距装置的位姿信息,以及多个目标对象的相对方位信息,确定相对方位信息与当前测距装置的位姿信息的角度偏移最小的作为第一顺位测距目标对象,随后,根据第一顺位测距目标对象的相对方位信息,将与第一顺位测距目标对象的相对方位信息角度偏移最小的作为第二顺位测距目标对象,以此类推,优选确定多个目标对象间的测距顺序信息。又如,根据无人机飞手选中目标的顺序对多个目标对象进行顺序排位或者根据多个目标对象的重要程度(如根据不同颜色标注不同重要程度等)进行顺序排位,从而确定对应的测距顺序信息。上文主要从无人机控制设备的角度对本申请的实施提供的方法进行了介绍,相对应的,本申请还提供了能够执行上述各方法对应的设备,下面结合图3进行举例介绍。
图3示出根据本申请一个方面一个实施例的一种确定目标对象的空间位置信息的无人机控制设备200,该设备可被应用于图1所示的系统,其中,该设备包括第一模块11、第二模块12、第三模块13以及第四模块14。第一模块11,用于通过对应无人机的定位装置获取关于所述无人机当前的空间位置信息;第二模块12,用于通过所述无人机的摄像装置拍摄关于目标对象的图像信息,并基于所述图像信息确定所述目标对象相对于所述无人机的相对方位信息;第三模块13,用于基于所述相对方位信息通过所述无人机对应的测距装置测量所述目标对象距离所述无人机的空间距离信息;第四模块14,用于根据所述无人机当前的空间位置信息、所述相对方位信息以及所述空间距离信息确定所述目标对象的空间位置信息。在此,第一模块11的执行与第二模块12至第三模块13的执行可以是同步进行,没有具体顺序上的限制等。
具体而言,第一模块11,用于通过对应无人机的定位装置获取关于所述无人机当前的空间位置信息。例如,无人机控制设备通过无人机的定位装置获取无人机当前位置的空间位置信息,如通过GPS系统或者北斗系统等获取当前经纬度信息等。
第二模块12,用于通过所述无人机的摄像装置拍摄关于目标对象的图像信息,并基于所述图像信息确定所述目标对象相对于所述无人机的相对方位信息。例如,无人机控制设备通过无人机的摄像装置拍摄目标对象相关的图像信息,并根据该图像信息确定目标对象相对于无人机的相对方位信息,如基于无人机控制设备对应的无人机飞手的操作指令,在图像信息中选中对应的目标对象,或者基于目标对象的模板信息等,在图像信息中进行目标识别,从而确定目标对象的图像位置信息,并基于图像位置信息确定所述目标对象相对于无人机的相对方位信息,其中,相对方位信息包括以无人机为起点,指向所述目标对象的三维向量的方向。
第三模块13,用于基于所述相对方位信息通过所述无人机对应的测距装置测量所述目标对象距离所述无人机的空间距离信息。例如,无人机控制设备根据所述目标对象相对于无人机的相对方位信息,调整测距装置测量的测距位姿信息(如测距仪的方位角,俯仰角等),并利用测距装置进行测距,测量所述无人机至所述目标对象的空间距离信息等。
第四模块14,用于根据所述无人机当前的空间位置信息、所述相对方位信息以及所述空间距离信息确定所述目标对象的空间位置信息。例如,无人机控制设备获取无人机当前的空间位置信息(如经纬度信息),以及所述目标对象相对于所述无人机的相对方位信息(如方位角、俯仰角等),结合所述目标对象相对于所述无人机的空间距离信息,通过所述目标对象相对于所述无人机的俯仰角,结合空间距离信息计算所述无人机相对于地面的高度信息,并推导出所述目标对象相对于所述无人机的平面距离信息,进一步地,结合所述目标对象相对于所述无人机的方位角信息,从而计算出所述目标对象相对于所述无人机在经纬度轴线对应方向上的距离,再结合无人机当前的经纬度信息,计算得到目标对象的经纬度信息等。在一些实施方式中,计算目标对象的经纬度的过程中,还会结合测距仪的中心至无人机中心(如质心或几何中心等)的偏移量,获得较为精确的目标对象的空间位置信息,如根据所述目标对象相对于所述无人机测距装置在经纬度轴线对应方向上的距离、测距装置与无人机中心的偏移量,再结合无人机当前的经纬度信息,确定目标对象的经纬度信息等。
其中,上述无人机控制设备包括但不限于无人机地面控制站等计算设备;在一些情形下,以上所述的无人机控制设备可以接收无人机通过定位装置获取的所述无人机当前的空间位置信息,如通过GPS系统或者北斗系统获取所述无人机当前的经纬度信息等;所述无人机控制设备还可以接收无人机通过摄像装置拍摄的图像信息,该图像信息可以是静态的图片信息或者动态的视频信息,该图片信息或者视频信息中包含了目标对象。该无人机控制设备还可以包括显示装置,用于呈现该图像信息,如通过在屏幕上显示图像信息,供无人机控制设备对应的第一用户(如“无人机飞手”)根据当前拍摄的图像信息做出对应的调整指令,实时调整无人机的拍摄姿态(如无人机飞行高度、拍摄角度等),获取视野良好、清晰显示关于目标对象的图像信息。所述无人机控制设备还包括数据处理装置,用于处理所述图像信息,获取目标对象在图像信息中的图像位置信息,如根据第一用户的操作,在所述图像信息中标出目标对象的位置作为图像位置信息,又如,根据图像信息及目标对象的模板信息,利用计算机视觉算法,对图像信息中的目标对象进行目标识别,并在后续图像信息中实时跟踪该目标对象,获取对应的图像位置信息,从而获取目标对象的空间位置信息。无人机控制设备还包括通信装置,用于建立与无人机的通信连接。当然,本领域技术人员应能理解上述无人机控制设备仅为举例,其他现有的或今后可能出现的无人机控制设备如可适用于本申请,也应包含在本申请保护范围以内,并在此以引用方式包含于此。
在一些实施方式中,所述相对方位信息包括所述目标对象相对于所述无人机的方位角信息和俯仰角信息。例如,所述相对方位信息包括以无人机为起点,指向所述目标对象的三维向量的方向,其中,该三维向量的方向在竖直方向上的分量为所述目标对象相对于所述无人机的俯仰角信息,在平面方向上的分量为所述目标对象相对于所述无人机的方位角信息。
在一些实施方式中,上述第二模块12可以分为第二一模块121(未示出)和第二二模块122(未示出),如第二一模块121,用于通过所述无人机的摄像装置拍摄关于目标对象的图像信息;第二二模块122,用于基于所述图像信息确定所述目标对象相对于所述无人机的相对方位信息。第二二模块122包括第二二一单元1221(未示出)和第二二二单元1222(未示出),第二二一单元1221,用于基于所述图像信息确定所述目标对象在所述图像信息中的图像位置信息;第二二二单元1222,用于根据所述图像位置信息确定所述目标对象相对于所述无人机的相对方位信息。例如,所述无人机控制设备还包括数据处理装置,用于处理所述图像信息,获取目标对象在图像信息中的图像位置信息,如根据第一用户的操作,在所述图像信息中标出目标对象的位置作为图像位置信息,标出方式包括但不限于目标对象的图像位置信息周围不同颜色框选、轮廓凸显、箭头指示、图片/视频呈现等形式;又如,根据图像信息及目标对象的目标相关信息,利用计算机视觉算法,对图像信息中的目标对象进行目标识别,并在后续图像信息中实时跟踪该目标对象,获取对应的图像位置信息。后续,所述无人机控制设备根据目标对象的图像位置信息,若所述摄像装置拍摄的角度始终是无人机正下方的图像信息,根据图像信息的范围以及所述图像位置信息,计算所述目标对象相对于所述无人机的相对方位信息。
例如,所述无人机拍摄的正下方100*100m的实景,获取的图像信息显示为20cm*20cm的图像信息,如基于所述图像信息左上角为原点,X轴向右,Y轴向下,建立对应图像坐标系,摄像装置光轴与图像中心在同一条直线上,对应着图像坐标系中(10cm,10cm)的点。若目标对象刚好处于图像中心,无人机控制设备基于无人机飞手的选中或者目标识别等,确定(10cm,10cm)对应的点坐标为目标对象在图像信息的图像位置信息,从而确定目标对象在所述无人机中心正下方,对应的相对方位信息包括所述目标对象相对于无人机的俯仰角为-90°。又如,目标对象处于(15cm,10cm)的位置,无人机航向为正北方向(如向上),根据图像拍摄比例大小以及摄像装置的缩放比例等,可以确定所述无人机当前高度,根据该高度可以确定目标对象相对于所述无人机的方位角为正东方,根据无人机的当前高度信息以及目标对象的相对于无人机位置(如相对于无人机后方25m等),可以计算对应俯仰角信息。
在一些实施方式中,第二二一单元1221,用于基于所述目标对象的模板信息及所述图像信息,确定所述目标对象在所述图像信息中的图像位置信息。例如,目标模板信息包括目标相关的图像信息或者用于模板匹配的目标相关特征信息。又如,根据图像信息及目标对象的目标相关信息,利用计算机视觉算法,对图像信息中的目标对象进行目标识别,并在后续图像信息中实时跟踪该目标对象,获取对应的图像位置信息。
在一些实施方式中,第二二二单元1222,用于根据所述摄像装置拍摄所述图像信息时的相机姿态信息以及所述图像位置信息,确定所述目标对象相对于所述无人机的相对方位信息。例如,无人机上安装的摄像装置的拍摄角度是可调节的,无人机控制设备根据图像信息对应的范围以及所述图像位置信息,结合无人机当前高度(如根据摄像装置摄像比例等计算获得或者根据气压计等计算从而获取),先计算出目标对象所在位置相对于摄像装置的光轴的偏移角度信息等,再结合相机的姿态信息(如相机拍摄时的方位角信息和俯仰角信息等)计算所述目标对象相对于所述无人机的相对方位信息(如所述目标对象相对于所述无人机的方位角信息和俯仰角信息等)。在一些实施方式中,无人机控制设备可以同时确定图像信息中一个或多个目标对象的图像位置信息,并基于各个不同的图像位置信息确定对应的一个或多个目标对象相对于无人机的相对方位信息,从而实现多目标的实时定位。
在一些实施方式中,第二二二单元1222,用于基于所述图像位置信息确定所述目标对象在所述摄像装置对应的摄像坐标系中的摄像位置信息,根据所述摄像位置信息及所述摄像坐标系至所述无人机对应的世界坐标系的第一转换参数,确定所述目标对象在所述世界坐标系中的相对位置信息,基于所述相对位置信息获取所述目标对象相对于所述无人机的相对方位信息。例如,我们以图像信息的平面的横向和竖直方向作为X轴和Y轴建立图像平面坐标系;以摄像装置摄像头的主点为原点,x轴向右,z轴向前(朝向屏幕内或摄像机方向),y轴向上(不是世界的上方而是摄像机本身的上方),建立对应的摄像坐标系;以无人机中心(如质心或几何中心等)为原点,X轴水平向右,Y轴向上,Z轴根据X轴和Y轴依据右手法则确定,从而建立对应的世界坐标系。无人机控制设备根据图像信息以及图像坐标系至摄像坐标系的转换参数,将所述图像位置信息转换至对应的摄像坐标系中,获得目标对象在摄像坐标系中的摄像位置信息。随后,根据摄像坐标系转换至世界坐标系的转换参数,将所述目标对象的摄像位置信息转换至世界坐标系中,获得目标对象在世界坐标系中的坐标位置,该坐标位置为目标对象相对于无人机的相对位置信息,由于坐标转换以及算法等带来的误差不小,该相对位置信息仅作为确定相对方位信息的一个参考。随后,以测距装置在世界坐标系中的坐标为起点、目标对象所在坐标为终点,作一个向量,该向量的方向表示所述目标对象相对于无人机的相对方位信息。
在一些实施方式中,第四模块14,用于根据所述相对方位信息以及所述空间距离信息确定所述目标对象在所述世界坐标系中的位置信息,基于所述目标对象在所述世界坐标系中的位置信息以及所述无人机当前的空间位置信息确定所述目标对象的空间位置信息。例如,无人机控制设备根据测距装置测量所得的目标对象距离无人机测距装置的空间距离信息,利用测距装置在世界坐标系中的位置信息,测量的相对方位信息(如测距装置测量时的方位角信息和俯仰角信息等),结合空间距离信息,计算出目标对象在世界坐标系中的坐标位置,该坐标位置为目标对象相对于无人机精度较高的相关位置信息。随后,根据无人机中心的定位装置获取的无人机中心的经纬度信息等,结合目标对象在世界坐标系中的坐标位置,换算得到目标对象的经纬度信息。
在一些实施方式中,第三模块13,用于基于所述相对方位信息调整所述无人机对应的测距装置的测距姿态信息,通过所述测距装置测量所述目标对象距离所述无人机的空间距离信息。例如,无人机控制设备获取到对应的相对方位信息后,基于该相对方位信息调节对应的测距装置的测距姿态信息(如测距装置的方位角和俯仰角等),该测距装置调节完毕后,测量该方向目标对象至无人机的距离,将该距离作为目标对象距离无人机的空间距离信息。在一些实施方式中,无人机控制设备基于无人机飞手选中操作或者多个目标对象模板信息的目标识别,确定对应多个目标对象的相对方位信息,进一步,依次调节测距装置,测量多个空间距离信息,并再后续计算各目标对象对应的经纬度信息等。
在一些实施方式中,所述无人机控制设备处于协作事件中;其中,上述设备还包括第五模块15(未示出)。第五模块15,用于将所述目标对象的空间位置信息发送至所述协作事件对应的协作设备,其中,所述协作设备包括处于所述协作事件的增强现实设备和/或指挥设备。例如,无人机控制设备与增强现实设备和/或指挥设备处于同一协作事件,其中,所指的增强现实设备包括但不限于手机、平板、增强现实头盔、增强现实眼镜等计算设备。在一些实施例中,该增强现实设备可以采集当前用户前方相关的画面,用于向用户呈现和/或用于设置增强现实内容,其中,在一些实施例中,该增强现实内容叠加显示于增强现实设备的屏幕中;指挥设备包括但不限于移动设备(如智能手机、平板电脑、笔记本电脑等)、PC设备、智能眼镜或头盔以及集成式服务器等计算设备。为方便用户进行操作,在一些实施例中,所述指挥设备还包括显示装置,用于向用户呈现和/或用于设置相关内容;其中,该显示装置在一些实施例中为触控屏幕,该触控屏幕不仅能用于输出图形画面,还可用作指挥设备的输入装置以接收用户的操作指令。当然,本领域技术人员应能理解,指挥设备的输入装置不仅限于触控屏幕,其他现有的输入技术如能适用于本申请,也包含在本申请的保护范围内,并以引用的方式包含于此。
例如,无人机控制设备获取该空间位置信息后,将该空间位置信息发送至增强现实设备和/或指挥设备,供增强现实设备和/或指挥设备参考或者进一步处理等,如获取目标对象进一步详细位置信息,或者根据该空间位置引导对应的第二用户(增强现实设备对应的用户)快速接近目标对象等。
当然,本领域技术人员应能理解上述增强现实和/或指挥设备仅为举例,其他现有的或今后可能出现的增强现实和/或指挥设备如可适用于本申请,也应包含在本申请保护范围以内,并在此以引用方式包含于此。
在一些实施方式中,该设设备括第六模块16。第六模块16,若存在所述多个目标对象且多个目标对象对应的相对方位信息不完全相同,用于优选确定所述测距装置的测距顺序信息;其中,第三模块13,用于基于所述相对方位信息及所述测距装置的测距顺序信息,依次调节所述测距装置的测距姿态信息,测量所述多个目标对象距离所述无人机的空间距离信息。例如,无人机控制设备基于无人机飞手选中操作或者多个目标对象模板信息的目标识别,确定对应多个目标对象的相对方位信息,并结合多个目标对象间的关系或者多个目标对象的相对方位信息间的关系,优选确定对应的测距装置的测距顺序信息,根据测距顺序信息依次调节测距装置,测量多个空间距离信息,并在后续计算各目标对象对应的经纬度信息等,优化了测距装置的跟踪顺序,减少了测距装置的调整角度和响应时间等。在一些实施方式中,所述优选确定所述测距装置的测距顺序信息,包括以下至少任一项:优选确定多个目标对象的相对方位信息中与测距装置当前姿态信息的角度偏移最小的目标对象为第一顺位测距,依次根据各目标对象的相对方位信息间的角度偏移差值,顺位确定对应的测距顺序信息;根据所述多个目标对象的顺序排位,优选确定所述测距装置的测距顺序信息。例如,无人机控制设备根据当前测距装置的位姿信息,以及多个目标对象的相对方位信息,确定相对方位信息与当前测距装置的位姿信息的角度偏移最小的作为第一顺位测距目标对象,随后,根据第一顺位测距目标对象的相对方位信息,将与第一顺位测距目标对象的相对方位信息角度偏移最小的作为第二顺位测距目标对象,以此类推,优选确定多个目标对象间的测距顺序信息。又如,根据无人机飞手选中目标的顺序对多个目标对象进行顺序排位或者根据多个目标对象的重要程度(如根据不同颜色标注不同重要程度等)进行顺序排位,从而确定对应的测距顺序信息。
本申请还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机代码,当所述计算机代码被执行时,如前任一项所述的方法被执行。
本申请还提供了一种计算机程序产品,当所述计算机程序产品被计算机设备执行时,如前任一项所述的方法被执行。
本申请还提供了一种计算机设备,所述计算机设备包括:
一个或多个处理器;
存储器,用于存储一个或多个计算机程序;
当所述一个或多个计算机程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现如前任一项所述的方法。
图4示出了可被用于实施本申请中所述的各个实施例的示例性系统;
如图4所示在一些实施例中,系统300能够作为各所述实施例中的任意一个上述设备。在一些实施例中,系统300可包括具有指令的一个或多个计算机可读介质(例如,系统存储器或NVM/存储设备320)以及与该一个或多个计算机可读介质耦合并被配置为执行指令以实现模块从而执行本申请中所述的动作的一个或多个处理器(例如,(一个或多个)处理器305)。
对于一个实施例,系统控制模块310可包括任意适当的接口控制器,以向(一个或多个)处理器305中的至少一个和/或与系统控制模块310通信的任意适当的设备或组件提供任意适当的接口。
系统控制模块310可包括存储器控制器模块330,以向系统存储器315提供接口。存储器控制器模块330可以是硬件模块、软件模块和/或固件模块。
系统存储器315可被用于例如为系统300加载和存储数据和/或指令。对于一个实施例,系统存储器315可包括任意适当的易失性存储器,例如,适当的DRAM。在一些实施例中,系统存储器315可包括双倍数据速率类型四同步动态随机存取存储器(DDR4SDRAM)。
对于一个实施例,系统控制模块310可包括一个或多个输入/输出(I/O)控制器,以向NVM/存储设备320及(一个或多个)通信接口325提供接口。
例如,NVM/存储设备320可被用于存储数据和/或指令。NVM/存储设备320可包括任意适当的非易失性存储器(例如,闪存)和/或可包括任意适当的(一个或多个)非易失性存储设备(例如,一个或多个硬盘驱动器(HDD)、一个或多个光盘(CD)驱动器和/或一个或多个数字通用光盘(DVD)驱动器)。
NVM/存储设备320可包括在物理上作为系统300被安装在其上的设备的一部分的存储资源,或者其可被该设备访问而不必作为该设备的一部分。例如,NVM/存储设备320可通过网络经由(一个或多个)通信接口325进行访问。
(一个或多个)通信接口325可为系统300提供接口以通过一个或多个网络和/或与任意其他适当的设备通信。系统300可根据一个或多个无线网络标准和/或协议中的任意标准和/或协议来与无线网络的一个或多个组件进行无线通信。
对于一个实施例,(一个或多个)处理器305中的至少一个可与系统控制模块310的一个或多个控制器(例如,存储器控制器模块330)的逻辑封装在一起。对于一个实施例,(一个或多个)处理器305中的至少一个可与系统控制模块310的一个或多个控制器的逻辑封装在一起以形成系统级封装(SiP)。对于一个实施例,(一个或多个)处理器305中的至少一个可与系统控制模块310的一个或多个控制器的逻辑集成在同一模具上。对于一个实施例,(一个或多个)处理器305中的至少一个可与系统控制模块310的一个或多个控制器的逻辑集成在同一模具上以形成片上系统(SoC)。
在各个实施例中,系统300可以但不限于是:服务器、工作站、台式计算设备或移动计算设备(例如,膝上型计算设备、手持计算设备、平板电脑、上网本等)。在各个实施例中,系统300可具有更多或更少的组件和/或不同的架构。例如,在一些实施例中,系统300包括一个或多个摄像机、键盘、液晶显示器(LCD)屏幕(包括触屏显示器)、非易失性存储器端口、多个天线、图形芯片、专用集成电路(ASIC)和扬声器。
需要注意的是,本申请可在软件和/或软件与硬件的组合体中被实施,例如,可采用专用集成电路(ASIC)、通用目的计算机或任何其他类似硬件设备来实现。在一个实施例中,本申请的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地,本申请的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中,例如,RAM存储器,磁或光驱动器或软磁盘及类似设备。另外,本申请的一些步骤或功能可采用硬件来实现,例如,作为与处理器配合从而执行各个步骤或功能的电路。
另外,本申请的一部分可被应用为计算机程序产品,例如计算机程序指令,当其被计算机执行时,通过该计算机的操作,可以调用或提供根据本申请的方法和/或技术方案。本领域技术人员应能理解,计算机程序指令在计算机可读介质中的存在形式包括但不限于源文件、可执行文件、安装包文件等,相应地,计算机程序指令被计算机执行的方式包括但不限于:该计算机直接执行该指令,或者该计算机编译该指令后再执行对应的编译后程序,或者该计算机读取并执行该指令,或者该计算机读取并安装该指令后再执行对应的安装后程序。在此,计算机可读介质可以是可供计算机访问的任意可用的计算机可读存储介质或通信介质。
通信介质包括藉此包含例如计算机可读指令、数据结构、程序模块或其他数据的通信信号被从一个系统传送到另一系统的介质。通信介质可包括有导的传输介质(诸如电缆和线(例如,光纤、同轴等))和能传播能量波的无线(未有导的传输)介质,诸如声音、电磁、RF、微波和红外。计算机可读指令、数据结构、程序模块或其他数据可被体现为例如无线介质(诸如载波或诸如被体现为扩展频谱技术的一部分的类似机制)中的已调制数据信号。术语“已调制数据信号”指的是其一个或多个特征以在信号中编码信息的方式被更改或设定的信号。调制可以是模拟的、数字的或混合调制技术。
作为示例而非限制,计算机可读存储介质可包括以用于存储诸如计算机可读指令、数据结构、程序模块或其它数据的信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动的介质。例如,计算机可读存储介质包括,但不限于,易失性存储器,诸如随机存储器(RAM,DRAM,SRAM);以及非易失性存储器,诸如闪存、各种只读存储器(ROM,PROM,EPROM,EEPROM)、磁性和铁磁/铁电存储器(MRAM,FeRAM);以及磁性和光学存储设备(硬盘、磁带、CD、DVD);或其它现在已知的介质或今后开发的能够存储供计算机系统使用的计算机可读信息/数据。
在此,根据本申请的一个实施例包括一个装置,该装置包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器,其中,当该计算机程序指令被该处理器执行时,触发该装置运行基于前述根据本申请的多个实施例的方法和/或技术方案。
对于本领域技术人员而言,显然本申请不限于上述示范性实施例的细节,而且在不背离本申请的精神或基本特征的情况下,能够以其他的具体形式实现本申请。因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本申请的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外,显然“包括”一词不排除其他单元或步骤,单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一,第二等词语用来表示名称,而并不表示任何特定的顺序。

Claims (24)

1.一种用于通过无人机控制设备获取目标对象的空间位置信息的方法,其中,该方法包括:
通过对应无人机的定位装置获取关于所述无人机当前的空间位置信息;
通过所述无人机的摄像装置拍摄关于目标对象的图像信息,并基于所述图像信息确定所述目标对象相对于所述无人机的相对方位信息;
基于所述相对方位信息通过所述无人机对应的测距装置测量所述目标对象距离所述无人机的空间距离信息;
根据所述无人机当前的空间位置信息、所述相对方位信息以及所述空间距离信息确定所述目标对象的空间位置信息。
2.根据权利要求1所述的方法,其中,所述相对方位信息包括所述目标对象相对于所述无人机的方位角信息和俯仰角信息。
3.根据权利要求1或2所述的方法,其中,所述基于所述图像信息确定所述目标对象相对于所述无人机的相对方位信息,包括:
基于所述图像信息确定所述目标对象在所述图像信息中的图像位置信息;
根据所述图像位置信息确定所述目标对象相对于所述无人机的相对方位信息。
4.根据权利要求3所述的方法,其中,所述基于所述图像信息确定所述目标对象在所述图像信息中的图像位置信息,包括:
基于所述目标对象的模板信息及所述图像信息,确定所述目标对象在所述图像信息中的图像位置信息。
5.根据权利要求3或4所述的方法,其中,所述根据所述图像位置信息确定所述目标对象相对于所述无人机的相对方位信息,包括:
根据所述摄像装置拍摄所述图像信息时的相机姿态信息以及所述图像位置信息,确定所述目标对象相对于所述无人机的相对方位信息。
6.根据权利要求3所述的方法,其中,所述根据所述图像位置信息确定所述目标对象相对于所述无人机的相对方位信息,包括:
基于所述图像位置信息确定所述目标对象在所述摄像装置对应的摄像坐标系中的摄像位置信息;
根据所述摄像位置信息及所述摄像坐标系至所述无人机对应的世界坐标系的转换参数,确定所述目标对象在所述世界坐标系中的相对位置信息;
基于所述相对位置信息获取所述目标对象相对于所述无人机的相对方位信息。
7.根据权利要求6所述的方法,其中,所述根据所述无人机当前的空间位置信息、所述相对方位信息以及所述空间距离信息确定所述目标对象的空间位置信息,包括:
根据所述相对方位信息以及所述空间距离信息确定所述目标对象在所述世界坐标系中的位置信息;
基于所述目标对象在所述世界坐标系中的位置信息以及所述无人机当前的空间位置信息确定所述目标对象的空间位置信息。
8.根据权利要求1至7中任一项所述的方法,其中,所述基于所述相对方位信息通过所述无人机对应的测距装置测量所述目标对象距离所述无人机的空间距离信息,包括:
基于所述相对方位信息调整所述无人机对应的测距装置的测距姿态信息,通过所述测距装置测量所述目标对象距离所述无人机的空间距离信息。
9.根据权利要求1至8中任一项所述的方法,其中,所述无人机控制设备处于协作事件中;其中,所述方法还包括:
将所述目标对象的空间位置信息发送至所述协作事件对应的协作设备,其中,所述协作设备包括处于所述协作事件的增强现实设备和/或指挥设备。
10.根据权利要求1所述的方法,其中,所述方法还包括:
若存在所述多个目标对象且多个目标对象对应的相对方位信息不完全相同,优选确定所述测距装置的测距顺序信息;
其中,所述基于所述相对方位信息通过所述无人机对应的测距装置测量所述目标对象距离所述无人机的空间距离信息,包括:
基于所述相对方位信息及所述测距装置的测距顺序信息,依次调节所述测距装置的测距姿态信息,测量所述多个目标对象距离所述无人机的空间距离信息。
11.根据权利要求10所述的方法,其中,所述优选确定所述测距装置的测距顺序信息,包括以下至少任一项:
优选确定多个目标对象的相对方位信息中与测距装置当前姿态信息的角度偏移最小的目标对象为第一顺位测距目标对象,依次根据各目标对象的相对方位信息间的角度偏移差值,顺位确定对应的测距顺序信息;
根据所述多个目标对象的顺序排位,优选确定所述测距装置的测距顺序信息。
12.一种用于获取目标对象的空间位置信息的无人机控制设备,其中,该设备包括:
第一模块,用于通过对应无人机的定位装置获取关于所述无人机当前的空间位置信息;
第二模块,用于通过所述无人机的摄像装置拍摄关于目标对象的图像信息,并基于所述图像信息确定所述目标对象相对于所述无人机的相对方位信息;
第三模块,用于基于所述相对方位信息通过所述无人机对应的测距装置测量所述目标对象距离所述无人机的空间距离信息;
第四模块,用于根据所述无人机当前的空间位置信息、所述相对方位信息以及所述空间距离信息确定所述目标对象的空间位置信息。
13.根据权利要求12所述的设备,其中,所述相对方位信息包括所述目标对象相对于所述无人机的方位角信息和俯仰角信息。
14.根据权利要求12或13所述的设备,其中,所述基于所述图像信息确定所述目标对象相对于所述无人机的相对方位信息,包括:
基于所述图像信息确定所述目标对象在所述图像信息中的图像位置信息;
根据所述图像位置信息确定所述目标对象相对于所述无人机的相对方位信息。
15.根据权利要求14所述的方法,其中,所述基于所述图像信息确定所述目标对象在所述图像信息中的图像位置信息,包括:
基于所述目标对象的模板信息及所述图像信息,确定所述目标对象在所述图像信息中的图像位置信息。
16.根据权利要求14或15所述的设备,其中,所述根据所述图像位置信息确定所述目标对象相对于所述无人机的相对方位信息,包括:
根据所述摄像装置拍摄所述图像信息时的相机姿态信息以及所述图像位置信息,确定所述目标对象相对于所述无人机的相对方位信息。
17.根据权利要求14所述的设备,其中,所述根据所述图像位置信息确定所述目标对象相对于所述无人机的相对方位信息,包括:
基于所述图像位置信息确定所述目标对象在所述摄像装置对应的摄像坐标系中的摄像位置信息;
根据所述摄像位置信息及所述摄像坐标系至所述无人机对应的世界坐标系的转换参数,确定所述目标对象在所述世界坐标系中的相对位置信息;
基于所述相对位置信息获取所述目标对象相对于所述无人机的相对方位信息。
18.根据权利要求17所述的设备,其中,所述第四模块用于:
根据所述相对方位信息以及所述空间距离信息确定所述目标对象在所述世界坐标系中的位置信息;
基于所述目标对象在所述世界坐标系中的位置信息以及所述无人机当前的空间位置信息确定所述目标对象的空间位置信息。
19.根据权利要求12至18中任一项所述的设备,其中,所述第三模块用于:
基于所述相对方位信息调整所述无人机对应的测距装置的测距姿态信息,通过所述测距装置测量所述目标对象距离所述无人机的空间距离信息。
20.根据权利要求12至19中任一项所述的设备,其中,所述无人机控制设备处于协作事件中;其中,所述设备还包括:
第五模块,用于将所述目标对象的空间位置信息发送至所述协作事件对应的协作设备,其中,所述协作设备包括处于所述协作事件的增强现实设备和/或指挥设备。
21.根据权利要求12至20中任一项所述的设备,其中,所述设备还包括:
第六模块,若存在所述多个目标对象且多个目标对象对应的相对方位信息不完全相同,优选确定所述测距装置的测距顺序信息;
其中,所述第三模块用于:
基于所述相对方位信息及所述测距装置的测距顺序信息,依次调节所述测距装置的测距姿态信息,测量所述多个目标对象距离所述无人机的空间距离信息。
22.根据权利要求21所述的设备,其中,所述优选确定所述测距装置的测距顺序信息,包括以下至少任一项:
优选确定多个目标对象的相对方位信息中与测距装置当前姿态信息的角度偏移最小的目标对象为第一顺位测距,依次根据各目标对象的相对方位信息间的角度偏移差值,顺位确定对应的测距顺序信息;
根据所述多个目标对象的顺序排位,优选确定所述测距装置的测距顺序信息。
23.一种用于获取目标对象的空间位置信息的设备,其中,该设备包括:
处理器;以及
被安排成存储计算机可执行指令的存储器,所述可执行指令在被执行时使所述处理器执行如权利要求1至11中任一项所述方法的操作。
24.一种包括指令的计算机可读介质,所述指令在被执行时使得系统进行如权利要求1至11中任一项所述方法的操作。
CN201811397675.9A 2018-11-22 2018-11-22 一种用于获取目标对象的空间位置信息的方法与设备 Active CN109596118B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811397675.9A CN109596118B (zh) 2018-11-22 2018-11-22 一种用于获取目标对象的空间位置信息的方法与设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811397675.9A CN109596118B (zh) 2018-11-22 2018-11-22 一种用于获取目标对象的空间位置信息的方法与设备

Publications (2)

Publication Number Publication Date
CN109596118A true CN109596118A (zh) 2019-04-09
CN109596118B CN109596118B (zh) 2021-02-05

Family

ID=65958696

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811397675.9A Active CN109596118B (zh) 2018-11-22 2018-11-22 一种用于获取目标对象的空间位置信息的方法与设备

Country Status (1)

Country Link
CN (1) CN109596118B (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110110669A (zh) * 2019-05-08 2019-08-09 广东赛翼智能科技有限公司 一种基于人脸识别技术的智慧景区游客定位方法及系统
CN110221326A (zh) * 2019-05-29 2019-09-10 中国第一汽车股份有限公司 车辆定位方法、装置、设备和存储介质
CN110248157A (zh) * 2019-05-25 2019-09-17 亮风台(上海)信息科技有限公司 一种进行执勤调度的方法与设备
CN110264523A (zh) * 2019-06-25 2019-09-20 亮风台(上海)信息科技有限公司 一种确定测试图像中的目标图像的位置信息的方法与设备
CN110460808A (zh) * 2019-06-27 2019-11-15 安徽科力信息产业有限责任公司 目标名称实时显示方法、装置及无人机
CN110632941A (zh) * 2019-09-25 2019-12-31 北京理工大学 一种复杂环境下无人机目标跟踪的轨迹生成方法
CN111487993A (zh) * 2020-04-26 2020-08-04 重庆市亿飞智联科技有限公司 信息获取方法、装置、存储介质、自动驾驶仪及无人机
CN111551171A (zh) * 2020-06-18 2020-08-18 北京海益同展信息科技有限公司 目标对象的定位方法、装置、机器人和存储介质
CN112882076A (zh) * 2021-01-21 2021-06-01 江苏云巅电子科技有限公司 面向智慧工地的人员精确定位系统及定位方法
CN113240754A (zh) * 2021-06-01 2021-08-10 亮风台(上海)信息科技有限公司 确定ptz摄像装置的内参的方法、装置、设备及存储介质
CN113796099A (zh) * 2019-04-17 2021-12-14 苹果公司 使用增强现实寻找目标设备
CN113869231A (zh) * 2021-09-29 2021-12-31 亮风台(上海)信息科技有限公司 一种用于获取目标对象的实时图像信息的方法与设备
CN114355972A (zh) * 2021-12-27 2022-04-15 天翼物联科技有限公司 通信受限条件下的无人机护航方法、系统、装置及介质
CN114554030A (zh) * 2020-11-20 2022-05-27 空客(北京)工程技术中心有限公司 设备检测系统以及设备检测方法
WO2023284418A1 (zh) * 2021-07-16 2023-01-19 Oppo广东移动通信有限公司 定位方法、装置、电子设备以及计算机可读存储介质
CN116051628A (zh) * 2023-01-16 2023-05-02 北京卓翼智能科技有限公司 一种无人机定位方法、装置、电子设备以及存储介质
CN117308967A (zh) * 2023-11-30 2023-12-29 中船(北京)智能装备科技有限公司 一种目标对象位置信息的确定方法、装置及设备

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090041842A (ko) * 2007-10-25 2009-04-29 동양대학교 산학협력단 항공사진 촬영을 위한 무인항공기 제어방법
CN103149939A (zh) * 2013-02-26 2013-06-12 北京航空航天大学 一种基于视觉的无人机动态目标跟踪与定位方法
CN105100728A (zh) * 2015-08-18 2015-11-25 零度智控(北京)智能科技有限公司 无人机视频跟踪拍摄系统及方法
US20160161258A1 (en) * 2014-12-09 2016-06-09 Sikorsky Aircraft Corporation Unmanned aerial vehicle control handover planning
CN106373159A (zh) * 2016-08-30 2017-02-01 中国科学院长春光学精密机械与物理研究所 一种简化的无人机多目标定位方法
CN106506956A (zh) * 2016-11-17 2017-03-15 歌尔股份有限公司 基于无人机的跟踪拍摄方法、跟踪拍摄装置及系统
CN106713773A (zh) * 2017-03-31 2017-05-24 联想(北京)有限公司 一种拍摄控制方法及电子设备
WO2018072063A1 (zh) * 2016-10-17 2018-04-26 深圳市大疆创新科技有限公司 一种对飞行器的飞行控制方法、装置及飞行器
CN108320298A (zh) * 2018-04-28 2018-07-24 亮风台(北京)信息科技有限公司 一种视觉目标跟踪方法与设备
CN108680143A (zh) * 2018-04-27 2018-10-19 南京拓威航空科技有限公司 基于远程测距的目标定位方法、装置及无人机
CN108680165A (zh) * 2018-05-04 2018-10-19 中国人民解放军63920部队 基于光学图像的目标飞行器姿态确定方法和装置
CN108700890A (zh) * 2017-06-12 2018-10-23 深圳市大疆创新科技有限公司 无人机返航控制方法、无人机和机器可读存储介质
CN208110052U (zh) * 2018-04-27 2018-11-16 四川海讯电子开发集团有限公司 一种无人机目标定位系统

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090041842A (ko) * 2007-10-25 2009-04-29 동양대학교 산학협력단 항공사진 촬영을 위한 무인항공기 제어방법
CN103149939A (zh) * 2013-02-26 2013-06-12 北京航空航天大学 一种基于视觉的无人机动态目标跟踪与定位方法
US20160161258A1 (en) * 2014-12-09 2016-06-09 Sikorsky Aircraft Corporation Unmanned aerial vehicle control handover planning
CN105100728A (zh) * 2015-08-18 2015-11-25 零度智控(北京)智能科技有限公司 无人机视频跟踪拍摄系统及方法
CN106373159A (zh) * 2016-08-30 2017-02-01 中国科学院长春光学精密机械与物理研究所 一种简化的无人机多目标定位方法
WO2018072063A1 (zh) * 2016-10-17 2018-04-26 深圳市大疆创新科技有限公司 一种对飞行器的飞行控制方法、装置及飞行器
CN106506956A (zh) * 2016-11-17 2017-03-15 歌尔股份有限公司 基于无人机的跟踪拍摄方法、跟踪拍摄装置及系统
CN106713773A (zh) * 2017-03-31 2017-05-24 联想(北京)有限公司 一种拍摄控制方法及电子设备
CN108700890A (zh) * 2017-06-12 2018-10-23 深圳市大疆创新科技有限公司 无人机返航控制方法、无人机和机器可读存储介质
CN108680143A (zh) * 2018-04-27 2018-10-19 南京拓威航空科技有限公司 基于远程测距的目标定位方法、装置及无人机
CN208110052U (zh) * 2018-04-27 2018-11-16 四川海讯电子开发集团有限公司 一种无人机目标定位系统
CN108320298A (zh) * 2018-04-28 2018-07-24 亮风台(北京)信息科技有限公司 一种视觉目标跟踪方法与设备
CN108680165A (zh) * 2018-05-04 2018-10-19 中国人民解放军63920部队 基于光学图像的目标飞行器姿态确定方法和装置

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113796099A (zh) * 2019-04-17 2021-12-14 苹果公司 使用增强现实寻找目标设备
CN110110669A (zh) * 2019-05-08 2019-08-09 广东赛翼智能科技有限公司 一种基于人脸识别技术的智慧景区游客定位方法及系统
CN110248157A (zh) * 2019-05-25 2019-09-17 亮风台(上海)信息科技有限公司 一种进行执勤调度的方法与设备
CN110221326A (zh) * 2019-05-29 2019-09-10 中国第一汽车股份有限公司 车辆定位方法、装置、设备和存储介质
CN110264523B (zh) * 2019-06-25 2021-06-18 亮风台(上海)信息科技有限公司 一种确定测试图像中的目标图像的位置信息的方法与设备
CN110264523A (zh) * 2019-06-25 2019-09-20 亮风台(上海)信息科技有限公司 一种确定测试图像中的目标图像的位置信息的方法与设备
CN110460808A (zh) * 2019-06-27 2019-11-15 安徽科力信息产业有限责任公司 目标名称实时显示方法、装置及无人机
CN110632941A (zh) * 2019-09-25 2019-12-31 北京理工大学 一种复杂环境下无人机目标跟踪的轨迹生成方法
CN111487993A (zh) * 2020-04-26 2020-08-04 重庆市亿飞智联科技有限公司 信息获取方法、装置、存储介质、自动驾驶仪及无人机
CN111551171A (zh) * 2020-06-18 2020-08-18 北京海益同展信息科技有限公司 目标对象的定位方法、装置、机器人和存储介质
CN114554030B (zh) * 2020-11-20 2023-04-07 空客(北京)工程技术中心有限公司 设备检测系统以及设备检测方法
CN114554030A (zh) * 2020-11-20 2022-05-27 空客(北京)工程技术中心有限公司 设备检测系统以及设备检测方法
CN112882076A (zh) * 2021-01-21 2021-06-01 江苏云巅电子科技有限公司 面向智慧工地的人员精确定位系统及定位方法
CN113240754A (zh) * 2021-06-01 2021-08-10 亮风台(上海)信息科技有限公司 确定ptz摄像装置的内参的方法、装置、设备及存储介质
CN113240754B (zh) * 2021-06-01 2024-03-01 亮风台(上海)信息科技有限公司 确定ptz摄像装置的内参的方法、装置、设备及存储介质
WO2023284418A1 (zh) * 2021-07-16 2023-01-19 Oppo广东移动通信有限公司 定位方法、装置、电子设备以及计算机可读存储介质
CN113869231A (zh) * 2021-09-29 2021-12-31 亮风台(上海)信息科技有限公司 一种用于获取目标对象的实时图像信息的方法与设备
CN113869231B (zh) * 2021-09-29 2023-01-31 亮风台(上海)信息科技有限公司 一种用于获取目标对象的实时图像信息的方法与设备
CN114355972B (zh) * 2021-12-27 2023-10-27 天翼物联科技有限公司 通信受限条件下的无人机护航方法、系统、装置及介质
CN114355972A (zh) * 2021-12-27 2022-04-15 天翼物联科技有限公司 通信受限条件下的无人机护航方法、系统、装置及介质
CN116051628A (zh) * 2023-01-16 2023-05-02 北京卓翼智能科技有限公司 一种无人机定位方法、装置、电子设备以及存储介质
CN116051628B (zh) * 2023-01-16 2023-10-27 北京卓翼智能科技有限公司 一种无人机定位方法、装置、电子设备以及存储介质
CN117308967A (zh) * 2023-11-30 2023-12-29 中船(北京)智能装备科技有限公司 一种目标对象位置信息的确定方法、装置及设备
CN117308967B (zh) * 2023-11-30 2024-02-02 中船(北京)智能装备科技有限公司 一种目标对象位置信息的确定方法、装置及设备

Also Published As

Publication number Publication date
CN109596118B (zh) 2021-02-05

Similar Documents

Publication Publication Date Title
CN109596118A (zh) 一种用于获取目标对象的空间位置信息的方法与设备
US11644832B2 (en) User interaction paradigms for a flying digital assistant
US11573562B2 (en) Magic wand interface and other user interaction paradigms for a flying digital assistant
US10175042B2 (en) Adaptive compass calibration based on local field conditions
JP6765512B2 (ja) 飛行経路生成方法、情報処理装置、飛行経路生成システム、プログラム及び記録媒体
US10228691B1 (en) Augmented radar camera view for remotely operated aerial vehicles
US20200191556A1 (en) Distance mesurement method by an unmanned aerial vehicle (uav) and uav
US20200320886A1 (en) Information processing device, flight control instruction method, program and recording medium
Meier et al. The pixhawk open-source computer vision framework for mavs
CN109459029A (zh) 一种用于确定目标对象的导航路线信息的方法与设备
CN104865846B (zh) 组合自主导航系统的地面半物理仿真平台
CN109561282A (zh) 一种用于呈现地面行动辅助信息的方法与设备
US20210208608A1 (en) Control method, control apparatus, control terminal for unmanned aerial vehicle
CN102190081A (zh) 基于视觉的飞艇定点鲁棒控制方法
US11768487B2 (en) Motion tracking interface for planning travel path
JP2021117502A (ja) 着陸制御装置、着陸制御方法およびプログラム。
CN109656319A (zh) 一种用于呈现地面行动辅助信息方法与设备
CN109521785B (zh) 一种随身拍智能旋翼飞行器系统
WO2020237478A1 (zh) 一种飞行规划方法及相关设备
CN110309883A (zh) 一种基于视觉slam的无人机自主定位方法
Coppa et al. Accuracy enhancement of unmanned helicopter positioning with low-cost system
US20230280742A1 (en) Magic Wand Interface And Other User Interaction Paradigms For A Flying Digital Assistant
Cai et al. Multi-source information fusion augmented reality benefited decision-making for unmanned aerial vehicles: A effective way for accurate operation
KR20200059443A (ko) 측정 대상물 3차원 형상 정보 획득 방법 및 시스템
RU2816087C1 (ru) Автономная оптическая система локального позиционирования и навигации

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: A Method and Device for Obtaining Spatial Position Information of Target Objects

Effective date of registration: 20221008

Granted publication date: 20210205

Pledgee: Industrial Bank Co.,Ltd. Shanghai Xuhui sub branch

Pledgor: HISCENE INFORMATION TECHNOLOGY Co.,Ltd.

Registration number: Y2022310000277

CP02 Change in the address of a patent holder

Address after: 201210 7th Floor, No. 1, Lane 5005, Shenjiang Road, China (Shanghai) Pilot Free Trade Zone, Pudong New Area, Shanghai

Patentee after: HISCENE INFORMATION TECHNOLOGY Co.,Ltd.

Address before: Room 501 / 503-505, 570 shengxia Road, China (Shanghai) pilot Free Trade Zone, Pudong New Area, Shanghai, 201203

Patentee before: HISCENE INFORMATION TECHNOLOGY Co.,Ltd.

CP02 Change in the address of a patent holder
PC01 Cancellation of the registration of the contract for pledge of patent right

Date of cancellation: 20230906

Granted publication date: 20210205

Pledgee: Industrial Bank Co.,Ltd. Shanghai Xuhui sub branch

Pledgor: HISCENE INFORMATION TECHNOLOGY Co.,Ltd.

Registration number: Y2022310000277

PC01 Cancellation of the registration of the contract for pledge of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: A method and device for obtaining spatial location information of target objects

Effective date of registration: 20231107

Granted publication date: 20210205

Pledgee: Industrial Bank Co.,Ltd. Shanghai Caohejing sub branch

Pledgor: HISCENE INFORMATION TECHNOLOGY Co.,Ltd.

Registration number: Y2023310000719

PE01 Entry into force of the registration of the contract for pledge of patent right