CN115439528A - 一种获取目标对象的图像位置信息的方法与设备 - Google Patents

一种获取目标对象的图像位置信息的方法与设备 Download PDF

Info

Publication number
CN115439528A
CN115439528A CN202210445326.XA CN202210445326A CN115439528A CN 115439528 A CN115439528 A CN 115439528A CN 202210445326 A CN202210445326 A CN 202210445326A CN 115439528 A CN115439528 A CN 115439528A
Authority
CN
China
Prior art keywords
information
coordinate system
camera
unmanned aerial
aerial vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210445326.XA
Other languages
English (en)
Other versions
CN115439528B (zh
Inventor
周俊颖
刘理想
侯晓辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hiscene Information Technology Co Ltd
Original Assignee
Hiscene Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hiscene Information Technology Co Ltd filed Critical Hiscene Information Technology Co Ltd
Priority to CN202210445326.XA priority Critical patent/CN115439528B/zh
Publication of CN115439528A publication Critical patent/CN115439528A/zh
Application granted granted Critical
Publication of CN115439528B publication Critical patent/CN115439528B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Remote Sensing (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Navigation (AREA)

Abstract

本申请的目的是提供一种获取目标对象的图像位置信息的方法与设备，包括：获取通过无人机设备的摄像装置拍摄的关于目标对象的无人机图像及所述无人机图像被拍摄时所述摄像装置的摄像位姿信息；获取所述目标对象的地理位置信息；根据摄像位置信息、摄像姿态信息确定所述无人机图像对应的目标坐标变换信息；基于所述地理位置信息及所述目标坐标变换信息确定所述目标对象的图像位置信息。本申请为无人机图像的监控人员提供了图像参照，帮助监控人员快速、准确将无人机图像与目标对象相关的真实地理位置对应起来，提供了良好的无人机设备的巡查和航拍体验。

Description

一种获取目标对象的图像位置信息的方法与设备
技术领域
本申请涉及通信领域，尤其涉及一种获取目标对象的图像位置信息的技术。
背景技术
随着技术的进步与发展，无人机设备广泛应用于各个领域，例如使用无人机设备对城市进行监控与巡查。目前，无人机设备的监控与巡查大多为传统的视频监控，通过将无人机设备的视频流数据传输到地面控制端及监控系统，可以看到无人机设备拍摄的无人机图像内道路、建筑等目标点的实时情况以及无人机设备的位置信息，但无法在无人机图像内直观显示目标点的位置信息。
发明内容
本申请的一个目的是提供一种获取目标对象的图像位置信息的方法与设备。
根据本申请的一个方面，提供了一种获取目标对象的图像位置信息的方法，其中，该方法包括：
获取通过无人机设备的摄像装置拍摄的关于目标对象的无人机图像及所述无人机图像被拍摄时所述摄像装置的摄像位姿信息，其中，所述摄像位姿信息包括所述摄像装置的摄像位置信息及摄像姿态信息；
获取所述目标对象的地理位置信息，其中，所述地理位置信息与对应地理坐标系相对应；
根据所述摄像位置信息、所述摄像姿态信息确定所述无人机图像对应的目标坐标变换信息，其中，所述目标坐标变换信息包括由所述地理坐标系转换至所述无人机图像的像素坐标系的坐标变换信息；
基于所述地理位置信息及所述目标坐标变换信息确定所述目标对象的图像位置信息，其中，所述图像位置信息包括所述目标对象在所述无人机图像的像素坐标系中的像素坐标信息。
根据本申请的另一个方面，提供了一种获取目标对象的图像位置信息的设备，其中，该设备包括：
一一模块，用于获取通过无人机设备的摄像装置拍摄的关于目标对象的无人机图像及所述无人机图像被拍摄时所述摄像装置的摄像位姿信息，其中，所述摄像位姿信息包括所述摄像装置的摄像位置信息及摄像姿态信息；
一二模块，用于获取所述目标对象的地理位置信息，其中，所述地理位置信息与对应地理坐标系相对应；
一三模块，用于根据所述摄像位置信息、所述摄像姿态信息确定所述无人机图像对应的目标坐标变换信息，其中，所述目标坐标变换信息包括由所述地理坐标系转换至所述无人机图像的像素坐标系的坐标变换信息；
一四模块，用于基于所述地理位置信息及所述目标坐标变换信息确定所述目标对象的图像位置信息，其中，所述图像位置信息包括所述目标对象在所述无人机图像的像素坐标系中的像素坐标信息。
根据本申请的一个方面，提供了一种计算机设备，其中，该设备包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行如上任一所述方法的步骤。
根据本申请的一个方面，提供了一种计算机可读存储介质，其上存储有计算机程序/指令，其特征在于，该计算机程序/指令在被执行时使得系统进行执行如上任一所述方法的步骤。
根据本申请的一个方面，提供了一种计算机程序产品，包括计算机程序/指令，其特征在于，该计算机程序/指令被处理器执行时实现如上任一所述方法的步骤。
与现有技术相比，本申请能够获取目标对象在无人机图像中的图像位置信息，从而在无人机图像中直观地、实时地显示目标对象，为无人机图像的监控人员提供了图像参照，帮助监控人员快速、准确将无人机图像与目标对象相关的真实地理位置对应起来，提供了良好的无人机设备的巡查和航拍体验。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1示出根据本申请一个实施例的一种获取目标对象的图像位置信息的方法流程图；
图2示出根据本申请另一个实施例的一种计算机设备的设备结构图；
图3示出可被用于实施本申请中所述的各个实施例的示例性系统。
附图中相同或相似的附图标记代表相同或相似的部件。
具体实施方式
下面结合附图对本申请作进一步详细描述。
在本申请一个典型的配置中，终端、服务网络的设备和可信方均包括一个或多个处理器(例如，中央处理器(Central Processing Unit，CPU))、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RandomAccess Memory，RAM)和/或非易失性内存等形式，如只读存储器(Read Only Memory，ROM)或闪存(Flash Memory)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(Phase-Change Memory，PCM)、可编程随机存取存储器(Programmable Random Access Memory，PRAM)、静态随机存取存储器(Static Random-Access Memory，SRAM)、动态随机存取存储器(Dynamic Random AccessMemory，DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(Electrically-Erasable Programmable Read-Only Memory，EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)、数字多功能光盘(Digital Versatile Disc,DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
本申请所指设备包括但不限于用户设备、网络设备、或用户设备与网络设备通过网络相集成所构成的设备。所述用户设备包括但不限于任何一种可与用户进行人机交互的移动电子产品，例如智能手机、平板电脑、无人机设备等，所述移动电子产品可以采用任意操作系统，如Android操作系统、iOS操作系统等。其中，所述网络设备包括一种能够按照事先设定或存储的指令，自动进行数值计算和信息处理的电子设备，其硬件包括但不限于微处理器、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程逻辑器件(Programmable Logic Device，PLD)、现场可编程门阵列(Field Programmable GateArray，FPGA)、数字信号处理器(Digital Signal Processor，DSP)、嵌入式设备等。所述网络设备包括但不限于计算机、网络主机、单个网络服务器、多个网络服务器集或多个服务器构成的云；在此，云由基于云计算(Cloud Computing)的大量计算机或网络服务器构成，其中，云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个虚拟超级计算机。所述网络包括但不限于互联网、广域网、城域网、局域网、VPN网络、无线自组织网络(Ad Hoc网络)等。优选地，所述设备还可以是运行于所述用户设备、网络设备、或用户设备与网络设备、网络设备、触摸终端或网络设备与触摸终端通过网络相集成所构成的设备上的程序。
当然，本领域技术人员应能理解上述设备仅为举例，其他现有的或今后可能出现的设备如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。
在本申请的描述中，“多个”的含义是两个或者更多，除非另有明确具体的限定。
图1示出了根据本申请一个方面的一种获取目标对象的图像位置信息的方法，该方法应用于计算机设备，具体包括步骤S101、步骤S102、步骤S103以及步骤S104。在步骤S101中，获取通过无人机设备的摄像装置拍摄的关于目标对象的无人机图像及所述无人机图像被拍摄时所述摄像装置的摄像位姿信息，其中，所述摄像位姿信息包括所述摄像装置的摄像位置信息及摄像姿态信息；在步骤S102中，获取所述目标对象的地理位置信息，其中，所述地理位置信息与对应地理坐标系相对应；在步骤S103中，根据所述摄像位置信息、所述摄像姿态信息确定所述无人机图像对应的目标坐标变换信息，其中，所述目标坐标变换信息包括由所述地理坐标系转换至所述无人机图像的像素坐标系的坐标变换信息；在步骤S104中，基于所述地理位置信息及所述目标坐标变换信息确定所述目标对象的图像位置信息，其中，所述图像位置信息包括所述目标对象在所述无人机图像的像素坐标系中的像素坐标信息。例如，所述计算机设备包括但不限于用户设备、网络设备或者用户设备与网络设备的集合设备；其中，所述用户设备包括但不限于任何一种可与用户进行人机交互(例如通过触摸板进行人机交互)的移动电子产品，例如智能手机、平板电脑、无人机设备、智能眼镜、智能头盔等；所述网络设备包括但不限于计算机、网络主机、单个网络服务器、多个网络服务器集或多个服务器构成的云，例如，地面控制中心服务器等。其中，步骤S101和步骤S102不分先后，可以先执行步骤S101再执行步骤S102，也可以先执行步骤S102再执行步骤S101。
具体而言，在步骤S101中，获取通过无人机设备的摄像装置拍摄的关于目标对象的无人机图像及所述无人机图像被拍摄时所述摄像装置的摄像位姿信息，其中，所述摄像位姿信息包括所述摄像装置的摄像位置信息及摄像姿态信息。例如，无人机设备包括利用无线电遥控设备和自备的程序控制装置操纵的不载人飞行设备。无人机设备包括对应通信装置，用于与其他设备(例如，用户设备、地面控制中心等)建立对应通信连接并进行信息传输；所述无人机设备还包括摄像装置，用于采集关于目标对象的无人机图像。无人机设备基于无人机控制用户的操作或者基于预设航行路线进行飞行，在无人机设备飞行过程中，无人机设备的摄像装置基于用户采集指令、实时或者基于预设摄像间隔等进行地面目标的采集确定对应无人机图像。其中，目标对象用于指示无人机图像中具有标识性作用或者用户特别关注的对象，例如，基于用户在无人机图像中的指定操作确定的对象，例如，通过用户在无人机图像中的点击、框选等操作确定的对象，或者基于数据库中相关模板特征识别的无人机图像中的识别对象等，例如，地面上标识建筑或者目标标识物等；在一些情形下，所述目标对象包括对目标点增加地理位置信息的地理标签信息，地理位置信息包括但不限于目标点的经纬度信息，优选地，该地理位置信息还包括目标点的海拔信息；在一些情形下，该地理位置信息还包括关于目标点的描述信息，如目标点的介绍等信息，具体地，例如，目标点可以是某地理位置、标志性的街道、建筑、汽车或者行人等。
所述无人机设备从本次飞行的无人机起飞点出发，飞行至对应位置(例如，可以是预设的目标位置或者当前时刻对应的当前位置等)后，通过对应摄像装置拍摄对应位置的地面相关图像，将该图像确定为关于目标对象的无人机图像。无人机设备可以获取拍摄该无人机图像时摄像装置对应的摄像位姿信息，该摄像位姿信息包括对应摄像装置的摄像位置信息及摄像姿态信息等，其中，所述摄像位置信息包括但不限于摄像装置的相对位置信息或者绝对位置信息(例如，摄像装置对应的摄像坐标系原点的相对位置信息或者绝对位置信息)，其中，相对位置信息包括但不限于该摄像装置对应的摄像坐标系原点(例如，摄像装置的中心等)在三维坐标系(例如，无人机坐标系、地心坐标系或者其他三维直角坐标系等)中的三维坐标信息，对应绝对位置信息包括该摄像装置对应的摄像坐标系原点(例如，摄像装置的中心等)的经纬度信息及海拔信息等。对应摄像位置信息由无人机设备拍摄无人机图像的实时位置信息确定。
在一些实施方式中，在步骤S101中，获取所述摄像装置拍摄的关于目标对象的无人机图像及所述无人机图像被拍摄时所述无人机设备的实时位置信息及所述摄像装置的摄像姿态信息；基于所述实时位置信息确定所述摄像装置的摄像位置信息。例如，在一些情形下，忽略无人机设备与摄像装置之间的平移关系，可以直接将无人机设备的地理位置信息确定为摄像装置的摄像位置信息；在另一些情形下，先确定拍摄无人机图像时无人机设备的实时位置信息，并基于该实时位置信息及摄像装置与无人机设备的平移关系，确定该摄像装置的摄像位置信息等，其中，所述平移关系包括该摄像装置对应的摄像坐标系的原点相对于无人机设备对应的无人机坐标系的原点的平移关系等。
所述摄像装置的摄像姿态信息包括该摄像装置在拍摄无人机图像时的摄像角度信息，在一些情形下，该摄像装置通过对应承载装置(例如，云台等)调整对应的摄像角度信息，以对应云台的角度信息来指示该摄像装置的摄像姿态信息，具体地，无人机云台的角度信息由云台提供，包括yaw/pitch/roll三轴角度信息，yaw为偏航角，pitch为俯仰角，roll为翻滚角等。
在步骤S102中，获取所述目标对象的地理位置信息，其中，所述地理位置信息与对应地理坐标系相对应。例如，所述地理坐标系包括基于全球定位系统(Global PositioningSystem，GPS)建立的坐标系统，由经纬度坐标及高度信息表示，如世界大地坐标系(WorldGeodetic System-1984 Coordinate System，WGS84)、国家大地坐标系、西安坐标系等。例如，对应地理位置信息由地理坐标(φ,λ,h)表示，其中，φ表示纬度信息，λ表示经度信息，h表示海拔信息等。其中，经纬度信息通过GPS、RTK技术或者电子地图上取点获取，对应海拔信息通过数字高程模型(Digital Elevation Model，DEM)、数字地表模型(DigitalSurface Model，DSM)或其他方式获取等。在一些情形下，地理位置信息可以是事先获取的，目标对象的地理位置信息可以是存储于对应地理数据库中，该地理数据库包括一个或多个地理标签信息，每个地理标签信息包括对应的地理位置信息等。该地理数据库可以是存储于该计算机设备，或者存储于与计算机设备存在通信连接的其他设备，基于与其他设备的通信连接获取关于目标对象的地理标签信息，并从中获取目标对象的地理位置信息等。在一些情形下，该地理位置信息可以是实时获取的，例如，基于用户操作在电子地图实时取点(如框选目标或者点选目标等)等确定目标对象的地理位置信息，又例如，基于用户操作在无人机图像中实时取点(如框选目标或者点选目标等)，并基于无人机设备的摄像装置的摄像位姿信息计算得到该目标对象的地理位置信息等。
在步骤S103中，根据所述摄像位置信息、所述摄像姿态信息确定所述无人机图像对应的目标坐标变换信息，其中，所述目标坐标变换信息包括由所述地理坐标系转换至所述无人机图像的像素坐标系的坐标变换信息。例如，由于地理坐标系通常是固定的，我们只需要获取无人机对应的摄像位置信息、摄像姿态信息，即可确定从地理坐标系转换至该无人机图像对应的摄像坐标系的转换关系，并在已知摄像装置的内参的情形时，从摄像坐标系转换至像素坐标系，从而确定对应的目标坐标变换信息。其中，所述摄像坐标系通常被看作是一种特殊的“物体”坐标系，该“物体”坐标系就定义在摄像机的屏幕可视区域，如摄像机坐标系中，以摄像机光心为原点，x轴向右，z轴向前(朝向屏幕外或摄像机方向)，y轴向下(不是世界的下方而是摄像机本身的下方)。对应像素坐标系包括以无人机图像左上角为原点建立以像素为单位的直角坐标系u-v，如像素的横坐标u与纵坐标v分别是在其图像数组中所在的列数与所在行数等。例如，我们设置一个三维直角坐标系作为中转坐标系，先将地理位置信息从对应地理坐标系转换至对应三维直角坐标系中，再从三维直角坐标系转换至摄像坐标系中，最后，从摄像坐标系中转换至对应像素坐标系中，从而确定地理位置信息在像素坐标系中的对应位置。
在一些实施方式中，所述步骤S103包括子步骤S1031(未示出)、子步骤S1032(未示出)、子步骤S1033(未示出)以及步骤S1034(未示出)，其中，在步骤S1031中，获取所述地理坐标系变换至所述无人机设备对应的三维直角坐标系的第一坐标变换信息；在步骤S1032中，基于所述摄像位置信息、所述摄像姿态信息确定所述三维直角坐标系变换所述摄像装置的摄像坐标系的第二坐标变换信息；在步骤S1033中，获取所述摄像坐标系变换至所述无人机图像的像素坐标系的第三坐标变换信息；在步骤S1034中，基于所述第一坐标变换信息、所述第二坐标变换信息以及所述第三坐标变换信息确定所述无人机图像对应的目标坐标变换信息，其中，所述目标坐标变换信息包括由所述地理坐标系转换至所述无人机图像的像素坐标系的坐标变换信息。例如，对应三维直角坐标系包括以某一点为原点的，以东南西北上下六个正方向中相互垂直的两个方向作为对应x、y轴，与该两个垂直方向组成的平面垂直的某正方向作为z轴的三维坐标系，例如，常用的站心坐标系或者导航坐标系，当然，任一三维直角坐标系均可，例如，NWU坐标系(X轴向北，Y轴向西，Z轴向上)、WND坐标系(X轴向西，Y轴向北，Z轴向下)等，其中，对应原点包括已经标定的坐标点、固定的地理点或者无人机设备的起飞点等。如在一些实施方式中，所述三维直角坐标系包括但不限于：站心坐标系；导航坐标系；任一三维直角坐标系。例如，所述站心坐标系包括以一个站心点为坐标原点，X轴指东(East)、Y轴指北(North)，Z轴指天(Up)组成的三维直角坐标系，主要用于地理方面；对应导航坐标系包括以一个坐标点作为坐标原点，X轴指向地球北(North)、Y轴指东(East)、Z轴垂直于地球表面并指向下(Down)组成的三维直角坐标系，主要用于导航方面。对应任一三维直角坐标系包括可以通过简单坐标轴方向由上述站心坐标系或者导航坐标系变换得到的三维坐标系等，如NWU坐标系、WND坐标系等，在此仅为举例，不作限定。由于三维直角坐标系已知的情况下，该地理位置信息从地理坐标系转换至三维直角坐标系对应的第一坐标变换也为已知的；同时，基于已知的三维直角坐标系及摄像位姿信息，我们可以求解出该三维直角坐标系转换至摄像坐标系的第二坐标变换信息；通常摄像装置的内参在标定后可以确定，我们可以基于该标定的内参将坐标从摄像坐标系变换至图像坐标系，并对图像坐标系进行栅格化变换至像素坐标系，从而确定对应第三坐标变换信息。计算机设备基于前述第一坐标变换信息、第二坐标变换信息以及第三坐标变换信息可以确定对应目标坐标变换信息从而实现任一位置对应的地理位置信息转换至无人机图像对应的像素坐标系下确定对应的图像位置信息。其中，所述第一、第二、第三以及后续相似名词前缀等仅用于进行坐标变换信息在不同坐标系间变换，并不涉及任何先后、次序或者等级方面的排序等。
如在一些实施方式中，在步骤S1031中，获取所述地理坐标系变换至对应地心坐标系的第四坐标变换信息；获取所述地心坐标系变换至所述无人机设备对应的三维直角坐标系的第五坐标变换信息；根据所述第四坐标变换信息、所述第五坐标变换信息确定所述地理坐标系变换至所述三维直角坐标系的第一坐标变换信息。例如，地理坐标系是通过三维球面来定义地球表面位置，以实现通过经纬度信息对地球表面点位置引用的坐标系，也称为大地坐标系，该坐标系中，首先将地球抽象成一个规则的逼近原始自然地球表面的椭球体，称为参考椭球体，然后在参考椭球体上定义一系列的经线和纬线构成经纬网，从而达到通过经纬度来描述地表点位的目的。该经纬地理坐标系不是平面坐标系，因为度不是标准的长度单位，不可用其直接量测面积长度，所以我们需要对该地理坐标系进行转换，将经纬度信息转换为能够测量的直角坐标系中，如将地理坐标系先转换至地心坐标系，再从地心坐标系转换至对应三维直角坐标系中，通过所述地理坐标系变换至对应地心坐标系的第四坐标变换信息及所述地心坐标系变换至所述无人机设备对应的三维直角坐标系的第五坐标变换信息确定对应第一坐标变换信息。例如，地心地固坐标系(Earth-Centered,Earth-Fixed，简称ECEF)简称地心坐标系，是一种以地球质心为原点的地固坐标系(也称地球坐标系)，是一种笛卡尔空间直角坐标系。原点O(0,0,0)为地球质心，z轴与地轴平行指向北极点，x轴指向本初子午线与赤道的交点，y轴垂直于xOz平面(即东经90度与赤道的交点)构成右手坐标系。地心坐标系也是一种三维直角坐标系，从该地心坐标系转换至对应三维直角坐标系仅需进行原点平移及三轴方向旋转的计算等。
在步骤S104中，基于所述地理位置信息及所述目标坐标变换信息确定所述目标对象的图像位置信息，其中，所述图像位置信息包括所述目标对象在所述无人机图像的像素坐标系中的像素坐标信息。例如，计算机设备可以基于对应目标坐标变换信息确定目标对象在像素坐标系中的像素坐标集合，从而确定目标对象的图像位置信息，从而在无人机图像中对该目标对象进行标识，如高亮渲染该目标对象或者叠加显示该目标对象的地理标签信息包含的数据内容，例如，叠加显示对应地理坐标信息或者呈现该目标对象的对象标识信息或介绍信息等。当然，在实际使用过程中，我们可以是先计算出对应目标坐标变换信息后根据该目标坐标变换信息计算对应图像位置信息，或者，可以是在计算目标坐标变换信息的过程中，通过地理位置信息对应经纬度、海拔信息等不断转换从而确定对应图像位置信息。在一些情形下，计算机设备还可以在后续无人机图像中对目标对象进行实时跟踪渲染等。如在一些实施方式中，所述方法还包括步骤S105(未示出)，在步骤S105中，获取对应实时无人机图像中所述目标对象的实时图像位置信息；根据所述实时图像位置信息在所述实时无人机图像中呈现所述目标对象的增强现实信息。例如，计算机设备利用上述方法，可以实时计算每一个实时拍摄的实时无人机图像对应的实时图像位置信息，其中，对应实时图像位置信息包括所述目标对象在所述实时无人机图像的实时像素坐标系中的实时像素坐标信息等。例如，计算机设备通过前述步骤先确定实时无人机图像的目标坐标变换信息，并基于目标坐标变换信息将对应地理位置信息转换至像素坐标系中确定对应像素坐标信息等。计算机设备可以在无人机设备飞行过程中拍摄实时无人机图像，并在对应实时无人机图像不断变化情况下，使得计算出的地理标签信息对应的图像位置信息能够随着无人机图像的变化而运动，在实时无人机图像中显示对应地理标签信息且地理标签信息在无人机图像中的对应信息不偏移，从而实现增强现实叠加实时呈现的效果。当然，计算机设备还可以基于对应实时图像位置信息叠加显示目标对象的增强现实信息，该增强现实信息包括但不限于目标对象的渲染、标记或者3D投影信息等。
计算机设备基于上述方法能够实现坐标从地理坐标系转换至对应像素坐标系，下面我们结合具体实施例对上述转换过程进行具体介绍。如在一些实施方式中，所述三维直角坐标系包括所述站心坐标系，所述站心坐标系的原点包括所述无人机设备起飞点的起始位置信息。例如，我们以站心坐标系为例进行坐标变换时，通过以下公式分别实现从地理坐标系转换至对应地心坐标系：
X＝(N(φ)+h)cosφcosλ
Y＝(N(φ)+h)cosφsinλ
Z＝(N(φ)(1-e2)+h)sinφ
其中
Figure BDA0003616532330000111
其中，(φ,λ,h)为地理标签对应的地理坐标，X、Y、Z分别表示地心坐标系下的三维坐标信息，a和e分别为椭圆的半长轴和第一数值偏心率，其中a＝6378137,e2＝6.69437999014*10-3。然后，可以将坐标从地心坐标系转换至以无人机起飞点作为原点的站心坐标系中：
Figure BDA0003616532330000112
其中，站心坐标系的原点(无人机起飞点)在地心坐标系下的坐标为(Xr，Yr，Zr)，x、y、z用于标识站心坐标系下的三维坐标信息等。同理，基于前述公式(1)和(2)，我们将摄像装置的摄像位置信息(如无人机设备的地理坐标)(φa，λa，ha)实时转换到站心坐标系，转换后的坐标为(xa，ya，za)。
在一些实施方式中，在步骤S1032中，将所述摄像位置信息变换至所述站心坐标系中确定对应坐标偏移信息，根据所述摄像姿态信息确定对应的旋转矩阵信息，以获取所述站心坐标系变换所述摄像装置的摄像坐标系的第二坐标变换信息。例如，基于无人机设备的承载设备(例如，云台等)的承载角度信息等获取对应无人机的角度信息(α，β，γ)，在此，我们可以直接将该无人机角度信息确定为摄像装置的摄像姿态信息，或者基于该无人机角度信息进行坐标轴转换将无人机角度信息的各个角度转换至摄像坐标系下从而确定对应的摄像姿态信息等。在一些情形下，所述计算机设备确定对应处于摄像坐标系下的摄像姿态信息后，可以基于该摄像姿态信息确定对应站心坐标系转换至摄像坐标系的旋转矩阵信息；在另一些情形下，计算机设备可以根据无人机角度信息确定对应初始旋转矩阵信息，并将初始旋转矩阵信息变换至摄像坐标系下从而确定对应旋转矩阵信息等。计算机设备基于该无人机的角度信息我们可以确定对应旋转矩阵信息，并基于无人机的位置信息可以确定三维直角坐标系至该摄像坐标系的坐标偏移信息，从而确定前述第二坐标变换信息等。在一些情形下中，所述无人机坐标系的原点与摄像坐标系的原点相同等。例如，将站心坐标系下的三维坐标(x,y,z)转到摄像坐标系下，得到地理标签点在摄像坐标系下的坐标(xc，yc，zc)：
Figure BDA0003616532330000121
其中t为：
Figure BDA0003616532330000122
其中，
Figure BDA0003616532330000123
为站心坐标系到无人机的摄像坐标系C的旋转矩阵，t为站心坐标系原点在摄像坐标系下的坐标等。
在一些实施方式中，所述摄像姿态信息包括所述无人机设备的承载设备的承载角度信息；其中，所述方法还包括：获取所述无人机设备的无人机坐标系转换至所述摄像坐标系的摄像旋转矩阵信息；其中，所述根据所述摄像姿态信息确定对应旋转矩阵信息，包括：将所述承载角度信息生成对应的初始旋转矩阵信息；根据初始旋转矩阵信息、所述摄像旋转矩阵信息确定对应旋转矩阵信息。例如，为了方便计算，我们将无人机坐标系与摄像坐标系的原点设置为同一个点，同时无人机坐标系与摄像坐标系仅存在三轴方向上坐标轴转换关系对应的摄像旋转矩阵信息。该摄像旋转矩阵信息用于进行三轴方向上的转换，从而实现从无人机坐标系转换至对应摄像坐标系等，具体地，对应旋转矩阵信息基于初始旋转矩阵信息及摄像旋转矩阵信息计算得到，
其中，
Figure BDA0003616532330000131
其中，RA为初始旋转矩阵信息，所述
Figure BDA0003616532330000132
为无人机坐标系到摄像坐标系下的摄像旋转矩阵：
Figure BDA0003616532330000133
在一些情形下，基于无人机的角度信息可以确定对应初始旋转矩阵信息，基于对应摄像位置信息可以确定对应坐标偏移信息。例如，将无人机的角度信息(α,β,γ)转换为初始旋转矩阵RA(RA是变化的)，其中，无人机角度信息(α,β,γ)由旋转云台提供，α为yaw角的角度，β为pitch角的角度，γ为roll角的角度：
其中，yaw角是偏航角，yaw角的旋转矩阵为：
Figure BDA0003616532330000134
其中，pitch角是俯仰角，pitch角的旋转矩阵为：
Figure BDA0003616532330000135
其中，3)roll角是翻滚角，roll角的旋转矩阵为：
Figure BDA0003616532330000136
因此，最终对应的初始旋转矩阵为：
RA＝R(α)R(β)R(γ) (10)
在一些实施方式中，所述摄像姿态信息与其他三维直角坐标系相对应；其中，所述方法还包括：获取所述其他三维直角坐标系转换至对应站心坐标系的中间转换矩阵信息；其中，所述根据初始旋转矩阵信息、所述摄像旋转矩阵信息确定对应旋转矩阵信息，包括：根据所述初始旋转矩阵信息、所述中间转换矩阵信息、所述摄像旋转矩阵信息确定对应的旋转矩阵信息。例如，一些情形下，无人机旋转角度的坐标系为站心坐标系，则对应旋转矩阵信息直接基于初始旋转矩阵信息及摄像旋转矩阵信息计算得到；在另一些情形下，无人机旋转角度的坐标系为其他三维直角坐标系(如导航坐标系、NWU坐标系、WND坐标系等)，因此，需要将无人机的初始旋转矩阵转换到站心坐标系下，本实施例中，以导航坐标系作为其他三维直角坐标系为例进行介绍，并不对其他三维直接坐标系进行限定。其中站心坐标系与导航坐标系之间的中间转换矩阵信息的转换关系为：
Figure BDA0003616532330000141
即从站心坐标系到无人机坐标系的旋转矩阵
Figure BDA0003616532330000142
为：
Figure BDA0003616532330000143
则对应旋转矩阵信息基于初始旋转矩阵信息、中间转换矩阵信息、摄像旋转矩阵信息计算得到：
Figure BDA0003616532330000144
在一些实施方式中，所述摄像姿态信息包括所述无人机设备的承载设备的承载角度信息；其中，所述根据所述摄像姿态信息确定对应旋转矩阵信息，包括：将所述承载角度信息进行坐标轴变换确定对应的目标姿态信息，并基于所述目标姿态信息确定对应初始旋转矩阵信息；根据所述初始旋转矩阵信息确定对应的旋转矩阵信息。例如，计算机设备还可以基于云台的角度信息(α,β,γ)，先通过坐标轴转换将云台的角度信息转换至摄像坐标系确定对应的目标姿态信息，如先基于
Figure BDA0003616532330000145
将(α,β,γ)改变轴向转换为目标姿态信息(α1,β1,γ1)等，再基于前述公式(7)-(10)确定对应的初始旋转矩阵信息R’A。或者，计算机设备先基于云台的角度信息(α,β,γ)进行前述公式(7)-(9)的计算确定各个角度对应的旋转矩阵信息，并在公式(10)计算初始旋转矩阵信息时进行对应坐标轴转换，如在前述三个角度的旋转矩阵相乘的基础上再乘以
Figure BDA0003616532330000151
从而确定对应的初始旋转矩阵信息R’A。进一步地，对应站心坐标系到无人机的摄像坐标系C的旋转矩阵信息基于初始旋转矩阵信息计算得到，即
Figure BDA0003616532330000152
在一些实施方式中，所述摄像姿态信息与其他三维直角坐标系相对应；其中，所述方法还包括：获取所述其他三维直角坐标系转换至对应站心坐标系的中间转换矩阵信息；其中，所述根据所述初始旋转矩阵信息确定对应的旋转矩阵信息，包括：根据所述初始旋转矩阵信息、所述中间转换矩阵信息确定对应的旋转矩阵信息。例如，一些情形下，无人机旋转角度的坐标系为站心坐标系，则对应旋转矩阵信息直接基于初始旋转矩阵信息计算得到；在另一些情形下，无人机旋转角度的坐标系为其他三维直角坐标系(如导航坐标系、NWU坐标系、WND坐标系等)。因此，在确定对应初始旋转矩阵信息之后，需要将无人机的旋转矩阵转换到站心坐标系下，本实施例中，以导航坐标系作为其他三维直角坐标系为例进行介绍，并不对其他三维直接坐标系进行限定。中间旋转矩阵信息如前述公式(11)所示，则对应站心坐标系到无人机的摄像坐标系C的旋转矩阵信息基于初始旋转矩阵信息、中间转换矩阵信息计算得到：
Figure BDA0003616532330000153
计算机设备基于前述过程确定对应摄像坐标系下的坐标后，将地理标签点在摄像坐标系下的坐标(xc,yc,zc)转到相机画面的(u,v)坐标：
Figure BDA0003616532330000154
其中，fx和fy代表云台相机焦距，cx和cy代表主点坐标。fx、fy、cx、cy可通过相机标定得到。至此，得到地理标签在无人机画面下的(u,v)坐标，在(u,v)坐标处渲染地理标签的信息，叠加显示。其中，地理标签的信息可以是添加的说明、图形、路线、标记等。
又如，在一些实施方式中，所述三维直角坐标系包括所述导航坐标系，所述导航坐标系的原点包括所述无人机设备起飞点的起始位置信息。例如，上述过程也可以通过导航坐标系完成，将地理坐标转换为导航坐标系下的三维坐标来实现，具体地：
1)将地理坐标从地理坐标系转换到地心坐标系，与公式(1)一致，转换后坐标为(X,Y,Z)。
2)将地心坐标系转到导航坐标系，转换后坐标为(x′,y′,z′)。在转换之前，需要确定导航坐标系的原点，在此处选择无人机起飞点作为原点，其他选择亦可。设导航坐标系原点在地心坐标系下的坐标为(X′r,Y′r,Z′r)，则：
Figure BDA0003616532330000161
3)将摄像装置的摄像位置信息(如无人机设备的地理坐标)(φa,λa,ha)转换到导航坐标系，步骤与1)和2)相同，转换后的坐标为(x′a,y′a,z′a)。
4)将无人机的角度信息(α,β,γ)转换为初始旋转矩阵RA，与公式(7)-(10)相同，如在一些实施方式中，基于所述摄像位置信息、所述摄像姿态信息确定所述三维直角坐标系变换所述摄像装置的摄像坐标系的第二坐标变换信息，包括：将所述摄像位置信息变换至所述导航坐标系中确定对应坐标偏移信息，根据所述摄像姿态信息确定对应的旋转矩阵信息，以获取所述导航坐标系变换所述摄像装置的摄像坐标系的第二坐标变换信息。例如，计算机设备从导航坐标系到无人机坐标系的旋转矩阵
Figure BDA0003616532330000162
为：
Figure BDA0003616532330000163
5)将三维坐标(x′,y′,z′)转到摄像坐标系下，得到地理标签点在摄像坐标系下的坐标(xc,yc,zc)：
Figure BDA0003616532330000164
其中，
Figure BDA0003616532330000165
为导航坐标系到无人机对应摄像坐标系C的旋转矩阵，t′为导航坐标系原点在摄像坐标系下的坐标。其中，
Figure BDA0003616532330000166
Figure BDA0003616532330000171
Figure BDA0003616532330000172
6)计算机设备将地理标签点在摄像坐标系下的坐标(xc,yc,zc)转到云台相机画面的(u,v)坐标，步骤与公式(14)相同。
在一些实施例中，当摄像姿态信息与其他三维直角坐标系相对应，如无人机旋转角度的坐标系为其他三维直角坐标系(如站心坐标系、NWU坐标系、WND坐标系等)，因此，需要将无人机的初始旋转矩阵转换到导航坐标系下，具体过程参照前述以站心坐标系为例的描述，在此不再赘述。
在此，我们以站心坐标系及导航坐标系为例阐述上述坐标转换过程，本领域技术人员应能理解，上述过程同样适用于任一三维直角坐标系的坐标变换过程等。
上文主要对本申请的一种获取目标对象的图像位置信息的方法各实施例进行了具体介绍，此外，本申请还提供了能够实施上述各实施例的具体设备，下面我们结合图2进行介绍。
图2示出了根据本申请一个方面的一种获取目标对象的图像位置信息的计算机设备，具体包括一一模块101、一二模块102、一三模块103以及一四模块104。一一模块101，用于获取通过无人机设备的摄像装置拍摄的关于目标对象的无人机图像及所述无人机图像被拍摄时所述摄像装置的摄像位姿信息，其中，所述摄像位姿信息包括所述摄像装置的摄像位置信息及摄像姿态信息；一二模块102，用于获取所述目标对象的地理位置信息，其中，所述地理位置信息与对应地理坐标系相对应；一三模块103，用于根据所述摄像位置信息、所述摄像姿态信息确定所述无人机图像对应的目标坐标变换信息，其中，所述目标坐标变换信息包括由所述地理坐标系转换至所述无人机图像的像素坐标系的坐标变换信息；一四模块104，用于基于所述地理位置信息及所述目标坐标变换信息确定所述目标对象的图像位置信息，其中，所述图像位置信息包括所述目标对象在所述无人机图像的像素坐标系中的像素坐标信息。
在一些实施方式中，一一模块101，用于获取所述摄像装置拍摄的关于目标对象的无人机图像及所述无人机图像被拍摄时所述无人机设备的实时位置信息及所述摄像装置的摄像姿态信息；基于所述实时位置信息确定所述摄像装置的摄像位置信息。
在一些实施方式中，一二模块102，用于基于所述无人机图像确定所述目标对象在摄像坐标系中的空间射线信息；基于所述空间射线信息、所述摄像位姿信息确定所述目标对象的地理位置信息，其中，所述地理位置信息与对应地理坐标系相对应。
在一些实施方式中，所述一三模块103包括一三一单元(未示出)、一三二单元(未示出)、一三三单元(未示出)以及一三四单元(未示出)，其中，一三一单元，用于获取所述地理坐标系变换至所述无人机设备对应的三维直角坐标系的第一坐标变换信息；一三二单元，用于基于所述摄像位置信息、所述摄像姿态信息确定所述三维直角坐标系变换所述摄像装置的摄像坐标系的第二坐标变换信息；一三三单元，用于获取所述摄像坐标系变换至所述无人机图像的像素坐标系的第三坐标变换信息；一三四单元，用于基于所述第一坐标变换信息、所述第二坐标变换信息以及所述第三坐标变换信息确定所述无人机图像对应的目标坐标变换信息，其中，所述目标坐标变换信息包括由所述地理坐标系转换至所述无人机图像的像素坐标系的坐标变换信息。在一些实施方式中，一三一单元，用于获取所述地理坐标系变换至对应地心坐标系的第四坐标变换信息；获取所述地心坐标系变换至所述无人机设备对应的三维直角坐标系的第五坐标变换信息；根据所述第四坐标变换信息、所述第五坐标变换信息确定所述地理坐标系变换至所述三维直角坐标系的第一坐标变换信息。在一些实施方式中，所述三维直角坐标系包括所述站心坐标系，所述站心坐标系的原点包括所述无人机设备起飞点的起始位置信息。在一些实施方式中，一三二单元，用于将所述摄像位置信息变换至所述站心坐标系中确定对应坐标偏移信息，根据所述摄像姿态信息确定对应的旋转矩阵信息，以获取所述站心坐标系变换所述摄像装置的摄像坐标系的第二坐标变换信息。在一些实施方式中，所述摄像姿态信息包括所述无人机设备的承载设备的承载角度信息；其中，所述根据所述摄像姿态信息确定对应旋转矩阵信息，包括：将所述承载角度信息进行坐标轴变换确定对应的目标姿态信息，并基于所述目标姿态信息确定对应初始旋转矩阵信息；根据所述初始旋转矩阵信息确定对应的旋转矩阵信息。在一些实施方式中，所述摄像姿态信息与其他三维直角坐标系相对应；其中，所述设备还用于：获取所述其他三维直角坐标系转换至对应站心坐标系的中间转换矩阵信息；其中，所述根据所述初始旋转矩阵信息确定对应的旋转矩阵信息，包括：根据所述初始旋转矩阵信息、所述中间转换矩阵信息确定对应的旋转矩阵信息。。在一些实施方式中，所述摄像姿态信息包括所述无人机设备的承载设备的承载角度信息；其中，所述设备还用于：获取所述无人机设备的无人机坐标系转换至所述摄像坐标系的摄像旋转矩阵信息；其中，所述根据所述摄像姿态信息确定对应旋转矩阵信息，包括：将所述承载角度信息生成对应的初始旋转矩阵信息；根据初始旋转矩阵信息、所述摄像旋转矩阵信息确定对应旋转矩阵信息。在一些实施方式中，所述摄像姿态信息与其他三维直角坐标系相对应；其中，所述设备还用于：获取所述其他三维直角坐标系转换至对应站心坐标系的中间转换矩阵信息；其中，所述根据初始旋转矩阵信息、所述摄像旋转矩阵信息确定对应旋转矩阵信息，包括：根据所述初始旋转矩阵信息、所述中间转换矩阵信息、所述摄像旋转矩阵信息确定对应的旋转矩阵信息。
又如，在一些实施方式中，所述三维直角坐标系包括所述导航坐标系，所述导航坐标系的原点包括所述无人机设备起飞点的起始位置信息。在一些实施方式中，所述基于所述摄像位置信息、所述摄像姿态信息确定所述三维直角坐标系变换所述无人机设备对应的无人机坐标系的第六坐标变换信息，包括：将所述摄像位置信息变换至所述导航坐标系中确定对应坐标偏移信息，根据所述摄像姿态信息确定对应的旋转矩阵信息，以获取所述导航坐标系变换所述摄像装置的摄像坐标系的第六坐标变换信息。
在此，所述图2示出的一一模块101、一二模块102、一三模块103以及一四模块104对应的具体实施方式与前述图1示出的步骤S101、步骤S102、步骤S103以及步骤S104的实施例相同或相似，因而不再赘述，以引用的方式包含于此。
在一些实施方式中，所述设备还包括一五模块(未示出)，用于获取对应实时无人机图像中所述目标对象的实时图像位置信息；根据所述实时图像位置信息在所述实时无人机图像中呈现所述目标对象的增强现实信息。
在此，所述一五模块对应的具体实施方式与前述步骤S105的实施例相同或相似，因而不再赘述，以引用的方式包含于此。
除上述各实施例介绍的方法和设备外，本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机代码，当所述计算机代码被执行时，如前任一项所述的方法被执行。
本申请还提供了一种计算机程序产品，当所述计算机程序产品被计算机设备执行时，如前任一项所述的方法被执行。
本申请还提供了一种计算机设备，所述计算机设备包括：
一个或多个处理器；
存储器，用于存储一个或多个计算机程序；
当所述一个或多个计算机程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如前任一项所述的方法。
图3示出了可被用于实施本申请中所述的各个实施例的示例性系统；
如图3所示在一些实施例中，系统300能够作为各所述实施例中的任意一个上述设备。在一些实施例中，系统300可包括具有指令的一个或多个计算机可读介质(例如，系统存储器或NVM/存储设备320)以及与该一个或多个计算机可读介质耦合并被配置为执行指令以实现模块从而执行本申请中所述的动作的一个或多个处理器(例如，(一个或多个)处理器305)。
对于一个实施例，系统控制模块310可包括任意适当的接口控制器，以向(一个或多个)处理器305中的至少一个和/或与系统控制模块310通信的任意适当的设备或组件提供任意适当的接口。
系统控制模块310可包括存储器控制器模块330，以向系统存储器315提供接口。存储器控制器模块330可以是硬件模块、软件模块和/或固件模块。
系统存储器315可被用于例如为系统300加载和存储数据和/或指令。对于一个实施例，系统存储器315可包括任意适当的易失性存储器，例如，适当的DRAM。在一些实施例中，系统存储器315可包括双倍数据速率类型四同步动态随机存取存储器(DDR4SDRAM)。
对于一个实施例，系统控制模块310可包括一个或多个输入/输出(I/O)控制器，以向NVM/存储设备320及(一个或多个)通信接口325提供接口。
例如，NVM/存储设备320可被用于存储数据和/或指令。NVM/存储设备320可包括任意适当的非易失性存储器(例如，闪存)和/或可包括任意适当的(一个或多个)非易失性存储设备(例如，一个或多个硬盘驱动器(HDD)、一个或多个光盘(CD)驱动器和/或一个或多个数字通用光盘(DVD)驱动器)。
NVM/存储设备320可包括在物理上作为系统300被安装在其上的设备的一部分的存储资源，或者其可被该设备访问而不必作为该设备的一部分。例如，NVM/存储设备320可通过网络经由(一个或多个)通信接口325进行访问。
(一个或多个)通信接口325可为系统300提供接口以通过一个或多个网络和/或与任意其他适当的设备通信。系统300可根据一个或多个无线网络标准和/或协议中的任意标准和/或协议来与无线网络的一个或多个组件进行无线通信。
对于一个实施例，(一个或多个)处理器305中的至少一个可与系统控制模块310的一个或多个控制器(例如，存储器控制器模块330)的逻辑封装在一起。对于一个实施例，(一个或多个)处理器305中的至少一个可与系统控制模块310的一个或多个控制器的逻辑封装在一起以形成系统级封装(SiP)。对于一个实施例，(一个或多个)处理器305中的至少一个可与系统控制模块310的一个或多个控制器的逻辑集成在同一模具上。对于一个实施例，(一个或多个)处理器305中的至少一个可与系统控制模块310的一个或多个控制器的逻辑集成在同一模具上以形成片上系统(SoC)。
在各个实施例中，系统300可以但不限于是：服务器、工作站、台式计算设备或移动计算设备(例如，膝上型计算设备、手持计算设备、平板电脑、上网本等)。在各个实施例中，系统300可具有更多或更少的组件和/或不同的架构。例如，在一些实施例中，系统300包括一个或多个摄像机、键盘、液晶显示器(LCD)屏幕(包括触屏显示器)、非易失性存储器端口、多个天线、图形芯片、专用集成电路(ASIC)和扬声器。
需要注意的是，本申请可在软件和/或软件与硬件的组合体中被实施，例如，可采用专用集成电路(ASIC)、通用目的计算机或任何其他类似硬件设备来实现。在一个实施例中，本申请的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地，本申请的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中，例如，RAM存储器，磁或光驱动器或软磁盘及类似设备。另外，本申请的一些步骤或功能可采用硬件来实现，例如，作为与处理器配合从而执行各个步骤或功能的电路。
另外，本申请的一部分可被应用为计算机程序产品，例如计算机程序指令，当其被计算机执行时，通过该计算机的操作，可以调用或提供根据本申请的方法和/或技术方案。本领域技术人员应能理解，计算机程序指令在计算机可读介质中的存在形式包括但不限于源文件、可执行文件、安装包文件等，相应地，计算机程序指令被计算机执行的方式包括但不限于：该计算机直接执行该指令，或者该计算机编译该指令后再执行对应的编译后程序，或者该计算机读取并执行该指令，或者该计算机读取并安装该指令后再执行对应的安装后程序。在此，计算机可读介质可以是可供计算机访问的任意可用的计算机可读存储介质或通信介质。
通信介质包括藉此包含例如计算机可读指令、数据结构、程序模块或其他数据的通信信号被从一个系统传送到另一系统的介质。通信介质可包括有导的传输介质(诸如电缆和线(例如，光纤、同轴等))和能传播能量波的无线(未有导的传输)介质，诸如声音、电磁、RF、微波和红外。计算机可读指令、数据结构、程序模块或其他数据可被体现为例如无线介质(诸如载波或诸如被体现为扩展频谱技术的一部分的类似机制)中的已调制数据信号。术语“已调制数据信号”指的是其一个或多个特征以在信号中编码信息的方式被更改或设定的信号。调制可以是模拟的、数字的或混合调制技术。
作为示例而非限制，计算机可读存储介质可包括以用于存储诸如计算机可读指令、数据结构、程序模块或其它数据的信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动的介质。例如，计算机可读存储介质包括，但不限于，易失性存储器，诸如随机存储器(RAM,DRAM,SRAM)；以及非易失性存储器，诸如闪存、各种只读存储器(ROM,PROM,EPROM,EEPROM)、磁性和铁磁/铁电存储器(MRAM,FeRAM)；以及磁性和光学存储设备(硬盘、磁带、CD、DVD)；或其它现在已知的介质或今后开发的能够存储供计算机系统使用的计算机可读信息/数据。
在此，根据本申请的一个实施例包括一个装置，该装置包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发该装置运行基于前述根据本申请的多个实施例的方法和/或技术方案。
对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其他的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。

Claims (18)

1.一种获取目标对象的图像位置信息的方法，其中，该方法包括：
获取通过无人机设备的摄像装置拍摄的关于目标对象的无人机图像及所述无人机图像被拍摄时所述摄像装置的摄像位姿信息，其中，所述摄像位姿信息包括所述摄像装置的摄像位置信息及摄像姿态信息；
获取所述目标对象的地理位置信息，其中，所述地理位置信息与对应地理坐标系相对应；
根据所述摄像位置信息、所述摄像姿态信息确定所述无人机图像对应的目标坐标变换信息，其中，所述目标坐标变换信息包括由所述地理坐标系转换至所述无人机图像的像素坐标系的坐标变换信息；
基于所述地理位置信息及所述目标坐标变换信息确定所述目标对象的图像位置信息，其中，所述图像位置信息包括所述目标对象在所述无人机图像的像素坐标系中的像素坐标信息。
2.根据权利要求1所述的方法，其中，所述获取通过无人机设备的摄像装置拍摄的关于目标对象的无人机图像及所述无人机图像被拍摄时所述摄像装置的摄像位姿信息，包括：
获取所述摄像装置拍摄的关于目标对象的无人机图像及所述无人机图像被拍摄时所述无人机设备的实时位置信息及所述摄像装置的摄像姿态信息；
基于所述实时位置信息确定所述摄像装置的摄像位置信息。
3.根据权利要求1所述的方法，其中，所述根据所述摄像位置信息、所述摄像姿态信息确定所述无人机图像对应的目标坐标变换信息，包括：
获取所述地理坐标系变换至所述无人机设备对应的三维直角坐标系的第一坐标变换信息；
基于所述摄像位置信息、所述摄像姿态信息确定所述三维直角坐标系变换所述摄像装置的摄像坐标系的第二坐标变换信息；
获取所述摄像坐标系变换至所述无人机图像的像素坐标系的第三坐标变换信息；
基于所述第一坐标变换信息、所述第二坐标变换信息以及所述第三坐标变换信息确定所述无人机图像对应的目标坐标变换信息，其中，所述目标坐标变换信息包括由所述地理坐标系转换至所述无人机图像的像素坐标系的坐标变换信息。
4.根据权利要求3所述的方法，其中，所述获取所述地理坐标系变换至所述无人机设备对应的三维直角坐标系的第一坐标变换信息，包括：
获取所述地理坐标系变换至对应地心坐标系的第四坐标变换信息；
获取所述地心坐标系变换至所述无人机设备对应的三维直角坐标系的第五坐标变换信息；
根据所述第四坐标变换信息、所述第五坐标变换信息确定所述地理坐标系变换至所述三维直角坐标系的第一坐标变换信息。
5.根据权利要求3或4所述的方法，其中，所述三维直角坐标系包括以下任一项：
站心坐标系；
导航坐标系；
任一三维直角坐标系。
6.根据权利要求5所述的方法，其中，所述三维直角坐标系包括所述站心坐标系，所述站心坐标系的原点包括所述无人机设备起飞点的起始位置信息。
7.根据权利要求6所述的方法，其中，所述基于所述摄像位置信息、所述摄像姿态信息确定所述三维直角坐标系变换所述摄像装置的摄像坐标系的第二坐标变换信息，包括：
将所述摄像位置信息变换至所述站心坐标系中确定对应坐标偏移信息，根据所述摄像姿态信息确定对应的旋转矩阵信息，以获取所述站心坐标系变换所述摄像装置的摄像坐标系的第二坐标变换信息。
8.根据权利要求7所述的方法，其中，所述摄像姿态信息包括所述无人机设备的承载设备的承载角度信息；其中，所述根据所述摄像姿态信息确定对应旋转矩阵信息，包括：
将所述承载角度信息进行坐标轴变换确定对应的目标姿态信息，并基于所述目标姿态信息确定对应初始旋转矩阵信息；
根据所述初始旋转矩阵信息确定对应的旋转矩阵信息。
9.根据权利要求8所述的方法，其中，所述摄像姿态信息与其他三维直角坐标系相对应；其中，所述方法还包括：
获取所述其他三维直角坐标系转换至对应站心坐标系的中间转换矩阵信息；
其中，所述根据所述初始旋转矩阵信息确定对应的旋转矩阵信息，包括：
根据所述初始旋转矩阵信息、所述中间转换矩阵信息确定对应的旋转矩阵信息。
10.根据权利要求7所述的方法，其中，所述摄像姿态信息包括所述无人机设备的承载设备的承载角度信息；其中，所述方法还包括：
获取所述无人机设备的无人机坐标系转换至所述摄像坐标系的摄像旋转矩阵信息；
其中，所述根据所述摄像姿态信息确定对应旋转矩阵信息，包括：
将所述承载角度信息生成对应的初始旋转矩阵信息；
根据初始旋转矩阵信息、所述摄像旋转矩阵信息确定对应旋转矩阵信息。
11.根据权利要求10所述的方法，其中，所述摄像姿态信息与其他三维直角坐标系相对应；其中，所述方法还包括：
获取所述其他三维直角坐标系转换至对应站心坐标系的中间转换矩阵信息；
其中，所述根据初始旋转矩阵信息、所述摄像旋转矩阵信息确定对应旋转矩阵信息，包括：
根据所述初始旋转矩阵信息、所述中间转换矩阵信息、所述摄像旋转矩阵信息确定对应的旋转矩阵信息。
12.根据权利要求5所述的方法，其中，所述三维直角坐标系包括所述导航坐标系，所述导航坐标系的原点包括所述无人机设备起飞点的起始位置信息。
13.根据权利要求12所述的方法，其中，所述基于所述摄像位置信息、所述摄像姿态信息确定所述三维直角坐标系变换所述摄像装置的摄像坐标系的第二坐标变换信息，包括：
将所述摄像位置信息变换至所述导航坐标系中确定对应坐标偏移信息，根据所述摄像姿态信息确定对应的旋转矩阵信息，以获取所述导航坐标系变换所述摄像装置的摄像坐标系的第二坐标变换信息。
14.根据权利要求1所述的方法，其中，所述方法还包括：
获取对应实时无人机图像中所述目标对象的实时图像位置信息；
根据所述实时图像位置信息在所述实时无人机图像中呈现所述目标对象的增强现实信息。
15.一种获取目标对象的图像位置信息的设备，其中，该设备包括：
一一模块，用于获取通过无人机设备的摄像装置拍摄的关于目标对象的无人机图像及所述无人机图像被拍摄时所述摄像装置的摄像位姿信息，其中，所述摄像位姿信息包括所述摄像装置的摄像位置信息及摄像姿态信息；
一二模块，用于获取所述目标对象的地理位置信息，其中，所述地理位置信息与对应地理坐标系相对应；
一三模块，用于根据所述摄像位置信息、所述摄像姿态信息确定所述无人机图像对应的目标坐标变换信息，其中，所述目标坐标变换信息包括由所述地理坐标系转换至所述无人机图像的像素坐标系的坐标变换信息；
一四模块，用于基于所述地理位置信息及所述目标坐标变换信息确定所述目标对象的图像位置信息，其中，所述图像位置信息包括所述目标对象在所述无人机图像的像素坐标系中的像素坐标信息。
16.一种计算机设备，其中，该设备包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行如权利要求1至14中任一项所述方法的步骤。
17.一种计算机可读存储介质，其上存储有计算机程序/指令，其特征在于，该计算机程序/指令在被执行时使得系统进行执行如权利要求1至14中任一项所述方法的步骤。
18.一种计算机程序产品，包括计算机程序/指令，其特征在于，该计算机程序/指令被处理器执行时实现权利要求1至14中任一项所述方法的步骤。
CN202210445326.XA 2022-04-26 2022-04-26 一种获取目标对象的图像位置信息的方法与设备 Active CN115439528B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210445326.XA CN115439528B (zh) 2022-04-26 2022-04-26 一种获取目标对象的图像位置信息的方法与设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210445326.XA CN115439528B (zh) 2022-04-26 2022-04-26 一种获取目标对象的图像位置信息的方法与设备

Publications (2)

Publication Number Publication Date
CN115439528A true CN115439528A (zh) 2022-12-06
CN115439528B CN115439528B (zh) 2023-07-11

Family

ID=84241561

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210445326.XA Active CN115439528B (zh) 2022-04-26 2022-04-26 一种获取目标对象的图像位置信息的方法与设备

Country Status (1)

Country Link
CN (1) CN115439528B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116468797A (zh) * 2023-03-09 2023-07-21 北京航天众信科技有限公司 一种挂轨式机器人瞄准方法、装置及计算机设备
CN116907511A (zh) * 2023-09-12 2023-10-20 北京宝隆泓瑞科技有限公司 一种将管道坐标转换为图像坐标的方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019014030A (ja) * 2017-07-11 2019-01-31 セイコーエプソン株式会社 ロボットの制御装置、ロボット、ロボットシステム、並びに、カメラの校正方法
CN109974688A (zh) * 2019-03-06 2019-07-05 深圳飞马机器人科技有限公司 通过无人机定位的方法及终端
CN112215860A (zh) * 2020-09-23 2021-01-12 国网福建省电力有限公司漳州供电公司 一种基于图像处理的无人机定位方法
KR102206108B1 (ko) * 2019-09-20 2021-01-21 광운대학교 산학협력단 체적형 객체 촬영을 위한 다중 rgb-d 카메라 기반의 포인트 클라우드 정합 방법
CN112489113A (zh) * 2020-11-25 2021-03-12 深圳地平线机器人科技有限公司 相机外参标定方法、装置及相机外参标定系统
CN113345028A (zh) * 2021-06-01 2021-09-03 亮风台（上海）信息科技有限公司 一种确定目标坐标变换信息的方法与设备
US20210362738A1 (en) * 2020-05-19 2021-11-25 Beijing Baidu Netcom Science And Technology Co., Ltd. Information processing method for vehicle driving on curve, electronic device and storage medium
CN113781567A (zh) * 2021-10-08 2021-12-10 西北工业大学 基于三维地图生成的航拍图像目标地理定位方法
CN113808253A (zh) * 2021-08-31 2021-12-17 武汉理工大学 场景三维重建的动态对象处理方法、系统、设备及介质
CN113850126A (zh) * 2021-08-20 2021-12-28 武汉卓目科技有限公司 一种基于无人机的目标检测和三维定位方法和系统
CN113869231A (zh) * 2021-09-29 2021-12-31 亮风台（上海）信息科技有限公司 一种用于获取目标对象的实时图像信息的方法与设备

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019014030A (ja) * 2017-07-11 2019-01-31 セイコーエプソン株式会社 ロボットの制御装置、ロボット、ロボットシステム、並びに、カメラの校正方法
CN109974688A (zh) * 2019-03-06 2019-07-05 深圳飞马机器人科技有限公司 通过无人机定位的方法及终端
KR102206108B1 (ko) * 2019-09-20 2021-01-21 광운대학교 산학협력단 체적형 객체 촬영을 위한 다중 rgb-d 카메라 기반의 포인트 클라우드 정합 방법
US20210362738A1 (en) * 2020-05-19 2021-11-25 Beijing Baidu Netcom Science And Technology Co., Ltd. Information processing method for vehicle driving on curve, electronic device and storage medium
CN112215860A (zh) * 2020-09-23 2021-01-12 国网福建省电力有限公司漳州供电公司 一种基于图像处理的无人机定位方法
CN112489113A (zh) * 2020-11-25 2021-03-12 深圳地平线机器人科技有限公司 相机外参标定方法、装置及相机外参标定系统
CN113345028A (zh) * 2021-06-01 2021-09-03 亮风台（上海）信息科技有限公司 一种确定目标坐标变换信息的方法与设备
CN113850126A (zh) * 2021-08-20 2021-12-28 武汉卓目科技有限公司 一种基于无人机的目标检测和三维定位方法和系统
CN113808253A (zh) * 2021-08-31 2021-12-17 武汉理工大学 场景三维重建的动态对象处理方法、系统、设备及介质
CN113869231A (zh) * 2021-09-29 2021-12-31 亮风台（上海）信息科技有限公司 一种用于获取目标对象的实时图像信息的方法与设备
CN113781567A (zh) * 2021-10-08 2021-12-10 西北工业大学 基于三维地图生成的航拍图像目标地理定位方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HÅKON HAGEN HELGESEN ET AL.: "Real-time georeferencing of thermal images using small fixed-wing UAVs in maritime environments", 《ELSEVIER ISPRS JOURNAL OF PHOTOGRAMMETRY AND REMOTE SENSING》, vol. 154 *
洪洋: "基于矩形几何特性的小型无人机快速位姿估计方法", 《中国激光》, vol. 43, no. 5 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116468797A (zh) * 2023-03-09 2023-07-21 北京航天众信科技有限公司 一种挂轨式机器人瞄准方法、装置及计算机设备
CN116468797B (zh) * 2023-03-09 2023-11-24 北京航天众信科技有限公司 一种挂轨式机器人瞄准方法、装置及计算机设备
CN116907511A (zh) * 2023-09-12 2023-10-20 北京宝隆泓瑞科技有限公司 一种将管道坐标转换为图像坐标的方法
CN116907511B (zh) * 2023-09-12 2023-12-05 北京宝隆泓瑞科技有限公司 一种将管道坐标转换为图像坐标的方法

Also Published As

Publication number Publication date
CN115439528B (zh) 2023-07-11

Similar Documents

Publication Publication Date Title
CN109596118B (zh) 一种用于获取目标对象的空间位置信息的方法与设备
CN111174799B (zh) 地图构建方法及装置、计算机可读介质、终端设备
US9219858B2 (en) Generating a composite field of view using a plurality of oblique panoramic images of a geographic area
CN110927708B (zh) 智能路侧单元的标定方法、装置及设备
JP7089581B2 (ja) 測量調査標本点の計画方法、測量調査標本点計画装置、制御端末及びコンピュータ記憶媒体
US7415356B1 (en) Techniques for accurately synchronizing portions of an aerial image with composited visual information
CN108810473B (zh) 一种在移动平台上实现gps映射摄像机画面坐标的方法及系统
CN112288853B (zh) 三维重建方法、三维重建装置、存储介质
CN113345028B (zh) 一种确定目标坐标变换信息的方法与设备
CN103900539B (zh) 一种空中立方体全景成像目标定位方法
CN111415409B (zh) 一种基于倾斜摄影的建模方法、系统、设备和存储介质
CN115439528B (zh) 一种获取目标对象的图像位置信息的方法与设备
CN110969663A (zh) 一种相机外部参数的静态标定方法
WO2018193574A1 (ja) 飛行経路生成方法、情報処理装置、飛行経路生成システム、プログラム及び記録媒体
CN109523471A (zh) 一种地面坐标和广角摄像机画面坐标的转换方法、系统以及装置
Gomez-Jauregui et al. Quantitative evaluation of overlaying discrepancies in mobile augmented reality applications for AEC/FM
CN115439531A (zh) 一种获取目标对象的目标空间位置信息的方法与设备
CN110703805B (zh) 立体物体测绘航线规划方法、装置、设备、无人机及介质
WO2022077296A1 (zh) 三维重建方法、云台负载、可移动平台以及计算机可读存储介质
CN113869231B (zh) 一种用于获取目标对象的实时图像信息的方法与设备
KR20210104033A (ko) 측량 및 매핑 표본점의 계획 방법, 장치, 제어 단말기 및 저장 매체
JP2022108823A (ja) 捜索支援システムおよび救助支援プログラム
CN115565092A (zh) 一种获取目标对象的地理位置信息的方法与设备
CN115460539B (zh) 一种获取电子围栏的方法、设备、介质及程序产品
CN112887793B (zh) 视频处理方法、显示设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP02 Change in the address of a patent holder

Address after: 201210 7th Floor, No. 1, Lane 5005, Shenjiang Road, China (Shanghai) Pilot Free Trade Zone, Pudong New Area, Shanghai

Patentee after: HISCENE INFORMATION TECHNOLOGY Co.,Ltd.

Address before: Room 501 / 503-505, 570 shengxia Road, China (Shanghai) pilot Free Trade Zone, Pudong New Area, Shanghai, 201203

Patentee before: HISCENE INFORMATION TECHNOLOGY Co.,Ltd.

CP02 Change in the address of a patent holder