CN113345028B - 一种确定目标坐标变换信息的方法与设备 - Google Patents

一种确定目标坐标变换信息的方法与设备 Download PDF

Info

Publication number
CN113345028B
CN113345028B CN202110609644.0A CN202110609644A CN113345028B CN 113345028 B CN113345028 B CN 113345028B CN 202110609644 A CN202110609644 A CN 202110609644A CN 113345028 B CN113345028 B CN 113345028B
Authority
CN
China
Prior art keywords
target
information
coordinate transformation
ptz
coordinate system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110609644.0A
Other languages
English (en)
Other versions
CN113345028A (zh
Inventor
刘理想
周俊颖
侯晓辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hiscene Information Technology Co Ltd
Original Assignee
Hiscene Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hiscene Information Technology Co Ltd filed Critical Hiscene Information Technology Co Ltd
Priority to CN202110609644.0A priority Critical patent/CN113345028B/zh
Publication of CN113345028A publication Critical patent/CN113345028A/zh
Application granted granted Critical
Publication of CN113345028B publication Critical patent/CN113345028B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)

Abstract

本申请的目的是提供一种确定目标坐标变换信息的方法与设备，具体包括：获取拍摄对应目标对象的目标PTZ摄像装置的实时承载状态信息；获取所述目标PTZ摄像装置对应的内参和目标映射参数信息，根据所述实时承载状态信息及对应的目标映射参数信息确定所述目标PTZ摄像装置对应的坐标变换信息，从而根据所述坐标变换信息和所述内参确定对应的第一坐标变换信息；根据所述第一坐标变换信息及地理坐标系至所述世界坐标系的第二坐标变换信息确定对应的目标坐标变换信息。本申请能够实现PTZ摄像装置中图像帧与电子地图的坐标变换，进而完成GIS信息在电子地图和拍摄图像帧中的数据联动，提高了PTZ摄像装置的图像利用率。

Description

一种确定目标坐标变换信息的方法与设备
技术领域
本申请涉及通信领域，尤其涉及一种用于确定目标坐标变换信息的方法与设备。
背景技术
PTZ摄像装置，是指带有PTZ控制云台的监控相机，PTZ为Pan/Tilt/Zoom的简写，监控相机中指云台控制的三个维度：左右旋转、上下俯仰、变焦。目前的城市管理系统大多依靠多路监控网络或无人机巡航的视频图像以及地面执勤人员对城市的重点区域进行监测。传统监控相机仅具备图像获取和基本的PTZ云台控制功能、且相互独立，而无人机续航时间短，所能覆盖的空间和时间段小。普通PTZ摄像装置无标定内参，因此不具备空间计算能力。并且城市中的PTZ摄像装置难以保证视野的重叠，因此多个摄像装置之间无法通过自身确定空间约束关系。进一步地，城市中的PTZ摄像装置或无人机所在的物理空间与真实地理空间无映射关系。
发明内容
本申请的一个目的是提供一种确定目标坐标变换信息的方法与设备。
根据本申请的一个方面，提供了一种确定目标坐标变换的方法，该方法包括：
获取拍摄对应目标对象的目标PTZ摄像装置的实时承载状态信息，其中，所述实时承载状态信息包括所述目标PTZ摄像装置所处的承载设备的俯仰角和水平转角；
获取所述目标PTZ摄像装置对应的内参和目标映射参数信息，根据所述实时承载状态信息及对应的目标映射参数信息确定所述目标PTZ摄像装置对应的坐标变换信息，从而根据所述坐标变换信息和所述内参确定对应的第一坐标变换信息，其中，所述第一坐标变换信息包括从世界坐标系变换至目标PTZ摄像装置的像素坐标系的坐标变换信息；
根据所述第一坐标变换信息及地理坐标系至所述世界坐标系的第二坐标变换信息确定对应的目标坐标变换信息，其中，所述目标变换信息包括从所述地理坐标系变换至所述像素坐标系的坐标变换信息。
根据本申请的一个方面，提供了一种确定目标坐标变换信息的设备，该设备包括：
一一模块，用于获取拍摄对应目标对象的目标PTZ摄像装置的实时承载状态信息，其中，所述实时承载状态信息包括所述目标PTZ摄像装置所处的承载设备的俯仰角和水平转角；
一二模块，用于获取所述目标PTZ摄像装置对应的内参和目标映射参数信息，根据所述实时承载状态信息及对应的目标映射参数信息确定所述目标PTZ摄像装置对应的坐标变换信息，从而根据所述坐标变换信息和所述内参确定对应的第一坐标变换信息，其中，所述第一坐标变换信息包括从世界坐标系变换至目标PTZ摄像装置的像素坐标系的坐标变换信息；
一三模块，用于根据所述第一坐标变换信息及地理坐标系至所述世界坐标系的第二坐标变换信息确定对应的目标坐标变换信息，其中，所述目标变换信息包括从所述地理坐标系变换至所述像素坐标系的坐标变换信息。
根据本申请的一个方面，提供了一种计算机设备，其中，该设备包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行如上所述任一方法的操作。
根据本申请的一个方面，提供了一种存储指令的计算机可读介质，所述指令在被执行时使得系统进行如上所述任一方法的操作。
与现有技术相比，本申请通过第一坐标变换信息及第二坐标变换信息能够确定对应地理坐标系至像素坐标系的坐标变换信息，能够实现PTZ摄像装置中图像帧与电子地图的坐标变换，进而完成地理信息系统(Geographic Information System，GIS)信息在电子地图和拍摄图像帧中的数据联动，提高了PTZ摄像装置的图像利用率，提升了GIS系统和监控系统之间的关联程度，有利于提升数据库中数据的利用率。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1示出根据本申请一个实施例的一种确定目标坐标变换信息的方法流程图；
图2示出根据本申请一个实施例的坐标变换示意图；
图3示出根据本申请另一个实施例的一种计算机设备的功能模块；
图4示出可被用于实施本申请中所述的各个实施例的示例性系统。
附图中相同或相似的附图标记代表相同或相似的部件。
具体实施方式
下面结合附图对本申请作进一步详细描述。
在本申请一个典型的配置中，终端、服务网络的设备和可信方均包括一个或多个处理器(例如，中央处理器(Central Processing Unit，CPU))、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RandomAccess Memory，RAM)和/或非易失性内存等形式，如只读存储器(Read Only Memory，ROM)或闪存(Flash Memory)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(Phase-Change Memory，PCM)、可编程随机存取存储器(Programmable Random Access Memory，PRAM)、静态随机存取存储器(Static Random-Access Memory，SRAM)、动态随机存取存储器(Dynamic Random AccessMemory，DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(Electrically-Erasable Programmable Read-Only Memory，EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)、数字多功能光盘(Digital Versatile Disc，DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
本申请所指设备包括但不限于用户设备、网络设备、或用户设备与网络设备通过网络相集成所构成的设备。所述用户设备包括但不限于任何一种可与用户进行人机交互(例如通过触摸板进行人机交互)的移动电子产品，例如智能手机、平板电脑等，所述移动电子产品可以采用任意操作系统，如Android操作系统、iOS操作系统等。其中，所述网络设备包括一种能够按照事先设定或存储的指令，自动进行数值计算和信息处理的电子设备，其硬件包括但不限于微处理器、专用集成电路(Application Specific IntegratedCircuit，ASIC)、可编程逻辑器件(Programmable Logic Device，PLD)、现场可编程门阵列(Field Programmable Gate Array，FPGA)、数字信号处理器(Digital Signal Processor，DSP)、嵌入式设备等。所述网络设备包括但不限于计算机、网络主机、单个网络服务器、多个网络服务器集或多个服务器构成的云；在此，云由基于云计算(Cloud Computing)的大量计算机或网络服务器构成，其中，云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个虚拟超级计算机。所述网络包括但不限于互联网、广域网、城域网、局域网、VPN网络、无线自组织网络(Ad Hoc网络)等。优选地，所述设备还可以是运行于所述用户设备、网络设备、或用户设备与网络设备、网络设备、触摸终端或网络设备与触摸终端通过网络相集成所构成的设备上的程序。
当然，本领域技术人员应能理解上述设备仅为举例，其他现有的或今后可能出现的设备如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。
在本申请的描述中，“多个”的含义是两个或者更多，除非另有明确具体的限定。
本申请提供了一种确定目标坐标变换信息的方法，主要应用于计算机设备，该计算机设备与对应PTZ摄像装置建立了通信连接，基于该通信连接可以接收PTZ摄像装置拍摄的图像信息、承载状态信息等。所述PTZ摄像装置包括安装于城市的变焦云台摄像头，摄像头的PTZ(Pan/Tilt/Zoom)参数可调，该PTZ参数可以是基于本方案所属的计算机设备发送的控制指令进行调节，还可以是基于其他设备(如其他控制设备或者服务器等)的控制指令进行调节等。
具体地，摄像装置(如相机)标定包括建立相机图像像素位置与场景点位置之间的关系，根据相机成像模型，由特征点在图像中坐标与世界坐标的对应关系，求解相机模型的参数。相机需要标定的模型参数包括内部参数和外部参数。其中，对于同一个相机，相机的内参矩阵取决于相机的内部参数，无论标定板和相机的位置关系是怎么样的，相机的内参矩阵不变。但是，外参矩阵反映的是标定板和相机的位置关系，对于不同的图片，标定板和相机的位置关系已经改变，此时每一张图片对应的外参矩阵都是不同的。
所述PTZ摄像装置的内外参数可以是预先计算的，该计算过程可以通过无人机设备安置对应标靶配合进行标定。无人机设备具备空间定位能力，例如，具备融合传感器的空间定位能力。空间定位是指机器人在未知环境中从一个未知位置开始移动，在移动过程中根据位置估计进行自身定位，实现机器人的自主定位。又例如，具备融合传感器的空间定位和建图能力。空间定位与建图是指机器人在未知环境中从一个未知位置开始移动，在移动过程中根据位置估计和地图进行自身定位，同时在自身定位的基础上建造增量式地图，实现机器人的自主定位和导航。融合传感器是指通过内感受型和/或外感受型传感器数据构建状态估计问题，有助于提高定位精度。内感受型传感器包括但不限于加速度计、陀螺仪、轮式编码器等；外感受型传感器包括但不限于相机、激光、全球定位系统(GlobalPositioning System，GPS)等。
所述标靶包括具有已知坐标信息(如标靶坐标系中的坐标信息等)的标识物，可以用于标定各摄像装置在不同焦距下的内参等。
本申请实施例中，该计算机设备可以是独立的服务器，也可以是服务器组成的服务器网络或服务器集群，例如，本申请实施例中所描述的计算机设备，其包括但不限于计算机、网络主机、单个网络服务器、多个网络服务器集或多个服务器构成的云服务器。其中，云服务器由基于云计算(Cloud Computing)的大量计算机或网络服务器构成。
图1示出了根据本申请一个方面的一种确定目标坐标变换信息的方法，应用于计算机设备，所述方法包括步骤S101、步骤S102以及步骤S103。在步骤S101中，获取拍摄对应目标对象的目标PTZ摄像装置的实时承载状态信息，其中，所述实时承载状态信息包括所述目标PTZ摄像装置所处的承载设备的俯仰角和水平转角；在步骤S102中，获取所述目标PTZ摄像装置对应的内参和目标映射参数信息，根据所述实时承载状态信息及对应的目标映射参数信息确定所述目标PTZ摄像装置对应的坐标变换信息，从而根据所述坐标变换信息和所述内参确定对应的第一坐标变换信息，其中，所述第一坐标变换信息包括从世界坐标系变换至目标PTZ摄像装置的像素坐标系的坐标变换信息；在步骤S103中，根据所述第一坐标变换信息及地理坐标系至所述世界坐标系的第二坐标变换信息确定对应的目标坐标变换信息，其中，所述目标变换信息包括从所述地理坐标系变换至所述像素坐标系的坐标变换信息。
具体而言，在步骤S101中，获取拍摄对应目标对象的目标PTZ摄像装置的实时承载状态信息，其中，所述实时承载状态信息包括所述目标PTZ摄像装置所处的承载设备的俯仰角和水平转角。
例如，目标PTZ摄像装置安置于对应承载设备，承载设备包括但不限于PTZ摄像装置的云台，云台是安装、固定摄像机的承载设备，它分为固定和电动云台两种。固定云台适用于监视范围不大的情况，在固定云台上安装好摄像机后可调整摄像机的水平和俯仰的角度，达到最好的工作姿态后只要锁定调整机构就可以了。电动云台适用于对大范围进行扫描监视，它可以扩大摄像机的监视范围。云台根据其回转的特点，回转位姿的变化会引起承载状态的变化，承载状态信息包括对应水平旋转角度的水平转角信息和竖直旋转角度的俯仰角信息等。PTZ摄像装置的摄像坐标系相对于世界坐标系的第三坐标变换信息(如外参)根据云台的承载状态信息变化而变化。换言之，云台的承载状态信息与摄像坐标系相对于世界坐标系的第三坐标变换信息存在一定的映射关系，该映射关系可以通过不同摄像位姿信息对应的多个第三坐标变换信息进行求解。例如，第三坐标变化信息包括旋转矩阵信息和平移矩阵信息，摄像坐标系相对于世界坐标系的平移矩阵信息固定，对应旋转矩阵信息与承载状态信息存在映射关系。我们取至少两个不同摄像位姿信息对应的第三坐标变换信息，并通过该至少两个第三坐标变换信息中的旋转矩阵信息与该至少两个第三坐标变换信息对应的承载状态信息，计算确定对应映射参数信息，该映射参数信息分为水平方向上的水平映射参数和竖直方向上的竖直映射参数等。当该映射参数信息为已知时，我们只需要获取实时承载状态信息，如云台的俯仰角信息和水平转角信息，就可以得到PTZ相机的坐标变换信息，如摄像坐标系相对于世界坐标系的坐标变换信息(外参、第三坐标变换信息)，又如摄像坐标系相对于世界坐标系的旋转矩阵信息。
PTZ相机的云台可以调节Pan Tilt Zoom三个维度的参数。其中Pan表示水平转角信息、Tilt表示仰俯角信息，这两个参数在不同的安装环境和设备中参数值与实际物理意义不完全对应。PTZ相机的云台的初始状态和地理的东南西北、俯仰角无对应关系。
所述PTZ摄像装置的数量为一个或多个，当PTZ摄像装置为一个时，则将该PTZ摄像装置作为对应目标PTZ摄像装置；若PTZ摄像装置为多个时，则从多个PTZ摄像装置中筛选出符合条件的至少一个目标PTZ摄像装置。
在步骤S102中，获取所述目标PTZ摄像装置对应的内参和目标映射参数信息，根据所述实时承载状态信息及对应的目标映射参数信息确定所述目标PTZ摄像装置对应的坐标变换信息，从而根据所述坐标变换信息和所述内参确定对应的第一坐标变换信息，其中，所述第一坐标变换信息包括从世界坐标系变换至目标PTZ摄像装置的像素坐标系的坐标变换信息。
例如，目标PTZ摄像装置的内参可以是从预先计算出来的一个或多个内参中筛选出来的，也可以是基于用户的操作输入或者选中的，还可以是根据标靶图像进行实时求解的。对应的目标映射参数信息则是预先计算得到，如根据预先确定的多个第三坐标变换信息及多个第三坐标变换信息对应的承载状态信息，可以计算得到水平映射参数和竖直映射参数等。
PTZ摄像装置相对于世界坐标系的坐标变换信息包括PTZ摄像装置对应的摄像坐标系相对于世界坐标系的坐标变换信息，如PTZ摄像装置对应的摄像坐标系相对于世界坐标系的外参，又如PTZ摄像装置对应的摄像坐标系相对于世界坐标系的旋转矩阵信息等。根据目标映射参数和实时承载状态信息，如云台的俯仰角信息和水平转角信息，就可以得到目标PTZ摄像装置对应的摄像坐标系相对于世界坐标系的旋转矩阵信息，并将该旋转矩阵信息作为PTZ摄像装置对应的摄像坐标系相对于世界坐标系的坐标变换信息。也可以进一步根据该目标PTZ摄像装置对应的摄像坐标系相对于世界坐标系的平移矩阵信息，确定该目标PTZ摄像装置对应的摄像坐标系相对于世界坐标系的外参，并将该外参作为PTZ摄像装置对应的摄像坐标系相对于世界坐标系的坐标变换信息。还可以是根据目标映射参数和实时承载状态信息直接得到目标PTZ摄像装置对应的摄像坐标系相对于世界坐标系的外参，并将该外参作为PTZ摄像装置对应的摄像坐标系相对于世界坐标系的坐标变换信息，在此不进行限定。
根据获取到的内参以及求解得到的坐标变换信息，我们可以确定世界坐标系变换至目标PTZ摄像装置的像素坐标系的第一坐标变换信息。在一些实施例中，所述坐标变换信息为目标PTZ摄像装置对应的摄像坐标系相对于世界坐标系的外参，则根据获取到的内参和该外参确定世界坐标系变换至目标PTZ摄像装置的像素坐标系的第一坐标变换信息。在另一些实施例中，所述坐标变换信息为目标PTZ摄像装置对应的摄像坐标系相对于世界坐标系的旋转矩阵信息，则根据该目标PTZ摄像装置对应的摄像坐标系相对于世界坐标系的平移矩阵信息，确定该目标PTZ摄像装置对应的摄像坐标系相对于世界坐标系的外参，再根据获取到的内参和该外参确定世界坐标系变换至目标PTZ摄像装置的像素坐标系的第一坐标变换信息。
在步骤S103中，根据所述第一坐标变换信息及地理坐标系至所述世界坐标系的第二坐标变换信息确定对应的目标坐标变换信息，其中，所述目标变换信息包括从所述地理坐标系变换至所述像素坐标系的坐标变换信息。
例如，根据世界坐标系变换至像素坐标系的第一坐标变换信息及地理坐标系变换至世界坐标系的第二坐标变换信息，可以求解出地理坐标系变换至像素坐标系的目标坐标变换信息。地理坐标系一般是指由经度、纬度和高度组成的坐标系，能够标示地球上的任何一个位置。不同地区可能会使用不同的参考椭球体，即使是使用相同的椭球体，也可能会为了让椭球体更好地吻合当地的大地水准面，而调整椭球体的方位，甚至大小。这就需要使用不同的大地测量系统(Geodetic datum)来标识。因此，对于地球上某一个位置来说，使用不同的测量系统，得到的坐标是不一样的。我们在处理地理数据时，必须先确认数据所用的测量系统。事实上，随着我们对地球形状测量的越来越精确，北美使用的NAD83(NorthAmerican Datum of 1983，1983年北美基准)基准和欧洲使用的ETRS89(The EuropeanTerrestrial Reference System 1989，1989欧洲地球参考系统)基准，与WGS 84(WorldGeodetic System 1984，1984全球测量参考系统)基准是基本一致的，甚至我国的CGCS2000(China Geodetic Coordinate System 2000，2000国家大地坐标系统)与WGS84之间的差异也是非常小的。WGS84为目前最流行的地理坐标系统，也是目前广泛使用的GPS全球卫星定位系统使用的坐标系。
在系统标定过程中通过GPS、北斗定位系统、伽利略(Galileo)或者格洛纳斯定位系统等定位系统记录世界坐标系(World coordinate)原点及坐标轴在地理坐标系中的位置信息，可以得到地理坐标系到世界坐标系的第二坐标变换信息。其中，地理坐标系的数据通过经纬度和高度表示。一方面，可以通过单独的定位装置，如GPS定位装置在世界坐标系中至少选择3点来测量对应的GPS，根据该至少3点对应的世界坐标，则可以获得地理坐标系到世界坐标系的变换关系。另一方面，通过无人机自带的定位装置，如GPS定位装置，确定无人机至少3个位置的GPS，该无人机至少3个位置的世界坐标已知，则可以获得地理坐标系到世界坐标系的转换。其中，地理坐标系不限于球体坐标系、椭球体坐标系(如WGS-84坐标系、1975IAG椭球体、克拉索夫斯基椭球体等)。将地理坐标系投影(如等矩形投影、墨卡托投影、高斯-克吕格投影、Lambert投影等)为2D平面描述，形成电子地图，其中，电子地图遵循地理坐标系协议，是地理坐标系的映射，该映射关系已知，即已知地理坐标系中的某一点，可以确定其在电子地图中的位置。当然，本领域技术人员应能理解上述定位系统仅为举例，其他现有的或今后可能出现的定位系统如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。
在一些实施方式中，所述目标PTZ摄像装置对应的内参和目标映射参数信息包含于所述目标PTZ摄像装置对应的目标映射记录；其中，所述方法还包括步骤S104(未示出)，在步骤S104中，基于所述目标映射记录建立或更新关于多个PTZ摄像装置的映射数据库，其中，所述映射数据库包括多条映射记录，每条映射记录包括所述多个PTZ摄像装置之一的摄像标识信息、映射参数信息以及内参；其中，所述获取所述目标PTZ摄像装置对应的内参和目标映射参数信息，包括：根据所述目标PTZ摄像装置的摄像标识信息从所述映射数据库中查询确定所述目标映射记录。
例如，城市监控系统通常由多个PTZ摄像装置组成，每个PTZ摄像装置存在对应的映射记录，该映射记录包括该PTZ摄像装置的内参和该PTZ摄像装置对应的映射参数信息，同时，为了区别各PTZ摄像装置，每个PTZ摄像装置对应的映射记录还包括该PTZ摄像装置的摄像标识信息，从而根据多个映射记录建立或更新映射存储数据库，该存储数据库用于存储城市监控系统中的多个PTZ摄像装置对应的映射参数信息和内参，方便实现各PTZ摄像装置的映射参数信息和内参调用，从而确定PTZ摄像装置的内参和坐标变换信息等。每条映射记录可以包括PTZ摄像装置的一个或多个内参，对应目标PTZ摄像装置的内参可以根据预先存储的一个或多个内参确定的，也可以是基于用户的操作输入或者选中的。如根据目标PTZ摄像装置的摄像标识，从映射数据库中调用该目标PTZ摄像装置的目标映射记录，该目标映射记录包括对应一个或多个内参以及映射参数信息等。
在一些实施方式中，所述每条映射记录包括多个映射关系，每个映射关系包括一个内参及与所述一个内参对应的焦距信息；其中，所述方法还包括步骤S105(未示出)，获取所述目标PTZ摄像装置的实时焦距信息；其中，所述获取所述目标PTZ摄像装置对应的内参，包括：根据所述实时焦距信息从所述多个目标映射关系中确定与所述实时焦距信息相对应的内参。
例如，计算机设备在获取对应内参的同时，获取PTZ摄像装置的当前焦距信息，并建立对应映射关系，该映射关系包括当前焦距信息及对应内参。当然，PTZ摄像装置的焦距信息可以不断调整，我们可以计算不断调整后的焦距信息对应的内参，从而确定多个映射关系。例如，所述映射关系包括一个焦距信息及该焦距信息对应的内参，所述映射记录包括该PTZ摄像装置的不同焦距下的内参之外，还包括该PTZ摄像装置对应的映射参数信息，从而能够根据该PTZ摄像装置的云台的承载状态信息及当前焦距信息等确定对应内参和坐标变换信息。其中，PTZ摄像装置的内参可以通过利用标靶的内参计算方法确定，也可以通过不利用标靶的内参计算方法确定，在此不作限定。
在一些实施方式中，所述方法还包括步骤S106(未示出)，在步骤S106中，获取目标PTZ摄像装置的多个焦距信息对应的内参，基于所述目标PTZ摄像装置的多个焦距信息对应的内参建立所述目标PTZ摄像装置对应的多个目标映射关系；获取所述目标PTZ摄像装置的多个第三坐标变换信息，其中，所述多个第三坐标变换信息对应的摄像位姿信息不完全相同，所述第三坐标变换信息包括所述目标PTZ摄像装置相对于世界坐标系的坐标变换信息；获取所述多个第三坐标变换信息中每个坐标变换信息对应的承载状态信息，并根据所述多个第三坐标变换信息及每个第三坐标变换信息对应的承载状态信息确定所述目标PTZ摄像装置对应的目标映射参数信息；根据所述目标PTZ摄像装置的多个目标映射关系、所述目标映射参数信息以及目标摄像标识信息，建立或更新所述目标PTZ摄像装置的所述目标映射记录。
例如，计算机设备在获取对应多个内参的同时，获取PTZ摄像装置对应的多个焦距信息，如接收PTZ摄像装置发送的当前焦距信息，或者，基于用户的输入操作获取对应的当前焦距信息等，并在调整当前焦距信息后计算当前焦距信息对应的内参。计算机设备基于当前焦距信息及所求解的内参，可以建立或更新映射关系，该映射关系包括PTZ摄像装置的一个焦距信息，其中，每个焦距信息存在一个一一对应的内参。当然，PTZ摄像装置的焦距信息可以不断调整，并结合调整的焦距信息和内参更新PTZ摄像装置的一个或多个映射关系等。
在一些情形下，所述第三坐标变换信息包括PTZ摄像装置对应的摄像坐标系相对于世界坐标系的坐标变换信息，该坐标变换信息的求解可以是与前述内参一起进行求解，如根据一定数量的已知特征点对求解对应内参和相对标靶坐标系的外参，并根据相对标靶坐标系的外参计算出对应第三坐标变换信息。具体地，标定过程中的坐标系变换如图2所示，G为无人机坐标系相对于世界坐标系的变换关系(三维坐标系之间的变换关系为旋转和平移关系)，无人机基于空间定位能力实时计算G；F表示标靶坐标系相对于无人机坐标系的变换关系，由于标靶安装在无人机运载支架上，此变换关系为固定值，可以通过测量得出。C为摄像坐标系相对于标靶坐标系的变换关系，即外参，每一帧图像对应一组外参，此参数需要我们通过标定求解。因此PTZ相机相对于世界坐标系的第三坐标变换信息A为：
A＝CFG (1)
假设在i时刻完成第三坐标变换信息的确定步骤，得到对应第三坐标变换信息Ai,表示为：
Figure BDA0003095467900000121
此时，云台Pan、Tilt参数为：pi、ti。
PTZ固定安装后，无平移变化，即t不变，只需考虑Ri与云台的Pan、Tilt参数pi、ti之间的映射关系。
具体计算方式，如在一些实施方式中，所述根据所述多个第三坐标变换信息的旋转矩阵信息及所述承载状态信息确定所述承载设备的映射参数，包括：将所述多个第三坐标变换信息的旋转矩阵信息在水平方向和竖直方向上进行分解得到所述多个第三坐标变换信息的水平旋转参数和所述多个第三坐标变换信息的竖直旋转参数；根据所述多个第三坐标变换信息的水平旋转参数、所述多个第三坐标变换信息的竖直旋转参数、所述水平转角信息及所述俯仰角信息确定水平映射参数和竖直映射参数。
例如，设αi、βi为Ri在Pan、Tilt旋转方向上的分解，得到：
Figure BDA0003095467900000122
则：
Figure BDA0003095467900000123
Pan、Tilt的线性映射：
Figure BDA0003095467900000124
其中kp、bp为水平映射参数，kt、bt为竖直映射参数，bp、bt为常数。
通过至少两组数据可线性求解得到映射参数信息kp、kt、bp、bt，完成云台标定。其中，映射参数信息与图像帧无关。
我们可以根据目标PTZ摄像装置的摄像标识信息、前述确定的多个目标映射关系以及所述目标映射参数信息等，建立或更新目标PTZ摄像装置的目标映射记录。
在一些实施方式中，所述获取目标PTZ摄像装置的多个焦距信息对应的内参，包括：
A获取所述目标PTZ摄像装置在当前焦距信息下拍摄的关于标靶的标靶图像信息，其中，所述标靶被安置于无人机设备上；
B根据所述标靶图像信息确定所述标靶图像信息中图像特征点的第一坐标信息，其中，所述第一坐标信息包括所述图像特征点在所述像素坐标系中的坐标信息；
C获取所述标靶中标靶特征点在标靶坐标系中的第二坐标信息，其中，所述标靶特征点与所述靶标图像信息的图像特征点相对应；
D基于所述第一坐标信息及所述第二坐标信息确定所述当前焦距信息对应的所述目标PTZ摄像装置的内参；
调整所述目标PTZ摄像装置的焦距信息，并执行上述A-D步骤，从而获取多个焦距信息对应的内参。
例如，PTZ摄像装置(如PTZ相机等)处于开启状态，无人机设备携带标靶运动至PTZ相机附近，标靶处于PTZ相机视野内，使得PTZ相机能够拍摄到含标靶的图像。优选地，标靶处于PTZ相机的光轴附近，并距离PTZ相机的距离大于PTZ相机的两倍焦距，以保证PTZ相机能够清楚的拍摄到标靶上的特征点等。PTZ相机采集标靶图像信息，并将采集到的标靶图像信息传输至计算机设备，或者将采集到的标靶图像信息传输至其他计算机设备(如其他服务器或者其他用户设备等)，计算机设备通过与其他计算机设备的通信连接获取标靶图像信息。在一些实施例中，标靶被安装在无人机设备的运载支架上。标靶用于进行视觉标定，靶标要求便于视觉识别、有方向性，目前常见的标靶有AprilTag、ArUco、棋盘格、圆点图，其中AprilTag具有编码信息，并且单Tag可以工作。相机成像系统中，通常至少包含以下坐标系：世界坐标系、摄像坐标系、像素坐标系。其中，从摄像坐标系变换至像素坐标系的坐标变换为相机的内参，在此，我们可以将标靶坐标系替代对应世界坐标系，通过标靶特征点和标靶图像信息中的图像特征点组成的特征点对求解相机的内参。
标靶图像信息由像素组成，像素坐标用于表示像素在标靶图像信息中的位置，要确定像素的坐标，首先要确定图像的像素坐标系。像素坐标系通常包括以图像左上角为原点建立以像素为单位的直角坐标系u-v。像素的横坐标u与纵坐标v分别是在其图像数组中所在的列数与所在行数。标靶上存在对应的标靶特征点，例如，以棋盘格为例，该标靶特征点优选地可以为棋盘格的角点，相对应的，标靶图像信息中存在标靶特征点对应的图像特征点，根据图像特征点在标靶图像信息中的排列，确定图像特征点的像素坐标信息，将该像素坐标信息作为对应第一坐标信息。在一些实施例中，可以通过图像检测方法确定图像特征点及图像特征点对应的第一坐标信息。
标靶坐标系可以是以标靶中心或者标靶左上角为原点，三个轴互相垂直，Z轴方向垂直于标靶面板的方向，单位为长度单位建立的坐标系。当标靶确定后，根据各个标靶特征点在标靶上的已知位置，确定各标靶特征点的标靶坐标信息，将该标靶坐标信息作为第二坐标信息。
根据多个特征点对的第一坐标信息、第二坐标信息，可以对PTZ摄像装置的内参进行求解，其中，多个特征点的数量满足最少的求解要求。求解方法包括但不限于线性标定方法、非线性标定方法及两步标定法等，其中，两步标定法通常包括Tsai经典两步法、张正友标定方法等。
在一些情形下，PTZ相机可以根据管理设备或者计算机设备发送的调整指令，调整当前焦距信息，并拍摄对应的标靶图像信息。计算机设备可以根据前述方法计算调整后的焦距信息对应的内参，从而确定调整后焦距信息对应的内参。我们可以重复不断的调整PTZ摄像装置的焦距，从而确定多个焦距信息对应的多个内参等。
在一些实施方式中，所述获取所述目标PTZ摄像装置的多个第三坐标变换信息，包括：
E获取所述无人机设备对应的无人机坐标系变换至所述世界坐标系的实时无人机坐标变换信息；
F获取所述无人机坐标系相对于所述标靶坐标系的标靶坐标变换信息，其中，所述标靶坐标变换信息包括所述无人机坐标系相对于标靶坐标系的旋转信息、平移信息；
G基于所述第一坐标信息及所述第二坐标信息确定所述目标PTZ摄像装置相对于标靶坐标系的外参；
H基于所述外参、所述标靶坐标变换信息、所述实时无人机坐标变换信息确定所述目标PTZ摄像装置相对于所述世界坐标系的第三坐标变换信息；
调整所述目标PTZ摄像装置的承载状态信息，并执行上述E-H步骤，从而获取多个第三坐标变换信息。
例如，所述外参包括摄像坐标系相对于标靶坐标系的坐标变换信息，若需要求解摄像坐标系相对于世界坐标系的第三坐标变换信息，我们还需要获取标靶坐标系相对于世界坐标系的坐标变换信息。该标靶坐标系相对于世界坐标系的坐标变换信息由标靶坐标系相对于无人机坐标系的标靶坐标变换信息、无人机坐标系相对于世界坐标系的实时无人机坐标变换信息确定。
例如，所述无人机坐标系包括以无人机中心为原点建立的三轴坐标系，该坐标系的原点在世界坐标系中的位置基于无人机的实时状态而变更。如在一些实施方式中，获取所述无人机设备在所述世界坐标系中的初始无人机坐标变换信息；获取所述无人机设备的相对位姿信息，其中，所述相对位姿信息包括所述无人机设备当前位姿信息与所述无人机设备的初始位姿信息的位姿变化信息；根据所述初始无人机坐标变换信息和所述相对位姿信息确定所述无人机设备对应的无人机坐标系变换至世界坐标系的实时无人机坐标变换信息。
在一些情形下，世界坐标系为已知的，当无人机处于初始状态(如待命中，未开始飞行等)，计算机设备可以获取无人机初始状态时初始位姿相对于世界坐标系的初始无人机坐标变换信息，其中，该初始无人机坐标变换信息为初始状态下无人机坐标系相对于世界坐标系的坐标变换信息，如初始状态下无人机坐标系相对于世界坐标系的旋转、平移矩阵等。无人机设备具备空间定位能力，例如，无人机设备安置有传感器，该传感器实时获取无人机的飞行状态信息，并根据飞行状态信息通过即时定位与地图构建(simultaneouslocalization and mapping，SLAM)技术实时获取无人机的实时位姿信息，并根据实时位姿信息确定当前无人机坐标系相对于无人机初始状态时的位姿变化，根据该位姿变化信息和初始无人机坐标变换信息可以确定无人机坐标系相对于世界坐标系的实时无人机坐标变换信息。
由于标靶相对于无人机处于静止状态，换言之，标靶与无人机的相对位姿不变，则可以直接计算或者测量出标靶坐标系相对于无人机坐标系的标靶坐标变换信息，例如，通过基于无人机坐标系的三个轴向进行测量位移和偏角，得到标靶坐标变换信息，或者通过三坐标测量仪测量得到标靶坐标变换信息。如在一些实施方式中，所述标靶坐标变换信息由三轴坐标测量装置测量得到。
例如，三轴坐标测量装置包括在一个六面体的空间范围内，能够表现几何形状、长度及圆周分度等测量能力的仪器，如三坐标测量机或三坐标量床。三轴坐标测量状态通常三轴均有气源制动开关及微动装置，可实现单轴的精密传动，采用高性能数据采集系统，能够实现精密测量。通过三轴坐标测量装置能够精确测定出标靶坐标系相对于无人机坐标系的旋转和平移关系，从而根据该旋转和平移关系确定标靶坐标系相对于无人机坐标系的标靶坐标变换信息。该测量过程发生在无人机起飞之前、起飞之时或者起飞之后均可，在此不作限制。三轴坐标测量装置测定出标靶相对于无人机的旋转和平移关系后，可以将该旋转和平移关系发送至计算机设备，计算机设备确定标靶坐标系相对于无人机坐标系的标靶坐标变换信息。或者计算机设备获取用户输入的、通过三轴坐标测量装置测定出的标靶相对于无人机的旋转和平移关系，确定标靶坐标系相对于无人机坐标系的标靶坐标变换信息。
基于所述外参、所述标靶坐标变换信息、所述实时无人机坐标变换信息确定所述目标PTZ摄像装置相对于所述世界坐标系的第三坐标变换信息；PTZ相机可以根据管理设备或者计算机设备发送的调整指令，调整当前承载状态信息，并计算对应的多个第三坐标变换信息。如计算机设备可以获取调整后的承载状态信息对应的标靶图像信息，并根据标靶图像信息重新计算调整后承载状态信息对应的第三坐标变换信息。我们可以重复不断的调整PTZ摄像装置的承载状态信息，从而确定多个承载状态信息对应的第三坐标变换信息。
在一些实施方式中，在步骤S101中，根据所述目标对象的目标位置信息及所述目标PTZ摄像装置的摄像位置信息，确定所述目标PTZ摄像装置待调整的目标承载状态信息，并将所述目标PTZ摄像装置的实时承载状态信息调整至所述目标承载状态信息。
例如，计算机设备确定对应目标PTZ摄像装置后，若当前目标PTZ摄像装置对于目标对象的采集图像比较模糊或者采集不到目标对象，则需要对目标PTZ摄像装置的承载状态信息进行调整，将其调整至较为合适的位置以获取较为良好的图像质量。
在一些情形下，根据目标对象的目标位置信息及目标PTZ摄像装置的摄像位置信息，所述目标对象的目标位置信息可以是目标对象在世界坐标系中的世界坐标，还可以是目标对象在地理坐标系中的地理坐标，或者是投影至电子地图中的地图位置等。对应的摄像位置信息可以是目标PTZ摄像装置在世界坐标系中的世界坐标，还可以是目标PTZ摄像装置在地理坐标系中的地理坐标，或者是投影至电子地图中的地图摄像位置等。根据目标位置信息和摄像位置信息，可以确定一个比较适合拍摄目标对象图像的目标承载状态信息等，如根据目标位置信息相对于摄像位置信息的方位信息确定对应的目标PTZ摄像装置的俯仰角和水平转角等，使目标对象处于PTZ摄像装置拍摄图像的中心位置，从而确定对应目标承载状态信息。计算机设备向目标PTZ摄像装置发送对应的调节指令，将目标PTZ摄像装置的承载状态调整至目标承载状态信息从而采集质量较好的关于目标对象的图像等。
在一些实施方式中，目标PTZ摄像装置的内参存在与之对应的焦距信息；其中，所述获取所述目标PTZ摄像装置对应的内参，包括：根据所述目标位置信息及所述摄像位置信息，确定所述目标PTZ摄像装置待调整的目标焦距信息，并将所述目标焦距信息对应的目标内参确定为对应内参。
例如，仅调节PTZ摄像装置的承载状态信息可能仅能保证目标对象始终位于采集的图像中，若当前焦距对应的图像采集距离与目标对象距离目标PTZ摄像装置的距离差值不匹配，则采集到的图像可能比较模糊。则我们可以根据目标位置信息与摄像位置信息的距离差值确定能够清晰采集到目标对象的焦距，从而将该焦距作为对应目标焦距，用于调节目标PTZ摄像装置的焦距信息。
在一些实施方式中，所述方法还包括步骤S107(未示出)，在步骤S107中，计算机设备从所述多个PTZ摄像装置中确定对应的目标PTZ摄像装置。
例如，城市监控系统中通常存在多个PTZ摄像装置，我们通常需要从多个PTZ摄像装置中确定目标PTZ摄像装置，如目标PTZ摄像装置能够采集到目标对象、如选择某目标摄像装置显示渲染内容(如增强现实内容)、如选择某目标摄像装置进行标注操作等，从而保证计算的效率和准确度等。目标PTZ摄像装置的数量可以是一个或多个，在此不做限制。具体地确定过程可以是人工选定，可以是根据PTZ摄像装置焦距等参数确定，也可以是根据一定条件从数据库的多个PTZ摄像装置中进行筛选等。其中，若没有确定目标PTZ摄像装置的操作，则多个PTZ摄像装置均为目标PTZ摄像装置。
在一些实施方式中，在步骤S107中，获取关于所述多个PTZ摄像装置中至少一个PTZ摄像装置的选中操作，基于所述选中操作将所述至少一个PTZ摄像装置确定为目标PTZ摄像装置。
例如，城市监控系统存在对应的管理设备，该管理设备由对应管理人员控制。本申请所指的计算机设备可以是该管理设备，也开始与该管理设备存在通信连接的其他网络设备等。管理设备基于管理人员的操作，可以从多个PTZ摄像装置中确定对应的目标PTZ摄像装置，如直接选中至少一个PTZ摄像装置的选中操作。计算机设备获取该选中操作，并根据该选中操作将该至少一个PTZ摄像装置确定为目标PTZ摄像装置。在一些实施例中，管理设备可以是显示电子地图的设备，多个PTZ摄像装置显示在电子地图的对应位置上，管理人员通过在显示设备上的选中，如点击、框选等，操作确定目标摄像装置。
在一些实施方式中，在步骤S107中，获取所述目标对象的目标特征信息；获取所述多个PTZ摄像装置拍摄的多个实时图像信息，根据所述目标特征信息从所述多个实时图像信息中识别出对应的目标图像信息，将所述目标图像信息对应的PTZ摄像装置作为对应的目标摄像装置。
例如，计算机设备可以通过目标对象的目标特征信息在多个PTZ摄像装置采集的实时图像信息中进行识别，若确定某PTZ摄像装置的实时图像信息中存在与目标特征信息相似度达到相似度阈值(如90％等)的图像区域，则确定该PTZ摄像装置为目标摄像装置，该采集图像为目标图像信息。所述目标对象的目标特征信息包括用户输入、其他设备发送或者本地预先存储的用于识别目标对象的模板特征等。
在一些实施方式中，在步骤S107中，获取多个PTZ摄像装置的摄像位置信息；获取对应目标对象的目标位置信息；若所述多个PTZ摄像装置中某PTZ摄像装置的摄像位置信息与所述目标位置信息的位置差值小于或等于位置差值阈值，则将该PTZ摄像装置确定为目标PTZ摄像装置。
例如，计算机设备根据目标对象的目标位置信息确定该目标坐标信息范围附近(如200米以内等)的一个或多个PTZ摄像装置，并将该一个或多个PTZ摄像装置确定为对应的目标PTZ摄像装置。如将目标位置信息与多个PTZ摄像装置的摄像位置信息换算至同一个坐标系下，并计算两者的位置差值，若位置差值小于或等于位置差值阈值(如200米等)，则确定该满足条件的PTZ摄像装置为目标PTZ摄像装置等。在一些情形下，计算机设备可以先根据目标位置信息和摄像位置信息确定多个候选PTZ摄像装置，并根据目标特征信息从候选PTZ摄像装置采集的候选图像信息中确定包含目标特征信息的目标图像信息，从而从候选PTZ摄像装置中确定对应的目标PTZ摄像装置，从而大大减少了目标识别的计算量等。在此，目标位置信息可以是用户输入的，也可以是其他设备发送的，可以是计算机设备本地预先存储的，也可以是实时获取的。
在一些实施方式中，所述获取所述目标对象的目标位置信息，包括：呈现所述目标对象所在地区的电子地图；基于用户在所述电子地图上的输入操作确定所述目标对象的目标位置信息。
例如，地理坐标系是三维的，我们要在地图或者屏幕上显示就需要转化为二维，这被称为投影(Map projection)。常用的投影有等矩矩形投影(Platte Carre)和墨卡托投影(Mercator)等。将地理坐标系中坐标经过投影后可以形成对应的电子地图，相应地，若获取到目标对象在电子地图中的地图位置，我们可以基于对应投影关系得到该目标对象在地理坐标系中的地理坐标，并可以进一步地得到对应在世界坐标系中世界坐标等。用户持有计算机设备，通过该计算机设备可以呈现目标对象所在区域的电子地图，通过点击或者导入等输入操作，计算机设备可以获取用户关于目标对象在电子地图上的位置信息，进而根据该位置信息确定对应的目标位置信息等。所述目标位置信息可以是在世界坐标系中的世界坐标，还可以是在地理坐标系中的地理坐标，或者电子地图中的地图位置等，在此不作限定。
在一些实施方式中，所述获取所述目标对象的目标位置信息，包括：获取所述目标对象在GIS系统中的目标数据信息；根据所述目标数据信息确定所述目标对象的目标位置信息。
例如，GIS(Geographic Information System，地理信息系统)是在计算机硬、软件系统支持下，对整个或部分地球表层(包括大气层)空间中的有关地理分布数据进行采集、储存、管理、运算、分析、显示和描述的技术系统。在一些实施例中，目标对象在GIS系统中的目标数据信息包括目标对象对应的定位信息，该定位信息可以是目标对象在地理坐标系统中位置信息，如，GPS、北斗定位系统、伽利略(Galileo)或者格洛纳斯定位系统等定位系统记录的位置信息，也可以是目标对象在电子地图中的地图位置信息，如经纬度或距离等位置信息。在另一些实施例中，目标对象在GIS系统中的目标数据信息包括目标对象的定位信息、业务数据内容等。通过该目标数据信息提取对应的定位信息，还可以进行坐标转换得到目标对象的目标位置信息，如地理坐标转换至世界坐标系下得到对应世界坐标，或者转换至电子地图中得到对应的地图位置信息等，又如，地图位置信息转换至地理坐标系下得到对应地理坐标，或者，进一步转换至世界坐标系下得到对应世界坐标。
在一些实施方式中，所述方法还包括步骤S108(未示出)，在步骤S108中，基于所述目标对象的目标位置信息、所述目标坐标变换信息，确定所述目标对象在所述目标PTZ摄像装置的实时图像信息中的目标图像位置信息。
例如，目标对象包括用户感兴趣的内容，在一些实施例中，所述目标对象包括物理空间中的活动目标，如人员、车辆等，在另一些实施例中，所述目标对象包括物理空间中的非活动目标，如楼宇、街道、位置点、区域等，在此不作限定。在一些实施例中，所述目标位置信息是电子地图中的地图位置信息，将该地图位置信息转换至地理坐标系下得到对应地理坐标，通过所述目标坐标变换信息，将目标对象的地理坐标从地理坐标系转换至像素坐标系，从而确定目标对象在PTZ摄像装置的实时图像信息中的目标图像位置信息。在一些实施例中，所述目标位置信息是地理坐标系中的地理坐标，通过所述目标坐标变换信息，将目标对象的地理坐标从地理坐标系转换至像素坐标系，从而确定目标对象在PTZ摄像装置的实时图像信息中的目标图像位置信息。可选地，将所述目标对象的地理坐标转换至电子地图中得到对应的地图位置信息。
在一些实施方式中，所述方法还包括步骤S109(未示出)。在步骤S109中，根据所述目标图像位置信息在所述实时图像信息中渲染所述目标对象。
例如，计算机设备可以确定目标对象在实时图像信息中的目标图像位置信息，并实现实时图像信息中关于目标对象的渲染，如在实时图像信息中目标对象对应的目标图像位置区域呈现相关的渲染信息，如标记、3D模型、图片、文字或者其他渲染信息等。可选地，也可根据目标对象在电子地图中对应的地图位置信息实现关于目标对象的渲染。在一些情形下，初始的PTZ摄像装置数量可以是一个或多个；若初始的PTZ摄像装置数量为一个，确定目标对象的目标图像位置信息所对应的目标PTZ摄像装置可以是初始的一个PTZ摄像装置；若初始的PTZ摄像装置数量为多个，确定目标对象的目标图像位置信息所对应的目标PTZ摄像装置还可以是从初始的多个PTZ摄像装置中确定的目标PTZ摄像装置。
在一些实施方式中，所述方法还包括步骤S110(未示出)，在步骤S110中，获取拍摄所述目标对象的、对应无人机设备上安置的无人机摄像装置相对于所述世界坐标系的实时摄像坐标变换信息；根据所述实时摄像坐标变换信息及所述第二坐标变换信息确定对应的实时无人机摄像坐标变换信息，其中，所述实时无人机摄像坐标变换信息包括从所述地理坐标系变换至所述无人机摄像装置的像素坐标系的坐标变换信息。
例如，所述城市监控系统除了安装有PTZ摄像装置之外，还包括无人机设备，该无人机设备安装有对应的无人机摄像装置，通过该无人机摄像装置可以灵活拍摄识别目标对象，并配合PTZ摄像装置完成对于目标对象的状态的识别跟踪等，从而获取目标对象多角度的、丰富的多维信息等。在一些情形下，世界坐标系为已知的，当无人机处于初始状态(如待命中，未开始飞行等)，计算机设备可以获取无人机初始状态时初始位姿相对于世界坐标系的初始无人机坐标变换信息，其中，该初始无人机坐标变换信息为初始状态下无人机坐标系相对于世界坐标系的坐标变换信息，如初始状态下无人机坐标系相对于世界坐标系的旋转、平移矩阵等。无人机设备具备空间定位能力，例如，无人机设备安置有传感器，该传感器实时获取无人机的飞行状态信息，并根据飞行状态信息通过即时定位与地图构建(simultaneous localization and mapping，SLAM)技术实时获取无人机的实时位姿信息，并根据实时位姿信息确定当前无人机坐标系相对于无人机初始状态时的位姿变化，根据该位姿变化信息和初始无人机坐标变换信息可以确定无人机坐标系相对于世界坐标系的实时无人机坐标变换信息。计算机设备可以根据实时无人机坐标变换信息确定无人机摄像装置相对于世界坐标系的实时摄像坐标变换信息。例如，在一些情形下，所述无人机摄像装置相对于无人机中心的偏差为已知的固定偏差，计算机设备可以根据固定偏差及实时无人机坐标变换信息确定无人机摄像装置相对于世界坐标系的实时摄像坐标变换信息。进而根据该实时摄像坐标变换信息及第二坐标变换信息确定实时无人机摄像坐标变换信息，其中，所述实时无人机摄像坐标变换信息包括从所述地理坐标系变换至所述无人机摄像装置的实时无人机图像的像素坐标系的坐标变换信息。在此，该安置无人机摄像装置的无人机设备可以是仅用于拍摄关于目标对象的无人机设备，还可以是前述用于求解PTZ摄像装置的坐标变换信息的、安置有对应标靶的无人机设备。
在一些实施方式中，所述方法还包括步骤S111(未示出)，在步骤S111中，基于所述目标对象的目标位置信息、所述实时无人机摄像坐标变换信息，确定所述目标对象在所述无人机摄像装置的实时无人机图像信息中的无人机图像位置信息。
在一些实施例中，所述目标位置信息是电子地图中的地图位置信息，将该地图位置信息转换至地理坐标系下得到对应地理坐标，通过所述实时无人机摄像坐标变换信息，将目标对象的地理坐标从地理坐标系转换至像素坐标系，从而确定目标对象在所述无人机摄像装置的实时无人机图像信息中的无人机图像位置信息。在一些实施例中，所述目标位置信息是地理坐标系中的地理坐标，通过所述实时无人机摄像坐标变换信息，将目标对象的地理坐标从地理坐标系转换至像素坐标系，从而确定目标对象在所述无人机摄像装置的实时无人机图像信息中的无人机图像位置信息。可选地，还可进一步将所述目标对象的地理坐标转换至电子地图中得到对应的地图位置信息。在一些实施例中，根据所述无人机图像位置信息在所述实时无人机图像信息中渲染所述目标对象。例如，计算机设备可以确定目标对象在实时无人机图像信息中的无人机图像位置信息，并实现无人机图像信息中关于目标对象的渲染，如在实时无人机图像信息中目标对象对应的无人机图像位置区域呈现相关的渲染信息，如标记、3D模型、图片、文字或者其他渲染信息等。可选地，也可根据目标对象在电子地图中对应的地图位置信息实现关于目标对象的渲染。在一些实施例中，在确定目标对象在无人机摄像装置的实时无人机图像信息中的无人机图像位置信息时，同时还可以在目标PTZ摄像装置的实时图像信息中确定目标对象的目标图像位置信息。
在一些实施例中，电子地图与目标PTZ摄像装置或无人机摄像装置完成坐标映射后，目标PTZ摄像装置或无人机摄像装置的位置可以在电子地图中进行显示，例如，目标PTZ摄像装置或无人机摄像装置的世界坐标已知，根据世界坐标、第二坐标变换信息和投影关系，可以得到目标PTZ摄像装置或无人机摄像装置的世界坐标在电子地图中的地图位置信息，并在该地图位置处渲染目标PTZ摄像装置或无人机摄像装置的相关内容，如图标、标识、拍摄的实时画面等。
在一些实施方式中，所述方法还包括步骤S112(未示出)，在步骤S112中，获取对应目标对象在对应无人机设备上安置的无人机摄像装置拍摄的实时无人机图像信息中的实时无人机图像位置信息；根据所述实时无人机图像位置信息、所述实时无人机摄像坐标变换信息确定所述目标对象在地理坐标系中的目标地理位置信息；根据所述目标地理位置信息将所述目标对象呈现在对应电子地图中。
在一些实施例中，用户对无人机摄像装置拍摄的实时无人机图像信息中的目标对象进行标注操作，如框选、点击、画圈等，确定该目标对象在实时无人机图像信息中的实时无人机图像位置信息(如实时无人机图像信息中的像素坐标或图像坐标等)，在另一些实施例中，通过目标识别算法，如人脸识别、车牌识别等，确定无人机摄像装置拍摄的实时无人机图像信息中的目标对象，确定该目标对象在实时无人机图像信息中的实时无人机图像位置信息(如实时无人机图像信息中的像素坐标或图像坐标等)。根据该目标对象在实时无人机图像信息中的实时无人机图像位置信息，基于所述实时无人机摄像坐标变换信息确定所述目标对象在地理坐标系中的目标地理位置信息，例如，通过无人机摄像装置的内参和相对于世界坐标系的实时摄像坐标变换信息，计算出该实时无人机图像位置信息对应的世界坐标，根据世界坐标系与地理坐标系的第二坐标转换关系，可以得到该实时无人机图像位置信息在地理坐标系中的地理位置，也可以进一步得到在电子地图中的地图位置，并在电子地图中显示。在此，该坐标转换过程包括从像素坐标系至地理坐标系的坐标变换，该坐标变换为实时无人机摄像坐标变换信息的反向坐标变换等。。在一些实施方式中，所述方法还包括步骤S113(未示出)，在步骤S112中，获取对应目标对象在所述目标PTZ摄像装置拍摄的实时图像信息中的实时图像位置信息；根据所述实时图像位置信息、所述目标坐标变换信息确定所述目标对象在地理坐标系中的目标地理位置信息；根据所述目标地理位置信息将所述目标对象呈现在对应电子地图中。
例如，在一些实施例中，用户对目标PTZ摄像装置拍摄的实时图像信息中的对象进行标注操作，如框选、点击、画圈等，确定该目标对象在实时图像信息中的实时图像位置信息(如实时图像信息中的像素坐标或图像坐标等)，在另一些实施例中，通过目标识别算法，如人脸识别、车牌识别等，确定目标PTZ摄像装置拍摄的实时图像信息中的目标对象，确定该目标对象在实时图像信息中的实时图像位置信息(如实时图像信息中的像素坐标或图像坐标等)。根据该目标对象在实时图像信息中的实时图像位置信息，基于所述目标坐标变换信息确定所述目标对象在地理坐标系中的目标地理位置信息，例如，通过目标PTZ摄像装置的内参和相对于世界坐标系的坐标变换信息，计算出该实时图像位置信息对应的世界坐标，根据世界坐标系与地理坐标系的第二坐标转换关系，可以得到该实时图像位置信息在地理坐标系中的地理位置，也可以进一步得到在电子地图中的地图位置，并在电子地图中显示。在此，该坐标转换过程包括从像素坐标系至地理坐标系的坐标变换，该坐标变换为目标坐标变换信息的反向坐标变换等。在一些实施例中，在通过目标对象在无人机摄像装置拍摄的实时无人机图像信息中的实时无人机图像位置信息将目标对象呈现在电子地图中时，同时还可以通过目标PTZ摄像装置拍摄的实时图像信息中的实时图像位置信息将目标对象呈现在电子地图中。
在一些实施方式中，所述方法还包括步骤S114(未示出)，在步骤S114中，基于所述目标对象的目标地理位置生成所述目标对象在GIS系统中的目标数据信息，并将所述目标数据信息存储于所述GIS系统。
例如，根据目标对象的目标地理位置生成目标对象在GIS系统中的目标数据信息，如目标对象对应目标地理位置为XX，又如目标对象为标志性建筑A，对应目标地理位置为XX，再如目标对象为标志性建筑A，对应目标地理位置为XX，标志性建筑A的相关信息YY，则生成对应目标数据信息(位置XX)、(位置XX，建筑A)或(位置XX，建筑A，相关信息YY)等。随后，将该目标对象的目标数据信息存储于GIS系统中，供后续关于建筑A相关信息的查询、调用或者显示等。
上文主要对本申请的一种确定目标坐标变换信息的方法的各实施例进行具体介绍，此外，本申请还提供了能够实现上述各实施例的设备，下面我们结合图3进行介绍。
图3示出了根据本申请一个方面的一种确定目标坐标变换信息的计算机设备，所述设备包括一一模块101、一二模块102以及一三模块103。一一模块101，用于获取拍摄对应目标对象的目标PTZ摄像装置的实时承载状态信息，其中，所述实时承载状态信息包括所述目标PTZ摄像装置所处的承载设备的俯仰角和水平转角；一二模块102，用于获取所述目标PTZ摄像装置对应的内参和目标映射参数信息，根据所述实时承载状态信息及对应的目标映射参数信息确定所述目标PTZ摄像装置对应的坐标变换信息，从而根据所述坐标变换信息和所述内参确定对应的第一坐标变换信息，其中，所述第一坐标变换信息包括从世界坐标系变换至目标PTZ摄像装置的像素坐标系的坐标变换信息；一三模块103，用于根据所述第一坐标变换信息及地理坐标系至所述世界坐标系的第二坐标变换信息确定对应的目标坐标变换信息，其中，所述目标变换信息包括从所述地理坐标系变换至所述像素坐标系的坐标变换信息。在此，所述图3示出的一一模块101、一二模块102以及一三模块103对应的具体实施方式与前述图1示出的步骤S101、步骤S102以及步骤S103的实施例相同或相似，因而不再赘述，以引用的方式包含于此。
在一些实施方式中，所述目标PTZ摄像装置对应的内参和目标映射参数信息包含于所述目标PTZ摄像装置对应的目标映射记录；其中，所述设备还包括一四模块(未示出)，用于基于所述目标映射记录建立或更新关于多个PTZ摄像装置的映射数据库，其中，所述映射数据库包括多条映射记录，每条映射记录包括所述多个PTZ摄像装置之一的摄像标识信息、映射参数信息以及内参；其中，所述获取所述目标PTZ摄像装置对应的内参和目标映射参数信息，包括：根据所述目标PTZ摄像装置的摄像标识信息从所述映射数据库中查询确定所述目标映射记录。
在一些实施方式中，所述每条映射记录包括多个映射关系，每个映射关系包括一个内参及与所述一个内参对应的焦距信息；其中，所述设备还包括一五模块(未示出)，用于获取所述目标PTZ摄像装置的实时焦距信息；其中，所述获取所述目标PTZ摄像装置对应的内参，包括：根据所述实时焦距信息从所述多个目标映射关系中确定与所述实时焦距信息相对应的内参。
在一些实施方式中，所述设备还包括一六模块(未示出)，用于获取目标PTZ摄像装置的多个焦距信息对应的内参，基于所述目标PTZ摄像装置的多个焦距信息对应的内参建立所述目标PTZ摄像装置对应的多个目标映射关系；获取所述目标PTZ摄像装置的多个第三坐标变换信息，其中，所述多个第三坐标变换信息对应的摄像位姿信息不完全相同，所述第三坐标变换信息包括所述目标PTZ摄像装置相对于世界坐标系的坐标变换信息；获取所述多个第三坐标变换信息中每个坐标变换信息对应的承载状态信息，并根据所述多个第三坐标变换信息及每个第三坐标变换信息对应的承载状态信息确定所述目标PTZ摄像装置对应的目标映射参数信息；根据所述目标PTZ摄像装置的多个目标映射关系、所述目标映射参数信息以及目标摄像标识信息，建立或更新所述目标PTZ摄像装置的所述目标映射记录。
在一些实施方式中，所述获取目标PTZ摄像装置的多个焦距信息对应的内参，包括：
A获取所述目标PTZ摄像装置在当前焦距信息下拍摄的关于标靶的标靶图像信息，其中，所述标靶被安置于无人机设备上；
B根据所述标靶图像信息确定所述标靶图像信息中图像特征点的第一坐标信息，其中，所述第一坐标信息包括所述图像特征点在所述像素坐标系中的坐标信息；
C获取所述标靶中标靶特征点在标靶坐标系中的第二坐标信息，其中，所述标靶特征点与所述靶标图像信息的图像特征点相对应；
D基于所述第一坐标信息及所述第二坐标信息确定所述当前焦距信息对应的所述目标PTZ摄像装置的内参；
调整所述目标PTZ摄像装置的焦距信息，并执行上述A-D步骤，从而获取多个焦距信息对应的内参。
在一些实施方式中，所述获取所述目标PTZ摄像装置的多个第三坐标变换信息，包括：
E获取所述无人机设备对应的无人机坐标系变换至所述世界坐标系的实时无人机坐标变换信息；
F获取所述无人机坐标系相对于所述标靶坐标系的标靶坐标变换信息，其中，所述标靶坐标变换信息包括所述无人机坐标系相对于标靶坐标系的旋转信息、平移信息；
G基于所述第一坐标信息及所述第二坐标信息确定所述目标PTZ摄像装置相对于标靶坐标系的外参；
H基于所述外参、所述标靶坐标变换信息、所述实时无人机坐标变换信息确定所述目标PTZ摄像装置相对于所述世界坐标系的第三坐标变换信息；
调整所述目标PTZ摄像装置的承载状态信息，并执行上述E-H步骤，从而获取多个第三坐标变换信息。
在一些实施方式中，一一模块101，用于根据所述目标对象的目标位置信息及所述目标PTZ摄像装置的摄像位置信息，确定所述目标PTZ摄像装置待调整的目标承载状态信息，并将所述目标PTZ摄像装置的实时承载状态信息调整至所述目标承载状态信息。
在一些实施方式中，目标PTZ摄像装置的内参存在与之对应的焦距信息；其中，所述获取所述目标PTZ摄像装置对应的内参，包括：根据所述目标位置信息及所述摄像位置信息，确定所述目标PTZ摄像装置待调整的目标焦距信息，并将所述目标焦距信息对应的目标内参确定为对应内参。
在一些实施方式中，所述设备还包括一七模块(未示出)，用于从所述多个PTZ摄像装置中确定对应的目标PTZ摄像装置。
在一些实施方式中，一七模块，用于获取关于所述多个PTZ摄像装置中至少一个PTZ摄像装置的选中操作，基于所述选中操作将所述至少一个PTZ摄像装置确定为目标PTZ摄像装置。
在一些实施方式中，一七模块，用于获取所述目标对象的目标特征信息；获取所述多个PTZ摄像装置拍摄的多个实时图像信息，根据所述目标特征信息从所述多个实时图像信息中识别出对应的目标图像信息，将所述目标图像信息对应的PTZ摄像装置作为对应的目标摄像装置。
在一些实施方式中，一七模块，用于获取多个PTZ摄像装置的摄像位置信息；获取对应目标对象的目标位置信息；若所述多个PTZ摄像装置中某PTZ摄像装置的摄像位置信息与所述目标位置信息的位置差值小于或等于位置差值阈值，则将该PTZ摄像装置确定为目标PTZ摄像装置。
在一些实施方式中，所述获取所述目标对象的目标位置信息，包括：呈现所述目标对象所在地区的电子地图；基于用户在所述电子地图上的输入操作确定所述目标对象的目标位置信息。
在一些实施方式中，所述获取所述目标对象的目标位置信息，包括：获取所述目标对象在GIS系统中的目标数据信息；根据所述目标数据信息确定所述目标对象的目标位置信息。
在一些实施方式中，所述设备还包括一八模块(未示出)，用于基于所述目标对象的目标位置信息、所述目标坐标变换信息，确定所述目标对象在所述目标PTZ摄像装置的实时图像信息中的目标图像位置信息。
在一些实施方式中，所述设备还包括一九模块(未示出)，用于根据所述目标图像位置信息在所述实时图像信息中渲染所述目标对象。
在一些实施方式中，所述设备还包括一十模块(未示出)，用于获取拍摄所述目标对象的、对应无人机设备上安置的无人机摄像装置相对于所述世界坐标系的实时摄像坐标变换信息；根据所述实时摄像坐标变换信息及所述第二坐标变换信息确定对应的实时无人机摄像坐标变换信息，其中，所述实时无人机摄像坐标变换信息包括从所述地理坐标系变换至所述无人机摄像装置的像素坐标系的坐标变换信息。
在一些实施方式中，所述设备还包括一十一模块(未示出)，用于基于所述目标对象的目标位置信息、所述实时无人机摄像坐标变换信息，确定所述目标对象在所述无人机摄像装置的实时无人机图像信息中的无人机图像位置信息。
在一些实施方式中，所述设备还包括一十二模块(未示出)，用于获取对应目标对象在对应无人机设备上安置的无人机摄像装置拍摄的实时无人机图像信息中的实时无人机图像位置信息；根据所述实时无人机图像位置信息、所述实时无人机摄像坐标变换信息确定所述目标对象在地理坐标系中的目标地理位置信息；根据所述目标地理位置信息将所述目标对象呈现在对应电子地图中。
在一些实施方式中，所述设备还包括一十三模块(未示出)，用于获取对应目标对象在所述目标PTZ摄像装置拍摄的实时图像信息中的实时图像位置信息；根据所述实时图像位置信息、所述目标坐标变换信息确定所述目标对象在地理坐标系中的目标地理位置信息；根据所述目标地理位置信息将所述目标对象呈现在对应电子地图中。
在一些实施方式中，所述设备还包括一十四模块(未示出)，用于基于所述目标对象的目标地理位置生成所述目标对象在GIS系统中的目标数据信息，并将所述目标数据信息存储于所述GIS系统。
在此，所述一四模块至一十四模块对应的具体实施方式与前述步骤S104至步骤S114的具体实施例，因而不再赘述，以引用的方式包含于此。
除上述各实施例介绍的方法和设备外，本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机代码，当所述计算机代码被执行时，如前任一项所述的方法被执行。
本申请还提供了一种计算机程序产品，当所述计算机程序产品被计算机设备执行时，如前任一项所述的方法被执行。
本申请还提供了一种计算机设备，所述计算机设备包括：
一个或多个处理器；
存储器，用于存储一个或多个计算机程序；
当所述一个或多个计算机程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如前任一项所述的方法。
图4示出了可被用于实施本申请中所述的各个实施例的示例性系统；
如图4所示在一些实施例中，系统300能够作为各所述实施例中的任意一个上述设备。在一些实施例中，系统300可包括具有指令的一个或多个计算机可读介质(例如，系统存储器或NVM/存储设备320)以及与该一个或多个计算机可读介质耦合并被配置为执行指令以实现模块从而执行本申请中所述的动作的一个或多个处理器(例如，(一个或多个)处理器305)。
对于一个实施例，系统控制模块310可包括任意适当的接口控制器，以向(一个或多个)处理器305中的至少一个和/或与系统控制模块310通信的任意适当的设备或组件提供任意适当的接口。
系统控制模块310可包括存储器控制器模块330，以向系统存储器315提供接口。存储器控制器模块330可以是硬件模块、软件模块和/或固件模块。
系统存储器315可被用于例如为系统300加载和存储数据和/或指令。对于一个实施例，系统存储器315可包括任意适当的易失性存储器，例如，适当的DRAM。在一些实施例中，系统存储器315可包括双倍数据速率类型四同步动态随机存取存储器(DDR4SDRAM)。
对于一个实施例，系统控制模块310可包括一个或多个输入/输出(I/O)控制器，以向NVM/存储设备320及(一个或多个)通信接口325提供接口。
例如，NVM/存储设备320可被用于存储数据和/或指令。NVM/存储设备320可包括任意适当的非易失性存储器(例如，闪存)和/或可包括任意适当的(一个或多个)非易失性存储设备(例如，一个或多个硬盘驱动器(HDD)、一个或多个光盘(CD)驱动器和/或一个或多个数字通用光盘(DVD)驱动器)。
NVM/存储设备320可包括在物理上作为系统300被安装在其上的设备的一部分的存储资源，或者其可被该设备访问而不必作为该设备的一部分。例如，NVM/存储设备320可通过网络经由(一个或多个)通信接口325进行访问。
(一个或多个)通信接口325可为系统300提供接口以通过一个或多个网络和/或与任意其他适当的设备通信。系统300可根据一个或多个无线网络标准和/或协议中的任意标准和/或协议来与无线网络的一个或多个组件进行无线通信。
对于一个实施例，(一个或多个)处理器305中的至少一个可与系统控制模块310的一个或多个控制器(例如，存储器控制器模块330)的逻辑封装在一起。对于一个实施例，(一个或多个)处理器305中的至少一个可与系统控制模块310的一个或多个控制器的逻辑封装在一起以形成系统级封装(SiP)。对于一个实施例，(一个或多个)处理器305中的至少一个可与系统控制模块310的一个或多个控制器的逻辑集成在同一模具上。对于一个实施例，(一个或多个)处理器305中的至少一个可与系统控制模块310的一个或多个控制器的逻辑集成在同一模具上以形成片上系统(SoC)。
在各个实施例中，系统300可以但不限于是：服务器、工作站、台式计算设备或移动计算设备(例如，膝上型计算设备、手持计算设备、平板电脑、上网本等)。在各个实施例中，系统300可具有更多或更少的组件和/或不同的架构。例如，在一些实施例中，系统300包括一个或多个摄像机、键盘、液晶显示器(LCD)屏幕(包括触屏显示器)、非易失性存储器端口、多个天线、图形芯片、专用集成电路(ASIC)和扬声器。
需要注意的是，本申请可在软件和/或软件与硬件的组合体中被实施，例如，可采用专用集成电路(ASIC)、通用目的计算机或任何其他类似硬件设备来实现。在一个实施例中，本申请的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地，本申请的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中，例如，RAM存储器，磁或光驱动器或软磁盘及类似设备。另外，本申请的一些步骤或功能可采用硬件来实现，例如，作为与处理器配合从而执行各个步骤或功能的电路。
另外，本申请的一部分可被应用为计算机程序产品，例如计算机程序指令，当其被计算机执行时，通过该计算机的操作，可以调用或提供根据本申请的方法和/或技术方案。本领域技术人员应能理解，计算机程序指令在计算机可读介质中的存在形式包括但不限于源文件、可执行文件、安装包文件等，相应地，计算机程序指令被计算机执行的方式包括但不限于：该计算机直接执行该指令，或者该计算机编译该指令后再执行对应的编译后程序，或者该计算机读取并执行该指令，或者该计算机读取并安装该指令后再执行对应的安装后程序。在此，计算机可读介质可以是可供计算机访问的任意可用的计算机可读存储介质或通信介质。
通信介质包括藉此包含例如计算机可读指令、数据结构、程序模块或其他数据的通信信号被从一个系统传送到另一系统的介质。通信介质可包括有导的传输介质(诸如电缆和线(例如，光纤、同轴等))和能传播能量波的无线(未有导的传输)介质，诸如声音、电磁、RF、微波和红外。计算机可读指令、数据结构、程序模块或其他数据可被体现为例如无线介质(诸如载波或诸如被体现为扩展频谱技术的一部分的类似机制)中的已调制数据信号。术语“已调制数据信号”指的是其一个或多个特征以在信号中编码信息的方式被更改或设定的信号。调制可以是模拟的、数字的或混合调制技术。
作为示例而非限制，计算机可读存储介质可包括以用于存储诸如计算机可读指令、数据结构、程序模块或其它数据的信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动的介质。例如，计算机可读存储介质包括，但不限于，易失性存储器，诸如随机存储器(RAM，DRAM，SRAM)；以及非易失性存储器，诸如闪存、各种只读存储器(ROM，PROM，EPROM，EEPROM)、磁性和铁磁/铁电存储器(MRAM，FeRAM)；以及磁性和光学存储设备(硬盘、磁带、CD、DVD)；或其它现在已知的介质或今后开发的能够存储供计算机系统使用的计算机可读信息/数据。
在此，根据本申请的一个实施例包括一个装置，该装置包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发该装置运行基于前述根据本申请的多个实施例的方法和/或技术方案。
对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其他的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。

Claims (24)

1.一种确定目标坐标变换信息的方法，其中，该方法包括：
获取拍摄对应目标对象的目标PTZ摄像装置的实时承载状态信息，其中，所述实时承载状态信息包括所述目标PTZ摄像装置所处的承载设备的俯仰角和水平转角；
获取所述目标PTZ摄像装置对应的内参和目标映射参数信息，根据所述实时承载状态信息及对应的目标映射参数信息确定所述目标PTZ摄像装置对应的坐标变换信息，从而根据所述坐标变换信息和所述内参确定对应的第一坐标变换信息，其中，所述目标映射参数信息包括由预先确定的多个第三坐标变换信息及该多个第三坐标变换信息对应的承载状态信息计算得到的水平映射参数和竖直映射参数，所述第三坐标变换信息包括所述目标PTZ摄像装置相对于世界坐标系的坐标变换信息，所述第一坐标变换信息包括从世界坐标系变换至目标PTZ摄像装置的像素坐标系的坐标变换信息；
根据所述第一坐标变换信息及地理坐标系至所述世界坐标系的第二坐标变换信息确定对应的目标坐标变换信息，其中，所述目标变换信息包括从所述地理坐标系变换至所述像素坐标系的坐标变换信息。
2.根据权利要求1所述的方法，其中，所述目标PTZ摄像装置对应的内参和目标映射参数信息包含于所述目标PTZ摄像装置对应的目标映射记录；其中，所述方法还包括：
基于所述目标映射记录建立或更新关于多个PTZ摄像装置的映射数据库，其中，所述映射数据库包括多条映射记录，每条映射记录包括所述多个PTZ摄像装置之一的摄像标识信息、映射参数信息以及内参；
其中，所述获取所述目标PTZ摄像装置对应的内参和目标映射参数信息，包括：
根据所述目标PTZ摄像装置的摄像标识信息从所述映射数据库中查询确定所述目标映射记录。
3.根据权利要求2所述的方法，其中，所述每条映射记录包括多个映射关系，每个映射关系包括一个内参及与所述一个内参对应的焦距信息；其中，所述方法还包括：
获取所述目标PTZ摄像装置的实时焦距信息；
其中，所述获取所述目标PTZ摄像装置对应的内参，包括：
根据所述实时焦距信息从所述多个目标映射关系中确定与所述实时焦距信息相对应的内参。
4.根据权利要求3所述的方法，其中，所述方法还包括：
获取目标PTZ摄像装置的多个焦距信息对应的内参，基于所述目标PTZ摄像装置的多个焦距信息对应的内参建立所述目标PTZ摄像装置对应的多个目标映射关系；
获取所述目标PTZ摄像装置的多个第三坐标变换信息，其中，所述多个第三坐标变换信息对应的摄像位姿信息不完全相同，所述第三坐标变换信息包括所述目标PTZ摄像装置相对于世界坐标系的坐标变换信息；
获取所述多个第三坐标变换信息中每个坐标变换信息对应的承载状态信息，并根据所述多个第三坐标变换信息及每个第三坐标变换信息对应的承载状态信息确定所述目标PTZ摄像装置对应的目标映射参数信息；
根据所述目标PTZ摄像装置的多个目标映射关系、所述目标映射参数信息以及目标摄像标识信息，建立或更新所述目标PTZ摄像装置的所述目标映射记录。
5.根据权利要求4所述的方法，其中，所述获取目标PTZ摄像装置的多个焦距信息对应的内参，包括：
A获取所述目标PTZ摄像装置在当前焦距信息下拍摄的关于标靶的标靶图像信息，其中，所述标靶被安置于无人机设备上；
B根据所述标靶图像信息确定所述标靶图像信息中图像特征点的第一坐标信息，其中，所述第一坐标信息包括所述图像特征点在所述像素坐标系中的坐标信息；
C获取所述标靶中标靶特征点在标靶坐标系中的第二坐标信息，其中，所述标靶特征点与所述标靶 图像信息的图像特征点相对应；
D基于所述第一坐标信息及所述第二坐标信息确定所述当前焦距信息对应的所述目标PTZ摄像装置的内参；
调整所述目标PTZ摄像装置的焦距信息，并执行上述A-D步骤，从而获取多个焦距信息对应的内参。
6.根据权利要求5所述的方法，其中，所述获取所述目标PTZ摄像装置的多个第三坐标变换信息，包括：
E获取无人机设备对应的无人机坐标系变换至所述世界坐标系的实时无人机坐标变换信息；
F获取所述无人机坐标系相对于所述标靶坐标系的标靶坐标变换信息，其中，所述标靶坐标变换信息包括所述无人机坐标系相对于标靶坐标系的旋转信息、平移信息；
G基于所述第一坐标信息及所述第二坐标信息确定所述目标PTZ摄像装置相对于标靶坐标系的外参；
H基于所述外参、所述标靶坐标变换信息、所述实时无人机坐标变换信息确定所述目标PTZ摄像装置相对于所述世界坐标系的第三坐标变换信息；
调整所述目标PTZ摄像装置的承载状态信息，并执行上述E-H步骤，从而获取多个第三坐标变换信息。
7.根据权利要求1至6中任一项所述的方法，其中，所述获取拍摄对应目标对象的目标PTZ摄像装置的实时承载状态信息，包括：
根据所述目标对象的目标位置信息及所述目标PTZ摄像装置的摄像位置信息，确定所述目标PTZ摄像装置待调整的目标承载状态信息，并将所述目标PTZ摄像装置的实时承载状态信息调整至所述目标承载状态信息。
8.根据权利要求7所述的方法，其中，所述目标PTZ摄像装置的内参存在与之对应的焦距信息；其中，所述获取所述目标PTZ摄像装置对应的内参，包括：
根据所述目标位置信息及所述摄像位置信息，确定所述目标PTZ摄像装置待调整的目标焦距信息，并将所述目标焦距信息对应的目标内参确定为对应内参。
9.根据权利要求2所述的方法，其中，所述方法还包括：
从所述多个PTZ摄像装置中确定对应的目标PTZ摄像装置。
10.根据权利要求9所述的方法，其中，所述从所述多个PTZ摄像装置中确定对应的目标PTZ摄像装置，包括：
获取关于所述多个PTZ摄像装置中至少一个PTZ摄像装置的选中操作，基于所述选中操作将所述至少一个PTZ摄像装置确定为目标PTZ摄像装置。
11.根据权利要求9所述的方法，其中，所述从所述多个PTZ摄像装置中确定对应的目标PTZ摄像装置，包括：
获取所述目标对象的目标特征信息；
获取所述多个PTZ摄像装置拍摄的多个实时图像信息，根据所述目标特征信息从所述多个实时图像信息中识别出对应的目标图像信息，将所述目标图像信息对应的PTZ摄像装置作为对应的目标PTZ摄像装置。
12.根据权利要求9所述的方法，其中，所述从所述多个PTZ摄像装置中确定对应的目标PTZ摄像装置，包括：
获取多个PTZ摄像装置的摄像位置信息；
获取对应目标对象的目标位置信息；
若所述多个PTZ摄像装置中某PTZ摄像装置的摄像位置信息与所述目标位置信息的位置差值小于或等于位置差值阈值，则将该PTZ摄像装置确定为目标PTZ摄像装置。
13.根据权利要求12所述的方法，其中，所述获取所述目标对象的目标位置信息，包括：
呈现所述目标对象所在地区的电子地图；
基于用户在所述电子地图上的输入操作确定所述目标对象的目标位置信息。
14.根据权利要求12所述的方法，其中，所述获取所述目标对象的目标位置信息，包括：
获取所述目标对象在GIS系统中的目标数据信息；
根据所述目标数据信息确定所述目标对象的目标位置信息。
15.根据权利要求1至6、9至14中任一项所述的方法，其中，所述方法还包括：
基于所述目标对象的目标位置信息、所述目标坐标变换信息，确定所述目标对象在所述目标PTZ摄像装置的实时图像信息中的目标图像位置信息。
16.根据权利要求15所述的方法，其中，所述方法还包括：
根据所述目标图像位置信息在所述实时图像信息中渲染所述目标对象。
17.根据权利要求1至6中任一项所述的方法，其中，所述方法还包括：
获取拍摄所述目标对象的、对应无人机设备上安置的无人机摄像装置相对于所述世界坐标系的实时摄像坐标变换信息；
根据所述实时摄像坐标变换信息及所述第二坐标变换信息确定对应的实时无人机摄像坐标变换信息，其中，所述实时无人机摄像坐标变换信息包括从所述地理坐标系变换至所述无人机摄像装置的像素坐标系的坐标变换信息。
18.根据权利要求17所述的方法，其中，所述方法还包括：
基于所述目标对象的目标位置信息、所述实时无人机摄像坐标变换信息，确定所述目标对象在所述无人机摄像装置的实时无人机图像信息中的无人机图像位置信息。
19.根据权利要求17所述的方法，其中，所述方法还包括：
获取对应目标对象在对应无人机设备上安置的无人机摄像装置拍摄的实时无人机图像信息中的实时无人机图像位置信息；
根据所述实时无人机图像位置信息、所述实时无人机摄像坐标变换信息确定所述目标对象在地理坐标系中的目标地理位置信息；
根据所述目标地理位置信息将所述目标对象呈现在对应电子地图中。
20.根据权利要求1至6、9至12中任一项所述的方法，其中，所述方法还包括：
获取对应目标对象在所述目标PTZ摄像装置拍摄的实时图像信息中的实时图像位置信息；
根据所述实时图像位置信息、所述目标坐标变换信息确定所述目标对象在地理坐标系中的目标地理位置信息；
根据所述目标地理位置信息将所述目标对象呈现在对应电子地图中。
21.根据权利要求19所述的方法，其中，所述方法还包括：
基于所述目标对象的目标地理位置生成所述目标对象在GIS系统中的目标数据信息，并将所述目标数据信息存储于所述GIS系统。
22.一种确定目标坐标变换信息的设备，其中，该设备包括：
一一模块，用于获取拍摄对应目标对象的目标PTZ摄像装置的实时承载状态信息，其中，所述实时承载状态信息包括所述目标PTZ摄像装置所处的承载设备的俯仰角和水平转角；
一二模块，用于获取所述目标PTZ摄像装置对应的内参和目标映射参数信息，根据所述实时承载状态信息及对应的目标映射参数信息确定所述目标PTZ摄像装置对应的坐标变换信息，从而根据所述坐标变换信息和所述内参确定对应的第一坐标变换信息，其中，所述目标映射参数信息包括由预先确定的多个第三坐标变换信息及该多个第三坐标变换信息对应的承载状态信息计算得到的水平映射参数和竖直映射参数，所述第三坐标变换信息包括所述目标PTZ摄像装置相对于世界坐标系的坐标变换信息，所述第一坐标变换信息包括从世界坐标系变换至目标PTZ摄像装置的像素坐标系的坐标变换信息；
一三模块，用于根据所述第一坐标变换信息及地理坐标系至所述世界坐标系的第二坐标变换信息确定对应的目标坐标变换信息，其中，所述目标变换信息包括从所述地理坐标系变换至所述像素坐标系的坐标变换信息。
23.一种计算机设备，其中，该设备包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行如权利要求1至21中任一项所述方法的操作。
24.一种存储指令的计算机可读介质，所述指令在被执行时使得系统进行执行如权利要求1至21中任一项所述方法的操作。
CN202110609644.0A 2021-06-01 2021-06-01 一种确定目标坐标变换信息的方法与设备 Active CN113345028B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110609644.0A CN113345028B (zh) 2021-06-01 2021-06-01 一种确定目标坐标变换信息的方法与设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110609644.0A CN113345028B (zh) 2021-06-01 2021-06-01 一种确定目标坐标变换信息的方法与设备

Publications (2)

Publication Number Publication Date
CN113345028A CN113345028A (zh) 2021-09-03
CN113345028B true CN113345028B (zh) 2022-04-26

Family

ID=77474268

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110609644.0A Active CN113345028B (zh) 2021-06-01 2021-06-01 一种确定目标坐标变换信息的方法与设备

Country Status (1)

Country Link
CN (1) CN113345028B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113869231B (zh) * 2021-09-29 2023-01-31 亮风台（上海）信息科技有限公司 一种用于获取目标对象的实时图像信息的方法与设备
CN115439528B (zh) * 2022-04-26 2023-07-11 亮风台（上海）信息科技有限公司 一种获取目标对象的图像位置信息的方法与设备
CN115190237B (zh) * 2022-06-20 2023-12-15 亮风台（上海）信息科技有限公司 一种确定承载设备的转动角度信息的方法与设备
CN115760964B (zh) * 2022-11-10 2024-03-15 亮风台（上海）信息科技有限公司 一种获取目标对象的屏幕位置信息的方法与设备
CN115866254A (zh) * 2022-11-24 2023-03-28 亮风台（上海）信息科技有限公司 一种传输视频帧及摄像参数信息的方法与设备
CN116228888B (zh) * 2023-04-21 2023-08-22 智广海联(天津)大数据技术有限公司 地理坐标与ptz相机坐标的转换方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105865480A (zh) * 2016-03-31 2016-08-17 百度在线网络技术（北京）有限公司 导航图像显示参数的调整方法及装置
CN106169184A (zh) * 2015-05-19 2016-11-30 安讯士有限公司 用于确定摄像机的空间特性的方法及系统
CN109945853A (zh) * 2019-03-26 2019-06-28 西安因诺航空科技有限公司 一种基于3d点云航拍图像的地理坐标定位系统和方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9881163B2 (en) * 2013-03-12 2018-01-30 Pictometry International Corp. System and method for performing sensitive geo-spatial processing in non-sensitive operator environments
US10867409B2 (en) * 2019-04-22 2020-12-15 Great Wall Motor Company Limited Methods and systems to compensate for vehicle calibration errors

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106169184A (zh) * 2015-05-19 2016-11-30 安讯士有限公司 用于确定摄像机的空间特性的方法及系统
CN105865480A (zh) * 2016-03-31 2016-08-17 百度在线网络技术（北京）有限公司 导航图像显示参数的调整方法及装置
CN109945853A (zh) * 2019-03-26 2019-06-28 西安因诺航空科技有限公司 一种基于3d点云航拍图像的地理坐标定位系统和方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Ting Zhang ; Minzhao Zhu.GPS-assisted Aerial Image Stitching Based on optimization Algorithm.《2019 Chinese Control Conference (CCC)》.2019, *

Also Published As

Publication number Publication date
CN113345028A (zh) 2021-09-03

Similar Documents

Publication Publication Date Title
CN113345028B (zh) 一种确定目标坐标变换信息的方法与设备
CN207117844U (zh) 多vr/ar设备协同系统
CN108810473B (zh) 一种在移动平台上实现gps映射摄像机画面坐标的方法及系统
US9219858B2 (en) Generating a composite field of view using a plurality of oblique panoramic images of a geographic area
CN103874193A (zh) 一种移动终端定位的方法及系统
US8264537B2 (en) Photogrammetric networks for positional accuracy
KR20210104684A (ko) 측량 및 매핑 시스템, 측량 및 매핑 방법, 장치 및 기기
CN109523471A (zh) 一种地面坐标和广角摄像机画面坐标的转换方法、系统以及装置
CN115439531A (zh) 一种获取目标对象的目标空间位置信息的方法与设备
US10904431B2 (en) Camera controller
JP6804806B2 (ja) 測位精度情報算出装置及び測位精度情報算出方法
CN113869231B (zh) 一种用于获取目标对象的实时图像信息的方法与设备
CN111815759B (zh) 一种可量测实景图片的生成方法、装置、计算机设备
KR20210105345A (ko) 측량 및 매핑 방법, 장치 및 기기
CN115439528B (zh) 一种获取目标对象的图像位置信息的方法与设备
CN110703805A (zh) 立体物体测绘航线规划方法、装置、设备、无人机及介质
CN113240754B (zh) 确定ptz摄像装置的内参的方法、装置、设备及存储介质
US9108571B2 (en) Method, system, and computer program product for image capture positioning using a pattern of invisible light
WO2022025283A1 (ja) 測定処理装置、方法及びプログラム
CN115565092A (zh) 一种获取目标对象的地理位置信息的方法与设备
CN115439635B (zh) 一种呈现目标对象的标记信息的方法与设备
CN111161350A (zh) 位置信息及位置关系确定方法、位置信息获取装置
CN115797438A (zh) 目标定位方法、装置、计算机设备、存储介质和程序产品
CN113008135B (zh) 用于确定空间中目标点位置的方法、设备、电子装置及介质
CN112254653B (zh) 一种用于3d信息采集的程序控制方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP02 Change in the address of a patent holder
CP02 Change in the address of a patent holder

Address after: 201210 7th Floor, No. 1, Lane 5005, Shenjiang Road, China (Shanghai) Pilot Free Trade Zone, Pudong New Area, Shanghai

Patentee after: HISCENE INFORMATION TECHNOLOGY Co.,Ltd.

Address before: Room 501 / 503-505, 570 shengxia Road, China (Shanghai) pilot Free Trade Zone, Pudong New Area, Shanghai, 201203

Patentee before: HISCENE INFORMATION TECHNOLOGY Co.,Ltd.