CN114667541A - 使用人体关节校准无人驾驶飞行器上的摄影机 - Google Patents

使用人体关节校准无人驾驶飞行器上的摄影机 Download PDF

Info

Publication number
CN114667541A
CN114667541A CN202180006519.9A CN202180006519A CN114667541A CN 114667541 A CN114667541 A CN 114667541A CN 202180006519 A CN202180006519 A CN 202180006519A CN 114667541 A CN114667541 A CN 114667541A
Authority
CN
China
Prior art keywords
camera
uav
anchor
human
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180006519.9A
Other languages
English (en)
Inventor
田原大资
A·贝雷斯托夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Publication of CN114667541A publication Critical patent/CN114667541A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/04—Aircraft not otherwise provided for having multiple fuselages or tail booms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00—Type of UAV
    • B64U10/10—Rotorcrafts
    • B64U10/13—Flying platforms
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G05D1/104—Simultaneous control of position or course in three dimensions specially adapted for aircraft involving a plurality of aircrafts, e.g. formation flying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Remote Sensing (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Mechanical Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Automation & Control Theory (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

提供了用于校准无人驾驶飞行器(UAV)上的摄影机的系统和方法。该系统从锚摄影机的集合接收人类被摄体的锚图像集合，并从UAV组上的摄影机组接收来自三维(3D)空间中多个视点的人类被摄体的图像组。该系统从锚图像集合确定人体关节的二维(2D)位置的第一集合，并从图像组确定人体关节的2D位置的第二集合。该系统使用2D位置的第一集合基于三角测量计算人体关节的3D位置作为3D关键点，并确定3D关键点与2D位置的第二集合之间的2D重投影误差。此后，通过最小化2D重投影误差，该系统校准摄影机组中的每个摄影机。

Description

使用人体关节校准无人驾驶飞行器上的摄影机
相关申请的交叉引用/通过引用并入
无
技术领域
本公开的各种实施例涉及摄影机校准。更具体而言，本公开的各种实施例涉及用于使用人体关节校准安装在无人驾驶飞行器(UAV)上或与无人驾驶飞行器(UAV)集成的摄影机的系统和方法。
背景技术
各种二维图案(诸如棋盘图案)被用于摄影机校准。虽然通过使用此类图案进行的摄影机校准可以产生准确的校准结果，但这些技术可以是耗时的，并且会附加地要求大量的手动工作。例如，此类摄影机校准技术的应用会容易出现点匹配问题。
通过将所描述的系统与本公开的一些方面进行比较，常规和传统方法的进一步限制和缺点对于本领域技术人员将变得显而易见，如本申请的其余部分和参考附图阐述的。
发明内容
如在权利要求中更完整阐述的，基本如至少一个图所示和/或结合至少一个图所描述的，提供了使用人体关节对安装在无人机(UAV)上或与无人机(UAV)集成的摄影机进行校准的系统和方法。
可以通过阅读以下对本公开的详细描述以及附图来理解本公开的这些和其它特征以及优点，在附图中，相同的参考标记始终表示相同的部分。
附图说明
图1是图示根据本公开的实施例的用于通过使用人体关节来校准安装在UAV组上或与UAV组集成的摄影机组的示例性网络环境的框图。
图2是图示根据本公开的实施例的用于校准安装在UAV组上或与UAV组集成的摄影机组的示例性系统的框图。
图3是图示根据本公开的实施例的示例性UAV的框图。
图4是图示根据本公开的实施例的安装在UAV和锚摄影机设备上或与UAV和锚摄影机设备集成以获取人类被摄体的图像的摄影机的示例性实施方式的图。
图5是图示根据本公开的实施例的安装在UAV和锚摄影机设备上或与UAV和锚摄影机设备集成以获取人类被摄体的图像的摄影机的示例性实施方式的图。
图6是图示根据本公开的实施例的用于基于人体关节校准UAV上的摄影机的示例性操作的图。
图7是图示根据本公开的实施例的用于校准安装在UAV组上或与UAV组集成的摄影机组的示例性操作的流程图。
具体实施方式
以下描述的实施方式可以在所公开的系统和方法中找到，该系统和方法用于使用人体关节自动校准安装在无人驾驶飞行器(UAV)上或与无人驾驶飞行器(UAV)集成的摄影机组。本公开的示例性方面提供锚摄影机的集合，其可以被预先校准并固定在3D空间中的某些已知位置和朝向。另外，摄影机组可以安装在UAV组中的每个UAV上或与它们集成在一起。摄影机组可以没有针对外部摄影机参数(诸如平移和旋转参数)进行预校准。锚摄影机的集合和UAV组可以在3D空间中包围人类被摄体。人体关节的二维(2D)位置的第一集合可以从由锚摄影机的集合捕获的人类被摄体的锚图像集合确定。另外，人类被摄体的人体关节的2D位置的第二集合可以从由摄影机组从多个三维(3D)视点捕获的人类被摄体的图像组确定。系统可以基于所确定的2D位置的第一集合的三角测量来计算3D关键点作为人体关节的3D位置，并且可以通过最小化3D关键点和2D位置的第二集合之间的2D重投影误差来相对于锚摄影机的集合或量规校准摄影机组中的每个摄影机(即，外在和/或内在参数)。
使用人体关节进行摄影机校准可能不太容易出现点匹配问题，这通常发生在使用2D图案(诸如棋盘)的常规校准方法中。而且，使用人体关节进行校准可以去除手动放置校准图案(诸如在未校准的摄影机前面放置棋盘)的需要。
图1是图示根据本公开的实施例的用于通过使用人体关节来校准安装在UAV组上或与UAV组集成的摄影机组的示例性网络环境的框图。参考图1，示出了网络环境100。网络环境100可以包括系统102和机器学习(ML)模型104，其可以包括在系统102中。网络环境100还可以包括锚摄影机设备集合106、UAV组108以及通信网络110。如图所示，例如，锚摄影机设备集合106可以包括第一锚摄影机设备106a和第二锚摄影机设备106b。类似地，UAV组108可以包括第一UAV 108a和第二UAV 108b，它们都可以装配有摄影机，诸如用于第一UAV108a的第一摄影机112a和用于第二UAV 108b的第二摄影机112b。第一摄影机112a和第二摄影机112b可以统称为摄影机组112。系统102可以经由通信网络110通信地耦合到锚摄影机设备集合106和UAV组108。
还示出了作为3D环境的一部分的三维(3D)空间114，其中可以部署锚摄影机设备集合106和UAV组108。在3D空间114中，还示出了被锚摄影机设备集合106和UAV组108包围的人类被摄体116。锚摄影机设备集合106和UAV组108可以(例如，稀疏地)位于3D空间114中的多个视点处并且可以共同形成具有组合视场(FoV)的多扫描仪网络，其可以至少覆盖人类被摄体116的身体的前侧或后侧。人类被摄体116可以是场景的前景的一部分，其还可以包括为了简洁而在本公开中省略的其它目标、细节和说明。
应当注意的是，与图1中的锚摄影机设备集合106和UAV组108相关联的摄影机的位置、朝向、布置和数量仅作为示例呈现并且不应当解释为限制本公开。在不偏离本公开的范围的情况下，本公开还可以适用于其它位置、朝向、布置以及更多或更少数量的锚摄影机设备和UAV。
系统102可以包括合适的逻辑、电路系统、接口和/或代码，这些逻辑、电路系统、接口和/或代码可以被配置为通过使用与人类被摄体116的人类关节相关联的信息来校准安装在UAV组108中的相应UAV上或与相应UAV集成的每个摄影机。系统102的实施方式的示例可以包括但不限于视频广播系统、基于增强现实的设备、游戏设备、视频处理设备、视频编辑系统、媒体制作系统、计算机工作站、大型计算机、手持计算机、移动电话、智能家电、视频播放器、数码摄影机、摄像机、服务器、消费电子(CE)设备和/或任何其它具有图像处理能力的计算设备。
ML模型104可以与人体关节检测框架对应，诸如可以对2D人体关节检测任务训练的神经网络。例如，ML模型104可以包括经训练的神经网络，该神经网络可以接收人类被摄体116的图像以从图像中检测人体关节，其中对于每个人体关节具有一定的置信度分数。ML模型104可以包括电子数据，电子数据可以例如被实现为软件部件，并且可以依赖于代码数据库、库、外部脚本或其它逻辑或指令，以供计算系统(诸如由系统102)执行ML算法。ML模型104可以被实现为代码和例程，这些代码和例程被配置为使得诸如系统102之类的计算系统能够从人类被摄体116的图像执行人类关节检测。附加地或可替代地，ML模型104可以使用包括处理器、微处理器(例如，用于执行或控制一个或多个操作的性能)、现场可编程门阵列(FPGA)或专用集成电路(ASIC)的硬件来实现。在一些其它情况下，ML模型104可以使用硬件和软件两者的组合来实现。
根据实施例，ML模型104可以是神经网络模型。神经网络模型的示例可以包括但不限于深度神经网络(DNN)、卷积神经网络(CNN)、循环神经网络(RNN)、CNN-循环神经网络(CNN-RNN)、R-CNN、快速R-CNN、更快的R-CNN、人工神经网络(ANN)、(You Only Look Once，只看一次)YOLO网络、基于RNN的长短期记忆(LSTM)网络、CNN+ANN、LSTM+ANN、基于门控循环单元(GRU)的RNN、全连接神经网络、基于连接主义时间分类(CTC)的RNN、深度贝叶斯神经网络、生成对抗网络(GAN)，和/或此类网络的组合。在某些实施例中，神经网络模型可以基于多个深度神经网络(DNN)的混合体系架构。
锚摄影机设备集合106中的每一个可以包括合适的逻辑、电路系统、接口和/或代码，这些逻辑、电路系统、接口和/或代码可以被配置为捕获一个或多个图像，这些图像可以包括人类被摄体116。每个锚摄影机设备可以固定在3D空间114中的某个位置。例如，锚摄影机设备可以固定在墙壁或屋顶上的预定位置。锚摄影机设备的实施方式的示例可以包括但不限于3D空间114中的预校准的固定摄影机、安装在可以被配置为在3D空间114中维持固定姿势的UAV上或与该UAV集成的预校准的摄影机，或者可移动地耦合到远程控制的摄影机移动组件的预校准摄影机。
UAV组108中的每个UAV可以包括可以装配有摄影机(最初未校准)的UAV。另外，每个UAV可以由远程系统控制或者可以能够基于预编程的路线或路径自主飞行。在至少一个实施例中，每个UAV可以实现人类跟踪方法以在3D空间114中对准自身并跟随人类被摄体116，使得人类被摄体116总是在装配在相应UAV上的摄影机的FOV区域中。在至少一个实施例中，每个UAV可以由来自中央控制站的人类飞行员控制，中央控制站可以是系统102的一部分。
根据实施例，UAV组108中的每一个UAV(例如，第一UAV108a和第二UAV 108b)可以经由通信网络110从系统102接收控制指令。控制指令可以包括3D位置(X轴、Y轴或Z轴)或3D路径，基于该3D路径，UAV组108中的一个或多个可以在3D空间114中移动。在一些实施例中，此类指令可以包括可以与3D空间114中每个UAV的3D姿势相关联的倾斜或朝向信息。UAV组108可以基于从系统102接收到的控制指令来控制它们的倾斜角或朝向以及垂直对准或水平对准。UAV的示例可以包括但不限于摄影机无人机、装有摄影机的智能飞机或可以基于预编程的飞行计划被控制的其它航空器和/或自动化系统(诸如系统102)。基于框架类型和马达的数量，UAV的示例可以包括但不限于具有三个臂和一个马达的三轴飞行器、具有四个臂和一个马达的四轴飞行器、具有六个臂和一个马达的六轴飞行器，具有六个臂和六个马达的Y6直升机、具有八个臂和一个马达的八悬翼直升机，和/或具有八个臂和八个马达的X8直升机。
第一摄影机112a和第二摄影机112b中的每一个可以包括合适的逻辑、电路系统、接口和/或代码，这些逻辑、电路系统、接口和/或代码可以被配置为捕获可以包括人类被摄体116的一个或多个图像。第一摄影机112a和第二摄影机112b中的每一个可以安装在UAV上或与UAV集成。第一摄影机112a和第二摄影机112b的示例可以包括但不限于单反摄影机、数码单反摄影机、演播室或广播级摄影机、高速摄影机、广角摄影机、动作摄影机、闭路电视(CCTV)摄影机、摄录像机、数码摄影机、摄影机电话、飞行时间摄影机(ToF摄影机)、夜视摄影机，和/或其它图像捕获设备。
通信网络110可以包括通信介质，系统102、锚摄影机设备集合106和UAV组108可以通过该通信介质彼此通信。通信网络110的示例可以包括但不限于互联网、云网络、无线保真(Wi-Fi)网络、个域网(PAN)、局域网(LAN)或城域网(MAN)。根据各种有线和无线通信协议，网络环境100中的各种设备可以被配置为连接到通信网络110。此类有线和无线通信协议的示例可以包括但不限于传输控制协议和网际协议(TCP/IP)、用户数据报协议(UDP)、超文本传输协议(HTTP)、文件传输协议(FTP)、Zig Bee、EDGE、IEEE 802.11、光保真(Li-Fi)、802.16、IEEE 802.11s、IEEE802.11g、多跳通信、无线接入点(AP)、设备到设备通信、蜂窝通信协议和蓝牙(BT)通信协议。
在所描述的实施例中，3D空间114可以是其中可以从多个视点捕获人类被摄体116的图像的建筑环境(例如，室内、室外或工作室空间)或自然环境。
在操作中，系统102可以通过系统102的用户接口接收来自用户(诸如人类被摄体116或另一个人类操作者)的用户输入。用户输入可以指示系统102校准安装在UAV组108上或与UAV组108集成的每个摄影机(诸如第一摄影机112a和第二摄影机112b)。
为了初始化用于UAV组108上的此类摄影机的校准过程，可以从锚摄影机设备集合106和从安装在UAV组108上或与UAV组108集成的摄影机(第一摄影机112a和第二摄影机112b)获取图像。此后，系统102可以从锚摄影机设备集合106接收人类被摄体116的锚图像集合。此外，系统102可以从安装在UAV组108上或与UAV组108集成的摄影机接收人类被摄体116的图像组。可以从3D空间114中的多个视点获取接收到的图像组。例如，来自图像组的第一数量的图像可以由第一摄影机112a捕获，而剩余数量的图像可以由第二摄影机112b捕获。
系统102可以在接收到的锚图像集合的每个锚图像中确定人类被摄体116的人类关节的2D位置的第一集合。由锚摄影机设备集合106捕获的锚图像集合可以包括物体的关键点的准确位置(例如，人体关节的2D位置)，因为每个锚摄影机设备可以被预先校准并固定到3D空间114中的已知位置。对于本公开，人体关节的位置可以被视为3D空间114中的刚性和铰接点。而且，可以基于实验结果设置人体关节之间的距离。系统102还可以在接收到的图像组的每个图像中确定人类被摄体116的人体关节的2D位置的第二集合。在实施例中，系统102可以使用ML模型104从锚图像集合中确定2D位置的第一集合并且从图像组中确定2D位置的第二集合。ML模型104的实施方式的示例可以包括但不限于Open Pose、AlphaPose和掩膜区域-卷积神经网络(Mask Region-Convolution Neural Network，R-CNN)。
系统102还可以基于使用确定的人体关节的2D位置的第一集合的三角测量(例如，使用几何三角测量方法)，计算人体关节在3D空间114中的3D位置作为3D关键点。另外，系统102可以确定3D关键点与确定的2D位置的第二集合之间的2D重投影误差。系统102可以通过最小化确定的2D重投影误差来校准UAV组108的相应UAV上的每个摄影机。例如，为了校准第一摄影机112a，可以将3D关键点重投影到安装在第一UAV 108a上或与第一UAV 108a集成的第一摄影机112a的图像平面上。此后，可以确定每个重投影的3D关键点与对应人体关节的2D位置之间的重投影误差。可以公式化和求解目标函数以最小化重投影误差。也可以对第二摄影机112b重复上面提到的方法。由于UAV组108中的每个UAV上的摄影机最初可能是未校准的，因此摄影机的基于3D关键点的摄影机校准可以导致对装配在UAV组108中的相应UAV上的每个摄影机的外部校准参数(即，3D姿势)的值的估计。
基于ML模型104对人类被摄体116的人体关节的2D位置的检测可能不太容易出错并且可能不要求手动输入。另外，与可以基于使用常规2D图案(诸如棋盘图案)的传统摄影机校准技术计算的关键点的数量相比，系统102可以计算更大数量的3D关键点。所公开的摄影机校准技术可能不太容易出现点失配问题，因为点失配误差(如果有的话)可以通过对大量3D关键点使用一种或多种统计技术来抑制。而且，使用人体关节进行校准可以去除手动放置校准图案(诸如棋盘)的需要。
图2是图示根据本公开的实施例的用于校准安装在UAV组上或与UAV组集成的摄影机组的示例性系统的框图。图2结合图1中的元素进行解释。参考图2，示出了系统102的框图200。系统102可以包括电路系统202、存储器204、输入/输出(I/O)设备206和网络接口208。电路系统202可以通信地耦合到存储器204、I/O设备206和网络接口208。此外，电路系统202可以通过通信网络110通信地耦合到锚摄影机设备的集合106和安装在UAV组108上或与UAV组108集成的摄影机组112。如图2中所示，UAV组108可以包括可以携带第一摄影机112a的第一UAV 108a和可以携带第二摄影机112b的第二UAV 108b。而且，锚摄影机设备集合106被示为包括第一锚摄影机设备106a和第二锚摄影机设备106b。
电路系统202可以包括合适的逻辑、电路系统、接口和/或代码，这些逻辑、电路系统、接口和/或代码可以被配置为执行存储在存储器204中的指令。所执行的指令可以与用于校准安装在UAV组108上或与UAV组108集成的摄影机组112中的每个摄影机(诸如第一摄影机112a和第二摄影机112b)的控制操作的集合对应。电路系统202可以基于本领域已知的处理器技术来实现。电路系统202的示例可以包括但不限于图形处理单元(GPU)、协处理器、中央处理单元(CPU)、基于x86的处理器、精简指令集计算(RISC)处理器、专用集成电路(ASIC)处理器、复杂指令集计算(CISC)处理器及其组合。
存储器204可以包括合适的逻辑、电路系统、接口和/或代码，这些逻辑、电路系统、接口和/或代码可以被配置为存储可由电路系统202执行的指令。而且，存储器204可以被配置为存储锚图像集合和人类被摄体116的图像组。存储器204还可以被配置为存储ML模型104，ML模型104可以被用于确定来自锚图像集合的人体关节的2D位置的第一集合和来自图像组的人体关节的2D位置的第二集合。而且，存储器204可以存储计算出的3D关键点的X、Y和Z坐标。存储器204的实施方式的示例可以包括但不限于随机存取存储器(RAM)、只读存储器(ROM)、电可擦可编程只读存储器(EEPROM)、硬盘驱动器(HDD)、固态驱动器(SSD)、CPU高速缓存和/或安全数字(SD)卡。
I/O设备206可以包括合适的逻辑、电路系统、接口和/或代码，这些逻辑、电路系统、接口和/或代码可以被配置为接收来自用户的输入并且基于接收到的输入向用户提供输出。I/O设备206可以包括各种输入和输出设备，它们可以被配置为与电路系统202通信。输入设备的示例可以包括但不限于触摸屏、键盘和/或鼠标。输出设备的示例可以包括但不限于显示器和音频设备。
网络接口208可以包括合适的逻辑、电路系统、接口和/或代码，它们可以被配置为经由通信网络110在系统102、锚摄影机设备集合106、摄影机组112和UAV组108之间建立通信。网络接口208可以通过使用各种已知技术来实现，以支持系统102经由通信网络110进行的有线或无线通信。网络接口208可以包括但不限于天线、射频(RF)收发器、一个或多个放大器、调谐器、一个或多个振荡器、数字信号处理器、编码器-解码器(CODEC)芯片组、订户身份模块(SIM)卡和/或本地缓冲器。
网络接口208可以经由无线通信与诸如互联网、内联网和/或无线网络(诸如蜂窝电话网络、无线局域网(LAN)和/或城域网(MAN))之类的网络通信。无线通信可以使用多种通信标准、协议和技术中的任何一种，诸如全球移动通信系统(GSM)、增强型数据GSM环境(EDGE)、宽带码分多址(W-CDMA)、长期演进(LTE)、码分多址(CDMA)、时分多址(TDMA)、蓝牙、无线保真(Wi-Fi)(诸如IEEE 802.11a、IEEE 802.11b、IEEE 802.11g和/或IEEE 802.11n)、互联网协议语音(VoIP)、光保真(Li-Fi)、Wi-MAX、电子邮件协议、即时消息传递和/或短消息服务(SMS)。
由系统102执行的功能或操作，如图1中所述，可以由电路系统202执行。例如，在图4、5和6中详细描述由电路系统202执行的操作。
图3是根据本公开的实施例的示例性UAV的框图。图3结合图1和图2中的元素进行解释。参考图3，示出了第一UAV 108a的框图300，其可以是UAV组108中的一个。第一无人机108a可以包括电路系统302、存储器304、I/O设备306、位置传感器308、推进系统310和网络接口312。推进系统310可以包括马达314、螺旋桨316、电子速度控制器(ESC)318和电池320。本领域普通技术人员将理解的是，除了在此示出的用于描述和解释本公开的功能和操作的部件或系统之外，第一UAV 108a还可以包括其它合适的部件或系统。为了简洁起见，本公开省略了对第一UAV 108a的其它部件或系统的详细描述。
第一UAV 108a和系统102可以经由通信网络110彼此通信耦合。第一摄影机112a可以被配置为安装在第一UAV 308a上或与第一UAV 308a集成，使得第一摄影机112a可以具有各种自由度(DOF)，诸如3D空间114中的6DOF。如第一UAV 108a的框图300中所示，电路系统302、存储器304、I/O设备306和网络接口312的功能可以与例如图2中描述的电路系统202、存储器204、I/O设备206和网络接口208的功能相同。因此，为简洁起见，本公开省略了对电路系统302、存储器304、I/O设备306和网络接口312的描述。
位置传感器308可以包括合适的逻辑、电路系统、接口和/或代码，这些逻辑、电路系统、接口和/或代码可以被配置为确定第一UAV 108a在3D空间114中的当前位置。在至少一个实施例中，位置传感器308还可以确定3D空间114中的朝向(沿着俯仰轴、滚动轴或偏航轴)。位置传感器308可以将第一UAV 108a的当前位置和/或朝向传送给电路系统302和/或系统102。电路系统302和/或系统102可以基于所传送的第一UAV 108a的当前位置和/或朝向来控制第一UAV 108a的位置和/或朝向。位置传感器308的示例可以包括但不限于全球导航卫星系统(GNSS)接收器、运动传感器、倾斜传感器、加速度计、陀螺仪传感器、惯性测量单元(IMU)或感测摄影机。
在实施例中，位置传感器308可以被实现为红外(IR)标记传感器或图案代码扫描仪。在IR标记传感器的情况下，IR光源可以固定在3D空间114中的预定位置处。光源可以以周期性闪光或以连续方式发射IR光，并且安装在第一UAV 108a上或与第一UAV 108a集成的第一摄影机112a可以跟踪和捕获发射的IR光作为一个或多个IR图像。此后，电路系统302可以在一个或多个IR图像上应用3D姿势估计技术(诸如来自正交的姿势和迭代缩放(POSIT)方法)以确定第一UAV 108a的关于IR光的光源的位置和/或朝向。在某些场景中，IR光的光源的预定位置可以是已知的并且存储在第一UAV 108a的存储器304中。在这种场景中，电路系统302可以基于IR光的光源的预定位置和确定的第一UAV 108a的位置和/或朝向来确定第一UAV 108a的绝对位置和/或朝向。
在图案代码扫描仪的情况下，图案代码标记(例如，QR码标记或条形码标记)可以放置在3D空间114中的预定位置。第一摄影机112a可以跟踪图案代码标记并捕获图案代码标记的图像。存储器304可以存储图案代码标记的参考图像和图案代码标记的预定位置。电路系统302可以将捕获的图像与参考图像进行比较以确定第一UAV 108a相对于图案代码标记的位置和/或朝向。而且，电路系统302可以基于图案代码标记的预定位置和确定的第一UAV 108a的位置和/或朝向来确定第一UAV 108a的绝对位置和/或朝向。
推进系统310可以包括机械、电气或基于燃料的部件的集合，这些部件可以生成升力和推力以在3D空间114中的两个位置之间移动第一UAV 108a。推进系统310可以基于从电路系统302或系统102接收的一个或多个控制指令来控制第一UAV 108a的移动。推进系统310还可以包括马达314、螺旋桨316、ESC 318和电池320。
电路系统(诸如电路系统302)、存储器(诸如存储器304)、I/O设备(诸如I/O设备306)、位置传感器(诸如位置传感器308)、推进系统(诸如推进系统310)和网络接口(诸如网络接口312)也可以包括在UAV组108中的其它UAV中。在实施例中，第一UAV 108a可以充当主UAV并且其它UAV可以充当可以从主UAV接收一个或多个控制指令的从UAV。
图4是图示根据本公开的实施例的安装在UAV和锚摄影机设备上或与UAV和锚摄影机设备集成以获取人类被摄体的图像的摄影机的示例性实施方式的图。图4结合图1、2或3中的元素进行解释。参考图4，示出了描绘可以面向人类被摄体116的后侧的第一锚摄影机402a和第二锚摄影机402b(统称为锚摄影机的集合402)的布置的图400。图400还描绘了分别安装在第一UAV 406a和第二UAV 406b上或与第一UAV 406a和第二UAV 406b集成的第一摄影机404a和第二摄影机404b(统称为摄影机组404)的布置。第一UAV 406a和第二UAV406b可以统称为UAV组406并且可以面向人类被摄体116的前侧。
锚摄影机的集合402中的每一个可以与预先校准的摄影机对应，该摄影机可以固定到一个位置(例如，某个表面，诸如天花板、地板或墙壁或固定结构)。第一锚摄影机402a和第二锚摄影机402b可以被配置为分别捕获人类被摄体116的第一锚图像和第二锚图像(统称为锚图像集合)。为了获取锚图像集合，锚摄影机的集合402可以由系统102基于经由通信网络110共享的控制指令来控制。
此外，系统102可以控制UAV组406在3D空间114中的多个视点处移动，并且可以控制安装在UAV组406上或与UAV组406集成的摄影机组404以从此类视点获取人类被摄体116的图像组。在至少一个实施例中，系统102可以选择此类视点，以确保摄影机组404中的每一个的FOV区域捕获人类被摄体116的身体的一部分，从该区域可以随后检测到最少所需数量的人类关节。一旦被捕获，锚摄影机的集合402和安装在UAV组406上或与UAV组406集成的摄影机组404就可以分别将锚图像集合和人类被摄体116的图像组传输到系统102。例如，在图6中详细解释了基于锚图像集合和图像组的第一摄影机404a和第二摄影机404b的校准。
图5是图示根据本公开的实施例的安装在UAV和锚摄影机设备上或与UAV和锚摄影机设备集成以获取人类被摄体的图像的示例性实施方式的图。图5结合图1、2和3中的元素进行解释。参考图5，示出了描绘3D空间114中的第一摄影机502a、第二摄影机502b和第三摄影机502c的图500。第一摄影机502a、第二摄影机502b和第三摄影机502c可以分别安装在第一UAV 504a、第二UAV 504b和第三UAV 504c上或与其集成。
第一UAV 504a可以在3D空间114中维持固定姿势。在本文中，固定姿势可以与第一UAV 504a在3D空间114中的静态位置和静态朝向(滚动、偏航、俯仰)对应。在这种情况下，第一摄影机502a和第一UAV 504a的组件可以被指定为锚摄影机设备，其可以使用第一摄影机502a来捕获人类被摄体116的锚图像集合，同时保持在固定姿势。而且，第一摄影机502a可以相对于第一UAV 504a的固定姿势进行预校准。可以控制剩余的UAV(即，第二UAV 504b和第三UAV 504c，统称为UAV组)以相对于固定姿势移动以从多个视点获取人类被摄体116的图像组。
系统102可以控制第二UAV 504b和第三UAV 504c中的每个移动到此类视点并且从3D空间114中此类视点捕获图像组。一旦被捕获，第一UAV 504a或第一UAV 504a上的第一摄影机502a就可以将人类被摄体116的锚图像集合传输到系统102。而且，摄影机组(即，第二摄影机502b和第三摄影机502c)可以将人类被摄体116的图像组传输到系统102。第二摄影机502b和第三摄影机502c(统称为摄影机组)的校准可以基于锚图像集合和图像组，如例如图6中详细解释的。
图6是图示根据本公开的实施例的用于基于人体关节校准UAV上的摄影机的示例性操作的图。图6结合图1、2、3、4或5的元素进行解释。参考图6，示出了描述从602到610的示例性操作的图600，用于校准安装在第一UAV 406a上或与第一UAV 406a集成的第一摄影机404a和安装在第二UAV 406b上或与第二UAV 406b集成的第二摄影机404b。图600中所示的示例性操作可以在602处开始并且可以由任何计算系统、装置或设备执行，诸如由图1的系统102或图3的电路系统302执行。虽然用离散的方框来说明，但是与图600的方框中的一个或多个相关联的操作可以被划分为附加的方框、组合成更少的方框或被消除，这取决于特定的实施方式。
在602处，可以执行数据获取。对于数据获取，电路系统202可以控制锚摄影机的集合402(其包括第一锚摄影机402a和第二锚摄影机402b)以捕获人类被摄体116的锚图像集合。锚摄影机的集合402可以固定在3D空间114中的某些位置，锚摄影机集合402可以从此类位置捕获锚图像集合。此外，电路系统202可以控制UAV组406在3D空间114中的多个视点处移动UAV组406。此后，可以控制安装在UAV组406上或与UAV组406集成的摄影机组404以从多个视点获取人类被摄体116的图像组。在图6中，示出了从摄影机组404中的一个获取的锚图像602a和图像602b的示例。锚图像602a和图像602b都包括人类被摄体116。电路系统202可以经由通信网络110从锚摄影机的集合402接收锚图像集合并且从安装在UAV组406上或与UAV组406集成的摄影机组404接收图像组。
在604处，可以从锚图像集合中确定人体关节的2D位置的第一集合。电路系统202可以被配置为从锚图像(例如，锚图像602a)的集合中确定人类被摄体116的人体关节的2D位置的第一集合。对于这种确定，电路系统202可以将ML模型104应用于锚图像集合中的每个锚图像(诸如锚图像602a)。ML模型104可以对应于人体关节检测框架，该框架可以包括对人体关节检测任务训练的神经网络。人体关节的2D位置(即，2D位置的第一集合)可以由等式(1)表示，如下给出：
Figure BDA0003646541180000151
其中，
Figure BDA0003646541180000152
第i个检测到的人体关节的2D位置；
Figure BDA0003646541180000153
第i个检测到的人体关节的置信度值；
Figure BDA0003646541180000154
第i个检测到的人体关节的类型(例如，左手腕或右肘)；以及
M：检测到的人体关节的总数。
如图所示，锚图像602a可以从人类被摄体116的后视图中捕获。人类关节位置612a和612b可以分别与锚图像602a中人类被摄体116的头部和颈部对应。另外，人体关节位置612c、612d和612e可以与锚图像602a中人类被摄体116的左肩关节、左肘关节和左腕关节对应。人体关节位置612f、612g和612h可以与锚图像602a中人类被摄体116的右肩关节、右肘关节和右腕关节对应。另外，人体关节位置612i、612j和612k可以与锚图像602a中人类被摄体116的左腰关节、左膝关节和左踝关节对应，而人体关节位置612l、612m和612n可以与锚图像602a中人类被摄体116的右腰关节、右膝关节和右踝关节对应。
在606处，可以从图像组中检测人体关节的2D位置的第二集合。电路系统202可以被配置为从图像(例如，图像602b)组中检测人类被摄体116的人体关节的2D位置的第二集合。为了检测2D位置的第二集合，电路系统202可以将ML模型104应用于来自图像组的每个图像(例如，图像602b)。2D位置的第二集合也可以由等式(1)给出。
如图所示，电路系统202可以从图像602b确定人类被摄体116的人体关节的2D位置的第二集合作为人体关节位置614a至614n。图像602b可以从人类被摄体116的前部捕获。人体关节位置614a和614b可以与图像602b中人类被摄体116的头部和颈部对应。另外，人体关节位置614c、614d和614e可以与图像602b中人类被摄体116的右肩关节、右肘关节和右腕关节对应。人体关节位置614f、614g和614h可以与图像602b中人类被摄体116的左肩关节、左肘关节和左腕关节对应。另外，人体关节位置614i、616j和614k可以与图像602b中人类被摄体116的右腰关节、右膝关节和右踝关节对应，并且人体关节位置614l、614m和614n可以与图像602b中人类被摄体116的左腰关节、左膝关节和左踝关节对应。
在608处，可以计算3D关键点618。电路系统202可以使用确定的人体关节的2D位置的第一集合基于三角测量来计算人类被摄体116的人体关节的3D位置。电路系统202可以将3D关键点618指定为计算出的人类被摄体116的人体关节相对于3D坐标系620的3D位置。本文解释3D关键点618的计算。可以采用简单的透视摄影机模型将人体关节位置值从2D图像平面转换到3D真实空间。在这种场景中，每个检测到的人体关节点的透视投影射线(带有权重和标签)可以通过使用预先确定的内在摄影机参数和三维特殊欧几里得组(即，se(3)参数)来获得。根据上述场景的透视摄影机模型可以表示如下：
Figure BDA0003646541180000171
其中，
Figure BDA0003646541180000172
来自第n个摄影机的第i个人体关节的3D归一化方向向量；以及
Figure BDA0003646541180000173
3D中的第n个摄影机位置。
电路系统202可以通过使用经校准的摄影机(例如，第一锚摄影机402a)的已知的或经校准的光学中心使用沿着3D线(即，射线)的人类关节的2D位置的第一集合来执行三角测量。将“e”视为与某个人体关节沿着通过校准光学中心的3D线的2D位置(来自2D位置的第一集合)相关联的归一化的定向3D向量。“e”可以表示来自校准摄影机的特定人体关节沿着3D线的归一化的定向3D向量。另外，将“a”视为通过校准光学中心的3D线上的3D点。在本文中，3D线上的3D点“a”可以表示已知姿势的内在经校准的摄影机(例如，第一锚摄影机402a)的摄影机位置。3D线与3D点之间的距离可以由等式(3.1)和(3.2)给出，如下所示：
d2＝l2sin2θ＝|e X(x-a)|2 (3.1)
d2＝l2(1-cos2θ)＝|x-a|2-{e.(x-a)}2 (3.2)
其中，
θ可以表示归一化的3D向量“e”与3D线之间的角度，x可以表示3D线上的点，从该点可以在3D向量“e”上放下垂线，以及
l可以表示3D点“a”与点“x”之间的距离。
在一个实施例中，电路系统202可以确定多条3D线的加权最小二乘以及针对锚摄影机(诸如第一锚摄影机402a)的不同位置的人体关节的相应多个归一化的3D向量“en”。在本文中，这多条3D线中的每一条都通过多个3D点“an”中的相应3D点，这些3D点“an”表示锚摄影机的不同位置。加权最小二乘用等式(4.1)和(4.2)表示，如下：
Figure BDA0003646541180000181
Figure BDA0003646541180000182
其中，
wn可以表示第n条3D线的权重，以及
dn可以表示3D点“an”与第n条3D线之间的距离。
等式(4.2)可以针对沿着3D线的3D点的x轴坐标被展开。等式(4.2)的展开由等式(5)给出，如下：
Figure BDA0003646541180000183
其中i可以表示沿着3D线的3D点的x轴坐标的索引。
电路系统202可以对等式(5)应用偏导数运算以获得等式(6)，如下所示：
Figure BDA0003646541180000184
其中j可以表示3D点沿着3D线的y轴坐标的索引。假设静止条件
Figure BDA0003646541180000185
可以获得等式(7.1)和(7.2)，如下：
Figure BDA0003646541180000186
Figure BDA0003646541180000187
基于等式(7.2)，可以获得线性系统Ax＝B。提供用于线性系统Ax＝B的等式(8.1)和(8.2)的线性系统，如下：
Figure BDA0003646541180000188
Figure BDA0003646541180000191
电路系统202可以基于等式(8.1)和(8.2)的线性系统的解{xi}计算3D关键点618的第一3D关键点。第一3D关键点可以与人体关节之一相关联。类似地，电路系统202可以通过遵循上面提到的方法使用来自确定的2D位置的第一集合的相应2D位置来计算与剩余人体关节相关联的剩余3D关键点。
在610处，可以校准安装在UAV组406上或与UAV组406集成的摄影机组404。电路系统202可以通过估计第一摄影机404a和第二摄影机404b中的每一个的3D姿势(位置和朝向)来校准第一摄影机404a和第二摄影机404b。为了估计用于摄影机校准的目标参数，包括多个摄影机(例如，第一摄影机404a和第二摄影机404b)的摄影机位置和朝向、6个自由度(DoF)，根据等式9，可以使用特殊的欧几里得se(3)李代数参数化：
Figure BDA0003646541180000192
其中，
N：摄影机总数。
特殊欧几里得李代数se(3)可以有6个元素。前3个元素
Figure BDA0003646541180000193
Figure BDA0003646541180000194
可以表示特殊正交李代数(即，so(3))，后3个旋转元素
Figure BDA0003646541180000195
可以分别表示3D空间中的平移元素T(3)∈R3。对于实践操作，可以采用指数映射se(3)→SE(3)以获得矩阵表示。
在实施例中，多个摄影机(包括第一锚摄影机402a、第二锚摄影机402b、第一摄影机404a和第二摄影机404b)中的每个的内在校准参数的值可以是预定的或给定的。
在实施例中，电路系统202可以被配置为设置用于估计每个摄影机(例如，第一摄影机404a和第二摄影机404b)的3D姿势的全局量规。为了设置全局量规，电路系统202可以将第0个摄影机(例如，第一锚摄影机402a)的位置和朝向设置为预定的3D点和方向并且表示为：
Figure BDA0003646541180000201
电路系统202可以将第0个摄影机(例如，第一锚摄影机402a)与第一个摄影机(例如，第二锚摄影机402b)之间的相对x距离设置为：
Figure BDA0003646541180000202
电路系统202可以通过使用等式(10)和(11)在基于束调整的技术中使用“普通量规固定”来设置用于校准摄影机组404(例如，第一摄影机404a和第二摄影机404b)的全局量规。
电路系统202可以被配置为通过估计摄影机组404中的每个摄影机的3D姿势(即，外部摄影机参数，诸如位置(即，平移参数)和朝向(即，旋转参数))来校准摄影机组404(例如，第一摄影机404a和第二摄影机404b)。对于这种摄影机校准，可以公式化关于2D重投影误差的优化问题。电路系统202可以确定3D关键点618与确定的人体关节的2D位置的第二集合之间的2D重投影误差。此后，可以通过使用公式化的优化问题最小化确定的2D重投影误差来执行校准。
例如，为了校准第一摄影机404a，可以将3D关键点618重投影到第一摄影机404a的图像平面上。此后，可以确定每个重投影的3D关键点与对应人体关节的2D位置之间的重投影误差。可以公式化和求解优化问题的目标函数以最小化重投影误差。也可以对第二摄影机404b重复上面提到的方法。由于UAV组406中的每个UAV上的摄影机最初可能未校准，因此摄影机的基于3D关键点的摄影机校准可以导致安装在UAV组108中的相应UAV上的每个摄影机的外在校准参数(即，3D姿势)的值的估计。2D重投影误差可以对应于基于透视摄影机模型视图投影的点与3D坐标系620中该点的测得的位置之间的几何误差。2D重投影误差可以量化3D关键点相对于点的动作投影(例如，确定的人体关节的2D位置的第二集合)的估计的接近度。
例如，考虑人体关节的3D关键点(目标点)由3D坐标系620中的坐标(X，Y，Z)表示。3D关键点可以在与摄影机(诸如摄影机组404中的一个)的光学中心相关联的图像平面上被重投影为2D点。2D点可以用(xp/zp，yp/zp)来表示。在此，xp、yp、zp可以分别是重投影的3D点在图像平面上的透视投影的x轴、y轴和z轴坐标。从由摄影机组404获取的图像组中人体关节的2D位置的第二集合，人体关节在摄影机的图像平面上的2D位置可以由2D点(xd，yd)表示。2D点(xp/zp，yp/zp)与2D点(xd，yd)之间的2D重投影误差δ可以由等式(12)表示，如下：
δ2＝(xp/zp-xd)2+(yp/zp-yd)2 (12)
在此，xp、yp和zp由等式(13)给出，如下：
Figure BDA0003646541180000211
其中，M是4×4的摄影机投影矩阵，包括摄影机的内在参数。
用于校准摄影机组404的前述技术可以被称为逐帧校准技术。这种过程可以被并行化以在若干电子设备或计算设备的若干处理器上进行处理。本公开还可以适用于用于校准摄影机组404的其它技术，诸如基于时间累积的摄影机校准技术。
在实施例中，UAV组406中的至少一个UAV(例如，第一UAV 406a)可以包括位置传感器。位置传感器可以是全球导航卫星系统(GNSS)接收器、惯性测量单元(IMU)、感测摄影机、红外标记传感器或图案代码扫描仪中的一种。在实施例中，系统102的电路系统202或(第一UAV 406a的)电路系统302可以被配置为还基于从对应UAV(例如，第一UAV 406a)的位置传感器获取的绝对位置信息来校准安装在来自UAV组406的其余UAV(例如，第二UAV 406b)上或与其集成的每个摄影机。
在另一个实施例中，可以进一步基于安装在UAV组406上或与UAV组406集成的摄影机组404的内在校准参数的值来校准摄影机组404中的每个摄影机(例如，第一摄影机404a和第二摄影机404b)。此类内在校准参数的示例可以包括但不限于视场角(即，与摄影机相关联的焦距和屏幕尺寸)、纵横比和失真参数。
图7是图示根据本公开的实施例的用于校准安装在UAV组上或与UAV组集成的摄影机组的示例性操作的流程图。参考图7，示出了流程图700。流程图700结合图1、2、3、4、5和6进行描述。从702至716的方法可以由任何计算系统(诸如由图1的系统102或图3的电路系统302)实现。流程图700中的操作可以开始于702并前进到704。
在704处，可以从锚摄影机设备集合106接收人类被摄体116的锚图像集合。在至少一个实施例中，电路系统202可以被配置为从锚摄影机设备的集合106接收锚图像集合。
在706处，可以从安装在UAV组108上或与UAV组108集成的摄影机组112接收来自3D空间114中的多个视点的人类被摄体116的图像组。在至少一个实施例中，电路系统202可以被配置为从摄影机组接收图像组。
在708处，对于接收到的锚图像集合中的每个锚图像中的人类被摄体116，可以确定人体关节的2D位置的第一集合。在至少一个实施例中，电路系统202可以确定锚图像集合中的每个锚图像中人类被摄体116的人体关节的2D位置的第一集合。
在710处，对于接收到的图像组中的每个图像中的人类被摄体116，可以确定人类关节的2D位置的第二集合。在至少一个实施例中，电路系统202可以确定图像组中的每个图像中人类被摄体116的人体关节的2D位置的第二集合。
在712处，可以基于使用确定的人体关节的2D位置的第一集合的三角测量，将人体关节在3D空间(例如，3D空间114)中的3D位置计算为3D关键点。在至少一个实施例中，电路系统202可以通过使用确定的人体关节的2D位置的第一集合基于三角测量来计算人体关节在3D空间114中的3D位置作为3D关键点。
在714处，可以确定3D关键点与确定的2D位置的第二集合之间的2D重投影误差。在至少一个实施例中，电路系统202可以确定3D关键点与确定的2D位置的第二集合之间的2D重投影误差。
在716处，可以通过最小化确定的2D重投影误差来校准摄影机组112中的每个摄影机。在至少一个实施例中，电路系统202可以通过最小化确定的2D重投影误差来校准摄影机组112中的每个摄影机。控制可以传递到结束。
虽然流程图700被图示为离散操作，诸如704、706、708、710、712、714和716，但是，在某些实施例中，在不偏离所公开的实施例的本质的情况下，根据特定实施方式，此类离散操作可以被进一步划分为附加的操作、组合成更少的操作或被消除。
本公开的各种实施例可以提供一种非暂态计算机可读介质和/或存储介质，和/或非暂态机器可读介质和/或存储介质，其上存储有可由包括一个或多个电路的机器和/或计算机执行的指令集。指令集可以由机器和/或计算机执行以执行包括从锚摄影机设备集合接收人类被摄体的锚图像集合的操作。操作还包括从安装在UAV组上或与UAV组集成的摄影机组接收来自三维(3D)空间中的多个视点的人类被摄体的图像组。另外，操作包括针对接收到的锚图像集合中的每个锚图像中的人类被摄体确定人体关节的二维(2D)位置的第一集合。操作还包括针对接收到的图像组中的每个图像中的人类被摄体确定人体关节的2D位置的第二集合。操作还包括使用确定的人体关节的2D位置的第一集合基于三角测量将人体关节的3D位置计算为3D空间中的3D关键点。操作还包括确定3D关键点与确定的2D位置的第二集合之间的2D重投影误差，以及通过最小化确定的2D重投影误差来校准摄影机组中的每个摄影机。
可以在用于校准安装在UAV上或与UAV集成的摄影机的系统和方法中找到本公开的某些实施例。本公开的各种实施例可以提供一种系统(诸如系统102(图1))，其可以包括电路系统(诸如电路系统202(图2))。电路系统202可以被配置为从锚摄影机设备集合(诸如锚摄影机设备集合106(图1))接收人类被摄体(例如，人类被摄体116(图1))的锚图像集合。另外，电路系统202可以被配置为从UAV组(诸如UAV组108(图1))上的摄影机组(例如，第一摄影机112a和第二摄影机112b(图1))从3D空间(例如，3D空间114(图1))中的多个视点接收人类被摄体116的图像组。对于接收到的锚图像集合中的每个锚图像中的人类被摄体116，电路系统202可以确定人体关节的2D位置的第一集合。另外，对于接收到的图像组中的每个图像中的人类被摄体116，电路系统202可以确定人体关节的2D位置的第二集合。此外，电路系统202可以使用确定的人体关节的2D位置的第一集合基于三角测量计算人体关节在3D空间中的3D位置作为3D关键点。电路系统202可以确定3D关键点与确定的2D位置的第二集合之间的2D重投影误差。另外，电路系统202可以通过最小化确定的2D重投影误差来校准摄影机组中的每个摄影机(例如，第一摄影机112a和第二摄影机112b)。
在实施例中，3D空间114可以与室外空间、室内空间或用于体积捕获的工作室设置之一相关联。电路系统202还可以被配置为控制UAV组108在3D空间114中的多个视点处移动UAV组。电路系统202还可以控制摄影机组(例如，第一摄影机112a和第二摄影机112b)从多个视点获取人类被摄体116的图像组。在实施例中，锚摄影机设备的集合可以包括至少一个摄影机(例如，第一摄影机502a(图5))，其可以安装在UAV(诸如第一UAV 504a(图5))上或与UAV集成，并且可以被配置为维持固定姿势，同时UAV组(诸如可以包括第二UAV 504b和第三UAV 504c(图5)的UAV组)被控制以相对于固定姿势移动以获取图像组。
在实施例中，锚摄影机设备集合可以包括至少一个预校准的摄影机(诸如第一锚摄影机402a(图4))，其可以固定到3D空间114中的位置，同时UAV组(包括例如第一UAV 406a和第二UAV 406b的UAV组)被控制以获取图像组。锚摄影机设备集合可以包括至少一个预先校准的摄影机，该摄影机可移动地耦合到遥控摄影机移动组件。电路系统202还可以被配置为控制3D空间114中的锚摄影机设备集合以获取锚图像集合。
电路系统202可以被配置为通过将机器学习(ML)模型(例如，ML模型104(图1))应用于接收到的锚图像集合中的每个锚图像来确定人体关节的2D位置的第一集合。作为人体关节检测框架，ML模型104可以包括对2D人体关节检测任务训练的神经网络。电路系统202还可以被配置为通过在接收到的图像组中的每个图像上应用ML模型104来确定人体关节的2D位置的第二集合。
在实施例中，每个UAV(例如，第一UAV 406a和第二UAV 406b)的校准可以与对应摄影机(例如，第一摄影机404a和第二摄影机404b)的3D姿势的估计对应。3D姿势可以包括3D空间114中对应摄影机的3D位置和朝向。
在实施例中，UAV组406中的至少一个UAV(例如，第一UAV 406a(图4))可以包括位置传感器。位置传感器的示例可以包括但不限于全球导航卫星系统(GNSS)接收器、惯性测量单元(IMU)、感测摄影机、红外标记传感器或图案代码扫描仪。电路系统202可以被配置为进一步基于从对应UAV(例如，第一UAV 406a)的位置传感器获取的绝对位置信息来校准摄影机组中的每个摄影机(例如，图4的第二摄影机404b)。在实施例中，电路系统202可以被配置为进一步基于对应摄影机的内在校准参数的值来校准摄影机组中的每个摄影机(例如，第一摄影机404a和第二摄影机404b)。
本公开可以用硬件或硬件和软件的组合来实现。本公开可以以集中式方式、以至少一个计算机系统或以分布式的方式来实现，其中不同的元件可以分布在多个互连的计算机系统上。适于执行本文描述的方法的计算机系统或其它装置可能是合适的。硬件和软件的组合可以是具有计算机程序的通用计算机系统，该计算机程序在被加载和执行时可以控制计算机系统，以使其执行本文描述的方法。本公开可以用包括还执行其它功能的集成电路的一部分的硬件来实现。
本公开还可以被嵌入计算机程序产品中，该计算机程序产品包括使得能够实现本文描述的方法的所有特征，并且当其被加载到计算机系统中时，能够执行这些方法。在本文中，计算机程序是指指令集的以任何语言、代码或符号形式的任何表达，这些指令集旨在使具有信息处理能力的系统直接执行特定功能，或者在以下中的一个或两者之后执行特定功能：a)转换成另一种语言、代码或符号；b)以不同的物质形式复制。
虽然参考某些实施例描述了本公开，但是本领域技术人员将理解，在不偏离本公开的范围的情况下，可以进行各种改变并且可以替换等同物。另外，在不偏离本公开的范围的情况下，可以做出许多修改以使特定情况或材料适于本公开的教导。因此，意图是本公开不限于所公开的特定实施例，而是本公开将包括落入所附权利要求的范围内的所有实施例。

Claims (20)

1.一种系统，包括：
通信地耦合到锚摄影机设备集合和摄影机组的电路系统，摄影机组安装在无人驾驶飞行器(UAV)组上或与UAV组集成，其中该电路系统被配置为：
从锚摄影机设备集合接收人类被摄体的锚图像集合；
从摄影机组接收来自三维(3D)空间中多个视点的人类被摄体的图像组；
针对接收到的锚图像集合中的每个锚图像中的人类被摄体确定人体关节的二维(2D)位置的第一集合；
针对接收到的图像组中的每个图像中的人类被摄体确定人体关节的2D位置的第二集合；
使用确定的人体关节的2D位置的第一集合，基于三角测量计算人体关节在3D空间中的3D位置作为3D关键点；
确定3D关键点与确定的2D位置的第二集合之间的2D重投影误差；以及
通过最小化确定的2D重投影误差来校准摄影机组中的每个摄影机。
2.根据权利要求1所述的系统，其中3D空间与以下之一相关联：室外空间、室内空间或用于体积捕获的工作室设置。
3.根据权利要求1所述的系统，其中电路系统还被配置为：
控制UAV组以在3D空间中的多个视点处移动UAV组；以及
控制安装在UAV组上或与UAV组集成的摄影机组，以从所述多个视点获取人类被摄体的图像组。
4.根据权利要求3所述的系统，其中锚摄影机设备集合包括至少一个摄影机，所述至少一个摄影机安装在UAV上或与UAV集成，并且被配置为维持固定姿势，同时摄影机组被控制为相对于所述固定姿势移动以获取图像组。
5.根据权利要求3所述的系统，其中锚摄影机设备集合包括至少一个预先校准的摄影机，所述至少一个预先校准的摄影机被固定到3D空间中的位置，同时摄影机组被控制以获取图像组。
6.根据权利要求3所述的系统，其中锚摄影机设备集合包括至少一个预先校准的摄影机，所述至少一个预先校准的摄影机可移动地耦合到遥控摄影机移动组件。
7.根据权利要求1所述的系统，其中电路系统还被配置为控制3D空间中的锚摄影机设备集合以获取锚图像集合。
8.根据权利要求1所述的系统，其中电路系统被配置为通过在接收到的锚图像集合中的每个锚图像上应用机器学习(ML)模型来确定人体关节的2D位置的第一集合，并且其中ML模型作为人体关节检测框架包括对2D人体关节检测任务进行训练的神经网络。
9.根据权利要求1所述的系统，其中电路系统被配置为通过在接收到的图像组中的每个图像上应用ML模型来确定人体关节的2D位置的第二集合，并且其中ML模型作为人体关节检测框架包括对2D人体关节检测任务进行训练的神经网络。
10.根据权利要求1所述的系统，其中
摄影机组中每个摄影机的校准与对应摄影机的3D姿势的估计对应，以及
3D姿势包括对应摄影机在3D空间中的3D位置和朝向。
11.根据权利要求1所述的系统，其中
UAV组中的至少一个UAV包括位置传感器，以及
所述位置传感器是以下之一：全球导航卫星系统(GNSS)接收器、惯性测量单元(IMU)、感测摄影机、红外标记传感器或图案代码扫描仪。
12.根据权利要求11所述的系统，其中电路系统被配置为进一步基于从对应UAV的位置传感器获取的绝对位置信息来校准摄影机组中的每个摄影机。
13.根据权利要求1所述的系统，其中电路系统被配置为进一步基于对应摄影机的内在校准参数的值来校准摄影机组中的每个摄影机。
14.一种方法，包括：
从锚摄影机设备集合接收人类被摄体的锚图像集合；
从安装在UAV组上或与UAV组集成的摄影机组接收来自三维(3D)空间中多个视点的人类被摄体的图像组；
针对接收到的锚图像集合中的每个锚图像中的人类被摄体确定人体关节的二维(2D)位置的第一集合；
针对接收到的图像组中的每个图像中的人类被摄体确定人体关节的2D位置的第二集合；
使用确定的人体关节的2D位置的第一集合，基于三角测量计算人体关节在3D空间中的3D位置作为3D关键点；
确定3D关键点与确定的2D位置的第二集合之间的2D重投影误差；以及
通过最小化确定的2D重投影误差来校准摄影机组中的每个摄影机。
15.根据权利要求14所述的方法，还包括：
控制UAV组以在3D空间中的多个视点处移动UAV组；以及
控制安装在UAV组上或与UAV组集成的摄影机组，以从所述多个视点获取人类被摄体的图像组。
16.根据权利要求14所述的方法，还包括：
通过在接收到的锚图像集合中的每个锚图像上应用机器学习(ML)模型来确定人体关节的2D位置的第一集合；以及
通过在接收到的图像组中的每个图像上应用ML模型来确定人体关节的2D位置的第二集合，并且其中ML模型作为人体关节检测框架包括对2D人体关节检测任务进行训练的神经网络。
17.根据权利要求14所述的方法，其中
每个摄影机的校准与对应UAV的3D姿势的估计对应，以及
3D姿势包括对应UAV在3D空间中的3D位置和朝向。
18.根据权利要求14所述的方法，其中
UAV组中的至少一个UAV包括位置传感器，以及
所述位置传感器是以下之一：全球导航卫星系统(GNSS)接收器、惯性测量单元(IMU)、感测摄影机、红外标记传感器或图案代码扫描仪。
19.根据权利要求18所述的方法，还包括进一步基于从对应的装配摄影机的UAV的位置传感器获取的绝对位置信息来校准UAV组中的每个UAV。
20.一种其上存储有计算机实现的指令的非暂态计算机可读介质，所述指令在由系统中的计算机执行时使系统执行操作，所述操作包括：
从锚摄影机设备集合接收人类被摄体的锚图像集合；
从安装在UAV组上或与UAV组集成的摄影机组接收来自三维(3D)空间中多个视点的人类被摄体的图像组；
针对接收到的锚图像集合中的每个锚图像中的人类被摄体确定人体关节的二维(2D)位置的第一集合；
针对接收到的图像组中的每个图像中的人类被摄体确定人体关节的2D位置的第二集合；
使用确定的人体关节的2D位置的第一集合，基于三角测量计算人体关节在3D空间中的3D位置作为3D关键点；
确定3D关键点与确定的2D位置的第二集合之间的2D重投影误差；以及
通过最小化确定的2D重投影误差来校准摄影机组中的每个摄影机。
CN202180006519.9A 2020-04-23 2021-04-23 使用人体关节校准无人驾驶飞行器上的摄影机 Pending CN114667541A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/856,511 2020-04-23
US16/856,511 US11095870B1 (en) 2020-04-23 2020-04-23 Calibration of cameras on unmanned aerial vehicles using human joints
PCT/US2021/028762 WO2021216948A1 (en) 2020-04-23 2021-04-23 Calibration of cameras on unmanned aerial vehicles using human joints

Publications (1)

Publication Number Publication Date
CN114667541A true CN114667541A (zh) 2022-06-24

Family

ID=77274121

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180006519.9A Pending CN114667541A (zh) 2020-04-23 2021-04-23 使用人体关节校准无人驾驶飞行器上的摄影机

Country Status (6)

Country Link
US (1) US11095870B1 (zh)
EP (1) EP4094226A4 (zh)
JP (1) JP7527546B2 (zh)
KR (1) KR20220104025A (zh)
CN (1) CN114667541A (zh)
WO (1) WO2021216948A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11475595B2 (en) * 2020-03-19 2022-10-18 Sony Corporation Extrinsic calibration of multi-camera system
CN113658337B (zh) * 2021-08-24 2022-05-03 哈尔滨工业大学 一种基于车辙线的多模态里程计方法
US12026917B2 (en) * 2022-03-23 2024-07-02 Sony Group Corporation Method of 3D reconstruction of dynamic objects by mobile cameras
CN118047064B (zh) * 2024-04-12 2024-06-11 国网江苏省电力工程咨询有限公司 一种具有偏航角自动纠偏机构的无人机倾斜摄影测量装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018083848A1 (ja) * 2016-11-07 2018-05-11 ソニー株式会社 画像処理装置、キャリブレーション用チャート、及びキャリブレーションシステム
US20190028632A1 (en) * 2017-07-21 2019-01-24 Panasonic Intellectual Property Management Co., Ltd. Camera parameter set calculation apparatus, camera parameter set calculation method, and recording medium
WO2019092730A1 (en) * 2017-11-13 2019-05-16 Carmel Haifa University Economic Corporation Ltd. Motion tracking with multiple 3d cameras
JP2019079487A (ja) * 2017-10-25 2019-05-23 日本電信電話株式会社 パラメータ最適化装置、パラメータ最適化方法、プログラム
JP2019109200A (ja) * 2017-12-20 2019-07-04 オムロン株式会社 校正用データ生成装置、校正用データ生成方法、キャリブレーションシステム、及び制御プログラム
JP2020507436A (ja) * 2017-02-14 2020-03-12 アトラクシス エス・アー・エール・エル 圧縮および／またはｃｍｏｓウィンドウイングを用いた高速光学追跡

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7642953B2 (en) * 2007-07-19 2010-01-05 The Boeing Company Method and apparatus for three dimensional tomographic image reconstruction of objects
US11699247B2 (en) 2009-12-24 2023-07-11 Cognex Corporation System and method for runtime determination of camera miscalibration
WO2014053158A1 (en) 2012-10-01 2014-04-10 Telefonaktiebolaget L M Ericsson (Publ) 3d camera calibration
US9852238B2 (en) * 2014-04-24 2017-12-26 The Board Of Trustees Of The University Of Illinois 4D vizualization of building design and construction modeling with photographs
US20160349746A1 (en) * 2015-05-29 2016-12-01 Faro Technologies, Inc. Unmanned aerial vehicle having a projector and being tracked by a laser tracker
EP3408848A4 (en) * 2016-01-29 2019-08-28 Pointivo Inc. SYSTEMS AND METHOD FOR EXTRACTING INFORMATION ON OBJECTS FROM SCENE INFORMATION
US10416667B2 (en) * 2016-02-03 2019-09-17 Sony Corporation System and method for utilization of multiple-camera network to capture static and/or motion scenes
US10860014B2 (en) * 2016-09-09 2020-12-08 Ecole polytechnique fédérale de Lausanne (EPFL) Jacket for embodied interaction with virtual or distal robotic device
CN107239728B (zh) * 2017-01-04 2021-02-02 赛灵思电子科技(北京)有限公司 基于深度学习姿态估计的无人机交互装置与方法
US9986233B1 (en) * 2017-03-16 2018-05-29 Amazon Technologies, Inc. Camera calibration using fixed calibration targets
JP2019205066A (ja) * 2018-05-23 2019-11-28 シャープ株式会社 カメラ調整装置
EP3614341A1 (en) * 2018-08-23 2020-02-26 ETH Zurich Apparatus, method and computer program for detecting the form of a deformable object
CN108989686B (zh) * 2018-09-05 2021-02-19 深圳技威时代科技有限公司 基于人形追踪的实时拍摄装置及控制方法
CN110264530A (zh) * 2019-06-27 2019-09-20 深圳市道通智能航空技术有限公司 一种相机标定方法、装置和无人机

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018083848A1 (ja) * 2016-11-07 2018-05-11 ソニー株式会社 画像処理装置、キャリブレーション用チャート、及びキャリブレーションシステム
JP2020507436A (ja) * 2017-02-14 2020-03-12 アトラクシス エス・アー・エール・エル 圧縮および／またはｃｍｏｓウィンドウイングを用いた高速光学追跡
US20190028632A1 (en) * 2017-07-21 2019-01-24 Panasonic Intellectual Property Management Co., Ltd. Camera parameter set calculation apparatus, camera parameter set calculation method, and recording medium
JP2019079487A (ja) * 2017-10-25 2019-05-23 日本電信電話株式会社 パラメータ最適化装置、パラメータ最適化方法、プログラム
WO2019092730A1 (en) * 2017-11-13 2019-05-16 Carmel Haifa University Economic Corporation Ltd. Motion tracking with multiple 3d cameras
JP2019109200A (ja) * 2017-12-20 2019-07-04 オムロン株式会社 校正用データ生成装置、校正用データ生成方法、キャリブレーションシステム、及び制御プログラム

Also Published As

Publication number Publication date
WO2021216948A1 (en) 2021-10-28
JP2023505987A (ja) 2023-02-14
JP7527546B2 (ja) 2024-08-05
EP4094226A4 (en) 2023-08-02
EP4094226A1 (en) 2022-11-30
KR20220104025A (ko) 2022-07-25
US11095870B1 (en) 2021-08-17

Similar Documents

Publication Publication Date Title
US11460844B2 (en) Unmanned aerial image capture platform
JP7527546B2 (ja) 人間関節を用いた無人航空機上のカメラの校正
CN106197422B (zh) 一种基于二维标签的无人机定位及目标跟踪方法
CN106529495B (zh) 一种飞行器的障碍物检测方法和装置
CN109461190B (zh) 测量数据处理装置及测量数据处理方法
CN112037260B (zh) 一种跟踪目标的位置估计方法、装置及无人飞行器
CN105981074B (zh) 用于标定成像装置的系统、方法和装置
US11906983B2 (en) System and method for tracking targets
JP5992184B2 (ja) 画像データ処理装置、画像データ処理方法および画像データ処理用のプログラム
TWI693959B (zh) 控制裝置、飛行體以及記錄媒體
JP6468941B2 (ja) 環境内の１組のセンサーの経路を計画する方法
CN107209854A (zh) 用于支持顺畅的目标跟随的系统和方法
CN108780262A (zh) 基于目标检测的自动对焦初始化
KR102562672B1 (ko) 다중 드론 측위 및 촬영 시스템
JP2017524932A (ja) ビデオ支援着艦誘導システム及び方法
CN116578035A (zh) 基于数字孪生技术的旋翼无人机自主降落控制系统
Ivancsits et al. Visual navigation system for small unmanned aerial vehicles
JP2018009918A (ja) 自己位置検出装置、移動体装置及び自己位置検出方法
WO2020019175A1 (zh) 图像处理方法和设备、摄像装置以及无人机
CN116952229A (zh) 无人机定位方法、装置、系统和存储介质
EP3943979A1 (en) Indoor device localization
Cheng et al. Positioning method research for unmanned aerial vehicles based on meanshift tracking algorithm
WO2023047799A1 (ja) 画像処理装置、画像処理方法及びプログラム
Kuhnert et al. Absolute high-precision localisation of an unmanned ground vehicle by using real-time aerial video imagery for geo-referenced orthophoto registration
Zhang et al. Vision-based pose estimation algorithm with four coplanar feature points via an incident-ray-based camera model

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination