CN108602561B - 用于利用多摄像机网络捕捉静态场景和/或运动场景的系统和方法 - Google Patents

用于利用多摄像机网络捕捉静态场景和/或运动场景的系统和方法 Download PDF

Info

Publication number
CN108602561B
CN108602561B CN201780009492.2A CN201780009492A CN108602561B CN 108602561 B CN108602561 B CN 108602561B CN 201780009492 A CN201780009492 A CN 201780009492A CN 108602561 B CN108602561 B CN 108602561B
Authority
CN
China
Prior art keywords
uavs
imaging devices
images
information
current
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780009492.2A
Other languages
English (en)
Other versions
CN108602561A (zh
Inventor
A·布莱斯托弗
刘明昌
李俊杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN108602561A publication Critical patent/CN108602561A/zh
Application granted granted Critical
Publication of CN108602561B publication Critical patent/CN108602561B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U20/00—Constructional aspects of UAVs
    • B64U20/80—Arrangement of on-board electronics, e.g. avionics systems or wiring
    • B64U20/87—Mounting of imaging devices, e.g. mounting of gimbals
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0011—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement
    • G05D1/0027—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement involving a plurality of vehicles, e.g. fleet or convoy travelling
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0094—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G05D1/104—Simultaneous control of position or course in three dimensions specially adapted for aircraft involving a plurality of aircrafts, e.g. formation flying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00—Type of UAV
    • B64U10/10—Rotorcrafts
    • B64U10/13—Flying platforms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/10—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
    • B64U2201/102—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS] adapted for flying in formations
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/20—Remote controls

Abstract

本文中公开了用于利用多摄像机网络捕捉静止场景和/或运动场景的系统和方法的各个方面。系统包括多个无人驾驶飞行器UAV。多个UAV中的每个与被配置为捕捉多个图像的成像装置相关联。多个UAV中的第一UAV包括第一成像装置，第一成像装置被配置为捕捉一个或多个静止对象和/或移动对象的第一图像集合。第一UAV被配置为从一个或多个成像装置接收聚焦透镜信息、当前地点和当前方位。确定一个或多个成像装置中的每个的目标地点和目标方位。将控制信息传送给一个或多个其他UAV以将当前地点和当前方位修改为一个或多个成像装置中的每个的所确定的目标地点和方位。

Description

用于利用多摄像机网络捕捉静态场景和/或运动场景的系统 和方法
技术领域
本公开的各个实施例涉及静态场景和/或动态场景的捕捉。更具体地，本公开的各个实施例涉及利用多摄像机网络捕捉静态场景和/或动态场景。
背景技术
因为数字摄像机和低成本传感器系统的问世和后续发展，技术现在已经朝向多摄像机网络系统前进。这样的多摄像机网络系统可以用于各种应用，诸如智能家居、办公室自动化、媒体和娱乐、安全和监督、移动和机器人网络、人机接口、虚拟现实系统、3D对象重构和/或运动捕捉。
通常，通信地连接到多摄像机网络系统和集中式图像处理服务器的用户终端可以接收用户输入以选择设施(诸如体育馆)中的一个或多个对象。多摄像机网络系统可以包括多个固定摄像机，诸如现成摄像机、嵌入式摄像机和/或通信地耦合的摄像机。多个固定摄像机可以围绕设施以不同的角度和战略地点安装，以捕捉设施中的所选择的一个或多个对象的实时360°运动。这样的围绕设施安装的多个固定摄像机可以被集中式图像处理服务器校准。校准可以被集中式图像处理服务器执行，以解决多个固定摄像机的零件间变化、聚焦透镜差异和透镜畸变。
集中式图像处理服务器可以接收用户输入，并且将控制命令传送给多摄像机网络系统。控制命令可以基于对一个或多个对象和一个或多个环境因素(诸如照明、阴影和/或反射)的选择。控制命令可以调整多摄像机网络系统中的固定摄像机的一个或多个参数。因此，多摄像机网络系统可以基于控制命令捕捉多个图像。捕捉的图像可以被发送回到集中式图像处理服务器。
集中式图像处理服务器可以对接收的捕捉的图像进行处理，并且将处理的图像发送到用户终端，以用于这些图像的显示和分析。然而，在某些情况下，固定摄像机在多摄像机网络系统中的放置可能不适合足以提供对包括所选择的一个或多个对象的预定义区域的充分覆盖。因此，基于各种应用的目的，可能期望多摄像机网络系统包括用于最佳地放置在设施中以用于以特定分辨率在最大程度上覆盖预定义区域的非固定摄像机。可能进一步期望的是，集中式图像处理服务器是足够鲁棒的以花费最少的时间来进行准确的校准。
如在本申请的剩余部分中参考附图阐述的，通过比较所描述的系统与本公开的一些方面，常规的和传统的方法的其他限制和缺点对于本领域技术人员来说将变得明显。
发明内容
如权利要求中更完整地阐述的，基本上如至少一个附图中所示的和/或结合至少一个附图描述的，用于通过使用多个成像装置进行图像处理的系统和方法。
通过连同附图一起阅读本公开的以下详细描述，可以理解本公开的这些特征和优点以及其他特征和优点，在附图中，相同的附图标记始终指的是相同的部分。
附图说明
图1是图示根据本公开的实施例的网络环境的框图。
图2是图示根据本公开的实施例的示例性无人驾驶飞行器(UAV)的各种组件的框图。
图3是图示根据本公开的实施例的示例性服务器的框图。
图4A是图示根据本公开的实施例的第一网络环境的框图，第一网络环境包括用于在分布式处理模式下重构3D结构的用户终端和多个UAV。
图4B是图示根据本公开的实施例的第二网络环境的框图，第二网络环境包括用于在集中式处理模式下重构3D结构的服务器和多个UAV。
图4C是图示根据本公开的实施例的第三网络环境的框图，第三网络环境包括用于在集群式处理模式下重构3D结构的服务器和/或多个UAV。
图5A至图5D共同地图示根据本公开的实施例的确定示例性UAV的地点的示例性三角测量技术。
图6A至图6C共同地图示根据本公开的实施例的用于实现用于图像处理的示例性方法的示例性场景。
图7A和图7B共同地图示根据本公开的实施例的用于实现用于图像处理的示例性方法的第一流程图。
图8图示根据本公开的实施例的用于实现用于图像处理的示例性方法的第二流程图。
图9A和图9B共同地图示根据本公开的实施例的用于实现用于图像处理的示例性方法的第三流程图。
具体实施方式
以下描述的实施方式可以在用于通过使用多个成像装置进行图像处理的系统和方法中找到。本公开的示例性方面可以包括在网络中的第一无人驾驶飞行器(UAV)中实施的方法，该网络还包括一个或多个其他UAV。多个UAV(包括第一UAV和一个或多个其他UAV)中的每个可以与被配置为捕捉多个图像的成像装置相关联。多个UAV中的第一UAV可以包括第一成像装置，第一成像装置被配置为捕捉一个或多个静止对象和/或移动对象的第一图像集合。
所述方法可以包括从一个或多个成像装置接收所述一个或多个成像装置的聚焦透镜信息、当前地点和当前方位。所述一个或多个成像装置可以与所述多个UAV中的一个或多个其他UAV相关联。可以基于接收的聚焦透镜信息、接收的当前地点、接收的当前方位以及所述一个或多个静止对象和/或移动对象的当前地点来确定所述一个或多个成像装置的目标地点和目标方位。可以将控制信息传送给所述一个或多个其他UAV以修改所述一个或多个成像装置的当前地点和当前方位。可以将当前地点和当前方位修改为所述一个或多个成像装置的确定的目标地点和确定的目标方位。根据实施例，传送的控制信息可以进一步包括捕捉信息。捕捉信息可以使得所述一个或多个成像装置能够在确定的目标地点和确定的目标方位捕捉所述一个或多个静止对象和/或移动对象的图像集合。所述方法可以进一步包括从捕捉的第一图像集合和捕捉的第二图像集合重构三维(3D)结构。
根据实施例，所述方法可以包括动态地使捕捉的第一图像集合和捕捉的第二图像集合同步以重构3D结构。根据实施例，所述方法可以包括将校准信息传送给所述一个或多个其他UAV。可以传送校准信息以使得能够基于接收的聚焦透镜信息和预定校准对象的多个图像来校准所述一个或多个成像装置。根据实施例，可以执行所述一个或多个成像装置的校准以调整所述一个或多个成像装置的一个或多个内在参数和/或外在参数。
根据本公开的另一方面，公开了通过使用多个成像装置执行图像处理的另一方法。所述方法可以在与多个UAV通信地耦合以用于进行图像处理的服务器中实现。所述多个UAV可以与被配置为捕捉多个图像的一个或多个成像装置相关联。所述方法可以包括从与所述多个UAV相关联的所述一个或多个成像装置接收所述一个或多个成像装置的聚焦透镜信息、当前地点和当前方位。所述方法可以进一步包括确定所述一个或多个成像装置的目标地点和目标方位。该确定可以基于接收的聚焦透镜信息、接收的当前地点、接收的当前方位以及要捕捉的一个或多个静止对象和/或移动对象的当前地点。可以将控制信息传送给所述多个UAV以修改所述一个或多个成像装置的当前地点和当前方位。可以将当前地点和当前方位修改为所述一个或多个成像装置的确定的目标地点和确定的目标方位。
根据实施例，传送的控制信息可以进一步包括捕捉信息。捕捉信息可以使得所述一个或多个成像装置能够在确定的目标地点和确定的目标方位捕捉所述一个或多个静止对象和/或移动对象的图像集合。根据实施例，所述方法可以进一步包括从捕捉的图像集合重构三维(3D)结构。根据实施例，所述方法可以包括动态地使捕捉的图像集合同步以重构3D结构。
根据实施例，所述方法可以包括将校准信息传送给所述多个UAV。校准信息的传送可以使得能够基于接收的聚焦透镜信息和预定校准对象的多个图像来校准所述一个或多个成像装置。
根据本公开的另一方面，公开了通过使用多个成像装置执行图像处理的另一方法。所述方法可以在包括第一网络和第二网络的系统中实现。第一网络可以包括第一组UAV，并且第二网络可以包括第二组UAV。第一组UAV和第二组UAV中的每个可以与成像装置相关联，该成像装置可以被配置为捕捉多个图像。所述方法可以在第一组UAV中的第一UAV中实现。第一UAV可以包括第一成像装置，该第一成像装置可以被配置为捕捉一个或多个静止对象和/或移动对象的第一图像集合。所述方法可以包括从与第一组UAV相关联的第一组成像装置接收第一组UAV、第一组成像装置的聚焦透镜信息、当前地点和当前方位。所述方法可以进一步包括基于接收的聚焦透镜信息、接收的当前地点、接收的当前方位以及所述一个或多个静止对象和/或移动对象的当前地点来确定第一组成像装置的目标地点和目标方位。可以将控制信息传送给第一组UAV以修改第一组成像装置的当前地点和当前方位。可以将当前地点和当前方位修改为第一组成像装置的确定的目标地点和确定的目标方位。根据实施例，由第一UAV传送的控制信息可以进一步包括第一组成像装置在确定的目标地点和确定的目标方位的捕捉信息。捕捉信息可以使得能够捕捉所述一个或多个静止对象和/或移动对象的第一图像集合。
根据实施例，第二组UAV中的第二UAV可以包括第二成像装置，该第二成像装置被配置为捕捉所述一个或多个静止对象和/或移动对象的第二图像集合。在第二UAV中实现的所述方法可以从与第二组UAV相关联的第二组成像装置接收第二组成像装置的聚焦透镜信息、当前地点和当前方位。根据实施例，所述方法可以包括确定第二组成像装置的目标地点和目标方位。该确定可以基于接收的聚焦透镜信息、接收的当前地点、接收的当前方位以及所述一个或多个静止对象和/或移动对象的当前地点。可以将控制信息传送给第二组UAV以修改第二组成像装置的当前地点和当前方位。可以将当前地点和当前方位修改为第二组成像装置的确定的目标地点和确定的目标方位。根据实施例，由第二UAV传送的控制信息进一步包括第二组成像装置在确定的目标地点和确定的目标方位的捕捉信息。捕捉信息可以使得能够捕捉所述一个或多个静止对象和/或移动对象的第二图像集合。根据实施例，所述方法可以包括动态地使捕捉的第一图像集合和捕捉的第二图像集合同步以重构所述一个或多个静止对象和/或移动对象的3D结构。
图1是示出根据本公开的实施例的网络环境的框图。参考图1，示出了网络环境100，网络环境100包括多个UAV 102、多个成像装置104、服务器106、通信网络108和用户终端110。多个UAV 102可以包括两个或多个UAV，诸如第一UAV 102a、第二UAV 102b、第三UAV102c和第四UAV 102d。多个成像装置104可以包括两个或多个成像装置，诸如第一成像装置104a、第二成像装置104b、第三成像装置104c和第四成像装置104d。第一UAV 102a、第二UAV102b、第三UAV 102c和第四UAV 102d可以分别与第一成像装置104a、第二成像装置104b、第三成像装置104c和第四成像装置104d相关联。多个UAV 102、多个成像装置104、服务器106和用户终端110可以被配置为经由通信网络108相互通信。
多个UAV 102可以包括可以对应于由远程系统控制的或能够自主飞行的无人驾驶飞行器或系统的合适的逻辑、电路、接口和/或代码。无人驾驶飞行器或系统可以由地面控制站处的远程飞行员控制。无人驾驶飞行器或系统还可以基于各种预先编程的飞行计划或复杂的动态自动化系统来自主地飞行。多个UAV 102可以被配置为在飞行期间经由通信网络108相互通信。多个UAV 102的布置可以基于动态地确定的处理模式。多个UAV 102的例子可以包括，但不限于，无人机、智能飞机、或要么机上没有飞行员、要么由预先编程的飞行计划和/或自动化系统控制的其他的这样的航空器。根据框架类型和电机的数量，多个UAV102的各种例子可以包括，但不限于，具有三个臂和一个电机的三旋翼直升机、具有四个臂和一个电机的四旋翼直升机、具有六个臂和一个电机的六旋翼直升机、具有六个臂和六个电机的Y6直升机、具有八个臂和一个电机的八旋翼直升机、和/或具有八个臂和八个电机的X8。
多个成像装置104可以包括可以被配置为捕捉对应UAV的视场(FOV)内的多个图像和/或视频帧的合适的逻辑、电路、接口和/或代码。多个成像装置104可以进一步产生捕捉的一个或多个图像和/或视频帧的视觉表示。多个成像装置104可以包括可以使得多个成像装置104能够捕捉一个或多个图像和/或视频帧的透镜组装件和图像传感器。多个成像装置104的图像传感器可以通过使用电荷耦合器件(CCD)技术、互补金属氧化物半导体(CMOS)技术等来实现。多个成像装置104的例子可以对应于，但不限于，紧凑型摄像机、桥接电路摄像机、便携式摄像机、数字摄像机、视点(POV)摄像机、热成像摄像机、单镜头反光式摄像机和/或机载摄像机。
服务器106可以包括可以被配置为经由通信网络108接收由多个成像装置104捕捉的多个图像和/或视频帧的合适的逻辑、电路、接口和/或代码。根据实施例，服务器106可以执行图像处理以用于对接收的多个图像和/或视频帧进行3D重构。服务器106的例子可以包括，但不限于，数据库服务器、web服务器、文件服务器、媒体服务器、代理服务器和/或通信服务器。
通信网络108可以包括多个UAV 102可以通过其与服务器106和用户终端110通信地连接的介质。通信网络108的例子可以包括，但不限于，因特网、云网络、无线保真(Wi-Fi)网络、无线局域网(WLAN)、局域网(LAN)、电话线(POTS)、无线WAN和/或城域网(MAN)。网络环境100中的各种装置可以可操作为根据各种有线和无线通信协议连接到通信网络108。这样的有线通信协议和无线通信协议的例子包括，但不限于，传输控制协议和因特网协议(TCP/IP)、用户数据报协议(UDP)、超文本传输协议(HTTP)、文件传输协议(FTP)、ZigBee、EDGE、无线网状网络(WMN)、红外(IR)、IEEE 802.11、802.16、IEEE 802.11s、IEEE 802.11g、多跳通信、UVNet、飞行自组织网络(FANET)、无线接入点(AP)、装置间通信、蜂窝通信协议和/或蓝牙(BT)通信协议。
用户终端110可以包括可以被配置为接收用户输入并且将接收的用户输入传送给多个UAV 102和/或服务器106的合适的逻辑、电路、接口和/或代码。用户终端110的例子可以包括，但不限于，智能电话、摄像机、平板计算机、膝上型电脑、可穿戴电子装置、电视机、因特网协议电视机(IPTV)和/或其他这样的显示终端。
在操作中，多个UAV 102中的每个可以执行飞行前诊断处理以监视与多个UAV 102相关联的系统控制和状态变量。这样的系统控制的例子可以包括，但不限于，飞行控制变量和其他控制变量、无线通信链路、传感器单元、电池电平、中央处理单元和其他硬件组件，诸如直升机旋转器。与对应的多个UAV 102的各种计算资源相对应的状态变量的例子可以包括，但不限于，计算带宽和/或存储器可用性、和/或电池电平。一旦飞行前诊断处理成功，则多个UAV 102就可以发起飞行，并且变为升空。其后，现在升空的多个UAV 102可以执行飞行中诊断处理以周期性地监视各自的系统控制和状态变量。
根据实施例，多个UAV 102可以被配置为根据预先编程的飞行计划、经由通信网络108(诸如Wi-Fi)相互通信。根据特定的情况，多个UAV 102可以基于本领域中已知的各种无线协议来创建网状网络，在该网状网络中，使得每个UAV能够与其他UAV通信。根据实施例，除了多个UAV 102之外，网状网络可以进一步包括服务器106。根据另一情况，多个UAV 102可以基于本领域中已知的各种无线协议来创建自组织网络以启用这样的无线通信。
根据实施例，多个UAV 102和/或服务器106中的一个可以被进一步配置为集中式地监视多个UAV 102和/或服务器106的系统控制和状态变量。根据例子，第一UAV 102a可以被配置为监视并记录多个UAV 102和/或服务器106的系统控制和状态变量。根据例子，服务器106可以被配置为监视并记录多个UAV 102和/或服务器106的系统控制和状态变量。因此，多个UAV 102和/或服务器106中的一个可以被进一步配置为产生状态变量表，该状态变量表可以存储并周期性地更新多个UAV 102和/或服务器106的状态变量。多个UAV 102和/或服务器106中的这样的一个可以被预先配置为和/或被预先编程为用以监视多个UAV 102和/或服务器106的主装置。
根据实施例，用户终端110可以被配置为经由I/O装置(诸如触摸屏)从与用户终端110相关联的用户接收用户输入。接收的用户输入可以包括对一个或多个静止对象和/或移动对象的选择。该选择可以由用户经由I/O装置执行。在示例性情形下，用户可以是可能想对由运动中的运动员进行的特定射门进行分析的体育评论员。因此，用户可以在显示屏幕处提供触摸输入以选择运动中的运动员。
根据本公开的第一方面，用户终端110可以被配置为将接收的用户输入传送给多个UAV 102中的一个，诸如第一UAV 102a。本领域的普通技术人员将理解，已经出于示例性的目的描述了对于第一UAV102a的用户输入的传送，这不可以被解释为限制本公开。可以在该例子中假定，第一UAV 102a可以被预先配置为和/或被预先编程为用以监视多个UAV 102和/或服务器106的主装置(由于计算资源的充足性)。尽管如此，本公开可以不限于第一UAV102a被预先编程为主装置或控制器的配置。在不偏离本公开的范围的情况下，多个UAV 102中的具有充足的计算资源的其他UAV也可以被配置为或被编程为主装置。
根据实施例，多个UAV 102中的第一UAV 102a可以与第一成像装置104a相关联。第一成像装置104a可以被配置为捕捉第一图像集合。类似地，一个或多个其他UAV 102b至102d可以与相应的一个或多个其他成像装置104b至104d相关联。一个或多个其他成像装置104b至104d可以被配置为捕捉第二图像集合。根据实施例，基于用户输入，第一UAV 102a可以被配置为从一个或多个其他UAV 102b至102d接收信息。在这样的情况下，多个UAV 102和服务器106可以经由无线通信信道(诸如Wi-Fi)成为网状网络。该信息可以包括与一个或多个其他UAV 102b至102d相关联的一个或多个成像装置104b至104d的聚焦透镜信息、当前地点和当前方位。一个或多个其他UAV 102b至102d可以基于其中安装的第一组传感器(诸如陀螺仪)来确定该信息。一个或多个其他UAV 102b至102d可以基于其中安装的第二组传感器(诸如图像传感器)来细化该信息。第一UAV 102a可以被进一步配置为确定接收的用户输入中的所选择的一个或多个静止对象或移动对象的当前地点。
根据实施例，第一UAV 102a可以被配置为基于接收的聚焦透镜信息和公共的预定校准对象(诸如棋盘)的多个图像来确定一个或多个其他UAV 102b至102d的校准信息。预定校准对象的多个图像可以是由多个成像装置104从一个或多个角度和方向捕捉的。第一UAV102a可以被配置为将确定的校准信息传送给与一个或多个其他UAV102b至102d相关联的一个或多个成像装置104b至104d。因此，一个或多个成像装置104b至104d的校准可以由相应的一个或多个其他UAV 102b至102d执行。
一个或多个成像装置104b至104d的校准可以由一个或多个其他UAV 102b至102d执行，以调整一个或多个成像装置104b至104d的一个或多个内在参数和/或外在参数。内在参数可以对应于将图像点的像素坐标与成像装置的参考坐标系中的对应坐标链接所需的一个或多个参数。内在参数的例子可以包括，但不限于，焦距、图像传感器格式、主点和/或透镜畸变。外在参数可以对应于限定成像装置的参考坐标系相对于已知的世界参考坐标系的地点和方位的一个或多个参数。外在参数的例子可以包括，但不限于，从3D世界坐标到3D摄像机坐标的坐标系变换。
根据实施例，第一UAV 102a可以被配置为确定一个或多个成像装置104b至104d的目标地点和目标方位。可以基于接收的聚焦透镜信息、接收的当前地点、接收的当前方位以及所选择的一个或多个静止对象或移动对象的当前地点来确定目标地点和目标方位。第一UAV102a可以被配置为根据如图5A至图5D中说明的三角测量技术来确定其目标地点和目标方位。本领域的普通技术人员将理解，多个成像装置104的目标地点和目标方位可以对应于多个成像装置104围绕所选择的一个或多个静止对象或移动对象的最佳布置。多个UAV 102的最佳布置对应于包括所选择的一个或多个静止对象或移动对象的3D场景结构在多个成像装置104的预定分辨率上的最大覆盖。
根据实施例，第一UAV 102a可以被配置为将控制信息传送给一个或多个其他UAV102b至102d。基于接收的控制信息，一个或多个其他UAV 102b至102d可以修改一个或多个成像装置104b至104d的当前地点和当前方位。可以将一个或多个成像装置104b至104d的当前地点和当前方位修改为确定的目标地点和确定的目标方位。根据实施例，第一UAV 102a可以被配置为将其当前地点和当前方位修改为经由三角测量技术确定的目标地点和目标方位。
一旦多个UAV 102将它们的当前地点和当前方位修改为目标地点和目标方位，多个成像装置104就可以捕捉一个或多个静止对象或移动对象的图像集合。图像集合可以包括由第一UAV 102a的第一成像装置104a捕捉的第一图像集合。第二图像集合可以分别由一个或多个其他UAV 102b至102d的一个或多个成像装置104b至104d捕捉。可以基于由第一UAV 102a发送的同步信号来使第一图像集合与第二图像集合动态地同步。同步信号可以建立多个成像装置104之间的定时相关性，以使得第一图像集合和第二图像集合实时地表现出最小时间的时间流逝。
多个成像装置104可以被进一步配置为合作地捕捉与所选择的一个或多个静止对象和/或移动对象相关联的运动信息。根据实施例，可以由多个成像装置104基于一个或多个静止对象和/或移动对象的具有本领域中已知的标记信息的一个或多个球面位置合作地捕捉运动信息。例如，标记信息可以由用于可以被多个UAV 102连续地跟踪的各个骨段的一个或多个有色斑点来指示。根据实施例，可以由多个成像装置104基于一个或多个静止对象和/或移动对象的没有本领域中已知的标记信息的一个或多个球面位置合作地捕捉运动信息。例如，可以在多个UAV 102中实现无标记对象跟踪算法，该算法可以估计一个或多个静止对象和/或移动对象的从基于卷积神经网络(ConvNet)的联合检测算法(在本领域中是已知的)估计的主体部分的检测。该无标记对象跟踪算法可以进一步基于本领域中已知的高斯框架总和，将主体部分检测融合到基于生成模型的跟踪算法中。本领域中的普通技术人员可以理解以上例子仅仅是出于说明性目的，并且不可以被解释为限制本公开的范围。
第一UAV 102a可以被进一步配置为动态地确定处理模式，可以基于该处理模式对由多个成像装置104捕捉的图像集合进行处理。该处理模式可以对应于分布式处理模式、集中式处理模式或集群式处理模式。第一UAV 102a可以基于从在最近的飞行中诊断处理期间更新的状态变量表中检索的计算资源的状态来动态地确定处理模式。计算资源可以对应于多个UAV 102和服务器106的计算带宽、存储器可用性和/或电池电平。因此，第一UAV 102a可以选择多个UAV 102或服务器106中的一个来以最佳的方式对图像集合进行处理。
根据实施例，基于计算资源的状态，第一UAV 102a可以确定第一UAV 102a本身表现出多个UAV 102和服务器106的最大计算带宽、存储器可用性和/或电池电平。在这样的情况下，第一UAV 102a可以被配置为基于第一图像集合和第二图像集合来执行所选择的一个或多个静止对象和/或移动对象的3D结构的实时重构。这样的实时3D结构重构可以由第一UAV 102a根据第一应用来执行。尽管如此，本公开可以不限于此，并且在不偏离本公开的范围的情况下，可以根据另一应用和多个UAV的不同的目标地点和目标方位来执行另一3D结构重构。
3D结构的重构可以由第一UAV 102a基于对于所选择的一个或多个静止对象和/或移动对象的3D场景解释和/或点云产生来执行。可以基于从其捕捉图像集合的多个UAV 102的目标地点和目标方位来执行对于所选择的一个或多个静止对象和/或移动对象的3D场景解释和/或点云产生。
根据实施例，第一UAV 102a可以被进一步配置为经由通信网络108将重构的3D结构传送给用户终端110。因此，在这样的情况下，用户终端110可以接收重构的3D结构以用于显示。根据实施例，用户终端110可以进一步可操作为接收用以修改3D重构图像的视点的另一用户输入。可以将与修改的视点相对应的请求传送回到第一UAV102a。基于该请求，第一UAV 102a可以再次分别确定一个或多个其他UAV 102b至102d的新的目标地点和目标方位。第一UAV 102a可以以与上述类似的方式从一个或多个其他UAV 102b至102d UAV接收新的图像集合。可以再次以与上述类似的方式执行3D结构的重构并且经由通信网络108将该重构的3D结构传送给用户终端110。
根据实施例，基于计算资源的状态，第一UAV 102a可以确定服务器106表现出多个UAV 102和服务器106的最大计算带宽、存储器可用性和/或电池电平。在这样的情况下，第一UAV 102a可以被配置为将捕捉的第一图像集合和接收的第二图像集合传送给服务器106。服务器106可以被进一步配置为基于接收的第一图像集合和第二图像集合来执行所选择的一个或多个静止对象和/或移动对象的3D结构的实时重构。这样的实时3D结构重构可以由服务器106根据第一应用来执行。本领域的普通技术人员可以理解，出于说明性的目的，上述3D结构重构是根据第一应用执行的。尽管如此，本公开可以不限于此，并且在不偏离本公开的范围的情况下，可以根据另一应用和多个UAV的不同的目标地点和目标方位来执行另一3D结构重构。
根据实施例，基于计算资源的状态，第一UAV 102a可以确定第一UAV 102a和第三UAV 102c这二者都表现出多个UAV 102和服务器106的最大计算带宽、存储器可用性和/或电池电平。在这样的情况下，第一UAV 102a和第三UAV 102c可以被配置为基于一个或多个准则(诸如物理接近度和/或状态变量的对应值)来分别标识第一组UAV和第二组UAV。第一UAV 102a和第三UAV 102c可以被进一步配置为确定一个或多个其他UAV 102b和102d中的哪个可以被包括在第一组UAV和第二组UAV中。例如，第一UAV 102a可以标识第二UAV 102b可以被包括在第一组UAV中。第二UAV 102b可以被标识为离第一UAV 102a最近并且具有有限的计算资源(诸如不足的存储器可用性)。因此，可以建立包括第一UAV 102a和第二UAV102b的第一网络。第一网络也可以被称为第一集群。类似地，第三UAV 102c可以标识第四UAV 102d可以被包括在第二组UAV中。第四UAV 102d可以被标识为离第三UAV 102c最近并且具有有限的资源(诸如边际电池电平)。因此，可以建立包括第三UAV 102c和第四UAV102d的第二网络。第二网络也可以被称为第二集群。
在这样的情况下，第二UAV 102b可以将捕捉的图像集合传送给第一UAV 102a。由第一集群中的第一UAV 102a和第二UAV 102b捕捉的图像集合可以被共称为第一图像集合。类似地，第四UAV 102d将捕捉的图像集合传送给第三UAV 102c。由第二集群中的第三UAV102c和第四UAV 102d捕捉的图像集合可以被共称为第二图像集合。
第一UAV 102a和第三UAV 102c可以被进一步配置为分别基于第一图像集合和第二图像集合来执行所选择的一个或多个静止对象和/或移动对象的3D结构的实时重构。这样的实时3D结构重构可以由第一UAV 102a和第三UAV 102c根据第一应用来执行。本领域的普通技术人员可以理解，出于说明性的目的，上述3D结构重构是根据第一应用执行的。尽管如此，本公开可以不限于此，并且在不偏离本公开的范围的情况下，可以根据另一应用和多个UAV的不同的目标地点和目标方位来执行另一3D结构重构。
两个3D结构的重构可以由第一UAV 102a和第三UAV 102c基于对于所选择的一个或多个静止对象或移动对象的3D场景解释和/或点云产生来执行。可以基于从其捕捉图像集合的多个UAV 102的目标地点和目标方位来执行对于所选择的一个或多个静止对象和/或移动对象的3D场景解释和/或点云产生。
根据实施例，第一UAV 102a和第三UAV 102c可以被进一步配置为经由通信网络108将从第一图像集合和第二图像集合重构的3D结构传送给用户终端110。因此，在这样的情况下，用户终端110可以接收两个重构的3D结构以用于显示。基于指示计算资源的可用性的状态控制变量，可以选择主UAV(诸如第一UAV 102a和第三UAV102c)中的一个来执行3D结构的最终重构。可以在用户终端110处执行最终重构以产生单个3D结构，该单个3D结构可以被传送给用户终端110。
根据实施例，基于状态变量的最新的值，第一UAV 102a可以确定第一UAV 102a和第三UAV 102c现在表现出有限的资源，并且服务器106表现出可用的资源。在这样的情况下，第一UAV 102a和第三UAV 102c可以将两个3D重构图像发送到服务器106以用于进一步重构最终的3D结构。服务器106可以被进一步配置为经由通信网络106将最终的重构的3D结构传送给用户终端110。根据实施例，如上面已经说明的，当从用户终端110接收到修改视点改变请求时，可以再次执行3D结构的重构。
根据本公开的第二方面，用户终端110可以被配置为将接收的用户输入传送给服务器106。基于该用户输入，服务器106可以被配置为从与多个成像装置104相关联的多个UAV 102接收信息。在这样的情况下，多个UAV 102和服务器106可以经由无线通信信道(诸如Wi-Fi)成为网状网络。该信息可以包括与多个成像装置104相关联的多个UAV 102的聚焦透镜信息、当前地点和当前方位。该信息可以由多个UAV 102基于其中安装的第一组传感器(诸如陀螺仪)来确定。该信息可以由多个UAV 102基于其中安装的第二组传感器(诸如图像传感器)来细化。
根据实施例，服务器106可以被配置为基于接收的聚焦透镜信息和公共的预定校准对象(诸如棋盘)的多个图像来确定多个UAV 102的校准信息。预定校准对象的多个图像可以是由多个成像装置104从一个或多个角度和方向捕捉的。服务器106可以被配置为将确定的校准信息传送给与多个UAV 102相关联的多个成像装置104。因此，多个成像装置104的校准可以由多个UAV 102中的相应的UAV来执行。如上面所说明的，多个成像装置104的校准可以由多个UAV 102执行，以调整多个成像装置104的一个或多个内在参数和/或外在参数。
根据实施例，服务器106可以被配置为确定多个成像装置104的目标地点和目标方位。可以基于接收的聚焦透镜信息、接收的当前地点、接收的当前方位以及所选择的一个或多个静止对象和/或移动对象的当前地点来确定目标地点和目标方位。本领域的普通技术人员将理解，多个成像装置104的目标地点和目标方位可以对应于多个成像装置104围绕所选择的一个或多个静止对象和/或移动对象的最佳布置。多个UAV 102的最佳布置对应于包括所选择的一个或多个静止对象和/或移动对象的3D场景结构在多个成像装置104的预定分辨率上的最大覆盖。
根据实施例，服务器106可以被配置为将控制信息传送给多个UAV 102。基于接收的控制信息，多个UAV 102可以修改多个成像装置104的当前地点和当前方位。可以将多个成像装置104的当前地点和当前方位修改为确定的目标地点和确定的目标方位。
一旦多个UAV 102将它们的当前地点和当前方位修改为目标地点和目标方位，多个成像装置104就可以捕捉一个或多个静止对象和/或移动对象的图像集合。图像集合可以对应于由多个成像装置104以同步的方式捕捉的图像。可以基于由服务器106发送的同步信号来动态地使图像集合中的每个图像相对于其他图像同步。同步信号可以建立多个成像装置104之间的定时相关性，以使得图像集合实时地表现出最小时间的时间流逝。
多个成像装置104可以被进一步配置为合作地捕捉与所选择的一个或多个静止对象和/或移动对象相关联的运动信息。根据实施例，可以由多个成像装置104基于一个或多个静止对象或移动对象的具有或没有本领域中已知的标记信息的一个或多个球面位置合作地捕捉运动信息。多个UAV 102可以将捕捉的图像集合和所选择的一个或多个静止对象和/或移动对象的运动信息传送给服务器106。
根据实施例，服务器106可以被进一步配置为基于接收的图像集合来执行所选择的一个或多个静止对象和/或移动对象的3D结构的实时重构。这样的实时3D结构重构可以由服务器106根据第一应用来执行。尽管如此，本公开可以不限于此，并且在不偏离本公开的范围的情况下，可以根据另一应用和多个UAV的不同的目标地点和目标方位来执行另一3D结构重构。
如在图3中详细说明的，3D结构的重构可以由服务器106基于对于所选择的一个或多个静止对象和/或移动对象的3D场景解释和/或点云产生来执行。服务器106可以进一步被配置为经由通信网络108将重构的3D结构传送给用户终端110。用户终端110可以显示接收的重构的3D结构。
根据本公开的第三方面，用户终端110可以被配置为将接收的用户输入传送给多个UAV 102中的多于一个的UAV，诸如第一UAV102a和第三UAV 102c。本领域的普通技术人员将理解，出于示例性的目的，已经描述了对于第一UAV 102a和第三UAV 102c的用户输入的传送，这不可以被解释为限制本公开。可以在该例子中假定，第一UAV 102a和第三UAV 102c可以被预先配置为和/或被预先编程为用以监视多个UAV 102的主装置或控制器装置(由于计算资源的充足性)。尽管如此，本公开可以不限于第一UAV 102a和第三UAV 102c被预先编程为主装置或控制器的配置。在不偏离本公开的范围的情况下，多个UAV 102中的具有充足的计算资源的其他UAV也可以被配置为或被编程为主装置或控制器。
根据实施例，第一UAV 102a和第三UAV 102c可以被配置为分别标识第一组UAV和第二组UAV。该标识可以基于一个或多个准则，诸如物理接近度和/或计算资源的对应状态。第一UAV 102a和第三UAV 102c可以被进一步配置为确定一个或多个其他UAV 102b和102d中的哪个可以被包括在第一组UAV和第二组UAV中。例如，第一UAV 102a可以标识第二UAV102b可以被包括在第一组UAV中。第二UAV 102b可以被标识为离第一UAV 102a最近并且具有有限的计算资源(诸如不足的存储器可用性)。因此，可以建立包括第一UAV 102a和第二UAV 102b的第一网络。第一网络也可以被称为第一集群。类似地，第三UAV 102c可以标识第四UAV 102d可以被包括在第二组UAV中。第四UAV 102d可以被标识为离第三UAV 102c最近并且具有有限的资源(诸如边际电池电平)。因此，可以建立包括第三UAV 102c和第四UAV102d的第二网络。第二网络也可以被称为第二集群。
根据实施例，基于用户输入，第一集群中的第一UAV 102a可以被配置为从第二UAV102b接收信息。类似地，第二集群中的第三UAV102c可以被配置为从第四UAV 102d接收信息。该信息可以包括分别与第二UAV 102b和第四UAV 102d相关联的第二成像装置104b和第四成像装置104d的聚焦透镜信息、当前地点和当前方位。该信息可以由第二UAV 102b和第四UAV 102d基于其中安装的第一组传感器(诸如陀螺仪)来确定。该信息可以由第二UAV102b和第四UAV 102d基于其中安装的第二组传感器(诸如图像传感器)来细化。第一UAV102a和第三UAV 102c可以被进一步配置为确定接收的用户输入中的所选择的一个或多个静止对象和/或移动对象的当前地点。
根据实施例，第一集群中的第一UAV 102a可以被配置为确定第二成像装置104b的校准信息。如上所述，校准可以基于接收的聚焦透镜信息和公共的预定校准对象的多个图像。类似地，第二集群中的第三UAV 102c可以被配置为确定第四成像装置104d的校准信息。校准可以基于接收的聚焦透镜信息和公共的预定校准对象的多个图像。第一UAV 102a和第三UAV 102c可以被配置为将确定的校准信息分别传送给第二成像装置104b和第四成像装置104d。
第二成像装置104b和第四成像装置104d的校准可以由第二UAV102b和第四UAV102d来执行。可以执行校准来调整第二成像装置104b和第四成像装置104d的一个或多个内在参数和/或外在参数。
根据实施例，第一集群中的第一UAV 102a可以被配置为确定第二成像装置104b的目标地点和目标方位。类似地，第二集群中的第三UAV 102c可以被配置为确定第四成像装置104d的目标地点和目标方位。可以基于接收的聚焦透镜信息、接收的当前地点、接收的当前方位以及所选择的一个或多个静止对象和/或移动对象的当前地点来确定目标地点和目标方位。第一UAV 102a和第三UAV 102c可以被配置为根据相应集群中的三角测量技术来确定它们的目标地点和目标方位。本领域的普通技术人员将理解，多个成像装置104的目标地点和目标方位可以对应于多个成像装置104围绕所选择的一个或多个静止对象和/或移动对象的最佳布置。多个UAV 102的最佳布置对应于包括所选择的一个或多个静止对象和/或移动对象的3D场景结构在多个成像装置104的预定分辨率上的最大覆盖。
根据实施例，第一集群中的第一UAV 102a可以被配置为将控制信息传送给第二UAV 102b。类似地，第二集群中的第三UAV 102c可以被配置为将控制信息传送给第四UAV102d。基于接收的控制信息，第二UAV 102b和第四UAV 102d可以分别修改第二成像装置104b和第四成像装置104d的当前地点和当前方位。可以将第二成像装置104b和第四成像装置104d的当前地点和当前方位修改为确定的目标地点和确定的目标方位。根据实施例，第一UAV 102a和第三UAV102c可以被配置为将其当前地点和当前方位修改为经由三角测量技术确定的目标地点和目标方位。
一旦多个UAV 102将它们的当前地点和当前方位修改为目标地点和目标方位，多个成像装置104就可以捕捉一个或多个静止对象和/或移动对象的多个图像。多个图像可以由不同集群中的多个成像装置104捕捉。第一多个图像可以包括由第一集群中的第一UAV102a的第一成像装置104a和第二UAV 102b的第二成像装置104b捕捉的图像。第二多个图像可以包括由第二集群中的第三UAV 102c的第三成像装置104c和第四UAV 102d的第四成像装置104d捕捉的图像。可以基于在第一UAV 102a和第三UAV 102c之间传送的同步信号来动态地使第一多个图像与第二多个图像同步。同步信号可以建立第一集群和第二集群之间的定时相关性，以使得第一多个图像和第二多个图像实时地表现出最小时间的时间流逝。
不同集群中的多个成像装置104可以被进一步配置为合作地捕捉与所选择的一个或多个静止对象和/或移动对象相关联的运动信息。根据实施例，可以由多个成像装置104基于一个或多个静止对象或移动对象的具有或没有本领域中已知的标记信息的一个或多个球面位置合作地捕捉运动信息。
基于第一多个图像，第一UAV 102a可以被进一步配置为执行所选择的一个或多个静止对象和/或移动对象的3D结构的实时重构。类似地，第三UAV 102c可以被进一步配置为基于第二多个图像来执行所选择的一个或多个静止对象和/或移动对象的3D结构的实时重构。这样的实时3D结构重构可以由第一UAV 102a和第三UAV 102c根据第一应用来执行。本领域的普通技术人员可以理解，出于说明性的目的，上述3D结构重构是根据第一应用执行的。尽管如此，本公开可以不限于此，并且在不偏离本公开的范围的情况下，可以根据另一应用和多个UAV的不同的目标地点和目标方位来执行另一3D结构重构。
两个3D结构的重构可以由第一UAV 102a和第三UAV 102c基于对于所选择的一个或多个静止对象或移动对象的3D场景解释和/或点云产生来执行。可以基于从其捕捉图像集合的多个UAV 102的目标地点和目标方位来执行对于所选择的一个或多个静止对象和/或移动对象的3D场景解释和/或点云产生。根据实施例，第一UAV 102a和第三UAV 102c可以被进一步配置为经由通信网络108将从第一图像集合和第二图像集合重构的两个3D结构传送给用户终端110。因此，在这样的情况下，用户终端110可以接收两个重构的3D结构以用于显示。根据实施例，用户终端110可以进一步可操作为接收用以修改重构的3D结构的视点的另一用户输入。可以将与修改的视点相对应的请求传送回到第一UAV 102a。基于该请求，第一UAV 102a和第三UAV 102c可以再次分别确定第一集群和第二集群中的UAV的新的目标地点和目标方位。第一UAV 102a和第三UAV 102c可以以与上述类似的方式从UAV接收新的图像集合。可以再次以与上述类似的方式执行3D结构的重构并且经由通信网络108将该重构的3D结构传送给用户终端110。
根据实施例，基于状态变量的最新的值，第一UAV 102a可以确定第一UAV 102a和第三UAV 102c现在表现出有限的资源，并且服务器106表现出可用的资源。在这样的情况下，第一UAV 102a和第三UAV 102c可以将两个3D重构的结构发送到服务器106以用于进一步重构最终的3D结构。服务器106可以被进一步配置为经由通信网络108将重构的最终的3D结构传送给用户终端110以用于显示。用户终端110可以进一步可操作为接收用以修改3D重构结构的视点的另一用户输入。可以将与修改的视点相对应的请求传送回到服务器106。基于该请求，服务器106可以再次以与上述类似的方式确定多个UAV 102的新的目标地点和目标方位，并且从UAV 102接收新的图像集合。服务器106可以再次重构3D结构，并且经由通信网络108将重构的3D结构传送给用户终端110以用于显示。
图2是示出根据本公开的实施例的示例性UAV的框图。参考图2，示出了多个UAV102中的第一UAV 102a的框图。第一UAV 102a可以包括一个或多个处理器(诸如处理器202)、飞行控制器204、存储器单元206、辅助存储单元208、传感器单元210、第一成像装置104a和收发器212。第一UAV 102a可以进一步包括推进系统214，推进系统214进一步包括电机216、推进器218、电子速度控制器(ESC)220和电池222。处理器202可以与飞行控制器204、存储器单元206、辅助存储单元208、传感器单元210、第一成像装置104a、收发器212和推进系统214通信地连接。
处理器202可以包括可以可操作为执行从存储器单元206检索的一个或多个指令的合适的逻辑、电路、接口和/或代码。处理器202可以被进一步配置为对经由收发器212从一个或多个其他UAV 102b至102d接收的多个图像进行处理。处理器202的例子可以是基于X86的处理器、精简指令集计算(RISC)处理器、专用集成电路(ASIC)处理器、复杂指令集计算(CISC)处理器和/或其他处理器。
飞行控制器204可以包括可以被配置为包括与感测单元通信地耦合以自动地控制第一UAV 102a的可编程微控制器的合适的逻辑、电路和/或接口。飞行控制器204可以确定各种控制系统变量，并且将这些控制系统变量存储在存储器单元206和/或辅助存储单元208中。控制变量的例子可以包括，但不限于，操作模式(自动/手动)、(一个或多个)控制器状态变量(诸如位置和/或速度)、和/或错误通知。飞行控制器204可以与一种或多种飞行模式相关联，飞行模式是基于飞行控制器使用感测单元和无线电控制输入以便使第一UAV102a飞行并稳定的方式。飞行控制器204可以基于本领域中已知的各种软件和硬件组件和配置来实现。
存储器单元206可以包括可以被配置为存储具有可由处理器202执行的至少一个代码段的机器代码和/或计算机程序的合适的逻辑、电路和/或接口。存储器单元206的实现的例子可以包括，但不限于，随机存取存储器(RAM)、只读存储器(ROM)、动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、晶闸管随机存取存储器(T-RAM)、零电容器随机存取存储器(Z-RAM)和/或高速缓存存储器。
辅助存储单元208可以包括可以被配置为存储不同的计算参数(诸如多个UAV 102和服务器106的存储器空间、存储能力和信息处理能力)的合适的逻辑、电路、接口和/或代码。辅助存储单元208可以被配置为存储多个UAV 102的控制器状态变量。辅助存储单元208可以被进一步配置为存储可以由处理器202确定的路径规划器。辅助存储单元208的例子可以包括，但不限于，存储器中数据库、主动数据库、云数据库、演绎数据库、分布式数据库、嵌入式数据库、实时数据库、并行数据库、空间数据库和/或时间数据库。
传感器单元210可以包括可以被配置为对由一个或多个传感器检测的传感器数据进行处理的合适的逻辑、电路、接口和/或代码。传感器单元210的例子可以包括，但不限于，地理定位系统(GPS)、陀螺仪、运动传感器、光传感器、热传感器、高度传感器、惯性传感器、光电传感器、红外传感器、光电检测器、压力传感器、磁罗盘、加速计和/或光学位置传感器。例如，GPS结合气压高度传感器可以确定第一UAV 102a的3D地点和方位信息。
收发器212可以包括可以被配置为经由通信网络108将命令、信息和/图像发送到其他装置/接收命令、信息和/图像的合适的逻辑、电路、接口和/或代码。收发器212可以包括，但不限于，天线、射频(RF)收发器、一个或多个放大器、调谐器、一个或多个振荡器、数字信号处理器、编码器-解码器(CODEC)芯片组、用户身份模块(SIM)卡、和/或本地缓冲器。收发器212可以经由无线通信与网络(诸如因特网、内联网和/或无线网络(诸如蜂窝电话网、无线局域网(LAN)和/或城域网(MAN)))通信。无线通信可以使用多个通信标准、协议和技术中的任何一个，诸如全球移动通信系统(GSM)、增强数据GSM环境(EDGE)、宽带码分多址(W-CDMA)、码分多址(CDMA)、时分多址(TDMA)、蓝牙、无线保真(Wi-Fi)(IEEE 802.11a、IEEE802.11b、IEEE 802.11g和/或IEEE 802.11n)、IP电话(VoIP)、Wi-MAX、用于电子邮件、即时消息传送和/或短消息服务的协议。
推进系统214是在飞行期间产生向上和向前推动第一UAV 102a的推力的一组机械和电气组件。推力可以由电机216、推进器218、ESC 220和电池222共同地产生。
电机216可以优选地为无刷直流(BLDC)电机，在该BLDC电机中，线圈要么被固定到外壳，要么被固定到内壳，并且磁铁旋转。基于针对给定电压的转速，无刷DC电机可以是内转式电机、外转式电机和混合转式电机中的一个。
推进器218可以包括具有预先指定的直径的转子叶片，这些转子叶片以预先配置的速度旋转以生成用于第一UAV 102a的最小力。除了预先指定的直径之外，推进器218进一步与转子叶片的形状、冲角、间距和表面面积相关联。推进器可以经由不同的材料制造，诸如注塑塑料、纤维增强聚合物、或天然材料(诸如木材)。推进器218可以进一步与推进器防护装置(或“支撑防护装置”)连接，这些推进器防护装置提供围绕推进器218的固定环/垫。
ESC 220可以包括可以被配置为允许飞行控制器204控制电机216的速度和方向的合适的逻辑、电路、接口和/或代码。通常的ESC 可以包括与电池222连接的电力输入、与电机216连接的插塞接头、以及受无线电控制的伺服连接器，该伺服连接器接受无线电控制信号以向第一UAV 102a中的电子器件提供动力。
电池222可以是用于第一UAV 102a的一个或多个电路或负载的电力源。例如，负载可以包括，但不限于，电机216、电动可调组件(诸如第一成像装置104a)和/或其他机载系统(诸如无线电、扬声器、电子导航系统、电控、电动和/或辅助转向系统)。电池222可以是可再充电电池、具有各种变化的纯锂聚合物(LiPo)(诸如锂-锰)。
在操作时，处理器202结合飞行控制器204可以执行飞行前诊断处理以监视与第一UAV 102a相关联的系统控制和状态变量。一旦飞行前诊断处理成功，飞行控制器204结合推进系统214就可以发起飞行并且变为升空。其后，现在升空的第一UAV 102a可以执行飞行中诊断处理以周期性地监视其系统控制和状态变量。
根据实施例，处理器202结合飞行控制器204可以被配置为经由通信网络108(诸如Wi-Fi)与一个或多个其他UAV 102b至102d、服务器106和用户终端110通信。可以根据飞行计划进行通信。根据实施例，飞行计划可以在飞行之前被预先指定并且被预先存储在存储器单元206和/或辅助存储单元208中。根据实施例，飞行计划可以在飞行期间由处理器202结合传感器单元210动态地确定。
根据实施例，处理器202可以基于本领域中已知的各种无线协议与网状网络或自组织网络中的一个或多个其他UAV 102b至102d通信。根据实施例，处理器202可以被进一步配置为集中地监视多个UAV102和/或服务器106的系统控制和状态变量。根据例子，处理器202可以被配置为将多个UAV 102和/或服务器106的系统控制和状态变量记录在状态变量表中。处理器202可以将状态变量表存储在存储器单元206和/或辅助存储单元208中。处理器202可以进一步基于多个UAV 102和/或服务器106的最新的状态变量来周期性地更新状态变量表。根据实施例，处理器202可以被预先配置为和/或被预先编程为用以监视多个UAV102和/或服务器106的主装置。
根据实施例，收发器212可以被配置为经由通信网络108从用户终端110接收用户输入。该用户输入可以由用户在用户终端110处经由I/O装置(诸如触摸屏)提供。接收的用户输入可以包括对一个或多个静止对象和/或移动对象的选择。一个或多个静止对象和/或移动对象可以在用户终端110处以视频流显示。例如，实况足球比赛可以在用户终端110处显示。用户可以是在足球比赛期间可能想对由运动中的运动员进行的特定射门进行分析的体育分析员。为此，用户可以在用户终端110的显示屏幕处提供触摸输入以选择运动中的运动员。
根据实施例，处理器202可以被配置为自动地从第一成像装置104a的FOV确定一个或多个静止对象和/或移动对象。这样的自动确定可以基于一个或多个静止对象和/或移动对象被标识为显著对象。一个或多个静止对象和/或移动对象的显著性可以基于与该对象相对应的相对于图像的前景或背景中的其他对象的更高的像素强度。一个或多个静止对象和/或移动对象的显著性可以进一步基于该对象相对于其他对象的光流。尽管如此，本公开可以不限于此，并且在不偏离本公开的范围的情况下，处理器202可以基于本领域中已知的其他的显著性参数将对象标识为显著对象。
根据本公开的第一方面，处理器202可以被配置为从收发器212接收用户输入。本领域的普通技术人员将理解，出于示例性的目的，已经描述了由第一UAV 102a的处理器202接收用户输入，这不可以被解释为限制本公开。可以在该例子中假定，第一UAV 102a可以被预先配置为和/或被预先编程为用以监视多个UAV 102和/或服务器106的主装置(由于计算资源的充足性)。尽管如此，本公开可以不限于第一UAV 102a被预先编程为主装置或控制器的配置。在不偏离本公开的范围的情况下，多个UAV 102中的具有充足的计算资源的其他UAV也可以被配置为或被编程为主装置。
根据实施例，基于接收的用户输入，处理器202可以被配置为经由无线通信信道(诸如Wi-Fi)从网状网络中的一个或多个其他UAV102b至102d和/或服务器106接收信息。该信息可以包括与一个或多个其他UAV 102b至102d相关联的一个或多个成像装置104b至104d的聚焦透镜信息、当前地点和当前方位。如图1中所描述的，该信息可以由一个或多个其他UAV 102b至102d基于相应的传感器单元中的各组传感器确定。处理器202可以被进一步配置为确定接收的用户输入中的所选择的一个或多个静止对象和/或移动对象的当前地点。
根据实施例，处理器202可以被配置为基于接收的聚焦透镜信息和公共的预定校准对象(诸如棋盘)的多个图像来确定一个或多个其他UAV 102b至102d的校准信息。处理器202可以被配置为将确定的校准信息传送给与一个或多个其他UAV 102b至102d相关联的一个或多个成像装置104b至104d。因此，一个或多个成像装置104b至104d的校准可以由相应的一个或多个其他UAV 102b至102d执行。因此，一个或多个成像装置104b至104d中的每个的一个或多个内在参数和/或外在参数可以被调整。处理器202可以被进一步配置为还调整第一成像装置104a的内在参数和外在参数。
根据实施例，处理器202可以被配置为确定一个或多个成像装置104b至104d的目标地点和目标方位。可以基于接收的聚焦透镜信息、接收的当前地点、接收的当前方位以及所选择的一个或多个静止对象或移动对象的当前地点来确定目标地点和目标方位。处理器202可以被配置为根据如图5A至图5D中说明的三角测量技术来确定其目标地点和目标方位。本领域的普通技术人员将理解，多个成像装置104的目标地点和目标方位可以对应于如图1中描述的多个成像装置104围绕所选择的一个或多个静止对象和/或移动对象的最佳布置。
根据实施例，处理器202可以被配置为将控制信息传送给一个或多个其他UAV102b至102d。基于接收的控制信息，一个或多个其他UAV 102b至102d可以修改一个或多个成像装置104b至104d的当前地点和当前方位。可以将一个或多个成像装置104b至104d的当前地点和当前方位修改为确定的目标地点和确定的目标方位。根据实施例，处理器202结合飞行控制器204可以被配置为将其当前地点和当前方位修改为经由三角测量技术确定的目标地点和目标方位。
一旦多个UAV 102将它们的当前地点和当前方位修改为目标地点和目标方位，多个成像装置104就可以捕捉一个或多个静止对象和/或移动对象的图像集合。图像集合可以包括由第一UAV 102a的第一成像装置104a捕捉的第一图像集合。第二图像集合可以分别由一个或多个其他UAV 102b至102d的一个或多个成像装置104b至104d捕捉。如图1中所描述的，可以基于由第一UAV 102a发送的同步信号动态地使第一图像集合与第二图像集合同步。多个成像装置104可以被进一步配置为基于一个或多个静止对象和/或移动对象的具有或没有标记信息的一个或多个球面位置来合作地捕捉与所选择的一个或多个静止对象和/或移动对象相关联的运动信息。
处理器202可以被进一步配置为动态地确定处理模式，可以基于该处理模式对由多个成像装置104捕捉的图像集合进行处理。该处理模式可以分别对应于如图4A、图4B和图4C中描述的分布式处理模式、集中式处理模式或集群式处理模式。处理器202可以基于从在最近的飞行中诊断处理期间更新的状态变量表中检索的计算资源的状态来动态地确定处理模式。计算资源可以对应于多个UAV 102和服务器106的计算带宽、存储器可用性和/或电池电平。因此，处理器202可以选择多个UAV 102或服务器106中的一个来以最佳的方式对图像集合进行处理。
根据实施例，基于计算资源的状态，处理器202可以确定最大计算带宽、存储器可用性和/或电池电平对于第一UAV 102a是可用的。在这样的情况下，处理器202可以被配置为经由收发器212从一个或多个其他UAV 102b至102d接收第二图像集合。处理器202可以被进一步配置为基于捕捉的第一图像集合和接收的第二图像集合来执行所选择的一个或多个静止对象和/或移动对象的3D结构的实时重构。这样的实时3D结构重构可以由处理器202根据第一应用来执行。本领域的普通技术人员可以理解，出于说明性的目的，上述3D结构重构是根据第一应用执行的。尽管如此，本公开可以不限于此，并且在不偏离本公开的范围的情况下，可以根据另一应用和多个UAV的不同的目标地点和目标方位来执行另一3D结构重构。
3D结构的重构可以由处理器202基于对于所选择的一个或多个静止对象和/或移动对象的3D场景解释和/或点云产生来执行。可以基于从其捕捉图像集合的多个UAV 102的目标地点和目标方位来执行对于所选择的一个或多个静止对象和/或移动对象的3D场景解释和/或点云产生。
根据实施例，基于计算资源的状态，处理器202可以确定服务器106表现出多个UAV102和服务器106当中的最大计算带宽、存储器可用性和/或电池电平。在这样的情况下，处理器202可以被配置为经由收发器212和通信网络108将捕捉的第一图像集合和接收的第二图像集合传送给服务器106。服务器106可以被进一步配置为以与上述类似的方式、基于接收的第一图像集合和第二图像集合来执行所选择的一个或多个静止对象和/或移动对象的3D结构的实时重构。
根据实施例，基于计算资源的状态，处理器202可以确定第一UAV 102a和第三UAV102c这二者都表现出多个UAV 102和服务器106当中的最大计算带宽、存储器可用性和/或电池电平。在这样的情况下，处理器202可以被配置为基于一个或多个准则(诸如物理接近度和/或状态变量的对应值)来标识第一组UAV。处理器202可以被进一步配置为确定一个或多个其他UAV 102b和102d中的哪个可以被包括在第一组UAV中。例如，处理器202可以标识第二UAV 102b可以被包括在第一组UAV中。第二UAV 102b可以被标识为离第一UAV 102a最近并且具有有限的计算资源(诸如不足的存储器可用性)。因此，可以建立包括第一UAV102a和第二UAV 102b的第一网络。第一网络也可以被称为第一集群。类似地，第三UAV 102c可以标识第四UAV 102d可以被包括在第二组UAV中。第四UAV 102d可以被标识为离第三UAV102c最近并且具有有限的资源(诸如边际电池电平)。因此，可以建立包括第三UAV 102c和第四UAV 102d的第二网络。第二网络也可以被称为第二集群。
在这样的情况下，处理器202可以从第二UAV 102b接收图像集合。由第一成像装置104a捕捉的图像集合和第一集群中的接收的图像集合可以被共称为第一图像集合。类似地，第四UAV 102d将捕捉的图像集合传送给第三UAV 102c。由第二集群中的第三UAV 102c和第四UAV 102d捕捉的图像集合可以被共称为第二图像集合。
第一UAV 102a中的处理器202和第三UAV 102c中的类似处理器可以被进一步配置为分别基于第一图像集合和第二图像集合来执行所选择的一个或多个静止对象和/或移动对象的3D结构的实时重构。这样的实时3D结构重构可以由处理器202和其他处理器根据应用来执行。
如图3中详细地说明的，两个3D结构的重构可以由处理器202和其他处理器基于对于所选择的一个或多个静止对象和/或移动对象的3D场景解释和/或点云产生来执行。根据实施例，处理器202和其他处理器可以被进一步配置为经由通信网络108将从第一图像集合和第二图像集合重构的3D结构传送给用户终端110。因此，在这样的情况下，用户终端110可以接收两个重构的3D结构以用于显示。
根据实施例，基于状态变量的最新的值，处理器202可以确定第一UAV 102a和第三UAV 102c现在表现出有限的资源，并且服务器106表现出可用的资源。在这样的情况下，处理器202和其他处理器可以将两个3D重构结构发送到服务器106，以用于进一步重构最终的3D结构。服务器106可以被进一步配置为经由通信网络106将最终的重构的3D结构传送给用户终端110。
图3是示出根据本公开的实施例的示例性服务器的框图。参考图3，示出了服务器106的框图。第一UAV 102a可以包括一个或多个处理器(诸如处理器302)、存储器单元304、辅助存储单元306和收发器308。处理器302可以与存储器单元304、辅助存储单元306和收发器308通信地连接。
在操作时，收发器308可以被配置为经由通信网络108从用户终端110接收用户输入。收发器308可以进一步将该用户输入传送给处理器302。基于该用户输入，处理器302可以被配置为经由收发器308从与多个成像装置104相关联的多个UAV 102接收信息。在这样的情况下，多个UAV 102和服务器106可以经由无线通信信道(诸如Wi-Fi)成为网状网络。该信息可以包括与多个成像装置104相关联的多个UAV 102的聚焦透镜信息、当前地点和当前方位。该信息可以由多个UAV 102基于其中安装的第一组传感器(诸如陀螺仪)来确定。该信息可以由多个UAV 102基于其中安装的第二组传感器(诸如图像传感器)来细化。
根据实施例，处理器302可以被配置为基于接收的聚焦透镜信息和公共的预定校准对象(诸如棋盘)的多个图像来确定多个UAV 102的校准信息。处理器302可以将确定的校准信息传送给多个UAV 102中的每个。因此，多个成像装置104的校准可以由多个UAV 102中的相应的UAV执行。如上面所说明的，多个成像装置104的校准可以由多个UAV 102执行，以调整多个成像装置104的一个或多个内在参数和/或外在参数。
根据实施例，处理器302可以被配置为确定多个成像装置104的目标地点和目标方位。可以基于接收的聚焦透镜信息、接收的当前地点、接收的当前方位以及所选择的一个或多个静止对象和/或移动对象的当前地点来确定目标地点和目标方位。如图1中所描述的，本领域的普通技术人员将理解，多个成像装置104的目标地点和目标方位可以对应于多个成像装置104围绕所选择的一个或多个静止对象和/或移动对象的最佳布置。
根据实施例，处理器302可以被配置为经由收发器308将控制信息传送给多个UAV102。基于接收的控制信息，多个UAV 102可以修改多个成像装置104的当前地点和当前方位。可以将多个成像装置104的当前地点和当前方位修改为确定的目标地点和确定的目标方位。
一旦多个UAV 102将它们的当前地点和当前方位修改为目标地点和目标方位，多个成像装置104就可以捕捉一个或多个静止对象和/或移动对象的图像集合。图像集合可以对应于由多个成像装置104以同步的方式捕捉的图像。可以基于由处理器302发送的同步信号来动态地使图像集合中的每个图像相对于其他图像同步。
多个成像装置104可以被进一步配置为合作地捕捉与所选择的一个或多个静止对象和/或移动对象相关联的运动信息。根据实施例，可以由多个成像装置104基于一个或多个静止对象和/或移动对象的具有或没有本领域中已知的标记信息的一个或多个球面位置合作地捕捉运动信息。多个UAV 102可以经由通信网络108将捕捉的图像集合和所选择的一个或多个静止对象和/或移动对象的运动信息传送给收发器308。收发器308可以进一步将接收的图像集合和运动信息传送给处理器302。
根据实施例，处理器302可以被进一步配置为基于接收的图像集合和运动信息来执行所选择的一个或多个静止对象和/或移动对象的3D结构的实时重构。这样的实时3D结构重构可以由处理器302根据应用的类型来执行。
3D结构的重构可以由处理器302基于3D点云产生来执行。处理器302可以被配置为基于接收的图像集合来产生3D点云。从接收的图像集合，处理器302可以确定表示3D坐标系中的所选择的对象的外表面的数据点集合。处理器302可以被进一步配置为执行3D场景解释，以从3D点云重构全世界几何结构。处理器302其后可以估计形状模型和表面模型，以为所选择的对象产生混合几何模型。基于混合几何模型，处理器可以被配置为在3D结构空间中执行所选择的对象的表面重构。处理器302可以被进一步配置为经由通信网络108将重构的3D结构传送给用户终端110。用户终端110可以显示接收的重构的3D结构。
图4A示出根据本公开的实施例的第一网络环境，第一网络环境包括用于在分布式处理模式下进行3D结构重构的多个UAV和用户终端。图4A是结合图1、图2和图3的元件描述的。参考图4A，在网状网络中存在多个UAV 102。多个UAV 102和用户终端110可以经由通信网络108相互通信。
在操作时，用户终端110可以被配置为将用户输入传送给多个UAV 102，诸如第一UAV 102a。本领域的普通技术人员将理解，出于示例性的目的，已经描述了将用户输入传送给第一UAV 102a，这不可以被解释为限制本公开。可以在该例子中假定，第一UAV 102a可以被预先配置为和/或被预先编程为用以监视多个UAV 102和/或服务器106的主装置(由于计算资源的充足性)。尽管如此，本公开可以不限于第一UAV 102a被预先编程为主装置或控制器的配置。在不偏离本公开的范围的情况下，多个UAV 102中的具有充足的计算资源的其他UAV也可以被配置为或被编程为主装置。
根据实施例，第一UAV 102a可以被进一步配置为经由无线通信信道(诸如Wi-Fi)从一个或多个其他UAV 102b至102d接收信息。如图1中所说明的，该信息可以包括与一个或多个其他UAV 102b至102d相关联的一个或多个成像装置104b至104d的聚焦透镜信息、当前地点和当前方位。该信息可以由一个或多个其他UAV 102b至102d基于其中安装的第一组传感器(诸如陀螺仪)来确定。该信息可以由一个或多个其他UAV 102b至102d基于其中安装的第二组传感器(诸如图像传感器)来细化。第一UAV 102a可以被进一步配置为确定接收的用户输入中的所选择的一个或多个静止对象和/或移动对象的当前地点。
根据实施例，第一UAV 102a可以被配置为基于接收的聚焦透镜信息和公共的预定校准对象的多个图像来确定一个或多个其他UAV 102b至102d的校准信息。第一UAV 102a可以被进一步配置为将确定的校准信息传送给与一个或多个其他UAV 102b至102d相关联的一个或多个成像装置104b至104d。因此，一个或多个成像装置104b至104d的校准可以由相应的一个或多个其他UAV 102b至102d执行，以调整一个或多个成像装置104b至104d的一个或多个内在参数和/或外在参数。
根据实施例，第一UAV 102a可以被配置为确定一个或多个成像装置104b至104d的目标地点和目标方位。可以基于接收的聚焦透镜信息、接收的当前地点、接收的当前方位以及所选择的一个或多个静止对象和/或移动对象的当前地点来确定目标地点和目标方位。第一UAV 102a可以被配置为根据如图5A至图5D中说明的三角测量技术来确定其目标地点和目标方位。本领域的普通技术人员将理解，多个成像装置104的目标地点和目标方位可以对应于多个成像装置104围绕所选择的一个或多个静止对象和/或移动对象的最佳布置。多个UAV 102的最佳布置对应于包括所选择的一个或多个静止对象和/或移动对象的3D场景结构在多个成像装置104的预定分辨率上的最大覆盖。
根据实施例，第一UAV 102a可以被配置为将控制信息传送给一个或多个其他UAV102b至102d。基于接收的控制信息，一个或多个其他UAV 102b至102d可以修改一个或多个成像装置104b至104d的当前地点和当前方位。可以将一个或多个成像装置104b至104d的当前地点和当前方位修改为确定的目标地点和确定的目标方位。根据实施例，第一UAV 102a可以被配置为将其当前地点和当前方位修改为经由三角测量技术确定的目标地点和目标方位。
一旦多个UAV 102将它们的当前地点和当前方位修改为目标地点和目标方位，多个成像装置104就可以捕捉一个或多个静止对象和/或移动对象的图像集合。图像集合可以包括由第一UAV 102a的第一成像装置104a捕捉的第一图像集合。第二图像集合可以分别由一个或多个其他UAV 102b至102d的一个或多个成像装置104b至104d捕捉。可以基于由第一UAV 102a发送的同步信号来动态地使第一图像集合与第二图像集合同步。同步信号可以建立多个成像装置104之间的定时相关性，以使得第一图像集合和第二图像集合实时地表现出最小时间的时间流逝。
多个成像装置104可以被进一步配置为合作地捕捉与所选择的一个或多个静止对象和/或移动对象相关联的运动信息。根据实施例，可以由多个成像装置104基于一个或多个静止对象和/或移动对象的具有或没有本领域中已知的标记信息的一个或多个球面位置合作地捕捉运动信息。
第一UAV 102a可以被进一步配置为动态地确定处理模式，可以基于该处理模式对由多个成像装置104捕捉的图像集合进行处理。该处理模式可以对应于分布式处理模式、集中式处理模式或集群式处理模式。第一UAV 102a可以基于从在最近的飞行中诊断处理期间更新的状态变量表中检索的计算资源的状态来动态地确定处理模式。计算资源可以对应于多个UAV 102和服务器106的计算带宽、存储器可用性和/或电池电平。因此，第一UAV 102a可以选择多个UAV 102或服务器106中的一个来以最佳的方式对图像集合进行处理。
根据实施例，当网状网络中的多个UAV 102的计数超过阈值时，分布式处理模式可以由第一UAV 102a动态地确定。在这样的情况下，分布式处理模式可以改进应用的总体性能。分布式处理模式可以包括多个UAV 102之间的负载共享。
分布式处理模式可以基于安装在多个UAV 102中的每个(诸如第一UAV 102a)中的一个或多个系统组件来实现。一个或多个系统组件可以包括：UAV监视器、资源分配管理器、资源协调器和资源迁移管理器。UAV监视器可以周期性地检查第一UAV 102a的状态变量，以确定一个或多个计算资源的状态信息。因此，在一个或多个计算资源的状态信息在预定义阈值以下的情况下，UAV监视器可以确定第一UAV 102a过载。消息管理器结合UAV监视器可以确定第一UAV 102a相对于一个或多个其他UAV 102b至102d的通信依赖比率。根据实施例，第一UAV 102a相对于一个或多个其他UAV 102b至102d的通信依赖比率可以超过预定阈值。因此，资源分配管理器可以动态地将一个或多个其他UAV 102b至102d的一个或多个计算资源分布给第一UAV 102a。资源协调器可以将一个或多个其他UAV 102b至102d的一个或多个计算资源协调给第一UAV 102a。资源迁移管理器可以将来自一个或多个其他UAV 102b至102d的一个或多个计算资源虚拟地迁移到第一UAV 102a。
例如，当第一UAV 102a表现出有限的存储器空间时，一个或多个其他UAV 102b至102d的存储器空间可以被虚拟地迁移到第一UAV 102a。在这样的情况下，第一UAV 102a可以被配置为利用从一个或多个其他UAV 102b至102d迁移的虚拟存储器空间来执行实时3D结构重构。可以基于第一图像集合和第二图像集合来执行所选择的一个或多个静止对象和/或移动对象的3D结构的实时重构。这样的实时3D结构重构可以由第一UAV 102a根据第一应用来执行。尽管如此，本公开可以不限于此，并且在不偏离本公开的范围的情况下，可以根据另一应用和多个UAV的不同的目标地点和目标方位来执行另一3D结构重构。
如在图3中所说明的，3D结构的重构可以由第一UAV 102a基于对于所选择的一个或多个静止对象和/或移动对象的3D场景解释和/或点云产生来执行。根据实施例，第一UAV102a可以被进一步配置为经由通信网络108将重构的3D结构传送给用户终端110以用于显示。
图4B示出根据本公开的实施例的第二网络环境，第二网络环境包括用于在集中式处理模式下进行3D结构重构的多个UAV和服务器。图4B是结合图1、图2和图3的元件描述的。参考图4B，存在经由通信网络108相互通信的多个UAV 102、服务器106和用户终端110。
在操作时，用户终端110可以被配置为将接收的用户输入传送给服务器106。基于该用户输入，服务器106可以被配置为从与多个成像装置104相关联的多个UAV 102接收信息。在这样的情况下，多个UAV 102和服务器106可以经由无线通信信道(诸如Wi-Fi)成为网状网络。如图4B中所说明的，该信息可以包括与多个成像装置104相关联的多个UAV 102的聚焦透镜信息、当前地点和当前方位。
根据实施例，服务器106可以被配置为基于接收的聚焦透镜信息和公共的预定校准对象的多个图像来确定多个UAV 102的校准信息。服务器106可以被配置为将确定的校准信息传送给与多个UAV 102相关联的多个成像装置104。因此，多个成像装置104的校准可以由多个UAV 102中的相应的UAV执行。如上面所说明的，多个成像装置104的校准可以由多个UAV 102执行，以调整多个成像装置104的一个或多个内在参数和/或外在参数。
根据实施例，服务器106可以被配置为确定多个成像装置104的目标地点和目标方位。可以基于接收的聚焦透镜信息、接收的当前地点、接收的当前方位以及所选择的一个或多个静止对象和/或移动对象的当前地点来确定目标地点和目标方位。如图4B中所说明的，本领域的普通技术人员将理解，多个成像装置104的目标地点和目标方位可以对应于多个成像装置104围绕所选择的一个或多个静止对象和/或移动对象的最佳布置。
根据实施例，服务器106可以被配置为将控制信息传送给多个UAV 102。基于接收的控制信息，多个UAV 102可以修改多个成像装置104的当前地点和当前方位。可以将多个成像装置104的当前地点和当前方位修改为确定的目标地点和确定的目标方位。
一旦多个UAV 102将它们的当前地点和当前方位修改为目标地点和目标方位，多个成像装置104就可以捕捉一个或多个静止对象和/或移动对象的图像集合。图像集合可以对应于由多个成像装置104以同步的方式捕捉的图像。可以基于由服务器106发送的同步信号来动态地使图像集合中的每个图像相对于其他图像同步。多个成像装置104可以被进一步配置为合作地捕捉与所选择的一个或多个静止对象和/或移动对象相关联的运动信息。多个UAV 102可以将捕捉的图像集合和所选择的一个或多个静止对象和/或移动对象的运动信息传送给服务器106。
根据实施例，如图4B中所说明的，服务器106可以被进一步配置为基于接收的图像集合来执行所选择的一个或多个静止对象和/或移动对象的3D结构的实时重构。
图4C示出根据本公开的实施例的第三网络环境，第三网络环境包括用于在集群式处理模式下进行3D结构重构的多个UAV和/或服务器。图4C是结合图1、图2和图3的元件描述的。参考图4C，存在经由通信网络108相互通信的多个UAV 102和用户终端110。
在操作时，集群式处理模式可以基于安装在多个UAV 102中的每个(诸如第一UAV102a)中的一个或多个系统组件来实现。一个或多个系统组件可以包括：通信管理器、UAV监视器、资源分配管理器、资源协调器和资源迁移管理器。通信管理器结合UAV监视器可以确定每个UAV相对于多个UAV 102中的一个或多个其他UAV的通信依赖比率。根据实施例，第一UAV 102a相对于第二UAV 102b的通信依赖比率可以超过预定阈值。类似地，第三UAV 102c相对于第四UAV 102d的通信依赖比率也可以超过预定阈值。因此，可以形成第一集群402和第二集群404，第一集群402包括第一UAV 102a和第二UAV 102b，第二集群404包括第三UAV102c和第四UAV 102d。第一集群402和第二集群404的形成可以进一步基于接近度参数以降低通信成本。根据实施例，第一UAV 102a和第三UAV 102c可以分别被动态地确定为第一集群402和第二集群404中的主UAV。这样的动态确定可以基于对应UAV的UAV监视器的一个或多个计算资源的状态信息。根据实施例，第一UAV 102a和第三UAV 102c可以分别被预先确定为第一集群402和第二集群404中的主UAV。本领域的普通技术人员将理解，出于示例性的目的，已经描述了第一UAV 102a和第三UAV 102c被确定为主UAV的通信，这不可以被解释为限制本公开。尽管如此，本公开可以不限于第一UAV 102a和第三UAV 102c被预先编程为主装置或控制器的配置。在不偏离本公开的范围的情况下，多个UAV 102中的具有足够的计算资源的其他UAV可以被配置为或被编程为主装置或控制器。
用户终端110可以被配置为将接收的用户输入传送给多个UAV 102中的多于一个的UAV，诸如第一UAV 102a和第三UAV 102c。根据实施例，基于用户输入，第一集群402中的第一UAV 102a可以被配置为从第二UAV 102b接收信息。类似地，第二集群404中的第三UAV102c可以被配置为从第四UAV 102d接收信息。该信息可以包括分别与第二UAV 102b和第四UAV 102d相关联的第二成像装置104b和第四成像装置104d的聚焦透镜信息、当前地点和当前方位。如图1中所描述的，该信息可以由第二UAV 102b和第四UAV 102d来确定。
根据实施例，第一集群402中的第一UAV 102a可以被配置为确定第二成像装置104b的校准信息。类似地，第二集群404中的第三UAV 102c可以被配置为确定第四成像装置104d的校准信息。第一UAV 102a和第三UAV 102c可以被配置为将确定的校准信息分别传送给第二成像装置104b和第四成像装置104d。
第二成像装置104b和第四成像装置104d的校准可以由第二UAV 102b和第四UAV102d执行。如图1中所描述的，可以执行校准来调整第二成像装置104b和第四成像装置104d的一个或多个内在参数和/或外在参数。
根据实施例，第一集群402中的第一UAV 102a可以被配置为确定第二成像装置104b的目标地点和目标方位。类似地，第二集群404中的第三UAV 102c可以被配置为确定第四成像装置104d的目标地点和目标方位。第一UAV 102a和第三UAV 102c可以被配置为根据相应集群中的三角测量技术来确定它们的目标地点和目标方位。
根据实施例，第一集群402中的第一UAV 102a可以被配置为将控制信息传送给第二UAV 102b。类似地，第二集群404中的第三UAV 102c可以被配置为将控制信息传送给第四UAV 102d。基于接收的控制信息，第二UAV 102b和第四UAV 102d可以分别修改第二成像装置104b和第四成像装置104d的当前地点和当前方位。可以将第二成像装置104b和第四成像装置104d的当前地点和当前方位修改为确定的目标地点和确定的目标方位。根据实施例，第一UAV 102a和第三UAV 102c可以被配置为将其当前地点和当前方位修改为经由三角测量技术确定的目标地点和目标方位。
一旦多个UAV 102将它们的当前地点和当前方位修改为目标地点和目标方位，多个成像装置104就可以捕捉一个或多个静止对象和/或移动对象的多个图像。多个图像可以由不同集群中的多个成像装置104捕捉。第一多个图像可以包括由第一集群402中的第一UAV 102a的第一成像装置104a和第二UAV 102b的第二成像装置104b捕捉的图像。第二多个图像可以包括由第二集群404中的第三UAV 102c的第三成像装置104c和第四UAV 102d的第四成像装置104d捕捉的图像。如图1中所说明的，可以基于在第一UAV 102a和第三UAV 102c之间传送的同步信号来动态地使第一多个图像与第二多个图像同步。
基于第一多个图像，第一UAV 102a可以被进一步配置为执行所选择的一个或多个静止对象和/或移动对象的3D结构的实时重构。类似地，第三UAV 102c可以被进一步配置为基于第二多个图像来执行所选择的一个或多个静止对象和/或移动对象的3D结构的实时重构。在每个集群中，多个UAV 102中的每个的UAV监视器可以周期性地检查对应UAV的状态变量，以确定一个或多个计算资源的状态信息。在UAV过载的情况下，资源分配管理器结合UAV监视器可以在集群内动态地分布一个或多个计算资源。资源协调器可以将第二UAV 102b和第四UAV 102d的一个或多个计算资源协调到相应集群中的第一UAV 102a和第三UAV 102c。资源迁移管理器可以虚拟地将来自第二UAV 102b和第四UAV 102d的一个或多个计算资源迁移到相应集群中的第一UAV 102a和第三UAV 102c。
如图3中所说明的，两个3D结构的重构可以由第一UAV 102a和第三UAV 102c基于对于所选择的一个或多个静止对象和/或移动对象的3D场景解释和/或点云产生来执行。根据实施例，第一UAV 102a和第三UAV 102c可以被进一步配置为经由通信网络108将从第一多个图像和第二多个图像重构的两个3D结构传送给用户终端110。因此，在这样的情况下，用户终端110可以接收两个重构的3D结构以用于显示。
图5A至图5D共同地示出根据本公开的实施例的用以确定示例性UAV的地点的示例性三角测量技术。图5A至图5D是结合图1、图2和图3的元件描述的。参考图5A至图5D，至少示出了第一UAV 102a、第二UAV 102b和第三UAV 102c。可以应用示例性三角测量技术来确定第一UAV 102a、第二UAV 102b和第三UAV 102c中的一个或全部的位置和方位。进一步示出了一个或多个静止对象或移动对象，诸如足球运动员502。
通常，可以基于GPS传感器数据来确定第一UAV 102a、第二UAV 102b和第三UAV102c的位置。然而，当基于GPS传感器数据来确定第一UAV 102a、第二UAV 102b或第三UAV102c的位置时，可能引入显著的随机误差。为了克服这样的显著的随机误差，示例性三角测量技术确定第一UAV 102a的地点。
在操作时，在特定的时刻，如图5A中所示，第一UAV 102a、第二UAV 102b和第三UAV102c可以相对于足球运动员502是升空的。第一UAV 102a、第二UAV 102b和第三UAV 102c可以与相应的当前地点和当前方位相关联。因此，可以通过本领域中已知的各种距离确定技术来确定第一UAV 102a、第二UAV 102b和第三UAV 102c之间的距离。例如，当第一UAV102a、第二UAV 102b和第三UAV 102c中的每个均包括收发器时，可以利用射频(RF)信号来进行这样的距离确定。收发器可以能够发送和接收RF信号。
根据示例性情形，如图5A中所示，可以确定第二UAV 102b和第三UAV 102c之间的第一距离“a”。可以确定第一UAV 102a和第三UAV 102c之间的第二距离“b”。可以确定第一UAV 102a和第二UAV 102b之间的第三距离“c”。因此，如图5B中所示，可以用分别与第一UAV102a、第二UAV 102b和第三UAV 102c相对应的顶点“A”、“B”和“C”来形成三角形。此外，两个另外的可能的布置已经在图5C和图5D中示出。可以基于数学表达式的顺序来确定顶点“A”、“B”和“C”的位置。可以基于如下的数学表达式(1)来计算三角形的面积：
面积＝√s*(s-a)*(s-b)*(s-c) (1)
其中，“面积”是图5B中所示的三角形的面积。“s”是按(a+b+c)/2计算的三角形的半参数。
基于计算的面积，可以基于如下的数学表达式(2)来计算三角形的高度：
H＝2*面积/底边长度 (2)
其中，“H”是图5B中所示的三角形的高度。
基于计算的三角形的高度，可以基于如下的数学表达式(3)和(4)来计算内角：
角(c)＝sin-1(高度/b) (3)
角(b)＝sin-1(高度/c) (4)
其中，“角(c)”和“角(b)”是使用反正弦公式获得的、顶点“B”和“C”处的内角。
此外，三角形的底边可以与x轴形成角度，该角度可以基于底边的单位向量和x轴的单位向量的点积的反余弦来计算。可以将所有的顶点“A”、“B”和“C”都旋转该角度，以基于如下的数学表达式(5)获得旋转的点：
Figure BDA0001751623820000411
其中，“θ”是旋转角度。
在所有点围绕顶点“B”的旋转之前，可以将点平移与顶点“B”离原点的距离相等的距离。在旋转之后，可以将所有的点都往回平移相同的距离，以使得它看起来像点围绕顶点“B”旋转一样。平移方程可以基于如下的数学表达式(6)：
Figure BDA0001751623820000412
因此，用于顶点“C”的在两个维度上的方程可以用如下的数学表达式(7)和(8)来表示：
Cx＝Cosθ(Cx–Bx)–Sinθ(Cy–By)+Bx (7)
Cy＝Sinθ(Cx–Bx)+Cosθ(Cy–By)+By (8)
其中，“Cx”是顶点“C”的x坐标；
“Cy”是顶点“C”的y坐标；以及
“θ”是旋转角度。
可以检查顶点“C”处的角度是锐角、还是钝角。当该角度是锐角时，那么顶点“A”的位置可以用如下的数学表达式(9)和(10)来表示：
A.x＝C.x-b*cos(顶点C处的角度)(9)
A.y＝C.y+b*sin(顶点C处的角度)(10)
当该角度是钝角时，那么顶点“A”的位置可以用如下的数学表达式(11)和(12)来表示：
A.x＝B.x+c*cos(顶点B处的角度)(11)
A.y＝B.y+c*sin(顶点B处的角度)(12)
最后，可以将所有的点都回转角度“θ”的负角度，以获得顶点“A”的最终位置。类似地，可以基于连接UAV(诸如第一UAV 102a)的头部和尾部的向量来确定第一UAV 102a、第二UAV 102b和第三UAV102c的方位，该向量用如下的数学表达式(13)表示：
大小＝√向量.x2+向量.y2 (13)
其中，“向量.x”＝第一UAV 102a的x坐标的尾部.x–头部.x；以及“向量.y”＝第一UAV 102a的y坐标的尾部.y–头部.y
因此，可以基于如下的数学表达式(14)和(15)来计算单位向量分量：
单位向量.x＝向量.x/大小 (14)
单位向量.y＝向量.y/大小 (15)
为了获得向量与y轴形成的角度，可以计算单位向量与表示y轴的单位向量的点积。可以基于如下的数学表达式(16)来计算该点积的反余弦，该反余弦计算头部相对于y轴的方位角度：
–θ＝cos-1(点积)(16)
如果角度“θ”是在逆时针方向上计算的，则可以从360度减去角度“θ”。这可以确定第一UAV 102a的头部从y轴起算的方位。为了确定第一UAV 102a的尾部相对于y轴的方位，可以从180度减去角度“θ”。如果角度“θ”小于0度，则可以将360度与角度“θ”相加，以指示第一UAV 102a的尾部相对于y轴的最终方位。
图6A至图6C共同地示出用于实现根据本公开的实施例的用于图像处理的示例性方法的示例性情形。图6A至图6C是结合图1至图5D的元件描述的。参考图6A至图6C，示出了在高尔夫球场地602中进行高尔夫球锦标赛的示例性情形，在高尔夫球场地602中，高尔夫球运动员604正在打球。在用户终端110的用户界面606处示出了由示例性图像捕捉器件(未示出)捕捉的高尔夫球锦标赛的实况视频流。进一步示出了高尔夫球场地602中的多个UAV102。
参考图6A，如图1中所描述的，多个UAV 102中的每个可以执行飞行前诊断处理以监视与多个UAV 102相关联的系统控制和状态变量。一旦飞行前诊断处理成功，则多个UAV102就可以发起飞行，并且变为升空。其后，现在升空的多个UAV 102可以执行飞行中诊断处理以周期性地监视各自的系统控制和状态变量。
多个UAV 102可以被配置为根据预先编程的飞行计划、经由通信网络108(诸如Wi-Fi)相互通信。多个UAV 102中的一个(诸如第一UAV 102a)可以被预先配置为主装置以集中式地监视一个或多个其他UAV 102b至102d的系统控制和状态变量。第一UAV 102a可以被配置为监视并记录一个或多个其他UAV 102b至102d的系统控制和状态变量。因此，第一UAV102a可以产生状态变量表，该状态变量表可以存储并周期性地更新一个或多个其他UAV102b至102d的状态变量。
在例子中，第一UAV 102a可以自动地选择高尔夫球运动员604作为高尔夫球场地602中的显著对象。在另一例子中，用户(诸如体育分析员)可以在用户终端110的用户界面606处提供基于触摸的输入来选择高尔夫球运动员604。在这样的情况下，用户终端110可以被配置为将接收的用户输入传送给第一UAV 102a。
响应于用户输入的接收，第一UAV 102a可以被配置为从一个或多个其他UAV 102b至102d接收信息。该信息可以包括与一个或多个其他UAV 102b至102d相关联的一个或多个成像装置104b至104d的聚焦透镜信息、当前地点和当前方位。第一UAV 102a可以被进一步配置为确定高尔夫球运动员604在高尔夫球场地602中的当前地点。
根据实施例，如图1中所说明的，第一UAV 102a可以被配置为基于接收的聚焦透镜信息和公共的预定校准对象的多个图像来确定一个或多个其他UAV 102b至102d的校准信息。第一UAV 102a可以被配置为将确定的校准信息传送给与一个或多个其他UAV 102b至102d相关联的一个或多个成像装置104b至104d。因此，一个或多个成像装置104b至104d的校准可以由相应的一个或多个其他UAV 102b至102d执行。一个或多个成像装置104b至104d的校准可以由一个或多个其他UAV 102b至102d执行，以调整一个或多个成像装置104b至104d的一个或多个内在参数和/或外在参数。
根据实施例，第一UAV 102a可以被配置为确定一个或多个成像装置104b至104d的目标地点和目标方位。可以基于接收的聚焦透镜信息、接收的当前地点、接收的当前方位以及所选择的一个或多个静止对象或移动对象的当前地点来确定目标地点和目标方位。第一UAV102a可以被配置为根据如图5A至图5D中说明的三角测量技术来确定其目标地点和目标方位。
根据实施例，第一UAV 102a可以被配置为将控制信息传送给一个或多个其他UAV102b至102d。基于接收的控制信息，一个或多个其他UAV 102b至102d可以修改一个或多个成像装置104b至104d的当前地点和当前方位。可以将一个或多个成像装置104b至104d的当前地点和当前方位修改为确定的目标地点和确定的目标方位。根据实施例，第一UAV 102a可以被配置为将其当前地点和当前方位修改为经由三角测量技术确定的目标地点和目标方位。
一旦多个UAV 102将它们的当前地点和当前方位修改为目标地点和目标方位，多个成像装置104就可以如图6B中所示那样捕捉高尔夫球运动员604的图像集合608。例如，第一图像608a可以由第一UAV 102a的第一成像装置104a捕捉，并且第二图像608b可以由第二UAV 102b的第二成像装置104b捕捉。类似地，第三图像608c可以由第三UAV 102c的第三成像装置104c捕捉，并且第四图像608d可以由第四UAV 102d的第四成像装置104d捕捉。可以基于由第一UAV 102a发送的同步信号来使图像集合608相互同步。
多个成像装置104可以被进一步配置为合作地捕捉与所选择的高尔夫球运动员604相关联的运动信息。第一UAV 102a可以核对所选择的高尔夫球运动员604的图像集合608和运动信息。第一UAV 102a可以被进一步配置为动态地确定分布式处理模式，可以基于该分布式处理模式对由多个成像装置104捕捉的图像集合进行处理。第一UAV102a可以基于从在最近的飞行中诊断处理期间更新的状态变量表中检索的计算资源的状态来动态地确定分布式处理模式。
根据实施例，基于计算资源的状态，第一UAV 102a可以确定第一UAV 102a本身表现出最大计算带宽。然而，存储器可用性对于第一UAV 102a可能是不足的。在这样的情况下，第一UAV 102a的消息管理器结合UAV监视器可以确定第一UAV 102a相对于一个或多个其他UAV 102b至102d的通信依赖比率超过预定的阈值。因此，一个或多个其他UAV 102b至102d的资源分配管理器可以动态地将存储器空间分布到第一UAV 102a。多个UAV 102的资源协调器可以协调用于图像处理的存储器空间。一个或多个其他UAV 102b至102d的资源迁移管理器可以虚拟地将存储器空间迁移到第一UAV 102a。
第一UAV 102a可以被配置为如图6C中所示地那样基于图像集合608来重构所选择的高尔夫球运动员604的实时3D结构。这样的实时3D结构610的重构可以由第一UAV 102a基于本地的和虚拟迁移的计算资源执行。如图3中所说明的，3D结构610的重构可以由第一UAV102a基于对于高尔夫球运动员604的3D场景解释和/或点云产生来执行。
根据实施例，第一UAV 102a可以被进一步配置为经由通信网络108将重构的3D结构610传送给用户终端110。因此，在这样的情况下，用户终端110可以接收重构的3D结构610以用于显示。根据实施例，用户终端110可以进一步可操作为接收用以修改重构的3D结构610的视点的另一用户输入。可以将与修改的视点相对应的请求传送回到第一UAV 102a。基于该请求，第一UAV 102a可以再次分别确定一个或多个其他UAV 102b至102d的新的目标地点和目标方位。第一UAV 102a可以以与上述类似的方式从一个或多个其他UAV 102b至102dUAV接收新的图像集合。可以再次以与上述类似的方式执行3D结构的重构并且经由通信网络108将该重构的3D结构传送给用户终端110。
图7A和图7B共同地示出用于实现根据本公开的实施例的用于图像处理的示例性方法的第一流程图。图7A和图7B是结合图1至图5D的元件描述的。可以根据分布式处理模式将根据图7A和图7B中的流程图700的方法实现在多个UAV 102中的第一UAV 102a中。该方法从步骤702开始，并且继续进行到步骤704。
在步骤704，可以从用户终端(诸如用户终端110)接收用户输入。在步骤706，响应于接收的用户输入，可以经由无线通信信道(诸如Wi-Fi)从一个或多个其他UAV 102b至102d接收信息。该信息可以包括与一个或多个其他UAV 102b至102d相关联的一个或多个成像装置104b至104d的聚焦透镜信息、当前地点和当前方位。该信息可以由一个或多个其他UAV 102b至102d基于其中安装的第一组传感器(诸如陀螺仪)来确定。该信息可以由一个或多个其他UAV 102b至102d基于其中安装的第二组传感器(诸如图像传感器)来细化。在步骤708，可以确定所选择的一个或多个静止对象和/或移动对象的当前地点。
在步骤710，可以基于接收的聚焦透镜信息和公共的预定校准对象的多个图像来确定一个或多个其他UAV 102b至102d的校准信息。在步骤712，可以将确定的校准信息传送给与一个或多个其他UAV102b至102d相关联的一个或多个成像装置104b至104d。因此，一个或多个成像装置104b至104d的校准可以由相应的一个或多个其他UAV 102b至102d执行，以调整一个或多个成像装置104b至104d的一个或多个内在参数和/或外在参数。
在步骤714，可以确定一个或多个成像装置104b至104d的目标地点和目标方位。可以基于接收的聚焦透镜信息、接收的当前地点、接收的当前方位以及所选择的一个或多个静止对象和/或移动对象的当前地点来确定目标地点和目标方位。在步骤716，可以根据如图5A至图5D中说明的三角测量技术来确定第一UAV 102a的目标地点和目标方位。多个成像装置104的目标地点和目标方位可以对应于多个成像装置104围绕所选择的一个或多个静止对象和/或移动对象的最佳布置。多个UAV 102的最佳布置对应于包括所选择的一个或多个静止对象和/或移动对象的3D场景结构在多个成像装置104的预定分辨率上的最大覆盖。
在步骤718，可以将控制信息传送给一个或多个其他UAV 102b至102d。基于接收的控制信息，一个或多个其他UAV 102b至102d可以修改一个或多个成像装置104b至104d的当前地点和当前方位。可以将一个或多个成像装置104b至104d的当前地点和当前方位修改为确定的目标地点和确定的目标方位。此外，可以将第一UAV 102a的当前地点和当前方位修改为经由三角测量技术确定的目标地点和目标方位。
在步骤720，可以将同步信号发送给一个或多个其他UAV 102b至102d。在步骤722，第一成像装置104a可以捕捉第一图像集合。此外，一个或多个其他UAV 102b至102d的一个或多个成像装置104b至104d可以分别捕捉第二图像集合。此外，一个或多个其他UAV 102b至102d可以合作地捕捉与所选择的一个或多个静止对象和/或移动对象相关联的运动信息。
在步骤722，可以从一个或多个其他UAV 102b至102d接收第二图像集合。在步骤724，可以从在最近的飞行中诊断处理期间更新的状态变量表中检索计算资源的状态。计算资源可以对应于多个UAV102的计算带宽、存储器可用性和/或电池电平。
在步骤726，UAV监视器可以检查第一UAV 102a的状态变量，以基于检索的状态变量表来确定一个或多个计算资源的充足性。在实例中，可以确定一个或多个计算资源是充足的。在这样的情况下，可以将控制转到步骤730。在实例中，可以确定一个或多个计算资源是不足的。在这样的情况下，可以将控制转到步骤728。
在步骤728，可以根据分布式处理模式从一个或多个其他UAV102b至102d虚拟地接收一个或多个计算资源。在步骤730，如图3中所说明的，可以基于对于所选择的一个或多个静止对象或移动对象的3D场景解释和/或点云产生来执行3D结构重构。在步骤732，可以经由通信网络108将重构的3D结构传送给用户终端110以用于显示。控制转到结束步骤734。
图8示出用于实现根据本公开的实施例的用于图像处理的示例性方法的第二流程图。图8是结合图1至图5D的元件描述的。可以根据集中式处理模式将根据图8中的流程图800的方法实现在服务器106中。该方法从步骤802开始，并且继续进行到步骤804。
在步骤804，可以从用户终端110接收用户输入。在步骤806，响应于用户输入，可以从与多个成像装置104相关联的多个UAV 102接收信息。在这样的情况下，多个UAV 102和服务器106可以经由无线通信信道(诸如Wi-Fi)成为网状网络。如图4B中所说明的，该信息可以包括与多个成像装置104相关联的多个UAV 102的聚焦透镜信息、当前地点和当前方位。
在步骤808，可以基于接收的聚焦透镜信息和公共的预定校准对象的多个图像来确定多个UAV 102的校准信息。在步骤810，可以将确定的校准信息传送给与多个UAV 102相关联的多个成像装置104。因此，多个成像装置104的校准可以由多个UAV 102中的相应的UAV执行。如图1中所说明的，多个成像装置104的校准可以由多个UAV102执行，以调整多个成像装置104的一个或多个内在参数和/或外在参数。
在步骤812，可以确定多个成像装置104中的每个的目标地点和目标方位。可以基于接收的聚焦透镜信息、接收的当前地点、接收的当前方位以及所选择的一个或多个静止对象和/或移动对象的当前地点来确定目标地点和目标方位。
在步骤814，可以将控制信息传送给多个UAV 102。基于接收的控制信息，多个UAV102可以修改多个成像装置104的当前地点和当前方位。可以将多个成像装置104的当前地点和当前方位修改为确定的目标地点和确定的目标方位。
在步骤816，可以将同步信号发送到多个UAV 102。一旦多个UAV102将它们的当前地点和当前方位修改为目标地点和目标方位，多个成像装置104就可以基于同步信号来捕捉一个或多个静止对象和/或移动对象的图像集合。可以基于由服务器106发送的同步信号来动态地使图像集合中的每个图像相对于其他图像同步。多个成像装置104可以被进一步配置为合作地捕捉与所选择的一个或多个静止对象和/或移动对象相关联的运动信息。
在步骤818，服务器106可以接收所选择的一个或多个静止对象和/或移动对象的运动信息和捕捉的图像集合。在步骤820，如图4B中所说明的，可以基于接收的图像集合来执行所选择的一个或多个静止对象和/或移动对象的3D结构的实时重构。控制转到结束步骤822。
图9A和图9B共同地示出用于实现根据本公开的实施例的用于图像处理的示例性方法的第三流程图。图9A和图9B是结合图1至图5D的元件描述的。可以根据集群式处理模式将根据图9A和图9B中的流程图900的方法实现在第一UAV 102a和第三UAV 102c中。该方法从步骤902开始，并且继续进行到步骤904。
在步骤904，多个UAV 102中的每个的通信管理器结合UAV监视器可以确定通信依赖比率。多个UAV 102中的每个相对于多个UAV102中的其他UAV的通信依赖比率可以被确定为超过预定阈值。因此，可以形成UAV的集群(诸如第一集群402和第二集群404)。UAV的集群的形成可以进一步基于接近度参数以降低通信成本。
在步骤906，对于每个集群(诸如第一集群402和第二集群404)，可以动态地确定主UAV，诸如第一UAV 102a和第三UAV 102c。这样的动态确定可以基于由对应UAV的UAV监视器监视的一个或多个计算资源的状态信息。在例子中，第一UAV 102a和第三UAV 102c可以分别被预先确定为第一集群402和第二集群404中的主UAV。
在步骤908，可以在UAV的集群(诸如第一集群402和第二集群404)的主UAV(诸如第一UAV 102a和第三UAV 102c)处从用户终端110接收用户输入。在步骤910，响应于用户输入，主UAV可以被配置为从相应集群中的UAV中的其余UAV接收信息。例如，第一集群402中的第一UAV 102a可以被配置为从第二UAV 102b接收信息。类似地，第二集群404中的第三UAV102c可以被配置为从第四UAV102d接收信息。在这样的情况下，该信息可以包括分别与第二UAV102b和第四UAV 102d相关联的第二成像装置104b和第四成像装置104d的聚焦透镜信息、当前地点和当前方位。
在步骤912，主UAV(诸如第一UAV 102a和第三UAV 102c)可以被配置为确定相应集群中的其他UAV的校准信息。在步骤914，主UAV可以被配置为将确定的校准信息传送给相应集群中的其他UAV。因此，其他UAV可以对各个集群中的对应的成像装置进行校准。如图1中所描述的，可以执行校准以调整成像装置的一个或多个内在参数和/或外在参数。
在步骤916，相应集群中的主UAV可以被配置为确定相应集群中的其他UAV的成像装置中的每个的目标地点和目标方位。主UAV可以被配置为根据相应集群中的三角测量技术来确定它们的目标地点和目标方位。
在步骤918，主UAV可以被配置为将控制信息传送给相应集群中的其他UAV。基于接收的控制信息，其他UAV可以修改相关联的成像装置的当前地点和当前方位。可以将成像装置的当前地点和当前方位修改为确定的目标地点和确定的目标方位。此外，主UAV可以被配置为将它们的当前地点和当前方位修改为经由三角测量技术确定的目标地点和目标方位。
在步骤920，主UAV可以被配置为将同步信号发送到相应集群中的其他UAV。同步信号可以进一步由主UAV共享。在步骤922，各个集群中的多个成像装置104可以捕捉各个集群中的一个或多个静止对象和/或移动对象的多个图像。例如，第一多个图像可以包括由第一集群402中的第一UAV 102a的第一成像装置104a和第二UAV 102b的第二成像装置104b捕捉的图像。第二多个图像可以包括由第二集群404中的第三UAV 102c的第三成像装置104c和第四UAV 102d的第四成像装置104d捕捉的图像。如图1中所说明的，可以基于在第一UAV102a和第三UAV 102c之间传送的同步信号来动态地使第一多个图像与第二多个图像同步。
在步骤924，主UAV可以被配置为基于相应集群中的多个图像来执行所选择的一个或多个静止对象和/或移动对象的3D结构的实时重构。在每个集群中，多个UAV 102中的每个的UAV监视器可以周期性地检查对应UAV的状态变量，以确定一个或多个计算资源的状态信息。在UAV过载的情况下，资源分配管理器结合UAV监视器可以在集群内动态地分布一个或多个计算资源。资源协调器可以协调相应集群中的其他UAV与主UAV的一个或多个计算资源。资源迁移管理器可以虚拟地将其他UAV的一个或多个计算资源迁移到相应集群中的主UAV。
在步骤926，可以确定是否需要一个或多个重构的图像。在实例中，当需要多于一个重构的图像时，控制转到步骤928。在实例中，当只需要一个重构的图像时，控制转到步骤934。在步骤928，如图3中所说明的，主UAV可以基于对于所选择的一个或多个静止对象和/或移动对象的3D场景解释和/或点云产生来执行3D结构的重构。在步骤930，主UAV可以被进一步配置为经由通信网络108将两个重构的3D结构传送给用户终端110以用于显示。控制转到结束步骤932。
在步骤934，基于指示计算资源的可用性的状态控制变量，可以选择主UAV中的一个来执行3D结构的最终重构。在步骤936，可以执行最终重构来产生单个3D结构。在步骤938，可以将最终的重构的3D结构传送给用户终端110。控制转到结束步骤932。
根据本公开的实施例，用于图像处理的系统可以包括多个UAV102。多个UAV可以与多个成像装置104相关联。多个UAV 102中的第一UAV 102a可以包括第一成像装置104a，第一成像装置104a可以捕捉一个或多个静止对象和/或移动对象的第一图像集合。第一UAV102a可以进一步包括处理器202，处理器202可以接收与多个UAV 102中的一个或多个其他UAV 102b至102d相关联的一个或多个成像装置104b至104d的聚焦透镜信息、当前地点和当前方位。处理器202可以基于接收的聚焦透镜信息、接收的当前地点、接收的当前方位以及一个或多个静止对象和/或移动对象的当前地点来确定一个或多个成像装置104b至104d中的每个的目标地点和目标方位。处理器202可以进一步将控制信息传送给一个或多个其他UAV 102a至102d，以将一个或多个成像装置中的每个的当前地点和当前方位修改为一个或多个成像装置104b至104d中的每个的确定的目标地点和确定的目标方位。
根据本公开的实施例，服务器106可以与多个UAV 102通信地耦合以用于进行图像处理。多个UAV 102可以与被配置为捕捉多个图像的多个成像装置104相关联。服务器106可以包括被配置为从与多个UAV 102相关联的多个成像装置104接收多个成像装置104的聚焦透镜信息、当前地点和当前方位的一个或多个电路，诸如处理器302。处理器302可以进一步基于接收的聚焦透镜信息、接收的当前地点、接收的当前方位以及要捕捉的一个或多个静止对象和/或移动对象的当前地点来确定多个成像装置104的目标地点和目标方位。处理器302可以进一步将控制信息传送给多个UAV 102，以将多个成像装置104的当前地点和当前方位修改为多个成像装置104的确定的目标地点和确定的目标方位。
根据本公开的实施例，用于图像处理的系统包括第一网络(诸如第一集群402)，第一网络可以包括第一组UAV。该系统可以进一步包括第二网络(诸如第二集群404)，第二网络可以包括第二组UAV。第一组UAV和第二组UAV中的每个可以与被配置为捕捉多个图像的成像装置相关联。第一组UAV中的第一UAV 102a可以包括第一成像装置104a，第一成像装置104a被配置为捕捉一个或多个静止对象和/或移动对象的第一图像集合。第一UAV 102a可以进一步包括被配置为从与第一组UAV相关联的第一组成像装置接收聚焦透镜信息、当前地点和当前方位的一个或多个电路，诸如处理器202。处理器202可以进一步基于接收的聚焦透镜信息、接收的当前地点、接收的当前方位以及一个或多个静止对象和/或移动对象的当前地点来确定第一组成像装置的目标地点和目标方位。处理器202可以被进一步配置为将控制信息传送给第一组UAV，以将第一组成像装置的当前地点和当前方位修改为第一组成像装置的确定的目标地点和确定的目标方位。
本公开可以用硬件或硬件和软件的组合来实现。本公开可以在至少一个计算机系统中以集中式的方式来实现，或者以分布式的方式来实现，在分布式的方式中，不同的元件可以铺展在几个互连的计算机系统上。适于执行本文中描述的方法的计算机系统或其他设备可以是合适的。硬件和软件的组合可以是具有计算机程序的通用计算机系统，该计算机程序当被加载并执行时可以控制该计算机系统，以使得它执行本文中描述的方法。本公开可以用包括还执行其他功能的集成电路的一部分的硬件来实现。
本公开也可以嵌入在计算机程序产品中，该计算机程序产品包括使得能够实现本文中描述的方法的所有特征，并且当被加载在计算机系统中时能够执行这些方法。计算机程序在本上下文中意指旨在使得具有信息处理能力的系统直接地或在以下操作中的任何一个或两个之后执行特定功能的指令集的用任何语言、代码或标记表示的任何表达：a)转换为另一语言、代码或标记；b)以不同的材料形式再现。
虽然已经参考某些实施例描述了本公开，但是本领域的普通技术人员将理解，在不偏离本公开的范围的情况下，可以做出各种改变，并且可以替换等同物。另外，在不偏离本公开的范围的情况下，可以做出许多修改，以使特定情形或材料适应于本公开的教导。因此，意图是，本公开不限于所公开的特定实施例，而是本公开将包括落在所附权利要求的范围内的所有实施例。

Claims (28)

1.一种用于使用多个成像装置进行图像处理的系统，所述系统包括：
包括多个无人驾驶飞行器UAV的网络，其中所述多个UAV中的每个与被配置为捕捉多个图像的成像装置相关联，其中所述多个UAV中的第一UAV包括：
第一成像装置，第一成像装置被配置为捕捉一个或多个静止对象和/或移动对象的第一图像集合；以及
所述第一UAV中的一个或多个电路，所述一个或多个电路被配置为：
从与所述多个UAV中的一个或多个其他UAV相关联的一个或多个成像装置接收所述一个或多个成像装置的聚焦透镜信息、当前地点和当前方位；
基于所接收的聚焦透镜信息、所接收的当前地点、所接收的当前方位以及所述一个或多个静止对象和/或移动对象的当前地点来确定所述一个或多个成像装置中的每个的目标地点和目标方位；
基于所接收的聚焦透镜信息和预先确定的校准对象的多个图像来确定校准信息；
将控制信息和所述校准信息传送给所述一个或多个其他UAV以将所述一个或多个成像装置中的每个的所述当前地点和所述当前方位修改为所述一个或多个成像装置中的每个的所确定的目标地点和所确定的目标方位；以及
使得能够基于所传送的校准信息来校准与所述一个或多个其他UAV相关联的所述一个或多个成像装置。
2.根据权利要求1所述的系统，其中所传送的控制信息进一步包括捕捉信息，以使得所述一个或多个成像装置能够在所确定的目标地点和所确定的目标方位捕捉所述一个或多个静止对象和/或移动对象的第二图像集合。
3.根据权利要求2所述的系统，其中所述一个或多个电路被进一步配置为从所捕捉的第一图像集合和所捕捉的第二图像集合重构三维3D结构。
4.根据权利要求3所述的系统，其中所述一个或多个电路被进一步配置为动态地使所捕捉的第一图像集合和所捕捉的第二图像集合同步以重构所述3D结构。
5.根据权利要求1所述的系统，其中所述一个或多个成像装置的所述校准被执行以调整所述一个或多个成像装置的一个或多个内在参数和/或外在参数。
6.一种与多个无人驾驶飞行器UAV通信地耦合以用于进行图像处理的服务器，其中所述多个UAV与被配置为捕捉多个图像的多个成像装置相关联，所述服务器包括：
一个或多个电路，所述一个或多个电路被配置为：
从与所述多个UAV相关联的所述多个成像装置接收所述多个成像装置的聚焦透镜信息、当前地点和当前方位；
基于所接收的聚焦透镜信息、所接收的当前地点、所接收的当前方位以及要捕捉的一个或多个静止对象和/或移动对象的当前地点来确定所述多个成像装置的目标地点和目标方位；
基于所接收的聚焦透镜信息和预先确定的校准对象的多个图像来确定校准信息；
将控制信息和所述校准信息传送给所述多个UAV，以将所述多个成像装置的所述当前地点和所述当前方位修改为所述多个成像装置的所确定的目标地点和所确定的目标方位；以及
使得能够基于所传送的校准信息来校准与所述多个UAV相关联的所述多个成像装置。
7.根据权利要求6所述的服务器，其中所传送的控制信息进一步包括捕捉信息，以使得所述多个成像装置能够在所确定的目标地点和所确定的目标方位捕捉所述一个或多个静止对象和/或移动对象的图像集合。
8.根据权利要求7所述的服务器，其中所述一个或多个电路被进一步配置为从所捕捉的图像集合重构三维3D结构。
9.根据权利要求8所述的服务器，其中所述一个或多个电路被进一步配置为动态地使所捕捉的图像集合同步以重构所述3D结构。
10.一种用于使用多个成像装置进行图像处理的系统，所述系统包括：
第一网络和第二网络，第一网络包括第一组无人驾驶飞行器UAV，第二网络包括第二组UAV，其中所述第一组UAV和所述第二组UAV中的每个与被配置为捕捉多个图像的成像装置相关联，其中所述第一组UAV中的第一UAV包括：
第一成像装置，第一成像装置被配置为捕捉一个或多个静止对象和/或移动对象的第一图像集合；以及
所述第一UAV中的一个或多个电路，所述一个或多个电路被配置为：
从与所述第一组UAV相关联的第一组成像装置接收所述第一组成像装置的聚焦透镜信息、当前地点和当前方位；
基于所接收的聚焦透镜信息、所接收的当前地点、所接收的当前方位以及所述一个或多个静止对象和/或移动对象的当前地点来确定所述第一组成像装置的目标地点和目标方位；
基于所接收的聚焦透镜信息和预先确定的校准对象的多个图像来确定校准信息；
将控制信息和所述校准信息传送给所述第一组UAV，以将所述第一组成像装置的所述当前地点和所述当前方位修改为所述第一组成像装置的所确定的目标地点和所确定的目标方位；以及
使得能够基于所传送的校准信息来校准与所述第一组UAV相关联的所述第一组成像装置。
11.根据权利要求10所述的系统，其中所述第二组UAV中的第二UAV包括：
第二成像装置，第二成像装置被配置为捕捉所述一个或多个静止对象和/或移动对象的第二图像集合；以及
所述第二UAV中的一个或多个电路，所述一个或多个电路被配置为：
从与所述第二组UAV相关联的第二组成像装置接收所述第二组成像装置的聚焦透镜信息、当前地点和当前方位；
基于所接收的聚焦透镜信息、所接收的当前地点、所接收的当前方位以及所述一个或多个静止对象和/或移动对象的所述当前地点来确定所述第二组成像装置的目标地点和目标方位；以及
将控制信息传送给所述第二组UAV，以将所述第二组成像装置的所述当前地点和所述当前方位修改为所述第二组成像装置的所确定的目标地点和所确定的目标方位。
12.根据权利要求11所述的系统，其中由所述第一UAV传送的所述控制信息进一步包括捕捉信息，以使得所述第一组成像装置能够在所确定的目标地点和所确定的目标方位捕捉所述一个或多个静止对象和/或移动对象的所述第一图像集合。
13.根据权利要求12所述的系统，其中由所述第二UAV传送的所述控制信息进一步包括捕捉信息，以使得所述第二组成像装置能够在所确定的目标地点和所确定的目标方位捕捉所述一个或多个静止对象和/或移动对象的第二图像集合。
14.根据权利要求13所述的系统，其中所述第一UAV中的所述一个或多个电路被进一步配置为动态地使所捕捉的第一图像集合和所捕捉的第二图像集合同步以重构3D结构。
15.一种用于使用多个成像装置进行图像处理的方法，所述方法包括：
在包括多个无人驾驶飞行器UAV的网络中，其中所述多个UAV中的每个与被配置为捕捉多个图像的成像装置相关联：
由所述多个UAV中的第一UAV从与所述多个UAV中的一个或多个其他UAV相关联的一个或多个成像装置接收所述一个或多个成像装置的聚焦透镜信息、当前地点和当前方位；
由所述第一UAV基于所接收的聚焦透镜信息、所接收的当前地点、所接收的当前方位以及所述一个或多个静止对象和/或移动对象的当前地点来确定所述一个或多个成像装置的目标地点和目标方位；
由所述第一UAV基于所接收的聚焦透镜信息和预先确定的校准对象的多个图像来确定校准信息；
由所述第一UAV将控制信息和所述校准信息传送给所述一个或多个其他UAV，以将所述一个或多个成像装置的所述当前地点和所述当前方位修改为所述一个或多个成像装置的所确定的目标地点和所确定的目标方位；以及
使得能够基于所传送的校准信息来校准与所述一个或多个其他UAV相关联的所述一个或多个成像装置。
16.根据权利要求15所述的方法，其中所传送的控制信息进一步包括捕捉信息，以使得所述一个或多个成像装置能够在所确定的目标地点和所确定的目标方位捕捉所述一个或多个静止对象和/或移动对象的第二图像集合。
17.根据权利要求16所述的方法，进一步包括从由第一成像装置捕捉的第一图像集合和所捕捉的第二图像集合重构三维3D结构。
18.根据权利要求17所述的方法，进一步包括动态地使所捕捉的第一图像集合和所捕捉的第二图像集合同步以重构所述3D结构。
19.根据权利要求15所述的方法，其中所述一个或多个成像装置的所述校准被执行以调整所述一个或多个成像装置的一个或多个内在参数和/或外在参数。
20.一种用于图像处理的方法，所述方法包括：
在与多个无人驾驶飞行器UAV通信地耦合的服务器中，其中所述多个UAV与被配置为捕捉多个图像的多个成像装置相关联：
由所述服务器从与所述多个UAV相关联的所述多个成像装置接收所述多个成像装置的聚焦透镜信息、当前地点和当前方位；
由所述服务器基于所接收的聚焦透镜信息、所接收的当前地点、所接收的当前方位以及要捕捉的一个或多个静止对象和/或移动对象的当前地点来确定所述多个成像装置的目标地点和目标方位；
由所述服务器基于所接收的聚焦透镜信息和预先确定的校准对象的多个图像来确定校准信息；
由所述服务器将控制信息和所述校准信息传送给所述多个UAV，以将所述多个成像装置的所述当前地点和所述当前方位修改为所述多个成像装置的所确定的目标地点和所确定的目标方位；以及
使得能够基于所述传送的校准信息来校准与所述多个UAV相关联的所述多个成像装置。
21.根据权利要求20所述的方法，其中所传送的控制信息进一步包括捕捉信息，以使得所述多个成像装置能够在所确定的目标地点和所确定的目标方位捕捉所述一个或多个静止对象和/或移动对象的图像集合。
22.根据权利要求21所述的方法，进一步包括从所捕捉的图像集合重构三维3D结构。
23.根据权利要求22所述的方法，进一步包括动态地使所捕捉的图像集合同步以重构所述3D结构。
24.一种用于使用多个成像装置进行图像处理的方法，所述方法包括：
在第一网络和第二网络中，第一网络包括第一组无人驾驶飞行器UAV，第二网络包括第二组UAV，其中所述第一组UAV和所述第二组UAV中的每个与被配置为捕捉多个图像的成像装置相关联：
由所述第一组UAV中的第一UAV从与所述第一组UAV相关联的第一组成像装置接收所述第一组成像装置的聚焦透镜信息、当前地点和当前方位；
由所述第一UAV基于所接收的聚焦透镜信息、所接收的当前地点、所接收的当前方位以及要捕捉的一个或多个静止对象和/或移动对象的当前地点来确定所述第一组成像装置的目标地点和目标方位；
基于所接收的聚焦透镜信息和预先确定的校准对象的多个图像来确定校准信息；
由所述第一UAV将控制信息和所述校准信息传送给所述第一组UAV，以将所述第一组成像装置的所述当前地点和所述当前方位修改为所述第一组成像装置的所确定的目标地点和所确定的目标方位；以及
使得能够基于所传送的校准信息来校准与所述第一组UAV相关联的所述第一组成像装置。
25.根据权利要求24所述的方法，进一步包括：
由所述第二组UAV中的第二UAV从与所述第二组UAV相关联的第二组成像装置接收所述第二组成像装置的聚焦透镜信息、当前地点和当前方位；
由所述第二UAV基于所接收的聚焦透镜信息、所接收的当前地点、所接收的当前方位以及所述一个或多个静止对象和/或移动对象的所述当前地点来确定所述第二组成像装置的目标地点和目标方位；以及
由所述第二UAV将控制信息传送给所述第二组UAV，以将所述第二组成像装置的所述当前地点和所述当前方位修改为所述第二组成像装置的所确定的目标地点和所确定的目标方位。
26.根据权利要求25所述的方法，其中由所述第一UAV传送的所述控制信息进一步包括捕捉信息，以使得所述第一组成像装置能够在所确定的目标地点和所确定的目标方位捕捉所述一个或多个静止对象和/或移动对象的第一图像集合。
27.根据权利要求26所述的方法，其中由所述第二UAV传送的所述控制信息进一步包括捕捉信息以使得所述第二组成像装置能够在所确定的目标地点和所确定的目标方位捕捉所述一个或多个静止对象和/或移动对象的第二图像集合。
28.根据权利要求27所述的方法，进一步包括由所述第一UAV动态地使所捕捉的第一图像集合和所捕捉的第二图像集合同步以重构3D结构。
CN201780009492.2A 2016-02-03 2017-01-27 用于利用多摄像机网络捕捉静态场景和/或运动场景的系统和方法 Active CN108602561B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/014,743 US10416667B2 (en) 2016-02-03 2016-02-03 System and method for utilization of multiple-camera network to capture static and/or motion scenes
US15/014,743 2016-02-03
PCT/US2017/015290 WO2017136231A1 (en) 2016-02-03 2017-01-27 System and method for utilization of multiple-camera network to capture static and/or motion scenes

Publications (2)

Publication Number Publication Date
CN108602561A CN108602561A (zh) 2018-09-28
CN108602561B true CN108602561B (zh) 2021-08-06

Family

ID=59385497

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780009492.2A Active CN108602561B (zh) 2016-02-03 2017-01-27 用于利用多摄像机网络捕捉静态场景和/或运动场景的系统和方法

Country Status (6)

Country Link
US (1) US10416667B2 (zh)
EP (1) EP3397554B1 (zh)
JP (2) JP6694169B2 (zh)
KR (1) KR102086937B1 (zh)
CN (1) CN108602561B (zh)
WO (1) WO2017136231A1 (zh)

Families Citing this family (63)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10417918B2 (en) * 2016-01-20 2019-09-17 Honeywell International Inc. Methods and systems to assist in a search and rescue mission
US10564270B2 (en) * 2016-04-13 2020-02-18 Caterpillar Inc. Methods and systems for calibrating sensors
US10455215B2 (en) * 2016-06-22 2019-10-22 International Business Machines Corporation System, method, and recording medium for a closed-loop immersive viewing technology coupled to drones
US11044445B2 (en) 2017-05-05 2021-06-22 VergeSense, Inc. Method for monitoring occupancy in a work area
US10742940B2 (en) 2017-05-05 2020-08-11 VergeSense, Inc. Method for monitoring occupancy in a work area
AT16628U1 (de) * 2017-05-23 2020-03-15 Ars Electronica Linz Gmbh & Co Kg System zum Steuern von unbemannten Luftfahrzeugen in einem Schwarm, um ein bewegtes Objekt mit mehreren Kameras zu filmen
AU2018328760A1 (en) * 2017-09-08 2020-04-30 Jump Corporation Pty Ltd Distributed camera network
US10861196B2 (en) 2017-09-14 2020-12-08 Apple Inc. Point cloud compression
US10897269B2 (en) 2017-09-14 2021-01-19 Apple Inc. Hierarchical point cloud compression
US11818401B2 (en) 2017-09-14 2023-11-14 Apple Inc. Point cloud geometry compression using octrees and binary arithmetic encoding with adaptive look-up tables
US11113845B2 (en) 2017-09-18 2021-09-07 Apple Inc. Point cloud compression using non-cubic projections and masks
US10909725B2 (en) 2017-09-18 2021-02-02 Apple Inc. Point cloud compression
US10852723B2 (en) * 2017-11-14 2020-12-01 Intel IP Corporation Unmanned aerial vehicle swarm photography
US11039084B2 (en) 2017-11-14 2021-06-15 VergeSense, Inc. Method for commissioning a network of optical sensors across a floor space
CA3024707A1 (en) * 2017-11-21 2019-05-21 Reliance Core Consulting Methods and systems for detecting motion corresponding to a field of interest
US10867398B2 (en) * 2017-11-21 2020-12-15 Reliance Core Consulting LLC Methods, systems, apparatuses and devices for facilitating motion analysis in an environment
US10607373B2 (en) 2017-11-22 2020-03-31 Apple Inc. Point cloud compression with closed-loop color conversion
CN108093173B (zh) * 2017-12-14 2020-05-19 北京理工大学 光耦合式图像采集时刻标定的系统和方法
EP3744108A1 (en) * 2018-01-22 2020-12-02 Apple Inc. Method and device for generating a synthesized reality reconstruction of flat video content
US11279496B2 (en) * 2018-02-21 2022-03-22 Sikorsky Aircraft Corporation System for reliable landing gear contact with identification of the surface
US11010928B2 (en) 2018-04-10 2021-05-18 Apple Inc. Adaptive distance based point cloud compression
US10909727B2 (en) 2018-04-10 2021-02-02 Apple Inc. Hierarchical point cloud compression with smoothing
US10939129B2 (en) 2018-04-10 2021-03-02 Apple Inc. Point cloud compression
US10909726B2 (en) 2018-04-10 2021-02-02 Apple Inc. Point cloud compression
US11017566B1 (en) 2018-07-02 2021-05-25 Apple Inc. Point cloud compression with adaptive filtering
US11202098B2 (en) 2018-07-05 2021-12-14 Apple Inc. Point cloud compression with multi-resolution video encoding
US11012713B2 (en) 2018-07-12 2021-05-18 Apple Inc. Bit stream structure for compressed point cloud data
US11367224B2 (en) 2018-10-02 2022-06-21 Apple Inc. Occupancy map block-to-patch information compression
US10841509B2 (en) * 2018-10-22 2020-11-17 At&T Intellectual Property I, L.P. Camera array orchestration
US11286058B2 (en) * 2018-12-18 2022-03-29 Textron Innovations Inc. Heliport docking system
JP7274726B2 (ja) * 2019-01-31 2023-05-17 株式会社RedDotDroneJapan 撮影方法
US10915759B2 (en) 2019-03-15 2021-02-09 VergeSense, Inc. Arrival detection for battery-powered optical sensors
US11057564B2 (en) 2019-03-28 2021-07-06 Apple Inc. Multiple layer flexure for supporting a moving image sensor
US20200326700A1 (en) * 2019-04-11 2020-10-15 Benchmark Electronics, Inc. Fractionated payload system and method therefor
US11711544B2 (en) * 2019-07-02 2023-07-25 Apple Inc. Point cloud compression with supplemental information messages
JPWO2021024627A1 (zh) * 2019-08-08 2021-02-11
US11620808B2 (en) 2019-09-25 2023-04-04 VergeSense, Inc. Method for detecting human occupancy and activity in a work area
US11627314B2 (en) 2019-09-27 2023-04-11 Apple Inc. Video-based point cloud compression with non-normative smoothing
US11562507B2 (en) 2019-09-27 2023-01-24 Apple Inc. Point cloud compression using video encoding with time consistent patches
US11538196B2 (en) 2019-10-02 2022-12-27 Apple Inc. Predictive coding for point cloud compression
US11895307B2 (en) 2019-10-04 2024-02-06 Apple Inc. Block-based predictive coding for point cloud compression
KR102163514B1 (ko) * 2019-11-25 2020-10-12 추혜성 드론에 의한 양방향 멀티미디어 통신 시스템 및 그 운용방법
US11747802B2 (en) * 2019-12-11 2023-09-05 Mason Electric Co. Ruggedized remote control display management system for harsh and safety-critical environments
US11798196B2 (en) 2020-01-08 2023-10-24 Apple Inc. Video-based point cloud compression with predicted patches
US11625866B2 (en) 2020-01-09 2023-04-11 Apple Inc. Geometry encoding using octrees and predictive trees
US11573544B2 (en) * 2020-02-13 2023-02-07 Skydio, Inc. Performing 3D reconstruction via an unmanned aerial vehicle
US11095870B1 (en) * 2020-04-23 2021-08-17 Sony Corporation Calibration of cameras on unmanned aerial vehicles using human joints
US11089606B1 (en) 2020-05-07 2021-08-10 Vmware, Inc. Methods for dynamically optimizing a flying ad-hoc network
US11615557B2 (en) 2020-06-24 2023-03-28 Apple Inc. Point cloud compression using octrees with slicing
US11620768B2 (en) 2020-06-24 2023-04-04 Apple Inc. Point cloud geometry compression using octrees with multiple scan orders
US11256257B2 (en) 2020-06-30 2022-02-22 Sony Group Corporation Method of multi-drone camera control
CN112578809A (zh) * 2020-11-19 2021-03-30 一飞(海南)科技有限公司 无人机集群通讯拓扑装置、方法、计算机设备、介质及终端
US11948338B1 (en) 2021-03-29 2024-04-02 Apple Inc. 3D volumetric content encoding using 2D videos and simplified 3D meshes
GB2616741A (en) * 2021-06-04 2023-09-20 Digital & Future Tech Limited Media playback system
GB2607351B (en) 2021-06-04 2023-10-25 Digital & Future Tech Limited Media playback system
US11943565B2 (en) * 2021-07-12 2024-03-26 Milestone Systems A/S Computer implemented method and apparatus for operating a video management system
WO2023014731A1 (en) 2021-08-02 2023-02-09 Cyngn, Inc. System and methods of adaptive relevancy prediction for autonomous driving
US20230058405A1 (en) * 2021-08-20 2023-02-23 Sony Group Corporation Unmanned aerial vehicle (uav) swarm control
CN117677911A (zh) * 2022-03-21 2024-03-08 深圳市大疆创新科技有限公司 无人机、控制终端、服务器及其控制方法
WO2024057746A1 (ja) * 2022-09-12 2024-03-21 株式会社Ｎｔｔドコモ 補正装置
WO2024069789A1 (ja) * 2022-09-28 2024-04-04 株式会社RedDotDroneJapan 空中撮影システム、空中撮影方法および空中撮影プログラム
CN115297303B (zh) * 2022-09-29 2022-12-27 国网浙江省电力有限公司 适用于电网输变电设备的图像数据采集处理方法及装置
CN116863086B (zh) * 2023-09-04 2023-11-24 武汉国遥新天地信息技术有限公司 一种光学动作捕捉系统刚体稳定重建方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103454556A (zh) * 2013-08-09 2013-12-18 国家电网公司 一种具有3d扫描功能的巡检装置及其检测方法
CN104811615A (zh) * 2015-04-17 2015-07-29 刘耀 一种体感控制摄像系统及方法

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6130705A (en) * 1998-07-10 2000-10-10 Recon/Optical, Inc. Autonomous electro-optical framing camera system with constant ground resolution, unmanned airborne vehicle therefor, and methods of use
JP4587166B2 (ja) * 2004-09-14 2010-11-24 キヤノン株式会社 移動体追跡システム、撮影装置及び撮影方法
US9654200B2 (en) 2005-07-18 2017-05-16 Mutualink, Inc. System and method for dynamic wireless aerial mesh network
US7642953B2 (en) * 2007-07-19 2010-01-05 The Boeing Company Method and apparatus for three dimensional tomographic image reconstruction of objects
US9026272B2 (en) * 2007-12-14 2015-05-05 The Boeing Company Methods for autonomous tracking and surveillance
US9043052B2 (en) * 2008-05-27 2015-05-26 Wilfred So System and method for multiple vehicles moving a common payload
TW201328344A (zh) * 2011-12-27 2013-07-01 Hon Hai Prec Ind Co Ltd 控制無人飛行載具進行影像採集的系統及方法
EP2845071B1 (en) 2012-04-30 2020-03-18 The Trustees Of The University Of Pennsylvania Three-dimensional manipulation of teams of quadrotors
US20150350614A1 (en) * 2012-08-31 2015-12-03 Brain Corporation Apparatus and methods for tracking using aerial video
GB2506411B (en) * 2012-09-28 2020-03-11 2D3 Ltd Determination of position from images and associated camera positions
CA2890174A1 (en) * 2012-11-05 2014-05-08 360 Heros, Inc. 360 degree camera mount and related photographic and video system
US9102406B2 (en) * 2013-02-15 2015-08-11 Disney Enterprises, Inc. Controlling unmanned aerial vehicles as a flock to synchronize flight in aerial displays
JP6367522B2 (ja) 2013-02-28 2018-08-01 株式会社トプコン 航空写真システム
US9075415B2 (en) * 2013-03-11 2015-07-07 Airphrame, Inc. Unmanned aerial vehicle and methods for controlling same
US9070289B2 (en) * 2013-05-10 2015-06-30 Palo Alto Research Incorporated System and method for detecting, tracking and estimating the speed of vehicles from a mobile platform
US9306105B2 (en) * 2013-07-31 2016-04-05 First Solar Malaysia Sdn. Bhd. Finger structures protruding from absorber layer for improved solar cell back contact
US20150321758A1 (en) * 2013-08-31 2015-11-12 II Peter Christopher Sarna UAV deployment and control system
US20150134143A1 (en) * 2013-10-04 2015-05-14 Jim Willenborg Novel tracking system using unmanned aerial vehicles
US9769387B1 (en) * 2013-11-05 2017-09-19 Trace Live Network Inc. Action camera system for unmanned aerial vehicle
US10250821B2 (en) * 2013-11-27 2019-04-02 Honeywell International Inc. Generating a three-dimensional model of an industrial plant using an unmanned aerial vehicle
WO2015159487A1 (ja) * 2014-04-14 2015-10-22 パナソニックＩｐマネジメント株式会社 映像配信方法、映像受信方法、サーバ、端末装置及び映像配信システム
JP6607433B2 (ja) * 2014-06-23 2019-11-20 パナソニックＩｐマネジメント株式会社 映像配信方法及びサーバ
EP3136195A4 (en) * 2014-04-25 2017-11-29 Sony Corporation Information processing device, information processing method, program, and imaging system
KR102165450B1 (ko) * 2014-05-22 2020-10-14 엘지전자 주식회사 무인 항공기를 제어하는 포터블 디바이스 및 그 제어 방법
EP3757709B1 (en) * 2014-06-13 2021-12-15 Twitter, Inc. Messaging-enabled unmanned aerial vehicle
EP3862837B1 (en) * 2014-07-30 2023-05-03 SZ DJI Technology Co., Ltd. Systems and methods for target tracking
US10065739B2 (en) * 2015-06-22 2018-09-04 Elwha Llc Systems and methods for drone tracking of airborne materials
JP2017201757A (ja) * 2016-05-06 2017-11-09 キヤノン株式会社 画像取得システム、画像取得方法、画像処理方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103454556A (zh) * 2013-08-09 2013-12-18 国家电网公司 一种具有3d扫描功能的巡检装置及其检测方法
CN104811615A (zh) * 2015-04-17 2015-07-29 刘耀 一种体感控制摄像系统及方法

Also Published As

Publication number Publication date
JP6885485B2 (ja) 2021-06-16
EP3397554B1 (en) 2021-03-03
JP2020115642A (ja) 2020-07-30
US20170220037A1 (en) 2017-08-03
WO2017136231A1 (en) 2017-08-10
EP3397554A1 (en) 2018-11-07
EP3397554A4 (en) 2019-08-14
JP2019514236A (ja) 2019-05-30
JP6694169B2 (ja) 2020-05-13
KR20180100608A (ko) 2018-09-11
KR102086937B1 (ko) 2020-03-09
CN108602561A (zh) 2018-09-28
US10416667B2 (en) 2019-09-17

Similar Documents

Publication Publication Date Title
CN108602561B (zh) 用于利用多摄像机网络捕捉静态场景和/或运动场景的系统和方法
US11797009B2 (en) Unmanned aerial image capture platform
JP6496323B2 (ja) 可動物体を検出し、追跡するシステム及び方法
US10979615B2 (en) System and method for providing autonomous photography and videography
CN107015572B (zh) 目标追踪系统及方法
US10789722B2 (en) Processing images to obtain environmental information
CN108886572B (zh) 调整图像焦点的方法和系统
CN111867932A (zh) 包含全向深度感测和避障空中系统的无人飞行器及其操作方法
US11320817B2 (en) Target-based image exposure adjustment
US20230058405A1 (en) Unmanned aerial vehicle (uav) swarm control
WO2020233682A1 (zh) 一种自主环绕拍摄方法、装置以及无人机
US11095870B1 (en) Calibration of cameras on unmanned aerial vehicles using human joints
CN109076206B (zh) 基于无人机的立体成像方法和装置
US20230259132A1 (en) Systems and methods for determining the position of an object using an unmanned aerial vehicle
WO2021014752A1 (ja) 情報処理装置、情報処理方法、情報処理プログラム
WO2022000245A1 (zh) 飞行器的定位方法、辅助定位系统的控制方法和装置
Yu et al. Multi-UAV UWA video surveillance system
CN115729256A (zh) 无人机的环绕飞行方法、系统、终端设备以及存储介质
CN111610799A (zh) 一种四旋翼无人机的网络控制方法、计算机设备及存储介质
CN113313841A (zh) 一种基于云存储服务的ar方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant