CN114651280A - 多无人机视觉内容捕获系统 - Google Patents
多无人机视觉内容捕获系统 Download PDFInfo
- Publication number
- CN114651280A CN114651280A CN202180006219.0A CN202180006219A CN114651280A CN 114651280 A CN114651280 A CN 114651280A CN 202180006219 A CN202180006219 A CN 202180006219A CN 114651280 A CN114651280 A CN 114651280A
- Authority
- CN
- China
- Prior art keywords
- drone
- camera
- pose
- scene
- estimate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000000007 visual effect Effects 0.000 title claims description 11
- 238000000034 method Methods 0.000 claims abstract description 52
- 230000008569 process Effects 0.000 claims abstract description 21
- 238000003384 imaging method Methods 0.000 claims abstract description 8
- 238000012545 processing Methods 0.000 claims description 20
- 230000004807 localization Effects 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 230000002123 temporal effect Effects 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims 4
- 238000007670 refining Methods 0.000 claims 2
- 239000003795 chemical substances by application Substances 0.000 description 28
- 230000033001 locomotion Effects 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 7
- 230000008901 benefit Effects 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000000844 transformation Methods 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000008713 feedback mechanism Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
- G05D1/0027—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement involving a plurality of vehicles, e.g. fleet or convoy travelling
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
- G08G5/003—Flight plan management
- G08G5/0039—Modification of a flight plan
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64C—AEROPLANES; HELICOPTERS
- B64C39/00—Aircraft not otherwise provided for
- B64C39/02—Aircraft not otherwise provided for characterised by special use
- B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U20/00—Constructional aspects of UAVs
- B64U20/80—Arrangement of on-board electronics, e.g. avionics systems or wiring
- B64U20/87—Mounting of imaging devices, e.g. mounting of gimbals
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
- G05D1/0044—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with a computer generated representation of the environment of the vehicle, e.g. virtual reality, maps
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0094—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
- G05D1/104—Simultaneous control of position or course in three dimensions specially adapted for aircraft involving a plurality of aircrafts, e.g. formation flying
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/579—Depth or shape recovery from multiple images from motion
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
- G08G5/0047—Navigation or guidance aids for a single aircraft
- G08G5/0069—Navigation or guidance aids for a single aircraft specially adapted for an unmanned aircraft
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2101/00—UAVs specially adapted for particular uses or applications
- B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2101/00—UAVs specially adapted for particular uses or applications
- B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
- B64U2101/32—UAVs specially adapted for particular uses or applications for imaging, photography or videography for cartography or topography
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30181—Earth observation
- G06T2207/30184—Infrastructure
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
Landscapes
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Automation & Control Theory (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Mechanical Engineering (AREA)
- General Engineering & Computer Science (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Abstract
一种对场景进行成像的系统，包括多个无人机，每个无人机沿着对应的飞行路径在场景上空移动，并具有无人机摄影机，以对应的第一位姿和第一时间捕捉场景的对应第一图像；控制每个无人机飞行路径的飞行控制器，部分通过使用由摄影机控制器提供的每个无人机摄影机的第一姿态估计，以创建和保持具有所需摄影机姿态的无人机所需图案；摄影机控制器，它从无人机接收相应的多个捕获的图像，处理接收到的图像以生成场景的3D表示作为系统输出，并将每个无人机摄影机的第一位姿的估计提供给飞行控制器。该系统只需一名操作员即可完全运行。
Description
相关申请的交叉引用
本申请要求于2020年6月30日提交的题为“多无人机视觉内容捕获系统”的美国临时专利申请序列号16/917,013(020699-116500US)的权益，该申请通过引用并入本文，好似其出于所有目的而全部记载在本申请中。
背景技术
配备摄影机的无人机的日益普及激发了一种新的电影摄影方式，这种摄影方式基于捕获以前难以接近的场景的图像。虽然专业人士传统上通过使用具有良好控制的外部参数的精确摄影机轨迹来捕获高质量图像，但无人机上的摄影机即使在无人机悬停时也始终处于运动状态。这是由于无人机的空气动力学特性，这使得连续的运动波动不可避免。如果只涉及一个无人机，仍然可以通过同步定位与地图构建(SLAM)(这是一种在机器人领域众所周知的技术)来估计摄影机位姿(位置和方向的6D组合)。然而，通常希望在不同的观察点同时使用多个摄影机，以实现复杂的编辑和完整的3D场景重建。传统的SLAM方法适用于单无人机、单摄影机情况，但不适合估计多无人机或多摄影机情况中涉及的所有位姿。
多无人机摄影中的其他挑战包括集成多无人机捕获的图像视频流的复杂性，以及需要控制所有无人机的飞行路径以使得可以实现所需的队形(或集群图案)，以及随着时间的推移该队形的任何期望变化。在目前涉及无人机的专业摄影的实践中，人工操作员必须在每个无人机上操作两个独立的控制器，一个控制飞行参数，一个控制摄影机位姿。这对于无人机(就无人机的尺寸、重量和成本而言)、整个系统的可靠性以及输出场景重建的质量有许多负面的影响。
因此，需要改进的系统和方法，用于集成由多个移动无人机上的摄影机捕获的图像，并准确控制这些无人机(以及可能独立于无人机地控制摄影机)，从而能够高效地捕获和处理重建感兴趣场景所必需的视觉内容。理想情况下，视觉内容集成将在无人机之外的位置自动完成，控制也在无人机之外的位置执行，但不一定是在同一位置，控制将涉及自动反馈控制机制，以实现无人机定位的高精度，适应因诸如风等因素而产生的空气动力噪声。有时，将系统操作所需的人工操作员数量降至最低也可能是有益的。
发明内容
实施例通常涉及用于基于由多个无人机捕获的图像以3D形式对场景进行成像的方法和系统。
在一个实施例中，系统包括多个无人机、飞行控制器和摄影机控制器，其中，该系统只需一名人工操作员即可完全操作。每个无人机沿着对应的飞行路径在场景上移动，并且每个无人机具有无人机摄影机，无人机摄影机以对应的第一位姿和对应的第一时间捕捉场景的对应第一图像。飞行控制器部分通过使用由摄影机控制器提供的每个无人机摄影机的第一位姿的估计来控制每个无人机的飞行路径，以在场景上创建和维护具有所需摄影机位姿的所需无人机图案。摄影机控制器从多个无人机接收场景的对应多个捕获图像，处理接收到的图像以生成场景的3D表示作为系统输出，并向飞行控制器提供每个无人机摄影机的第一位姿的估计。
在另一个实施例中，一种对场景进行成像的方法包括：部署多个无人机，每个无人机沿着对应的飞行路径在场景上移动，每个无人机都有摄影机，摄影机在对应的第一位姿和对应的第一时间捕捉场景的对应第一图像；使用飞行控制器部分通过使用由摄影机控制器提供的每个摄影机的位姿估计来控制每个无人机的飞行路径，以在场景上创建和维护具有所需摄影机位姿的所需无人机图案；并且使用摄影机控制器从多个无人机接收场景的对应多个捕获图像，并且处理接收到的图像以生成场景的3D表示作为系统输出，并向飞行控制器提供每个摄影机的位姿的估计。该方法的全部操作只需要一名人工操作员。
在另一个实施例中，装置包括一个或多个处理器；以及在一个或多个非暂态介质中编码以供一个或多个处理器执行的逻辑。当被执行时，该逻辑可操作以通过以下方式对场景进行成像：部署多个无人机，每个无人机沿着对应的飞行路径在场景上移动，并且每个无人机都有摄影机，摄影机在对应的第一位姿和对应的第一时间捕捉场景的对应的第一图像；使用飞行控制器部分通过使用由摄影机控制器提供的每个摄影机的位姿的估计来控制每个无人机的飞行路径，以在场景上创建和维护具有所需摄影机位姿的所需无人机图案；并且使用摄影机控制器从多个无人机接收场景的对应多个捕获图像，并且处理接收到的图像以生成场景的3D表示作为系统输出，并向飞行控制器提供每个摄影机的位姿的估计。需要不超过一名人工操作员即可完全操作该装置以对场景进行成像。
参照说明书的其余部分和附图可实现对本文所公开的特定实施例的本质和优点的进一步理解。
附图说明
图1示出了根据一些实施例对场景进行成像。
图2示出了根据图1的实施例对场景进行成像。
图3示出了根据一些实施例的无人机代理如何起作用的示例。
图4示出了根据一些实施例的一对无人机摄影机之间的变换计算的概览。
图5给出了根据一些实施例的最小二乘法的数学细节，该最小二乘法应用于估计两个摄影机位置之间的多个向量的交点。
图6显示了根据一些实施例如何为两个摄影机实现缩放的初始解决方案。
图7示出了根据一些实施例可以如何计算两个摄影机的坐标之间的初始旋转。
图8总结了根据一些实施例完全对齐两个摄影机的坐标(位置、旋转和缩放)的计算的最后步骤。
图9示出了根据一些实施例无人机代理如何生成深度地图。
图10示出了在一些实施例中飞行控制器和摄影机控制器之间的交互。
图11说明了根据一些实施例如何实现无人机集群的飞行和位姿控制。
图12图示了在一些实施例中系统的组件之间的高级数据流。
具体实施方式
图1示出了根据本发明的一些实施例的用于对场景120进行成像的系统100。图2以不同的详细程度展示了系统100的组件。示出了多个无人机，每个无人机105沿着对应的路径110移动。图1示出了由人160操作的飞行控制器130，其与每个无人机进行无线通信。无人机还与摄影机控制器140进行无线通信，向其传输捕获的图像。数据从摄影机控制器140发送到飞行控制器130以促进飞行控制。其他数据可以可选地从飞行控制器130发送到摄影机控制器140以促进其中的图像处理。系统输出以场景120的3D重建150的形式提供。
图2显示了摄影机控制器140的一些内部组织，包括多个无人机代理142和全局优化器144，以及系统组件之间的数据流，包括反馈回路。为简单起见，场景120和场景重建150以比图1中更抽象的方式表示。
每个无人机代理142与一个且仅一个无人机“匹配”，从该无人机105内或连接到该无人机105的无人机摄影机115接收图像。为简单起见，图2显示了在各个无人机上处于相同相对位置和取向的无人机摄影机，但实际情况并不一定如此。每个无人机代理处理从对应的无人机摄影机接收的每个图像(或来自视频流的帧)(在某些情况下，结合从飞行控制器130接收的飞行命令信息)以及表征无人机的数据、无人机摄影机和捕获图像，以生成(例如，使用SLAM技术)在无人机局部坐标系中的无人机摄影机位姿的估计，为了本公开的目的，位姿被定义为3D位置和3D取向的组合。上述特征数据通常包括无人机ID、固有摄影机参数以及诸如图像时间戳、大小、编码和捕获速率(fps)等图像捕获参数。
然后，每个无人机代理与至少一个其他无人机代理合作，以计算特定于其自身无人机摄影机的坐标变换，以便估计的摄影机位姿可以在每个无人机共享的全局坐标系中表示。该计算可以使用一种新颖的鲁棒坐标对齐算法来执行，下面将参考图3和图4进行更详细的讨论。
每个无人机代理还生成场景120的密集(词语“密集”在本文中指深度地图的分辨率等于或非常接近从其获得深度地图的RGB图像的分辨率。一般而言，像LiDAR或RGB-D的形态生成比RGB低得多的分辨率(小于VGA)。基于视觉关键点的方法生成甚至更稀疏的具有深度的点)深度地图，由对应的无人机摄影机针对从其捕获对应图像的每个位姿查看。深度地图是在全局坐标系中计算和表达的。在某些情况下，地图是由无人机代理处理从同一个无人机摄影机在稍微不同的时间和位姿接收到的一对图像生成的，所述一对图像的视野足够重叠以作为一对立体图像。如图9所示，无人机代理可以使用众所周知的技术来处理此类图像对以生成对应的深度地图，如下所述。在其他一些情况下，无人机可能包括某种类型的深度传感器，使得深度测量与RGB图像像素一起发送，形成RGBD图像(而不是简单的RGB图像)，无人机代理处理该RGBD图像以生成深度地图。在另一些情况下，这两个选项都可能存在，来自深度传感器的信息被用作辅助工具，以细化先前从立体图像对处理生成的深度地图。内置深度传感器的示例包括LiDAR系统、飞行时间传感器和立体摄影机提供的传感器。
每个无人机代理将其自己的无人机摄影机位姿估计和对应的深度地图(均在全局坐标中)以及固有地表征对应无人机的数据发送到全局优化器144。在从每个无人机代理接收到所有这些数据和RGB图像后，全局优化器144共同处理这些数据，生成3D点云表示，随着接收到更多图像和数据，该表示可以随着时间的推移进行扩展、校正和细化。如果图像的关键点已经存在于3D点云中，并且匹配得到确认，则该关键点被称为“已注册(registered)”。处理的主要目的是验证跨多个图像的3D点云图像数据，并对应地调整每个无人机摄影机的估计位姿和深度地图。通过这种方式，可以实现成像场景重建的“结构”以及无人机摄影机在空间和时间上的“运动”或定位的联合优化。
全局优化部分取决于使用各种最先进的SLAM或现在可用的运动结构(SfM)优化器中的任何一种，例如基于图形的优化器BundleFusion，该优化器BundleFusion从以不同位姿捕获的多个图像生成3D点云重建。
在本发明中，此类优化器嵌入在过程级迭代优化器中，在每个循环之后将更新的(改进的)摄影机位姿估计和深度地图发送到飞行控制器，飞行控制器可以在必要时使用它来调整飞行路径和位姿。如上所述，无人机发送给无人机代理的后续图像接着由无人机代理处理，涉及每个无人机代理与至少一个其它无人机代理相互合作，以产生进一步改进的深度地图和无人机摄影机位姿估计，再将其发送到全局优化器，以在下一个迭代周期中使用，依此类推。因此，摄影机位姿估计和深度地图的准确性逐个周期地得到提高，进而提高了对无人机飞行路径的控制和3D点云重建的质量。当该重建被认为满足预定的质量阈值时，迭代循环可以停止，并且在该点处的重建作为最终系统输出提供。可以容易地设想该输出的许多应用，例如，包括用于摄影的3D场景重建或视图改变体验。
现在将讨论系统100中所示的无人机代理142如何在各种实施例中操作的更多细节。
如何控制多个无人机摄影机的定位和运动的问题在本发明中通过SLAM和多视图三角测量(MVT)的组合来解决。图3显示了分别采用的两种技术的优点和缺点，以及所提出的组合的一个实施例的细节，该组合假设图像序列(或视频)已经暂时同步，包括首先在每个无人机上运行SLAM过程(例如：ORBSLAM2)，以在每个图像上生成局部无人机摄影机位姿(以下为局部SLAM位姿)，然后为每个无人机加载一些(例如，5个)RGB图像帧及其对应的局部SLAM位姿。这确定了该无人机摄影机的一致“局部”坐标和“局部”比例。接下来，针对多个无人机运行鲁棒MT算法——图4示意性地说明了如何可以计算将第二无人机的局部SLAM位姿与第一无人机的SLAM定义的坐标对齐所需的变换(旋转、缩放和平移)。然后将其扩展到多个无人机中的每个其他无人机。然后应用适合每个局部SLAM位姿的变换。结果是实现了从全部多个无人机摄影机捕获的图像的空间和时间一致性。
图5-8显示了确定两个摄影机之间的变换所必需的各种计算所涉及的步骤的数学细节。
图5显示了可以如何应用最小二乘法来估计摄影机位置之间多个向量的交点。图6显示了可以如何为两个摄影机实现缩放的初始解决方案。图7显示了可以如何计算两个摄影机的坐标之间的初始旋转。为了保证计算的旋转矩阵是无偏的，使用本领域公知的技术对所有3个旋转自由度进行平均。图8总结了计算的最后一步，以完全对齐两个摄影机的坐标(位置、旋转和缩放)。
为简单起见，无人机代理之一可以被认为是“主”无人机代理，代表“主”无人机摄影机，其坐标可以被认为是全局坐标，使用上述技术将所有其他无人机摄影机图像与其对齐。
图9以示意图的形式示出了无人机代理在使用诸如上述技术的技术将对应摄影机的图像与主无人机摄影机对齐并在此过程中粗略估计对应摄影机位姿之后可以执行的内部功能步骤。根据一些实施例，在图片下方的四个块中表示的位姿估计后步骤基于连续捕获的图像的伪立体图像对(例如第一图像和第二图像)生成深度地图。然后执行的操作顺序是图像修改(比较无人机摄影机在略有不同的时间拍摄的图像)，使用各种已知工具(如PSMnet、SGM等)中的任何一种进行深度估计，并且最后去修改以将计算的深度分配给该图像对的第一图像的像素。
图10总结了系统100的一些实施例中的飞行控制器和摄影机控制器之间交互的高级方面。这些交互采取飞行控制器和摄影机控制器之间的反馈回路的形式，其中飞行控制器使用摄影机控制器最新测量的视觉位姿来更新其控制模型，并且摄影机控制器在摄影机位姿的SLAM计算中考虑飞行控制器发送的命令。
图11提供了实现对多个无人机的飞行路径或位姿的控制的典型过程的更多细节——称为反馈集群控制，因为它依赖于两个控制器之间的连续反馈。由此产生的本发明系统的关键方面可以陈列如下。
(1)控制源于全局优化器的3D地图，其作为最新、最准确的摄影机定位视觉参考。(2)飞行控制器使用3D地图信息为每个无人机生成命令，以补偿地图中明显的定位误差。(3)在来自无人机的图像到达后，无人机代理开始计算“围绕”预期位置的“测量”位置，其可以避免不太可能的解决方案。(4)对于无人机集群队列，反馈机制总是通过视觉手段来调整每个无人机的姿态，并且由于漂移导致的队列变形被限制。
图12标记了信息流，显示了飞行控制器130和摄影机控制器140之间的集成系统100的这两个主要组件的“外部”控制反馈回路，以及全局优化器144和每个无人机代理142之间的“内部”反馈回路。摄影机控制器140中的全局优化器向飞行控制器提供完全优化的位姿数据(旋转+位置)作为观察通道，并且飞行控制器在其控制参数估计中考虑这些观察结果，因此飞行控制器发送的无人机命令将响应最新的位姿不确定性。继续外部反馈回路，飞行控制器与摄影机控制器中的无人机代理142共享其运动命令。这些命令是限制和加速摄影机控制器内下一个摄影机位姿计算优化的先验信息。全局优化器144和每个无人机代理142之间的内部反馈回路由图中这些组件之间的双头箭头指示。
本文描述的实施例在用于使用多个配备摄影机的无人机来捕捉和集成视觉内容的系统和方法中提供各种益处。特别地，实施例实现了仅基于摄影机捕获的图像的视觉内容的无人机轨迹和这些摄影机位姿的自动空间对准或协调，以及所有无人机之间一致的3D点云、深度地图和摄影机位姿的计算，正如所提出的迭代全局优化器所促进的那样。成功的操作不依赖于深度传感器的存在(尽管它们可能是有用的附加件)，因为提出的摄影机控制器中的SLAM-MT机制可以简单地使用从多个(甚至远大于2个)无人机连续捕获的图像的视觉内容，生成比例一致的RGB-D图像数据。这些数据在现代高质量3D场景重建中极有用。
上述新颖的局部到全局坐标变换方法基于匹配多对图像，从而进行多对一的全局匹配，这提供了鲁棒性。与现有技术系统相比，无人机代理执行以计算其对应的摄影机位姿和深度地图的图像处理不依赖于全局3D地图的可用性。每个无人机代理可以在给定一对RGB图像及其对应的摄影机位姿的情况下自行生成密集的深度地图，然后将深度地图和摄影机位姿转换为全局坐标，之后将结果传递给全局优化器。因此，本发明的全局优化器的操作更简单，在统一坐标系中处理摄影机位姿和深度地图。
需要注意的是，这涉及到两个数据传输回路。外部回路在飞行控制器和摄影机控制器之间操作，以提供全球定位准确性，而内部回路(由多个子回路组成)在摄影机控制器内的无人机代理和全局优化器之间操作，以提供结构和运动准确性。
尽管说明书已经就其特定实施例进行了描述，但这些特定实施例仅是说明性的，而不是限制性的。应用包括专业3D场景捕获、数字内容资产生成、用于工作室捕获的实时审查工具，以及无人机集群队形和控制。此外，由于本发明可以处理多个执行复杂3D运动轨迹的无人机，因此还可以应用于处理例如机器人团队的扫描的低维轨迹的案例。
可以使用任何合适的编程技术实现特定实施例的例程，包括C、C++、Java、汇编语言等。可以使用不同的编程技术，如面向过程或面向对象。这些例程可以在单个处理设备或多个处理器上执行。尽管步骤、操作或计算可以以特定顺序呈现，但在不同的特定实施例中，该顺序可以改变。在一些特定实施例中，可以同时执行本说明书中显示为顺序的多个步骤。
特定实施例可在计算机可读存储介质中实现，以供指令执行系统、装置、系统或设备使用或与之结合使用。特定实施例可以以软件或硬件或两者的组合的控制逻辑的形式实现。当由一个或多个处理器执行时，控制逻辑可操作用于执行特定实施例中描述的方法。
特定实施例可通过使用编程通用数字计算机、通过使用专用集成电路、可编程逻辑器件、现场可编程门阵列来实现，可以使用光学、化学、生物、量子或纳米工程系统、组件和机制。一般而言，特定实施例的功能可以通过本领域已知的任何方式实现。可以使用分布式、网络化系统、组件和/或电路。数据的通信或传输可以是有线、无线或通过任何其他方式。
还应理解，附图/图中描绘的一个或多个元件也可以以更加分离或集成的方式实施，或者甚至在某些情况下被移除或呈现为不可操作，这根据特定应用是有用的。实现可存储在机器可读介质中以允许计算机执行上述任何方法的程序或代码也在其内涵和范围内。
“处理器”包括处理数据、信号或其他信息的任何合适的硬件和/或软件系统、机制或组件。处理器可以包括具有通用中央处理单元、多个处理单元、用于实现功能的专用电路的系统或其他系统。处理不必限于地理位置，或有时间限制。例如，处理器可以“实时”、“离线”、以“批处理模式”等执行其功能。处理的各部分可以通过不同(或相同)的处理系统在不同时间和不同位置执行。处理系统的示例可以包括服务器、客户端、终端用户设备、路由器、交换机、网络存储设备等。计算机可以是与存储器通信的任何处理器。存储器可以是任何合适的处理器可读存储介质，例如随机存取存储器(RAM)、只读存储器(ROM)、磁盘或光盘，或其他适合存储指令以供处理器执行的非暂态介质。
除非上下文另有明确规定，否则在本文的描述中以及在随后的权利要求中使用的，“一”、“一个”和“该”包括复数引用。此外，如在本文的描述中以及在随后的所有权利要求中所使用的，“中”的含义包括“中”和“上”，除非上下文另有明确规定。
因此，尽管本文已经描述了特定实施例，但在前述公开中预期了修改、各种改变和替换的范围，并且应当理解，在某些情况下，在不偏离所阐述的范围和内涵的情况下，将使用特定实施例的一些特征，而不相应地使用其他特征。因此，可以进行许多修改以使特定情况或材料适应基本范围和内涵。
Claims (20)
1.一种对场景进行成像的系统，该系统包括：
多个无人机，每个无人机沿着对应的飞行路径在场景上移动，并且每个无人机具有无人机摄影机，所述无人机摄影机在对应的第一位姿和对应的第一时间捕捉场景的对应的第一图像；
飞行控制器，部分通过使用由摄影机控制器提供的每个无人机摄影机的第一位姿的估计来控制每个无人机的飞行路径，从而在场景上创建和维持具有所需摄影机位姿的无人机的所需图案；和
摄影机控制器，所述摄影机控制器从所述多个无人机接收场景的对应的多个捕获图像，并处理接收到的多个捕获图像，以生成场景的3D表示作为系统输出，并将每个无人机摄影机的第一位姿的估计提供给飞行控制器；
其中，该系统只需一名人工操作员即可完全运行。
2.根据权利要求1所述的系统，其中，所述摄影机控制器包括：
多个无人机代理，每个无人机代理通信耦合到一个且仅一个对应的无人机以接收对应的捕获的第一图像；和
与每个无人机代理和飞行控制器通信耦合的全局优化器；
其中，摄影机控制器中的无人机代理和全局优化器协作，针对每个无人机迭代地改进第一位姿的估计和表征由对应的无人机摄影机成像的场景的深度地图，并使用来自所有无人机的估计和深度地图来创建场景的3D表示；和
其中，飞行控制器从摄影机控制器接收每个无人机摄影机的第一位姿的估计，在必要时相应地调整对应的飞行路径和无人机摄影机位姿。
3.根据权利要求2所述的系统，其中，对应于每个无人机的深度地图由对应的无人机代理基于处理场景的第一图像和第二图像生成，第一图像和第二图像由对应的无人机摄影机在对应的第二位姿和对应的第二时间捕获，并由对应的无人机代理接收。
4.根据权利要求2所述的系统，其中，对应于每个无人机的深度地图是由对应的无人机代理基于处理第一图像和由对应无人机中的深度传感器生成的深度数据而生成的。
5.根据权利要求2所述的系统，其中，每个无人机代理：
与另一无人机代理合作，以便使用表征对应无人机的数据和图像捕获参数，处理由对应无人机捕获的第一图像，以生成对应无人机的第一位姿的估计；和
与全局优化器合作，以迭代地改进与无人机代理耦合的无人机的无人机摄影机的第一位姿估计，并迭代地改进对应的深度地图。
6.根据权利要求5所述的系统，其中，生成每个无人机摄影机的第一位姿的估计包括将特定于每个无人机的局部坐标系中表示的位姿相关数据变换为多个无人机共享的全局坐标系，所述变换包括同步定位与地图构建(SLAM)和多视图三角测量(MT)的组合。
7.如权利要求2所述的系统，其中，所述全局优化器：
基于来自所述多个无人机代理中的每一个的输入生成并迭代地改进场景的3D表示，该输入包括表征对应无人机的数据，以及对应的经处理的第一图像、第一位姿估计和深度地图；和
将所述多个无人机的无人机摄影机的位姿估计提供给飞行控制器。
8.根据权利要求7所述的系统，其中，通过所述全局优化器执行的迭代改进包括循环过程，在该循环过程中，无人机摄影机位姿估计和深度地图被连续和迭代地改进，直到场景的3D表示满足预定的质量阈值。
9.一种对场景进行成像的方法，该方法包括：
部署多个无人机，每个无人机沿着对应的飞行路径在场景上移动，并且每个无人机具有摄影机，所述摄影机在对应的第一位姿和对应的第一时间捕捉场景的对应的第一图像；
使用飞行控制器，部分通过使用由摄影机控制器提供的每个摄影机的第一位姿的估计来控制每个无人机的飞行路径，从而在场景上创建和维持具有所需摄影机位姿的无人机的所需图案；和
使用摄影机控制器从所述多个无人机接收场景的对应的多个捕获图像，并处理接收到的多个捕获图像，以生成场景的3D表示作为系统输出，并将每个摄影机的第一位姿的估计提供给飞行控制器；
其中，该方法的全部操作需要不超过一名人工操作员。
10.如权利要求9所述的方法，其中，摄影机控制器包括：
多个无人机代理，每个无人机代理通信耦合到一个且仅一个对应的无人机以接收对应的捕获的第一图像；和
与每个无人机代理和飞行控制器通信耦合的全局优化器；和
其中，摄影机控制器中的无人机代理和全局优化器合作，针对每个无人机迭代地改进第一位姿的估计和表征由对应的无人机摄影机成像的场景的深度地图，并使用来自所有无人机的估计和深度地图来创建场景的3D表示；和
其中，飞行控制器从摄影机控制器接收每个无人机摄影机的改进的第一位姿的估计，在必要时相应地调整对应的飞行路径和无人机摄影机位姿。
11.如权利要求10所述的方法，其中，对应于每个无人机的深度地图由对应的无人机代理基于处理场景的第一图像和第二图像生成，第一图像和第二图像由对应的无人机摄影机在对应的第二位姿和对应的第二时间捕获，并由对应的无人机代理接收。
12.如权利要求10所述的方法，其中，对应于每个无人机的深度地图是由对应的无人机代理基于处理第一图像和由对应无人机中的深度传感器生成的深度数据而生成的。
13.根据权利要求10所述的方法，其中，所述合作包括：
每个无人机代理与另一个无人机代理合作，以使用表征这些无人机的数据和对应的捕获图像的图像捕获参数处理对应无人机捕获的第一图像，以生成对应无人机的第一位姿的估计；和
每个无人机代理与全局优化器合作，以迭代地改进与无人机代理耦合的无人机的无人机摄影机的第一位姿估计，并迭代地改进对应的深度地图。
14.根据权利要求13所述的方法，其中生成每个无人机摄影机的第一位姿的估计包括将特定于每个无人机的局部坐标系中表示的位姿相关数据变换为多个无人机共享的全局坐标系，所述变换包括同步定位与地图构建(SLAM)和多视图三角测量(MT)的组合。
15.根据权利要求11所述的方法，其中，所述全局优化器：
基于来自所述多个无人机代理中的每一个的输入生成并迭代地改进场景的3D表示，所述输入包括表征对应无人机的数据，以及对应的经处理的第一图像、第一位姿估计和深度地图；和
向飞行控制器提供所述多个无人机摄影机的第一位姿估计。
16.根据权利要求15所述的方法，其中，通过所述全局优化器执行的迭代改进包括循环过程，在该循环过程中，无人机摄影机位姿估计和深度地图被连续和迭代地改进，直到场景的3D表示满足预定的质量阈值。
17.根据权利要求10所述的方法，还包括：
在合作之前，部分通过以下操作在所述多个无人机之间建立时间和空间关系：
比较来自所述多个无人机摄影机中的每一个的电信号或视觉信号，以实现时间同步；
为每个无人机运行SLAM过程以为每个无人机建立局部坐标系；和
运行多视图三角测量过程，以定义由所述多个无人机共享的全局坐标框架。
18.一种装置，包括：
一个或多个处理器；和
在一个或多个非暂态介质中编码的逻辑，所述逻辑用于由所述一个或多个处理器执行，并且在执行时可操作以通过以下方式对场景进行成像：
部署多个无人机，每个无人机沿着对应飞行路径在场景上移动，并且每个无人机具有摄影机，所述摄影机在对应的第一位姿和对应的第一时间捕捉场景的对应的第一图像；
使用飞行控制器，部分通过使用由摄影机控制器提供的每个摄影机的第一位姿的估计来控制每个无人机的飞行路径，从而在场景上创建和维持具有所需摄影机位姿的无人机的所需图案；和
使用摄影机控制器从所述多个无人机接收场景的对应的多个捕获图像，并处理接收到的所述多个捕获图像，以生成场景的3D表示作为系统输出，并将每个摄影机的第一位姿的估计提供给飞行控制器；
其中，该方法的全部操作需要不超过一名人工操作员。
19.根据权利要求18所述的装置，其中摄影机控制器包括：
多个无人机代理，每个无人机代理通信耦合到一个且仅一个对应无人机以接收对应的捕获的第一图像；和
与每个无人机代理和飞行控制器通信耦合的全局优化器；和
其中，摄影机控制器中的无人机代理和全局优化器协作，针对每个无人机迭代地改进第一位姿的估计和表征由对应的无人机摄影机成像的场景的深度地图，并使用来自所有无人机的估计和深度地图来创建场景的3D表示；和
其中，飞行控制器从摄影机控制器接收每个无人机摄影机的改进的第一位姿的估计，在必要时相应地调整对应飞行路径和无人机摄影机位姿。
20.根据权利要求19所述的装置，其中，对应于每个无人机的深度地图由对应无人机代理基于以下操作生成：
处理场景的第一图像和第二图像，第一图像和第二图像由对应的无人机摄影机在对应的第二位姿和对应的第二时间捕获，并由对应无人机代理接收；或者
处理第一图像和对应无人机中深度传感器生成的深度数据。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US16/917,013 US20210407302A1 (en) | 2020-06-30 | 2020-06-30 | System of multi-drone visual content capturing |
| US16/917,013 | 2020-06-30 | ||
| PCT/US2021/039151 WO2022005901A1 (en) | 2020-06-30 | 2021-06-25 | System of multi-drone visual content capturing |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114651280A true CN114651280A (zh) | 2022-06-21 |
Family
ID=79032672
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202180006219.0A Pending CN114651280A (zh) | 2020-06-30 | 2021-06-25 | 多无人机视觉内容捕获系统 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US20210407302A1 (zh) |
| EP (1) | EP4121943A4 (zh) |
| JP (1) | JP7366349B2 (zh) |
| KR (1) | KR20230013260A (zh) |
| CN (1) | CN114651280A (zh) |
| WO (1) | WO2022005901A1 (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US12062145B2 (en) * | 2022-02-01 | 2024-08-13 | Samsung Electronics Co., Ltd. | System and method for three-dimensional scene reconstruction and understanding in extended reality (XR) applications |
Family Cites Families (30)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6055274B2 (ja) | 2012-10-31 | 2016-12-27 | 株式会社トプコン | 航空写真測定方法及び航空写真測定システム |
| US10168674B1 (en) * | 2013-04-22 | 2019-01-01 | National Technology & Engineering Solutions Of Sandia, Llc | System and method for operator control of heterogeneous unmanned system teams |
| US20160239976A1 (en) * | 2014-10-22 | 2016-08-18 | Pointivo, Inc. | Photogrammetric methods and devices related thereto |
| US10003786B2 (en) * | 2015-09-25 | 2018-06-19 | Intel Corporation | Method and system of 3D image capture with dynamic cameras |
| US10546385B2 (en) * | 2016-02-25 | 2020-01-28 | Technion Research & Development Foundation Limited | System and method for image capture device pose estimation |
| US10217225B2 (en) * | 2016-06-01 | 2019-02-26 | International Business Machines Corporation | Distributed processing for producing three-dimensional reconstructions |
| KR20180067908A (ko) * | 2016-12-13 | 2018-06-21 | 한국전자통신연구원 | 3차원 모델 복원 장치 및 방법 |
| KR20180074325A (ko) * | 2016-12-23 | 2018-07-03 | 삼성전자주식회사 | 복수의 드론을 제어하는 전자 장치 및 방법 |
| EP3349086A1 (en) * | 2017-01-17 | 2018-07-18 | Thomson Licensing | Method and device for determining a trajectory within a 3d scene for a camera |
| WO2018144929A1 (en) * | 2017-02-02 | 2018-08-09 | Infatics, Inc. (DBA DroneDeploy) | System and methods for improved aerial mapping with aerial vehicles |
| US10593109B1 (en) * | 2017-06-27 | 2020-03-17 | State Farm Mutual Automobile Insurance Company | Systems and methods for controlling a fleet of drones for data collection |
| KR102662201B1 (ko) * | 2017-06-28 | 2024-04-30 | 매직 립, 인코포레이티드 | 콘볼루셔널 이미지 변환을 사용하여 동시 로컬화 및 맵핑을 수행하기 위한 방법 및 시스템 |
| EP3428765A1 (en) * | 2017-07-12 | 2019-01-16 | ETH Zurich | A drone and method of controlling flight of a drone |
| US10721461B2 (en) * | 2017-07-28 | 2020-07-21 | California Institute Of Technology | Collaborative stereo system for three-dimensional terrain and object reconstruction |
| US10514710B2 (en) * | 2017-09-27 | 2019-12-24 | Intel IP Corporation | Unmanned aerial vehicle alignment system |
| FR3072781B1 (fr) * | 2017-10-19 | 2020-07-10 | Thales | Dispositif d'imagerie reconfigurable |
| US10852723B2 (en) * | 2017-11-14 | 2020-12-01 | Intel IP Corporation | Unmanned aerial vehicle swarm photography |
| US11127202B2 (en) * | 2017-12-18 | 2021-09-21 | Parthiv Krishna | Search and rescue unmanned aerial system |
| US10515555B2 (en) * | 2018-01-31 | 2019-12-24 | Walmart Apollo, Llc | System and method for managing a swarm of unmanned aerial vehicles |
| US10909712B2 (en) * | 2018-05-21 | 2021-02-02 | Microsoft Technology Licensing, Llc | Precision mapping using autonomous devices |
| US20190362235A1 (en) * | 2018-05-23 | 2019-11-28 | Xiaofan Xu | Hybrid neural network pruning |
| WO2020040679A1 (en) | 2018-08-22 | 2020-02-27 | I-Conic Vision Ab | A method and corresponding system for generating video-based models of a target such as a dynamic event |
| US20200065553A1 (en) * | 2018-08-26 | 2020-02-27 | Bujin Guo | Remote sensing architecture utilizing multiple UAVs to construct a sparse sampling measurement matrix for a compressed sensing system |
| US11046431B2 (en) * | 2018-10-26 | 2021-06-29 | International Business Machines Corporation | Feedback based smart clustering mechanism for unmanned aerial vehicle assignment |
| RU2697942C1 (ru) * | 2018-10-30 | 2019-08-21 | Общество С Ограниченной Ответственностью "Альт" | Способ и система обратного оптического трекинга подвижного объекта |
| WO2020110401A1 (ja) | 2018-11-29 | 2020-06-04 | パナソニックＩｐマネジメント株式会社 | 無人飛行体、情報処理方法およびプログラム |
| US10534068B2 (en) * | 2018-12-27 | 2020-01-14 | Intel Corporation | Localization system, vehicle control system, and methods thereof |
| US10937324B2 (en) * | 2019-02-05 | 2021-03-02 | Intel Corporation | Orchestration in heterogeneous drone swarms |
| US11964762B2 (en) * | 2020-02-11 | 2024-04-23 | Raytheon Company | Collaborative 3D mapping and surface registration |
| US11160520B2 (en) * | 2020-02-26 | 2021-11-02 | Siemens Medical Solutions Usa, Inc. | Mobile tomography imaging |
-
2020
- 2020-06-30 US US16/917,013 patent/US20210407302A1/en active Pending
-
2021
- 2021-06-25 CN CN202180006219.0A patent/CN114651280A/zh active Pending
- 2021-06-25 JP JP2022539072A patent/JP7366349B2/ja active Active
- 2021-06-25 WO PCT/US2021/039151 patent/WO2022005901A1/en unknown
- 2021-06-25 EP EP21833625.3A patent/EP4121943A4/en active Pending
- 2021-06-25 KR KR1020227044270A patent/KR20230013260A/ko unknown
Also Published As
| Publication number | Publication date |
|---|---|
| EP4121943A1 (en) | 2023-01-25 |
| JP7366349B2 (ja) | 2023-10-23 |
| EP4121943A4 (en) | 2023-08-23 |
| KR20230013260A (ko) | 2023-01-26 |
| JP2023508414A (ja) | 2023-03-02 |
| US20210407302A1 (en) | 2021-12-30 |
| WO2022005901A1 (en) | 2022-01-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6694169B2 (ja) | 複数カメラネットワークを利用して静止シーン及び／又は移動シーンを取り込むためのシステム及び方法 | |
| US11210804B2 (en) | Methods, devices and computer program products for global bundle adjustment of 3D images | |
| US20150116502A1 (en) | Apparatus and method for dynamically selecting multiple cameras to track target object | |
| WO2020240284A3 (en) | Vehicle environment modeling with cameras | |
| CN110799921A (zh) | 拍摄方法、装置和无人机 | |
| KR101896654B1 (ko) | 드론을 이용한 3d 영상 처리 시스템 및 방법 | |
| WO2010112320A1 (en) | A method for determining the relative position of a first and a second imaging device and devices therefore | |
| US12033355B2 (en) | Client/server distributed camera calibration | |
| WO2019061295A1 (zh) | 一种视频处理方法、设备、无人机及系统 | |
| KR20210118414A (ko) | 로봇 디바이스의 상태를 사용한 환경 맵핑 | |
| Karakostas et al. | UAV cinematography constraints imposed by visual target tracking | |
| WO2019164502A1 (en) | Methods, devices and computer program products for generating 3d models | |
| US11460867B2 (en) | System of multi-swarm drone capturing | |
| CN114651280A (zh) | 多无人机视觉内容捕获系统 | |
| WO2022151473A1 (zh) | 拍摄控制方法、拍摄控制装置及云台组件 | |
| EP2879090B1 (en) | Aligning ground based images and aerial imagery | |
| WO2023180838A1 (en) | Method of 3d reconstruction of dynamic objects by mobile cameras | |
| JP2024519361A (ja) | マルチドローン群によって取り込まれたシーンの画像からの無関係なコンテンツの除去 | |
| US11256257B2 (en) | Method of multi-drone camera control | |
| CN113409442A (zh) | 一种多全景图融合三维重建的方法 | |
| US11882262B2 (en) | System and method for stereoscopic image analysis | |
| Chen et al. | Pose-graph based 3D map fusion with distributed robot system | |
| Kinoshita et al. | Drone-based mixed reality: enhancing visualization for large-scale outdoor simulations with dynamic viewpoint adaptation using vision-based pose estimation methods | |
| JP2022022525A (ja) | 情報処理装置、情報処理装置の制御方法なおよびプログラム | |
| Pathak et al. | Rotation removed stabilization of omnidirectional videos using optical flow |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |