CN117859104A - 飞行器、图像处理方法和装置、可移动平台 - Google Patents

飞行器、图像处理方法和装置、可移动平台 Download PDF

Info

Publication number
CN117859104A
CN117859104A CN202280057209.4A CN202280057209A CN117859104A CN 117859104 A CN117859104 A CN 117859104A CN 202280057209 A CN202280057209 A CN 202280057209A CN 117859104 A CN117859104 A CN 117859104A
Authority
CN
China
Prior art keywords
movable platform
visual
partial image
sensor
positional relationship
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280057209.4A
Other languages
English (en)
Inventor
杨健
周游
杨振飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Original Assignee
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SZ DJI Technology Co Ltd filed Critical SZ DJI Technology Co Ltd
Publication of CN117859104A publication Critical patent/CN117859104A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Image Analysis (AREA)

Abstract

一种飞行器、图像处理方法和装置、可移动平台，飞行器包括第一视觉传感器(301)和第二视觉传感器(302)；第一视觉传感器(301)的第一可视范围与第二视觉传感器(302)的第二可视范围部分重叠，其中，重叠的可视范围包括飞行器的侧部的环境区域，侧部包括第一侧和第二侧，第一侧和第二侧相对设置；第一可视范围包括飞行器顶部的环境区域；第二可视范围包括飞行器底部的环境区域；第一视觉传感器和第二视觉传感器采集的图像用于计算环境区域中的物体的位置信息，物体的位置信息用于控制飞行器在空间中运动。

Description

飞行器、图像处理方法和装置、可移动平台 技术领域
本公开涉及计算机视觉技术领域，具体而言，涉及飞行器、图像处理方法和装置、可移动平台。
背景技术
在可移动平台自主行驶的过程中，为了保证可移动平台的安全性，常常借助视觉传感器来对可移动平台周围的物体进行感知。视觉传感器在可移动平台上的部署方式以及基于视觉传感器采集的图像的处理方式对感知结果将会产生较大的影响。因此，有必要对视觉传感器的部署方式和图像处理方式中的至少一者进行改进。
发明内容
第一方面，本公开实施例提供一种飞行器，所述飞行器包括第一视觉传感器和第二视觉传感器；所述第一视觉传感器的第一可视范围与所述第二视觉传感器的第二可视范围部分重叠，其中，重叠的可视范围包括所述飞行器的周围的环境区域，所述环境区域包括所述无人飞行器的两个相背对部位朝向的区域；所述第一视觉传感器和所述第二视觉传感器采集的图像用于计算环境区域中的物体的位置信息，所述物体的位置信息用于控制所述飞行器在空间中运动。
第二方面，本公开实施例提供一种图像处理方法，所述方法应用于可移动平台，所述可移动平台包括第一视觉传感器和第二视觉传感器，所述第一视觉传感器的第一可视范围与所述第二视觉传感器的第二可视范围部分重叠，所述方法包括：获取所述第一视觉传感器在重叠的可视范围内的第一局部图像，获取所述第二视觉传感器在重叠的可视范围内的第二局部图像；获取所述第一视觉传感器在第一时刻采集的图像和在第二时刻采集的图像，所述第一视觉传感器在所述第一时刻时在空间中的位姿不同于在所述第二时刻时在空间中的位姿；基于所述第一局部图像、所述第二局部图像，所述第一时刻采集的图像和所述第二时刻采集的图像，确定所述可移动平台所在空间中的物体与所述可移动平台的相对位置关系。
第三方面，本公开实施例提供一种图像处理装置，包括处理器，所述装置应用于 可移动平台，所述可移动平台包括第一视觉传感器和第二视觉传感器，所述第一视觉传感器的第一可视范围与所述第二视觉传感器的第二可视范围部分重叠，所述处理器用于执行以下步骤：获取所述第一视觉传感器在重叠的可视范围内的第一局部图像，获取所述第二视觉传感器在重叠的可视范围内的第二局部图像；获取所述第一视觉传感器在第一时刻采集的图像和在第二时刻采集的图像，所述第一视觉传感器在所述第一时刻时在空间中的位姿不同于在所述第二时刻时在空间中的位姿；基于所述第一局部图像、所述第二局部图像，所述第一时刻采集的图像和所述第二时刻采集的图像，确定所述可移动平台所在空间中的物体与所述可移动平台的相对位置关系。
第四方面，本公开实施例提供一种可移动平台，包括：第一视觉传感器和第二视觉传感器，分别用于采集所述可移动平台周围的环境区域的图像，所述第一视觉传感器的第一可视范围与所述第二视觉传感器的第二可视范围部分重叠；以及任一实施例所述的图像处理装置。
应用本公开实施例方案，在飞行器上安装可视范围部分重叠的第一视觉传感器和第二视觉传感器，由于重叠的可视范围包括所述飞行器的周围的环境区域，且所述环境区域包括所述飞行器的两个相背对部位朝向的区域，从而能够获取周围的环境区域中朝向相对的两个区域中的物体的位置信息；此外，还能够获取飞行器的非重叠的可视范围内的物体的位置信息。因此，采用本公开实施例的方案，只需要在飞行器上部署两个视觉传感器就能获得较大的感知范围，视觉传感器的构型简单，成本低，从而减轻了飞行器的重量和成本，并提高了飞行器在空间中运动的安全性。
此外，空间中的物体与可移动平台的相对位置关系基于第一视觉传感器在重叠的可视范围内的第一局部图像、第二视觉传感器在重叠的可视范围内的第二局部图像以及第一视觉传感器在第一时刻采集的图像和在第二时刻采集的图像共同确定，一方面，能够提高对空间中物体的感知范围；另一方面，能够提高感知的准确度，从而准确获得空间中较大范围的物体的相对位置关系。
附图说明
为了更清楚地说明本公开实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是相关技术中的双目视觉传感器的覆盖范围的示意图。
图2是视觉传感器的布局的示意图。
图3是本公开实施例的飞行器的示意图。
图4A和图4B分别是本公开实施例的视觉传感器的覆盖范围的示意图。
图5是本公开实施例的基于语义确定相对位置关系的示意图。
图6是本公开实施例的图像处理方法的流程图。
图7是本公开实施例的双目深度估计过程的示意图。
图8是本公开实施例的单目深度估计过程的示意图。
图9是本公开实施例的整体流程图。
图10是本公开实施例的图像处理装置的硬件结构示意图。
图11是本公开实施例的可移动平台的示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
在本公开使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本公开说明书和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本公开范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
在信息时代，计算机越来越广泛地应用于各种领域。作为智能计算的重要领域，计算机视觉得到了极大的开发应用。计算机视觉依靠成像系统代替视觉器官作为输入敏感手段，最常用的是视觉传感器。在将计算机视觉应用场于可移动平台时，借助视觉传感器来对可移动平台周围的物体进行感知，并基于感知结果来控制可移动平台的移动方式(包括移动速度、移动方向等)。例如，可以在可移动平台上布局双目视觉系统(Stereo Vision System)。双目视觉系统(Stereo Vision System)采用双目算法计算深度，即，通过两个视觉传感器，拍摄同一时刻、不同角度的两张图像，再通过两张图像的差异，以及两个视觉传感器之间的位姿关系，计算出场景与视觉传感器的距离关系，从而得到深度图(Depth Map)。或者，可以通过单目算法计算深度，即，视觉传感器从不同角度拍摄同一物体，同样也是计算多个角度拍摄图像的重叠区域的深度信息。为了提高可移动平台的安全性，需要尽量扩大对可移动平台的周围环境的感知范围。相关技术中，一般通过以下方式来扩大感知范围：
方式一：由于双目系统成像的非重叠区域较大，且非重叠区域的深度信息的可信度不高，在采用双目方式获取深度信息的情况下，一般会通过改进双目视觉传感器的布局方式，尽量增大双目视觉传感器的重叠的可视范围。然而，由于双目算法只能计算出两个视觉传感器的重叠的可视范围内的深度信息，即便重叠的可视范围增大，能够计算出深度信息的范围依然是有限的。如图1所示，S 1和S 2分别是两个视觉传感器，S 1的可视范围为BO 1D对应的范围，S 2的可视范围为AO 2C对应的范围，则S 1和S 2的重叠的可视范围为灰色区域所示。因此，在这种场景下，只能准确地计算出灰色区域内的场景的深度信息，而左右两侧是S 1/S 2独有的视角，无法准确地计算出深度信息。因此，这种改进方式依然无法获得范围足够大且准确的深度信息。此外，双目系统的基线长度有限，无法观测较远距离。
方式二：在多个方向和角度部署多组视觉传感器。参见图2，为了实现全向覆盖，分别在前、后、左、右、上、下多个方向和角度部局了单目视觉传感器或双目视觉传感器。然而，这种布局方式结构复杂、成本高、算力需求大，且会增加可移动平台的重量。
方式三：采用单目计算方式来获取深度信息。然而，这种方式需要视觉传感器动起来，视觉传感器静止或者姿态变化过大或过小的时候，难以生成有效的深度图，从而无法估算物体的深度信息。并且，被拍摄物体不能移动，必须是静止的物体，因此，单目方式获取的深度信息的鲁棒性较差。此外，当视觉传感器在不同时刻的位姿关系 不准确时，将严重影响获取的深度信息的准确度。
基于此，本公开实施例提供一种飞行器，参见图3，所述飞行器包括：
第一视觉传感器301和第二视觉传感器302；所述第一视觉传感器301的第一可视范围与所述第二视觉传感器302的第二可视范围部分重叠，其中，重叠的可视范围包括所述飞行器的周围的环境区域，所述环境区域包括所述飞行器的两个相背对部位朝向的区域；
所述第一视觉传感器301和所述第二视觉传感器302采集的图像用于计算环境区域中的物体的位置信息，所述物体的位置信息用于控制所述飞行器在空间中运动。
本公开实施例的飞行器可以是无人飞行器，例如，多旋翼无人飞行器。所述飞行器可以在空间中自主飞行，或者响应于于用户通过手势、遥控器、声控等方式下发的控制指令，在空间中飞行。
可以在飞行器上布局第一视觉传感器301和第二视觉传感器302。第一视觉传感器301的可视范围称为第一可视范围，第二视觉传感器302的可视范围称为第二可视范围。第一可视范围与第二可视范围的重叠可视范围可以包括所述飞行器的两个相背对部位朝向的区域，例如，包括所述飞行器的顶部朝向的区域和底部朝向的区域，或者，包括所述飞行器的左侧朝向的区域和右侧朝向的区域，或者包括所述飞行器的前侧朝向的区域和后侧朝向的区域。其中，重叠的可视范围也称为重叠区域或双目重叠区域，非重叠的可视范围也称为无重叠区域或双目非重叠区域。
在一些实施例中，可以将所述第一视觉传感器301和第二视觉传感器302中的一者设置在飞行器的顶部，另一者设置在飞行器的底部，从而使得重叠的可视范围包括所述飞行器的左侧朝向的区域和右侧朝向的区域，或者包括所述飞行器的前侧朝向的区域和后侧朝向的区域。在这种情况下，第一视觉传感器301和第二视觉传感器302的非重叠的可视范围包括所述飞行器的顶部的环境区域和底部的环境区域。
在另一些实施例中，可以将所述第一视觉传感器301和第二视觉传感器302中的一者设置在飞行器的左侧，另一者设置在飞行器的右侧，从而使得重叠的可视范围包括所述飞行器的顶部的环境区域和底部的环境区域。在这种情况下，第一视觉传感器301和第二视觉传感器302的非重叠的可视范围包括所述飞行器的左侧的环境区域和右侧的环境区域。
在另一些实施例中，可以将所述第一视觉传感器301和第二视觉传感器302中的 一者设置在飞行器的前侧，另一者设置在飞行器的后侧，从而使得重叠的可视范围包括所述飞行器的顶部的环境区域和底部的环境区域。在这种情况下，第一视觉传感器301和第二视觉传感器302的非重叠的可视范围包括所述飞行器的前侧的环境区域和后侧的环境区域。
除了上述设置方式以外，还可以根据实际需要将第一视觉传感器301和第二视觉传感器302的位置设置为其他位置，只要能使两个视觉传感器的重叠的可视范围包括所述飞行器的两个相背对部位朝向的区域即可。为了便于理解，下面以第一视觉传感器301和第二视觉传感器302中的一者设置在飞行器的顶部，另一者设置在飞行器的底部为例，对本公开的方案进行说明。在第一视觉传感器301和第二视觉传感器302采集的图像中，均包括双目重叠区域对应的局部图像以及无重叠区域对应的局部图像。
飞行器可以包括机臂和机身。其中，第一视觉传感器301和第二视觉传感器302均安装在机身上。在图4A所示的情况下，顶部为飞行器的机臂和机身上方的区域，底部为飞行器的机臂和机身下方的区域，侧部为机臂和机身旁侧的区域。当飞行器在空间中水平飞行时，所述顶部为朝向天空的一侧，所述底部为朝向地面的一侧，所述侧部为除顶部和底部之外的一侧或多侧。这样，第一视觉传感器301和第二视觉传感器302的总的可视范围几乎覆盖了飞行器所在空间的所有方向和角度，覆盖范围较大。
在一些实施例中，第一视觉传感器301和第二视觉传感器302中的至少一者可采用鱼眼相机。由于单个鱼眼相机的观测范围比较大(大于180度)，通过设置2个鱼眼相机就可以实现全向观测，构型简单，成本低，重量轻，能够较好地适用于飞行器等对机载外设重量要求比较严格的应用场景。在飞行器的机身上分别部署两个鱼眼相机的情况下，第一视觉传感器301也可称为上鱼眼相机，第二视觉传感器302也可称为下鱼眼相机。第一视觉传感器301和第二视觉传感器302的结构可以相同，也可以不同，本公开对此不做限制。在一些实施例中，所述第一传感器或者所述第二视觉传感器包括一个感光电路模组和与所述感光电路配合安装的一组鱼眼光学模组。
在大多数情况下，飞行器在空间中是水平飞行的，或者飞行器的飞行速度包括水平方向上的分量，因此，对飞行器的侧部的环境区域的感知精度要求较高。上述第一视觉传感器301和第二视觉传感器302的重叠的可视范围包括所述飞行器的侧部的环境区域，因此，侧部的环境区域内的物体可以同时被两个视觉传感器感知到，从而能够提高侧部的环境区域内的物体的感知精度。
此外，相关技术中，飞行器上的双目视觉系统的重叠的可视范围一般只包括飞行器的一侧，而本公开实施例中重叠的可视范围包括两个相背对部位朝向的区域，如图4B所示，所述两个相背对部位朝向的区域包括飞行器的第一侧和第二侧，所述第一侧和第二侧可以分别是飞行器的左侧和右侧，或者飞行器的前侧和后侧。相比于相关技术，本公开实施例的第一视觉传感器301和第二视觉传感器302的重叠的可视范围更大。
所述第一视觉传感器301和所述第二视觉传感器302采集的图像用于计算环境区域中的物体的位置信息。所述位置信息可以基于所述物体与所述飞行器的相对位置关系确定，其中，所述相对位置关系可以通过物体的深度信息、视差信息或位置信息本身来表征。在所述相对位置关系通过物体的位置信息来表征的情况下，可以直接将所述相对位置关系确定为物体的位置信息。在所述相对位置关系通过物体的深度信息或视差信息表征的情况下，可以将深度信息或视差信息转换为位置信息。为了便于描述，下面以相对位置关系是深度信息为例，对本公开的方案进行说明。本领域技术人员可以理解，下文中的深度信息也可以采用其他的相对位置关系来代替。
在一些实施例中，所述空间中的物体与所述飞行器的相对位置关系基于以下两者共同确定：所述第一视觉传感器301在所述重叠的可视范围内的第一局部图像，所述第二视觉传感器302在所述重叠的可视范围内的第二局部图像；以及，可视范围覆盖所述物体的视觉传感器在第一时刻采集的图像和在第二时刻采集的图像，其中，可视范围覆盖所述物体的视觉传感器在所述第一时刻时在空间中的位姿不同于在所述第二时刻时在空间中的位姿。
所述第一局部图像与所述第二局部图像上的点是一一对应的，两张局部图像上对应的点为空间中的同一物点。所述第一局部图像与所述第二局部图像可以是在同一时刻采集得到的图像。可以基于第一局部图像与第二局部图像的时间戳获取同一时刻采集的两张局部图像，也可以通过同一个时钟信号控制第一视觉传感器和第二视觉传感器采集图像，从而得到同一时刻采集的两张局部图像。应当说明的是，这里的同一时刻并非指时间上严格同步，只要是在一定时间差范围内(例如，几毫秒)采集的两张图像，由于时间差较短，场景变化不大，均可认为是同一时刻采集的。
进一步地，第一局部图像与第二局部图像可以均是在所述第一时刻采集的图像，这样，能够提高最终输出的相对位置关系的精度。在所述物体为所述飞行器的顶部的环境区域内的物体的情况下，可视范围覆盖所述物体的视觉传感器为所述第一视觉传 感器301。在所述物体为所述飞行器的底部的环境区域内的物体的情况下，可视范围覆盖所述物体的视觉传感器为所述第二视觉传感器302。所述第一时刻与所述第二时刻为不同的时刻。可视范围覆盖所述物体的视觉传感器在所述第一时刻时在空间中的位姿不同于在所述第二时刻时在空间中的位姿，可以是飞行器本身的位姿改变，导致视觉传感器的位姿改变，也可以是飞行器本身的位姿不变，仅改变视觉传感器的位姿。
在一些实施例中，所述飞行器的顶部或者底部的环境区域的第一物体与所述飞行器的相对位置关系，可以基于所述重叠的可视范围内与所述第一物体具有相同语义信息的物体与所述飞行器的相对位置关系得到。为了方便描述，下文以所述第一物体为所述飞行器的顶部的环境区域的物体为例，并以可视范围覆盖所述第一物体的视觉传感器为所述第一视觉传感器301为例，对本公开实施例的方案进行说明。本领域技术人员可以理解，第一物体为所述飞行器的底部的环境区域的物体，且可视范围覆盖所述第一物体的视觉传感器为所述第二视觉传感器302的情况下的处理方式是类似的，此处不再赘述。本公开实施例基于物体的语义信息对双目非重叠范围内的物体的深度信息进行预测，从而不仅能获取双目重叠范围内的深度信息，还能获取双目重叠范围以外的深度信息，充分利用了两个视觉传感器采集的图像，扩大了深度信息的获取范围。
参见图5，假设重叠的可视范围(图中带斜线部分所示)内包括杯子501上的部分区域以及瓶子502上的部分区域，则可以基于重叠的可视范围内杯子501的深度信息，确定处于第一视觉传感器302可视范围内、且处于第二视觉传感器302可视范围之外的杯子501上的部分区域的深度信息。在一些实施例中，可以基于重叠的可视范围内杯子501上的一个或多个点的深度信息，获取杯子501上处于第一视觉传感器302可视范围内、且处于第二视觉传感器302可视范围之外的各个点的深度信息。其中，图像中的各个点的语义信息可以通过对图像进行语义识别得到。例如，可以将图像输入预先训练的卷积神经网络，通过该卷积神经网络输出图像上各个点的语义信息。
在一些实施例中，所述重叠的可视范围内与所述第一物体具有相同语义信息的物体(称为目标物体)与所述飞行器的相对位置关系，可以基于所述第一视觉传感器在所述重叠的可视范围内的第一局部图像和所述第二视觉传感器在所述重叠的可视范围内的第二局部图像得到。具体地，可以采用双目算法，获取目标物体相对于飞行器的深度信息。
进一步地，所述第一物体与所述飞行器的相对位置关系，可以基于以下信息共同 得到：基于目标物体与所述飞行器的相对位置关系预测得到的相对位置关系r 1，所述目标物体为所述重叠的可视范围内与所述第一物体具有相同语义信息的物体，所述目标物体与所述飞行器的相对位置关系基于所述第一视觉传感器在重叠的可视范围内的第一局部图像和所述第二视觉传感器在重叠的可视范围内的第二局部图像确定，以及，基于可视范围覆盖所述第一物体的视觉传感器在第一时刻采集的图像和在第二时刻采集的图像确定的相对位置关系r 2，其中，可视范围覆盖所述第一物体的视觉传感器在所述第一时刻时在空间中的位姿不同于在所述第二时刻时在空间中的位姿。本公开实施例同时采用基于语义信息推测得到的第一物体与飞行器的相对位置关系r 1，以及基于单目算法确定的第一物体与飞行器的相对位置关系r 2，能够提高获取的深度信息的精度和鲁棒性。
获取相对位置关系r 1的过程可参见前述实施例，此处不再赘述。以第一物体是第一视觉传感器301可视范围内的物体为例，在获取相对位置关系r 2时，可以基于第一视觉传感器在第一时刻的位姿与在第二时刻的位姿之间的位姿关系，以及所述第一视觉传感器在第一时刻采集的图像和在第二时刻采集的图像，确定第一物体的深度信息。其中，所述第一时刻可以是当前时刻，所述第二时刻可以是所述第一时刻之前的某一时刻(即历史时刻)，所述第一局部图像和所述第二局部图像可以是所述第一时刻采集的图像。通过上述方式，可以确定第一物体在第一时刻相对于飞行器的深度信息。
可以采用惯性测量单元(Inertial Measurement Unit，IMU)来确定第一视觉传感器在第一时刻的位姿与在第二时刻的位姿，从而确定这两个时刻的位姿之间的位姿关系。IMU可以直接安装在第一视觉传感器上，从而可以将IMU的输出结果直接确定为第一视觉传感器的位姿。或者，IMU可以安装在飞行器的机身上，从而可以通过IMU的输出结果以及飞行器与第一视觉传感器之间的位姿关系确定第一视觉传感器的位姿。
除了计算双目非重叠范围内的物体的深度信息之外，本公开实施例还可以计算出双目重叠范围内的物体的深度信息。在一些实施例中，所述第一视觉传感器301和第二视觉传感器302分别设置在飞行器的顶部和底部，则所述环境区域包括所述飞行器的左侧朝向的区域和右侧朝向的区域，和/或包括所述飞行器的前侧朝向的区域和后侧朝向的区域。为了便于描述，将前侧、后侧、左侧、右侧朝向的区域均统称为飞行器的侧部的环境区域。在这种情况下，所述飞行器的顶部或者底部的环境区域的第一物体与所述飞行器的相对位置关系的计算过程，与所述飞行器的侧部的环境区域的第二物体与所述飞行器的相对位置关系的计算过程不同。
具体地，所述第二物体与所述飞行器的相对位置关系，可以基于以下信息共同得到：基于所述第一视觉传感器在所述重叠的可视范围内的第一局部图像以及所述第二视觉传感器在所述重叠的可视范围内的第二局部图像得到的相对位置关系r 3，以及基于可视范围覆盖所述第二物体的视觉传感器在第一时刻采集的图像和在第二时刻采集的图像确定的相对位置关系r 4，其中，可视范围覆盖所述第一物体的视觉传感器在所述第一时刻时在空间中的位姿不同于在所述第二时刻时在空间中的位姿。第二物体与所述飞行器的相对位置关系r 3可以采用双目算法获取，第二物体与所述飞行器的相对位置关系r 4的获取方式可以参考相对位置关系r 2的获取方式，此处不再赘述。通过本实施例，能够获得精度较高的第二物体与所述飞行器的相对位置关系。
本公开实施例具有以下优点：
(1)仅采用两个视觉传感器即可覆盖飞行器的顶部、底部和侧部的环境区域，传感器构型简单，成本低，重量轻，感知范围大。
(2)融合了双目算法、单目算法以及基于语义预测的方式来获取物体与飞行器的相对位置关系，提高了输出结果的鲁棒性和精度。
参见图6，本公开实施例还提供一种图像处理方法，所述方法应用于可移动平台，所述可移动平台包括第一视觉传感器和第二视觉传感器，所述第一视觉传感器的第一可视范围与所述第二视觉传感器的第二可视范围部分重叠，所述方法包括：
步骤601：获取所述第一视觉传感器在重叠的可视范围内的第一局部图像，获取所述第二视觉传感器在重叠的可视范围内的第二局部图像；
步骤602：获取所述第一视觉传感器在第一时刻采集的图像和在第二时刻采集的图像，所述第一视觉传感器在所述第一时刻时在空间中的位姿不同于在所述第二时刻时在空间中的位姿；
步骤603：基于所述第一局部图像、所述第二局部图像，所述第一时刻采集的图像和所述第二时刻采集的图像，确定所述可移动平台所在空间中的物体与所述可移动平台的相对位置关系。
本公开实施例的方法可以用于计算无人飞行器、无人车、可移动机器人等可移动平台周围的环境区域中的物体与所述可移动平台的相对位置关系，进而计算物体的位置信息。
在所述可移动平台为无人飞行器的情况下，所述第一视觉传感器和第二视觉传感器中的一者可以设置在所述无人飞行器的机身的顶部，另一者设置在所述无人飞行器的机身的底部。或者，所述第一视觉传感器和第二视觉传感器中的一者设置在所述无人飞行器的第一侧，另一者设置在所述无人飞行器的第二侧，所述第一侧与所述第二侧相对设置。例如，所述第一侧可以是无人飞行器的左侧，所述第二侧可以是无人飞行器的右侧；或者，所述第一侧可以是无人飞行器的前侧，所述第二侧可以是无人飞行器的后侧。所述无人飞行器可以是前述任一实施例中的飞行器。在所述可移动平台为无人车的情况下，所述第一视觉传感器和第二视觉传感器可以分别设置在所述无人车的两个车灯上，或者分别设置在挡风玻璃两侧。在所述可移动平台为可移动机器人的情况下，所述第一视觉传感器和第二视觉传感器可以分别设置在所述可移动机器人的两个眼睛所在的位置。上述设置所述第一视觉传感器和第二视觉传感器的方式，使得两个视觉传感器的重叠的可视范围可以尽可能地覆盖可移动平台的移动方向上的区域，从而提高对可移动平台移动方向上的物体的感知精度。除了以上列举的应用场景之外，可移动平台还可以是其他类型的、能够自主移动的设备，所述第一视觉传感器和第二视觉传感器的安装位置可以基于可移动平台的类型和/或其他因素设置，此处不再一一展开说明。
第一视觉传感器和第二视觉传感器二者均可单独作为单目视觉传感器使用，从而基于单目算法计算出物体的深度信息。此外，第一视觉传感器和第二视觉传感器可以构成一对非刚性双目，从而基于双目算法计算出物体的深度信息。其中，第一视觉传感器可以是可移动平台上的任意一个视觉传感器。以可移动平台是无人飞行器为例，第一视觉传感器可以是设置在所述无人飞行器的机身的顶部的视觉传感器，也可以是设置在所述无人飞行器的机身的底部的视觉传感器。
本公开对第一视觉传感器和第二视觉传感器的分辨率不做限制。可选地，第一视觉传感器和第二视觉传感器可采用分辨率为1280×960左右的视觉传感器。如果视觉传感器的分辨率太低，则采集的图像清晰度太低，难以准确地识别出图像中物体的特征，从而影响处理结果的准确度。如果视觉传感器的分辨率太高，则对两个视觉传感器因非刚性连接导致的干扰就会非常敏感。因此，采用这一分辨率的视觉传感器，能够有效地兼顾图像清晰度以及抗干扰性。
在一些实施例中，第一视觉传感器和第二视觉传感器中的至少一者可采用鱼眼相机。由于单个鱼眼相机的观测范围比较大(大于180度)，通过设置2个鱼眼相机就 可以实现全向观测，具有构型简单、成本低、重量轻的优点。
在一些实施例中，所述第一视觉传感器和第二视觉传感器的重叠的可视范围的面积小于非重叠的可视范围的面积。相关技术中一般通过增加双目视觉传感器的重叠的可视范围的面积来扩大能够获取深度信息的范围，因此，双目重叠区域的面积一般大于非重叠区域的面积(如图1所示)。不同于此，本公开实施例的两个视觉传感器的重叠的可视范围的面积可以小于非重叠的可视范围的面积，通过采用与相关技术中不同的处理方式，同样可以准确地获得较大范围内的深度信息。下面对本公开实施例的处理方式进行具体说明。
在步骤601中，所述第一局部图像和所述第二局部图像可以是同一时刻采集的图像。在可移动平台移动过程中，可以实时通过可移动平台上的第一视觉传感器采集所述第一局部图像，通过可移动平台上的第二视觉传感器采集所述第二局部图像，并基于实时采集的第一局部图像和第二局部图像，实时地确定可移动平台周围的环境区域中的物体与所述可移动平台的相对位置关系。当然，也可以通过获取历史某一时刻采集的第一局部图像和第二局部图像，确定在该历史时刻时可移动平台周围的环境区域中的物体与所述可移动平台的相对位置关系。由于所述第一局部图像和所述第二局部图像均为重叠的可视范围内的图像，因此，所述第一局部图像和所述第二局部图像中的像素点是一一对应的，两张局部图像中对应的点均对应于物理空间中的同一个物点。
在步骤602中，第一视觉传感器在所述第一时刻时在空间中的位姿不同于在所述第二时刻时在空间中的位姿，可以是可移动平台本身的位姿改变，导致第一视觉传感器的位姿改变，也可以是可移动平台本身的位姿不变，仅改变第一视觉传感器的位姿。所述第一时刻与所述第二时刻为不同的时刻，例如，所述第一时刻可以是当前时刻，所述第二时刻可以是当前时刻之前的历史时刻。又例如，所述第一时刻和所述第二时刻分别是当前时刻之前的不同的历史时刻。进一步地，第一局部图像与第二局部图像可以均是在所述第一时刻采集的图像。
可以采用IMU确定第一视觉传感器在第一时刻的位姿与在第二时刻的位姿，从而确定这两个时刻的位姿之间的位姿关系。在可移动平台为车辆的情况下，也可以基于车辆的轮速信息、定位信息等确定第一视觉传感器的位姿。IMU可以直接安装在第一视觉传感器上，从而可以将IMU的输出结果直接确定为第一视觉传感器的位姿。或者，IMU可以安装在飞行器的机身上，从而可以通过IMU的输出结果以及飞行器与第一视觉传感器之间的位姿关系确定第一视觉传感器的位姿。例如，在可移动平台为挖掘机 且第一视觉传感器安装在挖掘机的机械臂上的情况下，可以通过安装在挖掘机的机身上的IMU获取挖掘机的位姿，并基于机械臂的电机转动角度和伸缩量确定机械臂与挖掘机的机身与机械臂之间的位姿关系，进而确定第一视觉传感器的位姿。
在步骤603中，可以基于所述第一局部图像和所述第二局部图像，确定所述物体与所述可移动平台的第一相对位置关系；基于所述第一时刻采集的图像和所述第二时刻采集的图像，确定所述物体与所述可移动平台的第二相对位置关系；基于所述第一相对位置关系和所述第二相对位置关系确定所述物体与所述可移动平台的相对位置关系。其中，基于所述第一局部图像和所述第二局部图像确定第一相对位置关系的过程可以基于双目算法实现，基于所述第一时刻采集的图像和所述第二时刻采集的图像确定第二相对位置关系的过程可以基于单目算法实现。通过融合不同方式得到的第一相对位置关系和第二相对位置关系来确定物体与所述可移动平台的相对位置关系，能够扩大感知范围，提高输出的相对位置关系的精度和鲁棒性。
在一些实施例中，重叠的可视范围内的物体与所述飞行器的相对位置关系的计算过程，与非重叠的可视范围内的物体与所述飞行器的相对位置关系的计算过程不同。
针对处于所述第一视觉传感器的可视范围内，且处于所述第二视觉传感器的可视范围以外的第一物体，可以基于所述第一局部图像和所述第二局部图像，确定所述重叠的可视范围内与第一物体具有相同语义信息的目标物体与所述可移动平台的相对位置关系；基于所述目标物体与所述可移动平台的相对位置关系，确定所述第一物体与所述可移动平台的第一相对位置关系。例如，假设重叠的可视范围内包括杯子上的部分区域，则可以基于重叠的可视范围内杯子的深度信息，确定处于第一视觉传感器可视范围内、且处于第二视觉传感器可视范围之外的杯子上的其他区域的深度信息。在一些实施例中，可以将第一视觉传感器采集的图像输入预先训练的卷积神经网络，通过该卷积神经网络输出图像上各个点的语义信息。确定目标物体与所述可移动平台的相对位置关系的过程可以基于双目算法实现。
在一些实施例中，在所述第二相对位置关系满足所述第一物体对应的几何约束条件的情况下，可以将所述第二相对位置关系确定为所述第一物体与所述可移动平台的相对位置关系；在所述第二相对位置关系不满足所述几何约束条件的情况下，可以将所述第一相对位置关系确定为所述第一物体与所述可移动平台的相对位置关系。
所述几何约束可以是第一物体上各个点之间的几何位置关系。例如，在一般情况 下，同一物体上相邻的点的深度信息一般是平滑变化的，即，同一物体上相邻的点的深度信息之差一般小于预设的深度差阈值。可以采用上述实施例中的方式计算第一物体上各个点的深度信息，如果相邻点的深度信息之差大于所述深度差阈值，则认为不满足所述第一物体对应的几何约束条件，只有在相邻点的深度信息之差小于或等于所述深度差阈值的情况下，才认为满足所述第一物体对应的几何约束条件。采用单目算法，对移动的物体获取的深度信息的鲁棒性较差。而基于语义确定的相对位置关系没有物理模型的约束，鲁棒性较差。本公开实施例通过上述方式，利用两种算法进行互补，在一种算法不满足约束条件的情况下，采用另一种算法获取的相对位置关系，从而能够提高最终确定的相对位置关系的鲁棒性。
针对处于所述重叠的可视范围内的第二物体，可以直接基于所述第一局部图像和所述第二局部图像，确定所述第二物体与所述可移动平台的第一相对位置关系。由于第二物体处于重叠的可视范围内，因此，第二物体的深度信息可以基于两张局部图像，直接采用精度和鲁棒性较高的双目算法来获取。同时，还可以基于所述第一时刻采集的图像和所述第二时刻采集的图像获取第二物体与所述可移动平台的第二相对位置关系。
在一些实施例中，在满足预设条件的情况下，可以将所述第一相对位置关系确定为所述第二物体与所述可移动平台的相对位置关系；在不满足预设条件的情况下，可以将所述第二相对位置关系确定为所述第二物体与所述可移动平台的相对位置关系；所述预设条件包括：所述第二物体的深度小于预设的深度阈值；以及所述第一相对位置关系的置信度大于预设的置信度阈值。
双目算法的精度较高，但由于双目系统的基线(baseline)长度有限，无法观测较远距离，因此，在第二物体的深度大于或等于于预设的深度阈值的情况下，认为所述第一相对位置关系可信度较低，从而可以将第二相对位置关系确定为所述第二物体与所述可移动平台的相对位置关系。同时，在遮挡等情况下，通过双目算法获取的第一相对位置关系的置信度可能不高，因此，在第一相对位置关系的置信度较低的情况下，也可以将第二相对位置关系确定为所述第二物体与所述可移动平台的相对位置关系。这样，可以提高输出结果的精度和可靠性。
在一些实施例中，所述第一相对位置关系通过第一神经网络对所述第一局部图像和所述第二局部图像进行处理得到，所述第二相对位置关系通过第二神经网络对所述第一时刻采集的图像和所述第二时刻采集的图像进行处理得到。本实施例通过神经网 络直接对图像进行处理，以输出第一相对位置关系和第二相对位置关系，处理过程简单，复杂度低，且由于神经网络能够对环境进行理解和推测，从而提高视觉感知的感受野。所述第一神经网络和/或所述第二神经网络可以是卷积神经网络，也可以是其他类型的神经网络。所述第一神经网络和所述第二神经网络的类型可以相同，也可以不同。
在一些实施例中，所述第一神经网络基于所述第一视觉传感器在所述重叠的可视范围内的第一局部样本图像和所述第二视觉传感器在所述重叠的可视范围内的第二局部样本图像训练得到；所述第二神经网络基于所述第一视觉传感器在第三时刻采集的样本图像和在第四时刻采集的样本图像训练得到；其中，所述第一视觉传感器在所述第三时刻时在空间中的位姿不同于在所述第四时刻时在空间中的位姿。
下面对两个神经网络的具体处理过程进行说明。参见图7，所述第一神经网络的处理过程包括：
(1)分别对所述第一局部图像和所述第二局部图像进行特征提取，得到所述第一局部图像的特征描述F1和所述第二局部图像的特征描述F2。为了保证特征的一致性，两次计算特征描述时可以共享网络参数。由于不同视觉传感器采集的图像很难保证完全一致，而卷积神经网络(Convolutional Neural Networks，CNN)提取的特征则具备良好的抗旋转、光照变换等特点，因此，使用CNN提取的特征更有于计算costvolume。在一些实施例中，CNN可以将第一局部图像和所述第二局部图像的素灰度值处理成特征描述。
(2)基于所述第一局部图像的特征描述和所述第二局部图像的特征描述，获取将所述第一局部图像投影到所述第二局部图像的投影代价(Costvolume)。本步骤可以通过Plane Sweeping算法计算Costvolume。针对上一步得到的特征描述F1和F2，沿着双目基线的方向，将F2按照不同视差进行移动得到F2’。将F1和F2进行点乘求和操作，得到每次位移后对应的Costvolume。
(3)对所述投影代价进行聚合，得到聚合投影代价。每一个位置的Costvolume的取值会受到周围位置的影响，因此需要对Costvolume进行充分聚合，让周围位置的信息能够传递到当前位置。本实施例采用卷积的方式对Costvolume进行融合，为了增大感受野，在进行卷积的过程中，需要对Costvolume进行降采样和上采样。
(4)对所述聚合投影代价进行归一化处理，得到初始相对位置关系。经过上一步 骤，可以得到充分聚合的Costvolume，其中每一个位置在不同的深度都会有一个概率值。对Costvolume进行归一化处理，即可回归出初始深度图。所述归一化处理可以通过arg softmax操作实现。初始深度图中包括场景中的每个点在不同深度下的概率值。
(5)基于所述初始相对位置关系以及所述目标物体的语义信息，获取所述第一相对位置关系。由于双目图像存在很大的非重叠区域，此区域无法根据双目视差出深度，本文利用CNN特征的语义信息补全该区域的深度图，从而可以从补全后的深度图中获取非重叠区域内物体的深度信息。
进一步地，还可以获取所述第一神经网络输出的置信图，所述置信图用于指示所述第一相对位置关系的置信度。置信度越大，表示所述第一相对位置关系的可信度越高。基于置信度大于预设置信度阈值的第一相对位置，对所述第一视觉传感器在第一时刻的位姿和所述第一视觉传感器在所述第二时刻的位姿之间的位姿关系进行优化；优化的位姿关系用于确定所述第二相对位置关系。一方面，基于语义补全得到的深度信息没有双目视差的物理约束，通过采用本实施例的方案，能够为基于语义补全得到的深度信息增加约束；另一方面，双目结构难以处理平行基线场景，通过采用置信图，能够将该类区域识别出来，进而采用单目算法得到的深度信息作为该类区域的深度信息。
参见图8，是所述第二神经网络的处理过程的示意图。第二神经网络的处理过程与第一神经网络的处理过程类似，下面着重对第一神经网络和第二神经网络处理过程中的不同之处进行说明，相同的处理过程可以参见第一神经网络的处理过程的实施例，此处不再赘述。
(1)挑选关键参考帧。基于所述第一视觉传感器在所述第一时刻时在空间中的位姿以及所述第一视觉传感器在所述第二时刻时在空间中的位姿，确定所述第一视觉传感器在所述第一时刻所处的位置与在所述第二时刻所处的位置之间的距离；若所述距离小于预设值，则将所述第一时刻采集的图像和所述第二时刻采集的图像作为关键参考帧，用于步骤603中以确定所述可移动平台所在空间中的物体与所述可移动平台的相对位置关系。
(2)优化位姿关系。根据上一步骤中得到的深度图和第一神经网络输出的置信图，定义置信度阈值α 1，记录置信图中置信度大于阈值α 1的位置，利用对应位置的深度信息优化两个时刻的位姿关系。
(3)计算所述第一时刻采集的图像的特征描述F3和所述第二时刻采集的图像的特征描述F4。计算方式与第一神经网络的步骤(2)相同，可以使用CNN来计算特征描述。
(4)计算Costvolume。对特征F3和F4，利用Plane Sweeping算法，将F4按照不同深度投影至F3的坐标系下，得到投影后的特征F4’。将F3和F4’通过串联的方式，连接到一起组成Costvolume。
(5)Costvolume聚合，处理方式与第一神经网络的步骤(3)相同。
(6)计算初始深度图。经过上一步骤后，可以到的一个充分聚合的Costvolume，其中每一个位置在不同的深度都会有一个概率值。
(7)深度信息补全，处理方式与第一神经网络的步骤(5)相同。
参见图9，是本公开实施例的整体流程图。对于空间中的物体上的任意一个点，可以获取该点的双目视差、单目视差以及双目置信度。如果该点同时满足以下条件：(1)该点处于双目重叠区域内，(2)该点的双目深度(通过双目方式计算出的深度)小于预设的深度阈值d1(例如，20m)，以及(3)该点的双目深度的置信度大于预设的置信度阈值c1，则采用双目视差作为该点的实际视差。如果上述条件中的任意一者不满足，则判定单目深度(通过单目方式计算出的深度)是否满足几何约束条件。如果满足，则采用单目视差作为该点的实际视差，如果不满足，则仍然采用双目视差作为该点的实际视差。
在上述实施例中，双目视差可以是基于重叠区域的局部图像直接确定的视差，也可以是基于重叠区域的图像以及语义信息推断出的、非重叠区域的视差。由于视差、深度以及位置三者可以互相转换，因此，上述视差也可以替换为深度或者位置信息。此外，上述各个条件的判断顺序不限于图中所示，例如，可以先判断条件(2)，再判断条件(3)，最后判断条件(1)。由于双目视差的准确度一般较高，因此，在满足上述3个条件的情况下，可以优先采用双目视差。在实际应用中，也可以先判断单目视差是否满足几何约束条件，如果满足，则直接采用单目视差；如果不符合，再替换为双目视差。本公开实施例根据重叠区域范围、视觉传感器的姿态大小、双目置信图、观测距离大小等信息，对单目深度和双目深度进行充分融合，在单目或者双目计算失败时，通过采用本公开实施例的判断策略，可以快速地使用另一方法计算出的结果补上，实现动态切换策略，使系统更加稳定、鲁棒。
在一些实施例中，在步骤603之后，还可以根据所述物体与所述可移动平台的相对位置关系，确定所述物体在所述空间中的绝对位置信息。所述绝对位置信息可以是物体在预设坐标系(例如，可移动平台的坐标系或者世界坐标系)下的绝对位置坐标。例如，在预设坐标系为世界坐标系的情况下，可以获取物体的经纬高信息。
在一些实施例中，可以确定所述可移动平台的移动方向；基于所述第一局部图像中与所述移动方向相关的第一图像区域、所述第二局部图像中与所述移动方向相关的第二图像区域、所述第一时刻采集的图像中与所述移动方向相关的第三图像区域，以及所述第二时刻采集的图像中与所述移动方向相关的第四图像区域，确定所述可移动平台所在空间中的物体与所述可移动平台的相对位置关系。上述与所述移动方向相关的各个图像区域可以是包括所述移动方向上的区域的图像区域。
以可移动平台为无人车为例，无人车在向正前方行驶的过程中，安装于无人车上的视觉传感器的可视范围可能包括无人车正前方的区域、无人车左侧的区域以及无人车右侧的区域。因此，可以从第一图像区域中分割出包括无人车正前方的区域的第一图像区域。其他图像区域的分割方式类似，此处不再赘述。基于分割出的图像区域确定物体与所述可移动平台的相对位置关系，能够减少算力消耗，提高处理效率。
在一些实施例中，基于所述可移动平台的移动速度以及所述相对位置关系，确定所述相对位置关系的更新频率；基于所述更新频率对所述相对位置关系进行更新。例如，在可移动平台移动速度较慢的情况下，和/或在所述相对位置关系对应的物体的位置与可移动平台之间的距离较远的情况下，可以以较低的频率对所述相对位置关系进行更新。在可移动平台移动速度较快的情况下，和/或在所述相对位置关系对应的物体的位置与可移动平台之间的距离较近的情况下，可以以较高的频率对所述相对位置关系进行更新。通过动态调整所述相对位置关系的更新频率，能够兼顾可移动平台的安全性与获取相对位置关系时的资源消耗。
本公开实施例还提供一种图像装置，包括处理器，所述装置应用于可移动平台，所述可移动平台包括第一视觉传感器和第二视觉传感器，所述第一视觉传感器的第一可视范围与所述第二视觉传感器的第二可视范围部分重叠，所述处理器用于执行以下步骤：
获取所述第一视觉传感器在重叠的可视范围内的第一局部图像，获取所述第二视觉传感器在重叠的可视范围内的第二局部图像；
获取所述第一视觉传感器在第一时刻采集的图像和在第二时刻采集的图像，所述第一视觉传感器在所述第一时刻时在空间中的位姿不同于在所述第二时刻时在空间中的位姿；
基于所述第一局部图像、所述第二局部图像，所述第一时刻采集的图像和所述第二时刻采集的图像，确定所述可移动平台所在空间中的物体与所述可移动平台的相对位置关系。
在一些实施例中，所述处理器具体用于：基于所述第一局部图像和所述第二局部图像，确定所述物体与所述可移动平台的第一相对位置关系；基于所述第一时刻采集的图像和所述第二时刻采集的图像，确定所述物体与所述可移动平台的第二相对位置关系；基于所述第一相对位置关系和所述第二相对位置关系确定所述物体与所述可移动平台的相对位置关系。
在一些实施例中，所述处理器具体用于：基于所述第一局部图像和所述第二局部图像，确定所述重叠的可视范围内与第一物体具有相同语义信息的目标物体与所述可移动平台的相对位置关系；基于所述目标物体与所述可移动平台的相对位置关系，确定所述第一物体与所述可移动平台的第一相对位置关系。
在一些实施例中，所述处理器具体用于：在所述第二相对位置关系满足所述第一物体对应的几何约束条件的情况下，将所述第二相对位置关系确定为所述第一物体与所述可移动平台的相对位置关系；在所述第二相对位置关系不满足所述几何约束条件的情况下，将所述第一相对位置关系确定为所述第一物体与所述可移动平台的相对位置关系。
在一些实施例中，所述处理器具体用于：基于所述第一局部图像和所述第二局部图像，确定所述第二物体与所述可移动平台的第一相对位置关系。
在一些实施例中，所述处理器具体用于：在满足预设条件的情况下，将所述第一相对位置关系确定为所述第二物体与所述可移动平台的相对位置关系；在不满足预设条件的情况下，将所述第二相对位置关系确定为所述第二物体与所述可移动平台的相对位置关系；所述预设条件包括：所述第二物体的深度小于预设的深度阈值；以及所述第一相对位置关系的置信度大于预设的置信度阈值。
在一些实施例中，所述第一相对位置关系通过第一神经网络对所述第一局部图像和所述第二局部图像进行处理得到，所述第二相对位置关系通过第二神经网络对所述 第一时刻采集的图像和所述第二时刻采集的图像进行处理得到。
在一些实施例中，所述第一神经网络基于以下方式获取所述第一相对位置关系：分别对所述第一局部图像和所述第二局部图像进行特征提取，得到所述第一局部图像的特征描述和所述第二局部图像的特征描述；基于所述第一局部图像的特征描述和所述第二局部图像的特征描述，获取将所述第一局部图像投影到所述第二局部图像的投影代价；对所述投影代价进行聚合，得到聚合投影代价；对所述聚合投影代价进行归一化处理，得到初始相对位置关系；基于所述初始相对位置关系以及所述目标物体的语义信息，获取所述第一相对位置关系。
在一些实施例中，所述第一神经网络基于所述第一视觉传感器在所述重叠的可视范围内的第一局部样本图像和所述第二视觉传感器在所述重叠的可视范围内的第二局部样本图像训练得到；所述第二神经网络基于所述第一视觉传感器在第三时刻采集的样本图像和在第四时刻采集的样本图像训练得到；其中，所述第一视觉传感器在所述第三时刻时在空间中的位姿不同于在所述第四时刻时在空间中的位姿。
在一些实施例中，所述处理器具体用于：基于所述第一视觉传感器在所述第一时刻时在空间中的位姿以及所述第一视觉传感器在所述第二时刻时在空间中的位姿，确定所述第一视觉传感器在所述第一时刻所处的位置与在所述第二时刻所处的位置之间的距离；若所述距离小于预设值，基于所述第一局部图像、所述第二局部图像、所述第一时刻采集的图像和所述第二时刻采集的图像，确定所述可移动平台所在空间中的物体与所述可移动平台的相对位置关系。
在一些实施例中，所述处理器还用于：获取所述第一神经网络输出的置信图，所述置信图用于指示所述第一相对位置关系的置信度；基于置信度大于预设置信度阈值的第一相对位置，对所述第一视觉传感器在第一时刻的位姿和所述第一视觉传感器在所述第二时刻的位姿之间的位姿关系进行优化；优化的位姿关系用于确定所述第二相对位置关系。
在一些实施例中，所述可移动平台为无人飞行器；所述第一视觉传感器和第二视觉传感器中的一者设置在所述无人飞行器的机身的顶部，另一者设置在所述无人飞行器的机身的底部；或者所述可移动平台为无人飞行器；所述第一视觉传感器和第二视觉传感器中的一者设置在所述无人飞行器的第一侧，另一者设置在所述无人飞行器的第二侧，所述第一侧与所述第二侧相对设置；或者所述可移动平台为无人车，所述第 一视觉传感器和第二视觉传感器分别设置在所述无人车的两个车灯上，或者分别设置在挡风玻璃两侧；或者所述可移动平台为可移动机器人，所述第一视觉传感器和第二视觉传感器分别设置在所述可移动机器人的两个眼睛所在的位置。
在一些实施例中，所述第一视觉传感器和第二视觉传感器中的至少一者为鱼眼相机。
在一些实施例中，所述第一视觉传感器和第二视觉传感器的重叠的可视范围的面积小于非重叠的可视范围的面积。
在一些实施例中，所述处理器还用于：根据所述物体与所述可移动平台的相对位置关系，确定所述物体在所述空间中的绝对位置信息。
在一些实施例中，所述处理器具体用于：确定所述可移动平台的移动方向；基于所述第一局部图像中与所述移动方向相关的第一图像区域、所述第二局部图像中与所述移动方向相关的第二图像区域、所述第一时刻采集的图像中与所述移动方向相关的第三图像区域，以及所述第二时刻采集的图像中与所述移动方向相关的第四图像区域，确定所述可移动平台所在空间中的物体与所述可移动平台的相对位置关系。
在一些实施例中，所述处理器还用于：基于所述可移动平台的移动速度以及所述相对位置关系，确定所述相对位置关系的更新频率；基于所述更新频率对所述相对位置关系进行更新。
图10示出了一种图像处理装置的硬件结构示意图，该装置可以包括：处理器1001、存储器1002、输入/输出接口1003、通信接口1004和总线1005。其中处理器1001、存储器1002、输入/输出接口1003和通信接口1004通过总线1005实现彼此之间在设备内部的通信连接。
处理器1001可以采用通用的CPU(Central Processing Unit，中央处理器)、微处理器、应用专用集成电路(Application Specific Integrated Circuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本说明书实施例所提供的技术方案。处理器1001还可以包括显卡，所述显卡可以是Nvidia titan X显卡或者1080Ti显卡等。
存储器1002可以采用ROM(Read Only Memory，只读存储器)、RAM(Random Access Memory，随机存取存储器)、静态存储设备，动态存储设备等形式实现。存储器1002可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施 例所提供的技术方案时，相关的程序代码保存在存储器1002中，并由处理器1001来调用执行。
输入/输出接口1003用于连接输入/输出模块，以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中(图中未示出)，也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等，输出设备可以包括显示器、扬声器、振动器、指示灯等。
通信接口1004用于连接通信模块(图中未示出)，以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如USB、网线等)实现通信，也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信。
总线1005包括一通路，在设备的各个组件(例如处理器1001、存储器1002、输入/输出接口1003和通信接口1004)之间传输信息。
需要说明的是，尽管上述设备仅示出了处理器1001、存储器1002、输入/输出接口1003、通信接口1004以及总线1005，但是在具体实施过程中，该设备还可以包括实现正常运行所必需的其他组件。此外，本领域的技术人员可以理解的是，上述设备中也可以仅包含实现本说明书实施例方案所必需的组件，而不必包含图中所示的全部组件。
参见图11，本公开实施例还提供一种可移动平台，包括：
第一视觉传感器1101和第二视觉传感器1102，分别用于采集所述可移动平台周围的环境区域的图像，所述第一视觉传感器1101的第一可视范围与所述第二视觉传感器1102的第二可视范围部分重叠；以及图像处理装置1103。其中，所述图像处理装置1103可以采用前述任一实施例所述的图像处理装置，图像处理装置的具体细节详见前述实施例，此处不再赘述。
本公开实施例的方案还可用于VR眼镜，在这种应用场景下，第一视觉传感器和第二视觉传感器分别设置在所述AR眼镜的左镜框和右镜框上。VR眼镜可以感知现实场景中的物体，再基于现实中的物体来渲染出虚拟的场景对象。例如，用户前方某位置处有一张桌子，可以在桌子上渲染出一个虚拟的玩偶模型。通过对用户所在空间中的物体与用户之间的距离进行感知，从而可以在适当的位置渲染出虚拟的场景对象。
本公开实施例的图像处理方法和装置还可以应用于与可移动平台通信连接的遥控装置上。在这种情况下，本公开实施例还提供一种图像处理系统，包括可移动平台， 所述可移动平台上安装有第一视觉传感器和第二视觉传感器，所述第一视觉传感器的第一可视范围与所述第二视觉传感器的第二可视范围部分重叠；以及遥控装置，所述遥控装置包括处理器，所述处理器用于执行本公开任一实施例所述的方法。
本说明书实施例还提供一种计算机可读存储介质，所述可读存储介质上存储有若干计算机指令，所述计算机指令被执行时实任一实施例所述方法的步骤。
以上实施例中的各种技术特征可以任意进行组合，只要特征之间的组合不存在冲突或矛盾，但是限于篇幅，未进行一一描述，因此上述实施方式中的各种技术特征的任意进行组合也属于本说明书公开的范围。
本说明书实施例可采用在一个或多个其中包含有程序代码的存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。计算机可用存储介质包括永久性和非永久性、可移动和非可移动媒体，可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括但不限于：相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
本领域技术人员在考虑说明书及实践这里公开的说明书后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
以上所述仅为本公开的较佳实施例而已，并不用以限制本公开，凡在本公开的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本公开保护的范围之内。

Claims (45)

  1. 一种飞行器，其特征在于，所述飞行器包括第一视觉传感器和第二视觉传感器；
    所述第一视觉传感器的第一可视范围与所述第二视觉传感器的第二可视范围部分重叠，其中，重叠的可视范围包括所述飞行器的周围的环境区域，所述环境区域包括所述飞行器的两个相背对部位朝向的区域；
    所述第一视觉传感器和所述第二视觉传感器采集的图像用于计算环境区域中的物体的位置信息，所述物体的位置信息用于控制所述飞行器在空间中运动。
  2. 根据权利要求1所述的飞行器，其特征在于，所述空间中的物体与所述飞行器的相对位置关系基于以下两者共同确定：
    所述第一视觉传感器在所述重叠的可视范围内的第一局部图像，所述第二视觉传感器在所述重叠的可视范围内的第二局部图像；以及，
    可视范围覆盖所述物体的视觉传感器在第一时刻采集的图像和在第二时刻采集的图像，其中，可视范围覆盖所述物体的视觉传感器在所述第一时刻时在空间中的位姿不同于在所述第二时刻时在空间中的位姿。
  3. 根据权利要求1所述的飞行器，其特征在于，所述飞行器的顶部或者底部的环境区域的第一物体与所述飞行器的相对位置关系的计算过程，与所述飞行器的侧部的环境区域的第二物体与所述飞行器的相对位置关系的计算过程不同。
  4. 根据权利要求3所述的飞行器，其特征在于，所述飞行器的顶部或者底部的环境区域的第一物体与所述飞行器的相对位置关系，是基于所述重叠的可视范围内与所述第一物体具有相同语义信息的物体与所述飞行器的相对位置关系得到的。
  5. 根据权利要求4所述的飞行器，其特征在于，所述重叠的可视范围内与所述第一物体具有相同语义信息的物体与所述飞行器的相对位置关系，是基于所述第一视觉传感器在所述重叠的可视范围内的第一局部图像和所述第二视觉传感器在所述重叠的可视范围内的第二局部图像得到的。
  6. 根据权利要求4所述的飞行器，其特征在于，所述空间中的物体的语义信息是基于预设的神经网络对所述第一视觉传感器和所述第二视觉传感器分别采集的图像处理得到的。
  7. 根据权利要求3所述的飞行器，其特征在于，所述第一物体与所述飞行器的相对位置关系，是基于以下信息共同得到的：
    基于目标物体与所述飞行器的相对位置关系预测得到的相对位置关系，所述目标 物体为所述重叠的可视范围内与所述第一物体具有相同语义信息的物体，所述目标物体与所述飞行器的相对位置关系基于所述第一视觉传感器在重叠的可视范围内的第一局部图像和所述第二视觉传感器在重叠的可视范围内的第二局部图像确定，以及，
    基于可视范围覆盖所述第一物体的视觉传感器在第一时刻采集的图像和在第二时刻采集的图像确定的相对位置关系，其中，可视范围覆盖所述第一物体的视觉传感器在所述第一时刻时在空间中的位姿不同于在所述第二时刻时在空间中的位姿。
  8. 根据权利要求3所述的飞行器，其特征在于，所述第二物体与所述飞行器的相对位置关系，是基于以下信息共同得到的：
    基于所述第一视觉传感器在所述重叠的可视范围内的第一局部图像以及所述第二视觉传感器在所述重叠的可视范围内的第二局部图像得到的相对位置关系，以及
    基于可视范围覆盖所述第二物体的视觉传感器在第一时刻采集的图像和在第二时刻采集的图像确定的相对位置关系，其中，可视范围覆盖所述第一物体的视觉传感器在所述第一时刻时在空间中的位姿不同于在所述第二时刻时在空间中的位姿。
  9. 根据权利要求1所述的飞行器，其特征在于，所述飞行器包括机身和机臂，所述第一视觉传感器和所述第二视觉传感器均设置在所述机身上；和/或
    所述第一传感器或者所述第二视觉传感器包括一个感光电路模组和与所述感光电路配合安装的一组鱼眼光学模组。
  10. 根据权利要求1所述的飞行器，其特征在于，所述第一视觉传感器和所述第二视觉传感器中的一者设置在所述飞行器的顶部，另一者设置在所述飞行器的底部；或者
    所述第一视觉传感器和所述第二视觉传感器中的一者设置在所述飞行器的第一侧，另一者设置在所述飞行器的第二侧，所述第一侧与所述第二侧相对设置。
  11. 一种图像处理方法，其特征在于，所述方法应用于可移动平台，所述可移动平台包括第一视觉传感器和第二视觉传感器，所述第一视觉传感器的第一可视范围与所述第二视觉传感器的第二可视范围部分重叠，所述方法包括：
    获取所述第一视觉传感器在重叠的可视范围内的第一局部图像，获取所述第二视觉传感器在重叠的可视范围内的第二局部图像；
    获取所述第一视觉传感器在第一时刻采集的图像和在第二时刻采集的图像，所述第一视觉传感器在所述第一时刻时在空间中的位姿不同于在所述第二时刻时在空间中的位姿；
    基于所述第一局部图像、所述第二局部图像，所述第一时刻采集的图像和所述第 二时刻采集的图像，确定所述可移动平台所在空间中的物体与所述可移动平台的相对位置关系。
  12. 根据权利要求11所述的方法，其特征在于，所述基于所述第一局部图像、所述第二局部图像、所述第一时刻采集的图像和所述第二时刻采集的图像，确定所述可移动平台所在空间中的物体与所述可移动平台的相对位置关系，包括：
    基于所述第一局部图像和所述第二局部图像，确定所述物体与所述可移动平台的第一相对位置关系；
    基于所述第一时刻采集的图像和所述第二时刻采集的图像，确定所述物体与所述可移动平台的第二相对位置关系；
    基于所述第一相对位置关系和所述第二相对位置关系确定所述物体与所述可移动平台的相对位置关系。
  13. 根据权利要求12所述的方法，其特征在于，所述物体包括处于所述第一视觉传感器的可视范围内，且处于所述第二视觉传感器的可视范围以外的第一物体；所述基于所述第一局部图像和所述第二局部图像，确定所述物体与所述可移动平台的第一相对位置关系，包括：
    基于所述第一局部图像和所述第二局部图像，确定所述重叠的可视范围内与第一物体具有相同语义信息的目标物体与所述可移动平台的相对位置关系；
    基于所述目标物体与所述可移动平台的相对位置关系，确定所述第一物体与所述可移动平台的第一相对位置关系。
  14. 根据权利要求13所述的方法，其特征在于，所述基于所述第一相对位置关系和所述第二相对位置关系确定所述物体与所述可移动平台的相对位置关系，包括：
    在所述第二相对位置关系满足所述第一物体对应的几何约束条件的情况下，将所述第二相对位置关系确定为所述第一物体与所述可移动平台的相对位置关系；
    在所述第二相对位置关系不满足所述几何约束条件的情况下，将所述第一相对位置关系确定为所述第一物体与所述可移动平台的相对位置关系。
  15. 根据权利要求12所述的方法，其特征在于，所述物体包括处于所述重叠的可视范围内的第二物体；所述基于所述第一局部图像和所述第二局部图像，确定所述物体与所述可移动平台的第一相对位置关系，包括：
    基于所述第一局部图像和所述第二局部图像，确定所述第二物体与所述可移动平台的第一相对位置关系。
  16. 根据权利要求15所述的方法，其特征在于，所述基于所述第一相对位置关系 和所述第二相对位置关系确定所述物体与所述可移动平台的相对位置关系，包括：
    在满足预设条件的情况下，将所述第一相对位置关系确定为所述第二物体与所述可移动平台的相对位置关系；
    在不满足预设条件的情况下，将所述第二相对位置关系确定为所述第二物体与所述可移动平台的相对位置关系；
    所述预设条件包括：所述第二物体的深度小于预设的深度阈值；以及
    所述第一相对位置关系的置信度大于预设的置信度阈值。
  17. 根据权利要求12所述的方法，其特征在于，所述第一相对位置关系通过第一神经网络对所述第一局部图像和所述第二局部图像进行处理得到，所述第二相对位置关系通过第二神经网络对所述第一时刻采集的图像和所述第二时刻采集的图像进行处理得到。
  18. 根据权利要求17所述的方法，其特征在于，所述第一神经网络基于以下方式获取所述第一相对位置关系：
    分别对所述第一局部图像和所述第二局部图像进行特征提取，得到所述第一局部图像的特征描述和所述第二局部图像的特征描述；
    基于所述第一局部图像的特征描述和所述第二局部图像的特征描述，获取将所述第一局部图像投影到所述第二局部图像的投影代价；
    对所述投影代价进行聚合，得到聚合投影代价；
    对所述聚合投影代价进行归一化处理，得到初始相对位置关系；
    基于所述初始相对位置关系以及所述重叠的可视范围内与第一物体具有相同语义信息的目标物体的语义信息，获取所述第一相对位置关系。
  19. 根据权利要求17所述的方法，其特征在于，所述第一神经网络基于所述第一视觉传感器在所述重叠的可视范围内的第一局部样本图像和所述第二视觉传感器在所述重叠的可视范围内的第二局部样本图像训练得到；
    所述第二神经网络基于所述第一视觉传感器在第三时刻采集的样本图像和在第四时刻采集的样本图像训练得到；其中，所述第一视觉传感器在所述第三时刻时在空间中的位姿不同于在所述第四时刻时在空间中的位姿。
  20. 根据权利要求11所述的方法，其特征在于，所述基于所述第一局部图像、所述第二局部图像、所述第一时刻采集的图像和所述第二时刻采集的图像，确定所述可移动平台所在空间中的物体与所述可移动平台的相对位置关系，包括：
    基于所述第一视觉传感器在所述第一时刻时在空间中的位姿以及所述第一视觉传 感器在所述第二时刻时在空间中的位姿，确定所述第一视觉传感器在所述第一时刻所处的位置与在所述第二时刻所处的位置之间的距离；
    若所述距离小于预设值，基于所述第一局部图像、所述第二局部图像、所述第一时刻采集的图像和所述第二时刻采集的图像，确定所述可移动平台所在空间中的物体与所述可移动平台的相对位置关系。
  21. 根据权利要求17所述的方法，其特征在于，所述方法还包括：
    获取所述第一神经网络输出的置信图，所述置信图用于指示所述第一相对位置关系的置信度；
    基于置信度大于预设置信度阈值的第一相对位置，对所述第一视觉传感器在第一时刻的位姿和所述第一视觉传感器在所述第二时刻的位姿之间的位姿关系进行优化；优化的位姿关系用于确定所述第二相对位置关系。
  22. 根据权利要求11所述的方法，其特征在于，所述可移动平台为无人飞行器；所述第一视觉传感器和第二视觉传感器中的一者设置在所述无人飞行器的机身的顶部，另一者设置在所述无人飞行器的机身的底部；或者
    所述可移动平台为无人飞行器；所述第一视觉传感器和第二视觉传感器中的一者设置在所述无人飞行器的第一侧，另一者设置在所述无人飞行器的第二侧，所述第一侧与所述第二侧相对设置；
    所述可移动平台为无人车，所述第一视觉传感器和第二视觉传感器分别设置在所述无人车的两个车灯上，或者分别设置在挡风玻璃两侧；或者
    所述可移动平台为可移动机器人，所述第一视觉传感器和第二视觉传感器分别设置在所述可移动机器人的两个眼睛所在的位置。
  23. 根据权利要求11所述的方法，其特征在于，所述第一视觉传感器和第二视觉传感器中的至少一者为鱼眼相机。
  24. 根据权利要求11所述的方法，其特征在于，所述第一视觉传感器和第二视觉传感器的重叠的可视范围的面积小于非重叠的可视范围的面积。
  25. 根据权利要求11所述的方法，其特征在于，所述方法还包括：
    根据所述物体与所述可移动平台的相对位置关系，确定所述物体在所述空间中的绝对位置信息。
  26. 根据权利要求11所述的方法，其特征在于，所述基于所述第一局部图像、所述第二局部图像、所述第一时刻采集的图像和所述第二时刻采集的图像，确定所述可移动平台所在空间中的物体与所述可移动平台的相对位置关系，包括：
    确定所述可移动平台的移动方向；
    基于所述第一局部图像中与所述移动方向相关的第一图像区域、所述第二局部图像中与所述移动方向相关的第二图像区域、所述第一时刻采集的图像中与所述移动方向相关的第三图像区域，以及所述第二时刻采集的图像中与所述移动方向相关的第四图像区域，确定所述可移动平台所在空间中的物体与所述可移动平台的相对位置关系。
  27. 根据权利要求11所述的方法，其特征在于，所述方法还包括：
    基于所述可移动平台的移动速度以及所述相对位置关系，确定所述相对位置关系的更新频率；
    基于所述更新频率对所述相对位置关系进行更新。
  28. 一种图像处理装置，包括处理器，其特征在于，所述装置应用于可移动平台，所述可移动平台包括第一视觉传感器和第二视觉传感器，所述第一视觉传感器的第一可视范围与所述第二视觉传感器的第二可视范围部分重叠，所述处理器用于执行以下步骤：
    获取所述第一视觉传感器在重叠的可视范围内的第一局部图像，获取所述第二视觉传感器在重叠的可视范围内的第二局部图像；
    获取所述第一视觉传感器在第一时刻采集的图像和在第二时刻采集的图像，所述第一视觉传感器在所述第一时刻时在空间中的位姿不同于在所述第二时刻时在空间中的位姿；
    基于所述第一局部图像、所述第二局部图像，所述第一时刻采集的图像和所述第二时刻采集的图像，确定所述可移动平台所在空间中的物体与所述可移动平台的相对位置关系。
  29. 根据权利要求28所述的装置，其特征在于，所述处理器具体用于：
    基于所述第一局部图像和所述第二局部图像，确定所述物体与所述可移动平台的第一相对位置关系；
    基于所述第一时刻采集的图像和所述第二时刻采集的图像，确定所述物体与所述可移动平台的第二相对位置关系；
    基于所述第一相对位置关系和所述第二相对位置关系确定所述物体与所述可移动平台的相对位置关系。
  30. 根据权利要求29所述的装置，其特征在于，所述处理器具体用于：
    基于所述第一局部图像和所述第二局部图像，确定所述重叠的可视范围内与第一物体具有相同语义信息的目标物体与所述可移动平台的相对位置关系；
    基于所述目标物体与所述可移动平台的相对位置关系，确定所述第一物体与所述可移动平台的第一相对位置关系。
  31. 根据权利要求30所述的装置，其特征在于，所述处理器具体用于：
    在所述第二相对位置关系满足所述第一物体对应的几何约束条件的情况下，将所述第二相对位置关系确定为所述第一物体与所述可移动平台的相对位置关系；
    在所述第二相对位置关系不满足所述几何约束条件的情况下，将所述第一相对位置关系确定为所述第一物体与所述可移动平台的相对位置关系。
  32. 根据权利要求29所述的装置，其特征在于，所述处理器具体用于：
    基于所述第一局部图像和所述第二局部图像，确定所述第二物体与所述可移动平台的第一相对位置关系。
  33. 根据权利要求32所述的装置，其特征在于，所述处理器具体用于：
    在满足预设条件的情况下，将所述第一相对位置关系确定为所述第二物体与所述可移动平台的相对位置关系；
    在不满足预设条件的情况下，将所述第二相对位置关系确定为所述第二物体与所述可移动平台的相对位置关系；
    所述预设条件包括：所述第二物体的深度小于预设的深度阈值；以及
    所述第一相对位置关系的置信度大于预设的置信度阈值。
  34. 根据权利要求29所述的装置，其特征在于，所述第一相对位置关系通过第一神经网络对所述第一局部图像和所述第二局部图像进行处理得到，所述第二相对位置关系通过第二神经网络对所述第一时刻采集的图像和所述第二时刻采集的图像进行处理得到。
  35. 根据权利要求34所述的装置，其特征在于，所述第一神经网络基于以下方式获取所述第一相对位置关系：
    分别对所述第一局部图像和所述第二局部图像进行特征提取，得到所述第一局部图像的特征描述和所述第二局部图像的特征描述；
    基于所述第一局部图像的特征描述和所述第二局部图像的特征描述，获取将所述第一局部图像投影到所述第二局部图像的投影代价；
    对所述投影代价进行聚合，得到聚合投影代价；
    对所述聚合投影代价进行归一化处理，得到初始相对位置关系；
    基于所述初始相对位置关系以及所述重叠的可视范围内与第一物体具有相同语义信息的目标物体的语义信息，获取所述第一相对位置关系。
  36. 根据权利要求34所述的装置，其特征在于，所述第一神经网络基于所述第一视觉传感器在所述重叠的可视范围内的第一局部样本图像和所述第二视觉传感器在所述重叠的可视范围内的第二局部样本图像训练得到；
    所述第二神经网络基于所述第一视觉传感器在第三时刻采集的样本图像和在第四时刻采集的样本图像训练得到；其中，所述第一视觉传感器在所述第三时刻时在空间中的位姿不同于在所述第四时刻时在空间中的位姿。
  37. 根据权利要求28所述的装置，其特征在于，所述处理器具体用于：
    基于所述第一视觉传感器在所述第一时刻时在空间中的位姿以及所述第一视觉传感器在所述第二时刻时在空间中的位姿，确定所述第一视觉传感器在所述第一时刻所处的位置与在所述第二时刻所处的位置之间的距离；
    若所述距离小于预设值，基于所述第一局部图像、所述第二局部图像、所述第一时刻采集的图像和所述第二时刻采集的图像，确定所述可移动平台所在空间中的物体与所述可移动平台的相对位置关系。
  38. 根据权利要求34所述的装置，其特征在于，所述处理器还用于：
    获取所述第一神经网络输出的置信图，所述置信图用于指示所述第一相对位置关系的置信度；
    基于置信度大于预设置信度阈值的第一相对位置，对所述第一视觉传感器在第一时刻的位姿和所述第一视觉传感器在所述第二时刻的位姿之间的位姿关系进行优化；优化的位姿关系用于确定所述第二相对位置关系。
  39. 根据权利要求28所述的装置，其特征在于，所述可移动平台为无人飞行器；所述第一视觉传感器和第二视觉传感器中的一者设置在所述无人飞行器的机身的顶部，另一者设置在所述无人飞行器的机身的底部；或者
    所述可移动平台为无人车，所述第一视觉传感器和第二视觉传感器分别设置在所述无人车的两个车灯上，或者分别设置在挡风玻璃两侧；或者
    所述可移动平台为可移动机器人，所述第一视觉传感器和第二视觉传感器分别设置在所述可移动机器人的两个眼睛所在的位置。
  40. 根据权利要求28所述的装置，其特征在于，所述第一视觉传感器和第二视觉传感器中的至少一者为鱼眼相机。
  41. 根据权利要求28所述的装置，其特征在于，所述第一视觉传感器和第二视觉传感器的重叠的可视范围的面积小于非重叠的可视范围的面积。
  42. 根据权利要求28所述的装置，其特征在于，所述处理器还用于：
    根据所述物体与所述可移动平台的相对位置关系，确定所述物体在所述空间中的绝对位置信息。
  43. 根据权利要求28所述的装置，其特征在于，所述处理器具体用于：
    确定所述可移动平台的移动方向；
    基于所述第一局部图像中与所述移动方向相关的第一图像区域、所述第二局部图像中与所述移动方向相关的第二图像区域、所述第一时刻采集的图像中与所述移动方向相关的第三图像区域，以及所述第二时刻采集的图像中与所述移动方向相关的第四图像区域，确定所述可移动平台所在空间中的物体与所述可移动平台的相对位置关系。
  44. 根据权利要求28所述的装置，其特征在于，所述处理器还用于：
    基于所述可移动平台的移动速度以及所述相对位置关系，确定所述相对位置关系的更新频率；
    基于所述更新频率对所述相对位置关系进行更新。
  45. 一种可移动平台，其特征在于，包括：
    第一视觉传感器和第二视觉传感器，分别用于采集所述可移动平台周围的环境区域的图像，所述第一视觉传感器的第一可视范围与所述第二视觉传感器的第二可视范围部分重叠；以及
    权利要求28至44任意一项所述的图像处理装置。
CN202280057209.4A 2022-01-10 2022-01-10 飞行器、图像处理方法和装置、可移动平台 Pending CN117859104A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2022/071100 WO2023130465A1 (zh) 2022-01-10 2022-01-10 飞行器、图像处理方法和装置、可移动平台

Publications (1)

Publication Number Publication Date
CN117859104A true CN117859104A (zh) 2024-04-09

Family

ID=87072973

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280057209.4A Pending CN117859104A (zh) 2022-01-10 2022-01-10 飞行器、图像处理方法和装置、可移动平台

Country Status (2)

Country Link
CN (1) CN117859104A (zh)
WO (1) WO2023130465A1 (zh)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10165182B1 (en) * 2016-12-29 2018-12-25 Scott Zhihao Chen Panoramic imaging systems based on two laterally-offset and vertically-overlap camera modules
CN106931961B (zh) * 2017-03-20 2020-06-23 成都通甲优博科技有限责任公司 一种自动导航方法及装置
CN112837207B (zh) * 2019-11-25 2024-06-21 影石创新科技股份有限公司 全景深度测量方法、四目鱼眼相机及双目鱼眼相机
CN210986289U (zh) * 2019-11-25 2020-07-10 影石创新科技股份有限公司 四目鱼眼相机及双目鱼眼相机

Also Published As

Publication number Publication date
WO2023130465A1 (zh) 2023-07-13

Similar Documents

Publication Publication Date Title
CN112567201B (zh) 距离测量方法以及设备
CN111344644B (zh) 用于基于运动的自动图像捕获的技术
US11064178B2 (en) Deep virtual stereo odometry
KR101725060B1 (ko) 그래디언트 기반 특징점을 이용한 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
KR101776621B1 (ko) 에지 기반 재조정을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
CN112292711A (zh) 关联lidar数据和图像数据
EP2405393B1 (en) Device, method and program for creating information for object position estimation
CN109300143B (zh) 运动向量场的确定方法、装置、设备、存储介质和车辆
CN111247557A (zh) 用于移动目标物体检测的方法、系统以及可移动平台
US11748998B1 (en) Three-dimensional object estimation using two-dimensional annotations
CN113568435B (zh) 一种基于无人机自主飞行态势感知趋势的分析方法与系统
EP3107069A1 (en) Object detection apparatus, object detection method, and mobile robot
EP3938870B1 (en) Fixed holograms in mobile environments
KR20190030474A (ko) 신뢰도에 기초하여 깊이 맵을 산출하는 방법 및 장치
CN113359782B (zh) 一种融合lidar点云与图像数据的无人机自主选址降落方法
CN113887400B (zh) 障碍物检测方法、模型训练方法、装置及自动驾驶车辆
WO2023056789A1 (zh) 农机自动驾驶障碍物识别方法、系统、设备和存储介质
CN117727011A (zh) 基于图像融合的目标识别方法、装置、设备及存储介质
US10991155B2 (en) Landmark location reconstruction in autonomous machine applications
WO2020019175A1 (zh) 图像处理方法和设备、摄像装置以及无人机
TWI791261B (zh) 在移動中提供虛擬環境的方法與系統以及非暫態電腦可讀取儲存媒體
US11417063B2 (en) Determining a three-dimensional representation of a scene
CN117859104A (zh) 飞行器、图像处理方法和装置、可移动平台
CN113011212A (zh) 图像识别方法、装置及车辆
US12112502B2 (en) Three-dimensional map estimation apparatus and obstacle detection apparatus

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination