CN112052788A - 基于双目视觉的环境感知方法、装置及无人飞行器 - Google Patents

基于双目视觉的环境感知方法、装置及无人飞行器 Download PDF

Info

Publication number
CN112052788A
CN112052788A CN202010915758.3A CN202010915758A CN112052788A CN 112052788 A CN112052788 A CN 112052788A CN 202010915758 A CN202010915758 A CN 202010915758A CN 112052788 A CN112052788 A CN 112052788A
Authority
CN
China
Prior art keywords
binocular
binocular camera
viewing angle
aerial vehicle
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010915758.3A
Other languages
English (en)
Other versions
CN112052788B (zh
Inventor
郑欣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Autel Robotics Co Ltd
Original Assignee
Autel Robotics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Autel Robotics Co Ltd filed Critical Autel Robotics Co Ltd
Priority to CN202010915758.3A priority Critical patent/CN112052788B/zh
Publication of CN112052788A publication Critical patent/CN112052788A/zh
Priority to PCT/CN2021/115734 priority patent/WO2022048541A1/zh
Priority to US18/178,220 priority patent/US20240153122A1/en
Application granted granted Critical
Publication of CN112052788B publication Critical patent/CN112052788B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G06T7/596—Depth or shape recovery from multiple images from stereo images from three or more stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00—Equipment not otherwise provided for
    • B64D47/08—Arrangements of cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U20/00—Constructional aspects of UAVs
    • B64U20/70—Constructional aspects of the UAV body
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20—Control system inputs
    • G05D1/24—Arrangements for determining position or orientation
    • G05D1/243—Means capturing signals occurring naturally from the environment, e.g. ambient optical, acoustic, gravitational or magnetic signals
    • G05D1/2435—Extracting 3D information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2109/00—Types of controlled vehicles
    • G05D2109/20—Aircraft, e.g. drones
    • G05D2109/25—Rotorcrafts
    • G05D2109/254—Flying platforms, e.g. multicopters
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2111/00—Details of signals used for control of position, course, altitude or attitude of land, water, air or space vehicles
    • G05D2111/10—Optical signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Mechanical Engineering (AREA)
  • Computer Graphics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Automation & Control Theory (AREA)
  • Astronomy & Astrophysics (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种基于双目视觉的环境感知方法、装置及无人飞行器。无人飞行器设置有五组双目相机，五组双目相机包括第一双目相机、第二双目相机、第三双目相机、第四双目相机以及第五双目相机，第一双目相机设置于无人飞行器的机身前部，第二双目相机倾斜向上设置于无人飞行器的机身左侧与机身上部之间，第三双目相机倾斜向上设置于无人飞行器的机身右侧与机身上部之间，第四双目相机设置于无人飞行器的机身下部，第五双目相机设置于无人飞行器的机身后部。通过上述方式，本发明实施例能够简化全向感知系统，同时减小感知盲区。

Description

基于双目视觉的环境感知方法、装置及无人飞行器
技术领域
本发明实施例涉及飞行器技术领域，特别是涉及一种基于双目视觉的环境感知方法、装置及无人飞行器。
背景技术
随着飞行器相关技术的不断发展，无人飞行器(Unmanned Aerial Vehicle，UAV)，也称无人机成为诸多领域发展的热点；例如，近年来，无人机在灾情调查和救援、空中监控、输电线路巡检、航拍、航测以及军事领域均得到了广泛的应用。
为实现避障、刹车、路径规划等，无人机配备有传感器进行环境感知，典型的传感器包括超声波传感器、红外传感器、TOF传感器以及视觉传感器。其中，超声波传感器、红外传感器、TOF传感器无法获取飞行图像，通常作为辅助感知手段；单目视觉传感器(即，单目相机)虽然输出信息丰富并且硬件成本低，但所获取的飞行图像是二维的，难以满足复杂化的应用场景；而双目视觉传感器(即，双目相机)基于视差原理，因其产生的立体视觉信息可以直接恢复被测量点的三维坐标，成为感知传感器中的热门。
然而，受限于体积或者成本，无人机仅部分方向上配备有双目相机，无法实现全向感知；即使在无人机上配备有6组双目相机，因部分双目视觉传感器易被机臂遮挡，视角较窄，也存在一定感知盲区。
发明内容
本发明实施例主要解决的技术问题是提供一种基于双目视觉的环境感知方法、装置及无人飞行器，能够简化全向感知系统，同时减小感知盲区。
为实现上述目的，本发明实施例采用的一个技术方案是：第一方面，提供一种基于双目视觉的环境感知方法，所述方法应用于无人飞行器，所述无人飞行器设置有五组双目相机，所述五组双目相机包括第一双目相机、第二双目相机、第三双目相机、第四双目相机以及第五双目相机，所述第一双目相机设置于所述无人飞行器的机身前部，所述第二双目相机倾斜向上设置于所述无人飞行器的机身左侧与机身上部之间，所述第三双目相机倾斜向上设置于所述无人飞行器的机身右侧与机身上部之间，所述第四双目相机设置于所述无人飞行器的机身下部，所述第五双目相机设置于所述无人飞行器的机身后部；
所述方法包括：
通过所述五组双目相机的每一组双目相机获取一组双目视图，并根据所述双目视图生成视差图；
分别根据所述视差图及其对应的双目相机的内部参数，生成初始三维点云数据；
分别将所述初始三维点云数据的坐标系转换为世界坐标系，以获得五组世界坐标系下的三维点云数据；
根据所述五组世界坐标系下的三维点云数据构建目标场景的三维地图。
可选地，任一双目相机的光心连线平行于水平面，且任一双目相机的两光轴相互平行。
可选地，所述第二双目相机的光轴、所述第三双目相机的光轴与水平面的夹角均为α。
在一些实施例中，所述第二双目相机的垂直视角H2、所述第三双目相机的垂直视角H3以及所述第四双目相机的垂直视角H4满足：H2+H3+H4>360°；
且，所述第二双目相机的垂直视角与所述第三双目相机的垂直视角部分重叠，所述第三双目相机的垂直与所述第四双目相机的垂直视角部分重叠，所述第四双目相机的垂直视角与所述第二双目相机的垂直视角部分重叠。
可选地，所述第二双目相机的垂直视角H2、所述第三双目相机的垂直视角H3、所述第四双目相机的垂直视角H4还满足以下条件：
H2+H4-2α>180°；
H3+H4-2α>180°；
H2+H3>180°。
在一些实施例中，所述第一双目的水平视角V1、所述第二双目相机的水平视角V2、所述第三双目相机的水平视角V3以及所述第五双目的水平视角V5满足：V1+V2+V3+V5>360°；
且，所述第一双目相机的水平视角与所述第二双目相机的水平视角部分重叠，所述第二双目相机的水平视角与所述第五双目的水平视角部分重叠，所述第五双目的水平视角与所述第三双目相机的水平视角部分重叠，所述第三双目相机的水平视角与所述第一双目相机的水平视角部分重叠。
可选地，所述第一双目的水平视角V1、所述第二双目相机的水平视角V2、所述第三双目相机的水平视角V3以及所述第五双目的水平视角V5还满足以下条件：
V1+V2>180°；
V2+V5>180°；
V5+V3>180°；
V3+V1>180°。
在一些实施例中，所述第一双目的垂直视角H1、所述第二双目的水平视角V2、所述第四双目的垂直视角H4、所述第五双目的水平视角V5满足：H1+V2+H4+V5>360°；
且，所述第一双目的垂直视角与所述第二双目的水平视角部分重叠，所述第二双目的水平视角与所述第四双目的垂直视角部分重叠，所述第四双目的垂直视角与所述第五双目的水平视角部分重叠。
可选地，所述第一双目的垂直视角H1、所述第二双目的水平视角V2、所述第四双目的垂直视角H4、所述第五双目的水平视角V5还满足以下条件：
H1+V2>180°；
V2+H4>180°；
H4+V5>180°；
V5+H1>180°。
可选地，所述第三双目的水平视角与所述第二双目的水平视角相等。
在一些实施例中，在所述通过所述五组双目相机的每一组双目相机获取一组双目视图，并根据所述双目视图生成视差图之前，所述方法还包括：
在预设环境下，通过所述五组双目相机的每一组双目相机获取一组对照双目视图；
若确定所述对照双目视图中的左右视图上有所述无人飞行器的机体本体形成的遮挡区域，根据所述遮挡区域分别构建左蒙版和右蒙版，根据所述左蒙版和所述右蒙版生成与所述双目相机对应的蒙版视图，并存储所述蒙版视图；
则所述根据所述视差图及其对应的双目相机的内部参数，生成初始三维点云数据，具体包括：
将所述视差图和所述双目相机对应的蒙版视图进行融合，生成融合视差图；
根据所述融合视差图及所述双目相机的内部参数，生成初始三维点云数据。
可选地，所述无人飞行器的机体本体形成的遮挡区域包括以下至少一种：
所述无人飞行器的机臂形成的遮挡区域，所述无人飞行器的机身形成的遮挡区域，所述无人飞行器的动力装置形成的遮挡区域，以及所述无人飞行器的保护装置形成的遮挡区域。
第二方面，提供一种基于双目视觉的环境感知装置，所述装置应用于无人飞行器，所述无人飞行器设置有五组双目相机，所述五组双目相机包括第一双目相机、第二双目相机、第三双目相机、第四双目相机以及第五双目相机，所述第一双目相机设置于所述无人飞行器的机身前部，所述第二双目相机倾斜向上设置于所述无人飞行器的机身左侧与机身上部之间，所述第三双目相机倾斜向上设置于所述无人飞行器的机身右侧与机身上部之间，所述第四双目相机设置于所述无人飞行器的机身下部，所述第五双目相机设置于所述无人飞行器的机身后部，所述装置包括：
视差图生成模块，用于通过所述五组双目相机的每一组双目相机获取一组双目视图，并根据所述双目视图生成视差图；
初始点云数据生成模块，用于分别根据所述视差图及其对应的双目相机的内部参数，生成初始三维点云数据；
点云数据生成模块，用于分别将所述初始三维点云数据的坐标系转换为世界坐标系，以获得五组世界坐标系下的三维点云数据；
三维地图构建模块，用于根据所述五组世界坐标系下的三维点云数据构建目标场景的三维地图。
可选地，所述装置还包括：
对照双目视图获取模块，用于在预设环境下，通过所述五组双目相机的每一组双目相机获取一组对照双目视图；
蒙版视图生成模块，用于若确定所述对照双目视图中的左右视图上有所述无人飞行器的机体本体形成的遮挡区域，根据所述遮挡区域分别构建左蒙版和右蒙版，根据所述左蒙版和所述右蒙版生成与所述双目相机对应的蒙版视图，并存储所述蒙版视图；
所述初始点云数据生成模块，还用于将所述视差图和所述双目相机对应的蒙版视图进行融合，生成融合视差图；根据所述融合视差图及所述双目相机的内部参数，生成初始三维点云数据。
第三方面，提供一种无人飞行器，包括：
第一双目相机，设置于所述无人飞行器的机身前部；
第二双目相机，倾斜向上设置于所述无人飞行器的机身左侧与机身上部之间；
第三双目相机，倾斜向上设置于所述无人飞行器的机身右侧与机身上部之间；
第四双目相机，设置于所述无人飞行器的机身下部；
第五双目相机，设置于所述无人飞行器的机身后部；
控制器，分别与所述第一双目相机、所述第二双目相机、所述第三双目相机、所述第四双目相机和所述第五双目相机连接，所述控制器包括：至少一个处理器，以及
存储器，所述存储器与所述至少一个处理器通信连接，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上所述的方法。
第四方面，提供另一种无人飞行器，包括：
第一双目相机，设置于所述无人飞行器的机身前部；
第二双目相机，倾斜向上设置于所述无人飞行器的机身左侧与机身上部之间；
第三双目相机，倾斜向上设置于所述无人飞行器的机身右侧与机身上部之间；
第四双目相机，设置于所述无人飞行器的机身下部；
第五双目相机，设置于所述无人飞行器的机身后部；以及
控制器，分别与所述第一双目相机、所述第二双目相机、所述第三双目相机、所述第四双目相机和所述第五双目相机连接；
其中，所述第一双目相机、所述第二双目相机、所述第三双目相机、所述第四双目相机、所述第五双目相机均用于获取一组双目视图，并根据所述双目视图生成视差图；根据所述视差图及其内部参数，生成初始三维点云数据；以及将所述初始三维点云数据的坐标系转换为世界坐标系，以获得世界坐标系下的三维点云数据；
所述控制器用于根据所述第一双目相机、所述第二双目相机、所述第三双目相机、所述第四双目相机、所述第五双目相机的三维点云数据构建目标场景的三维地图。
可选地，所述第一双目相机、所述第二双目相机、所述第三双目相机、所述第四双目相机、所述第五双目相机还均用于在预设环境下，获取一组对照双目视图；若确定所述对照双目视图中的左右视图上有所述无人飞行器的机体本体形成的遮挡区域，根据所述遮挡区域分别构建左蒙版和右蒙版，根据所述左蒙版和所述右蒙版生成与所述双目相机对应的蒙版视图，并存储所述蒙版视图；将所述视差图和所述双目相机对应的蒙版视图进行融合，生成融合视差图；根据所述融合视差图及所述双目相机的内部参数，生成初始三维点云数据。
第五方面，本发明实施例提供一种非易失性计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于被无人飞行器执行，以实现如上所述的方法。
第六方面，本发明实施例提供一种计算机程序产品，计算机程序产品包括存储在非易失性计算机可读存储介质上的计算机程序，计算机程序包括程序指令，程序指令用于被无人飞行器执行，以实现如上所述的方法。
本发明实施例的有益效果是：区别于现有技术的情况，本发明实施例的无人飞行器设置有五组双目相机，五组双目相机包括第一双目相机、第二双目相机、第三双目相机、第四双目相机以及第五双目相机，第一双目相机设置于无人飞行器的机身前部，第二双目相机倾斜向上设置于无人飞行器的机身左侧与机身上部之间，第三双目相机倾斜向上设置于无人飞行器的机身右侧与机身上部之间，第四双目相机设置于无人飞行器的机身下部，第五双目相机设置于无人飞行器的机身后部；通过五组双目相机感知无人飞行器前、后、左、右、上、下六方位的环境信息，能够减少一组双目相机的设置，简化全向感知系统，同时，左右两侧的双目相机倾斜设置，还能够减小无人飞行器的机体本体的遮挡，减小感知盲区。
附图说明
一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。
图1是本发明实施例涉及的实施环境的结构示意图；
图2是本发明实施例提供的双目测距原理示意图；
图3是本发明实施例涉及的实施环境的硬件结构示意图；
图4是本发明实施例提供的基于双目视觉的环境感知方法的流程图；
图5是本发明另一实施例提供的基于双目视觉的环境感知方法的流程图；
图6是本发明实施例提供的基于无人飞行器的机体本体形成的遮挡区域生成蒙版视图的示意图；
图7是本发明实施例提供的第二双目相机和第三双目相机的安装示意图；
图8是本发明实施例提供的在一个视角下无人飞行器的双目感知区域的示意图；
图9是本发明实施例提供的在另一个视角下无人飞行器的双目感知区域的示意图；
图10是本发明实施例提供的在又一个视角下无人飞行器的双目感知区域的示意图；
图11是本发明实施例提供的基于双目视觉的环境感知装置的示意图；
图12是本发明实施例提供的无人飞行器的结构示意图；
图13是本发明另一实施例提供的无人飞行器的结构示意图。
具体实施方式
下面将结合附图对本发明实施例中的技术方案进行描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，当元件被表述“固定于”另一个元件，它可以直接在另一个元件上、或者其间可以存在一个或多个居中的元件。当一个元件被表述“连接”另一个元件，它可以是直接连接到另一个元件、或者其间可以存在一个或多个居中的元件。本说明书所使用的术语“垂直的”、“水平的”、“左”、“右”以及类似的表述只是为了说明的目的。
此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
图1是本发明各个实施例涉及的一种实施环境的示意图，如图1所示，该实施环境包括无人飞行器10和多组双目相机，多组双目相机分别设置在无人飞行器10的不同方位上，以获取无人飞行器10周边的飞行环境。
无人飞行器10包括机体本体，机体本体包括机身110、与机身110相连的机臂120、位于每个机臂120上的动力装置130，动力装置130用于给无人飞行器10提供飞行的动力，主要包括电机(如，无刷电机)以及与电机连接的螺旋桨。
图中以四旋翼无人飞行器为例，在其他可能的实施例中，无人飞行器10还可以为三旋翼无人飞行器、六旋翼无人飞行器、固定翼无人飞行器等。为了便于收纳和携带，机臂120还可相对于机身110折叠。
可选地，该无人飞行器10还包括与机身110底部或者机臂120连接的起落架140。
多组双目相机包括设置于无人飞行器10的机身前部的第一双目相机21，倾斜向上设置于无人飞行器10的机身左侧与机身上部之间的第二双目相机22，倾斜向上设置于无人飞行器10的机身右侧与机身上部之间的第三双目相机23，设置于无人飞行器10的机身下部的第四双目相机24(图1未示出)，以及设置于无人飞行器10的机身后部的第五双目相机25(图1未示出)。
每一双目相机均包括左、右两个相机和图像处理器，通过左、右两个相机从不同的位置获取被测物体的两幅图像，图像处理器基于视差原理通过计算图像对应点间的位置偏差，以获取物体的三维几何信息。
如图2所示，特征点P是被摄物体上的某一点，OR与OT分别是两个相机的光心，特征点P在两个相机感光器上的成像点分别为P和P’(相机的成像平面经过旋转后放在了镜头前方)，f为相机焦距，B(Baseline)为两相机中心距，Z为待求的深度信息，设点P到点P’的距离为dis，则：
dis＝B-(XR-XT)；
根据相似三角形原理：
Figure BDA0002664960170000101
可得：
Figure BDA0002664960170000102
公式中，焦距f和两相机中心距B可通过标定得到，因此，只要获得了(XR－XT)的值，即，同一个空间点在两个相机成像中对应的X坐标的差值(disparity)即可求得点P的深度信息。进一步地，通过标定得到的内部参数和外部参数，图像处理器还可以通过求出点P在相机坐标系下和世界坐标系下的三维坐标。
其中，双目相机的内部参数反映的是相机坐标系到图像坐标系之间的投影关系，双目相机的外部参数反映的是相机坐标系和世界坐标系之间的旋转R和平移T关系。通过在双目相机前放置特制的标定参照物(通常为棋盘纸)，以使双目相机获取该物体的图像，可计算得出双目相机的内部参数和外部参数。
具体地，可通过以下公式求出特征点P在相机坐标系下的三维坐标：
Figure BDA0002664960170000103
Figure BDA0002664960170000104
Figure BDA0002664960170000105
其中，cx、cy、fx、fy为双目相机的内部参数；px、py为特征点P在视差图上的像素坐标。
根据相机坐标系和世界坐标系的关系，通过相应的外部参数矩阵即可将该双目相机坐标系转换至无人飞行器的世界坐标系。在实际应用中，若px、py采用左图像中的像素坐标，则以左图像为基准，采用左相机和世界坐标的映射关系计算特征点P在世界坐标系下的三维坐标；如果px、py采用右图像中的像素坐标，则以右图像为基准，采用右相机和世界坐标的映射关系计算特征点P在世界坐标系下的三维坐标。
如图3所示，无人飞行器10还包括安装在机体本体上的控制器30，第一双目相机21、第二双目相机22、第三双目相机23、第四双目相机24、第五双目相机25均与控制器30连接，控制器30用于获取各双目相机25的图像处理器传输的三维点云数据，根据上述三维点云数据构建三维地图或三维建模，以控制动力装置130执行避障、刹车、路径规划等任务。
可以理解的是，上述根据三维点云数据构建三维地图或三维建模也可以由与无人飞行器通信连接的上位机40执行。还可以理解的是，各双目相机的图像处理器之间，和图像处理器和控制器30之间可以是或者也可以不是物理上分开的；例如，各双目相机的图像处理器和控制器30可以集成在同一芯片上，和/或各双目相机的图像处理器的功能和控制器30的功能也可由同一控制器执行。
基于上述描述，下面结合附图对本发明实施例作进一步阐述。
实施例1
请参阅图4，图4为本发明实施例提供的一种基于双目视觉的环境感知方法的流程图，该方法应用于无人飞行器，无人飞行器上设置有五组双目相机，方法包括：
步骤210：通过五组双目相机的每一组双目相机获取一组双目视图，并根据双目视图生成视差图。
示例性地，五组双目相机包括第一双目相机、第二双目相机、第三双目相机、第四双目相机以及第五双目相机，五组双目相机分别设置在无人飞行器的不同方位上，用于全方位获取无人飞行器周边的环境信息。
其中，第一双目相机设置于无人飞行器的机身前部，可以横向、纵向或斜向安装在其安装面上，光心朝前，用于获取无人飞行器前方的环境信息。
第二双目相机倾斜向上设置于无人飞行器的机身左侧与机身上部之间，第二双目相机的光心朝左并向上倾斜，用于获取无人飞行器左侧方及斜上方的环境信息；第三双目相机倾斜向上设置于无人飞行器的机身右侧与机身上部之间，第三双目相机的光心朝右并向上倾斜，用于获取无人飞行器右侧方及斜上方的环境信息。通过将第二双目相机和第三双目相机倾斜设置，不仅可以减少一组设置在无人飞行器的机身上部的双目相机，而且，可以减小(甚至去除)无人飞行器的机体本体，尤其是机臂的遮挡，减少感知盲区。
第四双目相机设置于无人飞行器的机身下部，可以横向、纵向或斜向安装在其安装面上，光心朝下，用于获取无人飞行器下方的环境信息。
第五双目相机设置于无人飞行器的机身后部，可以横向、纵向或斜向安装在其安装面上，光心朝后，用于获取无人飞行器后方的环境信息。
该步骤具体包括：通过第一双目相机获取第一组双目视图，并根据第一组双目视图生成第一视差图；通过第二双目相机获取第二组双目视图，并根据第二组双目视图生成第二视差图；通过第三双目相机获取第三组双目视图，并根据第三组双目视图生成第三视差图；通过第四双目相机获取第四组双目视图，并根据第四组双目视图生成第四视差图；通过第五双目相机获取第五组双目视图，并根据第五组双目视图生成第五视差图。
可基于双目匹配算法根据双目视图生成对应的视差图。在一实施方式中，在对双目视图的两副图像立体校正后，使用BM算法或者SGBM算法计算视差图。
步骤220：分别根据视差图及其对应的双目相机的内部参数，生成初始三维点云数据。
在上一步骤中，获取的第一视差图与第一双目相机对应，第二视差图与第二双目相机对应，第三视差图与第三双目相机对应，第四视差图与第四双目相机对应，第五视差图与第五双目相机对应；则该步骤具体包括：根据第一视差图及第一双目相机的内部参数，生成第一组初始三维点云数据，根据第二视差图及第二双目相机的内部参数，生成第二组初始三维点云数据，根据第三视差图及第三双目相机的内部参数，生成第三组初始三维点云数据，根据第四视差图及第四双目相机的内部参数，生成第四组初始三维点云数据，根据第五视差图及第五双目相机的内部参数，生成第五组初始三维点云数据。
可采用利用以下公式，获取各视差图中每一特征点的三维坐标：
Figure BDA0002664960170000131
Figure BDA0002664960170000132
Figure BDA0002664960170000133
其中，B为基线长度，disparity为由视差图获取的视差数据，cx、cy、fx、fy为对应的双目相机的内部参数，px、py为点P在视差图上的像素坐标，也即点P在左图像中的像素坐标或者右图像中的像素坐标。
初始三维点云数据，可表示为由N个特征点的三维坐标构建的矩阵Pcam，
Figure BDA0002664960170000134
步骤230：分别将初始三维点云数据的坐标系转换为世界坐标系，以获得五组世界坐标系下的三维点云数据。
具体包括：根据第一双目相机的外部参数矩阵将第一初始三维点云数据的坐标系转换为世界坐标系，以获得世界坐标系下的第一三维点云数据；根据第二双目相机的外部参数矩阵将第二初始三维点云数据的坐标系转换为世界坐标系，以获得世界坐标系下的第二三维点云数据；根据第三双目相机的外部参数矩阵将第三初始三维点云数据的坐标系转换为世界坐标系，以获得世界坐标系下的第三三维点云数据；根据第四双目相机的外部参数矩阵将第四初始三维点云数据的坐标系转换为世界坐标系，以获得世界坐标系下的第四三维点云数据；根据第五双目相机的外部参数矩阵将第五初始三维点云数据的坐标系转换为世界坐标系，以获得世界坐标系下的第五三维点云数据。
根据双目相机的外部参数矩阵将初始三维点云数据的坐标系转换为世界坐标系，可通过公式pworld＝T×pcam T得出，其中，T为对应的双目相机的外部参数矩阵。
步骤240：根据五组世界坐标系下的三维点云数据构建目标场景的三维地图。
即，根据世界坐标系下的第一三维点云数据、第二三维点云数据、第三三维点云数据、第四三维点云数据和第五三维点云数据构建目标场景的三维地图。三维建图或建模可使用现有的八叉树、ewok、点云地图、mesh等方法。
因五组三维点云数据包括无人飞行器前方、左侧方及斜上方、右侧方及斜上方、下方、后方的环境信息，因此，根据五组三维点云数据构建三维地图能够重构出无人飞行器前、后、左、右、上、下六方位的真实场景。若五组双目相机不能在同一时刻进行全向感知，则可以通过控制无人飞行器旋转一定的角度，再次获取五组三维点云数据，基于两次或者多次获取的三维点云数据构建出完整的三维地图。
本发明实施例将第一双目相机设置于无人飞行器的机身前部，第二双目相机倾斜向上设置于无人飞行器的机身左侧与机身上部之间，第三双目相机倾斜向上设置于无人飞行器的机身右侧与机身上部之间，第四双目相机设置于无人飞行器的机身下部，第五双目相机设置于无人飞行器的机身后部，通过五组双目相机感知无人飞行器前、后、左、右、上、下六方位的环境信息，能够减少一组双目相机的设置，简化全向感知系统，同时，左右两侧的双目相机倾斜设置，还能够减小无人飞行器的机体本体的遮挡，减小感知盲区。
实施例2
请参阅图5，图5为本发明实施例提供的另一种基于双目视觉的环境感知方法的流程图，该方法应用于无人飞行器，该无人飞行器的结构可与上述实施例的无人飞行器的结构相同，不同之处在于，本实施例的方法包括：
步骤310：在预设环境下，通过五组双目相机的每一组双目相机获取一组对照双目视图。
即，在预设环境下，通过第一双目相机获取第一组对照双目视图，通过第二双目相机获取第二组对照双目视图，通过第三双目相机获取第三组对照双目视图，通过第四双目相机获取第四组对照双目视图，通过第五双目相机获取第五组对照双目视图。
可选地，预设环境的环境背景为单一背景，如，为白色背景或者绿色背景，以便于在对照双目视图中精确识别无人飞行器的机体本体的遮挡区域。
步骤320：分别确定对照双目视图中的左右视图上是否有无人飞行器的机体本体形成的遮挡区域。
在实际应用中，根据无人飞机器的机体本体的结构，无人飞机器的机体本体形成的遮挡区域，可以包括：无人飞行器的机臂形成的遮挡区域、无人飞行器的机身形成的遮挡区域、无人飞行器的动力装置(如，螺旋桨)形成的遮挡区域和/或无人飞行器的保护装置(如，起落架)形成的遮挡区域。
根据无人飞机器的机体本体的结构以及双目相机的安装位置，在不同的实施方式中，无人飞行器的机体本体形成的遮挡区域也可能不一样。例如，在一种实施环境中，无人飞行器的机体本体形成的遮挡区域出现在第二双目相机和第三双目相机的对照双目视图中，而在另一实施环境中，无人飞行器的机体本体形成的遮挡区域还出现在第四双目机的对照双目视图中。
因此，该步骤具体包括：确定第一组对照双目视图中的左右视图上是否有无人飞行器的机体本体形成的遮挡区域，确定第二组对照双目视图中的左右视图上是否有无人飞行器的机体本体形成的遮挡区域，确定第三组对照双目视图中的左右视图上是否有无人飞行器的机体本体形成的遮挡区域，确定第四组对照双目视图中的左右视图上是否有无人飞行器的机体本体形成的遮挡区域，确定第五组对照双目视图中的左右视图上是否有无人飞行器的机体本体形成的遮挡区域。
示例性地，可以通过图像识别、轮廓检测、图像二值化等方式确定每一对照双目视图中的左右视图上是否有无人飞行器的机体本体形成的遮挡区域。
步骤330：若有，根据遮挡区域分别构建左蒙版和右蒙版，以及根据左蒙版和右蒙版生成与该双目相机对应的蒙版视图，并存储该蒙版视图。
蒙版即为一种黑白二值图，黑色区域为遮盖，白色区域为保留，构建蒙版，即，确定蒙版的黑色区域和白色区域。
具体地，若确定第一组对照双目视图中的左右视图上有无人飞行器的机体本体形成的遮挡区域，根据遮挡区域分别构建第一左蒙版和第一右蒙版，根据第一左蒙版和第一右蒙版生成与第一双目相机对应的第一蒙版视图，并存储第一蒙版视图。
若确定第二组对照双目视图中的左右视图上有无人飞行器的机体本体形成的遮挡区域，根据遮挡区域分别构建第二左蒙版和第二右蒙版，根据第二左蒙版和第二右蒙版生成与第二双目相机对应的第二蒙版视图，并存储第二蒙版视图。
若确定第三组对照双目视图中的左右视图上有无人飞行器的机体本体形成的遮挡区域，根据遮挡区域分别构建第三左蒙版和第三右蒙版，根据第三左蒙版和第三右蒙版生成与第三双目相机对应的第三蒙版视图，并存储第三蒙版视图；
若确定第四组对照双目视图中的左右视图上有无人飞行器的机体本体形成的遮挡区域，根据遮挡区域分别构建第四左蒙版和第四右蒙版，根据第四左蒙版和第四右蒙版生成与第四双目相机对应的第四蒙版视图，并存储第四蒙版视图。
若确定第五组对照双目视图中的左右视图上有无人飞行器的机体本体形成的遮挡区域，根据遮挡区域分别构建第五左蒙版和第五右蒙版，根据第五左蒙版和第五右蒙版生成与第五双目相机对应的第五蒙版视图，并存储第五蒙版视图。
请参阅图6，图示出了基于无人飞行器的机体本体形成的遮挡区域生成与该双目相机对应的蒙版视图的示意图。可以理解的是，由于双目算法会匹配相邻像素，且相机镜头存在安装公差，黑色遮盖区域应比实际区域略扩大。因双目相机与无人飞行器的机体本体的相对位置是固定的，该蒙版视图可作为固定配置，后续运用于双目相机输出的视差图上。
步骤340：通过五组双目相机的每一组双目相机获取一组双目视图，并根据双目视图生成视差图。
该步骤可参考实施例1中的步骤210，其在本领域技术人员容易理解的范围内，此处不再赘述。
步骤350：分别根据视差图及其对应的双目相机的内部参数，生成初始三维点云数据。
与实施例1类似，获取的第一视差图与第一双目相机对应，第二视差图与第二双目相机对应，第三视差图与第三双目相机对应，第四视差图与第四双目相机对应，第五视差图与第五双目相机对应。然而，在本实施例中，若视差图对应的双目相机还对应有蒙版视图，则其步骤具体包括：将视差图和双目相机对应的蒙版视图进行融合，生成融合视差图；根据融合视差图及双目相机的内部参数，生成初始三维点云数据。
将视差图和双目相机对应的蒙版视图进行融合，即将蒙版视图覆盖到视差图上，通过蒙版进一步去除视野遮挡产生的不良影响，并提高双目匹配算法的稳定性。
步骤360：分别将初始三维点云数据的坐标系转换为世界坐标系，以获得五组世界坐标系下的三维点云数据。
步骤370：根据五组世界坐标系下的三维点云数据构建目标场景的三维地图。
步骤360和步骤370可参考实施例1中的步骤230和步骤240，此处不再赘述。
本发明实施例首先在在预设环境下，通过五组双目相机的每一组双目相机获取一组对照双目视图，若确定对照双目视图中的左右视图上有无人飞行器的机体本体形成的遮挡区域，基于遮挡区域生成与该双目相机对应的蒙版视图，并存储该蒙版视图，通过将蒙版视图与后续获取的视差图进行融合，能够进一步去除视野遮挡产生的不良影响，并提高双目匹配算法的稳定性。
实施例3
本发明实施例提供一种无人飞行器，该无人飞行器的结构与上述实施例涉及的无人飞行器的结构的不同之处在于，本实施例的无人飞行器的任一双目相机的光心连线平行于水平面，且任一双目相机的两光轴相互平行。
可选地，如图7所示，第二双目相机的光轴、第三双目相机的光轴与水平面的夹角均为α，通过上述设置，可将第二双目相机和第三双目相机对称设置于无人飞行器的左右两侧。
如图8所示，在无人机的后/前视图上，为保证双目感知区域(阴影部分)全方向覆盖，第二双目相机的垂直视角H2、第三双目相机的垂直视角H3以及第四双目相机的垂直视角H4满足：H2+H3+H4>360°；且，第二双目相机的垂直视角与第三双目相机的垂直视角部分重叠，第三双目相机的垂直与第四双目相机的垂直视角部分重叠，第四双目相机的垂直视角与第二双目相机的垂直视角部分重叠。
进一步地，为了平衡各双目相机的感知区域，第二双目相机的垂直视角H2、第三双目相机的垂直视角H3、第四双目相机的垂直视角H4还满足以下条件：
H2+H4-2α>180°；
H3+H4-2α>180°；
H2+H3>180°。
如图9所示，在无人飞行器的俯(仰)视图上，为保证双目感知区域(阴影部分)全方向覆盖，第一双目的水平视角V1、第二双目相机的水平视角V2、第三双目相机的水平视角V3以及第五双目的水平视角V5满足：V1+V2+V3+V5>360°；且，第一双目相机的水平视角与第二双目相机的水平视角部分重叠，第二双目相机的水平视角与第五双目的水平视角部分重叠，第五双目的水平视角与第三双目相机的水平视角部分重叠，第三双目相机的水平视角与第一双目相机的水平视角部分重叠。
进一步地，第一双目的水平视角V1、第二双目相机的水平视角V2、第三双目相机的水平视角V3以及第五双目的水平视角V5还满足以下条件：
V1+V2>180°；
V2+V5>180°；
V5+V3>180°；
V3+V1>180°。
如图10所示，在无人飞行器的左视图上，为保证双目感知区域(阴影部分)全方向覆盖，第一双目的垂直视角H1、第二双目的水平视角V2、第四双目的垂直视角H4、第五双目的水平视角V5满足：H1+V2+H4+V5>360°；且，第一双目的垂直视角与第二双目的水平视角部分重叠，第二双目的水平视角与第四双目的垂直视角部分重叠，第四双目的垂直视角与第五双目的水平视角部分重叠。
进一步地，第一双目的垂直视角H1、第二双目的水平视角V2、第四双目的垂直视角H4、第五双目的水平视角V5还满足以下条件：
H1+V2>180°；
V2+H4>180°；
H4+V5>180°；
V5+H1>180°。
在无人飞行器的右视图上，同样地，为保证双目感知区域(阴影部分)全方向覆盖，第一双目的垂直视角、第三双目的水平视角、第四双目的垂直视角、第五双目的水平视角也应该满足上述约束条件。
本发明实施例的无人飞行器通过设置各双目相机的具体安装，以及限定各双目相机的水平视角、垂直视角的相互关系，能够实现双目感知区域的全方向覆盖。
实施例4
请参阅图11，图11为本发明实施例提供的一种基于双目视觉的环境感知装置的示意图，该装置400应用于如上所述的无人飞行器。
装置400包括：
视差图生成模块410，用于通过五组双目相机的每一组双目相机获取一组双目视图，并根据双目视图生成视差图；
初始点云数据生成模块420，用于分别根据视差图及其对应的双目相机的内部参数，生成初始三维点云数据；
点云数据生成模块430，用于分别将初始三维点云数据的坐标系转换为世界坐标系，以获得五组世界坐标系下的三维点云数据；
三维地图构建模块440，用于根据五组世界坐标系下的三维点云数据构建目标场景的三维地图。
在另一实施方式中，装置400还包括：
对照双目视图获取模块450，用于在预设环境下，通过五组双目相机的每一组双目相机获取一组对照双目视图；
蒙版视图生成模块460，用于若确定对照双目视图中的左右视图上有无人飞行器的机体本体形成的遮挡区域，根据遮挡区域分别构建左蒙版和右蒙版，根据左蒙版和右蒙版生成与双目相机对应的蒙版视图，并存储蒙版视图；
初始点云数据生成模块420，还用于将视差图和双目相机对应的蒙版视图进行融合，生成融合视差图；根据融合视差图及所述双目相机的内部参数，生成初始三维点云数据。
需要说明的是，在本发明实施例4中，装置400可分别执行本发明实施例1和实施例2所提供的基于双目视觉的环境感知方法，具备执行方法相应的功能模块和有益效果，未在装置的实施例中详尽描述的技术细节，可参见本发明实施例1、2所提供的基于双目视觉的环境感知方法。未在本实施例中详尽描述的结构细节，可参见本发明实施例3所提供的无人飞行器的结构。
实施例5
图12为本发明实施例提供的一种无人飞行器，无人飞行器500包括：
第一双目相机510，设置于无人飞行器的机身前部；
第二双目相机520，倾斜向上设置于无人飞行器的机身左侧与机身上部之间；
第三双目相机530，倾斜向上设置于无人飞行器的机身右侧与机身上部之间；
第四双目相机540，设置于无人飞行器的机身下部；
第五双目相机550，设置于无人飞行器的机身后部；
控制器560，分别与第一双目相机510、第二双目相机520、第三双目相机530、第四双目相机540和第五双目相机550连接，控制器560包括：
至少一个处理器561以及与至少一个处理器561通信连接的存储器562，图12中以一个处理器561为例。
处理器561和存储器562可以通过总线或者其他方式连接，图12中以通过总线连接为例。
存储器562作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本发明实施例中的基于双目视觉的环境感知方法对应的程序指令/模块(例如，图11所示的视差图生成模块410、初始点云数据生成模块420、点云数据生成模块430、三维地图构建模块440、对照双目视图获取模块450和蒙版视图生成模块460)。处理器561通过运行存储在存储器562中的非易失性软件程序、指令以及模块，从而实现所述方法实施例的基于双目视觉的环境感知方法。
存储器562可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据云台使用所创建的数据等。此外，存储器562可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器562可选包括相对于处理器561远程设置的存储器，这些远程存储器可以通过网络连接至云台。所述网络的实施例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
所述一个或者多个模块存储在所述存储器562中，当被所述一个或者多个处理器561执行时，执行所述方法实施例中的基于双目视觉的环境感知方法，例如，执行以上描述的图4、图5中的方法步骤，实现图11中各模块的功能。
无人飞行器500可执行本发明实施例所提供的基于双目视觉的环境感知方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本发明实施例所提供的基于双目视觉的环境感知方法。未在本实施例中详尽描述的结构细节，可参见本发明实施例3所提供的无人飞行器的结构。
实施例6
图13为本发明另一实施例提供的一种无人飞行器，无人飞行器600包括：
第一双目相机610，设置于无人飞行器的机身前部；
第二双目相机620，倾斜向上设置于无人飞行器的机身左侧与机身上部之间；
第三双目相机630，倾斜向上设置于无人飞行器的机身右侧与机身上部之间；
第四双目相机640，设置于无人飞行器的机身下部；
第五双目相机650，设置于无人飞行器的机身后部；
控制器660，分别与第一双目相机610、第二双目相机620、第三双目相机630、第四双目相机640和第五双目相机650连接。
其中，第一双目相机610、第二双目相机620、第三双目相机630、第四双目相机640和第五双目相机650均包括：
至少一个处理器611以及与至少一个处理器611通信连接的存储器612，图13中以第一双目相机610以及以一个处理器611为例。
处理器611和存储器612可以通过总线或者其他方式连接，图13中以通过总线连接为例。
存储器612作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本发明实施例中图11所示的视差图生成模块410、初始点云数据生成模块420、点云数据生成模块430、对照双目视图获取模块450和蒙版视图生成模块460。处理器611通过运行存储在存储器612中的非易失性软件程序、指令以及模块，从而执行以下方法步骤：
获取一组双目视图，并根据双目视图生成视差图；
根据视差图及其内部参数，生成初始三维点云数据；
以及将初始三维点云数据的坐标系转换为世界坐标系，以获得世界坐标系下的三维点云数据。
在另一实施方式中，处理器611通过运行存储在存储器612中的非易失性软件程序、指令以及模块，还执行以下方法步骤：
在预设环境下，获取一组对照双目视图；
若确定对照双目视图中的左右视图上有无人飞行器的机体本体形成的遮挡区域，根据遮挡区域分别构建左蒙版和右蒙版，根据左蒙版和所述右蒙版生成与双目相机对应的蒙版视图，并存储蒙版视图；
将视差图和双目相机对应的蒙版视图进行融合，生成融合视差图；
根据融合视差图及所述双目相机的内部参数，生成初始三维点云数据。
控制器660包括：
至少一个处理器661以及与至少一个处理器661通信连接的存储器662，图13中以一个处理器661为例。
处理器661和存储器662可以通过总线或者其他方式连接，图13中以通过总线连接为例。
存储器662作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本发明实施例中图11所示的三维地图构建模块440。处理器661通过运行存储在存储器662中的非易失性软件程序、指令以及模块，从而执行以下方法步骤：
根据第一双目相机610、第二双目相机620、第三双目相机630、第四双目相机640、第五双目相机650的三维点云数据构建目标场景的三维地图。
进一步地，上述存储器612、存储器662的具体结构，以及存储器612与处理器611的具体设置、存储器662与处理器661的具体设置，可参考实施例5中的存储器562的具体结构，和存储器562与处理器561的具体设置，不再赘述。
需要说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
通过以上的实施例的描述，本领域普通技术人员可以清楚地了解到各实施例可借助软件加通用硬件平台的方式来实现，当然也可以通过硬件。本领域普通技术人员可以理解实现所述实施例方法中的全部或部分流程是可以通过计算机程序指令相关的硬件来完成，所述的程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如所述各方法的实施例的流程。其中，所述的存储介质可为只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(RandomAccessMemory,RAM)等。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本发明的不同方面的许多其它变化，为了简明，它们没有在细节中提供；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (17)

1.一种基于双目视觉的环境感知方法，其特征在于，所述方法应用于无人飞行器，所述无人飞行器设置有五组双目相机，所述五组双目相机包括第一双目相机、第二双目相机、第三双目相机、第四双目相机以及第五双目相机，所述第一双目相机设置于所述无人飞行器的机身前部，所述第二双目相机倾斜向上设置于所述无人飞行器的机身左侧与机身上部之间，所述第三双目相机倾斜向上设置于所述无人飞行器的机身右侧与机身上部之间，所述第四双目相机设置于所述无人飞行器的机身下部，所述第五双目相机设置于所述无人飞行器的机身后部；
所述方法包括：
通过所述五组双目相机的每一组双目相机获取一组双目视图，并根据所述双目视图生成视差图；
分别根据所述视差图及其对应的双目相机的内部参数，生成初始三维点云数据；
分别将所述初始三维点云数据的坐标系转换为世界坐标系，以获得五组世界坐标系下的三维点云数据；
根据所述五组世界坐标系下的三维点云数据构建目标场景的三维地图。
2.根据权利要求1所述的方法，其特征在于，任一双目相机的光心连线平行于水平面，且任一双目相机的两光轴相互平行。
3.根据权利要求2所述的方法，其特征在于，所述第二双目相机的光轴、所述第三双目相机的光轴与水平面的夹角均为α。
4.根据权利要求3所述的方法，其特征在于，所述第二双目相机的垂直视角H2、所述第三双目相机的垂直视角H3以及所述第四双目相机的垂直视角H4满足：H2+H3+H4>360°；
且，所述第二双目相机的垂直视角与所述第三双目相机的垂直视角部分重叠，所述第三双目相机的垂直与所述第四双目相机的垂直视角部分重叠，所述第四双目相机的垂直视角与所述第二双目相机的垂直视角部分重叠。
5.根据权利要求4所述的方法，其特征在于，所述第二双目相机的垂直视角H2、所述第三双目相机的垂直视角H3、所述第四双目相机的垂直视角H4还满足以下条件：
H2+H4-2α>180°；
H3+H4-2α>180°；
H2+H3>180°。
6.根据权利要求3所述的方法，其特征在于，所述第一双目的水平视角V1、所述第二双目相机的水平视角V2、所述第三双目相机的水平视角V3以及所述第五双目的水平视角V5满足：V1+V2+V3+V5>360°；
且，所述第一双目相机的水平视角与所述第二双目相机的水平视角部分重叠，所述第二双目相机的水平视角与所述第五双目的水平视角部分重叠，所述第五双目的水平视角与所述第三双目相机的水平视角部分重叠，所述第三双目相机的水平视角与所述第一双目相机的水平视角部分重叠。
7.根据权利要求6所述的方法，其特征在于，所述第一双目的水平视角V1、所述第二双目相机的水平视角V2、所述第三双目相机的水平视角V3以及所述第五双目的水平视角V5还满足以下条件：
V1+V2>180°；
V2+V5>180°；
V5+V3>180°；
V3+V1>180°。
8.根据权利要求3所述的方法，其特征在于，所述第一双目的垂直视角H1、所述第二双目的水平视角V2、所述第四双目的垂直视角H4、所述第五双目的水平视角V5满足：H1+V2+H4+V5>360°；
且，所述第一双目的垂直视角与所述第二双目的水平视角部分重叠，所述第二双目的水平视角与所述第四双目的垂直视角部分重叠，所述第四双目的垂直视角与所述第五双目的水平视角部分重叠。
9.根据权利要求8所述的方法，其特征在于，所述第一双目的垂直视角H1、所述第二双目的水平视角V2、所述第四双目的垂直视角H4、所述第五双目的水平视角V5还满足以下条件：
H1+V2>180°；
V2+H4>180°；
H4+V5>180°；
V5+H1>180°。
10.根据权利要求9所述的方法，其特征在于，所述第三双目的水平视角与所述第二双目的水平视角相等。
11.根据权利要求1-10任一项所述的方法，其特征在于，在所述通过所述五组双目相机的每一组双目相机获取一组双目视图，并根据所述双目视图生成视差图之前，所述方法还包括：
在预设环境下，通过所述五组双目相机的每一组双目相机获取一组对照双目视图；
若确定所述对照双目视图中的左右视图上有所述无人飞行器的机体本体形成的遮挡区域，根据所述遮挡区域分别构建左蒙版和右蒙版，根据所述左蒙版和所述右蒙版生成与所述双目相机对应的蒙版视图，并存储所述蒙版视图；
则所述根据所述视差图及其对应的双目相机的内部参数，生成初始三维点云数据，具体包括：
将所述视差图和所述双目相机对应的蒙版视图进行融合，生成融合视差图；
根据所述融合视差图及所述双目相机的内部参数，生成初始三维点云数据。
12.根据权利要求11所述的方法，其特征在于，所述无人飞行器的机体本体形成的遮挡区域包括以下至少一种：
所述无人飞行器的机臂形成的遮挡区域，所述无人飞行器的机身形成的遮挡区域，所述无人飞行器的动力装置形成的遮挡区域，以及所述无人飞行器的保护装置形成的遮挡区域。
13.一种基于双目视觉的环境感知装置，其特征在于，所述装置应用于无人飞行器，所述无人飞行器设置有五组双目相机，所述五组双目相机包括第一双目相机、第二双目相机、第三双目相机、第四双目相机以及第五双目相机，所述第一双目相机设置于所述无人飞行器的机身前部，所述第二双目相机倾斜向上设置于所述无人飞行器的机身左侧与机身上部之间，所述第三双目相机倾斜向上设置于所述无人飞行器的机身右侧与机身上部之间，所述第四双目相机设置于所述无人飞行器的机身下部，所述第五双目相机设置于所述无人飞行器的机身后部，所述装置包括：
视差图生成模块，用于通过所述五组双目相机的每一组双目相机获取一组双目视图，并根据所述双目视图生成视差图；
初始点云数据生成模块，用于分别根据所述视差图及其对应的双目相机的内部参数，生成初始三维点云数据；
点云数据生成模块，用于分别将所述初始三维点云数据的坐标系转换为世界坐标系，以获得五组世界坐标系下的三维点云数据；
三维地图构建模块，用于根据所述五组世界坐标系下的三维点云数据构建目标场景的三维地图。
14.根据权利要求13所述的装置，其特征在于，所述装置还包括：
对照双目视图获取模块，用于在预设环境下，通过所述五组双目相机的每一组双目相机获取一组对照双目视图；
蒙版视图生成模块，用于若确定所述对照双目视图中的左右视图上有所述无人飞行器的机体本体形成的遮挡区域，根据所述遮挡区域分别构建左蒙版和右蒙版，根据所述左蒙版和所述右蒙版生成与所述双目相机对应的蒙版视图，并存储所述蒙版视图；
所述初始点云数据生成模块，还用于将所述视差图和所述双目相机对应的蒙版视图进行融合，生成融合视差图；根据所述融合视差图及所述双目相机的内部参数，生成初始三维点云数据。
15.一种无人飞行器，其特征在于，包括：
第一双目相机，设置于所述无人飞行器的机身前部；
第二双目相机，倾斜向上设置于所述无人飞行器的机身左侧与机身上部之间；
第三双目相机，倾斜向上设置于所述无人飞行器的机身右侧与机身上部之间；
第四双目相机，设置于所述无人飞行器的机身下部；
第五双目相机，设置于所述无人飞行器的机身后部；
控制器，分别与所述第一双目相机、所述第二双目相机、所述第三双目相机、所述第四双目相机和所述第五双目相机连接，所述控制器包括：至少一个处理器，以及
存储器，所述存储器与所述至少一个处理器通信连接，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1-12任一项所述的方法。
16.一种无人飞行器，其特征在于，包括：
第一双目相机，设置于所述无人飞行器的机身前部；
第二双目相机，倾斜向上设置于所述无人飞行器的机身左侧与机身上部之间；
第三双目相机，倾斜向上设置于所述无人飞行器的机身右侧与机身上部之间；
第四双目相机，设置于所述无人飞行器的机身下部；
第五双目相机，设置于所述无人飞行器的机身后部；以及
控制器，分别与所述第一双目相机、所述第二双目相机、所述第三双目相机、所述第四双目相机和所述第五双目相机连接；
其中，所述第一双目相机、所述第二双目相机、所述第三双目相机、所述第四双目相机、所述第五双目相机均用于获取一组双目视图，并根据所述双目视图生成视差图；根据所述视差图及其内部参数，生成初始三维点云数据；以及将所述初始三维点云数据的坐标系转换为世界坐标系，以获得世界坐标系下的三维点云数据；
所述控制器用于根据所述第一双目相机、所述第二双目相机、所述第三双目相机、所述第四双目相机、所述第五双目相机的三维点云数据构建目标场景的三维地图。
17.根据权利要求16所述的无人飞行器，其特征在于，所述第一双目相机、所述第二双目相机、所述第三双目相机、所述第四双目相机、所述第五双目相机还均用于在预设环境下，获取一组对照双目视图；若确定所述对照双目视图中的左右视图上有所述无人飞行器的机体本体形成的遮挡区域，根据所述遮挡区域分别构建左蒙版和右蒙版，根据所述左蒙版和所述右蒙版生成与所述双目相机对应的蒙版视图，并存储所述蒙版视图；将所述视差图和所述双目相机对应的蒙版视图进行融合，生成融合视差图；根据所述融合视差图及所述双目相机的内部参数，生成初始三维点云数据。
CN202010915758.3A 2020-09-03 2020-09-03 基于双目视觉的环境感知方法、装置及无人飞行器 Active CN112052788B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202010915758.3A CN112052788B (zh) 2020-09-03 2020-09-03 基于双目视觉的环境感知方法、装置及无人飞行器
PCT/CN2021/115734 WO2022048541A1 (zh) 2020-09-03 2021-08-31 基于双目视觉的环境感知方法、装置及无人飞行器
US18/178,220 US20240153122A1 (en) 2020-09-03 2023-03-03 Binocular vision-based environment sensing method and apparatus, and unmanned aerial vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010915758.3A CN112052788B (zh) 2020-09-03 2020-09-03 基于双目视觉的环境感知方法、装置及无人飞行器

Publications (2)

Publication Number Publication Date
CN112052788A true CN112052788A (zh) 2020-12-08
CN112052788B CN112052788B (zh) 2024-04-02

Family

ID=73607369

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010915758.3A Active CN112052788B (zh) 2020-09-03 2020-09-03 基于双目视觉的环境感知方法、装置及无人飞行器

Country Status (3)

Country Link
US (1) US20240153122A1 (zh)
CN (1) CN112052788B (zh)
WO (1) WO2022048541A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113093806A (zh) * 2021-04-07 2021-07-09 涵涡智航科技(玉溪)有限公司 一种用于飞行器空间全向避障方法及系统
WO2022048541A1 (zh) * 2020-09-03 2022-03-10 深圳市道通智能航空技术股份有限公司 基于双目视觉的环境感知方法、装置及无人飞行器
WO2022174712A1 (zh) * 2021-02-22 2022-08-25 深圳市道通智能航空技术股份有限公司 一种四旋翼无人机
WO2022188174A1 (zh) * 2021-03-12 2022-09-15 深圳市大疆创新科技有限公司 可移动平台、可移动平台的控制方法及存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117437563B (zh) * 2023-12-13 2024-03-15 黑龙江惠达科技股份有限公司 一种基于双目视觉的植保无人机打点方法、装置及设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106384382A (zh) * 2016-09-05 2017-02-08 山东省科学院海洋仪器仪表研究所 一种基于双目立体视觉的三维重建系统及其方法
CN107483911A (zh) * 2017-08-25 2017-12-15 秦山 一种基于多目图像传感器的信号处理方法及系统
CN108489454A (zh) * 2018-03-22 2018-09-04 沈阳上博智像科技有限公司 深度距离测量方法、装置、计算机可读存储介质及电子设备
CN109029417A (zh) * 2018-05-21 2018-12-18 南京航空航天大学 基于混合视觉里程计和多尺度地图的无人机slam方法
US20190273909A1 (en) * 2016-11-14 2019-09-05 SZ DJI Technology Co., Ltd. Methods and systems for selective sensor fusion
CN110225249A (zh) * 2019-05-30 2019-09-10 深圳市道通智能航空技术有限公司 一种对焦方法、装置、航拍相机以及无人飞行器

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020082363A1 (zh) * 2018-10-26 2020-04-30 深圳市大疆创新科技有限公司 一种环境感知系统及移动平台
CN109883398A (zh) * 2019-03-07 2019-06-14 景遥（上海）信息技术有限公司 基于无人机倾斜摄影的植株绿量提取的系统及方法
CN110880202B (zh) * 2019-12-02 2023-03-21 中电科特种飞机系统工程有限公司 一种三维地形模型创建方法、装置、设备及存储介质
CN112052788B (zh) * 2020-09-03 2024-04-02 深圳市道通智能航空技术股份有限公司 基于双目视觉的环境感知方法、装置及无人飞行器

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106384382A (zh) * 2016-09-05 2017-02-08 山东省科学院海洋仪器仪表研究所 一种基于双目立体视觉的三维重建系统及其方法
US20190273909A1 (en) * 2016-11-14 2019-09-05 SZ DJI Technology Co., Ltd. Methods and systems for selective sensor fusion
CN107483911A (zh) * 2017-08-25 2017-12-15 秦山 一种基于多目图像传感器的信号处理方法及系统
CN108489454A (zh) * 2018-03-22 2018-09-04 沈阳上博智像科技有限公司 深度距离测量方法、装置、计算机可读存储介质及电子设备
CN109029417A (zh) * 2018-05-21 2018-12-18 南京航空航天大学 基于混合视觉里程计和多尺度地图的无人机slam方法
CN110225249A (zh) * 2019-05-30 2019-09-10 深圳市道通智能航空技术有限公司 一种对焦方法、装置、航拍相机以及无人飞行器

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022048541A1 (zh) * 2020-09-03 2022-03-10 深圳市道通智能航空技术股份有限公司 基于双目视觉的环境感知方法、装置及无人飞行器
WO2022174712A1 (zh) * 2021-02-22 2022-08-25 深圳市道通智能航空技术股份有限公司 一种四旋翼无人机
WO2022188174A1 (zh) * 2021-03-12 2022-09-15 深圳市大疆创新科技有限公司 可移动平台、可移动平台的控制方法及存储介质
CN113093806A (zh) * 2021-04-07 2021-07-09 涵涡智航科技(玉溪)有限公司 一种用于飞行器空间全向避障方法及系统
CN113093806B (zh) * 2021-04-07 2022-06-14 涵涡智航科技(玉溪)有限公司 一种用于飞行器空间全向避障方法及系统

Also Published As

Publication number Publication date
CN112052788B (zh) 2024-04-02
WO2022048541A1 (zh) 2022-03-10
US20240153122A1 (en) 2024-05-09

Similar Documents

Publication Publication Date Title
CN112052788B (zh) 基于双目视觉的环境感知方法、装置及无人飞行器
US10475209B2 (en) Camera calibration
CN108323190B (zh) 一种避障方法、装置和无人机
US10266263B2 (en) System and method for omni-directional obstacle avoidance in aerial systems
WO2018210078A1 (zh) 无人机的距离测量方法以及无人机
CN110068335B (zh) 一种gps拒止环境下无人机集群实时定位方法及系统
CN109470158B (zh) 影像处理装置及测距装置
US10901437B2 (en) Unmanned aerial vehicle including an omnidirectional depth sensing and obstacle avoidance aerial system and method of operating same
CN107492069B (zh) 基于多镜头传感器的图像融合方法
CN108474658B (zh) 地面形态检测方法及系统、无人机降落方法和无人机
CN106384382A (zh) 一种基于双目立体视觉的三维重建系统及其方法
CN110225249B (zh) 一种对焦方法、装置、航拍相机以及无人飞行器
CN117310739A (zh) 在可移动物体之间共享绘图数据的技术
KR102295809B1 (ko) 이동체의 전방향에 대한 거리 취득 장치 및 방법
CN112907676A (zh) 传感器的标定方法、装置、系统、车辆、设备及存储介质
JP2022089269A (ja) キャリブレーション装置およびキャリブレーション方法
WO2020114433A1 (zh) 一种深度感知方法，装置和深度感知设备
CN115880368A (zh) 一种电网巡检无人机障碍物检测方法、系统及存储介质
CN108195359B (zh) 空间数据的采集方法及系统
WO2020024182A1 (zh) 一种参数处理方法、装置及摄像设备、飞行器
JP6473188B2 (ja) 深度マップを生成するための方法、装置およびプログラム
JP7444898B2 (ja) 移動体、制御装置、及び撮像方法
CN114353667A (zh) 基于ar与无人机单目视觉的地面目标测量方法及其应用
WO2020107487A1 (zh) 图像处理方法和无人机
CN203758509U (zh) 一种基于无人机平台的四相机大幅面遥感载荷系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 518055 Guangdong city of Shenzhen province Nanshan District Xili Street Xueyuan Road No. 1001 Chi Yuen Building 9 layer B1

Applicant after: Shenzhen daotong intelligent Aviation Technology Co.,Ltd.

Address before: 518055 Guangdong city of Shenzhen province Nanshan District Xili Street Xueyuan Road No. 1001 Chi Yuen Building 9 layer B1

Applicant before: AUTEL ROBOTICS Co.,Ltd.

GR01 Patent grant
GR01 Patent grant