CN108171116B - 飞行器辅助避障方法、装置和辅助避障系统 - Google Patents
飞行器辅助避障方法、装置和辅助避障系统 Download PDFInfo
- Publication number
- CN108171116B CN108171116B CN201711257617.1A CN201711257617A CN108171116B CN 108171116 B CN108171116 B CN 108171116B CN 201711257617 A CN201711257617 A CN 201711257617A CN 108171116 B CN108171116 B CN 108171116B
- Authority
- CN
- China
- Prior art keywords
- aircraft
- image
- images
- obstacle
- distance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 230000004888 barrier function Effects 0.000 claims description 20
- 230000002194 synthesizing effect Effects 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 8
- 238000012937 correction Methods 0.000 claims description 6
- 238000009499 grossing Methods 0.000 claims description 6
- 238000001514 detection method Methods 0.000 claims description 5
- 230000015572 biosynthetic process Effects 0.000 claims description 4
- 238000003786 synthesis reaction Methods 0.000 claims description 4
- 230000005540 biological transmission Effects 0.000 claims description 3
- 230000004927 fusion Effects 0.000 claims description 3
- 230000008569 process Effects 0.000 abstract description 5
- 230000000007 visual effect Effects 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000002349 favourable effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Automation & Control Theory (AREA)
- Mathematical Physics (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
Abstract
本发明提供了一种飞行器辅助避障方法、装置和辅助避障系统,属于飞行器避障技术领域。本发明实施例提供的飞行器辅助避障方法、装置和辅助避障系统,通过安装在飞行器各个方位的图像采集装置,能够获取飞行器周围的360°全景图像,同时,通过安装在飞行器各个方位的距离传感器,提供多方位的障碍物距离信息,融合到全景图像中,可以为操作人员提供直观且全面的避障参考信息,有利于避免飞行器在飞行过程中撞击到障碍物保证飞行器的安全飞行。
Description
技术领域
本发明涉及飞行器避障技术领域,具体而言,涉及一种飞行器辅助避障方法、装置和辅助避障系统。
背景技术
现有的无人机通常仅在机身前侧安装摄像头,仅能检测无人机前方是否存在障碍物,而无法获知机身周围其它方位的障碍物情况。并且,基于单个摄像头实现无人机避障,需要利用多帧视频数据上障碍物特征点的检测和配准,基于交会法计算出它们的空间坐标,并根据这些特征点空间位置确定飞行器与障碍物之间的距离。该方案中各帧的特征点相关匹配误差会带来较大的距离测量误差。
发明内容
针对上述现有技术中存在的问题,本发明提供了一种飞行器辅助避障方法、装置和辅助避障系统,能够获取飞行器周围的360°全景图像,同时提供多方位的障碍物距离信息,有利于保证飞行器的安全飞行。
第一方面,本发明实施例提供了一种飞行器辅助避障方法,所述飞行器包括设置在各个方位的多个图像采集装置和多个距离传感器,所述方法包括:
接收多个所述图像采集装置同时采集的图像;
将接收到的多幅所述图像合成为一幅飞行器周围的全景图像;
接收多个距离传感器同时获取的飞行器周围的障碍物距离数据;
将多个所述障碍物距离数据融合到所述全景图像中,并输出至显示装置进行显示,以使操作人员根据飞行器周围的全景图像和障碍物与飞行器的距离数据控制飞行器进行避障。
结合第一方面,本发明实施例提供了第一方面的第一种可能的实施方式,其中,所述将接收到的多幅所述图像合成为一幅飞行器周围的全景图像的步骤,包括:
依次确定相邻的图像采集装置采集的图像之间重叠的共同区域;
采用加权平滑算法逐个对所述共同区域进行拼接,将接收到的多幅所述图像合成为一幅飞行器周围的全景图像。
结合第一方面的第一种可能的实施方式,本发明实施例提供了第一方面的第二种可能的实施方式,其中,确定相邻的图像采集装置采集的图像之间重叠的共同区域的步骤,包括:
将所述图像采集装置采集的图像投影到投影柱面,以图像匹配的方式,计算相邻的图像采集装置采集的图像之间重叠的共同区域。
结合第一方面的第一种可能的实施方式,本发明实施例提供了第一方面的第三种可能的实施方式,其中,采用加权平滑算法对所述共同区域进行拼接的步骤,包括:
将相邻的图像采集装置采集的两幅图像中共同区域各对应像素点的灰度值进行加权平均,得到拼接后的图像中各像素点的灰度值。
结合第一方面的第一种可能的实施方式,本发明实施例提供了第一方面的第四种可能的实施方式,其中,所述将接收到的多幅所述图像合成为一幅飞行器周围的全景图像的步骤,还包括:
在依次确定相邻的图像采集装置采集的图像之间重叠的共同区域之前,将接收到的多幅所述图像进行几何畸变校正,得到校正后的图像。
结合第一方面,本发明实施例提供了第一方面的第五种可能的实施方式,其中,所述接收多个距离传感器同时获取的飞行器周围的障碍物距离数据的步骤之后,所述方法还包括:
将多个所述障碍物距离数据传送至避障模块,以使所述避障模块根据所述障碍物距离数据确定是否启动避障策略。
结合第一方面,本发明实施例提供了第一方面的第六种可能的实施方式,其中,所述接收多个距离传感器同时获取的飞行器周围的障碍物距离数据的步骤之后,所述方法还包括:
根据飞行器当前所处的位置和所述障碍物距离数据,确定障碍物的位置信息;
根据所述障碍物的位置信息和飞行器周围的全景图像,生成避障图像围栏。
第二方面,本发明实施例还提供了一种飞行器辅助避障装置,所述飞行器包括设置在各个方位的多个图像采集装置和多个距离传感器,所述装置包括:
图像合成单元,用于接收多个所述图像采集装置同时采集的图像,并将接收到的多幅所述图像合成为一幅飞行器周围的全景图像;
距离数据接收单元,用于接收多个距离传感器同时获取的飞行器周围的障碍物距离数据;
距离图像融合单元,用于将多个所述障碍物距离数据融合到所述全景图像中,并输出至显示装置进行显示,以使操作人员根据飞行器周围的全景图像和障碍物与飞行器的距离数据控制飞行器进行避障。
结合第二方面,本发明实施例提供了第二方面的第一种可能的实施方式,其中,所述装置还包括:
距离数据发送单元,用于将多个所述障碍物距离数据传送至避障模块,以使所述避障模块根据所述障碍物距离数据确定是否启动避障策略。
第三方面,本发明实施例还提供了一种飞行器辅助避障系统,包括:处理器,与所述处理器连接的存储器、多个图像采集装置和多个距离传感器;
多个所述图像采集装置分别安装在飞行器机身的各个方位,用于采集飞行器周围环境的图像;
多个距离传感器分别安装在飞行器机身的各个方位,用于探测飞行器周围的障碍物与飞行器之间的距离;
所述存储器用于存储能够被所述处理器执行的机器可执行指令,所述处理器执行所述机器可执行指令,以实现上述的方法。
结合第三方面,本发明实施例提供了第三方面的第一种可能的实施方式,其中,所述图像采集装置和所述距离传感器的数量均为四个,四个图像采集装置分别间隔90°设置,四个距离传感器与四个图像采集装置对应设置,每个距离传感器的探测视场位于对应设置的图像采集装置的视场范围内。
结合第三方面,本发明实施例提供了第三方面的第一种可能的实施方式,其中,所述系统还包括与所述处理器连接的显示装置,所述显示装置为显示屏或VR显示器。
本发明实施例带来了以下有益效果:
本发明实施例提供的飞行器辅助避障方法、装置和辅助避障系统,通过安装在飞行器各个方位的图像采集装置,能够获取飞行器周围的360°全景图像,同时,通过安装在飞行器各个方位的距离传感器,提供多方位的障碍物距离信息,融合到全景图像中,可以为操作人员提供直观且全面的避障参考信息,有利于避免飞行器在飞行过程中撞击到障碍物保证飞行器的安全飞行。
本发明的其他特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明一实施例所提供的飞行器辅助避障方法的流程图;
图2为本发明另一实施例所提供的飞行器辅助避障方法的流程图;
图3为本发明一实施例所提供的飞行器辅助避障装置的结构框图;
图4为本发明另一实施例所提供的飞行器辅助避障装置的结构框图;
图5为本发明一实施例所提供的飞行器辅助避障系统的结构框图;
图6为本发明一实施例所提供的飞行器的俯视图;
图7为本发明一实施例所提供的图像采集装置和距离传感器的视场范围的示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合附图对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
针对现有的飞行器仅在一侧安装摄像头,获取的信息不全面和不准确的技术问题,本发明实施例提供了一种飞行器辅助避障方法、装置和辅助避障系统,以下首先对本发明的飞行器辅助避障方法进行详细介绍。
实施例一
本实施例提供了一种飞行器辅助避障方法,应用于在机身的各个方位设置有多个图像采集装置和多个距离传感器的飞行器。该飞行器可以是有驾驶员的飞机,也可以是无人驾驶的飞行器,例如,图6和图7所示的飞行器。图1示出了该飞行器辅助避障方法的流程图,如图1所示,该方法包括如下步骤:
步骤S101,接收多个图像采集装置同时采集的图像。
在飞行器飞行过程中,通过视觉处理模块驱动多个图像采集装置同时采集图像,接收多个图像采集装置同时采集的图像。
步骤S102,将接收到的多幅图像合成为一幅飞行器周围的全景图像。
具体地说,步骤S102可以采用如下步骤实现:依次确定相邻的图像采集装置采集的图像之间重叠的共同区域;采用加权平滑算法逐个对共同区域进行拼接,将接收到的多幅图像合成为一幅飞行器周围的360°的全景图像。
其中,确定相邻的图像采集装置采集的图像的共同区域时,可以将图像采集装置采集的图像投影到投影柱面,然后采用图像匹配的方式,计算相邻的图像采集装置采集的图像之间重叠的共同区域。例如,将相邻的两个图像的柱面投影模型进行匹配,提取两个图像中的特征点,识别出两个图像中相同的特征点,将相同的特征点所覆盖的区域作为共同区域。然后将相邻的图像采集装置采集的两幅图像中共同区域各对应像素点的灰度值进行加权平均,以确定拼接后的图像中各像素点的灰度值。例如,图像1的共同区域中某一像素点的灰度值为Pixel_L,相邻的图像2中对应的像素点的灰度值为Pixel_R,将Pixel_L和Pixel_R进行加权平均,得到拼接后的图像的像素点的灰度值Pixel=k*Pixel_L+(1-k)*Pixel_R,其中,k是可调因子。通常情况下0<k<1,在重叠的共同区域中,沿图像1向图像2的方向,k由1渐变为0,从而实现重叠区域的平滑拼接。若另k=d1/(d1+d2),其中,d1,d2分别表示共同区域中的点到两幅图像共同区域的左边界和右边界的距离。上述公式可以写成Pixel=[d1/(d1+d2)]*Pixel_L+[d2/(d1+d2)]*Pixel_R。
步骤S103,接收多个距离传感器同时获取的飞行器周围的障碍物距离数据。
通过视觉处理模块驱动多个距离传感器同时探测障碍物距离数据,接收多个距离传感器同时获取的飞行器周围的障碍物距离数据。
优选地,处理器可以根据障碍物距离数据判断是否启动避障策略。当任一距离传感器测得的障碍物距离数据低于设定的阈值时,处理器都会向避障模块发生避障信号,控制避障模块启动避障策略。
步骤S104,将多个障碍物距离数据融合到全景图像中,并输出至显示装置进行显示,以使操作人员根据飞行器周围的全景图像和障碍物与飞行器的距离数据控制飞行器进行避障。
其中,显示装置可以是安装在飞行器上的显示屏,例如,安装在飞机驾驶室中的显示屏;也可以是安装在远端遥控装置上的显示屏,例如,用户移动终端的显示屏,用户可以通过移动终端控制飞行器飞行和避障。如果显示装置安装在远端遥控装置上,可以通过无线传输的方式将包含障碍物距离数据的全景图像传输在远端遥控装置,使其在显示装置进行显示,以方便操作人员直观地观察到飞行器周围的环境,根据飞行器周围的全景图像和障碍物与飞行器的距离数据控制飞行器进行避障。显示装置还可以是VR(VirtualReality,虚拟现实)显示器,VR显示器可以通过有线或无线连接的方式与飞行器的处理器连接,操作人员可以通过VR显示器观察飞行器周围的环境,根据飞行器周围的全景图像和障碍物与飞行器的距离数据控制飞行器进行避障。
本实施例提供的飞行器辅助避障方法,通过安装在飞行器各个方位的图像采集装置,能够获取飞行器周围的360°全景图像,同时,通过安装在飞行器各个方位的距离传感器,提供多方位的障碍物距离信息,融合到全景图像中,可以为操作人员提供直观且全面的避障参考信息,有利于避免飞行器在飞行过程中撞击到障碍物,保证飞行器的安全飞行。
实施例二
本实施例提供了另一种飞行器辅助避障方法,该方法同样应用于在机身的各个方位设置有多个图像采集装置和多个距离传感器的飞行器。如图2所示,该方法包括:
步骤S201,接收多个图像采集装置同时采集的图像。
步骤S202,将接收到的多幅图像合成为一幅飞行器周围的全景图像。
考虑到图像采集装置,尤其是广角摄像头采集的图像有可能存在畸变,因此,本实施例在对图像进行拼接处理之前,先对接收到的图像进行几何畸变校正,得到校正后的图像。
例如,对于图7所示的设有四个图像采集装置的飞行器,四个图像采集装置分别间隔90°设置,对应的视场范围分别是V1、V2、V3和V4。对在四个视场V1、V2、V3和V4内采集的图像,可以先采用Holland的两步法确定图像平面坐标和真实空间坐标之间的对应关系,然后根据该对应关系,确定图像中的像素点的真实空间坐标,从而对存在畸变的图像进行校正。
对在四个视场V1、V2、V3和V4内采集的图像进行几何畸变校正后,分别得到图像I1、I2、I3和I4。对于得到的四幅校正后的图像,可以采用实施例一的方法,将其拼接成一幅飞行器周围的360°的全景图像。
步骤S203,接收多个距离传感器同时获取的飞行器周围的障碍物距离数据。
步骤S204,将多个障碍物距离数据传送至避障模块,以使避障模块根据障碍物距离数据确定是否启动避障策略。
避障模块可以根据接收到的障碍物距离数据判断是否启动避障策略。当任一方位的障碍物距离数据低于设定的阈值时,避障模块都会启动避障策略,如使飞行器无法向该方位前进等。
步骤S205,将多个障碍物距离数据融合到全景图像中,并输出至显示装置进行显示,以使操作人员根据飞行器周围的全景图像和障碍物与飞行器的距离数据控制飞行器进行避障。
处理器根据飞行器所处的位置及障碍物距离数据,可以得到障碍物的位置信息,根据获取的包含障碍物距离数据的全景图像,可以设置避障图像围栏,围栏中标记有障碍物的位置信息。该围栏可以在距离传感器出现故障的情况下,避免飞行器与障碍物相撞,最大程度地保障飞行器的安全飞行。
本实施例提供的飞行器辅助避障方法,在实施例一的基础上,增加了将多个障碍物距离数据传送至避障模块的步骤,使避障模块可以根据障碍物距离数据确定是否启动避障策略,作为人工控制飞行器避障的补充避障方式,可以在操作人员反映不及时的时候,辅助控制飞行器避障,进一步减少飞行器在飞行过程中撞击到障碍物的发生,保证飞行器的安全飞行。
需要说明的是,上述实施例一和实施例二采用递进的方式描述,实施例二重点说明的是与实施例一的不同之处,实施例一和实施例二之间相同相似的部分互相参见即可。
实施例三
本实施例提供了一种与上述方法实施例相对应的飞行器辅助避障装置,应用于在机身的各个方位设置有多个图像采集装置和多个距离传感器的飞行器。图3示出了该飞行器辅助避障装置的结构框图,如图3所示,该装置包括:
图像合成单元31,用于接收多个图像采集装置同时采集的图像,并将接收到的多幅图像合成为一幅飞行器周围的全景图像;
距离数据接收单元32,用于接收多个距离传感器同时获取的飞行器周围的障碍物距离数据;
距离图像融合单元33,用于将多个障碍物距离数据融合到全景图像中,并输出至显示装置进行显示,以使操作人员根据飞行器周围的全景图像和障碍物与飞行器的距离数据控制飞行器进行避障。
其中,图像合成单元31,还可用于对接收到的图像进行几何畸变校正,得到校正后的图像;依次确定相邻的图像采集装置采集的图像之间重叠的共同区域;采用加权平滑算法逐个对所述共同区域进行拼接,将接收到的多幅所述图像合成为一幅飞行器周围的全景图像。
在图4所示的较优选的实施例中,该装置还包括距离数据发送单元41,用于将多个障碍物距离数据传送至避障模块,以使避障模块根据障碍物距离数据确定是否启动避障策略。
本实施例提供的飞行器辅助避障装置,通过安装在飞行器各个方位的图像采集装置,能够获取飞行器周围的360°全景图像,同时,通过安装在飞行器各个方位的距离传感器,提供多方位的障碍物距离信息,融合到全景图像中,可以为操作人员提供直观且全面的避障参考信息,有利于避免飞行器在飞行过程中撞击到障碍物保证飞行器的安全飞行。
实施例四
本实施例提供了一种与上述方法实施例和装置实施例相对应的飞行器辅助避障系统,如图5至图7所示,该系统包括处理器51,与处理器51连接的存储器52、多个图像采集装置53和多个距离传感器54。
多个图像采集装置53分别安装在飞行器机身的各个方位,用于采集飞行器周围环境的图像。图像采集装置53可以是广角摄像头。
多个距离传感器54分别安装在飞行器机身的各个方位,用于探测飞行器周围的障碍物与飞行器之间的距离。距离传感器54可以是超声波测距传感器。
在如图6和图7所示的较优选的实施例中,图像采集装置53和距离传感器54的数量均为四个,四个图像采集装置53分别间隔90°设置,四个距离传感器54与四个图像采集装置53对应设置,每个距离传感器54的探测视场位于对应设置的图像采集装置的视场范围内。例如,飞行器可以是无人机,在无人机的前、后、左、右四个方位安装广角摄像头和超声波测距传感器。超声波测距传感器可以安装在广角摄像头的上方或下方,紧邻广角摄像头设置。广角摄像头实时采集V1、V2、V3、V4四个视场范围内的场景信息。超声波测距传感器获得各个视场内距离障碍物的距离信息,实时反馈给处理器51,使处理器51可以得到无人机周围的360°的全景图像和障碍物距离信息,合成一幅无缝拼接的全景图像,展示给操作人员,使操作人员可以通过显示装置观察到飞机的周围环境,进而控制飞机飞行,避免无人机撞击到障碍物。
可选地,该系统还可以包括显示装置,显示装置与处理器51连接。显示装置可以是安装在飞行器上的显示屏,例如,安装在飞机驾驶室中的显示屏;也可以是安装在远端遥控装置上的显示屏,例如,用户移动终端的显示屏,用户可以通过移动终端控制飞行器飞行和避障。显示装置还可以是VR(Virtual Reality,虚拟现实)显示器,VR显示器可以通过有线或无线连接的方式与飞行器的处理器连接,操作人员可以通过VR显示器观察飞行器周围的环境,根据飞行器周围的全景图像和障碍物与飞行器的距离数据控制飞行器进行避障。
存储器52用于存储能够被处理器51执行的一条或多条机器可执行指令,一条或多条机器可执行指令被处理器51执行,以实现上述的辅助避障方法。存储器52可能包含高速随机存取存储器(RAM,Random Access Memory),也可能还包括非不稳定的存储器(non-volatile memory),例如至少一个磁盘存储器。
处理器51可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器51中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器51可以是通用处理器,包括中央处理器(Central Processing Unit,简称CPU)、网络处理器(Network Processor,简称NP)等;还可以是数字信号处理器(Digital SignalProcessing,简称DSP)、专用集成电路(Application Specific Integrated Circuit,简称ASIC)、现成可编程门阵列(Field-Programmable Gate Array,简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器52,处理器51读取存储器52中的信息,结合其硬件完成前述实施例的方法的步骤。
进一步,本发明实施例还提供了一种机器可读存储介质,该机器可读存储介质存储有机器可执行指令,该机器可执行指令在被处理器调用和执行时,机器可执行指令促使处理器实现上述辅助避障方法,具体实现可参见方法实施例,在此不再赘述。
本发明实施例所提供的飞行器辅助避障装置和辅助避障系统,其实现原理及产生的技术效果和前述方法实施例相同,为简要描述,装置实施例部分未提及之处,可参考前述方法实施例中相应内容。
本发明实施例提供的飞行器辅助避障方法、装置和辅助避障系统具有相同的技术特征,所以也能解决相同的技术问题,达到相同的技术效果。
需要说明的是,在本发明所提供的实施例中,应该理解到,所揭露系统和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明提供的实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上所述实施例,仅为本发明的具体实施方式,用以说明本发明的技术方案,而非对其限制,本发明的保护范围并不局限于此,尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应所述以权利要求的保护范围为准。
Claims (3)
1.一种飞行器辅助避障方法,其特征在于,所述飞行器包括设置在各个方位的多个图像采集装置和多个距离传感器,所述方法包括:
接收多个所述图像采集装置同时采集的图像;
将接收到的多幅所述图像合成为一幅飞行器周围的全景图像;
接收多个距离传感器同时获取的飞行器周围的障碍物距离数据;
将多个所述障碍物距离数据融合到所述全景图像中,并输出至显示装置进行显示,以使操作人员根据飞行器周围的全景图像和障碍物与飞行器的距离数据控制飞行器进行避障;
所述接收多个距离传感器同时获取的飞行器周围的障碍物距离数据的步骤之后,所述方法还包括:
根据飞行器当前所处的位置和所述障碍物距离数据,确定障碍物的位置信息;
根据所述障碍物的位置信息和飞行器周围的全景图像,生成避障图像围栏,围栏中标记有障碍物的位置信息,该围栏在距离传感器出现故障的情况下,避免飞行器与障碍物相撞;
其中,所述将接收到的多幅所述图像合成为一幅飞行器周围的全景图像的步骤,包括:
依次确定相邻的图像采集装置采集的图像之间重叠的共同区域;
采用加权平滑算法逐个对所述共同区域进行拼接,将接收到的多幅所述图像合成为一幅飞行器周围的全景图像;
确定相邻的图像采集装置采集的图像的共同区域时,将图像采集装置采集的图像投影到投影柱面,然后采用图像匹配的方式,计算相邻的图像采集装置采集的图像之间重叠的共同区域,将相邻的两个图像的柱面投影模型进行匹配,提取两个图像中的特征点,识别出两个图像中相同的特征点,将相同的特征点所覆盖的区域作为共同区域,然后将相邻的图像采集装置采集的两幅图像中共同区域各对应像素点的灰度值进行加权平均,以确定拼接后的图像中各像素点的灰度值;
设置图像1的共同区域中某一像素点的灰度值为Pixel_L,相邻的图像2中对应的像素点的灰度值为Pixel_R,将Pixel_L和Pixel_R进行加权平均,得到拼接后的图像的像素点的灰度值Pixel=k*Pixel_L+(1-k)*Pixel_R,其中,k是可调因子,0<k<1,在重叠的共同区域中,沿图像1向图像2的方向,k由1渐变为0,从而实现共同区域的平滑拼接;k=d1/(d1+d2),其中,d1,d2分别表示共同区域中的点到两幅图像共同区域的左边界和右边界的距离,上述公式写成Pixel=[d1/(d1+d2)]*Pixel_L+[d2/(d1+d2)]*Pixel_R;
通过视觉处理模块驱动多个距离传感器同时探测障碍物距离数据,接收多个距离传感器同时获取的飞行器周围的障碍物距离数据,处理器根据障碍物距离数据判断是否启动避障策略,当任一距离传感器测得的障碍物距离数据低于设定的阈值时,处理器都会向避障模块发出避障信号,控制避障模块启动避障策略;
显示装置安装在远端遥控装置上,通过无线传输的方式将包含障碍物距离数据的全景图像传输至远端遥控装置,使其在显示装置进行显示,以方便操作人员直观地观察到飞行器周围的环境,根据飞行器周围的全景图像和障碍物与飞行器的距离数据控制飞行器进行避障,或者,显示装置是V R显示器,VR显示器可以通过有线或无线连接的方式与飞行器的处理器连接,操作人员通过VR显示器观察飞行器周围的环境,根据飞行器周围的全景图像和障碍物与飞行器的距离数据控制飞行器进行避障;
在对图像进行拼接处理之前,先对接收到的图像进行几何畸变校正,得到校正后的图像,对于设有四个图像采集装置的飞行器,四个图像采集装置分别间隔90°设置,对应的视场范围分别是V1、V2、V3和V4,对在四个视场V1、V2、V3和V4内采集的图像,先采用Holland的两步法确定图像平面坐标和真实空间坐标之间的对应关系,然后根据该对应关系,确定图像中的像素点的真实空间坐标,从而对存在畸变的图像进行校正,对在四个视场V1、V2、V3和V4内采集的图像进行几何畸变校正后,分别得到图像I1、I2、I3和I4,对于得到的四幅校正后的图像,将其拼接成一幅飞行器周围的360°的全景图像;
四个距离传感器与四个图像采集装置对应设置,每个距离传感器的探测视场位于对应设置的图像采集装置的视场范围内, 图像采集装置实时采集V1、V2、V3、V4四个视场范围内的场景信息, 距离传感器获得各个视场内障碍物距离数据,实时反馈给处理器,使处理器得到飞行器周围的360°的全景图像和障碍物距离信息,合成一幅无缝拼接的全景图像,展示给操作人员,使操作人员可以通过显示装置观察到飞行器的周围环境,进而控制飞行器飞行,避免飞行器撞击到障碍物。
2.一种飞行器辅助避障装置,其特征在于,所述飞行器包括设置在各个方位的多个图像采集装置和多个距离传感器,所述装置包括:
图像合成单元,用于接收多个所述图像采集装置同时采集的图像,并将接收到的多幅所述图像合成为一幅飞行器周围的全景图像;
距离数据接收单元,用于接收多个距离传感器同时获取的飞行器周围的障碍物距离数据;
距离图像融合单元,用于将多个所述障碍物距离数据融合到所述全景图像中,并输出至显示装置进行显示,以使操作人员根据飞行器周围的全景图像和障碍物与飞行器的距离数据控制飞行器进行避障;
所述装置还包括:
确定单元,根据飞行器当前所处的位置和所述障碍物距离数据,确定障碍物的位置信息;
生成单元,根据所述障碍物的位置信息和飞行器周围的全景图像,生成避障图像围栏,围栏中标记有障碍物的位置信息,该围栏在距离传感器出现故障的情况下,避免飞行器与障碍物相撞;
其中,所述图像合成单元还用于:
依次确定相邻的图像采集装置采集的图像之间重叠的共同区域;
采用加权平滑算法逐个对所述共同区域进行拼接,将接收到的多幅所述图像合成为一幅飞行器周围的全景图像;
确定相邻的图像采集装置采集的图像的共同区域时,将图像采集装置采集的图像投影到投影柱面,然后采用图像匹配的方式,计算相邻的图像采集装置采集的图像之间重叠的共同区域,将相邻的两个图像的柱面投影模型进行匹配,提取两个图像中的特征点,识别出两个图像中相同的特征点,将相同的特征点所覆盖的区域作为共同区域,然后将相邻的图像采集装置采集的两幅图像中共同区域各对应像素点的灰度值进行加权平均,以确定拼接后的图像中各像素点的灰度值;
设置图像1的共同区域中某一像素点的灰度值为Pixel_L,相邻的图像2中对应的像素点的灰度值为Pixel_R,将Pixel_L和Pixel_R进行加权平均,得到拼接后的图像的像素点的灰度值Pixel=k*Pixel_L+(1-k)*Pixel_R,其中,k是可调因子,0<k<1,在重叠的共同区域中,沿图像1向图像2的方向,k由1渐变为0,从而实现共同区域的平滑拼接;k=d1/(d1+d2),其中,d1,d2分别表示共同区域中的点到两幅图像共同区域的左边界和右边界的距离,上述公式写成Pixel=[d1/(d1+d2)]*Pixel_L+[d2/(d1+d2)]*Pixel_R;
处理器通过视觉处理模块驱动多个距离传感器同时探测障碍物距离数据,接收多个距离传感器同时获取的飞行器周围的障碍物距离数据,处理器根据障碍物距离数据判断是否启动避障策略,当任一距离传感器测得的障碍物距离数据低于设定的阈值时,处理器都会向避障模块发出避障信号,控制避障模块启动避障策略;
显示装置安装在远端遥控装置上,通过无线传输的方式将包含障碍物距离数据的全景图像传输至远端遥控装置,使其在显示装置进行显示,以方便操作人员直观地观察到飞行器周围的环境,根据飞行器周围的全景图像和障碍物与飞行器的距离数据控制飞行器进行避障,或者,显示装置是V R显示器,VR显示器可以通过有线或无线连接的方式与飞行器的处理器连接,操作人员通过VR显示器观察飞行器周围的环境,根据飞行器周围的全景图像和障碍物与飞行器的距离数据控制飞行器进行避障;
处理器在对图像进行拼接处理之前,先对接收到的图像进行几何畸变校正,得到校正后的图像,对于设有四个图像采集装置的飞行器,四个图像采集装置分别间隔90°设置,对应的视场范围分别是V1、V2、V3和V4,对在四个视场V1、V2、V3和V4内采集的图像,先采用Holland的两步法确定图像平面坐标和真实空间坐标之间的对应关系,然后根据该对应关系,确定图像中的像素点的真实空间坐标,从而对存在畸变的图像进行校正,对在四个视场V1、V2、V3和V4内采集的图像进行几何畸变校正后,分别得到图像I1、I2、I3和I4,对于得到的四幅校正后的图像,将其拼接成一幅飞行器周围的360°的全景图像;
四个距离传感器与四个图像采集装置对应设置,每个距离传感器的探测视场位于对应设置的图像采集装置的视场范围内,图像采集装置实时采集V1、V2、V3、V4四个视场范围内的场景信息,距离传感器获得各个视场内障碍物距离数据,实时反馈给处理器,使处理器得到飞行器周围的360°的全景图像和障碍物距离信息,合成一幅无缝拼接的全景图像,展示给操作人员,使操作人员可以通过显示装置观察到飞行器的周围环境,进而控制飞行器飞行,避免飞行器撞击到障碍物。
3.一种飞行器辅助避障系统,其特征在于,包括:处理器,与所述处理器连接的存储器、多个图像采集装置和多个距离传感器;
多个所述图像采集装置分别安装在飞行器机身的各个方位,用于采集飞行器周围环境的图像;
多个距离传感器分别安装在飞行器机身的各个方位,用于探测飞行器周围的障碍物与飞行器之间的距离;
所述存储器用于存储能够被所述处理器执行的机器可执行指令,所述处理器执行所述机器可执行指令,以实现权利要求1所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711257617.1A CN108171116B (zh) | 2017-12-01 | 2017-12-01 | 飞行器辅助避障方法、装置和辅助避障系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711257617.1A CN108171116B (zh) | 2017-12-01 | 2017-12-01 | 飞行器辅助避障方法、装置和辅助避障系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108171116A CN108171116A (zh) | 2018-06-15 |
CN108171116B true CN108171116B (zh) | 2021-03-26 |
Family
ID=62524257
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711257617.1A Active CN108171116B (zh) | 2017-12-01 | 2017-12-01 | 飞行器辅助避障方法、装置和辅助避障系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108171116B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021146971A1 (zh) * | 2020-01-21 | 2021-07-29 | 深圳市大疆创新科技有限公司 | 基于可通行空域判断的飞行控制方法、装置及设备 |
CN112567308A (zh) * | 2020-01-21 | 2021-03-26 | 深圳市大疆创新科技有限公司 | 空域检测方法、可移动平台、设备和存储介质 |
CN112817325A (zh) * | 2020-12-18 | 2021-05-18 | 易瓦特科技股份公司 | 一种融合多个传感器数据的方法、装置、设备及存储介质 |
CN117163302B (zh) * | 2023-10-31 | 2024-01-23 | 安胜(天津)飞行模拟系统有限公司 | 飞行器仪表显示方法、装置、设备及存储介质 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101304515A (zh) * | 2007-05-11 | 2008-11-12 | 徐世刚 | 全景式倒车引导系统 |
JP5501452B2 (ja) * | 2010-05-19 | 2014-05-21 | 三菱電機株式会社 | 車両後方監視装置 |
CN202689566U (zh) * | 2011-12-29 | 2013-01-23 | 中联重科股份有限公司 | 一种用于臂架的避障系统及包括该系统的工程机械设备 |
JP6029306B2 (ja) * | 2012-03-29 | 2016-11-24 | 住友建機株式会社 | 作業機械用周辺監視装置 |
CN105354796B (zh) * | 2015-10-12 | 2018-12-04 | 北京鑫洋泉电子科技有限公司 | 用于行车辅助的图像处理方法及系统 |
-
2017
- 2017-12-01 CN CN201711257617.1A patent/CN108171116B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN108171116A (zh) | 2018-06-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108171116B (zh) | 飞行器辅助避障方法、装置和辅助避障系统 | |
CN112965503B (zh) | 多路摄像头融合拼接方法、装置、设备及存储介质 | |
EP3565739B1 (en) | Rear-stitched view panorama for rear-view visualization | |
US8655019B2 (en) | Driving support display device | |
US8184160B2 (en) | Image processor, driving assistance system, and out-of-position detecting method | |
US8446471B2 (en) | Method and system for generating surrounding seamless bird-view image with distance interface | |
US11838497B2 (en) | Calibration of a surround view camera system | |
CN110641366B (zh) | 行车时的障碍物追踪方法、系统、电子设备和存储介质 | |
CN112224132B (zh) | 一种车用全景环视障碍物预警方法 | |
CN112419385B (zh) | 一种3d深度信息估计方法、装置及计算机设备 | |
CN111179168B (zh) | 一种车载360度全景环视监控系统及方法 | |
US20150109446A1 (en) | Vehicle monitoring device, vehicle monitoring system, terminal device, and vehicle monitoring method | |
JP2010109452A (ja) | 車両周囲監視装置及び車両周囲監視方法 | |
CN107113376A (zh) | 一种图像处理方法、装置及摄像机 | |
CN113418543A (zh) | 自动驾驶传感器的检测方法、装置、电子设备及存储介质 | |
JP5178454B2 (ja) | 車両周囲監視装置及び車両周囲監視方法 | |
US10129471B2 (en) | Method, apparatus and system for detecting location of laser point on screen | |
KR20140004409A (ko) | 차량용 어라운드 뷰 시스템, 이를 포함하는 차량 및 차량용 어라운드 뷰 생성 방법 | |
CN111210386A (zh) | 图像拍摄拼接方法及系统 | |
CN109525790B (zh) | 视频文件生成方法及系统、播放方法及装置 | |
CN113114975B (zh) | 图像拼接方法、装置、电子设备和存储介质 | |
JP2010217984A (ja) | 像検出装置及び像検出方法 | |
WO2019127302A1 (zh) | 一种无人机、控制终端的控制方法及相关设备 | |
JP2007010419A (ja) | 対象物の3次元形状検証システム。 | |
CN113212309A (zh) | 一种远程驾驶端视频显示方法、装置及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |