CN111899170A - 障碍物检测方法、装置、无人机和存储介质 - Google Patents
障碍物检测方法、装置、无人机和存储介质 Download PDFInfo
- Publication number
- CN111899170A CN111899170A CN202010651551.XA CN202010651551A CN111899170A CN 111899170 A CN111899170 A CN 111899170A CN 202010651551 A CN202010651551 A CN 202010651551A CN 111899170 A CN111899170 A CN 111899170A
- Authority
- CN
- China
- Prior art keywords
- disparity map
- pose data
- unmanned aerial
- aerial vehicle
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 49
- 238000000034 method Methods 0.000 claims abstract description 46
- 238000000605 extraction Methods 0.000 claims description 14
- 238000012545 processing Methods 0.000 claims description 10
- 238000005070 sampling Methods 0.000 claims description 7
- 238000007906 compression Methods 0.000 claims description 5
- 238000012937 correction Methods 0.000 claims description 5
- 230000004888 barrier function Effects 0.000 abstract description 26
- 230000008569 process Effects 0.000 abstract description 8
- 238000010586 diagram Methods 0.000 description 11
- 238000004590 computer program Methods 0.000 description 5
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 description 4
- 230000008901 benefit Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 230000006835 compression Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 1
- 230000002567 autonomic effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4023—Scaling of whole images or parts thereof, e.g. expanding or contracting based on decimating pixels or lines of pixels; based on inserting pixels or lines of pixels
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/254—Analysis of motion involving subtraction of images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本申请公开了障碍物检测方法、装置、无人机和存储介质。所述方法包括:获取无人机的位姿数据和视差图,所述位姿数据和所述视差图具有对应关系;根据所述位姿数据确定所述视差图中第一指定方向上的像素连通性,根据所述像素连通性从所述视差图中提取条状视差特征;对所述条状视差特征进行聚类,得到聚类信息;根据所述聚类信息确定障碍物信息。该技术方案在检测障碍物时利用了无人机的位姿数据,能够避免因无人机自身运动造成的障碍物信息漂移,并且整个流程复杂度低,对计算资源的消耗较少,在保证了障碍物检测精度的同时降低了障碍物检测时间,特别适合无人机等依赖于轻量级计算资源进行障碍物检测的设备。
Description
技术领域
本申请涉及避障技术领域,具体涉及障碍物检测方法、装置、无人机和存储介质。
背景技术
无人机配送业务中,无人机在自主飞行状态下躲避障碍物的能力必不可少。无人机避障方案中,双目传感器因为其价格低、功耗低、重量低、蕴含障碍物信息丰富等优点,逐渐成为目前大多数无人机避障中的主要传感器之一。目前基于双目传感器进行障碍物检测的方法,大多为直接使用双目传感器匹配计算出的视差数据或深度数据,直接转换为三维空间点作为障碍物。但这类方法的缺点也较为明显,例如可探测距离较短、误检过多等等,不利于实际应用。
发明内容
鉴于上述问题,提出了本申请以便提供一种克服上述问题或者至少部分地解决上述问题的障碍物检测方法、装置、无人机和存储介质。
依据本申请的一个方面,提供了一种障碍物检测方法,包括:获取无人机的位姿数据和视差图,所述位姿数据和所述视差图具有对应关系;根据所述位姿数据确定所述视差图中第一指定方向上的像素连通性,根据所述像素连通性从所述视差图中提取条状视差特征;对所述条状视差特征进行聚类,得到聚类信息;根据所述聚类信息确定障碍物信息。
可选地,上述方法中,所述获取无人机的位姿数据和视差图包括:获取无人机的图像采集设备采集的原始图像;在位姿数据缓存区中查找出时间戳与所述原始图像匹配的位姿数据,以及根据所述原始图像生成所述视差图。
可选地,上述方法中,所述根据所述原始图像生成所述视差图包括:根据所述原始图像生成初始视差图;对所述初始视差图进行压缩处理,得到所述视差图。
可选地,上述方法中,所述压缩处理包括:降采样处理和/或将像素点沿第二指定方向进行压缩。
可选地,上述方法中,所述根据无人机的位姿数据确定视差图中第一指定方向上的像素连通性包括:利用所述位姿数据对所述视差图进行姿态矫正,得到矫正图像;将所述矫正图像的目标区域中的像素点按第一指定方向划分为多个组,对每组像素点分别进行像素连通性检测。
可选地,上述方法中,所述像素连通性检测包括:根据各像素点的视差信息和无人机的位姿数据,确定各像素点的空间描述信息;根据各像素点的空间描述信息和预设的空间阈值确定像素连通性,所述空间阈值包括高度阈值和/或距离阈值。
可选地,上述方法中,所述根据无人机的位姿数据确定视差图中第一指定方向上的像素连通性还包括:根据无人机的位姿数据和预设的安全飞行距离,确定所述视差图中的安全等势线;根据所述安全等势线确定所述矫正图像中需进行像素连通性检测的目标区域。
依据本申请的另一方面,提供了一种障碍物检测装置,包括:获取单元,用于获取无人机的位姿数据和视差图,所述位姿数据和所述视差图具有对应关系;特征提取单元,用于根据所述位姿数据确定所述视差图中第一指定方向上的像素连通性,根据所述像素连通性从所述视差图中提取条状视差特征;聚类单元,用于对所述条状视差特征进行聚类,得到聚类信息;障碍物信息单元,用于根据所述聚类信息确定障碍物信息。
可选地,上述装置中,所述获取单元,用于获取无人机的图像采集设备采集的原始图像;在位姿数据缓存区中查找出时间戳与所述原始图像匹配的位姿数据,以及根据所述原始图像生成所述视差图。
可选地,上述装置中,所述获取单元,用于根据所述原始图像生成初始视差图;对所述初始视差图进行压缩处理,得到所述视差图。
可选地,上述装置中,所述获取单元,用于对所述初始视差图进行降采样处理,和/或将所述初始视差图中的像素点沿第二指定方向进行压缩。
可选地,上述装置中,所述特征提取单元,用于利用所述位姿数据对所述视差图进行姿态矫正,得到矫正图像;将所述矫正图像的目标区域中的像素点按第一指定方向划分为多个组,对每组像素点分别进行像素连通性检测。
可选地,上述装置中,所述特征提取单元,用于根据各像素点的视差信息和无人机的位姿数据,确定各像素点的空间描述信息;根据各像素点的空间描述信息和预设的空间阈值确定像素连通性,所述空间阈值包括高度阈值和/或距离阈值。
可选地,上述装置中,所述特征提取单元,用于根据无人机的位姿数据和预设的安全飞行距离,确定所述视差图中的安全等势线;根据所述安全等势线确定所述矫正图像中需进行像素连通性检测的目标区域。
依据本申请的又一方面,提供了一种无人机,包括:处理器;以及被安排成存储计算机可执行指令的存储器,所述可执行指令在被执行时使所述处理器执行如上述任一所述的方法。
依据本申请的再一方面,提供了一种计算机可读存储介质,其中,所述计算机可读存储介质存储一个或多个程序,所述一个或多个程序当被处理器执行时,实现如上述任一所述的方法。
由上述可知,本申请的技术方案,利用具有对应关系的无人机的位姿数据和视差图,进行条状视差特征提取,根据条状视差特征聚类的聚类信息来确定障碍物信息。该技术方案在检测障碍物时利用了无人机的位姿数据,能够避免因无人机自身运动造成的障碍物信息漂移,并且整个流程复杂度低,对计算资源的消耗较少,在保证了障碍物检测精度的同时降低了障碍物检测时间,特别适合无人机等依赖于轻量级计算资源进行障碍物检测的设备。
上述说明仅是本申请技术方案的概述,为了能够更清楚了解本申请的技术手段,而可依照说明书的内容予以实施,并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂,以下特举本申请的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本申请的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1示出了根据本申请一个实施例的一种障碍物检测方法的流程示意图;
图2示出了根据本申请一个实施例的障碍物检测流程示意图;
图3示出了根据本申请一个实施例的条状视差特征提取流程图;
图4示出了在无人机拍摄的图像中标记条状视差特征、等高线的效果图;
图5示出了根据本申请一个实施例的一种障碍物检测装置的结构示意图;
图6示出了根据本申请一个实施例的无人机的结构示意图;
图7示出了根据本申请一个实施例的计算机可读存储介质的结构示意图。
具体实施方式
下面将参照附图更详细地描述本申请的示例性实施例。虽然附图中显示了本申请的示例性实施例,然而应当理解,可以以各种形式实现本申请而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本申请,并且能够将本申请的范围完整的传达给本领域的技术人员。
图1示出了根据本申请一个实施例的一种障碍物检测方法的流程示意图。如图1所示,障碍物检测方法包括:
步骤S110,获取无人机的位姿数据和视差图,位姿数据和视差图具有对应关系。
位姿数据主要是指位置数据和姿态数据,可以通过无人机的飞行控制系统(飞控)得到,由于无人机在正常飞行时同样需要依赖位姿数据,因此位姿数据的获取可以通过不增加额外硬件的方式实现。
视差图通常是基于多目传感器(目前较为常用的是双目相机)采集的原始图像通过求视差值得到的,视差图中的像素点具有图像坐标(x,y)和视差值d。
步骤S120,根据位姿数据确定视差图中第一指定方向上的像素连通性,根据像素连通性从视差图中提取条状视差特征。
举例来说,第一指定方向为列方向,那么确定第一指定方向上的像素连通性,实际上就是确定同一列中相邻的像素点间是否连通,那么确定的结果就是对像素点按照像素连通性进行了聚类,得到的即为一段段由像素点构成的线,即条状视差特征。
步骤S130,对条状视差特征进行聚类,得到聚类信息。由此,对应于同一障碍物的条状视差特征可以被聚为一类。
步骤S140,根据聚类信息确定障碍物信息。具体来说,可以对聚类信息进行特征提取,提取的特征包括但不限于与障碍物之间的距离,障碍物的三维尺寸、几何形状、类别、姿态等。
可见,图1所示的方法,在检测障碍物时利用了无人机的位姿数据,能够避免因无人机自身运动造成的障碍物信息漂移,并且整个流程复杂度低,对计算资源的消耗较少,在保证了障碍物检测精度的同时降低了障碍物检测时间,特别适合无人机等依赖于轻量级计算资源进行障碍物检测的设备。
在本申请的一个实施例中,上述方法中,获取无人机的位姿数据和视差图包括:获取无人机的图像采集设备采集的原始图像;在位姿数据缓存区中查找出时间戳与原始图像匹配的位姿数据,以及根据原始图像生成视差图。
具体地,可以预先对位姿数据和原始图像进行时间戳对齐,以确保位姿数据与原始图像的对应关系,从而也就确保了位姿数据与视差图的对应关系。可以设置一个位姿数据缓存区以便于位姿数据的查找。由于位姿数据的生成频率与原始图像的采集频率不一定一致,可能存在多个时间戳与原始图像匹配的位姿数据,在这种情况下,可以根据这些查找出的位姿数据插值得到与时间戳对应的位姿数据。
生成视差图的方式可以选用现有技术中的任一种方式得到,在此就不进行详细介绍了。
在本申请的一个实施例中,上述方法中,根据原始图像生成视差图包括:根据原始图像生成初始视差图;对初始视差图进行压缩处理,得到视差图。
无人机等设备由于对重量、耗电量等有着比较严苛的要求,难以部署GPU(Graphics Processing Unit,图形处理器)等高计算能力的硬件。因此,为了减少对计算资源和电量的需求,可以对初始视差图进行压缩处理,以减小后续处理的消耗,这里的压缩主要是指对信息量的压缩,尽可能保证有效信息,丢弃多余信息。
在本申请的一个实施例中,上述方法中,压缩处理包括:降采样处理和/或将像素点沿第二指定方向进行压缩。
降采样处理可以缩减图像的大小,经过降采样处理的视差图可以在保留障碍物信息的同时加快后续处理的速度。在一个实施例中可将视差图降采样到640×480的大小,降采样的插值方法可以使用最近邻插值,保证每一个像素点对应的距离都为真实值。
另外,还可以将像素点沿第二指定方向进行压缩,第二指定方向与第一指定方向可以是相互垂直的,例如第一指定方向为列方向,则第二指定方向是行方向。如压缩比例为5时,宽640、高480的图像,会被压缩为宽128、高480的图像。压缩时可对所有有效像素点进行中值滤波采样。上述例子中的数字单位均为像素。
在本申请的一个实施例中,上述方法中,根据无人机的位姿数据确定视差图中第一指定方向上的像素连通性包括:利用位姿数据对视差图进行姿态矫正,得到矫正图像;将矫正图像的目标区域中的像素点按第一指定方向划分为多个组,对每组像素点分别进行像素连通性检测。
无人机执行转弯、横向飞行等动作,会存在横滚角,导致采集的原始图像不再竖直,从而视差图也非竖直。因此利用位姿数据将视差图像进行姿态矫正,可避免图像歪曲影响障碍物检测效果。
对于划分的多组像素点(例如按列划分,则得到多列像素点),可以并行进行像素连通性检测,以提高效率。
在本申请的一个实施例中,上述方法中,像素连通性检测包括:根据各像素点的视差信息和无人机的位姿数据,确定各像素点的空间描述信息;根据各像素点的空间描述信息和预设的空间阈值确定像素连通性,空间阈值包括高度阈值和/或距离阈值。
空间描述信息具体可以是像素点对应的目标在世界坐标系中的坐标信息。障碍物往往并不是孤立的一个点,而是占据了一部分空间,因此,图像中的障碍物也应对应的是一个区域,那么根据该区域中像素点的空间描述信息是否相近,就可以确定两个像素点是否对应同一障碍物,像素连通性检测也是根据上述思路设计并实现的。
在本申请的一个实施例中,上述方法中,根据无人机的位姿数据确定视差图中第一指定方向上的像素连通性还包括:根据无人机的位姿数据和预设的安全飞行距离,确定视差图中的安全等势线;根据安全等势线确定矫正图像中需进行像素连通性检测的目标区域。
无人机拍摄的图像中,实际包含了许多无人机不会去飞行的区域,比如地面上空较低的空间。这也意味着,在根据视差图进行障碍物检测时,许多地面附近的障碍物没有必要去关注。因此,可以引入安全等势线的概念,即以该安全等势线划分图像中需要关注(需进行像素连通性检测)的目标区域和不需要关注的区域。具体地,该安全等势线可以是安全等高线,可定义为无人机在当前飞行高度下,向前飞行时保障不会碰撞的高度,在图横坐标x上的y坐标,连接成的线。比如当前无人机飞行高度为20米,假设无人机不会撞到无人机下方5米以下的障碍物,则15米的高度对应在视差图上形成的线即为安全等高线。在安全等高线下的视差图可以不进行处理,因为这部分图像对应的障碍物不会对无人机飞行安全造成威胁。
下面以更为具体的实施方式介绍本申请的方案的可能实现流程。
图2示出了根据本申请一个实施例的障碍物检测流程示意图。如图2所示,具体流程包括:
步骤S210,基于双目相机采集的双目图像(原始图像),使用通用的双目立体匹配技术,生成视差图。
步骤S220,根据实际需要,将视差图进行图像大小的降采样处理。
步骤S230,再将步骤S220处理过视差图的像素点沿横坐标进行压缩。
步骤S240,将飞控的位姿数据和双目图像进行时间戳对齐,以保证双目视差数据投影到世界坐标下的准确性。可设置一个位姿旋转平移矩阵的缓存区。当双目图像到达时,在缓存区内选择最接近双目图像时间戳的前后两个位姿数据,进行插值得到双目相机曝光时准确的双目相机位置姿态数据。
步骤S250,进行条状视差特征的提取。
步骤S260,计算视差图中无人机的安全等高线H(x)。
步骤S270,对条状视差特征进行聚类,得到聚类信息。该步骤可使用常规点云聚类的方法,比如欧式聚类等。
步骤S280,对聚类信息进行特征提取,如与障碍物之间的距离,障碍物的三维尺寸、几何形状、类别、姿态等。
步骤S290,根据聚类信息提取的特征确定障碍物信息,用于避障。
图3示出了根据本申请一个实施例的条状视差特征提取流程图,图3的各步骤可认为是上述步骤S250的子步骤。如图3所示,对压缩后的视差图,在步骤S310先利用横滚角进行矫正。
步骤S320,对图像的列数x进行判断,是否小于图像宽度。如果大于或等于图像宽度,结束所有计算,输出所有列的中层特征。由于不同列的处理相互独立,因此不同列的步骤可进行并行加速运算。
步骤S330,对图像的行数y进行判断,是否小于图像高度。如果大于或等于图像高度,退出列x的计算。
步骤S340,对视差图像上的有效像素点I(x,y,d)(其中x,y为像素点在图像中的坐标,d为视差值),根据位姿数据,计算世界坐标系下该像素点对应的坐标(X,Y,Z)。
步骤S350,判断世界坐标系点(X,Y,Z)中的Z是否小于安全等势线H(x)的高度值。如果小于高度值,终止列x的计算。否则进行步骤S360。
步骤S360,判断当前像素点(x,y,d1),世界坐标(X1,Y1,Z1),是否可以与上方像素点(x,y-1,d2),世界坐标(X2,Y2,Z2)连通。判断标准为:高度差值小于高度阈值,即abs(Y1-Y2)<Thresh_Y;并且,距离差距小于距离阈值,即abs(Z1-Z2)<Thresh_Z。
如果步骤S360判断通过,执行步骤S370,将该像素点合并到上方的条状视差特征中。
如果步骤S370判断不通过,则执行步骤S380,意味着以上方像素点(x,y-1,d2)为结尾的条状视差特征计算完毕,将其进行存储。
步骤S390,以当前像素(x,y,d1)开始确定新的条状视差特征。
图4示出了在无人机拍摄的图像中标记条状视差特征、等高线的效果图。图4中左边有一颗树孤立的树,右边有成排的树。带可明显区分形状的深色条状图像即为条状视差特征的展示效果,深色条状图像下方弯曲的线是安全等高线。中间的横线为无人机横滚角对应的线。
图5示出了根据本申请一个实施例的一种障碍物检测装置的结构示意图。如图5所示,障碍物检测装置500包括:
获取单元510,用于获取无人机的位姿数据和视差图,位姿数据和视差图具有对应关系。
位姿数据主要是指位置数据和姿态数据,可以通过无人机的飞行控制系统(飞控)得到,由于无人机在正常飞行时同样需要依赖位姿数据,因此位姿数据的获取可以通过不增加额外硬件的方式实现。
视差图通常是基于多目传感器(目前较为常用的是双目相机)采集的原始图像通过求视差值得到的,视差图中的像素点具有图像坐标(x,y)和视差值d。
特征提取单元520,用于根据位姿数据确定视差图中第一指定方向上的像素连通性,根据像素连通性从视差图中提取条状视差特征。
举例来说,第一指定方向为列方向,那么确定第一指定方向上的像素连通性,实际上就是确定同一列中相邻的像素点间是否连通,那么确定的结果就是对像素点按照像素连通性进行了聚类,得到的即为一段段由像素点构成的线,即条状视差特征。
聚类单元530,用于对条状视差特征进行聚类,得到聚类信息。由此,对应于同一障碍物的条状视差特征可以被聚为一类。
障碍物信息单元540,用于根据聚类信息确定障碍物信息。
具体来说,可以对聚类信息进行特征提取,提取的特征包括但不限于与障碍物之间的距离,障碍物的三维尺寸、几何形状、类别、姿态等。
可见,图5所示的装置,在检测障碍物时利用了无人机的位姿数据,能够避免因无人机自身运动造成的障碍物信息漂移,并且整个流程复杂度低,对计算资源的消耗较少,在保证了障碍物检测精度的同时降低了障碍物检测时间,特别适合无人机等依赖于轻量级计算资源进行障碍物检测的设备。
在本申请的一个实施例中,上述装置中,获取单元510,用于获取无人机的图像采集设备采集的原始图像;在位姿数据缓存区中查找出时间戳与原始图像匹配的位姿数据,以及根据原始图像生成视差图。
在本申请的一个实施例中,上述装置中,获取单元510,用于根据原始图像生成初始视差图;对初始视差图进行压缩处理,得到视差图。
在本申请的一个实施例中,上述装置中,获取单元510,用于对初始视差图进行降采样处理,和/或将初始视差图中的像素点沿第二指定方向进行压缩。
在本申请的一个实施例中,上述装置中,特征提取单元520,用于利用位姿数据对视差图进行姿态矫正,得到矫正图像;将矫正图像的目标区域中的像素点按第一指定方向划分为多个组,对每组像素点分别进行像素连通性检测。
在本申请的一个实施例中,上述装置中,特征提取单元520,用于根据各像素点的视差信息和无人机的位姿数据,确定各像素点的空间描述信息;根据各像素点的空间描述信息和预设的空间阈值确定像素连通性,空间阈值包括高度阈值和/或距离阈值。
在本申请的一个实施例中,上述装置中,特征提取单元520,用于根据无人机的位姿数据和预设的安全飞行距离,确定视差图中的安全等势线;根据安全等势线确定矫正图像中需进行像素连通性检测的目标区域。
需要说明的是,上述各装置实施例的具体实施方式可以参照前述对应方法实施例的具体实施方式进行,在此不再赘述。
综上所述,本申请的技术方案,利用具有对应关系的无人机的位姿数据和视差图,进行条状视差特征提取,根据条状视差特征聚类的聚类信息来确定障碍物信息。该技术方案在检测障碍物时利用了无人机的位姿数据,能够避免因无人机自身运动造成的障碍物信息漂移,并且整个流程复杂度低,对计算资源的消耗较少,在保证了障碍物检测精度的同时降低了障碍物检测时间,特别适合无人机等依赖于轻量级计算资源进行障碍物检测的设备。
需要说明的是:
在此提供的算法和显示不与任何特定计算机、虚拟装置或者其它设备固有相关。各种通用装置也可以与基于在此的示教一起使用。根据上面的描述,构造这类装置所要求的结构是显而易见的。此外,本申请也不针对任何特定编程语言。应当明白,可以利用各种编程语言实现在此描述的本申请的内容,并且上面对特定语言所做的描述是为了披露本申请的最佳实施方式。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本申请的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本申请并帮助理解各个发明方面中的一个或多个,在上面对本申请的示例性实施例的描述中,本申请的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该公开的方法解释成反映如下意图:即所要求保护的本申请要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如下面的权利要求书所反映的那样,发明方面在于少于前面公开的单个实施例的所有特征。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本申请的单独实施例。
本领域那些技术人员可以理解,可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件,以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外,本领域的技术人员能够理解,尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本申请的范围之内并且形成不同的实施例。例如,在下面的权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本申请的各个部件实施例可以以硬件实现,或者以在一个或者多个处理器上运行的软件模块实现,或者以它们的组合实现。本领域的技术人员应当理解,可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本申请实施例的障碍物检测装置中的一些或者全部部件的一些或者全部功能。本申请还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如,计算机程序和计算机程序产品)。这样的实现本申请的程序可以存储在计算机可读介质上,或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到,或者在载体信号上提供,或者以任何其他形式提供。
例如,图6示出了根据本申请一个实施例的无人机的结构示意图。该无人机600包括处理器610和被安排成存储计算机可执行指令(计算机可读程序代码)的存储器620。存储器620可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。存储器620具有存储用于执行上述方法中的任何方法步骤的计算机可读程序代码631的存储空间630。例如,用于存储计算机可读程序代码的存储空间630可以包括分别用于实现上面的方法中的各种步骤的各个计算机可读程序代码631。计算机可读程序代码631可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。这些计算机程序产品包括诸如硬盘,紧致盘(CD)、存储卡或者软盘之类的程序代码载体。这样的计算机程序产品通常为例如图7所述的计算机可读存储介质。图7示出了根据本申请一个实施例的一种计算机可读存储介质的结构示意图。该计算机可读存储介质700存储有用于执行根据本申请的方法步骤的计算机可读程序代码631,可以被无人机600的处理器610读取,当计算机可读程序代码631由无人机600运行时,导致该无人机600执行上面所描述的方法中的各个步骤,具体来说,该计算机可读存储介质存储的计算机可读程序代码631可以执行上述任一实施例中示出的方法。计算机可读程序代码631可以以适当形式进行压缩。
应该注意的是上述实施例对本申请进行说明而不是对本申请进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本申请可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
Claims (10)
1.一种障碍物检测方法,其特征在于,包括:
获取无人机的位姿数据和视差图,所述位姿数据和所述视差图具有对应关系;
根据所述位姿数据确定所述视差图中第一指定方向上的像素连通性,根据所述像素连通性从所述视差图中提取条状视差特征;
对所述条状视差特征进行聚类,得到聚类信息;
根据所述聚类信息确定障碍物信息。
2.如权利要求1所述的方法,其特征在于,所述获取无人机的位姿数据和视差图包括:
获取无人机的图像采集设备采集的原始图像;
在位姿数据缓存区中查找出时间戳与所述原始图像匹配的位姿数据,以及根据所述原始图像生成所述视差图。
3.如权利要求2所述的方法,其特征在于,所述根据所述原始图像生成所述视差图包括:
根据所述原始图像生成初始视差图;
对所述初始视差图进行压缩处理,得到所述视差图。
4.如权利要求3所述的方法,其特征在于,所述压缩处理包括:降采样处理和/或将像素点沿第二指定方向进行压缩。
5.如权利要求1所述的方法,其特征在于,所述根据无人机的位姿数据确定视差图中第一指定方向上的像素连通性包括:
利用所述位姿数据对所述视差图进行姿态矫正,得到矫正图像;
将所述矫正图像的目标区域中的像素点按第一指定方向划分为多个组,对每组像素点分别进行像素连通性检测。
6.如权利要求5所述的方法,其特征在于,所述像素连通性检测包括:
根据各像素点的视差信息和无人机的位姿数据,确定各像素点的空间描述信息;
根据各像素点的空间描述信息和预设的空间阈值确定像素连通性,所述空间阈值包括高度阈值和/或距离阈值。
7.如权利要求5所述的方法,其特征在于,所述根据无人机的位姿数据确定视差图中第一指定方向上的像素连通性还包括:
根据无人机的位姿数据和预设的安全飞行距离,确定所述视差图中的安全等势线;
根据所述安全等势线确定所述矫正图像中需进行像素连通性检测的目标区域。
8.一种障碍物检测装置,其特征在于,包括:
获取单元,用于获取无人机的位姿数据和视差图,所述位姿数据和所述视差图具有对应关系;
特征提取单元,用于根据所述位姿数据确定所述视差图中第一指定方向上的像素连通性,根据所述像素连通性从所述视差图中提取条状视差特征;
聚类单元,用于对所述条状视差特征进行聚类,得到聚类信息;
障碍物信息单元,用于根据所述聚类信息确定障碍物信息。
9.一种无人机,其特征在于,该无人机包括:处理器;以及被安排成存储计算机可执行指令的存储器,所述可执行指令在被执行时使所述处理器执行如权利要求1-7中任一项所述的方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储一个或多个程序,所述一个或多个程序当被处理器执行时,实现如权利要求1-7中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010651551.XA CN111899170B (zh) | 2020-07-08 | 2020-07-08 | 障碍物检测方法、装置、无人机和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010651551.XA CN111899170B (zh) | 2020-07-08 | 2020-07-08 | 障碍物检测方法、装置、无人机和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111899170A true CN111899170A (zh) | 2020-11-06 |
CN111899170B CN111899170B (zh) | 2024-09-06 |
Family
ID=73191940
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010651551.XA Active CN111899170B (zh) | 2020-07-08 | 2020-07-08 | 障碍物检测方法、装置、无人机和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111899170B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113792583A (zh) * | 2021-08-03 | 2021-12-14 | 北京中科慧眼科技有限公司 | 基于可行驶区域的障碍物检测方法、系统和智能终端 |
US20210387584A1 (en) * | 2020-06-15 | 2021-12-16 | Lytx, Inc. | Sensor fusion for collision detection |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105222760A (zh) * | 2015-10-22 | 2016-01-06 | 一飞智控(天津)科技有限公司 | 一种基于双目视觉的无人机自主障碍物检测系统及方法 |
CN107169418A (zh) * | 2017-04-18 | 2017-09-15 | 海信集团有限公司 | 一种障碍物检测方法及装置 |
CN108062515A (zh) * | 2017-12-04 | 2018-05-22 | 北京中科慧眼科技有限公司 | 基于双目视觉的障碍物检测方法、系统及存储介质 |
WO2018120040A1 (zh) * | 2016-12-30 | 2018-07-05 | 深圳前海达闼云端智能科技有限公司 | 一种障碍物检测方法及装置 |
CN108520536A (zh) * | 2018-03-27 | 2018-09-11 | 海信集团有限公司 | 一种视差图的生成方法、装置及终端 |
-
2020
- 2020-07-08 CN CN202010651551.XA patent/CN111899170B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105222760A (zh) * | 2015-10-22 | 2016-01-06 | 一飞智控(天津)科技有限公司 | 一种基于双目视觉的无人机自主障碍物检测系统及方法 |
CN108594851A (zh) * | 2015-10-22 | 2018-09-28 | 飞智控(天津)科技有限公司 | 一种基于双目视觉的无人机自主障碍物检测系统、方法及无人机 |
WO2018120040A1 (zh) * | 2016-12-30 | 2018-07-05 | 深圳前海达闼云端智能科技有限公司 | 一种障碍物检测方法及装置 |
CN107169418A (zh) * | 2017-04-18 | 2017-09-15 | 海信集团有限公司 | 一种障碍物检测方法及装置 |
CN108062515A (zh) * | 2017-12-04 | 2018-05-22 | 北京中科慧眼科技有限公司 | 基于双目视觉的障碍物检测方法、系统及存储介质 |
CN108520536A (zh) * | 2018-03-27 | 2018-09-11 | 海信集团有限公司 | 一种视差图的生成方法、装置及终端 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20210387584A1 (en) * | 2020-06-15 | 2021-12-16 | Lytx, Inc. | Sensor fusion for collision detection |
US11769332B2 (en) * | 2020-06-15 | 2023-09-26 | Lytx, Inc. | Sensor fusion for collision detection |
CN113792583A (zh) * | 2021-08-03 | 2021-12-14 | 北京中科慧眼科技有限公司 | 基于可行驶区域的障碍物检测方法、系统和智能终端 |
Also Published As
Publication number | Publication date |
---|---|
CN111899170B (zh) | 2024-09-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109948661B (zh) | 一种基于多传感器融合的3d车辆检测方法 | |
CN109144095B (zh) | 用于无人驾驶飞行器的基于嵌入式立体视觉的障碍躲避系统 | |
CN108629231B (zh) | 障碍物检测方法、装置、设备及存储介质 | |
CN108629843B (zh) | 一种实现增强现实的方法及设备 | |
CN102902355B (zh) | 移动设备的空间交互方法 | |
US11783443B2 (en) | Extraction of standardized images from a single view or multi-view capture | |
CN113761999B (zh) | 一种目标检测方法、装置、电子设备和存储介质 | |
CN111899170B (zh) | 障碍物检测方法、装置、无人机和存储介质 | |
EP2766875A1 (en) | Generating free viewpoint video using stereo imaging | |
EP2738517A1 (en) | System and methods for feature selection and matching | |
CN111612728A (zh) | 一种基于双目rgb图像的3d点云稠密化方法和装置 | |
WO2021056516A1 (zh) | 目标检测方法、设备及可移动平台 | |
CN114332134B (zh) | 一种基于密集点云的建筑物立面提取方法和装置 | |
CN111144315A (zh) | 目标检测方法、装置、电子设备和可读存储介质 | |
EP3639192A1 (en) | Computer vision-based thin object detection | |
CN111257882A (zh) | 数据融合方法、装置、无人驾驶设备和可读存储介质 | |
CN113537047A (zh) | 障碍物检测方法、装置、交通工具及存储介质 | |
CN111080685A (zh) | 一种基于多视角立体视觉的飞机钣金零件三维重建方法及系统 | |
CN115909268A (zh) | 一种动态障碍物检测方法及装置 | |
CN108986216B (zh) | 激光雷达控制软件3d绘图方法 | |
CN116778262A (zh) | 一种基于虚拟点云的三维目标检测方法和系统 | |
CN116342831A (zh) | 三维场景重建方法、装置、计算机设备及存储介质 | |
CN111862206A (zh) | 一种视觉定位方法、装置、电子设备及可读存储介质 | |
CN115511944A (zh) | 基于单相机的尺寸估计方法、装置、设备及存储介质 | |
CN115294358A (zh) | 特征点提取方法、装置、计算机设备及可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |