CN106682584B - 无人机障碍物检测方法及装置 - Google Patents

无人机障碍物检测方法及装置 Download PDF

Info

Publication number
CN106682584B
CN106682584B CN201611088538.8A CN201611088538A CN106682584B CN 106682584 B CN106682584 B CN 106682584B CN 201611088538 A CN201611088538 A CN 201611088538A CN 106682584 B CN106682584 B CN 106682584B
Authority
CN
China
Prior art keywords
pixels
texture
left eye
unmanned aerial
aerial vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611088538.8A
Other languages
English (en)
Other versions
CN106682584A (zh
Inventor
胡华智
尚黎民
孙海洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Ehang Intelligent Technology Co Ltd
Original Assignee
Guangzhou Ehang Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Ehang Intelligent Technology Co Ltd filed Critical Guangzhou Ehang Intelligent Technology Co Ltd
Priority to CN201611088538.8A priority Critical patent/CN106682584B/zh
Publication of CN106682584A publication Critical patent/CN106682584A/zh
Priority to PCT/CN2017/110622 priority patent/WO2018099259A1/zh
Application granted granted Critical
Publication of CN106682584B publication Critical patent/CN106682584B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G05D1/106—Change initiated in response to external conditions, e.g. avoidance of elevated terrain or of no-fly zones
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images

Abstract

本发明提供一种无人机障碍物检测方法及装置，应用于短基线立体相机，属于无人机技术领域。立体相机包括左目相机，通过左目相机获取特定位置的左目图像。该方法包括：对左目图像进行纹理检测；根据纹理检测的结果，标记左目图像中的纹理区域；判断纹理区域中是否存在障碍物像素；若是，则在左目相机的特定位置处为障碍物区域。本发明提供的无人机障碍物检测方法及装置能够在不影响系统有效性的同时，提高了精确性以及系统效率。

Description

无人机障碍物检测方法及装置
技术领域
本发明涉及无人机技术领域，尤其涉及一种无人机障碍物检测方法及装置。
背景技术
基于立体视觉的障碍物检测技术需要通过块匹配方法计算图像中目标深度。具体检测方法是，给出左图像中的像素块，在右图像中沿极线方向搜索匹配像素块。右图中匹配的像素块与左图中对应像素块的相对位置，即视差，用于计算像素块中目标的三维坐标。现有的算法在右图像中搜索目标像素块时，通常搜索较大甚至全极限长的视差范围。视差的大小，对应于障碍物与相机距离的远近。但是，当视差为零时，立体相机的分辨率不足以计算目标深度。
一般来说，这些匹配技术不仅计算量大，并且要求长基线以提供足够的深度分辨率。因此，这类常规的障碍物检测方法很难直接应用于小型无人机或无人车上。
为了实现小型机器人的避障功能，有必要提出一种无人机障碍物检测方法及装置，可以在有限的计算能力下有效地检测障碍物。
发明内容
本发明的主要目的在于提出一种无人机障碍物检测方法及装置，能够在有限的计算能力下有效地检测障碍物。
为实现上述目的，本发明提供的一种无人机障碍物检测方法，应用于短基线立体相机，所述立体相机包括左目相机，通过所述左目相机获取特定位置的左目图像，所述方法包括：对左目图像进行纹理检测；根据所述纹理检测的结果，标记所述左目图像中的纹理区域；判断所述纹理区域中是否存在障碍物像素；若是，则在所述左目相机的所述特定位置处为障碍物区域。
可选地，所述立体相机还包括与所述左目相机相对应的右目相机，在所述根据所述纹理检测的结果，标记所述左目图像中的纹理区域之后，所述方法还包括：获取所述纹理区域在所述左目图像的第一位置；在所述右目相机获取的右目图像中查找与所述第一位置对应的第二位置；匹配所述第二位置的像素。
可选地，所述方法还包括：根据所述立体相机的基线长度、焦距、分辨率，设置距离阈值。
可选地，所述判断所述纹理区域中是否存在障碍物像素，包括：判断所述障碍物像素是否在预设的所述距离阈值之内；若是，则控制无人机更改航线，使得无人机进行避障；若否，则无人机不需要更改航线。
可选地，在所述标记所述左目图像中的纹理区域之后，所述方法还包括：标记所述左目图像中的均匀区域，所述均匀区域中的像素为存疑像素。
可选地，所述标记所述左目图像中的纹理区域和所述均匀区域，包括：将所述左目图像灰度均匀的区域标记为所述均匀区域，将所述图像灰度有梯度的区域标记为所述纹理区域。
可选地，所述判断所述纹理区域中是否存在障碍物像素，包括：判断所述纹理区域中的像素与所述右目图像中相对应的像素的视差是否为零；若是，则所述纹理区域中的像素为零视差的像素，多个所述零视差的像素组成自由像素；若否，则所述纹理区域中的像素为正视差的像素，多个所述正视差的像素组成所述障碍物像素。
可选地，所述方法还包括：根据所述自由像素对应的空旷区域，生成躲避所述障碍物区域的路径。
此外，为实现上述目的，本发明还提供一种无人机障碍物检测装置，应用于短基线立体相机，立体相机包括左目相机，通过所述左目相机获取特定位置的左目图像，所述装置包括：纹理检测模块，用于对左目图像进行纹理检测；标记模块，用于根据所述纹理检测的结果，标记所述左目图像中的纹理区域；判断模块，用于判断所述纹理区域中是否存在障碍物像素；若是，则所述判断模块判定在所述左目相机的所述特定位置处为障碍物区域。
可选地，所述装置还包括：获取模块，用于获取所述纹理区域在所述左目图像的第一位置；查找模块，用于在所述右目相机获取的右目图像中查找与所述第一位置对应的第二位置；匹配模块，用于匹配所述第二位置的像素。
可选地，所述装置还包括：设置模块，用于根据所述立体相机的基线长度、焦距、分辨率，设置距离阈值。
可选地，所述判断模块，具体用于：判断所述障碍物像素是否在预设的所述距离阈值之内；若是，则控制无人机更改航线，使得无人机进行避障；若否，则无人机不需要更改航线。
可选地，所述标记模块，还用于：标记所述左目图像中的均匀区域，所述均匀区域中的像素为存疑像素。
可选地，所述标记模块，具体用于：将所述左目图像灰度均匀的区域标记为所述均匀区域，将所述图像灰度有梯度的区域标记为所述纹理区域。
可选地，所述判断模块，还用于：判断所述纹理区域中的像素与所述右目图像中相对应的像素的视差是否为零；若是，则所述纹理区域中的像素为零视差的像素，多个所述零视差的像素组成自由像素；若否，则所述纹理区域中的像素为正视差的像素，多个所述正视差的像素组成所述障碍物像素。
可选地，所述装置还包括：躲避路径生成模块，用于根据所述自由像素对应的空旷区域，生成躲避所述障碍物区域的路径。
本发明提供的无人机障碍物检测方法及装置，通过对左目图像进行纹理检测，根据纹理检测的结果，标记所述左目图像中的纹理区域，当判断纹理区域中存在障碍物像素时，则判定在左目相机的特定位置处为障碍物区域，能够在不影响系统有效性的同时，提高了精确性以及系统效率。
附图说明
图1为短基线立体相机的结构示意图；
图2为本发明第一实施例提供的无人机障碍物检测方法的流程示意图；
图3为本发明第一实施例提供的无人机障碍物检测方法的子流程示意图；
图4为本发明第二实施例提供的无人机障碍物检测方法的流程示意图；
图5为本发明第三实施例提供的无人机障碍物检测装置的模块示意图；
图6为本发明第四实施例提供的无人机障碍物检测装置的模块示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
本发明的无人机障碍物检测方法及装置应用于短基线立体相机。无人机上挂载两个短基线立体相机。请参照图1，短基线立体相机包括左目相机10、右目相机20、以及位于左目相机10和右目相机20之间的纹理光发射器30。其中，纹理光发射器30用于在缺失纹理的环境中使用。
实施例一
请参照图2，为本发明较佳实施例提供的无人机障碍物检测方法的流程示意图。本实施例的无人机障碍物检测方法包括如下步骤：
步骤210，对左目图像进行纹理检测。
具体地，通过左目相机获取特定位置的左目图像，该特定位置与立体相机之间具有特定距离。
在本实施例中，可以采用拉普拉斯(Laplacian)算子、索贝尔(Sobel)算子、多级边缘检测算子(例如：Canny算子)中的之一对左目图像进行纹理检测。
当纹理检测结果中不存在纹理时，则通过纹理光发射器30发出光斑，以在均匀区域加上纹理，再进行纹理检测。例如，天空、墙等颜色均匀无纹理的区域，在进行检测纹理时，纹理光发射器30发出光斑，即在颜色均匀区域加上纹理，进而进行纹理检测。
步骤220，根据纹理检测的结果，标记所述左目图像中的纹理区域。
具体地，基于纹理检测的结果，标记左目图像中的纹理区域和均匀区域。
在本实施例中，可以通过计算左目图像灰度的梯度来检测是否存在纹理区域。更具体地，将图像灰度均匀的区域即标记为均匀区域，图像灰度有梯度的区域即标记为纹理区域。
进一步地，由于均匀区域无法计算视差，从而均匀区域中的像素为存疑像素，多个存疑像素组成存疑区域。
步骤230，判断纹理区域中是否存在障碍物像素。若是，则进入步骤240，若否，则进入步骤250。
具体地，对纹理区域中的每个像素进行零视差算法，以判断左目图像的纹理区域中是否存在障碍物像素。具体步骤是：将上述纹理区域中的每个像素(X’,Y’)与右目相机拍摄的右目图像中相对应的像素(X,Y)一一比较，如果纹理区域中的像素(X’,Y’)与所述右目图像中相对应的像素(X,Y)存在一视差，视差不等于零则判断纹理区域中的像素(X’,Y’)为障碍物像素；否则判断纹理区域中的像素(X’,Y’)为自由像素。
步骤240，在左目相机的特定位置处为障碍物区域。
具体地，当判定纹理区域存在障碍物区域，则说明距离立体相机的特定距离的特定位置处存在障碍物，也就是说，沿着无人机飞行路径，距离无人机的特定距离处具有障碍物。
步骤250，在左目相机的特定位置处为空旷区域。
具体地，当判定纹理区域不存在障碍物区域，即为空旷区域，则说明距离立体相机的特定距离的特定位置处不存在障碍物，也就是说，沿着无人机飞行路径，距离无人机的特定距离处不具有障碍物，无人机可以继续沿着当前的飞行路径飞行。
请参照图3，在步骤240之后，还可以包括步骤：
步骤310，判断所述障碍物像素是否在预设的距离阈值之内；若是，则进入步骤320，若否，则进入步骤330。
步骤320，控制无人机更改航线，使得无人机进行避障。
步骤330，无人机不需要更改航线。
具体地，在上述步骤310-330中，根据零视差算法的结果，将其分为：零视差的像素和正视差的像素，并结合零视差算法的结果来判断是否要控制所述无人机进行避障。其中，多个所述正视差的像素组成所述障碍物像素，多个所述零视差的像素组成自由像素。
更具体地，双目相机的基线长度、焦距以及所述视差决定了一个阈值，即阈值＝(焦距*基线长度)/视差)，所述阈值即检测距离的上限。零视差的像素代表该点到相机的距离大于该阈值，即该点到相机的之间被认为空旷区域，此时不用控制无人机更改航线。正视差的像素代表该点到相机的距离小于该阈值，即该点到相机之间的距离被认为存在障碍物，此时要控制无人机更改航线以使得无人机进行避障。
在本发明的一个可选的实施例中，在步骤240之后，无人机障碍物检测方法还可以包括步骤：
根据自由像素对应的空旷区域，生成躲避障碍物区域的路径。
具体地，当检测存在障碍物时，重新设置躲避障碍物区域的路径。在自由像素对应的空旷区域中，生成适合的区域作为无人机飞行的路径。
进一步地，重新生成路径时，需要综合考虑空旷区域的偏差、无人机的姿态等信息。
本实施例提供的无人机障碍物检测方法，通过对左目图像进行纹理检测，根据纹理检测的结果，标记左目图像中的纹理区域，当判断纹理区域中存在障碍物像素时，则判定在左目相机的特定位置处为障碍物区域，能够在不影响系统有效性的同时，提高了精确性以及系统效率。
实施例二
请参照图4，为本发明另一较佳实施例提供的无人机障碍物检测方法，所述方法包括：
步骤410，对左目图像进行纹理检测。
步骤420，根据所述纹理检测的结果，标记左目图像中的纹理区域。
上述步骤410-420的内容与第一实施例中的步骤210-220的内容相同，对于相同的内容，本实施例在此不再赘述。
步骤430，获取纹理区域在左目图像中的第一位置。
步骤440，在右目相机获取的右目图像中查找与第一位置对应的第二位置。
步骤450，匹配第二位置的像素。
在上述步骤430-450中，获取存在纹理区域的像素在左目图像对应的第一位置。在与右目相机获取的右目图像进行匹配时，只需要查找第一位置在对应右目图像上的第二位置，并匹配第二位置处的像素。
步骤460，判断纹理区域中是否存在障碍物像素。若是，则进入步骤470，若否，则进入步骤480。
具体地，判断左目图像和右目图像中的纹理区域是否存在障碍物像素。
步骤470，在所述左目相机的所述特定位置处为障碍物区域。
步骤480，在所述左目相机的所述特定位置处为空旷区域。
上述步骤460-480的内容与第一实施例中的步骤230-250的内容相同，对于相同的内容，本实施例在此不再赘述。
本实施例的无人机障碍物检测方法，通过将左目图像中的纹理区域匹配至右目图像中的对应位置，进一步提高了检测障碍物的精确性和系统效率。
实施例三
请参照图5，本发明另一较佳实施例提供一种无人机障碍物检测装置的模块示意图。所述无人机障碍物检测装置可执行本发明任意实施例所提供的方法，具备执行方法相应的功能模块和有益效果。
本实施例提供的无人机障碍物检测装置包括：
纹理检测模块510，用于对左目图像进行纹理检测。
具体地，通过左目相机获取特定位置的左目图像，该特定位置与立体相机之间具有特定距离。
在本实施例中，纹理检测模块510可以采用Laplacian算子、Sobel算子、Canny边缘检测算子中的之一对左目图像进行纹理检测。
当纹理检测结果中不存在纹理时，则通过纹理光发射器30发出光斑，以在均匀区域加上纹理，纹理检测模块510再进行纹理检测。例如，天空、墙等颜色均匀无纹理的区域，在进行检测纹理时，纹理光发射器30发出光斑，即在颜色均匀区域加上纹理，进而进行纹理检测。
标记模块520，用于根据纹理检测的结果，标记左目图像中的纹理区域。
具体地，标记模块520基于纹理检测的结果，标记左目图像中的纹理区域和均匀区域。更具体地，将图像灰度均匀的区域即标记为均匀区域，图像灰度有梯度的区域即标记为纹理区域。
进一步地，由于均匀区域无法计算视差，从而均匀区域中的像素为存疑像素，多个存疑像素组成存疑区域。
判断模块530，用于判断纹理区域中是否存在障碍物像素。具体地，对纹理区域中的每个像素进行零视差算法，以判断左目图像的纹理区域中是否存在障碍物像素。判断模块530具体用于将上述纹理区域中的每个像素(X’,Y’)与右目相机拍摄的右目图像中相对应的像素(X,Y)一一比较，如果纹理区域中的像素(X’,Y’)与所述右目图像中相对应的像素(X,Y)存在一视差，视差不等于零则判断纹理区域中的像素(X’,Y’)为障碍物像素；否则判断纹理区域中的像素(X’,Y’)为自由像素。
当判断模块530判定纹理区域中存在障碍物像素时，则在左目相机的特定位置处为障碍物区域。
具体地，当判断模块530判定纹理区域存在障碍物区域，则说明距离立体相机的特定距离的特定位置处存在障碍物，也就是说，沿着无人机飞行路径，距离无人机的特定距离处具有障碍物。
当判断模块530判定纹理区域中不存在障碍物像素时，则在左目相机的特定位置处为空旷区域。
具体地，当判断模块530判定纹理区域不存在障碍物区域，即为空旷区域，则说明距离立体相机的特定距离的特定位置处不存在障碍物，也就是说，沿着无人机飞行路径，距离无人机的特定距离处不具有障碍物，无人机可以继续沿着当前的飞行路径飞行。
进一步地，判断模块530，还用于：判断所述障碍物像素是否在预设的距离阈值之内；若是，则控制无人机更改航线，使得无人机进行避障；若否，则无人机不需要更改航线。
具体地，判断模块530根据零视差算法的结果，将其分为：零视差的像素和正视差的像素，并结合零视差算法的结果来判断是否要控制所述无人机进行避障。其中，多个所述正视差的像素组成所述障碍物像素，多个所述零视差的像素组成自由像素。
对于对本实施例的进一步改进，无人机障碍物检测装置还可以包括：
设置模块540，用于根据立体相机的基线长度、焦距、分辨率，设置距离阈值。
具体地，双目相机的基线长度、焦距以及所述视差决定了一个阈值，即阈值＝(焦距*基线长度)/视差)，所述阈值即检测距离的上限。
零视差的像素代表该点到相机的距离大于该阈值，即该点到相机的之间被认为空旷区域，此时不用控制无人机更改航线。正视差的像素代表该点到相机的距离小于该阈值，即该点到相机之间的距离被认为存在障碍物，此时要控制无人机更改航线以使得无人机进行避障。
对于对本实施例的进一步改进，无人机障碍物检测装置还可以包括：
躲避路径生成模块550，用于根据自由像素对应的空旷区域，生成躲避障碍物区域的路径。
具体地，当检测存在障碍物时，躲避路径生成模块550重新设置躲避障碍物区域的路径。在自由像素对应的空旷区域中，生成适合的区域作为无人机飞行的路径。
进一步地，躲避路径生成模块550重新生成路径时，需要综合考虑空旷区域的偏差、无人机的姿态等信息。
本实施例提供的无人机障碍物检测装置，通过纹理检测模块510对左目图像进行纹理检测，标记模块520根据纹理检测的结果，标记左目图像中的纹理区域，当判断模块530判定纹理区域中存在障碍物像素时，则在左目相机的特定位置处为障碍物区域，能够在不影响系统有效性的同时，提高了精确性以及系统效率。
实施例四
请参照图6，为本发明另一较佳实施例提供的无人机障碍物检测装置的模块示意图。在第四实施例中，所述的无人机障碍物检测装置是在第三实施例的基础上所作出的进一步改进，区别仅在于，所述装置还包括：
获取模块610，用于获取纹理区域在左目图像中的第一位置。
查找模块620，用于在右目相机获取的右目图像中查找与第一位置对应的第二位置。
匹配模块630，用于匹配第二位置的像素。
具体地，通过获取模块610获取存在纹理区域的像素在左目图像对应的第一位置。在与右目相机获取的右目图像进行匹配时，只需要查找模块620查找第一位置在对应右目图像上的第二位置，并通过匹配模块630匹配第二位置处的像素。
本实施例的无人机障碍物检测装置，通过将左目图像中的纹理区域匹配至右目图像中的对应位置，进一步提高了检测障碍物的精确性和系统效率。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (12)

1.一种无人机障碍物检测方法，应用于短基线立体相机，其特征在于，所述立体相机包括左目相机，通过所述左目相机获取特定位置的左目图像，所述立体相机还包括与所述左目相机相对应的右目相机，所述方法包括：
对左目图像进行纹理检测；
根据所述纹理检测的结果，标记所述左目图像中的纹理区域；获取所述纹理区域在所述左目图像的第一位置；
在所述右目相机获取的右目图像中查找与所述第一位置对应的第二位置；
匹配所述第二位置的像素；
判断所述纹理区域中是否存在障碍物像素；
若是，则在所述左目相机的所述特定位置处为障碍物区域；
所述判断所述纹理区域中是否存在障碍物像素，包括：
判断所述纹理区域中的像素与所述右目图像中相对应的像素的视差是否为零；
若是，则所述纹理区域中的像素为零视差的像素，多个所述零视差的像素组成自由像素；
若否，则所述纹理区域中的像素为正视差的像素，多个所述正视差的像素组成所述障碍物像素。
2.根据权利要求1所述的无人机障碍物检测方法，其特征在于，所述方法还包括：根据所述立体相机的基线长度、焦距、分辨率，设置距离阈值。
3.根据权利要求2所述的无人机障碍物检测方法，其特征在于，所述方法还包括：
判断所述障碍物像素是否在预设的所述距离阈值之内；
若是，则控制无人机更改航线，使得无人机进行避障；
若否，则无人机不需要更改航线。
4.根据权利要求3所述的无人机障碍物检测方法，其特征在于，在所述标记所述左目图像中的纹理区域之后，所述方法还包括：
标记所述左目图像中的均匀区域，所述均匀区域中的像素为存疑像素。
5.根据权利要求4所述的无人机障碍物检测方法，其特征在于，所述标记所述左目图像中的纹理区域和所述均匀区域，包括：
将所述左目图像灰度均匀的区域标记为所述均匀区域，将所述图像灰度有梯度的区域标记为所述纹理区域。
6.根据权利要求1所述的无人机障碍物检测方法，其特征在于，所述方法还包括：
根据所述自由像素对应的空旷区域，生成躲避所述障碍物区域的路径。
7.一种无人机障碍物检测装置，应用于短基线立体相机，其特征在于，立体相机包括左目相机，通过所述左目相机获取特定位置的左目图像，所述立体相机还包括与所述左目相机相对应的右目相机，所述装置包括：
纹理检测模块，用于对左目图像进行纹理检测；
标记模块，用于根据所述纹理检测的结果，标记所述左目图像中的纹理区域；
获取模块，用于获取所述纹理区域在所述左目图像的第一位置；
查找模块，用于在所述右目相机获取的右目图像中查找与所述第一位置对应的第二位置；
匹配模块，用于匹配所述第二位置的像素；
判断模块，用于判断所述纹理区域中是否存在障碍物像素；
若是，则所述判断模块判定在所述左目相机的所述特定位置处为障碍物区域；
所述判断模块，还用于：
判断所述纹理区域中的像素与所述右目图像中相对应的像素的视差是否为零；
若是，则所述纹理区域中的像素为零视差的像素，多个所述零视差的像素组成自由像素；
若否，则所述纹理区域中的像素为正视差的像素，多个所述正视差的像素组成所述障碍物像素。
8.根据权利要求7所述的无人机障碍物检测装置，其特征在于，所述装置还包括：设置模块，用于根据所述立体相机的基线长度、焦距、分辨率，设置距离阈值。
9.根据权利要求8所述的无人机障碍物检测装置，其特征在于，所述判断模块，具体用于：
判断所述障碍物像素是否在预设的所述距离阈值之内；
若是，则控制无人机更改航线，使得无人机进行避障；
若否，则无人机不需要更改航线。
10.根据权利要求9所述的无人机障碍物检测装置，其特征在于，所述装置还包括：所述标记模块，还用于：
标记所述左目图像中的均匀区域，所述均匀区域中的像素为存疑像素。
11.根据权利要求10所述的无人机障碍物检测装置，其特征在于，所述标记模块，具体用于：将所述左目图像灰度均匀的区域标记为所述均匀区域，将所述图像灰度有梯度的区域标记为所述纹理区域。
12.根据权利要求7所述的无人机障碍物检测装置，其特征在于，所述装置还包括：躲避路径生成模块，用于根据所述自由像素对应的空旷区域，生成躲避所述障碍物区域的路径。
CN201611088538.8A 2016-12-01 2016-12-01 无人机障碍物检测方法及装置 Active CN106682584B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201611088538.8A CN106682584B (zh) 2016-12-01 2016-12-01 无人机障碍物检测方法及装置
PCT/CN2017/110622 WO2018099259A1 (zh) 2016-12-01 2017-11-12 无人机障碍物检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611088538.8A CN106682584B (zh) 2016-12-01 2016-12-01 无人机障碍物检测方法及装置

Publications (2)

Publication Number Publication Date
CN106682584A CN106682584A (zh) 2017-05-17
CN106682584B true CN106682584B (zh) 2019-12-20

Family

ID=58866472

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611088538.8A Active CN106682584B (zh) 2016-12-01 2016-12-01 无人机障碍物检测方法及装置

Country Status (2)

Country Link
CN (1) CN106682584B (zh)
WO (1) WO2018099259A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106682584B (zh) * 2016-12-01 2019-12-20 广州亿航智能技术有限公司 无人机障碍物检测方法及装置
CN108985193A (zh) * 2018-06-28 2018-12-11 电子科技大学 一种基于图像检测的无人机航拍人像对准方法
CN110110702A (zh) * 2019-05-20 2019-08-09 哈尔滨理工大学 一种基于改进ssd目标检测网络的无人机规避算法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120056982A1 (en) * 2010-09-08 2012-03-08 Microsoft Corporation Depth camera based on structured light and stereo vision
CN102435174B (zh) * 2011-11-01 2013-04-10 清华大学 基于混合式双目视觉的障碍物检测方法及装置
CN104021388B (zh) * 2014-05-14 2017-08-22 西安理工大学 基于双目视觉的倒车障碍物自动检测及预警方法
US20160054737A1 (en) * 2014-08-22 2016-02-25 Cape Productions Inc. Methods and Apparatus for Unmanned Aerial Vehicle Autonomous Aviation
CN106127788B (zh) * 2016-07-04 2019-10-25 触景无限科技（北京）有限公司 一种视觉避障方法和装置
CN106682584B (zh) * 2016-12-01 2019-12-20 广州亿航智能技术有限公司 无人机障碍物检测方法及装置

Also Published As

Publication number Publication date
CN106682584A (zh) 2017-05-17
WO2018099259A1 (zh) 2018-06-07

Similar Documents

Publication Publication Date Title
CN108444390B (zh) 一种无人驾驶汽车障碍物识别方法及装置
US20220036574A1 (en) System and method for obstacle avoidance
JP6227318B2 (ja) 障害物及び急斜面を検出する検出装置およびそれを備えた車両
US10129521B2 (en) Depth sensing method and system for autonomous vehicles
KR101633620B1 (ko) 영상 기반의 위치 인식을 위한 특징점 등록 장치 및 그 방법
KR20190095592A (ko) 라이다 센서 및 카메라를 이용한 객체 검출 방법 및 그를 위한 장치
EP2887315B1 (en) Camera calibration device, method for implementing calibration, program and camera for movable body
EP3082068B1 (en) Traveling road surface detection device and traveling road surface detection method
CN111612728B (zh) 一种基于双目rgb图像的3d点云稠密化方法和装置
Munoz-Banon et al. Targetless camera-lidar calibration in unstructured environments
CN106682584B (zh) 无人机障碍物检测方法及装置
Kang et al. Accurate fruit localisation using high resolution LiDAR-camera fusion and instance segmentation
JP2017083245A (ja) 建築限界判定装置
CN109727285B (zh) 使用边缘图像的位置和姿态确定方法和系统
Dodge et al. Convex vision-based negative obstacle detection framework for autonomous vehicles
JP2016148956A (ja) 位置合わせ装置、位置合わせ方法及び位置合わせ用コンピュータプログラム
Hamilton et al. A foreground object based quantitative assessment of dense stereo approaches for use in automotive environments
Sui et al. Extrinsic calibration of camera and 3D laser sensor system
CN111724432B (zh) 物体三维检测方法和装置
Krombach et al. Evaluation of stereo algorithms for obstacle detection with fisheye lenses
Iz et al. An image-based path planning algorithm using a UAV equipped with stereo vision
KR101639264B1 (ko) 무인 단말기 제어 방법 및 장치
KR20190103524A (ko) 자율 주행 장치 및 방법
Rahmani et al. Grid-edge-depth map building employing sad with sobel edge detector
JP2017182564A (ja) 位置合わせ装置、位置合わせ方法及び位置合わせ用コンピュータプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant