CN109213138B - 一种避障方法、装置及系统 - Google Patents
一种避障方法、装置及系统 Download PDFInfo
- Publication number
- CN109213138B CN109213138B CN201710551772.8A CN201710551772A CN109213138B CN 109213138 B CN109213138 B CN 109213138B CN 201710551772 A CN201710551772 A CN 201710551772A CN 109213138 B CN109213138 B CN 109213138B
- Authority
- CN
- China
- Prior art keywords
- image
- depth
- value
- pixel point
- obstacles
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000005286 illumination Methods 0.000 abstract description 7
- 238000010586 diagram Methods 0.000 description 15
- 238000012886 linear function Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 10
- 238000004590 computer program Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 230000004888 barrier function Effects 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000003897 fog Substances 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 231100001261 hazardous Toxicity 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0242—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using non-visible light signals, e.g. IR or UV signals
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/0202—Control of position or course in two dimensions specially adapted to aircraft
- G05D1/0204—Control of position or course in two dimensions specially adapted to aircraft to counteract a sudden perturbation, e.g. cross-wind, gust
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
- G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0257—Control of position or course in two dimensions specially adapted to land vehicles using a radar
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Aviation & Aerospace Engineering (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Electromagnetism (AREA)
- Multimedia (AREA)
- Optical Radar Systems And Details Thereof (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种避障方法、装置及系统，所述方法包括：获取可见光相机采集的第一图像和红外TOF相机采集的第二图像；提取所述第一图像和所述第二图像的深度信息，并将所述深度信息进行融合，得到深度图像；根据所述深度图像，确定周围的障碍物，规划路径并避开障碍物。由于在本发明实施例中，同时获取可见光相机采集的第一图像和红外TOF相机采集的第二图像，提取第一图像和第二图像的深度信息，并将所述深度信息进行融合，得到深度图像，根据得到得深度图像，确定周围的障碍物，规划路径并避开障碍物，解决了现有技术无法在光照强度低和/或障碍物纹理较简单时进行规划路径，躲避障碍物的问题，提高了规划路径及避障的适用度。
Description
技术领域
本发明涉及导航技术领域，尤其涉及一种避障方法、装置及系统。
背景技术
随着科学技术的飞速发展，机器人和无人机的应用领域越来越广泛。它们可以在复杂危险的环境下执行各种任务，例如：无人机航拍火灾现场，机器人在震后地区进行搜救等。然而现有无人机和机器人在完成各种任务时，仍然需要人工远程遥控，无人机和机器人并不能在无人控制的情况下在未知的环境下自动确定行驶路径躲避障碍物。
虽然现有技术部分机器人，例如特斯拉的自动驾驶汽车，已经采用双目相机获取深度图像，根据获取的深度图像确定行驶路径。然而这种行驶路径确定方法，只能在光照强度高，障碍物纹理较复杂的情况下使用，在光照强度低和/或障碍物纹理较简单时，双目相机无法获取到准确的深度图像，适用度不高。
发明内容
本发明提供一种避障方法、装置及系统，用以解决现有技术中存在的无法在光照强度较低和/或障碍物纹理较简单时进行规划路径，躲避障碍物的问题。
本发明公开了一种避障方法，所述方法包括：
获取可见光相机采集的第一图像和红外TOF相机采集的第二图像；
提取所述第一图像和所述第二图像的深度信息，并将所述深度信息进行融合，得到深度图像；
根据所述深度图像，确定周围的障碍物，规划路径并避开障碍物。
进一步地，所述提取第一图像和第二图像的深度信息，并将所述深度信息进行融合，得到深度图像包括：
针对第一图像和第二图像对应的每个像素点，根据该像素点在第一图像中的第一深度值和在第二图像中的第二深度值，确定该像素点的第三深度值；
根据每个像素点的第三深度值，确定深度图像。
进一步地，所述针对第一图像和第二图像对应的每个像素点，根据该像素点在第一图像中的第一深度值和在第二图像中的第二深度值，确定该像素点的第三深度值包括：
根据第一图像中每个像素点的像素值，确定第一图像采集时对应的亮度值，和/或根据第一图像中每个像素点的像素邻域的纹理复杂度，确定第一图像的纹理复杂度；
根据所述第一图像的所述亮度值和/或纹理复杂度，确定第一图像对应的第一权重值；
根据所述第一图像对应的第一权重值，确定所述第二图像对应的第二权重值，其中所述第一权重值和第二权重值均大于0小于1，且所述第一权重值和所述第二权重值的和为1；
针对第一图像和第二图像对应的每个像素点，根据该像素点在第一图像中的第一深度值与在第二图像中的第二深度值，及所述第一权重值与所述第二权重值，确定该像素点的第三深度值。
进一步地，所述得到深度图像之后，根据深度图像，确定周围的障碍物，规划路径并避开障碍物之前，所述方法还包括：
判断毫米波雷达获取的距离自身最近的物体的距离是否小于设定的距离阈值；
如果否，根据深度图像，确定周围的障碍物，规划路径并避开障碍物。
进一步地，如果毫米波雷达获取的距离自身最近的物体的距离小于设定的距离阈值，所述方法还包括：
判断所述亮度值是否大于设定的亮度阈值；
如果否，根据深度图像，确定周围的障碍物，规划路径并避开障碍物；
如果是，判断第一图像的纹理复杂度是否大于设定的纹理复杂度阈值，如果否，进行刹车操作，如果是，根据深度图像，确定周围障碍物，规划路径并避开障碍物。
进一步地，根据深度图像，确定周围的障碍物，规划路径并避开障碍物包括：
将所述深度图像二值化，根据像素值为1的像素点，确定周围的障碍物，规划路径并避开障碍物。
本发明实施例公开了一种避障装置，所述装置包括：
获取模块，用于获取可见光相机采集的第一图像和红外飞行时间TOF相机采集的第二图像；
处理模块，用于提取所述第一图像和所述第二图像的深度信息，并将所述深度信息进行融合，得到深度图像；
路径规划模块，用于根据所述深度图像，确定周围的障碍物，规划路径并避开障碍物。
进一步地，所述处理模块，具体用于针对第一图像和第二图像对应的每个像素点，根据该像素点在第一图像中的第一深度值和在第二图像中的第二深度值，确定该像素点的第三深度值；根据每个像素点的第三深度值，确定深度图像。
进一步地，所述处理模块，具体用于根据第一图像中每个像素点的像素值，确定第一图像采集时对应的亮度值，和/或根据第一图像中每个像素点的像素邻域的纹理复杂度，确定第一图像的纹理复杂度；根据所述第一图像的所述亮度值和/或纹理复杂度，确定第一图像对应的第一权重值；根据所述第一图像对应的第一权重值，确定所述第二图像对应的第二权重值，其中所述第一权重值和第二权重值均大于0小于1，且所述第一权重值和所述第二权重值的和为1；针对第一图像和第二图像对应的每个像素点，根据该像素点在第一图像中的第一深度值与在第二图像中的第二深度值，及所述第一权重值与所述第二权重值，确定该像素点的第三深度值。
进一步地，所述装置还包括：
第一判断模块，用于判断毫米波雷达获取的距离自身最近的物体的距离是否小于设定的距离阈值；如果判断结果为否，触发路径规划模块。
进一步地，所述装置还包括：
第二判断模块，用于如果第一判断模块的判断结果为是，判断所述亮度值是否大于设定的亮度阈值；如果判断结果为否，触发路径规划模块；如果判断结果为是，判断第一图像的纹理复杂度是否大于设定的纹理复杂度阈值，如果判断结果为否，进行刹车操作，如果判断结果为是，触发路径规划模块。
进一步地，所述路径规划模块，具体用于将所述深度图像二值化，根据像素值为1的像素点，确定周围的障碍物，规划路径并避开障碍物。
本发明公开了一种避障系统，所述避障系统包括上述的应用于控制设备的避障装置，及向控制设备发送第一图像的可见光相机，向控制设备发送第二图像的红外TOF相机。
本发明公开了一种避障方法、装置及系统，所述方法包括：获取可见光相机采集的第一图像和红外TOF相机采集的第二图像；提取所述第一图像和所述第二图像的深度信息，并将所述深度信息进行融合，得到深度图像；根据所述深度图像，确定周围的障碍物，规划路径并避开障碍物。由于在本发明实施例中，同时获取可见光相机采集的第一图像和红外TOF相机采集的第二图像，提取第一图像和第二图像的深度信息，并将所述深度信息进行融合，得到深度图像，根据得到得深度图像，确定周围的障碍物，规划路径并避开障碍物，解决了现有技术无法在光照强度低和/或障碍物纹理较简单时进行规划路径，躲避障碍物的问题，提高了规划路径及避障的适用度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例1提供的一种避障过程示意图；
图2为本发明实施例3提供的一种避障过程示意图；
图3为本发明实施例5提供的一种避障装置结构示意图；
图4为本发明实施例6提供的一种避障系统结构示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图本申请作进一步地详细描述，显然，所描述的实施例仅仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
实施例1：
图1为本发明实施例提供的一种避障过程示意图，该过程包括：
S101：获取可见光相机采集的第一图像和红外TOF相机采集的第二图像。
本发明实施例提供的避障方法应用于具有行驶或飞行功能的汽车、地面机器人、无人机等设备，并且所述设备上携带有可见光相机和红外飞行时间(Time of flight，TOF)相机，用于在行驶或飞行过程中实时采集设备周围的图像。
在本发明实施例中，可见光相机采集的第一图像为深度图像，具体采集过程如下：如果可见光相机为单目相机，可见光相机根据采集的当前帧图像及当前帧图像的上一帧图像，确定采集的第一图像，也可以根据采集的当前帧图像及当前帧图像之前设定数量帧的图像，确定采集的第一图像；另外如果可见光相机为双目相机或者多目相机(镜头的数量大于二)，根据双目相机或者多目相机同一时刻每个镜头获取到的图像，确定采集的第一图像；红外TOF相机是一种非接触式光学传感器，其工作原理是发出经调制的近红外光，遇物体后反射，通过计算光线发射和反射时间差或相位差，来换算被拍摄物体的距离，以产生深度信息，从而获取深度图像，因此红外TOP相机不受物体表面灰度和纹理特征的影响，可以准确的进行深度的三维探测，并且红外TOF相机获取的第二图像是深度图像，可以直接将获取红外TOF相机采集的图像作为第二图像。在本发明实施例中，根据单目相机确定深度图像，及根据双目相机或者多目相机确定深度图像是现有技术，不再进行赘述。
S102：提取所述第一图像和所述第二图像的深度信息，并将所述深度信息进行融合，得到深度图像。
具体的，可以采用金字塔变换法，分别提取第一图像和第二图像中的高频信息和低频信息，将第一图像中和第二图像中的高频信息进行融合，将第一图像和第二图像中的低频信息进行融合，从而将第一图像和第二图像的深度信息进行融合，并根据融合后的高频信息和低频信息进行图像重构，得到深度图像。当然了也可以采取图像代数法、数学形态法等方法将第一图像和第二图像的深度信息进行融合，得到深度图像。
S103：根据所述深度图像，确定周围的障碍物，规划路径并避开障碍物。
具体的，针对所述深度图像，可以采用深度图像分割算法，如阈值分割算法、边缘检测算法、均值漂移(Mean shift)深度图像分割算法，在深度图像中提取障碍物，从而确定设备周围的障碍物，使得设备在行驶或者飞行过程中根据该设备周围的障碍物重新规划路径，避开障碍物。
另外，在确定周围的障碍物时，也可以根据所述深度图像，建立三维模型，在三维模型中识别设备周围的障碍物。
由于在本发明实施例中，同时获取可见光相机采集的第一图像和红外TOF相机采集的第二图像，提取第一图像和第二图像的深度信息，并将所述深度信息进行融合，得到深度图像，根据得到得深度图像，确定周围的障碍物，规划路径并避开障碍物，解决了现有技术无法在光照强度低和/或障碍物纹理较简单时进行规划路径，躲避障碍物的问题，提高了规划路径及避障的适用度。
实施例2：
为了保证路径规划的准确性，并准确的避开障碍物，在上述各实施例的基础上，在本发明实施例中，所述提取第一图像和第二图像的深度信息，并将所述深度信息进行融合，得到深度图像包括：
针对第一图像和第二图像对应的每个像素点，根据该像素点在第一图像中的第一深度值和在第二图像中的第二深度值，确定该像素点的第三深度值；
根据每个像素点的第三深度值，确定深度图像。
在本发明实施例中，针对第一图像预设有第一权重值，针对第二图像预设有第二权重值，并且所述第一权重值和所述第二权重值均大于零，例如第一权重值为0.5、第二权重值为0.5。针对第一图像和第二图像对应的每个像素点，根据该像素点在第一图像中的第一深度值与预设的第一权重值的积，与该像素点在第二图像中的第二深度值与预设的第二权重值的积的和，作为该像素点的第三深度值，并根据每个像素点的第三深度值，确定深度图像。
为了保证确定的深度图像的准确性，以提高规划路径及避开障碍物的精度，在上述各实施例的基础上，在本发明实施例中，所述针对第一图像和第二图像对应的每个像素点，根据该像素点在第一图像中的第一深度值和在第二图像中的第二深度值，确定该像素点的第三深度值包括：
根据第一图像中每个像素点的像素值，确定第一图像采集时对应的亮度值，和/或根据第一图像中每个像素点的像素邻域的纹理复杂度，确定第一图像的纹理复杂度；
根据所述第一图像的所述亮度值和/或纹理复杂度，确定第一图像对应的第一权重值；
根据所述第一图像对应的第一权重值，确定所述第二图像对应的第二权重值，其中所述第一权重值和第二权重值均大于0小于1，且所述第一权重值和所述第二权重值的和为1；
针对第一图像和第二图像对应的每个像素点，根据该像素点在第一图像中的第一深度值与在第二图像中的第二深度值，及所述第一权重值与所述第二权重值，确定该像素点的第三深度值。
可见光相机是一种被动式的深度成像传感器，采集的深度图像的准确性受采集环境的亮度值和采集的物体的纹理复杂度的影响，并且随着采集环境的亮度值和纹理复杂度的降低，采集的深度图像的准确性下降；红外TOF相机是一种主动式的深度图像传感器，通过向被测物体发送红外光，并接收被测物体反射的红外光，获取深度图像，但是随着采集环境的亮度值的增加，采集环境中干扰的红外光也会随之增加，导致红外TOF相机采集的深度图像随着采集环境的亮度值增加，准确性下降。
在本发明实施例中，为了保证深度图像的准确性，根据图像采集环境的亮度值和/或物体的纹理复杂度，确定第一图像和第二图像在进行深度信息融合时分别对应的权重值。
具体的，对于第一图像采集时亮度值的获取，可以根据第一图像中每个像素点的像素值，确定第一图像中每个像素点对应的亮度值，并将该第一图像中像素点对应的亮度值的平均值作为第一图像采集时对应的亮度值。另外为了保证采集的亮度值的准确性，也可以在具有行驶或飞行功能的设备上设置亮度传感器用于获取亮度值。对于第一图像的纹理复杂度的获取，可以将第一图像中每个像素点的设定像素邻域对应的图像熵和边缘信息的值按照设定的权重系数加权求和后，作为第一图像中该像素点对应的纹理复杂度，并将第一图像中每个像素点对应的纹理复杂的均值作为第一图像的纹理复杂度。
在本发明实施例中，可以根据第一图像采集时对应的亮度值确定第一图像对应的第一权重值，例如：可以设置关于亮度值的一次函数，根据亮度值的一次函数的值，确定第一图像对应的第一权重值，其中在亮度值的一次函数中，随着亮度值的增加，根据亮度值的一次函数的值确定的第一图像对应的第一权重值也增加，当然也可以针对亮度值设定不同的亮度值区间，并针对不同的亮度值区间设置不同的权重值，根据第一图像采集时对应的亮度值所在的亮度值区间对应的权重值，确定第一图像对应的第一权重值，并可以根据1与所述第一权重值的差值，确定第二图像对应的第二权重值。
另外，也可以根据第一图像的纹理复杂度确定第一图像对应的第二权重值，例如：可以设置关于纹理复杂度的一次函数，根据纹理复杂度的一次函数的值，确定第一图像对应的第一权重值，其中在纹理复杂度的一次函数中，随着纹理复杂度的增加，根据纹理复杂度的一次函数的值确定的第一图像对应的第一权重值也增加，当然也可以针对纹理复杂度设定不同的纹理复杂度区间，并针对不同的纹理复杂度区间设置不同的权重值，根据第一图像采集时对应的亮度值所在的纹理复杂度区间对应的权重值，确定第一图像对应的第一权重值并可以根据1与所述第一权重值的差值，确定第二图像对应的第二权重值。
较佳的，可以同时根据第一图像采集时对应的亮度值和第一图像的纹理复杂度，确定第一图像对应的第一权重值，例如：可以设置关于亮度值和纹理复杂度的一次函数z＝ax+by+c，其中z表示第一权重值、x表示亮度值、y表示纹理复杂度、a表示亮度值对应的系数、b表示纹理复杂度对应的系数、c为预设的常数，其中a、b均大于零，并且当x和y均为其取值区间对应的最小值时，z的取值不小于零，当x和y均为其取值区间对应的最大值时，z的取值不大于1。根据亮度值和纹理复杂度的一次函数的值，确定第一图像对应的第一权重值，并根据1与所述第一权重值的差值，确定第二图像对应的第二权重值。
当然了也可以针对亮度值和纹理复杂度，设置不同的对应亮度值和纹理复杂度的区间，并针对不同的亮度值和纹理复杂度的区间设置不同的权重值，根据第一图像采集时对应的亮度值，及第一图像的纹理复杂度对应的亮度值和纹理复杂度的区间对应的权重值，确定第一图像对应的第一权重值，并可以根据1与所述第一权重值的差值，确定第二图像对应的第二权重值。
为保证融合后的图像的深度信息的准确性，在本发明实施例中，所述第一权重值和第二权重值均大于0小于1，且所述第一权重值和所述第二权重值的和为1。确定第一权重值和第二权重值后，针对第一图像和第二图像对应的每个像素点，根据该像素点在第一图像中的第一深度值与第一权重值的积，与该像素点在第二图像中的第二深度值与第二权重值的积的和，确定该像素点的第三权重值。
实施例3：
为了避免具有行驶或飞行功能的设备在行驶或飞行过程中与障碍物发生碰撞，在上述各实施例的基础上，在本发明实施例中，所述得到深度图像之后，根据深度图像，确定周围的障碍物，规划路径并避开障碍物之前，所述方法还包括：
判断毫米波雷达获取的距离自身最近的物体的距离是否小于设定的距离阈值；
如果否，根据深度图像，确定周围的障碍物，规划路径并避开障碍物。
毫米波雷达虽然只能获取障碍物的点状信息，无法提供障碍物的角度、面积等信息，但是毫米波雷达具有穿透雾、烟、灰尘的能力强，全天候全时段工作的特点，不易受外界环境干扰。在本发明实施例中，为了避免发生碰撞，在根据深度图像，确定周围的障碍物，规划路径并避开障碍物之前，判断毫米波雷达获取的距离自身最近的物体的距离是否小于设定的距离阈值，如果否，说明距离障碍物的距离大于安全距离，进行后续根据深度图像，确定周围的障碍物，规划路径并避开障碍物的步骤。
如果毫米波雷达获取的距离自身最近的物体的距离小于设定的距离阈值，说明距离障碍物的距离小于安全距离，所述方法还包括：
判断第一图像采集时对应的亮度值是否大于设定的亮度阈值；
如果否，根据深度图像，确定周围的障碍物，规划路径并避开障碍物；
如果是，判断第一图像的纹理复杂度是否大于设定的纹理复杂度阈值，如果否，进行刹车操作，如果是，根据深度图像，确定周围障碍物，规划路径并避开障碍物。
具体的，如果毫米波雷达获取的距离自身最近的物体的距离小于设定的距离阈值，判断所述亮度值是否大于设定的亮度阈值，如果所述亮度值不大于设定的亮度阈值，说明红外TOF相机获取的第二图像的深度信息准确，确定的深度图像准确，进行根据所述深度图像，确定周围的障碍物，规划路径并避开障碍物的步骤；如果所述亮度值大于设定的亮度阈值，说明红外TOF相机获取的第二图像的深度信息不准确，判断第一图像的纹理复杂度是否大于设定的纹理复杂度阈值，如果是，说明可见光相机获取的第一图像的深度信息准确，确定的深度图像准确，进行根据所述深度图像，确定周围的障碍物，规划路径并避开障碍物的步骤，如果否，说明可见光相机获取的第一图像的深度信息也不准确，确定的深度图像也不准确，进行刹车操作，防止与障碍物发生碰撞。
图2为本发明实施例提供的一种避障过程示意图，该过程包括：
S201：获取可见光相机采集的第一图像和红外TOF相机采集的第二图像。
S202：提取所述第一图像和所述第二图像的深度信息，并将所述深度信息进行融合，得到深度图像。
S203：判断毫米波雷达获取的距离自身最近的物体的距离是否小于设定的距离阈值，如果是，进行S204，如果否，进行S207。
S204：判断第一图像采集时对应的亮度值是否大于设定的亮度阈值，如果是，进行S205，如果否，进行S207。
S205：判断第一图像的纹理复杂度是否大于设定的纹理复杂度阈值，如果否，进行S206，如果是，进行S207。
S206：进行刹车操作。
S207：根据深度图像，确定周围障碍物，规划路径并避开障碍物。
实施例4：
为了便于对障碍物的躲避，及路径的规划，根据深度图像，确定周围的障碍物，规划路径并避开障碍物包括：
将所述深度图像二值化，根据像素值为1的像素点，确定周围的障碍物，规划路径并避开障碍物。
具体的，将所述深度图像进行二值化处理，其中二值化后的图像中像素值为1的像素点存在障碍物，像素值为1的像素点不存在障碍物，根据二值化后的图像中像素值为1的像素点确定周围的障碍物，规划路径并避开障碍物。
实施例5：
图3为本发明实施例提供的一种避障装置结构示意图，所述装置包括：
获取模块31，用于获取可见光相机采集的第一图像和红外飞行时间TOF相机采集的第二图像；
处理模块32，用于提取所述第一图像和所述第二图像的深度信息，并将所述深度信息进行融合，得到深度图像；
路径规划模块33，用于根据所述深度图像，确定周围的障碍物，规划路径并避开障碍物。
所述处理模块32，具体用于针对第一图像和第二图像对应的每个像素点，根据该像素点在第一图像中的第一深度值和在第二图像中的第二深度值，确定该像素点的第三深度值；根据每个像素点的第三深度值，确定深度图像。
所述处理模块32，具体用于根据第一图像中每个像素点的像素值，确定第一图像采集时对应的亮度值，和/或根据第一图像中每个像素点的像素邻域的纹理复杂度，确定第一图像的纹理复杂度；根据所述第一图像的所述亮度值和/或纹理复杂度，确定第一图像对应的第一权重值；根据所述第一图像对应的第一权重值，确定所述第二图像对应的第二权重值，其中所述第一权重值和第二权重值均大于0小于1，且所述第一权重值和所述第二权重值的和为1；针对第一图像和第二图像对应的每个像素点，根据该像素点在第一图像中的第一深度值与在第二图像中的第二深度值，及所述第一权重值与所述第二权重值，确定该像素点的第三深度值。
所述装置还包括：
第一判断模块34，用于判断毫米波雷达获取的距离自身最近的物体的距离是否小于设定的距离阈值；如果判断结果为否，触发路径规划模块。
所述装置还包括：
第二判断模块35，用于如果第一判断模块的判断结果为是，判断所述亮度值是否大于设定的亮度阈值；如果判断结果为否，触发路径规划模块；如果判断结果为是，判断第一图像的纹理复杂度是否大于设定的纹理复杂度阈值，如果判断结果为否，进行刹车操作，如果判断结果为是，触发路径规划模块。
所述路径规划模块33，具体用于将所述深度图像二值化，根据像素值为1的像素点，确定周围的障碍物，规划路径并避开障碍物。
实施例6：
图4为本发明实施例提供的一种避障系统结构示意图，所述避障系统包括应用于控制设备41的上述避障装置，及向控制设备41发送第一图像的可见光相机42，向控制设备41发送第二图像的红外TOF相机43。
本发明公开了一种避障方法、装置及系统，所述方法包括：获取可见光相机采集的第一图像和红外TOF相机采集的第二图像；提取所述第一图像和所述第二图像的深度信息，并将所述深度信息进行融合，得到深度图像；根据所述深度图像，确定周围的障碍物，规划路径并避开障碍物。由于在本发明实施例中，同时获取可见光相机采集的第一图像和红外TOF相机采集的第二图像，提取第一图像和第二图像的深度信息，并将所述深度信息进行融合，得到深度图像，根据得到得深度图像，确定周围的障碍物，规划路径并避开障碍物，解决了现有技术无法在光照强度低和/或障碍物纹理较简单时进行规划路径，躲避障碍物的问题，提高了规划路径及避障的适用度。
对于系统/装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (9)
1.一种避障方法，其特征在于，所述方法包括：
获取可见光相机采集的第一图像和红外TOF相机采集的第二图像；
提取所述第一图像和所述第二图像的深度信息，并将所述深度信息进行融合，得到深度图像；
根据所述深度图像，确定周围的障碍物，规划路径并避开障碍物；
其中，所述提取第一图像和第二图像的深度信息，并将所述深度信息进行融合，得到深度图像包括：
针对第一图像和第二图像对应的每个像素点，根据该像素点在第一图像中的第一深度值和在第二图像中的第二深度值，确定该像素点的第三深度值；
根据每个像素点的第三深度值，确定深度图像；
所述针对第一图像和第二图像对应的每个像素点，根据该像素点在第一图像中的第一深度值和在第二图像中的第二深度值，确定该像素点的第三深度值包括：
根据第一图像中每个像素点的像素值，确定第一图像采集时对应的亮度值，和/或根据第一图像中每个像素点的像素邻域的纹理复杂度，确定第一图像的纹理复杂度；
根据所述第一图像的所述亮度值和/或纹理复杂度，确定第一图像对应的第一权重值；
根据所述第一图像对应的第一权重值，确定所述第二图像对应的第二权重值，其中所述第一权重值和第二权重值均大于0小于1，且所述第一权重值和所述第二权重值的和为1；
针对第一图像和第二图像对应的每个像素点，根据该像素点在第一图像中的第一深度值与在第二图像中的第二深度值，及所述第一权重值与所述第二权重值，确定该像素点的第三深度值。
2.如权利要求1所述的方法，其特征在于，所述得到深度图像之后，根据深度图像，确定周围的障碍物，规划路径并避开障碍物之前，所述方法还包括：
判断毫米波雷达获取的距离自身最近的物体的距离是否小于设定的距离阈值；
如果否，根据深度图像，确定周围的障碍物，规划路径并避开障碍物。
3.如权利要求2所述的方法，其特征在于，如果毫米波雷达获取的距离自身最近的物体的距离小于设定的距离阈值，所述方法还包括：
判断所述亮度值是否大于设定的亮度阈值；
如果否，根据深度图像，确定周围的障碍物，规划路径并避开障碍物；
如果是，判断第一图像的纹理复杂度是否大于设定的纹理复杂度阈值，如果否，进行刹车操作，如果是，根据深度图像，确定周围障碍物，规划路径并避开障碍物。
4.如权利要求1所述的方法，其特征在于，根据深度图像，确定周围的障碍物，规划路径并避开障碍物包括：
将所述深度图像二值化，根据像素值为1的像素点，确定周围的障碍物，规划路径并避开障碍物。
5.一种避障装置，其特征在于，所述装置包括：
获取模块，用于获取可见光相机采集的第一图像和红外飞行时间TOF相机采集的第二图像；
处理模块，用于提取所述第一图像和所述第二图像的深度信息，并将所述深度信息进行融合，得到深度图像；
路径规划模块，用于根据所述深度图像，确定周围的障碍物，规划路径并避开障碍物；
其中，所述处理模块，具体用于针对第一图像和第二图像对应的每个像素点，根据该像素点在第一图像中的第一深度值和在第二图像中的第二深度值，确定该像素点的第三深度值；根据每个像素点的第三深度值，确定深度图像；
所述处理模块，具体用于根据第一图像中每个像素点的像素值，确定第一图像采集时对应的亮度值，和/或根据第一图像中每个像素点的像素邻域的纹理复杂度，确定第一图像的纹理复杂度；根据所述第一图像的所述亮度值和/或纹理复杂度，确定第一图像对应的第一权重值；根据所述第一图像对应的第一权重值，确定所述第二图像对应的第二权重值，其中所述第一权重值和第二权重值均大于0小于1，且所述第一权重值和所述第二权重值的和为1；针对第一图像和第二图像对应的每个像素点，根据该像素点在第一图像中的第一深度值与在第二图像中的第二深度值，及所述第一权重值与所述第二权重值，确定该像素点的第三深度值。
6.如权利要求5所述的装置，其特征在于，所述装置还包括：
第一判断模块，用于判断毫米波雷达获取的距离自身最近的物体的距离是否小于设定的距离阈值；如果判断结果为否，触发路径规划模块。
7.如权利要求6所述的装置，其特征在于，所述装置还包括：
第二判断模块，用于如果第一判断模块的判断结果为是，判断所述亮度值是否大于设定的亮度阈值；如果判断结果为否，触发路径规划模块；如果判断结果为是，判断第一图像的纹理复杂度是否大于设定的纹理复杂度阈值，如果判断结果为否，进行刹车操作，如果判断结果为是，触发路径规划模块。
8.如权利要求5所述的装置，其特征在于，所述路径规划模块，具体用于将所述深度图像二值化，根据像素值为1的像素点，确定周围的障碍物，规划路径并避开障碍物。
9.一种避障系统，其特征在于，所述避障系统包括如权利要求5-8任一项所述的应用于控制设备的所述避障装置，及向所述控制设备发送第一图像的可见光相机，向所述控制设备发送第二图像的红外TOF相机。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710551772.8A CN109213138B (zh) | 2017-07-07 | 2017-07-07 | 一种避障方法、装置及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710551772.8A CN109213138B (zh) | 2017-07-07 | 2017-07-07 | 一种避障方法、装置及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109213138A CN109213138A (zh) | 2019-01-15 |
| CN109213138B true CN109213138B (zh) | 2021-09-14 |
Family
ID=64991124
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710551772.8A Expired - Fee Related CN109213138B (zh) | 2017-07-07 | 2017-07-07 | 一种避障方法、装置及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109213138B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110688913B (zh) * | 2019-09-09 | 2022-11-11 | 苏州臻迪智能科技有限公司 | 一种基于智能设备的障碍物检测方法及装置 |
| WO2021087812A1 (zh) * | 2019-11-06 | 2021-05-14 | Oppo广东移动通信有限公司 | 图像的深度值的确定方法、图像处理器以及模组 |
| CN110816522B (zh) * | 2019-11-12 | 2021-02-23 | 深圳创维数字技术有限公司 | 车辆姿态的控制方法、设备及计算机可读存储介质 |
| CN112000123B (zh) * | 2020-07-20 | 2023-03-14 | 南京信息工程大学 | 一种旋翼无人机避障控制系统及其控制方法 |
| CN111991198A (zh) * | 2020-08-14 | 2020-11-27 | 天津唯拓科技有限责任公司 | 头戴式避障设备的控制方法与头戴式避障设备 |
| CN112927281B (zh) * | 2021-04-06 | 2024-07-02 | Oppo广东移动通信有限公司 | 深度检测方法、深度检测装置、存储介质与电子设备 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101640809A (zh) * | 2009-08-17 | 2010-02-03 | 浙江大学 | 一种融合运动信息与几何信息的深度提取方法 |
| CN101661611A (zh) * | 2009-09-25 | 2010-03-03 | 西安电子科技大学 | 基于贝叶斯非局部均值滤波器的实现方法 |
| CN102682446A (zh) * | 2011-01-28 | 2012-09-19 | 索尼公司 | 使用自适应联合双边滤波器生成稠密深度图的设备和方法 |
| CN104081780A (zh) * | 2012-01-31 | 2014-10-01 | 索尼公司 | 图像处理装置和图像处理方法 |
| CN104395931A (zh) * | 2012-11-07 | 2015-03-04 | 皇家飞利浦有限公司 | 图像的深度图的生成 |
| CN105279736A (zh) * | 2014-07-21 | 2016-01-27 | 由田新技股份有限公司 | 产生深度图像的方法及其系统 |
| CN105425803A (zh) * | 2015-12-16 | 2016-03-23 | 纳恩博（北京）科技有限公司 | 自主避障方法、装置和系统 |
| CN105866779A (zh) * | 2016-04-06 | 2016-08-17 | 浙江大学 | 基于双目相机与毫米波雷达的可穿戴避障装置及避障方法 |
| WO2016160930A1 (en) * | 2015-03-30 | 2016-10-06 | Google Inc. | Imager for detecting visual light and infrared projected patterns |
| CN106227218A (zh) * | 2016-09-27 | 2016-12-14 | 深圳乐行天下科技有限公司 | 一种智能移动设备的导航避障方法及装置 |
-
2017
- 2017-07-07 CN CN201710551772.8A patent/CN109213138B/zh not_active Expired - Fee Related
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101640809A (zh) * | 2009-08-17 | 2010-02-03 | 浙江大学 | 一种融合运动信息与几何信息的深度提取方法 |
| CN101661611A (zh) * | 2009-09-25 | 2010-03-03 | 西安电子科技大学 | 基于贝叶斯非局部均值滤波器的实现方法 |
| CN102682446A (zh) * | 2011-01-28 | 2012-09-19 | 索尼公司 | 使用自适应联合双边滤波器生成稠密深度图的设备和方法 |
| CN104081780A (zh) * | 2012-01-31 | 2014-10-01 | 索尼公司 | 图像处理装置和图像处理方法 |
| CN104395931A (zh) * | 2012-11-07 | 2015-03-04 | 皇家飞利浦有限公司 | 图像的深度图的生成 |
| CN105279736A (zh) * | 2014-07-21 | 2016-01-27 | 由田新技股份有限公司 | 产生深度图像的方法及其系统 |
| WO2016160930A1 (en) * | 2015-03-30 | 2016-10-06 | Google Inc. | Imager for detecting visual light and infrared projected patterns |
| CN105425803A (zh) * | 2015-12-16 | 2016-03-23 | 纳恩博（北京）科技有限公司 | 自主避障方法、装置和系统 |
| CN105866779A (zh) * | 2016-04-06 | 2016-08-17 | 浙江大学 | 基于双目相机与毫米波雷达的可穿戴避障装置及避障方法 |
| CN106227218A (zh) * | 2016-09-27 | 2016-12-14 | 深圳乐行天下科技有限公司 | 一种智能移动设备的导航避障方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109213138A (zh) | 2019-01-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109213138B (zh) | 一种避障方法、装置及系统 | |
| CN110988912B (zh) | 自动驾驶车辆的道路目标与距离检测方法、系统、装置 | |
| Reina et al. | Ambient awareness for agricultural robotic vehicles | |
| CA2950791C (en) | Binocular visual navigation system and method based on power robot | |
| CN110674705B (zh) | 基于多线激光雷达的小型障碍物检测方法及装置 | |
| WO2018020954A1 (ja) | 機械学習用データベース作成システム | |
| CN111192295A (zh) | 目标检测与跟踪方法、相关设备和计算机可读存储介质 | |
| Rodríguez Flórez et al. | Multi-modal object detection and localization for high integrity driving assistance | |
| CN109946703B (zh) | 一种传感器姿态调整方法及装置 | |
| WO2020029706A1 (zh) | 一种伪车道线剔除方法及装置 | |
| CN109444916A (zh) | 一种无人驾驶可行驶区域确定装置及方法 | |
| EP3555854B1 (en) | A method of tracking objects in a scene | |
| Reina et al. | Traversability analysis for off-road vehicles using stereo and radar data | |
| WO2023070113A1 (en) | Validating an sfm map using lidar point clouds | |
| Omar et al. | Detection and localization of traffic lights using YOLOv3 and Stereo Vision | |
| CN114675295A (zh) | 一种障碍物判定的方法、装置、设备及存储介质 | |
| CN114084129A (zh) | 一种基于融合的车辆自动驾驶控制方法及系统 | |
| CN117690081A (zh) | 基于多模态数据融合的安全带检测方法及装置 | |
| CN112733678A (zh) | 测距方法、装置、计算机设备和存储介质 | |
| EP3416094B1 (en) | Information processing apparatus, information processing method, and computer readable medium | |
| Rana et al. | Comparative study of Automotive Sensor technologies used for Unmanned Driving | |
| Pfeiffer et al. | Ground truth evaluation of the Stixel representation using laser scanners | |
| Bhatlawande et al. | LIDAR based Detection of Small Vehicles | |
| CN112651405B (zh) | 目标检测方法及装置 | |
| Overbye et al. | Radar-Only Off-Road Local Navigation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address | ||
| CP03 | Change of name, title or address |
Address after: 264200 Zone E, blue venture Valley, No. 40, Yangguang Road, Nanhai new area, Weihai City, Shandong Province Patentee after: Zhendi Technology Co.,Ltd. Address before: 100086 3rd floor, block a, Zhizhen building, 7 Zhichun Road, Haidian District, Beijing Patentee before: POWERVISION TECH Inc. |
|
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20210914 |