CN109426277B - 移动轨迹规划的方法及装置 - Google Patents
移动轨迹规划的方法及装置 Download PDFInfo
- Publication number
- CN109426277B CN109426277B CN201710763234.5A CN201710763234A CN109426277B CN 109426277 B CN109426277 B CN 109426277B CN 201710763234 A CN201710763234 A CN 201710763234A CN 109426277 B CN109426277 B CN 109426277B
- Authority
- CN
- China
- Prior art keywords
- linear
- depth
- determining
- linear obstacle
- moving object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 75
- 230000004888 barrier function Effects 0.000 claims abstract description 19
- 230000008569 process Effects 0.000 claims abstract description 19
- 238000012216 screening Methods 0.000 claims description 23
- 238000004422 calculation algorithm Methods 0.000 claims description 16
- 238000012937 correction Methods 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 14
- 238000003708 edge detection Methods 0.000 claims description 13
- 238000000605 extraction Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 description 16
- 238000010586 diagram Methods 0.000 description 9
- 238000012545 processing Methods 0.000 description 8
- 230000001629 suppression Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 6
- 238000001914 filtration Methods 0.000 description 5
- 230000009466 transformation Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/12—Target-seeking control
Landscapes
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例提供了一种移动轨迹规划的方法及装置，其中所述方法包括：获取目标图像数据；提取所述目标图像数据中的所有直线；分别计算所述直线的倾斜角，并将倾斜角位于预设倾斜阈值范围内的直线确定为线状障碍物；基于所述线状障碍物实时规划移动物体的移动轨迹，以使得所述移动物体在移动过程中避开所述线状障碍物。本发明实施例可以准确识别线状障碍物，使得移动物体在移动过程中避开线状障碍物，防止移动物体撞到线状障碍物或者进入线状障碍物的夹角区域造成损坏。
Description
技术领域
本发明涉及图片处理技术领域，特别是涉及一种移动轨迹规划的方法、一种移动轨迹规划的装置、一种移动物体以及一种计算机可读存储介质。
背景技术
无人驾驶飞机简称无人机(Unmanned Aerial Vehicle，简称UAV)，是一种不载人飞机。无人机的用途广泛，经常被应用于植保、城市管理、地质、气象、电力、抢险救灾、视频拍摄等行业。
无人机在作业时，无论是测绘还是植保，在工作期间需要避障。但是在实际作业时，田里会出现大量的斜拉线，树枝等线状障碍物，由于线状障碍物具有目标不明显、细且长的特点，在实际作业时往往难以识别，不利于无人机的避障处理，比如斜拉线与电线杆是成一定角度的，若无人机不小心进入该夹角区域内容易造成损坏。
发明内容
鉴于上述问题，提出了本发明实施例以便提供一种克服上述问题或者至少部分地解决上述问题的一种移动轨迹规划的方法和相应的一种移动轨迹规划的装置、一种移动物体以及一种计算机可读存储介质。
为了解决上述问题，本发明实施例公开了一种移动轨迹规划的方法，所述方法包括：
获取目标图像数据；
提取所述目标图像数据中的所有直线；
分别计算所述直线的倾斜角，并将倾斜角位于预设倾斜阈值范围内的直线确定为线状障碍物；
基于所述线状障碍物实时规划移动物体的移动轨迹，以使得所述移动物体在移动过程中避开所述线状障碍物。
优选地，在所述基于所述线状障碍物实时规划移动物体的移动轨迹的步骤之前，还包括：
确定所述线状障碍物的景深信息；
基于所述景深信息，筛选出距离移动物体最近的线状障碍物。
优选地，所述基于所述线状障碍物实时规划移动物体的移动轨迹的步骤包括：
基于所述倾斜角确定所述线状障碍物的形状信息；
基于所述线状障碍物的景深信息确定所述线状障碍物与移动物体之间的距离信息；
基于所述距离信息和所述形状信息实时规划移动物体的移动轨迹。
优选地，所述目标图像数据包括左视图以及右视图，所述获取目标图像数据的步骤包括：
采用预先标定好的双目摄像头对拍摄场景进行拍摄，获得左视图以及右视图。
优选地，在所述获取目标图像数据的步骤之后，还包括：
采用标定参数对所述左视图以及所述右视图进行极线校正。
优选地，所述提取所述目标图像数据中的所有直线的步骤包括：
对所述左视图和右视图中任意一个视图进行边缘检测，获得该视图的边缘的二值化图像；
采用霍夫变换算法，从所述二值化图像中提取直线。
优选地，所述确定所述线状障碍物的景深信息的步骤包括：
将所述左视图与所述右视图进行特征匹配；
基于所述匹配的结果获取视差图；
基于所述视差图，确定深度图；
确定所述线状障碍物在所述深度图中的位置；
在所述深度图中，提取所述线状障碍物的景深信息。
优选地，所述将所述左视图与所述右视图进行特征匹配的步骤包括：
计算所述左视图以及所述右视图之间的相关性；
将相关性最大的右视图的像素，作为对应的左视图像素的最优匹配。
优选地，所述计算所述左视图以及所述右视图之间的相关性的步骤包括：
针对所述左视图中的每个像素，与邻域的像素构建第一多维向量；
针对所述右视图中的每个像素，与邻域的像素构建第二多维向量；
确定所述第一多维向量的第一均值，以及，所述第二多维向量的第二均值；
基于所述第一多维向量、所述第一均值、所述第二多维向量以及所述第二均值，计算所述左视图以及所述右视图之间的相关性。
优选地，所述基于所述景深信息，筛选出距离移动物体最近的线状障碍物的步骤包括：
在所述深度图中确定所述线状障碍物对应的垂直线；
在所述深度图中提取所述垂直线的景深信息；
计算所述线状障碍物的景深信息与对应的垂直线的景深信息之间的差值绝对值；
筛选出所述差值绝对值大于预设差值阈值的线状障碍物，作为距离移动物体最近的线状障碍物。
本发明实施例还公开了一种移动轨迹规划的装置，所述装置包括：
图像获取模块，用于获取目标图像数据；
直线提取模块，用于提取所述目标图像数据中的所有直线；
线状障碍物确定模块，用于分别计算所述直线的倾斜角，并将倾斜角位于预设倾斜阈值范围内的直线确定为线状障碍物；
轨迹规划模块，用于基于所述线状障碍物实时规划移动物体的移动轨迹，以使得所述移动物体在移动过程中避开所述线状障碍物。
优选地，所述装置还包括：
景深信息获取模块，用于确定所述线状障碍物的景深信息；
筛选模块，用于基于所述景深信息，筛选出距离移动物体最近的线状障碍物。
优选地，所述轨迹规划模块包括：
形状确定子模块，用于基于所述倾斜角确定所述线状障碍物的形状信息；
距离确定子模块，用于基于所述线状障碍物的景深信息确定所述线状障碍物与移动物体之间的距离信息；
规划子模块，用于基于所述距离信息和所述形状信息实时规划移动物体的移动轨迹。
优选地，所述目标图像数据包括左视图以及右视图，所述图像获取模块包括：
双目摄像子模块，用于采用预先标定好的双目摄像头对拍摄场景进行拍摄，获得左视图以及右视图。
优选地，所述装置还包括：
极线校正模块，用于采用标定参数对所述左视图以及所述右视图进行极线校正。
优选地，所述直线提取模块包括：
边缘检测子模块，用于对所述左视图和右视图中任意一个视图进行边缘检测，获得该视图的边缘的二值化图像；
霍夫变换子模块，用于采用霍夫变换算法，从所述二值化图像中提取直线。
优选地，所述景深信息获取模块包括：
特征匹配子模块，用于将所述左视图与所述右视图进行特征匹配；
视差图获取子模块，用于基于所述匹配的结果获取视差图；
深度图确定子模块，用于基于所述视差图，确定深度图；
位置确定子模块，用于确定所述线状障碍物在所述深度图中的位置；
景深信息获取子模块，用于在所述深度图中，提取所述线状障碍物的景深信息。
优选地，所述特征匹配子模块还用于：
计算所述左视图以及所述右视图之间的相关性；
将相关性最大的右视图的像素，作为对应的左视图像素的最优匹配。
优选地，所述特征匹配子模块还用于：
针对所述左视图中的每个像素，与邻域的像素构建第一多维向量；
针对所述右视图中的每个像素，与邻域的像素构建第二多维向量；
确定所述第一多维向量的第一均值，以及，所述第二多维向量的第二均值；
基于所述第一多维向量、所述第一均值、所述第二多维向量以及所述第二均值，计算所述左视图以及所述右视图之间的相关性。
优选地，所述筛选模块包括：
垂直线确定子模块，用于在所述深度图中确定所述线状障碍物对应的垂直线，并在所述深度图中提取所述垂直线的景深信息；
差值计算子模块，用于计算所述线状障碍物的景深信息与对应的垂直线的景深信息之间的差值绝对值；
线状障碍物筛选子模块，用于筛选出所述差值绝对值大于预设差值阈值的线状障碍物，作为距离移动物体最近的线状障碍物。
本发明实施例还公开了一种移动物体，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述方法的步骤。
本发明实施例还公开了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述方法的步骤。
本发明实施例包括以下优点：
在本发明实施例中，获取目标图像数据以后，可以识别目标图像数据中的直线，并将倾斜角位于预设倾斜阈值范围内的直线确定为线状障碍物，识别出线状障碍物以后，可以根据该线状障碍物实时规划移动物体的移动轨迹，以使得移动物体在移动过程中避开线状障碍物，防止移动物体撞到线状障碍物或者进入线状障碍物的夹角区域造成损坏。
附图说明
图1是本发明的一种移动轨迹规划的方法实施例一的步骤流程图；
图2是本发明的一种移动轨迹规划的方法实施例二的步骤流程图；
图3是本发明的非极大值抑制原理示意图；
图4是本发明的一种移动轨迹规划的装置实施例的结构框图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
参照图1，示出了本发明的一种移动轨迹规划的方法实施例一的步骤流程图，可以包括如下步骤：
步骤101，获取目标图像数据；
步骤102，提取所述目标图像数据中的所有直线；
步骤103，分别计算所述直线的倾斜角，并将倾斜角位于预设倾斜阈值范围内的直线确定为线状障碍物；
步骤104，基于所述线状障碍物实时规划移动物体的移动轨迹，以使得所述移动物体在移动过程中避开所述线状障碍物。
在本发明实施例中，获取目标图像数据以后，可以识别目标图像数据中的直线，并将倾斜角位于预设倾斜阈值范围内的直线确定为线状障碍物，识别出线状障碍物以后，可以根据该线状障碍物实时规划移动物体的移动轨迹，以使得移动物体在移动过程中避开线状障碍物，防止移动物体撞到线状障碍物或者进入线状障碍物的夹角区域造成损坏。
参照图2，示出了本发明的一种移动轨迹规划的方法实施例二的步骤流程图，可以包括如下步骤：
步骤201，采用预先标定好的双目摄像头对拍摄场景进行拍摄，获得左视图以及右视图；
本发明实施例可以采用预先标定好的双目摄像头对拍摄场景进行拍摄，获得对应的左视图以及右视图。
在具体实现中，双目摄像头可以位于移动物体中，例如，测绘无人机、农用无人机等无人机中；或者，双目摄像头还可以位于位于监控设备等终端中，本发明实施例对此不作限定。
摄像头标定的目的是为了消除畸变以及得到内外参数矩阵，内参数矩阵可以理解为焦距相关，它是一个从平面到像素的转换，焦距不变它就不变，所以确定以后就可以重复使用，而外参数矩阵反映的是摄像机坐标系与世界坐标系的转换，至于畸变参数，一般也包含在内参数矩阵中。从作用上来看，内参数矩阵是为了得到镜头的信息，并消除畸变，使得到的图像更为准确，外参数矩阵是为了得到相机相对于世界坐标的联系，是为了最终的测距。
在实现中，在摄像头标定的过程中，可以先分别标定各个摄像头的内参数，包括焦距主点和畸变，再标定两个摄像头之间的相对运动，包括旋转R和位移t。
对双目摄像头标定以后，得到的标定结果可以存储在指定文件中。
当本发明实施例应用于无人机作业时，无人机可以调用该指定文件进行图像校正和其他处理。
步骤202，采用标定参数对所述左视图以及所述右视图进行极线校正；
获得左视图以及右视图以后，可以采用上述标定后的指定文件中的标定参数，对该左视图以及右视图进行极线校正，以将两个视图校正至同一参考系中。
作为一种示例，该标定参数可以包括但不限于：焦距主点、畸变，以及两个摄像头之间的相对变换。
在具体实现中，可以通过假设一个参考平面，根据相对变换与内参数可以计算左右摄像头各自相对于参考平面的旋转R1、R2以及投影矩阵P1、P2，再将旋转和投影作用于原始图像则可以使两个图像矫正至同一参考系中。
具体的，可以采用Bouguet的极线校正的算法来进行极线校正，可以包括如下过程：将右视图平面相对于左视图平面的旋转矩阵分解成两个矩阵Rl和Rr，称为左右摄像头的合成旋转矩阵；将左右摄像头各旋转一半，使得左右摄像头的光轴平行，此时左右摄像头的成像面达到平行，但是基线与成像平面不平行；构造变换矩阵Rrect使得基线与成像平面平行，构造的方法是通过右摄像头相对于左摄像头的偏移矩阵T完成的；通过合成旋转矩阵与变换矩阵相乘获得左右摄像头的整体旋转矩阵，左右摄像头坐标系乘以各自的整体旋转矩阵就可使得左右摄像头的主光轴平行，且像平面与基线平行；通过上述的两个整体旋转矩阵，就能够得到理想的平行配置的双目立体系图像。
当然，本发明实施例并不限于上述校正方法，本领域技术人员采用其他方式进行极线校正均是可以的。
步骤203，提取所述左视图和右视图中任意一个视图中的所有直线；
在本发明实施例中，对左视图以及右视图进行极线校正后，可以以左视图或右视图中任意一个视图为参考系，例如，可以以左视图为参考系，提取左视图中的直线。
在本发明实施例的一种优选实施例中，步骤203进一步可以包括如下子步骤：
子步骤S11，对所述左视图和右视图中任意一个视图进行边缘检测，获得该视图的边缘的二值化图像；
图象的边缘是指图象局部区域亮度变化显著的部分，该区域的灰度剖面一般可以看作是一个阶跃，即从一个灰度值在很小的缓冲区域内急剧变化到另一个灰度相差较大的灰度值。图象的边缘部分集中了图象的大部分信息，图象边缘的确定与提取对于整个图象场景的识别与理解是非常重要的。
例如，图像的边缘可以包括但不限于：电线杆之类的直线、还有草地与天空的交界线之类的以及其他曲线边界。
在具体实现中，边缘检测的方法有很多，一阶的有Roberts Cross算子、Prewitt算子、Sobel算子、Canny算子、Krisch算子、罗盘算子等，而二阶的还有Marr-Hildreth算子等。
以下以Canny算子算子为例，对左视图进行边缘检测的过程进行说明，但应当理解的是，本发明实施例并不限于此：
1)灰度化：如果摄像头获取的左视图是彩色图像，可以首先将其进行灰度化。
在具体实现中，对一幅彩色图像进行灰度化是指根据图像各个通道的采样值进行加权平均。以RGB格式的彩色图像为例，灰度化的方式可以包括但不限于如下两种：
方式1：Gray＝(R+G+B)/3；
方式2：Gray＝0.299R+0.587G+0.114B；(这种参数考虑到了人眼的生理特点)
需要说明的是，针对其他格式的彩色图像，可以根据相应的转换关系转为RGB然后再进行灰度化。
2)滤波：边缘检测的算法主要是基于图像强度的一阶和二阶导数，但导数通常对噪声很敏感，并且由于摄像头采集的图像有不少噪声，因此可以在图像预处理时去除图像中的噪声。
在具体实现中，可以采用滤波器来改善与噪声有关的边缘检测器的性能。其中一种滤波方法可以包括高斯滤波，图像高斯滤波的实现即采用离散化的高斯函数产生一组归一化的高斯核，然后基于高斯核函数对图像灰度矩阵的每一点进行加权求和，这样可以有效滤去图像中叠加的高频噪声。
3)增强：增强边缘的基础是确定左视图各点邻域强度的变化值。其中一种增强算法可以为：将图像灰度点邻域强度值有显著变化的点凸显出来。在具体实现时，可通过计算梯度幅值来确定。
具体的，可以首先采用一阶偏导数计算左视图中每个像素的梯度，在具体实现中，由于完整的一阶偏导数计算代价太昂贵，不利于工程应用，因此本发明实施例可以利用工程近似的方法，将经过高斯滤波器滤波处理后的左视图，求其一阶有限差分，并利用其结果来近似一阶偏导数，这样就可以得到图像在x和y方向上偏导数的两个矩阵：：
fx(x,y)≈Gx(x,y)＝[f(x+1,y)-f(x,y)+f(x+1,y+1)-f(x,y+1)]/2；
fy(x,y)≈Gy(x,y)＝[f(x,y+1)-f(x,y)+f(x+1,y+1)-f(x+1,y)]/2；
其中，f(x,y)表示滤波后的图像在(x,y)处的灰度值；(x,y)指图像中某一个像素位置，如640*480的图像主点位置(320,240)，此时x＝320，y＝240。
Gx(x,y)近似表示(x,y)水平方向的梯度fx(x,y)；
Gy(x,y)近似表示(x,y)垂直方向的梯度fy(x,y)。
随后，可以确定上述梯度对应的梯度幅值和方向。
具体的，梯度幅值反映了图像的边缘强度，方向是指使得梯度幅值取得局部最大值的方向角，反映了边缘的方向。
在一种实施方式中，可以采用如下公式计算梯度幅值M[x,y]：
可以采用如下公式计算梯度幅值的方向θ[x,y]：
θ[x,y]＝arctan(Gy(x,y)/Gx(x,y))。
4)检测：经过增强的图像，往往邻域中有很多点的梯度值比较大，而在特定的应用中，这些点并不是需要的边缘点，所以可以采用某种方法来对这些点进行取舍。实际工程中，其中一种方法是通过阈值化方法来检测。
具体的，根据上述方式得到梯度、梯度幅值以及方向以后，可以对梯度幅值进行非极大值抑制。
具体而言，图像梯度幅值矩阵中的元素值越大，说明图像中该点的梯度幅值越大，但这并不能说明该点就是边缘。在实际中，非极大值抑制是进行边缘检测的重要步骤，非极大值抑制是指寻找像素点局部最大值，将非极大值点所对应的灰度值置为0，以剔除一大部分非边缘的点。
在具体实现中，如图3所示的非极大值抑制原理示意图，要进行非极大值抑制，就首先要确定像素点C的灰度值在其8邻域内是否为最大。图3中的倾斜线方向为C点的梯度方向，这样就可以确定其局部的最大值分布在这条线上，也即除了C点外，梯度方向的交点dTmp1和dTmp2这两个点的值也可能是局部最大值。因此，判断C点灰度与这两个点灰度大小可以判断C点是否为其邻域内的局部最大灰度点。如果经过判断，C点灰度值小于这两个点中的任一个，那就说明C点不是局部最大值，那么则可以排除C点为边缘。这就是非极大值抑制的工作原理。
完成非极大值抑制后，可以得到一个描述左视图的边缘的二值化图像，在该二值化图像中，非边缘的点的灰度值均为0，可能为边缘的局部灰度极大值点可设置其灰度值为非零，例如，设置为数值1。
子步骤S12，采用霍夫变换算法，从所述二值化图像中提取直线。
在具体实现中，得到二值化图像以后，可以通过霍夫变换算法(Hough变换)提取图像中的直线，并将曲线部分剔除掉。
Hough变换的基本原理在于利用点与线的对偶性，将原始图像空间的给定的曲线通过曲线表达形式变为参数空间的一个点。
具体的，由于直线可以用y＝kx+b表示，假设图像中任意一点(x,y)位于图像空间某条直线上，则该点(x,y)在参数空间(k-b)中可用直线来表示。
若在图像空间中存在该直线，则直线上的所有点映射到参数空间(k-b)时，将会存在多条直线相交于一个点的情况。通过统计参数空间(k-b)中相交次数最多的点来判断图像直线。
由于y＝kx+b无法表示x＝b这类情况，因为此时斜率k为无穷大。因此实际操作时可以采用参数方程p＝x cosθ+y sinθ来表示图像中的直线，参数空间为(θ-p)。
基于上述原理，子步骤S12可以包括如下过程：
1)将二值化图像中的非零的像素，代入参数方程p＝x cosθ+y sinθ，可以获得多组(θ-p)参数。
2)将参数空间(θ-p)量化成许多小格子，方便检测直角坐标系(x-y)中由点构成的直线。
3)在θ∈(-90°,90°)内，以小格子的步长来计算各个p值。
4)统计各个参数曲线在参数空间(θ-p)中经过各个小格子的累计次数，其中每个小格子代表一个坐标(θ,p)，而参数空间(θ-p)中的一个坐标(θ,p)代表图像空间里的一条直线p＝x cosθ+y sinθ，类似的，图像空间直线p＝x cosθ+y sinθ上的每一个点在参数空间(θ-p)中各自代表一条参数曲线，这些曲线都相交于同一个点(θ,p)。
5)对上述参数空间中的小格子进行筛选，通过预设阈值，可以得到参数空间(θ-p)中参数曲线经过次数较多的小格子的位置，获取此时的参数(θ,p)。
6)利用该组参数即可得到其在图像空间中的直线。具体的，得到参数(θ,p)以后，可以将该(θ,p)代入参数方程p＝x cosθ+y sinθ，从而确定对应的直线。
步骤204，分别计算所述直线的倾斜角，并将倾斜角位于预设倾斜阈值范围内的直线确定为线状障碍物；
作为一种示例，线状障碍物可以包括斜拉线、电线等障碍物。
在具体实现中，通过霍夫变换得到图像中多条直线以后，可以采用直线表达式y＝kx+b来求得所有直线各自的斜率k和截距b，并通过反三角函数来计算斜率对应的倾斜角。
在实际中，由于不同的线状障碍物具有不同的倾斜角度，例如，斜拉线的倾斜角度在40-60°的倾斜角内，因此通过预设倾斜阈值范围(例如，40-60°)来对上述计算得到的直线的倾斜角进行评估。落在允许范围内的直线可以作为斜拉线保留下来做进一步评估，落在允许范围之外的直线则剔除，从而减少计算量。
步骤205，确定所述线状障碍物的景深信息；
在具体实现中，在一张图像中，可能存在多条线状障碍物，为了更准确的确定离移动物体最近的线状障碍物，在确定图像中的线状障碍物以后，可以进一步确定每条线状障碍物的景深信息，从而可以基于每条线状障碍物的景深信息，筛选出距离移动物体最近的线状障碍物。
在本发明实施例的一种优选实施例中，步骤205可以包括如下子步骤：
子步骤S21，将所述左视图与所述右视图进行特征匹配；
在具体实现中，在执行上述步骤203-204的同时，还可以启动另一线程执行子步骤S21-S23。
在一种实施方式中，可以采用归一化交叉相关性(NCC)进行左视图与右视图的特征匹配。其中，NCC是一种基于统计学计算两组样本数据相关性的算法，其取值范围是[-1,1]之间，如果对于左视图中某个邻域子集与右视图中某个邻域子集完全匹配，则其NCC值为1，表示相关性很高。若NCC值为-1，表示完全不相关。
具体的，在本发明实施例的一种优选实施例中，子步骤S21进一步可以包括如下子步骤：
子步骤S211，计算所述左视图以及所述右视图之间的相关性；
在本发明实施例的一种优选实施例中，子步骤S211进一步可以包括如下子步骤：
子步骤S2111，针对所述左视图中的每个像素，与邻域的像素构建第一多维向量；
子步骤S2112，针对所述右视图中的每个像素，与邻域的像素构建第二多维向量；
子步骤S2113，确定所述第一多维向量的第一均值，以及，所述第二多维向量的第二均值；
具体的，对左视图中每一个待测像素(x,y)，利用其8邻域构建相关窗口，形成9维向量WL(x,y)(即第一多维向量)，对向量WL(x,y)求均值UL(x,y)(即第一均值)，在右视图同一水平线上每个像素(m,n)位置构建相关窗口WR(m,n)(即第二多维向量)，并对其求均值UR(m,n)(即第二均值)。
子步骤S2114，基于所述第一多维向量、所述第一均值、所述第二多维向量以及所述第二均值，计算所述左视图以及所述右视图之间的相关性。
在一种实施方式中，可以采用如下公式对左视图、右视图两个像素相关窗口计算相关性：
子步骤S212，将相关性最大的右视图的像素，作为对应的左视图像素的最优匹配。
在具体实现中，对右视图中同一水平线上的所有像素(m,n)，通过计算与左视图待测像素(x,y)的相关性，使得NCC(x,y)值最大的右视图的像素(m,n)即为左视图待测像素(x,y)的最优匹配。
需要说明的是，关于特征匹配的方案，除了当前使用的基于像素亮度值差异的NCC方案以外，其他基于像素亮度值的方案还有MAD(平均绝对差算法)、SAD(平均绝对差算法)、SSD(误差平方和算法)、MSD(平均误差平方和算法)、SSDA(平均误差平方和算法)等，此外还有基于特征点的特征匹配方法，本发明实施例对特征匹配的具体方案不作限定。
子步骤S22，基于所述匹配的结果获取视差图；
在一种实施方式中，根据上述特征匹配的匹配结果，可以采用匹配像素的水平位置之差(xr-xl)计算得到视差图。
子步骤S23，基于所述视差图，确定深度图；
在一种实施方式中，得到视差图以后，可以结合该视差图以及双目立体匹配原理以及双目摄像头的参数，得到深度图。
在具体实现中，某个像素的深度信息Z可以由如下公式得到：
其中，f为相机焦距，Tx为双目相机基线，(xr-xl)为视差。
对视差图中所有像素求解深度信息可以得到深度图。
子步骤S24，确定所述线状障碍物在所述深度图中的位置；
得到深度图以后，可以根据上述计算得到的线状障碍物Lo，确定各条线状障碍物Lo在深度图中的具体位置。
需要说明的是，除了使用视差图来恢复深度图以外，还可以使用三角化的方法来得到深度图，本发明实施例对此不作限定。
子步骤S25，在所述深度图中，提取所述线状障碍物的景深信息。
具体的，对上述计算得到的线状障碍物Lo，确定其位置以后，可以在该位置处提取对应的深度信息Do。
步骤206，基于所述景深信息，筛选出距离移动物体最近的线状障碍物；
得到线状障碍物的景深信息以后，可以根据该景深信息，筛选出距离移动物体最近的线状障碍物。
在本发明实施例的一种优选实施例中，步骤206可以包括如下子步骤：
子步骤S31，在所述深度图中确定所述线状障碍物对应的垂直线；
在具体实现中，确定线状障碍物Lo在深度图中的位置以后，可以计算各条线状障碍物Lo对应的垂直线LV，用以统计邻域信息。
子步骤S32，在所述深度图中提取所述垂直线的景深信息；
得到垂直线LV以后，可以在深度图中确定该垂直线的深度信息DV，以确定候选直线的领域的深度信息。
子步骤S33，计算所述线状障碍物的景深信息与对应的垂直线的景深信息之间的差值绝对值；
子步骤S34，筛选出所述差值绝对值大于预设差值阈值的线状障碍物，作为距离移动物体最近的线状障碍物。
在具体实现中，可以计算每条线状障碍物的景深信息与对应的垂直线的景深信息之间的差值绝对值|Do-DV|，如果|Do-DV|大于预设差值阈值，则表示线状障碍物与背景距离相机的深度非常不一致，从而判定该线状障碍物为距离移动物体最近的线状障碍物。
如果|Do-DV|小于或等于预设差值阈值，则说明此时Do是离双目摄像头更近的线状障碍物深度，DV是离双目摄像头远得多的背景。
在本发明实施例中，通过二维的方法进行图像中直线的识别以及确定直线的倾斜角，将倾斜角在预设倾斜阈值范围内的直线作为线状障碍物，通过三维的方法生成深度图，并从深度图中提取线状障碍物的深度信息，根据该深度信息确定距离移动物体最近的线状障碍物，通过这样的结合二维与三维信息来识别距离移动物体最近的线状障碍物，使得识别效果更精确可靠。
步骤207，基于所述线状障碍物实时规划移动物体的移动轨迹，以使得所述移动物体在移动过程中避开所述线状障碍物。
具体的，识别出距离移动物体最近的线状障碍物以后，还可以基于该线状障碍物进行避障处理。
在本发明实施例的一种优选实施例中，步骤207进一步可以包括如下子步骤：基于所述倾斜角确定所述线状障碍物的形状信息；基于所述线状障碍物的景深信息确定所述线状障碍物与移动物体之间的距离信息；基于所述距离信息和所述形状信息实时规划移动物体的移动轨迹。
作为一种示例，移动物体可以包括但不限于无人机、移动机器人、移动车辆等移动对象。
识别出距离移动物体最近的线状障碍物以后，可以根据该线状障碍物的倾斜角确定该线状障碍物的形状信息，以及，根据该线状障碍物的景深确定该线状障碍物与移动物体之间的距离信息，根据该形状信息与距离信息，在对移动物体进行移动轨迹规划时，可以避开该线状障碍物，以达到避障的目的。
在本发明实施例中，利用图像处理的方法检测直线，并通过双目立体三维重建的方法恢复场景深度，结合直线与场景深度信息来识别当前视场中距离移动物体最近的线状障碍物，使得识别效果更精确可靠，识别出距离移动物体最近的线状障碍物以后，还可以基于该线状障碍物的形状信息以及距离移动物体的距离信息进行实时的移动轨迹规划，以使得移动物体在移动过程中避开该线状障碍物，达到避障的目的。
需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。
参照图4，示出了本发明的一种移动轨迹规划的装置实施例的结构框图，可以包括如下模块：
图像获取模块401，用于获取目标图像数据；
直线提取模块402，用于提取所述目标图像数据中的所有直线；
线状障碍物确定模块403，用于分别计算所述直线的倾斜角，并将倾斜角位于预设倾斜阈值范围内的直线确定为线状障碍物；
轨迹规划模块404，用于基于所述线状障碍物实时规划移动物体的移动轨迹，以使得所述移动物体在移动过程中避开所述线状障碍物。
在本发明实施例的一种优选实施例中，所述装置还可以包括如下步骤：
景深信息获取模块，用于确定所述线状障碍物的景深信息；
线状障碍物判断模块，用于基于所述景深信息，筛选出距离移动物体最近的线状障碍物。
在本发明实施例的一种优选实施例中，所述轨迹规划模块404可以包括如下子模块：
形状确定子模块，用于基于所述倾斜角确定所述线状障碍物的形状信息；
距离确定子模块，用于基于所述线状障碍物的景深信息确定所述线状障碍物与移动物体之间的距离信息；
规划子模块，用于基于所述距离信息和所述形状信息实时规划移动物体的移动轨迹。
在本发明实施例的一种优选实施例中，所述目标图像数据包括左视图以及右视图，所述图像获取模块401可以包括如下子模块：
双目摄像子模块，用于采用预先标定好的双目摄像头对拍摄场景进行拍摄，获得左视图以及右视图。
在本发明实施例的一种优选实施例中，所述装置还可以包括如下模块：
极线校正模块，用于采用标定参数对所述左视图以及所述右视图进行极线校正。
在本发明实施例的一种优选实施例中，所述直线提取模块402可以包括如下子模块：
边缘检测子模块，用于对所述左视图和右视图中任意一个视图进行边缘检测，获得该视图的边缘的二值化图像；
霍夫变换子模块，用于采用霍夫变换算法，从所述二值化图像中提取直线。
在本发明实施例的一种优选实施例中，所述景深信息获取模块404可以包括如下子模块：
特征匹配子模块，用于将所述左视图与所述右视图进行特征匹配；
视差图获取子模块，用于基于所述匹配的结果获取视差图；
深度图确定子模块，用于基于所述视差图，确定深度图；
位置确定子模块，用于确定所述线状障碍物在所述深度图中的位置；
景深信息获取子模块，用于在所述深度图中，提取所述线状障碍物的景深信息。
在本发明实施例的一种优选实施例中，所述特征匹配子模块还用于：
计算所述左视图以及所述右视图之间的相关性；
将相关性最大的右视图的像素，作为对应的左视图像素的最优匹配。
在本发明实施例的一种优选实施例中，所述特征匹配子模块还用于：
针对所述左视图中的每个像素，与邻域的像素构建第一多维向量；
针对所述右视图中的每个像素，与邻域的像素构建第二多维向量；
确定所述第一多维向量的第一均值，以及，所述第二多维向量的第二均值；
基于所述第一多维向量、所述第一均值、所述第二多维向量以及所述第二均值，计算所述左视图以及所述右视图之间的相关性。
在本发明实施例的一种优选实施例中，所述筛选模块可以包括如下子模块：
垂直线确定子模块，用于在所述深度图中确定所述线状障碍物对应的垂直线，并在所述深度图中提取所述垂直线的景深信息；
差值计算子模块，用于计算所述线状障碍物的景深信息与对应的垂直线的景深信息之间的差值绝对值；
线状障碍物筛选子模块，用于筛选出所述差值绝对值大于预设差值阈值的线状障碍物，作为距离移动物体最近的线状障碍物。
对于图4的装置实施例而言，由于其与上述的方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
另外，本发明实施例还公开了一种移动物体，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述实施例所述方法的步骤。
另外，本发明实施例还公开了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述实施例所述方法的步骤。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本发明所提供的一种移动轨迹规划的方法及装置进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (18)
1.一种移动轨迹规划的方法，其特征在于，所述方法包括：
获取目标图像数据；
提取所述目标图像数据中的所有直线；
分别计算所述直线的倾斜角，并将倾斜角位于预设倾斜阈值范围内的直线确定为线状障碍物；
基于所述线状障碍物实时规划移动物体的移动轨迹，以使得所述移动物体在移动过程中避开所述线状障碍物；
其中，在所述基于所述线状障碍物实时规划移动物体的移动轨迹的步骤之前，还包括：
确定所述线状障碍物的景深信息；
基于所述景深信息，筛选出距离移动物体最近的线状障碍物；
其中，所述基于线状障碍物实时规划移动物体的移动轨迹，为基于所述距离移动物体最近的线状障碍物实时规划所述移动物体的移动轨迹；
其中，所述确定所述线状障碍物的景深信息的步骤包括：
确定针对所述目标图像数据的深度图；
确定所述线状障碍物在所述深度图中的位置；
在所述深度图中，提取所述线状障碍物的景深信息；
其中，所述基于所述景深信息，筛选出距离移动物体最近的线状障碍物的步骤包括：
在所述深度图中确定所述线状障碍物对应的垂直线；
在所述深度图中提取所述垂直线的景深信息；
计算所述线状障碍物的景深信息与对应的垂直线的景深信息之间的差值绝对值；
筛选出所述差值绝对值大于预设差值阈值的线状障碍物，作为距离移动物体最近的线状障碍物。
2.根据权利要求1所述的方法，其特征在于，所述基于所述线状障碍物实时规划移动物体的移动轨迹的步骤包括：
基于所述倾斜角确定所述线状障碍物的形状信息；
基于所述线状障碍物的景深信息确定所述线状障碍物与移动物体之间的距离信息；
基于所述距离信息和所述形状信息实时规划移动物体的移动轨迹。
3.根据权利要求1或2所述的方法，其特征在于，所述目标图像数据包括左视图以及右视图，所述获取目标图像数据的步骤包括：
采用预先标定好的双目摄像头对拍摄场景进行拍摄，获得左视图以及右视图。
4.根据权利要求3所述的方法，其特征在于，在所述获取目标图像数据的步骤之后，还包括：
采用标定参数对所述左视图以及所述右视图进行极线校正。
5.根据权利要求4所述的方法，其特征在于，所述提取所述目标图像数据中的所有直线的步骤包括：
对所述左视图和右视图中任意一个视图进行边缘检测，获得该视图的边缘的二值化图像；
采用霍夫变换算法，从所述二值化图像中提取直线。
6.根据权利要求1所述的方法，其特征在于，所述确定针对所述目标图像数据的深度图的步骤包括：
将左视图与右视图进行特征匹配；
基于所述匹配的结果获取视差图；
基于所述视差图，确定针对所述目标图像数据的深度图。
7.根据权利要求6所述的方法，其特征在于，所述将所述左视图与所述右视图进行特征匹配的步骤包括：
计算所述左视图以及所述右视图之间的相关性；
将相关性最大的右视图的像素，作为对应的左视图像素的最优匹配。
8.根据权利要求7所述的方法，其特征在于，所述计算所述左视图以及所述右视图之间的相关性的步骤包括：
针对所述左视图中的每个像素，与邻域的像素构建第一多维向量；
针对所述右视图中的每个像素，与邻域的像素构建第二多维向量；
确定所述第一多维向量的第一均值，以及，所述第二多维向量的第二均值；
基于所述第一多维向量、所述第一均值、所述第二多维向量以及所述第二均值，计算所述左视图以及所述右视图之间的相关性。
9.一种移动轨迹规划的装置，其特征在于，所述装置包括：
图像获取模块，用于获取目标图像数据；
直线提取模块，用于提取所述目标图像数据中的所有直线；
线状障碍物确定模块，用于分别计算所述直线的倾斜角，并将倾斜角位于预设倾斜阈值范围内的直线确定为线状障碍物；
轨迹规划模块，用于基于所述线状障碍物实时规划移动物体的移动轨迹，以使得所述移动物体在移动过程中避开所述线状障碍物；所述基于线状障碍物实时规划移动物体的移动轨迹，为基于所述距离移动物体最近的线状障碍物实时规划所述移动物体的移动轨迹；
还包括：
景深信息获取模块，用于确定所述线状障碍物的景深信息；
筛选模块，用于基于所述景深信息，筛选出距离移动物体最近的线状障碍物；
其中，所述景深信息获取模块包括：
深度图确定子模块，用于确定针对所述目标图像数据的深度图；
位置确定子模块，用于确定所述线状障碍物在所述深度图中的位置；
景深信息获取子模块，用于在所述深度图中，提取所述线状障碍物的景深信息；
其中，所述筛选模块包括：
垂直线确定子模块，用于在所述深度图中确定所述线状障碍物对应的垂直线，并在所述深度图中提取所述垂直线的景深信息；
差值计算子模块，用于计算所述线状障碍物的景深信息与对应的垂直线的景深信息之间的差值绝对值；
线状障碍物筛选子模块，用于筛选出所述差值绝对值大于预设差值阈值的线状障碍物，作为距离移动物体最近的线状障碍物。
10.根据权利要求9所述的装置，其特征在于，所述轨迹规划模块包括：
形状确定子模块，用于基于所述倾斜角确定所述线状障碍物的形状信息；
距离确定子模块，用于基于所述线状障碍物的景深信息确定所述线状障碍物与移动物体之间的距离信息；
规划子模块，用于基于所述距离信息和所述形状信息实时规划移动物体的移动轨迹。
11.根据权利要求9或10所述的装置，其特征在于，所述目标图像数据包括左视图以及右视图，所述图像获取模块包括：
双目摄像子模块，用于采用预先标定好的双目摄像头对拍摄场景进行拍摄，获得左视图以及右视图。
12.根据权利要求11所述的装置，其特征在于，还包括：
极线校正模块，用于采用标定参数对所述左视图以及所述右视图进行极线校正。
13.根据权利要求12所述的装置，其特征在于，所述直线提取模块包括：
边缘检测子模块，用于对所述左视图和右视图中任意一个视图进行边缘检测，获得该视图的边缘的二值化图像；
霍夫变换子模块，用于采用霍夫变换算法，从所述二值化图像中提取直线。
14.根据权利要求11所述的装置，其特征在于，所述深度图确定子模块，包括：
特征匹配子模块，用于将所述左视图与所述右视图进行特征匹配；
视差图获取子模块，用于基于所述匹配的结果获取视差图；
深度图确定单元，用于基于所述视差图，确定针对所述目标图像数据的深度图。
15.根据权利要求14所述的装置，其特征在于，所述特征匹配子模块还用于：
计算所述左视图以及所述右视图之间的相关性；
将相关性最大的右视图的像素，作为对应的左视图像素的最优匹配。
16.根据权利要求15所述的装置，其特征在于，所述特征匹配子模块还用于：
针对所述左视图中的每个像素，与邻域的像素构建第一多维向量；
针对所述右视图中的每个像素，与邻域的像素构建第二多维向量；
确定所述第一多维向量的第一均值，以及，所述第二多维向量的第二均值；
基于所述第一多维向量、所述第一均值、所述第二多维向量以及所述第二均值，计算所述左视图以及所述右视图之间的相关性。
17.一种移动物体，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至8任一项所述方法的步骤。
18.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至8任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710763234.5A CN109426277B (zh) | 2017-08-30 | 2017-08-30 | 移动轨迹规划的方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710763234.5A CN109426277B (zh) | 2017-08-30 | 2017-08-30 | 移动轨迹规划的方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109426277A CN109426277A (zh) | 2019-03-05 |
| CN109426277B true CN109426277B (zh) | 2022-11-08 |
Family
ID=65504005
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710763234.5A Active CN109426277B (zh) | 2017-08-30 | 2017-08-30 | 移动轨迹规划的方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109426277B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109522901B (zh) * | 2018-11-27 | 2020-11-03 | 中国计量大学 | 一种基于边缘对偶关系的番茄植株茎秆边缘识别方法 |
| CN110084825B (zh) * | 2019-04-16 | 2021-06-01 | 上海岚豹智能科技有限公司 | 一种基于图像边缘信息导航的方法及系统 |
| CN111123953B (zh) * | 2020-01-09 | 2022-11-01 | 重庆弘玑隆程科技有限公司 | 人工智能大数据下粒子化移动机器人组及其控制方法 |
| CN114587220B (zh) * | 2022-01-26 | 2023-11-21 | 深圳市无限动力发展有限公司 | 动态避障方法、装置和计算机设备、计算机可读存储介质 |
| CN114937258B (zh) * | 2022-04-22 | 2023-08-04 | 未岚大陆(北京)科技有限公司 | 割草机器人的控制方法、割草机器人以及计算机存储介质 |
| CN115390572A (zh) * | 2022-10-28 | 2022-11-25 | 潍柴雷沃智慧农业科技股份有限公司 | 一种无人收获机的避障控制方法和系统 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1095680A2 (en) * | 1999-10-14 | 2001-05-02 | Sony Computer Entertainment Inc. | Image processing apparatus, image processing method, recording medium and program |
| WO2016145789A1 (zh) * | 2015-08-12 | 2016-09-22 | 中兴通讯股份有限公司 | 一种提示方法、终端及计算机存储介质 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101931270A (zh) * | 2010-07-08 | 2010-12-29 | 吕强 | 一种输电线路防护方法和系统 |
| CN104573703B (zh) * | 2013-10-29 | 2017-09-29 | 中国科学院沈阳自动化研究所 | 基于偏导分布与边界策略的输电线快速识别方法 |
| CN104751145B (zh) * | 2015-04-10 | 2017-10-13 | 西安电子科技大学 | 局部霍夫变换与形态学优化的sar图像电力线检测方法 |
| CN104966065B (zh) * | 2015-06-23 | 2018-11-09 | 电子科技大学 | 目标识别方法及装置 |
| CN106127105A (zh) * | 2016-06-13 | 2016-11-16 | 长安大学 | 基于快速随机Radon变换的无人机视觉巡线方法 |
| CN106356757B (zh) * | 2016-08-11 | 2018-03-20 | 河海大学常州校区 | 一种基于人眼视觉特性的电力线路无人机巡检方法 |
| CN106708084B (zh) * | 2016-11-24 | 2019-08-02 | 中国科学院自动化研究所 | 复杂环境下无人机自动障碍物检测和避障方法 |
| CN106708073B (zh) * | 2016-11-30 | 2019-06-25 | 浙江大学 | 一种自主导航电力巡线故障检测的四旋翼飞行器系统 |
| CN106602468A (zh) * | 2017-02-14 | 2017-04-26 | 广东容祺智能科技有限公司 | 基于图像识别与差分gps的无人机自动巡检输电线路系统 |
| CN106960454B (zh) * | 2017-03-02 | 2021-02-12 | 武汉星巡智能科技有限公司 | 景深避障方法、设备及无人飞行器 |
-
2017
- 2017-08-30 CN CN201710763234.5A patent/CN109426277B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1095680A2 (en) * | 1999-10-14 | 2001-05-02 | Sony Computer Entertainment Inc. | Image processing apparatus, image processing method, recording medium and program |
| WO2016145789A1 (zh) * | 2015-08-12 | 2016-09-22 | 中兴通讯股份有限公司 | 一种提示方法、终端及计算机存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109426277A (zh) | 2019-03-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109426277B (zh) | 移动轨迹规划的方法及装置 | |
| US9311542B2 (en) | Method and apparatus for detecting continuous road partition | |
| CN106960454B (zh) | 景深避障方法、设备及无人飞行器 | |
| US9767545B2 (en) | Depth sensor data with real-time processing of scene sensor data | |
| EP3588004B1 (en) | Stereoscopic camera and height acquisition method therefor and height acquisition system | |
| CN106570899B (zh) | 一种目标物体检测方法及装置 | |
| US11494978B2 (en) | Computer vision systems and methods for modeling three-dimensional structures using two-dimensional segments detected in digital aerial images | |
| KR20180098945A (ko) | 고정형 단일 카메라를 이용한 차량 속도 감지 방법 및 장치 | |
| CN110673607B (zh) | 动态场景下的特征点提取方法、装置、及终端设备 | |
| Thaher et al. | Stereo vision distance estimation employing SAD with canny edge detector | |
| WO2019110012A1 (en) | Face detection and recognition method using light field camera system | |
| CN110800020B (zh) | 一种图像信息获取方法、图像处理设备及计算机存储介质 | |
| CN115108466A (zh) | 一种集装箱吊具智能定位的方法 | |
| CN113450335B (zh) | 一种路沿检测方法、路沿检测装置及路面施工车辆 | |
| CN107622514B (zh) | 摄像机凸镜模型自主标定方法 | |
| CN113959398B (zh) | 基于视觉的测距方法、装置、可行驶设备及存储介质 | |
| CN111383255A (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
| KR101289386B1 (ko) | 스테레오 비전 기반의 장애물체 검출 및 분리 방법과 이를 실행하는 장치 | |
| JP6492603B2 (ja) | 画像処理装置、システム、画像処理方法、およびプログラム | |
| CN116194956A (zh) | 场景的3d点云的生成 | |
| CN116755562B (zh) | 一种避障方法、装置、介质及ar/vr设备 | |
| CN117557616B (zh) | 一种单目相机俯仰角确定和深度估计方法、装置及设备 | |
| Leighton | Accurate 3D reconstruction of underwater infrastructure using stereo vision | |
| CN111630569A (zh) | 双目匹配的方法、视觉成像装置及具有存储功能的装置 | |
| Cai et al. | The stitching of aerial videos from UAVs |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: 510000 Block C, 115 Gaopu Road, Tianhe District, Guangzhou City, Guangdong Province Applicant after: XAG Co., Ltd. Address before: No.3a01, No.1 Sicheng Road, Gaotang Software Park, Tianhe District, Guangzhou, Guangdong 510000 Applicant before: Guangzhou Xaircraft Technology Co.,Ltd. |
|
| CB02 | Change of applicant information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |