CN105444741B - 基于双视野窗口的路径特征识别、偏差测量与精确定位方法 - Google Patents
基于双视野窗口的路径特征识别、偏差测量与精确定位方法 Download PDFInfo
- Publication number
- CN105444741B CN105444741B CN201510954122.9A CN201510954122A CN105444741B CN 105444741 B CN105444741 B CN 105444741B CN 201510954122 A CN201510954122 A CN 201510954122A CN 105444741 B CN105444741 B CN 105444741B
- Authority
- CN
- China
- Prior art keywords
- window
- image
- path
- sample
- route characteristic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 65
- 238000005259 measurement Methods 0.000 title claims abstract description 23
- 208000003164 Diplopia Diseases 0.000 title claims abstract description 19
- 208000029444 double vision Diseases 0.000 title claims abstract description 19
- 238000013528 artificial neural network Methods 0.000 claims abstract description 31
- 230000000007 visual effect Effects 0.000 claims abstract description 27
- 239000003550 marker Substances 0.000 claims abstract description 17
- 230000009467 reduction Effects 0.000 claims abstract description 15
- 238000009434 installation Methods 0.000 claims abstract description 9
- 238000004458 analytical method Methods 0.000 claims abstract description 7
- 238000001514 detection method Methods 0.000 claims abstract description 4
- 239000011159 matrix material Substances 0.000 claims description 49
- 238000012937 correction Methods 0.000 claims description 31
- 238000012549 training Methods 0.000 claims description 18
- 230000006870 function Effects 0.000 claims description 16
- 238000005286 illumination Methods 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 8
- 230000011218 segmentation Effects 0.000 claims description 8
- 230000005540 biological transmission Effects 0.000 claims description 7
- 238000011478 gradient descent method Methods 0.000 claims description 6
- 238000006073 displacement reaction Methods 0.000 claims description 5
- 238000000691 measurement method Methods 0.000 claims description 5
- 230000000877 morphologic effect Effects 0.000 claims description 4
- 230000003287 optical effect Effects 0.000 claims description 4
- 230000003044 adaptive effect Effects 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000000295 complement effect Effects 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 210000004218 nerve net Anatomy 0.000 claims description 2
- 238000002203 pretreatment Methods 0.000 claims description 2
- 238000013507 mapping Methods 0.000 claims 1
- 238000004422 calculation algorithm Methods 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 7
- 238000000513 principal component analysis Methods 0.000 description 6
- 230000006872 improvement Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 241001212149 Cathetus Species 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/04—Interpretation of pictures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于双视野窗口的路径特征识别、偏差测量与精确定位方法,属于计算机视觉检测领域。首先对原始路径图像进行预处理,得到二值化的导引路径图像。然后采用整幅视野范围作为路径特征识别窗口,对整幅图像进行核主成分分析降维。再以降维后的图像样本训练神经网络识别器,该识别器可准确区分多分支路径、定位标志和单支路径。对于单支路径,由摄像机的视角以及倾斜安装角度确定路径导引扫描窗口,根据“以直代曲”思想测量路径偏差。在工位点,通过识别连续布置的两个定位标志实现精确平稳定位。该方法具有特征识别率高、算法实时性强、路径测量精度高等优点。
Description
技术领域:
本发明涉及一种基于双视野窗口的路径特征识别、偏差测量与精确定位方法,其属于计算机视觉检测领域。
背景技术:
自动导引车(Automated Guided Vehicle,AGV)是一种用于物料搬运的智能轮式移动机器人,广泛应用于工厂自动化生产线、仓储物流、机场和港口中的物料传送,其导引方式主要有磁导引、视觉导引、激光导引和惯性导引等。视觉导引AGV利用CCD摄像机采集地面路径信息,提取地面路径与摄像机视野中心的角度偏差与距离偏差,将偏差信息发送给控制器,控制器根据接收到的偏差信息来调整AGV车体的位姿,使车体始终保持在导引线上方,具有导引精度高,设备成本低,获取信息丰富,路径布置柔性高等优势,近年来获得了越来越广泛的应用。
视觉导引AGV的摄像机安装方式有垂直安装与倾斜安装两种。公开号为CN103390259A的中国发明专利采用一种摄像机垂直安装检测地面路径的方式,摄像机垂直安装图像畸变相对较小,检测精度高,但其视野小,无法及时获取AGV前方路况信息。公开号为CN103646249A的中国发明专利采用摄像机倾斜安装方式,通过对采集的图像进行处理后得到前方路径中点信息,但其并没有对图像由于倾斜安装引起的倾斜畸变进行校正,只能获得路径中点信息,无法实现对路径宽度等的精确测量。
AGV在运行时需要准确识别多分支路径并根据任务选择其中一条路径进行导引,同时也需要准确识别各种工位标识。公开号为CN1438138A的中国发明专利利用数字字符标识多分支路径,并通过模板匹配法进行识别,由于其处理数字字符标识需要经过旋转变换、比例变换等复杂过程,需要用运算能力强大的车载计算机进行处理,不适合嵌入式解决方案,并且也未涉及到工位标识的识别。
在路径偏差测量方面,传统的方法根据预先设定的路径模型对采集的路径点进行拟合,典型的路径模型有直线模型、圆弧模型以及非圆弧模型等,这类方法计算量大,并且精度相比直线模型计算出来的结果提升有限。
在AGV的定位方面,公开号为CN104181920A和CN104835173A的中国发明专利提出的视觉定位方法仅能实现AGV在工位点处的定位,但考虑定位精度时并没有考虑其他因素如车体惯性的影响。
发明内容:
本发明提供一种基于双视野窗口的路径特征识别、偏差测量与精确定位方法。
本发明采用如下技术方案:一种基于双视野窗口的路径特征识别、偏差测量与精确定位方法,步骤如下:
1)针对前置倾斜安装的车载摄像机设置双视野窗口,第一视野窗口为路径特征识别窗口,采用车载摄像机的整幅视野范围;第二视野窗口为路径导引扫描窗口,其窗口宽度为整幅视野宽度,其窗口高度根据车载摄像机的视角以及倾斜安装角度由扫描高度自动缩放方法确定;
2)路径特征识别方法,在路径特征识别窗口通过以下流程获取经过泛化处理的神经网络识别器:(1)导引路径原始图像采集;(2)二值化图像预处理;(3)全息图像高维特征矩阵构建;(4)高维特征矩阵核主成分分析降维;(5)神经网络识别器样本训练;
3)路径偏差测量方法,针对单支路径,在路径导引扫描窗口将导引路径简化成直线模型,计算相对于导引路径的位置偏差和姿态角偏差,并将所述偏差信号发送给车载控制器;
4)二次精确定位方法,在工位点附近连续布置两个间隔特定距离的定位标志,在路径导引扫描窗口检测相对于定位标志的定位距离,通过第一标志减速、第二标志停车实现平稳精确定位,并将减速和停车信号发送给车载控制器;
5)多分支路径选择方法,在电子地图中根据运输任务,从多分支路径中选择其中一支路径作为当前导引路径,再转入步骤3)的单支路径偏差测量流程。
进一步地,所述路径特征识别方法具体如下:
1)导引路径原始图像采集,通过车载摄像机采集路径特征识别窗口中导引路径的原始图像;
2)二值化图像预处理,采用图像滤波、光照补偿、畸变校正、图像二值化以及形态学处理,将原始图像处理为二值化图像;
3)全息图像高维特征矩阵构建,在路径特征识别窗口中采集M类、每类N幅、分辨率为m×n的二值化图像,将每幅图像按列存储为一个m×n维的行向量,将所述行向量作为样本矩阵的一个样本,最后形成一个大小为(M×N)×(m×n)的高维特征样本矩阵;
4)高维特征矩阵主成分分析降维,对高维特征样本矩阵进行主成分分析,选取前p个主成分分量,组成大小为(M×N)×p的新样本矩阵,作为神经网络识别器的训练样本;
5)神经网络识别器样本训练,针对(M×N)×p的新样本矩阵,采用有动量+自适应学习率的梯度下降法调整神经网络权值以及连接点阈值,训练神经网络识别器对特征矩阵的识别能力。
进一步地,所述二值化图像预处理步骤如下:
1)将导引路径的原始图像处理为灰度图像,进行一次均值滤波,得到较为平滑的路径图像;
2)对均值滤波后的灰度图像进行光照补偿,通过标定从而确定图像光照中心,以光照中心为基准,按照距离远近划分为3个区域,对高光区域进行补色,对低照度区域进行补光,消除图像的高光现象;
3)对路径图像进行畸变校正,采用平面模板法校正由镜头以及摄像机系统带来的桶形畸变,采用“连接点法”校正由于摄像机倾斜安装带来的倾斜畸变,利用校正前的四个输入点(x1,y1)、(x2,y2)、(x3,y3)、(x4,y4)和校正后的四个基准点(x1',y1')、(x2',y2')、(x3',y3')、(x4',y4')计算畸变校正矩阵K,并用双线性插值法插值,K计算公式如下:
4)对畸变校正后的路径图像进行阈值分割,以光照中心为基准,划分为三个不同照度的区域,对每个区域采用最优阈值法确定分割阈值,得到二值化的路径特征图像,其公式如下:
式中,O(i0,j0)为图像光照中心坐标,T(i,j)为每个像素点的分割阈值;
5)对二值化图像进行两次形态学处理,首先做一次10×10模板的闭运算,使图像轮廓变得光滑,填充细小的孔洞,然后再做一次10×10模板的开运算,同样使轮廓变得光滑,同时断开狭窄的连接,消除毛刺。
进一步地,所述高维特征矩阵主成分分析降维步骤如下:
1)为高维特征样本矩阵X选定一个高斯径向基核函数
利用公式(4)和(5)计算N×N的核函数矩阵K:
Kij≡Φ(xi)·Φ(xj) (4)
2)通过求解
Nλα=Kα (6)
获取核函数矩阵K的特征值λ和特征向量α,并按从大到小顺序排列,通过以下公式
计算样本在特征空间上的投影hk(x),得到各主成分分量;
3)在满足贡献率的条件下,对每组样本选取p个主成分,组成大小为(M×N)×p的新数据样本。
进一步地,所述神经网络识别器样本训练步骤如下:
1)采用高维特征样本矩阵降维后的p个特征作为神经网络的训练样本输入,以路径特征号(1~n)作为神经网络的识别输出,按照以下公式
确定隐层数,其中m为输入节点数,n为输出节点数,a为1~10的一个常数;
2)采用logsig函数作为隐含层的传递函数,purelin函数作为输出层的传递函数;
3)采用有动量+自适应学习率的梯度下降法调整网络权值及连接点阈值,初始学习率设为τ,目标误差设为ε,最大迭代步数设为Ns;
4)对神经网络识别器进行训练,根据实际输出与目标输出的偏差修正网络权值及连接点阈值,直至达到目标误差ε或达到最大迭代步数Ns。
进一步地,所述的扫描高度自动缩放方法通过以下公式:
计算路径导引扫描窗口的高度,式中l为导引扫描窗口高度,L为视野高度,θ为摄像机安装倾斜角,α为摄像机竖直视角的1/2。
进一步地,所述的路径偏差测量方法为:连接路径导引扫描窗口上边界和下边界的中点,作为导引路径的直线模型,采用最小二乘法计算相对于导引路径的姿态角偏差Δθ和位置偏差Δx为:
进一步地,所述的二次精确定位方法为在工位点附近连续布置两个定位标志,所述两个定位标志之间的距离等于车载摄像机视野中心到运动控制中心的距离,在路径导引扫描窗口实时检测相对于定位标志的定位距离,当到达第一个定位标志时自动导引车开始减速运行,并通过运动控制器的路径跟踪控制调节车体相对于导引路径的位姿,当到达第二个定位标志时自动导引车立即停车,此时车体的运动控制中心正对工位点以实现平稳精确定位。
本发明具有如下有益效果:采用整个摄像机视野作为路径特征识别窗口,在路径特征识别窗口中对原始路径图像进行预处理,得到二值化的路径特征图像,利用KPCA-BP神经网络算法,能准确快速地识别地面多分支路径、定位标志和单支路径。由摄像机的视角以及安装角度确定导引扫描窗口范围,在导引扫描窗口内使用直线模型计算路径偏差,在满足导引精度要求的前提下减少计算时间,提高系统实时性;本发明提供的二次视觉定位方法,实现自动导引车的精确平稳定位。本发明提供的方法具有特征识别率高、算法实时性强、路径测量精度高以及停车定位准确平稳等优点。
附图说明:
图1为本发明所述的基于双视野窗口的路径特征识别、偏差测量与精确定位方法的系统流程图。
图2为本发明所述的畸变矫正前路径特征图像。
图3为本发明所述的畸变矫正后路径特征图像。
图4为本发明所述的二值化后路径特征图像。
图5为本发明所述的BP神经网络拓扑结构。
图6为本发明所述的导引扫描窗口范围定义示意图。
图7为本发明所述的导引扫描窗口与模式识别窗口示意图。
图8为本发明所述的导引扫描窗口中直线模型计算偏差定义图。
图9为本发明所述的二次视觉定位法示意图。
具体实施方式:
下面结合具体实施例对本发明进行详细说明。
图1为本发明所述的基于双视野窗口的路径特征识别、偏差测量与精确定位方法的系统流程图。对于路径特征识别,系统处理分为两个阶段,第一阶段是离线的机器学习阶段,其流程用虚线箭头表示;第二阶段是在线的路径导引阶段,其流程用实线箭头表示。两个阶段都需要经过原始图像采集、设置路径特征识别窗口、二值化图像预处理、高维特征矩阵构建、主成分分析降维数个处理流程,区别在于:离线机器学习阶段采集的已知路径特征类型的特征矩阵样本,该样本用于训练神经网络识别器,使其具有对路径特征的识别能力;而在线路径导引阶段采集的是需要识别路径特征类型的特征矩阵样本,由神经网络进行识别。
1)针对前置倾斜安装的车载摄像机设置的双视野窗口,第一视野窗口为路径特征识别窗口,采用车载摄像机的整幅视野范围;第二视野窗口为路径导引扫描窗口,其窗口宽度为整幅视野宽度,其窗口高度根据车载摄像机的视角以及倾斜安装角度由扫描高度自动缩放方法确定。
2)路径特征识别方法,在路径特征识别窗口通过以下流程获取经过泛化处理的神经网络识别器:(1)导引路径原始图像采集;(2)二值化图像预处理;(3)全息图像高维特征矩阵构建;(4)高维特征矩阵核主成分分析降维;(5)神经网络识别器样本训练。其中神经网络识别器用于将原始图像中的路径特征区分为多分支路径、定位标志或单支路径。
3)路径偏差测量方法,针对单支路径,在路径导引扫描窗口根据“以直代曲”思想将将导引路径简化成直线模型,计算相对于导引路径的位置偏差和姿态角偏差,并将偏差信号发送给车载控制器。
4)二次精确定位方法,在工位点附近连续布置两个间隔特定距离的定位标志,在路径导引扫描窗口检测相对于定位标志的定位距离,通过第一标志减速、第二标志停车实现平稳精确定位,并将减速和停车信号发送给车载控制器。
5)多分支路径选择方法,在电子地图中根据运输任务,从多分支路径中选择其中一支路径作为当前导引路径,再转入步骤3)的单支路径偏差测量流程。
其中路径特征识别方法包括:
1)导引路径原始图像采集,通过车载摄像机采集路径特征识别窗口中导引路径的原始图像;
2)二值化图像预处理,采用图像滤波、光照补偿、畸变校正、图像二值化以及形态学处理等步骤,将原始图像处理为二值化图像;
3)全息图像高维特征矩阵构建,在路径特征识别窗口中采集M类、每类N幅、分辨率为m×n的二值化图像,将每幅图像按列存储为一个m×n维的行向量,将所述行向量作为样本矩阵的一个样本,最后形成一个大小为(M×N)×(m×n)的高维特征样本矩阵;
4)高维特征矩阵主成分分析降维,对高维特征样本矩阵进行主成分分析,选取前p个主成分分量,组成大小为(M×N)×p的新样本矩阵,作为神经网络识别器的训练样本;
5)神经网络识别器样本训练,针对(M×N)×p的新样本矩阵,采用有动量+自适应学习率的梯度下降法调整神经网络权值以及连接点阈值,训练神经网络识别器对特征矩阵的识别能力。
本发明首先利用车载CCD摄像机采集原始路径特征图像,设置路径特征识别窗口,采用车载摄像机的整幅视野范围。接着对路径特征识别窗口内的图像进行预处理,具体包括以下步骤:
1)将导引路径的原始图像处理为灰度图像,进行一次均值滤波,得到较为平滑的路径图像;
2)由于光源的影响,图像光照中心亮度较高,边缘则较暗,直接进行阈值分割会导致过分割或欠分割,导致图像特征质量下降。故对均值滤波后的灰度图像进行光照补偿,通过标定确定图像光照中心,以光照中心为基准按照距离远近划分为3个区域,对高光区域进行补色,对低照度区域进行补光,消除图像的高光现象;
3)对图像进行畸变校正,采用平面模板法校正由镜头以及摄像机系统带来的桶形畸变,采用“连接点法”校正由于摄像机倾斜安装带来的倾斜畸变,利用校正前的四个输入点(x1,y1)、(x2,y2)、(x3,y3)、(x4,y4)和校正后的四个基准点(x1',y1')、(x2',y2')、(x3',y3')、(x4',y4')计算畸变校正矩阵K,并用双线性插值法插值,K计算公式如下:
4)对畸变校正后的图像进行阈值分割,以光照中心为基准,划分为三个不同照度的区域,对每个区域采用最优阈值法确定分割阈值,得到二值画的路径特征图像,其公式如下,其中O(i0,j0)为图像光照中心坐标,T(i,j)为每个像素点的分割阈值:
5)对二值图像进行两次形态学处理,首先做一次10×10模板的闭运算,使图像轮廓变得光滑,填充细小的孔洞,然后再做一次10×10模板的开运算,同样使轮廓变得光滑,同时断开狭窄的连接,消除毛刺。
原始具有桶形畸变以及倾斜畸变的路径特征图像如图2所示,经过畸变校正后的图像如图3所示。因进行倾斜畸变校正,校正后的图像形状为倒梯形,比原始图像大,按原始图像大小截取后图像信息会略有减少,但对识别及导引无影响。图4表示经过阈值分割并经过形态学处理后的二值图像。
得到二值化的路径特征图像后,开始对其进行识别,设置整幅图像大小作为路径特征识别窗口。对路径特征识别窗口内经过预处理的M类,每类N幅大小为m×n路径特征图像,将每幅图像按列存储为一个m×n维的行向量,作为样本矩阵的一个样本,最后形成一个大小为(M×N)×(m×n)的样本矩阵X,按以下步骤对样本矩阵进行KPCA降维:
1)为高维特征样本矩阵X选定一个高斯径向基核函数
利用公式(4)和(5)计算N×N的核函数矩阵K:
Kij≡Φ(xi)·Φ(xj) (4)
2)通过求解
Nλα=Kα (6)
获取核函数矩阵K的特征值λ和特征向量α,并按从大到小顺序排列,通过以下公式
计算样本在特征空间上的投影hk(x),得到各主成分分量;
3)在满足贡献率的条件下,对每组样本选取p个主成分,组成大小为(M×N)×p的新数据样本。
接着将新的样本矩阵作为输入,利用可变学习率的BP神经网络算法进行训练和识别,BP网络的拓扑结构如图5所示,算法具体步骤如下:
1)采用高维特征样本矩阵降维后的p个特征作为神经网络的训练样本输入,以路径特征号(1~n)作为神经网络的识别输出,按照以下公式
确定隐层数,其中m为输入节点数,n为输出节点数,a为1~10的一个常数;
2)采用logsig函数作为隐含层的传递函数,purelin函数作为输出层的传递函数;
3)采用有动量+自适应学习率的梯度下降法调整网络权值及连接点阈值,初始学习率设为τ,目标误差设为ε,最大迭代步数设为Ns;
4)对神经网络识别器进行训练,根据实际输出与目标输出的偏差修正网络权值及连接点阈值,直至达到目标误差ε或达到最大迭代步数Ns。
在进行路径特征识别的同时,自动导引车仍需进行导航,需要获得导引数据,因此需要设置一个导引扫描窗口,导引扫描窗口范围不需设置得太大,因为摄像机倾斜安装,其视野比较广,采用视野前部数据会产生比较大的误差。本发明提出的导引扫描窗口范围定义示意图如图6所示。其中平面AB为摄像机视野平面,平面DE为无倾斜畸变的平面,平面DE垂直于摄像机光轴OC,直线AB表示摄像机视野高度,记为L,直线BF表示导引扫描窗口最大高度,记为l,直线DF垂直AB,θ为摄像机安装倾斜角,α为摄像机竖直视角的1/2,h为摄像机安装高度。可以推得,导引扫描窗口高度占视野高度的比例为:
根据该比例可确定导引扫描窗口范围,并且该范围只与摄像机竖直视角以及摄像机安装倾斜角有关,与摄像机安装高度无关。摄像机安装倾斜角θ通过标定精确获得,α通过下式计算得到:
其中a为CCD单个感光原件尺寸,n为CCD感光元件数量,f为CCD摄像机的焦距。图7表示了导引扫描窗口与模式识别窗口示意图双窗口示意图。
然后在导引扫描窗口内根据“以直代曲”的思想,将路径模型简化为直线模型,连接路径导引扫描窗口上边界和下边界的中点,作为导引路径的直线模型,采用最小二乘法计算相对于导引路径的姿态角偏差Δθ和位置偏差Δx为:
姿态角偏差和位置偏差的定义如图8所示。计算得到的姿态角偏差和位置偏差发送给控制器,控制器根据偏差信号进行纠偏,使AGV车体始终保持在导引线正上方前进。
二次视觉定位法示意图如图9所示。在工位点附近连续布置两个定位标志,所述两个定位标志之间的距离等于车载摄像机视野中心到运动控制中心的距离。在路径导引扫描窗口实时检测相对于定位标志的定位距离,当到达第一个定位标志时自动导引车开始减速运行,并通过运动控制器的路径跟踪控制调节车体相对于导引路径的位姿。当到达第二个定位标志时自动导引车立即停车,此时车体的运动控制中心正对工位点,实现平稳精确定位。采用二次视觉定位法,能大大减小自动导引车车体惯性对于精确定位的影响。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下还可以作出若干改进,这些改进也应视为本发明的保护范围。
Claims (8)
1.一种基于双视野窗口的路径特征识别、偏差测量与精确定位方法,其特征在于:步骤如下
1)针对前置倾斜安装的车载摄像机设置双视野窗口,第一视野窗口为路径特征识别窗口,采用车载摄像机的整幅视野范围;第二视野窗口为路径导引扫描窗口,其窗口宽度为整幅视野宽度,其窗口高度根据车载摄像机的视角以及倾斜安装角度由扫描高度自动缩放方法确定;
2)路径特征识别方法,在路径特征识别窗口通过以下流程获取经过泛化处理的神经网络识别器:(1)导引路径原始图像采集;(2)二值化图像预处理;(3)全息图像高维特征矩阵构建;(4)高维特征矩阵核主成分分析降维;(5)神经网络识别器样本训练;
3)路径偏差测量方法,针对单支路径,在路径导引扫描窗口将导引路径简化成直线模型,计算相对于导引路径的位置偏差和姿态角偏差,并将所述偏差信号发送给车载控制器;
4)二次精确定位方法,在工位点附近连续布置两个间隔特定距离的定位标志,在路径导引扫描窗口检测相对于定位标志的定位距离,通过第一标志减速、第二标志停车实现平稳精确定位,并将减速和停车信号发送给车载控制器;
5)多分支路径选择方法,在电子地图中根据运输任务,从多分支路径中选择其中一支路径作为当前导引路径,再转入步骤3)的单支路径偏差测量流程。
2.如权利要求1所述的基于双视野窗口的路径特征识别、偏差测量与精确定位方法,其特征在于:所述路径特征识别方法具体如下
1)导引路径原始图像采集,通过车载摄像机采集路径特征识别窗口中导引路径的原始图像;
2)二值化图像预处理,采用图像滤波、光照补偿、畸变校正、图像二值化以及形态学处理,将原始图像处理为二值化图像;
3)全息图像高维特征矩阵构建,在路径特征识别窗口中采集M类、每类N幅、分辨率为m×n的二值化图像,将每幅图像按列存储为一个m×n维的行向量,将所述行向量作为样本矩阵的一个样本,最后形成一个大小为(M×N)×(m×n)的高维特征样本矩阵;
4)高维特征样本矩阵核主成分分析降维,对高维特征样本矩阵进行核主成分分析,选取前p个主成分分量,组成大小为(M×N)×p的新样本矩阵,作为神经网络识别器的训练样本;
5)神经网络识别器样本训练,针对(M×N)×p的新样本矩阵,采用有动量+自适应学习率的梯度下降法调整神经网络权值以及连接点阈值,训练神经网络识别器对特征矩阵的识别能力。
3.如权利要求2所述的基于双视野窗口的路径特征识别、偏差测量与精确定位方法,其特征在于:所述二值化图像预处理步骤如下
1)将导引路径的原始图像处理为灰度图像,进行一次均值滤波,得到较为平滑的路径图像;
2)对均值滤波后的灰度图像进行光照补偿,通过标定从而确定图像光照中心,以光照中心为基准,按照距离远近划分为3个区域,对高光区域进行补色,对低照度区域进行补光,消除图像的高光现象;
3)对路径图像进行畸变校正,采用平面模板法校正由镜头以及摄像机系统带来的桶形畸变,采用“连接点法”校正由于摄像机倾斜安装带来的倾斜畸变,利用校正前的四个输入点(x1,y1)、(x2,y2)、(x3,y3)、(x4,y4)和校正后的四个基准点(x1',y1')、(x2',y2')、(x3',y3')、(x4',y4')计算畸变校正矩阵H,并用双线性插值法插值,H计算公式如下:
其中,h1、h2、h3、h4、h5、h6、h7、h8为畸变校正系数;
4)对畸变校正后的路径图像进行阈值分割,以光照中心为基准,划分为三个不同照度的区域,对每个区域采用最优阈值法确定分割阈值,得到二值化的路径特征图像,其公式如下:
式中,O(i0,j0)为图像光照中心坐标,T(i,j)为每个像素点的分割阈值,T1、T2、T3分别为三个不同照度区域的分割阈值,d1、d2分别为划分的不同照度区域的半径;
5)对二值化图像进行两次形态学处理,首先做一次10×10模板的闭运算,使图像轮廓变得光滑,填充细小的孔洞,然后再做一次10×10模板的开运算,同样使轮廓变得光滑,同时断开狭窄的连接,消除毛刺。
4.如权利要求2所述的基于双视野窗口的路径特征识别、偏差测量与精确定位方法,其特征在于:所述高维特征样本矩阵核主成分分析降维步骤如下
1)为高维特征样本矩阵X选定一个高斯径向基核函数
其中,σ为核函数的宽度参数,x、xi为样本特征;
利用公式(4)和(5)计算N×N的核函数矩阵K:
Kij≡Φ(xi)·Φ(xj) (4)
其中,Kij为核函数矩阵K的第(i,j)个元素,为修正后的核函数矩阵K第(i,j)个元素,Φ(xi)和Φ(xj)分别表示样本特征x、xi在高维特征空间的非线性映射;
2)通过求解
Nλα=Kα (6)
获取核函数矩阵K的特征值λ和特征向量β,并按从大到小顺序排列,通过以下公式
计算样本在特征空间上的投影hk(x),得到各主成分分量,式中,k表示主成分分量的序号,Vk为特征空间的空间向量;
3)在满足贡献率的条件下,对每组样本选取前p个主成分分量,组成大小为(M×N)×p的新数据样本。
5.如权利要求2所述的基于双视野窗口的路径特征识别、偏差测量与精确定位方法,其特征在于:所述神经网络识别器样本训练步骤如下
1)采用高维特征样本矩阵降维后的前p个主成分分量作为神经网络的训练样本输入,以路径特征号(1~n)作为神经网络的识别输出,按照以下公式
确定隐层数,其中s为输入节点数,t为输出节点数,b为1~10的一个常数;
2)采用logsig函数作为隐含层的传递函数,purelin函数作为输出层的传递函数;
3)采用有动量+自适应学习率的梯度下降法调整网络权值及连接点阈值,初始学习率设为τ,目标误差设为ε,最大迭代步数设为Ns;
4)对神经网络识别器进行训练,根据实际输出与目标输出的偏差修正网络权值及连接点阈值,直至达到目标误差ε或达到最大迭代步数Ns。
6.如权利要求1所述的基于双视野窗口的路径特征识别、偏差测量与精确定位方法,其特征在于:所述的扫描高度自动缩放方法通过以下公式:
计算路径导引扫描窗口的高度,式中l为导引扫描窗口高度,L为视野高度,θ为摄像机安装倾斜角,α为摄像机竖直视角的1/2。
7.如权利要求1所述的基于双视野窗口的路径特征识别、偏差测量与精确定位方法,其特征在于:所述的路径偏差测量方法为:连接路径导引扫描窗口上边界和下边界的中点,作为导引路径的直线模型,采用最小二乘法计算相对于导引路径的姿态角偏差Δθ和位置偏差Δx为:
8.如权利要求1所述的基于双视野窗口的路径特征识别、偏差测量与精确定位方法,其特征在于:所述的二次精确定位方法为在工位点附近连续布置两个定位标志,所述两个定位标志之间的距离等于车载摄像机视野中心到运动控制中心的距离,在路径导引扫描窗口实时检测相对于定位标志的定位距离,当到达第一个定位标志时自动导引车开始减速运行,并通过运动控制器的路径跟踪控制调节车体相对于导引路径的位姿,当到达第二个定位标志时自动导引车立即停车,此时车体的运动控制中心正对工位点以实现平稳精确定位。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510954122.9A CN105444741B (zh) | 2015-12-17 | 2015-12-17 | 基于双视野窗口的路径特征识别、偏差测量与精确定位方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510954122.9A CN105444741B (zh) | 2015-12-17 | 2015-12-17 | 基于双视野窗口的路径特征识别、偏差测量与精确定位方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105444741A CN105444741A (zh) | 2016-03-30 |
CN105444741B true CN105444741B (zh) | 2018-08-28 |
Family
ID=55555214
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510954122.9A Active CN105444741B (zh) | 2015-12-17 | 2015-12-17 | 基于双视野窗口的路径特征识别、偏差测量与精确定位方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105444741B (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105955259B (zh) * | 2016-04-29 | 2019-04-23 | 南京航空航天大学 | 基于多窗口实时测距的单目视觉agv的精确定位方法 |
CN106043295A (zh) * | 2016-06-03 | 2016-10-26 | 华南农业大学 | 一种电动山地果园运输机自动停泊系统及其控制方法 |
CN106774316B (zh) * | 2016-12-13 | 2019-08-27 | 浙江大学 | 一种agv智能车的轨迹信息处理控制方法 |
US10768630B2 (en) | 2017-02-09 | 2020-09-08 | International Business Machines Corporation | Human imperceptible signals |
CN108279026A (zh) * | 2018-01-19 | 2018-07-13 | 浙江科钛机器人股份有限公司 | 一种基于t型rfid信标的agv惯性导航系统及方法 |
CN211668521U (zh) * | 2018-05-31 | 2020-10-13 | 上海快仓智能科技有限公司 | 用于图像采集的自动引导车、以及图像采集和处理系统 |
CN110008862B (zh) * | 2019-03-22 | 2021-03-30 | 哈尔滨工业大学(深圳) | 一种车辆目标检测方法及相关装置 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101231750A (zh) * | 2008-02-21 | 2008-07-30 | 南京航空航天大学 | 一种双目立体测量系统的标定方法 |
CN103245332A (zh) * | 2013-04-02 | 2013-08-14 | 中国科学院长春光学精密机械与物理研究所 | 大视场空间相机行周期实时调整系统和方法 |
-
2015
- 2015-12-17 CN CN201510954122.9A patent/CN105444741B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101231750A (zh) * | 2008-02-21 | 2008-07-30 | 南京航空航天大学 | 一种双目立体测量系统的标定方法 |
CN103245332A (zh) * | 2013-04-02 | 2013-08-14 | 中国科学院长春光学精密机械与物理研究所 | 大视场空间相机行周期实时调整系统和方法 |
Non-Patent Citations (4)
Title |
---|
Multi-objective Genetic Algorithm for System Identification and Controller Optimization of Automated Guided Vehicle;WU Xing 等;《JOURNAL OF NETWORKS》;20110731;第6卷(第7期);第982-989页 * |
基于光照约束的AGV视觉导引非均匀光照增强方法;杨旭 等;《机械科学与技术》;20121231;第32卷(第12期);第1752-1757页 * |
自动导引车视觉导引路径的识别及精确测量;喻俊 等;《华南理工大学学报(自然科学版)》;20120331;第40卷(第3期);第143-149页 * |
自动导引车视觉导航的路径识别和跟踪控制;李进 等;《农业机械学报》;20080228;第39卷(第2期);第20-24页 * |
Also Published As
Publication number | Publication date |
---|---|
CN105444741A (zh) | 2016-03-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105444741B (zh) | 基于双视野窗口的路径特征识别、偏差测量与精确定位方法 | |
CN109945858B (zh) | 用于低速泊车驾驶场景的多传感融合定位方法 | |
CN109931939B (zh) | 车辆的定位方法、装置、设备及计算机可读存储介质 | |
CN108960183B (zh) | 一种基于多传感器融合的弯道目标识别系统及方法 | |
CN111652179B (zh) | 基于点线特征融合激光的语义高精地图构建与定位方法 | |
CN104848851B (zh) | 基于多传感器数据融合构图的变电站巡检机器人及其方法 | |
CN109815300B (zh) | 一种车辆定位方法 | |
CN105955259B (zh) | 基于多窗口实时测距的单目视觉agv的精确定位方法 | |
KR101569919B1 (ko) | 차량의 위치 추정 장치 및 방법 | |
CN1954343B (zh) | 车辆用行驶划分线识别装置 | |
CN110569704A (zh) | 一种基于立体视觉的多策略自适应车道线检测方法 | |
KR102485480B1 (ko) | 가상 주차선 생성에 의한 주차 지원 장치 및 그 방법 | |
US7415134B2 (en) | Traffic lane marking line recognition system for vehicle | |
US7415133B2 (en) | Traffic lane marking line recognition system for vehicle | |
CN109543600A (zh) | 一种实现可行驶区域检测方法及系统和应用 | |
CN111448478A (zh) | 用于基于障碍物检测校正高清地图的系统和方法 | |
CN110263607B (zh) | 一种用于无人驾驶的道路级全局环境地图生成方法 | |
CN107750364A (zh) | 使用稳定的坐标系的道路垂直轮廓检测 | |
CN106651953A (zh) | 一种基于交通指示牌的车辆位姿估计方法 | |
CN106548173A (zh) | 一种基于分级匹配策略的改进无人机三维信息获取方法 | |
WO2019208101A1 (ja) | 位置推定装置 | |
CN109483507B (zh) | 一种多个轮式机器人行走的室内视觉定位方法 | |
CN112861748A (zh) | 一种自动驾驶中的红绿灯检测系统及方法 | |
EP1775691B1 (en) | Lane boundary recognition apparatus for vehicle | |
JP3589293B2 (ja) | 道路の白線検出方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |