CN106225774B - 一种基于计算机视觉的无人驾驶农机耕道测量装置及方法 - Google Patents
一种基于计算机视觉的无人驾驶农机耕道测量装置及方法 Download PDFInfo
- Publication number
- CN106225774B CN106225774B CN201610741333.9A CN201610741333A CN106225774B CN 106225774 B CN106225774 B CN 106225774B CN 201610741333 A CN201610741333 A CN 201610741333A CN 106225774 B CN106225774 B CN 106225774B
- Authority
- CN
- China
- Prior art keywords
- depth
- road
- image
- agricultural machinery
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 230000033001 locomotion Effects 0.000 claims abstract description 33
- 238000005259 measurement Methods 0.000 claims abstract description 27
- 238000013519 translation Methods 0.000 claims abstract description 15
- 238000000605 extraction Methods 0.000 claims abstract description 7
- 230000006641 stabilisation Effects 0.000 claims abstract description 7
- 238000011105 stabilization Methods 0.000 claims abstract description 7
- 238000001914 filtration Methods 0.000 claims description 16
- 238000009313 farming Methods 0.000 claims description 12
- 238000010606 normalization Methods 0.000 claims description 12
- 230000000694 effects Effects 0.000 claims description 9
- 238000013507 mapping Methods 0.000 claims description 9
- 230000008859 change Effects 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000006073 displacement reaction Methods 0.000 claims description 6
- 238000005516 engineering process Methods 0.000 claims description 5
- 238000003971 tillage Methods 0.000 claims description 4
- 241000206761 Bacillariophyta Species 0.000 claims description 3
- 230000000903 blocking effect Effects 0.000 claims description 3
- 238000005336 cracking Methods 0.000 claims description 3
- 230000009977 dual effect Effects 0.000 claims description 3
- 238000009415 formwork Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 230000001737 promoting effect Effects 0.000 claims description 3
- 230000001629 suppression Effects 0.000 claims description 3
- 230000000717 retained effect Effects 0.000 claims 1
- 230000008901 benefit Effects 0.000 abstract description 4
- 238000012545 processing Methods 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 abstract description 3
- 238000003709 image segmentation Methods 0.000 abstract description 3
- 239000002689 soil Substances 0.000 description 7
- 230000000007 visual effect Effects 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 4
- 230000011218 segmentation Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 239000002245 particle Substances 0.000 description 2
- VMXUWOKSQNHOCA-UKTHLTGXSA-N ranitidine Chemical compound [O-][N+](=O)\C=C(/NC)NCCSCC1=CC=C(CN(C)C)O1 VMXUWOKSQNHOCA-UKTHLTGXSA-N 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000035800 maturation Effects 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 230000035772 mutation Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000007306 turnover Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/04—Interpretation of pictures
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/36—Videogrammetry, i.e. electronic processing of video signals from a single source or from different sources to give parallax or range information
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G06T5/70—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20032—Median filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30181—Earth observation
- G06T2207/30188—Vegetation; Agriculture
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于计算机视觉的无人驾驶农机耕道测量装置及方法，通过安装在农机上垂直向下照射的颜色和深度图像传感器获取农机作业耕道的颜色图和深度图信息，交给数字信号处理器计算耕道参数，通过图像分割提取耕道宽度，通过深度相机测量耕道深度，通过序列图像的平移匹配推算耕道长度，具体包含摄像机标定、图像增强、视频稳定化及去运动模糊、深度和宽度的测量、长度的测量等五个关键步骤。本发明方法解决了耕道参数难以自动化精确测量的难题，具有低成本、高精度、实时处理等优势。
Description
技术领域
本发明属于农业机械技术领域，涉及一种无人驾驶农机，具体涉及一种基于计算机视觉的无人驾驶农机耕道测量装置及方法。
技术背景
近年来，无人驾驶农机开始在农田耕种中推广应用。由全球卫星定位系统导航的无人驾驶拖拉机、播种机已经在新疆和东北等地的一些大型农场进入田间作业。相比于传统的农耕方式，甚至已经广为应用的人工操作的耕种机，无人驾驶农机可实现24小时不间断作业，劳动效率比人工驾驶高2至3倍，大幅度提高了耕种作业质量和工作效率，进一步节省了人力，有效降低了农业生产成本的投入。无人驾驶农机正在成为继无人机后又一新亮点，农业机械正在迎来“无人”时代。
农机耕作耕道的深度、宽度和长度等数据是农机作业要求的重要指标，也是无人驾驶农机中自动控制和导航的重要参数。作业前设定好参数后，导航系统便引导农机进入自动作业模式。传统的人工测量耕道的方式效率低下，基于GPS的测量方法精度较低，且价格昂贵，满足不了精准农业的作业要求。急需发展新的农机耕道测量方法和装置，提升无人驾驶农机的自动化水平。
实际上，耕道深度、宽度和长度等作业参数的测量只是农田局部范围内相对位置或距离的测量，没有必要使用GPS这种绝对经纬度和空间坐标位置的测量方式。耕道宽度和深度在位置点单幅图像上就能拍摄到，耕道长度也可以通过农机行驶方向上多幅序列图像的拍摄推算出来。因此，可以在农机上安装图像传感器，利用计算机视觉技术从拍摄的数字图像中自动提取耕道参数。将摄像机作为位置测量传感器，利用图像处理技术识别耕地和耕道，进而确定导航基准线，实现农机与耕地的相对位置与航向信息的测量。
计算机视觉的方法能起到相对定位作用，不仅工作性能优异，而且具有广泛适用性、功能多样性以及高性价比，开发成本与高精度GPS相比较低。难点在于自然条件下的图像由于光照条件的变化，农机行驶过程中的振动，地面杂物的干扰等情况，使得图像质量不高，而且用于控制的图像必须实时处理，这就对视觉信息处理算法的效率和鲁棒性提出较高的要求。
发明内容
为了解决上述技术问题，本发明提供了一种基于计算机视觉的无人驾驶农机耕道测量装置及方法。
本发明的装置所采用的技术方案是：一种基于计算机视觉的无人驾驶农机耕道测量装置，其特征在于：无人驾驶农机、颜色图像传感器、深度图像传感器、数字信号处理器、农机控制与导航系统和显示器；
所述颜色图像传感器、深度图像传感器对称设置在所述无人驾驶农机中部正下端，所述颜色图像传感器、深度图像传感器采集的信息通过所述数字信号处理器处理后送入所述农机控制与导航系统，所述显示器与所述农机控制与导航系统连接，用于显示输出农机作业指标的统计数据。
作为优选，所述颜色图像传感器、深度图像传感器采集的安装高度处于农机车高2/3的位置，其采样帧率，设置为在农机作业行驶速度下，连续拍摄的前后两幅图像中的量处于一个适宜的大小。
本发明的方法所采用的技术方案是：一种基于计算机视觉的无人驾驶农机耕道测量方法，其特征在于，包括以下步骤：
步骤1：颜色图像传感器、深度图像传感器标定，用于建立图像像素和现实世界长度物理量间的比例关系；
步骤2：图像增强，用于提升夜间作业条件下低光照颜色图像的亮度和对比度，填充因遮挡造成的深度图像空洞，滤除二者的噪声；
步骤3：视频稳定化及去运动模糊，用于消除农机作业过程中的随机振动、晃动引起的颜色图像抖动，去除摄像机和目标间相对运动引起的颜色图像的运动模糊效应；
步骤4：深度和宽度的测量，用于定时测量农机耕作中耕道的深度和宽度；
步骤5：长度的测量，用于测量每幅图像的平移距离，然后叠加得到耕道总长度。
作为优选，步骤1的具体实现包括以下子步骤：
步骤1.1：固定颜色图像传感器、深度图像传感器高度，正对下拍摄水平地面上的两个相距为d米的定标点，获得X幅定标图像，判断每幅图像中定标点间的像素距离，取平均值，记为p，则相机在该高度下物理空间和图像空间的比例尺r＝d/p；
步骤1.2：按照A厘米的步长，将相机高度由B米逐步提升到C米，根据上述方法逐个测量每个高度下的比例尺，得到与高度对应的一组比例尺R。
作为优选，步骤2的具体实现包括以下子步骤：
步骤2.1：将颜色图像由RGB空间转换到HSV空间；
步骤2.2：对H、S、V三个分量分别进行中值滤波，滤除噪声；
步骤2.3：选择加性、乘性和非线性Gamma校正三种映射方法之一，对V分量进行亮度拉伸；
步骤2.4：将图像从HSV空间还原到RGB空间；
步骤2.5：对深度图像采用中值滤波滤除噪声，采用快速行进法填充深度空洞。
作为优选，步骤3的具体实现包括以下子步骤：
步骤3.1：针对彩色视频，通过运动估计、运动滤波及运动补偿三个步骤，去掉视频画面的随机抖动；其中运动估计步骤估计帧间全局运动，运动滤波步骤去除无意的抖动而保留摄像机有意的正常扫描运动，运动补偿步骤用获得的修正的运动参数把每帧图像校正到正确位置；
步骤3.2：颜色图像传感器、深度图像传感器和目标间的相对运动模糊的去除，分为模糊核估计以及图像恢复两个步骤，这两步构成了一个迭代优化框架；首先估计模糊核，然后对图像恢复，然后重新估计模糊核，恢复图像，最终直到收敛。
作为优选，步骤4的具体实现包括以下子步骤：
步骤4.1：采用Canny算子提取耕道边缘线，首先对颜色图像进行Gauss平滑滤波；其次运用二维梯度模板计算梯度的幅度和方向；然后通过非极值抑制技术对平滑后的图像进行操作，细化边缘线；最后通过双阈值检测与线段连接，把间断的边缘相连得到完整的边缘信息；
步骤4.2：逐像素获取两条边缘线之间的像素距离，计算平均距离，得到耕道的平均像素宽度；
步骤4.3：利用深度图像，计算两条耕道线之间的所有深度像素值的平均值，得到耕道的平均像素深度；计算耕道线之外的未耕作侧所有深度像素的平均值，得到耕地的平均像素深度；
步骤4.4：每种类型的深度图像传感器均有一条像素深度到实际深度的映射曲线，根据具体所用相机的映射曲线，将像素深度转换为物理空间的实际深度，分别得到耕道和耕地的平均实际深度，从耕道的平均实际深度中减去耕地的平均实际深度，得到耕道的实际净深度；
步骤4.5：根据耕地的平均实际深度，从比例尺数组R中查找对应的比例因子r，将耕道的平均像素宽度乘以因子r，得到实际的耕道宽度。
作为优选，步骤5的具体实现包括以下子步骤：
步骤5.1：基于归一化相关最大化的匹配；农机采集的颜色图像和深度图像的空间分辨率为WxH，对于农机直线耕作路径上的两幅相邻的图像，其重叠子图大小为Wxh(h＝1…H-1)，用S表示前一幅图像中的子图，T表示后一幅图像中的子图，两幅子图的归一化相关计算为：
这里，Si,j、Ti,j分别表示子图S、T在位置(i,j)处的像素值；分别是两幅子图的均值：
按上式分别计算灰度图和深度图的归一化相关Rg(h)和Rd(h)，对二者加权求和，得到灰度-深度联合归一化相关Rj(h)：
Rj(h)＝wRg(h)+(1-w)Rd(h)
其中w为取值范围[0,1]间的加权系数；Rj(h)是h的凸函数，即h＝1…H-1的变化过程中，Rj(h)先由小变大、后由大变小，极值点ho即为最佳匹配重叠子图的高度；
步骤5.2：从图像高度H中减去重叠子图高度ho，得到像素平移距离；
步骤5.3：根据耕道深度和宽度测量过程中获得的耕地深度参数，从比例尺数组R中查找对应的比例因子r，将得到的像素平移距离乘以因子r，得到实际的移动距离；
步骤5.4：将所有的实际移动距离求和，得到耕道的实际长度。
作为优选，步骤5.1中，为降低搜索匹配的计算量，在后续搜索中，不再在h＝1…H-1范围内从头搜索，而是以上次搜索得到的最佳匹配重叠子图的高度ho为基准进行修正，即h＝ho-O…ho+O，这里O为经验值。
作为优选，所述深度和宽度测量，每半分钟执行一次；所述平移距离测量，每幅图像执行一次。
本发明采取图像视频测量的方式解算无人驾驶农机田间作业的耕道参数，通过图像分割提取耕道宽度，通过深度相机测量耕道深度，通过序列图像的平移匹配推算耕道长度，解决了耕道深度、宽度和长度参数难以自动化精确测量的难题。本发明方法具有如下优点和积极效果：
1)本发明方法不依赖类似GPS需要的那种第三方服务，且图像传感器和数字信号处理器成本低廉，具有低成本优势；
2)当前图像传感器采样精度足够高，因此获得的测量精度远高于GPS米级
精度；
3)当前数字信号处理器的运算能力强大，因此易做到实时控制。
附图说明
图1本发明实施例的装置组成示意图；
图2本发明实施例的方法流程图；
图3Kinect像素深度与实际深度的映射曲线。
具体实施方式
为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。
耕道具有良好的视觉区分性，与周围未翻种的土地或者已耕作但被覆盖的旧耕道相比，新耕道要深得多，耕道具有规则的长方形结构，边缘呈现出明显的线状特征，新翻挖的泥土在质地、泥块颗粒上与未耕作的土地也有区别。根据这些显著性的深度、形状、边缘、纹理、颜色特征，通过图像分割和场景深度测量，可以计算出耕道的宽度和深度。
由于耕道具有明显的边缘线(一般是直线)，无论是靠近未耕作的一边还是靠近已耕作的一边，因此，通过Canny等边缘提取算子提取出耕道边沿线，再经过一定的边缘线连接和形状拟合等后处理，将得到分割的耕道面。统计耕道面两边沿线间的像素宽度，再结合摄像机的标定关系，映射到物理空间就得到耕道宽度。
由于相机向下正对着耕地拍摄，不同于耕道的宽度能直接投影到二维平面图像上，耕道深度在拍摄的视频图像中对应的是场景的深度，场景的深度在二维平面图像上反映不出来，必须通过深度测量才能得到。场景深度的获取有主动视觉法和被动视觉法两种，主动视觉法直接通过具有测距功能的深度相机进行测量；被动视觉法则是利用普通双目摄像机得到的视差图采用软件解算的方式获得。由于深度相机越来越普及和廉价，直接采用深度相机测量耕道深度的方案性价比和可靠性将更高。具体做法是，将深度相机测量的包含耕道在内的深度减去地面深度(这里的深度指的是地面与相机间的垂直间距，并非土壤深度)得到耕道净深度。
农机作业时，随着农机的直线行进，安装在农机上垂直向下照射的摄像头连续拍摄的相邻两幅图像间存在重叠区域，通过图像匹配计算出重叠面积，从图像中减掉重叠部分，剩下的就是像素平移距离。将所有像素平移量相加，再利用标定摄像机的图像坐标系和物理坐标系的比例关系，就可以推算出耕道的长度。
然而，尽管耕道与傍边的未耕作土地外观差异明显，但同为耕道或同为未耕作土地时，外观差异并不明显，很难对不同位置上的土地从视觉外观上进行严格区分。而且，不排除这样的情况，一幅图像中包含了已耕作和未耕作两种区域，上一幅图像的未耕作区域在紧邻着的下一幅图像中处于已耕作位置，这样，前后图像的重叠部分的视觉特性发生变化，图像的视觉相似性匹配更为困难。
图像的不同特征反映了图像不同的信息，对不同特征进行匹配会得到不同的结果。将多个特征、多个算法融合与集成可以克服单个特征和算法的局限性，实现多特征、多算法优势互补，提高匹配的适应性。图像的灰度是最常用的特征，但耕地外观灰度差异并不明显，尤其是在夜间等低光照条件下，灰度的区分性进一步削弱。相比而言，由耕地质地、地物、植被等反映出来的物观特性更具区分性，例如泥块的颗粒尺寸、地物或地面纹理、耕道边缘线曲率、耕道形状和断面、泥土裂纹形态、土地平整性等等。如果从图像分割的角度分析，物观特性反映在数字图像上就是目标团块的大小、形状、边缘及分布密度等多样化和个性化的视觉特征。因此，使用经过边缘提取、能体现地物轮廓外貌的分割图像作匹配有望获得比原始灰度图像更好的匹配效果。众所周知，深度相机获取的深度图天然上就是很好的分割图像，更为难得的是，基于红外测距原理获取的深度图像不易受光照环境变化的干扰(在夜间弱光条件下，颜色图像品质大为降低，但深度图像基本不受影响)。因此，可以直接在深度图上进行匹配操作，而不必用算法生成匹配所需要的分割图像，这进一步节省了图像分割的计算开销。鉴于深度图毕竟缺乏细节信息，为此，融合灰度图和深度图的信息进行联合匹配，具体匹配方法采用归一化相关算法。
考虑到农机夜间作业时采集的图像较暗，影响图像分割和匹配中视觉特征的提取效果，为此，需要对低光照夜间图像进行亮度和对比度的增强。
图像的表达涉及到颜色空间，颜色空间有许多种，常用的有RGB，YUV，CMY，HSV，HIS，YIQ，Lab等，每种颜色空间都有自己的优缺点，例如，RGB颜色空间适合于显示系统，却并不适合于图像处理。不是每种颜色空间都适合图像增强，大量实践表明，在HSV颜色空间上能取得最好的图像增强效果。因此，将采集的低照度图像从原始的RGB或YUV颜色空间变换到HSV空间，增强处理完毕后再还原到原来的颜色空间。
农机在耕作过程中不可避免地存在振动、晃动等随机运动，导致采集的视频出现类似手机拍摄视频那样的抖动现象，甚至模糊、突变等不稳定现象，如果不加处理，将影响后续的图像测量效果。为此，需要对不稳定图像进行去抖动和去模糊处理。
基于上述思路，请见图1，本发明提供的一种基于计算机视觉的无人驾驶农机耕道测量装置，包含一个颜色图像传感器、一个深度图像传感器、一个数字信号处理器，以及农机控制与导航系统和显示器；图像传感器向数字信号处理器提供测量所需要的图像信号源，数字信号处理器将处理结果输送给农机控制与导航系统和显示器；本实施例的颜色和深度图像传感器采用微软公司的Kinect，数字信号处理器采用TI的DM642；
本装置测量的无人驾驶农机耕道参数包含耕道深度、宽度和长度；
本装置采用数字信号处理器作为运算部件，执行图像采集、处理和测量运算，并将运算结果反馈给农机控制与导航系统，调整农机作业姿态，且作为农机作业指标的统计数据输出；
本装置的图像传感器Kinect安装在农机车身中部、处于车高2/3的位置，安装方位朝正下方照射；其采样帧率，设置为在农机作业行驶速度下，连续拍摄的前后两幅图像中的量处于一个适宜的大小，如占图像的1/2。
请见图2，本发明提供的一种基于计算机视觉的无人驾驶农机耕道测量方法，包含摄像机标定、图像增强、视频稳定化及去运动模糊、深度和宽度的测量、长度的测量等五个关键步骤；本实施例每半分钟执行一次深度和宽度测量；本实施例每幅图像执行一次平移距离测量。
步骤1：摄像机(颜色图像传感器、深度图像传感器)标定，用于建立图像像素和现实世界长度物理量间的比例关系；具体子步骤如下：
步骤1.1：固定摄像机高度，正对下拍摄水平地面上的两个相距为d米的定标点，获得100幅定标图像，判断每幅图像中定标点间的像素距离，取平均值，记为p，则相机在该高度下物理空间和图像空间的比例尺r＝d/p；
步骤1.2：按照1厘米的步长，将相机高度由0.5米到3米递增，根据上述方法逐个测量每个高度下的比例尺，得到与高度对应的一组比例尺R。
步骤2：图像增强，用于提升夜间作业条件下低光照颜色图像的亮度和对比度，填充因遮挡造成的深度图像空洞，滤除二者的噪声；具体子步骤如下：
步骤2.1：将颜色图像由RGB空间转换到HSV空间；
HSV通过色相/饱和度/亮度三要素来表达颜色；
H(Hue)表示颜色的类型(例如红色，绿色或者黄色)，取值范围为0—360，其中每一个值代表一种颜色；
S(Saturation)表示颜色的饱和度，从0到1，0表示灰度图，1表示纯的颜色；
V(Value)表示颜色的明亮程度，从0到1，0表示黑色，1表示特定饱和度的颜色；
转换公式：
v＝max
步骤2.2：对H、S、V三个分量分别进行中值滤波，滤除噪声；
步骤2.3：选择加性、乘性和非线性Gamma校正三种映射方法之一，对V分量进行亮度拉伸；
步骤2.4：将图像从HSV空间还原到RGB空间；
转换公式：
p＝v×(1-s)
q＝v×(1-f×s)
t＝v×(1-(1-f)×s)
步骤2.5：对深度图像采用中值滤波滤除噪声，采用快速行进法填充深度空洞。
快速行进法(FMM)系公开报道的现成技术，在此不再赘述。
步骤3：视频稳定化及去运动模糊，用于消除农机作业过程中的随机振动、晃动引起的颜色图像抖动，去除摄像机和目标间相对运动引起的颜色图像的运动模糊效应；具体子步骤如下：
步骤3.1：对彩色视频，通过运动估计、运动滤波及运动补偿三个步骤，去掉视频画面的随机抖动。其中运动估计步骤估计帧间全局运动，运动滤波步骤去除无意的抖动而保留摄像机有意的正常扫描运动，运动补偿步骤用获得的修正的运动参数把每帧图像校正到正确位置；
本实施例采用的一种具体的视频稳定化算法过程如下：
首先利用Harris角点检测算子分区均匀提取参考帧中的角点，利用模板匹配的思想，以每一角点为中心，建立特征窗口；再通过列文伯格-马夸尔特迭代法，计算得到全局运动参数；最后采用基于卡尔曼滤波的图像补偿方法，确定抖动参数来实现视频稳定。
步骤3.2：摄像机和目标间的相对运动模糊的去除，分为模糊核估计以及图像恢复两个步骤，这两步构成了一个迭代优化框架。首先估计模糊核，然后对图像恢复，然后重新估计模糊核，恢复图像，最终直到收敛。
模糊核估计和图像恢复系成熟的技术，在此不再赘述。
步骤4：深度和宽度的测量，用于定时测量农机耕作中耕道的深度和宽度；具体子步骤如下：
步骤4.1：采用Canny算子提取耕道边缘线，首先对颜色图像进行Gauss平滑滤波；其次运用二维梯度模板计算梯度的幅度和方向；然后通过非极值抑制技术对平滑后的图像进行操作，细化边缘线；最后通过双阈值检测与线段连接，把间断的边缘相连得到完整的边缘信息；
步骤4.2：逐像素获取两条边缘线之间的像素距离，计算平均距离，得到耕道的平均像素宽度；
步骤4.3：利用深度图像，计算两条耕道线之间的所有深度像素值的平均值，得到耕道的平均像素深度；计算耕道线之外的未耕作侧所有深度像素的平均值，得到耕地的平均像素深度；
步骤4.4：根据图3所示的Kinect像素深度与实际深度间的映射曲线，将像素深度转换为物理空间的实际深度，分别得到耕道和耕地的平均实际深度，从耕道的平均实际深度中减去耕地的平均实际深度，得到耕道的实际净深度；
步骤4.5：根据耕地的平均实际深度，从比例尺数组R中查找对应的比例因子r，将耕道的平均像素宽度乘以因子r，得到实际的耕道宽度。
步骤5：长度的测量，用于测量每幅图像的平移距离，然后叠加得到耕道总长度。具体子步骤如下：
步骤5.1：基于归一化相关最大化的匹配。农机采集的颜色和深度图像的空间分辨率为WxH，对于农机直线耕作路径上的两幅相邻的图像，其重叠子图大小为Wxh(h＝1…H-1)，用S表示前一幅图像中的子图，T表示后一幅图像中的子图，两幅子图的归一化相关计算为
这里，Si,j、Ti,j分别表示子图S、T在位置(i,j)处的像素值；分别是两幅子图的均值：
按上式分别计算灰度图和深度图的归一化相关Rg(h)和Rd(h)，对二者加权求和，得到灰度-深度联合归一化相关Rj(h)：
Rj(h)＝wRg(h)+(1-w)Rd(h)
其中w为取值范围[0,1]间的加权系数(本实施例w＝0.5)。Rj(h)是h的凸函数，即h＝1…H-1的变化过程中，Rj(h)先由小变大、后由大变小，极值点ho即为最佳匹配重叠子图的高度；为降低搜索匹配的计算量，在后续搜索中，不再在h＝1…H-1范围内从头搜索，而是以上次搜索得到的最佳匹配重叠子图的高度ho为基准进行修正，即h＝ho-O…ho+O，这里O为经验值(本实施例O＝50个像素)；
步骤5.2：从图像高度H中减去重叠子图高度ho，得到像素平移距离；
步骤5.3：根据耕道深度和宽度测量过程中获得的耕地深度参数，从比例尺数组R中查找对应的比例因子r，将得到的像素平移距离乘以因子r，得到实际的移动距离；
步骤5.4：将所有的实际移动距离求和，得到耕道的实际长度。
应当理解的是，本说明书未详细阐述的部分均属于现有技术。
应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。
Claims (10)
1.一种基于计算机视觉的无人驾驶农机耕道测量装置，其特征在于：无人驾驶农机、颜色图像传感器、深度图像传感器、数字信号处理器、农机控制与导航系统和显示器；
所述颜色图像传感器、深度图像传感器对称设置在所述无人驾驶农机中部正下端，所述颜色图像传感器、深度图像传感器采集的信息通过所述数字信号处理器处理后送入所述农机控制与导航系统，所述显示器与所述农机控制与导航系统连接，用于显示输出农机作业指标的统计数据。
2.根据权利要求1所述的基于计算机视觉的无人驾驶农机耕道测量装置，其特征在于：所述颜色图像传感器、深度图像传感器采集的安装高度处于农机车高2/3的位置，其采样帧率，设置为在农机作业行驶速度下，连续拍摄的前后两幅图像中的量处于一个适宜的大小。
3.一种基于计算机视觉的无人驾驶农机耕道测量方法，其特征在于，包括以下步骤：
步骤1：颜色图像传感器、深度图像传感器标定，用于建立图像像素和现实世界长度物理量间的比例关系；
步骤2：图像增强，用于提升夜间作业条件下低光照颜色图像的亮度和对比度，填充因遮挡造成的深度图像空洞，滤除二者的噪声；
步骤3：视频稳定化及去运动模糊，用于消除农机作业过程中的随机振动、晃动引起的颜色图像抖动，去除摄像机和目标间相对运动引起的颜色图像的运动模糊效应；
步骤4：深度和宽度的测量，用于定时测量农机耕作中耕道的深度和宽度；
步骤5：长度的测量，用于测量每幅图像的平移距离，然后叠加得到耕道总长度。
4.根据权利要求3所述的基于计算机视觉的无人驾驶农机耕道测量方法，其特征在于，步骤1的具体实现包括以下子步骤：
步骤1.1：固定颜色图像传感器、深度图像传感器高度，正对下拍摄水平地面上的两个相距为d米的定标点，获得X幅定标图像，判断每幅图像中定标点间的像素距离，取平均值，记为p，则相机在该高度下物理空间和图像空间的比例尺r＝d/p；
步骤1.2：按照A厘米的步长，将相机高度由B米逐步提升到C米，根据上述方法逐个测量每个高度下的比例尺，得到与高度对应的一组比例尺R。
5.根据权利要求3所述的基于计算机视觉的无人驾驶农机耕道测量方法，其特征在于，步骤2的具体实现包括以下子步骤：
步骤2.1：将颜色图像由RGB空间转换到HSV空间；
步骤2.2：对H、S、V三个分量分别进行中值滤波，滤除噪声；
步骤2.3：选择加性、乘性和非线性Gamma校正三种映射方法之一，对V分量进行亮度拉伸；
步骤2.4：将图像从HSV空间还原到RGB空间；
步骤2.5：对深度图像采用中值滤波滤除噪声，采用快速行进法填充深度空洞。
6.根据权利要求3所述的基于计算机视觉的无人驾驶农机耕道测量方法，其特征在于，步骤3的具体实现包括以下子步骤：
步骤3.1：针对彩色视频，通过运动估计、运动滤波及运动补偿三个步骤，去掉视频画面的随机抖动；其中运动估计步骤估计帧间全局运动，运动滤波步骤去除无意的抖动而保留摄像机有意的正常扫描运动，运动补偿步骤用获得的修正的运动参数把每帧图像校正到正确位置；
步骤3.2：颜色图像传感器、深度图像传感器和目标间的相对运动模糊的去除，分为模糊核估计以及图像恢复两个步骤，这两步构成了一个迭代优化框架；首先估计模糊核，然后对图像恢复，然后重新估计模糊核，恢复图像，最终直到收敛。
7.根据权利要求3所述的基于计算机视觉的无人驾驶农机耕道测量方法，其特征在于，步骤4的具体实现包括以下子步骤：
步骤4.1：采用Canny算子提取耕道边缘线，首先对颜色图像进行Gauss平滑滤波；其次运用二维梯度模板计算梯度的幅度和方向；然后通过非极值抑制技术对平滑后的图像进行操作，细化边缘线；最后通过双阈值检测与线段连接，把间断的边缘相连得到完整的边缘信息；
步骤4.2：逐像素获取两条边缘线之间的像素距离，计算平均距离，得到耕道的平均像素宽度；
步骤4.3：利用深度图像，计算两条耕道线之间的所有深度像素值的平均值，得到耕道的平均像素深度；计算耕道线之外的未耕作侧所有深度像素的平均值，得到耕地的平均像素深度；
步骤4.4：每种类型的深度图像传感器均有一条像素深度到实际深度的映射曲线，根据具体所用相机的映射曲线，将像素深度转换为物理空间的实际深度，分别得到耕道和耕地的平均实际深度，从耕道的平均实际深度中减去耕地的平均实际深度，得到耕道的实际净深度；
步骤4.5：根据耕地的平均实际深度，从比例尺数组R中查找对应的比例因子r，将耕道的平均像素宽度乘以因子r，得到实际的耕道宽度。
8.根据权利要求3所述的基于计算机视觉的无人驾驶农机耕道测量方法，其特征在于，步骤5的具体实现包括以下子步骤：
步骤5.1：基于归一化相关最大化的匹配；农机采集的颜色图像和深度图像的空间分辨率为WxH，对于农机直线耕作路径上的两幅相邻的图像，其重叠子图大小为Wxh，其中h＝1…H-1；用S表示前一幅图像中的子图，T表示后一幅图像中的子图，两幅子图的归一化相关计算为：
这里，Si,j、Ti,j分别表示子图S、T在位置(i,j)处的像素值；分别是两幅子图的均值：
按上式分别计算灰度图和深度图的归一化相关Rg(h)和Rd(h)，对二者加权求和，得到灰度-深度联合归一化相关Rj(h)：
Rj(h)＝wRg(h)+(1-w)Rd(h)
其中w为取值范围[0,1]间的加权系数；Rj(h)是h的凸函数，即h＝1…H-1的变化过程中，Rj(h)先由小变大、后由大变小，极值点ho即为最佳匹配重叠子图的高度；
步骤5.2：从图像高度H中减去重叠子图高度ho，得到像素平移距离；
步骤5.3：根据耕道深度和宽度测量过程中获得的耕地深度参数，从比例尺数组R中查找对应的比例因子r，将得到的像素平移距离乘以因子r，得到实际的移动距离；
步骤5.4：将所有的实际移动距离求和，得到耕道的实际长度。
9.根据权利要求8所述的基于计算机视觉的无人驾驶农机耕道测量方法，其特征在于：步骤5.1中，为降低搜索匹配的计算量，在后续搜索中，不再在h＝1…H-1范围内从头搜索，而是以上次搜索得到的最佳匹配重叠子图的高度ho为基准进行修正，即h＝ho-O…ho+O，这里O为经验值。
10.根据权利要求3-9任意一项所述的基于计算机视觉的无人驾驶农机耕道测量方法，其特征在于：所述深度和宽度测量，每半分钟执行一次；所述平移距离测量，每幅图像执行一次。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610741333.9A CN106225774B (zh) | 2016-08-26 | 2016-08-26 | 一种基于计算机视觉的无人驾驶农机耕道测量装置及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610741333.9A CN106225774B (zh) | 2016-08-26 | 2016-08-26 | 一种基于计算机视觉的无人驾驶农机耕道测量装置及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106225774A CN106225774A (zh) | 2016-12-14 |
| CN106225774B true CN106225774B (zh) | 2018-07-03 |
Family
ID=57554801
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610741333.9A Active CN106225774B (zh) | 2016-08-26 | 2016-08-26 | 一种基于计算机视觉的无人驾驶农机耕道测量装置及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106225774B (zh) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111336980B (zh) * | 2018-12-18 | 2021-07-30 | 江苏北斗卫星应用产业研究院有限公司 | 一种重复作业面积计算与报警方法 |
| CN109541535A (zh) * | 2019-01-11 | 2019-03-29 | 浙江智澜科技有限公司 | 一种基于uwb和视觉slam的agv室内定位及导航的方法 |
| CN109868795B (zh) * | 2019-01-14 | 2024-02-09 | 江苏建筑职业技术学院 | 双侧混凝土排水槽一次性成型系统及成型方法 |
| CN109948543B (zh) * | 2019-03-20 | 2023-02-03 | 广西科技大学 | 一种田间近景图像的导航线提取方法 |
| CN110262560A (zh) * | 2019-07-19 | 2019-09-20 | 武汉理工大学 | 一种面向机耕农场的监察搁荒系统 |
| CN111179333B (zh) * | 2019-12-09 | 2024-04-26 | 天津大学 | 一种基于双目立体视觉的散焦模糊核估计方法 |
| CN113066097B (zh) * | 2021-05-24 | 2022-07-12 | 广东技术师范大学 | 一种快速精确测量叉指换能器指条宽度、周期、金属化比的方法及系统 |
| CN114051873A (zh) * | 2021-09-26 | 2022-02-18 | 杜春芝 | 利用参数辨识的高度调节系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE19631831A1 (de) * | 1996-08-07 | 1998-02-12 | Andreas Hilker | Verfahren und Vorrichtung zum Anschlußfahren mit breiten Arbeitsmaschinen |
| US6278918B1 (en) * | 2000-02-28 | 2001-08-21 | Case Corporation | Region of interest selection for a vision guidance system |
| CN201166811Y (zh) * | 2008-03-19 | 2008-12-17 | 湖北省种子集团有限公司 | 全自动机耕设备 |
| CN103583098A (zh) * | 2013-08-10 | 2014-02-19 | 湘乡市高峰五金机械制造有限公司 | 编程自控综合耕整机 |
| CN104764533A (zh) * | 2015-03-31 | 2015-07-08 | 梁伟 | 基于无人机图像采集和红外热像仪的智能农业系统 |
-
2016
- 2016-08-26 CN CN201610741333.9A patent/CN106225774B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE19631831A1 (de) * | 1996-08-07 | 1998-02-12 | Andreas Hilker | Verfahren und Vorrichtung zum Anschlußfahren mit breiten Arbeitsmaschinen |
| US6278918B1 (en) * | 2000-02-28 | 2001-08-21 | Case Corporation | Region of interest selection for a vision guidance system |
| CN201166811Y (zh) * | 2008-03-19 | 2008-12-17 | 湖北省种子集团有限公司 | 全自动机耕设备 |
| CN103583098A (zh) * | 2013-08-10 | 2014-02-19 | 湘乡市高峰五金机械制造有限公司 | 编程自控综合耕整机 |
| CN104764533A (zh) * | 2015-03-31 | 2015-07-08 | 梁伟 | 基于无人机图像采集和红外热像仪的智能农业系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106225774A (zh) | 2016-12-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106225774B (zh) | 一种基于计算机视觉的无人驾驶农机耕道测量装置及方法 | |
| US7587081B2 (en) | Method for processing stereo vision data using image density | |
| CN112505065B (zh) | 一种实现室内无人机对大部件表面缺陷进行检测的方法 | |
| CA2751025A1 (en) | Fusion of a 2d electro-optical image and 3d point cloud data for scene interpretation and registration performance assessment | |
| Tommaselli et al. | A recursive approach to space resection using straight lines | |
| McManus et al. | Towards lighting-invariant visual navigation: An appearance-based approach using scanning laser-rangefinders | |
| CN113050074B (zh) | 无人驾驶环境感知中相机与激光雷达标定系统及标定方法 | |
| Ospina et al. | Simultaneous mapping and crop row detection by fusing data from wide angle and telephoto images | |
| CN111079765A (zh) | 一种基于深度图的稀疏点云稠密化及路面去除方法 | |
| Haala et al. | Hybrid georeferencing, enhancement and classification of ultra-high resolution UAV lidar and image point clouds for monitoring applications | |
| Peng et al. | Binocular-vision-based structure from motion for 3-D reconstruction of plants | |
| Yin et al. | Individual tree parameters estimation for chinese fir (cunninghamia lanceolate (lamb.) hook) plantations of south china using UAV Oblique Photography: Possibilities and Challenges | |
| KR20110094957A (ko) | 레인지 영상으로부터의 객체 분할 장치 및 방법 | |
| CN109490926B (zh) | 一种基于双目相机和gnss的路径规划方法 | |
| CN107194342A (zh) | 基于逆透视变换的车道线检测方法 | |
| CN110516563A (zh) | 基于dsp的农业移栽机智能路径导航方法 | |
| CN113807309A (zh) | 一种基于深度学习的果园机械行走路线规划方法 | |
| Xiang et al. | PhenoStereo: a high-throughput stereo vision system for field-based plant phenotyping-with an application in sorghum stem diameter estimation | |
| Becirevic et al. | On the derivation of crop heights from multitemporal UAV based imagery | |
| CN107578447A (zh) | 一种基于无人机影像的作物垄位置确定方法及系统 | |
| CN107784666B (zh) | 基于立体影像的地形地物三维变化检测和更新方法 | |
| Chen et al. | Intra-row weed recognition using plant spacing information in stereo images | |
| CN113639643B (zh) | 基于rgb-d深度相机的作物苗期高度检测方法 | |
| CN112598777B (zh) | 一种基于暗通道先验的雾霾融合方法 | |
| CN113870278A (zh) | 基于改进的Mask R-CNN模型的卫星遥感图像农田块分割方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |