CN113016331B - 一种基于双目视觉的宽窄行再生稻收获调控系统及方法 - Google Patents
一种基于双目视觉的宽窄行再生稻收获调控系统及方法 Download PDFInfo
- Publication number
- CN113016331B CN113016331B CN202110214483.5A CN202110214483A CN113016331B CN 113016331 B CN113016331 B CN 113016331B CN 202110214483 A CN202110214483 A CN 202110214483A CN 113016331 B CN113016331 B CN 113016331B
- Authority
- CN
- China
- Prior art keywords
- image
- harvester
- rice
- wide
- control unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 235000007164 Oryza sativa Nutrition 0.000 title claims abstract description 77
- 235000009566 rice Nutrition 0.000 title claims abstract description 77
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000003306 harvesting Methods 0.000 title claims abstract description 23
- 240000007594 Oryza sativa Species 0.000 title 1
- 241000209094 Oryza Species 0.000 claims abstract description 93
- 230000026676 system process Effects 0.000 claims abstract description 4
- 238000009340 sequential cropping Methods 0.000 claims description 27
- 230000011218 segmentation Effects 0.000 claims description 12
- 241000196324 Embryophyta Species 0.000 claims description 11
- 230000009466 transformation Effects 0.000 claims description 7
- 230000008859 change Effects 0.000 claims description 6
- 238000001514 detection method Methods 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 4
- 239000002344 surface layer Substances 0.000 claims description 4
- 125000001967 indiganyl group Chemical group [H][In]([H])[*] 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 230000000877 morphologic effect Effects 0.000 claims description 2
- 230000008929 regeneration Effects 0.000 claims 1
- 238000011069 regeneration method Methods 0.000 claims 1
- 238000005286 illumination Methods 0.000 abstract description 5
- 230000003287 optical effect Effects 0.000 description 7
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 238000009434 installation Methods 0.000 description 4
- 244000038559 crop plants Species 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005096 rolling process Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000003337 fertilizer Substances 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000000575 pesticide Substances 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000009423 ventilation Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01D—HARVESTING; MOWING
- A01D41/00—Combines, i.e. harvesters or mowers combined with threshing devices
- A01D41/02—Self-propelled combines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20032—Median filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30181—Earth observation
- G06T2207/30188—Vegetation; Agriculture
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Environmental Sciences (AREA)
- Guiding Agricultural Machines (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本发明提供一种基于双目视觉的宽窄行再生稻收获调控系统及方法，包括图像采集设备、图像处理系统和液压控制单元；图像采集设备用于采集再生稻图像，图像处理系统处理再生稻图像，并进行再生稻高度、密度以及再生稻宽窄行边界识别，得到再生稻株高、密度和宽窄行边界导航线信息，收割机的液压控制单元根据图像处理系统发出的速度执行信号控制收割机前进的速度，液压控制单元根据转向执行信号控制收割机的转向。本发明利用双目相机获取作物的表面信息和深度信息，计算作物的株高、密度和边界导航线的方法，为收割机精准收获及智能控制提供核心数据支持，同时解决传统智能收割机作物边界识别方法易受光照的干扰，导致可靠性差与精度低的问题。
Description
技术领域
本发明属于农业机械自动化技术领域，尤其涉及一种基于双目视觉的宽窄行再生稻收获调控系统及方法。
背景技术
宽窄行栽培可增加水稻间的通风透光性,减少纹枯病,稻瘟病的发生；便于田间的机械施药,施肥,对水稻造成的机械损伤轻。宽窄行的栽培要求收割机田间收获时履带在宽行上行驶，可以减少再生稻头季收割时机器对作物的碾压。所以，识别作物的边界，获取边界导航线信息以控制收割机自动转向十分重要。
作物株高和密度大小是计算喂入量的关键参数，在收割机作业过程中，机手需要实时观察作物株高和疏密变化来操控作业速度，以保持喂入量的稳定，从而获得较好的作业性能和较高的作业效率。人工观察需要耗费较大精力而且效果取决于机手的经验，且传统智能收割机作物边界识别方法是基于颜色信息进行识别，光照的改变会导致图像颜色改变，易受光照的干扰，导致可靠性差与精度低的问题。
发明内容
针对上述技术问题，本发明提供了一种基于双目视觉的宽窄行再生稻收获调控系统及方法，利用双目相机获取作物的表面信息和深度信息，计算作物的株高、密度和边界导航线的方法，为收割机精准收获及智能控制提供核心数据支持，同时解决传统智能收割机作物边界识别方法易受光照的干扰，导致可靠性差与精度低的问题。
本发明所述基于双目视觉的宽窄行再生稻收获调控系统，包括图像采集设备，由双目相机采集再生稻图像；图像处理系统，处理采集得到的图像，分析计算得到再生稻株高、密度和宽窄行边界信息；收割机液压控制单元，根据株高和密度信息，控制联合收割机前进速度，根据宽窄行边界，控制联合收割机转向，以确保收割机履带行驶在田间宽行；本发明可快速获取再生稻的株高、密度和宽窄行边界信息，液压控制单元接收所获取再生稻属性信息和边界信息，进行联合收割机的前进速度自动调整和转向自动调整。本发明所述基于双目视觉的宽窄行再生稻收获调控系统是一种测量农作物株高、密度、边界的方法和自动调速、转向控制的系统。
本发明的技术方案是：一种基于双目视觉的宽窄行再生稻收获调控系统，包括图像采集设备、图像处理系统和液压控制单元；
所述图像采集设备用于采集再生稻图像，图像采集设备与图像处理系统连接，并将再生稻图像传递到图像处理系统；所述图像处理系统处理再生稻图像，并进行作物高度识别、作物的密度识别以及作物边界识别，得到再生稻株高、密度和宽窄行边界导航线信息，图像处理系统根据再生稻株高结合密度判断收割机前进的速度，根据宽窄行边界导航线信息判断收割机的转向，并生成速度执行信号和转向执行信号发送到液压控制单元；收割机的液压控制单元根据图像处理系统发出的速度执行信号控制收割机前进的速度，液压控制单元根据图像处理系统发出的转向执行信号控制收割机的转向。
上述方案中，所述图像采集设备为双目相机。
上述方案中，所述图像处理系统为工控机。
上述方案中，所述液压控制单元控制收割机液压系统的电磁比例阀来控制收割机前进的速度，液压控制单元控制收割机液压系统的电磁换向阀控制收割机的转向。
一种根据所述基于双目视觉的宽窄行再生稻收获调控系统的方法，包括以下步骤：
步骤S1、图像采集：通过图像采集设备双目相机采集再生稻图像，获得彩色图像和深度图像；
步骤S2、图像处理：通过图像处理系统处理所述再生稻图像，进行再生稻株高识别、再生稻密度识别以及再生稻宽窄行边界识别，得到再生稻株高、密度和宽窄行边界导航线信息，图像处理系统根据再生稻株高结合密度判断收割机前进的速度，根据宽窄行边界导航线信息判断收割机的转向，并生成速度执行信号和转向执行信号发送到液压控制单元；
步骤S3、收割机前进速度和转向调控：收割机的液压控制单元根据图像处理系统发出的速度执行信号控制收割机前进的速度，来调节喂入量，液压控制单元根据图像处理系统发出的转向执行信号控制收割机的转向，使得收割机履带在宽行行驶。
上述方案中，所述步骤S1具体为：所述双目相机采集再生稻彩色图像，得到再生稻表层图像信息，依靠双目相机左右彩色图像计算深度信息，获取深度图像，深度信息用来计算再生稻株高和拟合边界导航线，双目相机左彩色图像用于计算穗头密度。
上述方案中，所述步骤S2中再生稻株高识别包括以下步骤：
由所述双目相机采集的左、右图像进行像素点匹配，根据匹配结果计算每个像素的深度，从而获得深度图像；所述深度图像先进行图像像素坐标系到图像物理坐标系的转换，再进行图像物理坐标系到相机坐标系的转换，最后进行相机坐标系到世界坐标系的转换，得到高度图，计算生成的高度图的灰度直方图，该灰度直方图存在两个波峰，第一个波峰对应的灰度值为H1，作为计算再生稻留茬高度；第二个波峰对应的灰度值为H2，作为再生稻株高。
上述方案中，所述步骤S2中再生稻密度识别具体为：
把再生稻彩色图像的RGB通道先转换成HSV通道，经过中值滤波降噪，阈值分割，形态学处理，最终得到穗头像素数；将穗头像素数与穗头实际密度进行拟合得到直线方程：ρ＝k×p+b，其中ρ为穗头实际密度，p为穗头像素数；k与b为常数，且与图像分辨率和安装倾角相关。
上述方案中，所述步骤S2中作物边界识别包括以下步骤：
通过双峰阈值分割法得到高度图中作物表面区域和地表区域，在灰度直方图两波峰H1～H2之间，计算波谷值H3，并将H3作为阈值分割图像，提取作物表面区域边界线；
通过多重比较法拟合边界线得到参考直线，同时在边界线上进行Hough变换直线检测，得到多条拟合直线，将所有拟合直线与参考直线进行角度计算，选取夹角最小的直线作为导航线；
计算导航线与履带位置的航向偏角γ和横向偏移d作为转向控制参数。
上述方案中，所述步骤S3具体为：液压控制单元通过改变电流大小以改变电磁比例阀开度，进而通过改变输出油量而改变前进速度；液压控制单元通过输出电流控制电磁换向阀方向，进而改变液压流向而改变收割机的转向。
与现有技术相比，本发明的有益效果是：本发明利用双目视觉系统获取作物的左、右图像，通过左右图像像素匹配，生成深度图像，再经过坐标转换得到作物高度图像，由作物高度图像进行Hough变换提取得到边界导航线，用以确保收割机履带行驶在再生稻宽行，减少对作物的碾压；由相机左边彩色图像处理得到穗头密度，结合作物高度信息自动调整收割机前进速度，确保收割机的喂入量稳定。本发明方法通过获取高度信息来拟合导航直线，该方法受光照的影响小，且没有激光雷达扫描的数据量大，处理实时性更强，为收割机的智能化无人驾驶提供了重要数据。
附图说明
图1为本发明一实施方式的系统结构图；
图2为本发明一实施方式的方法流程图；
图3为一实施方式的双目相机坐标转换原理图；
图4为一实施方式的相机坐标系到世界坐标系的转换示意图；
图5为一实施方式的作物高度图的灰度直方图；
图6为一实施方式的穗头密度提取效果图，其中(a)为左目彩色图像，(b)为S通道图像，(c)为阈值分割得到穗头大致区域，(d)为穗头区域。
图中，1、双目相机；2、工控机；3、液压控制单元；4、电磁比例阀；5、电磁换向阀。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“轴向”、“径向”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
图1所示为所述基于双目视觉的宽窄行再生稻收获调控系统的一种较佳实施方式，所述基于双目视觉的宽窄行再生稻收获调控系统，包括图像采集设备、图像处理系统和液压控制单元。
所述图像采集设备用于采集再生稻图像，图像采集设备与图像处理系统连接，并将再生稻图像传递到图像处理系统；所述图像处理系统处理再生稻图像，并进行作物高度识别、作物的密度识别以及作物边界识别，得到再生稻株高、密度和宽窄行边界导航线信息，图像处理系统根据再生稻株高结合密度判断收割机前进的速度，根据宽窄行边界导航线信息判断收割机的转向，并生成速度执行信号和转向执行信号发送到液压控制单元；收割机的液压控制单元3根据图像处理系统发出的速度执行信号控制收割机前进的速度，来调节喂入量，液压控制单元3根据图像处理系统发出的转向执行信号控制收割机的转向，使得收割机履带在宽行行驶。
所述图像采集设备为双目相机1。
所述图像处理系统为工控机2。
所述液压控制单元3控制收割机液压系统的电磁比例阀4来控制收割机前进的速度，液压控制单元3控制收割机液压系统的电磁换向阀5控制收割机的转向。
一种根据所述基于双目视觉的宽窄行再生稻收获调控系统的方法，包括以下步骤：
步骤S1、图像采集：通过图像采集设备双目相机1采集再生稻图像，获得彩色图像和深度图像；
步骤S2、图像处理：通过图像处理系统处理所述再生稻图像，进行再生稻株高识别、再生稻密度识别以及再生稻宽窄行边界识别，得到再生稻株高、密度和宽窄行边界导航线信息，图像处理系统根据再生稻株高结合密度判断收割机前进的速度，根据宽窄行边界导航线信息判断收割机的转向，并生成速度执行信号和转向执行信号发送到液压控制单元；
步骤S3、收割机前进速度和转向调控：收割机的液压控制单元3根据图像处理系统发出的速度执行信号控制收割机前进的速度，来调节喂入量，液压控制单元3根据图像处理系统发出的转向执行信号控制收割机的转向，使得收割机履带在宽行行驶。
根据本实施例，优选的，所述步骤S1具体为：所述双目相机1采集再生稻彩色图像，得到再生稻表层图像信息，依靠双目相机1左右彩色图像计算深度信息，获取深度图像，深度信息用来计算再生稻株高和拟合边界导航线，双目相机1左彩色图像用于计算穗头密度。
根据本实施例，优选的，所述步骤S2中再生稻株高识别包括以下步骤：
步骤S2.1、由所述双目相机1采集的左、右图像进行像素点匹配，根据匹配结果计算每个像素的深度，从而获得深度图像；
步骤S2.2、所述深度图像先进行图像像素坐标系到图像物理坐标系的转换，转换公式为：
XL＝(uL-Cx)dx 式(1)
XR＝(uR-Cx)dx 式(2)
YL＝(vL-Cy)dy式(3)
YR＝(vR-Cy)dy式(4)
其中，(XL,YL)，(XR,YR)分别为图像物理坐标系下左右图像点坐标；(uL，vL)，(uR,vR)分别为图像像素坐标系下左右图像点坐标，Cx、Cy为图像中心点坐标，dx和dy分别表示每个像素在横轴x和纵轴y的物理尺寸；
步骤S2.3、进行图像物理坐标系到相机坐标系的转换，转换公式为：
XC＝B×XL/D式式(5)
YC＝B×Y/D式式(6)
ZC＝B×f/D式式(7)
其中，(XC,YC,ZC)为相机坐标系下空间点坐标，视差D＝XL-XR＝(uL-uR)dx，B为双目相机基线距离，f为相机焦距；
步骤S2.4、进行相机坐标系到世界坐标系的转换，得到高度图，转换公式为：
其中，(XW,YW,ZW)为世界坐标系下坐标，θ为相机坐标系到世界坐标系的旋转角度，T为相机坐标系到世界坐标系垂直方向的平移距离；
步骤S2.5、计算生成的高度图的灰度直方图，该灰度直方图存在两个波峰，第一个波峰对应的灰度值为H1，作为计算再生稻留茬高度；第二个波峰对应的灰度值为H2，作为再生稻株高。
根据本实施例，优选的，所述步骤S2中再生稻密度识别具体为：
把再生稻彩色图像的RGB通道先转换成HSV通道，选取S通道图像，经过中值滤波降噪，阈值分割得到穗头大致区域，再经过开运算处理，然后再闭运算处理，去除误提取区域，最终得到穗头像素数；将穗头像素数与穗头实际密度进行拟合得到直线方程：ρ＝k×p+b，其中ρ为穗头实际密度，p为穗头像素数；k与b为常数，且与图像分辨率和安装倾角相关。
根据本实施例，优选的，所述步骤S2中作物边界识别包括以下步骤：
通过双峰阈值分割法得到高度图中作物表面区域和地表区域，在灰度直方图两波峰H1～H2之间，计算波谷值H3，并将H3作为阈值分割图像，提取作物表面区域边界线；通过多重比较法拟合边界线得到参考直线，同时在边界线上进行Hough变换直线检测，得到多条拟合直线，将所有拟合直线与参考直线进行角度计算，选取夹角最小的直线作为导航线；计算导航线与履带位置的航向偏角γ和横向偏移d作为转向控制参数。
所述航向偏角γ通过计算导航线与图像中线夹角得到，测量相机安装位置与履带位置的横向距离d1,提取导航线中点的图像坐标(row，col)，在深度图中提取(row，col)处的深度值z，相机与该点的距离为d2＝z×(col-Cx)×dx/f，其中Cx为相机光心横坐标，dx表示每个像素在横轴x的物理尺寸。横向偏移d＝d2-d1。
进一步地，图像处理系统为工控机2，工控机2接收图像采集设备所得图像，处理后得再生稻株高、密度、边界导航线信息，由株高、密度信息结合判断收割机前进速度，由边界导航线信息判断转向，将判断后的控制信息发送给液压控制单元3。
根据本实施例，优选的，所述步骤S3具体为：液压控制单元3通过CAN总线接收图像处理系统发出的执行信号，前进速度通过改变电流大小改变电磁比例阀4开度，进而改变输出油量而改变前进速度；转向通过输出电流控制电磁换向阀5方向，进而改变液压流向而改变转向。使收割机可以根据前方再生稻密度和高度变化而自动调整前进速度，自动调整转向而使履带行驶在田间宽行区域。
根据本实施例，优选的，所述双目相机1选型为ZED2双目相机，测量深度范围0.2-40米，安装在收割机的驾驶室顶部，拍摄收割机前端2-5米范围内作物。
根据本实施例，优选的，所述工控机2cpu为Intel Core i7-6700，gpu为NVIDIAgtx 1650。安装在收割机的驾驶室内，与双目相机1通过USB连接，为双目相机1供电，双目相机1所采集的图像数据通过USB传输到工控机2并进行处理。
所述液压控制单元3与工控机2通过CAN总线连接，工控机2将图像处理得到的信息经过判断得到收割机前进速度调整信号和转向信号，通过CAN总线发送给液压控制单元3，液压控制单元3分别控制电磁比例阀4和电磁换向阀5，调整收割机前进速度和转向。
如图2所示，所述基于双目视觉的宽窄行再生稻收获调控系统在再生稻田里实际应用，主要包含以下具体步骤：
步骤1，双目相机1安装在收割机驾驶室顶端，并进行相机标定，得到相机的内外参数，并测量相机安装位置与履带位置的水平距离d1为430mm，相机与履带最低处的垂直距离为T为2850mm。
步骤2，双目相机1采集田间再生稻图像，获得左右图像，进行像素匹配得到深度图像。
步骤3，如图3所示，双目相机1所拍摄图像，其图像像素坐标系坐标原点在图像左上端，坐标为u，v。
步骤3.1，转换到图像物理坐标系的公式为：
XL＝uL-Cxdx，XR＝uR-Cxdx
YL＝vL-Cydy，YR＝vR-Cydy
其中，其中，(XL,YL)，(XR,YR)分别为图像物理坐标系下左右图坐标点；(uL，vL)，(uR,vR)分别为图像像素坐标系下左右图坐标点，Cx、Cy为相机光心坐标，大小分别为1051.94和652.16，dx和dy分别表示每个像素在横轴x和纵轴y的物理尺寸，大小都为0.0018589。
步骤3.2，转换到相机坐标系得公式为：
XC＝B×XL/D
YC＝B×Y/D
ZC＝B×f/D
其中，(XC,YC,ZC)为相机坐标系下坐标，视差D＝XL-XR＝(uL-uR)dx，B为双目相机基线距离，大小为120mm，f为相机焦距，大小为2mm。
步骤3.3，如图4所示，世界坐标系原点在收割机右边履带与地面接触处，转换到世界坐标系得公式为：
其中，(XW,YW,ZW)为世界坐标系下坐标，θ为相机坐标系到世界坐标系的旋转角度，大小为55°，T为相机坐标系到世界坐标系的平移距离。
步骤4，由上一步骤得到世界坐标系下的作物高度图，提取该高度图的灰度直方图，直方图存在两个波峰，第一个波峰对应的灰度值为H1，为留茬高度；第二个波峰对应的灰度值为H2，为作物表层高度。
步骤5.1，利用再生稻与宽行地面部分存在的高度差，在高度图里通过双峰阈值分割法得到作物表面区域和地表区域，如图5所示，第一个波峰对应高度值H1＝212.98，第二个波峰高度值H2＝564.22，在两波峰之间取波谷值H3＝327，取H3作为阈值进行图像分割，得到作物表面的边界线。
步骤5.2，该边界线通过多重比较法拟合得到参考直线。同时在该边界线上进行Hough变换直线检测，得到多条拟合直线，将所有拟合直线与参考直线进行角度计算，选取夹角最小的直线作为导航线。
步骤5.3，航向偏角γ通过计算导航线与图像中线夹角得到，测量相机安装位置与履带位置的横向距离d1,提取导航线中点的图像坐标row，col，在深度图中提取row，col处的深度值z，相机与该点的距离为d2＝z×(col-Cx)×dx/f，其中Cx为相机光心横坐标，dx表示每个像素在横轴x的物理尺寸。横向偏移d＝d2-d1。
步骤6，如图6所示，(a)为左目彩色图像，先转换成HSV颜色通道，选取S通道图像如图(b)所示，经过中值滤波去除噪声，并进行图像增强处理，得到图(c)阈值分割得到穗头大致区域，再经过开运算处理，然后再闭运算处理，去除误提取区域，得到穗头区域，如图(d)所示，统计得到穗头像素数。建立穗头像素数与穗头实际密度的数学关系，分辨率为2208*1242，安装倾角为55度，得到拟合关系式为：ρ＝0.000352p+6.454，其中ρ为穗头实际密度，p为穗头像素数。
步骤7，所述工控机2根据当前的密度、株高信息，通过CAN总线发送指令给液压控制单元3，调整收割机的前进速度，确保喂入量稳定；根据导航线所提供的航向偏角和横向偏移，发送指令控制收割机自动转向，确保收割机履带行驶在宽行。
上文所列出的一系列的详细说明仅仅是针对本发明的可行性实施例的具体说明，它们并非用以限制本发明的保护范围，凡未脱离本发明技艺精神所作的等效实施例或变更均应包含在本发明的保护范围之内。
Claims (6)
1.一种基于双目视觉的宽窄行再生稻收获调控系统的方法，其特征在于，所述基于双目视觉的宽窄行再生稻收获调控系统，包括图像采集设备、图像处理系统和液压控制单元；
所述图像采集设备用于采集再生稻图像，图像采集设备与图像处理系统连接，并将再生稻图像传递到图像处理系统；所述图像处理系统处理再生稻图像，并进行作物高度识别、作物的密度识别以及作物边界识别，得到再生稻株高、密度和宽窄行边界导航线信息，图像处理系统根据再生稻株高结合密度判断收割机前进的速度，根据宽窄行边界导航线信息判断收割机的转向，并生成速度执行信号和转向执行信号发送到液压控制单元；收割机的液压控制单元(3)根据图像处理系统发出的速度执行信号控制收割机前进的速度，液压控制单元(3)根据图像处理系统发出的转向执行信号控制收割机的转向；所述图像采集设备为双目相机(1)；
包括以下步骤：
步骤S1、图像采集：通过图像采集设备双目相机(1)采集再生稻图像，获得彩色图像和深度图像；
步骤S1具体为：所述双目相机(1)采集再生稻彩色图像，得到再生稻表层图像信息，依靠双目相机(1)左右彩色图像计算深度信息，获取深度图像，深度信息用来计算再生稻株高和拟合边界导航线，双目相机(1)左彩色图像用于计算穗头密度；
步骤S2、图像处理：通过图像处理系统处理所述再生稻图像，进行再生稻株高识别、再生稻密度识别以及再生稻宽窄行边界识别，得到再生稻株高、密度和宽窄行边界导航线信息，图像处理系统根据再生稻株高结合密度判断收割机前进的速度，根据宽窄行边界导航线信息判断收割机的转向，并生成速度执行信号和转向执行信号发送到液压控制单元；
步骤S2中再生稻株高识别包括以下步骤：
由所述双目相机(1)采集的左、右图像进行像素点匹配，根据匹配结果计算每个像素的深度，从而获得深度图像；所述深度图像先进行图像像素坐标系到图像物理坐标系的转换，再进行图像物理坐标系到相机坐标系的转换，最后进行相机坐标系到世界坐标系的转换，得到高度图，计算生成的高度图的灰度直方图，该灰度直方图存在两个波峰，第一个波峰对应的灰度值为H1，作为再生稻留茬高度；第二个波峰对应的灰度值为H2，作为再生稻株高；
步骤S3、收割机前进速度和转向调控：收割机的液压控制单元(3)根据图像处理系统发出的速度执行信号控制收割机前进的速度，来调节喂入量，液压控制单元(3)根据图像处理系统发出的转向执行信号控制收割机的转向，使得收割机履带在宽行行驶。
2.根据权利要求1所述的基于双目视觉的宽窄行再生稻收获调控系统的方法，其特征在于，所述步骤S2中再生稻密度识别具体为：
把再生稻彩色图像的RGB通道先转换成HSV通道，经过中值滤波降噪，阈值分割，形态学处理，最终得到穗头像素数；将穗头像素数与穗头实际密度进行拟合得到直线方程：ρ＝k×p+b，其中ρ为穗头实际密度，p为穗头像素数；k与b为常数，且与图像分辨率和安装倾角相关。
3.根据权利要求1所述的基于双目视觉的宽窄行再生稻收获调控系统的方法，其特征在于，所述步骤S2中作物边界识别包括以下步骤：
通过双峰阈值分割法得到高度图中作物表面区域和地表区域，在灰度直方图两波峰H1～H2之间，计算波谷值H3，并将H3作为阈值分割图像，提取作物表面区域边界线；
通过多重比较法拟合边界线得到参考直线，同时在边界线上进行Hough变换直线检测，得到多条拟合直线，将所有拟合直线与参考直线进行角度计算，选取夹角最小的直线作为导航线；
计算导航线与履带位置的航向偏角γ和横向偏移d作为转向控制参数。
4.根据权利要求1所述的基于双目视觉的宽窄行再生稻收获调控系统的方法，其特征在于，所述步骤S3具体为：液压控制单元(3)通过改变电流大小以改变电磁比例阀(4)开度，进而通过改变输出油量而改变前进速度；液压控制单元(3)通过输出电流控制电磁换向阀(5)方向，进而改变液压流向而改变收割机的转向。
5.根据权利要求1所述的基于双目视觉的宽窄行再生稻收获调控系统的方法，其特征在于，所述图像处理系统为工控机(2)。
6.根据权利要求1所述的基于双目视觉的宽窄行再生稻收获调控系统的方法，其特征在于，所述液压控制单元(3)控制收割机液压系统的电磁比例阀(4)来控制收割机前进的速度，液压控制单元(3)控制收割机液压系统的电磁换向阀(5)控制收割机的转向。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110214483.5A CN113016331B (zh) | 2021-02-26 | 2021-02-26 | 一种基于双目视觉的宽窄行再生稻收获调控系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110214483.5A CN113016331B (zh) | 2021-02-26 | 2021-02-26 | 一种基于双目视觉的宽窄行再生稻收获调控系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113016331A CN113016331A (zh) | 2021-06-25 |
| CN113016331B true CN113016331B (zh) | 2022-04-26 |
Family
ID=76461937
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110214483.5A Active CN113016331B (zh) | 2021-02-26 | 2021-02-26 | 一种基于双目视觉的宽窄行再生稻收获调控系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113016331B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113545219B (zh) * | 2021-07-13 | 2022-10-28 | 江苏大学 | 一种联合收获机田头转向系统及方法和联合收获机 |
| CN114926532A (zh) * | 2022-04-26 | 2022-08-19 | 江苏大学 | 一种再生稻穗层高度在线检测方法及系统和收获机 |
| CN116152673B (zh) * | 2023-04-21 | 2023-09-29 | 杭州稻道农业科技有限公司 | 一种利用多时相中高分卫星影像识别再生稻的方法及装置 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107063231A (zh) * | 2017-03-22 | 2017-08-18 | 南京农业大学 | 一种基于双目视觉的拖拉机运动矢量预测方法 |
| CN108171754A (zh) * | 2016-12-07 | 2018-06-15 | 广州映博智能科技有限公司 | 一种基于双目视觉的机器人导航装置及方法 |
| CN108592823A (zh) * | 2017-12-04 | 2018-09-28 | 湖南大学 | 一种基于双目视觉彩色条纹编码的解码方法 |
| CN108873914A (zh) * | 2018-09-21 | 2018-11-23 | 长安大学 | 一种基于深度图像数据的机器人自主导航系统及方法 |
| CN109634277A (zh) * | 2018-12-14 | 2019-04-16 | 江苏大学 | 一种谷物收割机无人驾驶作业系统与作业方法 |
| CN109644667A (zh) * | 2018-12-27 | 2019-04-19 | 江苏大学 | 一种联合收获机履带底盘对行调控系统及调控方法 |
| CN110243372A (zh) * | 2019-06-18 | 2019-09-17 | 北京中科原动力科技有限公司 | 基于机器视觉的智能农机导航系统及方法 |
| CN110612806A (zh) * | 2018-06-19 | 2019-12-27 | 灵动科技（北京）有限公司 | 一种智能割草机 |
| CN210352202U (zh) * | 2018-12-27 | 2020-04-21 | 江苏大学 | 一种联合收获机履带底盘对行调控系统 |
-
2021
- 2021-02-26 CN CN202110214483.5A patent/CN113016331B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108171754A (zh) * | 2016-12-07 | 2018-06-15 | 广州映博智能科技有限公司 | 一种基于双目视觉的机器人导航装置及方法 |
| CN107063231A (zh) * | 2017-03-22 | 2017-08-18 | 南京农业大学 | 一种基于双目视觉的拖拉机运动矢量预测方法 |
| CN108592823A (zh) * | 2017-12-04 | 2018-09-28 | 湖南大学 | 一种基于双目视觉彩色条纹编码的解码方法 |
| CN110612806A (zh) * | 2018-06-19 | 2019-12-27 | 灵动科技（北京）有限公司 | 一种智能割草机 |
| CN108873914A (zh) * | 2018-09-21 | 2018-11-23 | 长安大学 | 一种基于深度图像数据的机器人自主导航系统及方法 |
| CN109634277A (zh) * | 2018-12-14 | 2019-04-16 | 江苏大学 | 一种谷物收割机无人驾驶作业系统与作业方法 |
| CN109644667A (zh) * | 2018-12-27 | 2019-04-19 | 江苏大学 | 一种联合收获机履带底盘对行调控系统及调控方法 |
| CN210352202U (zh) * | 2018-12-27 | 2020-04-21 | 江苏大学 | 一种联合收获机履带底盘对行调控系统 |
| CN110243372A (zh) * | 2019-06-18 | 2019-09-17 | 北京中科原动力科技有限公司 | 基于机器视觉的智能农机导航系统及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113016331A (zh) | 2021-06-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113016331B (zh) | 一种基于双目视觉的宽窄行再生稻收获调控系统及方法 | |
| CN110243372B (zh) | 基于机器视觉的智能农机导航系统及方法 | |
| CN109215071B (zh) | 基于视觉的智能稻麦收割机割幅测量方法 | |
| DE102010020867B4 (de) | Strassenform-Erkennungsvorrichtung | |
| CN112614147B (zh) | 一种基于rgb影像的作物苗期植株密度估算的方法及系统 | |
| CN111460903B (zh) | 基于深度学习的田间西兰花长势监测系统及方法 | |
| WO1996017279A1 (en) | Vehicle guidance system | |
| CN115272187A (zh) | 一种基于车载动态视场帧间关联性的田间稻麦倒伏全局评估方法 | |
| Luo et al. | Stereo-vision-based multi-crop harvesting edge detection for precise automatic steering of combine harvester | |
| CN115568332A (zh) | 一种面向大田环境的自动跟随运输平台及其控制方法 | |
| AU691051B2 (en) | Vehicle guidance system | |
| CN113545219B (zh) | 一种联合收获机田头转向系统及方法和联合收获机 | |
| JP2006101816A (ja) | 操向制御方法及び装置 | |
| CN110414384B (zh) | 智能稻麦收获机导航线跟踪方法 | |
| CN115451965B (zh) | 基于双目视觉的插秧机插植系统相对航向信息检测方法 | |
| CN114926532A (zh) | 一种再生稻穗层高度在线检测方法及系统和收获机 | |
| CN115280964B (zh) | 一种茎叶蔬菜收获机自动作业行驶方法及系统和收获机 | |
| CN110781865A (zh) | 一种农作物生长控制系统 | |
| CN113963255B (zh) | 一种基于田垄颜色特征的垄上作业机械导航线识别方法 | |
| CN111179303B (zh) | 基于粒子滤波的谷物收获机器人视觉导航方法及其应用 | |
| CN115280960A (zh) | 一种基于田间视觉slam的联合收获机转向控制方法 | |
| Li et al. | Vision-based Navigation Line Extraction by Combining Crop Row Detection and RANSAC Algorithm | |
| Guo et al. | Advanced Stereo Vision-Based Solutions for Header and Crop Height Detection in Combine Harvesters | |
| CN115540784A (zh) | 一种水稻倒伏区域检测及作业调控系统和方法及收获机 | |
| WO2023276228A1 (ja) | 列検出システム、列検出システムを備える農業機械、および、列検出方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |