CN116746361A - 一种水稻收获属性检测及作业调控系统和方法及收获机 - Google Patents
一种水稻收获属性检测及作业调控系统和方法及收获机 Download PDFInfo
- Publication number
- CN116746361A CN116746361A CN202310789206.6A CN202310789206A CN116746361A CN 116746361 A CN116746361 A CN 116746361A CN 202310789206 A CN202310789206 A CN 202310789206A CN 116746361 A CN116746361 A CN 116746361A
- Authority
- CN
- China
- Prior art keywords
- rice
- harvester
- harvesting
- advancing speed
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 235000007164 Oryza sativa Nutrition 0.000 title claims abstract description 202
- 235000009566 rice Nutrition 0.000 title claims abstract description 202
- 238000003306 harvesting Methods 0.000 title claims abstract description 98
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000001514 detection method Methods 0.000 title claims abstract description 32
- 240000007594 Oryza sativa Species 0.000 title 1
- 241000209094 Oryza Species 0.000 claims abstract description 212
- 230000011218 segmentation Effects 0.000 claims abstract description 20
- 238000000605 extraction Methods 0.000 claims abstract description 10
- 230000010365 information processing Effects 0.000 claims description 42
- 241000196324 Embryophyta Species 0.000 claims description 23
- 238000012545 processing Methods 0.000 claims description 19
- 238000004364 calculation method Methods 0.000 claims description 15
- 238000001914 filtration Methods 0.000 claims description 13
- 230000002159 abnormal effect Effects 0.000 claims description 10
- 238000006243 chemical reaction Methods 0.000 claims description 9
- 210000000988 bone and bone Anatomy 0.000 claims description 6
- 238000004422 calculation algorithm Methods 0.000 claims description 5
- 238000011161 development Methods 0.000 claims description 3
- 230000018109 developmental process Effects 0.000 claims description 3
- 230000001276 controlling effect Effects 0.000 claims 7
- 230000001105 regulatory effect Effects 0.000 claims 2
- 230000009466 transformation Effects 0.000 claims 1
- 238000012360 testing method Methods 0.000 description 16
- 238000012549 training Methods 0.000 description 16
- 238000012795 verification Methods 0.000 description 13
- 230000000694 effects Effects 0.000 description 3
- 230000000877 morphologic effect Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 241000238631 Hexapoda Species 0.000 description 1
- 241001124569 Lycaenidae Species 0.000 description 1
- 241000607479 Yersinia pestis Species 0.000 description 1
- 235000013339 cereals Nutrition 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001739 density measurement Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012821 model calculation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000002689 soil Substances 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01D—HARVESTING; MOWING
- A01D41/00—Combines, i.e. harvesters or mowers combined with threshing devices
- A01D41/02—Self-propelled combines
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01D—HARVESTING; MOWING
- A01D41/00—Combines, i.e. harvesters or mowers combined with threshing devices
- A01D41/12—Details of combines
- A01D41/127—Control or measuring arrangements specially adapted for combines
- A01D41/1278—Control or measuring arrangements specially adapted for combines for automatic steering
Landscapes
- Life Sciences & Earth Sciences (AREA)
- Environmental Sciences (AREA)
- Image Processing (AREA)
Abstract
本发明提供了一种水稻收获属性检测及作业调控系统和方法及收获机，利用图像采集装置获取收获机作业过程中左侧待收区域水稻收获属性，并将属性信息与位置信息对应后存储，当收获机到达新的位置，根据当前位置调取水稻收获属性，结合前进速度控制模型控制前进速度，实现水稻精准收获。本发明所述水稻收获属性检测及作业调控系统的控制方法，采用语义分割、骨架线提取、图像深度方法检测水稻的收获属性，根据不同的收获属性与前进速度控制模型改变前进速度，实现前进速度精准控制。本发明所述收获机，采用水稻收获属性检测及作业调控系统的控制方法控制水稻收获属性检测及作业调控系统，实现水稻的精准收获。
Description
技术领域
本发明涉及水稻联合收获机技术领域，具体涉及一种水稻收获属性检测及作业调控系统和方法及收获机。
背景技术
收获机械的无人驾驶可以提高工作效率，降低工作强度，但目前的收获机械无人驾驶主要研究导航路径的提取与跟踪，而农田中水稻生长环境复杂多变，水稻的生长情况受光照、水分、土壤、病虫害等诸多因素影响，这导致同一块农田里的水稻株高与密度等均有差异。当联合收获机处于稳定的前进速度和割幅状态时，由于待收获区域的水稻株高与密度不同，会造成收获机的喂入量产生波动。过大的喂入量加大了脱粒滚筒等工作部件的负荷，此时收获机容易发生堵塞，而过小的喂入量会造成脱粒滚筒负荷不足，导致水稻籽粒无法充分脱粒，增大了损失且降低了工作效率。因此，联合收获机的无人驾驶作业，不仅需要实现自主行走收割，还应根据作物的密度、株高等作物属性信息，调整收获机前进速度以确保喂入量的稳定。
专利CN115777330A提出了一种谷物联合收获机喂入量检测方法，通过在链耙式输送器的出口底板和在链耙式输送器的主动轮上加装传感器检测喂入量，但检测的数据发生在作物喂入收获机后，不能提前感知喂入量信息，且测量精度不高，传感器易受到车身振动等影响，难以为实时调控提供有效数据；专利CN110235600A提出了一种基于成熟作物属性信息实时探测的联合收获机喂入量稳定控制系统，通过探测联合收获机作业时前方待收获作物属性信息控制作业速度，点云和图像的处理计算量大，在检测的同时进行调控，调控系统难以快速响应。
为了克服传统收获属性检测方法精度不高、计算量大以及作业调控系统存在滞后性等一些不足之处，本发明提供一种水稻收获属性检测及作业调控系统和方法及收获机。
发明内容
针对上述技术问题，本发明的一个方式的目的之一是提供一种水稻收获属性检测及作业调控系统，利用图像采集装置获取收获机作业过程中待收区域水稻收获属性，并将属性信息与位置信息对应后存储，作业时根据当前位置调取水稻收获属性，结合前进速度控制模型控制前进速度，实现水稻精准收获，收获属性检测方法精度高、计算量小，检测速度快。
本发明提供了一种水稻收获属性检测及作业调控系统，利用图像采集装置获取收获机作业过程中左侧待收区域水稻收获属性，并将属性信息与位置信息对应后存储，当收获机到达新的位置，根据当前位置调取水稻收获属性，结合前进速度控制模型控制前进速度，实现水稻精准收获。
本发明还提供了一种水稻收获属性检测及作业调控系统的控制方法，采用语义分割、骨架线提取、图像深度方法检测水稻的收获属性，根据不同的收获属性与前进速度控制模型改变前进速度，实现前进速度精准控制。
本发明还提供了一种收获机，采用水稻收获属性检测及作业调控系统的控制方法控制水稻收获属性检测及作业调控系统，实现水稻的精准收获。
注意，这些目的的记载并不妨碍其他目的的存在。本发明的一个方式并不需要实现所有上述目的。可以从说明书、附图、权利要求书的记载中抽取上述目的以外的目的。
本发明是通过以下技术手段实现上述技术目的的：
一种水稻收获属性检测及作业调控系统，包括图像采集装置、定位装置、信息处理系统、前进速度控制模块；
所述图像采集装置用于采集收获机一侧待收割区域内水稻图像，图像采集装置与信息处理系统连接，并将采集到的水稻图像传输给信息处理系统；
所述定位装置用于采集收获机的位置和航向信息，定位装置与信息处理系统连接，并将位置和航向信息传输给信息处理系统；
所述信息处理系统用于处理图像采集装置采集到的水稻图像，提取水稻收获属性信息，以及处理定位装置获取的收获机位置和航向信息，通过坐标转换得到所采集的待收割区域水稻的位置信息，并将水稻收获属性信息与位置信息一一对应后存储；当收获机到达新的位置，调取当前收获位置的水稻收获属性信息，计算得到前进速度，并传递给前进速度控制模块；
所述前进速度控制模块与信息处理系统连接，根据信息处理系统发出的前进速度控制指令，控制收获机前进速度。
上述方案中，所述图像采集装置为双目相机，垂直向下拍摄；
所述定位装置为RTK-GNSS系统；
所述信息处理系统为嵌入式开发板或工控机。
上述方案中，所述信息处理系统发出的收获机前进速度是根据水稻收获属性匹配收获机前进速度控制模型计算得到的，用于控制收获机前进速度；所述前进速度控制模型为：
V＝λ1×D+λ2×H+C2
其中，V为前进速度，D为ROI区域内的水稻的密度、λ1为密度占比系数，H为株高，λ2为株高占比系数，C2为常数。
上述方案中，所述水稻收获属性指的是水稻的密度和株高。
进一步的，所述水稻的密度通过水稻密度计算模型计算得到；所述水稻密度计算模型为：
D＝α×p+β×n+C1
其中，D为水稻密度，p为水稻穗头掩膜的像素面积，n为骨架线节点数，α为p的系数，β为n的系数，C1为常数。
一种根据所述的水稻收获属性检测及作业调控系统的控制方法，包括以下步骤：
步骤S1、图像采集：通过图像采集装置采集收获机左侧待收割区域内水稻图像，获得彩色RGB图像和深度图像，并传输给信息处理系统；
步骤S2、位置获取：通过定位装置测量当前收获机所在位置的经纬度坐标以及航向；
步骤S3、信息处理：通过信息处理系统处理步骤S1获得的水稻图像，得到水稻的株高和密度信息，通过控制模型计算得到收获机的前进速度；处理收获机位置和航向信息，通过经纬度坐标转换得到所采集的左侧待收割区域水稻的位置信息，并将水稻收获属性信息与位置信息一一对应后存储；当收获机到达新的位置，调取当前收获位置的水稻收获属性信息，根据前进速度控制模型计算得到前进速度，并将前进速度传递给前进速度控制模块；
步骤S4、速度控制：前进速度控制模块根据步骤S3发出的前进速度，控制收获机的前进速度。
上述方案中，经纬度坐标转换公式为：
其中，(x1,y1)为收获机当前位置的经纬度坐标，(x2,y2)为收获机当前相机拍摄的水稻位置的经纬度坐标，R为地球半径，L为两个位置之间的距离,θ为收获机的航向角,为两个位置连线与收获机航向之间的夹角。
上述方案中，所述水稻收获属性指的是水稻的密度和株高；所述图像采集装置为双目相机，双目相机采集的彩色RGB图像和深度图像作为信息处理系统图像处理模块的输入，分别用于水稻密度和株高信息的获取。
上述方案中，所述水稻密度获取方法包括以下步骤：
根据所述图像采集装置采集到的收获机一侧待收割区域内水稻的RGB图像，以收获机割幅为尺度提取ROI区域；
将ROI区域内的图像截取后进行直方图均衡化处理；
然后将处理后的图像输入最终的语义分割网络模型得到只包含水稻穗头的掩膜；
计算水稻穗头掩膜的像素面积；
使用骨架线提取算法提取穗头骨架线，并计算骨架线节点数；
以水稻穗头像素面积和骨架线节点数作为输入，水稻密度作为输出，根据所述水稻密度计算模型计算水稻密度。
上述方案中，将ROI区域内的图像截取后进行直方图均衡化处理，用处理后的图像建立水稻穗头图像训练集、验证集和测试集，对训练集和测试集中的穗头进行标注；将标注后的训练集、验证集及未标注的测试集均进行数据扩充；将扩充后的训练集进行训练，得到能够提取穗头的语义分割网络模型；将扩充后的验证集输入训练后的语义分割网络模型中进行验证，优化模型参数；将测试集输入优化后的语义分割网络模型进行测试，得到最终的语义分割网络模型。
上述方案中，使用骨架线提取算法提取穗头骨架线，通过形态学处理将骨架线进行膨胀操作，将骨架线宽度扩大，在骨架线交叉点处形成一片像素区域；将膨胀后的骨架线与原始骨架线进行比较，并标记节点；基于节点的领域特征过滤掉噪点以及误检测的节点，并计算骨架线节点数。
上述方案中，以水稻穗头像素面积和骨架线节点数作为输入，水稻密度作为输出，将采集的图像数据处理得到的水稻穗头像素面积和骨架线节点数以及实际的水稻密度进行线性平面拟合，得到水稻密度计算模型。
上述方案中，所述水稻株高获取方法包括以下步骤：
通过提取ROI区域内水稻表面到相机的深度信息，经过异常值滤波方法滤除深度信息的异常值后取平均深度值h1，并于相机安装高度h2做差，得到水稻株高H＝h2-h1。
上述方案中，所述前进速度控制模型是通过将采集的图像处理得到的水稻密度和株高数据以及实际作业过程中的前进速度进行线性平面拟合得到的。
一种收获机，包括所述水稻收获属性检测及作业调控系统，所述水稻收获属性检测及作业调控系统根据所述水稻收获属性检测及作业调控系统的控制方法检测和控制。
与现有技术相比，本发明的有益效果是：
根据本发明的一个方式，一种水稻收获属性检测及作业调控系统，利用图像采集装置获取收获机作业过程中左侧待收区域水稻收获属性，并将属性信息与位置信息对应后存储，作业时根据当前位置调取水稻收获属性，结合前进速度控制模型控制前进速度，实现水稻精准收获。
根据本发明的一个方式，一种水稻收获属性检测及作业调控系统的控制方法，采用语义分割、骨架线提取、图像深度方法检测水稻的收获属性，根据不同的收获属性与前进速度控制模型改变前进速度，实现前进速度精准控制。
根据本发明的一个方式，一种收获机采用水稻收获属性检测及作业调控系统的控制方法控制水稻收获属性检测及作业调控系统，实现水稻的精准收获。
注意，这些效果的记载不妨碍其他效果的存在。本发明的一个方式并不一定必须具有所有上述效果。可以从说明书、附图、权利要求书等的记载显而易见地看出并抽出上述以外的效果。
附图说明
图1是本发明一实施方式的结构示意图；
图2是本发明一实施方式的水稻收获属性检测及作业调控系统流程图；
图3是本发明一实施方式的水稻密度检测流程图；
图4是本发明一实施方式的水稻密度检测示意图。
图中：1、图像采集装置；2、定位装置；3、信息处理系统；4、前进速度控制模块。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“前”、“后”、“左”、“右”、“上”、“下”、“轴向”、“径向”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
实施例1
如图1所示，所述一种水稻收获属性检测及作业调控系统的一种较佳的实施方式，包括图像采集装置1、定位装置2、信息处理系统3、前进速度控制模块4；
所述图像采集装置1用于采集收获机左侧待收割区域内水稻图像，图像采集装置1与信息处理系统3连接，并将采集到的水稻图像传输给信息处理系统3；
所述定位装置2用于采集收获机的位置和航向信息，定位装置2与信息处理系统3连接，并将位置和航向信息传输给信息处理系统3；
所述信息处理系统3用于处理图像采集装置1采集到的水稻图像，提取水稻收获属性信息；处理定位装置2获取的收获机位置和航向信息，通过坐标转换得到所采集的左侧待收割区域水稻的位置信息，并将水稻收获属性信息与位置信息一一对应后存储；当收获机到达新的位置，调取当前收获位置的水稻收获属性信息，计算得到前进速度，并传递给前进速度控制模块4；
所述前进速度控制模块4与信息处理系统3连接，根据信息处理系统发出的前进速度控制指令，控制收获机前进速度。
优选的，所述图像采集装置1为双目相机，垂直向下拍摄；
优选的，所述定位装置2为RTK-GNSS系统；
优选的，所述信息处理系统3为嵌入式开发板或工控机。
所述信息处理系统3发出的收获机前进速度是根据水稻收获属性匹配收获机前进速度自动控制模型计算得到的，用于控制收获机前进速度。所述前进速度控制模型具体为：
V＝λ1×D+λ2×H+C2
其中，V为前进速度，D为ROI区域内的水稻的密度、λ1为密度占比系数，H为株高，λ2为株高占比系数，C2为常数。
所述水稻收获属性指的是水稻的密度和株高。
所述水稻的密度通过水稻密度计算模型计算得到；所述水稻密度计算模型具体为：
D＝α×p+β×n+C1
其中，D为水稻密度，p为水稻穗头掩膜的像素面积，n为骨架线节点数，α为p的系数，β为n的系数，C1为常数。
所述水稻株高H＝h2-h1，即通过提取ROI区域内水稻表面到相机的深度信息，经过异常值滤波方法滤除深度信息的异常值后取平均深度值h1，并于相机安装高度h2做差，得到水稻株高H＝h2-h1。
所述收获机前进速度控制模块4与收获机动力模块连接，控制收获机前进速度。
如图2所示，所述的水稻收获属性检测及作业调控系统的控制方法，包括以下步骤：
步骤S1、图像采集：通过图像采集装置1采集收获机左侧待收割区域内水稻图像，获得彩色RGB图像和深度图像，并传输给信息处理系统；
步骤S2、位置获取：通过定位装置2测量当前收获机所在位置A的经纬度坐标以及航向；
步骤S3、信息处理：通过信息处理系统3处理步骤S1获得的水稻图像，得到水稻的株高和密度信息，通过前进速度控制模型计算得到收获机的前进速度；处理收获机位置A和航向信息，通过坐标转换得到所采集的左侧待收割区域水稻的位置B信息，并将水稻收获属性信息与位置B信息一一对应后存储；当收获机割台开始收割位置B的水稻时，调取当前收获位置的水稻收获属性信息，根据前进速度控制模型计算得到前进速度，并将前进速度传递给前进速度控制模块4；
步骤S4、速度控制：前进速度控制模块4根据步骤S3发出的前进速度，控制收获机的前进速度。
所述水稻收获属性指的是水稻的密度和株高；所述图像采集装置为双目相机，双目相机采集的彩色RGB图像和深度图像作为信息处理系统图像处理模块的输入，分别用于水稻密度和株高信息的获取；
所述步骤S2位置获取具体为：
1)通过RTK-GNSS获取收获机当前位置的经纬度信息(x1，y1)及航向θ；
2)根据坐标转换公式得到所采集水稻图像位置的经纬度信息(x2，y2)，坐标转换公式为：
其中，R为地球半径，L为点A与点B之间的距离；
本实施例中，R＝6.378×106m，L＝1800mm,
如图3和4所示，所述水稻密度获取方法包括以下步骤：
根据所述图像采集装置采集到的收获机一侧待收割区域内水稻的RGB图像，以收获机割幅为尺度提取ROI区域；
将ROI区域内的图像截取后进行直方图均衡化处理；
用处理后的图像建立水稻穗头图像训练集、验证集和测试集，对训练集和测试集中的穗头进行标注；将标注后的训练集、验证集及未标注的测试集均进行数据扩充；将扩充后的训练集进行训练，得到能够提取穗头的语义分割网络模型；将扩充后的验证集输入训练后的语义分割网络模型中进行验证，优化模型参数；将测试集输入优化后的语义分割网络模型进行测试，得到最终的语义分割网络模型；
然后将处理后的图像输入最终的语义分割网络模型得到只包含水稻穗头的掩膜；
计算水稻穗头掩膜的像素面积；
使用骨架线提取算法提取穗头骨架线；
通过形态学处理将骨架线进行膨胀操作，将骨架线宽度扩大，在骨架线交叉点处形成一片像素区域；将膨胀后的骨架线与原始骨架线进行比较，并标记节点；
基于节点的领域特征过滤掉噪点以及误检测的节点，并计算骨架线节点数；
以水稻穗头像素面积和骨架线节点数作为输入，水稻密度作为输出，将采集的图像数据处理得到的水稻穗头像素面积和骨架线节点数以及实际的水稻密度进行线性平面拟合，得到水稻密度计算模型；
根据所述水稻密度计算模型计算水稻密度。
根据本实施例，优选的，所述步骤S3中水稻密度获取方法具体包括以下步骤：
1)根据图像采集设备采集到的收获机左侧待收割区域内水稻的RGB图像，以收获机割幅为尺度(2000×1000)提取ROI区域；
2)将ROI区域内的图像截取后进行直方图均衡化处理：
其中，g∈[0,255]为当前像数值；f(g)为转换后的图像像素值；i为非负整数；n(i)为第i级灰度的像素数量；m＝2000和n＝1000分别为图像的长和宽。
3)用处理后的图像建立水稻穗头图像训练集800张、验证集100张和测试集100张，对训练集和测试集中的穗头进行标注；将标注后的训练集、验证集及未标注的测试集均进行数据扩充至训练集2400张、验证集300张和测试集300张；将扩充后的训练集输入Unet基础网络模型进行训练，得到能够提取穗头的语义分割网络模型；将扩充后的验证集输入训练后的语义分割网络模型中进行验证，优化模型参数；将测试集输入优化后的语义分割网络模型进行测试，得到最终的语义分割网络模型；
4)将处理后的图像输入最终的语义分割网络模型得到只包含水稻穗头的红色掩膜并计算水稻穗头掩膜的像素面积；
5)使用骨架线提取算法提取穗头骨架线；通过形态学处理将骨架线进行膨胀操作，将骨架线宽度扩大，在骨架线交叉点处形成一片像素区域；将膨胀后的骨架线与原始骨架线进行比较，并标记节点；基于节点的领域特征过滤掉噪点以及误检测的节点，并计算骨架线节点数；
6)以水稻穗头像素面积和骨架线节点数作为输入，水稻密度作为输出，将采集的图像数据处理得到的水稻穗头像素面积和骨架线节点数以及实际的水稻密度进行线性平面拟合，得到水稻密度计算模型；根据水稻密度计算模型计算水稻密度，所述水稻密度计算模型具体为：
D＝α×p+β×n+C1
其中，D为水稻密度，α为p的系数，β为n的系数，p为水稻穗头掩膜的像素面积，n为骨架线节点数，C1为常数，C1与像素面积、骨架线节点以及对应的水稻密度有关。
在本实施例中，α＝1.806×10-4，p＝37362，β＝0.104，n＝322个，C1＝356.7，D＝397穗/m2；
所述步骤S3中水稻株高获取方法包括以下步骤：
通过提取ROI区域内水稻表面到相机的深度信息，经过异常值滤波方法滤除深度信息的异常值后取平均深度值h1，并于相机安装高度h2做差，得到水稻株高H＝h2-h1。
根据本实施例，所述水稻株高获取方法包括以下具体步骤：
通过提取ROI区域内水稻表面到相机的深度信息，经过异常值滤波方法滤除深度信息的异常值后取平均深度值h1＝820mm，并于相机安装高度h2＝2000mm做差，得到水稻株高H＝h2-h1＝1180mm。
所述收获机的前进速度是根据当前位置水稻收获属性匹配的收获机前进速度自动控制模型计算得到的，用于控制收获机前进速度，所述前进速度控制模型是通过将采集的图像处理得到的水稻密度和株高数据以及实际作业过程中的前进速度进行线性平面拟合得到的，具体为：
V＝λ1×D+λ2×H+C2
其中，V为前进速度，D为ROI区域内的水稻的密度、λ1为密度占比系数，H为株高、λ2为株高占比系数；
在本实施例中，λ1＝1.2×10-2，λ2＝2.7×10-3，C2＝6.43，V＝1.52m/s；
根据本实施例，优选的，本发明利用图像采集装置获取收获机作业过程中左侧待收区域水稻收获属性，根据建立的水稻收获属性与前进速度控制模型控制前进速度，实现水稻精准收获。
本发明采用语义分割、骨架线提取、图像深度方法计算收获机左侧待收区域水稻的收获属性并存储，根据当前收获机位置匹配已经检测的收获属性，并结合前进速度控制模型控制前进速度，实现水稻的精准收获。
实施例2
一种收获机，包括所述水稻收获属性检测方法的作业调控系统，因此具有实施例1所述的有益效果，此处不在赘述。
应当理解，虽然本说明书是按照各个实施例描述的，但并非每个实施例仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。
上文所列出的一系列的详细说明仅仅是针对本发明的可行性实施例的具体说明，它们并非用以限制本发明的保护范围，凡未脱离本发明技艺精神所作的等效实施例或变更均应包含在本发明的保护范围之内。
Claims (10)
1.一种水稻收获属性检测及作业调控系统，其特征在于，包括图像采集装置(1)、定位装置(2)、信息处理系统(3)、前进速度控制模块(4)；
所述图像采集装置(1)用于采集收获机一侧待收割区域内水稻图像，图像采集装置(1)与信息处理系统(3)连接，并将采集到的水稻图像传输给信息处理系统(3)；
所述定位装置(2)用于采集收获机的位置和航向信息，定位装置(2)与信息处理系统(3)连接，并将位置和航向信息传输给信息处理系统(3)；
所述信息处理系统(3)用于处理图像采集装置(1)采集到的水稻图像，提取水稻收获属性信息，以及处理定位装置获取的收获机位置和航向信息，通过坐标转换得到所采集的待收割区域水稻的位置信息，并将水稻收获属性信息与位置信息一一对应后存储；当收获机到达新的位置，调取当前收获位置的水稻收获属性信息，计算得到前进速度，并传递给前进速度控制模块(4)；
所述前进速度控制模块(4)与信息处理系统连接(3)，根据信息处理系统(3)发出的前进速度控制指令，控制收获机前进速度。
2.根据权利要求1所述的水稻收获属性检测及作业调控系统，其特征在于，所述图像采集装置(1)为双目相机，垂直向下拍摄；
所述定位装置(2)为RTK-GNSS系统；
所述信息处理系统(3)为嵌入式开发板或工控机。
3.根据权利要求1所述的水稻收获属性检测及作业调控系统，其特征在于，所述信息处理系统(3)发出的收获机前进速度是根据水稻收获属性匹配收获机前进速度控制模型计算得到的，用于控制收获机前进速度；所述前进速度控制模型为：
V＝λ1×D+λ2×H+C2
其中，V为前进速度，D为ROI区域内的水稻的密度、λ1为密度占比系数，H为株高，λ2为株高占比系数，C2为常数。
4.根据权利要求1所述的水稻收获属性检测及作业调控系统，其特征在于，所述水稻收获属性指的是水稻的密度和株高。
5.根据权利要求4所述的水稻收获属性检测及作业调控系统，其特征在于，所述水稻的密度通过水稻密度计算模型计算得到；所述水稻密度计算模型为：
D＝α×p+β×n+C1
其中，D为水稻密度，p为水稻穗头掩膜的像素面积，n为骨架线节点数，α为p的系数，β为n的系数，C1为常数。
6.一种根据权利要求1-5任意一项所述的水稻收获属性检测及作业调控系统的控制方法，其特征在于，包括以下步骤：
步骤S1、图像采集：通过图像采集装置(1)采集收获机左侧待收割区域内水稻图像，获得彩色RGB图像和深度图像，并传输给信息处理系统；
步骤S2、位置获取：通过定位装置测量当前收获机所在位置的经纬度坐标以及航向；
步骤S3、信息处理：通过信息处理系统处理步骤S1获得的水稻图像，得到水稻的株高和密度信息，通过控制模型计算得到收获机的前进速度；处理收获机位置和航向信息，通过经纬度坐标转换得到所采集的左侧待收割区域水稻的位置信息，并将水稻收获属性信息与位置信息一一对应后存储；当收获机到达新的位置，调取当前收获位置的水稻收获属性信息，根据前进速度控制模型计算得到前进速度，并将前进速度传递给前进速度控制模块(4)；
步骤S4、速度控制：前进速度控制模块(4)根据步骤S3发出的前进速度，控制收获机的前进速度。
7.根据权利要求6所述的水稻收获属性检测及作业调控系统的控制方法，其特征在于，经纬度坐标转换公式为：
其中，(x1,y1)为收获机当前位置的经纬度坐标，(x2,y2)为收获机当前相机拍摄的水稻位置的经纬度坐标，R为地球半径，L为两个位置之间的距离,θ为收获机的航向角,为两个位置连线与收获机航向之间的夹角。
8.根据权利要求6所述的水稻收获属性检测及作业调控系统的控制方法，其特征在于，所述水稻密度获取方法包括以下步骤：
根据所述图像采集装置(1)采集到的收获机一侧待收割区域内水稻的RGB图像，以收获机割幅为尺度提取ROI区域；
将ROI区域内的图像截取后进行直方图均衡化处理，然后将处理后的图像输入语义分割网络模型得到只包含水稻穗头的掩膜；
计算水稻穗头掩膜的像素面积；
使用骨架线提取算法提取穗头骨架线，并计算骨架线节点数；
以水稻穗头像素面积和骨架线节点数作为输入，水稻密度作为输出，根据所述水稻密度计算模型计算水稻密度。
9.根据权利要求6所述的水稻收获属性检测及作业调控系统的控制方法，其特征在于，所述水稻株高获取方法包括以下步骤：
通过提取ROI区域内水稻表面到相机的深度信息，经过异常值滤波方法滤除深度信息的异常值后取平均深度值h1，并于相机安装高度h2做差，得到水稻株高H＝h2-h1。
10.一种收获机，其特征在于，包括权利要求1-5任意一项所述水稻收获属性检测及作业调控系统，所述水稻收获属性检测及作业调控系统根据权利要求6-9任意一项水稻收获属性检测及作业调控系统的控制方法检测和控制。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310789206.6A CN116746361A (zh) | 2023-06-30 | 2023-06-30 | 一种水稻收获属性检测及作业调控系统和方法及收获机 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310789206.6A CN116746361A (zh) | 2023-06-30 | 2023-06-30 | 一种水稻收获属性检测及作业调控系统和方法及收获机 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116746361A true CN116746361A (zh) | 2023-09-15 |
Family
ID=87958838
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310789206.6A Pending CN116746361A (zh) | 2023-06-30 | 2023-06-30 | 一种水稻收获属性检测及作业调控系统和方法及收获机 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116746361A (zh) |
-
2023
- 2023-06-30 CN CN202310789206.6A patent/CN116746361A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| DK179771B1 (en) | Apparatus and method for improving the yield of grass and clover harvested from an agricultural field | |
| US11170547B2 (en) | Combine, method of generating field farming map, program for generating the field farming map and storage medium recording the field farming map generating program | |
| WO2020140491A1 (zh) | 谷物处理自动驾驶系统及其自动驾驶方法和路径规划方法 | |
| JP2021516060A (ja) | 植物体耕作データ測定方法、作業経路計画方法及び装置、システム | |
| US10602665B2 (en) | Two armed robotic system for adjusting the height of an agricultural tool | |
| CN110163138A (zh) | 一种基于无人机多光谱遥感图像的小麦分蘖密度测算方法 | |
| JP6616378B2 (ja) | 情報処理システム及びプログラム | |
| JP2018143160A (ja) | 作物の倒伏度評価装置及び作物の倒伏度評価方法 | |
| CN107121535B (zh) | 一种有效的农作物生长环境监测系统 | |
| CN112734083A (zh) | 一种基于机器视觉的水稻收割机路径规划控制系统 | |
| CN113920106A (zh) | 一种基于rgb-d相机的玉米长势三维重构及茎粗测量方法 | |
| CA3125700C (en) | Automatic driving system for grain processing, automatic driving method and automatic identification method | |
| CN110447562A (zh) | 跛牛识别及自动分群方法及其系统 | |
| CN116746361A (zh) | 一种水稻收获属性检测及作业调控系统和方法及收获机 | |
| CN115451965B (zh) | 基于双目视觉的插秧机插植系统相对航向信息检测方法 | |
| CN112712088B (zh) | 动物膘情检测方法、装置及计算机可读存储介质 | |
| CN113287422A (zh) | 一种切割器高度自动调节装置和方法及再生稻联合收获机 | |
| JP6616377B2 (ja) | 情報処理システム及びプログラム | |
| CN111143601A (zh) | 一种图像处理方法 | |
| KR20190053318A (ko) | 생육환경정보 및 생육량 정보를 이용한 작물 생육 진단방법 | |
| US20230214997A1 (en) | Training method, evaluation method, electronic device and storage medium | |
| CN114485612B (zh) | 路线生成方法、装置、无人作业车、电子设备及存储介质 | |
| RU2774651C1 (ru) | Система автоматического вождения для переработки зерна, способ автоматического вождения и способ планирования траектории | |
| CN115540784A (zh) | 一种水稻倒伏区域检测及作业调控系统和方法及收获机 | |
| US20220217895A1 (en) | Methods of operating tillage implements and working fields |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |