CN113950938A - 一种联合收割机及谷物流量在线检测装置和方法 - Google Patents

一种联合收割机及谷物流量在线检测装置和方法 Download PDF

Info

Publication number
CN113950938A
CN113950938A CN202111144651.4A CN202111144651A CN113950938A CN 113950938 A CN113950938 A CN 113950938A CN 202111144651 A CN202111144651 A CN 202111144651A CN 113950938 A CN113950938 A CN 113950938A
Authority
CN
China
Prior art keywords
grain
point cloud
flow
time
image acquisition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111144651.4A
Other languages
English (en)
Other versions
CN113950938B (zh
Inventor
徐立章
刘朋
胡金鹏
蔡正阳
戴步旺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu University
Original Assignee
Jiangsu University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu University filed Critical Jiangsu University
Priority to CN202111144651.4A priority Critical patent/CN113950938B/zh
Publication of CN113950938A publication Critical patent/CN113950938A/zh
Application granted granted Critical
Publication of CN113950938B publication Critical patent/CN113950938B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01D—HARVESTING; MOWING
    • A01D41/00—Combines, i.e. harvesters or mowers combined with threshing devices
    • A01D41/12—Details of combines
    • A01D41/127—Control or measuring arrangements specially adapted for combines
    • A01D41/1271—Control or measuring arrangements specially adapted for combines for measuring crop flow
    • A01D41/1272—Control or measuring arrangements specially adapted for combines for measuring crop flow for measuring grain flow
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Abstract

本发明提供一种联合收割机及谷物流量在线检测装置和方法，包括图像采集机构、光源、谷物流间歇调控机构和控制单元；控制单元控制谷物流间歇调控机构将粮箱顶部关闭，当粮箱顶部完全关闭时，此时控制单元控制图像采集机构采集图像的时间，每隔t秒对谷物流进行间隔采样，获取粮箱内粮面图像，根据深度图生成点云数据，利用云分割、点云滤波、点云拟合处理点云数据，重构不规则粮面模型，得到粮面三角网格模型，分解粮面三角网格模型，通过积分解计算当前粮堆体积，结合谷物密度计算当前该时间段内谷物实时平均流量，解决了现有联合收割机谷物流量测量装置所存在的精度不足、通用性差的问题。

Description

一种联合收割机及谷物流量在线检测装置和方法
技术领域
本发明属于农业机械技术领域，尤其涉及一种联合收割机及谷物流量在线检测装置和方法。
背景技术
联合收获机在收获作业过程中，谷物经螺旋输粮搅龙或刮板式升运器等结构将收获后的谷物输送至粮箱，待粮箱仓满时进行卸粮作业。通过建立相应的联合收获机谷物测产系统获取该作业过程中谷物的产量信息，实现谷物流量的实时检测，通过生成相应的产量分布图，用于评估收获作业质量，并指导下一季作物耕、种、管、收各个环节的精准作业。目前，联合收获机使用的谷物流量传感器主要包括光电式、容积式、γ射线式和冲量式等，其中冲量式流量传感器由于结构简单、成本低廉而得到广泛的应用，但机器的振动、谷物含水率、谷物的种类流量变化和田间的坡度等因素对测量精度影响很大，测量精度及稳定性难以满足实际需求。
现有相关研究通过双目立体视觉、三维扫描等方式来进行非规则散料堆体积的测算，但多应用于大型粮箱、煤堆等静止状态的堆料，关于联合收割机谷物流量的在线实时检测装置及方法鲜有报道。现有技术中一种基于双目相机的粮箱谷堆体积测算方法，通过在谷堆周围按三角形排布设置三个双目相机，利用预先建立的谷堆几何模型计算谷堆的体积，但较为理想化，未考虑收割机粮箱内部结构及实际工作场景对图像及点云数据的影响，测量精度不稳定。现有技术中一种刮板式输粮的谷物流量监测方法及监测系统，不适用于采用螺旋升运搅龙作业的联合收获机，通用性较差。
发明内容
针对上述技术问题，本发明提供一种联合收割机及谷物流量在线检测装置和方法，可以用于联合收割机收割过程中谷物流量的在线检测，解决现有联合收割机谷物流量测量装置所存在的精度不足、通用性差等技术问题，该谷物流量测量装置的谷物流间歇调控机构用于在图像采集机构采集图像的曝光时间内，快速完成遮挡板的开闭动作，实现谷物流在图像采集时间内不下落、采集后均匀下落的要求；控制单元用于控制图像采集机构拍照间隔时间，并处理点云数据，最终通过积分解算当前粮堆体积，结合谷物密度计算当前该时间段内谷物实时平均流量，本发明可以应用于联合收割机谷物流量检测。
本发明的技术方案是：一种联合收割机谷物流量在线检测装置，包括图像采集机构、光源、谷物流间歇调控机构和控制单元；所述谷物流间歇调控机构安装在粮箱的顶部，用于控制粮箱的顶部周期性开闭控制谷物流；所述图像采集机构安装在粮箱顶部、且位于谷物流间歇调控机构的下方，粮箱内设有光源；所述控制单元分别与图像采集机构、光源和谷物流间歇调控机构连接；所述控制单元控制谷物流间歇调控机构将粮箱顶部关闭，当粮箱顶部完全关闭时，此时所述控制单元控制图像采集机构采集图像的时间，每隔t秒对谷物流进行间隔采样，获取粮箱内粮面图像，根据深度图生成点云数据，利用云分割、点云滤波、点云拟合处理点云数据，重构不规则粮面模型，得到粮面三角网格模型，分解粮面三角网格模型，通过积分解计算当前粮堆体积，结合谷物密度计算当前该时间段内谷物实时平均流量。
上述方案中，所述谷物流间歇调控机构包括电动推杆、销轴、第一连杆、遮挡板、遮挡板固定夹、两侧固定架和第二连杆；
所述电动推杆通过销轴与第一连杆的一端连接，第一连杆的另一端与第二连杆的一端连接，第二连杆上设有多个通孔；两侧固定架上设有多个弧形凹槽，所述遮挡板有多个，遮挡板的两端分别通过遮挡板固定夹的上端安装在固定架上，遮挡板固定夹的下端与第二连杆上的通孔连接，并安装在弧形凹槽上；所述控制单元控制电动推杆推动连杆带动全部遮挡板沿固定架的弧形凹槽运动，在图像采集机构进行图像采集的时间内，完成遮挡板的开闭动作，实现谷物流在图像采集的时间内不下落、图像采集的后均匀下落。
上述方案中，所述图像采集机构为双目相机。
上述方案中，所述光源为组合式条形或环形光源。
进一步的，所述光源与光源驱动器连接。
一种根据所述联合收割机谷物流量在线检测装置的方法，包括以下步骤：
所述控制单元控制谷物流间歇调控机构间隔时间t*控制粮箱顶部开闭，当粮箱顶部完全关闭时，谷物无法下落，此时所述控制单元控制图像采集机构采集图像的时间，每间隔时间t秒对谷物流进行间隔采样，获取粮箱内粮面图像，根据深度图生成点云数据，利用云分割、点云滤波、点云拟合处理点云数据，重构不规则粮面模型，得到粮面三角网格模型，分解粮面三角网格模型，通过积分解计算当前粮堆体积，结合谷物密度计算当前该时间段内谷物实时平均流量。
上述方案中，所述间隔时间t及谷物流间歇调控机构调控间隔时间t*由产量图单元格面积S及联合收割机割幅l和作业速度v决定，即
Figure BDA0003284979120000021
上述方案中，所述点云数据的生产包括以下步骤：
所述图像采集机构每隔时间t秒，采集不规则粮面与粮箱内部结构的颜色和深度RGB-D图像，根据图片中各点空间坐标，结合图像采集机构提取的各点深度信息，生成点云数据，并传输至控制单元。
上述方案中，所述点云数据的处理包括以下步骤：
建立点云数据结构和索引库；基于区域生长法进行点云分割，将不规则粮面与粮箱内壁分割开来，仅保留粮面点云；创建统计学离群点移除过滤器，并剔除离群点；所述控制单元对建立索引的点云数据进行下采样，稀释点云数量，建立直通滤波器，滤去除粮箱及谷物表层点云以外的噪声点云；基于动态最小二乘法平滑不规则粮面点云数据，通过插值拟合法补齐表层点云中的空洞，并输出包含法向信息的点云对象模板，根据此模板重构粮面，生成粮面三角网格模型。
上述方案中，所述谷物实时平均流量的计算包括以下步骤：
将所得粮面三角网格模型分解为规则的棱柱，将网格曲面投影到双目相机平面，并索引所生成的各个三角面的顶点坐标，通过体积公式计算每个棱柱的体积并累加求和，获得粮面上方空区域的体积，通过相邻两帧图像和点云数据解算出的体积作差，再结合当前谷物密度，计算相邻时间内谷物平均流量信息：
Figure BDA0003284979120000031
Hgi＝(Zi-1+Zi+Zi+1)/32
Hgj＝(Zj-1+Zj+Zj+1)/33
M＝ρV4
公式中，V为采样间隔时间内进入粮箱内谷物的体积，t为当前采样时刻，t-1为前一采样时刻，m为t时刻棱柱的数量，n为t-1时刻棱柱的数量，Vt为t时刻粮箱内谷物的体积，Vt-1为t-1时刻粮箱内谷物的体积，Vi为t时刻第i个棱柱的体积，Vj为t-1时刻第j个棱柱的体积，Si为三角剖分算法下t时刻粮箱内谷物表层曲面三角形的面积，Sj为三角剖分算法下t-1时刻粮箱内谷物表层曲面三角形的面积，Zi-1、Zi、Zi+1为t采样时刻点云被剖分的三角形三个顶点在高度方向的坐标，Zj-1、Zj、Zj+1为t-1采样时刻点云被剖分的三角形三个顶点在高度方向的坐标，Hgi为t时刻粮箱内谷物表层点云被剖分的对应三角形重心点在高度方向坐标的平均值，Hgj为t-1时刻粮箱内谷物表层点云被剖分的对应三角形重心点在高度方向坐标的平均值，ρ为谷物密度，M为采样时间段谷物平均流量。
与现有技术相比，本发明的有益效果是：本发明通过图像采集机构获取深度图像并转化为点云数据，采用点云分割、点云滤波、点云拟合等方法处理重建粮箱内谷物三维曲面，通过谷物流间歇调控机构，实现谷物流下落与相机拍照时间的同步控制，以保证点云质量。该方法极大地减小了机器振动、环境光照等因素对谷物流量测量结果的影响，适用于多种作物流量的快速实时检测，可以解决当前谷物联合收割机流量检测方法存在的测量精度差、通用性低等问题。
附图说明
图1为本发明一实施方式的联合收割机谷物流量在线检测装置结构主视示意图；
图2为本发明一实施方式的联合收割机谷物流量在线检测装置结构立体示意图；
图3为本发明一实施方式的谷物流间歇调控开闭调控机构图；
图4为本发明一实施方式的遮挡板结构图；
图5为本发明一实施方式的固定架上弧形凹槽结构图；
图6为本发明一实施方式的连杆结构图；
图7为本发明一实施方式的基于双目相机的谷物流量检测流程图；
图8为本发明一实施方式的粮箱及谷物表层点云原始数据图构建模型的前视图；
图9为本发明一实施方式的分割后的点云数据图；
图10为本发明一实施方式的下采样后的点云数据图；
图11为本发明一实施方式的滤波后的粮箱表面点云数据图；
图12为本发明一实施方式的粮箱内谷物最终三维曲面图；
图13为本发明一实施方式的体积计算方法示意图。
图中1为粮箱，2为谷物流间歇调控机构，201为电动推杆，202为销轴，203为第一连杆，204为遮挡板，205为遮挡板固定夹，206为固定架，207弧形凹槽，208为第二连杆，3为双目相机支架，4为双目相机，5为光源，6为电动推杆驱动器，7为光源驱动器。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“轴向”、“径向”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
实施例1
图1和2所示为本发明所述联合收割机谷物流量在线检测装置的一种较佳实施方式，所述联合收割机谷物流量在线检测装置包括谷物流间歇调控机构2、图像采集机构、光源5、光源驱动器7等，其安装在收割机粮箱1内。优选的，所述图像采集机构为双目相机4。谷物流间歇调控机构2、双目相机4、光源5、光源驱动器7以及控制单元均由供电模块持续供电。所述谷物流间歇调控机构2安装在粮箱1的顶部，用于控制粮箱1的顶部周期性开闭控制谷物流；所述图像采集机构安装在粮箱1顶部、且位于谷物流间歇调控机构2的下方，粮箱1内设有光源5；所述控制单元分别与图像采集机构、光源5和谷物流间歇调控机构2连接；所述控制单元控制谷物流间歇调控机构2将粮箱1顶部关闭，当粮箱1顶部完全关闭时，谷物无法下落，此时所述控制单元控制图像采集机构采集图像的时间，每隔t秒对谷物流进行间隔采样，获取粮箱内粮面图像，根据深度图生成点云数据，利用云分割、点云滤波、点云拟合处理点云数据，重构不规则粮面模型，得到粮面三角网格模型，分解粮面三角网格模型，通过积分解计算当前粮堆体积，结合谷物密度计算当前该时间段内谷物实时平均流量。
所述供电模块通过电源导线为双目相机4、光源5、光源驱动器7、谷物流间歇调控机构2、控制单元持续供电，控制单元连接双目相机4、光源驱动器7与谷物流间歇调控机构2，光源驱动器7连接光源5。
所述控制单元用于控制双目相机4，控制光源驱动器7，控制谷物流间歇调控机构2，处理所述双目相机4获得的信息以及计算谷物实时平均流量。
所述光源驱动器7控制光源5强度，保证双目相机4获取图像的质量；由于经输粮筒动态抛撒的谷物流会对双目相机获取的图像数据造成影响，产生大量的阴影和孔洞，因此，设计谷物流间歇调控机构2与双目相机4采样时间实现同步控制，谷物流间歇调控机构2实现粮箱1顶部周期性开闭，当粮箱1顶部完全关闭时，谷物流无法下落，此时双目相机4进入拍照流程，通过谷物流间歇调控机构2使得在双目相机4曝光时间内无谷物进入粮箱1，并保证谷物再次下落时的均匀性。
所述双目相机4可选择集成式双目相机或由两个单目相机组成的双目视觉系统，固定安装在双目相机安装架3中，双目相机安装架3两侧板上可以开弧形槽以调节双目相机视场，使得双目相机视角完整覆盖粮箱内粮堆。双目相机4的参数标定在安装之前完成。
所述光源5为组合式条形或环形光源，通过螺栓与粮箱内壁连接，对粮箱1内部实现大面积打光，满足双目相机4获取可用的不规则粮堆图像的需求。光源5组合形式及个数等根据粮箱1的形状及体积大小确定。
所述光源驱动器7控制光源强度5，保证相机获取图像的质量。所述光源驱动器7与条形光源连接，根据谷物种类及状态合理调节光源强度，以获取高质量的图像及点云数据。
如图3-6所示，本发明的谷物流间歇调控机构主要包括：所述谷物流间歇调控机构2包括电动推杆201、销轴202、第一连杆203、遮挡板204、遮挡板固定夹205、两侧固定架206和第二连杆208；所述电动推杆201通过销轴202与第一连杆203的一端连接，第一连杆203的另一端与第二连杆208的一端连接，第二连杆208上设有多个通孔；两侧固定架206上设有多个弧形凹槽207，所述遮挡板204有多个，遮挡板204的两端分别通过遮挡板固定夹205的上端安装在固定架206上，遮挡板固定夹205的下端与第二连杆208上的通孔连接，并安装在弧形凹槽207上；所述控制单元控制电动推杆201推动连杆203带动全部遮挡板204沿固定架206的弧形凹槽207运动，在双目相机4曝光时间内，快速完成遮挡板204的开闭动作，实现谷物流在双目相机4拍照时间内不下落、拍照后均匀下落的要求。
一种根据所述联合收割机谷物流量在线检测装置的方法，包括以下步骤：
所述控制单元控制谷物流间歇调控机构2间隔时间t*控制粮箱1顶部开闭，当粮箱1顶部完全关闭时，谷物无法下落，此时所述控制单元控制图像采集机构采集图像的时间，每间隔时间t秒对谷物流进行间隔采样，获取粮箱内粮面图像，根据深度图生成点云数据，利用云分割、点云滤波、点云拟合处理点云数据，重构不规则粮面模型，得到粮面三角网格模型，分解粮面三角网格模型，通过积分解计算当前粮堆体积，结合谷物密度计算当前该时间段内谷物实时平均流量。
如图7所示，本发明的基于双目视觉的联合收割机谷物流量在线检测方法，具体包括以下步骤：
步骤1：所述控制单元发出信号，根据谷物类型自动匹配光源强度，拍照间隔时间t及谷物流间歇开闭机构调控时间t*由产量图单元格面积S及联合收割机割幅l和作业速度v决定，即
Figure BDA0003284979120000061
控制单元完成参数初始化后，光源驱动器、光源、双目相机及谷物流间歇调控机构开始工作；
步骤2：所述双目相机4每隔时间t秒，采集不规则粮面与粮箱内部结构的颜色和深度RGB-D图像，根据图片中各点空间坐标，结合双目相机焦距、光心距、双目相机畸变等参数提取各点深度信息，生成点云数据，如图8所示，并将以上数据传输至控制单元；
步骤3：由于所获取的单帧图像点云数据较大、分布不均匀，需进行预处理，采用k-d tree方法快速建立点云数据结构和索引库，便于后续其他点云处理操作；
步骤4：基于区域生长法进行点云分割，将不规则粮面与粮箱内壁等其余模型分割开来，仅保留粮面点云；创建统计学离群点移除过滤器，对每个点的邻域进行k近邻统计分析，设置每个随机点邻域中的临近点k＝100，计算临近点与随机点之间距离di、平均距离μ及标准差δ，若临近点与随机点之间的距离超出了平均距离加一个标准差以上，即di＞μ+δ，则该点被标记为离群点并剔除，如图9所示；
步骤5：控制单元对建立索引的点云数据进行下采样，稀释点云数量，如图10所示；建立x、y、z方向的直通滤波器，滤去除粮箱及谷物表层点云以外的噪声点云，此类点云主要是由灰尘颗粒、轻杂余等引起；
步骤6：基于动态最小二乘法平滑不规则粮面点云数据，通过插值拟合法补齐表层点云中的空洞，如图11所示，并输出包含法向信息的点云对象模板，根据此模板，使用Delaunay三角剖分法重构粮面，生成粮面三角网格模型，如图12所示；
步骤7：将粮面三角网格模型分解为规则的棱柱，将网格曲面投影到双目相机4的平面，并索引所生成的各个三角面的顶点坐标，通过体积公式计算每个棱柱的体积并累加求和，获得粮面上方空区域的体积。通过相邻两帧图像和点云数据解算出的体积作差，如图13所示，再结合当前谷物密度，计算相邻时间内谷物平均流量信息；
Figure BDA0003284979120000071
Hgi＝(Zi-1+Zi+Zi+1)/3 (2)
Hgj＝(Zj-1+Zj+Zj+1)/3 (3)
M＝ρV (4)
公式中，V为采样间隔时间内进入粮箱内谷物的体积，t为当前采样时刻，t-1为前一采样时刻，m为t时刻棱柱的数量，n为t-1时刻棱柱的数量，Vt为t时刻粮箱内谷物的体积，Vt-1为t-1时刻粮箱内谷物的体积，Vi为t时刻第i个棱柱的体积，Vj为t-1时刻第j个棱柱的体积，Si为三角剖分算法下t时刻粮箱内谷物表层曲面三角形的面积，Sj为三角剖分算法下t-1时刻粮箱内谷物表层曲面三角形的面积，Zi-1、Zi、Zi+1为t采样时刻点云被剖分的三角形三个顶点在高度方向的坐标，Zj-1、Zj、Zj+1为t-1采样时刻点云被剖分的三角形三个顶点在高度方向的坐标，Hgi为t时刻粮箱内谷物表层点云被剖分的对应三角形重心点在高度方向坐标的平均值，Hgj为t-1时刻粮箱内谷物表层点云被剖分的对应三角形重心点在高度方向坐标的平均值，ρ为谷物密度，可提前测出，M为采样时间段谷物平均流量，M为采样时间段谷物平均流量。
实施例2
一种联合收割机，立足于收割机粮箱内真实作业场景，包括实施例1所述谷物流量在线检测装置和方法，因此具有实施例1所述的有益效果，此处不再赘述。
应当理解，虽然本说明书是按照各个实施例描述的，但并非每个实施例仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。
上文所列出的一系列的详细说明仅仅是针对本发明的可行性实施例的具体说明，它们并非用以限制本发明的保护范围，凡未脱离本发明技艺精神所作的等效实施例或变更均应包含在本发明的保护范围之内。

Claims (10)

1.一种谷物流量在线检测装置，其特征在于，包括图像采集机构、光源(5)、谷物流间歇调控机构(2)和控制单元；
所述谷物流间歇调控机构(2)安装在粮箱(1)的顶部，用于控制粮箱(1)的顶部周期性开闭控制谷物流；
所述图像采集机构安装在粮箱(1)顶部、且位于谷物流间歇调控机构(2)的下方，粮箱(1)内设有光源(5)；
所述控制单元分别与图像采集机构、光源(5)和谷物流间歇调控机构(2)连接；所述控制单元控制谷物流间歇调控机构(2)将粮箱(1)顶部关闭，当粮箱(1)顶部完全关闭时，此时所述控制单元控制图像采集机构采集图像的时间，每隔t秒对谷物流进行间隔采样，获取粮箱内粮面图像，根据深度图生成点云数据，利用云分割、点云滤波、点云拟合处理点云数据，重构不规则粮面模型，得到粮面三角网格模型，分解粮面三角网格模型，通过积分解计算当前粮堆体积，结合谷物密度计算当前该时间段内谷物实时平均流量。
2.根据权利要求1所述的谷物流量在线检测装置，其特征在于，所述谷物流间歇调控机构(2)包括电动推杆(201)、销轴(202)、第一连杆(203)、遮挡板(204)、遮挡板固定夹(205)、两侧固定架(206)和第二连杆(208)；
所述电动推杆(201)通过销轴(202)与第一连杆(203)的一端连接，第一连杆(203)的另一端与第二连杆(208)的一端连接，第二连杆(208)上设有多个通孔；两侧固定架(206)上设有多个弧形凹槽(207)，所述遮挡板(204)有多个，遮挡板(204)的两端分别通过遮挡板固定夹(205)的上端安装在固定架(206)上，遮挡板固定夹(205)的下端与第二连杆(208)上的通孔连接，并安装在弧形凹槽(207)上；所述控制单元控制电动推杆(201)推动连杆(203)带动全部遮挡板(204)沿固定架(206)的弧形凹槽(207)运动。
3.根据权利要求1所述的谷物流量在线检测装置，其特征在于，所述图像采集机构为双目相机(4)。
4.根据权利要求1所述的谷物流量在线检测装置，其特征在于，所述光源(5)与光源驱动器(7)连接。
5.一种联合收割机，其特征在于，包括权利要求1-4任意一项所述谷物流量在线检测装置。
6.一种根据权利要求1-4任意一项所述联合收割机谷物流量在线检测装置的方法，其特征在于，包括以下步骤：
所述控制单元控制谷物流间歇调控机构(2)间隔时间t*控制粮箱(1)顶部开闭，当粮箱(1)顶部完全关闭时，谷物无法下落，此时所述控制单元控制图像采集机构采集图像的时间，每间隔时间t秒对谷物流进行间隔采样，获取粮箱内粮面图像，根据深度图生成点云数据，利用云分割、点云滤波、点云拟合处理点云数据，重构不规则粮面模型，得到粮面三角网格模型，分解粮面三角网格模型，通过积分解计算当前粮堆体积，结合谷物密度计算当前该时间段内谷物实时平均流量。
7.根据权利要求6所述联合收割机谷物流量在线检测装置的方法，其特征在于，所述间隔时间t及谷物流间歇调控机构(2)调控间隔时间t*由产量图单元格面积S及联合收割机割幅l和作业速度v决定，即
Figure FDA0003284979110000021
8.根据权利要求6所述联合收割机谷物流量在线检测装置的方法，其特征在于，所述点云数据的生产包括以下步骤：
所述图像采集机构每隔时间t秒，采集不规则粮面与粮箱(1)内部结构的颜色和深度RGB-D图像，根据图片中各点空间坐标，结合图像采集机构提取的各点深度信息，生成点云数据，并传输至控制单元。
9.根据权利要求6所述联合收割机谷物流量在线检测装置的方法，其特征在于，所述点云数据的处理包括以下步骤：
建立点云数据结构和索引库；基于区域生长法进行点云分割，将不规则粮面与粮箱内壁分割开来，仅保留粮面点云；创建统计学离群点移除过滤器，并剔除离群点；所述控制单元对建立索引的点云数据进行下采样，稀释点云数量，建立直通滤波器，滤去除粮箱及谷物表层点云以外的噪声点云；基于动态最小二乘法平滑不规则粮面点云数据，通过插值拟合法补齐表层点云中的空洞，并输出包含法向信息的点云对象模板，根据此模板重构粮面，生成粮面三角网格模型。
10.根据权利要求6所述联合收割机谷物流量在线检测装置的方法，其特征在于，所述谷物实时平均流量的计算包括以下步骤：
将所得粮面三角网格模型分解为规则的棱柱，将网格曲面投影到双目相机平面，并索引所生成的各个三角面的顶点坐标，通过体积公式计算每个棱柱的体积并累加求和，获得粮面上方空区域的体积，通过相邻两帧图像和点云数据解算出的体积作差，再结合当前谷物密度，计算相邻时间内谷物平均流量信息：
Figure FDA0003284979110000022
Hgi＝(Zi-1+Zi+Zi+1)/3 (2)
Hgj＝(Zj-1+Zj+Zj+1)/3 (3)
M＝ρV (4)
公式中，V为采样间隔时间内进入粮箱内谷物的体积，t为当前采样时刻，t-1为前一采样时刻，m为t时刻棱柱的数量，n为t-1时刻棱柱的数量，Vt为t时刻粮箱内谷物的体积，Vt-1为t-1时刻粮箱内谷物的体积，Vi为t时刻第i个棱柱的体积，Vj为t-1时刻第j个棱柱的体积，Si为三角剖分算法下t时刻粮箱内谷物表层曲面三角形的面积，Sj为三角剖分算法下t-1时刻粮箱内谷物表层曲面三角形的面积，Zi-1、Zi、Zi+1为t采样时刻点云被剖分的三角形三个顶点在高度方向的坐标，Zj-1、Zj、Zj+1为t-1采样时刻点云被剖分的三角形三个顶点在高度方向的坐标，Hgi为t时刻粮箱内谷物表层点云被剖分的对应三角形重心点在高度方向坐标的平均值，Hgj为t-1时刻粮箱内谷物表层点云被剖分的对应三角形重心点在高度方向坐标的平均值，ρ为谷物密度，M为采样时间段谷物平均流量。
CN202111144651.4A 2021-09-28 2021-09-28 一种联合收割机及谷物流量在线检测装置和方法 Active CN113950938B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111144651.4A CN113950938B (zh) 2021-09-28 2021-09-28 一种联合收割机及谷物流量在线检测装置和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111144651.4A CN113950938B (zh) 2021-09-28 2021-09-28 一种联合收割机及谷物流量在线检测装置和方法

Publications (2)

Publication Number Publication Date
CN113950938A true CN113950938A (zh) 2022-01-21
CN113950938B CN113950938B (zh) 2023-01-17

Family

ID=79462493

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111144651.4A Active CN113950938B (zh) 2021-09-28 2021-09-28 一种联合收割机及谷物流量在线检测装置和方法

Country Status (1)

Country Link
CN (1) CN113950938B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000354416A (ja) * 1999-06-16 2000-12-26 Yanmar Agricult Equip Co Ltd コンバインの収量検出装置
CN102630428A (zh) * 2012-04-18 2012-08-15 黑龙江省农业机械工程科学研究院 间歇联动式农作物收获测产设备
CN105210541A (zh) * 2014-06-27 2016-01-06 迪尔公司 谷物质量测量的校准
CN105741180A (zh) * 2016-04-21 2016-07-06 江苏大学 一种联合收获机谷物产量图绘制系统
CN110089260A (zh) * 2019-04-15 2019-08-06 江苏大学 一种刮板式输粮的谷物流量监测方法及监测系统
CN113317032A (zh) * 2021-06-07 2021-08-31 农业农村部南京农业机械化研究所 一种联合收获机的收获量监测方法、系统及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000354416A (ja) * 1999-06-16 2000-12-26 Yanmar Agricult Equip Co Ltd コンバインの収量検出装置
CN102630428A (zh) * 2012-04-18 2012-08-15 黑龙江省农业机械工程科学研究院 间歇联动式农作物收获测产设备
CN105210541A (zh) * 2014-06-27 2016-01-06 迪尔公司 谷物质量测量的校准
CN105741180A (zh) * 2016-04-21 2016-07-06 江苏大学 一种联合收获机谷物产量图绘制系统
CN110089260A (zh) * 2019-04-15 2019-08-06 江苏大学 一种刮板式输粮的谷物流量监测方法及监测系统
CN113317032A (zh) * 2021-06-07 2021-08-31 农业农村部南京农业机械化研究所 一种联合收获机的收获量监测方法、系统及装置

Also Published As

Publication number Publication date
CN113950938B (zh) 2023-01-17

Similar Documents

Publication Publication Date Title
CN108387262B (zh) 一种基于悬挂式滑轨平台的温室信息自动监测方法
WO2019113998A1 (zh) 一种盆栽生菜的综合长势监测方法及装置
JP5020444B2 (ja) 作物生育量測定装置、作物生育量測定方法、作物生育量測定プログラム及びその作物生育量測定プログラムを記録したコンピュータ読取可能な記録媒体
CN110648345B (zh) 一种基于光场成像的输送带上烟丝物料流量检测方法及系统
EP2353146B1 (de) Vermessung des wachstums von blattscheiben von pflanzen
US10172289B2 (en) System and method for the automatic adjustment of the height of an agricultural implement using 3D reconstruction
EP3555562B1 (en) Crop scanner
BR102014027364A2 (pt) sistema de controle e de medição da altura de corte para uma ceifeira de base, método, e, colheitadeira
CN106441442A (zh) 一种大田作物表型信息高通量对等监测装置及监测方法
CN108489432B (zh) 一种喷杆相对作物冠层高度实时测量系统及方法
CN113298085B (zh) 一种基于Mask R-CNN的谷物含杂-破碎识别方法与系统
CN112561983A (zh) 一种测算表面弱纹理且不规则堆料体积的装置及方法
US10602665B2 (en) Two armed robotic system for adjusting the height of an agricultural tool
CN104766135A (zh) 一种预测农作物产量的方法、装置及系统
AU2019222803A1 (en) Volume measurement apparatus and method
CN101339118A (zh) 谷粒参数自动测量装置及方法
CN113950938B (zh) 一种联合收割机及谷物流量在线检测装置和方法
CN115604550A (zh) 一种高速下的精准定距拍照装置以及方法
US20220346303A1 (en) Field monitoring and data collection systems and methods for a precision agriculture system
CN107014838B (zh) 基于x射线查看珍蚌内珍珠状态的检测器
CN112508995B (zh) 一种基于tof相机的煤流量实时动态计量方法
CN112907546B (zh) 肉牛体尺非接触测量装置及方法
CN112258398B (zh) 基于tof与双目图像融合的输送带纵向撕裂检测装置与方法
CN115280964B (zh) 一种茎叶蔬菜收获机自动作业行驶方法及系统和收获机
WO2022157306A1 (en) A data collection and monitoring system, a controlled environment farming system, devices and related methods

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CB03 Change of inventor or designer information

Inventor after: Hu Jinpeng

Inventor after: Xu Lizhang

Inventor after: Liu Peng

Inventor after: Cai Zhengyang

Inventor after: Dai Buwang

Inventor before: Xu Lizhang

Inventor before: Liu Peng

Inventor before: Hu Jinpeng

Inventor before: Cai Zhengyang

Inventor before: Dai Buwang

CB03 Change of inventor or designer information