CN114626895A - 基于机器视觉的草莓估价方法及远程采摘控制系统 - Google Patents

基于机器视觉的草莓估价方法及远程采摘控制系统 Download PDF

Info

Publication number
CN114626895A
CN114626895A CN202210339517.8A CN202210339517A CN114626895A CN 114626895 A CN114626895 A CN 114626895A CN 202210339517 A CN202210339517 A CN 202210339517A CN 114626895 A CN114626895 A CN 114626895A
Authority
CN
China
Prior art keywords
strawberry
picking
strawberries
weight
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210339517.8A
Other languages
English (en)
Inventor
康媞
何华平
雍腾
张睿宇
李华青
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southwest University
Original Assignee
Southwest University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southwest University filed Critical Southwest University
Priority to CN202210339517.8A priority Critical patent/CN114626895A/zh
Publication of CN114626895A publication Critical patent/CN114626895A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0278—Product appraisal
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01D—HARVESTING; MOWING
    • A01D46/00—Picking of fruits, vegetables, hops, or the like; Devices for shaking trees or shrubs
    • A01D46/30—Robotic devices for individually picking crops
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01D—HARVESTING; MOWING
    • A01D91/00—Methods for harvesting agricultural products
    • A01D91/04—Products growing above the soil
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/02—Agriculture; Fishing; Forestry; Mining

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Strategic Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Marketing (AREA)
  • General Engineering & Computer Science (AREA)
  • Environmental Sciences (AREA)
  • Finance (AREA)
  • Development Economics (AREA)
  • Accounting & Taxation (AREA)
  • General Business, Economics & Management (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Tourism & Hospitality (AREA)
  • Game Theory and Decision Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Primary Health Care (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Mining & Mineral Resources (AREA)
  • Marine Sciences & Fisheries (AREA)
  • Animal Husbandry (AREA)
  • Agronomy & Crop Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Resources & Organizations (AREA)
  • Evolutionary Biology (AREA)
  • Robotics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)

Abstract

本发明提供一种基于机器视觉的草莓估价方法及远程采摘控制系统，先获取当前采摘区域草莓分布图像，然后选择单颗草莓作为预采摘目标草莓；然后利用草莓采摘机械手将其提取至预定的N个取样点位，并获取N张预采摘目标草莓的图像信息；然后将N张预采摘目标草莓的图像信息输入草莓品质等级评定模型中评定草莓的等级和采摘单价；同时输入草莓重量预测模型中得出草莓预测重量；最后利用采摘单价以及草莓预测重量计算所选择的单颗草莓预估价格。其效果是：通过草莓采摘机械手和机器视觉能够对预采摘目标草莓进行分级定价和质量预估，从而在草莓采摘前给出草莓采摘成本的预估，从而增加远程采摘控制系统的娱乐性和体验感。

Description

基于机器视觉的草莓估价方法及远程采摘控制系统
技术领域
本发明涉及智慧农业技术，具体涉及一种基于机器视觉的草莓估价方法及远程采摘控制系统。
背景技术
草莓因为其色泽艳丽，果香浓郁，营养丰富等特性深受消费者喜爱，目前也发展成旅游农业项目中的主打产品之一，而现有草莓果园大多采用现场入园式采摘方式进行运营。
其存在的缺陷主要有以下几个方面：(1)大量人员进入种植大棚随意践踏，容易对草莓苗株或果实造成破坏；(2)很多游客为了节约购买成本，在种植大棚内随意试吃，常常造成“吃得多，买得少”，果实耗散严重，影响农场主的运营效益；(3)部分游客直接食入大量未清洗的果实，容易引起食品安全问题，甚至造成不必要的纠纷。
随着智慧农业技术的发展，远程采摘设备也逐渐的普及，如中国专利201910056756.0公开的一种远程遥控可伸缩未触碰剪切式水果智能采摘车，以及中国专利202111445188.7公开的一种草莓采摘整理一体机及其采摘整理方法，这些技术或设备虽然从采摘、包装、运输等功能上替代了传统的人工模式，但是又磨灭了用户亲自采摘的乐趣。
此外，现有的运营模式大多是按区域或品种定价，用户采摘完后统一结算，采摘前没有价格预估，采摘过程中不能基于单颗草莓分别定价。
发明内容
基于上述需求，本发明的首要目的在于提出一种基于机器视觉的草莓估价方法，该方法配合现有的自动采摘机械手使用，既能根据草莓的品质区别定价，用户又可以在采摘之前了解该草莓的预估价格，从而为采摘决策提供参考，提升远程采摘的操作乐趣。
为了实现上述目的，本发明所采用的技术方案如下：
一种基于机器视觉的草莓估价方法，其关键在于，包括以下步骤：
S1:通过第一图像采集设备获取当前采摘区域草莓分布图像；
S2:从所述草莓分布图像中选择单颗草莓作为预采摘目标草莓；
S3：草莓采摘机械手将预采摘目标提取至预定的N个取样点位，并通过第二图像采集设备获取N张预采摘目标草莓的图像信息，N为大于1的正整数；
S4:将N张预采摘目标草莓的图像信息输入草莓品质等级评定模型中评定草莓的等级和采摘单价；
S5：将N张预采摘目标草莓的图像信息输入草莓重量预测模型中得出草莓预测重量；
S6：利用步骤S4所得的草莓的采摘单价以及步骤S5所得的草莓预测重量计算所选择的单颗草莓预估价格。
可选地，所述第一图像采集设备、所述草莓采摘机械手以及所述第二图像采集设备均设置在草莓自动采摘小车上且与控制器连接，所述草莓品质等级评定模型和所述草莓重量预测模型设置在智能终端上，在所述控制器上配置有与所述智能终端通信的无线通信模块，所述控制器将当前采摘区域草莓分布图像上传至所述智能终端，用户通过所述智能终端从所述草莓分布图像中选择预采摘目标草莓。
可选地，所述控制器按不同的高度或/和角度设定N个取样点位，当用户通过所述智能终端从所述草莓分布图像中选定单颗草莓作为预采摘目标草莓后，所述草莓采摘机械手夹取预采摘目标草莓的柄部，并将其提升至预设的N个取样点位，由所述第二图像采集设备采集N张预采摘目标草莓的图像信息。
可选地，所述草莓品质等级评定模型采用预先训练好的多分类神经网络模型，且同时将N张预采摘目标草莓的图像信息作为输入样本进行分类识别，分类结果为优、良、中、差和非采摘品五个等级，且系统预先配置有每个等级的单价信息。
可选地，所述草莓品质等级评定模型中配置有图像预处理模块、图像分割模块、特征提取模块以及分类识别模块，所述图像预处理模块用于对N张预采摘目标草莓的图像信息分别进行图像增强，所述图像分割模块用于对N张预采摘目标草莓的图像信息中分割出N张草莓果实图像，所述特征提取模块分别从N张草莓果实图像中提取草莓果实的颜色特征和形状尺寸特征，所述分类识别模块用于根据特征提取模块所提取的颜色特征和形状尺寸特征进行分类识别，并输出分类结果。
可选地，所述草莓重量预测模型中对应N个取样点位配置有N个重量预测子模块，每一个重量预测子模块采用多元线性回归模型进行预测，即：
Figure BDA0003578441550000031
其中，mi表示第i个重量预测子模块的输出，i＝1～N，xij表示第i个重量预测子模块中第j个输入变量，j＝1～M，M为输入变量的个数，kij表示第i个重量预测子模块中第j个输入变量的权重系数，bi表示第i个重量预测子模块的偏置系数，第i个重量预测子模块选择第i张预采摘目标草莓的图像信息，通过图像预处理和图像分割得出第i张草莓果实图像，通过特征提取第i张草莓果实图像中的M个尺寸参数作为输入变量；
所述草莓重量预测模型通过计算N个重量预测子模块输出的均值从而得出所述草莓预测重量。
可选地，提取第i张草莓果实图像中的M个尺寸参数时分别按照草莓果实图像边缘轮廓的最长尺寸和最宽尺寸构建矩形区域，通过在长度方向和宽度方向上分别等距离选择M/2个边缘轮廓间距作为输入变量。
可选地，在草莓自动采摘小车配置重量传感器，当预采摘目标草莓被所述草莓采摘机械手摘落后，通过所述重量传感器获取当前采摘草莓的真实重量m，并通过ei＝m-mi计算第i个重量预测子模块的预测误差ei，然后根据预测误差ei分别修正第i个重量预测子模块中的权重系数和偏置系数。
基于上述方法，本发明还提供了一种基于机器视觉的草莓远程采摘控制系统，包括智能终端和草莓自动采摘小车，所述草莓自动采摘小车上配置有第一图像采集设备、草莓采摘机械手以及第二图像采集设备，且所述第一图像采集设备、草莓采摘机械手以及第二图像采集设备均与控制器连接，所述控制器通过无线通信模块与所述智能终端建立远程通信，所述智能终端和所述控制器之间采用了前文所述的基于机器视觉的草莓估计方法。
可选地，所述草莓自动采摘小车上配置有草莓盛放篮，重量传感器，自动打包装置和自动计价装置；
采摘前，智能终端利用步骤S4所得的草莓的采摘单价以及步骤S5所得的草莓预测重量计算所选择的单颗草莓预估价格并显示在智能终端的显示界面供用户确认是否采摘；
用户确认采摘后，所述草莓采摘机械手将预采摘目标草莓采摘至草莓盛放篮，并通过所述重量传感器获得当前采摘草莓的真实重量，自动计价装置按照步骤S4所得的草莓的采摘单价和当前采摘草莓的真实重量计算当前采摘草莓的实际价格，并累积记录所有已采摘草莓的总费用；
用户通过智能终端给出结束采摘指令，所述自动打包装置将用户所采摘的草莓进行打包封装，由所述自动计价装置给出最终的计价标签和订单信息。
本发明的效果是：
本发明通过草莓采摘机械手和机器视觉能够对预采摘目标草莓进行分级定价和质量预估，从而在草莓采摘前给出草莓采摘成本的预估，为远程采摘提供更加丰富的信息，为用户的决策提供参考，从而增加远程采摘控制系统的娱乐性和体验感，并且有效克服现场入园采摘所引起的诸多弊端，为草莓种植的远程智慧运营奠定基础。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。
图1为本发明提供的基于机器视觉的草莓估价方法的流程图；
图2为本发明具体实施例中草莓品质等级评定模型和草莓重量预测模型的处理流程图；
图3为本发明具体实施例中草莓重量预测模型中图像尺寸特征示意图；
图4为本发明提供的远程采摘控制系统电路原理框图；
图5为本发明具体实施例中草莓采摘小车的结构示意图；
图6为本发明具体实施例中草莓采摘机械手释放草莓的状态示意图。
具体实施方式
下面将结合附图对本发明技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本发明的技术方案，因此只作为示例，而不能以此来限制本发明的保护范围。
需要注意的是，除非另有说明，本申请使用的技术术语或者科学术语应当为本发明所属领域技术人员所理解的通常意义。
如图1所示，本实施例提供一种基于机器视觉的草莓估价方法，包括以下步骤：
S1:通过第一图像采集设备获取当前采摘区域草莓分布图像；通常第一图像采集设备设置在相对高一点的位置，根据采摘小车的行进位置获取草莓采摘机械手可采摘区域的草莓分布图片，便于远程用户观察和了解草莓的生长状况和具体的分布位置；
S2:从所述草莓分布图像中选择单颗草莓作为预采摘目标草莓；远程用户通过草莓分布图片可以直接点击图像中的草莓所处的位置，从而选定单颗草莓作为预采摘目标草莓，草莓采摘机械手即可根据用户所选择的目标执行后续的操作估价和采摘操作；
S3：草莓采摘机械手将预采摘目标提取至预定的多个取样点位，并通过第二图像采集设备获取多张预采摘目标草莓的图像信息；由于图像采集设备拍摄角度有限，为了提升草莓等级评定和重量预测的准确性，本实施例通过草莓采摘机械手夹取预采摘目标草莓的柄部，并将预采摘目标草莓提取到三个不同的高度和角度，使得第二图像采集设备获取3张预采摘目标草莓的图像信息进行草莓等级评定和重量预测；
S4:将3张预采摘目标草莓的图像信息输入草莓品质等级评定模型中评定草莓的等级和采摘单价；
S5：将3张预采摘目标草莓的图像信息输入草莓重量预测模型中得出草莓预测重量；
S6：利用步骤S4所得的草莓的采摘单价以及步骤S5所得的草莓预测重量计算所选择的单颗草莓预估价格。
具体实施时，草莓品质等级评定模型可以采用预先训练好的多分类神经网络模型，且同时将3张预采摘目标草莓的图像信息作为输入样本进行分类识别，结合图2可以看出，草莓品质等级评定模型中配置有图像预处理模块、图像分割模块、特征提取模块以及分类识别模块，所述图像预处理模块用于对3张预采摘目标草莓的图像信息分别进行图像增强，所述图像分割模块用于对3张预采摘目标草莓的图像信息中分割出3张草莓果实图像，所述特征提取模块分别从3张草莓果实图像中提取草莓果实的颜色特征和形状尺寸特征，所述分类识别模块用于根据特征提取模块所提取的颜色特征和形状尺寸特征进行分类识别，并输出分类结果，从而得到预采摘目标草莓的品质等级。结合专家评定规则，系统训练时预先将分类结果设定为优、良、中、差和非采摘品五个等级，且对应配置有每个等级的单价信息，具体参考表1所示。
表1 草莓品质等级参数表
等级 轮廓形状 尺寸大小 颜色比例 价格标准 是否可采摘
优 对称圆滑 >3.5cm 红色>85％ 25元/kg ■是/□否
良 尖部凹陷 >2.5cm 红色>70％ 20元/kg ■是/□否
中 边缘畸形 >1.5cm 红色>60％ 16元/kg ■是/□否
差 其它 其它 红色>35％ 14元/kg ■是/□否
非采摘品 其它 其它 红色<35％ 0元/kg □是/■否
系统根据草莓品质等级评定模型所识别出的草莓等级，即可对应得到预采摘目标草莓的单价信息，然后再通过草莓重量预测模型预测预采摘目标草莓的重量，从而就能方便估计采摘当前单颗草莓的费用成本，通过上述等级参数可以看出，对于可以采摘的草莓，系统可以根据草莓的轮廓形状，尺寸大小以及颜色比例分为优、良、中、差多个等级进行区别定价，对于部分明显未成熟的草莓，系统定义为非采摘品，用户选择后系统不会执行采摘动作并且可以给出特殊的提示，从而减少未成熟草莓的损耗，同时也可以避免用户将其它非草莓物品抓取至草莓盛放篮中。
结合图2可以看出，在本实施例中，所述草莓重量预测模型中对应3个取样点位配置有3个重量预测子模块，每一个重量预测子模块采用多元线性回归模型进行预测，即：
Figure BDA0003578441550000071
其中，mi表示第i个重量预测子模块的输出，i＝1～N，xij表示第i个重量预测子模块中第j个输入变量，j＝1～M，M为输入变量的个数，kij表示第i个重量预测子模块中第j个输入变量的权重系数，bi表示第i个重量预测子模块的偏置系数，第i个重量预测子模块选择第i张预采摘目标草莓的图像信息，通过图像预处理和图像分割得出第i张草莓果实图像，通过特征提取第i张草莓果实图像中的M个尺寸参数作为输入变量；
所述草莓重量预测模型通过计算3个重量预测子模块输出的均值从而得出所述草莓预测重量。
结合图3可以看出，以M取14为例，在提取每张草莓果实图像中的14个尺寸参数时，分别按照草莓果实图像边缘轮廓的最长尺寸和最宽尺寸构建矩形区域(即a*b的区域)，通过在长度方向和宽度方向上分别等距离选择7个边缘轮廓间距作为输入变量，即图中的a1～a7和b1～b7，通过模型训练，利用草莓果实图像的尺寸大小进行线性回归，从而得出草莓的预测重量，在进行特征选择时，也可以根据预测精度的要求，调整特征的数量和类型。
为了确保重量预测子模块逐步逼近真实的重量，在草莓自动采摘小车配置重量传感器，当预采摘目标草莓被所述草莓采摘机械手摘落后，通过所述重量传感器获取当前采摘草莓的真实重量m，并通过ei＝m-mi计算第i个重量预测子模块的预测误差ei，然后根据预测误差ei分别修正第i个重量预测子模块中的权重系数和偏置系数。
为适应智慧农业的需求，结合上述方法，本实施例还提供一种基于机器视觉的草莓远程采摘控制系统，如图4所示，包括智能终端和草莓自动采摘小车，所述草莓自动采摘小车上配置有第一图像采集设备、草莓采摘机械手以及第二图像采集设备，且所述第一图像采集设备、草莓采摘机械手以及第二图像采集设备均与控制器连接，所述控制器通过无线通信模块与所述智能终端建立远程通信，所述草莓品质等级评定模型和所述草莓重量预测模型设置在智能终端上，控制器将当前采摘区域草莓分布图像上传至智能终端，用户通过所述智能终端从所述草莓分布图像中选择预采摘目标草莓，然后系统可以按照前文所述的基于机器视觉的草莓估计方法来得出用户所选择的单颗草莓预估价格。
具体实施时，结合图5和图6可以看出，所述草莓自动采摘小车上配置有草莓盛放篮，重量传感器，自动打包装置和自动计价装置；
采摘前，智能终端利用步骤S4所得的草莓的采摘单价以及步骤S5所得的草莓预测重量计算所选择的单颗草莓预估价格并显示在智能终端的显示界面供用户确认是否采摘；
用户确认采摘后，所述草莓采摘机械手将预采摘目标草莓采摘至草莓盛放篮，并通过所述重量传感器获得当前采摘草莓的真实重量，自动计价装置按照步骤S4所得的草莓的采摘单价和当前采摘草莓的真实重量计算当前采摘草莓的实际价格，并累积记录所有已采摘草莓的总费用；
用户通过智能终端给出结束采摘指令，所述自动打包装置将用户所采摘的草莓进行打包封装，由所述自动计价装置给出最终的计价标签和订单信息。
结合图5和图6可以看出，在草莓自动采摘小车1的后端通过横向滑轨11连接草莓采摘机械手2，草莓采摘机械手2包括安装在横向滑轨11上的第一连接臂21，与第一连接臂21转动连接的第二连接臂22，与第二连接臂22转动连接的第三连接臂23，以及连接在第三连接臂23上的采摘手24，第一图像采集设备3安装在第一连接臂21的前端并竖直朝下设置，第二图像采集设备4安装在第一连接臂21的后端并倾斜朝前设置，草莓自动采摘小车1上配置有小车行进控制模块5，使其可以智能终端的远程操控下控制草莓自动采摘小车1在草莓畦田间纵向行走，第一连接臂21可以在横向滑轨11上横向滑动，满足草莓采摘机械手2在草莓畦田上的横向移动；第二连接臂22在第一连接臂21的端部通过第一转动电机转动连接，第三连接臂23在第二连接臂22的端部通过第二转动电机转动连接，在第一转动电机和第二转动电机的带动下，使得采摘手24可以实现采摘位置的调整以及采摘后将水果自动放入草莓盛放篮6中。
从图5和图6还可以看出，草莓自动采摘小车1的中部设置有带重量传感器的称重台7，草莓盛放篮6可以放置在称重台7上，在草莓自动采摘小车1内部对应称重台7倾斜设置有溜料通道71，溜料通道71的上端设置有草莓放置槽72，为了减少对草莓的损伤，在溜料通道71的下端还垫设有缓冲垫73，当用户通过远程的智能终端选定好预采摘目标草莓后，在第一转动电机和第二转动电机的带动下，采摘手24可以抓取草莓果实的柄部，并提取到预定的3个位置供第二图像采集设备4获取预采摘目标草莓的图像信息，经过草莓品质等级评定模型和草莓重量预测模型处理后得出草莓的预估价格，用户确认采摘当前草莓后，采摘手24再将用户所选的目标草莓摘取下来并通过草莓放置槽72和溜料通道71送入草莓盛放篮6中，称重台7根据草莓放入前后的重量变化即可得出当前采摘草莓的真实质量，自动计价装置8配置在草莓自动采摘小车1内，自动计价装置8根据草莓品质等级评定模型评估结果所指定的草莓价格以及称重台7所称量出的草莓真实质量即可完成累积计费，当用户通过智能终端也可以实时查看已采摘草莓的重量和总费用，当用户决定停止采摘时，草莓自动采摘小车1内部配置的自动打包装置9可将用户所采摘的草莓进行打包封装，最后由自动计价装置8给出最终的计价标签和订单信息，用户根据计价标签和订单信息可以方便的完成远程结算和物流配送，既避免了前文所述的游客入场采摘草莓的诸多弊端，又实现了农业现代化与远程智能化操作，增强草莓采摘的智能感或游戏感，同时还可以满足食品溯源的需求。
最后需要说明的是，以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；比如改变草莓品质等级评定模型和草莓重量预测模型的模型架构和训练方式等，而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，这样的变换均应涵盖在本发明的权利要求和说明书的范围当中。

Claims (10)

1.一种基于机器视觉的草莓估价方法，其特征在于，包括以下步骤：
S1:通过第一图像采集设备获取当前采摘区域草莓分布图像；
S2:从所述草莓分布图像中选择单颗草莓作为预采摘目标草莓；
S3：草莓采摘机械手将预采摘目标提取至预定的N个取样点位，并通过第二图像采集设备获取N张预采摘目标草莓的图像信息，N为大于1的正整数；
S4:将N张预采摘目标草莓的图像信息输入草莓品质等级评定模型中评定草莓的等级和采摘单价；
S5：将N张预采摘目标草莓的图像信息输入草莓重量预测模型中得出草莓预测重量；
S6：利用步骤S4所得的草莓的采摘单价以及步骤S5所得的草莓预测重量计算所选择的单颗草莓预估价格。
2.根据权利要求1所述的基于机器视觉的草莓估计方法，其特征在于，所述第一图像采集设备、所述草莓采摘机械手以及所述第二图像采集设备均设置在草莓自动采摘小车上且与控制器连接，所述草莓品质等级评定模型和所述草莓重量预测模型设置在智能终端上，在所述控制器上配置有与所述智能终端通信的无线通信模块，所述控制器将当前采摘区域草莓分布图像上传至所述智能终端，用户通过所述智能终端从所述草莓分布图像中选择预采摘目标草莓。
3.根据权利要求2所述的基于机器视觉的草莓估计方法，其特征在于，所述控制器按不同的高度或/和角度设定N个取样点位，当用户通过所述智能终端从所述草莓分布图像中选定单颗草莓作为预采摘目标草莓后，所述草莓采摘机械手夹取预采摘目标草莓的柄部，并将其提升至预设的N个取样点位，由所述第二图像采集设备采集N张预采摘目标草莓的图像信息。
4.根据权利要求1-3任一所述的基于机器视觉的草莓估计方法，其特征在于，所述草莓品质等级评定模型采用预先训练好的多分类神经网络模型，且同时将N张预采摘目标草莓的图像信息作为输入样本进行分类识别，分类结果为优、良、中、差和非采摘品五个等级，且系统预先配置有每个等级的单价信息。
5.根据权利要求4所述的基于机器视觉的草莓估计方法，其特征在于，所述草莓品质等级评定模型中配置有图像预处理模块、图像分割模块、特征提取模块以及分类识别模块，所述图像预处理模块用于对N张预采摘目标草莓的图像信息分别进行图像增强，所述图像分割模块用于对N张预采摘目标草莓的图像信息中分割出N张草莓果实图像，所述特征提取模块分别从N张草莓果实图像中提取草莓果实的颜色特征和形状尺寸特征，所述分类识别模块用于根据特征提取模块所提取的颜色特征和形状尺寸特征进行分类识别，并输出分类结果。
6.根据权利要求1-3任一所述的基于机器视觉的草莓估计方法，其特征在于，所述草莓重量预测模型中对应N个取样点位配置有N个重量预测子模块，每一个重量预测子模块采用多元线性回归模型进行预测，即：
Figure FDA0003578441540000021
其中，mi表示第i个重量预测子模块的输出，i＝1～N，xij表示第i个重量预测子模块中第j个输入变量，j＝1～M，M为输入变量的个数，kij表示第i个重量预测子模块中第j个输入变量的权重系数，bi表示第i个重量预测子模块的偏置系数，第i个重量预测子模块选择第i张预采摘目标草莓的图像信息，通过图像预处理和图像分割得出第i张草莓果实图像，通过特征提取第i张草莓果实图像中的M个尺寸参数作为输入变量；
所述草莓重量预测模型通过计算N个重量预测子模块输出的均值从而得出所述草莓预测重量。
7.根据权利要求6所述的基于机器视觉的草莓估计方法，其特征在于，提取第i张草莓果实图像中的M个尺寸参数时分别按照草莓果实图像边缘轮廓的最长尺寸和最宽尺寸构建矩形区域，通过在长度方向和宽度方向上分别等距离选择M/2个边缘轮廓间距作为输入变量。
8.根据权利要求6所述的基于机器视觉的草莓估计方法，其特征在于，在草莓自动采摘小车配置重量传感器，当预采摘目标草莓被所述草莓采摘机械手摘落后，通过所述重量传感器获取当前采摘草莓的真实重量m，并通过ei＝m-mi计算第i个重量预测子模块的预测误差ei，然后根据预测误差ei分别修正第i个重量预测子模块中的权重系数和偏置系数。
9.一种基于机器视觉的草莓远程采摘控制系统，其特征在于：包括智能终端和草莓自动采摘小车，所述草莓自动采摘小车上配置有第一图像采集设备、草莓采摘机械手以及第二图像采集设备，且所述第一图像采集设备、草莓采摘机械手以及第二图像采集设备均与控制器连接，所述控制器通过无线通信模块与所述智能终端建立远程通信，所述智能终端和所述控制器之间采用了权利要求1-8任一所述的基于机器视觉的草莓估计方法。
10.根据权利要求9所述的基于机器视觉的草莓远程采摘控制系统，其特征在于：所述草莓自动采摘小车上配置有草莓盛放篮，重量传感器，自动打包装置和自动计价装置；
采摘前，智能终端利用步骤S4所得的草莓的采摘单价以及步骤S5所得的草莓预测重量计算所选择的单颗草莓预估价格并显示在智能终端的显示界面供用户确认是否采摘；
用户确认采摘后，所述草莓采摘机械手将预采摘目标草莓采摘至草莓盛放篮，并通过所述重量传感器获得当前采摘草莓的真实重量，自动计价装置按照步骤S4所得的草莓的采摘单价和当前采摘草莓的真实重量计算当前采摘草莓的实际价格，并累积记录所有已采摘草莓的总费用；
用户通过智能终端给出结束采摘指令，所述自动打包装置将用户所采摘的草莓进行打包封装，由所述自动计价装置给出最终的计价标签和订单信息。
CN202210339517.8A 2022-04-01 2022-04-01 基于机器视觉的草莓估价方法及远程采摘控制系统 Pending CN114626895A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210339517.8A CN114626895A (zh) 2022-04-01 2022-04-01 基于机器视觉的草莓估价方法及远程采摘控制系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210339517.8A CN114626895A (zh) 2022-04-01 2022-04-01 基于机器视觉的草莓估价方法及远程采摘控制系统

Publications (1)

Publication Number Publication Date
CN114626895A true CN114626895A (zh) 2022-06-14

Family

ID=81905117

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210339517.8A Pending CN114626895A (zh) 2022-04-01 2022-04-01 基于机器视觉的草莓估价方法及远程采摘控制系统

Country Status (1)

Country Link
CN (1) CN114626895A (zh)

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101172274A (zh) * 2007-11-14 2008-05-07 天津市华核科技有限公司 一种枸杞子分级分选装置及其方法
CN106140648A (zh) * 2016-08-19 2016-11-23 南京农业大学 一种基于机器视觉的鸡胴体重量自动分级系统及分级方法
CN106372635A (zh) * 2016-08-24 2017-02-01 滁州学院 一种基于机器视觉的草莓外形品质判别方法
CN107481247A (zh) * 2017-07-27 2017-12-15 许文远 一种智慧农业用采摘机器人控制系统及方法
CN107561977A (zh) * 2017-08-17 2018-01-09 临沂大学 一种用于苹果品质智能化检测及分类的农业机械
CN108580311A (zh) * 2018-04-10 2018-09-28 滨州市沾化区冬枣实业总公司 一种冬枣采摘后分选装置
CN109002851A (zh) * 2018-07-06 2018-12-14 东北大学 一种基于图像多特征融合的水果分类方法及应用
CN109615635A (zh) * 2018-12-06 2019-04-12 厦门理工学院 基于图像识别对草莓进行品质分拣的方法及装置
CN109997516A (zh) * 2019-05-14 2019-07-12 厦门金镒号茶文化有限公司 一种智能采茶机器人及应用其采茶的方法
CN110038825A (zh) * 2019-05-21 2019-07-23 北京禾泽方圆智能科技有限公司 一种水产品自动分选包装装置
CN110841935A (zh) * 2019-11-08 2020-02-28 华南农业大学 一种基于机器视觉的活体鳗鱼重量分级分选方法及装置
CN111804560A (zh) * 2020-08-12 2020-10-23 青岛志坤食品机械设备有限公司 一种果实筛选机
US20210212257A1 (en) * 2019-01-30 2021-07-15 Shenzhen University Fruit and vegetable picking method and device based on machine vision and storage medium
CN113393421A (zh) * 2021-05-08 2021-09-14 深圳市识农智能科技有限公司 一种果实评估方法、装置和巡视设备
CN215270539U (zh) * 2021-03-17 2021-12-24 北京天地数联科技有限公司 自动化烟叶检测分级系统
CN113843810A (zh) * 2021-09-18 2021-12-28 郑州大学 基于机器视觉的类球形水果采摘机器人及其水果采摘方法
CN215952712U (zh) * 2021-08-31 2022-03-04 重庆市二圣茶业有限公司 一种茶叶收购智慧装置

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101172274A (zh) * 2007-11-14 2008-05-07 天津市华核科技有限公司 一种枸杞子分级分选装置及其方法
CN106140648A (zh) * 2016-08-19 2016-11-23 南京农业大学 一种基于机器视觉的鸡胴体重量自动分级系统及分级方法
CN106372635A (zh) * 2016-08-24 2017-02-01 滁州学院 一种基于机器视觉的草莓外形品质判别方法
CN107481247A (zh) * 2017-07-27 2017-12-15 许文远 一种智慧农业用采摘机器人控制系统及方法
CN107561977A (zh) * 2017-08-17 2018-01-09 临沂大学 一种用于苹果品质智能化检测及分类的农业机械
CN108580311A (zh) * 2018-04-10 2018-09-28 滨州市沾化区冬枣实业总公司 一种冬枣采摘后分选装置
CN109002851A (zh) * 2018-07-06 2018-12-14 东北大学 一种基于图像多特征融合的水果分类方法及应用
CN109615635A (zh) * 2018-12-06 2019-04-12 厦门理工学院 基于图像识别对草莓进行品质分拣的方法及装置
US20210212257A1 (en) * 2019-01-30 2021-07-15 Shenzhen University Fruit and vegetable picking method and device based on machine vision and storage medium
CN109997516A (zh) * 2019-05-14 2019-07-12 厦门金镒号茶文化有限公司 一种智能采茶机器人及应用其采茶的方法
CN110038825A (zh) * 2019-05-21 2019-07-23 北京禾泽方圆智能科技有限公司 一种水产品自动分选包装装置
CN110841935A (zh) * 2019-11-08 2020-02-28 华南农业大学 一种基于机器视觉的活体鳗鱼重量分级分选方法及装置
CN111804560A (zh) * 2020-08-12 2020-10-23 青岛志坤食品机械设备有限公司 一种果实筛选机
CN215270539U (zh) * 2021-03-17 2021-12-24 北京天地数联科技有限公司 自动化烟叶检测分级系统
CN113393421A (zh) * 2021-05-08 2021-09-14 深圳市识农智能科技有限公司 一种果实评估方法、装置和巡视设备
CN215952712U (zh) * 2021-08-31 2022-03-04 重庆市二圣茶业有限公司 一种茶叶收购智慧装置
CN113843810A (zh) * 2021-09-18 2021-12-28 郑州大学 基于机器视觉的类球形水果采摘机器人及其水果采摘方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
张青，等: "草莓重量和形状图像特征提取与在线分级方法" *
李鑫: "用于机器采摘的高架草莓识别与分级方法的研究" *

Similar Documents

Publication Publication Date Title
Altaheri et al. Date fruit dataset for intelligent harvesting
CN112136505B (zh) 一种基于视觉选择注意机制的水果采摘顺序规划方法
CN104346816B (zh) 一种深度确定方法、装置及电子设备
CN107316289A (zh) 基于深度学习和超像素分割的大田稻穗分割方法
Zhang et al. Economic evaluation of apple harvest and in-field sorting technology
CN107804514A (zh) 一种基于图像识别的牙刷分拣方法
CN111274877A (zh) 一种基于cnn的智能草莓采摘机器人控制系统
CN106483135A (zh) 基于机器视觉的复杂背景下玉米粒检测识别装置及方法
Sharma et al. Designing and implementing a smart transplanting framework using programmable logic controller and photoelectric sensor
CN102208099A (zh) 一种抗光照变化的作物彩色图像分割方法
CN111460903A (zh) 基于深度学习的田间西兰花长势监测系统及方法
CN114586546A (zh) 基于电子鼻与图像识别的草莓自动采摘装置及其控制方法
Olenskyj et al. End-to-end deep learning for directly estimating grape yield from ground-based imagery
Jin et al. Detection method for table grape ears and stems based on a far-close-range combined vision system and hand-eye-coordinated picking test
CN115719451A (zh) 一种软枣猕猴桃成熟度检测方法及系统
CN110060294A (zh) 一种果树作物的产量评估方法
CN116363505A (zh) 一种基于采摘机器人视觉系统的目标采摘方法
CN117152735A (zh) 一种基于改进yolov5s的番茄成熟度分级方法
Klein et al. Quantification of carbon sequestration in urban forests
Zhang et al. Non-invasive sensing techniques to phenotype multiple apple tree architectures
CN114626895A (zh) 基于机器视觉的草莓估价方法及远程采摘控制系统
Khekare et al. Internet of Things Based Best Fruit Segregation and Taxonomy System for Smart Agriculture
CN114266979A (zh) 茶树病虫害智能识别方法、装置、设备及存储介质
Feng et al. Fruit Location And Stem Detection Method For Strawbery Harvesting Robot
Quan et al. Selecting candidate regions of clustered tomato fruits under complex greenhouse scenes using RGB-D data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination