CN114586546A - 基于电子鼻与图像识别的草莓自动采摘装置及其控制方法 - Google Patents
基于电子鼻与图像识别的草莓自动采摘装置及其控制方法 Download PDFInfo
- Publication number
- CN114586546A CN114586546A CN202210257804.4A CN202210257804A CN114586546A CN 114586546 A CN114586546 A CN 114586546A CN 202210257804 A CN202210257804 A CN 202210257804A CN 114586546 A CN114586546 A CN 114586546A
- Authority
- CN
- China
- Prior art keywords
- picking
- strawberry
- automatic
- current
- electronic nose
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 235000016623 Fragaria vesca Nutrition 0.000 title claims abstract description 108
- 235000011363 Fragaria x ananassa Nutrition 0.000 title claims abstract description 108
- 238000000034 method Methods 0.000 title claims abstract description 16
- 240000009088 Fragaria x ananassa Species 0.000 title 1
- 241000220223 Fragaria Species 0.000 claims abstract description 136
- 235000021012 strawberries Nutrition 0.000 claims abstract description 28
- 238000005070 sampling Methods 0.000 claims description 27
- 238000003062 neural network model Methods 0.000 claims description 15
- 238000004140 cleaning Methods 0.000 claims description 14
- 239000000463 material Substances 0.000 claims description 11
- 238000005303 weighing Methods 0.000 claims description 9
- 230000000694 effects Effects 0.000 abstract description 2
- 239000007789 gas Substances 0.000 description 13
- 235000013399 edible fruits Nutrition 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 238000007664 blowing Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000010926 purge Methods 0.000 description 3
- -1 branches and leaves Substances 0.000 description 2
- 230000006378 damage Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 239000008369 fruit flavor Substances 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 239000012535 impurity Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000035484 reaction time Effects 0.000 description 2
- 239000002689 soil Substances 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 240000003173 Drymaria cordata Species 0.000 description 1
- 241000238413 Octopus Species 0.000 description 1
- 239000002253 acid Substances 0.000 description 1
- 150000007513 acids Chemical class 0.000 description 1
- 150000001298 alcohols Chemical class 0.000 description 1
- 150000001299 aldehydes Chemical class 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 150000002148 esters Chemical class 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000010977 jade Substances 0.000 description 1
- 150000002576 ketones Chemical class 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 235000016709 nutrition Nutrition 0.000 description 1
- 230000035764 nutrition Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 230000003014 reinforcing effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 235000019615 sensations Nutrition 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000007306 turnover Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01D—HARVESTING; MOWING
- A01D46/00—Picking of fruits, vegetables, hops, or the like; Devices for shaking trees or shrubs
- A01D46/30—Robotic devices for individually picking crops
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30181—Earth observation
- G06T2207/30188—Vegetation; Agriculture
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
- Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture
- Y02A40/25—Greenhouse technology, e.g. cooling systems therefor
Abstract
本发明提供一种基于电子鼻与图像识别的草莓自动采摘装置及其控制方法，装置包括移动小车，移动小车的前端设置有电子鼻模块，后端设置有图像采集模块和自动采摘机械手，车身上还设置有草莓盛放装置和控制模块；在控制模块上还配置有操控面板；电子鼻模块获取当前预采摘区域的气味信息并通过嗅觉识别确定草莓品种类型；操控面板显示当前草莓品种类型所对应的不同品质等级参数，用户选定当前采摘等级；图像采集模块获取当前预采摘区域的图像信息，并通过图像识别确定满足当前采摘等级的草莓位置；自动采摘机械手自动摘取对应草莓至草莓盛放装置。其效果是：能够根据不同草莓品种自适应调整不同品质等级参数，实用于多品种自动采摘，控制方便。
Description
技术领域
本发明涉及人工智能技术，具体涉及一种基于电子鼻与图像识别的草莓自动采摘装置及其控制方法。
背景技术
草莓因为其色泽艳丽，果香浓郁，营养丰富等特性深受消费者喜爱，目前也发展成旅游农业项目中的主打产品之一。随着人们对果实风味要求的不断提高，目前市面上已经培育出不同品质特性的新品种，例如“红颜”、“章姬”“白雪公主”、“京藏香”、“京桃香”、“红玉”等等，通过对草莓挥发性气体进行检测，发现不同品种的草莓挥发出的气体成分存在明显区别，主要体现为酯类、醇类、醛类、酮类和酸类等化合物的含量不同，而随着电子鼻技术的发展，基于电子鼻进行草莓品种识别也已经成为了可能，如中国专利202110307755.6所公开的一种基于特征香气的草莓果实香气类型划分的方法。
此外，由于草莓植株矮小，针对规模化种植来讲，草莓果实的采摘也成为了各个种植户的一大难题，传统的人工采摘成本高、效率低，许多研发人员也对草莓自动采摘设备进行了研发。如中国专利201910448970.0所公开的一种基于机器视觉的草莓采摘机器人，通过图像传感器判定草莓大小、成熟度以及位置从而实现自动采摘。
然而现有的草莓采摘机器人，往往都是通过预置的固定模型来判定草莓大小或成熟度，其成熟度往往也是通过草莓红色区域占比等手段予以实现，针对不同的品种，由于其果实尺寸以及颜色均有所不同，现有的草莓采摘机器人难以满足多品种自适应自动采摘需求。
发明内容
基于上述需求，本发明的首要目的在于提出一种基于电子鼻与图像识别的草莓自动采摘装置，包括移动小车，其关键在于：所述移动小车的前端设置有电子鼻模块，所述移动小车的后端设置有图像采集模块和自动采摘机械手，所述移动小车的车身上还设置有草莓盛放装置和控制模块；所述控制模块分别与所述电子鼻模块、所述图像采集模块和所述自动采摘机械手电性连接，在所述控制模块上还配置有操控面板；
所述电子鼻模块用于获取当前预采摘区域的气味信息，并通过所述控制模块预先训练的嗅觉识别神经网络模型确定草莓品种类型；
所述操控面板用于显示当前草莓品种类型所对应的不同品质等级参数，以及用于用户选定当前采摘等级；
所述图像采集模块用于获取当前预采摘区域的图像信息，并通过所述控制模块预先训练的图像识别神经网络模型确定满足当前采摘等级的草莓位置；
所述自动采摘机械手用于根据满足当前采摘等级的草莓位置自动摘取对应草莓至所述草莓盛放装置。
可选地，所述电子鼻模块包括气味采集罩、采样管道、清洗管道、采样腔、流量阀、吸气泵、排气管以及气体传感器阵列；所述气体传感器阵列设置有采样腔中，所述气味采集罩与所述采样管道相连，所述采样管道与所述清洗管道通过三通阀连接在所述采样腔的进气端，所述采样腔的出气端依次连接所述流量阀、吸气泵和所述排气管。
可选地，所述移动小车后端设置有横向滑轨，所述自动采摘机械手包括连接在所述横向滑轨上的第一连接臂，与第一连接臂转动连接的第二连接臂，与第二连接臂转动连接的第三连接臂，以及连接在第三连接臂上的采摘手。
可选地，所述草莓盛放装置包括设置在所述移动小车上的盛放槽，所述盛放槽的下端倾斜设置有溜料通道，所述溜料通道下方设置有称重台，在所述称重台上可拆卸放置有草莓盛放篮，所述草莓盛放篮与所述溜料通道的下料口相对设置。
可选地，所述溜料通道的下端垫设有缓冲垫。
可选地，所述图像采集模块倾斜设置在所述自动采摘机械手上，所述排气管与喷气嘴连接，所述喷气嘴朝向所述图像采集模块的采集镜头，所述控制模块中配置有镜头吹扫模式，在所述镜头吹扫模式下，所述吸气泵通过所述清洗管道吸取清洁空气，并通过所述喷气嘴吹扫所述图像采集模块的采集镜头。
可选地，所述移动小车为电动小车，在所述移动小车上配置有车载电源模块。
基于上述装置，本发明的另一目的还在于提供一种基于电子鼻与图像识别的草莓自动采摘装置的控制方法，其关键在于，包括以下步骤：
S1：启动入场采摘程序；
S2：控制模块控制电子鼻模块采集当前预采摘区域的气味信息，并通过控制模块预先训练的嗅觉识别神经网络模型确定草莓品种类型；
S3：控制模块根据当前草莓品种类型确定不同品质等级参数，并显示在操控面板上供用户选择；
S4：用户通过操控面板选定当前采摘等级；
S5：控制模块控制移动小车按预定步进行走，并通过图像采集模块获取当前预采摘区域的图像信息；
S6：通过控制模块预先训练的图像识别神经网络模型确定满足当前采摘等级的草莓位置；
S7:自动采摘机械手根据满足当前采摘等级的草莓位置自动摘取对应草莓至草莓盛放装置。
可选地，所述品质等级参数包括轮廓形状、尺寸大小以及颜色比例，且分为优、良、中、差4个等级。
可选地，所述草莓盛放装置中设置有称重台，所述控制模块根据用户选定当前采摘等级及重量需求确定计费价格，并控制所述自动采摘机械手的采摘数量。
本发明的效果是：
本发明通过对现有草莓自动采摘设备的结构和控制逻辑进行改进，系统配置不同品种的等级参数，通过电子鼻模块自动识别当前采摘区域的草莓品种，从而配置对应的控制参数，使得自动采摘机械手能够适应不同品种的草莓自动采摘，同时通过对草莓盛放装置的结构进行优化，能够有效实现定量采摘，操作更加方便。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。
图1为本发明提供的基于电子鼻与图像识别的草莓自动采摘装置的结构示意图；
图2为图1中自动采摘机械手释放草莓至草莓盛放篮的状态图；
图3为本发明提供的基于电子鼻与图像识别的草莓自动采摘装置的控制方法流程图；
图4为本发明具体实施例中图像识别模型所选用的部分尺寸参数示意图；
图5为本发明具体实施例中红颜草莓优等产品的图像示意图；
图6为本发明具体实施例中红颜草莓良等产品的图像示意图。
具体实施方式
下面将结合附图对本发明技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本发明的技术方案，因此只作为示例，而不能以此来限制本发明的保护范围。
需要注意的是，除非另有说明，本申请使用的技术术语或者科学术语应当为本发明所属领域技术人员所理解的通常意义。
如图1所示，本实施例提供一种基于电子鼻与图像识别的草莓自动采摘装置，包括移动小车1，所述移动小车1的前端设置有电子鼻模块2，所述移动小车1的后端设置有图像采集模块3和自动采摘机械手4，所述移动小车1的车身上还设置有草莓盛放装置5和控制模块6；所述控制模块6分别与所述电子鼻模块2、所述图像采集模块3和所述自动采摘机械手4电性连接，在所述控制模块6上还配置有操控面板；
所述电子鼻模块2用于获取当前预采摘区域的气味信息，并通过所述控制模块6预先训练的嗅觉识别神经网络模型确定草莓品种类型；
所述操控面板用于显示当前草莓品种类型所对应的不同品质等级参数，以及用于用户选定当前采摘等级；
所述图像采集模块3用于获取当前预采摘区域的图像信息，并通过所述控制模块6预先训练的图像识别神经网络模型确定满足当前采摘等级的草莓位置；
所述自动采摘机械手4用于根据满足当前采摘等级的草莓位置自动摘取对应草莓至所述草莓盛放装置5。
通过图1可以看出，所述电子鼻模块2包括气味采集罩21、采样管道22、清洗管道23、采样腔24、流量阀25、吸气泵26、排气管27以及气体传感器阵列28；所述气体传感器阵列28设置有采样腔24中，所述气味采集罩21与所述采样管道22相连，所述采样管道22与所述清洗管道23通过三通阀29连接在所述采样腔24的进气端，所述采样腔24的出气端依次连接所述流量阀25、吸气泵26和所述排气管27。
通过检测发现，草莓挥发性气体中主要成分如表1所示：
表1：草莓的挥发性气体汇总
不同草莓品种，其挥发气体中所含各成分的含量有所不同，控制模块6中配置有嗅觉识别神经网络模型，通过前期采集样本进行预先训练，使其满足嗅觉识别的精度要求。
具体实施时，气体传感器阵列28主要采用表2所列10种类型的传感器型号。
表2：不同气体传感器的敏感成分
系统根据现有的草莓品种建立多分类模型，训练样本和测试样本通过专家标定方式预先采集，电子鼻模块2工作时涉及到清洗状态和采样状态，清洗状态，三通阀29与清洗管道23接通，通过对流量阀25的控制，使得吸气泵26按220ml/min气体流速从清洗管道23吸入清新空气进入采样腔24中，清洗反应时间为40s，使得气体传感器阵列28维持清洁状态；采样状态，三通阀29与采样管道22接通，通过对流量阀25的控制，使得吸气泵26按180ml/min气体流速从气味采集罩21采集气体进入采样腔24，反应时间为60s，控制模块通过气体传感器阵列28获得感应信号；多余的气体从排气管27向外排出。
嗅觉识别神经网络模型可以采用基于决策树的随机森林模型，通过样本训练，能够决策出对应的样本类型，将预先训练好的模型导入控制模块6中，即可基于现场采集的气味信息实现草莓品种的识别。
从图1和图2可以看出，为了实现机械化自动采摘，所述移动小车1后端设置有横向滑轨11，所述自动采摘机械手4包括连接在所述横向滑轨11上的第一连接臂41，与第一连接臂41转动连接的第二连接臂42，与第二连接臂42转动连接的第三连接臂43，以及连接在第三连接臂43上的采摘手44。
移动小车1可以采用电动小车，在移动小车1上配置有车载电源模块7，通过车载电源模块7供电，使其可以在草莓畦田间纵向行走，第一连接臂41可以在横向滑轨11上横向滑动，满足自动采摘机械手4在草莓畦田上的横向移动；第二连接臂42在第一连接臂41的端部通过第一转动电机转动连接，第三连接臂43在第二连接臂42的端部通过第二转动电机转动连接，在第一转动电机和第二转动电机的带动下，使得采摘手44可以实现采摘位置的调整以及采摘后将水果自动放入草莓盛放装置5中。
如图2所示，所述草莓盛放装置5包括设置在所述移动小车1上的盛放槽51，所述盛放槽51的下端倾斜设置有溜料通道52，所述溜料通道52下方设置有称重台53，在所述称重台53上可拆卸放置有草莓盛放篮54，所述草莓盛放篮54与所述溜料通道52的下料口相对设置。在第一转动电机和第二转动电机的带动下，采摘手44采摘到草莓后可以翻转至盛放槽51的正上方，将采摘的草莓从溜料通道52溜入草莓盛放篮54中。为了减少对草莓的损伤，在所述溜料通道52的下端垫设有缓冲垫521。
将控制模块6与称重台53连接，可以实时采集当前采摘重量，系统可以预定义采摘需求，比如用户设定2kg，移动小车进入采摘区域后即可实现自动采摘，当草莓盛放篮54中已经采摘到2kg时，移动小车即可停止采摘并返回原位。为了便于草莓盛放篮54的安装和替换，在移动小车1的侧面开设有取货窗口，采摘前用户可以将草莓盛放篮54通过侧面的取货窗口放入，采摘完成后，用户可以将草莓盛放篮54通过侧面的取货窗口取出，操作非常方便。
为了防止采摘过程中图像采集镜头被泥土、枝叶、水珠等杂质污染，结合电子鼻模块2中吸气泵26的吹气功能，作为更优的实施例，所述图像采集模块3倾斜设置在所述自动采摘机械手4上，所述排气管27与喷气嘴8连接，所述喷气嘴8朝向所述图像采集模块3的采集镜头，所述控制模块6中配置有镜头吹扫模式，在所述镜头吹扫模式下，所述吸气泵26通过所述清洗管道23吸取清洁空气，并通过所述喷气嘴8吹扫所述图像采集模块3的采集镜头。
基于上述装置，本实施例还给出了一种基于电子鼻与图像识别的草莓自动采摘装置的控制方法，如图3所示，包括以下步骤：
S1：启动入场采摘程序；
S2：控制模块6控制电子鼻模块采集当前预采摘区域的气味信息，并通过控制模块6预先训练的嗅觉识别神经网络模型确定草莓品种类型；
S3：控制模块6根据当前草莓品种类型确定不同品质等级参数，并显示在操控面板上供用户选择；
S4：用户通过操控面板选定当前采摘等级；
S5：控制模块6控制移动小车按预定步进行走，并通过图像采集模块获取当前预采摘区域的图像信息；
S6：通过控制模块6预先训练的图像识别神经网络模型确定满足当前采摘等级的草莓位置；
S7:自动采摘机械手根据满足当前采摘等级的草莓位置自动摘取对应草莓至草莓盛放装置。
具体实施时，控制模块中预先配置有各自草莓品种的等级参数，品质等级参数通常包括轮廓形状、尺寸大小以及颜色比例，且分为优、良、中、差4个等级，如表3、表4所示:
表3红颜草莓品质等级参数表
表4章姬草莓品质等级参数表
通过表3和表4可以看出，不同品种类型的草莓由于果体轮廓形状、尺寸大小以及颜色比例等参数的不同，其产品定级的标准也有所差异，系统通过预先配置各种品种的定级标准，当利用电子鼻模块2的嗅觉识别出当前采摘区域对应的草莓品种时，操控面板的电子显示屏上即可自动显示出草莓的等级信息，用户可以通过控制按键选定当前采摘等级，同时还可以配置需要采摘的重量，使得移动小车1在草莓种植畦田上实现自动采摘，并控制自动采摘机械手的采摘数量，采摘完毕后，控制模块6还可以根据用户选定当前采摘等级及重量需求确定计费价格，从而实现便捷化智能销售，相对于传统人工入园采摘方式来说，减少了对草莓种植畦田的践踏，降低对草莓苗株的破坏，减少果实的认为耗散，增强种植园区的智能体验感。
在自动采摘过程中，涉及另一关键技术在于基于图像采集模块3的图像识别和目标定位技术，现有的图像处理技术可以基于图像采集模块3所采集的图像信息，通过图像分割和图像识别技术可以确定出目标草莓在图像中的位置，结合自动采摘机械手可以实现草莓的自动采摘。但是现有的系统大多仅仅简单的基于RGB颜色模型来判定草莓图像中红色区域所占比例，从而确定草莓情况，基于草莓的成熟情况确定草莓采摘目标，判定方式相对单一，难以满足不同品种不同等级的识别需求。
本发明在现有技术的基础上，通过对图像识别神经网络模型进行优化，在通过图像分割出草莓图像区域后，通过提取多种尺寸特征和颜色特征进行模型训练，使其能够实现多种品种多个品质等级的目标识别。
如图4-图6所示，特征提取时可以包括长度方向和宽度方向的多个尺寸特征，边缘轮廓所围合的图像面积大小，草莓图像区域RGB分量的均值和标准差等，结合不同品种不同等级的判定阈值，从而可以自动识别出当前目标是否满足当前的采摘等级，最终实现目标定位及自动采摘机械手4的自动采摘。
在特征提取时，图4中b表示草莓的长度，a1表示1/4长度位置的宽度，a2表示2/4长度位置的宽度，a3表示3/4长度位置的宽度,不同的轮廓形状在不同位置尺寸有所不同，结合图5和图6可以看出，通过在草莓图像的a、b两个方向上采用m*n网格式采样标记，可以有效的区分出草莓图像边缘轮廓特征，从而实现草莓的轮廓形状和尺寸大小的等级识别。
当电子鼻模块2中的排气管27与喷气嘴8连接时，在图像识别过程中，系统还可以配置异物检测功能，当图像采集模块3所采集的图像信息中连续多帧出现相同的目标物时，控制模块即可认定图像采集镜头被泥土、枝叶、水珠等杂质污染，将三通阀29与清洗管道23接通，流量阀25开度调至最大，吸气泵26从清洗管道23吸入清新空气，并通过喷气嘴8吹扫图像采集模块3的采集镜头，确保实时采集清晰图像。
综上可以看出，本发明提出的一种基于电子鼻与图像识别的草莓自动采摘装置及其控制方法，通过嗅觉识别与图像识别的结合，可以实现不同品种不同等级的自动识别与自动采摘，通过对采摘设备的优化和改进，控制更加方便，果实的盛放和提取也更加便捷，同时能方便的实现无人销售，充分实现智慧农业。
最后需要说明的是，以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，这样的变换均应涵盖在本发明的权利要求和说明书的范围当中。
Claims (10)
1.一种基于电子鼻与图像识别的草莓自动采摘装置，包括移动小车(1)，其特征在于：所述移动小车(1)的前端设置有电子鼻模块(2)，所述移动小车(1)的后端设置有图像采集模块(3)和自动采摘机械手(4)，所述移动小车(1)的车身上还设置有草莓盛放装置(5)和控制模块(6)；所述控制模块(6)分别与所述电子鼻模块(2)、所述图像采集模块(3)和所述自动采摘机械手(4)电性连接，在所述控制模块(6)上还配置有操控面板；
所述电子鼻模块(2)用于获取当前预采摘区域的气味信息，并通过所述控制模块(6)预先训练的嗅觉识别神经网络模型确定草莓品种类型；
所述操控面板用于显示当前草莓品种类型所对应的不同品质等级参数，以及用于用户选定当前采摘等级；
所述图像采集模块(3)用于获取当前预采摘区域的图像信息，并通过所述控制模块(6)预先训练的图像识别神经网络模型确定满足当前采摘等级的草莓位置；
所述自动采摘机械手(4)用于根据满足当前采摘等级的草莓位置自动摘取对应草莓至所述草莓盛放装置(5)。
2.根据权利要求1所述的基于电子鼻与图像识别的草莓自动采摘装置，其特征在于：所述电子鼻模块(2)包括气味采集罩(21)、采样管道(22)、清洗管道(23)、采样腔(24)、流量阀(25)、吸气泵(26)、排气管(27)以及气体传感器阵列(28)；所述气体传感器阵列(28)设置有采样腔(24)中，所述气味采集罩(21)与所述采样管道(22)相连，所述采样管道(22)与所述清洗管道(23)通过三通阀(29)连接在所述采样腔(24)的进气端，所述采样腔(24)的出气端依次连接所述流量阀(25)、吸气泵(26)和所述排气管(27)。
3.根据权利要求1所述的基于电子鼻与图像识别的草莓自动采摘装置，其特征在于：所述移动小车(1)后端设置有横向滑轨(11)，所述自动采摘机械手(4)包括连接在所述横向滑轨(11)上的第一连接臂(41)，与第一连接臂(41)转动连接的第二连接臂(42)，与第二连接臂(42)转动连接的第三连接臂(43)，以及连接在第三连接臂(43)上的采摘手(44)。
4.根据权利要求3所述的基于电子鼻与图像识别的草莓自动采摘装置，其特征在于：所述草莓盛放装置(5)包括设置在所述移动小车上的盛放槽(51)，所述盛放槽(51)的下端倾斜设置有溜料通道(52)，所述溜料通道(52)下方设置有称重台(53)，在所述称重台(53)上可拆卸放置有草莓盛放篮(54)，所述草莓盛放篮(54)与所述溜料通道(52)的下料口相对设置。
5.根据权利要求4所述的基于电子鼻与图像识别的草莓自动采摘装置，其特征在于：所述溜料通道(52)的下端垫设有缓冲垫(521)。
6.根据权利要求2所述的基于电子鼻与图像识别的草莓自动采摘装置，其特征在于：所述图像采集模块(3)倾斜设置在所述自动采摘机械手(4)上，所述排气管(27)与喷气嘴(8)连接，所述喷气嘴(8)朝向所述图像采集模块(3)的采集镜头，所述控制模块(6)中配置有镜头吹扫模式，在所述镜头吹扫模式下，所述吸气泵(26)通过所述清洗管道(23)吸取清洁空气，并通过所述喷气嘴(8)吹扫所述图像采集模块(3)的采集镜头。
7.根据权利要求1-6任一所述的基于电子鼻与图像识别的草莓自动采摘装置，其特征在于：所述移动小车(1)为电动小车，在所述移动小车(1)上配置有车载电源模块(7)。
8.如权利要求1-7任一所述的基于电子鼻与图像识别的草莓自动采摘装置的控制方法，其特征在于，包括以下步骤：
S1：启动入场采摘程序；
S2：控制模块(6)控制电子鼻模块采集当前预采摘区域的气味信息，并通过控制模块(6)预先训练的嗅觉识别神经网络模型确定草莓品种类型；
S3：控制模块(6)根据当前草莓品种类型确定不同品质等级参数，并显示在操控面板上供用户选择；
S4：用户通过操控面板选定当前采摘等级；
S5：控制模块(6)控制移动小车按预定步进行走，并通过图像采集模块获取当前预采摘区域的图像信息；
S6：通过控制模块(6)预先训练的图像识别神经网络模型确定满足当前采摘等级的草莓位置；
S7:自动采摘机械手根据满足当前采摘等级的草莓位置自动摘取对应草莓至草莓盛放装置。
9.根据权利要求8所述的基于电子鼻与图像识别的草莓自动采摘装置的控制方法，其特征在于：所述品质等级参数包括轮廓形状、尺寸大小以及颜色比例，且分为优、良、中、差4个等级。
10.根据权利要求8所述的基于电子鼻与图像识别的草莓自动采摘装置的控制方法，其特征在于：所述草莓盛放装置中设置有称重台，所述控制模块(6)根据用户选定当前采摘等级及重量需求确定计费价格，并控制所述自动采摘机械手的采摘数量。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210257804.4A CN114586546A (zh) | 2022-03-14 | 2022-03-14 | 基于电子鼻与图像识别的草莓自动采摘装置及其控制方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210257804.4A CN114586546A (zh) | 2022-03-14 | 2022-03-14 | 基于电子鼻与图像识别的草莓自动采摘装置及其控制方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114586546A true CN114586546A (zh) | 2022-06-07 |
Family
ID=81817040
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210257804.4A Pending CN114586546A (zh) | 2022-03-14 | 2022-03-14 | 基于电子鼻与图像识别的草莓自动采摘装置及其控制方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114586546A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116267226A (zh) * | 2023-05-16 | 2023-06-23 | 四川省农业机械研究设计院 | 一种基于机器视觉智能识别成熟度的桑葚采摘方法与装置 |
| CN116577473A (zh) * | 2023-07-14 | 2023-08-11 | 北京市农林科学院 | 一种草莓机械损伤发生时间的检测方法及装置 |
| CN116784103A (zh) * | 2023-07-26 | 2023-09-22 | 广东海洋大学 | 一种基于智能wifi控制的水果采摘及检测装置 |
Citations (30)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR895328A (fr) * | 1943-02-01 | 1945-01-22 | Cueille-fruits | |
| KR20000060509A (ko) * | 1999-03-16 | 2000-10-16 | 김희용 | 과일의 색상 및 외형상태 선별방법 |
| JP2008022737A (ja) * | 2006-07-19 | 2008-02-07 | Kochi Univ Of Technology | 収穫ロボット |
| USH2215H1 (en) * | 2004-03-29 | 2008-04-01 | The United States Of America As Represented By The Secretary Of The Air Force | Odor discrimination using binary spiking neural network |
| WO2008037035A1 (en) * | 2006-09-28 | 2008-04-03 | Katholieke Universiteit Leuven | Autonomous fruit picking machine |
| CN101487825A (zh) * | 2009-03-03 | 2009-07-22 | 中国农业大学 | 一种识别茶叶种类和/或等级的方法 |
| CN102944585A (zh) * | 2012-12-07 | 2013-02-27 | 南京农业大学 | 一种气味传感器检测水果采后病害的方法 |
| CN103399045A (zh) * | 2013-08-09 | 2013-11-20 | 中国农业科学院农产品加工研究所 | 一种辅助鉴别猕猴桃产地的方法 |
| CN203526142U (zh) * | 2013-09-29 | 2014-04-09 | 苏州华兴致远电子科技有限公司 | 列车图像采集系统及其相机除尘装置 |
| CN105092528A (zh) * | 2015-07-30 | 2015-11-25 | 浙江工商大学 | 一种通过理化指标和电子鼻技术鉴别蜂蜜品质的方法 |
| CN106127259A (zh) * | 2016-07-04 | 2016-11-16 | 西南大学 | 基于可分离度和相异度的电子鼻信号特征融合方法 |
| CN106372635A (zh) * | 2016-08-24 | 2017-02-01 | 滁州学院 | 一种基于机器视觉的草莓外形品质判别方法 |
| CN107960205A (zh) * | 2017-12-13 | 2018-04-27 | 合肥学院 | 一种新型草莓采摘机器人 |
| CN108469455A (zh) * | 2017-02-23 | 2018-08-31 | 南京农业大学 | 一种用于草莓新鲜度判别的便携式电子鼻系统的设计及方法 |
| CN108575318A (zh) * | 2018-04-20 | 2018-09-28 | 长安大学 | 一种基于柔性机械手的草莓自动采摘装置及方法 |
| CN109220226A (zh) * | 2018-10-31 | 2019-01-18 | 哈尔滨理工大学 | 果实自动识别分类及采摘的果园智能化系统 |
| CN109292087A (zh) * | 2018-08-29 | 2019-02-01 | 西北工业大学 | 一种室外监控摄像机用无人机清洁系统及其操控方法 |
| CN109615635A (zh) * | 2018-12-06 | 2019-04-12 | 厦门理工学院 | 基于图像识别对草莓进行品质分拣的方法及装置 |
| CN209035009U (zh) * | 2018-10-10 | 2019-06-28 | 首钢京唐钢铁联合有限责任公司 | 一种用于热轧表检仪的吹气装置 |
| CN110122073A (zh) * | 2019-05-28 | 2019-08-16 | 江苏大学 | 一种基于机器视觉的草莓采摘机器人 |
| CN211322100U (zh) * | 2019-05-14 | 2020-08-25 | 厦门金镒号茶文化有限公司 | 一种智能采茶机器人 |
| CN111602518A (zh) * | 2020-06-08 | 2020-09-01 | 湖北三峡职业技术学院 | 全自动垄作式草莓采摘机器人及使用方法 |
| CN112136505A (zh) * | 2020-09-07 | 2020-12-29 | 华南农业大学 | 一种基于视觉选择注意机制的水果采摘顺序规划方法 |
| CN212363294U (zh) * | 2020-07-07 | 2021-01-15 | 筠连县美强茶业有限公司 | 茶叶质量等级分类用的智能检测分类装置 |
| CN113009044A (zh) * | 2021-03-23 | 2021-06-22 | 扬州大学 | 一种基于特征香气的草莓果实香气类型划分的方法 |
| US20210212257A1 (en) * | 2019-01-30 | 2021-07-15 | Shenzhen University | Fruit and vegetable picking method and device based on machine vision and storage medium |
| CN113295690A (zh) * | 2021-05-17 | 2021-08-24 | 福州大学 | 基于机器学习的草莓成熟度快速判别方法 |
| WO2021226900A1 (zh) * | 2020-05-14 | 2021-11-18 | 安徽中科智能感知产业技术研究院有限责任公司 | 一种基于计算机视觉的棉花作物行检测方法、装置及存储介质 |
| WO2022009893A1 (ja) * | 2020-07-07 | 2022-01-13 | Ａｓｓｅｓｔ株式会社 | 果物品質推定プログラム及びシステム |
| CN114145134A (zh) * | 2021-11-30 | 2022-03-08 | 黄晟圃 | 草莓采摘整理一体机及其采摘整理方法 |
-
2022
- 2022-03-14 CN CN202210257804.4A patent/CN114586546A/zh active Pending
Patent Citations (30)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR895328A (fr) * | 1943-02-01 | 1945-01-22 | Cueille-fruits | |
| KR20000060509A (ko) * | 1999-03-16 | 2000-10-16 | 김희용 | 과일의 색상 및 외형상태 선별방법 |
| USH2215H1 (en) * | 2004-03-29 | 2008-04-01 | The United States Of America As Represented By The Secretary Of The Air Force | Odor discrimination using binary spiking neural network |
| JP2008022737A (ja) * | 2006-07-19 | 2008-02-07 | Kochi Univ Of Technology | 収穫ロボット |
| WO2008037035A1 (en) * | 2006-09-28 | 2008-04-03 | Katholieke Universiteit Leuven | Autonomous fruit picking machine |
| CN101487825A (zh) * | 2009-03-03 | 2009-07-22 | 中国农业大学 | 一种识别茶叶种类和/或等级的方法 |
| CN102944585A (zh) * | 2012-12-07 | 2013-02-27 | 南京农业大学 | 一种气味传感器检测水果采后病害的方法 |
| CN103399045A (zh) * | 2013-08-09 | 2013-11-20 | 中国农业科学院农产品加工研究所 | 一种辅助鉴别猕猴桃产地的方法 |
| CN203526142U (zh) * | 2013-09-29 | 2014-04-09 | 苏州华兴致远电子科技有限公司 | 列车图像采集系统及其相机除尘装置 |
| CN105092528A (zh) * | 2015-07-30 | 2015-11-25 | 浙江工商大学 | 一种通过理化指标和电子鼻技术鉴别蜂蜜品质的方法 |
| CN106127259A (zh) * | 2016-07-04 | 2016-11-16 | 西南大学 | 基于可分离度和相异度的电子鼻信号特征融合方法 |
| CN106372635A (zh) * | 2016-08-24 | 2017-02-01 | 滁州学院 | 一种基于机器视觉的草莓外形品质判别方法 |
| CN108469455A (zh) * | 2017-02-23 | 2018-08-31 | 南京农业大学 | 一种用于草莓新鲜度判别的便携式电子鼻系统的设计及方法 |
| CN107960205A (zh) * | 2017-12-13 | 2018-04-27 | 合肥学院 | 一种新型草莓采摘机器人 |
| CN108575318A (zh) * | 2018-04-20 | 2018-09-28 | 长安大学 | 一种基于柔性机械手的草莓自动采摘装置及方法 |
| CN109292087A (zh) * | 2018-08-29 | 2019-02-01 | 西北工业大学 | 一种室外监控摄像机用无人机清洁系统及其操控方法 |
| CN209035009U (zh) * | 2018-10-10 | 2019-06-28 | 首钢京唐钢铁联合有限责任公司 | 一种用于热轧表检仪的吹气装置 |
| CN109220226A (zh) * | 2018-10-31 | 2019-01-18 | 哈尔滨理工大学 | 果实自动识别分类及采摘的果园智能化系统 |
| CN109615635A (zh) * | 2018-12-06 | 2019-04-12 | 厦门理工学院 | 基于图像识别对草莓进行品质分拣的方法及装置 |
| US20210212257A1 (en) * | 2019-01-30 | 2021-07-15 | Shenzhen University | Fruit and vegetable picking method and device based on machine vision and storage medium |
| CN211322100U (zh) * | 2019-05-14 | 2020-08-25 | 厦门金镒号茶文化有限公司 | 一种智能采茶机器人 |
| CN110122073A (zh) * | 2019-05-28 | 2019-08-16 | 江苏大学 | 一种基于机器视觉的草莓采摘机器人 |
| WO2021226900A1 (zh) * | 2020-05-14 | 2021-11-18 | 安徽中科智能感知产业技术研究院有限责任公司 | 一种基于计算机视觉的棉花作物行检测方法、装置及存储介质 |
| CN111602518A (zh) * | 2020-06-08 | 2020-09-01 | 湖北三峡职业技术学院 | 全自动垄作式草莓采摘机器人及使用方法 |
| CN212363294U (zh) * | 2020-07-07 | 2021-01-15 | 筠连县美强茶业有限公司 | 茶叶质量等级分类用的智能检测分类装置 |
| WO2022009893A1 (ja) * | 2020-07-07 | 2022-01-13 | Ａｓｓｅｓｔ株式会社 | 果物品質推定プログラム及びシステム |
| CN112136505A (zh) * | 2020-09-07 | 2020-12-29 | 华南农业大学 | 一种基于视觉选择注意机制的水果采摘顺序规划方法 |
| CN113009044A (zh) * | 2021-03-23 | 2021-06-22 | 扬州大学 | 一种基于特征香气的草莓果实香气类型划分的方法 |
| CN113295690A (zh) * | 2021-05-17 | 2021-08-24 | 福州大学 | 基于机器学习的草莓成熟度快速判别方法 |
| CN114145134A (zh) * | 2021-11-30 | 2022-03-08 | 黄晟圃 | 草莓采摘整理一体机及其采摘整理方法 |
Non-Patent Citations (8)
| Title |
|---|
| 付磊等: "不同品种草莓的特征香气成分", 《食品工业》 * |
| 周厚成: "《草莓标准化生产技术》", 31 January 2008, 金盾出版社 * |
| 唐会周: "电子鼻在水果品质评价体系中应用的研究进展", 《包装与食品机械》 * |
| 张正武等: "基于电子鼻技术的陇南花椒品种区分", 《经济林研究》 * |
| 徐赛等: "基于特征融合与冗余剔除的普洱茶种类电子鼻识别方法", 《江苏农业科学》 * |
| 林铠: "基于径向基神经网络的电子鼻水果分类设备", 《信息记录材料》 * |
| 潘玉成等: "电子鼻技术及其在茶叶中的应用研究", 《食品与机械》 * |
| 王永华等, 中国轻工业出版社 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116267226A (zh) * | 2023-05-16 | 2023-06-23 | 四川省农业机械研究设计院 | 一种基于机器视觉智能识别成熟度的桑葚采摘方法与装置 |
| CN116577473A (zh) * | 2023-07-14 | 2023-08-11 | 北京市农林科学院 | 一种草莓机械损伤发生时间的检测方法及装置 |
| CN116577473B (zh) * | 2023-07-14 | 2023-11-17 | 北京市农林科学院 | 一种草莓机械损伤发生时间的检测方法及装置 |
| CN116784103A (zh) * | 2023-07-26 | 2023-09-22 | 广东海洋大学 | 一种基于智能wifi控制的水果采摘及检测装置 |
| CN116784103B (zh) * | 2023-07-26 | 2024-03-01 | 广东海洋大学 | 一种基于智能wifi控制的水果采摘及检测装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114586546A (zh) | 基于电子鼻与图像识别的草莓自动采摘装置及其控制方法 | |
| EP3731617B1 (en) | Apparatus and method for improving the yield of grass and clover harvested from an agricultural field | |
| RU2720867C2 (ru) | Мониторинг качества зерна | |
| US11134617B2 (en) | Self-guided blossom picking device | |
| US9468152B1 (en) | Plant pruning and husbandry | |
| CN112197819A (zh) | 一种基于生产基地的植物生长精准控制方法 | |
| CN106768081B (zh) | 一种判断果蔬生长状态的方法及系统 | |
| CN109029588A (zh) | 一种基于气候影响的农作物长势预测方法 | |
| CN102564593A (zh) | 基于计算机视觉及物联网的植物生长状况监测系统 | |
| CN106768066A (zh) | 一种种植大棚智能监测系统及方法 | |
| CN106971409B (zh) | 玉米冠层叶色建模系统及方法 | |
| CN114868504A (zh) | 一种园林植物的生长状态监测方法及装置 | |
| CN104704990A (zh) | 一种石榴树电子化自动采摘方法 | |
| CN113994885A (zh) | 一种杂交玉米制种节本去杂去雄保纯的方法 | |
| JP3093486B2 (ja) | 植物良否判別制御装置およびその良否判別のための面積集計方法 | |
| KR20190130208A (ko) | 수분로봇 | |
| Arima et al. | Traceability based on multi-operation robot; information from spraying, harvesting and grading operation robot | |
| CN104732550B (zh) | 石榴树电子化自动采摘平台 | |
| CN207135689U (zh) | 一种智能套袋的机器人系统 | |
| CN110239719A (zh) | 无人机精确播种系统及方法 | |
| Kitamura et al. | Development of picking robot in greenhouse horticulture | |
| CN205124373U (zh) | 气吸式红枣收获机 | |
| Blasco et al. | Advances in automated in-field grading of harvested crops | |
| CN113940263B (zh) | 一种用于植物生产的照护装置 | |
| CN113348871B (zh) | 可升降式旋转摘锭平台 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20220607 |