CN114354508A - 一种智慧农业植物保障系统 - Google Patents
一种智慧农业植物保障系统 Download PDFInfo
- Publication number
- CN114354508A CN114354508A CN202111677164.4A CN202111677164A CN114354508A CN 114354508 A CN114354508 A CN 114354508A CN 202111677164 A CN202111677164 A CN 202111677164A CN 114354508 A CN114354508 A CN 114354508A
- Authority
- CN
- China
- Prior art keywords
- fruit
- agricultural plant
- quality
- fruits
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 235000013399 edible fruits Nutrition 0.000 claims abstract description 106
- 238000001514 detection method Methods 0.000 claims abstract description 14
- 238000000691 measurement method Methods 0.000 claims abstract description 13
- 230000003595 spectral effect Effects 0.000 claims abstract description 7
- 238000007500 overflow downdraw method Methods 0.000 claims abstract description 4
- 238000013441 quality evaluation Methods 0.000 claims abstract description 4
- 230000007547 defect Effects 0.000 claims description 18
- 238000005259 measurement Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 10
- 238000013135 deep learning Methods 0.000 claims description 9
- 238000005303 weighing Methods 0.000 claims description 3
- 238000000034 method Methods 0.000 abstract description 28
- 230000004927 fusion Effects 0.000 abstract description 15
- 230000008569 process Effects 0.000 abstract description 8
- 230000009286 beneficial effect Effects 0.000 abstract description 3
- 230000019771 cognition Effects 0.000 abstract description 3
- 241000196324 Embryophyta Species 0.000 description 11
- 238000005516 engineering process Methods 0.000 description 10
- 238000001228 spectrum Methods 0.000 description 7
- 238000013527 convolutional neural network Methods 0.000 description 5
- 241000227653 Lycopersicon Species 0.000 description 4
- 235000007688 Lycopersicon esculentum Nutrition 0.000 description 4
- 241000220225 Malus Species 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 240000006053 Garcinia mangostana Species 0.000 description 2
- 235000017048 Garcinia mangostana Nutrition 0.000 description 2
- 235000021016 apples Nutrition 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000000411 transmission spectrum Methods 0.000 description 2
- 241000169546 Lycium ruthenicum Species 0.000 description 1
- 238000004497 NIR spectroscopy Methods 0.000 description 1
- 241000220324 Pyrus Species 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 229930002877 anthocyanin Natural products 0.000 description 1
- 235000010208 anthocyanin Nutrition 0.000 description 1
- 239000004410 anthocyanin Substances 0.000 description 1
- 150000004636 anthocyanins Chemical class 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000000701 chemical imaging Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 229930003935 flavonoid Natural products 0.000 description 1
- 150000002215 flavonoids Chemical class 0.000 description 1
- 235000017173 flavonoids Nutrition 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 239000002932 luster Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012067 mathematical method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 210000001331 nose Anatomy 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 235000015097 nutrients Nutrition 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 235000021017 pears Nutrition 0.000 description 1
- 150000002989 phenols Chemical class 0.000 description 1
- 239000000843 powder Substances 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000000611 regression analysis Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 239000002344 surface layer Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Landscapes
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
Abstract
本发明公开一种智慧农业植物保障系统，属于领域，系统包括：获取水果物理属性数据：利用多模态测量工具，获取水果的物理属性数据；获取水果品质性状数据：利用光谱测量方法，获取水果品质性状数据；水果品质评估：根据所述水果物理属性数据和所述水果品质性状数据，采用信息融合方法，综合评定得到水果品质。本发明的有益效果是：利用了多模态信息融合具有信息量大、容错性好以及与人类认知过程相似的优点，并对数据进行处理，与对应特征进行关联。此方法不仅能够提高水果单一品质指标的检测能力，而且可进行水果多品质指标同时检测，实现水果综合品质的分级分选。
Description
技术领域
本发明涉及水果品质检测领域，尤其涉及一种智慧农业植物保障系统。
背景技术
水果外部品质检测的重要研究内容之一是外部缺陷检测。Costa等建立了一个包含外部缺陷番茄的43843幅图像的数据集，提出了一种用于番茄外部缺陷检测的深层神经网络模型。Luna等也研究了番茄的外观缺陷问题，他们基于深度学习，利用Python中的OpenCV库进行编程，对外部品质有问题的番茄进行了识别。Azizah等采用深度学习CNN模型检测了山竹的表面缺陷，采用CNN结合四次交叉验证的方法解决了二值分类问题。该方法对山竹缺陷表面检测的分类准确率可达97.5％。由已发表的文献可知，水果的外部缺陷检测主要集中在机械损伤和外观缺陷参数两方面。对于水果外观缺陷检测一般RGB图像可以反映，而机械损伤早期水果外观不明显，其检测常利用光谱图像。
水果的内部品质主要取决于它们的可溶性固形物含量、硬度、糖度、成熟度等营养元素含量，对水果的经济价值影响较大，是人们十分关注的问题。Yu等结合深度学习与Vis/NIR高光谱反射成像技术，预测了库尔勒香梨采后硬度和可溶性固形物(SSC)含量。Bai等建立了多产地苹果中SSC的预测模型，该模型将深度学习、光谱指纹特征、多元回归分析等方法相结合，能够消除不同产地的苹果造成的预测偏差。Zhang等采用近红外高光谱成像技术测定了干燥黑枸杞中的总酚、总黄酮和总花色苷，使用卷积神经网络预测其化学成分。Lashgari等将深度学习技术与声音传感技术相结合，将苹果反馈的声音转换为图像，通过探究果实内部粉状物的含量，预测出了苹果的成熟度与健康程度。
有时利用单一手段检测水果某一品质指标时，由于信息缺失，准确度不高，国内外学者尝试利用多种传感器提取水果的不同信息，多个传感器之间相互补充对方缺少的信息，提高其准确性。Dull首次提出使用多个信息源决定水果质量。Fildes等提出了融合技术的重要意义。Steinmetz等总结了一套传感器信息融合应用于水果品质分级的方法论。国内外学者将机器视觉、近红外光谱、电子鼻以及高光谱等多种传感技术进行信息融合，用于水果单一品质或综合品质的检测。
发明内容
本发明的目的在于克服上述技术不足，提供一种智慧农业植物保障系统，解决现在技术水果品质检测方法单一、无法全面细致对水果品质进行检测与分级的问题。
为达到上述技术目的，本发明的技术方案提供一种智慧农业植物保障系统，该方法基于多模态传感器融合，使得对于水果的品质检测鉴定有了更加明确标准，能够从数据角度科学严谨的对水果进行分级。
本发明提供的一种智慧农业植物保障系统，具体包括以下模块：
水果物理属性数据获取模块：利用多模态测量方法，获取水果的物理属性数据；
水果品质性状数据获取模块：利用光谱测量方法，获取水果品质性状数据；
水果品质评估模块：根据所述水果物理属性数据和所述水果品质性状数据，采用信息融合方法，综合评定得到水果品质。
进一步地，所述多模态测量方法，包括：尺寸测量、称重测量和图像测量。
进一步地，所述图像测量，具体指采用基于深度学习CNN模型的水果表面缺陷检测方法，获取水果色泽、水果表面缺陷位置及缺陷程度。
进一步地，所述水果的物理属性数据，包括：体积、重量、外观缺陷和色泽。
进一步地，所述光谱测量方法，具体值，采用反射、半透射和全投射3种方式对水果进行检测。
进一步地，所述水果品质性状数据，包括：糖度、酸度、水分、果肉占比和皮厚程度。
本发明还提供了一种计算机设备，其包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述智慧农业植物保障系统的模块。
本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述智慧农业植物保障系统的模块。
与现有技术相比，本发明的有益效果包括：利用了多模态信息融合具有信息量大、容错性好以及与人类认知过程相似的优点，并对数据进行处理，与对应特征进行关联。此方法不仅能够提高水果单一品质指标的检测能力，而且可进行水果多品质指标同时检测，实现水果综合品质的分级分选。
附图说明
图1是本发明提供的智慧农业植物保障系统的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明提供了一种智慧农业植物保障系统。请参考图1，该系统包括以下模块：
水果物理属性数据获取模块：利用多模态测量方法，获取水果的物理属性数据；
所述多模态测量方法，包括：尺寸测量、称重测量和图像测量。
作为一种实施例，对于一些水果常见的物理属性，可直接实用传感器或者相应的测量工具自动进行测量；
在本发明实施例中，所述水果的物理属性数据，包括：体积、重量、外观缺陷和色泽。在一些其它实施例中，也可包括其它物理特征，比如形状等。
作为一种实施例，本发明利用图像测量方法，对水果的外观、色泽等物理特征进行检测。具体的说，本发明将彩色摄像机等光学传感器得到的图像数据通过图像数据进行处理，使用深度学习方法将图像中的特征进行提取，把图像数据转变为能够体现水果外观、色泽的数值数据。
所述图像测量，具体指采用基于深度学习CNN模型的水果表面缺陷检测方法，获取水果色泽、水果表面缺陷位置及缺陷程度。
作为一种实施例，在本发明中利用图像测量方法时，为增强特征识别模型的鲁棒性，使用数据扩增技术让有限的数据集产生更多的数据，增加训练样本的数量，使模型能够更加精准的从图像中提取对应水果的特征信息。通过随机对训练集进行更改来降低模型对某些属性的依赖，提高模型泛化能力。具体方案包括使用传统图像处理方法对数据集图像进行调整，使用GAN方法对抗生成新的数据图像。
水果品质性状数据获取模块：利用光谱测量方法，获取水果品质性状数据；作为一种实施例，所述水果品质性状数据，包括：糖度、酸度、水分、果肉占比和皮厚程度。作为其它实施例，还可包括其它水果品质形状数据，比如水果的坚硬程度等。
作为一种实施例，在本发明中，为获取水果内部品质信息，需要在不损伤果实的条件下获取水果内部品质信息，采用光谱检测方法实现。光谱技术主要是以反射、半透射和全透射3种方式经过水果并携带水果品质相关信息从而对水果品质进行检测，其中，反射光谱是光照射在水果表面反射回来的光谱信号，主要关注的是水果表层约1cm以内的特征信息；全透射光谱是光穿透水果一端后从另一端射出的光谱信号，可携带丰富全面的水果内部品质信息；半透射光谱是将光穿透水果赤道位置后从底部射出，从而携带水果局部品质信息，达到减少光谱信号透过水果造成衰减的目的。
水果品质评估模块：根据所述水果物理属性数据和所述水果品质性状数据，采用信息融合方法，综合评定得到水果品质。
作为一种实施例，在本发明中，当水果的物理属性数据和品质性状数据等能够表现水果等级的信息被提取出来后，就需要进一步对水果等级进行评定。对于综合评定的方法，本发明应用了多信息融合技术，包含多传感器信息融合与属性融合判决。
多传感器信息融合的基本原理类似于人脑综合处理复杂问题的功能。
它是利用多个传感器资源获取检测目标的不同信息，然后把来自多个传感器的信息和数据按照一定的综合方法进行处理，通过对多个传感器测量值的综合算法处理，将多传感器的相互补充的信息或冗余的信息根据某种优化方法组合起来，因此得到的结果是在多个传感器检测出的信息的基础上的更深入、更全面的综合决策。采用多传感器信息融合技术能同时获取表征水果品质的多种不同信息，对来自多个传感器的信息进行多方面、多层次、多级别的处理，利用特征提取、模式识别和决策准则等方法得到融合模型，融合多源信息后能够实现更加准确的识别与判断。
属性融合判决主要应用于综合水果的多种不同品质数据，对该水果品质综合考量评估。由于水果等级与其特征之间很难用数学的方法精确表达，传统方法难以进行判别，因此本发明采用BP神经网络，将水果的等级与特征之间的关系通过网络连接权得到的网络连接输入、输出之间的非线性映射来得到。BP神经网络算法依据可靠、精度较高、有比较良好的通用性，训练得到的信息融合神经网络分类器在果品分级测试上也有比较理想的效果。
实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
本发明还提供了一种计算机设备，其包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述智慧农业植物保障系统的模块，在此不再赘述。
本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述智慧农业植物保障系统的模块，在此不再赘述。
本发明的有益效果是：利用了多模态信息融合具有信息量大、容错性好以及与人类认知过程相似的优点，并对数据进行处理，与对应特征进行关联。此方法不仅能够提高水果单一品质指标的检测能力，而且可进行水果多品质指标同时检测，实现水果综合品质的分级分选。
以上所述本发明的具体实施方式，并不构成对本发明保护范围的限定。任何根据本发明的技术构思所做出的各种其他相应的改变与变形，均应包含在本发明权利要求的保护范围内。
Claims (8)
1.一种智慧农业植物保障系统，其特征在于：包括以下模块：
水果物理属性数据获取模块：利用多模态测量方法，获取水果的物理属性数据；
水果品质性状数据获取模块：利用光谱测量方法，获取水果品质性状数据；
水果品质评估模块：根据所述水果物理属性数据和所述水果品质性状数据，采用信息融合方法，综合评定得到水果品质。
2.如权利要求1所述的一种智慧农业植物保障系统，其特征在于：所述多模态测量方法，包括：尺寸测量、称重测量和图像测量。
3.如权利要求1所述的一种智慧农业植物保障系统，其特征在于所述多模态测量方法中的图像测量，具体指采用基于深度学习CNN模型的水果表面缺陷检测方法，获取水果色泽、水果表面缺陷位置及缺陷程度。
4.如权利要求1所述的一种智慧农业植物保障系统，其特征在于：所述水果的物理属性数据，包括：体积、重量、外观缺陷和色泽。
5.如权利要求1所述的一种智慧农业植物保障系统，其特征在于：所述光谱测量方法，具体指，采用反射、半透射和全投射3种方式对水果进行检测。
6.如权利要求1所述的一种智慧农业植物保障系统，其特征在于：所述水果品质性状数据，包括：糖度、酸度、水分、果肉占比和果皮厚度。
7.一种计算机设备，其特征在于，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述智慧农业植物保障系统的模块。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述智慧农业植物保障系统的模块。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111677164.4A CN114354508A (zh) | 2021-12-31 | 2021-12-31 | 一种智慧农业植物保障系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111677164.4A CN114354508A (zh) | 2021-12-31 | 2021-12-31 | 一种智慧农业植物保障系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114354508A true CN114354508A (zh) | 2022-04-15 |
Family
ID=81106141
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111677164.4A Pending CN114354508A (zh) | 2021-12-31 | 2021-12-31 | 一种智慧农业植物保障系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114354508A (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101949686A (zh) * | 2010-08-02 | 2011-01-19 | 扬州福尔喜果蔬汁机械有限公司 | 水果内外综合品质在线无损检测方法及装置 |
| CN103439270A (zh) * | 2013-09-11 | 2013-12-11 | 南京农业大学 | 一种高光谱图像检测桃果实冷害的装置和方法 |
| CN104215637A (zh) * | 2013-05-30 | 2014-12-17 | 天津美时资讯科技有限公司 | 荔枝可溶性固形物检测装置 |
| CN105067531A (zh) * | 2014-12-31 | 2015-11-18 | 广西师范学院 | 一种芒果品质无损检测方法及装置 |
| CN108318494A (zh) * | 2018-05-15 | 2018-07-24 | 华中农业大学 | 红提果粉的在线视觉检测分级装置及其方法 |
| CN109813378A (zh) * | 2019-04-04 | 2019-05-28 | 浙江大学 | 水果内部品质无损在线检测及喷气式自动贴膜装置 |
| CN112691939A (zh) * | 2020-12-21 | 2021-04-23 | 中国农业大学 | 果蔬品质智能感知分拣机器人系统 |
-
2021
- 2021-12-31 CN CN202111677164.4A patent/CN114354508A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101949686A (zh) * | 2010-08-02 | 2011-01-19 | 扬州福尔喜果蔬汁机械有限公司 | 水果内外综合品质在线无损检测方法及装置 |
| CN104215637A (zh) * | 2013-05-30 | 2014-12-17 | 天津美时资讯科技有限公司 | 荔枝可溶性固形物检测装置 |
| CN103439270A (zh) * | 2013-09-11 | 2013-12-11 | 南京农业大学 | 一种高光谱图像检测桃果实冷害的装置和方法 |
| CN105067531A (zh) * | 2014-12-31 | 2015-11-18 | 广西师范学院 | 一种芒果品质无损检测方法及装置 |
| CN108318494A (zh) * | 2018-05-15 | 2018-07-24 | 华中农业大学 | 红提果粉的在线视觉检测分级装置及其方法 |
| CN109813378A (zh) * | 2019-04-04 | 2019-05-28 | 浙江大学 | 水果内部品质无损在线检测及喷气式自动贴膜装置 |
| CN112691939A (zh) * | 2020-12-21 | 2021-04-23 | 中国农业大学 | 果蔬品质智能感知分拣机器人系统 |
Non-Patent Citations (1)
| Title |
|---|
| 李江波等: "图谱分析技术在农产品质量和安全评估中的应用", vol. 1, 武汉：武汉大学出版社 , pages: 203 - 208 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Tan et al. | Study on bruising degree classification of apples using hyperspectral imaging and GS-SVM | |
| Liming et al. | Automated strawberry grading system based on image processing | |
| Kodagali et al. | Computer vision and image analysis based techniques for automatic characterization of fruits-a review | |
| CN102799903B (zh) | 一种基于空间与光谱信息的高光谱自动云检测方法 | |
| CN106841103A (zh) | 近红外光谱检测水果内部品质方法及专用检测系统 | |
| Shao et al. | Determination of the bruise degree for cherry using Vis-NIR reflection spectroscopy coupled with multivariate analysis | |
| CN101949686A (zh) | 水果内外综合品质在线无损检测方法及装置 | |
| CN101419166A (zh) | 基于近红外光谱和机器视觉技术的茶叶品质无损检测方法及装置 | |
| CN102818777A (zh) | 一种基于光谱和颜色测量的水果成熟度评价方法 | |
| Chen et al. | The review of food safety inspection system based on artificial intelligence, image processing, and robotic | |
| CN102928435A (zh) | 基于图像和超声信息融合的飞机蒙皮损伤识别方法及装置 | |
| CN105067531A (zh) | 一种芒果品质无损检测方法及装置 | |
| Tian et al. | Study on the methods of detecting cucumber downy mildew using hyperspectral imaging technology | |
| Gill et al. | A review of automatic fruit classification using soft computing techniques | |
| CN106442525A (zh) | 用于核桃内部干瘪缺陷的在线检测方法 | |
| CN103528967A (zh) | 基于高光谱图像的过熟蓝靛果果实识别方法 | |
| Mu et al. | Non‐destructive detection of blueberry skin pigments and intrinsic fruit qualities based on deep learning | |
| Srivastava et al. | Machine-vision based handheld embedded system to extract quality parameters of citrus cultivars | |
| Wang et al. | Grading detection of “Red Fuji” apple in Luochuan based on machine vision and near-infrared spectroscopy | |
| Jin et al. | Methodology for potatoes defects detection with computer vision | |
| Tian et al. | Detection of early bruises on apples using hyperspectral reflectance imaging coupled with optimal wavelengths selection and improved watershed segmentation algorithm | |
| TW201822121A (zh) | 水果成熟度與品質優劣辨識系統及方法 | |
| CN110991469B (zh) | 一种水果可溶性固形物在线检测方法及系统 | |
| Janardhana et al. | Computer aided inspection system for food products using machine vision—a review | |
| Zhao et al. | Determination of apple firmness using hyperspectral imaging technique and multivariate calibrations |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |