CN111222480B - 一种基于深度学习的葡萄重量在线估算方法及检测装置 - Google Patents

一种基于深度学习的葡萄重量在线估算方法及检测装置 Download PDF

Info

Publication number
CN111222480B
CN111222480B CN202010033238.XA CN202010033238A CN111222480B CN 111222480 B CN111222480 B CN 111222480B CN 202010033238 A CN202010033238 A CN 202010033238A CN 111222480 B CN111222480 B CN 111222480B
Authority
CN
China
Prior art keywords
weight
grape
estimated
view
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010033238.XA
Other languages
English (en)
Other versions
CN111222480A (zh
Inventor
罗陆锋
宁政通
廖嘉欣
李嘉滔
文汉锦
洪志佳
李伟强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Foshan University
Original Assignee
Foshan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Foshan University filed Critical Foshan University
Priority to CN202010033238.XA priority Critical patent/CN111222480B/zh
Publication of CN111222480A publication Critical patent/CN111222480A/zh
Application granted granted Critical
Publication of CN111222480B publication Critical patent/CN111222480B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01G—WEIGHING
    • G01G17/00—Apparatus for or methods of weighing material of special form or property
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01G—WEIGHING
    • G01G9/00—Methods of, or apparatus for, the determination of weight, not provided for in groups G01G1/00 - G01G7/00
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/68—Food, e.g. fruit or vegetables
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于深度学习的葡萄重量在线估算方法，包括以下步骤：S1、获取需要估算重量的葡萄的俯视图与侧视图；S2、使用预先训练好的卷积神经网络对需要估算重量的葡萄的俯视图与侧视图进行检测识别，并输出需要估算重量的葡萄的俯视图与侧视图的特征数据；S3、基于第二步输出的需要估算重量的葡萄的俯视图与侧视图的特征数据，估算出需要估算重量的葡萄的重量，同时还提供了应用该方法的装置。本申请可以快速、准确地自动判定出葡萄的单株重量，能够快速得预估出重量，同时也可以避免大量人工在流水线上对葡萄进行称重，然后进行分级，会节约大量工人劳动成本。

Description

一种基于深度学习的葡萄重量在线估算方法及检测装置
技术领域
本发明涉及适配检测领域，具体而言，涉及一种基于深度学习的葡萄重量在线估算方法及检测装置。
背景技术
葡萄分为早熟、中熟、晚熟三个品系，不同品系的葡萄的单串重量也不一样。其中，早熟品种在350克以上，中熟品种在450克以上，晚熟品种在550克以上。目前葡萄采摘主要依靠采摘经验，即对葡萄进行采摘及通过传送带运输后再进行人工大小串分类称重。随着农业的发展，农业生产逐渐从机械化走向自动化，精准化，甚至智能化，国内外专家学者已将数字图像处理、双目立体视觉甚至深度学习的技术应用到农业中。
现有技术主要是用CNN(卷积神经网络)来对果实进行检测和机器视觉进行预测重量。如公开号为CN109583275A公开的一种基于CNN的赤足或穿袜足迹的体重判定方法，利用深度学习的方式实现对于人体体重的预估，解放人力的同时，判定的准确率也得到了很大的提高；或如公开号为CN106140648B公开的一种基于机器视觉的鸡胴体重量自动分级系统及分级方法，以黑盒阴影去判定重量。
综上所述，现有技术中的葡萄称重方案，如传统的分类称重要么会导致口感不一，要么会浪费大量人力物力；而传统卷积神经网络(CNN)只能识别出图像中葡萄所在的位置，而无法直接根据所识别的图像对葡萄的重量进行判定，同时传统卷积神经网络(CNN)具有反应时间长，需要大量数据支撑，适应性差等缺点。
为了实现非直接接触式的重量分级，能够在葡萄在传送带运输的时候完成重量预估，同时可保证快速、稳定、精确的重量预估，特作此发明。
发明内容
本发明提出了一种基于深度学习的葡萄重量在线估算方法及检测装置以解决所述问题，
为了实现上述目的，本发明采用如下技术方案：
一种基于深度学习的葡萄重量在线估算方法，包括以下步骤：
S1、获取需要估算重量的葡萄的俯视图与侧视图；
S2、使用预先训练好的卷积神经网络对需要估算重量的葡萄的俯视图与侧视图进行检测识别，并输出需要估算重量的葡萄的俯视图与侧视图的特征数据；
S3、基于第二步输出的需要估算重量的葡萄的俯视图与侧视图的特征数据，估算出需要估算重量的葡萄的重量。
所述的一种基于深度学习的葡萄重量在线估算方法，可选的，所述步骤S1具体实现方法为：
S11、对需要估算重量的葡萄进行朝向调整；
S12、通过图像采集装置获取调整朝向后的需要估算重量的葡萄的俯视图与侧视图。
所述的一种基于深度学习的葡萄重量在线估算方法，可选的，所述步骤S2具体实现方法为：
S21、使用预先训练好的卷积神经网络分别对俯视图与侧视图中需要估算重量的葡萄进行检测识别；
S22、对俯视图与侧视图中检测识别到的需要估算重量的葡萄进行标定，获得标定框，所述标定框为需要估算重量的葡萄的预测框；
S23、输出预测框的特征数据作为需要估算重量的葡萄的特征数据。
所述的一种基于深度学习的葡萄重量在线估算方法，可选的，所述步骤S3具体实现方法为：
调用预先训练好的卷积神经网络内存储的作为参考数据用的葡萄的特定框架的特征数据，与所述预测框的特征数据进行对比，获得重量比，通过该重量比来估算出需要估算重量的葡萄的重量。
所述的一种基于深度学习的葡萄重量在线估算方法，可选的，所述重量比通过公式(1)获得，
μ＝(S1+S2)/(S3+S4) (1)
其中，
μ为重量比，S1为需要估算重量的葡萄的俯视图的预测框大小，S2为需要估算重量的葡萄的侧视图的预测框大小，S3为作为参考数据用的葡萄的俯视图的特定框架大小，S4为作为参考数据用的葡萄的侧视图的特定框架大小。
所述的一种基于深度学习的葡萄重量在线估算方法，可选的，通过将重量比代入公式(2)估算出需要估算重量的葡萄的重量，
W估算＝μ*Wmax (2)
其中，
W估算为需要估算重量的葡萄的重量，μ为重量比，Wmax作为参考数据用的葡萄的重量。
所述的一种基于深度学习的葡萄重量在线估算检测装置，可选的，包括传送带、设置于传送带上的理顺装置、沿检测工序方向设置于所述理顺装置下工位的图像采集装置；其中，
所述传送带，被构造成用于传送需要估算重量的葡萄沿检测工序方向移动；
所述理顺装置，被构造成用于对需要估算重量的葡萄进行朝向调整；
所述图像采集装置，被构造成用于获取调整朝向后的需要估算重量的葡萄的俯视图与侧视图。
所述的一种基于深度学习的葡萄重量在线估算检测装置，可选的，所述图像采集装置包括设置于所述传送带一侧的支架、分别连接于所述支架上的第一图像采集模块以及第二图像采集模块；其中，
所述第一图像采集模块，被构造成用于获取调整朝向后的需要估算重量的葡萄的俯视图；
所述第二图像采集模块，被构造成用于获取调整朝向后的需要估算重量的葡萄的侧视图。
所述的一种基于深度学习的葡萄重量在线估算检测装置，可选的，所述图像采集装置与控制中心连接。
本发明所取得的有益技术效果是：
1、基于视觉感知的葡萄重量在线估算方法，利用深度神经网络YOLO-V3模型，采用YOLO-V3方法对葡萄图像样本进行处理，不仅可以对图像样本里的葡萄进行定位，还可以得到符合特定矩形框大小的特征图输出，利用俩张特征图采用双YOLO-V3预测框实现对葡萄重量预估判定，且YOLO-V3具有高帧速和回调率的特点。
2、运用深度神经网络自动检测的方法可以快速、准确地自动判定出葡萄的单株重量，能够快速得预估出重量，同时也可以避免大量人工在流水线上对葡萄进行称重，然后进行分级，会节约大量工人劳动成本。
3、使用预测出的框架大小的方法和人工标定的重量数据集的特定框架且对俩者建立对应回归模型的方法用于重量预估，将AI智能化融入到自动化中。
4、实现非直接接触式的重量分级，能够在葡萄在传送带运输的时候完成重量预估，从而避免人工称重环节造成葡萄破损体情况的发生，同时可保证快速、稳定、精确的重量预估。
附图说明
从以下结合附图的描述可以进一步理解本发明。图中的部件不一定按比例绘制，而是将重点放在示出实施例的原理上。在不同的视图中，相同的附图标记指定对应的部分。
图1是本发明实施例之一中一种基于深度学习的葡萄重量在线估算方法的流程示意图；
图2是本发明实施例之一中一种基于深度学习的葡萄重量在线估算检测装置的结构示意图；
图3是本发明实施例之一中葡萄的俯视图示意图；
图4是本发明实施例之一中葡萄的侧视图示意图；
图5是本发明实施例之一中根据葡萄边缘进行的人工标定俯视图矩形框示意图；
图6是本发明实施例之一中根据葡萄边缘进行的人工标定侧视图矩形框示意图；
图7是本发明实施例之一中一种基于深度学习的葡萄重量在线估算方法的流程示意图。
附图标记说明：1、第一图像采集模块；2、第二图像采集模块；3、支架；4、传送带；5、葡萄；6、理顺装置；7、平面；8、矩形预测框；9、图像边框；10、端点像素点。
具体实施方式
为了使得本发明的目的、技术方案及优点更加清楚明白，以下结合其实施例，对本发明进行进一步详细说明；应当理解，此处所描述的具体实施例仅用于解释本发明，并不用于限定本发明。对于本领域技术人员而言，在查阅以下详细描述之后，本实施例的其它系统、方法和/或特征将变得显而易见。旨在所有此类附加的系统、方法、特征和优点都包括在本说明书内、包括在本发明的范围内，并且受所附权利要求书的保护。在以下详细描述描述了所公开的实施例的另外的特征，并且这些特征根据以下的详细描述将是显而易见的。
本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或组件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
本发明为一种基于深度学习的葡萄重量在线估算方法及检测装置，根据附图说明所示讲述以下实施例：
实施例一：
一种基于深度学习的葡萄重量在线估算方法，包括以下步骤：
S1、获取需要估算重量的葡萄的俯视图与侧视图；
S2、使用预先训练好的卷积神经网络对需要估算重量的葡萄的俯视图与侧视图进行检测识别，并输出需要估算重量的葡萄的俯视图与侧视图的特征数据；
S3、基于第二步输出的需要估算重量的葡萄的俯视图与侧视图的特征数据，估算出需要估算重量的葡萄的重量。
在本实施例的优选方案为，上述步骤具体为：
步骤S1包括以下步骤：
S11、首先采摘下的葡萄5经过理顺装置6，其中理顺装置6的目的是让传送带4上不同姿态的葡萄通过理顺装置6后变成统一姿态；
S12、在葡萄5经过传送带4传输时，工业相机1和工业相机2对葡萄5在同一平面进行相同像素，相同频率的拍照取样，其目的是为了获得同一串葡萄5在相同像素下的俯视和侧视图像，便于后期计算处理；
S13、将采集到的图像进行平滑等图像预处理。
步骤S2包括以下步骤：
S21、把采集到的图像样本分成训练集、训练—验证集和人工标定的重量数据集R。其中训练集的图像样本占总图像样本的70％、训练—验证集的图像样本占总图像样本的10％、人工标定的重量数据集R的图像样本占总图像样本的20％。再从训练—验证集取里20％的图像样本充当验证集。
S22、对第S21步里所取得的训练集进行YOLO-V3模型训练。其训练步骤如下：①用LabelImg对训练集里图像样本中的葡萄进行标定。②设定好训练次数和标识，对标定好的图像样本进行训练来提取特征，从而得出训练好的YOLO-V3权重框架。
需要说明的是，YOLO-V3模型是一种具有深度学习能力的物体检测网络；LabelImg是用于制作VOC数据集时，对数据集进行标注的工具；上述YOLO-V3模型以及LabelImg是目标广泛研究、应用的公知技术，此处不赘述。
S23、导入训练—验证集中的图像样本到第S22步中所获的YOLO-V3权重框架中进行测试。
S24、测试输出得到同一串葡萄在同一平面的侧视图像和俯视图像中的YOLO-V3矩形预测框像素点的位置(left,top)和(right,bottom)。将俯视图像中的YOLO-V3矩形预测框简称为俯视预测框1，则其像素点位置分别为(left1,top1)和(right1,bottom1)；将侧视图像中的YOLO-V3矩形预测框简称为侧视预测框2，则其像素点位置分别为(left2,top2)和(right2,bottom2)。
S25、分别求取两个YOLO-V3矩形预测框的图像面积。则俯视预测框1面积S1＝(right1-left1)*(bottom1-top1)；侧视预测框2面积S2＝(right2-left2)*(bottom2-top2)。
S26、对第S21步里所指定得到人工标定的重量数据集R的图像样本的单串葡萄进行实际称重和标定在同一平面下包含单串葡萄边缘的侧视图和俯视图矩形框架大小，根据葡萄边缘进行的人工标定矩形框的示意图如图3图4所示，把人工标定的重量数据集的图像样本的单串葡萄的其实际重量一一对应于人工标定的重量数据集的图像样本中单串葡萄所占侧视和俯视矩形框架的大小。
S27、采取框架相似度就近原则，设定一个max函数，建立if判定语句。
S28、把训练—验证集中图象样本葡萄的预测框架和人工标定的重量数据集的图像样本的葡萄的框架进行比较，即：①训练—验证集中图象第一个样本葡萄预测俯视预测框1有：(right1-left1)*(bottom1-top1)/第一个人工标定的重量数据集框的大小，得出数A1，②训练—验证集中图象第一个样本葡萄预测侧视预测框2有：(right2-left2)*(bottom2-top2)/第一个人工标定的重量数据集框的大小，得出数B1，即数值1为C1＝A1+B1。
训练—验证集中图象第一个样本葡萄对于预测俯视预测框1有：(right1-left1)*(bottom1-top1)/第二个人工标定的重量数据集框的大小，得出数A2，②训练—验证集中图象第一个样本葡萄预测侧视预测框2有：(right2-left2)*(bottom2-top2)/第二个人工标定的重量数据集框的大小，得出数B2，即数值1为C2＝A2+B2。每个训练—验证集中图象样本葡萄的预测框架和人工标定的重量数据集的图像样本的葡萄的框架俩者之间进行单次循环比较一次，然后根据max函数求出{C1,C2……CN}中得最大值。把最大值得设定为Cmax，且输出Cmax对应的人工标定的重量数据集框的大小和葡萄的重量。
步骤S3包括以下步骤：
S31、将训练—验证集中的图象样本中所取得的YOLO-V3矩形预测框架和人工标定的重量数据集的矩形框架大小进行比值处理。判定两者相似度的公式为：①对于俯视预测框1有：(right1-left1)*(bottom1-top1)/各个人工标定的重量数据集框的大小；②对于侧视预测框2有：(right2-left2)*(bottom2-top2)/各个人工标定的重量数据集框的大小。
S32、在各个人工标定的重量数据集的图像样本中分别取与俯视预测框1和侧视预测框2比值之和最高的一个人工标定的重量数据集矩形框架，分别称其为俯视特定框架3和侧视特定框架4。其中，俯视特定框架3的图像面积S3＝(right3-left3)*(bottom3-top3)；俯视特定框架3的图像面积S4＝(right4-left4)*(bottom4-top4)。且设定该人工标定的重量数据集矩形框架所对应的人工标定的葡萄重量为Wmax。
S33、重量比值公式:μ＝(S1+S2)/(S3+S4)
则训练—验证集中该图像样本里所示的葡萄重量为W估算＝μ*Wmax。
实施例二：
一种基于深度学习的葡萄重量在线估算方法，包括以下步骤：
S1、获取需要估算重量的葡萄的俯视图与侧视图；
S2、使用预先训练好的卷积神经网络对需要估算重量的葡萄的俯视图与侧视图进行检测识别，并输出需要估算重量的葡萄的俯视图与侧视图的特征数据；
S3、基于第二步输出的需要估算重量的葡萄的俯视图与侧视图的特征数据，估算出需要估算重量的葡萄的重量。
所述步骤S1具体实现方法为：
S11、对需要估算重量的葡萄进行朝向调整；
S12、通过图像采集装置获取调整朝向后的需要估算重量的葡萄的俯视图与侧视图。
更具体的，所述步骤S1包括以下步骤：
S11、首先采摘下的葡萄5经过理顺装置6，其中理顺装置6的目的是让传送带4上不同姿态的葡萄通过理顺装置6后变成统一姿态；
S12、在葡萄5经过传送带4传输时，工业相机1和工业相机2对葡萄5在同一平面进行相同像素，相同频率的拍照取样，其目的是为了获得同一串葡萄5在相同像素下的俯视图像和侧视图像，便于后期计算处理；
S13、将采集到的图像进行平滑等图像预处理，所述图像预处理还包括图像裁剪，缩放，翻转，移位，旋转，亮度调整，加噪声。
所述步骤S2具体实现方法为：
S21、使用预先训练好的卷积神经网络分别对俯视图与侧视图中需要估算重量的葡萄进行检测识别；
S22、对俯视图与侧视图中检测识别到的需要估算重量的葡萄进行标定，获得标定框，所述标定框为需要估算重量的葡萄的预测框；
S23、输出预测框的特征数据作为需要估算重量的葡萄的特征数据。
更具体的，步骤S2中的卷积神经网络的训练包括以下步骤，并在后续实践应用中进行深度学习以使得相似度无限逼近于阈值：
S21、使用预先训练好的卷积神经网络分别对俯视图与侧视图中需要估算重量的葡萄进行检测识别；
S22a、把采集到的图像样本分成训练集、训练—验证集和人工标定的重量数据集R。其中训练集的图像样本占总图像样本的70％、训练—验证集的图像样本占总图像样本的10％、人工标定的重量数据集R的图像样本占总图像样本的20％。再从训练—验证集取里20％的图像样本充当验证集。
S22b、对第S22a步里所取得的训练集进行YOLO-V3模型训练。其训练步骤如下：①用LabelImg对训练集里图像样本中的葡萄进行标定。②设定好训练次数和标识，对标定好的图像样本进行训练来提取特征，从而得出训练好的YOLO-V3权重框架。
需要说明的是，YOLO-V3模型是一种具有深度学习能力的物体检测网络；LabelImg是用于制作VOC数据集时，对数据集进行标注的工具；上述YOLO-V3模型以及LabelImg是目标广泛研究、应用的公知技术，此处不赘述。
S22c、导入训练—验证集中的图像样本到第S22步中所获的YOLO-V3权重框架中进行测试。
S22d、如图3和图4所示，拍摄到的图像中包括图像边框9以及位于图像中心的矩形预测框8，以图像边框两相交边作为该拍摄角度的平面7，对应的，图3为YX平面，图4为YZ平面，测试输出得到同一串葡萄在同一像素的侧视图像和俯视图像中的YOLO-V3矩形预测框8各端点像素点10的位置(left,top)和(right,bottom)。将俯视图像中的YOLO-V3矩形预测框简称为俯视预测框1，则其像素点位置分别为(left1,top1)和(right1,bottom1)；将侧视图像中的YOLO-V3矩形预测框简称为侧视预测框2，则其像素点位置分别为(left2,top2)和(right2,bottom2)。
S22e、分别求取两个YOLO-V3矩形预测框的图像面积。则俯视预测框1面积S1＝(right1-left1)*(bottom1-top1)；侧视预测框2面积S2＝(right2-left2)*(bottom2-top2)。
S22f、对第S21步里所指定得到人工标定的重量数据集R的图像样本的单串葡萄进行实际称重和标定在同一平面下包含单串葡萄边缘的侧视图和俯视图矩形框架大小，根据葡萄边缘进行的人工标定矩形框的示意图如图3图4所示，把人工标定的重量数据集的图像样本的单串葡萄的其实际重量一一对应于人工标定的重量数据集的图像样本中单串葡萄所占侧视和俯视矩形框架的大小。如下：
人工标定的重量数据集的图像样本的葡萄D1重量W1，通过人工标注所占的俯视和侧视矩形框的大小为(a*b)和(a1*b1)；
人工标定的重量数据集的图像样本的葡萄D2重量W2，通过人工标注所占的俯视和侧视矩形框的大小为(a2*b2)和(a3*b3)；
人工标定的重量数据集的图像样本的葡萄D3重量W3，通过人工标注所占的俯视和侧视矩形框的大小为(a4*b4)和(a5*b5)；
人工标定的重量数据集的图像样本的葡萄D4重量W4，通过人工标注所占的俯视和侧视矩形框的大小为(a6*b6)和(a7*b7)；
人工标定的重量数据集的图像样本的葡萄D5重量W5，通过人工标注所占的俯视和侧视矩形框的大小为(a8*b8)和(a9*b9)；
人工标定的重量数据集的图像样本的葡萄D6重量W6，通过人工标注所占的俯视和侧视矩形框的大小为(a10*b10)和(a11*b11)；
人工标定的重量数据集的图像样本的葡萄D7重量W7，通过人工标注所占的俯视和侧视矩形框的大小为(a12*b12)和(a13*b13)；
依此规律进行大量的葡萄样本的人工标注，为了保持绝对精度可以进行上万次的人工标注数据集。
S22g、采取框架相似度就近原则，其中框架就近原则指的是：
训练—验证集中的图象样本中所取得的YOLO-V3矩形预测框架：如下
训练—验证集中图象样本葡萄E1，记预测俯视框1大小为(right1-left1)*(bottom1-top1)；预测侧视框2大小为(right2-left2)*(bottom2-top2)；
训练—验证集中图象样本葡萄E2，记预测俯视框1大小为(right3-left3)*(bottom3-top3)；预测侧视框2大小为(right4-left4)*(bottom4-top4)；
训练—验证集中图象样本葡萄E3，记预测俯视框1大小为(right5-left5)*(bottom5-top5)；预测侧视框2大小为(right6-left6)*(bottom6-top6)；
训练—验证集中图象样本葡萄E4，记预测俯视框1大小为(right7-left7)*(bottom7-top7)；预测侧视框2大小为(right8-left8)*(bottom8-top8)；
训练—验证集中图象样本葡萄E5，记预测俯视框1大小为(right9-left9)*(bottom9-top9)；预测侧视框2大小为(right10-left10)*(bottom10-top10)；
训练—验证集中图象样本葡萄E6，记预测俯视框1大小为(right11-left11)*(bottom11-top11)；预测侧视框2大小为(right12-left12)*(bottom12-top12)；
训练—验证集中图象样本葡萄E7，记预测俯视框1大小为(right13-left13)*(bottom14-top14)；预测侧视框2大小为(right15-left15)*(bottom15-top15)；
设定一个max函数，建立if判定语句。
S22i、把训练—验证集中图象样本葡萄的预测框架和人工标定的重量数据集的图像样本的葡萄的框架进行比较，即：①训练—验证集中图象第一个样本葡萄预测俯视预测框1有：(right1-left1)*(bottom1-top1)/第一个人工标定的重量数据集框的大小，得出数A1，②训练—验证集中图象第一个样本葡萄预测侧视预测框2有：(right2-left2)*(bottom2-top2)/第一个人工标定的重量数据集框的大小，得出数B1，即数值1为C1＝A1+B1。
训练—验证集中图象第一个样本葡萄对于预测俯视预测框1有：(right1-left1)*(bottom1-top1)/第二个人工标定的重量数据集框的大小，得出数A2，②训练—验证集中图象第一个样本葡萄预测侧视预测框2有：(right2-left2)*(bottom2-top2)/第二个人工标定的重量数据集框的大小，得出数B2，即数值1为C2＝A2+B2。
按此规律，每个训练—验证集中图象样本葡萄的预测框架和人工标定的重量数据集的图像样本的葡萄的框架俩者之间进行单次循环比较一次，然后根据max函数求出{C1,C2……Cn}中得最大值。把最大值得设定为Cmax，且输出Cmax对应的人工标定的重量数据集框的大小和葡萄的重量。Cmax以及对应的人工标定的重量数据集框的大小和葡萄的重量即为所述步骤S3中需要的作为参考数据用的葡萄的特定框架的特征数据。
即YOLO-V3预测框在图中的大小：S1(俯视框1)、S2(侧视框2)，人工标定重量数据集为R中葡萄侧视框Xn和俯视框架框Yn(n＝1,2,3……n)，S1和S2与R中每个数据的俩框架Xn、Yn的进行单次循环相似比值。
如下公式(3)：
Figure BDA0002365096290000141
统计每次S1和S2对R中每个数据集框架的比值和为数列{C1,C2,……CN}，利用max函数对数列{C1,C2,……Cn}求出Cmax，输出Cmax值所对应的R中的数据，Cmax值所对应的R中即为相似度最高的数据。
所述步骤S3具体实现方法为：
调用预先训练好的卷积神经网络内存储的作为参考数据用的葡萄的特定框架的特征数据，与所述预测框的特征数据进行对比，获得重量比，通过该重量比来估算出需要估算重量的葡萄的重量。所述重量比通过公式(1)获得，
μ＝(S1+S2)/(S3+S4) (1)
其中，
μ为重量比，S1为需要估算重量的葡萄的俯视图的预测框大小，S2为需要估算重量的葡萄的侧视图的预测框大小，S3为作为参考数据用的葡萄的俯视图的特定框架大小，S4为作为参考数据用的葡萄的侧视图的特定框架大小。
进一步的，通过将重量比代入公式(2)估算出需要估算重量的葡萄的重量，
W估算＝μ*Wmax (2)
其中，
W估算为需要估算重量的葡萄的重量，μ为重量比，Wmax作为参考数据用的葡萄的重量。
总结以上步骤S3，具体步骤如下：
S31、将训练—验证集中的图象样本中所取得的YOLO-V3矩形预测框架和人工标定的重量数据集的矩形框架大小进行比值处理。判定两者相似度的公式为：①对于俯视预测框1有：(right1-left1)*(bottom1-top1)/各个人工标定的重量数据集框的大小；②对于侧视预测框2有：(right2-left2)*(bottom2-top2)/各个人工标定的重量数据集框的大小。
S32、在各个人工标定的重量数据集的图像样本中分别取与俯视预测框1和侧视预测框2比值之和最高的一个人工标定的重量数据集矩形框架，分别称其为俯视特定框架3和侧视特定框架4。其中，俯视特定框架3的图像面积S3＝(right3-left3)*(bottom3-top3)；俯视特定框架3的图像面积S4＝(right4-left4)*(bottom4-top4)。且设定该人工标定的重量数据集矩形框架所对应的人工标定的葡萄重量为Wmax。
S33、重量比值公式:μ＝(S1+S2)/(S3+S4)
则训练—验证集中该图像样本里所示的葡萄重量为W估算＝μ*Wmax。
如图2所示的一种基于深度学习的葡萄重量在线估算检测装置，包括传送带4、设置于传送带4上的理顺装置6、沿检测工序方向设置于所述理顺装置6下工位的图像采集装置；其中，
所述传送带4，被构造成用于传送需要估算重量的葡萄沿检测工序方向移动；所述传送带4应用广泛，为公知常识，在此不再赘述。
所述理顺装置6，被构造成用于对需要估算重量的葡萄进行朝向调整；所述理顺装置6，具体为进口宽出口窄的毛刷挡板，需要估算重量的葡萄从宽的进口进入，通过毛刷使得所述葡萄调整好朝向，并统一从窄的出口输出，保证后续图像采集装置采集到的图像的中心位置不变。
所述图像采集装置，被构造成用于获取调整朝向后的需要估算重量的葡萄的俯视图与侧视图。
在本实施例的优选方案为，所述图像采集装置包括设置于所述传送带4一侧的支架3、分别连接于所述支架3上的第一图像采集模块1以及第二图像采集模块2；其中，
所述支架3，为L形支架3，所述第一图像采集模块1与所述第二图像分别设置于所述L型支架3的两直角边远离交点的一端上，
所述第一图像采集模块1，被构造成用于获取调整朝向后的需要估算重量的葡萄的俯视图；
所述第二图像采集模块2，被构造成用于获取调整朝向后的需要估算重量的葡萄的侧视图。
所述第一图像采集模块1与所述第二图像采集模块2均为工业相机，其为公知常识，在此不再赘述。
在本实施例更进一步的优选方案为，所述图像采集装置与控制中心连接。具体的，所述控制中心具备连接无线网络的部分，并且所述控制中心具有计算机系统，所述系统可被工程师用作控制中心的全部或一个部件。该计算机系统可包括计算机、键盘、网络路由器、打印机和监视器。监视器、处理器和键盘是计算机系统的一部分，该计算机系统可以是膝上型计算机、台式计算机、手持式计算机、大型计算机等。监视器可以是CRT、平板屏幕等。工程师可使用各种输入设备，诸如鼠标、键盘、轨迹球、触摸屏等，将命令输入计算机。如果计算机系统包括主机，工程师可使用例如终端或终端接口访问计算机。此外，计算机系统可使用网络路由器连接到打印机和服务器，其中所述路由器可连接到互联网或WAN。服务器可例如用于储存额外的软件程序和数据。在一个实施例中，实施本文所述的系统和方法的软件可储存于服务器中的存储介质上。因而，所述软件可从服务器中的存储介质运行。在另一个实施例中，实施本文所述的系统和方法的软件可储存于计算机中的存储介质上。因而，所述软件可从计算机系统中的存储介质运行。因此，在该实施例中，无论计算机是否连接至网络路由器，所述软件均可使用。打印机可直接连接至计算机，在这种情况下，无论是否连接至网络路由器，计算机系统均可进行打印。专用计算机系统包括计算机、与计算机耦接的监视器、耦接到计算机的一个或多个额外的工程师输出设备(可选)、耦接到计算机的一个或多个工程师输入设备(如键盘、鼠标、轨迹球、触摸屏)、耦接到计算机的可选通信接口，以及储存于计算机中有形计算机可读存储器中的计算机程序产品。计算机程序产品指引系统执行上文所述的方法。计算机可包括经由总线子系统与多个外围设备通信的一个或多个处理器。这些外围设备可包括工程师输出设备、工程师输入设备、通信接口，以及存储子系统诸如随机存取存储器(RAM)和非易失性存储驱动器(如磁盘驱动器、光盘驱动器、固态硬盘)，此类外围设备为有形计算机可读存储器形式。计算机程序产品可储存于非易失性存储驱动器或可由计算机访问的另一种计算机可读介质中，并且加载到存储器中。每个处理器可包括微处理器，诸如来自intel或AdvancedMicroDevices等的微处理器。为支持计算机程序产品，计算机运行的操作系统应处理产品与上文所述部件之间的通信，以及上文所述部件之间为支持计算机程序产品而进行的通信。示例性的操作系统包括微软公司的windows等、LINUX、UNIX等。通信接口提供通向其他通信网络和设备的接口，并且可用作从其他系统、WAN和/或互联网接收数据或向所述其他系统、WAN和/或互联网传输数据的接口。通信接口的实施例通常包括以太网卡、调制解调器(电话、卫星、电缆、ISDN)、(异步)数字工程师线路(DSL)单元、firewire接口、USB接口、无线网络适配器等。例如，通信接口可耦接到计算机网络、FIREWIRE总线等。在其他实施例中，通信接口可物理地集成到计算机的母板上，和/或可为软件程序等。RAM和非易失性存储驱动器是有形计算机可读介质的例子。
实施例三：
基于实施例二的基础上，通过边缘检测算法得到图像中葡萄的边缘图，并通过优化处理器进行优化得到葡萄的最小标定框，以此达到最优预测框，以获得最接近实际重量的估算重量，所述边缘检测算法是目标广泛研究、应用的公知技术，此处不赘述。同时为了方便区分葡萄与传送带，所述传送带选用与所述葡萄颜色对比度大的材料作为传送带，以方便后续处理。同时还能增加分类卷积神经网络，以检测到的葡萄图像作为输入图像，经过预处理，将输入图像转化为相应像素大小，然后将输入图像的RGB三个通道分别减去分类图像的RGB三个通道像素的平均值，将其读取作为一个三维矩阵，输入该分类网络，该分类网络的输出为该输入图像对应各个葡萄种类的概率，选取概率最大的种类作为该葡萄种类的预测值。所述葡萄种类包括早熟、中熟、晚熟等品系。
综上所述,本发明提供了一种基于深度学习的葡萄重量在线估算方法及检测装置，利用深度神经网络YOLO-V3模型，采用YOLO-V3方法对葡萄图像样本进行处理，不仅可以对图像样本里的葡萄进行定位，还可以得到符合特定矩形框大小的特征图输出，利用俩张特征图采用双YOLO-V3预测框实现对葡萄重量预估判定，且YOLO-V3具有高帧速和回调率的特点，而且运用深度神经网络自动检测的方法可以快速、准确地自动判定出葡萄的单株重量，能够快速得预估出重量，同时也可以避免大量人工在流水线上对葡萄进行称重，然后进行分级，会节约大量工人劳动成本，同时使用预测出的框架大小的方法和人工标定的重量数据集的特定框架且对俩者建立对应回归模型的方法用于重量预估，将AI智能化融入到自动化中。
虽然上面已经参考各种实施例描述了本发明，但是应当理解，在不脱离本发明的范围的情况下，可以进行许多改变和修改。也就是说上面讨论的方法，系统和设备是示例。各种配置可以适当地省略，替换或添加各种过程或组件。例如，在替代配置中，可以以与所描述的顺序不同的顺序执行方法，和/或可以添加，省略和/或组合各种部件。而且，关于某些配置描述的特征可以以各种其他配置组合，如可以以类似的方式组合配置的不同方面和元素。此外，随着技术发展其中的元素可以更新，即许多元素是示例，并不限制本公开或权利要求的范围。
在说明书中给出了具体细节以提供对包括实现的示例性配置的透彻理解。然而，可以在没有这些具体细节的情况下实践配置,例如，已经示出了众所周知的电路，过程，算法，结构和技术而没有不必要的细节，以避免模糊配置。该描述仅提供示例配置，并且不限制权利要求的范围，适用性或配置。相反，前面对配置的描述将为本领域技术人员提供用于实现所描述的技术的使能描述。在不脱离本公开的精神或范围的情况下，可以对元件的功能和布置进行各种改变。
综上，其旨在上述详细描述被认为是例示性的而非限制性的，并且应当理解，以下权利要求(包括所有等同物)旨在限定本发明的精神和范围。以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。

Claims (2)

1.一种基于深度学习的葡萄重量在线估算方法，其特征在于，包括以下步骤：
S1、获取需要估算重量的葡萄的俯视图与侧视图；
S2、使用预先训练好的卷积神经网络对需要估算重量的葡萄的俯视图与侧视图进行检测识别，并输出需要估算重量的葡萄的俯视图与侧视图的特征数据；
S3、基于第二步输出的需要估算重量的葡萄的俯视图与侧视图的特征数据，估算出需要估算重量的葡萄的重量；
其中，步骤S2具体实现方法为：
S21、使用预先训练好的卷积神经网络分别对俯视图与侧视图中需要估算重量的葡萄进行检测识别；
S22、对俯视图与侧视图中检测识别到的需要估算重量的葡萄进行标定，获得标定框，所述标定框为需要估算重量的葡萄的预测框；
S23、输出预测框的特征数据作为需要估算重量的葡萄的特征数据；
步骤S3具体实现方法为：
调用预先训练好的卷积神经网络内存储的作为参考数据用的葡萄的特定框架的特征数据，与所述预测框的特征数据进行对比，获得重量比，通过该重量比来估算出需要估算重量的葡萄的重量；
述重量比通过公式（1）获得，
μ=（S1+S2）/（S3+S4） （1）
其中，μ为重量比，S1为需要估算重量的葡萄的俯视图的预测框大小，S2为需要估算重量的葡萄的侧视图的预测框大小，S3为作为参考数据用的葡萄的俯视图的特定框架大小，S4为作为参考数据用的葡萄的侧视图的特定框架大小；
通过将重量比代入公式（2）估算出需要估算重量的葡萄的重量，
W估算=μ*Wmax （2）
其中，W估算为需要估算重量的葡萄的重量，μ为重量比，Wmax作为参考数据用的葡萄的重量。
2.如权利要求1所述的一种基于深度学习的葡萄重量在线估算方法，其特征在于，步骤S1具体实现方法为：
S11、对需要估算重量的葡萄进行朝向调整；
S12、通过图像采集装置获取调整朝向后的需要估算重量的葡萄的俯视图与侧视图。
CN202010033238.XA 2020-01-13 2020-01-13 一种基于深度学习的葡萄重量在线估算方法及检测装置 Active CN111222480B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010033238.XA CN111222480B (zh) 2020-01-13 2020-01-13 一种基于深度学习的葡萄重量在线估算方法及检测装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010033238.XA CN111222480B (zh) 2020-01-13 2020-01-13 一种基于深度学习的葡萄重量在线估算方法及检测装置

Publications (2)

Publication Number Publication Date
CN111222480A CN111222480A (zh) 2020-06-02
CN111222480B true CN111222480B (zh) 2023-05-26

Family

ID=70829481

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010033238.XA Active CN111222480B (zh) 2020-01-13 2020-01-13 一种基于深度学习的葡萄重量在线估算方法及检测装置

Country Status (1)

Country Link
CN (1) CN111222480B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115564630B (zh) * 2022-09-28 2023-05-30 华能伊敏煤电有限责任公司 轮斗挖掘机的挖掘流量自动控制方法及其系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108921058A (zh) * 2018-06-19 2018-11-30 厦门大学 基于深度学习的鱼类识别方法、介质、终端设备及装置
CN109102547A (zh) * 2018-07-20 2018-12-28 上海节卡机器人科技有限公司 基于物体识别深度学习模型的机器人抓取位姿估计方法
CN109409365A (zh) * 2018-10-25 2019-03-01 江苏德劭信息科技有限公司 一种基于深度目标检测的待采摘水果识别和定位方法
WO2019246217A1 (en) * 2018-06-19 2019-12-26 President And Fellows Of Harvard College Deep learning assisted macronutrient estimation for feedforward-feedback control in artificial pancreas systems

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108921058A (zh) * 2018-06-19 2018-11-30 厦门大学 基于深度学习的鱼类识别方法、介质、终端设备及装置
WO2019246217A1 (en) * 2018-06-19 2019-12-26 President And Fellows Of Harvard College Deep learning assisted macronutrient estimation for feedforward-feedback control in artificial pancreas systems
CN109102547A (zh) * 2018-07-20 2018-12-28 上海节卡机器人科技有限公司 基于物体识别深度学习模型的机器人抓取位姿估计方法
CN109409365A (zh) * 2018-10-25 2019-03-01 江苏德劭信息科技有限公司 一种基于深度目标检测的待采摘水果识别和定位方法

Also Published As

Publication number Publication date
CN111222480A (zh) 2020-06-02

Similar Documents

Publication Publication Date Title
CN111080693A (zh) 一种基于YOLOv3的机器人自主分类抓取方法
CN111950396B (zh) 一种仪表读数神经网络识别方法
CN107657603A (zh) 一种基于智能视觉的工业外观检测方法
EP3852061A1 (en) Method and device for damage segmentation of vehicle damage image
CN111652167A (zh) 一种染色体核型图像智能评价方法及系统
US10885620B2 (en) Neural network image processing system
CN112818969A (zh) 一种基于知识蒸馏的人脸姿态估计方法及系统
CN114066848A (zh) 一种fpca外观缺陷视觉检测系统
CN111222480B (zh) 一种基于深度学习的葡萄重量在线估算方法及检测装置
CN112184791A (zh) 一种基于cnn-lstm神经网络的牦牛体重预测方法
CN115674272A (zh) 机器人故障诊断方法、装置、设备以及存储介质
CN109766742A (zh) 一种玉米籽裂纹识别方法、装置、系统、设备和存储介质
CN116030021A (zh) 一种光伏组件隐裂特性的自动化检测系统
CN110705355A (zh) 一种基于关键点约束的人脸姿态估计方法
CN103324959B (zh) 播种质量检测方法和装置
CN113269234A (zh) 一种基于目标检测的连接件装配检测方法和系统
CN107292340A (zh) 基于卷积神经网络的侧线鳞识别方法
CN116739986A (zh) Auv在输水隧洞内对典型缺陷检测的光学声学组合方法
CN108416815B (zh) 大气光值的测定方法、设备及计算机可读存储介质
CN111161264A (zh) 一种对含有缺陷的tft电路图像的分割方法
CN111860035A (zh) 图书封面检测方法、装置及存储介质和电子设备
CN102901697B (zh) 土壤孔隙度检测方法
CN114255339A (zh) 一种输电导线断点识别方法、设备及存储介质
CN111881922B (zh) 一种基于显著性特征的绝缘子图像识别方法及系统
CN108734703B (zh) 基于机器视觉的抛光砖打印图样检测方法、系统及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: No.33 Guangyun Road, Nanhai District, Foshan City, Guangdong Province

Patentee after: Foshan University

Country or region after: China

Address before: No.33 Guangyun Road, Nanhai District, Foshan City, Guangdong Province

Patentee before: FOSHAN University

Country or region before: China