CN110648366A - 基于深度学习的橘子检测系统及分瓣方法 - Google Patents

基于深度学习的橘子检测系统及分瓣方法 Download PDF

Info

Publication number
CN110648366A
CN110648366A CN201910973456.9A CN201910973456A CN110648366A CN 110648366 A CN110648366 A CN 110648366A CN 201910973456 A CN201910973456 A CN 201910973456A CN 110648366 A CN110648366 A CN 110648366A
Authority
CN
China
Prior art keywords
orange
oranges
deep learning
sectioning
industrial camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910973456.9A
Other languages
English (en)
Inventor
黄耀
徐孝方
梁神虎
张辉
黄茂发
吴雨培
陶斯琴
裴强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Feng Dao Food Ltd By Share Ltd
Achu Robot Technology Suzhou Co Ltd
Original Assignee
Zhejiang Feng Dao Food Ltd By Share Ltd
Achu Robot Technology Suzhou Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Feng Dao Food Ltd By Share Ltd, Achu Robot Technology Suzhou Co Ltd filed Critical Zhejiang Feng Dao Food Ltd By Share Ltd
Priority to CN201910973456.9A priority Critical patent/CN110648366A/zh
Publication of CN110648366A publication Critical patent/CN110648366A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • A—HUMAN NECESSITIES
    • A23—FOODS OR FOODSTUFFS; TREATMENT THEREOF, NOT COVERED BY OTHER CLASSES
    • A23N—MACHINES OR APPARATUS FOR TREATING HARVESTED FRUIT, VEGETABLES OR FLOWER BULBS IN BULK, NOT OTHERWISE PROVIDED FOR; PEELING VEGETABLES OR FRUIT IN BULK; APPARATUS FOR PREPARING ANIMAL FEEDING- STUFFS
    • A23N15/00—Machines or apparatus for other treatment of fruits or vegetables for human purposes; Machines or apparatus for topping or skinning flower bulbs
    • A23N15/06—Devices for other treatment of fruit, e.g. marking, maturing, polishing
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/04—Programme control other than numerical control, i.e. in sequence controllers or logic controllers
    • G05B19/05—Programmable logic controllers, e.g. simulating logic interconnections of signals according to ladder diagrams or function charts
    • G05B19/054—Input/output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume

Abstract

本发明公开了一种基于深度学习的橘子检测系统及分瓣方法，包括输送装置、分瓣切割装置、图像采集模块、PLC控制模块和基于深度学习的图像处理模块，通过图像处理模块经深度学习训练后对采集到的图像进行预测、计算，得出角度信息，并由PLC控制模块根据接收到的角度信息控制分瓣切割装置对橘子进行分瓣，本发明适用于不同季度的多种不同橘子的分瓣工作，具备快速部署、多样性兼容能力，提升了设备生产力。

Description

基于深度学习的橘子检测系统及分瓣方法
技术领域
本发明属于橘子自动化加工技术领域，特别是涉及一种基于深度学习的橘子检测系统及分瓣方法。
背景技术
橘子分瓣工作目前主要依赖产线工人，人工一个一个去拨开橘子瓣，又因为需要一手一个橘子一手一把弹簧刀，所以导致效率非常低下，也容易让人产生疲惫导致损坏橘子的现象。随着人们生活水平的提高，以及受教育程度的普及与提高，当代的年轻人思想受到不同文化的冲击，人口结构出现巨大的变化，导致我国目前的人口老龄化的现象越来越严峻，并将造成十分严重的社会问题。这直接影响到劳动密集型企业无法向社会吸收大量的劳动人口，人们越来越排斥这些“脏乱差”而且枯燥工作。
在这种社会需求下，橘子分瓣设备解决了很多企业的需求，缓解了企业的劳工慌。但是，目前现有橘子分瓣的设备，主要是应用传统的图像处理技术，通过将采集图像数据进行二值化处理，然后分析剥完皮的橘子瓣的轮廓特征，从而获取所有可能的橘子瓣的位置，并计算图像中橘子瓣之间的夹角传给下位机。
橘子分瓣的设备的检测方法是将采集到的图像进行二值化处理，提取出橘子的轮廓信息。这就要求，剥完皮的橘子表面不能残余太多的囊衣，烂橘，小橘片等情况，因为这些情况的出现都会导致橘子的轮廓信息过于复杂情况，从而导致图像算法错判；要求橘子在插入锚杆的时候必须垂直，不能出现倾斜等其他情况，这也会导致橘子的轮廓不一样；对不同季度的橘子轮廓信息也会不一样，这种检测方法更加难以适用；
如上所述的方案能够解决部分常规的比较理想条件下的橘子瓣检测工作，而无法对一些复杂情况下的橘子瓣检测做出比较好的检测效果。
发明内容
本发明主要解决的技术问题是提供一种基于深度学习的橘子检测系统及分瓣方法，基于深度学习算法实现不同检测需求，解决了传统图像算法无法处理的囊衣、烂橘、小橘片等的复杂情况，减少上料端对橘子垂直摆放和剔除不良橘子的需要。
为解决上述技术问题，本发明采用的一个技术方案是：一种基于深度学习的橘子检测系统，输送装置，所述输送装置上竖直设有一排锚钉，待分瓣的橘子插接在所述锚钉上；
分瓣切割装置，所述分瓣切割装置包括步进电机和弹簧刀，所述步进电机用于控制待分瓣橘子的旋转角度，所述弹簧刀完成橘子的切割分瓣；
图像采集模块，所述图像采集模块包括工业相机、光源和红外传感器，所述光源位于所述工业相机的下方，所述红外传感器设置于所述光源的下方，且所述红外传感器位于输送装置上，用以在橘子经过红外传感器时触发工业相机工作；
图像处理模块，所述图像处理模块与图像采集模块连接；图像处理模块包括卷积神经网络模型，所述卷积神经网络模型利用人工标注适量的样品图像中橘子瓣的特征数据不断迭代训练，拟合导出参数模型，并根据参数模型给出待分瓣橘子的预测结果；在此预测结果的基础上，计算出待分瓣橘子所需旋转的角度；
PLC控制模块，所述PLC控制模块分别与图像采集模块、图像处理模块和分瓣切割装置连接，用于接收红外传感器的信息并控制工业相机工作、接收图像处理模块计算得出的数据并控制分瓣切割装置工作；
所述输送装置、分瓣切割装置、图像采集模块、图像处理模块和PLC控制模块皆设于工作架，所述输送装置位于所述工作架的上游。
进一步地说，还包括压合装置，用于将橘子压实的压爪。
进一步地说，所述光源为环形光源，设置于工业相机镜头的正下方，所述工业相机的光轴穿过环形光源的正中心；所述工业相机安装于一个密闭箱体内。
进一步地说，所述工业相机的拍摄视野大小为100*150mm。
进一步地说，相邻所述锚钉的间距为不小于150mm。
一种根据所述的基于深度学习的橘子检测系统的橘子分瓣方法，包括如下步骤：
(1)在输送装置上的锚钉上插满橘子，启动输送装置开始输送；
(2)橘子在输送过程中，经过红外传感器时，触发工业相机进行拍摄，将拍摄的图像传输至图像采集模块；
(3)橘子输送至分瓣切割装置，压合装置将橘子压实；
(4)图像采集模块将采集到的图像发送至经过深度学习训练的图像处理模块，由图像处理模块给出预测结果并依据预测结果计算得出待分瓣橘子所需旋转的角度信息，将此角度信息发送至PLC控制模块；
(5)PLC控制模块将角度信息换算成电机旋转的脉冲数，并控制步进电机正确地控制橘子的旋转角度，待橘子旋转一个角度后，弹簧刀从侧面切入，完成橘子的分瓣切割。
进一步地说，所述步骤(4)中图像处理模块的训练步骤如下：首先对不同样品图像进行采集，采集的样本中应适度加入一些倾斜的橘子样品，如冻橘、囊衣、小橘瓣等一些特征不明显的橘子，采集完成后保存采集时工业相机参数和镜头焦距、光源亮度；然后对样本图像进行标注，对橘子瓣特征进行像素级标注，供卷积神经网络模型深度学习。
进一步地说，所述步骤(4)中待分瓣橘子所需旋转角度的计算过程如下：根据预测结果的图像点坐标拟合出一个圆心，并且以该圆心连接各个橘子瓣；根据圆心和各个点坐标计算出每相邻两点坐标之间的夹角角度，即为橘子所需旋转角度。
进一步地说，所述步骤(5)中PLC控制模块将角度信息换算成电机旋转的脉冲数的公式为脉冲数＝夹角角度/360*7200。
本发明的有益效果至少具有以下几点：
1、通过深度学习的方式进行特征检测，在本发明设计的神经网络中，只需要检测人员，对给出的特征样品进行特征标注工作，即可对样品中的不同特征进行检测、对不同季度的橘子进行识别，不需要重新设计检测算法，具备快速部署，多样性兼容能力。并且该标注过程，只需要人工将自己认为有瑕疵的像素进行标注即可，标注人员无需了解图像处理及深度学习知识，对标注人员的要求较低。相较于基于传统图像处理的设备，不同的情况的图像识别方法均需要设计针对性的特征检测算法，对部署人员的知识储备要求极高，人力成本较高，算法的鲁棒性极低；
2、通过图像斑点分析算法，将深度学习识别得到的特征值图片的特征位置进行大小、面积等形状特征计算，相比于传统的橘子检测设备需要调整大量的检查算法和参数，该方法整个流程简单方便；
3、通过左右两个工位同时进行采集处理，提高了橘子的图像识别能力，减少了对人工上料端的要求，提高了橘子的检测效率。
附图说明
图1是本发明的结构示意图之一；
图2是本发明的结构示意图之一；
图3是本发明中卷积神经网络模型的结构示意图；
图4是本发明中卷积神经网络模型经深度学习后给出的预测结果示意图；
图5本发明中图像处理模块计算过程中拟合圆的示意图；
附图中各部分标记如下：
锚钉1、工业相机2、光源3、分瓣切割装置4、压爪5、红外传感器6、弹簧刀7、压爪8和待分瓣的橘子9。
具体实施方式
下面结合附图对本发明的较佳实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。
实施例：一种基于深度学习的橘子检测系统及分瓣方法，如图1-图3所示，输送装置，所述输送装置上竖直设有一排锚钉1，待分瓣的橘子9插接在所述锚钉上；
分瓣切割装置4，所述分瓣切割装置包括步进电机和弹簧刀7，所述步进电机用于控制待分瓣橘子的旋转角度，所述弹簧刀完成橘子的切割分瓣；步进电机用于控制橘子旋转，弹簧刀设置于待分瓣橘子的两侧，当橘子在步进电机的控制下旋转至正确的角度后，由弹簧刀完成切割分瓣。步进电机与弹簧刀组成的分瓣切割装置与PLC控制模块连接，当PLC控制模块接收到图像处理模块发出的角度信号后，由PLC控制模块将角度信号换算成步进电机旋转的脉冲数，并控制步进电机转动；
图像采集模块，所述图像采集模块包括工业相机2、光源3和红外传感器 6，所述光源位于所述工业相机的下方，所述红外传感器设置于所述光源的下方，且所述红外传感器位于输送装置上，用以在橘子经过红外传感器时触发工业相机工作；该光源为环形光源，相机的光轴穿过环形光源的正中心，当红外传感器感应橘子经过时会触发工业相机拍照，工业相机采集到橘子图像信息后，将其发送至图像处理模块进行处理；
图像处理模块，所述图像处理模块与图像采集模块连接；图像处理模块包括卷积神经网络模型，所述卷积神经网络模型利用人工标注适量的样品图像中橘子瓣的特征数据不断迭代训练，拟合导出参数模型，并根据参数模型给出待分瓣橘子的预测结果；在此预测结果的基础上，计算出待分瓣橘子所需旋转的角度；
PLC控制模块，所述PLC控制模块分别与图像采集模块、图像处理模块和分瓣切割装置连接，用于接收红外传感器的信息并控制工业相机工作、接收图像处理模块计算得出的数据并控制分瓣切割装置工作；
所述输送装置、分瓣切割装置、图像采集模块、图像处理模块和PLC控制模块皆设于工作架，所述输送装置位于所述工作架的上游。
还包括压合装置，用于将橘子压实的压爪5。
所述光源为环形光源，设置于工业相机镜头的正下方，所述工业相机的光轴穿过环形光源的正中心；所述工业相机安装于一个密闭箱体内。有效避免外界光线的干扰。
所述工业相机的拍摄视野大小为100*150mm。
相邻所述锚钉的间距为不小于150mm。避免工业相机的拍摄视野中同时出现两个橘子的情况。
一种所述的基于深度学习的橘子检测系统的橘子分瓣方法，包括如下步骤：
(1)在输送装置上的锚钉上插满橘子，启动输送装置开始输送；
(2)橘子在输送过程中，经过红外传感器时，触发工业相机进行拍摄，将拍摄的图像传输至图像采集模块；橘子在输送过程中，经过红外传感器的位置时，会发出一个高电平信号流入PLC，PLC在接受到高电平信号之后，会给出一个12V的高电平信号传给工业相机，工业相机在接收到高电平信号之后，会触发采集功能，系统会不断的扫描相机采集到的图像；
(3)橘子输送至分瓣切割装置，压合装置将橘子压实；待橘子完全浸入切割区域后，每个锚钉的正上方设置的橘子压合装置将橘子压实，避免切割时橘子松动或脱落；
(3)图像采集模块将采集到的图像发送至经过深度学习训练的图像处理模块，由图像处理模块给出预测结果并依据预测结果计算得出待分瓣橘子所需旋转的角度信息，将此角度信息发送至PLC控制模块；
(4)PLC控制模块将角度信息换算成电机旋转的脉冲数，并控制步进电机正确地控制橘子的旋转角度，待橘子旋转一个角度后，弹簧刀从侧面切入，完成橘子的分瓣切割。
所述步骤(4)中图像处理模块的训练步骤如下：首先对不同样品图像进行采集，采集的样本中应适度加入一些倾斜的橘子样品，如冻橘、囊衣、小橘瓣等一些特征不明显的橘子，采集完成后保存采集时工业相机参数和镜头焦距、光源亮度；然后对样本图像进行标注，对橘子瓣特征进行像素级标注，供卷积神经网络模型深度学习。
图像处理模块包括基于深度学习的卷积神经网络模型，运用了深度算法中的语义分割，如图3所示，全卷积网络(FCN)利用卷积神经网络模型实现了从图像像素到像素类别的变换，FCN采用反卷积层对最后一个卷积层的特征图进行上采样,使它恢复到输入图像相同的尺寸，从而可以对每个像素都产生了一个预测,同时保留了原始输入图像中的空间信息,最后在上采样的特征图上进行逐像素分类。
卷积神经网络模型的训练主要是通过人工标注适量的图像中的橘子瓣中的特征数据，再通过卷积神经网络模型不断迭代训练拟合导出一个参数模型，并且应用于橘子分瓣系统中，由图像采集模块传入训练好的深度神经网络模型，并且由模型给出预测结果。其训练过程具体步骤如下：
(1)不同样品图像采集：对已经收集的橘子样品，进行图像采集，将不同的橘子样品进行图像采集，两个工位的相机应该分开采集，每个橘子只采集一次。在采集样本的过程中，适度的加入一些倾斜的橘子样本，多采集一些特征不明显的橘子，比如冻橘、囊衣、小橘瓣等。采集完成后保存一切采集时的相机参数和镜头焦距，光源的亮度，使检测时图像数据和采集效果相同；
(2)样本图片标注：将橘子图片中的橘子瓣进行标注，对橘子瓣特征进行像素级标注，即将橘子瓣部分的像素标注为1，非橘子瓣部分的缺陷标注为 0，卷积神经网络模型将基于经过标注的样本图片进行深度学习训练。
所述步骤(4)中待分瓣橘子所需旋转角度的计算过程如下：根据预测结果的图像点坐标拟合出一个圆心，并且以该圆心连接各个橘子瓣；根据圆心和各个点坐标计算出每相邻两点坐标之间的夹角角度，即为橘子所需旋转角度。
卷积神经网络模型给出预测结果之后(如图4所示)，需要把预测结果的图像点坐标转换成步进电机可以旋转的角度信息，这需要先拟合出一个圆心，并且以该圆心连接各个橘子瓣。
如图4所示，利用最小二乘法寻找最小化误差的平方和找到一组数据的最佳函数匹配。由圆方程可知：
R2＝(x-A)2+(y-B)2
展开公式：R2＝X2-2AX+A2+y2-2By+B2
令：
a＝-2A
b＝-2B
c＝A2+B2-R2
可得圆曲线方程的另外一个形式：
x2+y2+ax+by+c＝0
只要求出参数a，b，c参数就可以求出圆心参数：
Figure RE-GDA0002288609400000081
Figure RE-GDA0002288609400000083
样本集(Xi，Yi)i∈(1，2，3...N)中的点到圆心的距离为di
点(Xi，Yi)到圆边缘的距离的平方和半径平方差为：
Figure RE-GDA0002288609400000085
令Q(a，b，c)为δi的平方和：
Figure RE-GDA0002288609400000086
这样便可以求得a，b，c使得Q(a，b，c)最小值。因为：平方差Q(a，b， c)大于0，因此函数存在大于或等于0的极小值，极大值为无穷大。对a，b， c求偏导得到极值点，比较所有极值点的函数即可得到最小值。
求方程解：
Figure RE-GDA0002288609400000087
Figure RE-GDA0002288609400000088
Figure RE-GDA0002288609400000089
先消掉C，即
Figure RE-GDA00022886094000000810
得：
Figure RE-GDA00022886094000000811
Figure RE-GDA00022886094000000812
Figure RE-GDA00022886094000000813
(3)*N-(4)*∑Yi
Figure RE-GDA0002288609400000091
Figure RE-GDA0002288609400000093
令：
Figure RE-GDA0002288609400000094
D＝(N∑XiYi-∑Xi∑Yi)
Figure RE-GDA0002288609400000095
Figure RE-GDA0002288609400000096
Figure RE-GDA0002288609400000097
可解得：
Ca+Db+E＝0
Dα+Gb+H＝0
Figure RE-GDA0002288609400000099
Figure RE-GDA00022886094000000910
可得圆心(A，B)，半径R的估计拟合值：
Figure RE-GDA00022886094000000912
Figure RE-GDA00022886094000000913
拟合出圆心坐标之后，需要计算每相邻两个点坐标之间的夹角角度，设拟合的圆心坐标R(a，b)，利用三角函数的正切公式，设预测点A(a1，b1)与圆心斜率为l1＝(a1-a)/(b1-b)预测点B(a2，b2)与圆心斜率为 l2＝(a2-a)/(b2-b)，则：
Figure RE-GDA0002288609400000101
可以求得夹角θ，从而得出步进电机所需旋转的角度信息，并根据与PLC 定义好的通信协议发送给PLC。
所述步骤(5)中PLC控制模块将角度信息换算成电机旋转的脉冲数的公式为脉冲数＝夹角角度/360*7200。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (9)

1.一种基于深度学习的橘子检测系统，其特征在于：输送装置，所述输送装置上竖直设有一排锚钉，待分瓣的橘子插接在所述锚钉上；
分瓣切割装置，所述分瓣切割装置包括步进电机和弹簧刀，所述步进电机用于控制待分瓣橘子的旋转角度，所述弹簧刀完成橘子的切割分瓣；
图像采集模块，所述图像采集模块包括工业相机、光源和红外传感器，所述光源位于所述工业相机的下方，所述红外传感器设置于所述光源的下方，且所述红外传感器位于输送装置上，用以在橘子经过红外传感器时触发工业相机工作；
图像处理模块，所述图像处理模块与图像采集模块连接；图像处理模块包括卷积神经网络模型，所述卷积神经网络模型利用人工标注适量的样品图像中橘子瓣的特征数据不断迭代训练，拟合导出参数模型，并根据参数模型给出待分瓣橘子的预测结果；在此预测结果的基础上，计算出待分瓣橘子所需旋转的角度；
PLC控制模块，所述PLC控制模块分别与图像采集模块、图像处理模块和分瓣切割装置连接，用于接收红外传感器的信息并控制工业相机工作、接收图像处理模块计算得出的数据并控制分瓣切割装置工作；
所述输送装置、分瓣切割装置、图像采集模块、图像处理模块和PLC控制模块皆设于工作架，所述输送装置位于所述工作架的上游。
2.根据权利要求1所述的基于深度学习的橘子检测系统，其特征在于：还包括压合装置，用于将橘子压实的压爪。
3.根据权利要求1所述的基于深度学习的橘子检测系统，其特征在于：所述光源为环形光源，设置于工业相机镜头的正下方，所述工业相机的光轴穿过环形光源的正中心；所述工业相机安装于一个密闭箱体内。
4.根据权利要求1所述的基于深度学习的橘子检测系统，其特征在于：所述工业相机的拍摄视野大小为100*150mm。
5.根据权利要求1所述的基于深度学习的橘子检测系统，其特征在于：相邻所述锚钉的间距为不小于150mm。
6.一种根据权利要求1所述的基于深度学习的橘子检测系统的橘子分瓣方法，其特征在于：包括如下步骤：
(1)在输送装置上的锚钉上插满橘子，启动输送装置开始输送；
(2)橘子在输送过程中，经过红外传感器时，触发工业相机进行拍摄，将拍摄的图像传输至图像采集模块；
(3)橘子输送至分瓣切割装置，压合装置将橘子压实；
(4)图像采集模块将采集到的图像发送至经过深度学习训练的图像处理模块，由图像处理模块给出预测结果并依据预测结果计算得出待分瓣橘子所需旋转的角度信息，将此角度信息发送至PLC控制模块；
(5)PLC控制模块将角度信息换算成电机旋转的脉冲数，并控制步进电机正确地控制橘子的旋转角度，待橘子旋转一个角度后，弹簧刀从侧面切入，完成橘子的分瓣切割。
7.根据权利要求1所述的橘子分瓣方法，其特征在于：所述步骤(4)中图像处理模块的训练步骤如下：首先对不同样品图像进行采集，采集的样本中应适度加入一些倾斜的橘子样品，如冻橘、囊衣、小橘瓣等一些特征不明显的橘子，采集完成后保存采集时工业相机参数和镜头焦距、光源亮度；然后对样本图像进行标注，对橘子瓣特征进行像素级标注，供卷积神经网络模型深度学习。
8.根据权利要求1所述的橘子分瓣方法，其特征在于：所述步骤(4)中待分瓣橘子所需旋转角度的计算过程如下：根据预测结果的图像点坐标拟合出一个圆心，并且以该圆心连接各个橘子瓣；根据圆心和各个点坐标计算出每相邻两点坐标之间的夹角角度，即为橘子所需旋转角度。
9.根据权利要求1所述的基于深度学习的橘子检测系统及分瓣方法，其特征在于：所述步骤(5)中PLC控制模块将角度信息换算成电机旋转的脉冲数的公式为脉冲数＝夹角角度/360*7200。
CN201910973456.9A 2019-10-14 2019-10-14 基于深度学习的橘子检测系统及分瓣方法 Pending CN110648366A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910973456.9A CN110648366A (zh) 2019-10-14 2019-10-14 基于深度学习的橘子检测系统及分瓣方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910973456.9A CN110648366A (zh) 2019-10-14 2019-10-14 基于深度学习的橘子检测系统及分瓣方法

Publications (1)

Publication Number Publication Date
CN110648366A true CN110648366A (zh) 2020-01-03

Family

ID=68994004

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910973456.9A Pending CN110648366A (zh) 2019-10-14 2019-10-14 基于深度学习的橘子检测系统及分瓣方法

Country Status (1)

Country Link
CN (1) CN110648366A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111537512A (zh) * 2020-05-21 2020-08-14 中国烟草总公司郑州烟草研究院 一种基于深度学习的烟梗形态智能识别系统及方法
CN113255773A (zh) * 2021-05-27 2021-08-13 浙江丰岛食品股份有限公司 一种基于人工智能的橘子分瓣系统及方法
CN113569841A (zh) * 2021-09-23 2021-10-29 上海启迪睿视智能科技有限公司 一种用于线阵相机的数据采集与标注装置及其标注方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104256870A (zh) * 2014-09-19 2015-01-07 浙江省农业科学院 柑橘分瓣设备
CN107862326A (zh) * 2017-10-30 2018-03-30 昆明理工大学 一种基于全卷积神经网络的成熟苹果识别方法
CN109170982A (zh) * 2018-09-06 2019-01-11 台州市通益机械设备有限公司 一种桔子分瓣机
CN109409365A (zh) * 2018-10-25 2019-03-01 江苏德劭信息科技有限公司 一种基于深度目标检测的待采摘水果识别和定位方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104256870A (zh) * 2014-09-19 2015-01-07 浙江省农业科学院 柑橘分瓣设备
CN107862326A (zh) * 2017-10-30 2018-03-30 昆明理工大学 一种基于全卷积神经网络的成熟苹果识别方法
CN109170982A (zh) * 2018-09-06 2019-01-11 台州市通益机械设备有限公司 一种桔子分瓣机
CN109409365A (zh) * 2018-10-25 2019-03-01 江苏德劭信息科技有限公司 一种基于深度目标检测的待采摘水果识别和定位方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
E. SHELHAMER,J. LONG AND T. DARRELL: "Fully Convolutional Networks for Semantic Segmentation", 《 IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE 》 *
岳昊: "《基于机器视觉的医用塑料瓶瓶口检测系统研究》", 《智能计算机与应用》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111537512A (zh) * 2020-05-21 2020-08-14 中国烟草总公司郑州烟草研究院 一种基于深度学习的烟梗形态智能识别系统及方法
CN113255773A (zh) * 2021-05-27 2021-08-13 浙江丰岛食品股份有限公司 一种基于人工智能的橘子分瓣系统及方法
CN113569841A (zh) * 2021-09-23 2021-10-29 上海启迪睿视智能科技有限公司 一种用于线阵相机的数据采集与标注装置及其标注方法

Similar Documents

Publication Publication Date Title
CN106548182B (zh) 基于深度学习和主成因分析的路面裂纹检测方法及装置
CN110648366A (zh) 基于深度学习的橘子检测系统及分瓣方法
CN107977639B (zh) 一种人脸清晰度判断方法
CN108985170A (zh) 基于三帧差分法及深度学习的输电线路悬挂物识别方法
WO2018086233A1 (zh) 一种字符分割方法和装置、及元件检测方法和装置
CN112052853B (zh) 一种基于深度学习的手写气象档案资料的文本定位方法
CN109241983A (zh) 一种图像处理与神经网络结合的条烟图像识别方法
CN108198417B (zh) 一种基于无人机的道路巡检系统
CN107179272B (zh) 一种显微镜下急性分离神经细胞捕捉方法
CN114638797A (zh) 一种基于线阵相机的铜表面缺陷检测方法及装置
CN112184648A (zh) 一种基于深度学习的活塞表面缺陷检测方法及系统
CN103295013A (zh) 一种基于成对区域的单幅图像阴影检测方法
CN109598681B (zh) 一种对称唐卡修复后图像的无参考质量评价方法
CN101697196A (zh) 摄像机铭牌序列号数字识别系统及方法
CN115272204A (zh) 一种基于机器视觉的轴承表面划痕检测方法
CN110170456A (zh) 基于图像处理的水果分拣装置
CN103983426A (zh) 一种基于机器视觉的光纤缺陷检测及分类系统及其方法
CN108665468B (zh) 一种提取直线塔绝缘子串的装置及方法
CN115841633A (zh) 一种电力塔和电力线关联矫正的电力塔和电力线检测方法
CN113673614B (zh) 基于机器视觉的地铁隧道异物入侵检测装置及方法
CN106900601A (zh) 一种快速精准识别对虾图像虾头点与虾尾点的方法
CN113642570A (zh) 一种昏暗环境下矿车车牌识别的方法
CN112634241A (zh) 基于人工智能的光伏电池功率衰减分析方法及系统
CN108734054A (zh) 无遮挡的柑橘果实图像识别方法
CN113092502A (zh) 一种无人机路面破损检测方法与系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200103