CN112966541B - 果蔬自动验货方法、系统、电子设备以及计算机可读介质 - Google Patents
果蔬自动验货方法、系统、电子设备以及计算机可读介质 Download PDFInfo
- Publication number
- CN112966541B CN112966541B CN202011008779.3A CN202011008779A CN112966541B CN 112966541 B CN112966541 B CN 112966541B CN 202011008779 A CN202011008779 A CN 202011008779A CN 112966541 B CN112966541 B CN 112966541B
- Authority
- CN
- China
- Prior art keywords
- neural network
- vegetables
- fruit
- fruits
- vegetable
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 235000012055 fruits and vegetables Nutrition 0.000 title claims abstract description 166
- 238000000034 method Methods 0.000 title claims abstract description 71
- 238000013528 artificial neural network Methods 0.000 claims abstract description 154
- 238000012549 training Methods 0.000 claims abstract description 67
- 238000001514 detection method Methods 0.000 claims abstract description 54
- 238000007689 inspection Methods 0.000 claims abstract description 44
- 238000000605 extraction Methods 0.000 claims abstract description 41
- 238000012545 processing Methods 0.000 claims abstract description 23
- 235000013399 edible fruits Nutrition 0.000 claims description 20
- 238000004806 packaging method and process Methods 0.000 claims description 13
- 238000010586 diagram Methods 0.000 claims description 10
- 235000013311 vegetables Nutrition 0.000 claims description 7
- 238000002372 labelling Methods 0.000 claims description 5
- 239000000284 extract Substances 0.000 claims description 4
- 238000003860 storage Methods 0.000 claims description 3
- 238000004590 computer program Methods 0.000 claims description 2
- 230000006870 function Effects 0.000 description 21
- 230000008569 process Effects 0.000 description 14
- 238000003062 neural network model Methods 0.000 description 9
- 241000220225 Malus Species 0.000 description 8
- 238000010276 construction Methods 0.000 description 5
- 238000005520 cutting process Methods 0.000 description 5
- 235000021016 apples Nutrition 0.000 description 4
- 238000011161 development Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 244000241235 Citrullus lanatus Species 0.000 description 2
- 235000012828 Citrullus lanatus var citroides Nutrition 0.000 description 2
- 241000238631 Hexapoda Species 0.000 description 2
- 235000007688 Lycopersicon esculentum Nutrition 0.000 description 2
- 240000003768 Solanum lycopersicum Species 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000002950 deficient Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000005284 excitation Effects 0.000 description 2
- 239000006260 foam Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 244000144730 Amygdalus persica Species 0.000 description 1
- 240000008574 Capsicum frutescens Species 0.000 description 1
- 235000002568 Capsicum frutescens Nutrition 0.000 description 1
- 244000241257 Cucumis melo Species 0.000 description 1
- 235000015510 Cucumis melo subsp melo Nutrition 0.000 description 1
- 235000006029 Prunus persica var nucipersica Nutrition 0.000 description 1
- 235000006040 Prunus persica var persica Nutrition 0.000 description 1
- 244000017714 Prunus persica var. nucipersica Species 0.000 description 1
- 235000010724 Wisteria floribunda Nutrition 0.000 description 1
- 235000002017 Zea mays subsp mays Nutrition 0.000 description 1
- 241000482268 Zea mays subsp. mays Species 0.000 description 1
- FJJCIZWZNKZHII-UHFFFAOYSA-N [4,6-bis(cyanoamino)-1,3,5-triazin-2-yl]cyanamide Chemical compound N#CNC1=NC(NC#N)=NC(NC#N)=N1 FJJCIZWZNKZHII-UHFFFAOYSA-N 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 239000001728 capsicum frutescens Substances 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 210000000078 claw Anatomy 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 235000012907 honey Nutrition 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000012856 packing Methods 0.000 description 1
- 239000000843 powder Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Abstract
一种果蔬自动验货方法，包括：果蔬视频获取步骤，获取包括待验货的果蔬的视频；视频处理步骤，将视频处理为多个图片；初级识别步骤，使用初级识别神经网络选择出多个图片之中的包含果蔬的图片；特征提取步骤，对于选择的包含果蔬的图片，使用特征提取神经网络提取果蔬的图像的特征图；以及质量检测步骤，利用质量检测神经网络基于特征图对果蔬的多个属性进行检测。收集包含多种果蔬品类的图像信息以生成训练数据集，基于训练数据集训练神经网络以分别获得初级识别神经网络、特征提取神经网络和质量检测神经网络。本发明的上述果蔬自动验货方法，能够通过使用手机拍摄视频而对农产品进行智能验货，节省了验货成本，提高了自动验货的适用范围。
Description
技术领域
本发明涉及计算机视觉识别领域，尤其涉及一种基于机器视觉识别果蔬自动验货的方法、系统、电子设备以及计算机可读介质。
背景技术
虽然产量巨大，但是农产品在电子商务领域占比较低，这是因为网上交易的非直接性、非面对面性导致交易过程中信息不对称，货品质量与销售价格匹配程度不高，限制了农产品在电子商务领域的发展。
目前在农产品交易过程中，主要依赖人工验货来确定农产品的质量等，验货的结果存在主观性，浪费人力且验货结果不可靠。随着人工智能的发展，出现了一些自动验货或者分拣的方法，但其具有验货设备结构复杂、造价高等缺点，不适合在农产品交易过程中大规模使用。
例如在一种已知的苹果分级方法中，需要将苹果放到果盘上，将果盘放到传输带上，然后传输带开始输送苹果，到达暗箱，再利用LED灯和相机拍摄苹果的清晰图像，之后图像传输到计算机，使用分类模型分析苹果的等级。
此外，在另一种已知的蔬菜识别方法中，在装有安卓系统的电子秤上部署训练好的神经网络，通过摄像头采集电子秤上所称蔬菜的图片，自动识别所称蔬菜的品类并获取对应品类的单价，从而计算称重蔬菜的总价。
发明内容
技术问题
然而，在上述苹果分级方法中使用了9种硬件设施，造价成本高，实际部署困难，无法在农产品交易过程中使用。此外，通过拍摄图像对水果进行分级，拍摄的图像基于一个暗箱的封闭环境，而在实际验货的时候环境更复杂，使得该方法无法实施。而且该方法分级的依据是颜色、果形、果径和表面缺陷，在实际农产品交易过程中还涉及果蔬包装、果蔬内部情况(切面图)、果皮厚度、虫眼等等，而该方法并不涉及上述指标。
另外，上述另一种蔬菜识别方法只考虑了蔬菜的品类，但是实际相同品类的不同规格价格差异是比较大的，该方法无法做到对不同规格的识别。此外该方法是将模型部署在装有安卓系统电子秤上运行，目前移动设备的计算能力有限，该方法在识别速度和识别准确率上都有待提升。
针对以上问题，本发明提供了一种基于手机拍摄视频的果蔬自动验货方法及系统，可在批发市场、产地等嘈杂环境下使用手机对交易的农产品进行验货，具有使用便捷、验货结果可靠的优点。
解决问题的方案
根据本发明的一个方面，提供一种果蔬自动验货方法，包括：
果蔬视频获取步骤，获取包括待验货的果蔬的视频；
视频处理步骤，将所述视频处理为多个图片；
初级识别步骤，使用初级识别神经网络选择出所述多个图片之中的包含果蔬的图片；
特征提取步骤，对于选择的所述包含果蔬的图片，使用特征提取神经网络提取所述果蔬的图像的特征图；以及
质量检测步骤，利用质量检测神经网络基于所述特征图对所述果蔬的多个属性进行检测，并输出检测结果，
其中，收集包含多种果蔬品类的图像信息以生成训练数据集，基于所述训练数据集训练多个神经网络以分别获得所述初级识别神经网络、所述特征提取神经网络和所述质量检测神经网络。
可选地，根据本发明的一个方面的果蔬自动验货方法，基于训练数据集训练神经网络包括：
训练数据集生成步骤，生成所述训练数据集；
初级识别神经网络训练步骤，使用所述训练数据集训练所述初级识别神经网络，使得对于任意多个实例图片，所述初级识别神经网络能够识别所述多个实例图片中是否包含果蔬，果蔬在图片中的位置、果蔬的具体类别以及果蔬的包装情况，并选择出所述包含果蔬的图片；
特征提取神经网络训练步骤，训练所述特征提取神经网络，使得对于所述初级识别神经网络输出的所述包含果蔬的图片，所述特征提取神经网络能够提取所述果蔬图像的特征图；以及
质量检测神经网络训练步骤，训练所述质量检测神经网络，使得所述质量检测神经网络能够基于所述特征图对所述果蔬的所述多个属性进行检测。
可选地，根据本发明的一个方面的果蔬自动验货方法，所述质量检测神经网络包括包装识别神经网络、果径识别神经网络、外观识别神经网络、剥切图识别神经网络和瑕疵品识别神经网络，以对所述果蔬的包括包装、果径、外观、剥切图和瑕疵品的多个属性进行识别。
可选地，根据本发明的一个方面的果蔬自动验货方法，生成所述训练数据集具体包括：
收集分别包括多个品类的果蔬的多个视频；
将每个所述视频分别处理成多个样本图片；
扩展所述多个样本图片的数量；
针对每个样本图片进行人工标注，以生成数据集；以及
随机抽取预定数量的数据集作为训练数据集。
可选地，根据本发明的一个方面的果蔬自动验货方法，生成所述训练数据集还包括：所述人工标注为标注每个所述样本图片中的果蔬的位置、大小、品相或是否有瑕疵的信息。
可选地，根据本发明的一个方面的果蔬自动验货方法，扩展所述多个样本图片的数量的方法包括对所述样本图片进行旋转、缩放和剪裁的操作。
可选地，根据本发明的一个方面的果蔬自动验货方法，所述初级识别神经网络部署在移动终端上；所述质量检测神经网络部署在服务端上，并且其中，所述方法还包括图片输送步骤，将所述包含果蔬的图片从所述移动终端输送至所述服务端。
可选地，根据本发明的一个方面的果蔬自动验货方法，所述移动终端为手机、平板电脑或其它便携验货设备。
根据本发明的另一方面，提供一种果蔬自动验货系统，包括：
果蔬视频获取模块，获取包括待验货的果蔬的视频；
视频处理模块，将所述视频处理为多个图片；
初级识别模块，使用初级识别神经网络选择出所述多个图片之中的包含果蔬的图片；
特征提取模块，对于选择的所述包含果蔬的图片，使用特征提取神经网络提取所述果蔬的图像的特征图；以及
质量检测模块，利用质量检测神经网络基于所述特征图对所述果蔬的多个属性进行检测，并输出检测结果，
其中，收集包含多种果蔬品类的图像信息以生成训练数据集，基于所述训练数据集训练多个神经网络以分别获得所述初级识别神经网络、所述特征提取神经网络和所述质量检测神经网络。
可选地，根据本发明的另一方面的果蔬自动验货系统，所述果蔬视频获取模块、所述视频处理模块和所述初级识别模块设置在移动终端上，并且所述质量检测模块设置在服务端，并且其中，所述系统还包括图片输送模块，该图片输送模块将所述包含果蔬的图片从所述移动终端输送至所述服务端。
可选地，根据本发明的另一方面的果蔬自动验货系统，在所述初级识别模块中，使用初级识别神经网络识别出所述多个图片中是否包含果蔬、果蔬品类在图片中的位置、果蔬的具体类别以及果蔬的包装属性。
可选地，根据本发明的另一方面的果蔬自动验货系统，所述质量检测神经网络包括包装识别神经网络、果径识别神经网络、外观识别神经网络、剥切图识别神经网络和瑕疵品识别神经网络，以对所述果蔬的包括包装、果径、外观、剥切图和瑕疵品的多个属性进行识别。
根据本发明的再一方面，提供一种具有果蔬自动验货功能的电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现上述根据本发明的一个方面的任意一项所述的果蔬自动验货方法。
根据本发明的又一方面，提供一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现上述根据本发明的一个方面的任意一项的果蔬自动验货方法。
发明的有益效果
通过使用根据本发明的果蔬自动验货方法，通过用手机拍摄视频即可对农产品进行智能验货，节省人工验货的成本，降低从业人员的经验要求，降低农产品交易流程中由于信息不对称导致的不合理交易，促进农产品电商的可持续发展。
此外，根据本发明的果蔬自动验货系统，由于使用手机终端和服务端协作并且使用多重神经网络进行深度学习，所以能够实现果蔬属性的多步骤、多维度的精细识别，同时减少硬件设施的数量，降低造假成本，提高适用范围。
附图说明
图1是示出根据本发明的一优选实施例的果蔬自动验货方法的流程图；
图2是示出根据本发明的一优选实施例的果蔬自动验货系统支持的验货功能的示意图；
图3是示出根据本发明的一优选实施例的果蔬自动验货系统搭建流程的流程图；
图4是示出根据本发明的一优选实施例的用于训练神经网络的训练数据集的生成流程；
图5是示出根据本发明的一优选实施例的训练神经网络的流程图；
图6是示出根据本发明一优选实施例果蔬自动验货系统的配置有初级识别神经网络的手机端系统功能和配置有特征提取神经网络和质量检测神经网络的服务端系统功能的以及它们之间的关系的图；
图7是示出根据本发明的一优选的果蔬自动验货系统的模块图。
具体实施方式
下面将结合本发明的具体实施例及相应的附图对本发明技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本发明一部分优选实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了能够通过手机拍摄视频即可对农产品进行自动验货，本申请提供一种智能系统，其分为手机终端系统和服务端系统两部分，能够实现多步骤识别，并且利用深度学习对农产品的外包装、内包装、外表品相、剥/切图、瑕疵品和果径大小进行多维度识别。
具体的，首先，结合图1对本发明一优选实施例的果蔬自动验货方法进行描述。如图1所示，本发明的果蔬自动验货方法包括：果蔬视频获取步骤S1，获取包括果蔬的视频，一般为手机拍摄的视频；图片处理步骤S2，将所述视频处理为多个图片；初级识别步骤S3，使用例如手机端系统上的初级识别神经网络识别出所述多个图片之中的包含果蔬的图片；图片输送步骤S4，将包含所述果蔬的图片从所述初级识别神经网络输送至特征提取神经网络；特征提取步骤S5，对于所述包含果蔬的图片，使用服务端系统的特征提取神经网络提取所述果蔬的图像的特征图；质量检测步骤S6，利用质量检测神经网络基于所述特征图对所述果蔬的多个属性进行识别和检测，并输出检测结果。通过基于训练数据集训练神经网络以分别获得所述初级识别神经网络、所述特征提取神经网络和所述质量检测神经网络，其中，收集包含多种果蔬品类的图像信息以生成所述训练数据集。
如上文所述，根据本发明所述的果蔬自动验货方法，通过训练多个神经网络来对果蔬进行多步骤、多维度识别，使得可以在自然场景下使用例如手机拍摄的包括果蔬的视频来进行果蔬自动验货，提高了对果蔬进行智能验货的适用范围，并且实际部署简单方便，操作更便捷，成本更低，验货结果更可靠。以下对本发明的果蔬自动验货方法的各步骤进行详细描述。
本发明的果蔬自动验货方法能够实现对果蔬多步骤、多维度的识别，其中本发明的自动验货的维度如图2所示，自动验货主要包括六个验货指标，即外包装、内包装、外表品相、剥/切图、瑕疵品和果径大小。其中，外包装指标例如包括泡沫箱、框装、纸箱、袋状和/或散装等。内包装指标例如包括泡沫套网、纸膜或无包装等。外表品相指标例如包括色泽和条纹等。剥/切图指标例如包括色泽、皮厚度、内部腐烂、空心和果瓣大小等。瑕疵品指标例如包括损伤、腐烂斑点、畸形和虫眼等。果径大小指标例如包括绝对值和整齐度等。本发明通过搭建验货系统，利用人工神经网络完成如此多维度的识别，并且通过验证上述诸多指标将每个果蔬品类分为一级品、二级品这两个等级。
如上所述，在本发明中，验货系统分为手机端系统和服务端系统。由于计算能力的限制，手机端系统运行的模型相对轻量级，功能也相对简单，手机端系统主要负责验货视频的拍摄和品类的初筛；服务端系统首先对手机端拍摄的视频或图片进行初筛，过滤拍摄质量差的图片，然后对图片进行特征提取并且进行上述各种指标的精细识别。如图6和图7所示，根据手机端系统和服务端系统的功能分配，手机端系统部署有初级识别神经网络，服务端系统部署有特征提取神经网络和由包装识别模型、果径识别模型、外观识别模型、损伤识别模型、剥切图识别模型和瑕疵品检测模型这样的多个神经网络模型组成的质量检测神经网络。此外，手机端系统上的初级识别神经网络也可以执行特征提取过程，且一般为比较轻量级的特征提取过程。
包括手机端系统和服务端系统的根据本发明的果蔬自动验货系统的搭建流程如图3所示，主要包括数据集采集和处理、神经网络模型训练和服务搭建。下面分别说明三个过程。
<数据采集和处理过程>
数据集采集和处理过程如图4所示，包括如下步骤：
S401：收集果蔬品类视频。首先收集农产品交易中需要验货的果蔬品类的视频，例如收集10个果蔬品类，每个品类验货视频时长约为2分钟。
S402：将视频处理成多个图片。使用例如公知的多媒体处理工具FFmpeg将视频处理成图片，例如每个品类一级品图片约为100张，次级品图片约为50张。
S403：数据集扩展。使用例如公知的计算机视觉库OpenCV通过对图片旋转、缩放、裁剪等操作将图片数据集扩展为每个品类300张。
S404：人工标注。使用例如公知的数据标注软件LabelMe对每个图片中品类的位置、大小、品相、是否有瑕疵等信息进行人工标注。
S405：随机抽取训练数据集。例如，随机抽取80％作为训练数据集，20％作为测试数据集。
其中，由于实际采集到的视频中一级品较多，所以如果次级品数量不够，则可以人工拍摄或者从互联网下载补充次级品图片，使得满足每个品类的次级品图片约为50张。
接下来具体描述神经网络模型的训练过程。
<神经网络训练过程>
人工神经网络是从信息处理角度对人脑神经元网络进行抽象，建立某种模型，按不同的连接方式组成不同的网络，简称为神经网络或类神经网络。神经网络是一种运算模型，由大量的节点(或称神经元)之间相互联接构成。每个节点代表一种特定的输出函数，称为激励函数(activation function)。每两个节点间的连接都代表一个对于通过该连接信号的加权值，称之为权重。网络的输出则依网络的连接方式，权重值和激励函数的不同而不同。而网络自身通常都是对自然界某种算法或者函数的逼近。神经网络通过对数据特征进行逐层抽象而最终提取完成任务所需要的特征。在图像识别中，训练神经网络以提取出每个图像的核心特征。下面参考图5详细说明根据本实施例的神经网络的训练过程。
如图5所示，训练神经网络主要包括部署于手机端的初级识别神经网络的训练步骤，特征提取神经网络的训练步骤以及部署于服务端的质量检测神经网络的训练步骤。
下面描述初级识别神经网络的定义和训练步骤。
首先基于公知的轻量型神经网络MobileNetV3和公知的目标检测网络SSD(SingleShot MultiBox Detector)搭建初级识别神经网络，搭建的网络结构共29层，其中前17层为特征提取网络，后12层提供不同尺度的品类检测网络。
然后定义品类检测网络的损失函数：
loss＝α·lossconf+β·lossloc+γ·losscls+δ·lossattr 式1
其中，lossconf表示是否包含品类的损失函数，lossloc表示品类在图片中的位置的损失函数，losscls表示品类所述具体类别的损失，lossattr表示品类属性(例如内外包装)的损失函数，α、β、γ和δ作为超参数调整每一项所占的比重。每一项具体的定义如下，其中K表示输出特征图网格的数量，M表示SSD先验框的数量，此处M＝5。
式2为是否包含物体的损失函数，其中，lij表示真实标签，表示网络预测标签。
式3表示品类位置的损失函数，表示输出网格中是否包含品类，wi、hi表示品类在图片中实际的宽和高，/>表示神经网络预测的宽和高，xi、yi表示品类实际中心点位置，/>表示神经网络预测中心点的位置。
式4表示物体所述的具体品类的损失函数，pi(c)表示物体i属于品类c的概率，表示神经网络预测物体i所属类别c的概率。
式5表示品类包装等属性的损失函数，pi(c)表示物体i包含属性c的概率，表示神经网络预测物体i包含属性c的概率。
确定损失函数后，使用公知的开源人工神经网络库Keras和公知的开源机器学习系统TensorFlow实现上述神经网络。此外，使用上述采集和标注的训练数据集对上述神经网络进行训练，训练200轮达到拟合状态，保存模型文件。最后利用TensorFlow Lite将保存的模型文件转换成tflite格式，然后可作为手机端模型部署于手机终端上。
训练后的手机端的初级识别神经网络能够识别图片中是否包含果蔬品类、品类在图片中的位置、品类所属的具体类别以及诸如内外包装这样的品类的属性。
下面描述部署于服务端的各神经网络模型的定义和训练步骤。
相比于部署于手机端的神经网络模型，服务端的神经网络的复杂度大幅提升。如图7所示，服务端的神经网络分为特征提取神经网络和质量检测神经网络。在特征提取神经网络中使用公知的残差网络即ResNet50作为特征提取网络。在外表品相、剥/切图、瑕疵品等检测任务中，使用公知的孪生神经网络(Siamese Network)作为各个指标检测的神经网络模型。计算待检测图片与标准图片之间的相似度，即可判断待检测图片与哪些标准最接近。孪生神经网络的损失函数如式6所示，其中W是网络权重，Y是成对标签，如属于同一类，则Y＝0，如果/>属于不同类，则Y＝1。DW表示/>的欧氏距离。
由于实际交易场景中基本不存在质量较差的农产品，所以无法采集到大量的质量较差的品类的图片，另外对于不同品类来说同一指标的评判标准是不一样的(例如：对于外表品相，有些品类深色为优质，而有些品类浅色为优质)，这为质量识别造成了很大的困难。所以本发明基于公知的元学习模型(Meta Learn)和孪生神经网络提出了一种质量检测模型的训练方法，训练算法流程如算法1。通过算法1可训练得到一个识别多个品类各个指标的通用检测模型：
算法1基于mate learn的质量检测算法
训练流程如下：
使用Keras+TensorFlow实现上述网络模型；
使用上述采集和标注的训练数据集和算法1训练Meta Learn的参数θ；
使用θ训练质量检测神经网络，训练200轮达到拟合状态，将模型保存成文件。
训练后的服务端的神经网络能够针对验货的各个指标进行精细识别，从而完成验货。
以上描述了实现根据本发明的果蔬自动验货方法的果蔬自动验货系统的神经网络训练过程。
<系统搭建过程>
本申请的果蔬自动验货系统的系统搭建过程分为1)使用安卓系统和运行tflite的手机应用程序，和2)使用公知的python语言+flask框架开发服务端功能和运行孪生神经网络模型这两个过程。
系统搭建好后，即可利用搭建的系统进行果蔬的自动验货。下面描述果蔬自动验货方法的具体流程。如图1所示，流程包括以下步骤：
果蔬视频获取步骤S1，通过例如手机拍摄获取包括果蔬的视频；
视频处理步骤S2，在手机端将视频处理为多个图片；
初级识别步骤S3，使用手机端的初级识别神经网络对多个图片进行初级识别，例如识别图片中是否包含果蔬、果蔬在图片中的位置、果蔬的具体类别以及果蔬的内外包装等属性；
图片输送步骤S4，将包含果蔬的图片从手机端的初级识别神经网络输送至服务端的特征提取神经网络；
特征提取步骤S5，对于包含果蔬的图片，使用服务端的特征提取神经网络提取所述果蔬的图像的特征图；
质量检测步骤S6，利用质量检测神经网络基于特征图对果蔬的多个属性进行检测，并输出检测结果。
其中，在步骤S6中，系统可以精细地识别出果蔬的内外包装、外表品相、剥切图、果径大小、损伤情况等详细指标，如上文所述。
以上具体描述了本发明的实施例的果蔬自动验货方法和系统，下面描述结合一个实例进一步描述本发明的果蔬自动验货方法和系统。需要指出的是，该实例仅仅为示例性的。
本实例收集了博洋甜瓜、羊角蜜、麒麟西瓜、金城5号西瓜、红富士苹果、硬粉西红柿、大红西红柿、小米椒、甜玉米、水蜜桃、油桃的验货视频各两分钟，最终通过上述数据集采集和处理的处理方式，每个品类得到300张图片。根据上述手机端系统的初级识别神经网络的定义和训练步骤以及上述服务端系统的各神经网络模型的定义和训练步骤来训练手机端和服务端的神经网络模型，开发手机终端应用程序和服务端应用程序，完成果蔬自动验货系统搭建。
图7为本发明的果蔬自动验货系统的一个实施例的模块示意图。图7所示的果蔬自动验货系统700包括：果蔬视频获取模块701，用于获取包括果蔬的视频；视频处理模块702，将视频处理为多个图片；初级识别模块703，使用初级识别神经网络识别出多个图片之中的包含果蔬的图片；图片输送模块704，将包含果蔬的图片从初级识别神经网络输送至特征提取神经网络；特征提取模块705，对于包含果蔬的图片，使用特征提取神经网络提取果蔬的图像的特征图；质量检测模块706，利用质量检测神经网络基于特征图对果蔬的多个属性进行检测，并输出检测结果。
作为另一方面，本发明还提供了一种具有果蔬自动验货功能的电子设备，该电子设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序，并且当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上所述的果蔬自动验货方法。
作为又一方面，本发明还提供了一种计算机可读介质，该计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该设备执行时，使得该设备包括上述果蔬自动验货方法的各个步骤。
根据本发明实施例的技术方案，获得了以下效果。
通过使用根据本发明的果蔬自动验货方法，通过用手机拍摄视频即可对农产品进行智能验货，节省人工验货的成本，降低从业人员的经验要求，降低农产品交易流程中由于信息不对称导致的不合理交易，促进农产品电商的可持续发展。
此外，根据本发明的果蔬自动验货系统，由于使用手机终端和服务端协作并且使用多重神经网络进行深度学习，所以能够实现果蔬属性的多步骤、多维度的精细识别，同时减少硬件设施的数量，降低造假成本，提高适用范围。
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。
Claims (7)
1.一种果蔬自动验货方法，其特征在于，包括：
果蔬视频获取步骤，获取包括待验货的果蔬的视频；
视频处理步骤，将所述视频处理为多个图片；
初级识别步骤，使用初级识别神经网络选择出所述多个图片之中的包含果蔬的图片；
特征提取步骤，对于选择的所述包含果蔬的图片，使用特征提取神经网络提取所述果蔬的图像的特征图；以及
质量检测步骤，利用质量检测神经网络基于所述特征图对所述果蔬的多个属性进行检测，并输出检测结果，
其中，收集包含多种果蔬品类的图像信息以生成训练数据集，基于所述训练数据集训练多个神经网络以分别获得所述初级识别神经网络、所述特征提取神经网络和所述质量检测神经网络，
其中，基于训练数据集训练神经网络包括：
训练数据集生成步骤，生成所述训练数据集；
初级识别神经网络训练步骤，使用所述训练数据集训练所述初级识别神经网络，使得对于任意多个实例图片，所述初级识别神经网络能够识别所述多个实例图片中是否包含果蔬，果蔬在图片中的位置、果蔬的具体类别以及果蔬的包装情况，并选择出所述包含果蔬的图片；
特征提取神经网络训练步骤，训练所述特征提取神经网络，使得对于所述初级识别神经网络输出的所述包含果蔬的图片，所述特征提取神经网络能够提取所述果蔬图像的特征图；以及
质量检测神经网络训练步骤，训练所述质量检测神经网络，使得所述质量检测神经网络能够基于所述特征图对所述果蔬的所述多个属性进行检测，
其中，所述质量检测神经网络包括包装识别神经网络、果径识别神经网络、外观识别神经网络、剥切图识别神经网络和瑕疵品识别神经网络，以对所述果蔬的包括包装、果径、外观、剥切图和瑕疵品的多个属性进行识别，
其中，所述初级识别神经网络部署在移动终端上；所述质量检测神经网络部署在服务端上，
其中，所述方法还包括图片输送步骤，将所述包含果蔬的图片从所述移动终端输送至所述服务端，并且
其中，所述移动终端为手机、平板电脑或其它便携验货设备。
2.根据权利要求1所述方法，其特征在于，生成所述训练数据集具体包括：
收集分别包括多个品类的果蔬的多个视频；
将每个所述视频分别处理成多个样本图片；
扩展所述多个样本图片的数量；
针对每个样本图片进行人工标注，以生成数据集；以及
随机抽取预定数量的数据集作为训练数据集。
3.根据权利要求2所述的方法，其特征在于，生成所述训练数据集还包括：
所述人工标注为标注每个所述样本图片中的果蔬的位置、大小、品相或是否有瑕疵的信息。
4.根据权利要求2所述的方法，其特征在于，其中，
扩展所述多个样本图片的数量的方法包括对所述样本图片进行旋转、缩放和剪裁的操作。
5.一种果蔬自动验货系统，其特征在于，包括：
果蔬视频获取模块，获取包括待验货的果蔬的视频；
视频处理模块，将所述视频处理为多个图片；
初级识别模块，使用初级识别神经网络选择出所述多个图片之中的包含果蔬的图片；
特征提取模块，对于选择的所述包含果蔬的图片，使用特征提取神经网络提取所述果蔬的图像的特征图；以及
质量检测模块，利用质量检测神经网络基于所述特征图对所述果蔬的多个属性进行检测，并输出检测结果，
其中，收集包含多种果蔬品类的图像信息以生成训练数据集，基于所述训练数据集训练多个神经网络以分别获得所述初级识别神经网络、所述特征提取神经网络和所述质量检测神经网络，
其中，在所述初级识别模块中，使用初级识别神经网络识别出所述多个图片中是否包含果蔬、果蔬品类在图片中的位置、果蔬的具体类别以及果蔬的包装属性，
其中，所述果蔬视频获取模块、所述视频处理模块和所述初级识别模块设置在移动终端上，并且所述质量检测模块设置在服务端，并且
其中，所述系统还包括图片输送模块，该图片输送模块将所述包含果蔬的图片从所述移动终端输送至所述服务端所述质量检测神经网络包括包装识别神经网络、果径识别神经网络、外观识别神经网络、剥切图识别神经网络和瑕疵品识别神经网络，以对所述果蔬的包括包装、果径、外观、剥切图和瑕疵品的多个属性进行识别。
6.一种具有果蔬自动验货功能的电子设备，其特征在于，包括：
一个或多个处理器；以及
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-4中任一项所述的方法。
7.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-4中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011008779.3A CN112966541B (zh) | 2020-09-23 | 2020-09-23 | 果蔬自动验货方法、系统、电子设备以及计算机可读介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011008779.3A CN112966541B (zh) | 2020-09-23 | 2020-09-23 | 果蔬自动验货方法、系统、电子设备以及计算机可读介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112966541A CN112966541A (zh) | 2021-06-15 |
| CN112966541B true CN112966541B (zh) | 2023-12-05 |
Family
ID=76271041
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011008779.3A Active CN112966541B (zh) | 2020-09-23 | 2020-09-23 | 果蔬自动验货方法、系统、电子设备以及计算机可读介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112966541B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113962638B (zh) * | 2021-12-22 | 2022-03-18 | 广州骏天科技有限公司 | 一种智能果蔬质量检测方法及系统 |
| CN114882299B (zh) * | 2022-07-11 | 2022-11-15 | 深圳市信润富联数字科技有限公司 | 水果分类方法、装置、采摘设备及存储介质 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102567911A (zh) * | 2011-12-05 | 2012-07-11 | 上海梓能实业有限公司 | 一种基于物联网技术的嵌入式蔬菜交易作业终端 |
| CN108732172A (zh) * | 2017-06-30 | 2018-11-02 | 亳州中药材商品交易中心有限公司 | 中药材质量评定方法、设备及介质 |
| CN109145685A (zh) * | 2017-06-19 | 2019-01-04 | 南京农业大学 | 基于集成学习的果蔬高光谱品质检测方法 |
| CN109190476A (zh) * | 2018-08-02 | 2019-01-11 | 福建工程学院 | 一种蔬菜识别的方法及装置 |
| CN109308460A (zh) * | 2018-09-06 | 2019-02-05 | 深兰科技（上海）有限公司 | 物品检测方法、系统及计算机可读存储介质 |
| CN109607031A (zh) * | 2019-01-14 | 2019-04-12 | 青岛舍科技有限公司 | 基于无人机全景的智能仓储系统及方法 |
| CN109829443A (zh) * | 2019-02-23 | 2019-05-31 | 重庆邮电大学 | 基于图像增强与3d卷积神经网络的视频行为识别方法 |
| CN110059654A (zh) * | 2019-04-25 | 2019-07-26 | 台州智必安科技有限责任公司 | 一种基于细粒度识别的菜品自动结算及饮食健康管理方法 |
| CN110517160A (zh) * | 2019-08-02 | 2019-11-29 | 重庆邮电大学 | 一种农产品的质量分级方法及质量分级系统 |
| CN110598841A (zh) * | 2018-06-13 | 2019-12-20 | 南京大学 | 一种基于多输入卷积神经网络的花卉疾病分析方法 |
| CN110969090A (zh) * | 2019-11-04 | 2020-04-07 | 口碑(上海)信息技术有限公司 | 基于深度神经网络的水果品质识别方法及装置 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10839503B2 (en) * | 2017-01-26 | 2020-11-17 | ClariFruit | System and method for evaluating fruits and vegetables |
| US11393082B2 (en) * | 2018-07-26 | 2022-07-19 | Walmart Apollo, Llc | System and method for produce detection and classification |
| CN114612661A (zh) * | 2022-03-09 | 2022-06-10 | 郑州麦佳农业科技有限公司 | 基于神经网络的蔬菜种植机智能控制方法 |
-
2020
- 2020-09-23 CN CN202011008779.3A patent/CN112966541B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102567911A (zh) * | 2011-12-05 | 2012-07-11 | 上海梓能实业有限公司 | 一种基于物联网技术的嵌入式蔬菜交易作业终端 |
| CN109145685A (zh) * | 2017-06-19 | 2019-01-04 | 南京农业大学 | 基于集成学习的果蔬高光谱品质检测方法 |
| CN108732172A (zh) * | 2017-06-30 | 2018-11-02 | 亳州中药材商品交易中心有限公司 | 中药材质量评定方法、设备及介质 |
| CN110598841A (zh) * | 2018-06-13 | 2019-12-20 | 南京大学 | 一种基于多输入卷积神经网络的花卉疾病分析方法 |
| CN109190476A (zh) * | 2018-08-02 | 2019-01-11 | 福建工程学院 | 一种蔬菜识别的方法及装置 |
| CN109308460A (zh) * | 2018-09-06 | 2019-02-05 | 深兰科技（上海）有限公司 | 物品检测方法、系统及计算机可读存储介质 |
| CN109607031A (zh) * | 2019-01-14 | 2019-04-12 | 青岛舍科技有限公司 | 基于无人机全景的智能仓储系统及方法 |
| CN109829443A (zh) * | 2019-02-23 | 2019-05-31 | 重庆邮电大学 | 基于图像增强与3d卷积神经网络的视频行为识别方法 |
| CN110059654A (zh) * | 2019-04-25 | 2019-07-26 | 台州智必安科技有限责任公司 | 一种基于细粒度识别的菜品自动结算及饮食健康管理方法 |
| CN110517160A (zh) * | 2019-08-02 | 2019-11-29 | 重庆邮电大学 | 一种农产品的质量分级方法及质量分级系统 |
| CN110969090A (zh) * | 2019-11-04 | 2020-04-07 | 口碑(上海)信息技术有限公司 | 基于深度神经网络的水果品质识别方法及装置 |
Non-Patent Citations (2)
| Title |
|---|
| 基于机器视觉的水果品质检测综述;何文斌;计算机工程与应用;第56卷(第11期);第10-16页 * |
| 计算机视觉技术在食品品质检测中的应用;柳琦，涂郑禹，陈超，吴鹏;食品研究与开发;第41卷(第16期);第208-213页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112966541A (zh) | 2021-06-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10467502B2 (en) | Surface defect detection | |
| CN110956225B (zh) | 一种违禁品检测方法及系统、一种计算设备及存储介质 | |
| CN112966541B (zh) | 果蔬自动验货方法、系统、电子设备以及计算机可读介质 | |
| WO2020134102A1 (zh) | 物品识别方法、装置、售货系统和存储介质 | |
| CN115375614A (zh) | 用于对通过制造过程制造的产品进行分类的系统和方法 | |
| CN108133235A (zh) | 一种基于神经网络多尺度特征图的行人检测方法 | |
| US20210034907A1 (en) | System and method for textual analysis of images | |
| CN112906780A (zh) | 一种果蔬图像分类系统及方法 | |
| CN114359235A (zh) | 一种基于改进YOLOv5l网络的木材表面缺陷检测方法 | |
| CN116385958A (zh) | 一种用于电网巡检和监控的边缘智能检测方法 | |
| CN110413825B (zh) | 面向时尚电商的街拍推荐系统 | |
| Babila et al. | Object detection for inventory stock counting using yolov5 | |
| Siricharoen et al. | Fruit maturity grading framework for small dataset using single image multi-object sampling and Mask R-CNN | |
| CN108664906B (zh) | 一种基于卷积网络的火灾场景中内容的检测方法 | |
| CN116934195A (zh) | 一种商品信息查验方法、装置、电子设备及存储介质 | |
| CN114820619B (zh) | 块茎类植物分选方法、系统、计算机设备和存储介质 | |
| CN114743045A (zh) | 一种基于双分支区域建议网络的小样本目标检测方法 | |
| Sanghvi et al. | Logo detection using machine learning algorithm: A survey | |
| Sehgal et al. | Auto-annotation of tomato images based on ripeness and firmness classification for multimodal retrieval | |
| CN112733686A (zh) | 用于云联邦的图像中的目标物识别方法及装置 | |
| Darapaneni et al. | Banana Sub-Family Classification and Quality Prediction using Computer Vision | |
| CN113408528A (zh) | 商品图像的质量识别方法、装置、计算设备及存储介质 | |
| Mehta et al. | An Analysis of Fabric Defect Detection Techniques for Textile Industry Quality Control | |
| CN112115824A (zh) | 果蔬检测方法、装置、电子设备以及计算机可读介质 | |
| Mirzaei et al. | Application of machine learning for anomaly detection in printed circuit boards imbalance date set |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |