CN111310519B - 基于机器视觉与数据采样的货品深度学习训练方法 - Google Patents

基于机器视觉与数据采样的货品深度学习训练方法 Download PDF

Info

Publication number
CN111310519B
CN111310519B CN201811513205.4A CN201811513205A CN111310519B CN 111310519 B CN111310519 B CN 111310519B CN 201811513205 A CN201811513205 A CN 201811513205A CN 111310519 B CN111310519 B CN 111310519B
Authority
CN
China
Prior art keywords
goods
deep learning
service platform
judgment
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811513205.4A
Other languages
English (en)
Other versions
CN111310519A (zh
Inventor
王俊杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Zhisou Intelligent Technology Co ltd
Original Assignee
Chengdu Zhisou Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Zhisou Intelligent Technology Co ltd filed Critical Chengdu Zhisou Intelligent Technology Co ltd
Priority to CN201811513205.4A priority Critical patent/CN111310519B/zh
Publication of CN111310519A publication Critical patent/CN111310519A/zh
Application granted granted Critical
Publication of CN111310519B publication Critical patent/CN111310519B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133Distances to prototypes
    • G06F18/24143Distances to neighbourhood prototypes, e.g. restricted Coulomb energy networks [RCEN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features

Abstract

本发明公开了基于机器视觉与数据采样的货品深度学习训练方法,包括以下步骤:S1、建立各货品初始深度学习模型;S2、智能终端采集所收纳货品的基础数据;S3、服务平台对货品的类别进行模糊判断;S4、对货品所有可能项进行用户进行选择;S5、用户选择结果与系统判定结果进行加权计算,确定货品最终类别;S6、若系统模糊判断失败,则通过基础数据进行特征点提取,并采用深度学习方法将特征点补充训练进对应的货品初始深度学习模型;S7、系统判定失败和成功的次数累计。其应用时,可以采用深度学习训练方法建立智能终端收纳货品的分类识别模型,并通过数据采样和特征补充来不断完善分类识别模型。

Description

基于机器视觉与数据采样的货品深度学习训练方法
技术领域
本发明涉及深度学习技术领域,具体涉及基于机器视觉与数据采样的货品深度学习训练方法。
背景技术
随着移动互联网和智能终端技术的快速发展,市面上开始出现各种各样的物品收纳终端,可用于收纳快递物品、废旧回收物品、生活垃圾等,但这样的物品收纳终端通常只是将物品集中收纳后再运抵分拣中心进行人工分拣,在智能终端安装的摄像头和X光扫描装置也仅用作人员监控和危险品检测的作用,而不能实现对智能终端收纳物品的智能分类。要实现对智能终端收纳物品的智能分类就需要运用基于识别模型的图像识别技术,而识别模型需要通过大量的特征数据训练来获得,以提高特征表达的全面性和准确性。
发明内容
本发明针对现有技术存在的不足,提供基于机器视觉与数据采样的货品深度学习训练方法,其应用时,可以采用深度学习训练方法建立智能终端收纳货品的分类识别模型,并通过数据采样和特征补充来不断完善分类识别模型,使其可用于智能终端收纳货品的智能、精准分类。
本发明通过以下技术方案实现:
基于机器视觉与数据采样的货品深度学习训练方法,包括以下步骤:
S1、获取目标领域现有货品的训练数据,并利用训练数据在服务平台预先建立各货品初始深度学习模型;
S2、通过智能终端采集所收纳货品的基础数据,并将基础数据传输至服务平台;
S3、服务平台接收基础数据后,调用初始深度学习模型对智能终端收纳货品的类别进行模糊判断,列出所有可能项以及判定概率最高的一项,根据各可能项的概率评出相应系统得分,并将所有可能项和基础数据传输至智能终端用户的移动终端;
S4、移动终端将基础数据和所有可能项显示出来供用户进行选择,并将选择结果反馈至服务平台;
S5、服务平台收集所有用户的选择结果并得出各可能项的用户得分,然后将各可能项的用户得分和系统得分进行加权计算,得到各可能项的最终得分,最终得分最高的一项判定为智能终端收纳货品的分类项,被反馈至智能终端,智能终端将收纳货品存入对应分类项存储区;
S6、服务平台将最终判定分类项与步骤3中模糊判断概率最高的一项进行比对:当两者为不同项或者为同一项但模糊判断的概率低于设定阈值时,记为系统判定失败,服务平台调取货品的基础数据进行特征点提取,并采用深度学习方法将提取的特征点补充训练进对应的货品初始深度学习模型,供下次的训练模型调取使用;当两者为同一项且模糊判断的概率达到设定阈值时,记为系统判定成功;
S7、服务平台将每次系统判定失败和系统判定成功的次数进行累计,并进行系统判定成功率计算,然后取最近设定判定次数的累计系统判定成功率作为步骤S5中系统得分的计算权重。
优选地,步骤S2中,智能终端采集的收纳货品基础数据包括外形图像数据、X光图像数据、重量数据和物态数据。
优选地,步骤S3中,各可能项的系统得分取值范围为0~100,步骤S5中各可能项的用户得分取值范围为0~100。
优选地,步骤S3中,当服务平台列出的可能项仅为一项时,移动终端只显示该可能项的正确和错误判断选项,当服务平台收集所有用户的选择结果为错误多于正确时,服务平台发出报错信息,并由维护人员进行货品类型纠正,当次判定记为系统判定失败,服务平台将调取对应货品的基础数据进行特征点提取,并采用深度学习方法将提取的特征点补充训练进对应的货品初始深度学习模型。
优选地,步骤S4中,移动终端除显示所有可能项外,还显示一个全否选项,当服务平台收集所有用户的选择结果并得出全否选项的得分最高时,服务平台发出报错信息,并由维护人员进行货品类型纠正,当次判定记为系统判定失败,服务平台将调取对应货品的基础数据进行特征点提取,并采用深度学习方法将提取的特征点补充训练进对应的货品初始深度学习模型。
优选地,智能终端用户通过移动终端每完成一次选择,且选择结果最终正确,则服务平台向该用户移动终端发送设定奖励。
优选地,步骤S1中,利用现有货品的训练数据建立货品初始深度学习模型的过程包括:将现有货品的训练数据进行特征降维,获得低维度特征,再利用低维度特征训练K最近邻分类模型,最终获得各货品初始深度学习模型。
优选地,步骤S6中,服务平台通过基础数据进行货品特征点提取时,采用基于区域的全卷积神经网络算法来对外形图像和X光图像进行特征点提取。
优选地,在步骤S6中,采用深度学习方法将提取的特征点补充训练进对应的货品初始深度学习模型时,测定特征点相对于初始深度学习模型的相对形态变化量,并根据相对形态变化量对初始深度学习模型进行形态拓展。
本发明具有如下的优点和有益效果:
1、本发明基于机器视觉与数据采样的货品深度学习训练方法,可以采用深度学习训练方法建立智能终端收纳货品的分类识别模型来对其收纳货品进行分类。
2、本发明基于机器视觉与数据采样的货品深度学习训练方法,可以通过数据采样和特征补充来不断完善分类识别模型,以提高其特征表达的全面性和准确性。
3、本发明基于机器视觉与数据采样的货品深度学习训练方法,当货品分类识别模型的特征点补充和完善到一定程度时即可完全依赖其进行智能终端收纳货品的自动分类。
附图说明
此处所说明的附图用来提供对本发明实施例的进一步理解,构成本申请的一部分,并不构成对本发明实施例的限定。在附图中:
图1为本发明的实施步骤框图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,下面结合实施例和附图,对本发明作进一步的详细说明,本发明的示意性实施方式及其说明仅用于解释本发明,并不作为对本发明的限定。
实施例
如图1所示,基于机器视觉与数据采样的货品深度学习训练方法,包括以下步骤:
S1、获取目标领域现有货品的训练数据,并利用训练数据在服务平台预先建立各货品初始深度学习模型;
S2、通过智能终端采集所收纳货品的基础数据,并将基础数据传输至服务平台;
S3、服务平台接收基础数据后,调用初始深度学习模型对智能终端收纳货品的类别进行模糊判断,列出所有可能项以及判定概率最高的一项,根据各可能项的概率评出相应系统得分,并将所有可能项和基础数据传输至智能终端用户的移动终端;
S4、移动终端将基础数据和所有可能项显示出来供用户进行选择,并将选择结果反馈至服务平台;
S5、服务平台收集所有用户的选择结果并得出各可能项的用户得分,然后将各可能项的用户得分和系统得分进行加权计算,得到各可能项的最终得分,最终得分最高的一项判定为智能终端收纳货品的分类项,被反馈至智能终端,智能终端将收纳货品存入对应分类项存储区;
S6、服务平台将最终判定分类项与步骤3中模糊判断概率最高的一项进行比对:当两者为不同项或者为同一项但模糊判断的概率低于设定阈值时,记为系统判定失败,服务平台调取货品的基础数据进行特征点提取,并采用深度学习方法将提取的特征点补充训练进对应的货品初始深度学习模型,供下次的训练模型调取使用;当两者为同一项且模糊判断的概率达到设定阈值时,记为系统判定成功;
S7、服务平台将每次系统判定失败和系统判定成功的次数进行累计,并进行系统判定成功率计算,然后取最近设定判定次数的累计系统判定成功率作为步骤S5中系统得分的计算权重。
具体实施时,可采集市面常见的货品的特征数据,结合目标领域内已有的各种货品模型数据来进行模型训练,建立货品初始深度学习模型,服务平台根据初始深度学习模型对智能终端收纳货品进行分类判断时,会出现判断依据不够充足的情况,即特征点不能完全对应,就会产生多个判断可能项,再依据各可能项的特征点对应数量确定各可能项的概率,当最终的判定结果并不是概率最大的那项时,表明其判断完全错误,当判定结果是概率最大的那项,但其一开始判断的概率低于设定阈值时,表明其判断所依据的特征点还不够充足,这两种情况下都需要对所依据的初始深度学习模型进行特征点补充,而补充的特征点就是通过深度学习训练方法从智能终端采集的对应货品图像上提取的,这样经过一次次的特征点补充后,初始深度学习模型的特征表达将具有极高的全面性和准确性,直至服务平台每次的模糊判断都具有百分百的高概率项正确性甚至唯一项正确性,此时,服务平台就可完全依赖补充后的训练模型完成货品的分类。
步骤S2中,智能终端采集的收纳货品基础数据包括外形图像数据、X光图像数据、重量数据和物态数据,外形图像数据提供货品外形特征,X光图像数据提供货品内部扫描图像特征,重量数据提供货品的质量特征,物态数据提供货品内部的物态特征即固态、液态和气态。
步骤S3中,各可能项的系统得分取值范围为0~100,步骤S5中各可能项的用户得分取值范围为0~100,同样的取值范围便于进行用户得分和系统得分的加权计算。
步骤S3中,当服务平台列出的可能项仅为一项时,移动终端只显示该可能项的正确和错误判断选项,当服务平台收集所有用户的选择结果为错误多于正确时,服务平台发出报错信息,并由维护人员进行货品类型纠正,当次判定记为系统判定失败,服务平台将调取对应货品的基础数据进行特征点提取,并采用深度学习方法将提取的特征点补充训练进对应的货品初始深度学习模型。
步骤S4中,移动终端除显示所有可能项外,还显示一个全否选项,当服务平台收集所有用户的选择结果并得出全否选项的得分最高时,服务平台发出报错信息,并由维护人员进行货品类型纠正,当次判定记为系统判定失败,服务平台将调取对应货品的基础数据进行特征点提取,并采用深度学习方法将提取的特征点补充训练进对应的货品初始深度学习模型。
智能终端用户通过移动终端每完成一次选择,且选择结果最终正确,则服务平台向该用户移动终端发送设定奖励。
步骤S1中,利用现有货品的训练数据建立货品初始深度学习模型的过程包括:将现有货品的训练数据进行特征降维,获得低维度特征,再利用低维度特征训练K最近邻分类模型,最终获得各货品初始深度学习模型。
步骤S6中,服务平台通过基础数据进行货品特征点提取时,采用基于区域的全卷积神经网络算法来对外形图像和X光图像进行特征点提取。
在步骤S6中,采用深度学习方法将提取的特征点补充训练进对应的货品初始深度学习模型时,测定特征点相对于初始深度学习模型的相对形态变化量,并根据相对形态变化量对初始深度学习模型进行形态拓展。
以上所述的具体实施方式,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施方式而已,并不用于限定本发明的保护范围,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (5)

1.基于机器视觉与数据采样的货品深度学习训练方法,其特征在于,包括以下步骤:
S1、获取目标领域现有货品的训练数据,并利用训练数据在服务平台预先建立各货品初始深度学习模型;
S2、通过智能终端采集所收纳货品的基础数据,并将基础数据传输至服务平台;
S3、服务平台接收基础数据后,调用初始深度学习模型对智能终端收纳货品的类别进行模糊判断,列出所有可能项以及判定概率最高的一项,根据各可能项的概率评出相应系统得分,并将所有可能项和基础数据传输至智能终端用户的移动终端;
当服务平台列出的可能项仅为一项时,移动终端只显示该可能项的正确和错误判断选项,当服务平台收集所有用户的选择结果为错误多于正确时,服务平台发出报错信息,并由维护人员进行货品类型纠正,当次判定记为系统判定失败,服务平台将调取对应货品的基础数据进行特征点提取,并采用深度学习方法将提取的特征点补充训练进对应的货品初始深度学习模型;
S4、移动终端将基础数据和所有可能项显示出来供用户进行选择,并将选择结果反馈至服务平台;
移动终端除显示所有可能项外,还显示一个全否选项,当服务平台收集所有用户的选择结果并得出全否选项的得分最高时,服务平台发出报错信息,并由维护人员进行货品类型纠正,当次判定记为系统判定失败,服务平台将调取对应货品的基础数据进行特征点提取,并采用深度学习方法将提取的特征点补充训练进对应的货品初始深度学习模型;
S5、服务平台收集所有用户的选择结果并得出各可能项的用户得分,然后将各可能项的用户得分和系统得分进行加权计算,得到各可能项的最终得分,最终得分最高的一项判定为智能终端收纳货品的分类项,被反馈至智能终端,智能终端将收纳货品存入对应分类项存储区;
S6、服务平台将最终判定分类项与步骤3中模糊判断概率最高的一项进行比对:当两者为不同项或者为同一项但模糊判断的概率低于设定阈值时,记为系统判定失败,服务平台调取货品的基础数据进行特征点提取,并采用深度学习方法将提取的特征点补充训练进对应的货品初始深度学习模型,供下次的训练模型调取使用;当两者为同一项且模糊判断的概率达到设定阈值时,记为系统判定成功;
S7、服务平台将每次系统判定失败和系统判定成功的次数进行累计,并进行系统判定成功率计算,然后取最近设定判定次数的累计系统判定成功率作为步骤S5中系统得分的计算权重;
步骤S2中,智能终端采集的收纳货品基础数据包括外形图像数据、X光图像数据、重量数据和物态数据;
步骤S6中,服务平台通过基础数据进行货品特征点提取时,采用基于区域的全卷积神经网络算法来对外形图像和X光图像进行特征点提取。
2.根据权利要求1所述的基于机器视觉与数据采样的货品深度学习训练方法,其特征在于,步骤S3中,各可能项的系统得分取值范围为0~100,步骤S5中各可能项的用户得分取值范围为0~100。
3.根据权利要求1所述的基于机器视觉与数据采样的货品深度学习训练方法,其特征在于,智能终端用户通过移动终端每完成一次选择,且选择结果最终正确,则服务平台向该用户移动终端发送设定奖励。
4.根据权利要求1所述的基于机器视觉与数据采样的货品深度学习训练方法,其特征在于,步骤S1中,利用现有货品的训练数据建立货品初始深度学习模型的过程包括:将现有货品的训练数据进行特征降维,获得低维度特征,再利用低维度特征训练K最近邻分类模型,最终获得各货品初始深度学习模型。
5.根据权利要求1所述的基于机器视觉与数据采样的货品深度学习训练方法,其特征在于,在步骤S6中,采用深度学习方法将提取的特征点补充训练进对应的货品初始深度学习模型时,测定特征点相对于初始深度学习模型的相对形态变化量,并根据相对形态变化量对初始深度学习模型进行形态拓展。
CN201811513205.4A 2018-12-11 2018-12-11 基于机器视觉与数据采样的货品深度学习训练方法 Active CN111310519B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811513205.4A CN111310519B (zh) 2018-12-11 2018-12-11 基于机器视觉与数据采样的货品深度学习训练方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811513205.4A CN111310519B (zh) 2018-12-11 2018-12-11 基于机器视觉与数据采样的货品深度学习训练方法

Publications (2)

Publication Number Publication Date
CN111310519A CN111310519A (zh) 2020-06-19
CN111310519B true CN111310519B (zh) 2024-01-05

Family

ID=71156139

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811513205.4A Active CN111310519B (zh) 2018-12-11 2018-12-11 基于机器视觉与数据采样的货品深度学习训练方法

Country Status (1)

Country Link
CN (1) CN111310519B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105205448A (zh) * 2015-08-11 2015-12-30 中国科学院自动化研究所 基于深度学习的文字识别模型训练方法和识别方法
CN105787458A (zh) * 2016-03-11 2016-07-20 重庆邮电大学 基于人工设计特征和深度学习特征自适应融合的红外行为识别方法
CN106682681A (zh) * 2016-08-19 2017-05-17 江苏电力信息技术有限公司 一种基于相关反馈的识别算法自动改进方法
CN107480660A (zh) * 2017-09-30 2017-12-15 深圳市锐曼智能装备有限公司 危险物品识别系统及其方法
CN107506775A (zh) * 2016-06-14 2017-12-22 北京陌上花科技有限公司 模型训练方法及装置
CN108319894A (zh) * 2017-12-28 2018-07-24 杭州乔戈里科技有限公司 基于深度学习的水果识别方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7317717B2 (ja) * 2017-05-09 2023-07-31 ニューララ インコーポレイテッド ネットワーク計算エッジにわたってアプリケーションを連続して操作する、人工知能および深層学習においてメモリで境界された継続学習を可能にするシステムおよび方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105205448A (zh) * 2015-08-11 2015-12-30 中国科学院自动化研究所 基于深度学习的文字识别模型训练方法和识别方法
CN105787458A (zh) * 2016-03-11 2016-07-20 重庆邮电大学 基于人工设计特征和深度学习特征自适应融合的红外行为识别方法
CN107506775A (zh) * 2016-06-14 2017-12-22 北京陌上花科技有限公司 模型训练方法及装置
CN106682681A (zh) * 2016-08-19 2017-05-17 江苏电力信息技术有限公司 一种基于相关反馈的识别算法自动改进方法
CN107480660A (zh) * 2017-09-30 2017-12-15 深圳市锐曼智能装备有限公司 危险物品识别系统及其方法
CN108319894A (zh) * 2017-12-28 2018-07-24 杭州乔戈里科技有限公司 基于深度学习的水果识别方法及装置

Also Published As

Publication number Publication date
CN111310519A (zh) 2020-06-19

Similar Documents

Publication Publication Date Title
CN109299715B (zh) 基于卷积神经网络的图像识别技术的结算方法和装置
CN110728225B (zh) 一种用于考勤的高速人脸搜索方法
CN110852219B (zh) 一种多行人跨摄像头在线跟踪系统
CN106599925A (zh) 一种基于深度学习的植物叶片识别系统与方法
CN108960124B (zh) 用于行人再识别的图像处理方法及装置
CN102567744B (zh) 基于机器学习的虹膜图像质量确定方法
CN110689519B (zh) 基于yolo网络的雾滴沉积图像检测系统和方法
CN113674037B (zh) 一种基于购物行为的数据采集和推荐方法
CN110298231A (zh) 一种用于篮球比赛视频进球判定的方法及系统
CN106339657B (zh) 基于监控视频的秸秆焚烧监测方法、装置
CN102609719B (zh) 基于改进概率主题模型的地点图像识别方法
CN110674680B (zh) 活体识别的方法、装置、存储介质
CN110532850B (zh) 一种基于视频关节点和混合分类器的跌倒检测方法
CN110633643A (zh) 一种面向智慧社区的异常行为检测方法及系统
CN110443137A (zh) 多维度身份信息识别方法、装置、计算机设备及存储介质
CN112499017A (zh) 垃圾分类方法、装置及垃圾箱
CN108241821A (zh) 图像处理设备和方法
CN110942450A (zh) 一种基于深度学习的多生产流水线实时缺陷检测方法
CN103413149A (zh) 复杂背景中实现静态目标检测和识别的方法
CN116977937A (zh) 一种行人重识别的方法及系统
CN111310519B (zh) 基于机器视觉与数据采样的货品深度学习训练方法
CN114140696A (zh) 商品识别系统优化方法、装置、设备及存储介质
CN114092877A (zh) 一种基于机器视觉的垃圾桶无人值守系统设计方法
CN113255550A (zh) 一种基于视频的行人垃圾扔投次数统计方法
CN111222388A (zh) 基于视觉识别的结算方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant