CN114925387A - 基于端边云架构的分拣系统、方法、及可读存储介质 - Google Patents

基于端边云架构的分拣系统、方法、及可读存储介质 Download PDF

Info

Publication number
CN114925387A
CN114925387A CN202210342396.2A CN202210342396A CN114925387A CN 114925387 A CN114925387 A CN 114925387A CN 202210342396 A CN202210342396 A CN 202210342396A CN 114925387 A CN114925387 A CN 114925387A
Authority
CN
China
Prior art keywords
target detection
detection result
data
target
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210342396.2A
Other languages
English (en)
Other versions
CN114925387B (zh
Inventor
王晶
吴怡
王亚东
周萌
史运涛
董哲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
North China University of Technology
Original Assignee
North China University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by North China University of Technology filed Critical North China University of Technology
Priority to CN202210342396.2A priority Critical patent/CN114925387B/zh
Priority claimed from CN202210342396.2A external-priority patent/CN114925387B/zh
Publication of CN114925387A publication Critical patent/CN114925387A/zh
Application granted granted Critical
Publication of CN114925387B publication Critical patent/CN114925387B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/95—Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/34—Sorting according to other particular properties
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/36—Sorting apparatus characterised by the means used for distribution
    • B07C5/361—Processing or control devices therefor, e.g. escort memory
    • B07C5/362—Separating or distributor mechanisms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/36—Sorting apparatus characterised by the means used for distribution
    • B07C5/38—Collecting or arranging articles in groups
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y10/00—Economic sectors
    • G16Y10/25—Manufacturing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y20/00—Information sensed or collected by the things
    • G16Y20/20—Information sensed or collected by the things relating to the thing itself
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y40/00—IoT characterised by the purpose of the information processing
    • G16Y40/20—Analytics; Diagnosis
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y40/00—IoT characterised by the purpose of the information processing
    • G16Y40/30—Control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Signal Processing (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioethics (AREA)
  • Mathematical Physics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Business, Economics & Management (AREA)
  • Manufacturing & Machinery (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Sorting Of Articles (AREA)

Abstract

本发明提供一种基于端边云架构的分拣系统、方法、及可读存储介质，其中系统包括：位于终端层的物料传输装置、数据采集装置、物料抓取装置，位于边缘层的边缘计算模块，位于云层的云服务器模块；物料传输装置用于对待分拣的物料进行传输；数据采集装置用于对待分拣的物料进行数据采集；边缘计算模块用于对数据采集装置采集到的数据进行处理，获取目标检测结果；云服务器模块用于对边缘计算模块传输的数据进行计算处理，并将处理的目标检测结果传输至边缘计算模块；物料抓取装置用于根据接收到的所述边缘计算模块的目标检测结果，对待分拣的物料进行抓取以及转移。本发明能够解决人工分拣和目前自动分拣系统中存在数据处理存在巨大能耗等问题。

Description

基于端边云架构的分拣系统、方法、及可读存储介质
技术领域
本发明涉及工业自动化分拣技术领域，尤其涉及一种基于端边云架构的分拣系统、方法、及可读存储介质。
背景技术
在制造业领域，越来越普遍的信息化和智能化为工业生产过程注入了新的活力。其中，工业流水线上的自动分拣受益颇多。自动分拣业务最早发展于美国，其他发达国家也逐渐放弃以纯人工为主的低效率分拣方式。在分拣行业的发展过程中，国外货物分拣的相关研究一直处于领先的地位。
传统的人工分拣往往是低效率的，同时可能在不同程度上造成资源浪费、交通堵塞、物流成本上升等问题。随着技术发展，分拣效率更高的自动分拣系统越来越多的被应用。目前，很多小型企业或工厂对于快递等物料的分拣方式都还是以人工分拣为主。一些大型的自动化程度高的生产线会采购大型基于云平台技术的工控机设备实现快递的分拣工作，这是由云平台提供集中式的数据处理，计算资源集中于云平台上，所有由终端产生的原始数据均通过网络上传至云平台。但是，这种工控机的产生高昂的费用，制约了很多中小型快递企业快递分拣业务的发展。同时，随着生产线数量的增加，大量的终端数据有待处理，将给云平台的计算能力造成压力，终端数据向远程的云平台的传输也产生巨大能耗。同时，数据处理的实时性、传输过程的隐私性和可靠性，都面临挑战。
由上述可知，目前广泛应用的人工分拣方法和自动分拣系统都有不足，为了解决上述问题，本发明提供了一种基于“端-边-云”架构的工业流水线分拣方法。
发明内容
本发明提供一种基于端边云架构的分拣系统、方法、及可读存储介质，其主要目的在于通过端边云架构对物料进行自动分拣，以解决人工分拣和目前自动分拣系统中存在数据处理存在巨大能耗等问题。
为实现上述目的，本发明提供的基于端边云架构的分拣系统，所述端边云架构包括终端层、边缘层和云层，其中，所述分拣系统包括：位于所述终端层的物料传输装置、数据采集装置、物料抓取装置，位于所述边缘层的边缘计算模块，位于所述云层的云服务器模块；其中，
所述物料传输装置，用于对待分拣的物料进行传输；
所述数据采集装置，用于对待分拣的物料进行数据采集，并将采集到的数据传输至所述边缘计算模块；
所述边缘计算模块，用于对所述数据采集装置采集到的数据进行处理，获取目标检测结果；其中，若目标检测结果达到预设结果，将目标检测结果传输至所述物料抓取装置；若目标检测结果达不到预设结果，将所述数据采集装置采集到的数据传输至所述云服务模块，并将所述云服务模块的处理的目标检测结果传输至所述物料抓取装置；
所述云服务器模块，用于对所述边缘计算模块传输的数据进行计算处理，并将处理的目标检测结果传输至所述边缘计算模块；
所述物料抓取装置，用于根据接收到的所述边缘计算模块的目标检测结果，对待分拣的物料进行抓取以及转移。
可选地，所述物料传输装置包括设备支架、设置在所述设备支架上的传送带、电机，其中，
所述电机用于驱动所述传送带运转，放置在所述传送带上的待分拣的物料随所述传送带运转；其中，
所述待分拣的物料为贴有不同标签、不同材质的物料。
可选地，所述数据采集装置包括摄像头、光电传感器和电容式传感器，其中，
所述摄像头，用于拍摄放置在所述传送带上的待分拣的物料，并将拍摄的图像传输至所述边缘计算机模块；
所述光电传感器，用于采集所述传送带上的待分拣的物料的位置数据，并将采集到的物料的位置数据传输至所述边缘计算机模块；
所述电容式传感器，用于采集所述传送带上的待分拣的物料的材质数据，并将采集的物料的材质数据传输至所述边缘计算机模块。
可选地，所述边缘计算模块包括至少两个边缘计算节点，用于承担所述边缘层的计算、存储以及通讯任务，所述边缘计算节点包括树莓派微型计算机；其中，
所述摄像头、光电传感器、电容式传感器通过USB接口、I/O接口或者CSI接口与所述边缘计算节点相连接；
所述边缘计算节点之间通过无线网络通讯方式连接。
可选地，所述云服务器模块为一台计算机，所述云服务器模块通过串口通讯方式与所述边缘计算节点相连。
可选地，所述物料抓取装置包括机械臂、设置在所述机械臂上的抓手、以及存放槽，其中，
所述机械臂与所述边缘计算模块相连接，在接收到所述边缘计算模块的处理结果后，所述机械臂带动所述抓手抓取所述述传送带的目标物料，并把抓取到所述目标物料放置到所述存放槽中。
为了解决上述问题，本发明还提供一种基于端边云架构的分拣方法，采用上述基于端边云架构的分拣系统对待分拣的物料进行自动分拣，所述分拣方法包括：
通过数据采集装置采集对待分拣的物料的数据；
通过目标分拣算法对采集到的数据进行处理，获取待分拣的目标检测结果；
根据所述目标检测结果对待分拣的物料进行自动分拣。
可选地，在通过目标分拣算法对采集到的数据进行处理之前，对采集到的数据进行预处理；其中，所述预处理包括：数据清洗、数据排序以及归一化处理。
可选地，所述目标分拣算法采用Faster-RCNN，其中，
通过训练后的Faster-RCNN对预处理后的数据进行处理，获取待检测的目标检测结果；其中，所述Faster-RCNN包括主支和侧支，所述主支输出主支目标检测结果，所述侧支输出侧支目标检测结果；
通过所述侧支对预处理后的数据进行处理，获取所述侧支目标检测结果；
若所述侧支目标检测结果达到预设目标，所述侧支目标检测结果作为待检测的目标检测结果；
若所述侧支目标检测结果达不到预设目标，通过所述主支对预处理后的数据进行处理，获取所述主支目标检测结果，所述主支目标检测结果作为待检测的目标检测结果。
可选地，所述通过所述侧支对预处理后的数据进行处理，获取所述侧支目标检测结果，包括：
通过浅层卷积层对预处理后的数据进行卷积处理，获取侧支卷积特征图；
通过侧支区域建议网络对所述侧支卷积特征图进行处理，获取侧支区域建议结果；
通过侧支感兴趣区域池化层对所述侧支卷积特征图、所述侧支区域建议结果进行池化处理，获取固定尺寸的建议特征图；
通过侧支分类层对所述固定尺寸的建议特征图进行处理，获取所述侧支目标检测结果。
可选地，所述通过所述主支对预处理后的数据进行处理，获取所述主支目标检测结果，包括：
通过深层卷积层对预处理后的数据进行卷积处理，获取主支卷积特征图；
通过主支区域建议网络对所述主支卷积特征图进行处理，获取主支区域建议结果；
通过主支感兴趣区域池化层对所述主支卷积特征图、所述主支区域建议结果进行池化处理，获取固定尺寸的建议特征图；
通过主支分类层对所述固定尺寸的建议特征图进行处理，获取所述主支目标检测结果。
可选地，所述Faster-RCNN的训练过程包括：
通过构建的Faster-RCNN对预处理后的数据进行处理，获取区域建议网络结果以及目标检测结果；
通过损失函数计算所述区域建议网络结果、所述目标预测结果与标签目标信息的偏差，获取相应的损失值；
对各项相应的损失值进行加权求和，获取总损失，直至所述总损失收敛，停止对所述Faster-RCNN进行迭代训练，所述Faster-RCNN完成训练。
可选地，所述区域建议网络结果包括区域建议框的位置坐标、区域建议指标；
所述目标检测结果包括目标检测框的位置坐标、目标检测框的类别；
所述通过损失函数计算所述区域建议网络结果、所述目标检测结果与标签目标信息的偏差，获取相应的损失值的步骤，其中，
通过光滑L1范数损失函数计算主支的区域建议框、侧支的区域建议框分别与标签目标框的位置偏差，获取主支区域建议网络的回归损失以及侧支区域建议网络的回归损失；
通过二分类交叉熵损失函数计算主支的区域建议指标、侧支的区域建议指标分别与目标存在标签的偏差，获取主支区域建议网络的分类损失以及侧支区域建议网络的分类损失；
通过光滑L1范数损失函数计算主支的目标检测框、侧支的目标检测框分别与目标框的位置偏差，获取主支分类层的回归损失以及侧支分类层的回归损失；
通过多分类交叉熵损失函数计算主支的目标检测类别、侧支的目标检测类别分别与标签目标类别的偏差，获取主支分类层的分类损失以及侧支分类层的分类损失。
为了解决上述问题，本发明还提供一种计算机可读存储介质，计算机可读存储介质，存储有计算机程序，其中，所述计算机程序被处理器执行时实现上述基于端边云架构的分拣方法。
从上面的技术方案可知，本发明提供的基于端边云架构的分拣系统、方法、及可读存储介质，与现有技术相比具有以下有益效果：
1)利用边缘计算节点代替价格高昂、能耗较高的云服务器，不但能够缩短系统的搭建成本，而且能够降低系统运行能耗；
2)终端层的设备产生大量的原始数据，在本发明的“端-边-云”架构下，原始数据仅在终端层和边缘层之间近距离传输，而非在终端层和云层之间的远距离传输，从而能够节省网络带宽消耗，同时原始数据不再上传至云服务器，也能够保证数据的隐私性；
3)在本发明的“端-边-云”架构下，可以新增多条流水线和终端层的设备，虽然增加了大量的系统数据量和任务量，但是不需要对云服务器更新和扩容，只需要增加边缘层的边缘计算即可满足对计算能力的需求，因此本发明的分拣系统的可扩展性强；
4)对应本发明提出的系统，采用多种分拣算法进行部署和应用，从而不仅能实现物料分拣过程的自动化，还可以验证和比较算法的可行性。
为了实现上述以及相关目的，本发明的一个或多个方面包括后面将详细说明的特征。下面的说明以及附图详细说明了本发明的某些示例性方面。然而，这些方面指示的仅仅是可使用本发明的原理的各种方式中的一些方式。此外，本发明旨在包括所有这些方面以及它们的等同物。
附图说明
通过参考以下结合附图的说明，并且随着对本发明的更全面理解，本发明的其它目的及结果将更加明白及易于理解。在附图中：
图1为根据本发明实施例的基于端边云架构的分拣系统的“端-边-云”架构示意图；
图2为根据本发明实施例的基于端边云架构的分拣系统的逻辑原理结构示意图；
图3为根据本发明实施例的结构组成示意图；
图4为根据本发明实施例的基于端边云架构的分拣方法流程示意图；
图5为根据本发明实施例Faster-RCNN的训练过程示意图。
其中的附图标记包括：1、传送带，2、电机，3、物料，4、设备支架，5、光电传感器，6、电容传感器，7、摄像头，8、机械臂，9、边缘计算节点，10、云服务器。
在所有附图中相同的标号指示相似或相应的特征或功能。
具体实施方式
在下面的描述中，许多具体的细节被阐述。然而，应当理解的是，本发明的实施例可以在没有这些具体细节的情况下实现。在其他实例中，众所周知的方法、结构、和技术没有被详细地示出，以免模糊对本说明书的理解。对“一个实施例”、“实施例”、“示例性实施例”、“各种实施例”等等的参考表示本发明所描述的该实施例可包括特定的特征、结构、或特性，但并不是每一个实施例都必须包括该特定特征、结构、或特性。此外，短语“在一个实施例中”的反复使用不一定是指同一个实施例，尽管有可能是。
如本文所使用的，除非另外指明，使用序数形容词“第一”、“第二”、“第三”等等来描述公共的物料仅表明类似物料的不同实例正被参考，并且不意图暗示如此描述的该物料必须依照给定的顺序，无论在时间上、空间上、顺序上还是任何其他的方式。
如本文所使用的，除非另外指明，术语“移动设备”和/或“设备”一般是指无线通信设备，并且更具体地指以下的一个或多个：便携式电子设备、电话(例如，蜂窝式电话、智能手机)、计算机(例如，膝上型电脑、平板电脑)、便携式媒体播放器、个人数字助理(PDA)、或具有联网能力的任何其他电子设备。
为了说明本发明提供的基于端边云架构的分拣系统的结构，图1至图3分别从不同角度对基于端边云架构的分拣系统的结构进行了示例性标示。具体地，图1示出了根据本发明实施例的基于端边云架构的分拣系统的“端-边-云”架构；图2示出了根据本发明实施例的基于端边云架构的分拣系统的逻辑原理结构；图3示出了根据本发明实施例的结构组成。
如图1至图3所示，本发明提供一种基于端边云架构的分拣系统，其中，所述端边云架构包括终端层、边缘层和云层，其中，所述分拣系统包括：位于所述终端层的物料传输装置110、数据采集装置120、物料抓取装置130，位于所述边缘层的边缘计算模块140，位于所述云层的云服务器模块150。
其中，所述物料传输装置110，用于对待分拣的物料进行传输；
所述数据采集装置120，用于对待分拣的物料进行数据采集，并将采集到的数据传输至所述边缘计算模块；
所述边缘计算模块140，用于对所述数据采集装置采集到的数据进行处理，获取目标检测结果；其中，若目标检测结果达到预设目标，将目标检测结果传输至所述物料抓取装置；若目标检测结果达不到预设目标，将所述数据采集装置采集到的数据传输至所述云服务模块，并将所述云服务模块的处理的目标检测结果传输至所述物料抓取装置；
所述云服务器模块150，用于对所述边缘计算模块传输的数据进行计算处理，并将处理的目标检测结果传输至所述边缘计算模块；
所述物料抓取装置130，用于根据接收到的所述边缘计算模块的目标检测结果，对待分拣的物料进行抓取以及转移。
在本发明的实施例中，端-边-云”架构是指具有“端”、“边”、“云”三层结构。在本发明涉及的工业场景中，“端”即终端层，由生产现场的传感器、执行器等各种终端设备组成；“边”指边缘层，包含从终端到云层中的各种各类的具备计算能力的设备，通常是位于生产现场中、终端设备附近的微型服务器或节点；“云”则为云平台，依赖云服务器提供强大的算力。本发明所具备的“端-边-云”三层架构，将边缘计算模式引入传统的仅依赖于云平台的集中式的分拣系统中。在这一架构下，数量众多、分散分布于网络各处的各项资源能够被调动和利用，从而来提供计算、存储和通信服务。
具体地，所述物料传输装置110包括设备支架4、设置在所述设备支架4上的传送带1、电机2，其中，所述电机2用于驱动所述传送带1运转，放置在所述传送带1上的待分拣的若干物料3随所述传送带1运转；其中，所述待分拣的物料3为贴有不同标签、不同材质的物料。
物料传输装置110能够可靠地输送物料，待分拣的物料3是规则的立方体形状物块，贴有不同的图形标签，分为木料和金属料材质；每条传送带与其驱动电机和待分拣物料构成一条流水线，由设备支架4稳定支撑。在具体应用中，根据实际需求，设计多条流水线。
所述数据采集装置120包括摄像头7、光电传感器6和电容式传感器5，其中，所述摄像头5，用于拍摄放置在所述传送带1上的待分拣的物料3，并将拍摄的图像传输至所述边缘计算机模块140中的边缘计算机服务器9；所述光电传感器6，用于采集所述传送带1上的待分拣的物料3的位置数据，并将采集到的物料的位置数据传输至所述边缘计算机模块140中的边缘计算机节点；所述电容式电传感器7，用于采集所述传送带上的待分拣的物料的材质数据，并将采集的物料的材质数据传输至所述边缘计算机模块。
其中，数据采集装置120，能够采集由流水线上正在运输的物料的相关数据和图像。摄像头7由摄像头支架支撑，镜头向下、正对传送带的表面，捕捉物料图像；光电传感器6垂直于物料传输方向，被布置在流水线的一侧，采集用于定位物料的数据；电容式传感器7同样垂直于物料传输方向布置流水线旁，采集用于判断物料材质的数据。
所述边缘计算模块140包括至少两个边缘计算节点9，用于承担所述边缘层的计算、存储以及通讯任务；其中，所述摄像头7、光电传感器5、电容式传感器6通过USB接口、I/O接口或者CSI接口与所述边缘计算节点9相连接；所述边缘计算节点9之间通过无线网络通讯方式连接。
其中，边缘计算模块140主要由若干边缘计算节点9组成，即节点1、节点2、…、节点N，布置在工业流水线现场附近。选择树莓派作为边缘计算节点，其具有片上系统、内存等组件，支持深度学习框架的运行，能够承担边缘层的计算、存储和通讯任务；其他的微型处理器也可以被选择为边缘计算节点。全部或部分的分拣算法部署在边缘计算节点上。边缘计算节点之间通过其提供的无线网络通讯方式连接，通过socket网络编程实现TCP/IP协议。
所述云服务器模块150为一台计算机，所述云服务器模150的云服务器10通过串口通讯方式与所述边缘计算节点9相连。具体地，云服务器模块具体是一台计算能力强大的计算机，即服务器0，距离流水线现场较远，需要远距离的通讯连接。部分或全部的分拣算法部署在云服务器10上。云服务器10通过串口通讯方式与边缘计算节点9相连，能够双向通讯。
所述物料抓取装置130包括机械臂8、设置在所述机械臂8上的抓手、以及存放槽，其中，所述机械臂8与所述边缘计算模块140相连接，在接收到所述边缘计算模块的140处理结果后，所述机械臂8带动所述抓手抓取所述述传送带的目标物料，并把抓取到所述目标物料放置到所述存放槽中。物料抓取装置130是执行指令动作的执行机构；机械臂8与边缘计算节点9连接，接收来自边缘计算节点9的分拣指令，并执行相应动作。
对应上述基于端边云架构的分拣系统，本发明还提供一种基于端边云架构的分拣方法，图4示出了根据本发明实施例的基于端边云架构的分拣方法流程。
如图4所示，本发明提供的基于端边云架构的分拣方法，采用上述基于端边云架构的分拣系统对待分拣的物料进行自动分拣，所述分拣方法包括：
S110：通过数据采集装置采集对待分拣的物料的数据；
S120：通过目标分拣算法对采集到的数据进行处理，获取待分拣的目标检测结果；
S130：根据所述目标检测结果对待分拣的物料进行自动分拣。
在本发明的实施例中，基于端边云架构的分拣方法采用了三部分算法：第一：采集到的数据进行预处理；第二：目标检测算法；第三：执行机构控制算法。
在本发明的实施例中，在通过目标分拣算法对采集到的数据进行处理之前，对采集到的数据进行预处理；其中，所述预处理包括：数据清洗、数据排序以及归一化处理。
其中，预处理是指对原始传感数据和视频数据的预处理，这是由传感器和摄像头采集的原始信号经过预处理，才能应用于目标检测和分拣。具体而言，对原始数据的处理有数据清洗、排序、归一化。其中，从摄像头的输出中截取视频关键帧为可用图像数据，对原始图像进行裁剪、增强等操作。对原始信号的预处理后，输出具有更高质量的数据和图像，一方面用于建立数据集，用于目标检测算法的训练和测试过程；另一方面对实时采集的信号进行预处理，用于实际的分拣工作中。建立数据集时，需要人工对每张图像中包含的目标进行标注，标签信息包括目标坐标和种类。完整的数据集由若干图像及其标签组成，按比例随机划分成训练集和测试集。
在本发明的实施例中，目标分拣算法采用Faster-RCNN，其中，通过训练后的Faster-RCNN对预处理后的数据进行处理，获取待检测的目标检测结果；其中，所述Faster-RCNN包括主支和侧支，所述主支输出主支目标检测结果，所述侧支输出侧支目标检测结果；
S121：通过所述侧支对预处理后的数据进行处理，获取所述侧支目标检测结果；
S122：若所述侧支目标检测结果达到预设目标，所述侧支目标检测结果作为待检测的目标检测结果；
S123：若所述侧支目标检测结果达不到预设目标，通过所述主支对预处理后的数据进行处理，获取所述主支目标检测结果，所述主支目标检测结果作为待检测的目标检测结果。
在本发明的实施例中，Faster-RCNN是具有分支结构的卷积神经网络模型，网络模型的具体结构包括主支和侧支，主支和侧支具有相同的结构，即卷积层、区域建议网络、感兴趣区域池化层、分类层四个部分。
主支包括：深层卷积层、主支区域建议网络、主支感兴趣区域池化层以及主支分类层；侧支包括浅层卷积层、侧支区域建议网络、侧支感兴趣区域池化层以及侧支分类层。
在本发明的实施例中，在S121中，通过所述侧支对预处理后的数据进行处理，获取所述侧支目标检测结果，包括：
S1211：通过浅层卷积层对预处理后的数据进行卷积处理，获取侧支卷积特征图；
S1212：通过侧支区域建议网络对所述侧支卷积特征图进行处理，获取侧支区域建议结果；
S1213：通过侧支感兴趣区域池化层对所述侧支卷积特征图、所述侧支区域建议结果进行池化处理，获取固定尺寸的建议特征图；
S1214：通过侧支分类层对所述固定尺寸的建议特征图进行处理，获取所述侧支目标检测结果。
在步骤S123中，所述通过所述主支对预处理后的数据进行处理，获取所述主支目标检测结果，包括：
S1231：通过深层卷积层对预处理后的数据进行卷积处理，获取主支卷积特征图；
S1232：通过主支区域建议网络对所述主支卷积特征图进行处理，获取主支区域建议结果；
S1233：通过主支感兴趣区域池化层对所述主支卷积特征图、所述主支区域建议结果进行池化处理，获取固定尺寸的建议特征图；
S1234：通过主支分类层对所述固定尺寸的建议特征图进行处理，获取所述主支目标检测结果。
在本发明的实施例中，主支和侧支中同一对应部分的计算原理和处理过程相同，区别在于卷积层部分的层数不同、特征图的尺寸不同，因此下面以侧支为例介绍模型各部分的处理过程。
卷积层部分由若干卷积层组成，输入为有待处理的图像；在每一个卷积层中，卷积核在输入特征图上滑动进行卷积运算，输出新的特征图。
区域建议网络的输入是卷积层部分输出的卷积特征图；在区域建议网络中，首先，在卷积特征图上移动一个滑动窗口(中心被称为锚点)，在锚点移动的每一处位置产生一组矩形的区域框(小型的特征图)。然后，每个锚点处产生的区域框都被输入值两个同级的全连接层，分别被称为回归层和分类层。为了简化计算，用1×1卷积代替这两个全连接层，结果是相同的，将特征图拉直整合为一维向量。最后，区域建议网络的回归输出层和分类输出层分别输出一组矩形的区域建议框，和对每个区域建议框的打分(衡量该框是否为目标)。
感兴趣区域池化层的输入有两项：区域建议网络输出的区域建议、卷积层部分输出的特征图。在感兴趣区域池化层中，首先将区域建议映射到特征图上获得矩形的建议特征图，然后将建议特征图划分为若干块(7×7块)，最后每个窗口做最大池化，输出尺寸固定的建议特征图。
分类层由几个全连接层组成，输入是感兴趣区域池化层输出的建议特征图。在分类层中，第一个全连接层首先将建议特征图平铺拉直为一维向量；然后经过几层全连接层的计算，即加权求和进行特征融合；最终输入至同级的两个全连接层，分别是回归输出层和分类输出层，输出检测结果。其中，回归输出层的结果是检测框位置坐标，分类输出层的结果是检测类别。
在本发明的实施例中，Faster-RCNN(神经网络模型)的输入为经处理后可用的物件图像，输出为目标识别结果，具体包括检测框的位置和检测种类。深度卷积神经网络具有分支结构，完成训练的模型具备推理的提前退出能力，具体是：侧支率先执行推理输出快速推理结果；若快速推理结果可信，则以之为最终结果、推理提前结束，反之，推理无法结束，主支将进行更深层次的推理。
在训练之前，需要预先建立样本数据集。具体而言，对每张原始图像进行预处理，标记每张图像中包含的目标信息，即目标的位置和种类。由图像和标签建立数据集，将数据集分割为训练集、测试集和验证集。
模型的主支和侧支具有相同的组成(卷积层部分、区域建议网络、感兴趣区域池化层、分类层)，只是卷积层部分的层数不同、特征图的尺寸不同。主支和侧支的数据传输方向和计算过程也相同。
在本发明的实施例中，图5示出了根据本发明实施例Faster-RCNN的训练过程。如图5所示，所述Faster-RCNN的训练过程包括：
S210：通过构建的Faster-RCNN对预处理后的数据进行处理，获取区域建议网络结果以及目标检测结果；
S220：通过损失函数计算所述区域建议网络结果、所述目标检测结结果与标签目标信息的偏差，获取相应的损失值；
S230：对各项相应的损失值进行加权求和，获取总损失，直至所述总损失收敛，停止对所述Faster-RCNN进行迭代训练，所述Faster-RCNN完成训练。
在本发明的实施例中，所述区域建议网络结果包括区域建议框的位置坐标、区域建议指标；所述目标检测结果包括目标检测框的位置坐标、目标检测框的类别；
在步骤S220中，所述通过损失函数计算所述区域建议网络结果、所述目标检测结结果与标签目标信息的偏差，获取相应的损失值的步骤，其中，
通过光滑L1范数损失函数计算主支的区域建议框、侧支的区域建议框分别与标签目标框的位置偏差，获取主支区域建议网络的回归损失以及侧支区域建议网络的回归损失；
通过二分类交叉熵损失函数计算主支的区域建议指标、侧支的区域建议指标分别与目标存在标签的偏差，获取主支区域建议网络的分类损失以及侧支区域建议网络的分类损失；
通过光滑L1范数损失函数计算主支的目标检测框、侧支的目标检测框分别与目标框的位置偏差，获取主支分类层的回归损失以及侧支分类层的回归损失；
通过多分类交叉熵损失函数计算主支的目标检测类别、侧支的目标检测类别分别与标签目标类别的偏差，获取主支分类层的分类损失以及侧支分类层的分类损失。
在本发明的实施例中，在训练中，首先经过一次前向传输，输出检测结果。区域建议网络输出区域建议结果，分类层输出目标检测结果。一张图像的区域建议结果包括若干个区域建议框的位置坐标和表示其是否为目标的区域建议指标(取值为0或1)，目标检测结果是若干个目标检测框的位置坐标及其类别。接着，计算检测结果与标签信息的偏差，将得到四类损失。
四类损失具体包括：区域建议网络的回归损失，即损失项1-1(侧支)、损失项2-1(主支)，代表区域建议框与标签目标框的位置偏差，损失函数是光滑L1范数损失函数。
区域建议网络的分类损失，即损失项1-2(侧支)、损失项2-2(主支)，由区域建议指标和目标存在标签计算得出，损失函数是二分类交叉熵损失函数。
分类层的回归损失，即损失项1-3(侧支)、损失项2-3(主支)，是目标检测框与目标框的位置偏差，损失函数是光滑L1范数损失函数。
分类层的分类损失，即损失项1-4(侧支)、损失项2-4(主支)，是目标检测类别与标签目标类别的偏差，损失函数是多分类交叉熵损失函数。
上述所有分支(主支和侧支)、所有出口(区域建议网络的出口和分类层的出口)、所有种类(分类和回归)的各项损失被加权求和为总损失。然后，以总损失最小为模型训练目标将总损失反向传播、迭代更新网络权重。训练过程重复进行，直至总损失收敛、模型的识别精度满足需求，即完成带分支深度卷积神经网络模型的训练。
在本发明的实施例中，经过目标检测算法获取的结果，通过执行机构控制算法，对机械臂分发指令。其中，执行机构控制算法是通过python来实现的，由分析算法(mov_analys)通信算法
Figure BDA0003579786900000141
和机械臂控制算法(mov_control)构成的，当原始数据经过处理得到目标信息后，将目标检测结果输送到mov_analys进行简单的逻辑判定是否进行分拣，若需要分拣则执行mov_trans向机械臂发送指令执行mov_control。mov_control部署在机械臂的stm32单片机上由机械臂动作文件(rob)，传感器模块(infrade_sensor)和机械臂控制模块(robotcontrol)组成。当收到来自mov_trans的指令时的主程序启动传感器，当目标经过传感器时机械臂执行分拣动作；其中分析算法和通讯算法部署在树莓派上，机械臂控制算法部署在控制机械臂的stm32上。
在本发明的实施例中基于端边云架构的分拣工作流程，具体工作流程可分为两部分：①算法实现与程序部署、②执行分拣任务。
在本发明基于端边云架构的分拣方法中，一个完整的分拣算法由原始数据和图像处理算法(数据预处理)、目标检测算法、执行机构控制算法三部分构成。在算法实现与程序部署部分，具体的步骤：
首先，收集传感器、摄像头等终端设备产生的原始数据和图像，并处理为目标检测算法可用的形式。同时，按照与这些原始信息对应的、已知的目标信息或抓取指令对信息进行标记，产生样本数据集。
然后，实现目标检测算法，一般是搭建神经网络模型，将样本数据集划分为训练集和测试集，训练和评估神经网络模型。接着，实现完整的分拣算法，并封装为可部署的应用程序。
最后，在系统中安装部署所实现的应用程序，即在边缘计算节点和云服务器上部署计算任务。其中，目标检测算法封装的应用程序被部署在边缘计算节点或云服务器上，根据目标检测要求存在三种的部署方式，具体是：①全部部署在云服务器上；②全部部署在边缘计算节点上；③部分部署在边缘计算节点、部分部署在云服务器上。数据和图像处理算法封装的应用程序、执行机构控制算法封装的应用程序均被部署在边缘计算节点。
在完成分拣算法的部署后，系统执行算法进行物件分拣。在一次分拣任务的执行过程中，已部署算法的系统的基本工作流程述为：
首先，物件随传送带移动，摄像头和传感器实时获得流水线上既定位置的图像和数据，并将可用的图像和数据将上传至边缘计算节点。
然后，边缘计算节点执行其上部署的目标检测计算任务，两种可能的输出情况是：①分拣指令；②目标检测算法的推理中间值。若边缘计算节点仅获得算法中间值，则该中间值将被发送至云服务器进行处理，云服务器将输出目标检测算法的最终结果并发送至边缘计算节点。
接着，边缘计算节点运行执行机构控制算法，将分拣指令发送至机械臂；机械臂接收和执行指令，针对目标物件做出正确动作。
在本发明的实施例中，完成训练和分割的神经网络模型在分支点处被分为两部分，并将分别部署在边缘端和云端，具体为：较为浅层的模型可进行快速推理，被部署在边缘计算节点上，即节点1；较为高层的模型可进行后续推理，得到更优结果，被部署在云服务器上，即服务器0。原始数据和图像处理算法和执行机构控制算法同样被部署在服务器1上。完成模型的部署和通信的连接之后，“端-边-云”架构的分拣系统是一种边-云融合的方式：一次推理中，边缘计算节点上的原始数据和图像处理程序首先被执行；然后，可用的图片被输入至浅层模型，得出快速推理结果；设定损失阈值判定快速推理结果的可靠程度；若快速推理结果可靠，则以之为最终的目标识别结果。反之，则服务器1将浅层模型计算的中间值上传至服务器0，服务器0上部署的深层模型推理将获得最终的目标识别结果，并发回服务器1。接着，服务器1上部署的执行机构控制算法将依据目标识别结果输出抓取指令。最后，机械臂将执行抓取指令，将目标物件抓取、转移和放置在指定存放槽，或者保持不动使物件通过。
在本发明的实施例中，计算机可读存储介质存储有计算机程序，其中，所述计算机程序被处理器执行时实现上述基于端边云架构的分拣方法，具体方法如下：
通过数据采集装置采集对待分拣的物料的数据；
通过目标分拣算法对采集到的数据进行处理，获取待分拣的目标检测结果；
根据所述目标检测结果对待分拣的物料进行自动分拣。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。
因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。
虽然本发明的某些实施例已经结合目前被认为是最实用的且各式各样的实施例进行了描述，但应当理解，本发明并不限于所公开的实施例，而是意在覆盖包含在所附权利要求书的范围之内的各种修改和等价布置。虽然本文采用了特定的术语，但它们仅以一般性和描述性的意义使用，而不是用于限制的目的。
最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。

Claims (14)

1.一种基于端边云架构的分拣系统，所述端边云架构包括终端层、边缘层和云层，其特征在于，所述分拣系统包括：位于所述终端层的物料传输装置、数据采集装置、物料抓取装置，位于所述边缘层的边缘计算模块，位于所述云层的云服务器模块；其中，
所述物料传输装置，用于对待分拣的物料进行传输；
所述数据采集装置，用于对待分拣的物料进行数据采集，并将采集到的数据传输至所述边缘计算模块；
所述边缘计算模块，用于对所述数据采集装置采集到的数据进行处理，获取目标检测结果；其中，若目标检测结果达到预设结果，将目标检测结果传输至所述物料抓取装置；若目标检测结果达不到预设结果，将所述数据采集装置采集到的数据传输至所述云服务模块，并将所述云服务模块的处理的目标检测结果传输至所述物料抓取装置；
所述云服务器模块，用于对所述边缘计算模块传输的数据进行计算处理，并将处理的目标检测结果传输至所述边缘计算模块；
所述物料抓取装置，用于根据接收到的所述边缘计算模块的目标检测结果，对待分拣的物料进行抓取以及转移。
2.如权利要求1所述的基于端边云架构的分拣系统，其特征在于，
所述物料传输装置包括设备支架、设置在所述设备支架上的传送带、电机，其中，
所述电机用于驱动所述传送带运转，放置在所述传送带上的待分拣的物料随所述传送带运转；其中，
所述待分拣的物料为贴有不同标签、不同材质的物体。
3.如权利要求2所述的基于端边云架构的分拣系统，其特征在于，
所述数据采集装置包括摄像头、光电传感器和电容式传感器，其中，
所述摄像头，用于拍摄放置在所述传送带上的待分拣的物料，并将拍摄的图像传输至所述边缘计算机模块；
所述光电传感器，用于采集所述传送带上的待分拣的物料的位置数据，并将采集到的物料的位置数据传输至所述边缘计算机模块；
所述电容式传感器，用于采集所述传送带上的待分拣的物料的材质数据，并将采集的物料的材质数据传输至所述边缘计算机模块。
4.如权利要求3所述的基于端边云架构的分拣系统，其特征在于，
所述边缘计算模块包括至少两个边缘计算节点，用于承担所述边缘层的计算、存储以及通讯任务，所述边缘计算节点包括树莓派微型计算机；其中，
所述摄像头、光电传感器、电容式传感器通过USB接口、I/O接口或者CSI接口与所述边缘计算节点相连接；
所述边缘计算节点之间通过无线网络通讯方式连接。
5.如权利要求4所述的基于端边云架构的分拣系统，其特征在于，
所述云服务器模块为一台计算机，所述云服务器模块通过串口通讯方式与所述边缘计算节点相连。
6.如权利要求4所述的基于端边云架构的分拣系统，其特征在于，
所述物料抓取装置包括机械臂、设置在所述机械臂上的抓手、以及存放槽，其中，
所述机械臂与所述边缘计算模块相连接，在接收到所述边缘计算模块的处理结果后，所述机械臂带动所述抓手抓取所述述传送带的目标物料，并把抓取到所述目标物料放置到所述存放槽中。
7.一种基于端边云架构的分拣方法，采用权利要求1-6任一项所述的基于端边云架构的分拣系统对待分拣的物料进行自动分拣，所述分拣方法包括：
通过数据采集装置采集对待分拣的物料的数据；
通过目标分拣算法对采集到的数据进行处理，获取待分拣的目标检测结果；
根据所述目标检测结果对待分拣的物料进行自动分拣。
8.如权利要求7所述的基于端边云架构的分拣方法，其特征在于，
在通过目标分拣算法对采集到的数据进行处理之前，对采集到的数据进行预处理；其中，所述预处理包括：数据清洗、数据排序以及归一化处理。
9.如权利要求8所述的基于端边云架构的分拣方法，其特征在于，
所述目标分拣算法采用Faster-RCNN，其中，
通过训练后的Faster-RCNN对预处理后的数据进行处理，获取待检测的目标检测结果；其中，所述Faster-RCNN包括主支和侧支，所述主支输出主支目标检测结果，所述侧支输出侧支目标检测结果；
通过所述侧支对预处理后的数据进行处理，获取所述侧支目标检测结果；
若所述侧支目标检测结果达到预设目标，所述侧支目标检测结果作为待检测的目标检测结果；
若所述侧支目标检测结果达不到预设目标，通过所述主支对预处理后的数据进行处理，获取所述主支目标检测结果，所述主支目标检测结果作为待检测的目标检测结果。
10.如权利要求9所述的基于端边云架构的分拣方法，其特征在于，
所述通过所述侧支对预处理后的数据进行处理，获取所述侧支目标检测结果，包括：
通过浅层卷积层对预处理后的数据进行卷积处理，获取侧支卷积特征图；
通过侧支区域建议网络对所述侧支卷积特征图进行处理，获取侧支区域建议结果；
通过侧支感兴趣区域池化层对所述侧支卷积特征图、所述侧支区域建议结果进行池化处理，获取固定尺寸的建议特征图；
通过侧支分类层对所述固定尺寸的建议特征图进行处理，获取所述侧支目标检测结果。
11.如权利要求9所述的基于端边云架构的分拣方法，其特征在于，
所述通过所述主支对预处理后的数据进行处理，获取所述主支目标检测结果，包括：
通过深层卷积层对预处理后的数据进行卷积处理，获取主支卷积特征图；
通过主支区域建议网络对所述主支卷积特征图进行处理，获取主支区域建议结果；
通过主支感兴趣区域池化层对所述主支卷积特征图、所述主支区域建议结果进行池化处理，获取固定尺寸的建议特征图；
通过主支分类层对所述固定尺寸的建议特征图进行处理，获取所述主支目标检测结果。
12.如权利要求10或者11所述的基于端边云架构的分拣方法，其特征在于，
所述Faster-RCNN的训练过程包括：
通过构建的Faster-RCNN对预处理后的数据进行处理，获取区域建议网络结果以及目标检测结果；
通过损失函数计算所述区域建议网络结果、所述目标检测结果与标签目标信息的偏差，获取相应的损失值；
对各项相应的损失值进行加权求和，获取总损失，直至所述总损失收敛，停止对所述Faster-RCNN进行迭代训练，所述Faster-RCNN完成训练。
13.如权利要求12所述的基于端边云架构的分拣方法，其特征在于，
所述区域建议网络结果包括区域建议框的位置坐标、区域建议指标；
所述目标检测结果包括目标检测框的位置坐标、目标检测框的类别；
所述通过损失函数计算所述区域建议网络结果、所述目标检测结结果与标签目标信息的偏差，获取相应的损失值的步骤，其中，
通过光滑L1范数损失函数计算主支的区域建议框、侧支的区域建议框分别与标签目标框的位置偏差，获取主支区域建议网络的回归损失以及侧支区域建议网络的回归损失；
通过二分类交叉熵损失函数计算主支的区域建议指标、侧支的区域建议指标分别与目标存在标签的偏差，获取主支区域建议网络的分类损失以及侧支区域建议网络的分类损失；
通过光滑L1范数损失函数计算主支的目标检测框、侧支的目标检测框分别与目标框的位置偏差，获取主支分类层的回归损失以及侧支分类层的回归损失；
通过多分类交叉熵损失函数计算主支的目标检测类别、侧支的目标检测类别分别与标签目标类别的偏差，获取主支分类层的分类损失以及侧支分类层的分类损失。
14.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求7至13中任一所述的基于端边云架构的分拣方法。
CN202210342396.2A 2022-04-02 基于端边云架构的分拣系统、方法、及可读存储介质 Active CN114925387B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210342396.2A CN114925387B (zh) 2022-04-02 基于端边云架构的分拣系统、方法、及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210342396.2A CN114925387B (zh) 2022-04-02 基于端边云架构的分拣系统、方法、及可读存储介质

Publications (2)

Publication Number Publication Date
CN114925387A true CN114925387A (zh) 2022-08-19
CN114925387B CN114925387B (zh) 2024-06-07

Family

ID=

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116329237A (zh) * 2023-04-06 2023-06-27 广州拓源电子科技有限公司 基于视觉识别的智能回收系统
CN116475081A (zh) * 2023-06-26 2023-07-25 工业富联(佛山)创新中心有限公司 一种基于云边协同的工业产品分拣控制方法、装置及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111680705A (zh) * 2020-08-13 2020-09-18 南京信息工程大学 适于目标检测的mb-ssd方法和mb-ssd特征提取网络
CN113245235A (zh) * 2021-04-16 2021-08-13 嘉联支付有限公司 一种基于3d视觉的商品分类方法及装置
CN113313082A (zh) * 2021-07-28 2021-08-27 北京电信易通信息技术股份有限公司 一种基于多任务损失函数的目标检测方法及系统
WO2021208502A1 (zh) * 2020-04-16 2021-10-21 中国科学院深圳先进技术研究院 一种基于平滑边框回归函数的遥感图像目标检测方法
CN114241250A (zh) * 2021-09-17 2022-03-25 国网电力科学研究院有限公司 一种级联回归目标检测方法、装置及计算机可读存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021208502A1 (zh) * 2020-04-16 2021-10-21 中国科学院深圳先进技术研究院 一种基于平滑边框回归函数的遥感图像目标检测方法
CN111680705A (zh) * 2020-08-13 2020-09-18 南京信息工程大学 适于目标检测的mb-ssd方法和mb-ssd特征提取网络
CN113245235A (zh) * 2021-04-16 2021-08-13 嘉联支付有限公司 一种基于3d视觉的商品分类方法及装置
CN113313082A (zh) * 2021-07-28 2021-08-27 北京电信易通信息技术股份有限公司 一种基于多任务损失函数的目标检测方法及系统
CN114241250A (zh) * 2021-09-17 2022-03-25 国网电力科学研究院有限公司 一种级联回归目标检测方法、装置及计算机可读存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
姚锡凡;蓝宏宇;陶韬;雷毅;: "基于云雾结合的工件深度学习识别问题研究", 华南理工大学学报(自然科学版), no. 12, 15 December 2019 (2019-12-15) *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116329237A (zh) * 2023-04-06 2023-06-27 广州拓源电子科技有限公司 基于视觉识别的智能回收系统
CN116329237B (zh) * 2023-04-06 2023-11-03 广州拓源电子科技有限公司 基于视觉识别的智能回收系统
CN116475081A (zh) * 2023-06-26 2023-07-25 工业富联(佛山)创新中心有限公司 一种基于云边协同的工业产品分拣控制方法、装置及系统
CN116475081B (zh) * 2023-06-26 2023-08-15 工业富联(佛山)创新中心有限公司 一种基于云边协同的工业产品分拣控制方法、装置及系统

Similar Documents

Publication Publication Date Title
Shao et al. Suction grasp region prediction using self-supervised learning for object picking in dense clutter
Sun et al. Object detection from the video taken by drone via convolutional neural networks
Sulistijono et al. From concrete to abstract: Multilayer neural networks for disaster victims detection
Zhang et al. Robotic grasp detection based on image processing and random forest
CN110969660A (zh) 一种基于三维立体视觉和点云深度学习的机器人上料系统
CN115147488A (zh) 一种基于密集预测的工件位姿估计方法与抓取系统
CN113762159B (zh) 一种基于有向箭头模型的目标抓取检测方法及系统
CN113894058A (zh) 基于深度学习的品质检测与分拣方法、系统及存储介质
CN114925387A (zh) 基于端边云架构的分拣系统、方法、及可读存储介质
CN114925387B (zh) 基于端边云架构的分拣系统、方法、及可读存储介质
Patel et al. Vision-based object classification using deep learning for inventory tracking in automated warehouse environment
Uçar et al. Determination of Angular Status and Dimensional Properties of Objects for Grasping with Robot Arm
Gilles et al. MetaGraspNetV2: All-in-one dataset enabling fast and reliable robotic bin picking via object relationship reasoning and dexterous grasping
Hu et al. A minimal dataset construction method based on similar training for capture position recognition of space robot
CN114140526A (zh) 一种基于深度学习的无序工件三维视觉位姿估计方法
Ma et al. The Workpiece Sorting Method Based on Improved YOLOv5 For Vision Robotic Arm
Bеrеzhnyi et al. Information technology of automatic detection and identification of stationary objects with unmanned aerial vehicles
Mirzazade et al. Utilization of computer vision technique for automated crack detection based on UAV-taken images
Zhang et al. AE-FPN: adaptive enhance feature learning for detecting wire defects
Zhao et al. Business Card Recognition and E-mail Delivery Based on NAO Robot
Stursa et al. Multiple Objects Localization Using Image Segmentation with U-Net
CN114187501A (zh) 包裹检测方法、装置及系统
Liu et al. Real-Time Visual Detection of Anomalies in Densely Placed Objects
CN117218606B (zh) 一种逃生门检测方法、装置、存储介质及电子设备
Lee et al. Deep Learning based Visual Object Recognition for Manipulator Grasps

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant