CN114550019A - 基于目标检测算法的边缘端在位监测系统 - Google Patents
基于目标检测算法的边缘端在位监测系统 Download PDFInfo
- Publication number
- CN114550019A CN114550019A CN202210346966.5A CN202210346966A CN114550019A CN 114550019 A CN114550019 A CN 114550019A CN 202210346966 A CN202210346966 A CN 202210346966A CN 114550019 A CN114550019 A CN 114550019A
- Authority
- CN
- China
- Prior art keywords
- detection
- image
- target detection
- edge end
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/60—Electric or hybrid propulsion means for production processes
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了基于目标检测算法的边缘端在位监测系统，属于物流设备技术领域，包括智能在位检测模块和管理平台；其中，所述智能在位检测模块安装于AGV小车上，其包括边缘端设备、图像采集单元和电源单元；所述边缘端设备包括图像获取单元、图像检测单元和货物识别单元；本发明采用YOLOv3和SSD目标检测算法进行样本训练，得到完整边缘端目标检测模型，其相较于传统的two‑stage方法，检测与识别速度更快，并且本发明通过重复测试和样本添加，使得模型不断优化，进而提高了该模型的检测与识别准确度；此外，本发明产品图像的检测和识别均在边缘端设备上实现，进而有利于降低管理平台的数据处理压力。
Description
技术领域
本发明涉及物流设备技术领域，尤其涉及基于目标检测算法的边缘端在位监测系统。
背景技术
经检索，中国专利号CN108750509A公开了一种基于AGV小车的货位检测方法及AGV小车，该发明通过传感器对货位的当前情况进行检测，虽然减少了AGV小车在取放物料时的误操作，但该发明只能检测出货位上有无货物，并不能检测出货物的类别，进而无法辅助货物管理平台进行实时的货物监测管理；AGV(Automated Guided Vehicle，简称AGV)小车，是指装备有自动导引装置，能够沿规定的导引路径自动行驶，具有多种自动移载功能的运输车，目前，随着电子技术的发展，AGV的应用范围在不断扩展，且其在物流系统方面的应用最为广泛，但现有AGV小车的功能相对单一，仅仅只能实现物流运输功能；在实际物流仓库中，由于货物数量庞大且货物流转频繁，因而需要对货架各仓位上的产品情况进行实时了解；但现有方法大多通过人工巡检方式实现，不仅费时费力，还容易出错；所以，如何将AGV小车与目标检测系统相结合应用到仓位的检测和识别成为当下重要研究课题；因此，发明出基于目标检测算法的边缘端在位监测系统变得尤为重要；
现有的在位监测系统只能检测出货位上有无货物，并不能检测出货物的类别，进而无法辅助货物管理平台进行实时的货物监测管理；为此，我们提出基于目标检测算法的边缘端在位监测系统。
发明内容
本发明的目的是为了解决现有技术中存在的缺陷，而提出的基于目标检测算法的边缘端在位监测系统。
为了实现上述目的，本发明采用了如下技术方案：
基于目标检测算法的边缘端在位监测系统，包括智能在位检测模块和管理平台；
其中，所述智能在位检测模块安装于AGV小车上，其包括边缘端设备、图像采集单元和电源单元；所述边缘端设备包括图像获取单元、图像检测单元和货物识别单元；所述智能在位检测模块与管理平台通过无线通信技术进行远程通信。
进一步地，所述图像采集单元具体为摄像头，用于在AGV小车的运行过程中对货架上各仓位进行图像拍摄，采集产品图像；所述电源单元用于对智能在位检测模块进行供电。
进一步地，所述图像获取单元用于获取所述图像采集单元采集到的产品图像；所述图像检测单元用于通过完整边缘端目标检测模型对产品图像进行检测，得到图像检测结果，所述图像检测结果包括两种情况：一种为仓位上有货物，另一种是仓位上无货物；所述货物识别单元用于通过完整边缘端目标检测模型对图像检测结果为有货物的产品图像进行类别识别，得到货物类别识别结果。
进一步地，所述完整边缘端目标检测模型的具体形成过程如下：
S1：首先，通过检测单元收集各类产品图像，并对其进行类别标注，形成所需样本数据集；
S2：然后，采用MobileNet轻量级目标检测网络对步骤S1所述样本数据集进行目标检测算法训练，形成初始边缘端检测模型一；
S3：接着，将步骤S2所述初始边缘端检测模型通过硬件部署至边缘端设备上，将其应用运行在实际发生的所有场景中，以测试模型性能；
S4：获取测试过程中所有场景识别的产品图像，对检测和识别失败的产品图像进行负样本标注，得到失败产品图像样本集；
S5：将步骤S4所述失败产品图像样本集添加到步骤S1样本数据集中，形成新的样本数据集，并再次采用MobileNet轻量级目标检测网络对其进行目标检测算法训练；
S6：然后，对步骤S5所述目标检测模型进行剪裁、量化和蒸馏操作，形成初始边缘端检测模型二；
S7：重复步骤S3-S6，直至模型性能达到最优，即得到完整边缘端目标检测模型。
进一步地，所述标注的格式包括但不限于VOC格式和COCO格式；所述硬件包括但不限于Jeston Nano、RK3399Pro开发板和树莓派；所述目标检测算法具体为YOLOv3和SSD。
进一步地，所述无线通信技术包括但不限于WIFI、4G和5G；所述管理平台用于接收图像检测结果和货物类别识别结果，并根据其进行业务处理。
相比于现有技术，本发明的有益效果在于：
1、该基于目标检测算法的边缘端在位监测系统，采用YOLOv3和SSD目标检测算法进行样本训练，得到完整边缘端目标检测模型，其相较于传统的two-stage方法，检测与识别速度更快，并且本发明通过重复测试和样本添加，使得模型不断优化，进而提高了该模型的检测与识别准确度；此外，本发明产品图像的检测和识别均在边缘端设备上实现，进而有利于降低管理平台的数据处理压力；
2、该基于目标检测算法的边缘端在位监测系统，将完整边缘端目标检测模型通过体积较小的硬件(如：Jeston Nano、RK3399Pro开发板和树莓派，)与AGV小车进行结合，进而携带便捷，可应用在工业生产运输多个领域。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。
图1为本发明提出的基于目标检测算法的边缘端在位监测系统的整体结构示意图；
图2为本发明提出的基于目标检测算法的边缘端在位监测系统搭配AGV小车的结构示意图；
图3为本发明中完整边缘端目标检测模型形成过程的流程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
在本发明的描述中，需要理解的是，术语“上”、“下”、“前”、“后”、“左”、“右”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
参照图1-2，本实施例公开了基于目标检测算法的边缘端在位监测系统，包括智能在位检测模块和管理平台；
其中，智能在位检测模块安装于AGV小车上，其包括边缘端设备、图像采集单元和电源单元；边缘端设备包括图像获取单元、图像检测单元和货物识别单元；智能在位检测模块与管理平台通过无线通信技术进行远程通信。
图像采集单元具体为摄像头，用于在AGV小车的运行过程中对货架上各仓位进行图像拍摄，采集产品图像；
具体的，该图像采集单元需要根据不同的场景安装情况调节摄像头至最佳位置，实现产品视角全覆盖；
电源单元用于对智能在位检测模块进行供电。
图像获取单元用于获取图像采集单元采集到的产品图像；图像检测单元用于通过完整边缘端目标检测模型对产品图像进行检测，得到图像检测结果，图像检测结果包括两种情况：一种为仓位上有货物，另一种是仓位上无货物；
具体的，对于无货物的图像检测结果直接上报至管理平台，而对有货物的图像检测结果需要进行类别识别后，再上传至管理平台；
货物识别单元用于通过完整边缘端目标检测模型对图像检测结果为有货物的产品图像进行类别识别，得到货物类别识别结果。
无线通信技术包括但不限于WIFI、4G和5G；
具体，该无线通信技术可根据实际通信距离和预计通信成本进行无线通信技术选择，并不局限于本实例所列出的；
管理平台用于接收图像检测结果和货物类别识别结果，并根据其进行业务处理。
参照图3，本实施例公开了基于目标检测算法的边缘端在位监测系统，包括智能在位检测模块和管理平台；
其中，智能在位检测模块安装于AGV小车上，其包括边缘端设备、图像采集单元和电源单元；边缘端设备包括图像获取单元、图像检测单元和货物识别单元；智能在位检测模块与管理平台通过无线通信技术进行远程通信。
除与上述实施例相同结构外，本实施例将具体介绍完整边缘端目标检测模型的形成过程；
具体的，该完整边缘端目标检测模型的具体形成过程如下：
首先，通过检测单元收集各类产品图像，并对其进行类别标注，形成所需样本数据集；然后，采用MobileNet轻量级目标检测网络对样本数据集进行目标检测算法训练，形成初始边缘端检测模型一；接着，将初始边缘端检测模型通过硬件部署至边缘端设备上，将其应用运行在实际发生的所有场景中，以测试模型性能；获取测试过程中所有场景识别的产品图像，对检测和识别失败的产品图像进行负样本标注，得到失败产品图像样本集；将失败产品图像样本集添加到样本数据集中，形成新的样本数据集，并再次采用MobileNet轻量级目标检测网络对其进行目标检测算法训练；然后，对目标检测模型进行剪裁、量化和蒸馏操作，形成初始边缘端检测模型二；重复上述步骤，直至模型性能达到最优，即得到完整边缘端目标检测模型。
具体的，该标注的格式包括但不限于VOC格式和COCO格式；该硬件包括但不限于Jeston Nano、RK3399Pro开发板和树莓派；该目标检测算法具体为YOLOv3和SSD。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。
Claims (6)
1.基于目标检测算法的边缘端在位监测系统，其特征在于，包括智能在位检测模块和管理平台；
其中，所述智能在位检测模块安装于AGV小车上，其包括边缘端设备、图像采集单元和电源单元；所述边缘端设备包括图像获取单元、图像检测单元和货物识别单元；所述智能在位检测模块与管理平台通过无线通信技术进行远程通信。
2.根据权利要求1所述的基于目标检测算法的边缘端在位监测系统，其特征在于，所述图像采集单元具体为摄像头，用于在AGV小车的运行过程中对货架上各仓位进行图像拍摄，采集产品图像；所述电源单元用于对智能在位检测模块进行供电。
3.根据权利要求1所述的基于目标检测算法的边缘端在位监测系统，其特征在于，所述图像获取单元用于获取所述图像采集单元采集到的产品图像；所述图像检测单元用于通过完整边缘端目标检测模型对产品图像进行检测，得到图像检测结果，所述图像检测结果包括两种情况：一种为仓位上有货物，另一种是仓位上无货物；所述货物识别单元用于通过完整边缘端目标检测模型对图像检测结果为有货物的产品图像进行类别识别，得到货物类别识别结果。
4.根据权利要求3所述的基于目标检测算法的边缘端在位监测系统，其特征在于，所述完整边缘端目标检测模型的具体形成过程如下：
S1：首先，通过检测单元收集各类产品图像，并对其进行类别标注，形成所需样本数据集；
S2：然后，采用MobileNet轻量级目标检测网络对步骤S1所述样本数据集进行目标检测算法训练，形成初始边缘端检测模型一；
S3：接着，将步骤S2所述初始边缘端检测模型通过硬件部署至边缘端设备上，将其应用运行在实际发生的所有场景中，以测试模型性能；
S4：获取测试过程中所有场景识别的产品图像，对检测和识别失败的产品图像进行负样本标注，得到失败产品图像样本集；
S5：将步骤S4所述失败产品图像样本集添加到步骤S1样本数据集中，形成新的样本数据集，并再次采用MobileNet轻量级目标检测网络对其进行目标检测算法训练；
S6：然后，对步骤S5所述目标检测模型进行剪裁、量化和蒸馏操作，形成初始边缘端检测模型二；
S7：重复步骤S3-S6，直至模型性能达到最优，即得到完整边缘端目标检测模型。
5.根据权利要求4所述的基于目标检测算法的边缘端在位监测系统，其特征在于，所述标注的格式包括但不限于VOC格式和COCO格式；所述硬件包括但不限于Jeston Nano、RK3399Pro开发板和树莓派；所述目标检测算法具体为YOLOv3和SSD。
6.根据权利要求1所述的基于目标检测算法的边缘端在位监测系统，其特征在于，所述无线通信技术包括但不限于WIFI、4G和5G；所述管理平台用于接收图像检测结果和货物类别识别结果，并根据其进行业务处理。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110744148.6A CN113326811A (zh) | 2021-07-01 | 2021-07-01 | 一种基于目标检测算法的边缘端在位监测系统 |
| CN2021107441486 | 2021-07-01 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114550019A true CN114550019A (zh) | 2022-05-27 |
Family
ID=77425434
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110744148.6A Withdrawn CN113326811A (zh) | 2021-07-01 | 2021-07-01 | 一种基于目标检测算法的边缘端在位监测系统 |
| CN202210346966.5A Withdrawn CN114550019A (zh) | 2021-07-01 | 2022-04-01 | 基于目标检测算法的边缘端在位监测系统 |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110744148.6A Withdrawn CN113326811A (zh) | 2021-07-01 | 2021-07-01 | 一种基于目标检测算法的边缘端在位监测系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (2) | CN113326811A (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116524017B (zh) * | 2023-03-13 | 2023-09-19 | 明创慧远科技集团有限公司 | 一种用于矿山井下检测识别定位系统 |
-
2021
- 2021-07-01 CN CN202110744148.6A patent/CN113326811A/zh not_active Withdrawn
-
2022
- 2022-04-01 CN CN202210346966.5A patent/CN114550019A/zh not_active Withdrawn
Also Published As
| Publication number | Publication date |
|---|---|
| CN113326811A (zh) | 2021-08-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108189043B (zh) | 一种应用于高铁机房的巡检方法及巡检机器人系统 | |
| CN109284739B (zh) | 一种基于深度学习的输电线路防外力破坏预警方法及系统 | |
| CN112525917A (zh) | 电芯极耳检测方法、装置、系统及存储介质 | |
| CN114550019A (zh) | 基于目标检测算法的边缘端在位监测系统 | |
| CN111723774A (zh) | 一种基于无人机巡检的输电设备目标识别方法 | |
| CN207268846U (zh) | 电力巡检机器人 | |
| CN112651516A (zh) | 基于ar技术的变电站机房的智能巡检系统及方法 | |
| CN110045704A (zh) | 生产数据的追溯方法 | |
| CN114399258A (zh) | 一种智能货架、基于智能货架组成的仓储系统及其管理方法 | |
| CN111274934A (zh) | 在仓储管理中智能监控叉车运行轨迹的实现方法和系统 | |
| CN112087528B (zh) | 一种基于深度学习的水环境智能监测系统及方法 | |
| CN104899714A (zh) | 仓储货物状态数据的重构装置与系统 | |
| CN109975304B (zh) | 自动流转的全自动故障指示器流水线检测系统及方法 | |
| CN208536899U (zh) | 一种基于大数据的冷链物流车辆监控系统 | |
| CN109975728B (zh) | 故障指示器智能化全自动流水线综合检测系统及方法 | |
| CN203518957U (zh) | 一种激光划线形貌的检测系统 | |
| CN109242843B (zh) | 一种集装箱表面图像及集装箱号码图像采集方法 | |
| CN207069695U (zh) | 一种变电站运维量化巡检系统 | |
| CN113721605B (zh) | 一种气缸套货物架摆放自识别系统 | |
| CN112540570A (zh) | 档案库房机器人自动巡检管理方法及其巡检管理系统 | |
| CN109975729B (zh) | 一种全自动配电自动化终端综合检测系统及方法 | |
| CN113055658A (zh) | 一种基于全景拼接技术的隧道危化品车辆识别方法及系统 | |
| CN211876785U (zh) | 一种铝电解槽漏炉智能巡检装置 | |
| CN112164095A (zh) | 一种基于ros的机载目标检测跟踪方法 | |
| CN111376789A (zh) | Agv电池充电管理方法、系统和计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20220527 |