CN109460790A - 一种基于机器视觉的废弃充电宝回收分拣设计方法 - Google Patents

一种基于机器视觉的废弃充电宝回收分拣设计方法 Download PDF

Info

Publication number
CN109460790A
CN109460790A CN201811333258.8A CN201811333258A CN109460790A CN 109460790 A CN109460790 A CN 109460790A CN 201811333258 A CN201811333258 A CN 201811333258A CN 109460790 A CN109460790 A CN 109460790A
Authority
CN
China
Prior art keywords
charger baby
nameplate
network
discarded
machine vision
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811333258.8A
Other languages
English (en)
Other versions
CN109460790B (zh
Inventor
陈龙
王永锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Shanghai for Science and Technology
Original Assignee
University of Shanghai for Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Shanghai for Science and Technology filed Critical University of Shanghai for Science and Technology
Priority to CN201811333258.8A priority Critical patent/CN109460790B/zh
Publication of CN109460790A publication Critical patent/CN109460790A/zh
Application granted granted Critical
Publication of CN109460790B publication Critical patent/CN109460790B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Multimedia (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出了一种基于机器视觉的废弃充电宝回收分拣设计方法，首先用深度学习目标检测算法来检测流水线上的充电宝和充电宝铭牌感兴趣区域，其中检测到的充电宝感兴趣区域作为充电宝平面二维定位；然后用特征点检测算法检测左右相机铭牌感兴趣区域中的铭牌特征点，最后通过双目立体视觉特征点三维重建理论公式计算充电宝在z方向的坐标，进而实现对流水线下废弃充电宝的自动分拣。应用本发明的分拣系统定位精度高、鲁棒性高且工作效率高。

Description

一种基于机器视觉的废弃充电宝回收分拣设计方法
技术领域
本发明属于回收分拣领域，尤其涉及一种基于机器视觉的废弃充电宝回收 分拣设计方法。
背景技术
在快速发展的信息时代，充电宝解决了我们手机为首的智能数码续航问题， 但是，作为数码配件的一种消耗品，废弃充电宝越来越多地出现在我们的身边， 同时它也带来了一些问题：1)目前市场上废弃充电宝不能换新，而且由于安全 问题不便维修；2)废弃充电宝的任意丢弃对我们赖以生存的环境造成不可估测 的危害。近年来，环境污染的问题越来越严重，所以把不同铭牌、不同型号的 废弃充电宝分类分拣，以便于对它们针对性地拆解或维修处理，绿色回收循环 利用是至关重要的。
工业自动化生产线中的产品分拣是一项重要的生产环节，传统的分拣工作 往往是由人工来完成，但是人工分拣存在工作量大、工作过程枯燥以及效率低 下等问题。近年来机器视觉以高效、稳定等优点逐步取代人工识别，在工业领 域广泛使用。然而，废弃充电宝种类繁多，铭牌标志大小不一，同一铭牌充电 宝型号可能不同、厚度不同、分拣场景复杂，传统的图像处理自动识别技术实 时性差，检测效果不好，为废弃充电宝的快速精确分拣带来极大的困难。
因此，开发一种基于机器视觉的废弃充电宝自动回收分拣方法是非常有必 要的，实现废弃充电宝的自动分拣，代替传统繁琐的手工分拣方式。
发明内容
本发明的目的在于提供一种基于机器视觉的废弃充电宝回收分拣设计方 法，其定位精度高、鲁棒性高且工作效率高。为实现上述目的，本发明所采用 的技术方案为：
一种基于机器视觉的废弃充电宝回收分拣设计方法，包括以下步骤：
S1:制作充电宝数据集和充电宝铭牌数据集；基于维度聚类分别选取充电宝 目标框和充电宝铭牌目标框的预测框；
S2:使用MATLAB标定工具箱标定两个工业相机，以获取工业相机的内参 数、畸变系数及外参数；
S3:建立充电宝检测网络和充电宝铭牌检测网络；
S4:分别对充电宝检测网络和充电宝铭牌检测网络进行网络训练以获取充电 宝检测模型和充电宝铭牌检测模型；
S5:通过充电宝检测模型和两个工业相机，提取检测场景中的充电宝感兴趣 区域；
S6:通过充电宝铭牌检测模型和两个工业相机，提取充电宝感兴趣区域中的 充电宝铭牌区域；
S7:通过特征点三维重建模块，实现充电宝铭牌的测距。
优选地，在步骤S1中，采用K-means对充电宝数据集和充电宝铭牌数据集 分别进行聚类。
优选地，步骤S2具体为：
S21：分别对两个工业相机分别进行单目标定；
S22：将单目标标定结果均导入至matlab双目立体标定工具箱进行双目立体 标定，以获取两个工业相机的标定结果。
优选地，在步骤S3中，所述充电宝检测网络基于YOLOv2-tiny-voc网络结 构并加入密集模块。
优选地，在步骤S3中，所述充电宝铭牌检测网络基于YOLOv2-tiny-voc网 络结构并加入跨层连接模块。
优选地，在步骤S4中，所述网络训练具体为：设置网络训练参数和网络训 练策略，将步骤S1中的数据集输入至步骤S3中相应的检测网络中，以网络训 练参数和网络训练策略为约束激进型网络训练。
优选地，在步骤S5中，所述充电宝感兴趣区域包括充电宝的铭牌、轮廓及 轮廓中心。
优选地，所述铭牌包括目标铭牌和/或干扰铭牌。
优选地，在步骤S6中，所述铭牌包括目标铭牌。
优选地，在步骤S7中，三维重建模块前后，对充电宝铭牌区域内的特征点 进一步筛选。
与现有技术相比，本发明的优点为：
1)应用本发明的分拣系统工作效率高，成本低。流水线现场只需要做好双 目立体相机与机械吸盘标定手眼，即可完成废弃充电宝检测及分拣。操作简单 快捷，替代了繁琐的人工充电宝分拣方式，提高了工作的效率。
2)应用本发明的分拣系统的鲁棒性高。废弃充电宝种类繁多，传统的图像 处理自动识别技术分类效果不好、实时性差，采用深度学习目标检测算法提高 对不同品牌充电宝的识别分类准确度。
3)应用本发明的分拣系统定位精度高。根据流水线充电宝及铭牌特点，设 计专用于充电宝及铭牌的检测网络，提高对充电宝及充电宝铭牌感兴趣区域的 平面检测精度，同时由于充电宝厚度不同，采用双目立体视觉特征点三维重建 理论中异面直线公垂线段中点法实现对充电宝测距，提高对充电宝测距的精度。 所以该系统提高了充电宝分拣的定位精度。
附图说明
图1为本发明一实施例的K＝[2～9]八组预测框对模型定位能力的影响示意 图；
图2为本发明一实施例的单目标标定中所应用的标定板；
图3为本发明一实施例的MATLAB单目相机标定工具箱图形交互界面；
图4为本发明一实施例的MATLAB双目立体相机标定工具箱图形交互界 面；
图5为本发明一实施例的充电宝铭牌检测网络；
图6为本发明一实施例的充电宝铭牌检测网络；
图7为本发明一实施例的充电宝数据集、充电宝铭牌数据集、充电宝铭牌 检测模型和充电宝铭牌检测模型的建立流程图；
图8为本发明一实施例的充电宝感兴趣区域示意图；
图9为本发明一实施例的充电宝铭牌区域示意图；
图10为本发明一实施例的充电宝感兴趣区域包含目标铭牌和干扰铭牌的示 意图；
图11为本发明又一实施例的充电宝感兴趣区域目标铭牌和干扰铭牌相同的 示意图；
图12为图11中筛选出符合要求的目标铭牌的示意图；
图13为本发明一实施例的特征点三维重建模块示意图；
图14为本发明一实施例的于机器视觉的废弃充电宝回收分拣设计方法的输 出原理图；
图15为图14的效果图。
其中，1-充电宝感兴趣区域，2-充电宝，3-充电宝铭牌，11-充电宝显示标签， 4-充电宝铭牌区域，41-铭牌显示标签，4a-目标铭牌区域，4b-干扰铭牌区域。41a- 目标铭牌显示标签。-
具体实施方式
下面将结合示意图对本发明的基于机器视觉的废弃充电宝回收分拣设计方法 进行更详细的描述，其中表示了本发明的优选实施例，应该理解本领域技术人 员可以修改在此描述的本发明，而仍然实现本发明的有利效果。因此，下列描 述应当被理解为对于本领域技术人员的广泛知道，而并不作为对本发明的限制。
一种基于机器视觉的废弃充电宝回收分拣设计方法，包括以下步骤S1～S7， 具体如下：
S1:制作充电宝数据集和充电宝铭牌数据集，将这两个数据集分别在训练网 络训练得到充电宝检测模型和充电宝铭牌检测模型；基于维度聚类分别选取两 个充电宝目标框和充电宝铭牌目标框的预测框，自动找到更好的boxes宽高维 度，使网络更容易学到准确的预测位置。
将两个工业相机安装在距离流水线皮带正上方0.6m处，采集流水线场景下 不同品牌充电宝图片，人工选择2000张具有代表性的充电宝图片，用labelimg 软件手工标注完成自制充电宝图片数据集和铭牌图片数据集，两个数据集包括 训练样本、测试样本和验证样本。
完成数据集自制标注后，需要进行维度聚类的预测框选取操作。具体的， 采用K-means对数据集中手工标记的充电宝目标框和铭牌目标框进行聚类，找 到目标框的统计规律，以聚类个数k作为网络中anchor个数，以k个聚类中心 box的宽高维度作为网络中anchor的维度。在实现K-means维度聚类时，通过 计算交并比作为评价衡量指标，同时采用单位网格使其标准化。维度聚类相异 度计算公式如下式(1)所示：
d(box,centrd)＝1-IoU(box,centrd) (1)
其中：centrd为数据集簇中心，box为数据集样本。
IOU(box,centrd)表示簇聚类框和中心框的交并比，表示预测框的精确程度， 如下式(2)表示为
其中：bbdt为预测框，bbgt为真实框。
经过实验对比K＝[2～9]八组预测框对模型定位能力的影响，如图1所示，均 衡网络性能和检测实时性，最终选择充电宝和铭牌预测框个数均为为5个，完 成维度聚类的预测框选取。
S2:使用MATLAB标定工具箱标定两个工业相机，以获取工业相机的内参 数、畸变系数及外参数；具体为：
S21：分别对两个工业相机分别进行单目标定；
S22：将单目标标定结果均导入至MATLAB双目立体标定工具箱进行双目 立体标定，以获取两个工业相机的标定结果。
目前采用最多的摄像机成像模型是小孔成像模型，根据小孔成像原理可知， 世界坐标系下的三维坐标点(XW，YW，ZW)与图像像素坐标系下的二维坐标点 (u，v)之间的变换如下式(3)所示：
其中，(XW，YW，ZW)为世界坐标系三维点的坐标；ZC为被测点在相机坐 标系下的Z坐标；(u，v)为像素坐标系下特征点的像素坐标；R、T分别为相 机坐标系相对世界坐标系位置下的旋转和平移矩阵；f为相机的焦距；dx，dy为 离散化的单位长度，即一个像素所占的实际物理长度；(u0，v0)为光轴中心在 像素坐标系下的像素坐标。
准备标定棋盘格图片，制作简易的标定板如图2所示。固定好两个相机， 拍摄不同角度的标定板图像，20组左右为宜。在matlab命令行输入calib_gui， 启动matlab相机标定工具箱，如图3所示，左右相机分别进行单目标定，分别 得到左右相机的内参及畸变参数。
以左相机标定为例如下所示为相机标定具体步骤：
a、载入左相机采集的待标定图片
b、为每一张棋盘格标定图像手动设置最外围的四个内角点，并且设置小 方格的实际尺寸，相机标定工具箱自动找到棋盘格的由四个内角点包围起来 的所有角点
c、若相机的畸变较大，可通过输入预测的径向畸变系数协助工具箱获取 到更准确的结果。
d、重复操作每一张代表定的图片，最后点击相机标定工具箱的Calibration 按钮运行程序，获得左相机的标定结果(内参、畸变参数)并保存到当前左 相机图片所在目录下。
左右相机都分别进行单目标定后，在matlab命令行输入stereo_gui，启动 matlab双目立体标定工具箱，如图4所示，导入左右相机分别进行单目标定的 结果，最后点击工具箱上的运行立体标定按钮运行程序，得到两个相机的标定 结果(相机内参、畸变参数和外参)。
S3:建立充电宝检测网络和充电宝铭牌检测网络；充电宝检测网络基于 YOLOv2-tiny-voc网络结构并加入密集模块。充电宝铭牌检测网络是基于 YOLOv2-tiny-voc网络结构并加入跨层连接模块。
废弃充电宝分拣流水线上，机械吸盘要实现充电宝吸取，必须对充电宝进 行精确检测定位。YOLOv2-tiny在目标识别领域有不错的检测效果，但是 YOLOv2-tiny对流水线废弃充电宝，特别是复杂环境下多目标充电宝感兴趣区域 的检测精度有待提高。对于充电宝大目标检测，往往更依赖于深层特征，为此 提出结合密集连接的YOLOv2-tiny-dense网络结构。
在YOLOv2-tiny-voc网络结构的基础上作出如下改进，YOLOv2-tiny-voc网 络特征图深层加入密集模块(如图5虚线框)，替代YOLOv2-tiny-voc的第7卷 积层(分辨率为19×19)，第8卷积层接收密集模块输出的多层卷积特征，实现 特征复用与融合，改进后的网络结构图如图5所示。
在密集模块中，各层特征图输出用下式(4)表示：
xk＝Hk([x0,x1……xk-1])，k＝(1,2,3,4) (4)
其中，图5中的数字代表每一层输入特征图的大小，例如第一层输入为608 ⅹ608ⅹ3的特征图，经过卷积处理输出304ⅹ304ⅹ16的特征图，以此类推；图 中字母代表模块输入特征图，x0模块特征图大小为19ⅹ19ⅹ512，x1模块特征图 大小为19ⅹ19ⅹ640，xk表示第k层的输出。Hk(·)为BN(批量归一化)、ReLU (激活函数)及卷积的组合函数，实现了第k层非线性变换。本检测方法设计 的Hk(·)操作为BN-ReLU-Conv(3,3)-BN-ReLU-Conv(3,3)。
在检测到流水线场景上充电宝感兴趣区域后，在此感兴趣区域上检测充电 宝目标铭牌，用于后续特征点检测及立体视觉对充电宝进行测距。充电宝感兴 趣区域铭牌过小，降低了充电宝铭牌检测的精度，所以经过实验研究发现，YOLOv2-tiny-voc并不完全适用于检测视频中充电宝小铭牌目标，为此提出带有 深度残差网络的YOLOv2-tiny-Resnets网络。
在YOLOv2-tiny-voc网络结构的基础上作出如下改进，增加额外的跨层连 接模块，使深层低分辨率和浅层高分辨特征信息融合，构成如图6所示的 YOLOv2-tiny-ResNets网络。图中的数字代表每一层输入特征图的大小，例如第 一层输入为像素为608ⅹ608，通道数为3的图片，经过卷积处理输出304ⅹ304 ⅹ16的特征图，以此类推，最终输出19ⅹ19ⅹ50的特征图。
为了减少训练过程中的计算资源空间，选择原网络中第4层池化处理后得 到的38×38特征图，连接一个大小为2x2、步长为2的池化层做进一步池化操作， 使得输出与最终特征图一样的分辨率，然后添加一个1×1卷积层进行额外的类 预测，最后，将这个输出作为细粒度特征与最终的卷积特征重组融合，在基本 不增加原有模型计算量和时间情况下，提高检测小目标充电宝铭牌的性能。
S4:分别对充电宝检测网络和充电宝铭牌检测网络进行网络训练以获取充电 宝检测模型和充电宝铭牌检测模型；网络训练具体为：设置网络训练参数和网 络训练策略，将步骤S1中的数据集输入至步骤S3中相应的检测网络中，以网 络训练参数和网络训练策略为约束激进型网络训练。
充电宝检测模型和充电宝铭牌检测模型训练流程如图7所示。
(1)本系统的服务器配置为：Intel(R)Core(TM)i7-7300HQ处理器，16GB 运行内存，2T硬盘容量，NVIDIA GeForce 1080GPU，系统为Ubuntu 14.04。
(2)网络训练参数设置。权值的初始学习率为0.0001，网络学习率的调整 策略policy为STEPS，采用动量项为0.9的异步随机梯度下降；每次训练的图片 数量为64张，最大训练迭代次数为200000次。在迭代次数100，1000，10000 次时学习率发生变化(steps＝100，1000，10000)，学习率变化的比率为10.0，0.1，0.1，与steps中的参数相对应。
(3)网络训练策略。针对流水线充电宝形状差异大、个别目标尺度较小等 特点，网络训练采用了以下策：。一是增大输入尺度。在608×608的分辨率下 微调网络，以适应检测中更高的输入分辨率，提高铭牌小目标的检测能力。二 是采用多尺度训练。在训练过程中，每隔10个批量，网络自动在设定的多尺度 集{384,416……672}随机更换一个尺寸继续训练，适应不同输入分辨率下充电 宝及铭牌的检测。
S5:通过充电宝检测模型和两个工业相机，提取检测场景中的充电宝感兴趣 区域；充电宝感兴趣区域包括充电宝的铭牌、轮廓及轮廓中心。铭牌包括目标 铭牌和/或干扰铭牌。
充电宝检测模型检测场景中的充电宝2。充电宝检测模型检测左右相机实时 采集的图片中的充电宝感兴趣区域1，充电宝感兴趣区域1上的充电宝显示标签 11可以自动标注显示充电宝的品牌，充电宝感兴趣区域1内可显示轮廓中心， 如图8所示，完成充电宝的品牌分类及平面二维定位(获取充电宝中心x，y坐 标)。然而废弃充电宝分拣流水线可能会出现多个充电宝紧靠的情况，在检测到 充电宝感兴趣区域后，充电宝区域内可能出现多个铭牌，包括目标铭牌和/或干 扰铭牌。
S6:通过充电宝铭牌检测模型两个工业相机，提取充电宝感兴趣区域中的充 电宝铭牌区域；充电宝铭牌区域4包括充电宝铭牌3。充电宝铭牌区域4上显示 有铭牌显示标签41。如图9所示，可以自动显示充电宝铭牌的品牌及矩形区域。
(1)充电宝感兴趣区域内包括目标铭牌和干扰铭牌
充电宝感兴趣区域内含有目标铭牌区域4a，干扰铭牌区域4b，判断在充电 宝感兴趣区域内检测到的目标铭牌是否与充电宝感兴趣区域是否匹配，选择与 充电宝匹配的目标铭牌，如图10充电宝的品牌为Patriot，在此感兴趣区域内检 测到两个铭牌，分别为fWk与Patriot铭牌，剔除与充电宝的品牌不一致的小目 标铭牌。目标铭牌区域4a上的目标铭牌显示标签41a显示目标铭牌。
(2)充电宝感兴趣区域内包含2个目标铭牌
流水线充电宝分拣场景可能会出现在充电宝感兴趣区域内检测到目标铭牌 都与充电宝品牌匹配的情况。若判断充电宝感兴趣区域内的目标铭牌牌同，如 充电宝的品牌为Patriot，在此感兴趣区域内检测到两个小目标铭牌且都为Patriot 铭牌，则考虑通过检测感兴趣区域内矩形直线，如图11所示，然后筛选出充电 宝感兴趣区域内充电宝边缘的四条直线，最后判断检测到的2个人标铭牌是否 在四条直线围成的区域内，从而筛选出复合要求的目标铭牌，如图12所示。
S7:通过特征点三维重建模块，实现充电宝铭牌的测距。三维重建模块前， 对特征点进一步筛选。
如图13所示为空间特征点三维重建示意图，由于相机在成像时受噪音的影 响、标定参数微小误差的影响以及并不是理想的小孔成像，实际上两条直线OLPL和ORPR未必相交于一点，而且这两条不可能不平行，所以这两条直线可能会是 异面直线，在求解过程中，为了使求解更具有普遍性，将理想的相较于一点的 两条直线视作公垂线长度为0的两条特殊异面直线。
基于异面直线公垂线段中点法特征点三维重建原理如下所示：如图13所示， P为空间物体表面任意一点，两个工业相机分别为C1、C2，分别以两个相机焦 点为中心建立两个三维直角坐标系OL-XL YL ZL、OR–XR YR ZR，PL与PR分 别为空间点P在两个相机上成像的特征点，P1为OLP直线上任意一点。假定两 条异面直线OLPL和ORPR的单位向量分别为QL、QR分别为在两条异面直 线上滑动的点。当||QLQR||值最小时，QLQR即为两条异面直线的公垂线，(QL+QR)/2 为公垂线中点的坐标。由于异面直线的公垂线与异面直线垂直容易得到式(5)为
即
利用消元法解出比例系数k1和k2，如下式(6)所示
将求出的位置系数代入式(5)公垂线所在的直线方程中，求得||QLQR||的大 小，如果||QLQR||小于某个设定的阈值，近似空间点坐标为(QL+QR)/2。得到匹配 好的铭牌特征点对后，用三维重建理论中定位精度更好的异面直线公垂线段中 点法实现铭牌特征点的三维重建，实现对充电宝的测距(z方向定位)。
研究发现，机器视觉是一门包含计算机科学、人工智能、图像处理、深度 学习、机械工程等诸多领域的技术学科，通过计算机模拟人的视觉功能，对摄 像头采集到的图像分析判断，应用于实际的工业检测和控制中。在大批量简单 重复的工业生产过程中，机器视觉的应用优势非常明显，可以大大提高工业生 产检测的效率和灵活度。深度学习作为机器视觉中一个新的研究领域，起到了 非常显著的作用。它通过建立模拟人的大脑分析学习的神经网络，模仿人的大 脑对当前场景加以分析判断。与传统图像处理相比，深度学习在复杂场景下有 更高的检测精度，广泛应用于工业检测、无人驾驶等领域中。双目立体视觉是机器视觉的一种重要形式，在机器视觉中扮演着重要的角色。它利用图像采集 设备从不同的位置获取被测量物体的两张图片，基于视差原理，计算图像对应 特征点之间的像素偏差，获取三维物体的几何信息。双目立体视觉有很高的研 究价值，广泛应用于机器人视觉，航空测绘等领域中。因此，本发明开发的种 于机器视觉的废弃充电宝自动回收分拣设计方法具备良好的前景。
该设计方法中，首先用深度学习目标检测算法来检测流水线上的充电宝和 充电宝铭牌感兴趣区域，其中检测到的充电宝感兴趣区域作为充电宝平面二维 定位(x，y坐标)；然后用特征点检测算法检测左右相机铭牌感兴趣区域中的铭 牌特征点，最后通过双目立体视觉特征点三维重建理论公式计算充电宝在z方 向的坐标，进而实现对流水线下废弃充电宝的自动分拣。
应用本发明的分拣系统的工作原理为：完成以上关键步骤，成功应用本发 明分拣系统后，工业相机采集流水线上的充电宝图片，系统调用充电宝检测模 型，自动检测图片中的充电宝感兴趣区域，同时检测到的充电宝感兴趣区域的 中心坐标作为充电宝的中心坐标，实现充电宝的品牌识别与平面二维定位。系 统自动检测到充电宝感兴趣区域后，调用充电宝铭牌检测模型，自动检测充电 宝感兴趣中的充电宝铭牌。系统检测到左右相机图像充电宝铭牌后，自动调用 特征点三维重建模块实现铭牌特征点的三维重建，实现对充电宝铭牌的测距。 结合上述步骤，完成充电宝的铭牌牌识别与三维定位，可以实现废弃充电宝的 分拣，整体系统输出原理图和效果图分别如图14、图15所示。图14中，PL与PR分别为空间点P在两个相机上成像的特征点，与分别为两条异面直线OLPL和 ORPR的单位向量，k1、k2为比例系数，QL、QR为在两条异面直线上滑动的点， Q为近似空间点坐标。
上述仅为本发明的优选实施例而已，并不对本发明起到任何限制作用。 任何所属技术领域的技术人员，在不脱离本发明的技术方案的范围内，对本发 明揭露的技术方案和技术内容做任何形式的等同替换或修改等变动，均属未脱 离本发明的技术方案的内容，仍属于本发明的保护范围之内。

Claims (10)

1.一种基于机器视觉的废弃充电宝回收分拣设计方法，其特征在于，包括以下步骤：
S1:制作充电宝数据集和充电宝铭牌数据集；基于维度聚类分别选取充电宝目标框和充电宝铭牌目标框的预测框；
S2:使用MATLAB标定工具箱标定两个工业相机，以获取工业相机的内参数、畸变系数及外参数；
S3:建立充电宝检测网络和充电宝铭牌检测网络；
S4:分别对充电宝检测网络和充电宝铭牌检测网络进行网络训练以获取充电宝检测模型和充电宝铭牌检测模型；
S5:通过充电宝检测模型和两个工业相机，提取检测场景中的充电宝感兴趣区域；
S6:通过充电宝铭牌检测模型和两个工业相机，提取充电宝感兴趣区域中的充电宝铭牌区域；
S7:通过特征点三维重建模块，实现充电宝铭牌的测距。
2.根据权利要求1所述的基于机器视觉的废弃充电宝回收分拣设计方法，其特征在于，在步骤S1中，采用K-means对充电宝数据集和充电宝铭牌数据集分别进行聚类。
3.根据权利要求1所述的基于机器视觉的废弃充电宝回收分拣设计方法，其特征在于，步骤S2具体为：
S21：分别对两个工业相机分别进行单目标定；
S22：将单目标标定结果均导入至matlab双目立体标定工具箱进行双目立体标定，以获取两个工业相机的标定结果。
4.根据权利要求1所述的基于机器视觉的废弃充电宝回收分拣设计方法，其特征在于，在步骤S3中，所述充电宝检测网络基于YOLOv2-tiny-voc网络结构并加入密集模块。
5.根据权利要求1所述的基于机器视觉的废弃充电宝回收分拣设计方法，其特征在于，在步骤S3中，所述充电宝铭牌检测网络基于YOLOv2-tiny-voc网络结构并加入跨层连接模块。
6.根据权利要求1所述的基于机器视觉的废弃充电宝回收分拣设计方法，其特征在于，在步骤S4中，所述网络训练具体为：设置网络训练参数和网络训练策略，将步骤S1中的数据集输入至步骤S3中相应的检测网络中，以网络训练参数和网络训练策略为约束激进型网络训练。
7.根据权利要求1所述的基于机器视觉的废弃充电宝回收分拣设计方法，其特征在于，在步骤S5中，所述充电宝感兴趣区域包括充电宝的铭牌、轮廓及轮廓中心。
8.根据权利要求7所述的基于机器视觉的废弃充电宝回收分拣设计方法，其特征在于，所述铭牌包括目标铭牌和干扰铭牌。
9.根据权利要求8所述的基于机器视觉的废弃充电宝回收分拣设计方法，其特征在于，在步骤S6中，所述铭牌包括目标铭牌。
10.根据权利要求7所述的基于机器视觉的废弃充电宝回收分拣设计方法，其特征在于，在步骤S7中，三维重建模块前后，对充电宝铭牌区域内的特征点进一步筛选。
CN201811333258.8A 2018-11-09 2018-11-09 一种基于机器视觉的废弃充电宝回收分拣设计方法 Active CN109460790B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811333258.8A CN109460790B (zh) 2018-11-09 2018-11-09 一种基于机器视觉的废弃充电宝回收分拣设计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811333258.8A CN109460790B (zh) 2018-11-09 2018-11-09 一种基于机器视觉的废弃充电宝回收分拣设计方法

Publications (2)

Publication Number Publication Date
CN109460790A true CN109460790A (zh) 2019-03-12
CN109460790B CN109460790B (zh) 2021-08-03

Family

ID=65609934

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811333258.8A Active CN109460790B (zh) 2018-11-09 2018-11-09 一种基于机器视觉的废弃充电宝回收分拣设计方法

Country Status (1)

Country Link
CN (1) CN109460790B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5434927A (en) * 1993-12-08 1995-07-18 Minnesota Mining And Manufacturing Company Method and apparatus for machine vision classification and tracking
US20140177915A1 (en) * 2012-12-26 2014-06-26 Shengyin FAN Method and apparatus for detecting object
CN207010267U (zh) * 2017-05-08 2018-02-13 顾峰 便携式电动车用可组合快速充电宝
CN108667117A (zh) * 2018-05-18 2018-10-16 上海电机学院 一种基于公交站台光伏发电的共享充电宝装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5434927A (en) * 1993-12-08 1995-07-18 Minnesota Mining And Manufacturing Company Method and apparatus for machine vision classification and tracking
US20140177915A1 (en) * 2012-12-26 2014-06-26 Shengyin FAN Method and apparatus for detecting object
CN207010267U (zh) * 2017-05-08 2018-02-13 顾峰 便携式电动车用可组合快速充电宝
CN108667117A (zh) * 2018-05-18 2018-10-16 上海电机学院 一种基于公交站台光伏发电的共享充电宝装置

Also Published As

Publication number Publication date
CN109460790B (zh) 2021-08-03

Similar Documents

Publication Publication Date Title
CN105023010B (zh) 一种人脸活体检测方法及系统
CN105574527B (zh) 一种基于局部特征学习的快速物体检测方法
CN105719188B (zh) 基于多张图片一致性实现保险理赔反欺诈的方法及服务器
CN104063702B (zh) 一种基于遮挡修复和局部相似性匹配的三维步态识别方法
CN104166841B (zh) 一种视频监控网络中指定行人或车辆的快速检测识别方法
CN104182765B (zh) 一种互联网图像驱动的三维模型最优视图自动选择方法
CN106651942A (zh) 基于特征点的三维旋转运动检测与旋转轴定位方法
CN106960210B (zh) 目标检测的方法和装置
CN106204618A (zh) 基于机器视觉的产品包装表面缺陷检测与分类方法
CN109214420A (zh) 基于视觉显著性检测的高纹理图像分类方法及系统
CN109685141A (zh) 一种基于深度神经网络的机器人物品分拣视觉检测方法
CN108520226A (zh) 一种基于躯体分解和显著性检测的行人重识别方法
CN106951869B (zh) 一种活体验证方法及设备
CN109559310A (zh) 基于显著性检测的输变电巡检图像质量评价方法及系统
CN108428231A (zh) 一种基于随机森林的多参数零件表面粗糙度学习方法
CN115294117B (zh) Led灯珠的缺陷检测方法及相关装置
CN104850857B (zh) 基于视觉空间显著性约束的跨摄像机行人目标匹配方法
CN107992783A (zh) 人脸图像处理方法及装置
CN106650606A (zh) 人脸图像的匹配及处理方法、人脸图像模型构建系统
CN109934221A (zh) 基于注意力机制的电力设备自动分析识别监控方法及系统
CN113850865A (zh) 一种基于双目视觉的人体姿态定位方法、系统和存储介质
CN107590427A (zh) 基于时空兴趣点降噪的监控视频异常事件检测方法
CN109919038A (zh) 基于机器视觉与深度学习的配电柜方形压板状态识别方法
CN108921064A (zh) 基于多特征融合的行人重识别方法
CN107679542A (zh) 一种双摄像头立体视觉识别方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant