CN113763433A - 一种玻璃瓶跟踪计数系统 - Google Patents

一种玻璃瓶跟踪计数系统 Download PDF

Info

Publication number
CN113763433A
CN113763433A CN202111316726.2A CN202111316726A CN113763433A CN 113763433 A CN113763433 A CN 113763433A CN 202111316726 A CN202111316726 A CN 202111316726A CN 113763433 A CN113763433 A CN 113763433A
Authority
CN
China
Prior art keywords
unmatched
preset
tracking
detection result
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111316726.2A
Other languages
English (en)
Inventor
朱青
牛超群
周显恩
王耀南
毛建旭
吴成中
申文婷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan University
Original Assignee
Hunan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan University filed Critical Hunan University
Priority to CN202111316726.2A priority Critical patent/CN113763433A/zh
Publication of CN113763433A publication Critical patent/CN113763433A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种玻璃瓶跟踪计数系统，包括视觉成像模块、运动控制模块、信息处理模块，视觉成像模块和运动控制模块连接信息处理模块，信息处理模块用于输入开启信号至运动控制模块；输入停止信号至运动控制模块；以及接收视觉成像模块发送的视频图像，根据玻璃瓶跟踪计数方法对更新后的Tracks进行ID标注完成计数；运动控制模块用于根据接收的开启信号控制传送带带动传送带上玻璃瓶在预设边界范围内往返运动；以及根据接收的停止信号停止运动；视觉成像模块用于采集往返运动的玻璃瓶的视频图像，并发送至信息处理模块。有效提升玻璃瓶瓶口跟踪计数的速度与准确度。

Description

一种玻璃瓶跟踪计数系统
技术领域
本发明属于工业自动化检测技术领域，特别是涉及一种玻璃瓶跟踪计数系统。
背景技术
目标跟踪是计算机视觉的一个重要分支，其利用视频或图像序列的上下文信息，对目标的外观和运动信息进行建模，从而对目标运动状态进行预测并标定目标的位置，是完成更高层级的图像理解(如目标行为识别)任务的前提和基础。
我国每年的玻璃瓶需求量巨大，2018年，我国玻璃包装制品产量达到1549.14万吨。但现有的计数系统存在以下问题：计数时玻璃瓶数量众多，各玻璃瓶之间相似度很高，在识别过程中极容易出现错跟，漏跟，目标丢失等情况，从而导致计数结果出现误差；玻璃瓶由于表面光滑，反光率高且形状不规则，在成像过程中会出现大量反光区域，影响识别与计数精确度；由于在工业生产中，玻璃瓶的运输速度较快，对计数效率也有较高要求，所以玻璃瓶的计数算法需要较高的实时性，导致传统的玻璃瓶计数的计数效率和准确性低。
发明内容
针对以上技术问题，本发明提供一种可有效提升玻璃瓶瓶口跟踪计数速度与准确度的玻璃瓶跟踪计数系统。
本发明解决其技术问题采用的技术方案是：
一种玻璃瓶跟踪计数系统，包括视觉成像模块、运动控制模块、信息处理模块，视觉成像模块和运动控制模块连接信息处理模块，
信息处理模块用于输入开启信号至运动控制模块；输入停止信号至运动控制模块；以及接收视觉成像模块发送的视频图像，对视频图像进行分帧及预处理，将每一帧图像输入至预设的检测模型，得到每一帧图像对应的玻璃瓶瓶口的检测结果并发送至预设级联匹配模块；预设级联匹配模块根据接收的检测结果以及预设Tracks发送的预测后的已确认的跟踪框对目标玻璃瓶进行匹配得到第一未匹配的跟踪目标、第一未匹配的检测结果和第一匹配成功的跟踪目标，第一匹配成功的跟踪目标经过卡尔曼滤波更新输入预设Tracks，第一未匹配的跟踪目标和第一未匹配的检测结果输入至预设DIOU模块；预设Tracks中的第一匹配成功的跟踪目标经过卡尔曼滤波预测后，将已确认的跟踪框重新输入至预设级联匹配模块进行下一次跟踪的更新，未确认的跟踪框输入至预设DIOU模块；预设DIOU模块根据接收的第一未匹配的跟踪目标、第一未匹配的检测结果和未确认的跟踪框进行匹配，得到第二未匹配的跟踪目标、第二未匹配的检测结果和第二匹配成功的跟踪目标，将第二匹配成功的跟踪目标输入预设Tracks，对第二未匹配的检测结果分配新的Tracks并添加至预设Tracks中，将预设DIOU模块中不满足预设的筛选条件的第二未匹配的跟踪目标中的跟踪框删除，满足预设的筛选条件的第二未匹配的跟踪目标中的跟踪框输入至预设Tracks，直至所有帧图像对应的检测结果处理完毕得到更新后的Tracks，对更新后的Tracks进行ID标注完成计数；
运动控制模块用于根据接收的开启信号控制传送带带动传送带上玻璃瓶在预设边界范围内往返运动；以及根据接收的停止信号停止运动；
视觉成像模块用于采集往返运动的玻璃瓶的视频图像，并发送至信息处理模块。
优选地，预设的检测模型包括注意力网络、空间金字塔池网络、第一跨阶段局部网络、第二跨阶段局部网络、第三跨阶段局部网络、第四跨阶段局部网络和第五跨阶段局部网络，将每一帧图像输入至预设的检测模型，得到每一帧图像对应的玻璃瓶瓶口的检测结果，包括：
将每一帧图像依次输入至注意力网络进行特征提取，得到每一帧图像对应的特征图，并分别发送至第一跨阶段局部网络和空间金字塔池网络；
第一跨阶段局部网络和空间金字塔池网络根据接收到的每一帧图像对应的特征图得到不同尺度大小的特征图，针对不同尺度大小的的特征图依次通过第二跨阶段局部网络结构、第三跨阶段局部网络结构、第四跨阶段局部网络结构和第五跨阶段局部网络结构进行网络特征融合，得到融合后的特征，对融合后的特征进行Conv卷积后输出玻璃瓶瓶口的检测结果。
优选地，预设级联匹配模块根据接收的检测结果以及预设Tracks发送的预测后的已确认的跟踪框对目标玻璃瓶进行匹配得到第一未匹配的跟踪目标、第一未匹配的检测结果和第一匹配成功的跟踪目标，包括：
预设级联匹配模块根据接收的检测结果以及预设Tracks发送的预测后的已确认的跟踪框计算得到检测结果与已确认的跟踪框的余弦距离；
根据预设Tracks发送的预测后的已确认的跟踪框和检测结果中的实际检测框计算得到两者之间的平方马氏距离；
当平方马氏距离大于预设的马氏距离阈值时，将平方马氏距离对应的余弦距离设置为无穷大；
使用匈牙利算法对预设Tracks发送的预测后的已确认的跟踪框和检测结果进行匹配，得到第一匹配结果；
将第一匹配结果中余弦距离大于预设余弦距离阈值的第一匹配结果删除，得到第一未匹配的跟踪目标、第一未匹配的检测结果和第一匹配成功的跟踪目标。
优选地，预设DIOU模块根据接收的第一未匹配的跟踪目标、第一未匹配的检测结果和未确认的跟踪框进行匹配，得到第二未匹配的跟踪目标、第二未匹配的检测结果和第二匹配成功的跟踪目标，包括
计算第一未匹配的跟踪目标和第一未匹配的检测结果之间的DIOU距离，将DIOU距离大于第一预设DIOU距离对应的第一未匹配的跟踪目标和第一未匹配的检测结果删除；
使用匈牙利算法以基于DIOU距离为输入对第一未匹配的跟踪目标和第一未匹配的检测结果进行匹配，得到第二匹配结果；
将第二匹配结果中DIOU距离小于第二预设DIOU距离对应的第二匹配结果删除，得到第二未匹配的跟踪目标、第二未匹配的检测结果和第二匹配成功的跟踪目标。
优选地，计算第一未匹配的跟踪目标和第一未匹配的检测结果之间的DIOU距离，具体为：
Figure 391476DEST_PATH_IMAGE001
其中，
Figure 636512DEST_PATH_IMAGE002
是覆盖第一未匹配的跟踪目标和第一未匹配的检测结果的最小跟踪框的对角线长度框，
Figure 275304DEST_PATH_IMAGE003
为第一未匹配的跟踪目标的面积和第一未匹配的检测结果的面积之间的交并比距离，
Figure 201672DEST_PATH_IMAGE004
为第一未匹配的跟踪目标，
Figure 281623DEST_PATH_IMAGE005
为第一未匹配的检测结果，
Figure 635244DEST_PATH_IMAGE006
为
Figure 230174DEST_PATH_IMAGE004
与
Figure 960232DEST_PATH_IMAGE005
中心点之间的欧几里得距离。
优选地，预设的筛选条件为已确认的跟踪框的帧率满足预设的帧率范围。
优选地，视觉成像模块包括彩色相机、第一横向光源和第二横向光源，彩色相机设置在传送带的上方，彩色相机的镜头装有偏振片，第一横向光源和第二横向光源分别倾斜设置在彩色相机的两侧，以实现多角度均匀打光。
优选地，信息处理模块为主控PC。
优选地，运动控制模块包括电机、电机控制器、变压器、可编程逻辑控制器、第一光电开关、第二光电开关、第一反光镜片、第二反光镜片、第一继电器和第二继电器，变压器接入外部电源，并分别连接可编程逻辑控制器、第一继电器和第二继电器，第一继电器连接电机，电机接入外部电源，并设置于传送带下方，第二继电器连接电机控制器，电机控制器连接电机，可编程逻辑控制器连接第一光电开关和第二光电开关，可编程逻辑控制器还用于连接主控PC，第一光电开关和第二光电开关均设置于传送带边缘的一侧，第一反光镜片和第二反光镜片均设置于传送带边缘的另一侧，且设置位置分别与第一光电开关和第二光电开关的位置一一对应。
优选地，玻璃瓶跟踪计数系统还包括装置围挡，装置围挡设置于传送带边缘。
上述玻璃瓶跟踪计数系统，信息处理模块用于控制运动控制模块的开启和停止，运动控制模块用于根据接收的开启控制信号控制传送带带动传送带上玻璃瓶在预设边界范围内往返运动，并根据接收的停止控制信号控制传送带停止运动，在传送带往返运动的过程中，视觉成像模块用于采集往返运动的玻璃瓶的视频图像，并发送至信息处理模块，信息处理模块根据接收的视频图像，对视频图像进行分帧和预处理，通过预设的检测模型得到检测结果，实现了玻璃瓶瓶口的精确检测，有效改善了错检漏检的问题，提出将预设级联匹配模块与预设DIOU模块进行融合，将检测结果输入至预设级联匹配模块进行匹配，得到初步匹配的匹配结果，将预设级联匹配模块中未匹配的跟踪目标和未匹配的检测结果输入至预设DIOU模块进行进一步匹配得到再次匹配的匹配结果，进一步有效区分已匹配的跟踪目标、未匹配的跟踪目标和未匹配的检测结果，将预设级联匹配模块与预设DIOU模块中已确认的跟踪框输入至预设Tracks中，以为对未匹配的检测结果分配新的Tracks，直至所有帧图像对应的检测结果处理完毕得到更新后的Tracks，对更新后的Tracks进行ID标注完成计数，解决了现有玻璃瓶瓶计数算法存在的目标相似度较高导致易混淆和错跟的问题，以及目标数量较多导致的跟踪精度不高的问题，有效提升玻璃瓶瓶口跟踪的速度与准确度。
附图说明
图1为本发明一实施例中玻璃瓶跟踪计数系统的结构框图；
图2为本发明一实施例中信息处理模块中的玻璃瓶跟踪计数算法的流程图；
图3为本发明一实施例中玻璃瓶瓶口的检测效果图；
图4为本发明一实施例中的训练样本数据图；
图5为本发明一实施例中的检测模型的性能指标图；
图6为本发明一实施例中的玻璃瓶跟踪计数效果图；
图7为本发明一实施例中玻璃瓶跟踪计数系统的硬件结构示意图；
图8为本发明一实施例中玻璃瓶跟踪计数系统的硬件运行流程图；
图9为本发明一实施例中预设级联匹配模块的匹配流程图；
图10为本发明一实施例中DIOU匹配模块的匹配流程图。
具体实施方式
为了使本技术领域的人员更好地理解本发明的技术方案，下面结合附图对本发明作进一步的详细说明。
在一个实施例中，如图1所示，一种玻璃瓶跟踪计数系统，包括视觉成像模块110、运动控制模块120、信息处理模块130，视觉成像模块110和运动控制模块120连接信息处理模块130，信息处理模块130用于输入开启信号至运动控制模块120；输入停止信号至运动控制模块120；以及接收视觉成像模块110发送的视频图像，对视频图像进行分帧及预处理，将每一帧图像输入至预设的检测模型，得到每一帧图像对应的玻璃瓶瓶口的检测结果并发送至预设级联匹配模块；预设级联匹配模块根据接收的检测结果以及预设Tracks（跟踪器）发送的预测后的已确认的跟踪框对目标玻璃瓶进行匹配得到第一未匹配的跟踪目标、第一未匹配的检测结果和第一匹配成功的跟踪目标，第一匹配成功的跟踪目标经过卡尔曼滤波更新输入预设Tracks，第一未匹配的跟踪目标和第一未匹配的检测结果输入至DIOU（并集交点距离）模块；预设Tracks中的第一匹配成功的跟踪目标经过卡尔曼滤波预测后，将已确认的跟踪框重新输入至预设级联匹配模块进行下一次跟踪的更新，未确认的跟踪框输入至预设DIOU模块；预设DIOU模块根据接收的第一未匹配的跟踪目标、第一未匹配的检测结果和未确认的跟踪框进行匹配，得到第二未匹配的跟踪目标、第二未匹配的检测结果和第二匹配成功的跟踪目标，将第二匹配成功的跟踪目标输入预设Tracks，对第二未匹配的检测结果分配新的Tracks并添加至预设Tracks中，将预设DIOU模块中不满足预设的筛选条件的第二未匹配的跟踪目标中的跟踪框删除，满足预设的筛选条件的第二未匹配的跟踪目标中的跟踪框输入至预设Tracks，直至所有帧图像对应的检测结果处理完毕得到更新后的Tracks，对更新后的Tracks进行ID标注完成计数；运动控制模块120用于根据接收的开启信号控制传送带带动传送带上玻璃瓶在预设边界范围内往返运动；以及根据接收的停止信号停止运动；视觉成像模块110用于采集往返运动的玻璃瓶的视频图像，并发送至信息处理模块130。
具体地，预设的检测模型、预设级联匹配模块、预设Tracks和预设DIOU模块是信息处理模块中的组成部分，是信息处理模块中的玻璃瓶跟踪计数算法需要应用到的模块。
如图2所示，信息处理模块的玻璃瓶跟踪计数算法包括瓶口检测，玻璃瓶跟踪，ID更新计数3个工作流程：（1）瓶口检测：将彩色相机采集到的视频进行分帧以及预处理，预处理包括自适应缩放与归一化处理，每一帧图像输入至预设的检测模型，得到每一帧图像对应的玻璃瓶瓶口的检测结果，检测结果对应形式为将检测到的物体用检测框表示，并显示框内物体为玻璃瓶瓶口的概率，如图3所示，图3为玻璃瓶瓶口的检测效果图。在正式检测之前，需要对检测模型进行训练，通过标注大量玻璃瓶瓶口的图片作为训练集，如图4所示，图中的x, y为训练集中标注的瓶口矩形框距离原点最近的顶点在该幅图像里的坐标，x, y的取值范围为0-1，表示为该坐标点占图片总长度的比例。图4中，（a）的横坐标表示训练集中标注的瓶口矩形框距离整幅图原点最近的顶点在该幅图像里的横坐标占整个图片的横坐标的比值，纵坐标表示瓶口标注矩形框宽度占整张图片宽度的比值，（b）的横坐标表示训练集中标注的瓶口矩形框距离整幅图原点最近的顶点在该幅图像里的纵坐标占整个图片的纵坐标的比值，纵坐标表示瓶口标注矩形框宽度占整张图片宽度的比值，（c）的横坐标表示训练集中标注的瓶口矩形框距离整幅图原点最近的顶点在该幅图像里的横坐标占整个图片的横坐标的比值，纵坐标表示瓶口标注矩形框高度占整张图片高度的比值，（d）的横坐标表示训练集中标注的瓶口矩形框距离整幅图原点最近的顶点在该幅图像里的纵坐标占整个图片的纵坐标的比值，纵坐标表示瓶口标注矩形框高度占整张图片高度的比值，（e）的横坐标表示训练集中标注的瓶口矩形框距离整幅图原点最近的顶点在该幅图像里的横坐标占整个图片的横坐标的比值，纵坐标表示训练集中标注的瓶口矩形框距离整幅图原点最近的顶点在该幅图像里的纵坐标占整个图片的纵坐标的比值，（f）的横坐标表示瓶口标注矩形框宽度占整张图片宽度的比值，纵坐标表示瓶口标注矩形框高度占整张图片高度的比值。对检测模型进行训练，训练得到权重文件，将权重文件输入检测网络用于设置网络的具体参数，例如CSP2（跨阶段局部网络）的深度，上采样层数，卷积核大小等，训练完成后，得到玻璃瓶瓶口检测模型的性能指标，如图5所示，图5中（a）至（f）的横坐标表示训练迭代次数，（a）中纵坐标表示训练集的损失函数均值，该值越小检测框越准，（b）中纵坐标表示训练集的目标检测损失函数均值，越小目标检测越准，（c）中纵坐标表示精度（找对的正类/所有找到的正类），（d）中纵坐标表示验证集的损失函数均值，该值越小检测框越准，（e）中纵坐标表示验证集的目标检测损失函数均值，越小目标检测越准，（f）中纵坐标表示召回率（找对的正类/所有本应该被找对的正类）。（2）玻璃瓶跟踪：将玻璃瓶瓶口的检测结果输入预设级联匹配模块，对目标玻璃瓶进行匹配，未匹配的跟踪目标与未匹配的检测结果会进一步输入DIOU(并集交点距离)模块进行进一步匹配；匹配成功的跟踪目标经过卡尔曼滤波更新输入预设Tracks。预设Tracks中的跟踪目标经过卡尔曼滤波预测后，将已确认的跟踪框重新输入预设级联匹配模块进入下一次跟踪的更新。未确认的跟踪框输入DIOU匹配模块。经过DIOU匹配模块的目标会被分为三类：匹配成功的跟踪目标经过卡尔曼滤波更新输入预设Tracks；未匹配的检测结果将作为新的Track直接输入预设Tracks；以及未匹配的跟踪目标。在未匹配的跟踪目标中，将预设DIOU模块中不满足预设的筛选条件的第二未匹配的跟踪目标中的跟踪框删除，满足预设的筛选条件的第二未匹配的跟踪目标中的跟踪框输入至预设Tracks；进一步地，预设的筛选条件为已确认的跟踪框的帧率满足预设的帧率范围，即将未匹配的跟踪目标中，未确认的跟踪框与大于设定帧率的跟踪框将被删除，符合设定帧率的跟踪框直接输入预设Tracks；（3）ID更新计数：不断输入新的帧图像，检测后经过上述步骤实现目标跟踪框的实时更新，并将新的tracks统一标注ID计数，跟踪计数效果图如图6所示。
上述玻璃瓶跟踪计数系统，信息处理模块用于控制运动控制模块的开启和停止，运动控制模块用于根据接收的开启控制信号控制传送带带动传送带上玻璃瓶在预设边界范围内往返运动，并根据接收的停止控制信号控制传送带停止运动，在传送带往返运动的过程中，视觉成像模块用于采集往返运动的玻璃瓶的视频图像，并发送至信息处理模块，信息处理模块根据接收的视频图像，对视频图像进行分帧和预处理，通过预设的检测模型得到检测结果，实现了玻璃瓶瓶口的精确检测，有效改善了错检漏检的问题，提出将预设级联匹配模块与预设DIOU模块进行融合，将检测结果输入至预设级联匹配模块进行匹配，得到初步匹配的匹配结果，将预设级联匹配模块中未匹配的跟踪目标和未匹配的检测结果输入至预设DIOU模块进行进一步匹配得到再次匹配的匹配结果，进一步有效区分已匹配的跟踪目标、未匹配的跟踪目标和未匹配的检测结果，将预设级联匹配模块与预设DIOU模块中已确认的跟踪框输入至预设Tracks中，以为对未匹配的检测结果分配新的Tracks，直至所有帧图像对应的检测结果处理完毕得到更新后的Tracks，对更新后的Tracks进行ID标注完成计数，解决了现有玻璃瓶瓶计数算法存在的目标相似度较高导致易混淆和错跟的问题，以及目标数量较多导致的跟踪精度不高的问题，有效提升玻璃瓶瓶口跟踪的速度与准确度。
在一个实施例中，视觉成像模块包括彩色相机、第一横向光源和第二横向光源，彩色相机设置在传送带的上方，彩色相机的镜头装有偏振片，第一横向光源和第二横向光源分别倾斜设置在彩色相机的两侧，以实现多角度均匀打光。
具体地，彩色相机固定在传送带的上方，第一横向光源和第二横向光源分别倾斜放置在彩色相机两旁，实现斜向多角度均匀打光，减少成像时的阴影，有效避免玻璃瓶的阴影问题。相机镜头装有偏振片，用于减少成像时的反光问题，有效避免玻璃制品的反光问题导致的计数准确率下降。
在一个实施例中，信息处理模块为主控PC。
具体地，主控PC接收彩色相机的视频图像，经过玻璃瓶跟踪计数算法，实现玻璃瓶瓶口的实时跟踪计数，并将输出结果保存在主控PC上。
在一个实施例中，运动控制模块包括电机、电机控制器、变压器、可编程逻辑控制器、第一光电开关、第二光电开关、第一反光镜片、第二反光镜片、第一继电器和第二继电器，变压器接入外部电源，并分别连接可编程逻辑控制器、第一继电器和第二继电器，第一继电器连接电机，电机接入外部电源，并设置于传送带下方，第二继电器连接电机控制器，电机控制器连接电机，可编程逻辑控制器连接第一光电开关和第二光电开关，可编程逻辑控制器还用于连接主控PC，第一光电开关和第二光电开关均设置于传送带边缘的一侧，第一反光镜片和第二反光镜片均设置于传送带边缘的另一侧，且设置位置分别与第一光电开关和第二光电开关的位置一一对应。
具体地，电机具体为可变速电机，玻璃瓶置于传送带上方表面，可变速电机置于传送带下方，用于带动传送带和玻璃瓶往复运动。第一光电开关、第二光电开关与第一反光镜片、第二反光镜分别置于传送带边缘的左右两侧，并一一对应，用于检测玻璃瓶是否已经运动到边界，并向可编程逻辑控制器（PLC）输出开关信号。电机控制器置于电机旁，用于控制电机开启与转向。220V-24V变压器、可编程逻辑控制器（PLC）、第一继电器和第二继电器被固定在主控板上，其中可编程逻辑控制器（PLC）与主控PC连接，用于处理光电开关信号与电机控制信号。
具体的工作流程为：当主控PC向可编程逻辑控制器（PLC）输入开启信号时，驱动电机转动，打开第一横向光源和第二横向光源并开启相机开始采集图像数据。当玻璃瓶运动到传送带左右边界时，会挡住第一光电开关或第二光电开关发射的光信号，第一光电开关或第二光电开关输出一个低电平给可编程逻辑控制器，最终传输到PC。主控PC识别到第一光电开关或第二光电开关的低电平后，将向可编程逻辑控制器输入反转信号，此时电机反转并带动传送带和玻璃瓶，实现反转。通过主控PC控制彩色相机采集图像，在主控PC中使用一种多目标跟踪方法实现玻璃瓶的跟踪计数。当主控PC向可编程逻辑控制器（PLC）输入停止信号时，电机停转，关闭光源与彩色相机，并把跟踪视频与ID计数结果保存在PC上。
在一个实施例中，玻璃瓶跟踪计数系统还包括装置围挡，装置围挡设置于传送带边缘。具体地，装置围挡可用于防止玻璃瓶掉落。
下面将结合图7与图8的本发明的计数系统的硬件示意图，对装置运行过程进行详细说明，其包括以下步骤：
步骤1：通过主控PC12输入可编程逻辑控制器13的开启控制信号，实现控制第一继电器11的闭合，从而在220V交流电的驱动下实现电机9正转。此时电机9将驱动传送带17从而带动玻璃瓶7移动。
步骤2：当玻璃瓶7运动到传送带17左边界时，会挡住第一光电开关16发射的光信号，使其无法经过第一反光镜片1反射回第一光电开关16，从而使得第一光电开关16输出一个低电平给可编程逻辑控制器13，最终传输到PC12。
步骤3：主控PC12识别到第一光电开关16的低电平后，将向可编程逻辑控制器13输入反转信号，实现控制第二继电器14的闭合，在变压器10的220V交流电的驱动下使得电机控制器15输出反转信号，此时电机9反转并带动传送带17和玻璃瓶7，实现反转。
步骤4：当玻璃瓶7运动到传送带17右边界时，会挡住第二光电开关8发射的光信号，使其无法经过第二反光镜片5反射回第二光电开关8，从而使得第二光电开关8输出一个低电平给可编程逻辑控制器13，最终传输到主控PC12。
步骤5：主控PC12识别到第二光电开关8的低电平后，将向可编程逻辑控制器13输入正转信号，实现控制第二继电器14的断开，在变压器10的220V交流电的驱动下使得电机控制器15输出正转信号，此时电机9反转并带动传送带17和玻璃瓶7实现正转。
步骤6：通过主控PC12控制彩色相机4采集图像，在主控PC12中使用一种新的多目标跟踪方法实现玻璃瓶7的准确计数。
步骤7：重复以上步骤，实现实时精准玻璃瓶跟踪计数。
上述硬件中，还包括第一横向光源3和第二横向光源6，分别设置于彩色相机4的两侧，实现斜向多角度均匀打光，减少成像时的阴影，有效避免玻璃瓶的阴影问题，还包括装置围挡2，用于防止玻璃瓶掉落。
在一个实施例中，预设的检测模型包括注意力网络、空间金字塔池网络、第一跨阶段局部网络、第二跨阶段局部网络、第三跨阶段局部网络、第四跨阶段局部网络和第五跨阶段局部网络，将每一帧图像输入至预设的检测模型，得到每一帧图像对应的玻璃瓶瓶口的检测结果，包括：将每一帧图像依次输入至注意力网络进行特征提取，得到每一帧图像对应的特征图，并分别发送至第一跨阶段局部网络和空间金字塔池网络；第一跨阶段局部网络和空间金字塔池网络根据接收到的每一帧图像对应的特征图得到不同尺度大小的特征图，针对不同尺度大小的的特征图依次通过第二跨阶段局部网络结构、第三跨阶段局部网络结构、第四跨阶段局部网络结构和第五跨阶段局部网络结构进行网络特征融合，得到融合后的特征，对融合后的特征进行Conv卷积后输出玻璃瓶瓶口的检测结果。
具体地，图像数据经过第一跨阶段局部网络与空间金字塔池网络模块，得到不同尺度大小特征图。针对不同尺度大小的特征图使用多个跨阶段局部网络（对应第二至第五跨阶段局部网络）结构进行网络特征融合，经过激活函数激活，分别得到大小为152*152，76*76，38*38，19*19的特征，对所述融合后的特征进行Conv卷积，使用合适的矩形检测框将被检测目标框住，从而输出玻璃瓶瓶口的检测结果。
在一个实施例中，如图9所示，预设级联匹配模块根据接收的检测结果以及预设Tracks发送的预测后的已确认的跟踪框对目标玻璃瓶进行匹配得到第一未匹配的跟踪目标、第一未匹配的检测结果和第一匹配成功的跟踪目标，包括：预设级联匹配模块根据接收的检测结果以及预设Tracks发送的预测后的已确认的跟踪框计算得到检测结果与已确认的跟踪框的余弦距离；根据预设Tracks发送的预测后的已确认的跟踪框和检测结果中的实际检测框计算得到两者之间的平方马氏距离；当平方马氏距离大于预设的马氏距离阈值时，将平方马氏距离对应的余弦距离设置为无穷大；使用匈牙利算法对预设Tracks发送的预测后的已确认的跟踪框和检测结果进行匹配，得到第一匹配结果；将第一匹配结果中余弦距离大于预设余弦距离阈值的第一匹配结果删除，得到第一未匹配的跟踪目标、第一未匹配的检测结果和第一匹配成功的跟踪目标。
具体地，通过第一匹配结果中的余弦距离与预设的余弦距离阈值进行比较，删除第一匹配结果中余弦距离大于预设余弦距离阈值的第一匹配结果，有效提高了玻璃瓶跟踪的准确性。
在一个实施例中，如图10所示，预设DIOU模块根据接收的第一未匹配的跟踪目标、第一未匹配的检测结果和未确认的跟踪框进行匹配，得到第二未匹配的跟踪目标、第二未匹配的检测结果和第二匹配成功的跟踪目标，包括：计算第一未匹配的跟踪目标和第一未匹配的检测结果之间的DIOU距离，将DIOU距离大于第一预设DIOU距离对应的第一未匹配的跟踪目标和第一未匹配的检测结果删除；使用匈牙利算法以基于DIOU距离为输入对第一未匹配的跟踪目标和第一未匹配的检测结果进行匹配，得到第二匹配结果；将第二匹配结果中DIOU距离小于第二预设DIOU距离对应的第二匹配结果删除，得到第二未匹配的跟踪目标、第二未匹配的检测结果和第二匹配成功的跟踪目标。
进一步地，计算第一未匹配的跟踪目标和第一未匹配的检测结果之间的DIOU距离，具体为：
Figure 160269DEST_PATH_IMAGE007
其中，
Figure 684792DEST_PATH_IMAGE008
是覆盖第一未匹配的跟踪目标和第一未匹配的检测结果的最小跟踪框的对角线长度框，
Figure 970280DEST_PATH_IMAGE009
为第一未匹配的跟踪目标的面积和第一未匹配的检测结果的面积之间的交并比距离，
Figure 238450DEST_PATH_IMAGE010
为第一未匹配的跟踪目标，
Figure 292993DEST_PATH_IMAGE011
为第一未匹配的检测结果，
Figure 253996DEST_PATH_IMAGE012
为
Figure 26780DEST_PATH_IMAGE010
与
Figure 833062DEST_PATH_IMAGE011
中心点之间的欧几里得距离。
具体地，第一预设DIOU距离为0.7，在使用匈牙利算法进行匹配前后，分别设置第一预设DIOU距离和第二预设DIOU距离，进一步筛选，删除不符合条件的第二匹配结果，得到第二未匹配的跟踪目标、第二未匹配的检测结果和第二匹配成功的跟踪目标，进一步提高了玻璃瓶跟踪的准确性。
上述玻璃瓶跟踪计数系统，有效避免了传统打光方案出现较多阴影从而影响跟踪效果的问题；相较于现有计数系统，有效避免玻璃制品的反光问题，减少了跟踪计数过程中的混淆与错跟问题，提高了计数的准确率；采用新的跟踪计数方法，有效提高了计数区域中新出现的玻璃瓶的检测准确度，在基于卡尔曼滤波预测的基础上，采用预设级联匹配模块与DIOU匹配模块，有效提高了多目标跟踪的准确性与计数速度。
以上对本发明所提供的一种玻璃瓶跟踪计数系统进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (10)

1.一种玻璃瓶跟踪计数系统，其特征在于，包括视觉成像模块、运动控制模块、信息处理模块，所述视觉成像模块和所述运动控制模块连接所述信息处理模块，
所述信息处理模块用于输入开启信号至所述运动控制模块；输入停止信号至所述运动控制模块；以及接收所述视觉成像模块发送的视频图像，对所述视频图像进行分帧及预处理，将每一帧图像输入至预设的检测模型，得到每一帧图像对应的玻璃瓶瓶口的检测结果并发送至预设级联匹配模块；所述预设级联匹配模块根据接收的所述检测结果以及预设Tracks发送的预测后的已确认的跟踪框对目标玻璃瓶进行匹配得到第一未匹配的跟踪目标、第一未匹配的检测结果和第一匹配成功的跟踪目标，所述第一匹配成功的跟踪目标经过卡尔曼滤波更新输入预设Tracks，所述第一未匹配的跟踪目标和所述第一未匹配的检测结果输入至预设DIOU模块；所述预设Tracks中的第一匹配成功的跟踪目标经过卡尔曼滤波预测后，将已确认的跟踪框重新输入至所述预设级联匹配模块进行下一次跟踪的更新，未确认的跟踪框输入至所述预设DIOU模块；所述预设DIOU模块根据接收的所述第一未匹配的跟踪目标、所述第一未匹配的检测结果和所述未确认的跟踪框进行匹配，得到第二未匹配的跟踪目标、第二未匹配的检测结果和第二匹配成功的跟踪目标，将所述第二匹配成功的跟踪目标输入所述预设Tracks，对所述第二未匹配的检测结果分配新的Tracks并添加至所述预设Tracks中，将所述预设DIOU模块中不满足预设的筛选条件的所述第二未匹配的跟踪目标中的跟踪框删除，满足预设的筛选条件的所述第二未匹配的跟踪目标中的跟踪框输入至所述预设Tracks，直至所有帧图像对应的检测结果处理完毕得到更新后的Tracks，对所述更新后的Tracks进行ID标注完成玻璃瓶计数；
所述运动控制模块用于根据接收的所述开启信号控制传送带带动所述传送带上玻璃瓶在预设边界范围内往返运动；以及根据接收的所述停止信号停止运动；
所述视觉成像模块用于采集往返运动的玻璃瓶的视频图像，并发送至所述信息处理模块。
2.根据权利要求1所述的系统，其特征在于，预设的检测模型包括注意力网络、空间金字塔池网络、第一跨阶段局部网络、第二跨阶段局部网络、第三跨阶段局部网络、第四跨阶段局部网络和第五跨阶段局部网络，所述将每一帧图像输入至预设的检测模型，得到每一帧图像对应的玻璃瓶瓶口的检测结果，包括：
将所述每一帧图像依次输入至注意力网络进行特征提取，得到每一帧图像对应的特征图，并分别发送至第一跨阶段局部网络和所述空间金字塔池网络；
所述第一跨阶段局部网络和所述空间金字塔池网络根据接收到的每一帧图像对应的特征图得到不同尺度大小的特征图，针对不同尺度大小的的特征图依次通过所述第二跨阶段局部网络结构、所述第三跨阶段局部网络结构、所述第四跨阶段局部网络结构和所述第五跨阶段局部网络结构进行网络特征融合，得到融合后的特征，对所述融合后的特征进行Conv卷积后输出玻璃瓶瓶口的检测结果。
3.根据权利要求2所述的系统，其特征在于，所述预设级联匹配模块根据接收的所述检测结果以及预设Tracks发送的预测后的已确认的跟踪框对目标玻璃瓶进行匹配得到第一未匹配的跟踪目标、第一未匹配的检测结果和第一匹配成功的跟踪目标，包括：
所述预设级联匹配模块根据接收的所述检测结果以及预设Tracks发送的预测后的已确认的跟踪框计算得到所述检测结果与所述已确认的跟踪框的余弦距离；
根据所述预设Tracks发送的预测后的已确认的跟踪框和所述检测结果中的实际检测框计算得到两者之间的平方马氏距离；
当所述平方马氏距离大于预设的马氏距离阈值时，将所述平方马氏距离对应的余弦距离设置为无穷大；
使用匈牙利算法对所述预设Tracks发送的预测后的已确认的跟踪框和所述检测结果进行匹配，得到第一匹配结果；
将所述第一匹配结果中余弦距离大于预设余弦距离阈值的第一匹配结果删除，得到第一未匹配的跟踪目标、第一未匹配的检测结果和第一匹配成功的跟踪目标。
4.根据权利要求3所述的系统，其特征在于，所述预设DIOU模块根据接收的所述第一未匹配的跟踪目标、所述第一未匹配的检测结果和所述未确认的跟踪框进行匹配，得到第二未匹配的跟踪目标、第二未匹配的检测结果和第二匹配成功的跟踪目标，包括
计算所述第一未匹配的跟踪目标和所述第一未匹配的检测结果之间的DIOU距离，将所述DIOU距离大于第一预设DIOU距离对应的所述第一未匹配的跟踪目标和所述第一未匹配的检测结果删除；
使用匈牙利算法以基于DIOU距离为输入对所述第一未匹配的跟踪目标和所述第一未匹配的检测结果进行匹配，得到第二匹配结果；
将所述第二匹配结果中DIOU距离小于第二预设DIOU距离对应的所述第二匹配结果删除，得到第二未匹配的跟踪目标、第二未匹配的检测结果和第二匹配成功的跟踪目标。
5.根据权利要求4所述的系统，其特征在于，所述计算所述第一未匹配的跟踪目标和所述第一未匹配的检测结果之间的DIOU距离，具体为：
Figure 398327DEST_PATH_IMAGE001
其中，
Figure 270468DEST_PATH_IMAGE002
是覆盖所述第一未匹配的跟踪目标和所述第一未匹配的检测结果的最小跟踪框的对角线长度框，
Figure 794991DEST_PATH_IMAGE003
为所述第一未匹配的跟踪目标的面积和所述第一未匹配的检测结果的面积之间的交并比距离，
Figure 955845DEST_PATH_IMAGE004
为所述第一未匹配的跟踪目标，
Figure 224015DEST_PATH_IMAGE005
为所述第一未匹配的检测结果，
Figure 655390DEST_PATH_IMAGE006
为
Figure 616392DEST_PATH_IMAGE004
与
Figure 264543DEST_PATH_IMAGE005
中心点之间的欧几里得距离。
6.根据权利要求1所述的系统，其特征在于，预设的筛选条件为已确认的跟踪框的帧率满足预设的帧率范围。
7.根据权利要求1所述的系统，其特征在于，所述视觉成像模块包括彩色相机、第一横向光源和第二横向光源，所述彩色相机设置在传送带的上方，所述彩色相机的镜头装有偏振片，所述第一横向光源和所述第二横向光源分别倾斜设置在所述彩色相机的两侧，以实现多角度均匀打光。
8.根据权利要求7所述的系统，其特征在于，所述信息处理模块为主控PC。
9.根据权利要求8所述的系统，其特征在于，所述运动控制模块包括电机、电机控制器、变压器、可编程逻辑控制器、第一光电开关、第二光电开关、第一反光镜片、第二反光镜片、第一继电器和第二继电器，所述变压器接入外部电源，并分别连接所述可编程逻辑控制器、所述第一继电器和所述第二继电器，所述第一继电器连接所述电机，所述电机接入外部电源，并设置于传送带下方，所述第二继电器连接所述电机控制器，所述电机控制器连接所述电机，所述可编程逻辑控制器连接所述第一光电开关和所述第二光电开关，所述可编程逻辑控制器还用于连接所述主控PC，所述第一光电开关和所述第二光电开关分别设置于传送带边缘的两侧，所述第一反光镜片和所述第二反光镜片分别设置于传送带边缘的两侧，且设置位置分别与所述第一光电开关和所述第二光电开关的位置一一对应。
10.根据权利要求9所述的系统，其特征在于，还包括装置围挡，所述装置围挡设置于传送带边缘。
CN202111316726.2A 2021-11-09 2021-11-09 一种玻璃瓶跟踪计数系统 Pending CN113763433A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111316726.2A CN113763433A (zh) 2021-11-09 2021-11-09 一种玻璃瓶跟踪计数系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111316726.2A CN113763433A (zh) 2021-11-09 2021-11-09 一种玻璃瓶跟踪计数系统

Publications (1)

Publication Number Publication Date
CN113763433A true CN113763433A (zh) 2021-12-07

Family

ID=78784612

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111316726.2A Pending CN113763433A (zh) 2021-11-09 2021-11-09 一种玻璃瓶跟踪计数系统

Country Status (1)

Country Link
CN (1) CN113763433A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4307063A1 (de) * 2022-07-12 2024-01-17 Krones AG Verfahren zum ermitteln einer belegungssituation von behältern in einer anlage und vorrichtung dazu
WO2024022863A1 (fr) 2022-07-28 2024-02-01 L'air Liquide, Societe Anonyme Pour L'etude Et L'exploitation Des Procedes Georges Claude Procédé et installation de comptage d'objets présents dans un véhicule en déplacement

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160104297A1 (en) * 2013-05-29 2016-04-14 Sicpa Brasil Indústria De Tintas E Sistemas Ltda. Method and device for counting objects in image data in frames, a frame of said image data in frames including at least one object, such as cans, bottles, and packaging, computer program and computer program product
CN110807354A (zh) * 2019-09-09 2020-02-18 杭州朗阳科技有限公司 一种工业流水线产品计数方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160104297A1 (en) * 2013-05-29 2016-04-14 Sicpa Brasil Indústria De Tintas E Sistemas Ltda. Method and device for counting objects in image data in frames, a frame of said image data in frames including at least one object, such as cans, bottles, and packaging, computer program and computer program product
CN110807354A (zh) * 2019-09-09 2020-02-18 杭州朗阳科技有限公司 一种工业流水线产品计数方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
LIANG-CHIEH CHEN，ET.AL: "Rethinking Atrous Convolution for Semantic Image Segmentation", 《ARXIV:1706.05587V3》 *
墨殇浅尘: "DeepSORT", 《HTTPS://WWW.CNBLOGS.COM/MONOLOGUESMW/P/13534798.HTML》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4307063A1 (de) * 2022-07-12 2024-01-17 Krones AG Verfahren zum ermitteln einer belegungssituation von behältern in einer anlage und vorrichtung dazu
WO2024022863A1 (fr) 2022-07-28 2024-02-01 L'air Liquide, Societe Anonyme Pour L'etude Et L'exploitation Des Procedes Georges Claude Procédé et installation de comptage d'objets présents dans un véhicule en déplacement

Similar Documents

Publication Publication Date Title
US11937020B2 (en) Object inspection system and method for inspecting an object
CN109357630B (zh) 一种多类型工件批量视觉测量系统及方法
US11971726B2 (en) Method of constructing indoor two-dimensional semantic map with wall corner as critical feature based on robot platform
US11270110B2 (en) Systems and methods for surface modeling using polarization cues
CN113763433A (zh) 一种玻璃瓶跟踪计数系统
Huang et al. DMPR-PS: A novel approach for parking-slot detection using directional marking-point regression
CN112452801A (zh) 一种高效率的玻璃瓶缺陷在线检测装置及其工作方法
CN104034638B (zh) 基于机器视觉的金刚线颗粒在线质检方法
CN113418933B (zh) 用于检测大尺寸物体的飞拍视觉成像检测系统及方法
CA3109406C (en) Systems and methods for surface modeling using polarization cues
CN109693140A (zh) 一种智能化柔性生产线及其工作方法
CN116337887A (zh) 铸造缸体上表面缺陷检测方法及系统
CN116213306A (zh) 一种自动视觉识别方法及分拣系统
CN109934096B (zh) 基于特征时序相关性的自动驾驶视觉感知优化方法
Suto Real-time lane line tracking algorithm to mini vehicles
CN113256568A (zh) 一种基于深度学习的机器视觉板材计数通用系统及方法
CN113505629A (zh) 一种基于轻量网络的智能仓储物件识别装置
CN114445494A (zh) 一种图像获取和处理方法、图像获取装置及机器人
CN116901089B (zh) 一种多角度视距的机器人控制方法及系统
CN114359155A (zh) 一种覆膜方法及系统
Roeksukrungrueang et al. An implementation of automatic container number recognition system
CN207397296U (zh) 一种基于背影成像的物体识别装置
CN103148783B (zh) 一种气门摇臂安装位置的自动检测方法
WO2023083273A1 (zh) 抓取点信息获取方法、装置、电子设备和存储介质
CN114758318A (zh) 一种基于全景视图的任意角度车位检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20211207

RJ01 Rejection of invention patent application after publication