CN115791817B - 一种透明酒瓶质量检测方法 - Google Patents

一种透明酒瓶质量检测方法 Download PDF

Info

Publication number
CN115791817B
CN115791817B CN202310068923.XA CN202310068923A CN115791817B CN 115791817 B CN115791817 B CN 115791817B CN 202310068923 A CN202310068923 A CN 202310068923A CN 115791817 B CN115791817 B CN 115791817B
Authority
CN
China
Prior art keywords
value
tracking
matrix
matching
bottle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310068923.XA
Other languages
English (en)
Other versions
CN115791817A (zh
Inventor
林俊伍
余锋
李明飞
赵丙坤
徐前景
唐洪
李聪
万维根
李明勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Hongrui Technology Co ltd
Luzhou Laojiao Co Ltd
Original Assignee
Chengdu Hongrui Technology Co ltd
Luzhou Laojiao Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Hongrui Technology Co ltd, Luzhou Laojiao Co Ltd filed Critical Chengdu Hongrui Technology Co ltd
Priority to CN202310068923.XA priority Critical patent/CN115791817B/zh
Publication of CN115791817A publication Critical patent/CN115791817A/zh
Application granted granted Critical
Publication of CN115791817B publication Critical patent/CN115791817B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Abstract

本发明公开了一种透明酒瓶质量检测方法,涉及透明酒瓶检测领域。所述质量检测方法包括酒瓶标签检测方法以及瓶内异物检测方法;通过面光源在酒瓶标签背面打光,通过传感器感应酒瓶位置,从而触发在标签正面的面阵相机拍照,通过opencv相关系数模板匹配算法检测标签质量问题;通过面光源在瓶底对酒瓶打光,并驱动酒瓶旋转使液体转动,在成像单元处停转拍照,通过传感器感应酒瓶位置,触发面阵相机连续拍照,通过Retinanet+DeepSort算法,追踪检测瓶内异物。降低了人工的劳动强度、提升了生产线的自动化程度,并且具有着检测速度快,检测效果好等优点。

Description

一种透明酒瓶质量检测方法
技术领域
本发明涉及透明酒瓶检测领域,具体而言,涉及一种透明酒瓶的外观质量检测方法及液内异物检测方法。
背景技术
白酒类产品在质量的把控上有着严格的要求,酒瓶在出厂前需要对酒瓶贴商标,由于生产工艺问题,存在漏贴,贴歪的情况,因而需要对酒瓶进行贴标检测;同时会给白酒灌装过程后瓶内异物检测带来很大麻烦。白酒中的异物包括玻璃屑、胶塞屑、金属屑、色点、白块、纤维、毛发等微小不溶性异物,这些来源不同的不溶性异物对白酒的品牌质量至关重要,若是这些异物随着白酒出售到市场上,无疑会对酒的品牌和声誉有很大的负面影响,因此需要对瓶内异物进行检测。
目前,机器视觉技术在自动检测领域的应用越来越广,主要是在医药和啤酒瓶行业应用较多,白酒瓶由于商标的遮挡和瓶型的多样,多采用人工灯检,人工灯检费时费力,且存在主观性误检和漏检,不同人检测标准存在差异,导致产品质量的分布存在差异,不利于维护产品的形象,所以迫切需要一种能自动检测白酒瓶内异物和酒瓶标签检测的装置,代替人眼检测。
发明内容
本发明针对以上问题,提出了一种透明酒瓶质量检测方法,包含了基于机器视觉的酒瓶标签检测方法以及瓶内异物检测方法。
本发明的技术方案为:所述质量检测方法包括酒瓶标签检测方法以及瓶内异物检测方法;
所述酒瓶标签检测方法基于opencv相关系数模板匹配算法对瓶身标签的有无、偏移等质量问题进行检测,在酒瓶输送过程中,分别布置处在输送带旁的面光源、用于检测酒瓶位置的传感器以及处在标签正面的面阵相机,通过面光源在酒瓶标签背面打光,通过传感器感应酒瓶位置,从而触发在标签正面的面阵相机拍照,通过opencv相关系数模板匹配算法检测标签质量问题;实现对瓶身标签的有无、偏移等质量问题的检测;
所述瓶内异物检测方法基于深度学习DeepSort算法的液内异物追踪质检技术,在检测工位的下方布置面光源,并设置一旋转台以驱动酒瓶旋转,同时在检测工位旁设置面阵相机,通过面光源在瓶底对酒瓶打光,并驱动酒瓶旋转使液体转动,在成像单元处停转拍照,通过传感器感应酒瓶位置,触发面阵相机连续拍照,通过RetinaNet实现异物的初步定位,通过DeepSort算法实现追踪检测瓶内异物。
opencv相关系数模板匹配算法描述:首先建立模板图像,在目标图上从左往右,从上往下移动模板,在每一个位置计算模板图像和原图像区域的相似度,相关系数匹配法计算相似度矩阵,其公式如下所示,找到相似度最大的位置极其相似度最大值,通过将相似度最大值与阈值比较判断是否匹配成功,相似度最大值超过阈值则将其匹配结果通过矩形框标识出来,并通过与标准位置进行比对,计算标签的偏移;反之未匹配到目标,则表示标签不存在。
Figure GDA0004141638030000021
R为相似度结果矩阵,R(x,y)表示x,y处区域与模板的相似度,T为模板图像矩阵,I为目标图像矩阵,T'为模板图像的减均值矩阵,I'为目标图像的减均值矩阵,w、h在各自公式中代表模板图像和目标图像的宽和高,x、y代表当前搜索框在目标图像矩阵中左上角元素的坐标,x'、y'在目标图像矩阵中代表在搜索框框出来的元素的相对坐标,在模板图像矩阵中代表模板元素的坐标,x”、y”在各自公式中代表模板图像矩阵和目标图像矩阵的元素坐标。
异物跟踪检测分为检测环节和跟踪环节,使用Retinanet完成目标检测,使用DeepSort算法进行跟踪。
Retinanet算法描述:Retinanet是深度学习目标检测算法。通过ResNet作为骨干网络提取到c3、c4、c5三层特征图,其特征图的大小分别为原图尺寸的1/8、1/16、1/32,c3、c4、c5经过FPN特征金字塔网络结构融合多尺度特征得到p3、p4、p5、p6、p7特征图;在p3至p7上预设多个锚框,并对p3至p7特征图分别使用两个子网络(分类网络与检测框位置偏置回归),每层都相应的产生目标类别与位置偏置的预测,再结合预设的锚框,就得到了在多尺度特征层上的坐标预测,通过标注的真实坐标框,通过NMS非极大值抑制后处理得到最后的异物检测类别和坐标结果。
DeepSort算法描述:异物跟踪检测,分为检测环节和跟踪环节,使用RetinaNet完成目标检测,在跟踪前已完成异物检测,得到异物坐标包围框与特征集合;将其输入到DeepSort算法后,卡尔曼滤波先判断是否存在跟踪值,如果存在对其位置信息进行先验概率预测,得到先验预测,先验预测在匹配模块先后进行级联匹配和交并比匹配,最终得到匹配成功列表,包含先验预测跟踪值、观测值,以及没有匹配到的跟踪值和观测值,在卡尔曼更新模块,对匹配成功的元素进行后验预测,得到最终的修正坐标,更新卡尔曼增益、协方差矩阵、特征集合等参数,完成一帧检测,一直循环上述操作(自使用RetinaNet完成目标检测直至完成一帧检测),进行目标的追踪检测。具体细节如下:
(1)卡尔曼滤波预测;
卡尔曼滤波预测时对t-1时刻的跟踪值进行先验预测,使用卡尔曼滤波公式如下:
Figure GDA0004141638030000031
xt-为先验预测,xt-1为t-1时刻跟踪值的状态信息矩阵,是一个8维的长向量[cx,cy,w,h,vx,vy,vw,vh],表示位置信息以及相应的速度信息,F为t-1时刻到t时刻的状态的转移矩阵,dt为前后帧时间间隔,Pt-1和Pt-分别为t-1时刻8*8的协方差矩阵和其t时刻的先验预测,其中当跟踪值被初始化时,其协方差矩阵和均值矩阵由目标框的高度来生成和目标框坐标长宽信息生成,Q为卡尔曼滤波器的运动估计误差,代表不确定程度,FT为转移矩阵的转置。
(2)跟踪值、观测值匹配;
先验预测得到后,需要进行跟踪值和观测值匹配,DeepSort使用了级联匹配加交并比匹配串联的策略,跟踪值根据状态分为跟踪预测和观测值相匹配的、待定的以及删除的类型。级联匹配只对与观测值匹配成功的跟踪值执行,根据其距离上一次匹配的时间距离长短进行分批次匹配,用来匹配的代价矩阵由特征的余弦相似度距离与马氏距离来构建,使用匈牙利算法对代价矩阵进行计算得到匹配的和不匹配的。与观测值匹配成功的跟踪值使用匈牙利算法匹配完成后,将匹配失败的与待定的跟踪值组合成新的集进行交并比匹配;交并比匹配直接将所有跟踪值和观测值由交并比作为元素构建成交并比代价矩阵,使用匈牙利算法来进行匹配,匹配方法与级联匹配相同;
代价矩阵;首先根据每个跟踪值以及观测值对应的特征来计算余弦距离(余弦距离=1-余弦相似度),其中代价矩阵中的每一个元素为余弦距离;在得到第一个代价矩阵后,我们再通过马氏距离进行调整,如果代价矩阵中某一个元素的马氏距离大于阈值,则修改数值;修正完成后即为级联匹配最终的代价矩阵。余弦相似度公式如下:
Figure GDA0004141638030000041
其中A和B分别为观测值和跟踪值对应的特征,是一个长度为128的向量,Ai和Bi分别为A和B特征向量的第i个特征值,AT为A特征向量的转置,经过归一化后||A||和||B||为1,i为特征的向量的索引值,n为特征的向量索引值的最大值128。
(3)卡尔曼滤波更新;
经过匹配之后得到了匹配的、不匹配的跟踪值和不匹配的观测值。依次对匹配成功的跟踪值进行修正、对匹配失败的跟踪值进行状态更新、对未匹配的观测值将其转为跟踪值、对匹配成功的跟踪值更新特征集。卡尔曼更新用到公式:
Figure GDA0004141638030000042
其中,Kt为t时刻的卡尔曼增益,Pt-为预测的t时刻的协方差矩阵,C为测量矩阵,CT为测量矩阵的转置,R为噪声矩阵是一个4×4的对角矩阵,xt-为预测的t时刻的跟踪值状态信息矩阵,yk为当前帧检测目标观测值的坐标信息(d_cx,d_cy,d_r,d_h);
根据匹配好的跟踪值和观测值进行坐标修订,依次计算卡尔曼增益Kt(kalman_gain)、以及修正的结果xt +(new_mean)以及后验协方差矩阵Pt +(new_covariance)。
卡尔曼更新完成后DeepSort的核心操作即全部完成,后续操作为更新每个跟踪值的状态、删除死亡跟踪值、更新匹配成功的跟踪值的特征集合,完成所有更新进入下一帧检测追踪。
本发明的有益效果为:本案通过opencv相关系数模板匹配算法检测标签质量问题进行检测,可有效检出漏贴,贴歪等情况,通过通过Retinanet+DeepSort算法,追踪检测瓶内异物;采用机器视觉的方式取缔了传统的人工灯检,有效解决了传统检测方式存在的种种缺陷,降低了人工的劳动强度、提升了生产线的自动化程度,并且具有着检测速度快,检测效果好等优点。
附图说明
图1是本案中Retinanet的网络结构,图中CLS是分类预测,BOX是检测框预测,C3~C5为特征提取层中对应的层,P3~P7为特征金字塔中对应的层。
具体实施方式
为能清楚说明本专利的技术特点,下面通过具体实施方式,并结合其附图,对本专利进行详细阐述。
所述质量检测方法包括酒瓶标签检测方法以及瓶内异物检测方法;
所述酒瓶标签检测方法基于opencv相关系数模板匹配算法对瓶身标签的有无、偏移等质量问题进行检测,在酒瓶输送过程中,分别布置处在输送带旁的面光源、用于检测酒瓶位置的传感器以及处在标签正面的面阵相机,通过面光源在酒瓶标签背面打光,通过传感器感应酒瓶位置,从而触发在标签正面的面阵相机拍照,通过opencv相关系数模板匹配算法检测标签质量问题;实现对瓶身标签的有无、偏移等质量问题的检测;
所述瓶内异物检测方法基于深度学习DeepSort算法的液内异物追踪质检技术,在检测工位的下方布置面光源,并设置一旋转台以驱动酒瓶旋转,同时在检测工位旁设置面阵相机,通过面光源在瓶底对酒瓶打光,并驱动酒瓶旋转使液体转动,在成像单元处停转拍照,通过传感器感应酒瓶位置,触发面阵相机连续拍照,通过RetinaNet实现异物的初步定位,通过DeepSort算法实现追踪检测瓶内异物。
opencv相关系数模板匹配算法描述:首先建立模板图像,在目标图上从左往右,从上往下移动模板,在每一个位置计算模板图像和原图像区域的相似度,相关系数匹配法计算相似度矩阵,其公式如下所示,找到相似度最大的位置极其相似度最大值,通过将相似度最大值与阈值比较判断是否匹配成功,相似度最大值超过阈值则将其匹配结果通过矩形框标识出来,并通过与标准位置进行比对,计算标签的偏移;反之未匹配到目标,则表示标签不存在。
Figure GDA0004141638030000051
R为相似度结果矩阵,R(x,y)表示x,y处区域与模板的相似度,T为模板图像矩阵,I为目标图像矩阵,T'为模板图像的减均值矩阵,I'为目标图像的减均值矩阵,w、h在各自公式中代表模板图像和目标图像的宽和高,x、y代表当前搜索框在目标图像矩阵中左上角元素的坐标,x'、y'在目标图像矩阵中代表在搜索框框出来的元素的相对坐标,在模板图像矩阵中代表模板元素的坐标,x”、y”在各自公式中代表模板图像矩阵和目标图像矩阵的元素坐标。
异物跟踪检测分为检测环节和跟踪环节,使用Retinanet完成目标检测,使用DeepSort算法进行跟踪。
Retinanet算法描述:Retinanet是深度学习目标检测算法。通过ResNet作为骨干网络提取到c3、c4、c5三层特征图,其特征图的大小分别为原图尺寸的1/8、1/16、1/32,c3、c4、c5经过FPN特征金字塔网络结构融合多尺度特征得到p3、p4、p5、p6、p7特征图;在p3至p7上预设多个锚框,并对p3至p7特征图分别使用两个子网络(分类网络与检测框位置偏置回归),每层都相应的产生目标类别与位置偏置的预测,再结合预设的锚框,就得到了在多尺度特征层上的坐标预测,通过标注的真实坐标框,通过NMS非极大值抑制后处理得到最后的异物检测类别和坐标结果。RetinaNet的网络结构如下图1所示。
DeepSort算法描述:异物跟踪检测,分为检测环节和跟踪环节,使用RetinaNet完成目标检测,在跟踪前已完成异物检测,得到异物坐标包围框与特征集合;将其输入到DeepSort算法后,卡尔曼滤波先判断是否存在跟踪值,如果存在对其位置信息进行先验概率预测,得到先验预测,先验预测在匹配模块先后进行级联匹配和交并比匹配,最终得到匹配成功列表,包含先验预测跟踪值、观测值,以及没有匹配到的跟踪值和观测值,在卡尔曼更新模块,对匹配成功的元素进行后验预测,得到最终的修正坐标,更新卡尔曼增益、协方差矩阵、特征集合等参数,完成一帧检测,一直循环上述操作,进行目标的追踪检测。具体细节如下:
(1)卡尔曼滤波预测;
卡尔曼滤波预测时对t-1时刻的跟踪值进行先验预测,使用卡尔曼滤波公式如下:
Figure GDA0004141638030000061
xt -为先验预测,xt-1为t-1时刻跟踪值的状态信息矩阵,是一个8维的长向量[cx,cy,w,h,vx,vy,vw,vh],表示位置信息以及相应的速度信息,F为t-1时刻到t时刻的状态的转移矩阵,dt为前后帧时间间隔,Pt-1和Pt -分别为t-1时刻8*8的协方差矩阵和其t时刻的先验预测,其中当跟踪值被初始化时,其协方差矩阵和均值矩阵由目标框的高度来生成和目标框坐标长宽信息生成,Q为卡尔曼滤波器的运动估计误差,代表不确定程度,FT为转移矩阵的转置。
(2)跟踪值、观测值匹配;
先验预测得到后,需要进行跟踪值和观测值匹配,DeepSort使用了级联匹配加交并比匹配串联的策略,跟踪值根据状态分为跟踪预测和观测值相匹配的、待定的以及删除的类型。级联匹配只对与观测值匹配成功的跟踪值执行,根据其距离上一次匹配的时间距离长短进行分批次匹配,用来匹配的代价矩阵由特征的余弦相似度距离与马氏距离来构建,使用匈牙利算法对代价矩阵进行计算得到匹配的和不匹配的。与观测值匹配成功的跟踪值使用匈牙利算法匹配完成后,将匹配失败的与待定的跟踪值组合成新的集进行交并比匹配;交并比匹配直接将所有跟踪值和观测值由交并比作为元素构建成交并比代价矩阵,使用匈牙利算法来进行匹配,匹配方法与级联匹配相同;
代价矩阵;首先根据每个跟踪值以及观测值对应的特征来计算余弦距离(余弦距离=1-余弦相似度),其中代价矩阵中的每一个元素为余弦距离;在得到第一个代价矩阵后,我们再通过马氏距离进行调整,如果代价矩阵中某一个元素的马氏距离大于阈值,则修改数值;修正完成后即为级联匹配最终的代价矩阵。余弦相似度公式如下:
Figure GDA0004141638030000071
其中A和B分别为观测值和跟踪值对应的特征,是一个长度为128的向量,Ai和Bi分别为A和B特征向量的第i个特征值,AT为A特征向量的转置,经过归一化后||A||和||B||为1,i为特征的向量的索引值,n为特征的向量索引值的最大值128。
(3)卡尔曼滤波更新;
经过匹配之后得到了匹配的、不匹配的跟踪值和不匹配的观测值。依次对匹配成功的跟踪值进行修正、对匹配失败的跟踪值进行状态更新、对未匹配的观测值将其转为跟踪值、对匹配成功的跟踪值更新特征集。卡尔曼更新用到公式:
Figure GDA0004141638030000072
其中,Kt为t时刻的卡尔曼增益,Pt -为预测的t时刻的协方差矩阵,C为测量矩阵,CT为测量矩阵的转置,R为噪声矩阵是一个4×4的对角矩阵,xt-为预测的t时刻的跟踪值状态信息矩阵,yk为当前帧检测目标观测值的位置(d_cx,d_cy,d_r,d_h);
根据匹配好的跟踪值和观测值进行坐标修订,依次计算卡尔曼增益Kt(kalman_gain)、以及修正的结果xt +(new_mean)以及后验协方差矩阵Pt +(new_covariance)。
卡尔曼更新完成后DeepSort的核心操作即全部完成,后续操作为更新每个跟踪值的状态、删除死亡跟踪值、更新匹配成功的跟踪值的特征集,完成所有更新进入下一帧检测追踪。
当然,若实际使用时,Retinanet+DeepSort进行异物目标跟踪检测,在前两帧都检测到目标,在第三帧发现异物位置不变,则可将其判定为干扰排除。
本发明具体实施途径很多,以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以作出若干改进,这些改进也应视为本发明的保护范围。

Claims (1)

1.一种透明酒瓶质量检测方法,其特征在于,所述质量检测方法包括酒瓶标签检测方法以及瓶内异物检测方法;
所述酒瓶标签检测方法基于opencv相关系数模板匹配算法,通过面光源在酒瓶标签背面打光,通过传感器感应酒瓶位置,从而触发在标签正面的面阵相机拍照,通过opencv相关系数模板匹配算法检测标签质量问题;
所述瓶内异物检测方法基于深度学习DeepSort算法,通过面光源在瓶底对酒瓶打光,并驱动酒瓶旋转使液体转动,在成像单元处停转拍照,通过传感器感应酒瓶位置,触发面阵相机连续拍照,通过RetinaNet实现异物的初步定位,通过DeepSort算法实现追踪检测瓶内异物;
所述的opencv相关系数模板匹配算法具体包括如下步骤:
首先建立模板图像,在目标图上从左往右,从上往下移动模板,在每一个位置计算模板图像和原图像区域的相似度,相关系数匹配法计算相似度矩阵,其公式如下所示,找到相似度最大的位置极其相似度最大值,通过将相似度最大值与阈值比较判断是否匹配成功,相似度最大值超过阈值则将其匹配结果通过矩形框标识出来,并通过与标准位置进行比对,计算标签的偏移;反之未匹配到目标,则表示标签不存在;
Figure FDA0004141638000000011
Figure FDA0004141638000000012
Figure FDA0004141638000000013
R为相似度结果矩阵,R(x,y)表示x,y处区域与模板的相似度,T为模板图像矩阵,I为目标图像矩阵,T'为模板图像的减均值矩阵,I'为目标图像的减均值矩阵,w、h在各自公式中代表模板图像和目标图像的宽和高,x、y代表当前搜索框在目标图像矩阵中左上角元素的坐标,x'、y'在目标图像矩阵中代表在搜索框框出来的元素的相对坐标,在模板图像矩阵中代表模板元素的坐标,x”、y”在各自公式中代表模板图像矩阵和目标图像矩阵的元素坐标;
通过RetinaNet实现异物的初步定位具体包括以下步骤,通过ResNet作为骨干网络提取到c3、c4、c5三层特征图,其特征图的大小分别为原图尺寸的1/8、1/16、1/32,c3、c4、c5经过FPN特征金字塔网络结构融合多尺度特征得到p3、p4、p5、p6、p7特征图;在p3至p7上预设多个锚框,并对p3至p7特征图分别使用两个子网络,每层都相应的产生目标类别与位置偏置的预测,再结合预设的锚框,就得到了在多尺度特征层上的坐标预测,通过标注的真实坐标框,通过NMS非极大值抑制后处理得到最后的异物检测类别和坐标结果;
所述的通过DeepSort算法实现追踪检测瓶内异物具体包括如下步骤:
使用RetinaNet完成目标检测,在跟踪前已完成异物检测,得到异物坐标包围框与特征集合;将其输入到DeepSort算法后,卡尔曼滤波先判断是否存在跟踪值,如果存在对其位置信息进行先验概率预测,得到先验预测,先验预测在匹配模块先后进行级联匹配和交并比匹配,最终得到匹配成功列表,包含先验预测跟踪值、观测值,以及没有匹配到的跟踪值和观测值,在卡尔曼更新模块,对匹配成功的元素进行后验预测,得到最终的修正坐标,更新卡尔曼增益、协方差矩阵、特征集合参数,完成一帧检测,一直循环自使用RetinaNet完成目标检测直至完成一帧检测之间的操作,进行目标的追踪检测;
卡尔曼滤波预测时对t-1时刻的跟踪值进行先验预测,使用卡尔曼滤波公式如下:
Figure FDA0004141638000000021
xt -为先验预测,xt-1为t-1时刻跟踪值的状态信息矩阵,是一个8维的长向量[cx,cy,w,h,vx,vy,vw,vh],表示位置信息以及相应的速度信息,F为t-1时刻到t时刻的状态的转移矩阵,dt为前后帧时间间隔,Pt-1和Pt -分别为t-1时刻8*8的协方差矩阵和其t时刻的先验预测,其中当跟踪值被初始化时,其协方差矩阵和均值矩阵由目标框的高度来生成和目标框坐标长宽信息生成,Q为卡尔曼滤波器的运动估计误差,代表不确定程度,FT为转移矩阵的转置;
先验预测得到后,需要进行跟踪值和观测值匹配,DeepSort使用了级联匹配加交并比匹配串联的策略,跟踪值根据状态分为跟踪预测和观测值相匹配的、待定的以及删除的类型;级联匹配只对与观测值匹配成功的跟踪值执行,根据其距离上一次匹配的时间距离长短进行分批次匹配,用来匹配的代价矩阵由特征的余弦相似度距离与马氏距离来构建,使用匈牙利算法对代价矩阵进行计算得到匹配的和不匹配的;与观测值匹配成功的跟踪值使用匈牙利算法匹配完成后,将匹配失败的与待定的跟踪值组合成新的集进行交并比匹配;交并比匹配直接将所有跟踪值和观测值由交并比作为元素构建成交并比代价矩阵,使用匈牙利算法来进行匹配,匹配方法与级联匹配相同;
代价矩阵;首先根据每个跟踪值以及观测值对应的特征来计算余弦距离,余弦距离=1-余弦相似度,其中代价矩阵中的每一个元素为余弦距离;在得到第一个代价矩阵后,我们再通过马氏距离进行调整,如果代价矩阵中某一个元素的马氏距离大于阈值,则修改数值;修正完成后即为级联匹配最终的代价矩阵;余弦相似度公式如下:
Figure FDA0004141638000000031
其中A和B分别为观测值和跟踪值对应的特征,是一个长度为128的向量,Ai和Bi分别为A和B特征向量的第i个特征值,AT为A特征向量的转置,经过归一化后||A||和||B||为1,i为特征的向量的索引值,n为特征的向量索引值的最大值128;
经过匹配之后得到了匹配的、不匹配的跟踪值和不匹配的观测值;依次对匹配成功的跟踪值进行修正、对匹配失败的跟踪值进行状态更新、对未匹配的观测值将其转为跟踪值、对匹配成功的跟踪值更新特征集;卡尔曼更新用到公式:
Figure FDA0004141638000000032
其中,Kt为t时刻的卡尔曼增益,Pt -为预测的t时刻的协方差矩阵,C为测量矩阵,CT为测量矩阵的转置,R为噪声矩阵是一个4×4的对角矩阵,xt -为预测的t时刻的跟踪值状态信息矩阵,yk为当前帧检测目标观测值的坐标信息;
根据匹配好的跟踪值和观测值进行坐标修订,依次计算卡尔曼增益Kt、以及修正的结果xt +以及后验协方差矩阵Pt +
卡尔曼更新完成后DeepSort的核心操作即全部完成,后续操作为更新每个跟踪值的状态、删除死亡跟踪值、更新匹配成功的跟踪值的特征集合,完成所有更新进入下一帧检测追踪。
CN202310068923.XA 2023-02-06 2023-02-06 一种透明酒瓶质量检测方法 Active CN115791817B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310068923.XA CN115791817B (zh) 2023-02-06 2023-02-06 一种透明酒瓶质量检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310068923.XA CN115791817B (zh) 2023-02-06 2023-02-06 一种透明酒瓶质量检测方法

Publications (2)

Publication Number Publication Date
CN115791817A CN115791817A (zh) 2023-03-14
CN115791817B true CN115791817B (zh) 2023-04-28

Family

ID=85430036

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310068923.XA Active CN115791817B (zh) 2023-02-06 2023-02-06 一种透明酒瓶质量检测方法

Country Status (1)

Country Link
CN (1) CN115791817B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104597058A (zh) * 2015-01-08 2015-05-06 中国科学院自动化研究所 一种基于视觉的白酒瓶内异物自动检测装置和方法
CN106373140A (zh) * 2016-08-31 2017-02-01 杭州沃朴物联科技有限公司 一种基于单目视觉的透明及半透明液体杂质检测方法
CN107679250A (zh) * 2017-11-01 2018-02-09 浙江工业大学 一种基于深度自编码卷积神经网络的多任务分层图像检索方法
CN111830044A (zh) * 2019-04-19 2020-10-27 无锡维胜威信息科技有限公司 一种白酒酒质检测系统
CN114331833A (zh) * 2021-12-10 2022-04-12 扬州大学 基于标定与精确几何结构的瓶体标签稳定高质量拼接方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104118609B (zh) * 2014-07-22 2016-06-29 广东平航机械有限公司 贴标质量检测方法和装置
CN106952257B (zh) * 2017-03-21 2019-12-03 南京大学 一种基于模板匹配与相似度计算的曲面标签破损缺陷检测方法
US11551445B2 (en) * 2020-08-14 2023-01-10 Sony Corporation Heatmap visualization of object detections
CN113537301B (zh) * 2021-06-23 2022-08-16 天津中科智能识别产业技术研究院有限公司 基于模板自适应匹配瓶体标签的缺陷检测方法
CN114677356A (zh) * 2022-04-01 2022-06-28 重庆邮电大学 一种基于多视角图像融合的酒瓶外观缺陷检测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104597058A (zh) * 2015-01-08 2015-05-06 中国科学院自动化研究所 一种基于视觉的白酒瓶内异物自动检测装置和方法
CN106373140A (zh) * 2016-08-31 2017-02-01 杭州沃朴物联科技有限公司 一种基于单目视觉的透明及半透明液体杂质检测方法
CN107679250A (zh) * 2017-11-01 2018-02-09 浙江工业大学 一种基于深度自编码卷积神经网络的多任务分层图像检索方法
CN111830044A (zh) * 2019-04-19 2020-10-27 无锡维胜威信息科技有限公司 一种白酒酒质检测系统
CN114331833A (zh) * 2021-12-10 2022-04-12 扬州大学 基于标定与精确几何结构的瓶体标签稳定高质量拼接方法

Also Published As

Publication number Publication date
CN115791817A (zh) 2023-03-14

Similar Documents

Publication Publication Date Title
CN110175982B (zh) 一种基于目标检测的缺陷检测方法
US9460339B2 (en) Combined color image and depth processing
Rahardja et al. Vision-based bin-picking: Recognition and localization of multiple complex objects using simple visual cues
EP2426642B1 (en) Method, device and system for motion detection
CN110390677B (zh) 一种基于滑动自匹配的缺陷定位方法及系统
CN111784655B (zh) 一种水下机器人回收定位方法
CN109191429B (zh) 一种基于机器视觉的3d打印喷嘴检测方法
CN106997457A (zh) 人物肢体识别方法、人物肢体识别装置及电子装置
CN111783693A (zh) 果蔬采摘机器人的智能识别方法
CN110555867B (zh) 一种融合物体捕获识别技术的多目标物体跟踪方法
CN106067031A (zh) 基于人工纠错机制与深度学习网络协作机器视觉识别系统
CN115791817B (zh) 一种透明酒瓶质量检测方法
Hu et al. Recognition and localization of strawberries from 3D binocular cameras for a strawberry picking robot using coupled YOLO/Mask R-CNN
Natarajan et al. Robust stereo-vision based 3D modelling of real-world objects for assistive robotic applications
CN114612418A (zh) 一种鼠标外壳表面缺陷检测方法及装置、系统、电子设备
CN110193465A (zh) 一种条烟分拣智能纠错系统
CN113319013A (zh) 一种基于机器视觉的苹果智能分拣的方法
CN115830018B (zh) 基于深度学习与双目视觉的碳素块检测方法及系统
CN111563871A (zh) 图像处理方法、装置、设备和视觉引导拆垛方法、系统
KR102436943B1 (ko) Rgb-d 영상에서의 기계학습 기반 물류박스 자동인식 방법
CN112069841B (zh) X光违禁品包裹跟踪方法及装置
CN111091086B (zh) 一种利用机器视觉技术提高物流面单特征信息识别率的方法
CN112767433A (zh) 一种巡检机器人图像自动纠偏、分割与识别方法
Qu et al. Statistical classification based fast drivable region detection for indoor mobile robot
Aladem et al. Image Preprocessing for Stereoscopic Visual Odometry at Night

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant