CN114708234B - 一种识别自动卡口编码一体机上雷管数量的方法及装置 - Google Patents

一种识别自动卡口编码一体机上雷管数量的方法及装置 Download PDF

Info

Publication number
CN114708234B
CN114708234B CN202210377775.5A CN202210377775A CN114708234B CN 114708234 B CN114708234 B CN 114708234B CN 202210377775 A CN202210377775 A CN 202210377775A CN 114708234 B CN114708234 B CN 114708234B
Authority
CN
China
Prior art keywords
detonator
box
image
area
image set
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210377775.5A
Other languages
English (en)
Other versions
CN114708234A (zh
Inventor
李继凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Uwonders Technology Co ltd
Original Assignee
Beijing Uwonders Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Uwonders Technology Co ltd filed Critical Beijing Uwonders Technology Co ltd
Priority to CN202210377775.5A priority Critical patent/CN114708234B/zh
Publication of CN114708234A publication Critical patent/CN114708234A/zh
Application granted granted Critical
Publication of CN114708234B publication Critical patent/CN114708234B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06T3/147—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image

Abstract

本发明公开了一种识别自动卡口编码一体机上雷管数量的方法及装置，本发明方法包含训练阶段和检测阶段，训练阶段又包括雷管盒子关键点检测模型以及所述雷管检测模型的训练，检测阶段包括雷管盒子图像集采集、雷管盒子关键点检测、雷管区域提取、雷管数量检测、雷管数量异常图像数统计、雷管盒子异常判断等步骤。本发明利用安装于自动卡口编码一体机上的摄像头实时获取雷管盒子的图像，使用CNN卷积神经网络，对雷管盒子关键点进行检测，再使用仿射变换对雷管区域图像进行提取，解决了雷管区域提取困难的问题，提升了检测精度。

Description

一种识别自动卡口编码一体机上雷管数量的方法及装置
技术领域
本发明涉及自动卡口编码一体机上雷管数量识别技术领域，具体涉及一种识别自动卡口编码一体机上雷管数量的方法及装置。
背景技术
自动卡口编码一体机上的流水线上的雷管盒子中雷管数量检测是非常重要的一个环节，必须保证组成产品所需雷管数量满足要求。在实际的雷管盒子生产中，雷管易存在漏装、错装和误装现象，影响产品的出厂合格率，对企业造成严重的经济损失。
在雷管的生产过程中，每个雷管盒子里指定要放置固定数量的雷管，现阶段通常采用人工核对的方式来检测雷管数量，成本较高，并且人工检测时，长时间的工作会导致人眼出现视觉疲劳，增加零部件被漏检和误检的风险。目前，随着人工智能和工业自动化的发展，计算机视觉技术越来越广泛应用于生产线产品质量检测领域。
为了提升雷管数量检测精度，多采用基于图像识别的方法对雷管数量进行识别，但由于雷管盒子雷管所在的区域关键点特征不明显，不易于检测，为图像识别带来了一定的困难。
发明内容
本发明方法的目的是提供一种基于神经网络和仿射变换的雷管数量检测，使用CNN卷积神经网络，对雷管盒子关键点进行检测，使用仿射变换对雷管区域图像进行提取，解决了雷管区域提取困难的问题，采用卷积神经网络，对雷管数量进行检测，提升了检测精度。
第一方面，本发明提供一种识别自动卡口编码一体机上雷管数量的方法，具体包括以下步骤：
S1、雷管盒子关键点检测模型的训练；
S2、雷管检测模型的训练；
S3、雷管盒子图像集采集；
S4、雷管盒子关键点检测：所述雷管盒子关键点包括雷管线区域角点及雷管区域角点，将所述雷管盒子图像集中任意一张图像输入雷管盒子关键点检测模型中，获取所述雷管盒子的至少三个关键点坐标，所述关键点不在同一直线上；
S5、雷管区域图像提取，获得雷管区域图像集；
S6、雷管数量获取：将所述雷管区域图像集输入雷管检测模型中，获取所述雷管区域图像集中每一张图像的雷管数量；
S7、雷管数量异常图像数统计：设定雷管数量异常阈值，统计所述雷管区域图像集中雷管数量不等于所述异常阈值的图像个数，得到所述雷管数量异常图像数；
S8、雷管盒子异常判断：设定雷管数量异常图像数阈值，根据所述雷管数量异常图像数与雷管数量异常图像数阈值的关系对雷管盒子的雷管数量异常进行判断：
当雷管数量异常图像数≥雷管数量异常图像数阈值，则输出雷管盒子异常；
当雷管数量异常图像数＜雷管数量异常图像数阈值，则输出雷管盒子正常。
进一步地，在所述S3、雷管盒子图像集采集之前还包括雷管盒子到位判断：通过摄像头采集自动卡口编码一体机雷管停顿区域内的判断图像，根据所述判断图像中雷管线颜色信息判断雷管盒子是否已到位，当判断结果为雷管盒子已到位则进行所述雷管盒子图像集采集。
进一步地，所述步骤S1具体包括：
S11、雷管盒子关键点检测模型训练样本的采集及预处理；
S12、构建雷管盒子关键点检测模型的卷积神经网络结构；
S13、对所述预处理后的雷管盒子关键点检测模型训练样本进行训练，得到雷管盒子关键点检测模型。
进一步地，所述步骤S2具体包括：
S21、雷管检测模型训练样本的采集及预处理；
S22、构建雷管检测模型的卷积神经网络结构；
S23、对所述预处理后的雷管检测模型训练样本进行训练，得到雷管检测模型。
进一步地，所述雷管盒子到位判断具体包括：
步骤一、在所述判断图像中标记所述雷管线区域；
步骤二、将所述雷管线区域由RGB空间转换到HSV空间，根据雷管线颜色信息确定H、S、V分量的取值范围；
步骤三、在所述雷管线区域内计算所述雷管线颜色的像素点的占比；
步骤四、设定比例阈值，当所述雷管线颜色的像素点的占比大于所述比例阈值，判断为雷管盒子已到位。
进一步地，所述比例阈值根据至少两个雷管盒子到位情况下在所述雷管线区域内所述雷管线颜色的像素点占比的最小值确定。
进一步地，所述步骤S4、雷管盒子关键点检测，获取了雷管线区域的4个角点坐标及雷管区域的2个角点坐标，得到所述雷管盒子关键点坐标。
进一步地，所述步骤S5具体包括：
S51、选择所述雷管盒子图像集中任意一张图像，计算仿射变换后所述雷管盒子关键点坐标；
S52、根据仿射变换前所述雷管盒子关键点坐标和仿射变换后所述雷管盒子关键点坐标计算仿射变换参数；
S53、根据仿射变换参数对所述雷管盒子图像集中每一张图像进行仿射变换；
S54、根据雷管区域尺寸及位置，截取仿射变换后的雷管盒子图像集中每一张图像的雷管区域图像，获得雷管区域图像集。
进一步地，所述雷管检测模型为雷管数量检测模型，所述步骤S6为：将所述雷管区域图像集输入雷管数量检测模型中，获取所述雷管区域图像集中每一张图像的雷管数量。
进一步地，所述雷管检测模型为雷管位置检测模型，所述步骤S6为：将所述雷管区域图像集输入雷管位置检测模型中，获取所述雷管区域图像集中每一张图像的雷管位置，根据所述雷管区域图像集中每一张图像的雷管位置，获取所述雷管区域图像集中每一张图像的雷管数量。
进一步地，所述雷管数量异常图像数阈值为所述雷管区域图像集中图像数量的5％。
第二方面，本发明提供一种识别自动卡口编码一体机上雷管数量的装置，包括：
训练模块：所述训练模块用于所述雷管盒子关键点检测模型以及所述雷管检测模型的训练；
雷管盒子图像集采集模块：通过所述摄像头采集已到位雷管盒子在所述停顿区域内停顿期间的雷管盒子图像集；
雷管盒子关键点检测模块：所述雷管盒子关键点包括雷管线区域角点及雷管区域角点，将所述雷管盒子图像集中任意一张图像输入雷管盒子关键点检测模型中，获取所述雷管盒子的至少三个关键点坐标，所述关键点不在同一直线上；
雷管区域图像提取模块：根据所述雷管盒子关键点坐标获取仿射变换参数，根据所述仿射变换参数对所述雷管盒子图像集中每一张图像进行仿射变换，截取变换后的所述雷管盒子图像集中每一张图像的雷管区域图像，获得雷管区域图像集；
雷管数量获取模块：将所述雷管区域图像集输入雷管检测模型中，获取所述雷管区域图像集中每一张图像的雷管数量；
雷管数量异常图像数统计模块：设定雷管数量异常阈值，统计所述雷管区域图像集中雷管数量不等于所述异常阈值的图像个数，得到所述雷管数量异常图像数；
雷管盒子异常判断模块：设定雷管数量异常图像数阈值，根据所述雷管数量异常图像数与雷管数量异常图像数阈值的关系对雷管盒子的雷管数量异常进行判断。
进一步地，所述装置还包括雷管盒子到位判断模块：通过摄像头采集自动卡口编码一体机雷管停顿区域内的判断图像，根据所述判断图像中雷管线颜色信息判断雷管盒子是否已到位，当判断结果为雷管盒子已到位则进行所述雷管盒子图像集采集。
本发明方法的包含训练阶段和检测阶段，训练阶段又包括雷管盒子关键点检测模型以及所述雷管检测模型的训练。
本发明的有益效果在于：
(1)本发明利用安装于自动卡口编码一体机上的摄像头实时获取雷管盒子的图像；并利用图像处理、人工智能等技术实现了雷管盒子是否到位的判断、雷管盒子关键点的定位、雷管盒子的位姿矫正，以及雷管的位置检测；进而实现了自动卡口编码一体机上雷管的精准数量统计，实现了自动化识别且成本低廉、简单便捷、效果明显，其应用可以为雷管生产行业减少成本，减少包装过程中产品数量不合格现象的出现，降低相应的经济损失。
(2)由于雷管盒子雷管所在的区域四个关键点特征不明显，不易于检测的问题，首先使用CNN卷积神经网络，对雷管盒子关键点进行检测，再使用仿射变换对雷管区域图像进行提取，解决了雷管区域提取困难的问题，提升了检测精度。
(3)针对单帧目标检测的准确度不高的问题，通过所述摄像头采集已到位雷管盒子在所述停顿区域内停顿期间的雷管盒子图像集，采用CNN对图像集的雷管数量进行识别，统计多张图像的雷管数量进行综合判断，可以提高数量判断的准确度。
附图说明
图1为本发明实施例提供的一种识别自动卡口编码一体机上雷管数量的方法的流程示意；
图2为本发明实例步骤S1雷管盒子关键点检测模型的结构示意图；
图3为本发明实例步骤S2雷管位置检测模型的结构示意图；
图4为本发明实施例步骤S4通过摄像头获取自动卡口编码一体机雷管停顿区域的实时图像；
图5为本发明实施例步骤S5仿射变换原理图；
图6为本发明实施例步骤S5雷管盒子各个关键点之间的位置关系图；
图7为本发明实施例步骤S5输出的雷管区域图像；
图8本发明实施例提供的一种识别自动卡口编码一体机上雷管数量的装置组成框图。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合，下面结合附图对本发明方法进行进一步详细说明。
如图1所示一种识别自动卡口编码一体机上雷管数量的方法，具体包括以下步骤：
S1、雷管盒子关键点检测模型的训练；
S2、雷管检测模型的训练；
S3、雷管盒子图像集采集：通过所述摄像头采集已到位的雷管盒子在自动卡口编码一体机的停顿区域内停顿期间的雷管盒子图像集；
S4、雷管盒子关键点检测：所述雷管盒子关键点包括雷管线区域角点及雷管区域角点，将所述雷管盒子图像集中任意一张图像输入雷管盒子关键点检测模型中，获取所述雷管盒子的至少三个关键点坐标，所述关键点不在同一直线上；
S5、雷管区域图像提取：根据所述雷管盒子关键点坐标获取仿射变换参数，根据所述仿射变换参数对所述雷管盒子图像集中每一张图像进行仿射变换，截取变换后的所述雷管盒子图像集中每一张图像的雷管区域图像，获得雷管区域图像集；
S6、雷管数量获取：将所述雷管区域图像集输入雷管检测模型中，获取所述雷管区域图像集中每一张图像的雷管数量；
S7、雷管数量异常图像数统计：设定雷管数量异常阈值，统计所述雷管区域图像集中雷管数量不等于所述异常阈值的图像个数，得到所述雷管数量异常图像数；
S8、雷管盒子异常判断：设定雷管数量异常图像数阈值，根据所述雷管数量异常图像数与雷管数量异常图像数阈值的关系对雷管盒子的雷管数量异常进行判断：
当雷管数量异常图像数≥雷管数量异常图像数阈值，则输出雷管盒子异常；
当雷管数量异常图像数＜雷管数量异常图像数阈值，则输出雷管盒子正常。
步骤S1、S2为训练阶段进行雷管盒子关键点检测模型及雷管检测模型的训练。
雷管盒子关键点包括雷管线区域角点及雷管区域角点，雷管盒子关键点检测模型，根据输出关键点的需要对雷管盒子的雷管线区域及雷管区域的角点进行标记。
雷管盒子关键点检测模型的训练过程为：
S11：雷管盒子关键点检测模型训练样本的采集及预处理；
采集雷管盒子关键点检测模型训练样本，训练样本为各种光照情况下，各种方位角度的雷管盒子图像，样本标记为此样本图像集中盒子的完整度，标记雷管盒子中雷管线区域的三个角点的归一化坐标，雷管线区域的角点如图4所示的A、B、C、D四个角点，本实施例中统一标记雷管线区域的A、B、C三个角点作为雷管盒子的关键点。
其中盒子如果完整度超过50％，则其完整度标签为1，否则为0，盒子关键点的归一化坐标x,y为：
Figure GDA0003802514010000061
其中xo为原始x坐标，yo为原始y坐标，w为图像宽度，h为图像高度。
S12：构建雷管盒子关键点检测模型的卷积神经网络结构；
如图2所示，步骤S1中雷管盒子关键点检测模型由一个端到端的检测神经网络组成。网络结构由输入数据层，特征提取模块、输出模块组成，其中特征提取模块由多个卷积(conv)层、prelu层、池化(pool)层交替连接。输出模块有两个分支，一个分支为全连接(InnerProduct)层和Softmax层相连接，输出图像为雷管盒子的置信度，用以模拟盒子的完整度；另一个分支为一个全连接层，输出为雷管盒子关键点的坐标
Figure GDA0003802514010000062
雷管盒子关键点检测模型的卷积神经网络结构的特征提取模块是由至少3个卷积(conv)层、prelu层、池化(pool)层交替连接组成，需根据实际应用场景来确定用几个组成。
本发明实施例中，特征提取模块是由5个卷积(conv)层、prelu层、池化(pool)层交替连接加两个卷积(conv)层、prelu层交替连接组成的。
S13：对所述预处理后的雷管盒子关键点检测模型训练样本进行训练，得到雷管盒子关键点检测模型。
目标函数设计为：
Figure GDA0003802514010000063
其中，αcoord和αnoobj分别为目标和非目标的权值，本实施方式中，目标具体为雷管盒子；i是图像的索引，j是关键点的索引。
Figure GDA0003802514010000064
代表如果是目标，该项为1，否则为0；
Figure GDA0003802514010000065
代表如果是目标，该项为0，否则为1；x、y分别为目标的关键点的归一化坐标,C为目标的类别号,完整度大于50％的类别号为1，否则为0。带^的符号代表网络估计的对应属性的值。
最后：采用反向传播的方式训练神经网络的参数，直到网络达到我们设定的最大迭代次数或者最小误差之后结束网络训练，获得雷管盒子的关键点检测模型。
为了实现雷管区域雷管数量的识别，可直接采用卷积神经网络模型直接识别雷管区域雷管的数量，也可以识别雷管区域图像中所有雷管所在的位置，再根据模型输出的雷管位置数统计雷管的数量。
本发明提供了雷管检测模型的训练的一个实施例，进行雷管数量检测模型的训练：
S21、雷管数量检测模型训练样本的采集及预处理；
将雷管盒子关键点检测模型训练样本输入雷管盒子关键点检测模型，用该模型的输出通过仿射变换获得雷管区域图像集，对雷管区域图像集再进行标注训练，样本标记为此样本图像中雷管的数量。
S22、构建雷管数量检测模型的卷积神经网络结构；所述雷管数量检测模型用于对所述仿射变换后的雷管图像中的雷管进行识别，得到所有雷管的数量。
如图3所示，步骤S2中雷管盒子检测模型M2由一个端到端的检测神经网络组成。网络结构由输入数据层，特征提取模块、输出模块组成，其中特征提取模块由多个卷积(conv)层、prelu层、池化(pool)层交替连接。输出模块为回归(Regression)层，输出为图中雷管的数量
Figure GDA0003802514010000071
步骤S2，所述特征提取模块是由至少3个卷积(conv)层、prelu层、池化(pool)层交替连接组成，需根据实际应用场景来确定用几个组成。
本发明实施例中，特征提取模块是由7个卷积(conv)层、prelu层、池化(pool)层交替连接加两个卷积(conv)层、prelu层交替连接组成的。
S23、对所述预处理后的雷管数量检测模型训练样本进行训练，得到雷管数量检测模型。
目标函数设计为：
Figure GDA0003802514010000072
其中，n为图像中雷管的实际数量，
Figure GDA0003802514010000073
为网络估计的图像中雷管的数量，i是图像的索引。
最后：采用反向传播的方式训练神经网络的参数，直到网络达到我们设定的最大迭代次数或者最小误差之后结束网络训练，获得雷管数量检测模型。
本发明提供了雷管检测模型的训练的另一个实施例，进行雷管位置检测模型的训练：
S21、雷管位置检测模型训练样本的采集及预处理；
收集雷管检测模型训练样本，包括各种雷管数量的雷管区域图像，样本标记为此样本图像中雷管的左上角坐标和宽、高。
S22、构建雷管位置检测模型的卷积神经网络结构；雷管位置检测模型用于对所述仿射变换后的雷管图像中的雷管进行识别，得到所有雷管的左上角坐标和宽、高。
如图3所示，步骤S2中雷管盒子检测模型M2由一个端到端的检测神经网络组成。网络结构由输入数据层，特征提取模块、输出模块组成，其中特征提取模块由多个卷积(conv)层、prelu层、池化(pool)层交替连接。输出模块为回归(Regression)层，输出为所有目标的左上角坐标和宽高
Figure GDA0003802514010000074
步骤S2，所述特征提取模块是由至少3个卷积(conv)层、prelu层、池化(pool)层交替连接组成，需根据实际应用场景来确定用几个组成。
本发明实施例中，特征提取模块是由7个卷积(conv)层、prelu层、池化(pool)层交替连接加两个卷积(conv)层、prelu层交替连接组成的。
S23、对所述预处理后的雷管位置检测模型训练样本进行训练，
目标函数设计为：
Figure GDA0003802514010000081
其中，αcoord和αnoobj分别为目标和背景的权值，本实施方式中，目标具体为雷管；
Figure GDA0003802514010000082
代表如果是目标，该项为1，否则为0；
Figure GDA0003802514010000083
代表如果是目标，该项为0，否则为1；x、y、w、h分别为目标的行、列坐标以及宽、高。C为目标的类别号，p(c)为目标为c类的概率。带^的符号代表网络估计的对应属性的值。
采用反向传播的方式训练神经网络的参数，直到网络达到我们设定的最大迭代次数或者最小误差之后结束网络训练，得到雷管位置检测模型。
获得雷管盒子关键点检测模型及雷管检测模型后，进入识别阶段通过采集雷管盒子的图像进行雷管数量检测。
雷管盒子在自动卡口编码一体机停顿区域会停顿一定的时间，通过摄像头采集雷管盒子停顿期间的雷管盒子图像集，为了精确确定雷管雷子的停顿时间，实现停顿区域内停顿期间雷管盒子图像的精准采集，本发明提供了另一实施例，在雷管盒子图像集采集前进行雷管盒到位的判断。
雷管盒子到位判断模块：通过摄像头采集自动卡口编码一体机雷管停顿区域内的判断图像，根据所述判断图像中雷管线颜色信息判断雷管盒子是否已到位，当判断结果为雷管盒子已到位则进行雷管盒子图像集采集；
雷管盒子到位判断的具体步骤为：
步骤一、在所述判断图像中标记所述雷管线区域，判断图像中标记的雷管线区域如图4虚线框所示。
步骤二、将所述雷管线区域由RGB空间转换到HSV空间，根据雷管线颜色信息确定H、S、V分量的取值范围，雷管线的颜色为红色，HSV的取值范围为：0<H<10或者155<H<180，同时S>43，同时V>46。
步骤三、在所述雷管线区域内计算所述雷管线颜色的像素点的占比，计算红色像素点在雷管线区域的像素点占比。
步骤四、设定比例阈值，当所述雷管线颜色的像素点的占比大于所述比例阈值，判断为雷管盒子已到位。
比例阈值根据至少两个雷管盒子到位情况下在所述雷管线区域内所述雷管线颜色的像素点占比的最小值确定。
在本发明所提供的一个实施例中，采集2个雷管盒子到位情况下的图像，计算两张图像雷管线颜色像素点占比分别为76％、75％，取75％为比例阈值，当判断图像雷管线颜色的像素点占比大于75％，并连续持续5秒钟，则认为雷管到位。
在本发明所提供的一个实施例中，采集10个雷管盒子到位情况下的图像，计算10张图像雷管线颜色像素点占比，最小值为80％，取80％为比例阈值，当判断图像雷管线颜色的像素点占比大于80％，并连续持续5秒钟，则认为雷管到位。
在判断雷管盒子到位的情况下，通过所述摄像头采集已到位雷管盒子在所述停顿区域内停顿期间的雷管盒子图像集。
S3、雷管盒子图像集采集：通过所述摄像头采集已到位雷管盒子在所述停顿区域内停顿期间的雷管盒子图像集；
为了解决采集图像清晰度不够，以及光线、遮挡物等对识别精度的影响，通过位于自动卡口编码一体机上方的摄像头实时采集雷管盒子在流水线上移动过程中的图像，摄像头尽量安装到自动卡口编码一体机的上方，对准雷管盒子停顿的位置，所采集到的图像如图4所示，所拍摄的图片由于从正上方拍摄，可以清晰地对雷管盒子进行拍摄。
S4、雷管盒子关键点检测：所述雷管盒子关键点包括雷管线区域角点及雷管区域角点，将所述雷管盒子图像集中任意一张图像输入雷管盒子关键点检测模型中，获取所述雷管盒子的至少三个关键点坐标，所述关键点不在同一直线上；
雷管盒子关键点检测，由于雷管盒子停顿不动，雷管盒子图像集中雷管盒子的关键点也是固定的，因此选取雷管盒子图像集中任意一张图像输入雷管盒子关键点检测模型中，获取所述雷管盒子的雷管线区域的三个角点坐标，如图4中标记的A、B、C三个位置，得到雷管盒子关键点坐标。
摄像头采集到的雷管盒子图像可能受光照、遮挡等因素的影响，雷管盒子关键点检测模型的输出可能有波动。
针对这种情况，本发明所提供的另一实施例，将采集到的雷管盒子图像集输入雷管盒子关键点检测模型中，获取所述雷管盒子关键点坐标集，即获取所述雷管线区域的A、B、C三个角点坐标集，计算所述坐标集均值，得到所述雷管盒子关键点坐标。
步骤S5、雷管区域图像提取：根据所述雷管盒子关键点坐标获取仿射变换参数，根据所述仿射变换参数对所述雷管盒子图像集中每一张图像进行仿射变换，截取变换后的所述雷管盒子图像集中每一张图像的雷管区域图像，获得雷管区域图像集；
如图4所示，雷管盒子中A、B、C、D构成的矩形区域为雷管线区域，E、F、G、H为雷管区域，但由于雷管盒子雷管所在的区域四个关键点特征不明显，尤其是雷管缺失的时候，图4中G、H两点不易于检测，为图像识别带来了一定的困难，本实施例输出A、B、C三个关键点作为雷管盒子关键点，再进行雷管区域提取，本实施例中步骤S5具体包括：
S51、选择所述雷管盒子图像集中任意一张图像，计算仿射变换后所述雷管盒子关键点坐标；
选择雷管盒子图像集中任意一张图像，仿射变换的示意图如图5所示。
A、B、C、D为仿射变换前雷管线区域的四个角点，E、F、G、H为仿射变换前雷管区域的四个角点；A'、B'、C'、D'为仿射变换后雷管线区域的四个角点，E'、F'、G'、H'为仿射变换后雷管区域的四个角点，令仿射变换后C′点和D′点在x轴上，E′点在y轴上。
雷管盒子的八个关键点的位置关系如图6所示，假设Δx2＝αΔx1,Δy2＝βΔy1,Δy3＝γΔy1。其中α、β和γ由雷管盒子的尺寸决定。
仿射变换之后各个点之间的距离的比例关系不变：Δx′2＝αΔx′1,Δy′2＝βΔy′1,Δy′3＝γΔy′1。
在本发明所提供的一个实施例中，α＝24，β＝0.35，γ＝0.45，获取的雷管区域图像的尺寸为600像素宽，250像素高。即
2Δx′1+Δx′2＝(2+α)Δx′1＝600,Δy′2+Δy′3＝(β+γ)Δy′1＝250。
可以求得
Figure GDA0003802514010000101
进一步，可以求得A′点的坐标(Δx′1,-Δy′1)为(23，-313)，B′点的坐标(Δx′1+Δx′2，-Δy′1)为(575，-313)，C′点的坐标(Δx′1+Δx′2，0)为(575，0)。
S52、根据仿射变换前所述雷管盒子关键点坐标和仿射变换后所述雷管盒子关键点坐标计算仿射变换参数；
根据雷管盒子关键点仿射变换前的坐标(A、B、C)以及仿射变换后的坐标(A'、B'、C')带入以下方程中可以求取仿射变换参数a1，a2，a3，a4，tx，ty。
Figure GDA0003802514010000102
(x,y)为仿射变换前的坐标，(x′,y′)为仿射变换后的坐标。
S53、根据仿射变换参数对所述雷管盒子图像集中每一张图像进行仿射变换；
S54、根据雷管区域尺寸及位置，截取仿射变换后的雷管盒子图像集中每一张图像的雷管区域图像，获得雷管区域图像集。
对变换后的雷管盒子图像集中每一张图像截取左上角为E'，根据雷管区域图像的尺寸为600像素宽，250像素高，截取右下角为(600，250)的矩形区域，获得雷管区域图像集，雷管区域图像如图7所示。
本发明提供的另一个实施例中，所述步骤S4、雷管盒子关键点检测，获取了雷管线区域的4个角点坐标及雷管区域的2个角点坐标，得到所述雷管盒子关键点坐标。
在该实施例中，关键点检测模型输出雷管线区域的四个角点坐标(A、B、C、D)及雷管区域的两个角点坐标(E、F)，通过对雷管盒子中易于检测的6个关键点进行输出，作为雷管盒子关键点。
选择雷管盒子图像集中任意一张图像，计算仿射变换后所述雷管盒子关键点坐标(A'、B'、C'、D'、E'、F')。
可由任意AA′、BB′、CC′、DD′、EE′、FF′六组点对中的任意三组点对的坐标(x,y)，(x′,y′)带入以下方程中可以求取仿射变换参数。
步骤S6、雷管数量获取，将雷管区域图像集输入雷管检测模型中，获取雷管区域图像集中每一张图像的雷管数量；
在本发明提供的一个实施例中，雷管检测模型为雷管数量检测模型，步骤S6将雷管区域图像集输入雷管数量检测模型中，输出雷管区域图像集中每一张图像的雷管数量。
在本发明提供的另一个实施例中，雷管检测模型为雷管位置检测模型，步骤S6将雷管区域图像集输入雷管位置检测模型中，获取雷管区域图像集中每一张图像的雷管位置，根据雷管区域图像集中每一张图像的雷管位置，获取雷管区域图像集中每一张图像的雷管数量。
步骤S7、雷管数量异常图像数统计：设定雷管数量异常阈值，雷管数量异常阈值根据正常情况下雷管盒子中所安装的雷管数量确定，本实施例中雷管盒子正常情况下，雷管数量为10个，设定雷管数量异常阈值为10，统计雷管区域图像集中图像的雷管数量不等10的图像个数，得到雷管数量异常图像数；
S8、雷管盒子异常判断：因为单张图像的目标检测的准确度不能达到100％，所以统计多张图像综合判断，可以提高数量判断的准确度。本发明所提供的实施例中，根据雷管盒子图像集中雷管数量异常图像数与雷管数量异常图像数阈值的关系对雷管盒子的雷管数量异常进行判断，当雷管数量异常图像数不超过雷管盒子图像集中图像数的5％认定为雷管盒子正常。
设定雷管数量异常图像数阈值＝雷管盒子图像集中图像数×5％；
当雷管数量异常图像数≥雷管数量异常图像数阈值，则输出雷管盒子异常；
当雷管数量异常图像数＜雷管数量异常图像数阈值，则输出雷管盒子正常。
本发明实施例首先使用CNN卷积神经网络，对雷管盒子关键点进行检测，在使用仿射变换对雷管区域图像进行提取，解决了雷管区域提取困难的问题，提升了检测精度，针对单帧目标检测的准确度不高的问题，通过所述摄像头采集已到位雷管盒子在所述停顿区域内停顿期间的雷管盒子图像集，采用CNN对图像集的雷管数量进行识别，统计多张图像的雷管数量进行综合判断，可以提高数量判断的准确度。
为了有效提高自动卡口编码一体机上雷管数量识别过程的准确性及可靠性，且能够有效提高识别过程的自动化程度及效率，本申请提供一种识别自动卡口编码一体机上雷管数量的方法中全部或部分内容的一种识别自动卡口编码一体机上雷管数量的装置的实施例，该装置包含有如下内容：
训练模块：所述训练模块用于所述雷管盒子关键点检测模型以及所述雷管检测模型的训练；
雷管盒子图像集采集模块：通过所述摄像头采集已到位雷管盒子在所述停顿区域内停顿期间的雷管盒子图像集；
雷管盒子关键点检测模块：所述雷管盒子关键点包括雷管线区域角点及雷管区域角点，将所述雷管盒子图像集中任意一张图像输入雷管盒子关键点检测模型中，获取所述雷管盒子的至少三个关键点坐标，所述关键点不在同一直线上；
雷管区域图像提取模块：根据所述雷管盒子关键点坐标获取仿射变换参数，根据所述仿射变换参数对所述雷管盒子图像集中每一张图像进行仿射变换，截取变换后的所述雷管盒子图像集中每一张图像的雷管区域图像，获得雷管区域图像集；
雷管数量获取模块：将所述雷管区域图像集输入雷管检测模型中，获取所述雷管区域图像集中每一张图像的雷管数量；
雷管数量异常图像数统计模块：设定雷管数量异常阈值，统计所述雷管区域图像集中雷管数量不等于所述异常阈值的图像个数，得到所述雷管数量异常图像数；
雷管盒子异常判断模块：设定雷管数量异常图像数阈值，根据所述雷管数量异常图像数与雷管数量异常图像数阈值的关系对雷管盒子的雷管数量异常进行判断。
本实施例提供的装置，具备训练阶段和识别阶段对应的多个模块，训练模块实现卷积神经网络模型的训练，识别阶段包括图像采集模块利用安装于自动卡口编码一体机上的摄像头实时获取雷管盒子的图像；并利用图像处理、人工智能等技术实现了雷管盒子是否到位的判断、雷管盒子关键点的定位、雷管盒子的位姿矫正，以及雷管的位置检测；进而实现了自动卡口编码一体机上雷管的精准数量统计，实现了自动化识别且成本低廉、简单便捷、效果明显，其应用可以为雷管生产行业减少成本，减少包装过程中产品数量不合格现象的出现，降低相应的经济损失。
在本发明的另一个实施例中，参见图8，在所述装置中还包括雷管盒子到位判断模块。
所述装置还包括雷管盒子到位判断模块：通过摄像头采集自动卡口编码一体机雷管停顿区域内的判断图像，根据所述判断图像中雷管线颜色信息判断雷管盒子是否已到位，当判断结果为雷管盒子已到位则进行所述雷管盒子图像集采集。
本实施例通过在雷管盒子图像采集之前，进行雷管盒子的到位判断，可以更加精准的实现雷管盒子的图像采集，避免了非雷管盒子的采集，提升了后续图像检测的精度。
以上所述仅为发明的优选实例而已，并不用于限制发明，尽管参照前述实例对发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实例记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在发明的精神和原则之内，所做的修改、等同替换等均应包含在发明的保护范围之内。

Claims (8)

1.一种识别自动卡口编码一体机上雷管数量的方法，其特征在于，具体包括以下步骤：
S1、雷管盒子关键点检测模型的训练；
S2、雷管检测模型的训练；
S3、雷管盒子图像集采集；
S4、雷管盒子关键点检测：所述雷管盒子关键点包括雷管线区域角点及雷管区域角点，将所述雷管盒子图像集中任意一张图像输入所述雷管盒子关键点检测模型中，获取雷管线区域的4个角点及雷管区域的2个角点，所述雷管区域的2个角点包括雷管区域的左上角角点；
S5、雷管区域图像提取：获得雷管区域图像集；
步骤S5具体包括：
S51、对步骤S4所获得的所述雷管盒子关键点进行仿射变换，令仿射变换后雷管线区域的右下角角点和左下角角点在x轴上且所述雷管区域的左上角角点在y轴上，根据所述雷管盒子的尺寸，计算所述雷管盒子关键点仿射变换后坐标；
S52、在步骤S4所获得的所述雷管盒子关键点中选择三个角点坐标，根据所述三个角点坐标及其对应的仿射变换后的坐标计算仿射变换参数；
S53、根据所述仿射变换参数对所述雷管盒子图像集中每一张图像进行仿射变换；
S54、对仿射变换后的雷管盒子图像集中每一张图像，截取左上角坐标为仿射变换后的所述雷管区域的左上角角点坐标，右下角为根据所述雷管区域图像尺寸确定的右下角坐标的矩形区域，获得雷管区域图像集；
S6、雷管数量获取：将所述雷管区域图像集输入所述雷管检测模型中，获取所述雷管区域图像集中每一张图像的雷管数量；
S7、雷管数量异常图像数统计：设定雷管数量异常阈值，统计所述雷管区域图像集中雷管数量不等于所述异常阈值的图像个数，得到所述雷管数量异常图像数；
S8、雷管盒子异常判断：设定雷管数量异常图像数阈值，根据所述雷管数量异常图像数与雷管数量异常图像数阈值的关系对雷管盒子的雷管数量异常进行判断。
2.根据权利要求1所述的一种识别自动卡口编码一体机上雷管数量的方法，其特征在于，在步骤S3之前还包括雷管盒子到位判断：通过摄像头采集自动卡口编码一体机雷管停顿区域内的判断图像，根据所述判断图像中雷管线颜色信息判断雷管盒子是否已到位，当判断结果为雷管盒子已到位则进行雷管盒子图像集采集。
3.根据权利要求2所述的一种识别自动卡口编码一体机上雷管数量的方法，其特征在于，所述雷管盒子到位判断具体包括：
步骤一、在所述判断图像中标记所述雷管线区域；
步骤二、将所述雷管线区域由RGB空间转换到HSV空间，根据雷管线颜色信息确定H、S、V分量的取值范围；
步骤三、在所述雷管线区域内计算所述雷管线颜色的像素点的占比；
步骤四、设定比例阈值，当所述雷管线颜色的像素点的占比大于所述比例阈值，判断为雷管盒子已到位。
4.根据权利要求3所述的一种识别自动卡口编码一体机上雷管数量的方法，其特征在于，所述比例阈值根据至少两个雷管盒子到位情况下在所述雷管线区域内所述雷管线颜色的像素点占比的最小值确定。
5.根据权利要求1所述的一种识别自动卡口编码一体机上雷管数量的方法，其特征在于，所述雷管检测模型为雷管数量检测模型，所述步骤S6为：将所述雷管区域图像集输入雷管数量检测模型中，获取所述雷管区域图像集中每一张图像的雷管数量。
6.根据权利要求1所述的一种识别自动卡口编码一体机上雷管数量的方法，其特征在于，所述雷管检测模型为雷管位置检测模型，所述步骤S6为：将所述雷管区域图像集输入雷管位置检测模型中，获取所述雷管区域图像集中每一张图像的雷管位置，根据所述雷管区域图像集中每一张图像的雷管位置，获取所述雷管区域图像集中每一张图像的雷管数量。
7.一种识别自动卡口编码一体机上雷管数量的装置，包括：
训练模块：训练模块用于雷管盒子关键点检测模型以及雷管检测模型的训练；
雷管盒子图像集采集模块：通过摄像头采集已到位雷管盒子在停顿区域内停顿期间的雷管盒子图像集；
雷管盒子关键点检测模块：所述雷管盒子关键点包括雷管线区域角点及雷管区域角点，将所述雷管盒子图像集中任意一张图像输入所述雷管盒子关键点检测模型中，获取雷管线区域的4个角点及雷管区域的2个角点，所述雷管区域的2个角点包括雷管区域的左上角角点；
雷管区域图像提取模块：用于获得雷管区域图像集；
具体步骤包括：
S51、对所述雷管盒子关键点检测模块获得的所述雷管盒子关键点进行仿射变换，令仿射变换后雷管线区域的右下角角点和左下角角点在x轴上且所述雷管区域的左上角角点在y轴上，根据所述雷管盒子的尺寸，计算所述雷管盒子关键点仿射变换后坐标；
S52、在所述雷管盒子关键点检测模块所获得的所述雷管盒子关键点中选择三个角点坐标，根据所述三个角点坐标及其对应的仿射变换后的坐标计算仿射变换参数；
S53、根据所述仿射变换参数对所述雷管盒子图像集中每一张图像进行仿射变换；
S54、对仿射变换后的雷管盒子图像集中每一张图像，截取左上角坐标为仿射变换后的所述雷管区域的左上角角点坐标，右下角为根据所述雷管区域图像尺寸确定的右下角坐标的矩形区域，获得雷管区域图像集；
雷管数量获取模块：将所述雷管区域图像集输入所述雷管检测模型中，获取所述雷管区域图像集中每一张图像的雷管数量；
雷管数量异常图像数统计模块：设定雷管数量异常阈值，统计所述雷管区域图像集中雷管数量不等于所述异常阈值的图像个数，得到所述雷管数量异常图像数；
雷管盒子异常判断模块：设定雷管数量异常图像数阈值，根据所述雷管数量异常图像数与雷管数量异常图像数阈值的关系对雷管盒子的雷管数量异常进行判断。
8.根据权利要求7所述的一种识别自动卡口编码一体机上雷管数量的装置，其特征在于，还包括雷管盒子到位判断模块：通过摄像头采集自动卡口编码一体机雷管停顿区域内的判断图像，根据所述判断图像中雷管线颜色信息判断雷管盒子是否已到位，当判断结果为雷管盒子已到位则进行雷管盒子图像集采集。
CN202210377775.5A 2022-04-12 2022-04-12 一种识别自动卡口编码一体机上雷管数量的方法及装置 Active CN114708234B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210377775.5A CN114708234B (zh) 2022-04-12 2022-04-12 一种识别自动卡口编码一体机上雷管数量的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210377775.5A CN114708234B (zh) 2022-04-12 2022-04-12 一种识别自动卡口编码一体机上雷管数量的方法及装置

Publications (2)

Publication Number Publication Date
CN114708234A CN114708234A (zh) 2022-07-05
CN114708234B true CN114708234B (zh) 2022-12-02

Family

ID=82172820

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210377775.5A Active CN114708234B (zh) 2022-04-12 2022-04-12 一种识别自动卡口编码一体机上雷管数量的方法及装置

Country Status (1)

Country Link
CN (1) CN114708234B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104672038A (zh) * 2013-12-03 2015-06-03 北京全安密灵科技股份公司 一种自动送雷管管体到卡口器中的方法及装置
CN107607005A (zh) * 2016-07-12 2018-01-19 湖南神斧集团向红机械化工有限责任公司 全自动雷管内外同步编码卡口一体机
CN107808157A (zh) * 2017-11-08 2018-03-16 广东工业大学 一种雷管编码定位及识别的方法及装置
CN107886093A (zh) * 2017-11-07 2018-04-06 广东工业大学 一种字符检测方法、系统、设备及计算机存储介质
CN109443116A (zh) * 2018-11-27 2019-03-08 东莞市创者自动化科技有限公司 电子雷管生产线
CN210882780U (zh) * 2019-11-08 2020-06-30 深圳吉双自动化科技有限公司 雷管电子脚线自动生产线的双盘裁线绕线扎线一体机
CN111461113A (zh) * 2020-03-03 2020-07-28 华南理工大学 一种基于变形平面物体检测网络的大角度车牌检测方法
CN112381718A (zh) * 2020-11-24 2021-02-19 中国科学院自动化研究所 基于仿射变换的显微序列图像自动拼接方法、系统及装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103530642B (zh) * 2012-08-21 2016-03-09 深圳市中金岭南有色金属股份有限公司凡口铅锌矿 雷管自动识别机以及雷管编码图像识别方法
CN109387995A (zh) * 2017-08-02 2019-02-26 广州本安信息科技有限公司 一种雷管横向光照识别结构
CN114078110A (zh) * 2020-08-18 2022-02-22 华晨宝马汽车有限公司 识别在可转动支承的车辆部件上零件的方法、设备和系统
CN112001302B (zh) * 2020-08-21 2022-06-14 无锡锡商银行股份有限公司 基于人脸感兴趣区域分割的人脸识别方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104672038A (zh) * 2013-12-03 2015-06-03 北京全安密灵科技股份公司 一种自动送雷管管体到卡口器中的方法及装置
CN107607005A (zh) * 2016-07-12 2018-01-19 湖南神斧集团向红机械化工有限责任公司 全自动雷管内外同步编码卡口一体机
CN107886093A (zh) * 2017-11-07 2018-04-06 广东工业大学 一种字符检测方法、系统、设备及计算机存储介质
CN107808157A (zh) * 2017-11-08 2018-03-16 广东工业大学 一种雷管编码定位及识别的方法及装置
CN109443116A (zh) * 2018-11-27 2019-03-08 东莞市创者自动化科技有限公司 电子雷管生产线
WO2020107707A1 (zh) * 2018-11-27 2020-06-04 东莞市创者自动化科技有限公司 电子雷管生产线
CN210882780U (zh) * 2019-11-08 2020-06-30 深圳吉双自动化科技有限公司 雷管电子脚线自动生产线的双盘裁线绕线扎线一体机
CN111461113A (zh) * 2020-03-03 2020-07-28 华南理工大学 一种基于变形平面物体检测网络的大角度车牌检测方法
CN112381718A (zh) * 2020-11-24 2021-02-19 中国科学院自动化研究所 基于仿射变换的显微序列图像自动拼接方法、系统及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"一种新的车牌定位与倾斜校正方法";王国良等;《计算机应用》;20080731;1890，1891，1895页 *

Also Published As

Publication number Publication date
CN114708234A (zh) 2022-07-05

Similar Documents

Publication Publication Date Title
CN108982508B (zh) 一种基于特征模板匹配和深度学习的塑封体ic芯片缺陷检测方法
CN111179251B (zh) 基于孪生神经网络利用模板比对的缺陷检测系统及方法
CN112949564B (zh) 一种基于深度学习的指针式仪表自动读数方法
CN106546263B (zh) 一种基于机器视觉的激光水平仪出射激光线检测方法
CN111709935B (zh) 一种用于地面运动皮带上实时煤矸石定位识别方法
CN113221889B (zh) 一种芯片字符抗干扰识别方法及装置
CN107945184A (zh) 一种基于彩色图像分割和梯度投影定位的贴装元件检测方法
CN104992449A (zh) 基于机器视觉的信息识别及表面缺陷在线检测方法
CN111289538B (zh) 基于机器视觉的pcb板元件检测系统及检测方法
CN102938077A (zh) 基于双阈值二值化的在线式aoi图像检索方法
CN110570422B (zh) 一种基于矩阵分析的胶囊缺陷视觉检测方法
CN106501272B (zh) 机器视觉焊锡定位检测系统
CN114241469A (zh) 一种面向电表轮换过程的信息识别方法和装置
CN111754502A (zh) 基于多尺度特征融合的Faster-RCNN算法检测磁芯表面缺陷的方法
CN114332622A (zh) 一种基于机器视觉的标签检测方法
CN114708234B (zh) 一种识别自动卡口编码一体机上雷管数量的方法及装置
CN116091506B (zh) 一种基于yolov5的机器视觉缺陷质检方法
CN117214178A (zh) 一种用于包装生产线上包装件外观缺陷智能识别方法
CN112101060A (zh) 基于平移不变性和小区域模板匹配的二维码定位方法
Wang et al. Assembly defect detection of atomizers based on machine vision
CN114943738A (zh) 一种基于视觉识别的传感器封装固化胶缺陷识别方法
CN111738264A (zh) 一种机房设备显示面板数据的智能采集方法
CN110866917A (zh) 一种基于机器视觉的药片类型及排列方式识别方法
CN113192061B (zh) Led封装外观检测图像的提取方法、装置、电子设备和存储介质
CN112288747A (zh) 一种钢坯的智能检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant