基于机器视觉的信息识别及表面缺陷在线检测方法
技术领域
本发明属于机器视觉技术领域,具体涉及一种基于机器视觉的信息识别及表面缺陷在线检测方法。
背景技术
在工业生产领域中,在印刷、包装等工业生产过程中随着机械设备自动化程度、生产效率和质量要求越来越高;随着机械设备技术水平不断发展,生产速度提高,为了提高整个产品生产效率同时保证产品质量,生产质量检测效率也需要不断改进提高;传统质量检测是通过人工实时在线检测产品质量,效率低,可控性低,同时可能存在漏检。可变信息高速印刷(如:票据号码、一维码、二维码信息)生产过程中,需要实时检测是否漏码,印错,印重复等;印刷包装、电子元器件、汽车零部件、电路板等工业产品生产过程中为了提高产品生产质量,同时也需要对生产产品质量或可变信息进行检测;传统生产中,工业产品生产质量监控都是通过人工来完成,由此存在弊端:人工成本高,效率低、可靠性低、容易出现漏检。
发明内容
本发明的目的是提供一种基于机器视觉的信息识别及表面缺陷在线检测方法,解决了现有技术中存在的工业产品生产质量监控人工成本高,效率低、可靠性低、容易出现漏检的问题。
本发明所采用的技术方案是,基于机器视觉的信息识别及表面缺陷在线检测方法,具体按照以下步骤实施:
步骤1、图像采集;
步骤2、数据建模;
步骤3、分析处理实时图片,识别变化信息,同时分析产品表面是否存在缺陷;
步骤4、对反馈结果进行处理控制。
本发明的特点还在于,
步骤1具体为:
位于工业流水线旁的传感器感知到产品经过时,触发工业相机实时采集产品图片,并将图片数据通过网线发送给计算机。
步骤2具体按照以下步骤实施:
步骤(1.1)、选取步骤1中获得的图片数据中的字符区图像,对字符区图像进行二值化处理:假设按行扫描字符区图像,设f(i,j)表示第i行第j列像素点的值,Gs(i,j)表示第i行第j个像素点前S个像素点灰度值之和,则
其中,k为设定变量,k的取值为:j-k>j-s and j-k<j,
然后进行二值化判断:
即如果某个像素点的值小于其前S个像素点的均值的(100-t)/100倍时,则设置该像素点为1,否则设置为0,至此,图像二值化完成;
步骤(1.2)、对步骤(1.1)得到的二值图进行单个字符切分处理,单个字符切分处理包括对二值图垂直方向和水平方向分别进行投影:
垂直投影:
设F(i,j)为步骤(1.1)得到的二值图中第i行第j列像素值,设二值图宽度为w,高度为h,则垂直投影结果Pv(i)的计算公式如下:
其中0<i<h,
通过垂直投影曲线,得到二值图中字符区域的曲线峰值位置,峰值两边的波谷位置则分别是二值图中字符区域的上下边界位置,由此便得到二值图中字符区域上下坐标位置;
水平投影:
设F(i,j)为二值图中第i行第j列像素值,设二值图宽度为w,高度为h,则垂直投影结果Ph(j)的计算公式如下:
其中0<j<w,
通过水平投影曲线,搜索到二值图中字符区域中每个字符的左边界和右边界,由此得到每个字符的左右坐标;
通过对二值图垂直方向和水平方向的投影,得到二值图中每个字符的上、下、左、右四个坐标,从而达到对二值图进行单个字符切分处理;
步骤(1.3)、步骤(1.2)二值图字符切分处理完成后,利用三层神经网络对切分后的每个字符进行训练,提取切分后的每个字符的特征向量作为三层神经网络的输入层,通过不断学习训练提高字符识别率,从而得到可变信息字符库。
步骤3具体按照以下步骤实施:
步骤a、首先将信息完整、表面没有缺陷的产品图片作为标准图像,然后选择标准图像中字符特征区域作为配准模板;
步骤b、创建对比模板,对比模板由一个上限模板和一个下限模板组成,具体为:
设I为步骤a中的标准图像,I(x,y)为I图像中坐标(x,y)点的灰度值,T1为上限模板图像,T1(x,y)为T1图像中坐标(x,y)点的值,T2为下限模板图像,T2(x,y)为T2图像中坐标(x,y)点的值,V为标准图像中像素亮点变化明显的边缘图像,V(x,y)为V图像中对应坐标(x,y)的值,其中,T1(x,y)和T2(x,y)的计算公式如下:
T1(x,y)=I(x,y)+max(absTh,V(x,y)*varTh) (1)
T2(x,y)=I(x,y)-max(absTh,V(x,y)*varTh) (2)
由T1(x,y)和T2(x,y)的值从而得到对比模版,上式中,varTh为设定的相对阈值比例,varTh=0.15~0.75,absTh为通过计算标准图像灰度直方图谷底得到的绝对阈值;
步骤c、对采集到的原始图像进行可变信息识别和一维码二维码识别:可变信息识别通过神经网络和步骤1.3得到的可变信息字符库对采集到的图像中的字符信息进行识别,包括产品编码、号码、文字、字母信息,一维码二维码识别通过国际标准编码规则对条码图进行分析解码;
步骤d、分析表面缺陷:首先通过位置配准,对实时检测图进行校准,使实时检测图与步骤a中的配准模板位置完全对应,图像位置配准和校准具体过程是首先通过位置配准得到一个仿射矩阵,再通过仿射矩阵对检测图进行仿射变换把检测图与标准模板完全配准,放射变换形式如下:
其中,为仿射矩阵,(x,y)为仿射变换前坐标,(u,v)为经过仿射变换后坐标;
通过步骤b得到的对比模板与检测图进行对比,检测图中灰度值超出上限模板和下限模板中T1(x,y)和T2(x,y)的点作为缺陷点,然后对所有缺陷点进行统计,缺陷点的表示公式如下:
设D(x,y)为缺陷点,F(x,y)为检测点,则:
D(x,y)=F(x,y)<=T2(x,y)or F(x,y)>=T1(x,y) (3)
由此得出检测图中产品表面是否存在缺陷。
步骤4具体为:
经步骤3检测后,合格品在产线上正常通过,若出现不合格品计算机及时发出报警信号,同时计算机把不合格品位置信息发送给机械手,引导机械手移动至不合格品位置剔除不合格品,于此同时发出停机信号控制停机。
本发明的有益效果是,一种基于机器视觉的信息识别及表面缺陷在线检测方法,通过机器替代人工解决了工业产品生产过程中质量监控效率低、可靠性低、漏检、人工成本高等问题;使得工业生产进一步自动化、智能化、大大提高生产效率。
具体实施方式
下面结合具体实施方式对本发明进行详细说明。
本发明基于机器视觉的信息识别及表面缺陷在线检测方法,具体按照以下步骤实施:
步骤1、图像采集,步骤1具体为:
位于工业流水线旁的传感器感知到产品经过时,触发工业相机实时采集产品图片,并将图片数据通过网线发送给计算机,传感器在实际应用中一般选择光栅传感器;
步骤2、数据建模,具体按照以下步骤实施:
步骤(1.1)、选取步骤1中获得的图片数据中的字符区图像,对字符区图像进行二值化处理:假设按行扫描字符区图像,设f(i,j)表示第i行第j列像素点的值,Gs(i,j)表示第i行第j个像素点前S个像素点灰度值之和,则
其中,k为设定变量,k的取值为:j-k>j-s and j-k<j,
然后进行二值化判断:
即如果某个像素点的值小于其前S个像素点的均值的(100-t)/100倍时,则设置该像素点为1,否则设置为0,至此,图像二值化完成;
步骤(1.2)、对步骤(1.1)得到的二值图进行单个字符切分处理,单个字符切分处理包括对二值图垂直方向和水平方向分别进行投影:
垂直投影:
设F(i,j)为步骤(1.1)得到的二值图中第i行第j列像素值,设二值图宽度为w,高度为h,则垂直投影结果Pv(i)的计算公式如下:
其中0<i<h,
通过垂直投影曲线,得到二值图中字符区域的曲线峰值位置,峰值两边的波谷位置则分别是二值图中字符区域的上下边界位置,由此便得到二值图中字符区域上下坐标位置;
水平投影:
设F(i,j)为二值图中第i行第j列像素值,设二值图宽度为w,高度为h,则垂直投影结果Ph(j)的计算公式如下:
其中0<j<w,
通过水平投影曲线,搜索到二值图中字符区域中每个字符的左边界和右边界,由此得到每个字符的左右坐标;
通过对二值图垂直方向和水平方向的投影,得到二值图中每个字符的上、下、左、右四个坐标,从而达到对二值图进行单个字符切分处理;
步骤(1.3)、步骤(1.2)二值图字符切分处理完成后,利用三层神经网络对切分后的每个字符进行训练,提取切分后的每个字符的特征向量作为三层神经网络的输入层,通过不断学习训练提高字符识别率,从而得到可变信息字符库;
步骤3、分析处理实时图片,识别变化信息,同时分析产品表面是否存在缺陷,具体按照以下步骤实施:
步骤a、首先将信息完整、表面没有缺陷的产品图片作为标准图像,然后选择标准图像中字符特征区域作为配准模板;
步骤b、创建对比模板,对比模板由一个上限模板和一个下限模板组成,具体为:
设I为步骤a中的标准图像,I(x,y)为I图像中坐标(x,y)点的灰度值,T1为上限模板图像,T1(x,y)为T1图像中坐标(x,y)点的值,T2为下限模板图像,T2(x,y)为T2图像中坐标(x,y)点的值,V为标准图像中像素亮点变化明显的边缘图像,V(x,y)为V图像中对应坐标(x,y)的值,其中,T1(x,y)和T2(x,y)的计算公式如下:
T1(x,y)=I(x,y)+max(absTh,V(x,y)*varTh) (1)
T2(x,y)=I(x,y)-max(absTh,V(x,y)*varTh) (2)
由T1(x,y)和T2(x,y)的值从而得到对比模版,上式中,varTh为设定的相对阈值比例,varTh=0.15~0.75,absTh为通过计算标准图像灰度直方图谷底得到的绝对阈值;
步骤c、对采集到的原始图像进行可变信息识别和一维码二维码识别:可变信息识别通过神经网络和步骤1.3得到的可变信息字符库对采集到的图像中的字符信息进行识别,包括产品编码、号码、文字、字母信息,一维码二维码识别通过国际标准编码规则对条码图进行分析解码;
步骤d、分析表面缺陷:首先通过位置配准,对实时检测图进行校准,使实时检测图与步骤a中的配准模板位置完全对应,图像位置配准和校准具体过程是首先通过位置配准得到一个仿射矩阵,再通过仿射矩阵对检测图进行仿射变换把检测图与标准模板完全配准,放射变换形式如下:
其中,为仿射矩阵,(x,y)为仿射变换前坐标,(u,v)为经过仿射变换后坐标;
通过步骤b得到的对比模板与检测图进行对比,检测图中灰度值超出上限模板和下限模板中T1(x,y)和T2(x,y)的点作为缺陷点,然后对所有缺陷点进行统计,缺陷点的表示公式如下:
设D(x,y)为缺陷点,F(x,y)为检测点,则:
D(x,y)=F(x,y)<=T2(x,y)or F(x,y)>=T1(x,y) (3)
由此得出检测图中产品表面是否存在缺陷;
步骤4、对反馈结果进行处理控制,具体为:
经步骤3检测后,合格品在产线上正常通过,若出现不合格品计算机及时发出报警信号,同时计算机把不合格品位置信息发送给机械手,引导机械手移动至不合格品位置剔除不合格品,于此同时有必要的情况下发出停机信号控制停机,机械手臂抓起不合格品方式,首先系统检测到不合格品同时把不合格品位置信息发送给机械手臂,引导机械手臂移动至产品位置将产品抓取,相比机械手臂更为简洁成本更低的方式是通过气缸直接从侧面将不合格品推出去,气缸剔除方式存在的弊端是响应时间长,剔除速度相比机械手臂要慢。
工业相机替代人的眼睛,计算机和高效数字图像处理及模式识别算法替代人的大脑;通过工业相机实时拍摄生产线上产品,工业相机将拍摄到的实时数据传输给工业计算机,通过高效处理算法对图片数据进行分析处理,识别产品信息(产品编码、号码、一维码、二维码信息)是否正确,同时也可以检测产品标签是否存在缺陷(印刷缺陷、漏印、错印、脏点等,或产品本身残缺,划痕等缺陷),如果检测到缺陷立即报警同时剔除不合格品或停机让工作人员及时处理。
本发明基于机器视觉的信息识别及表面缺陷在线检测方法中,硬件系统具体连接关系为:工业相机直接通过千兆网线与计算机连接,传感器输出信号作为工业相机的输入信号触发相机采集图像,计算机同时又与报警装置和机械手连接,以达到驱动报警和控制机械手剔除不合格产品的目的。
基于机器视觉方法对生产产品可变信息及质量进行实时在线检测,其优势在于:替代人工降低人工成本、效率高、可靠性高、该方法能快速检测所有产品不会出现漏检现象、进一步实现工业生产自动化、智能化。