发明内容
本发明的目的在于提供一种基于物联网的AOI检测反馈系统。
本发明的目的可以通过以下技术方案实现:一种基于物联网的AOI检测反馈系统,包括摄像头、识别单元、信息存储单元、数据分析单元、结果判定单元、发送单元和智能设备;
所述摄像头用于实时采集电路板上的影像信息,并将影像信息传输至识别单元;
所述信息存储单元内存储有电路板相关的记录信息,所述识别单元从信息存储单元内获取记录信息,并将其与影像信息一同进行识别操作,得到电路板影像、元件影像和标准数据,并将其一同传输至数据分析单元;
所述信息存储单元内还存储有电路板规格数据,所述数据分析单元从信息存储单元获取电路板规格数据,并将其与电路板影像、元件影像和标准数据一同进行分析操作,得到分布不合格信号、分布合格信号、分布异常信号、分布问题信号、电路板影像、色泽数据、颜色数据和元件影像,并将一同传输至结果判定单元;
所述信息存储单元内还存储有形状信息,所述形状信息包括图形的影像以及图形的名称,所述结果判定单元从信息存储单元内获取形状信息,并将其与分布不合格信号、分布合格信号、分布异常信号、分布问题信号、电路板影像、色泽数据、颜色数据和元件影像进行结果判定操作,得到质量问题信号,并将其传输至发送单元;
所述发送单元接收质量问题信号,并将其发送至智能设备,智能设备接收并显示质量问题信号。
作为本发明的进一步改进方案:识别操作的具体操作过程为:
步骤一:获取记录信息,将记录信息内电路板的图像标定为图像数据,将记录信息内电路板图像对应的电路板名称标定为名称数据,将记录信息内电路板内元件的图像标定为元件数据,将记录信息内元件数据对应的名称标定为元件名称数据,将记录信息内元件数据对应的色泽判定标准标定为标准数据;
步骤二:获取影像信息,并将其与图像数据进行匹配,得到电路板影像;
步骤三:结合上述步骤一与步骤二,获取提取的名称数据,并将该名称数据对应的影像信息与元件数据进行匹配,得到元件影像;
步骤四:提取上述步骤二中的电路板影像和步骤三中的元件影像。
作为本发明的进一步改进方案:分析操作的具体操作过程为:
K1:获取标准数据,将标准数据内元件的颜色标定为色泽数据,将标准数据内元件影像对应的电路板的颜色标定为颜色数据;
K2:获取电路板影像和元件影像,建立一个虚拟直角坐标系,将电路板影像和元件影像在虚拟直角坐标系中进行标记,标记处元件影像在电路板影像中的位置,将电路板影像的四个边角点分别标定为BJg(Xg,Yg),并将对应元件影像标定为YJi(Xi,Yi),i=1,2,3......n,g=1,2,3......4,且n为正整数,此处的YJi表示为在电路板影像中不同元件影像的位置;
K3:获取电路板规格信息、电路板四个边角点的坐标以及元件影像的坐标,并将其进行距离处理,具体为:
E1:获取电路板规格信息,将电路板规格信息内的电路板的长度标定为电路板长度数据,将电路板规格信息内电路板的宽度标定为电路板宽度数据;
E2:将获取电路板对应的四个边角点的坐标,并将四个边角点坐标分别标定为BJ1(X1,Y1)、BJ2(X2,Y2)、BJ3(X3,Y3)和BJ4(X4,Y4),由于电路板的一条边连接两个边角点,那么说明其中四个边角点中有两个坐标点的X轴相同,两个坐标点的Y轴相同,选取出两个X轴坐标相同的坐标点,将两个坐标的Y轴进行差值计算,计算出Y轴差值,同理计算出X轴差值;
E3:将X轴差值和Y轴差值进行比对,当X轴差值大于Y轴差值时,则判定X轴为电路板影像的虚拟长度,Y轴为电路板影像的虚拟宽度,当X轴差值小于Y轴差值时,则判定X轴为电路板影像的虚拟宽度,Y轴为电路板影像的虚拟长度;
E4:选取若干组虚拟长度和虚拟宽度,并将其与对应的电路板长度数据和电路板宽度数据,并将其分别带入到计算式:DC=XC*ui,DK=XK*ri,计算出ui和ri,其中,DC表示为电路板长度数据,XC表示为虚拟长度,DK表示为电路板宽度数据,XK表示为虚拟宽度,ui表示为电路板长度数据与虚拟长度之间的转化因子,并将其标定为长度转化因子,ri表示为电路板宽度数据与虚拟宽度之间的转化因子,并将其标定为宽度转化因子,获取若干组长度转化因子,并将其带入到计算式
,其中,Pu表示为长度转化因子的均值,即长度转化因子均值,将宽度转化因子带入到计算式:
,其中,Pr表示为宽度转化因子的均值,即宽度转化因子均值,将长度转化因子均值和宽度转化因子均值带入到计算式:
,其中,
表示为宽度转化因子均值和宽度转化因子均值的平均值,即转化因子均值,a为正整数;
E5:获取两个不同元件影像对应的位置数据,并将两个不同位置的元件影像分别标定为YJ1(X1,Y1)和YJ2(X2,Y2),选取出两个不同位置元件影像对应的X轴和Y轴的值,并将其带入到距离计算式中,计算出两个不同位置元件影像YJ1和YJ2之间的距离,即虚拟距离值;
E6:获取上述E5中的虚拟距离值和转化因子均值,并将其带入到计算式:
,其中,
表示为实际距离值,
表示为虚拟距离值,
表示为转化因子均值,e表示为计算转化调节因子,且e的取值在0.9-1之间;
获取电路板影像和元件影像,建立一个虚拟直角坐标系,将电路板影像和元件影像在虚拟直角坐标系中进行标记,标记处元件影像在电路板影像中的位置,并将对应元件影像标定为YJi(Xi,Yi),i=1,2,3......n,且n为正整数;
K4:依据上述K3中的计算方式,计算出不同元件影像之间的实际距离值,选取若干个实际距离值,预设距离范围值M,并将其与距离值进行比对,具体为:
当
>M,则判定两个不同元件影像之间的距离大,生成距离大信号,其中,
>M表示为数值
的取值大于范围值M当中的最大值;
当
∈M,则判定两个不同元件影像之间的距离正常,生成距离正常信号,其中,
∈M表示为数值
的取值在范围值M的范围内;
当
<M,则判定两个不同元件影像之间的距离小,生成距离小信号,其中,当
<M表示为数值
取值小于范围值M中的最小值;
K5:提取上述K4中的距离大信号、距离正常信号和距离小信号,并对其进行识别判断,得到分布不合格信号、分布合格信号、分布异常信号和分布问题信号。
作为本发明的进一步改进方案:结果判定操作的具体操作过程为:
H1:获取电路板影像,并将其与颜色数据进行识别,当识别到电路板中底色与颜色数据不相同时,则生成颜色差异信号,并将颜色差异信号对应的部分电路板影像标定为电路板差异影像;
H2:获取元件影像,并将其与色泽数据进行识别,当识别到元件中的颜色与色泽数据不相同时,则生成色泽差异信号,并将色泽差异信号对应的部分元件影像标定为元件差异影像;
H3:提取上述H1和H2中的颜色差异信号、电路板差异影像、色泽差异信号和元件差异影像,对颜色差异信号和色泽差异信号进行识别,并依据识别结果进行精确分析,得到第一识别名称数据和第二识别名称数据;
H4:获取第一识别名称数据,当第一识别名称数据为线时,则判定该电路板出现断裂,生成断裂信号,当第一识别名称数据为线以外的几何图形或者非几何图形时,则判定电路板的阻焊层损坏,生成层面损坏信号;
H5:获取第二识别名称数据,当第二识别名称数据为线时,则判定该元件表面出现划痕,生成划痕信号,当第二识别名称为线以外的几个图形或者非几何图形时,则判定元件上出现凹陷孔,生成缺陷信号;
H6:获取分布不合格信号、分布合格信号、分布异常信号、分布问题信号、断裂信号、层面损坏信号、划痕信号和缺陷信号,并依据其进行分值转化计算和判断,得到质量问题信号。
作为本发明的进一步改进方案:分值转化计算和判断的具体过程为:将分布不合格信号、分布合格信号、分布异常信号、分布问题信号、断裂信号、层面损坏信号、划痕信号和缺陷信号带入到计算式:
,其中
表示为受损总值,f1表示为信号分值转化的偏差调节因子,其中,Fji表示为对应信号转化的分值,且Fji=Fi*ji,F1表示为分布不合格信号,j1表示为分布不合格信号的分值转化因子,F2-F8依次表示为分布合格信号、分布异常信号、分布问题信号、断裂信号、层面损坏信号、划痕信号和缺陷信号,j2-j8依次表示为分布合格信号、分布异常信号、分布问题信号、断裂信号、层面损坏信号、划痕信号和缺陷信号对应的分值转化因子,将受损总值与预设总值进行比对,当受损总值大于预设总值时,则判定电路板和元件损坏,生成质量问题信号,反之,则不生成质量问题信号,其中,预设总值为预设值。
作为本发明的进一步改进方案:分布不合格信号、分布合格信号、分布异常信号和分布问题信号的具体得出过程为:识别统计出距离大信号、距离正常信号和距离小信号出现的次数,并将其依次标定为大距离次数、正常距离次数和小距离次数,将其三者进行求和计算,计算出总次数,分别计算出大距离次数、正常距离次数和小距离次数在总次数中的占比,并将其依次标定为大距离占比、正常距离占比和小距离占比,设定三个大距离占比、正常距离占比和小距离占比对应的预设比值,并将其分别与大距离占比和小距离占比进行比对,当出现大距离占比大于大距离对应的预设比值,小距离占比大于对应的预设比值时,则判定电路板上元件的分布错误,生成分布不合格信号,当出现大距离占比小于大距离对应的预设比值,小距离占比小于对应的预设比值时,则判定电路板上元件的分布正确,生成分布合格信号,当出现大距离占比小于大距离对应的预设比值,小距离占比大于对应的预设比值时,则判定电路板上元件的分布异常,生成分布异常信号,当出现大距离占比大于大距离对应的预设比值,小距离占比小于对应的预设比值时,则判定电路板上元件的分布出现问题,生成分布问题信号。
本发明的有益效果:
(1)通过摄像头实时采集电路板上的影像信息,并将影像信息传输至识别单元;识别单元从信息存储单元内获取记录信息,并将其与影像信息一同进行识别操作,通过识别单元对摄像头或者数据进行识别,得到电路板影像、元件影像和标准数据,增加数据识别的准确性,提高工作效率。
(2)通过数据分析单元的设置,对电路板影像、元件影像和标准数据一同进行分析操作,并将得出结果一同传输至结果判定单元;结果判定单元从信息存储单元内获取形状信息,并将其与分布不合格信号、电路板影像、色泽数据、颜色数据和元件影像进行结果判定操作,通过对数据的分析和判定,得到质量问题信号,提高对数据分析的精确性,节省数据分析所消耗的时间,提高工作效率。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
请参阅图1所示,本发明为一种基于物联网的AOI检测反馈系统,包括摄像头、识别单元、信息存储单元、数据分析单元、结果判定单元、发送单元和智能设备;
摄像头用于实时采集电路板上的影像信息,并将影像信息传输至识别单元;
信息存储单元内存储有电路板相关的记录信息,识别单元从信息存储单元内获取记录信息,并将其与影像信息一同进行识别操作,识别操作的具体操作过程为:
步骤一:获取记录信息,将记录信息内电路板的图像标定为图像数据,将记录信息内电路板图像对应的电路板名称标定为名称数据,将记录信息内电路板内元件的图像标定为元件数据,将记录信息内元件数据对应的名称标定为元件名称数据,将记录信息内元件数据对应的色泽判定标准标定为标准数据;
步骤二:获取影像信息,并将其与图像数据进行匹配,具体为:当从影像信息中匹配到图像数据时,则判定该影像中存在对应的图像数据,并自动提取图像数据对应的名称数据,并将名称数据对应的影像信息标定为电路板影像;
当没有从影像信息中匹配到对应的图像数据时,则判定该影像中没有电路板相关的图像,不进行名称数据的提取;
步骤三:获取上述步骤二中提取的名称数据,并将该名称数据对应的影像信息与元件数据进行匹配,具体为:
当从影像信息中匹配到元件数据时,则判定该影像信息中存在对应的元件数据,并自动提取对应的元件名称数据,将该元件名称数据对应的部门影像信息标定为元件影像;
当从影像信息中没有匹配到元件数据时,则判定该影像信息中不存在对应的元件数据,则不提取对应的元件名称数据;
步骤四:提取上述步骤二中的电路板影像和步骤三中的元件影像,并将其与标准数据一同传输至数据分析单元;
信息存储单元内还存储有电路板规格数据,数据分析单元从信息存储单元获取电路板规格数据,并将其与电路板影像、元件影像和标准数据一同进行分析操作,分析操作的具体操作过程为:
K1:获取标准数据,将标准数据内元件的颜色标定为色泽数据,将标准数据内元件影像对应的电路板的颜色标定为颜色数据;
K2:获取电路板影像和元件影像,建立一个虚拟直角坐标系,将电路板影像和元件影像在虚拟直角坐标系中进行标记,标记处元件影像在电路板影像中的位置,将电路板影像的四个边角点分别标定为BJg(Xg,Yg),并将对应元件影像标定为YJi(Xi,Yi),i=1,2,3......n,g=1,2,3......4,且n为正整数,此处的YJi表示为在电路板影像中不同元件影像的位置;
K3:获取电路板规格信息、电路板四个边角点的坐标以及元件影像的坐标,并将其进行距离处理,具体为:
E1:获取电路板规格信息,将电路板规格信息内的电路板的长度标定为电路板长度数据,将电路板规格信息内电路板的宽度标定为电路板宽度数据;
E2:将获取电路板对应的四个边角点的坐标,并将四个边角点坐标分别标定为BJ1(X1,Y1)、BJ2(X2,Y2)、BJ3(X3,Y3)和BJ4(X4,Y4),由于电路板的一条边连接两个边角点,那么说明其中四个边角点中有两个坐标点的X轴相同,两个坐标点的Y轴相同,选取出两个X轴坐标相同的坐标点,将两个坐标的Y轴进行差值计算,计算出Y轴差值,同理计算出X轴差值;
E3:将X轴差值和Y轴差值进行比对,当X轴差值大于Y轴差值时,则判定X轴为电路板影像的虚拟长度,Y轴为电路板影像的虚拟宽度,当X轴差值小于Y轴差值时,则判定X轴为电路板影像的虚拟宽度,Y轴为电路板影像的虚拟长度;
E4:选取若干组虚拟长度和虚拟宽度,并将其与对应的电路板长度数据和电路板宽度数据,并将其分别带入到计算式:DC=XC*ui,DK=XK*ri,计算出ui和ri,其中,DC表示为电路板长度数据,XC表示为虚拟长度,DK表示为电路板宽度数据,XK表示为虚拟宽度,ui表示为电路板长度数据与虚拟长度之间的转化因子,并将其标定为长度转化因子,ri表示为电路板宽度数据与虚拟宽度之间的转化因子,并将其标定为宽度转化因子,获取若干组长度转化因子,并将其带入到计算式
,其中,Pu表示为长度转化因子的均值,即长度转化因子均值,将宽度转化因子带入到计算式:
,其中,Pr表示为宽度转化因子的均值,即宽度转化因子均值,将长度转化因子均值和宽度转化因子均值带入到计算式:
,其中,
表示为宽度转化因子均值和宽度转化因子均值的平均值,即转化因子均值,a为正整数;
E5:获取两个不同元件影像对应的位置数据,并将两个不同位置的元件影像分别标定为YJ1(X1,Y1)和YJ2(X2,Y2),选取出两个不同位置元件影像对应的X轴和Y轴的值,并将其带入到距离计算式中,计算出两个不同位置元件影像YJ1和YJ2之间的距离,即虚拟距离值;
E6:获取上述E5中的虚拟距离值和转化因子均值,并将其带入到计算式:
,其中,
表示为实际距离值,
表示为虚拟距离值,
表示为转化因子均值,e表示为计算转化调节因子,且e的取值在0.9-1之间;
距离计算式包括:
S1:将X2的值减去X1的值,得到两个不同位置元件影像的X轴差值,并将其标定为X轴差值;
S2:将Y2的值减去Y1的值,得到两个不同位置元件影像的Y轴差值,并将其标定为Y轴差值;
S3:设定一个距离值,并将其与上述S1和S2中的X轴差值和Y轴差值带入到计算式:距离值*距离值=X轴差值*X轴差值+Y轴差值*Y轴差值,计算出距离值;
K4:依据上述K3中的计算方式,计算出不同元件影像之间的实际距离值,选取若干个实际距离值,预设距离范围值M,并将其与距离值进行比对,具体为:
当
>M,则判定两个不同元件影像之间的距离大,生成距离大信号,其中,
>M表示为数值
的取值大于范围值M当中的最大值;
当
∈M,则判定两个不同元件影像之间的距离正常,生成距离正常信号,其中,
∈M表示为数值
的取值在范围值M的范围内;
当
<M,则判定两个不同元件影像之间的距离小,生成距离小信号,其中,当
<M表示为数值
取值小于范围值M中的最小值;
K5:提取上述K4中的距离大信号、距离正常信号和距离小信号,并对其进行识别判断,具体为:识别统计出距离大信号、距离正常信号和距离小信号出现的次数,并将其依次标定为大距离次数、正常距离次数和小距离次数,将其三者进行求和计算,计算出总次数,分别计算出大距离次数、正常距离次数和小距离次数在总次数中的占比,并将其依次标定为大距离占比、正常距离占比和小距离占比,设定三个大距离占比、正常距离占比和小距离占比对应的预设比值,并将其分别与大距离占比和小距离占比进行比对,当出现大距离占比大于大距离对应的预设比值,小距离占比大于对应的预设比值时,则判定电路板上元件的分布错误,生成分布不合格信号,当出现大距离占比小于大距离对应的预设比值,小距离占比小于对应的预设比值时,则判定电路板上元件的分布正确,生成分布合格信号,当出现大距离占比小于大距离对应的预设比值,小距离占比大于对应的预设比值时,则判定电路板上元件的分布异常,生成分布异常信号,当出现大距离占比大于大距离对应的预设比值,小距离占比小于对应的预设比值时,则判定电路板上元件的分布出现问题,生成分布问题信号;
K6:提取分布不合格信号、分布合格信号、分布异常信号、分布问题信号、电路板影像、色泽数据、颜色数据和元件影像,并将一同传输至结果判定单元;
信息存储单元内还存储有形状信息,形状信息包括图形的影像以及图形的名称,结果判定单元从信息存储单元内获取形状信息,并将其与分布不合格信号、分布合格信号、分布异常信号、分布问题信号、电路板影像、色泽数据、颜色数据和元件影像进行结果判定操作,结果判定操作的具体操作过程为:
H1:获取电路板影像,并将其与颜色数据进行识别,当识别到电路板中底色与颜色数据不相同时,则生成颜色差异信号,并将颜色差异信号对应的部分电路板影像标定为电路板差异影像;
H2:获取元件影像,并将其与色泽数据进行识别,当识别到元件中的颜色与色泽数据不相同时,则生成色泽差异信号,并将色泽差异信号对应的部分元件影像标定为元件差异影像;
H3:提取上述H1和H2中的颜色差异信号、电路板差异影像、色泽差异信号和元件差异影像,对颜色差异信号和色泽差异信号进行识别,并依据识别结果进行精确分析,具体为:
G1:当识别到颜色差异信号时,则提取电路板差异影像,并将其与图形的影像进行匹配,当电路板差异影像与图形的影像一致时,则判定两者为同一形状,并自动提取对应图形的名称,将其标定为第一识别名称数据;
G2:当识别到色泽差异信号时,则提取元件差异影像,并将其与图形的影像进行匹配,当元件差异影像与图形的影像一致时,则判定两者为同一形状,并自动提取对应图形的名称,将其标定为第二识别名称数据;
H4:获取第一识别名称数据,当第一识别名称数据为线时,则判定该电路板出现断裂,生成断裂信号,当第一识别名称数据为线以外的几何图形或者非几何图形时,则判定电路板的阻焊层损坏,生成层面损坏信号;
H5:获取第二识别名称数据,当第二识别名称数据为线时,则判定该元件表面出现划痕,生成划痕信号,当第二识别名称为线以外的几个图形或者非几何图形时,则判定元件上出现凹陷孔,生成缺陷信号;
H6:获取分布不合格信号、分布合格信号、分布异常信号、分布问题信号、断裂信号、层面损坏信号、划痕信号和缺陷信号,并依据其进行分值转化计算,计算式为:
,其中
表示为受损总值,f1表示为信号分值转化的偏差调节因子,其中,Fji表示为对应信号转化的分值,且Fji=Fi*ji,F1表示为分布不合格信号,j1表示为分布不合格信号的分值转化因子,F2-F8依次表示为分布合格信号、分布异常信号、分布问题信号、断裂信号、层面损坏信号、划痕信号和缺陷信号,j2-j8依次表示为分布合格信号、分布异常信号、分布问题信号、断裂信号、层面损坏信号、划痕信号和缺陷信号对应的分值转化因子,将受损总值与预设总值进行比对,当受损总值大于预设总值时,则判定电路板和元件损坏,生成质量问题信号,反之,则不生成质量问题信号,其中,预设总值为预设值;
H7:将质量问题信号传输至发送单元;
发送单元接收质量问题信号,并将其发送至智能设备,智能设备接收并显示质量问题信号,智能设备具体为平板电脑。
本发明在工作时,通过摄像头实时采集电路板上的影像信息,并将影像信息传输至识别单元,识别单元从信息存储单元内获取记录信息,并将其与影像信息一同进行识别操作,得到电路板影像、元件影像和标准数据,并将其一同传输至数据分析单元;数据分析单元从信息存储单元获取电路板规格数据,并将其与电路板影像、元件影像和标准数据一同进行分析操作,得到分布不合格信号、分布合格信号、分布异常信号、分布问题信号、电路板影像、色泽数据、颜色数据和元件影像,并将一同传输至结果判定单元;信息存储单元内还存储有形状信息,形状信息包括图形的影像以及图形的名称,结果判定单元从信息存储单元内获取形状信息,并将其与分布不合格信号、分布合格信号、分布异常信号、分布问题信号、电路板影像、色泽数据、颜色数据和元件影像进行结果判定操作,得到质量问题信号,并将其传输至发送单元;发送单元接收质量问题信号,并将其发送至智能设备,智能设备接收并显示质量问题信号。
以上内容仅仅是对本发明结构所作的举例和说明,所属本技术领域的技术人员对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代,只要不偏离发明的结构或者超越本权利要求书所定义的范围,均应属于本发明的保护范围。