CN112816418A - 手机金属中框缺陷成像系统和检测方法 - Google Patents
手机金属中框缺陷成像系统和检测方法 Download PDFInfo
- Publication number
- CN112816418A CN112816418A CN202110416344.0A CN202110416344A CN112816418A CN 112816418 A CN112816418 A CN 112816418A CN 202110416344 A CN202110416344 A CN 202110416344A CN 112816418 A CN112816418 A CN 112816418A
- Authority
- CN
- China
- Prior art keywords
- array camera
- detected
- corner
- area
- product
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/01—Arrangements or apparatus for facilitating the optical investigation
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
Landscapes
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
本发明涉及一种手机金属中框缺陷成像系统和检测方法,其中缺陷成像系统包括与控制单元电气连接并受控制单元控制的线阵相机模块、面阵相机模块、位置感应模块和用于承载待检产品并带动待检产品直线运动的运载模块;线阵相机模块用于对随运载模块直线运动的待检产品的侧边进行线扫采图,面阵相机模块用于对运载模块上待检产品的拐角进行采图;所述位置感应模块用于将感应到的位置信号传输给控制单元;同时还包括与控制单元通信连接的后台计算中心,后台计算中心用于接收来自控制单元的采图所得照片并显示检测结果。本发明能够解决手机中框的弧形侧边成像的问题、手机中框存在成像盲区的问题,以及中框异形拐角成像难度大的问题。
Description
技术领域
本发明涉及一种外观缺陷光学检测领域,特别涉及手机金属中框缺陷成像系统和检测方法。
背景技术
随着生活水平的不断提高,智能手机已经逐渐普及到每个人手中。金属材质的手机因其优质的质感受到大家的欢迎;其中金属材质的手机中框作为其重要的组成部件,在经过一系列的生产工艺后,不可避免的造成了表面外观缺陷,这必定影响到手机产品质量。因此,外观检测是一个必不可少的环节。
由于手机多样化发展,出现了许多2.5D、3D曲面屏手机。这些手机的手机中框往往带有弧度等异形曲面。在手机中框利用机器视觉检测方法进行的外观缺陷检测中,成像难度大,特别是3D曲面屏手机中框,中框多样化,且手机中框的4个拐角形状特别,拐角的成像难度也非常大。例如手机中框弧度不同时,难以将手机中框的整个弧形外观面完全的成像出来,会存在一定的盲区无法检测到,从而造成缺陷产品外流。
目前检测手段主要是人工目检的方式,而人工目检的方式存在检测精度低、标准不一致、速度慢、效率低等不足,难以满足实际工业生产需求。
发明内容
本发明的第一个目的是提供一种手机金属中框缺陷成像系统,其能够解决手机中框的弧形侧边成像难度大的问题,以及手机中框异形的拐角成像难度大的问题。
实现本发明第一个目的的技术方案是:本发明中手机金属中框缺陷成像系统,包括与控制单元电气连接并受控制单元控制的线阵相机模块、面阵相机模块、位置感应模块和用于承载待检产品并带动待检产品直线运动的运载模块;线阵相机模块用于对随运载模块直线运动的待检产品的侧边进行线扫采图,面阵相机模块用于对运载模块上待检产品的拐角进行采图;所述线阵相机模块包括三个装有镜头的线阵相机和三个线光源;一个线光源与一个线阵相机配合进行采图;三个线阵相机分别为从上至下分布的上侧位线阵相机、中侧位线阵相机和下侧位线阵相机;上侧位线阵相机的拍摄中轴线对着待检产品的侧边上侧部,中侧位线阵相机的拍摄中轴线对着待检产品的侧边中侧部,下侧位线阵相机的拍摄中轴线对着待检产品的侧边下侧部;上侧位线阵相机的拍摄中轴线与中侧位线阵相机的拍摄中轴线的夹角为α1,下侧位线阵相机的拍摄中轴线与中侧位线阵相机的拍摄中轴线的夹角为α2;α1和α2的角度均为20°~25°;
所述位置感应模块用于感应运载模块上的待检产品进入线扫起始端,用于感应运载模块上的待检产品到达线扫完成端,用于感应待检产品到达面阵相机模块的采图工位,以及用于将感应到的位置信号传输给控制单元;
还包括与控制单元通信连接的后台计算中心,后台计算中心用于接收来自控制单元的采图所得照片,用于根据采图所得照片进行缺陷特征提取并计算获得检测结果。
上述面阵相机模块包括上侧位面阵相机、下侧位面阵相机、上侧位面光源和下侧位面光源;上侧位面阵相机的拍摄中轴线对着待检产品的拐角上侧区,下侧位面阵相机的拍摄中轴线对着待检产品的拐角下侧区;上侧位面光源位于待检产品的拐角的上方且位于上侧位面阵相机的前方,下侧位面光源位于待检产品的拐角的下方且位于下侧位面阵相机的前方;上侧位面阵相机与下侧位面光源配合用于对待检产品的拐角下侧区采图,下侧位面阵相机与上侧位面光源配合用于对待检产品的拐角上侧区采图;上侧位面阵相机的拍摄中轴线与运载模块上摆放待检产品的摆放平面的夹角为β1,下侧位面阵相机的拍摄中轴线与运载模块上摆放待检产品的摆放平面的夹角为β2;β1、β2的角度均为10°~15°。
作为优化设计,α1=α2,β1=β2。
作为进一步优化设计,中侧位线阵相机的拍摄中轴线与运载模块上摆放待检产品的摆放平面之间的夹角为α3,α3的角度为-2°至2°。
作为进一步优化设计,待检产品在运载模块的带动下运动至线扫完成端时,待检产品刚好到达面阵相机模块的采图工位。
上述运载模块包括可在第一直线驱动装置的驱动下在机架上直线滑动的滑块,滑块上转动设有可在旋转驱动装置驱动下在滑块上转动的运载平台;运载平台用于承载待检产品;所述第一直线驱动装置和旋转驱动装置均与控制单元电气连接。
上述线阵相机模块和面阵相机模块均固定设置在滑架上;所述滑架滑动设置在机架上,滑架的滑动方向垂直于运载平台的运动方向;所述机架上设有用于驱动滑架滑动的第二直线驱动装置,第二直线驱动装置与控制单元电气连接。
由于线阵相机动态范围大,灵敏度高,能够进行连续高分辨率成像的应用;手机中框宽度小,中框四条直边尺寸较长,因此选用线阵相机能够提高检测精度,以及检测效率;因此,线阵相机应用于中框直边成像。
由于面阵相机运用灵活,图像直观,能够应用于异形形态的产品成像。因此,面阵相机应用于中框拐角成像。
本发明的第二个目的是提供一种利用上述手机金属中框缺陷成像系统进行的检测方法,该方法能够获得完整且清洗的侧边照片和拐角照片,从而提高检测精度和检测效率。
实现本发明第二个目的的技术方案是:本发明中利用上述手机金属中框缺陷成像系统进行的检测方法,包括以下步骤:
S1、上料:将待检产品放置在运载模块上;
S2、侧边采图:运载模块带着待检产品进行直线运行,当位置感应模块感应运载平台上的待检产品进入线扫起始端时,线阵相机模块的上侧位线阵相机、中侧位线阵相机和下侧位线阵相机同时对经过的待检产品的一个侧边进行线扫采图;当位置感应模块感应运载平台上的待检产品到达线扫完成端时,完成线扫采图并将侧边的侧边上侧部、侧边中侧部和侧边下侧部的照片通过控制单元传输给后台计算中心;
S3、拐角采图:运载模块带着待检产品进入面阵相机模块的采图工位,当位置感应模块感应待检产品到达面阵相机模块的采图工位时,面阵相机模块的上侧位面阵相机与下侧位面光源配合拍摄待检产品的一个拐角的拐角下侧区,并将获得该拐角下侧区的照片通过控制单元发送给后台计算中心;面阵相机模块的下侧位面阵相机与上侧位面光源配合拍摄该拐角上侧区,并将获得该拐角上侧区的照片通过控制单元发送给后台计算中心;
S4、后台计算中心将侧边上侧部、侧边中侧部和侧边下侧部的照片通过整合获得上一步进行线扫采图的侧边的完整照片,并将侧边的完整照片进行图像数据处理,获得处理后的侧边的图像数据,将处理后的侧边的图像数据代入预设的深度学习模型进行比对,从而得出检测结果;后台计算中心将拐角上侧区的照片和拐角下侧区的照片通过整合获得上一步进行拐角采图的拐角的完整照片,并将拐角的完整照片进行图像数据处理,获得处理后的拐角的图像数据,将处理后的拐角的图像数据代入预设的深度学习模型进行比对,从而得出检测结果;
S5、运载平台复位,并将运载平台上的待检产品逆时针旋转九十度;
S6、重复步骤S2至S5,直至待检产品的所有侧边和拐角都完成检测。
同时,为了保证检测效率的更加高效,对检测方法做出如下调整:
A、上料:将待检产品放置在运载模块的运载平台上;
B、侧边采图:运载模块带着待检产品进行直线运行,当位置感应模块感应运载平台上的待检产品进入线扫起始端时,线阵相机模块的上侧位线阵相机、中侧位线阵相机和下侧位线阵相机同时对经过的待检产品的一个侧边进行线扫采图;当位置感应模块感应运载平台上的待检产品到达线扫完成端时,完成线扫采图并将侧边的侧边上侧部、侧边中侧部和侧边下侧部的照片通过控制单元传输给后台计算中心;
C、拐角采图:面阵相机模块的上侧位面阵相机与下侧位面光源配合拍摄待检产品的一个拐角的拐角下侧区,并将获得该拐角下侧区的照片通过控制单元发送给后台计算中心;面阵相机模块的下侧位面阵相机与上侧位面光源配合拍摄该拐角上侧区,并将获得该拐角上侧区的照片通过控制单元发送给后台计算中心;
D、后台计算中心将侧边上侧部、侧边中侧部和侧边下侧部的照片通过整合获得上一步进行线扫采图的侧边的完整照片,并将侧边的完整照片进行图像数据处理,获得处理后的侧边的图像数据,将处理后的侧边的图像数据代入预设的深度学习模型进行比对,从而得出检测结果;后台计算中心将拐角上侧区的照片和拐角下侧区的照片通过整合获得上一步进行拐角采图的拐角的完整照片,并将拐角的完整照片进行图像数据处理,获得处理后的拐角的图像数据,将处理后的拐角的图像数据代入预设的深度学习模型进行比对,从而得出检测结果;
E、运载平台在旋转驱动装置驱动下让待检产品逆时针旋转九十度;
F、第二直线驱动装置驱动滑架进行位置调整,第一直线驱动装置驱动运载模块进行位置调整,使得面阵相机模块可对逆时针旋转过来的拐角进行步骤C的拐角采图;
G、面阵相机模块对此时处于面阵相机模块的采图工位的拐角进行步骤C的拐角采图,并将拍摄的拐角上侧区的照片和拐角下侧区的照片传输给后台计算中心;
H、第一直线驱动装置驱动运载模块往回移动,线阵相机模块在运载模块往回移动时,对此时位于线扫工位的侧边进行步骤B的侧边采图,并将该侧边的侧边上侧部、侧边中侧部和侧边下侧部的照片通过控制单元传输给后台计算中心;
I、待运载模块回位后,重复步骤A至H,直至待检产品的所有侧边和拐角都完成检测。
上述深度学习模型的构建方法包括:
步骤M1:以预设比例采集手机金属中框的侧边和拐角的良品图像及缺陷图像,得到图像数据;
步骤M2:对图像数据进行预处理并进行图像数据扩充,得到处理后的图像数据;
步骤M3:利用标注软件对处理后的图像数据进行标注;
步骤M4:对标注的图像数据集文件格式转化为符合深度学习模型训练的图像数据集,按照预设比例将数据集划分为训练集、验证集及测试集;
步骤M5:基于计算机视觉深度神经网络对图像数据的处理,搭建深度学习模型;
步骤M6:以划分好的数据集训练和完整深度学习模型。
所述深度学习模型是图像和标签之间建立的一种数学模型,对输入的图像中的某一对象进行类别判定和位置定位。
优选地,所述步骤M2中图像数据扩充包括:图像旋转、随机裁剪、随机增高高斯噪点、图像缩放和/或轻微投射变换。
优选地,所述步骤M5中深度学习模型包括分割网络和分类网络;
所述分割网络学习图像中每个像素点所述的分类类别,包括背景像素类别和缺陷像素类别;
所述分类网络在分割网络的基础上对提取的背景区域和缺陷区域中的每个像素点作出判定给出每个像素点属于背景像素类别和缺陷像素类别的可能性,即置信度。
优选地,所述步骤M5中深度学习模型包括输入层、卷积层、池化层、特征融合层、类别判定模层和输出层;
所述卷积层对所述输入层进行特征抽取,过滤无用信息并保留特征有效信息;
所述池化层对所述卷积层处理之后保留的有效信息进行降维处理;
所述特征融合层是对具有相同维度的不同层进行跨层连接;
所述类别判定层将所述特征融合层得到的特征信息量化为某个类别的概率值;
所述输出层经过卷积层、池化层、特征融合层、类别判定层之后输出向量[m,n,c,s]作为结果,表征一幅图像中各个像素值得类别置信度,其中m表示图像宽度,n表示图像高度,c表示类别;s表示置信度。
优选地,所述步骤M6包括:将划分好的数据集中训练集中的所有图像进行训练,训练时分别训练图像中的良品图像和缺陷图像,训练预设次后,预测结果和真实结果之间的差值无明显减小时,停止训练。
本发明具有积极的效果:(1)本发明中线阵相机模块通过三个线阵相机对待检产品的侧边的侧边上侧部、侧边中侧部和侧边下侧部同时拍照,从而达到弧形的侧边无成像盲区的效果,从而有效解决手机中框的弧形侧边成像盲区大的问题。
(2)本发明通过面阵相机模块可以对拐角下侧区和拐角上侧区进行拍摄,通过后台计算中心处理,可以获得拐角完整的照片,从而大大提高异形拐角的检测精准度。
(3)本发明通过运载平台、线阵相机模块和面阵相机模块的组合运用,能够实现对待检产品的各个侧边和各个拐角进行自动化采图,大大提高检测效率。
(4)本发明通过优化拍摄角度,能够进一步提高侧边的成像效果,为检测分析提供有利条件。
(5)本发明通过对运载平台的运动优化,以及线阵相机模块和面阵相机模块与其配合的采图方式,能够进一步提高采图效率,提高检测速度。
附图说明
为了使本发明的内容更容易被清楚地理解,下面根据具体实施例并结合附图,对本发明作进一步详细的说明,其中
图1为本发明中手机金属中框缺陷成像系统的结构示意图;
图2为本发明中线阵相机模块进行采图时的示意图;
图3为本发明中面阵相机模块进行采图时的示意图;
图4为本发明的电气连接示意图;
图5为本发明中运载模块的结构示意图;
图6为本发明中侧边有遮挡现象的照片示意图;
图7为本发明中侧边没有遮挡现象的照片示意图;
图8为本发明中侧边边缘形成阴影区域的照片示意图;
图9为本发明中侧边边缘没有阴影区域的照片示意图;
图10为本发明中面阵相机模块检测不同形状拐角的对比图;
图11为本发明中拐角处成像区域小的照片示意图;
图12为本发明中拐角处成像区域大的照片示意图。
具体实施方式
(实施例1)
见图1至图5,本发明中手机金属中框缺陷成像系统包括与控制单元1电气连接并受控制单元1控制的线阵相机模块2、面阵相机模块3、位置感应模块4和用于承载待检产品并带动待检产品直线运动的运载模块5;线阵相机模块2用于对随运载模块5直线运动的待检产品的侧边进行线扫采图,面阵相机模块3用于对运载模块5上待检产品的拐角进行采图;所述线阵相机模块2包括三个装有镜头的线阵相机和三个线光源21;一个线光源21与一个线阵相机配合进行采图;三个线阵相机分别为从上至下分布的上侧位线阵相机22、中侧位线阵相机23和下侧位线阵相机24;上侧位线阵相机22的拍摄中轴线对着待检产品的侧边上侧部,中侧位线阵相机23的拍摄中轴线对着待检产品的侧边中侧部,下侧位线阵相机24的拍摄中轴线对着待检产品的侧边下侧部;上侧位线阵相机22的拍摄中轴线与中侧位线阵相机23的拍摄中轴线的夹角为α1,下侧位线阵相机24的拍摄中轴线与中侧位线阵相机23的拍摄中轴线的夹角为α2;α1和α2的角度均为20°~25°,优选α1=α2=22°。
若α1、α2角度大于25度,其成像效果可见图6的成像效果,按键遮挡手机中框边缘区域;若α1、α2角度在20°至25°,其成像效果可见图7,按键未遮挡手机中框。若α1、α2的角度小于20度时,侧边边缘形成阴影区域,见图8;若α1、α2角度在20°至25°,成像效果无阴影区域,见图9。
所述位置感应模块4用于感应运载模块5上的待检产品进入线扫起始端,用于感应运载模块5上的待检产品到达线扫完成端,用于感应待检产品到达面阵相机模块3的采图工位,以及用于将感应到的位置信号传输给控制单元1;
还包括与控制单元1通信连接的后台计算中心6,后台计算中心6用于接收来自控制单元1的采图所得照片,用于根据采图所得照片进行缺陷特征提取并计算获得检测结果。
所述面阵相机模块3包括上侧位面阵相机31、下侧位面阵相机32、上侧位面光源33和下侧位面光源34;上侧位面阵相机31的拍摄中轴线对着待检产品的拐角上侧区,下侧位面阵相机32的拍摄中轴线对着待检产品的拐角下侧区;上侧位面光源33位于待检产品的拐角的上方且位于上侧位面阵相机31的前方,下侧位面光源34位于待检产品的拐角的下方且位于下侧位面阵相机32的前方;上侧位面阵相机31与下侧位面光源34配合用于对待检产品的拐角下侧区采图,下侧位面阵相机32与上侧位面光源33配合用于对待检产品的拐角上侧区采图;上侧位面阵相机31的拍摄中轴线与运载模块5上摆放待检产品的摆放平面的夹角为β1,下侧位面阵相机32的拍摄中轴线与运载模块5上摆放待检产品的摆放平面的夹角为β2;β1、β2的角度均为10°~15°,优选12°。优选β1=β2=13°。
见图10,通过面阵相机模块3能够对不同形状的拐角进行检测。
如图11所示,若β1、β2角度小于10°或大于15°时会造成有中间部分有盲区,拐角处成像区域更小。
见图12,若β1、β2角度在10°~15°,则拐角处成像区域更大,拐角成像区域超过50%,不会存在检测盲区。
中侧位线阵相机23的拍摄中轴线与运载模块5上摆放待检产品的摆放平面之间的夹角为α3(α3在说明书附图中未示出),α3的角度控制在-2°至2°之内,因为超出这个范围就不是对侧边中侧部进行拍摄了。
待检产品在运载模块5的带动下运动至线扫完成端时,待检产品刚好到达面阵相机模块3的采图工位。
所述运载模块5包括可在第一直线驱动装置51的驱动下在机架上直线滑动的滑块52,滑块52上转动设有可在旋转驱动装置53驱动下在滑块52上转动的运载平台54;运载平台54用于承载待检产品;所述第一直线驱动装置51和旋转驱动装置53均与控制单元1电气连接。所述运载平台54上设有用于吸附住待检产品的吸盘组55,吸盘组55为常规设计,其工作原理和结构在此不做复述。
所述线阵相机模块2和面阵相机模块3均固定设置在滑架7上;所述滑架7滑动设置在机架上,滑架7的滑动方向垂直于运载平台54的运动方向;所述机架上设有用于驱动滑架7滑动的第二直线驱动装置8,第二直线驱动装置8与控制单元1电气连接。
第一直线驱动装置51和第二直线驱动装置8均可采用丝杆直线传输装置,即通过伺服电机驱动丝杠转动,丝杆与滑块52或者滑架7螺纹配合,由于滑块52或滑架7滑动设置在机架上,因此滑块52或滑架7会在伺服电机的驱动下进行直线往复运动。此类丝杆直线传输装置为在机械传动中为常规技术,因此在此不做复述。
旋转驱动装置53可采用伺服电机,通过伺服电机的输出轴与运载平台54的旋转中心连接,通过伺服电机的旋转控制,即可控制运载平台54的旋转角度。旋转驱动装置53也可以采用齿条式旋转装置,即通过电动伸缩杆或者气缸带动齿条伸缩,运载平台54的旋转中心设有从动齿轮,从动齿轮的轴线即为运载平台54的旋转轴线,通过齿条与从动齿轮配合,以及电动伸缩杆或气缸的驱动即可实现对运载平台54旋转的控制。旋转驱动装置53为常规设计,因此在此仅做简单描述,本领域技术人员即可清楚明白。
本发明利用上述的手机金属中框缺陷成像系统进行的检测方法,包括以下步骤:
A、上料:将待检产品放置在运载模块5的运载平台54上;
B、侧边采图:运载模块5带着待检产品进行直线运行,当位置感应模块4感应运载平台54上的待检产品进入线扫起始端时,线阵相机模块2的上侧位线阵相机22、中侧位线阵相机23和下侧位线阵相机24同时对经过的待检产品的一个侧边进行线扫采图;当位置感应模块4感应运载平台54上的待检产品到达线扫完成端时,完成线扫采图并将侧边的侧边上侧部、侧边中侧部和侧边下侧部的照片通过控制单元1传输给后台计算中心6;
C、拐角采图:面阵相机模块3的上侧位面阵相机31与下侧位面光源34配合拍摄待检产品的一个拐角的拐角下侧区,并将获得该拐角下侧区的照片通过控制单元1发送给后台计算中心6;面阵相机模块3的下侧位面阵相机32与上侧位面光源33配合拍摄该拐角上侧区,并将获得该拐角上侧区的照片通过控制单元1发送给后台计算中心6;
D、后台计算中心6将侧边上侧部、侧边中侧部和侧边下侧部的照片通过整合获得上一步进行线扫采图的侧边的完整照片,并将侧边的完整照片进行图像数据处理,获得处理后的侧边的图像数据,将处理后的侧边的图像数据代入预设的深度学习模型进行比对,从而得出检测结果;后台计算中心6将拐角上侧区的照片和拐角下侧区的照片通过整合获得上一步进行拐角采图的拐角的完整照片,并将拐角的完整照片进行图像数据处理,获得处理后的拐角的图像数据,将处理后的拐角的图像数据代入预设的深度学习模型进行比对,从而得出检测结果;
E、运载平台54在旋转驱动装置53驱动下让待检产品逆时针旋转九十度;
F、第二直线驱动装置8驱动滑架进行位置调整,第一直线驱动装置51驱动运载模块5进行位置调整,使得面阵相机模块3可对逆时针旋转过来的拐角进行步骤C的拐角采图;
G、面阵相机模块3对此时处于面阵相机模块3的采图工位的拐角进行步骤C的拐角采图,并将拍摄的拐角上侧区的照片和拐角下侧区的照片传输给后台计算中心6;
H、第一直线驱动装置51驱动运载模块5往回移动,线阵相机模块2在运载模块5往回移动时,对此时位于线扫工位的侧边进行步骤B的侧边采图,并将该侧边的侧边上侧部、侧边中侧部和侧边下侧部的照片通过控制单元1传输给后台计算中心6;
I、待运载模块5回位后,重复步骤A至H,直至待检产品的所有侧边和拐角都完成检测。
其中,深度学习模型的构建方法包括:
步骤M1:以预设比例采集手机金属中框的侧边和拐角的良品图像及缺陷图像,得到图像数据;
步骤M2:对图像数据进行预处理并进行图像数据扩充,得到处理后的图像数据;
步骤M3:利用标注软件对处理后的图像数据进行标注;
步骤M4:对标注的图像数据集文件格式转化为符合深度学习模型训练的图像数据集,按照预设比例将数据集划分为训练集、验证集及测试集;
步骤M5:基于计算机视觉深度神经网络对图像数据的处理,搭建深度学习模型;
步骤M6:以划分好的数据集训练和完整深度学习模型。
所述深度学习模型是图像和标签之间建立的一种数学模型,对输入的图像中的某一对象进行类别判定和位置定位。
优选地,所述步骤M2中图像数据扩充包括:图像旋转、随机裁剪、随机增高高斯噪点、图像缩放和/或轻微投射变换。
优选地,所述步骤M5中深度学习模型包括分割网络和分类网络;
所述分割网络学习图像中每个像素点所述的分类类别,包括背景像素类别和缺陷像素类别;
所述分类网络在分割网络的基础上对提取的背景区域和缺陷区域中的每个像素点作出判定给出每个像素点属于背景像素类别和缺陷像素类别的可能性,即置信度。
优选地,所述步骤M5中深度学习模型包括输入层、卷积层、池化层、特征融合层、类别判定模层和输出层;
所述卷积层对所述输入层进行特征抽取,过滤无用信息并保留特征有效信息;
所述池化层对所述卷积层处理之后保留的有效信息进行降维处理;
所述特征融合层是对具有相同维度的不同层进行跨层连接;
所述类别判定层将所述特征融合层得到的特征信息量化为某个类别的概率值;
所述输出层经过卷积层、池化层、特征融合层、类别判定层之后输出向量[m,n,c,s]作为结果,表征一幅图像中各个像素值得类别置信度,其中m表示图像宽度,n表示图像高度,c表示类别;s表示置信度。
优选地,所述步骤M6包括:将划分好的数据集中训练集中的所有图像进行训练,训练时分别训练图像中的良品图像和缺陷图像,训练预设次后,预测结果和真实结果之间的差值无明显减小时,停止训练。
(实施例2)
本发明中手机金属中框缺陷成像系统,不设置滑架7和第二直线驱动装置8,也不设置旋转驱动装置53。其他技术特征与实施例1相同。
本发明利用上述手机金属中框缺陷成像系统进行的检测方法,包括以下步骤:
S1、上料:将待检产品放置在运载模块5上;
S2、侧边采图:运载模块5带着待检产品进行直线运行,当位置感应模块4感应运载平台54上的待检产品进入线扫起始端时,线阵相机模块2的上侧位线阵相机22、中侧位线阵相机23和下侧位线阵相机24同时对经过的待检产品的一个侧边进行线扫采图;当位置感应模块4感应运载平台54上的待检产品到达线扫完成端时,完成线扫采图并将侧边的侧边上侧部、侧边中侧部和侧边下侧部的照片通过控制单元1传输给后台计算中心6;
S3、拐角采图:运载模块5带着待检产品进入面阵相机模块3的采图工位,当位置感应模块4感应待检产品到达面阵相机模块3的采图工位时,面阵相机模块3的上侧位面阵相机31与下侧位面光源34配合拍摄待检产品的一个拐角的拐角下侧区,并将获得该拐角下侧区的照片通过控制单元1发送给后台计算中心6;面阵相机模块3的下侧位面阵相机32与上侧位面光源33配合拍摄该拐角上侧区,并将获得该拐角上侧区的照片通过控制单元1发送给后台计算中心6;
S4、后台计算中心6将侧边上侧部、侧边中侧部和侧边下侧部的照片通过整合获得上一步进行线扫采图的侧边的完整照片,并将侧边的完整照片进行图像数据处理,获得处理后的侧边的图像数据,将处理后的侧边的图像数据代入预设的深度学习模型进行比对,从而得出检测结果;后台计算中心6将拐角上侧区的照片和拐角下侧区的照片通过整合获得上一步进行拐角采图的拐角的完整照片,并将拐角的完整照片进行图像数据处理,获得处理后的拐角的图像数据,将处理后的拐角的图像数据代入预设的深度学习模型进行比对,从而得出检测结果;
S5、运载平台54复位,并将运载平台54上的待检产品逆时针旋转九十度;
S6、重复步骤S2至S5,直至待检产品的所有侧边和拐角都完成检测。
以上所述的具体实施例,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施例而已,并不用于限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种手机金属中框缺陷成像系统,其特征在于:包括与控制单元电气连接并受控制单元控制的线阵相机模块、面阵相机模块、位置感应模块和用于承载待检产品并带动待检产品直线运动的运载模块;线阵相机模块用于对随运载模块直线运动的待检产品的侧边进行线扫采图,面阵相机模块用于对运载模块上待检产品的拐角进行采图;所述线阵相机模块包括三个装有镜头的线阵相机和三个线光源;一个线光源与一个线阵相机配合进行采图;三个线阵相机分别为从上至下分布的上侧位线阵相机、中侧位线阵相机和下侧位线阵相机;上侧位线阵相机的拍摄中轴线对着待检产品的侧边上侧部,中侧位线阵相机的拍摄中轴线对着待检产品的侧边中侧部,下侧位线阵相机的拍摄中轴线对着待检产品的侧边下侧部;上侧位线阵相机的拍摄中轴线与中侧位线阵相机的拍摄中轴线的夹角为α1,下侧位线阵相机的拍摄中轴线与中侧位线阵相机的拍摄中轴线的夹角为α2;α1和α2的角度均为20°~25°;
所述位置感应模块用于感应运载模块上的待检产品进入线扫起始端,用于感应运载模块上的待检产品到达线扫完成端,用于感应待检产品到达面阵相机模块的采图工位,以及用于将感应到的位置信号传输给控制单元;
还包括与控制单元通信连接的后台计算中心,后台计算中心用于接收来自控制单元的采图所得照片,用于根据采图所得照片进行缺陷特征提取并计算获得检测结果。
2.根据权利要求1所述的手机金属中框缺陷成像系统,其特征在于:所述面阵相机模块包括上侧位面阵相机、下侧位面阵相机、上侧位面光源和下侧位面光源;上侧位面阵相机的拍摄中轴线对着待检产品的拐角上侧区,下侧位面阵相机的拍摄中轴线对着待检产品的拐角下侧区;上侧位面光源位于待检产品的拐角的上方且位于上侧位面阵相机的前方,下侧位面光源位于待检产品的拐角的下方且位于下侧位面阵相机的前方;上侧位面阵相机与下侧位面光源配合用于对待检产品的拐角下侧区采图,下侧位面阵相机与上侧位面光源配合用于对待检产品的拐角上侧区采图;上侧位面阵相机的拍摄中轴线与运载模块上摆放待检产品的摆放平面的夹角为β1,下侧位面阵相机的拍摄中轴线与运载模块上摆放待检产品的摆放平面的夹角为β2;β1、β2的角度均为10°~15°。
3.根据权利要求1所述的手机金属中框缺陷成像系统,其特征在于:α1=α2。
4.根据权利要求2所述的手机金属中框缺陷成像系统,其特征在于:β1=β2。
5.根据权利要求1所述的手机金属中框缺陷成像系统,其特征在于:中侧位线阵相机的拍摄中轴线与运载模块上摆放待检产品的摆放平面之间的夹角为α3,α3的角度为-2°至2°。
6.根据权利要求2所述的手机金属中框缺陷成像系统,其特征在于:待检产品在运载模块的带动下运动至线扫完成端时,待检产品刚好到达面阵相机模块的采图工位。
7.根据权利要求6所述的手机金属中框缺陷成像系统,其特征在于:所述运载模块包括可在第一直线驱动装置的驱动下在机架上直线滑动的滑块,滑块上转动设有可在旋转驱动装置驱动下在滑块上转动的运载平台;运载平台用于承载待检产品;所述第一直线驱动装置和旋转驱动装置均与控制单元电气连接。
8.根据权利要求7所述的手机金属中框缺陷成像系统,其特征在于:所述线阵相机模块和面阵相机模块均固定设置在滑架上;所述滑架滑动设置在机架上,滑架的滑动方向垂直于运载平台的运动方向;所述机架上设有用于驱动滑架滑动的第二直线驱动装置,第二直线驱动装置与控制单元电气连接。
9.一种利用权利要求8所述的手机金属中框缺陷成像系统进行的检测方法,其特征在于包括以下步骤:
S1、上料:将待检产品放置在运载模块上;
S2、侧边采图:运载模块带着待检产品进行直线运行,当位置感应模块感应运载平台上的待检产品进入线扫起始端时,线阵相机模块的上侧位线阵相机、中侧位线阵相机和下侧位线阵相机同时对经过的待检产品的一个侧边进行线扫采图;当位置感应模块感应运载平台上的待检产品到达线扫完成端时,完成线扫采图并将侧边的侧边上侧部、侧边中侧部和侧边下侧部的照片通过控制单元传输给后台计算中心;
S3、拐角采图:运载模块带着待检产品进入面阵相机模块的采图工位,当位置感应模块感应待检产品到达面阵相机模块的采图工位时,面阵相机模块的上侧位面阵相机与下侧位面光源配合拍摄待检产品的一个拐角的拐角下侧区,并将获得该拐角下侧区的照片通过控制单元发送给后台计算中心;面阵相机模块的下侧位面阵相机与上侧位面光源配合拍摄该拐角上侧区,并将获得该拐角上侧区的照片通过控制单元发送给后台计算中心;
S4、后台计算中心将侧边上侧部、侧边中侧部和侧边下侧部的照片通过整合获得上一步进行线扫采图的侧边的完整照片,并将侧边的完整照片进行图像数据处理,获得处理后的侧边的图像数据,将处理后的侧边的图像数据代入预设的深度学习模型进行比对,从而得出检测结果;后台计算中心将拐角上侧区的照片和拐角下侧区的照片通过整合获得上一步进行拐角采图的拐角的完整照片,并将拐角的完整照片进行图像数据处理,获得处理后的拐角的图像数据,将处理后的拐角的图像数据代入预设的深度学习模型进行比对,从而得出检测结果;
S5、运载平台复位,并将运载平台上的待检产品逆时针旋转九十度;
S6、重复步骤S2至S5,直至待检产品的所有侧边和拐角都完成检测。
10.一种利用权利要求2所述的手机金属中框缺陷成像系统进行的检测方法,其特征在于包括以下步骤:
A、上料:将待检产品放置在运载模块的运载平台上;
B、侧边采图:运载模块带着待检产品进行直线运行,当位置感应模块感应运载平台上的待检产品进入线扫起始端时,线阵相机模块的上侧位线阵相机、中侧位线阵相机和下侧位线阵相机同时对经过的待检产品的一个侧边进行线扫采图;当位置感应模块感应运载平台上的待检产品到达线扫完成端时,完成线扫采图并将侧边的侧边上侧部、侧边中侧部和侧边下侧部的照片通过控制单元传输给后台计算中心;
C、拐角采图:面阵相机模块的上侧位面阵相机与下侧位面光源配合拍摄待检产品的一个拐角的拐角下侧区,并将获得该拐角下侧区的照片通过控制单元发送给后台计算中心;面阵相机模块的下侧位面阵相机与上侧位面光源配合拍摄该拐角上侧区,并将获得该拐角上侧区的照片通过控制单元发送给后台计算中心;
D、后台计算中心将侧边上侧部、侧边中侧部和侧边下侧部的照片通过整合获得上一步进行线扫采图的侧边的完整照片,并将侧边的完整照片进行图像数据处理,获得处理后的侧边的图像数据,将处理后的侧边的图像数据代入预设的深度学习模型进行比对,从而得出检测结果;后台计算中心将拐角上侧区的照片和拐角下侧区的照片通过整合获得上一步进行拐角采图的拐角的完整照片,并将拐角的完整照片进行图像数据处理,获得处理后的拐角的图像数据,将处理后的拐角的图像数据代入预设的深度学习模型进行比对,从而得出检测结果;
E、运载平台在旋转驱动装置驱动下让待检产品逆时针旋转九十度;
F、第二直线驱动装置驱动滑架进行位置调整,第一直线驱动装置驱动运载模块进行位置调整,使得面阵相机模块可对逆时针旋转过来的拐角进行步骤C的拐角采图;
G、面阵相机模块对此时处于面阵相机模块的采图工位的拐角进行步骤C的拐角采图,并将拍摄的拐角上侧区的照片和拐角下侧区的照片传输给后台计算中心;
H、第一直线驱动装置驱动运载模块往回移动,线阵相机模块在运载模块往回移动时,对此时位于线扫工位的侧边进行步骤B的侧边采图,并将该侧边的侧边上侧部、侧边中侧部和侧边下侧部的照片通过控制单元传输给后台计算中心;
I、待运载模块回位后,重复步骤A至H,直至待检产品的所有侧边和拐角都完成检测。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110416344.0A CN112816418B (zh) | 2021-04-19 | 2021-04-19 | 手机金属中框缺陷成像系统和检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110416344.0A CN112816418B (zh) | 2021-04-19 | 2021-04-19 | 手机金属中框缺陷成像系统和检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112816418A true CN112816418A (zh) | 2021-05-18 |
CN112816418B CN112816418B (zh) | 2021-07-20 |
Family
ID=75863665
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110416344.0A Active CN112816418B (zh) | 2021-04-19 | 2021-04-19 | 手机金属中框缺陷成像系统和检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112816418B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113252691A (zh) * | 2021-05-25 | 2021-08-13 | 博众精工科技股份有限公司 | 一种产品缺陷检测仪及检测方法 |
CN113720859A (zh) * | 2021-08-17 | 2021-11-30 | 上海感图网络科技有限公司 | 一种手机中框表面缺陷识别设备 |
CN114125123A (zh) * | 2021-11-05 | 2022-03-01 | 厦门聚视智创科技有限公司 | 一种手机中框外观检测设备用线扫机构 |
CN117030714A (zh) * | 2023-06-21 | 2023-11-10 | 广东艾菱迅智能科技有限公司 | 一种手机中框外观检测机构及检测方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107449782A (zh) * | 2017-08-15 | 2017-12-08 | 杭州晶耐科光电技术有限公司 | 手机外壳侧边表面缺陷数字化定量检测系统 |
CN110567977A (zh) * | 2019-10-11 | 2019-12-13 | 湖南讯目科技有限公司 | 曲面玻璃缺陷检测系统及方法 |
CN110672626A (zh) * | 2019-11-14 | 2020-01-10 | 上海感图网络科技有限公司 | 一种手机壳体中框表面颗粒缺陷的检测方法 |
CN112505056A (zh) * | 2021-02-08 | 2021-03-16 | 常州微亿智造科技有限公司 | 缺陷检测方法和装置 |
-
2021
- 2021-04-19 CN CN202110416344.0A patent/CN112816418B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107449782A (zh) * | 2017-08-15 | 2017-12-08 | 杭州晶耐科光电技术有限公司 | 手机外壳侧边表面缺陷数字化定量检测系统 |
CN110567977A (zh) * | 2019-10-11 | 2019-12-13 | 湖南讯目科技有限公司 | 曲面玻璃缺陷检测系统及方法 |
CN110672626A (zh) * | 2019-11-14 | 2020-01-10 | 上海感图网络科技有限公司 | 一种手机壳体中框表面颗粒缺陷的检测方法 |
CN112505056A (zh) * | 2021-02-08 | 2021-03-16 | 常州微亿智造科技有限公司 | 缺陷检测方法和装置 |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113252691A (zh) * | 2021-05-25 | 2021-08-13 | 博众精工科技股份有限公司 | 一种产品缺陷检测仪及检测方法 |
CN113720859A (zh) * | 2021-08-17 | 2021-11-30 | 上海感图网络科技有限公司 | 一种手机中框表面缺陷识别设备 |
CN114125123A (zh) * | 2021-11-05 | 2022-03-01 | 厦门聚视智创科技有限公司 | 一种手机中框外观检测设备用线扫机构 |
CN114125123B (zh) * | 2021-11-05 | 2023-06-20 | 厦门聚视智创科技有限公司 | 一种手机中框外观检测设备用线扫机构 |
CN117030714A (zh) * | 2023-06-21 | 2023-11-10 | 广东艾菱迅智能科技有限公司 | 一种手机中框外观检测机构及检测方法 |
CN117030714B (zh) * | 2023-06-21 | 2024-02-13 | 广东艾菱迅智能科技有限公司 | 一种手机中框外观检测机构及检测方法 |
Also Published As
Publication number | Publication date |
---|---|
CN112816418B (zh) | 2021-07-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112816418B (zh) | 手机金属中框缺陷成像系统和检测方法 | |
CN111060023B (zh) | 一种高精度3d信息采集的设备及方法 | |
CN111292364B (zh) | 一种三维模型构建过程中图像快速匹配的方法 | |
Tian et al. | Rectification and 3D reconstruction of curved document images | |
CN107578464A (zh) | 一种基于线激光扫描的传送带工件三维轮廓测量方法 | |
CN112067233B (zh) | 一种用于风洞模型六自由度运动捕获方法 | |
CN111292239B (zh) | 一种三维模型拼接设备及方法 | |
CN111950477B (zh) | 一种基于视频监督的单图像三维人脸重建方法 | |
CN105608671A (zh) | 一种基于surf算法的图像拼接方法 | |
CN112233067A (zh) | 一种热轧钢卷端面质量检测方法及系统 | |
CN109758756B (zh) | 基于3d相机的体操视频分析方法及系统 | |
CN104930985A (zh) | 基于时空约束的双目视觉三维形貌测量方法 | |
CN114049557A (zh) | 一种基于深度学习的垃圾分选机器人视觉识别方法 | |
CN112595727B (zh) | 用于检测手机后盖板油墨玻璃缺陷的成像系统及检测方法 | |
CN107993197A (zh) | 一种全景相机的拼接方法及系统 | |
CN111325828A (zh) | 一种基于三目相机的三维人脸采集方法及装置 | |
CN113505629A (zh) | 一种基于轻量网络的智能仓储物件识别装置 | |
CN215416732U (zh) | 陶瓷基板的视觉检测系统 | |
CN104614372B (zh) | 一种太阳能硅片检测方法 | |
CN107369179B (zh) | 一种高精度图像定位方法 | |
CN112819824B (zh) | 视觉检测系统的神经网络、及包含它的检测系统和方法 | |
CN114187269A (zh) | 小零器件表面缺陷边缘快速检测方法 | |
CN111325780B (zh) | 一种基于图像筛选的3d模型快速构建方法 | |
CN109631850B (zh) | 一种基于深度学习的倾斜摄像相对定位方法 | |
CN114463405A (zh) | 面扫线激光3d相机加速方法、装置、系统及fpga |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |