CN107064170B - 一种检测手机外壳轮廓度缺陷方法 - Google Patents
一种检测手机外壳轮廓度缺陷方法 Download PDFInfo
- Publication number
- CN107064170B CN107064170B CN201710232538.9A CN201710232538A CN107064170B CN 107064170 B CN107064170 B CN 107064170B CN 201710232538 A CN201710232538 A CN 201710232538A CN 107064170 B CN107064170 B CN 107064170B
- Authority
- CN
- China
- Prior art keywords
- mobile phone
- image
- product
- phone shell
- points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 86
- 230000007547 defect Effects 0.000 title claims abstract description 65
- 238000005259 measurement Methods 0.000 claims abstract description 38
- 238000012360 testing method Methods 0.000 claims abstract description 27
- 238000005070 sampling Methods 0.000 claims abstract description 19
- 230000003287 optical effect Effects 0.000 claims abstract description 11
- 239000004065 semiconductor Substances 0.000 claims abstract description 6
- 230000001678 irradiating effect Effects 0.000 claims abstract description 5
- 238000001514 detection method Methods 0.000 claims description 59
- 238000012706 support-vector machine Methods 0.000 claims description 28
- 238000004422 calculation algorithm Methods 0.000 claims description 18
- 230000008569 process Effects 0.000 claims description 17
- 230000011218 segmentation Effects 0.000 claims description 16
- 238000012549 training Methods 0.000 claims description 16
- 230000006870 function Effects 0.000 claims description 14
- 238000012545 processing Methods 0.000 claims description 13
- 238000010801 machine learning Methods 0.000 claims description 9
- 238000010606 normalization Methods 0.000 claims description 9
- 238000004519 manufacturing process Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000004458 analytical method Methods 0.000 claims description 5
- 230000008859 change Effects 0.000 claims description 5
- 238000003672 processing method Methods 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 4
- 238000012821 model calculation Methods 0.000 claims description 4
- 238000012544 monitoring process Methods 0.000 claims description 4
- 238000012805 post-processing Methods 0.000 claims description 4
- 230000035040 seed growth Effects 0.000 claims description 3
- 102100029469 WD repeat and HMG-box DNA-binding protein 1 Human genes 0.000 claims 2
- 101710097421 WD repeat and HMG-box DNA-binding protein 1 Proteins 0.000 claims 2
- 230000002950 deficient Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
- B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
- B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
- B07C5/34—Sorting according to other particular properties
- B07C5/342—Sorting according to other particular properties according to optical properties, e.g. colour
- B07C5/3422—Sorting according to other particular properties according to optical properties, e.g. colour using video scanning devices, e.g. TV-cameras
Landscapes
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种检测手机外壳轮廓度缺陷方法,包括:将被测试的智能手机外壳(5)放置在测试系统结构件(4)的前方中央位置处的测试平台上,所述测试系统结构件(4)的两端分别设置有第一CMOS摄像模组(2)和第二CMOS摄像模组(3),其具体方法包括:步骤1)放置手机外壳到测试平台上,使用蓝色波长405nm的半导体线结构光激光器照射手机结构件,第一和第二CMOS摄像摄像模组分别采集激光线图像,获取上表面3D点云数据,摄像头光轴和激光线光平面夹角选择了45度步骤2)设置传感器采样行数为n个像素,按照深度测量范围确定传感器采样像素行数等。
Description
技术领域
本发明属于制造领域,涉及一种检测手机外壳轮廓度缺陷方法。
背景技术
随着移动终端(手机)的发展,对手机的品质要求越来越高。以往检测手机底部外观大多数厂家采用目视观察为主,主观性很大,质量难于稳定,特别人眼对于表面轮廓变形不敏感,难于检测出来较小尺寸的凹凸点,产生较多的漏检,但是消费者可以通过手指触感发现凹凸缺陷。行业内少部分企业使用机器视觉的方法检测手机外观,例如华为技术有限公司、三星公司等,也部署了一些测试装备到手机生产线上,这些测试装备和检测系统的主流还是采用2D视觉技术,使用不同角度的光源将轮廓拍摄出来,然后使用图像处理算法进行分析处理。这种2D视觉的方法数据扰动较大,往往光照强度、材质变化、光源角度的小的变化都会对数据产生很大的影响,检测结果不准确。一些AOI厂家使用统计机器学习的方法和三色LED多角度光源制造图像检测装备,可以一定程度地实现缺陷的有无检测,不能准确量化尺寸方面的缺陷。现有的3D轮廓仪厂家产品也存在测量范围小,不能一次扫描测量出缺陷。
1常规2D机器视觉使用正面或者侧面拍照的方法,随着不同产品的材质、表面纹理的影响,缺陷模式特征经常发生改变;并且缺陷特征的成像输出图像也容易受到光照的影响,采用经典图像处理方法,算法的复杂度很高。为了解决这些问题近年来工程技术人员和学者使用人工智能图像算法,例如用机器学习的神经网络、支持向量机、卷积神经网络模糊等深度学习模式分类算法方法进行图像特征分类,在具有充足的样本集的情况下也取得了较好的结果。但实际生产中由于缺陷的出现是小概率事件,往往缺陷的样本数量较小,并且训练耗费的时间较长,经常需要数小时乃至几天时间进行训练,这样新型号导入检测系统时间较长。
2、目前的激光轮廓度仪可以输出表面3D点云,主要轮廓度仪厂家包括Keynece,Sick公司等,但其系统设计指标重点倾向于扩大深度距离范围,一次测量的宽度较窄,需要多次扫描手机外壳才能达到要求。精度和效率都不理想。
3、目前表面轮廓处理算法主要面向3D拼接、造型应用。直接用于表面检测鲁棒性较差,抗干扰性差,误检率高,直接使用点云数据作为参考模型检测易于受到运动平台振动影响,同时标定误差也会产生很大的影响。
4、反映产品缺陷的特征众多,人工判断具有很大的模糊性,常规的线性机器判断方法易产生漏判和误判现象。完全使用机器学习也存在某种不确定性。
发明内容
本发明所要解决的技术问题是提供一种检测手机外壳轮廓度缺陷方法。
本发明解决上述技术问题所采取的技术方案如下:
一种检测手机外壳轮廓度缺陷方法,包括:将被测试的智能手机外壳(5)放置在测试系统结构件(4)的前方中央位置处的测试平台上,所述测试系统结构件(4)的两端分别设置有第一CMOS摄像模组(2)和第二CMOS摄像模组(3),其具体方法包括:
步骤1)设置传感器采样行数为n个像素,按照深度测量范围确定传感器采样像素行数;
步骤2)放置手机外壳到移动测试平台的工作台托板上,使用蓝色波长405nm的半导体线结构光激光器照射手机外壳,第一和第二CMOS摄像模组分别采集激光线图像,提取光条特征图像信息,摄像头光轴和激光线光平面夹角选择了45度;
步骤3)伺服电机带动移动测试平台的工作台托板移动,移动过程中结构光激光器连续照射手机外壳,第一和第二CMOS摄像模组解析图像光条信息,计算机将光条图像位置坐标转换成上表面3D点云数据,系统在2秒内完成表面轮廓检测,获取产品测量高度图。测试过程中,图像采样次数St=pl/sstep,pl是产品测量长度,sstep是采样步长;
步骤4)产品测量高度图生成后,将高度图转换成灰度伪彩图,图像中浅色代表凸出的结构特征,深色代表凹进去结构特征;本专利按照灰度图像的处理方法处理灰度伪彩图,使用2D图像检测方法进行后处理;
步骤5)在实际产品高度图生成灰度伪彩图后,进行产品空间定位运算,定位算法使用轮廓特征匹配方法;
步骤6)根据步骤5定位信息二次定位检测区域,将检测区域Ri1分成若干网格,为了避免漏检,网格区域设置若干像素宽度的重叠区域;
对每个区域的点云使用机器学习的大数据拟合方法进行处理,使用最小二乘法数据拟合计算出每个网格区域的平面一般方程模型(AX+BY+CZ+D=0);
为避免散乱点干扰,使用了最小二乘法迭代竞争算法,即采用多次最小二乘回归获得精确的网格平面模型,每次拟合后将所有点重新代入模型,计算出点到平面距离,选出误差较小90%比例的点重新进行拟合,误差距离大的10%的点剔除,这样经过多次拟合后获得精确的网格平面模型,从而排除散乱点对模型计算的干扰。
优选的是,步骤6)中,具体包括:
步骤7)根据轮廓高度图数据,计算手机凹凸点的体积;
首先在每个网格内所有点计算到方法6拟合出来网格平面的距离,距离大于t的点标记出来,设置成255白色像素,距离小于t的标记成0黑色像素;这样就形成缺陷的连通斑点图像,然后使用Blob分析算法快速检测出斑点的数目和每个斑点的面积;最终根据合格产品的缺陷数目和面积的要求进行分类,每次进行一次面积缺陷检测仅需十几个ms。
优选的是,步骤7)中,具体包括:
首先设定一个较小的分割阈值tr1,然后将阈值tr1计算出来的连通域范围作为凹凸点的计算区域,此区域面积值是s0,在此区域内检测不同分割值tr2,tr3,tr4,…,trn的子连通域面积s2,s3,s4,…,sn,子连通域边界搜索使用种子生长法实现,每次边界检测完面积值相应也可以获得;
其中,凹凸点体积V=k*(s0+s1+s2+s3+s4+,…,+sn),即凹凸点体积是在初始搜索到的连通域范围内进行计算。
优选的是,步骤5)具体包括:
a)在平面坐标系中,按照刚体定位原理,寻找一个刚体上固定点和垂直于坐标平面旋转轴的旋转姿态角即可定位,其中,手机外壳的摄像头区域具有和表面纹理很高的对比度,因此选择摄像头开孔中心位置作为产品的局部坐标中心点,手机长边缘作为姿态角信息,通过软件界面选取显著性摄像头圆孔中心、长边缘作为定位特征;
b)使用参考模型的分割值对产品高程图进行二值分割,使用Blob算法进行斑点检测,检测到的斑点特征和参考模型图定位点特征进行比较,找出最相似的斑点作为产品的位置特征点,摄像头孔斑点中搜索到后,使用亚像素边缘提取的方法检测n个边缘点,然后使用最小二乘法拟合出孔中心(Xcen,Ycen),然后根据外壳边缘进行直线检测,直线和一个坐标轴的夹角即为手机外壳的旋转角度,旋转角度使用直线方程ax+by+c=0表示,这样产品在空间中可以做到精确定位;
c)选择标准样品,通过a)、b)方法识别出标准样品的中心坐标(Xcen,Ycen),旋转直线方程ax+by+c=0,将(Xcen,Ycen,a,b,c)作为参考参数保存起来。按照(Xcen,Ycen,a,b,c)确定的局部坐标系确定手机的缺陷检测区域R1,R2,R3,…,RN;
d)实际产品也通过a)、b)方法识别出中心坐标(Xcen’,Ycen’),产品边缘直线方程a1x+b1y+c1=0,根据(Xcen’,Ycen’,a1,b1,c1)和参考参数(Xcen,Ycen,a,b,c)之间的变化量调整图像中的检测区域R1,R2,R3,…,RN。到R1’,R2’,R3’,…,RN’。
优选的是,使用支持向量机(SVM)作为良品的不合格品的分类器,分类器的输入特征采用3个不同阈值下提取的物理特征;
其中,物理特征包括:三种阈值(例如0.05,0.1,0.2)下的连通区域最大面积Smax1,Smax2,Smax3;连通域数目Snum1,Snum2,Snum3;连通域面积方差Sd1,sd2,sd3;网格内斑点密度最大值dmax1,dmax2,dmax3;外壳凹凸点体积最大值Vmax,体积方差vd特征,总共包括14个特征;
将每个产品的物理特征组合成特征向量T(t1,t2,t3,...,tn),n=14。因为不同物理特征的单位和取值不同,必须进行数值归一化,物理量特征向量归一化后向量用x(x1,x2,x3,...,xn)表示;
在SVM缺陷分类器使用前使用弱分类器进行处理,将严重超差的缺陷产品检测出来,然后将剩余产品输入支持向量机内进行分类。
优选的是,在一个分级器中,x1,x2,x3,x4,..,xn是输入的特征值尺度归一化后的训练样本,k(xi,x)是输入样本和训练样本的核函数内积。
优选的是,在缺陷的总体多级分类器,首先将确定没有缺陷的产品剔除出来,然后对可疑产品进行多级分类,依次判断是否存在分类面积超差、密度超差、体积超差、小尺寸穿孔严重缺陷,最后使用SVM分类器对剩余可疑产品缺陷进行最终的良品和非良品分类。
其中,SVM分类器的核函数使用径向基核函数,定义如(2)所示,决策规则如(3)所示,使用输入特征向量x和支持向量xi的内积求和来进行判决,支持向量xi求解通过一定数量的已知分类结果的样本集合训练获得。
优选的是,还包括:测量过程的反馈控制和数据质量监控步骤;
其中,将激光图像采集和激光控制融合在一起,系统测量前首先标定样品图像的统计量,记录标准样品的图像亮度均值、激光线宽,在测量过程中每次测量完成后,检测激光图像的线宽、均值是否满足要求,如果满足要求则输出测量结果,否则通知用户重新测量或者多输出结果进行优化处理后再输出结果。通过这种方式保证输出结果的测量精度;
激光器的控制通过制作的一块激光控制板完成,控制信号采用0-3v范围的电压信号。
本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
下面结合附图对本发明进行详细的描述,以使得本发明的上述优点更加明确。其中,
图1是本发明中手机结构件测量系统结构图;
图2是本发明中系统检测过程流程图;
图3是本发明中检测缺陷支持向量机分类器的示意图;
图4是本发明中缺陷多级分类器的示意图。
具体实施方式
以下将结合附图及实施例来详细说明本发明的实施方式,借此对本发明如何应用技术手段来解决技术问题,并达成技术效果的实现过程能充分理解并据以实施。需要说明的是,只要不构成冲突,本发明中的各个实施例以及各实施例中的各个特征可以相互结合,所形成的技术方案均在本发明的保护范围之内。
另外,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
具体来说,一种检测手机外壳轮廓度缺陷方法,包括:将被测试的智能手机外壳(5)放置在测试系统结构件(4)的前方中央位置处的测试平台上,所述测试系统结构件(4)的两端分别设置有第一CMOS摄像模组(2)和第二CMOS摄像模组(3),其具体方法包括:
步骤1)设置传感器采样行数为n个像素,按照深度测量范围确定传感器采样像素行数;
步骤2)放置手机外壳到移动测试平台的工作台托板上,使用蓝色波长405nm的半导体线结构光激光器照射手机外壳,第一和第二CMOS摄像模组分别采集激光线图像,提取光条特征图像信息,摄像头光轴和激光线光平面夹角选择了45度;
步骤3)伺服电机带动移动测试平台的工作台托板移动,移动过程中结构光激光器连续照射手机外壳,第一和第二CMOS摄像模组解析图像光条信息,计算机将光条图像位置坐标转换成上表面3D点云数据,系统在2秒内完成表面轮廓检测,获取产品测量高度图。测试过程中,图像采样次数St=pl/sstep,pl是产品测量长度,sstep是采样步长;
步骤4)产品测量高度图生成后,将高度图转换成灰度伪彩图,图像中浅色代表凸出的结构特征,深色代表凹进去结构特征;本专利按照灰度图像的处理方法处理灰度伪彩图,使用2D图像检测方法进行后处理;
步骤5)在实际产品高度图生成灰度伪彩图后,进行产品空间定位运算,定位算法使用轮廓特征匹配方法;
步骤6)根据步骤5定位信息二次定位检测区域,将检测区域Ri1分成若干网格,为了避免漏检,网格区域设置若干像素宽度的重叠区域;
对每个区域的点云使用机器学习的大数据拟合方法进行处理,使用最小二乘法数据拟合计算出每个网格区域的平面一般方程模型(AX+BY+CZ+D=0);
为避免散乱点干扰,使用了最小二乘法迭代竞争算法,即采用多次最小二乘回归获得精确的网格平面模型,每次拟合后将所有点重新代入模型,计算出点到平面距离,选出误差较小90%比例的点重新进行拟合,误差距离大的10%的点剔除,这样经过多次拟合后获得精确的网格平面模型,从而排除散乱点对模型计算的干扰。
优选的是,步骤6)中,具体包括:
步骤7)根据轮廓高度图数据,计算手机凹凸点的体积;
首先在每个网格内所有点计算到方法6拟合出来网格平面的距离,距离大于t的点标记出来,设置成255白色像素,距离小于t的标记成0黑色像素;这样就形成缺陷的连通斑点图像,然后使用Blob分析算法快速检测出斑点的数目和每个斑点的面积;最终根据合格产品的缺陷数目和面积的要求进行分类,每次进行一次面积缺陷检测仅需十几个ms。
优选的是,步骤7)中,具体包括:
首先设定一个较小的分割阈值tr1,然后将阈值tr1计算出来的连通域范围作为凹凸点的计算区域,此区域面积值是s0,在此区域内检测不同分割值tr2,tr3,tr4,…,trn的子连通域面积s2,s3,s4,…,sn,子连通域边界搜索使用种子生长法实现,每次边界检测完面积值相应也可以获得;
其中,凹凸点体积V=k*(s0+s1+s2+s3+s4+,…,+sn),即凹凸点体积是在初始搜索到的连通域范围内进行计算。
优选的是,步骤5)具体包括:
a)在平面坐标系中,按照刚体定位原理,寻找一个刚体上固定点和垂直于坐标平面旋转轴的旋转姿态角即可定位,其中,手机外壳的摄像头区域具有和表面纹理很高的对比度,因此选择摄像头开孔中心位置作为产品的局部坐标中心点,手机长边缘作为姿态角信息,通过软件界面选取显著性摄像头圆孔中心、长边缘作为定位特征;
b)使用参考模型的分割值对产品高程图进行二值分割,使用Blob算法进行斑点检测,检测到的斑点特征和参考模型图定位点特征进行比较,找出最相似的斑点作为产品的位置特征点,摄像头孔斑点中搜索到后,使用亚像素边缘提取的方法检测n个边缘点,然后使用最小二乘法拟合出孔中心(Xcen,Ycen),然后根据外壳边缘进行直线检测,直线和一个坐标轴的夹角即为手机外壳的旋转角度,旋转角度使用直线方程ax+by+c=0表示,这样产品在空间中可以做到精确定位;
c)选择标准样品,通过a)、b)方法识别出标准样品的中心坐标(Xcen,Ycen),旋转直线方程ax+by+c=0,将(Xcen,Ycen,a,b,c)作为参考参数保存起来。按照(Xcen,Ycen,a,b,c)确定的局部坐标系确定手机的缺陷检测区域R1,R2,R3,…,RN;
d)实际产品也通过a)、b)方法识别出中心坐标(Xcen’,Ycen’),产品边缘直线方程a1x+b1y+c1=0,根据(Xcen’,Ycen’,a1,b1,c1)和参考参数(Xcen,Ycen,a,b,c)之间的变化量调整图像中的检测区域R1,R2,R3,…,RN。到R1’,R2’,R3’,…,RN’。
优选的是,使用支持向量机(SVM)作为良品的不合格品的分类器,分类器的输入特征采用3个不同阈值下提取的物理特征;
其中,物理特征包括:三种阈值(例如0.05,0.1,0.2)下的连通区域最大面积Smax1,Smax2,Smax3;连通域数目Snum1,Snum2,Snum3;连通域面积方差Sd1,sd2,sd3;网格内斑点密度最大值dmax1,dmax2,dmax3;外壳凹凸点体积最大值Vmax,体积方差vd特征,总共包括14个特征;
将每个产品的物理特征组合成特征向量T(t1,t2,t3,...,tn),n=14。因为不同物理特征的单位和取值不同,必须进行数值归一化,物理量特征向量归一化后向量用x(x1,x2,x3,...,xn)表示;
在SVM缺陷分类器使用前使用弱分类器进行处理,将严重超差的缺陷产品检测出来,然后将剩余产品输入支持向量机内进行分类。
优选的是,在一个分级器中,x1,x2,x3,x4,..,xn是输入的特征值尺度归一化后的训练样本,k(xi,x)是输入样本和训练样本的核函数内积。
优选的是,在缺陷的总体多级分类器,首先将确定没有缺陷的产品剔除出来,然后对可疑产品进行多级分类,依次判断是否存在分类面积超差、密度超差、体积超差、小尺寸穿孔严重缺陷,最后使用SVM分类器对剩余可疑产品缺陷进行最终的良品和非良品分类。
其中,SVM分类器的核函数使用径向基核函数,定义如(2)所示,决策规则如(3)所示,使用输入特征向量x和支持向量xi的内积求和来进行判决,支持向量xi求解通过一定数量的已知分类结果的样本集合训练获得。
优选的是,还包括:测量过程的反馈控制和数据质量监控步骤;
其中,将激光图像采集和激光控制融合在一起,系统测量前首先标定样品图像的统计量,记录标准样品的图像亮度均值、激光线宽,在测量过程中每次测量完成后,检测激光图像的线宽、均值是否满足要求,如果满足要求则输出测量结果,否则通知用户重新测量或者多输出结果进行优化处理后再输出结果。通过这种方式保证输出结果的测量精度;
激光器的控制通过制作的一块激光控制板完成,控制信号采用0-3v范围的电压信号。
在一个实施例中,检测手机外壳轮廓度缺陷方法过程如下:
1、智能手机外壳尺寸横向尺寸最大小于85mm,因此检测系统横向范围设置为90mm,深度图像传感器像素数目采用2560个物理有效像素点,分辨率为35um,按照三个像素点尺度确定是否缺陷的指标,系统具有0.1mm大小的缺陷检测能力,和人眼目视观察能力相当。
2、放置手机外壳到测试平台上,使用蓝色波长405nm的半导体线结构光激光器照射手机结构件,双CMOS摄像头采集激光线图像,获取上表面3D点云数据,为了达到最高测量精度,摄像头光轴和激光线光平面夹角选择了45度。根据公式(1),增大激光器光平面和摄像头光轴之间的夹角可以提高测量精度,但受限于结构尺寸,故在针对手机结构测量方法中使用45度的系统结构角度。成像结构如图1所示。
图1说明如下:1、激光线光源;2、第一CMOS摄像模组;3、第二CMOS摄像模组;4、测试系统结构件;5、智能手机外壳。
2、设置传感器采样行数为n个像素,按照深度测量范围确定传感器采样像素行数。对于手机外壳表面高度差设定小于0.5mm,如果出现大于0.5mm的高度差则属于很严重的缺陷。
3、手机正常检测运行过程如下,放置手机结构件到移动工作台上,固定激光测量头在正上方,伺服电机带动工作台托板移动,完成检测,系统在2秒内完成表面轮廓检测。采样次数St=pl/sstep,pl是产品测量长度,sstep是采样步长。系统可以根据产品不同大小和结构复杂程度设置采样步长。
4、产品测量高度图生成后,将高度图转换成灰度伪彩图,图像中浅色代表凸出的结构特征,深色代表凹进去结构特征。本专利按照灰度图像的处理方法处理灰度伪彩图,使用2D图像检测方法进行后处理。
5、实际产品高度图生成后,进行产品空间定位,空间方法使用2D轮廓定位的方法,这种方法速度很快,几十毫秒即可完成定位计算。定位过程如下:
a)在平面坐标系中,按照刚体定位原理,寻找一个刚体上固定点和垂直于坐标平面旋转轴的旋转姿态角即可定位。手机外壳的摄像头区域具有和表面纹理很高的对比度,因此选择摄像头开孔中心位置作为产品的局部坐标中心点,手机长边缘作为姿态角信息。本专利在产品高程图中,通过软件界面选取显著性摄像头圆孔中心、长边缘作为定位特征。
b)使用参考模型的分割值对产品高程图进行二值分割,使用Blob算法进行斑点检测,检测到的斑点特征和参考模型图定位点特征进行比较,找出最相似的斑点作为产品的位置特征点,摄像头孔斑点中搜索到后,使用亚像素边缘提取的方法检测n个边缘点,然后使用最小二乘法拟合出孔中心(Xcen,Ycen)。使用直线边缘检测方法检测出手机外壳的旋转姿态,旋转姿态使用直线方程ax+by+c=0表示。这样产品在空间中可以做到精确定位。
c)选择标准样品,通过a)、b)方法识别出标准样品的中心坐标(Xcen,Ycen),姿态直线方程ax+by+c=0,将(Xcen,Ycen,a,b,c)作为参考参数保存起来。按照(Xcen,Ycen,a,b,c)确定的局部坐标系确定手机的缺陷检测区域R1,R2,R3,…,RN。
d)实际产品也通过a)、b)方法识别出中心坐标(Xcen’,Ycen’),姿态直线方程a1x+b1y+c1=0,根据(Xcen’,Ycen’,a1,b1,c1)和参考参数(Xcen,Ycen,a,b,c)之间的变化量调整图像中的检测区域R1,R2,R3,…,RN。到R1’,R2’,R3’,…,RN’。。
6、本专利采用宽幅大面积扫描检测的方式,运动平台的振动会影响到检测输出结果,标定系统精度也会影响到检测结果。因此本专利采用了局部网格化检测的模式,首先将步骤5定位到检测区域Ri1分成若干网格,为了避免漏检,网格区域设置若干像素的重叠区域,对每个区域的点云使用机器学习方法进行处理,通过机器学习计算出每个网格区域的平面一般方程模型(AX+BY+CZ+D=0)。机器学习的方法使用最小二乘法迭代算法,即采用多次最小二乘回归获得精确的网格平面模型,每次拟合后将所有点重新代入模型,计算出点到平面距离,选出误差较小的点重新进行拟合。这样经过多次拟合后获得精确的网格平面模型,排除散乱点对模型计算的干扰。本专利提出了一种面积缺陷检测方法。首先在每个网格内所有点计算到方法6拟合出来网格平面的距离,距离大于t的点标记出来,设置成255白色像素,距离小于t的标记成0黑色像素;这样就形成缺陷的连通斑点图像,然后使用Blob分析算法快速检测出斑点的数目和每个斑点的面积;最终根据合格产品的缺陷数目和面积的要求进行分类。每次进行一次面积缺陷检测仅需十几个ms。
7、根据轮廓点云数据,计算手机凹凸点的体积,凹凸点位置确定通过步骤7来确定,首先设定一个较小的分割阈值tr1,然后将阈值tr1计算出来的连通域范围作为凹凸点的计算区域,此区域面积值是s0,在此区域内检测不同分割值tr2,tr3,tr4,…,trn的子连通域面积s2,s3,s4,…,sn,子连通域边界搜索使用种子生长法实现,每次边界检测完面积值相应也可以获得。凹凸点体积V=k*(s0+s1+s2+s3+s4+,…,+sn),因为凹凸点体积是在初始搜索到的连通域范围内进行计算,计算速度也相应很快。图2是本专利检测方法流程图。
8、本专利使用级联分类器进行产品良品和非良品分类,最后一级分类器使用强分类器支持向量机(SVM)作为良品和非良品的最终分类器,级联分类器结构如图4所示。支持向量机分类器的输入特征采用3个不同阈值下提取的物理特征,解决人工模糊判断和机器精确判断之间的矛盾。物理特征包括:三种阈值(例如0.05,0.1,0.2)下的连通区域最大面积Smax1,Smax2,Smax3;连通域数目Snum1,Snum2,Snum3;连通域面积方差Sd1,sd2,sd3;网格内斑点密度最大值dmax1,dmax2,dmax3;体积最大值Vmax,体积方差vd特征。总共包括14个特征。将每个产品的物理特征组合成特征向量T(t1,t2,t3,...,tn),n=14。因为不同物理特征的单位和取值不同,必须进行数值归一化,物理量特征向量归一化后向量用x(x1,x2,x3,...,xn)表示。产品的级联分类器首先使用弱分类器进行处理,将严重超差的产品检出来,然后输入支持向量机内进行分类。支持向量机分类器结构如图3所示,x1,x2,x3,x4,是输入的特征值尺度归一化后的训练样本...,xn,k(xi,x)是输入样本和训练样本的核函数内积。图4的级联分类器工作过程如下,首先将没有缺陷的产品区分出来;然后对可疑产品依次判断是否存在面积超差、密度超差、体积超差、穿孔;最后使用SVM分类器进行最终的分类。SVM分类器的核函数使用径向基核函数,定义如(2)所示,决策规则如(3)所示,使用输入特征向量x和支持向量xi的内积求和来进行判决,支持向量xi求解通过一定数量的已知分类结果的样本集合训练获得。
9、测量过程的反馈控制和数据质量监控。在结构光测量系统中光源的稳定性十分重要。本专利将激光图像采集和激光控制融合在一起,系统测量前首先标定样品图像的统计量,记录标准样品的图像亮度均值、激光线宽,在测量过程中每次测量完成后,检测激光图像的线宽、均值是否满足要求,如果满足要求则输出测量结果,否则通知用户重新测量或者多输出结果进行优化处理后再输出结果。通过这种方式保证输出结果的测量精度。激光器的控制通过制作的一块激光控制板完成,控制信号采用0-3v范围的电压信号。
需要说明的是,对于上述方法实施例而言,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本申请所必须的。
最后应说明的是:以上所述仅为本发明的优选实施例而已,并不用于限制本发明,尽管参照前述实施例对本发明进行了详细的说明,对于本领域的技术人员来说,其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (8)
1.一种检测手机外壳轮廓度缺陷方法,其特征在于,包括:将被测试的智能手机外壳(5)放置在测试系统结构件(4)的前方中央位置处的移动测试平台上,测试系统结构件(4)的两端分别设置有第一CMOS摄像模组(2)和第二CMOS摄像模组(3),其具体方法包括:
步骤1)设置传感器采样行数为n个像素,按照深度测量范围确定传感器采样像素行数;
步骤2)放置手机外壳到移动测试平台的工作台托板上,使用波长405nm的半导体线结构光激光器照射手机外壳,第一CMOS摄像模组和第二CMOS摄像模组分别采集激光线图像,提取光条特征图像信息,摄像头光轴和激光线光平面夹角选择了45度;
步骤3)伺服电机带动移动测试平台的工作台托板移动,移动过程中半导体线结构光激光器连续照射手机外壳,第一CMOS摄像模组和第二CMOS摄像模组解析光条图像信息,计算机将光条图像位置坐标转换成上表面3D点云数据,系统在2秒内完成表面轮廓检测,获取产品测量高度图;测试过程中,图像采样次数St=pl/sstep,pl是产品测量长度,sstep是采样步长;
步骤4)产品测量高度图生成后,将高度图转换成灰度伪彩图,图像中浅色代表凸出的结构特征,深色代表凹进去结构特征;按照灰度图像的处理方法处理灰度伪彩图,使用2D图像检测方法进行后处理;
步骤5)在实际产品高度图生成灰度伪彩图后,进行产品空间定位运算,定位运算使用轮廓特征匹配方法;
步骤6)根据步骤5)定位信息二次定位检测区域,将检测区域Ri1分成若干网格,为了避免漏检,网格区域设置若干像素宽度的重叠区域;
对每个区域的点云使用机器学习的大数据拟合方法进行处理,使用最小二乘法数据拟合计算出每个网格区域的平面一般方程模型AX+BY+CZ+D=0;
为避免散乱点干扰,使用了最小二乘法迭代竞争算法,即采用多次最小二乘回归获得精确的网格平面模型,每次拟合后将所有点重新代入模型,计算出点到平面距离,选出误差较小的点重新进行拟合,这样经过多次拟合后获得精确的网格平面模型,从而排除散乱点对模型计算的干扰。
2.根据权利要求1所述的检测手机外壳轮廓度缺陷方法,其特征在于,步骤6)后,具体还包括:
步骤7)根据轮廓高度图数据,计算手机凹凸点的体积;
首先在每个网格内所有点计算到步骤6)拟合出来网格区域的平面的距离,距离大于t的点标记出来,设置成255白色像素,距离小于t的标记成0黑色像素;这样就形成缺陷的连通斑点图像,然后使用Blob分析算法快速检测出斑点的数目和每个斑点的面积;最终根据合格产品的缺陷数目和面积的要求进行分类,每次进行一次面积缺陷检测仅需十几个ms;其中,t是预设的一个值。
3.根据权利要求2所述的检测手机外壳轮廓度缺陷方法,其特征在于,步骤7)中,具体包括:
首先设定一个较小的分割阈值tr1,然后将阈值tr1计算出来的连通域范围作为凹凸点的计算区域,此区域面积值是s1,在此区域内检测不同分割值tr2,tr3,tr4,...,trn的子连通域面积s2,s3,s4,...,sn,子连通域边界搜索使用种子生长法实现,每次边界检测完面积值相应也可以获得;
其中,凹凸点体积V=m*(s1+s2+s3+s4+,...,+sn),即凹凸点体积是在初始搜索到的连通域范围内进行计算,这里m是相邻阈值trn和trn+1之间的高度差。
4.根据权利要求1所述的检测手机外壳轮廓度缺陷方法,其特征在于,步骤5)具体包括:
a)在平面坐标系中,按照刚体定位原理,寻找一个刚体上固定点和垂直于坐标平面旋转轴的旋转姿态角即可定位,其中,手机外壳的摄像头区域具有和表面纹理很高的对比度,因此选择摄像头开孔中心位置作为产品的局部坐标中心点,手机长边缘作为姿态角信息,通过软件界面选取显著性摄像头圆孔中心、长边缘作为定位特征;
b)使用参考模型的分割值对产品高程图进行二值分割,使用Blob算法进行斑点检测,检测到的斑点特征和参考模型图定位点特征进行比较,找出最相似的斑点作为产品的位置特征点,摄像头孔斑点中搜索到后,使用亚像素边缘提取的方法检测n个边缘点,然后使用最小二乘法拟合出孔中心(Xcen,Ycen),然后根据外壳边缘进行直线检测,直线和一个坐标轴的夹角即为手机外壳的旋转角度,旋转角度使用直线方程ax+by+c=0表示,这样产品在空间中可以做到精确定位;
c)选择标准样品,通过步骤a)、步骤b)方法识别出标准样品的中心坐标(Xcen,Ycen),旋转直线方程ax+by+c=0,将(Xcen,Ycen,a,b,c)作为参考参数保存起来;按照(Xcen,Ycen,a,b,c)确定的局部坐标系确定手机的缺陷检测区域R1,R2,R3,...,RN;
d)实际产品也通过步骤a)、步骤b)方法识别出中心坐标(Xcen’,Ycen’),产品边缘直线方程a1x+b1y+c1=0根据(Xcen’,Ycen’,a1,b1,c1)和参考参数(Xcen,Ycen,a,b,c)之间的变化量调整图像中的检测区域R1,R2,R3,...,RN,到R1’,R2’,R3’,...,RN’。
5.根据权利要求1所述的检测手机外壳轮廓度缺陷方法,其特征在于,使用支持向量机(SVM)作为良品的不合格品的分类器,分类器的输入特征采用3个不同阈值下提取的物理特征;
其中,物理特征包括三种阈值下的连通区域最大面积Smax1,Smax2,Smax3;连通域数目Snum1,Snum2,Snum3;连通域面积方差Sd1,sd2,sd3;网格内斑点密度最大值dmax1,dmax2,dmax3;外壳凹凸点体积最大值Vmax,体积方差vd特征,总共包括14个特征;
将每个产品的物理特征组合成特征向量T(t1,t2,t3,...,tn),n=14;因为不同物理特征的单位和取值不同,必须进行数值归一化,物理量特征向量归一化后向量用x(x1,x2,x3,...,xn)表示;
在SVM缺陷分类器使用前使用弱分类器进行处理,将严重超差的缺陷产品检测出来,然后将剩余产品输入支持向量机内进行分类。
6.根据权利要求5所述的检测手机外壳轮廓度缺陷方法,其特征在于,在一个分级器中,x1,x2,x3,x4,..,xn是输入的特征值尺度归一化后的训练样本。
7.根据权利要求5所述的检测手机外壳轮廓度缺陷方法,其特征在于,在缺陷的总体多级分类器,首先将确定没有缺陷的产品剔除出来,然后对可疑产品进行多级分类,依次判断是否存在分类面积超差、密度超差、体积超差、小尺寸穿孔严重缺陷,最后使用SVM分类器通过物理特征输入对剩余可疑产品缺陷进行最终的良品和非良品分类;
其中,SVM分类器的核函数使用径向基核函数,定义如(2)所示,决策规则如(3)所示,
上式(2)中,k是输入样本和训练样本的核函数内积,δ是核函数的宽度参数;
(3)中ai和b是训练获得的分类器系数和偏置量,yi是训练样本的目标值,s是训练样本数量,y是SVM分类器输出,sgn是阶跃函数,取值有+1,0,-1,这里使用+1代表良品正样本,-1代表负样本;
使用输入特征向量x和支持向量xi的内积求和来进行判决,支持向量xi求解通过一定数量的已知分类结果的样本集合训练获得。
8.根据权利要求1所述的检测手机外壳轮廓度缺陷方法,其特征在于,还包括:测量过程的反馈控制和数据质量监控步骤;
其中,将激光图像采集和激光控制融合在一起,系统测量前首先标定样品图像的统计量,记录标准样品的图像亮度均值、激光线宽,在测量过程中每次测量完成后,检测激光图像的线宽lw、均值Lmean是否满足要求,如果满足要求则输出测量结果,否则通知用户重新测量或者多输出结果进行优化处理后再输出结果;通过这种方式保证输出结果的测量精度;
激光器的控制通过制作的一块激光控制板完成,控制信号采用0-3v范围的电压信号。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710232538.9A CN107064170B (zh) | 2017-04-11 | 2017-04-11 | 一种检测手机外壳轮廓度缺陷方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710232538.9A CN107064170B (zh) | 2017-04-11 | 2017-04-11 | 一种检测手机外壳轮廓度缺陷方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107064170A CN107064170A (zh) | 2017-08-18 |
CN107064170B true CN107064170B (zh) | 2020-04-03 |
Family
ID=59602201
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710232538.9A Active CN107064170B (zh) | 2017-04-11 | 2017-04-11 | 一种检测手机外壳轮廓度缺陷方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107064170B (zh) |
Families Citing this family (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108257137A (zh) * | 2017-11-27 | 2018-07-06 | 南京浩梁景信息科技有限公司 | 一种基于视觉光斑自动判读的角度测量方法及系统 |
CN108036814B (zh) * | 2017-11-28 | 2020-04-03 | 深圳市思榕科技有限公司 | 传感器正反检测装置及其检测方法 |
CN108280824B (zh) * | 2018-01-18 | 2022-06-14 | 电子科技大学 | 基于图像配准及融合的激光剪切散斑干涉缺陷检测系统 |
CN108672316A (zh) * | 2018-03-27 | 2018-10-19 | 哈尔滨理工大学 | 一种基于卷积神经网络的微小零件质量检测系统 |
CN109447955B (zh) * | 2018-10-11 | 2022-04-22 | 安徽皓视光电科技有限公司 | 手机背光模组点灯检测roi分割方法 |
CN109708572A (zh) * | 2018-12-27 | 2019-05-03 | 江西普维精密测量设备有限公司 | 产品的检测方法及装置 |
CN109632825A (zh) * | 2019-01-18 | 2019-04-16 | 创新奇智(重庆)科技有限公司 | 一种钢卷表面异常突起的自动检测方法 |
CN109596626A (zh) * | 2019-02-01 | 2019-04-09 | 东莞中科蓝海智能视觉科技有限公司 | 高光磁环工件视觉检测方法 |
CN109934814B (zh) * | 2019-03-15 | 2022-02-01 | 英业达科技有限公司 | 表面缺陷侦测系统及其方法 |
CN110132975B (zh) * | 2019-03-28 | 2022-04-12 | 中核建中核燃料元件有限公司 | 一种用于核燃料棒包壳表面检测的方法、装置 |
CN110223310B (zh) * | 2019-05-22 | 2023-07-18 | 上海大学 | 一种基于深度学习的线结构光中心线和箱体边缘检测方法 |
CN110349195B (zh) * | 2019-06-25 | 2021-09-03 | 杭州汇萃智能科技有限公司 | 一种基于深度图像的目标物体3d测量参数获取方法、系统和存储介质 |
CN110455809A (zh) * | 2019-08-14 | 2019-11-15 | 广东工业大学 | 一种连杆表面缺陷的机器视觉检测装置及方法 |
CN110645908A (zh) * | 2019-08-16 | 2020-01-03 | 广州瑞松北斗汽车装备有限公司 | 车身外观缺陷检测方法及检测系统 |
CN110624857A (zh) * | 2019-10-21 | 2019-12-31 | 广东弓叶科技有限公司 | 物件类别识别方法及分拣设备 |
CN111340061A (zh) * | 2020-01-18 | 2020-06-26 | 中国人民解放军国防科技大学 | 基于svm模型参数优化的多模态数据融合和分类方法 |
CN113554582B (zh) * | 2020-04-22 | 2022-11-08 | 中国科学院长春光学精密机械与物理研究所 | 电子设备盖板上功能孔的缺陷检测方法、装置以及系统 |
CN112893186B (zh) * | 2021-01-13 | 2022-11-29 | 山西能源学院 | 一种led灯丝上电快速视觉检测方法和系统 |
CN113182205B (zh) * | 2021-04-01 | 2022-10-04 | 深圳市磐锋精密技术有限公司 | 一种基于互联网的手机零件全自动机器人光电检测方法 |
CN114399467B (zh) * | 2021-12-15 | 2022-11-11 | 北京德风新征程科技有限公司 | 机箱外壳检测方法、装置、电子设备和计算机可读介质 |
CN118552521B (zh) * | 2024-07-23 | 2024-09-24 | 深圳华北工控软件技术有限公司 | 一种基于工业计算机的视觉检测方法及系统 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106373127A (zh) * | 2016-09-14 | 2017-02-01 | 东北林业大学 | 用于木材树种及表面缺陷的激光扫描并行检测方法 |
-
2017
- 2017-04-11 CN CN201710232538.9A patent/CN107064170B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106373127A (zh) * | 2016-09-14 | 2017-02-01 | 东北林业大学 | 用于木材树种及表面缺陷的激光扫描并行检测方法 |
Also Published As
Publication number | Publication date |
---|---|
CN107064170A (zh) | 2017-08-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107064170B (zh) | 一种检测手机外壳轮廓度缺陷方法 | |
CN106949848B (zh) | 一种高精度激光3d轮廓手机结构件检测方法 | |
CN117115147B (zh) | 一种基于机器视觉的纺织品检测方法及系统 | |
US20220120664A1 (en) | Systems and methods for autofocus and automated cell count using artificial intelligence | |
CN114041168A (zh) | 自动化360度密集点对象检验 | |
US8103376B2 (en) | System and method for the on-machine 2-D contour measurement | |
TWI642126B (zh) | 半導體晶圓檢測系統及其方法 | |
JP2020101799A (ja) | 顕微鏡システムにおけるサンプル面の距離判定 | |
CN106529559A (zh) | 一种指针式圆形多仪表盘实时读数识别方法 | |
CN102529019B (zh) | 一种模具检测、保护及零件检测、摘取的方法 | |
JP2014511530A (ja) | ウェブベース材料内の不均一性の検出システム | |
CN107891012B (zh) | 基于等效算法的珍珠大小及圆形度分拣装置 | |
CN110608685A (zh) | 一种基于树莓派的物体尺寸快速测量方法 | |
CN115147363A (zh) | 一种基于深度学习算法的影像缺陷检测和分类方法及系统 | |
CN112329893A (zh) | 基于数据驱动的异源多目标智能检测方法及系统 | |
CN115656182A (zh) | 基于张量投票主成分分析的板材点云缺陷检测方法 | |
CN113932712B (zh) | 一种基于深度相机和关键点的瓜果类蔬菜尺寸测量方法 | |
Bhamare et al. | Quality inspection of tire using deep learning based computer vision | |
CN105619741A (zh) | 一种基于Tegra K1的模具智能检测方法 | |
CN111412834B (zh) | 一种烟包纸压痕数据的检测方法 | |
CN102529020B (zh) | 模具检测、保护及零件检测、摘取的手眼集成装置 | |
TWM550465U (zh) | 半導體晶圓檢測系統 | |
CN112750119A (zh) | 一种面向白玻璃盖板表面微弱缺陷的检测与测量方法 | |
CN116840240A (zh) | 电源分配器视觉检测系统 | |
CN116106319A (zh) | 一种合成革瑕疵自动化检测方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CP02 | Change in the address of a patent holder | ||
CP02 | Change in the address of a patent holder |
Address after: 518000 room 501-504, building 2, Chongwen Park, Nanshan wisdom Park, 3370 Liuxian Avenue, Fuguang community, Taoyuan Street, Nanshan District, Shenzhen City, Guangdong Province Patentee after: SHENZHEN SINCEVISION TECHNOLOGY Co.,Ltd. Address before: 518000 room 519, block a, Shenzhen Zhihui innovation center, Taoyuanju south of Qianjin 2nd Road, Bao'an District, Shenzhen City, Guangdong Province Patentee before: SHENZHEN SINCEVISION TECHNOLOGY Co.,Ltd. |