CN113916906B - 视觉检测系统led光源照度优化方法及所用实验设备 - Google Patents
视觉检测系统led光源照度优化方法及所用实验设备 Download PDFInfo
- Publication number
- CN113916906B CN113916906B CN202111034167.6A CN202111034167A CN113916906B CN 113916906 B CN113916906 B CN 113916906B CN 202111034167 A CN202111034167 A CN 202111034167A CN 113916906 B CN113916906 B CN 113916906B
- Authority
- CN
- China
- Prior art keywords
- light source
- led light
- illumination
- point
- illuminance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000005286 illumination Methods 0.000 title claims abstract description 150
- 238000000034 method Methods 0.000 title claims abstract description 59
- 238000005457 optimization Methods 0.000 title claims abstract description 45
- 238000001514 detection method Methods 0.000 title claims abstract description 40
- 230000000007 visual effect Effects 0.000 title claims abstract description 21
- 238000011156 evaluation Methods 0.000 claims abstract description 89
- 239000011159 matrix material Substances 0.000 claims abstract description 63
- 230000000694 effects Effects 0.000 claims abstract description 54
- 230000008859 change Effects 0.000 claims abstract description 51
- 210000000707 wrist Anatomy 0.000 claims abstract description 17
- 238000013178 mathematical model Methods 0.000 claims abstract description 16
- 230000006870 function Effects 0.000 claims description 47
- 239000013598 vector Substances 0.000 claims description 40
- 238000009826 distribution Methods 0.000 claims description 31
- 238000002474 experimental method Methods 0.000 claims description 26
- 241000251555 Tunicata Species 0.000 claims description 19
- 230000003287 optical effect Effects 0.000 claims description 15
- 230000001276 controlling effect Effects 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 7
- 235000013305 food Nutrition 0.000 claims description 7
- 238000009434 installation Methods 0.000 claims description 5
- 230000001105 regulatory effect Effects 0.000 claims description 5
- 238000011179 visual inspection Methods 0.000 claims description 5
- 238000004458 analytical method Methods 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 230000007423 decrease Effects 0.000 claims description 4
- 230000002028 premature Effects 0.000 claims description 4
- 230000004907 flux Effects 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 9
- 230000006872 improvement Effects 0.000 description 8
- 241000251557 Ascidiacea Species 0.000 description 7
- 238000004806 packaging method and process Methods 0.000 description 6
- 238000012360 testing method Methods 0.000 description 6
- 230000007547 defect Effects 0.000 description 5
- 239000002245 particle Substances 0.000 description 5
- 238000002922 simulated annealing Methods 0.000 description 5
- 238000005259 measurement Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 235000008429 bread Nutrition 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000012937 correction Methods 0.000 description 2
- 230000004069 differentiation Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 241000798368 Ecteinascidia Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010219 correlation analysis Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000005070 ripening Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
- G01N21/956—Inspecting patterns on the surface of objects
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F21—LIGHTING
- F21V—FUNCTIONAL FEATURES OR DETAILS OF LIGHTING DEVICES OR SYSTEMS THEREOF; STRUCTURAL COMBINATIONS OF LIGHTING DEVICES WITH OTHER ARTICLES, NOT OTHERWISE PROVIDED FOR
- F21V21/00—Supporting, suspending, or attaching arrangements for lighting devices; Hand grips
- F21V21/14—Adjustable mountings
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8806—Specially adapted optical and illumination features
Abstract
本发明公开了一种视觉检测系统LED光源照度优化方法及所用实验设备,其中优化方法为现在实验设备上安装LED光源矩阵,然后建立具有同方向、不同原点位置的基坐标系、腕坐标系,再建立单个LED光源的数学模型,获取LED光源矩阵对目标平面各点的照度值;基于照度均匀度、照度梯度变化、照度对中度、平均照度和目标与背景区分度的因素对LED矩阵光源建立平面照度效果评价函数并进行优化求解,获取具有最优照度效果的LED光源的空间位姿参数,实验设备包括实验台、用于安装LED光源矩阵的四轴光源支架、用于检测实验台上目标平面个点照度值的照度计和用于计算分析的控制系统,本发明优化目标合理,能提高工业产品视觉检测准确性。
Description
技术领域
本发明涉计算机图像处理技术领域,特别是指一种视觉检测系统LED光源照度优化方法及所用实验设备。
背景技术
集成电路芯片封装质量视觉检测过程中,根据客户的不同需求通常采用料盘上料或振动料斗上料等方式,其中料盘上料方式采用多只芯片同时检测的方式,相比具有更高的检测效率,但对视觉检测的光照效果也提出了更高的要求。现有的单个芯片视觉缺陷检测,如申请号为201810869324.7的发明专利中采用多个芯片进行图像采集,如申请号为202011628232.3的发明专利中以优化算法为主,但其未充分考虑光照效果对视觉检测系统的影响。而现有的光源优化方法,主要集中在LED的间隔优化与空间位姿优化方面。间隔优化方面,如申请号为201310174812.3和202010513967.5的发明专利中,优化的目标面形状及尺寸、光源到目标面的高度都为定值,故提出的光源优化方案具有一定的局限性。在LED光源的空间位姿优化方面,郝飞等发表的论文“机器视觉系统前置矩形LED阵列的优化布置”(光学学报,2014,34(12):175-180)对前置对称安装的矩形LED光源空间位姿进行了研究,以平面照度值的方差作为主要指标,建立优化目标函数,采用模拟退火算法对问题进行求解,得到光源的相对距离384mm,高度为190mm,安装倾角为136°时目标区域照度均匀度最优。但评价函数以保证平面照度的均方误差为主,未充分考虑被测面与背景面之间的区分度。王天怡等在论文“基于机器视觉的内层包装缺陷检测光源的优化”(包装工程,2019,40(17):174-181)中针对食品内层包装纸的缺陷特征,利用相关性分析法,依次确定照明光源类型、形状和角度,通过理论研究与实验验证,得出采用60°高角度的红外条形LED阵列照明,具有最佳的照明效果,其检测系统的缺陷识别率达99%。但优化过程没有考虑高度对照明效果的影响,故提出的光源优化方案具有一定的局限性。因此,设计一种具有较强普适性的视觉检测系统LED光源照度优化方法对提高工业产品机器视觉检测中的照明效果及检测效率具有重要意义。
发明内容
为了克服上述缺陷,本发明提供一种视觉检测系统LED光源照度优化方法及所用实验设备,采用该视觉检测系统LED光源照度优化方法能够提高工业产品机器视觉检测中的照明效果及检测效率,且普适性强。
本发明为了解决其技术问题所采用的技术方案:.一种视觉检测系统LED光源照度优化方法,包括以下步骤:
步骤一:安装LED光源:
将呈矩阵状排列的LED光源矩阵安装在实验台上的光源支架上,其中光源支架能够带动LED光源在立体空间内变换对目标平面的照射位置和照射角度;
步骤二:根据光源支架结构,建立具有同方向、不同原点位置的基坐标系、腕坐标系;
步骤三:建立单个LED光源的数学模型,结合当前光源支架的位姿参数,获取LED光源矩阵对目标平面各点的照度值;
步骤四:基于照度均匀度、照度梯度变化、照度对中度、平均照度和目标与背景区分度的因素对LED光源矩阵建立平面照度效果评价函数;
步骤五:应用樽海鞘算法对平面照度效果评价函数进行优化求解,获取具有最优照度效果的LED光源的空间位姿参数。
作为本发明的进一步改进,所述LED光源矩阵形成条形光源,条形光源由光源控制器进行控制,条形的LED光源矩阵由4行10列非相关LED光源排列而成,按水平布置,长度方向LED间隔5mm,宽度方向LED间隔4mm。
作为本发明的进一步改进,设X方向、Y方向和Z方向为相互垂直的三个方向,其中Z方向为竖直方向,光源支架为能够沿Z方和X方向直线运动,同时能够绕Z轴和Y轴转动的四自由度支架,LED光源矩阵安装在光源支架运动末端上。
作为本发明的进一步改进,在步骤二中根据LED光源矩阵的安装方案,建立具有同方向、不同原点位置的基坐标系(以光源支架在试验台上安装位置为坐标原点)、腕坐标系(以LED矩阵在光源支架上的安装位置为坐标原点)与光源坐标系(以LED光源矩阵上一点为坐标原点),LED光源的空间位姿参数根据支架的相关位姿参数进行计算获取:设dx1、dy1、dz1为光源坐标系原点与腕坐标系原点在笛卡尔坐标系下的偏移量,dx2、dy2、dz2为腕坐标系原点与基坐标系原点在在笛卡尔坐标系下的偏移量,θ1为Y1轴转角,θ2为Z2轴转角,且正方向满足右手螺旋定则,建立光源支架模型,dx1、dy1、dz1和dy2成为定值,在当前支架与支架位姿参数下,单个LED光源在不同坐标系下的空间位姿变化公式如下:
式中:(x,y,z)为光源坐标系下单个LED光源的坐标;
(x1,y1,z1)为腕坐标系下单个LED光源的坐标;
(x2,y2,z2)为基坐标系下单个LED光源的坐标。
作为本发明的进一步改进,根据单个LED光源的数学模型,结合当前光源支架的位姿参数,获取条形LED光源对目标平面各点的照度值,具体包括以下步骤:
步骤3-1:单个LED光源数学模型的建立:
将单个LED光源看作具有相同光通量的点光源,其照度分布由发光角的余弦量决定:
E=I0·(cosα)m·cosβ·d-2 (3);
式中:
I0为LED球面的平均发光强度,通过实验法获得;
m为与LED半衰角有关的参数,光源为理想朗伯体时,m取1,通常m大于1,并由当前LED的半衰角θ1/2确定,m通过实验法获得;
α为光线与光轴之间的夹角;
β为光线与被测平面法线之间夹角;
d为目标点到光源面之间距离;
步骤3-2:变量的转换与获取:
设条形的LED光源矩阵中各个单个LED光源到目标点向量为a1,光源所在平面法向量为a2,空间竖直向量恒定为G=(0,0,-1),L为光源点到目标点的欧式距离,则d、α、β计算式为:
d=Lcosα (6);
其中,向量a1由基坐标系下被测点坐标(x21 y21 z21)与LED光源坐标(x22 y22 z22)获得,光源法向量a2由基坐标系下光轴与被测面交点坐标(x23 y23 z23)与LED坐标(x22 y22z22)获得,具体公式如下:
L的计算式如下:
步骤3-3:条形的LED光源矩阵数学模型的建立:
每个LED光源作用于同一被测点时,将对应位姿信息d、α、β带入式(3)后线性叠加,获得条形LED光源矩阵的光源照度数学模型:
式中:
e(i,j)为空间某一离散点(i,j)的照度;
为第k个光源所在平面与(i,j)点的距离;
为第k个光源法向量与第k个光源点到(i,j)点的向量之间的夹角;
为第k个光源点到(i,j)点的向量与(i,j)点所在平面法向量之间夹角。
作为本发明的进一步改进,所述LED光源矩阵平面照度效果评价函数建立步骤如下:
步骤4-1:均方误差评价:
为适应不同尺寸类型的被测平面,本发明提出改进均方误差评价f1,具体实现过程为:
计算LED光源矩阵每行的平均照度值,记为计算LED光源矩阵每一列的平均照度值,记为/>点(i,j)的照度值记为e(i,j);总平面照度均值为/>将每行均方误差之和与被测点总数的比值定义为rs;将每一列的均方误差之和与被测点总数的比值定义为cs;被测面总的检测点数记为row·col,其中row为被测点总行数,col为被测点总列数;
则有:
则均方误差评价f1计算公式为:
f1=P·rs+Q·cs(11);
式中:P、Q分别为行方向和列方向的收缩系数,P、Q的数值与该方向尺寸成反比;若被测面行列方向长度的比值为1/0.5,则P=1、Q=2;本发明优化目标为50mm×50mm方形优化区域,故P、Q均为1,平面照度越均匀,改进均方误差评价f1越小;
步骤4-2:梯度变化与对中度评价:
通过控制照度变化方向、变化幅值和各点照度偏离平面平均照度值的大小,进一步控制被测面的照度均匀性和照度变化复杂性,方便图像后续校正处理,根据微分积分控制思想,设计了梯度复杂性评价f21和对中性评价f22;
将每行梯度复杂性评价记为rg、每列梯度复杂性评价记为cg、每行对中性评价记为rn、每列对中性评价记为cn分,则:
则总梯度复杂性评价f21微分项与总对中度评价f22积分项分别为:
f21=rg+cg(14);
f22=rn+cn(15);
当梯度方向恒定,且变化数值越小时,梯度复杂性评价f21越小;每点的照度值越接近平均照度值时,对中性评价f22越小;
步骤4-3:阈值达标度评价:
(为避免计算结果出现平面平均照度接近于0的无效结果,本发明设计了)阈值达标度评价f3表达式如下:
式中:阈值thresh为条形LED光源矩阵中LED光源数量与单个LED光源照度期望值的乘积(本发明中条形LED阵列光源由40个LED组成,取单个LED照度期望值为100Lux,则阈值thresh取4000Lux);
步骤4-4:目标与背景区分度评价:
(为了进一步帮助相机区分被测面(即目标区域)与背景面,设置目标与背景区分度评价f4,)目标与背景区分度评价f4为高度在Z方向下降1cm时,平面照度值变化量的描述:
式中:e-1(i,j)为对应于(i,j)点,高度方向下降1cm的照度值,当两平面照度差越大时,此项越大;
步骤4-5:照度效果评价函数:
照度效果评价函数为上述五项评价函数的加权和:
f=c1·f1+c21·f21+c22·f22+c3·f3-c4·f4 (18);
式中:
c1为照度方差权值,控制平面照度值的方差;
c21为梯度变化权值,控制照度值梯度的变化速度;
c22为对中度权值,控制起始点照度值与平均照度值的差值;
c3为阈值达标度权值,控制最低平均照度值,筛出平均照度值过低的结果;
c4为目标与背景区域照度区分度权值,控制目标区域与背景区域的区分程度;
总评价函数取值最小时为使照明效果最优状态,此时(θ1,θ2,dx2,dz2)为位姿参数的最优解,即:
作为本发明的进一步改进,设置优化的目标为方形区域光照效果,在保证平面照度均匀度f1、梯度复杂性评价f21、对中性评价f22和平面平均照度f3的情况下,通过有限次重复试验得出,当c1=0.6,c21=1.8,c22=0.8,c3=1,c4=0.6时,总评价函数能够相对准确表征照明效果。
作为本发明的进一步改进,针对传统樽海鞘算法存在的早熟、易陷入局部最优点等问题,在平面照度效果评价函数的寻优过程中,提出改进樽海鞘算法,增强区域搜索的多样性,所述步骤五中樽海鞘算法按如下步骤进行:
步骤5-1:初始化阶段确定种群数量N,搜索维度数D,最大迭代次数MAX,每一维数据的上边界UB和下边界LB,并初始化每一个单元每一维的信息,其中第m个单元的第n维位置信息记为
步骤5-2:计算每一个单元适应度Ym,按从小到大排列,排列第一位的为领导者,其余为追随者,并将历史最优单元的位置定为食物的位置F;
步骤5-3:更新C1、C2、C3,其中C2、C3为0到1之间的随机数,更新步长dv,其中t为当前迭代步数:
然而原始樽海鞘算法中如公式(20)所示的C1更新过程存在区分度不足等问题,因此,C1的更新过程按如下所示的sigmoid函数进行,(使其在每次迭代中每一个单元位置更新完成后均能有效更新一次)
s=(MAX·N)/5 (23)
式中:
C0为初始值,一般设为0.9;
s为控制其变化的速度的调速因子,用于使C1在初始阶段保持高权值,并在设定迭代次数后快速减小;
步骤5-4:根据C3的大小,更新领导者的位置信息:
dv=C1((UB-LB)C2+LB) (24);
然而原始樽海鞘算法存在早熟问题,为使算法能跳出局部最优点,在位置更新公式上,弱化食物点F的重要性,并加入对当前迭代步中的个体最优值Xbest信息的参考,增加算法的活性。并在位置变化信息中随机选取一维,将其变化量缩减为原先的10%,如选取第σ维参数,使变化方向由原先的正向变为伪正切方向,加大搜索范围,其中:
速度公式如下所示:
位置公式如下所示:
式中:
σ为[1,n]范围内的随机正整数;
C4为惰性因子,致使算法收敛;
C5为活性因子,提高算法跳出局部最优点的能力;
步骤5-5:更新追随者位置信息:
Xm=(Xm+Xm-1)/2 (28);
原始樽海鞘算法的信息传递过程中,领导者位置信息损失较大,为了使领导者的信息尽可能多的传给追随者,将追随者位置变化公式的适用范围由原先的后50%扩展为除第一个单元外的所有单元,即排列第一位的为领导者,其余为追随者;
步骤5-6:若迭代步数大于MAX则结束迭代,进行下一步,否则重回步骤5-2;
步骤5-7:输出历史最优点F对应的位姿参数(θ1,θ2,dx2,dz2)。
作为本发明的进一步改进,在所述步骤3-1中,单个LED光源的I0和m通过实验法获得方式如下:
将光源与被测点置于同一水平位置,通过测量光源到目标点水平距离参数x、光源到目标点垂直距离参数h和当前光源偏转的角度参数γ推导得出目标点到光源面之间距离d、光线与光轴之间的夹角α和光线与被测平面法线之间夹角β,并记录当前参数下对应的照度值y,推导公式如下;
γ+α+β=90 (30);
根据式(1),将LED光源发出的光线假想为无数条截面无穷小的光柱,将光柱发射距离与被测面截取光柱的面积的变化造成的照度衰减项记为Ls1,将光线偏离光轴造成的照度衰减项记为Ls2,则有:
对公式(3)两边取对数,得:
lnE=lnI0+mlnLs2+lnLs1 (33);
记:
式中:y为列向量;
A为2列向量构成的矩阵;
则有:
对等式两边同乘以AT:
则I0和m相关表达式如式(37)所示:
平均球面发光强度I0和系数m通过测量垂直距离d、光线与光轴夹角α、光线与目标平面法向量夹角β及实际照度值E后计算得出。
一种视觉检测系统LED光源照度优化方法中所用实验设备,包括实验台、光源支架、照度计、LED光源矩阵和控制系统,所述实验台上侧固定设有水平的目标平面,实验台上还固定设有沿X方向延伸的第一直线轨道,第一直线导轨上能够滑动的设有第一滑块,第一滑块上固定设有沿Y方向延伸的第二直线轨道,第二直线导轨上能够滑动的设有第二滑块,照度计固定安装于第二滑块上,照度计能够检测实验台上目标平面任意坐标位置处的照度值,光源支架包括基座、沿Z方向延伸的竖杆、沿X方向延伸的第一横杆、沿Y方向延伸的第二横杆、连接块、第一定位件、第二定位件、第三定位件和光源底座,所述基座能够固定安装于实验台上,竖杆固定安装于基座上,连接块套设于竖杆上,连接块在竖杆上能够沿Z方向滑动并且能够绕Z轴转动,连接块上设有一沿X方向延伸的第一插孔,第一横杆一端轴向能够滑动且圆周方向能够转动的插设于连接块的第一插孔内,第二横杆固定安装于第一横杆另一端上,光源底座上设有一沿Y方向延伸的第二插孔,所述第二横杆轴向能够相对滑动且圆周方向能够相对转动的插设于第二插孔内,LED光源矩阵能够固定安装于光源底座上,所述第一定位件能够将竖杆与连接块固定,第二定位件能够将连接块与第一横杆固定,第三定位件能够将第二横杆与光源底座固定,所述LED光源矩阵的光线能够投向实验台上的目标平面任意位置,控制系统能够根据LED光源矩阵的位置、投射角度和照度计检测的照度数值分析计算获得目标平面上照度分布数据。
通过移动和转动连接块、第一横杆和光源底座改变LED光源矩阵的位置和各个方向的倾斜角度,实现不同位置和不同角度对目标平面上不同坐标点的照射,由照度计检测目标平面上各个坐标点的照度,通过控制系统对检测数据进行分析获得检测数据,通过检测数据与理论数据进行比较,判断理论数据的准确性,进而判断视觉检测系统LED光源照度优化方法的合理性,其中,试验台底部最佳布置光学面包板,以保证实验台平面度与刚度,光源支架的连接块和光源底座上设置螺纹穿孔,第一定位件、第二定位件和第三定位件最佳为带把手的螺丝,螺丝与螺纹穿孔螺接,螺丝端部紧抵竖杆、第一横杆和第二横杆圆周外侧表面,目标平面可以为芯片等被测产品,其通过治具固定在实验台上,治具上设置沿X方向和Y方向延伸的固定凸挡,以及沿X方向延伸的第一滑动挡块和沿Y方向延伸的第二滑动挡块,通过第一滑动挡块和第二滑动挡块滑动配合固定凸挡形成对目标平面四个侧壁的夹紧定位。
本发明的有益效果是:本发明照度效果评价函数考虑了照度均匀度、照度梯度变化、照度对中度、平均照度、目标与背景区分度等因素,对LED光源照明效果进行定量评价,应用范围更广,在平面照度效果评价函数的寻优过程中,提出改进樽海鞘算法,改进了算法收敛系数、速度、领导者与追随者位置等更新策略,克服了传统樽海鞘早熟、易陷入局部最优等问题,和传统粒子群算法以及模拟退火法相比,改进的樽海鞘算法能更好的跳出局部最优点,并获得最佳的结果,本发明所得理论相对照度分布与实际测量所得照度分布结果基本一致,目标区域理论照度均匀度在98.78%以上,误差在5.57%以内,因此本发明提出的方法优化目标合理,可用于视觉检测系统具有最优照明效果时光源位姿信息参数的获取,普适性强,对提高工业产品机器视觉检测中的照明效果及检测效率具有重要意义。
附图说明
图1为本发明提出的光源优化方法流程图;
图2为本发明的实验设备结构原理图;
图3为当前支架模型下各坐标系示意图;
图4为光源坐标系原点与腕坐标系原点在笛卡尔坐标系下的偏移量示意图;
图5为腕坐标系原点与基坐标系原点在在笛卡尔坐标系下的偏移量示意图;
图6为单个LED光源数学模型中相关变量示意图;
图7为LED光源到目标点向量分析示意图;
图8为被测的目标平面与LED光源矩阵相对位置示意图;
图9为芯片封装质量检测硬件环境示意图;
图10为本发明算法与传统算法收敛对比图;
图11为本发明理论与实际相对照度分布对比图;
图12为本发明被测面理论照度与背景面理论照度对照图;
图13为θ1变化1°时X轴方向上的照度分布图;
图14为θ2变化1°时X轴方向上的照度分布图;
图15为dx2变化10mm时X轴方向上的照度分布图;
图16为dz2变化10mm时X轴方向上的照度分布图;
图17为本发明的优化结果与传统正向照明效果对比图。
具体实施方式
实施例:下面结合附图,对本发明进行详细描述。本发明所描述的实施例仅仅是本发明的一个较佳的实施例,而不是全部的实施例。基于本发明的实施例,本领域技术人员在没有做创造性劳动前提下所获得的所有其他实施例,都属于本发明的保护范围。
一种视觉检测系统LED光源照度优化方法及装置,优化方法流程图如图1所示,具体包括以下步骤:
步骤一:设计一种实验设备,包括实验台1、光源支架、照度计2、LED光源矩阵和控制系统,试验台底部布置有光学面包板,实验台1上侧固定设有水平的目标平面4,实验台1上还固定设有沿X方向延伸的第一直线轨道5,第一直线导轨5上能够滑动的设有第一滑块6,第一滑块6上固定设有沿Y方向延伸的第二直线轨道7,第二直线导轨7上能够滑动的设有第二滑块8,照度计2固定安装于第二滑块8上,照度计2能够检测实验台1上目标平面任意坐标位置处的照度值,照度计2与控制系统电性连接通信,光源支架包括基座9、沿Z方向延伸的竖杆10、沿X方向延伸的第一横杆11、沿Y方向延伸的第二横杆12、连接块13、带把手的螺丝和光源底座14,所述基座9能够固定安装于实验台1上,竖杆10固定安装于基座9上,连接块13套设于竖杆10上,连接块13在竖杆10上能够沿Z方向滑动并且能够绕Z轴转动,连接块上设有一沿X方向延伸的第一插孔,第一横杆11一端轴向能够滑动且圆周方向能够转动的插设于连接块13的第一插孔内,第二横杆12固定安装于第一横杆11另一端上,光源底座14上设有一沿Y方向延伸的第二插孔,所述第二横杆12轴向能够相对滑动且圆周方向能够相对转动的插设于第二插孔内,LED光源矩阵3能够固定安装于光源底座14上,所述光源支架的连接块13和光源底座14上设置螺纹穿孔,带把手的螺丝与螺纹穿孔螺接,螺丝端部紧抵竖杆10、第一横杆11和第二横杆12圆周外侧表面,所述LED光源矩阵3的光线能够投向实验台上的目标平面任意位置,目标平面通过治具15固定在实验台上,治具上设置沿X方向和Y方向延伸的固定凸挡16,以及沿X方向延伸的第一滑动挡块17和沿Y方向延伸的第二滑动挡块18,通过第一滑动挡块和第二滑动挡块滑动配合固定凸挡形成对目标平面四个侧壁的夹紧定位,控制系统能够根据LED光源矩阵的位置、投射角度和照度计检测的照度数值分析计算获得目标平面上照度分布数据。
上述的用于固定LED光源矩阵的光源支架具有四自由度,实验台上的照度计具有在水平面上的两个自由度,如图2所示。并通过调节光源支架的四个自由度来控制光源的空间位姿。实验台上照度计在X方向与Y方向采用有效行程为400mm的直线滑轨导向,以保证位移量的准确性。试验台底部布置光学面包板,以保证实验台平面度与刚度。光源采用条形光源及相关光源控制器,条形光源由4行10列非相关LED光源排列而成,按水平布置,长度方向LED光源间隔5mm,宽度方向LED光源间隔4mm。
步骤二:根据四自由度光源支架,建立具有同方向、不同原点位置的基坐标系、腕坐标系与光源坐标系,如图3所示,方便条形光源中各LED光源空间位姿的计算:
各坐标系建立后,LED光源矩阵的空间位姿参数可由光源支架的相关位姿参数获得,相关参数如图4、图5所示。其中dx1、dy1、dz1为光源坐标系原点与腕坐标系原点在笛卡尔坐标系下的偏移量,dx2、dy2、dz2为腕坐标系原点与基坐标系原点在在笛卡尔坐标系下的偏移量,θ1为Y1轴转角,θ2为Z2轴转角,且正方向满足右手螺旋定则。则光源的支架模型建立后dx1、dy1、dz1和dy2为定值。在当前支架与支架位姿参数下,LED在不同坐标系下的空间位姿变化公式如下:
式中:
(x,y,z)为光源面板坐标系下LED的坐标;
(x1,y1,z1)为腕坐标系下LED的坐标;
(x2,y2,z2)为基坐标系下LED的坐标。
步骤三:建立单个LED光源数学模型,结合当前光源支架的位姿参数,获取条形的LED光源矩阵对目标平面各点的照度值,具体包括:
步骤3-1:单个LED光源数学模型的建立:
单个LED光源可以看作具有相同光通量的点光源,其照度分布由发光角的余弦量决定:
E=I0·(cosα)m·cosβ·d-2 (3);
式中:
式中:
I0为LED球面的平均发光强度;
m为与LED半衰角有关的参数,光源为理想朗伯体时,m取1,通常m大于1,并由当前LED的半衰角θ1/2确定;
α为光线与光轴之间的夹角;
β为光线与被测平面法线之间夹角;
d为目标点到光源面之间距离;
步骤3-2:变量的转换与获取:
设条形的LED光源矩阵中各个单个LED光源到目标点向量为a1,光源所在平面法向量为a2,空间竖直向量恒定为G=(0,0,-1),L为光源点到目标点的欧式距离,则d、α、β计算式为:
相关参数如图6所示,在本发明中,变量I0和m通过实验法获得。
步骤3-2:变量的转换与获取:
设条形LED光源中各LED到目标点向量为a1,光源所在平面法向量为a2,空间竖直向量恒定为G=(0,0,-1),L为光源点到目标点的欧式距离,相关参数如图7所示。则d、α、β计算式为:
d=Lcosα (6);
其中:向量a1可由基坐标系下被测点坐标(x21 y21 z21)与LED坐标(x22 y22 z22)获得,光源法向量a2可由基坐标系下光轴与被测面交点坐标(x23 y23 z23)与LED坐标(x22 y22z22)获得;
L的计算式如下:
S33:条形LED阵列光源数学模型的建立:
每个LED作用于同一被测点时,将对应位姿信息d、α、β带入式(3)后线性叠加,即可获得条形LED阵列的光源照度数学模型:
式中:e(i,j)为空间某一离散点(i,j)的照度;
为第k个光源所在平面与(i,j)点的距离;
为第k个光源法向量与第k个光源点到(i,j)点的向量之间的夹角;
为第k个光源点到(i,j)点的向量与(i,j)点所在平面法向量之间夹角。
步骤四:针对集成电路芯片封装质量视觉检测,设置如图8所示50mm×50mm方形优化区域,研究芯片表面照度效果最优条件下的光源空间位姿参数确定方法。芯片封装质量检测实际场景中对应的光源照度优化范围标注如图9所示。为便于料盘上料及机构间的传输运动,在光源支架与芯片料盘之间需设置一定的工作距离,本发明中定为250mm。
基于照度均匀度、照度梯度变化、照度对中度、平均照度、目标与背景区分度等因素建立平面照度效果评价函数,具体包括:
步骤4-1:改进均方误差评价:
为适应不同尺寸类型的被测平面,本发明提出改进均方误差评价f1,具体实现过程为:计算矩阵每行的平均照度值,记为计算矩阵每一列的照度平均值/>记点(i,j)的照度值为e(i,j),总平面照度均值为/>将每行均方误差之和与被测点总数的比值定义为rs,将每一列的均方误差之和与被测点总数的比值定义为cs,被测面总的检测点数为row·col,其中row为被测点总行数,col为被测点总列数,则有:
则f1计算公式为:
f1=P·rs+Q·cs (11);
其中:P、Q分别为行列方向收缩系数,数值与该方向尺寸成反比。若被测面行列方向长度的比值1/0.5,则P=1、Q=2。本发明优化目标为50mm×50mm方形优化区域,故P、Q均为1。平面照度越均匀,改进均方误差评价f1越小。
步骤4-2:梯度变化与对中度评价:
通过控制照度变化方向、变化幅值和各点照度偏离平面平均照度值的大小,进一步控制被测面的照度均匀性和照度变化复杂性,方便图像后续校正处理,根据微分积分控制思想,设计了梯度复杂性评价f21和对中性评价f22。
将每行梯度复杂性评价rg、每列梯度复杂性评价cg、每行对中性评价rn、每列对中性评价cn分别定义为:
则总梯度复杂性评价f21(微分项)与总对中度评价f22(积分项)分别为:
f21=rg+cg (14);
f22=rn+cn (15);
当梯度方向恒定,且变化数值越小时,梯度复杂性评价f21越小;每点的照度值越接近平均照度值时,对中性评价f22越小。
步骤4-3:阈值达标度评价:
为避免计算结果出现平面平均照度接近于0的无效结果,本发明设计了阈值达标度评价f3:
其中:阈值thresh为条形LED光源矩阵中LED光源数量与单个LED光源照度期望值的乘积,本发明中条形的LED光源矩阵由40个LED光源组成,取单个LED光源照度期望值为100Lux,则阈值thresh取4000Lux。
S44:目标与背景区分度评价:
为了进一步帮助相机区分被测面(即目标区域)与背景面,设置目标与背景区分度评价f4,f4为高度Z方向下降1cm时,平面照度值变化量的描述:
e-1(i,j)为对应于(i,j)点,高度方向下降1cm的照度值。当两平面照度差越大时,此项越大。
步骤4-5:照度效果评价函数:
照度效果评价函数为上述五项评价函数的加权和:
f=c1·f1+c21·f21+c22·f22+c3·f3-c4·f4 (18);
其中c1为照度方差权值,控制平面照度值的方差;c21为梯度变化权值,控制照度值梯度的变化速度;c22为对中度权值,控制起始点照度值与平均照度值的差值;c3为阈值达标度权值,控制最低平均照度值,筛出平均照度值过低的结果;c4为目标与背景区域照度区分度权值,控制目标区域与背景区域的区分程度。
本次优化的目标为方形区域光照效果,重点保证平面照度均匀度f1、f21、f22和平面平均照度f3,通过多次重复试验得出,当c1=0.6,c21=1.8,c22=0.8,c3=1,c4=0.6时,总评价函数可相对准确表征照明效果。
为使照明效果最优,应使总评价函数取值最小,此时(θ1,θ2,dx2,dz2)为位姿参数的最优解,即:
步骤五:针对传统樽海鞘算法存在的早熟、易陷入局部最优点等问题,在平面照度效果评价函数的寻优过程中,提出改进樽海鞘算法,增强区域搜索的多样性,具体包括:
步骤5-1:初始化阶段确定种群数量N,搜索维度数D,最大迭代次数MAX,每一维数据的上边界和下边界UB和LB,并初始化每一个单元每一维的信息,其中第m个单元的第n维位置信息记为
步骤5-2:计算每一个单元适应度Ym,按从小到大排列,排列第一位的为领导者,其余为追随者,并将历史最优单元的位置定为食物的位置F;
步骤5-3:更新C1、C2、C3,其中C2、C3为0到1之间的随机数,更新步长dv,其中t为当前迭代步数:
C2=rand(0,1)
C3=rand(0,1) (21);
然而原始樽海鞘算法中如公式(20)所示的C1更新过程存在区分度不足等问题,因此将C1的更新过程改进为如下所示的sigmoid函数,并使其在每次迭代中每一个单元位置更新完成后均能有效更新一次。设置调速因子s控制其变化的速度,使其在初始阶段保持高权值,并在一定迭代次数后快速减小:
s=(MAX·N)/5 (23);
其中C0为初始值,一般设为0.9。
步骤5-4:根据C3的大小,更新领导者的位置信息:
dv=C1((UB-LB)C2+LB)(24);
然而原始樽海鞘算法存在早熟问题,为使算法能跳出局部最优点,在位置更新公式上,弱化食物点F的重要性,并加入对当前迭代步中的个体最优值Xbest信息的参考,增加算法的活性。并在位置变化信息中随机选取一维,将其变化量缩减为原先的10%,如选取第σ维参数,使变化方向由原先的正向变为伪正切方向,加大搜索范围,其中速度更新公式如式(26)所示,位置更新公式如式(27)所示:
/>
其中:σ为[1,n]范围内的随机正整数;
C4为惰性因子,致使算法收敛;
C5为活性因子,提高算法跳出局部最优点的能力。
步骤5-5:更新追随者位置信息:
Xm=(Xm+Xm-1)/2 (28);
原始樽海鞘算法的信息传递过程中,领导者位置信息损失较大,为了使领导者的信息尽可能多的传给追随者,将追随者位置变化公式的适用范围由原先的后50%扩展为除第一个单元外的所有单元。
步骤5-6:若迭代步数大于MAX则结束迭代,进行步骤5-7,否则重回步骤5-2;
步骤5-7:输出历史最优点F对应的位姿参数(θ1,θ2,dx2,dz2)。
其中,各参数初始值设置如表1所示。
表1改进樽海鞘算法初始化参数
基于CPU 2.6GHz、内存16GB与MATLAB R2018b软硬件开发环境,将本发明提出改进樽海鞘算法与粒子群优化、模拟退火、原始樽海鞘算法进行照度效果评价函数的寻优对比,获得各算法收敛对比结果如图10所示。在寻优精度方面,本发明提出的改进樽海鞘最优评价函数值为fISSA=-1261,原始樽海鞘算法最优评价函数值为fSSA=-517.3,粒子群算法最优评价函数值为fPSO=-1259,模拟退火法最优评价函数值为fSA=-55.21,可以看出改进樽海鞘算法可获得相对最小评价函数值;在收敛性能方面,粒子群算法收敛速度最快,但在迭代291次后陷入局部最优;模拟退火法在迭代537次后能够跳出局部最优,但寻优结果与最佳结果之间存在较大差距;原始樽海鞘算法寻优能力较强,但在迭代310次后陷入局部最优;而改进的樽海鞘算法不仅继承了原始樽海鞘的寻优能力,还能够克服早熟、易陷入局部最优的弱点,在迭代660次后仍能跳出局部最优,并在寻优精度方面优于粒子群算法。因此本发明提出的改进樽海鞘算法相较其他算法,可以有效克服早熟、容易陷入局部最优点等问题。
步骤六:应用改进樽海鞘算法对平面照度效果评价函数进行优化求解,获取具有最优照度效果的条形LED光源的空间位姿参数。
其中,在所述步骤3-1中,单个LED光源的I0和m通过实验法获得:
当LED光源矩阵与被测点处于同一水平位置时,可以通过测量参数x、h、γ推导得出d、α、β,并记录当前参数下对应的照度值y。其中x为光源到目标点水平距离,h为光源到目标点垂直距离,γ为当前光源偏转的角度。则有如下几何关系:
γ+α+β=90 (30);
根据式(1),若将光源发出的光线假想为无数条截面无穷小的光柱,则可以将光柱发射距离与被测面截取光柱的面积的变化造成的照度衰减项记为Ls1,将光线偏离光轴造成的照度衰减项记为Ls2,则有:
对公式(3)两边取对数,得:
lnE=lnI0+mlnLs2+lnLs1 (33);
记:
其中y为列向量,A为2列向量构成的矩阵。则有:
对等式两边同乘以AT:
则I0和m相关表达式如式(37)所示:
因此,平均球面发光强度I0和系数m可通过测量垂直距离d、光线与光轴夹角α、光线与目标平面法向量夹角β及实际照度值E后计算得出。
进一步的,为了证明本发明提出平面照度优化方法及步骤六中优化结果的有效性,采用本发明提出的视觉检测系统LED光源照度测量与优化实验设备进行对比验证。
条形的LED光源光源矩阵模型优化计算获得的平面最优理论相对照度分布与由TES-1332A照度计实际测量获得的相对照度分布对比如图11所示,理论被测面相对照度分布与理论背景面相对照度分布对比如图12所示。为获取更清晰的对比结果,采样间隔设置为5mm,即图11、图12中的X、Y轴,坐标单位为:5mm。点(i,j)的相对照度值ere(i,j)定义如下:
其中:e(i,j)为被测面(i,j)点的照度值;
为被测面的平均照度值。
如图11所示,上方照度分布为理论值。定义平面照度均匀度funi为最小照度与平均照度的比值,计算式如下:
其中,emin(i,j)为平面最小照度值。
则被测面理论照度均匀度大于98.78%。平面各点的实际相对照度值与理论相对照度值接近,在相对照度值差距最大点相差5.57%以内;其实际平均照度值为727.68Lux,表明算法可有效避开平均照度值接近0的无效结果。故理论相对照度与实际相对照度分布规律相符。图12所示被测面与背景面理论平均照度相差6.5%左右,能够从平均照度值方面进一步有效区分目标区域与背景区域。
为了验证改进樽海鞘算法能够获得最优平面照度效果评价函数值,考虑调整(θ1,θ2,dx2,dz2)四项参数,即当其中任一参数偏离最优光照效果的位姿参数时,X轴方向上照度分布的变化情况。图13、14、15、16分别给出了θ1±1°、θ2±1°、dx2±10mm与dz2±10mm时与原最优位姿下照度分布曲线对比。
由图13可知,θ1±1°均会使照度均匀度下降,照度均匀度分别减小0.39%、0.54%。由图14、15可知,θ2和dx2的变化会使平面照度分布对称度下降,即平面照度最高点会较大幅度脱离被测面中心,其中θ2±1°会使照度均匀度分别下降0.53%、0.58%,dx2±10mm会使照度均匀度分别下降1.46%、1.05%。由图15可知,dz2±10mm分别会使照度均匀度下降0.64%、0.65%。由于优化后照度值最高点位于被测区域的中心,故θ1+1°会使照度中心由X2=250mm向X2=248mm的负方向偏移,照度分布曲线按逆时针方向旋转,造成照度分布成阶梯型;由于0<θ1<90°,θ2、dx2、dz2向正方向变化则会引起照度中心向X轴正方向偏移,此时,平面照度分布具有更高的梯度,照度变化更显著,不利于采集图像的后续处理。根据上文获得最优评价函数值fISSA=-1261及其光源位姿参数(θ1=39.89°,θ2=12.13°,dx2=50.12mm,dz2=298.89mm),当各参数变化时对应评价函数值分别如表2~5所示。从表2~5中可以看出,四项位姿参数在任一方向发生变化,均会使得平面照度均匀度有一定程度的下降,以及评价函数值一定程度的上升。故本文方法正确,可获取具有最佳照明效果的光源空间位姿参数。
表2θ1变化对应的评价函数值变化
参数变化 | θ1-1° | θ1 | θ1+1° |
f | -1086.9 | -1261 | -1115.6 |
表3θ2变化对应的评价函数值
参数变化 | θ2-1° | θ2 | θ2+1° |
f | -1122.4 | -1261 | -1144.0 |
表4 dx2变化对应的评价函数值
参数变化 | dx2-10mm | dx2 | dx2+10mm |
f | -627.7 | -1261 | -657.1 |
表5 dz2变化对应的评价函数值
参数变化 | dz2-10mm | dz2 | dz2+10mm |
f | -963.4 | -1261 | -917.1 |
当前芯片封装质量视觉检测的工业应用中,光源通常采用正向照明方式。将传统正向照明的理论照度分布与本文优化后的理论照度分布作对比,如图16所示。其中,为使正向照明与本文优化方案具有相同的高度条件,正向照明采用的位姿参数为(θ1=90°,θ2=11.86°,dx2=223.95mm,dz2=322.18mm)。从图17中可以看出,传统正向照明下平面照度分布与本发明优化所得结果基本一致,但平面照度分布具有更高的梯度,照度变化更显著,不利于建立高质量目标图像采集所需要的、具有较高照度均匀度的照明系统,故本文提出的基于改进樽海鞘的视觉检测系统LED光源照度优化方法及条形LED阵列光源布置方案优于传统正向照明方案。
综上所述,本实施方式提出的一种视觉检测系统LED光源照度优化方法及装置,能够获取光源最优位姿信息参数,所得目标区域理论照度均匀度大于98.78%,理论照度分布结果与实际测量所得照度分布结果基本一致,误差在5.57%以内。相比传统光源照度优化方法可以获取具有更佳照度效果的光源位姿信息参数,可用于工业产品机器视觉检测中的照明环节,为视觉检测提供更好的目标产品照明效果,提高后续视觉检测各环节的检测效率。
以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明披露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应该以权利要求书的保护范围为准。
Claims (3)
1.一种视觉检测系统LED光源照度优化方法,其特征在于:包括以下步骤:
步骤一:安装LED光源:
将呈矩阵状排列的LED光源矩阵安装在实验台上的光源支架上,其中光源支架能够带动LED光源在立体空间内变换对目标平面的照射位置和照射角度;
步骤二:根据光源支架结构,建立具有同方向、不同原点位置的基坐标系、腕坐标系;
设X方向、Y方向和Z方向为相互垂直的三个方向,其中Z方向为竖直方向,光源支架为能够沿Z方和X方向直线运动,同时能够绕Z轴和Y轴转动的四自由度支架,LED光源矩阵安装在光源支架运动末端上;
根据LED光源矩阵的安装方案,建立具有同方向、不同原点位置的基坐标系、腕坐标系与光源坐标系,LED光源的空间位姿参数根据支架的相关位姿参数进行计算获取:设dx1、dy1、dz1为光源坐标系原点与腕坐标系原点在笛卡尔坐标系下的偏移量,dx2、dy2、dz2为腕坐标系原点与基坐标系原点在在笛卡尔坐标系下的偏移量,θ1为Y1轴转角,θ2为Z2轴转角,且正方向满足右手螺旋定则,建立光源支架模型,dx1、dy1、dz1和dy2成为定值,在当前支架与支架位姿参数下,单个LED光源在不同坐标系下的空间位姿变化公式如下:
式中:(x,y,z)为光源坐标系下单个LED光源的坐标;
(x1,y1,z1)为腕坐标系下单个LED光源的坐标;
(x2,y2,z2)为基坐标系下单个LED光源的坐标;
步骤三:建立单个LED光源的数学模型,结合当前光源支架的位姿参数,获取LED光源矩阵对目标平面各点的照度值;
根据单个LED光源的数学模型,结合当前光源支架的位姿参数,获取条形LED光源对目标平面各点的照度值,具体包括以下步骤:
步骤3-1:单个LED光源数学模型的建立:
将单个LED光源看作具有相同光通量的点光源,其照度分布由发光角的余弦量决定:
E=I0·(cosα)m·cosβ·d-2 (3);
式中:
I0为LED球面的平均发光强度,通过实验法获得;
m为与LED半衰角有关的参数,光源为理想朗伯体时,m取1,通常m大于1,并由当前LED的半衰角θ1/2确定,m通过实验法获得;
α为光线与光轴之间的夹角;
β为光线与被测平面法线之间夹角;
d为目标点到光源面之间距离;
步骤3-2:变量的转换与获取:
设条形的LED光源矩阵中各个单个LED光源到目标点向量为a1,光源所在平面法向量为a2,空间竖直向量恒定为G=(0,0,-1),L为光源点到目标点的欧式距离,则d、α、β计算式为:
d=Lcosα (6);
其中,向量a1由基坐标系下被测点坐标(x21 y21 z21)与LED光源坐标(x22 y22 z22)获得,光源法向量a2由基坐标系下光轴与被测面交点坐标(x23 y23 z23)与LED坐标(x22 y22 z22)获得,具体公式如下:
L的计算式如下:
步骤3-3:条形的LED光源矩阵数学模型的建立:
每个LED光源作用于同一被测点时,将对应位姿信息d、α、β带入式(3)后线性叠加,获得条形LED光源矩阵的光源照度数学模型:
式中:
e(i,j)为空间某一离散点(i,j)的照度;
为第k个光源所在平面与(i,j)点的距离;
为第k个光源法向量与第k个光源点到(i,j)点的向量之间的夹角;
为第k个光源点到(i,j)点的向量与(i,j)点所在平面法向量之间夹角;
步骤四:基于照度均匀度、照度梯度变化、照度对中度、平均照度和目标与背景区分度的因素对LED光源矩阵建立平面照度效果评价函数;
所述LED光源矩阵平面照度效果评价函数建立步骤如下:
步骤4-1:均方误差评价:
计算LED光源矩阵每行的平均照度值,记为计算LED光源矩阵每一列的平均照度值,记为/>点(i,j)的照度值记为e(i,j);总平面照度均值为/>将每行均方误差之和与被测点总数的比值定义为rs;将每一列的均方误差之和与被测点总数的比值定义为cs;被测面总的检测点数记为row·col,其中row为被测点总行数,col为被测点总列数,则有:
则均方误差评价f1计算公式为:
f1=P·rs+Q·cs (11);
式中:P、Q分别为行方向和列方向的收缩系数,P、Q的数值与该方向尺寸成反比;
步骤4-2:梯度变化与对中度评价:
将每行梯度复杂性评价记为rg、每列梯度复杂性评价记为cg、每行对中性评价记为rn、每列对中性评价记为cn分,则有:
则总梯度复杂性评价f21微分项与总对中度评价f22积分项分别为:
f21=rg+cg (14);
f22=rn+cn (15);
当梯度方向恒定,且变化数值越小时,梯度复杂性评价f21越小;每点的照度值越接近平均照度值时,对中性评价f22越小;
步骤4-3:阈值达标度评价:
阈值达标度评价f3表达式如下:
式中:阈值thresh为条形LED光源矩阵中LED光源数量与单个LED光源照度期望值的乘积;
步骤4-4:目标与背景区分度评价:
目标与背景区分度评价f4为高度在Z方向下降1cm时,平面照度值变化量的描述:
式中:e-1(i,j)为对应于(i,j)点,高度方向下降1cm的照度值,当两平面照度差越大时,此项越大;
步骤4-5:照度效果评价函数:
照度效果评价函数为上述五项评价函数的加权和:
f=c1·f1+c21·f21+c22·f22+c3·f3-c4·f4 (18);
式中:
c1为照度方差权值,控制平面照度值的方差;
c21为梯度变化权值,控制照度值梯度的变化速度;
c22为对中度权值,控制起始点照度值与平均照度值的差值;
c3为阈值达标度权值,控制最低平均照度值,筛出平均照度值过低的结果;
c4为目标与背景区域照度区分度权值,控制目标区域与背景区域的区分程度;
总评价函数取值最小时为使照明效果最优状态,此时(θ1,θ2,dx2,dz2)为位姿参数的最优解,即:
设置优化的目标为方形区域光照效果,在保证平面照度均匀度f1、梯度复杂性评价f21、对中性评价f22和平面平均照度f3的情况下,通过有限次重复试验得出,当c1=0.6,c21=1.8,c22=0.8,c3=1,c4=0.6时,总评价函数能够相对准确表征照明效果;
步骤五:应用樽海鞘算法对平面照度效果评价函数进行优化求解,获取具有最优照度效果的LED光源的空间位姿参数;
所述步骤五中樽海鞘算法按如下步骤进行:
步骤5-1:初始化阶段确定种群数量N,搜索维度数D,最大迭代次数MAX,每一维数据的上边界UB和下边界LB,并初始化每一个单元每一维的信息,其中第m个单元的第n维位置信息记为
步骤5-2:计算每一个单元适应度Ym,按从小到大排列,排列第一位的为领导者,其余为追随者,并将历史最优单元的位置定为食物的位置F;
步骤5-3:更新C1、C2、C3,其中C2、C3为0到1之间的随机数,更新步长dv,其中t为当前迭代步数:
s=(MAX·N)/5 (23);
式中:
C0为初始值,一般设为0.9;
s为控制其变化的速度的调速因子,用于使C1在初始阶段保持高权值,并在设定迭代次数后快速减小;
步骤5-4:根据C3的大小,更新领导者的位置信息:
dv=C1((UB-LB)C2+LB) (24);
然而原始樽海鞘算法存在早熟问题,为使算法能跳出局部最优点,在位置更新公式上,弱化食物点F的重要性,并加入对当前迭代步中的个体最优值Xbest信息的参考,增加算法的活性,并在位置变化信息中随机选取一维,将其变化量缩减为原先的10%,如选取第σ维参数,使变化方向由原先的正向变为伪正切方向,加大搜索范围,其中速度更新公式如式(26)所示,位置更新公式如式(27)所示:
其中:σ为[1,n]范围内的随机正整数;
C4为惰性因子,致使算法收敛;
C5为活性因子,提高算法跳出局部最优点的能力;
步骤5-5:更新追随者位置信息:
Xm=(Xm+Xm-1)/2 (28);
步骤5-6:若迭代步数大于MAX则结束迭代,进行下一步,否则重回步骤5-2;
步骤5-7:输出历史最优点F对应的位姿参数(θ1,θ2,dx2,dz2);
步骤六:应用改进樽海鞘算法对平面照度效果评价函数进行优化求解,获取具有最优照度效果的条形LED光源的空间位姿参数;
其中,在所述步骤3-1中,单个LED光源的I0和m通过实验法获得方式如下:
当LED光源矩阵与被测点处于同一水平位置时,通过测量参数x、h、γ推导得出d、α、β,并记录当前参数下对应的照度值y;
其中:x为光源到目标点水平距离,h为光源到目标点垂直距离,γ为当前光源偏转的角度,则有如下几何关系:
γ+α+β=90 (30);
根据式(31),若将光源发出的光线假想为无数条截面无穷小的光柱,则可以将光柱发射距离与被测面截取光柱的面积的变化造成的照度衰减项记为Ls1,将光线偏离光轴造成的照度衰减项记为Ls2,则有:
对公式(3)两边取对数,得:
lnE=lnI0+mlnLs2+lnLs1 (33);
记:
其中y为列向量,A为2列向量构成的矩阵,则有:
对等式两边同乘以AT:
则,I0和m相关表达式如式(37)所示:
平均球面发光强度I0和系数m可通过测量垂直距离d、光线与光轴夹角α、光线与目标平面法向量夹角β及实际照度值E后计算得出。
2.根据权利要求1所述的视觉检测系统LED光源照度优化方法,其特征在于:所述LED光源矩阵形成条形光源,条形光源由光源控制器进行控制,条形的LED光源矩阵由4行10列非相关LED光源排列而成,按水平布置,长度方向LED间隔5mm,宽度方向LED间隔4mm。
3.一种权利要求1所述的视觉检测系统LED光源照度优化方法中用的实验设备,其特征在于:包括实验台(1)、光源支架、照度计(2)、LED光源矩阵(3)和控制系统,所述实验台上侧固定设有水平的目标平面(4),实验台上还固定设有沿X方向延伸的第一直线轨道(5),第一直线导轨上能够滑动的设有第一滑块(6),第一滑块上固定设有沿Y方向延伸的第二直线轨道(7),第二直线导轨上能够滑动的设有第二滑块(8),照度计固定安装于第二滑块上,照度计能够检测实验台上目标平面任意坐标位置处的照度值,光源支架包括基座(9)、沿Z方向延伸的竖杆(10)、沿X方向延伸的第一横杆(11)、沿Y方向延伸的第二横杆(12)、连接块(13)、第一定位件、第二定位件、第三定位件和光源底座(14),所述基座能够固定安装于实验台上,竖杆固定安装于基座上,连接块套设于竖杆上,连接块在竖杆上能够沿Z方向滑动并且能够绕Z轴转动,连接块上设有一沿X方向延伸的第一插孔,第一横杆一端轴向能够滑动且圆周方向能够转动的插设于连接块的第一插孔内,第二横杆固定安装于第一横杆另一端上,光源底座上设有一沿Y方向延伸的第二插孔,所述第二横杆轴向能够相对滑动且圆周方向能够相对转动的插设于第二插孔内,LED光源矩阵能够固定安装于光源底座上,所述第一定位件能够将竖杆与连接块固定,第二定位件能够将连接块与第一横杆固定,第三定位件能够将第二横杆与光源底座固定,所述LED光源矩阵的光线能够投向实验台上的目标平面任意位置,控制系统能够根据LED光源矩阵的位置、投射角度和照度计检测的照度数值分析计算获得目标平面上照度分布数据。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111034167.6A CN113916906B (zh) | 2021-09-03 | 2021-09-03 | 视觉检测系统led光源照度优化方法及所用实验设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111034167.6A CN113916906B (zh) | 2021-09-03 | 2021-09-03 | 视觉检测系统led光源照度优化方法及所用实验设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113916906A CN113916906A (zh) | 2022-01-11 |
CN113916906B true CN113916906B (zh) | 2024-01-09 |
Family
ID=79233879
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111034167.6A Active CN113916906B (zh) | 2021-09-03 | 2021-09-03 | 视觉检测系统led光源照度优化方法及所用实验设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113916906B (zh) |
Citations (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08287253A (ja) * | 1995-04-11 | 1996-11-01 | N T T Data Tsushin Kk | 物体形状の推定方法および物体形状推定装置 |
JPH09325120A (ja) * | 1996-06-03 | 1997-12-16 | Ricoh Co Ltd | 感光体表面検査方法および感光体表面検査装置 |
US5802202A (en) * | 1993-12-24 | 1998-09-01 | Mazda Motor Corporation | Method of determining three dimensional position of object and apparatus therefor |
JP2009019997A (ja) * | 2007-07-12 | 2009-01-29 | Toray Ind Inc | 欠点検査装置および欠点検査方法 |
CN101536483A (zh) * | 2006-04-28 | 2009-09-16 | Esi电子科技工业公司 | 经由多重波长光改善图像质量 |
JP2010107301A (ja) * | 2008-10-29 | 2010-05-13 | Aisin Seiki Co Ltd | 表面欠陥評価装置 |
KR20120010469A (ko) * | 2010-07-26 | 2012-02-03 | (주)다인디지컬처 | 3차원 형상 스캐닝을 통한 최적의 데이터 추출을 위한 조명 시스템 |
CN102683337A (zh) * | 2012-06-05 | 2012-09-19 | 江苏彤明车灯有限公司 | 大功率led阵列集成方法 |
CN103268521A (zh) * | 2013-05-13 | 2013-08-28 | 南京师范大学 | 一种全局优化的照明光源布置方法 |
CN105898263A (zh) * | 2016-05-24 | 2016-08-24 | 厦门美图之家科技有限公司 | 一种图像白平衡方法、装置和计算设备 |
CN106838723A (zh) * | 2017-02-16 | 2017-06-13 | 南开大学 | 一种基于光学仿真的照明系统设计方法及实验装置 |
CN206353137U (zh) * | 2016-12-31 | 2017-07-25 | 天津市奥特梅尔光电科技有限公司 | 一种基于机器视觉的滚筒测试工作台 |
KR20170140636A (ko) * | 2016-06-13 | 2017-12-21 | 한국생산기술연구원 | 대면적 영상 화질 향상을 위한 칼라합성조명 제어방법 |
CN207471286U (zh) * | 2017-11-02 | 2018-06-08 | 漳州立达信光电子科技有限公司 | 一种照明设备及照明控制系统 |
CN109840889A (zh) * | 2019-01-24 | 2019-06-04 | 华东交通大学 | 基于仿生算法的高精度视觉测量方法、装置和系统 |
CN109874209A (zh) * | 2018-11-06 | 2019-06-11 | 中国计量大学 | 基于场景自动识别的商务酒店客房场景照明系统 |
CN110447220A (zh) * | 2017-03-21 | 2019-11-12 | 奥林巴斯株式会社 | 校准装置、校准方法、光学装置、摄影装置以及投影装置 |
CN110793000A (zh) * | 2019-10-31 | 2020-02-14 | 广州市浩洋电子股份有限公司 | 一种基于机器视觉的摇头电脑灯智能调焦方法 |
CN110910449A (zh) * | 2019-12-03 | 2020-03-24 | 清华大学 | 识别物体三维位置的方法和系统 |
CN111354007A (zh) * | 2020-02-29 | 2020-06-30 | 华南理工大学 | 一种基于纯机器视觉定位的投影交互方法 |
CN111604598A (zh) * | 2020-05-06 | 2020-09-01 | 大连理工大学 | 一种机械臂进给式激光刻蚀系统的对刀方法 |
CN211399691U (zh) * | 2019-12-29 | 2020-09-01 | 深圳市瓦伊机器人科技有限公司 | 一种夹具易调整的视觉实验平台 |
CN111784673A (zh) * | 2020-06-30 | 2020-10-16 | 创新奇智(上海)科技有限公司 | 缺陷检测模型训练和缺陷检测方法、设备及存储介质 |
CN112533317A (zh) * | 2018-12-29 | 2021-03-19 | 中国计量大学 | 一种场景式教室智能照明优化方法 |
CN112584571A (zh) * | 2018-12-29 | 2021-03-30 | 中国计量大学 | 开放式办公室照明控制方法 |
CN112834527A (zh) * | 2020-12-31 | 2021-05-25 | 江苏理工学院 | Qfn芯片图像采集装置及其图像采集方法 |
CN113252706A (zh) * | 2020-02-10 | 2021-08-13 | 欧姆龙株式会社 | 图像检查装置、存储介质以及照明设定装置 |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11211673A (ja) * | 1998-01-27 | 1999-08-06 | Honda Motor Co Ltd | 表面性状評価装置および表面性状評価方法 |
CN100462984C (zh) * | 2006-03-17 | 2009-02-18 | 清华大学 | 自由曲面反射器设计系统及方法 |
EP1914667A3 (en) * | 2006-03-24 | 2008-05-07 | MVTec Software GmbH | System and methods for automatic parameter determination in machine vision |
CN102496063A (zh) * | 2011-11-17 | 2012-06-13 | 江南大学 | 大功率led阵列照度均匀化的方法 |
CN104160700B (zh) * | 2012-06-28 | 2016-09-14 | 日本电气株式会社 | 相机位置姿态评估设备和相机位置姿态评估方法 |
CN104122264B (zh) * | 2013-04-25 | 2016-08-03 | 鸿富锦精密工业(深圳)有限公司 | 外观瑕疵检测系统及方法 |
CN105221974B (zh) * | 2014-06-13 | 2017-05-31 | 清华大学 | 基于xy多项式的led自由曲面照明系统的设计方法 |
SG10201800564RA (en) * | 2015-01-20 | 2018-03-28 | Balmuda Inc | Illumination device |
US10621751B2 (en) * | 2017-06-16 | 2020-04-14 | Seiko Epson Corporation | Information processing device and computer program |
CN107564061B (zh) * | 2017-08-11 | 2020-11-20 | 浙江大学 | 一种基于图像梯度联合优化的双目视觉里程计算方法 |
JP7028333B2 (ja) * | 2018-03-05 | 2022-03-02 | オムロン株式会社 | 照明条件の設定方法、装置、システム及びプログラム並びに記憶媒体 |
JP7296138B2 (ja) * | 2018-05-03 | 2023-06-22 | ザ ガバニング カウンシル オブ ザ ユニバーシティ オブ トロント | 深度イメージングを最適化するための方法およびシステム |
CN109003911B (zh) * | 2018-08-02 | 2021-07-20 | 安徽大华半导体科技有限公司 | 一种半导体芯片引脚成型缺陷检测的方法 |
CN109344882B (zh) * | 2018-09-12 | 2021-05-25 | 浙江科技学院 | 基于卷积神经网络的机器人控制目标位姿识别方法 |
CN110389127B (zh) * | 2019-07-03 | 2020-08-14 | 浙江大学 | 一种金属陶瓷零件识别及表面缺陷检测系统和方法 |
CN111641454B (zh) * | 2020-06-08 | 2021-08-24 | 西安电子科技大学 | 一种基于蝙蝠算法的室内可见光通信系统光源优化方法 |
-
2021
- 2021-09-03 CN CN202111034167.6A patent/CN113916906B/zh active Active
Patent Citations (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5802202A (en) * | 1993-12-24 | 1998-09-01 | Mazda Motor Corporation | Method of determining three dimensional position of object and apparatus therefor |
JPH08287253A (ja) * | 1995-04-11 | 1996-11-01 | N T T Data Tsushin Kk | 物体形状の推定方法および物体形状推定装置 |
JPH09325120A (ja) * | 1996-06-03 | 1997-12-16 | Ricoh Co Ltd | 感光体表面検査方法および感光体表面検査装置 |
CN101536483A (zh) * | 2006-04-28 | 2009-09-16 | Esi电子科技工业公司 | 经由多重波长光改善图像质量 |
JP2009019997A (ja) * | 2007-07-12 | 2009-01-29 | Toray Ind Inc | 欠点検査装置および欠点検査方法 |
JP2010107301A (ja) * | 2008-10-29 | 2010-05-13 | Aisin Seiki Co Ltd | 表面欠陥評価装置 |
KR20120010469A (ko) * | 2010-07-26 | 2012-02-03 | (주)다인디지컬처 | 3차원 형상 스캐닝을 통한 최적의 데이터 추출을 위한 조명 시스템 |
CN102683337A (zh) * | 2012-06-05 | 2012-09-19 | 江苏彤明车灯有限公司 | 大功率led阵列集成方法 |
CN103268521A (zh) * | 2013-05-13 | 2013-08-28 | 南京师范大学 | 一种全局优化的照明光源布置方法 |
CN105898263A (zh) * | 2016-05-24 | 2016-08-24 | 厦门美图之家科技有限公司 | 一种图像白平衡方法、装置和计算设备 |
KR20170140636A (ko) * | 2016-06-13 | 2017-12-21 | 한국생산기술연구원 | 대면적 영상 화질 향상을 위한 칼라합성조명 제어방법 |
CN206353137U (zh) * | 2016-12-31 | 2017-07-25 | 天津市奥特梅尔光电科技有限公司 | 一种基于机器视觉的滚筒测试工作台 |
CN106838723A (zh) * | 2017-02-16 | 2017-06-13 | 南开大学 | 一种基于光学仿真的照明系统设计方法及实验装置 |
CN110447220A (zh) * | 2017-03-21 | 2019-11-12 | 奥林巴斯株式会社 | 校准装置、校准方法、光学装置、摄影装置以及投影装置 |
CN207471286U (zh) * | 2017-11-02 | 2018-06-08 | 漳州立达信光电子科技有限公司 | 一种照明设备及照明控制系统 |
CN109874209A (zh) * | 2018-11-06 | 2019-06-11 | 中国计量大学 | 基于场景自动识别的商务酒店客房场景照明系统 |
CN112533317A (zh) * | 2018-12-29 | 2021-03-19 | 中国计量大学 | 一种场景式教室智能照明优化方法 |
CN112584571A (zh) * | 2018-12-29 | 2021-03-30 | 中国计量大学 | 开放式办公室照明控制方法 |
CN109840889A (zh) * | 2019-01-24 | 2019-06-04 | 华东交通大学 | 基于仿生算法的高精度视觉测量方法、装置和系统 |
CN110793000A (zh) * | 2019-10-31 | 2020-02-14 | 广州市浩洋电子股份有限公司 | 一种基于机器视觉的摇头电脑灯智能调焦方法 |
CN110910449A (zh) * | 2019-12-03 | 2020-03-24 | 清华大学 | 识别物体三维位置的方法和系统 |
CN211399691U (zh) * | 2019-12-29 | 2020-09-01 | 深圳市瓦伊机器人科技有限公司 | 一种夹具易调整的视觉实验平台 |
CN113252706A (zh) * | 2020-02-10 | 2021-08-13 | 欧姆龙株式会社 | 图像检查装置、存储介质以及照明设定装置 |
CN111354007A (zh) * | 2020-02-29 | 2020-06-30 | 华南理工大学 | 一种基于纯机器视觉定位的投影交互方法 |
CN111604598A (zh) * | 2020-05-06 | 2020-09-01 | 大连理工大学 | 一种机械臂进给式激光刻蚀系统的对刀方法 |
CN111784673A (zh) * | 2020-06-30 | 2020-10-16 | 创新奇智(上海)科技有限公司 | 缺陷检测模型训练和缺陷检测方法、设备及存储介质 |
CN112834527A (zh) * | 2020-12-31 | 2021-05-25 | 江苏理工学院 | Qfn芯片图像采集装置及其图像采集方法 |
Non-Patent Citations (12)
Title |
---|
Optimization of a Merit Function for the Visual Perception of Color Uniformity in Spot Lights;Teupner, A 等;COLOR RESEARCH AND APPLICATION;第40卷(第3期);287-296 * |
Rectangular illumination method using LED arrays for machine vision;Zhang, HL;APPLIED OPTICS;第59卷(第11期);3518-3525 * |
基于PSO粒子群算法的LED照明系统光照均匀性研究;赵芝璞;季凌燕;沈艳霞;苏宙平;;发光学报(第12期);第126-131页 * |
基于粒子群算法的LED植物光源最优光照区域确定;朱舟;童向亚;郑书河;;河北农业大学学报(第04期);第133-138页 * |
基于粒子群算法的最优照度均匀度LED阵列设计;董铂龙等;科技与创新(第8期);第22-24页,第28页 * |
实现白光LED阵列色温分布均匀化技术研究;胡莹;苏宙平;曹晶辉;;液晶与显示(第04期);第69-80页 * |
机器视觉系统前置矩形LED阵列的优化布置;郝飞等;光学学报;第34卷(第12期);第175-180页 * |
植物培养箱内LED光源均匀性的研究;武礼宾等;照明工程学报;第31卷(第2期);第104-109页 * |
漫反射自由曲面的设计方法;祝振敏;罗慧;;激光与光电子学进展(第05期);300-306 * |
用于机器视觉测量曲面照明的LED阵列优化算法设计;阙笑语等;激光与光电子学进展(第7期);第414-419页 * |
视觉检测系 统 LED 光源照度优化方法;巢渊等;红外与激光工程;第50卷(第12期);第1-12页 * |
阙笑语 ; 吴国华 ; .用于机器视觉测量曲面照明的LED阵列优化算法设计.激光与光电子学进展.2018,(第07期),第414-419页. * |
Also Published As
Publication number | Publication date |
---|---|
CN113916906A (zh) | 2022-01-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9704232B2 (en) | Stereo vision measurement system and method | |
EP3074761B1 (en) | Calibration apparatus and method for computed tomography | |
JP3871536B2 (ja) | 基板上のパターン要素のエッジをポジション決定するための方法および測定装置 | |
US10935372B2 (en) | Device and method for measuring a surface topography, and calibration method | |
JP6694445B2 (ja) | ロボットによるウェハ配置の光学式較正のための装置及び方法 | |
CN105783711B (zh) | 三维扫描仪校正系统及其校正方法 | |
US20120126116A1 (en) | Pattern shape selection method and pattern measuring device | |
CN106525864B (zh) | 一种图像灰度的光源补偿装置及补偿方法 | |
EP2702556A1 (en) | A method and apparatus for providing image data for constructing an image of a region of a target object | |
JP2019512166A5 (zh) | ||
KR102099115B1 (ko) | 기판 이송 장치, 이를 포함하는 기판 처리 장치 및 기판 틀어짐 보정 방법 | |
KR101130442B1 (ko) | 위치 측정 장치, 성막 방법, 성막 프로그램을 기록한 컴퓨터 판독가능한 기록 매체 및 성막 장치 | |
KR20120020090A (ko) | 무중력 형상 추정 방법 및 그 기기 | |
US11026653B2 (en) | Method and apparatus for calibrating an X-ray system | |
CN113916906B (zh) | 视觉检测系统led光源照度优化方法及所用实验设备 | |
CN108030501B (zh) | 一种静态锥束ct成像系统几何校准装置及方法 | |
JP2018522240A (ja) | アーチファクトを測定するための方法 | |
CN111189840B (zh) | 近场均匀照明的纸病检测方法 | |
JP2011049232A (ja) | 露光装置、露光方法及び半導体装置の製造方法 | |
US9116044B2 (en) | System and method for determining size and location of minimum beam spot | |
Li et al. | Monocular stereo vision based method for validating path accuracy of industrial robots | |
US9554094B1 (en) | System and method for determining a displaced substrate with a vision system | |
TWI721622B (zh) | 光刻裝置、光刻裝置的垂向控制方法及曝光方法 | |
Chen et al. | Optimization of camera-laser measurement system | |
Hedstrand et al. | Improving Photogrammetry Instrument Performance through Camera Calibration for Precision Digital Manufacturing |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |