CN113639630A - 基于多模板匹配和自动对焦功能的尺寸测量仪系统 - Google Patents
基于多模板匹配和自动对焦功能的尺寸测量仪系统 Download PDFInfo
- Publication number
- CN113639630A CN113639630A CN202110356536.7A CN202110356536A CN113639630A CN 113639630 A CN113639630 A CN 113639630A CN 202110356536 A CN202110356536 A CN 202110356536A CN 113639630 A CN113639630 A CN 113639630A
- Authority
- CN
- China
- Prior art keywords
- template
- measurement
- interface
- camera
- button
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000006870 function Effects 0.000 title claims abstract description 78
- 238000012545 processing Methods 0.000 claims abstract description 97
- 238000005259 measurement Methods 0.000 claims description 300
- 238000000034 method Methods 0.000 claims description 119
- 230000008569 process Effects 0.000 claims description 112
- 238000001514 detection method Methods 0.000 claims description 36
- 238000012790 confirmation Methods 0.000 claims description 24
- 238000012986 modification Methods 0.000 claims description 24
- 230000004048 modification Effects 0.000 claims description 24
- 238000010586 diagram Methods 0.000 claims description 19
- 238000004519 manufacturing process Methods 0.000 claims description 18
- 230000002159 abnormal effect Effects 0.000 claims description 17
- 238000003708 edge detection Methods 0.000 claims description 7
- 238000003860 storage Methods 0.000 claims description 7
- 239000011159 matrix material Substances 0.000 claims description 5
- 230000001960 triggered effect Effects 0.000 claims description 5
- 238000012423 maintenance Methods 0.000 claims description 2
- 238000004364 calculation method Methods 0.000 description 13
- 238000011156 evaluation Methods 0.000 description 13
- 238000013519 translation Methods 0.000 description 11
- 238000007667 floating Methods 0.000 description 7
- 238000001914 filtration Methods 0.000 description 6
- 230000009191 jumping Effects 0.000 description 5
- 230000006978 adaptation Effects 0.000 description 4
- 238000005286 illumination Methods 0.000 description 4
- 238000006073 displacement reaction Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 238000003825 pressing Methods 0.000 description 3
- 230000015556 catabolic process Effects 0.000 description 2
- 238000005034 decoration Methods 0.000 description 2
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 230000008030 elimination Effects 0.000 description 2
- 238000003379 elimination reaction Methods 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 238000005096 rolling process Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- VYPSYNLAJGMNEJ-UHFFFAOYSA-N Silicium dioxide Chemical compound O=[Si]=O VYPSYNLAJGMNEJ-UHFFFAOYSA-N 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 239000012491 analyte Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000013100 final test Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000000741 silica gel Substances 0.000 description 1
- 229910002027 silica gel Inorganic materials 0.000 description 1
- 238000004513 sizing Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
- G01B11/03—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring coordinates of points
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明公开基于多模板匹配和自动对焦功能的尺寸测量仪系统,1)初始化步骤、2)模板选择界面处理步骤、3)实时测量步骤;本发明提供了提供了全自动、标准化、高效工作的基于多模板匹配和自动对焦功能的尺寸测量仪系统。
Description
技术领域
本发明涉及尺寸测量领域,更具体地说,它涉及基于多模板匹配和自动对焦功能的尺寸测量仪系统。
背景技术
在自动化生产过程中,为了保证产品质量,需要使用尺寸测量仪对产品的尺寸进行测量操作。
传统的尺寸测量仪,难以很好的在保证自动化程度的前提下保证测量的精准度,容易出现由于测量误差过大而导致的不合格产品占有比例过大,增加成本的同时降低了工作效率,给使用者的使用带来不便。
因此图像尺寸测量仪成为一种趋势,其常用于测量二维尺寸。广泛应用在各种不同的精密产业中。目前主要用于在卡尺、角度尺很难测量到或根本测量不到的但在装配中起着重要的零部件尺寸、角度等,如硅胶、电路板的爬电距离、电器间隙、控制面板的灯孔、塑料件的某些尺寸等等,还可用于对某些零部件的图片进行拍摄用于分析不良原因。
但是现有的图像尺寸测量仪在实际使用时,仍旧存在较多缺点,目前难以做到全自动化检测,检测的过程五花八门没有一定的标准,使得最终检测结果也容易出现偏差,使得工作效率不高,对于高精度产品的检测,反而大大增加了工作人员的劳动强度,难以有效的帮助工作人员降低工作量,提高工作效率。
发明内容
本发明克服了现有技术的不足,提供了全自动、标准化、高效工作的基于多模板匹配和自动对焦功能的尺寸测量仪系统。
为了解决上述技术问题,本发明的技术方案如下:
基于多模板匹配和自动对焦功能的尺寸测量仪系统,具体运作步骤如下:
1)初始化步骤:启动测量仪,打开操作软件后,进入开机初始化界面,在该界面中进行开机初始化;开机初始化流程主要进行系统相关软硬件的检测以及参数的读取和设置工作,系统相关的软硬件包括:数据库、相机、环形光源和背光源,参数主要包括相机配置参数、串口配置参数、权限管理参数和尺寸测量相关参数;对相关软硬件的检测结果信息进行处理,判断是否存在系统无法正常运行的软硬件异常;若存在,则等待用户进行异常信息确认并退出系统;若不存在,则进入模板选择界面;
2)模板选择界面处理步骤:进入模板选择界面时,默认勾选或选择上次退出系统前用户选择的模板(勾选表示用户选择需要的模板,选择为用户需要查看的模板信息,一般为上次退出系统前用户选择的模板,但可以重新进行选择),用户可在该界面中勾选一个或者多个需要测量的工件模板,若进行选中模板操作,界面中会显示该模板的测量结果图和测量结果信息,选中操作有且只能选中一个模板,用户完成选择后点击“进入测量”按钮进入下一个界面或者点击“退出系统”按钮退出系统;此时,若用户选择空模板,则弹出管理员密码输入对话框,用户输入正确的管理员密码后进入模板操作界面;若用户选择其他模板,则进入实时测量界面;
3)实时测量步骤:实时测量界面内进行工件尺寸的实时测量、系统设置、临时制作和退出系统的操作;
在实时测量界面中点击“开始测量”按钮进入被测工件的实时尺寸测量流程;先判断是否满足测量条件,分别判断勾选模板数是否符合约束条件和相机校准结果数据是否存在,若满足测量条件,则判断是否采集到图像,否则根据未满足的测量条件弹出信息提示框提示,等待用户进行信息确认后返回,等待用户操作;若采集到图像,则进行连续测量和一键测量版本的判断;若为一键测量版本,则进入一键测量版本单张图像实时尺寸测量流程,完成该流程后再判断处理图像张数是否达到设定值,若达到则进行多张图像数据处理流程,完成该流程后结束本次测量,等待用户操作,若未达到,则返回判断是否采集到图像;若为连续测量版本,则进入连续测量版本单张图像实时尺寸测量流程,完成后进入连续测量版本的多张图像数据处理流程,完成该流程后进入下一次循环,判断是否采集到图像;
在实时尺寸测量过程中,实时判断用户是否点击“停止测量”按钮,若是,则结束本次测量,返回等待用户操作,否则继续执行实时尺寸测量流程;
点击“系统设置”按钮后会弹出管理员密码输入框,若用户输入正确的管理密码则进入系统设置界面,否则提示用户密码输入错误,用户可关闭管理员密码输入框或者在管理员密码输入框内重新输入密码;在系统设置界面内点击不同的按钮可进行相应功能的操作,操作按钮具体包括:参数配置、模板操作、模板校准、辅助对焦、权限管理和返回;
点击“参数配置”按钮后,系统打开参数配置界面,在参数配置界面内运行参数配置模块,同时判断用户是否点击“返回”按钮,若点击“返回”按钮,则进入参数保存流程,完成后关闭参数配置界面,返回系统设置界面;
点击“模板操作”按钮后,系统打开模板操作界面,在模板操作界面内运行模板操作模块,同时判断用户是否点击“返回”按钮,若是,则关闭模板操作界面,返回系统设置界面;
点击“模板校准”按钮,进入模板校准界面,在模板校准界面内运行模板校准模块,同时判断用户是否点击“返回”按钮,若是,则关闭模板校准界面,返回系统设置界面;
点击“辅助对焦”按钮,进入辅助对焦界面,在辅助对焦界面内运行自动对焦模块,同时判断用户是否点击“返回”按钮,若是,则关闭辅助对焦界面,返回系统设置界面;
点击“权限管理”按钮,进入权限管理界面,在权限管理界面内运行权限管理模块,同时判断用户是否点击“返回”按钮,若是,则关闭权限管理界面,返回系统设置界面;
临时制作触发后会弹出管理员密码输入框,若用户输入正确的管理员密码将打开模板任务编辑界面,否则提示用户密码输入错误,用户可关闭管理员密码输入框或者在管理员密码输入框内重新输入密码;在模板任务编辑界面内进行临时模板制作流程,同时判断用户是否点击“返回”按钮,若是,则生成临时模板后关闭模板任务编辑界面,返回实时测量界面;
退出系统触发后,弹出确认退出系统对话框,若用户选择确定,则退出系统,若否则关闭退出系统对话框。
本发明相比现有技术优点在于:
本发明的多模板匹配功能,实现多种不同类型工件实时测量,无需切换模板。所有模板在测量界面实时显示,并可进行选择模板的切换,实现快速的工件模板选择,提高测量效率。其中实时图像处理算法:处理流程优化包括减少图像分辨率(像素合并处理),提高图像处理速度;帧间图像比较:根据与上一帧图像的帧间差分判断被测工件是否移动,若未移动,直接根据上一帧的旋转平移结果进行当前帧图像的旋转平移,再根据上一帧模板的掩膜信息进行相关尺寸测量。传入模板匹配顺序:传入上一帧实时图匹配到的模板图的编号,算法直接根据相应编号,读取模板及掩膜信息,进行匹配、测量,结合被测物是否移动进行处理。待测图和模板源图的比较:根据与当前模板源图的差分判断被测工件是否移动,若未移动,则根据当前模板的掩膜信息进行相关尺寸测量。当待测物和模板源图未匹配成功时,再将待测物水平镜像图像和模板源图进行匹配,用来检测待测物是否放反。具体通过单张图像尺寸测量模块进行整理细化。
本发明的自动对焦功能,能实时获取图像的清晰度,根据清晰度实时调整相机物距。调节相机物距过程中图像清晰度实时反馈,实现图像清晰度的实时调整,直至达到最佳(满足要求)的清晰度。
本发明的辅助对焦界面:辅助对焦界面实现工件待测区域清晰度的实时测量,从而保证待测区域的清晰度在要求范围内。同时在该界面中通过与高度传感器结合可实现被测面高度测量功能,通过高度的测量后,查表得到该高度对应的像素放大率及相机畸变参数,在实时测量中使用。本系统在模板校准界面实现相机校准功能,同时通过高度传感器记录校准完成后的相机高度信息,使相机校准参数和相机高度信息形成一一对应的映射关系。
本发明的实时测量界面中的自动对焦功能(清晰度评价算法)在实时尺寸测量中根据条件进行调用,实现测量过程的图像清晰度实时反馈,用户根据反馈信息进行相关操作。若图像清晰度符合要求,则继续进行实时测量,若图像清晰度不满足要求,则进入辅助对焦界面通过调整相机高度使图像清晰度符合要求,再返回实时测量界面进行实时测量。
本发明的清晰度评价函数执行流程,通过清晰度评价函数,返回待评价区域的清晰度。清晰度评价的实现首先读入待测图、ROI坐标信息(用于自动对焦区域选择的测量类型掩膜信息或辅助对焦界面所编辑的矩形框坐标信息)及像素灰度值设定阈值;根据ROI坐标信息,在待测图中提取ROI,并按设定阈值进行黑白像素点分类,得到黑像素点集合和白像素点集合;分别计算黑白集合像素点的平均灰度值;计算白集合的平均灰度值占黑白集合平均灰度值之和的百分比,即为对比度;若对比度大于等于设定阈值且小于100%,则为对焦清晰,返回对焦清晰度值,结束本流程。若大于0且小于设定阈值,则为对焦不清晰,返回对焦清晰度值,结束本流程。若等于100或0,ROI无效,即提取的ROI区域或是全黑或是全白,提示需重新提取,返回对焦清晰度值。
本发明的临时测量功能,实现通过临时制作实现临时测量工件的快速模板制作。还可实现超视场工件测量,当待测工件尺寸较大超出相机视场范围时,保持当前工件位置不变进行临时模板制作并进行尺寸测量,通过此方法可实现超视场工件的尺寸快速测量。
本发明的帧率自适应和自动跳帧功能,实现实时图像尺寸测量算法与图像采集之间的稳定调度。在实时测量过程中,图像会根据相机帧率进行连续采集,而采集到图像后会开启尺寸测量线程,因此为了使尺寸测量算法稳定运行和图像正常采集,需保证图像采集时间与算法处理时间之间的平衡。
其中,帧率自适应功能:通过计算指定帧图像的尺寸测量算法运行平均时间,判断其是否在相机帧率对应图像采集时间的合理阈值范围之内,若在范围内,则不需要调节相机帧率,若超出范围,则通过相机接口函数调节帧率,使每帧图像的算法处理时间在图像采集时间的合理阈值范围内。自动跳帧功能:由于图像的不同,使得每张图像的算法处理时间上存在一定的差异。因此若单张图像的算法处理时间超出指定图像采集张数时,采取跳帧方式处理,对新采集的图像不进行尺寸测量,从而防止过多的图像处理算法同时运行导致程序崩溃。帧率自适应功能针对多张图像尺寸测量算法运行时间统计,自动跳帧功能针对单张图像尺寸测量算法运行过程采集图像张数统计,两者结合,从而达到图像尺寸测量算法和图像采集之间的稳定运行。
本发明的开机光源检测功能,在开机时,相机连接成功后打开相机,通过调用相机采集函数采集一张图像;接通环形光源后,相机再采集一张图像,通过光源开关前后的图像对比进行光源是否正常工作检测。背光源的检测也采用同样的方法。
本发明的空模板功能,实现模板选择界面提供空模板选择入口,通过空模板功能,实现新零件的快速模板制作。新零件测量时,系统启动进入模板选择界面选择空模板,系统直接进入模板制作界面,用户对新零件制作模板后可直接进行测量。通过空模板功能,当更换相机导致采集图像分辨率变化时,提供进入正常测量功能的入口,此时系统已制作模板由于模板信息包含的模板源图、模板掩膜图等尺寸信息与实时图不同,因此无法选择系统已制作模板进入实时测量界面;用户可通过选择空模板进入模板制作界面,制作模板后返回实时测量界面进行尺寸测量。
本发明的一键测量和连续测量功能,实现一键测量和连续测量功能的一键切换。一键测量功能相比于连续测量功能,适用于更加高精度的测量场景。一键测量能保证待测工件稳定放置后再进行测量,连续测量由于点击测量按钮后一直处于测量状态,放置和取走工件时会引入一些外部环境的干扰因素。两种功能都采用了多线程处理的方式,每采集一张图像建立一个线程处理,对连续多个线程的处理结果进行数据处理。不同的是连续测量功能在一张图像处理完成后,对该图像及其之前的存储于堆栈内所有图像处理结果进行处理,因此每处理一张图像,会实时显示一个均值处理后的结果;而一键测量功能在系统指定张图像处理完成后,再进行所有数据的处理。
本发明的模板制作界面测量结果显示,未测到的测量类型在测量结果图上进行标识,用户可通过该标识及时发现当前编辑的待测任务是否正确。可勾选单个测量类型,用于实时尺寸测量中自动对焦区域选择。
本发明的自动曝光量调节功能,实现相机校准功能中,在相机进行校准之前利用标定板区域检测进行曝光量自动调节,通过该功能使图像亮度达到最佳的测量效果。通过算法与系统的实时交互,自动调节曝光量,直到图像亮度达到系统设置阈值范围内。
附图说明
图1为本发明的系统框图;
图2为本发明的系统初始化流程图;
图3为本发明的数据库操作流程图;
图4为本发明的光源检测流程图;
图5为本发明的模板选择界面图;
图6为本发明的模板选择流程图;
图7为本发明的模板搜索流程图;
图8为本发明的实时测量界面图;
图9为本发明的参数配置界面图;
图10为本发明的参数配置流程图;
图11为本发明的权限管理流程图;
图12为本发明的模板操作流程图;
图13为本发明的模板信息提取操作流程图;
图14为本发明的自动对焦模块的流程图;
图15为本发明的单张图像实时测量流程图;
图16为本发明的自动跳帧和帧率自适应流程图;
图17为本发明的连续测量流程图;
图18为本发明的自动跳帧和帧率自适应流程图;
图19为本发明的获取相机畸变参数和内参矩阵流程图;
图20为本发明的获取放大率流程图;
图21为本发明的模板制作界面测量结果显示示意图;
图22为本发明的自动曝光量调节流程图;
图23为本发明的设备示意图;
图24为本发明的图23的部分结构示意图;
图25为本发明的图23的升降调整部分的示意图。
具体实施方式
下面结合附图和具体实施方式对本发明进一步说明。
如图1所示,基于多模板匹配和自动对焦功能的尺寸测量仪系统,其中的尺寸测量仪如图23至图25所示,尺寸测量仪包括升降调整部分、支撑部分,升降调整部分设置在支撑部分上。
支撑部分包括安装在底座(11)上的承重板(20),安装在承重板(20)内的光源(19),底座中含有一键测量按钮(12),位于载物台玻璃(13)两侧的外置专用夹具固定孔带(10)适用于在测量一些不便于摆放的零件通过专用的工装夹具进行夹持,以及负责固定以及调整载物台玻璃(13)水平度的四颗旋钮螺丝(9)。
升降调整部分包括安装在承重板(20)上的升降立臂(21)、控制升降立臂(21)运动的立臂旋钮(7)、安装在升降立臂(21)上的镜头支架(8)、安装在镜头支架(8)上的部件,部件包括镜头罩(16)、位移传感器支架(3)。位移传感器(5)安装在位移传感器支架(3)上。升降立臂外壳(1)将升降立臂(21)包裹住,在升降立臂外壳(1)上,有两边对称的六行环形光支架固定孔(2)用于在合适位置固定环形光支架(4),环形光支架(4)上设置环形光夹具(15),环形光(14)固定在环形光夹具(15)上。工业相机(16)安装在镜头支架(8)上,镜头(18)安装在工业相机(17)上,其被镜头罩(16)包住达到不将结构外露即可,便于保护内部的仪器。
在升降立臂(21)内,旋转立臂旋钮(7)带动齿轮(25)从而将动力传动给与之啮合的齿条(26),从而带动安装有齿条(26)的滑块(24)在竖直方向上运动。当运动到合适位置时,将锁定拨片(6)向锁定方向拨下,带动锁定轴(27)上的螺纹带动其向内运动,安装在锁定轴(27)末端的锁定橡胶垫(28)便会紧紧顶住齿条(26)上的粗糙带(23),从而达到锁定的目的。
使用尺寸测量仪,首先将被测物体放在载物台玻璃(13)上,然后通过调整立臂旋钮(7)来使得工业相机(17)和镜头(18)达到合适的位置,将锁定拨片(6)向锁定方向拨下,然后在调整环形光支架(4)到合适位置,按下一键测量按钮(12),便可以在外接触控屏上显示出所需要的待测零件的相应尺寸。
基于多模板匹配和自动对焦功能的尺寸测量仪系统的具体运作步骤如下:
1)初始化步骤:启动测量仪,打开控制软件后,操作软件进入开机初始化界面,在该界面中进行开机初始化;开机初始化流程主要进行系统相关软硬件的检测以及参数的读取和设置工作,系统相关的软硬件包括:数据库、相机、环形光源和背光源,参数主要包括相机配置参数、串口配置参数、权限管理参数和尺寸测量相关参数等。对相关软硬件的检测结果信息进行处理,判断是否存在系统无法正常运行的软硬件异常;若存在,则等待用户进行异常信息确认并退出系统;若不存在,则进入模板选择界面。
2)模板选择界面处理步骤:进入模板选择界面时,默认勾选或选择上次退出系统前用户选择的模板(勾选表示用户选择需要的模板,选择为用户需要查看的模板信息,一般为上次退出系统前用户选择的模板,但可以重新进行选择),用户可在该界面中勾选一个或者多个需要测量的工件模板,若进行选中模板操作,界面中会显示该模板的测量结果图和测量结果信息,选中操作有且只能选中一个模板,用户完成选择后点击“进入测量”按钮进入下一个界面或者点击“退出系统”按钮退出系统;此时,若用户选择空模板,则弹出管理员密码输入对话框,用户输入正确的管理员密码后进入模板操作界面;若用户选择其他模板,则进入实时测量界面。
3)实时测量步骤:实时测量界面内进行工件尺寸的实时测量、系统设置、临时制作和退出系统的操作;
在实时测量界面中点击“开始测量”按钮进入被测工件的实时尺寸测量流程;先判断是否满足测量条件,分别判断勾选模板数是否符合约束条件和相机校准结果数据是否存在,若满足测量条件,则判断是否采集到图像,否则根据未满足的测量条件弹出信息提示框提示,等待用户进行信息确认后返回,等待用户操作;若采集到图像,则进行连续测量和一键测量版本的判断;若为一键测量版本,则进入一键测量版本单张图像实时尺寸测量流程,完成该流程后再判断处理图像张数是否达到设定值,若达到则进行多张图像数据处理流程,完成该流程后结束本次测量,等待用户操作,若未达到,则返回判断是否采集到图像;若为连续测量版本,则进入连续测量版本单张图像实时尺寸测量流程,完成后进入连续测量版本的多张图像数据处理流程,完成该流程后进入下一次循环,判断是否采集到图像。
在实时尺寸测量过程中,实时判断用户是否点击“停止测量”按钮,若是,则结束本次测量,返回等待用户操作,否则继续执行实时尺寸测量流程。
用户点击“系统设置”按钮后会弹出管理员密码输入框,若用户输入正确的管理密码则进入系统设置界面,否则提示用户密码输入错误,用户可关闭管理员密码输入框或者在管理员密码输入框内重新输入密码;在系统设置界面内点击不同的按钮可进行相应功能的操作,操作按钮具体包括:参数配置、模板操作、模板校准、辅助对焦、权限管理和返回;
点击“参数配置”按钮后,系统打开参数配置界面,在参数配置界面内运行参数配置模块,同时判断用户是否点击“返回”按钮,若点击“返回”按钮,则进入参数保存流程,完成后关闭参数配置界面,返回系统设置界面;
点击“模板操作”按钮后,系统打开模板操作界面,在模板操作界面内运行模板操作模块,同时判断用户是否点击“返回”按钮,若是,则关闭模板操作界面,返回系统设置界面;
点击“模板校准”按钮,进入模板校准界面,在模板校准界面内运行模板校准模块,同时判断用户是否点击“返回”按钮,若是,则关闭模板校准界面,返回系统设置界面;
点击“辅助对焦”按钮,进入辅助对焦界面,在辅助对焦界面内运行自动对焦模块,同时判断用户是否点击“返回”按钮,若是,则关闭辅助对焦界面,返回系统设置界面;
点击“权限管理”按钮,进入权限管理界面,在权限管理界面内运行权限管理模块,同时判断用户是否点击“返回”按钮,若是,则关闭权限管理界面,返回系统设置界面;
在实时测量界面点击临时制作,触发后会弹出管理员密码输入框,若用户输入正确的管理员密码将打开模板任务编辑界面,否则提示用户密码输入错误,用户可关闭管理员密码输入框或者在管理员密码输入框内重新输入密码;在模板任务编辑界面内进行临时模板制作流程,同时判断用户是否点击“返回”按钮,若是,则生成临时模板后关闭模板任务编辑界面,返回实时测量界面;
退出系统触发后,弹出确认退出系统对话框,若用户选择确定,则退出系统,若否则关闭退出系统对话框。
其中,如图2所示,初始化步骤具体如下:
1.1)同时开启数据库操作流程、相机连接操作流程和串口转IO模块连接操作流程;根据操作结果判断数据库和相机是否都连接成功;若存在连接不成功,则显示“退出系统”按钮,等待用户点击“退出系统”按钮后退出系统;由于数据库中存储着相机配置参数、模板信息和测量结果信息,只有当数据库和相机全部连接成功,才能继续;否则进行检修,等数据库和相机都连接成功;待数据库和相机都能连接成功后才能进行下一步流程。
1.2)若数据库和相机都连接成功,则判断串口转IO模块连接是否成功;若连接不成功,则显示“进入系统”和“退出系统”按钮,等待用户进行按钮操作;若连接成功,则进入光源检测模块;若用户点击“进入系统”按钮,则根据当前版本号判断是一键测量版本还是连续测量版本,若为一键测量版本则进入一键测量功能,若为连续测量版本则进入连续测量版本;若用户点击“退出系统”按钮,则退出系统;
1.3)光源检测模块判断环形光源和背光源是否能正常工作;光源检测流程执行完成后,判断光源是否都正常,若存在不能正常工作的光源则显示“进入系统”和“退出系统”按钮,等待用户进行按钮操作,若光源都能正常工作,则根据当前版本号选择相应的测量功能;若用户点击“进入系统”按钮,则根据当前版本号选择相应的测量功能;若用户点击“退出系统”按钮,则退出系统。
数据库包括存储相机配置参数、自动曝光调节参数、相机校准配置参数、相机校准结果数据、相机自动对焦参数、用户权限密码、版本号、数据处理参数、模板信息和实时测量结果数据;数据库根据这些存储数据建立相应的数据表,其中根据模板信息建立模板参数总表和模板掩膜信息表,数据表和其中存储的数据如下:
(1)相机配置参数表CameraConfigureParamtersTable:曝光量、采集帧率、处理帧率和像素合并。
(2)帧率自适应和跳帧参数表FrameRateAdapteAndJumpParameterTable:图片张数、标准差处理数据下限、标准差系数、帧率自适应比例上限和跳帧图片张数。
(3)自动曝光调节参数表AutoExposureRegulationParameterTable:自动曝光功能选择、曝光调节目标比例值、目标比例值上限、目标比例值下限、曝光量调节刻度。
(4)相机校准配置参数表CameraCalibrationParameterTable:横向格子数、纵向格子数和单位长度。
(5)相机校准结果数据表CameraCalibrationResultParameterTable:放大率、相机畸变参数、相机内参矩阵和高度值。
(6)自动对焦参数表AutoFocusingParameterTable:边缘检测阈值、对焦标准比例值和对焦下限比例值。
(7)串口配置参数表SerialPortConfigureParameterTable:端口号、波特率。
(8)用户权限表AuthorityParameterTable:管理员密码、技术人员密码和系统版本号。
(9)数据处理参数表DataProcessingParameterTable:处理模板数上限、处理图片张数、标准差系数和标准差处理数据个数下限。
(10)模板信息总表TemplateMessageTotalTable:模板名、测量模板选择、显示模板选择、模板源图、测量结果图、模板源图测量信息和模板修改时间。
(11)模板掩膜信息表TemplateMaskMessageTable:模板名、掩膜号、自动对焦选择、掩膜信息、掩膜图、各掩膜对应的测量结果和测量值。
(12)测量结果数据表RealtimeMeasureResultTable:模板名、测量值和测量日期时间。
如图3所示,数据库操作模块的具体执行步骤如下:
首先根据数据库服务器主机地址、用户名和密码执行数据库连接函数,数据库连接结果包括数据库连接成功、数据库连接异常和数据库连接失败;判断数据库是否连接成功中,若数据库连接成功,则根据数据库名称执行数据库是否存在命令;若数据库连接异常或者失败,则将数据库连接结果写入日志并返回连接结果;
执行数据库相应命令时,若数据库存在,则根据上述数据表名称依次执行数据表是否存在命令;若对应的数据表存在,则执行读取数据命令,根据读取命令的返回数据设置相应变量的值;若对应的数据表不存在,则创建数据表,并对数据表进行写入默认参数操作,设置相关的尺寸测量参数为默认值,最后数据库返回信息中设置对应数据表不存在,其中相机校准结果数据表、模板信息总表和模板掩膜信息表遍历时,若其不存在,不需写入默认参数操作,测量结果数据表不需遍历;若数据库不存在,则先执行创建数据库命令创建数据库,再创建各个参数表并写入默认参数,同时设置相关尺寸测量参数为默认值,同时将数据库操作结果设置为数据库不存在;
最后根据数据库操作结果在界面中显示结果信息后结束数据库操作模块。
本系统的工件尺寸测量操作都是依赖于采集到的图像,而图像是通过工业相机进行采集,因此开机时需确保相机的正常连接。软硬件中的相机连接具体包括如下:
首先查找系统中连接的所有以太网相机和USB相机;若未检测到相机,则将相机连接操作结果设置为未检测到相机,并将检测结果写入日志;若检测到1个相机,则执行打开相机操作;若检测到2个或者2个以上的相机,则在界面上显示检测到的相机名称等待用户选择,用户选择相机后进行打开相机操作;
打开相机操作后,先创建设备对象,再根据检测到的相机信息对设备对象操作创建设备,最后对该设备执行打开相机操作,在打开相机过程中若出现异常,则返回相应异常信息并结束相机操作;
若打开相机成功,则设置相机采集图像方式为触发模式,设置相机回调函数,同时读取相机采集图像的尺寸作为模板是否可用的判断依据,再根据相机配置参数执行相应的相机配置函数,具体为根据采集帧率变量设置相机采图帧率,根据像素合并变量设置相机像素合并值,根据曝光量变量设置相机曝光量;
最后根据相机连接结果在界面中显示结果信息后结束相机连接的确认。
本系统通过串口转IO模块输出IO信号控制环形光源和背光源的通断,而光源照明为工件进行尺寸测量的必备条件,因此开机时需检测串口转IO模块是否正常连接。串口转IO模块连接的具体步骤如下:
1.1.1)打开串口步骤:根据串口端口号变量和串口波特率变量创建串口对象;对串口对象先判断该串口是否已打开,若已打开则返回串口已打开信息,结束打开串口操作;若该串口未打开,先添加串口接收回调函数用于串口数据接收,再执行打开串口函数打开该串口,最后返回串口打开成功信息,结束打开串口操作;
1.1.2)执行串口初始化步骤:步骤1.1.1)后执行串口转IO模块初始化操作,串口发送读取串口转IO模块地址命令,等待串口转IO模块向串口返回数据;若串口接收到返回数据,并且该数据为通讯协议规定的数据,则串口转IO模块连接成功;若串口接收到的返回数据不正确或者未接收到数据,则串口转IO模块连接失败;
1.1.3)串口反馈步骤:当串口转IO模块连接成功,则通过串口向串口转IO模块发送IO信号关环形光源和背光源,并根据串口转IO模块连接结果,在界面中显示结果信息后结束串口转IO模块连接模块。
当相机连接和串口转IO模块都正常连接时,可通过控制相机和串口转IO模块进行光源检测,如图4所示,光源检测具体处理如下:
1.2.1)光源检测数据采集步骤:先通过串口转IO模块打开环形光源,延时等待200mS,使环形光源照明稳定,再通过控制相机通过软触发方式采集1张图像,记为bitmap1;通过串口转IO模块关闭环形光源,延时等待200mS,在无照明条件下控制相机采集1张图像,记为bitmap2;通过串口转IO模块打开背光源,延时200mS,使背光源照明稳定,再通过控制相机采集1张图像,记为bitmap3;
1.2.2)光源检测数据处理步骤:通过调用灰度均值算法计算bitmap1和bitmap2的图像灰度均值,再计算bitmap1和bitmap2灰度均值的比值,记为ratio1;若ratio1大于设定阈值,则设置环形光源检测结果为环形光源正常,否则设置环形光源检测结果为环形光源异常;通过调用灰度均值算法计算bitmap3的图像灰度均值,再计算bitmap3和bitmap2灰度均值的比值,记为ratio2;若ratio2大于设定阈值,则设置背光源检测结果为背光源正常,否则设置背光源检测结果为背光源异常;
1.2.3)光源检测数据反馈步骤:在界面中显示光源检测结果,结束光源检测。
完成开机初始化流程,若不存在指定的异常情况,则系统将进入模板选择界面。在模板选择界面将执行模板选择流程。模板选择的界面如图5所示,具体执行步骤如如图6所示:
2.1)界面展示步骤:进入模板选择界面,先根据数据库读取的数据在界面中进行显示,具体显示如下内容:
2.1.1)取出各个模板信息中的模板源图、模板名、测量模板选择和显示模板选择在界面左侧显示列表中进行显示,将模板源图作为模板图标,图标下方显示模板名,测量模板选择对模板图标前方的勾选框进行勾选操作,显示模板选择对模板图标进行选中操作,显示模板选择只能选择一个模板;其中勾选框可以多选,做为多模板测量时的多模板选择依据;模板图标选中操作只能选中一个图标,用于查看当前选中模板的测量结果和修改时间信息;该显示列表设置滚动下拉操作,当模板数排满显示列表时,可进行滚动下拉操作,用于其他模板的选择;在显示列表的最后总是会显示一个空模板,模板图标为一张空白图片,用于直接进入模板制作界面进行相关操作;
2.1.2)根据选中模板的模板名获取该模板的测量结果图、模板源图测量信息,在界面右侧显示选中模板的测量结果图和模板源图的测量结果数据;用户可根据该模板的测量结果判断模板掩膜制作是否符合测量要求;
2.1.3)根据模板信息中的测量模板选择在界面左下方显示当前勾选模板名称,根据模板信息中的显示模板选择读取该显示模板的模板修改时间并在界面左下方显示;
2.1.4)在界面右上方显示系统版本号;
2.2)用户操作判断步骤:判断用户是否勾选模板,若用户勾选该模板,则在界面左下方显示当前勾选模板的模板名,当用户勾选空模板时,其他勾选模板自动取消;判断用户是否取消勾选模板,则在界面左下方显示中取消显示该模板的模板名;判断搜索模板输入框中是否输入信息修改,若修改,则根据进入模板搜索流程;判断用户是否对选中模板进行切换,若选中模板切换,则根据选中模板的模板名获取对应的测量结果图和测量结果数据,在界面右侧进行显示,同时在界面左下方显示当前选中模板的修改时间;
2.3)进入测量步骤:判断用户是否点击“进入测量”按钮,若点击该按钮,则先判断用户是否选择了空模板,若用户选择了空模板,则弹出“进入模板制作”确认框;若用户点击该确认框“确定”按钮,则弹出“操作员密码”输入框,若用户点击该确认框“取消”按钮,则重新判断用户在该界面的操作;若在“操作员密码”输入框输入的密码为正确的操作员密码,则存储当前勾选的模板和选中模板到数据库,其中当前勾选模板为空模板,并开始相机采图后进入模板制作界面;
2.4)空模板步骤:若用户未选择空模板,则判断勾选的模板数是否符合约束,其中约束条件是勾选模板数必须大于0小于处理模板数上限变量值,若符合约束,则根据勾选模板的模板名遍历所有模板,获取勾选模板的模板信息,包括模板源图、测量结果图、测量结果数据以及掩膜信息;根据获取的信息判断勾选模板的信息是否完整,若完整,则判断各勾选模板的模板源图与相机采集的实时图是否尺寸相同,若所有勾选模板的模板源图与实时图的尺寸都相同,则存储当前勾选的模板和选中模板到数据库并开机相机采图后进入模板制作界面;
若勾选模板数不符合约束,则弹出“勾选模板”数量异常提示框,在该提示框内显示当前勾选模板数和约束条件,等待用户点击该提示框“确定”按钮后关闭提示框,并重新判断用户在该界面的操作;若模板信息不完整,则弹出“勾选模板”信息异常提示框,在该提示框内提示信息不完整模板名及缺失信息情况,等待用户点击该提示框“确定”按钮后关闭提示框,并重新判断用户在该界面的操作;若勾选模板的模板源图与实时图尺寸不相同,则弹出“勾选模板”尺寸异常提示框,在该提示框内提示与实时图尺寸不相同模板的模板名,等待用户点击该提示框“确定”按钮后关闭提示框,并重新判断用户在该界面的操作;
2.5)退出取消步骤:判断用户是否点击“退出系统”按钮,若用户点击该按钮,则弹出“确认退出系统”确认框,若用户点击该确认框中的确定按钮,则关闭相机后退出系统;若用户点击“取消”按钮,则关闭确认框后重新判断用户在该界面的操作。
在进入模板选择界面后,用户可在模板搜索输入框输入模板名进行指定模板的快速查找。如图7所示,模板搜索的具体执行步骤如下:
2.2.1)先判断模板搜索输入框的输入内容是否修改,若输入内容修改,则先删除模板显示列表中所有显示的模板,在根据输入内容进行模板名匹配,若输入内容未修改,则结束模板搜索流程;模板名匹配过程将输入内容与当前系统制作的所有模板名进行比较,若与模板名从第一个字符开始的子字符串相同或者与模板名字符串完全相同,则认为匹配到模板名,系统中制作的模板名都不会重名,且区分大小写字母;
2.2.2)若匹配到模板名,则在显示列表中显示匹配到的模板,同时在显示列表最后显示空模板用于空模板的选择;若未匹配到模板名,则结束模板搜索流程;
2.2.3)匹配到模板名后,通过双循环的方式遍历勾选模板名和匹配到的模板名,判断是否存在完全相同的模板名;若存在同名模板,则在当前已显示模板列表中对同名模板进行勾选操作,若不存在同名模板,则进行选中模板名匹配;
2.2.4)选中模板名匹配过程通过单循环方式遍历搜索模板匹配到的模板名,与选中模板名进行比较,判断是否存在完全相同的模板名,若存在同名模板,则在当前已显示模板列表中进行模板选中操作,若不存在同名模板,则结束模板搜索;其中,勾选模板和选中模板为进行模板搜索前用户勾选的模板和选中的模板,其中选中模板只有一个,勾选模板可以多选。
实时测量模块包括当前测量工件采集图片显示、测量结果数据显示和模板选择框区域进行界面显示和具体作用如下:
当未按下“开始测量”按钮时,对相机实时采集的工件图像和当前选中模板的模板源图按照一定的比例叠加后进行显示,当按下“开始测量”按钮进行待测工件的实时测量时,显示测量结果图,并显示对焦清晰度和当前匹配到的模板名;
在实时测量过程中,根据当前工件的测量结果在界面右侧进行测量结果数据显示,分别显示测量编号和测量结果,测量编号与测量结果图上显示的编号一一对应;若工件存在未测到的待测尺寸,则显示该未测到尺寸的编号,并在结果栏显示未测到;
在界面下方中间位置显示模板选择框,当未进行实时测量时,用户可在该选择框内进行模板选择;在该选择框内会显示系统制作的所有模板,但是不包含空模板,在选择框内用户可通过勾选模板图标前的勾选框进行待测工件的模板选择,点击模板图标可进行模板选中操作,但选中模板操作只能在勾选模板中进行选中,选中模板的模板源图用于与实时图进行叠加后在图片显示区域显示。进入实时测量界面时,根据勾选模板变量进行模板的勾选操作,同时选中模板默认为勾选模板数组变量中的第一个变量对应的模板。如图8所示,该界面包括“系统设置”、“临时制作”、“开始测量/停止测量”和“退出系统”四个按钮,通过点击不同的按钮进行不同的操作。
具体的,实现方式如下:
1.对已测到的测量类型,根据测量数据,在测量结果图中画红线和绿色字母M加序号进行标记,例如图21所示的圆M1。
2.对未测到的测量类型,把对应的掩膜图按像素点灰度值进行或处理,此处掩膜图是灰度图,其像素点灰度值为255或0。两张图像按或处理过程如下:两张掩膜图对应每行每列像素点灰度值按或处理,得到结果图,若灰度值为255和255的两个像素点进行或运算,结果图对应位置像素点灰度值置为255,同理,若255和0,置为255,若0和0,置为0。
3.若只有一张未测到的掩膜图,则既是最终结果图;若有两张未测到的掩膜图,将它们按或处理,得到最终结果图,若有两张以上,则按顺序先进行前两张图按或处理,得到中间结果图1,再将中间结果图1和第三张未测到的掩膜图按或处理,得到中间结果图2,再将中间结果图2和第四张未测到的掩膜图按或处理,得到中间结果图3,依次类推,得到最终结果图。
4.双循环,遍历前一步骤得到的最终结果图和测量结果图,对于最终结果图中灰度值为255的像素点,对应测量结果图相应像素点BGR值设为不同于已测到的标记颜色,本实施例中设为B=0,G=255,R=255,即显示黄色,例如图21中的圆M2。
如图9所示,在参数设置界面中,用户可进行这些参数的设置:相机配置参数、自动曝光调节参数、相机校准配置参数、串口配置参数、数据处理参数和自动对焦参数。
相机配置参数包括曝光量、采集帧率、处理帧率、像素合并;
曝光量表示相机的曝光量,通过该变量可设置相机的曝光量,该变量为整型数据,取值范围为100~50000,单位为uS;采集帧率表示相机采集图像的帧率,该变量用于设置未进行实时测量时的图像采集帧率,该变量为浮点型数据,取值范围为0.1~20,单位为Hz;处理帧率表示相机采集图像的帧率,该变量用于设置进行实时测量时的图像采集帧率,该变量为浮点型数据,取值范围为0.1~20,单位为Hz;像素合并表示图像在采集时跟图像最大尺寸的比例关系,通过该变量的设置可修改采集图像的分辨率,该变量为整型数据,取值范围为1~4。
帧率自适应和跳帧参数包括图像张数、标准差处理数据下限、标准差系数、帧率自适应比例上限、跳帧图像张数;
图像张数表示帧率自适应功能统计的图像张数,帧率自适应功能对指定张连续图像进行处理时间统计,该变量用于设置处理的图像张数,该变量为整型数据,取值范围为1~10;标准差处理数据下限表示对连续张图像处理时间进行标准差处理的数据个数下限,当设置图像张数少于该变量时,不进行标准差剔除处理,该变量为整型数据,取值范围为1~10;标准差系数表示进行标准差数据处理时的数据剔除系数,数据均值与该系数乘以标准差的差值作为最小值,数据均值与该系数乘以标准差的和作为最大值,最大值和最小值之间的数据作为保留数据,该变量为浮点型数据,取值范围为0.1~5;帧率自适应比例上限表示图像处理时间平均值与图像采集时间的比值上限,当比值超过(1+帧率自适应比例上限/100)时,按照图像处理时间平均值调整帧率,该变量为整型数据,取值范围为1~500;跳帧图像张数表示进行跳帧处理的图像张数设置,当图像处理时间超过该变量设置的采集图像张数时,对新采集的图像不做算法处理,该变量为整型数据,取值范围为1~10;
自动曝光调节参数包括自动曝光选择、曝光调节目标灰度值、目标灰度值比例下限、目标灰度值比例上限、曝光量调节刻度;
自动曝光选择表示是否调用自动曝光调节功能,自动曝光选择设置为按钮选中形式;曝光调节目标灰度值表示自动曝光调节的目标灰度值,该变量为整型数据,取值范围为0~255;目标灰度值比例下限表示自动曝光调节目标灰度值的比例下限,根据该变量和曝光调节灰度值可计算出调节曝光的目标灰度值下限,该变量为整型数据,取值范围为0~20;目标灰度值比例上限表示自动曝光调节目标灰度值的比例上限,根据该变量和曝光调节灰度值可计算出调节曝光的目标灰度值上限,该变量为整型数据,取值范围为0~20;曝光量调节刻度自动曝光功能调节一次曝光量的大小,当曝光太大时,当前曝光量减去该变量为调整后的曝光量,当曝光太小时,当前曝光量加上该变量为调整后的曝光量,该变量为整型数据,取值范围为1~500,单位为uS;
具体如图22所示,自动曝光量调节流程如下:
1.Flag1为1表示减少曝光量,Flag1为2表示增加曝光量;Flag2为1表示本次循环做减少曝光量处理,Flag2为2表示本次循环做增加曝光量处理;初始化:Flag1=1;Flag2=0;
2.提取某一帧标定图像的标定板角点信息;
3.进一步提取亚像素角点信息;
4.筛选出离视场最近的亚像素角点;
5.分别求其到四周最邻近的四个亚像素角点的距离;
6.四段距离任意两两比较;
7.差值绝对值是否小于设定值;
8.若是,保存该曝光量数值,判断Flag1是否等于1;若是,减少相机曝光量,且Flag2=1,跳转到步骤2执行;若否,增加曝光量且Flag2=2,跳转到步骤2执行;
9.若否,进一步判断是否为首次小于设定阈值;若否,统计保存的曝光量,得到合适范围区间(以保存的最小曝光量数值为区间下限值,以保存的最大曝光量数值为区间上限值);若是进一步判断Flag2是否等于1;若是从设定值开始增加相机曝光量,Flag1=2,跳转到步骤2执行;若否,从设定值开始减少相机曝光量,Flag1=1,跳转到步骤2执行。
相机校准配置参数包括横向格子数、纵向格子数、单位长度;
横向格子数使用棋盘格进行相机校准时的棋盘格横向格子数设置,该变量为整型数据,取值范围为1~50;纵向格子数使用棋盘格进行相机校准时的棋盘格纵向格子数设置,该变量为整型数据,取值范围为1~50;单位长度使用棋盘格进行相机校准时的各个棋盘格长度设置,该变量为浮点型数据,取值范围0.1~50,单位为mm;
自动对焦参数包括边缘检测阈值、对焦标准比例值、对焦下限比例值;
边缘检测阈值表示进行对焦清晰度判断时的边缘灰度阈值设置,该变量为整型数据,取值范围为0~255;对焦标准比例值表示进行对焦清晰度判断时,判断为对焦已清晰依据,当(白区域平均灰度值/(白区域平均灰度值+黑区域平均灰度值)*100)大于该变量时认为对焦已清晰,该变量为浮点型数据,取值范围为0~99;对焦下限比例值表示进行对焦清晰度判断时,判断为对焦不清晰依据,当(白区域平均灰度值/(白区域平均灰度值+黑区域平均灰度值)*100)小于该变量时认为对焦不清晰,该变量为浮点型数据,取值范围为0~99,且该变量的值必须小于对焦标准比例值;
串口配置参数包括端口号、波特率;
端口号表示连接串口转IO模块的串口端口号,该变量为字符串变量;波特率表示连接串口转IO模块的串口比特率,该变量为整型数据,取值范围为2400~115200,单位为bit/S;
数据处理参数包括处理模板数上限、处理图片张数、标准差系数、标准差处理数据个数下限;
处理模板数上限表示工件尺寸测量中最多选择的匹配模板数,该变量为整型数据,取值范围为1~10;处理图片张数表示工件实时尺寸测量过程中,进行平均测量值计算的图片张数,当采集并处理单张图片张数达到该设定值时,可进行尺寸均值计算,该变量为整型变量,取值范围为1~10;标准差系数表示指定张图尺寸测量结果数据进行标准差数据处理时的数据剔除系数,该变量为浮点型数据,取值范围为0.1~5;标准差处理数据个数下限表示指定张图尺寸测量结果数据进行标准差处理时数据个数下限,该变量为整型数据,取值范围为1~10;
用户权限管理包括操作员、管理员、技术员权限设置;
操作员的权限为进行模板的勾选、自动对焦操作,在参数设置界面中为密码修改操作,若点击“操作员”按钮,则进行操作员密码修改操作;
管理员的权限为进行参数设置、模板修改、删除和新建和模板校准操作,在参数设置界面中为密码修改操作,若点击“管理员”按钮,则进行管理员密码修改操作;
技术员的权限为进行一键测量和连续测量版本切换,在参数设置界面中为密码修改和版本切换操作,若点击“技术员”按钮,则进行技术员密码修改和版本选择操作;
如图10所示,在参数配置具体的执行参数配置如下:
首先将本参数配置界面中的所有参数都存入暂存变量;再判断各个参数输入框中的内容是否修改,若修改,则判断输入格式是否正确,若未修改则判断是否点击“权限管理”按钮;若格式正确,则判断输入框输入数据是否符合当前参数的约束范围,若格式不正确,则弹出格式错误提示框,等待用户点击“确定”按钮后返回用户操作判断;若输入数据在当前参数的约束范围内,则修改当前修改参数为输入框输入数据,同时将所有输入框状态设置为可输入状态,界面所有按钮设置为使能状态;若输入数据不在当前参数的约束范围内,则将无关联的参数输入框设置为不可输入状态,该界面有些参数为关联参数,自动对焦参数中的对焦标准比例值和对焦下限比例值,对焦下限比例值必须小于对焦标准比例值,同时将界面中所有按钮设置为失能状态,再弹出变量修改异常框,在异常框内显示当前输入数据和约束范围,等待用户点击“确定”按钮后返回用户操作判断;
接着若用户点击“权限管理”按钮,则进入权限管理流程,权限管理流程执行结束后返回用户操作判断;若用户点击“返回”按钮,则判断是否存在修改的参数;若存在修改的参数,则弹出“保存参数”对话框,若不存在修改的参数,则直接关闭本界面,退出参数配置流程;在“保存参数”对话框内,判断用户是否点击“确定”按钮,若是,则将修改的参数保存到数据库内,若用户点击“取消”按钮,则将所有暂存参数重新赋值给本界面中的所有参数,使参数与进入该界面时的参数保持一致,最后;退出参数配置。
在参数设置界面中点击“权限管理”按钮后将进入权限管理界面,在该界面中将执行权限管理流程。权限管理流程主要执行管理员、技术员的密码修改和用户版本的切换。如图11所示,权限管理的具体处理过程如下:
首先判断是否点击“管理员密码修改”按钮,若是,则弹出管理员密码输入框等待用户输入管理员密码;用户输入管理员密码后与后台管理员密码比较,若完全一致,则用户输入的管理员密码正确,弹出管理员密码修改输入框等待用户修改管理员密码,若输入管理员密码不正确,则弹出管理员密码输入错误提示框,等待用户点击“确定”按钮关闭该提示框,关闭后返回判断用户操作;管理员密码修改输入框打开后,用户可输入新密码,等待用户点击“确定”按钮,点击“确定”按钮后将用户新输入的密码设置为管理员密码,同时将其写入数据库存储;技术员密码的修改操作与管理员密码修改操作流程相同;
接着判断用户是否点击“版本切换”按钮,若是,则弹出技术员密码输入框等待用户输入技术员密码,用户输入完成后判断是否输入正确的技术员密码,若正确,则弹出版本选择框,该选择框内包含“一键测量”和“连续测量”版本选择按钮,并标记当前版本,用户可通过按钮选择进行版本切换,完成选择后点击该选择框内的“确定”按钮,根据用户选择修改进行版本设置,并更新版本信息后将其写入数据库;
最后判断是否点击“返回”按钮,若是,则关闭权限管理界面,结束权限管理。
点击系统设置界面中的“模板操作”按钮后,进入模板操作界面,在该界面中将执行模板操作流程。在该界面内,可进行新建模板、修改模板、删除模板、复制模板、搜索模板等操作,同时该界面实时显示当前系统的所有已制作模板,在模板列表中可通过勾选框选中待测工件的模板,此操作可以多选,同时通过点击模板图标显示该模板的测量结果图和测量结果信息。如图12所示,模板操作的具体执行如下:
首先判断用户是否点击“新建模板”按钮,若是,则弹出新建模板名输入框,等待用户输入新建模板名;在新建模板名输入框内,判断用户是否点击“确定”按钮,若是,则遍历系统已存在所有模板名,判断用户新输入的模板名是否已存在;否则判断用户是否点击“取消”按钮,若是,则关闭新建模板名输入框;若存在,则弹出模板名已存在信息提示框,等待用户点击“确定”按钮后关闭信息提示框,返回判断用户操作;若不存在,则打开相机使其实时采集图像,弹出新建模板确认框,在该确认框中实时显示相机采集到的图像,通过采集图像的实时显示让用户确认当前模板;在新建模板确认框内,若用户点击“确定”按钮,则记录用户输入模板名,关闭新建模板确认框,关闭相机后打开模板任务编辑界面;若用户点击“取消”按钮,则关闭新建模板确认框和关闭相机,返回判断用户操作;
接着模板任务编辑界面内进行当前新建模板和重新制作模板的待测尺寸的区域编辑;如进行圆、线、角、弧等元素及其任意两元素组合等区域的编辑,每个测量任务的编辑都会返回其掩膜图和区域信息。
在模板任务编辑界面要判断用户是否点击“返回”按钮,若点击返回按钮,则执行模板信息获取流程,获取模板信息,将该新建模板的模板信息添加到系统已制作模板信息列表中,并将其保存到数据库中的模板信息总表和模板掩膜信息表中;关闭模板任务编辑界面,返回模板制作界面,并更新模板制作界面显示信息;
其中更新信息具体如下:首先模板显示列表中添加新建模板,并勾选和选中相应模板;相应模板信息的测量结果图和测量结果信息在界面中显示,其中模板测量结果图会根据待测区域的测量结果进行结果绘图示意;接着提示信息中勾选模板信息添加该模板,选中模板信息显示为该模板名即可;
然后在模板制作界面,判断用户是否点击“重新制作”按钮,则弹出模板重新制作确认框;在该确认框内判断用户是否点击“确定”按钮和“取消”按钮,若点击“确定”按钮,则关闭模板重新制作确认框,打开模板任务编辑界面并将当前选中的模板源图传入该界面进行模板任务编辑,模板任务编辑和退出操作与新建模板时操作相同,其中不同在于该模板在系统已制作的模板信息列表中已存在,需根据重新制作后获取的模板信息对模板信息列表中本模板的信息进行更新,数据库操作也是针对本模板信息进行更新;
判断用户是否点击“删除模板”按钮,若是,则弹出模板删除确认框,等待用户进行“确定”按钮和“取消”按钮操作;若点击“确定”按钮,则从系统已制作模板信息列表中删除本模板,并删除数据库中本模板信息,根据当前勾选和选中模板状态更新模板操作界面显示信息;若点击“取消”按钮,则关闭模板删除确认框后返回判断用户操作;
判断用户是否在模板显示列表内右击选择“复制”,若是则判断用户是否在模板显示列表内右击选择“粘贴”,若是则弹出复制模板确认框,等待用户进行“确定”按钮或“取消”按钮操作;若点击“确定”按钮,则复制模板显示列表内的选中模板,将其命名为选中模板名的副本,并将选中模板的模板信息复制到该副本后将该副本模板添加到系统已制作模板信息列表中,并将该副本模板信息写入数据库,复制标志位清零后关闭复制模板确认框,同时在模板制作界面内,模板显示列表添加该副本模板;若点击“取消”按钮,则将复制标志位清零后关闭复制模板确认框,返回判断用户操作;
判断用户是否对模板显示列表中选中模板右击选择“重命名”,若是,弹出模板名输入框,等待用户输入模板名,在该输入框内判断用户是否进行“确定”按钮或“取消”按钮操作,若点击“确定”按钮,则判断用户输入模板名是否已存在系统已制作模板中,若点击“取消”按钮,则关闭模板输入框后返回判断用户操作;若不存在,则修改该模板名,并更新数据库中该模板信息中的模板名和模板制作界面内与该模板相关的信息后关闭模板名输入框,若已存在,则弹出模板名已存在信息提示框,等待用户点击“确定”按钮后关闭信息提示框,返回判断用户操作;
判断用户是否点击“返回测量”按钮,若是,则遍历所有模板显示列表中勾选模板,进行模板信息完整性和模板源图尺寸大小判断;若存在异常,则根据异常情况弹出异常信息提示框,等待用户点击“确定”按钮后关闭异常信息提示框,返回判断用户操作;若不存在异常,则存储当前勾选模板和选中模板的信息到数据库对应模板中,开启相机进行采图后进入实时测量界面;
判断用户进行模板勾选、模板选中、取消勾选模板和搜索模板操作,其处理过程同模板选择流程中的操作相同;
其中新建模板、删除模板、重新制作模板、重命名模板、删除模板和复制模板都需要管理员权限才能操作,因此进行相应操作前都会弹出管理员密码输入框,只有再输入正确的密码时才能进行相应操作;在模板制作界面中进行多次管理员权限操作,管理员密码输入一次即可,但是只要返回实时测量界面后重新进入模板制作界面,则需要重新输入正确的管理员密码磁能进行管理员权限的操作。
如图13所示,模板信息提取具体步骤如下:
1:对模板源图进行均值滤波处理;所述模板源图为相机获得的标准件正面以及侧面的图像;
2:进一步进行阈值化处理;阈值化处理为大于设定阈值的像素灰度值被设置为0,反之,则被设置为255;
3:提取模板源图中标准件的外轮廓点;
4:求外轮廓的最小外接圆,得到圆心坐标和半径;
5:根据所求圆心坐标和半径,提取ROI;此ROI为一个矩形,其边长为模板源图中标准件的最小外接圆直径,其中心为标准件最小外接圆圆心,其旋转角度为零;ROI表示感兴趣区域。
6:对ROI提取层级轮廓信息,层级轮廓信息包括外轮廓信息和内轮廓信息,且外轮廓与内轮廓满足父子层级关系;若外轮廓与内轮廓满足父子层级关系,则外轮廓为父轮廓,内轮廓为子轮廓;
7:求其外轮廓的零旋转度角最小外接矩形,得到矩形长宽,判断此矩形的长或宽是否大于设定值;
8:若矩形的长或宽大于设定值,则标准件出界,跳转到步骤16;
9:若矩形的长或宽没有大于设定值,则求外轮廓的质心、最小外接矩形,得到矩形中心坐标、旋转角度、长宽、面积;接着判断是否存在内轮廓;
10:若不存在内轮廓,跳转到步骤16;
11:若存在内轮廓,再判断是否只有一个有效内轮廓;
12:若只有一个有效内轮廓,则求得质心、最小外接矩形中心坐标、旋转角度、长宽、面积,跳转到步骤16;
13:若存在多个有效内轮廓,则遍历全部有效内轮廓,求出内轮廓最小外接矩形面积的最大值和最小值,并比较最大值和最小值的差值是否大于设定值;
14:若最小外接矩形面积的最大值和最小值的差值大于设定值,则表明既有最大内轮廓,又有最小内轮廓;分别求得它们的质心、最小外接矩形中心坐标、旋转角度、长宽、面积,跳转到步骤16;
15:若最小外接矩形面积的最大值和最小值的差值小于等于设定值,标明标准件存在多个有效最大内轮廓,任意取其一,求得质心、最小外接矩形中心坐标、旋转角度、长宽、面积,跳转到步骤16;
16:结束模板信息提取流程。
自动对焦模块是对相机采集的实时图像连续进行清晰度测量;通过清晰度,提示用户是否清晰,若不清晰,则让用户去调节相机高度,直到图像清晰;
自动对焦模块的界面中左边显示相机的实时图像,右边显示在实时图像中用矩形框框选的区域图像;右边图像上方显示清晰度的进度条,右边图像下方进行参数的设置,其中对焦参数包括:边缘检测阈值、对焦标准比例值和对焦下限比例阈值;边缘检测阈值为黑白边缘区域分割的阈值为0-255,默认设为100;对焦标准比例阈值为设定的黑白区域比例为0-100,默认设为90;对焦下限比例阈值为对焦不清晰报警阈值为0-100,默认设为70;
如图14所示,自动对焦模块的具体处理如下:
首先判断是否点击“开始对焦”按钮,若是,则判断实时显示图上是否已进行对焦区域编辑,若已编辑,则将编辑矩形框的左上角X坐标和Y坐标、长度、宽度、实时图像和边缘检测阈值传给算法,执行区域清晰度计算流程;根据区域清晰度计算流程得到该区域的清晰度评价值,在界面上实时显示;根据对焦标准比例值和对焦下限比例值进行显示,若实时获取的清晰度评价值大于对焦标准比例值,则进度条显示比例值,颜色显示绿色,表示当前区域清晰度良好,不需调节相机高度;若清晰度评价值小于对焦标准比例值大于对焦下限比例值,则进度条显示黄色,表示当前区域清晰度不太好,可进行微调相机高度;若清晰度评价值小于对焦下限比例值,则进度条显示红色,表示当前区域清晰度很差,必须进行相机高度调节进而调整图像清晰度,否则无法进行精确尺寸测量;
区域清晰度计算流程执行过程,将实时判断停止清晰度计算流程标志位是否置位,若是,则停止该流程执行,返回判断用户操作;
即“开始对焦”按钮点击后,开始执行清晰度计算流程,此时“开始对焦”按钮会变成“停止对焦”按钮,此时用户可点击“停止对焦”按钮,从而设置停止清晰度计算流程标志;
判断用户是否在实时图显示上框选对焦区域,若是,则保存框选区域的左上角坐标和框选区域的长宽;判断用户是否点击“获取高度”按钮,若是,则通过控制高度传感器获取相机高度信息,再根据相机高度信息查表获取相机校准参数,作为实时尺寸测量的参数使用;判断用户是否点击“返回测量”按钮,若是,则关闭辅助对焦界面,返回实时测量界面。
其中,如图他15所示,单张图像实时尺寸测量具体如下:
首先对待测图进行像素合并,再对像素合并后的待测图进行出界检测;若检测结果为出界,遍历所有勾选的模板名称,判断有无临时模板名称;若无临时模板名称,则输出待测物出界,结束单张图像实时测量流程;若有临时模板名称,对临时模板源图进行像素合并,再将像素合并后的待测图和像素合并后的临时模板源图做差分处理,若不一致,则输出待测物出界,结束单张图像实时测量流程;若一致,则根据临时模板源图的旋转平移结果进行当前帧图像的旋转平移;
接着判断自动对焦标志位是否有效,若有效,调用用于自动对焦区域选择的测量类型,执行实时测量自动对焦清晰度评价函数,返回清晰度值,再根据当前帧掩膜信息进行相关测量类型的尺寸测量;若无效,直接根据当前帧掩膜信息进行相关测量类型的尺寸测量;
若检测结果为未出界,对上一帧待测图进行像素合并,再进行帧间图像比较,即对像素合并后的待测图和像素合并后的上一帧待测图进行帧间差分处理,若两者一致,表明待测物未移动,则直接根据上一帧的旋转平移结果进行当前帧图像的旋转平移;判断自动对焦标志位是否有效,若有效,调用用于自动对焦区域选择的测量类型,执行实时测量自动对焦清晰度评价函数,返回清晰度值,再根据上一帧掩膜信息进行相关测量类型的尺寸测量;若无效,直接根据上一帧掩膜信息进行相关测量类型的尺寸测量;若两者不一致,表明待测物已移动,再遍历所有勾选的模板信息,其中优先匹配模板编号对应的模板信息先进行,把相应的模板源图进行像素合并,对像素合并后的待测图和模板源图进行差分处理,若两者一致,终止遍历,直接根据当前模板源图的旋转平移结果进行当前帧图像的旋转平移。判断自动对焦标志位是否有效,若有效,调用用于自动对焦区域选择的测量类型,执行实时测量自动对焦清晰度评价函数,返回清晰度值,再根据当前帧掩膜信息进行相关测量类型的尺寸测量;若无效,直接根据当前帧掩膜信息进行相关测量类型的尺寸测量;若两者不一致,先将相应的模板源图特征信息按像素合并系数缩小,再执行待测物匹配流程,若待测物匹配成功,终止遍历,将待测物匹配流程中得到的像素合并后的待测物平移量按像素合并系数转换为未进行像素合并的平移量;判断自动对焦标志位是否有效,若有效,调用用于自动对焦区域选择的测量类型,执行实时测量自动对焦清晰度评价函数,返回清晰度值,再根据当前帧掩膜信息进行相关测量类型的尺寸测量;若无效,直接根据当前帧掩膜信息进行相关测量类型的尺寸测量;若待测物未匹配成功,过待测物最小外接圆圆心做垂直轴线,以此轴线对待测物图像进行水平镜像,得到水平镜像图像,做为输入参量,跳转到待测物匹配流程执行;若匹配成功,则提示用户待测物放反,结束本流程;若未匹配成功,则输出待测物未匹配成功,结束单张图像实时测量;
其中,像素合并是将图像中每行像素点以每四个相邻像素点依次合并成一个像素点,其灰度值取均值,全部行处理完毕后,再将其每列像素点以每四个相邻像素点依次合并成一个像素点,其灰度值取均值。
出界检测流程具体如下:
1:对像素合并后的待测图滤波处理;通过中值滤波处理去除高频噪点,保留轮廓边缘信息,本实施例中值滤波窗口为9个像素*9个像素;
2:滤波后图像进行灰度阈值二值化处理;其中大于设定阈值的像素灰度值被设置为255,反之,则被设置为0;本实施例设定阈值取180;
3:寻找图像中所有闭环轮廓;所述闭环轮廓是指该轮廓内任意相邻两个轮廓点间距小于设置值,本实施例设置值取2个像素;
4:求最大闭环轮廓周长,判断此周长是否满足设置条件;设置条件为最大闭环轮廓周长不小于图像周长的0.99倍且不大于图像周长的1.01倍;若此周长满足条件,则待测物未出界,结束本流程;若此周长不满足条件,则待测物出界,结束本流程;
如图16所示,待测物匹配流程具体如下:
1:对像素合并后的待测图进行均值滤波处理;本实施例均值滤波窗口为3个像素*3个像素;
2:进行阈值化处理,将大于设定阈值的像素灰度值被设置为0,反之,则被设置为255,本实施例中设定阈值取100;
3:提取待检测层级零件轮廓信息;待检测层级零件轮廓信息包括待检测零件外轮廓信息和内轮廓信息,且外轮廓与内轮廓满足父子层级关系,其中外轮廓为父轮廓,内轮廓为子轮廓;
4:判断待检测物外轮廓最小外接矩形面积与模板源图的外轮廓最小外接矩形面积的差的绝对值是否小于设定值;本实施例该设定值取值范围为模板源图的外轮廓最小外接矩形面积的15%;
5:若待检测物外轮廓最小外接矩形面积与模板源图的外轮廓最小外接矩形面积的差的绝对值大于等于设定值,则物体未匹配成功,本流程结束;
6:若待检测物外轮廓最小外接矩形面积与模板源图的外轮廓最小外接矩形面积的差的绝对值小于设定值,则判断待检测零件外轮廓最小外接矩形长宽比与模板源图的外轮廓最小外接矩形长宽比差的绝对值是否小于设定值;本实施例该设定值取值范围为模板源图的外轮廓最小外接矩形长宽比的10%;
7:若待检测物外轮廓最小外接矩形长宽比与模板源图的外轮廓最小外接矩形长宽比差的绝对值大于等于设定值,则物体未匹配成功,跳转到步骤4执行;
8:若待检测物外轮廓最小外接矩形长宽比与模板源图的外轮廓最小外接矩形长宽比差的绝对值小于设定值,则求外轮廓最小外接圆,将其圆心作为旋转中心;
9:判断模板源图外轮廓质心与模板源图的外轮廓最小外接矩形中心间距是否大于设定值;本实施例中设定值为20个像素;
10:若模板源图外轮廓质心与模板源图的外轮廓最小外接矩形中心间距小于等于设定值,则跳转到步骤18;
11:若模板源图外轮廓质心与模板源图的外轮廓最小外接矩形中心间距大于设定值,则判断待检测物外轮廓质心与其最小外接矩形中心间距与模板源图的外轮廓质心到其外轮廓最小外接矩形长宽比的差的绝对值是否小于设定值;本实施例该设定值取值范围为模板源图的外轮廓质心到其外轮廓最小外接矩形长宽比的10%;
12:若待检测物外轮廓质心与其最小外接矩形中心间距与模板源图的外轮廓质心到其外轮廓最小外接矩形长宽比的差的绝对值大于等于设定值,则跳转到步骤18;
13:若待检测物外轮廓质心与其最小外接矩形中心间距与模板源图的外轮廓质心到其外轮廓最小外接矩形长宽比的差的绝对值小于设定值,则求待检测零件相对模板源图的旋转角度;
14:结合模板源图中心坐标和角度信息,平移旋转待测图,即先在待测图中提取待检测物感兴趣区域(ROI);接着新建与待测图等大空白图,将待检测物平移至空白图中心,再将待检测物旋转至模板源图同角度;在本实施例中ROI为一个矩形,其边长为模板源图最小外接圆直径,其中心为待检测物最小外接圆圆心;
15:判断待检测物外轮廓质心到待检测物最小外接矩形中心的矢量角与模板源图的外轮廓质心到模板源图的最小外接矩形中心的矢量角相比较,是否小于设定值,本实施例设定值取7.5度。
16:若步骤15中矢量角的差值小于设定值,表示物体匹配成功,结束步骤2;
17:若步骤15中矢量角的差值大于等于设定值,则进入步骤18;
18:根据模板源图最大内轮廓最小外接矩形面积判断是否存在内轮廓;若否,则物体匹配成功,求待检测物相对模板源图的旋转角度,结合模板源图中心坐标和角度信息,平移旋转物体,结束本流程;若是,判断模板源图是否只有一个有效最大内轮廓;
19:若模板源图只有一个有效最大内轮廓,则进行有效内轮廓匹配;有效内轮廓匹配包括判断待检测零件的最大内轮廓最小外接矩形面积和模板源图最大内轮廓最小外接矩形面积是否匹配,进一步依次判断最大内轮廓最小外接矩形长宽比是否匹配,外轮廓和最大内轮廓的最小外接矩形中心间距是否匹配,求待检测零件相对模板源图的旋转角度,结合模板源图中心坐标和角度信息,旋转平移物体,外轮廓和最大内轮廓的最小外接矩形中心的矢量角是否匹配,来检测是否匹配成功;
20:若模板源图不满足只有一个有效最大内轮廓,则判断模板源图有多个最大内轮廓还是既有最大内轮廓又有最小外轮廓;
21:若模板源图有多个最大内轮廓,则遍历待检测零件中所有内轮廓,对每个内轮廓进行有效内轮廓匹配,判断是否存在至少一个内轮廓匹配成功,若是,物体匹配成功,结束本流程;若否,物体未匹配成功,结束本流程;
22:若模板源图既有最大内轮廓又有最小外轮廓;先对最大内轮廓进行有效内轮廓匹配;若最大内轮廓匹配,则物体匹配成功,结束本流程;
23:若最大内轮廓不匹配,再对最小内轮廓检测物体进行有效内轮廓匹配;若最小内轮廓匹配,则物体匹配成功,结束本流程;若最小内轮廓不匹配,则物体未匹配成功,结束本流程;
如图17所示,执行连续测量实时尺寸需满足勾选模板数小于系统设置阈值变量和相机校准结果数据存在;
在执行连续测量实时尺寸的界面中控件状态设置如下:实时图显示中不再叠加模板图显示;将尺寸测量结果数据显示清空;模板显示框中只能对显示框进行滚动操作,查看系统已制作的所有模板和当前勾选的要进行匹配的模板;“系统设置”、“临时制作”和“退出系统”按钮失效;
连续测量版本实时尺寸的具体执行流程如下:
首先判断是否采集到图像,若采集到图像,传递模板信息和实时图到单张图像尺寸测量算法,执行单张图像实时尺寸测量流程;其中传递到单张图像尺寸测量算法的参数包括执行自动对焦标志位、上一帧相机采集图像、本帧相机采集图像、所有勾选的模板信息、相机校准参数、优先匹配模板编号;
执行自动对焦标志位,根据该标志位确定尺寸测量算法中是否需要进行指定掩膜区域清晰度评价函数计算;上一帧相机采集图像,用于与本帧图像进行帧间差分处理后快速判断工件是否移动;本帧相机采集图像,作为进行尺寸测量的图像;所有勾选的模板信息,其中模板信息包括模板源图、模板源图ROI信息、模板源图特征信息、模板源图内轮廓个数、模板掩膜图、模板掩膜特征信息、模板掩膜准确特征信息;优先匹配模板编号,当实时图与模板图匹配成功时,尺寸测量算法执行完成后将输出匹配成功的模板图所在勾选模板列表中的位置,将其位置序列作为优先匹配模板编号,下次相机采集到图像时,将该设置值传递给尺寸测量算法;
接着执行单张图像实时尺寸测量流程后,根据其返回值,判断工件是否出界,若未出界,则判断当前测量工件是否与勾选模板中的模板有匹配成功,若匹配成功,则执行如下操作:先保存匹配成功的模板的所在勾选模板序列中的位置编号,作为下次采集到图像的优先匹配模板进行匹配;若本次算法根据自动对焦标志位执行清晰度计算,则根据算法返回的清晰度值和之前图像执行清晰度计算情况设置自动对焦标志位;当返回的清晰度值小于系统设置的对焦标准比例值,则置位自动对焦标志位,下次采集到图像执行算法时执行清晰度计算,若返回的清晰度值大于系统设置的对焦标准比例值,则判断采集图像张数是否大于系统设置清晰度计算间隔图像张数,若大于则置位自动对焦标志位,下次采集到图像执行算法时执行清晰度计算,否则清零自动对焦标志位;最后保存本次尺寸测量结果,具体各个测量类型的具体数值;
判断匹配到的图像张数是否达到设定阈值,若是,则计算各个测量掩膜类型数据的标准差,根据系统设定的标准差系统对各个掩膜类型数据数组内数据进行标准差剔除,对剔除后的数据计算平均值,将得到的平均值在实时测量界面进行编号显示;若否,则对各个测量掩膜类型数据直接求平均值,再在界面上进行编号显示。
还包括临时测量模块,用户可通过点击实时测量界面的“临时制作”按钮直接进入模板任务界面进行模板制作,制作完成后生成临时模板,在模板选择界面、模板制作界面或者实时测量界面选择临时模板后进行该选中临时模板的尺寸测量;临时制作会生成一个临时模板,在模板选择界面、模板制作界面和实时测量界面的模板显示列表中进行显示和选中勾选操作,再次制作后会替代原先的临时模板,因此系统中最多只有一个临时模板;用户可通过临时测量功能快速制作临时模板,进而进行临时工件的快速测量。
在实时测量过程中,根据尺寸测量算法执行时间和相机采集图像帧率时间执行自动跳帧和帧率自适应流程;通过执行该流程,使图像采集速度和尺寸测量算法执行时间实现合理配置,防止由于算法执行时间太长导致系统运行崩溃;
自动跳帧针对单张图像的处理,当单张图像处理时间超过系统约束条件时,进行自动跳帧或者结束单张图像处理,从而防止单张图像处理时间过长而导致的系统崩溃问题;
帧率自适应针对多张图像的处理,计算多张图像处理的平均时间,作为调整帧率的依据,使图像采集的帧率能满足实时图像处理时大多数图像的处理要求,而当个别图像处理时间过久时,采用自动跳帧;
如图18所示,具体自动跳帧和帧率自适应的执行流程如下:
先进行跳帧处理流程:判断相机是否采集到图像,若采集到图像,则判断当前测量采集到的图像数是否大于1张,若大于1张,则判断当前图像之前的指定图像尺寸测量线程是否结束,其中指定图像线程的指定依据为:当前测量采集到第一张图像时,指定第一张图像为指定图像;若未结束,则指定图像尺寸测量线程经过图像数加1,同时,指定图像和当前图像之间未处理完成的尺寸测量线程经过的图像张数也进行加1处理;若已结束,则在当前图像和指定图像之间选择最早建立的未处理完成的尺寸测量线程对应的图像为指定图像,并对指定图像和当前图像之间的所有处理线程经过的图像张数进行加1处理;判断指定图像尺寸测量线程经过的图像张数是否达到设定阈值,若是,则判断该线程执行时间是否达到设定阈值,若是,则对该线程进行销毁处理,并在当前图像和指定图像之间选择最早建立的未处理完成的尺寸测量线程对应的图像为指定图像;
帧率自适应流程:首先相机采集到图像进行跳帧处理后,对当前图像创建线程执行单张图像实时尺寸测量流程;判断单张图像尺寸测量流程是否完成,若完成,则判断该图像模板匹配是否成功,否则返回判断是否采集到图像;判断模板匹配成功的目的是,帧率自适应只对模板匹配成功的图像进行时间统计,因为在图像处理算法中模板匹配成功时的运行时间较长,能代表正常的图像处理算法时间,因此选用该时间作为帧率自适应的调整依据;
其中,若模板匹配成功,则保存该图像尺寸测量流程的运行时间,再判断模板匹配成功的图像张数是否大于设定阈值,若是,则对当前匹配成功的图像的所有处理时间进行标准差剔除处理后,对剩下的时间进行平均值运算得到平均时间;判断平均时间是否大于帧率时间阈值,其中帧率时间阈值为图像采集帧率对应的时间与帧率自适应上限比例阈值的乘积,若大于,则调整相机采集帧率为该平均时间对应的帧率;
在自动跳帧和帧率自适应过程中,实时判断用户是否点击“停止测量”按钮,若是,则将图像张数和时间等统计量清零后结束自动跳帧和帧率自适应模块。
具体的如图19、20所示,模板校准流程包括如下步骤:
步骤1:将标定板放置在视场内的不同位置,分别采集标定板图像;
步骤2:标定板图像采集完成后,关闭相机采集,调用校准算法进行图像校准处理;
步骤3:校准处理完成后,将校准参数更新为最新的校准参数;
步骤4:退出模板校准界面;
所述步骤2中图像校准处理包括获取相机畸变参数、相机内参矩阵和获取放大率;获取相机畸变参数和内参矩阵通过张正友畸变校正算法,包括如下步骤:
步骤1.1:读取已采图的标定图像数据和标定参数,标定参数中横向点数是指标定板棋盘格的行数,纵向点数是指棋盘格的列数,单位间距是棋盘格每小格的真实物理尺寸;
步骤1.2:对每帧标定图像提取角点信息;
步骤1.3:利用已提取的角点信息,进一步提取亚像素角点信息;
步骤1.4:初始化标定板上角点的空间三维坐标系;
步骤1.5:利用已提取的亚像素角点信息及标定板上角点的空间三维坐标系信息,进行相机标定,得到相机内参与每帧图像的畸变参数、每帧图像的旋转向量和平移向量;
步骤1.6:对标定结果进行评价;首先通过相机标定得到畸变参数,对每帧图像的空间三维坐标点进行重新投影计算,得到新的投影点,计算新的投影点与旧的投影点的误差,若该误差小于设定值0.15个像素,则符合要求,保存标定结果与畸变参数,结束本流程;若该误差大于等于设定值0.15个像素,则不合要求,结束本流程并提示重新采集标定图像;
获取放大率流程包括如下步骤:
步骤2.1:利用标定结果对已采集的某一帧标定图像进行校正;
步骤2.2:对已校正图像提取角点信息;
步骤2.3:提取亚像素角点信息;
步骤2.4:遍历校正图像列数,计算并保存每一列第一行至倒数第一行的间距;
步骤2.5:对每列所保存的间距进行排序;
步骤2.6:以中间列为中心,选择若干列,并累加所选列的所保存的间距;
步骤2.7:根据累加值,求均值;
步骤2.8:根据均值、列数、物理尺寸,求放大率,放大率的计算公式为均值/(列数-2)/物理尺寸;
步骤2.9:结束本流程。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员,在不脱离本发明构思的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明保护范围内。
Claims (8)
1.基于多模板匹配和自动对焦功能的尺寸测量仪系统,其特征在于,
1)初始化步骤:启动测量仪,打开操作软件后,进入开机初始化界面,在该界面中进行开机初始化;开机初始化流程主要进行系统相关软硬件的检测以及参数的读取和设置工作,对相关软硬件的检测结果信息进行处理,判断是否存在系统无法正常运行的软硬件异常;若存在,则等待用户进行异常信息确认并退出系统;若不存在,则进入模板选择界面;
2)模板选择界面处理步骤:进入模板选择界面时,默认勾选或选择上次退出系统前用户选择的模板,用户可在该界面中勾选一个或者多个需要测量的工件模板;用户完成选择后点击“进入测量”按钮进入下一个界面或者点击“退出系统”按钮退出系统;
3)实时测量步骤:实时测量界面内进行工件尺寸的实时测量、系统设置、临时制作和退出系统的操作;
在实时测量界面中点击“开始测量”按钮进入被测工件的实时尺寸测量流程;先判断是否满足测量条件,分别判断勾选模板数是否符合约束条件和相机校准结果数据是否存在,若满足测量条件,则判断是否采集到图像,否则根据未满足的测量条件弹出信息提示框提示,等待用户进行信息确认后返回,等待用户操作;若采集到图像,则进行连续测量和一键测量版本的判断;若为一键测量版本,则进入一键测量版本单张图像实时尺寸测量流程,完成该流程后再判断处理图像张数是否达到设定值,若达到则进行多张图像数据处理流程,完成该流程后结束本次测量,等待用户操作,若未达到,则返回判断是否采集到图像;若为连续测量版本,则进入连续测量版本单张图像实时尺寸测量流程,完成后进入连续测量版本的多张图像数据处理流程,完成该流程后进入下一次循环,判断是否采集到图像;
退出系统触发后,弹出确认退出系统对话框,若用户选择确定,则退出系统,若否则关闭退出系统对话框。
2.根据权利要求1所述的基于多模板匹配和自动对焦功能的尺寸测量仪系统,其特征在于,步骤2)中若进行选中模板操作,界面中会显示该模板的测量结果图和测量结果信息,选中操作有且只能选中一个模板,若用户选择空模板,则弹出管理员密码输入对话框,用户输入正确的管理员密码后进入模板操作界面;若用户选择其他模板,则进入实时测量界面。
3.根据权利要求1所述的基于多模板匹配和自动对焦功能的尺寸测量仪系统,其特征在于,步骤1)中的系统相关的软硬件包括:数据库、相机、环形光源和背光源,参数主要包括相机配置参数、串口配置参数、权限管理参数和尺寸测量相关参数。
4.根据权利要求1所述的基于多模板匹配和自动对焦功能的尺寸测量仪系统,其特征在于,步骤3)在实时尺寸测量过程中,实时判断用户是否点击“停止测量”按钮,若是,则结束本次测量,返回等待用户操作,否则继续执行实时尺寸测量流程;
点击“系统设置”按钮后会弹出管理员密码输入框,若用户输入正确的管理密码则进入系统设置界面,否则提示用户密码输入错误,用户可关闭管理员密码输入框或者在管理员密码输入框内重新输入密码;在系统设置界面内点击不同的按钮可进行相应功能的操作,操作按钮具体包括:参数配置、模板操作、模板校准、辅助对焦、权限管理和返回;
点击“参数配置”按钮后,系统打开参数配置界面,在参数配置界面内运行参数配置模块,同时判断用户是否点击“返回”按钮,若点击“返回”按钮,则进入参数保存流程,完成后关闭参数配置界面,返回系统设置界面;
点击“模板操作”按钮后,系统打开模板操作界面,在模板操作界面内运行模板操作模块,同时判断用户是否点击“返回”按钮,若是,则关闭模板操作界面,返回系统设置界面;
点击“模板校准”按钮,进入模板校准界面,在模板校准界面内运行模板校准模块,同时判断用户是否点击“返回”按钮,若是,则关闭模板校准界面,返回系统设置界面;
点击“辅助对焦”按钮,进入辅助对焦界面,在辅助对焦界面内运行自动对焦模块,同时判断用户是否点击“返回”按钮,若是,则关闭辅助对焦界面,返回系统设置界面;
点击“权限管理”按钮,进入权限管理界面,在权限管理界面内运行权限管理模块,同时判断用户是否点击“返回”按钮,若是,则关闭权限管理界面,返回系统设置界面;
临时制作触发后会弹出管理员密码输入框,若用户输入正确的管理员密码将打开模板任务编辑界面,否则提示用户密码输入错误,用户可关闭管理员密码输入框或者在管理员密码输入框内重新输入密码;在模板任务编辑界面内进行临时模板制作流程,同时判断用户是否点击“返回”按钮,若是,则生成临时模板后关闭模板任务编辑界面,返回实时测量界面。
5.根据权利要求1所述的基于多模板匹配和自动对焦功能的尺寸测量仪系统,其特征在于,初始化步骤具体如下:
1.1)同时开启数据库操作流程、相机连接操作流程和串口转IO模块连接操作流程;根据操作结果判断数据库和相机是否都连接成功;若存在连接不成功,则显示“退出系统”按钮,等待用户点击“退出系统”按钮后退出系统;由于数据库中存储着相机配置参数、模板信息和测量结果信息,只有当数据库和相机全部连接成功,才能继续;否则进行检修,等数据库和相机都连接成功;
1.2)若数据库和相机都连接成功,则判断串口转IO模块连接是否成功;若连接不成功,则显示“进入系统”和“退出系统”按钮,等待用户进行按钮操作;若连接成功,则进入光源检测模块;若用户点击“进入系统”按钮,则根据当前版本号判断是一键测量版本还是连续测量版本,若为一键测量版本则进入一键测量功能,若为连续测量版本则进入连续测量版本;若用户点击“退出系统”按钮,则退出系统;
1.3)光源检测模块判断环形光源和背光源是否能正常工作;光源检测流程执行完成后,判断光源是否都正常,若存在不能正常工作的光源则显示“进入系统”和“退出系统”按钮,等待用户进行按钮操作,若光源都能正常工作,则根据当前版本号选择相应的测量功能;若用户点击“进入系统”按钮,则根据当前版本号选择相应的测量功能;若用户点击“退出系统”按钮,则退出系统。
6.根据权利要求1所述的基于多模板匹配和自动对焦功能的尺寸测量仪系统,其特征在于,数据库包括存储相机配置参数、自动曝光调节参数、相机校准配置参数、相机校准结果数据、相机自动对焦参数、用户权限密码、版本号、数据处理参数、模板信息和实时测量结果数据;数据库根据这些存储数据建立相应的数据表,其中根据模板信息建立模板参数总表和模板掩膜信息表,数据表和其中存储的数据如下:
相机配置参数表包括曝光量、采集帧率、处理帧率和像素合并;
帧率自适应和跳帧参数表包括图片张数、标准差处理数据下限、标准差系数、帧率自适应比例上限和跳帧图片张数;
自动曝光调节参数表包括自动曝光功能选择、曝光调节目标比例值、目标比例值上限、目标比例值下限、曝光量调节刻度;
相机校准配置参数表包括横向格子数、纵向格子数和单位长度;
相机校准结果数据表包括放大率、相机畸变参数、相机内参矩阵和高度值;
自动对焦参数表包括边缘检测阈值、对焦标准比例值和对焦下限比例值;
串口配置参数表包括端口号、波特率;
用户权限表包括管理员密码、技术人员密码和系统版本号;
数据处理参数表包括处理模板数上限、处理图片张数、标准差系数和标准差处理数据个数下限;
模板信息总表包括模板名、测量模板选择、显示模板选择、模板源图、测量结果图、模板源图测量信息和模板修改时间;
模板掩膜信息表包括模板名、掩膜号、自动对焦选择、掩膜信息、掩膜图、各掩膜对应的测量结果和测量值;
测量结果数据表包括模板名、测量值和测量日期时间。
7.根据权利要求6所述的基于多模板匹配和自动对焦功能的尺寸测量仪系统,其特征在于,数据库操作模块的具体执行步骤如下:
首先根据数据库服务器主机地址、用户名和密码执行数据库连接函数,数据库连接结果包括数据库连接成功、数据库连接异常和数据库连接失败;判断数据库是否连接成功中,若数据库连接成功,则根据数据库名称执行数据库是否存在命令;若数据库连接异常或者失败,则将数据库连接结果写入日志并返回连接结果;
执行数据库相应命令时,若数据库存在,则根据上述数据表名称依次执行数据表是否存在命令;若对应的数据表存在,则执行读取数据命令,根据读取命令的返回数据设置相应变量的值;若对应的数据表不存在,则创建数据表,并对数据表进行写入默认参数操作,设置相关的尺寸测量参数为默认值,最后数据库返回信息中设置对应数据表不存在,其中相机校准结果数据表、模板信息总表和模板掩膜信息表遍历时,若其不存在,不需写入默认参数操作,测量结果数据表不需遍历;若数据库不存在,则先执行创建数据库命令创建数据库,再创建各个参数表并写入默认参数,同时设置相关尺寸测量参数为默认值,同时将数据库操作结果设置为数据库不存在;
最后根据数据库操作结果在界面中显示结果信息后结束数据库操作模块。
8.根据权利要求1所述的基于多模板匹配和自动对焦功能的尺寸测量仪系统,其特征在于,软硬件中的相机连接具体包括如下:
首先查找系统中连接的所有以太网相机和USB相机;若未检测到相机,则将相机连接操作结果设置为未检测到相机,并将检测结果写入日志;若检测到1个相机,则执行打开相机操作;若检测到2个或者2个以上的相机,则在界面上显示检测到的相机名称等待用户选择,用户选择相机后进行打开相机操作;
打开相机操作后,先创建设备对象,再根据检测到的相机信息对设备对象操作创建设备,最后对该设备执行打开相机操作,在打开相机过程中若出现异常,则返回相应异常信息并结束相机操作;
若打开相机成功,则设置相机采集图像方式为触发模式,设置相机回调函数,同时读取相机采集图像的尺寸作为模板是否可用的判断依据,再根据相机配置参数执行相应的相机配置函数,具体为根据采集帧率变量设置相机采图帧率,根据像素合并变量设置相机像素合并值,根据曝光量变量设置相机曝光量;
最后根据相机连接结果在界面中显示结果信息后结束相机连接的确认。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110356536.7A CN113639630A (zh) | 2021-04-01 | 2021-04-01 | 基于多模板匹配和自动对焦功能的尺寸测量仪系统 |
PCT/CN2021/137820 WO2022206022A1 (zh) | 2021-04-01 | 2021-12-14 | 基于多模板匹配和自动对焦功能的尺寸测量仪系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110356536.7A CN113639630A (zh) | 2021-04-01 | 2021-04-01 | 基于多模板匹配和自动对焦功能的尺寸测量仪系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113639630A true CN113639630A (zh) | 2021-11-12 |
Family
ID=78415739
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110356536.7A Pending CN113639630A (zh) | 2021-04-01 | 2021-04-01 | 基于多模板匹配和自动对焦功能的尺寸测量仪系统 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN113639630A (zh) |
WO (1) | WO2022206022A1 (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114547356A (zh) * | 2022-04-27 | 2022-05-27 | 深圳百里科技有限公司 | 模板图像存储方法、装置、设备及存储介质 |
WO2022206022A1 (zh) * | 2021-04-01 | 2022-10-06 | 浙江大学台州研究院 | 基于多模板匹配和自动对焦功能的尺寸测量仪系统 |
Citations (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001194126A (ja) * | 2000-01-14 | 2001-07-19 | Sony Corp | 三次元形状計測装置および三次元形状計測方法、並びにプログラム提供媒体 |
WO2002029870A1 (fr) * | 2000-10-05 | 2002-04-11 | Nikon Corporation | Procede de determination des conditions d'exposition, procede d'exposition, dispositif de realisation dudit procede et support d'enregistrement |
CN1928920A (zh) * | 2006-09-15 | 2007-03-14 | 东南大学 | 三维扫描系统中基于单像素的阈值分割方法 |
US20080025616A1 (en) * | 2006-07-31 | 2008-01-31 | Mitutoyo Corporation | Fast multiple template matching using a shared correlation map |
JP2009111742A (ja) * | 2007-10-30 | 2009-05-21 | Nikon Corp | 画像認識装置及び焦点検出装置並びに撮像装置 |
JP2011138882A (ja) * | 2009-12-28 | 2011-07-14 | Sanyo Electric Co Ltd | コンデンサ用電極体の製造方法およびコンデンサの製造方法 |
CN102194115A (zh) * | 2010-03-18 | 2011-09-21 | 富士通株式会社 | 图像处理装置和图像处理方法 |
WO2012001876A1 (ja) * | 2010-07-01 | 2012-01-05 | 株式会社 日立ハイテクノロジーズ | パターンマッチング方法,画像処理装置、及びコンピュータプログラム |
CN102607421A (zh) * | 2012-04-12 | 2012-07-25 | 苏州天准精密技术有限公司 | 一种大视野影像测量方法与设备 |
CN104700415A (zh) * | 2015-03-23 | 2015-06-10 | 华中科技大学 | 一种图像匹配跟踪中匹配模板的选取方法 |
CN105241399A (zh) * | 2015-09-09 | 2016-01-13 | 合肥芯碁微电子装备有限公司 | 一种精密定位平台动态平面度的测量方法 |
CN105910563A (zh) * | 2016-03-31 | 2016-08-31 | 刘玉芳 | 一种三坐标测量机工件连续测量方法 |
CN106101697A (zh) * | 2016-06-21 | 2016-11-09 | 深圳市辰卓科技有限公司 | 图像清晰度检测方法、装置及测试设备 |
CN106303242A (zh) * | 2016-08-18 | 2017-01-04 | 上海交通大学 | 多光谱显微成像的快速主动对焦系统及方法 |
CN108628061A (zh) * | 2018-05-07 | 2018-10-09 | 凌云光技术集团有限责任公司 | 一种工业相机自适应自动对焦方法及装置 |
JP2018195070A (ja) * | 2017-05-17 | 2018-12-06 | キヤノン株式会社 | 情報処理装置、情報処理方法、及びプログラム |
CN109357630A (zh) * | 2018-10-30 | 2019-02-19 | 南京工业大学 | 一种多类型工件批量视觉测量系统及方法 |
CN109685758A (zh) * | 2018-10-29 | 2019-04-26 | 中国化学工程第六建设有限公司 | 基于多模板匹配的焊缝视觉定位方法 |
CN109856157A (zh) * | 2019-01-24 | 2019-06-07 | 武汉精立电子技术有限公司 | 一种基于自适应对焦的lcd面板缺陷检测方法 |
CN110136120A (zh) * | 2019-05-16 | 2019-08-16 | 燕山大学 | 一种基于机器视觉的丝网印刷样板尺寸测量方法 |
CN110956624A (zh) * | 2019-12-02 | 2020-04-03 | 河海大学常州校区 | 一种针对立体物体的图像清晰度评价方法 |
US10620802B1 (en) * | 2015-08-10 | 2020-04-14 | Cadence Design Systems, Inc. | Algorithmic modeling interface process |
CN111458835A (zh) * | 2020-04-16 | 2020-07-28 | 东南大学 | 一种显微镜多视野自动对焦系统及其使用方法 |
CN111698420A (zh) * | 2020-05-18 | 2020-09-22 | 桂林优利特医疗电子有限公司 | 一种用于图像分析仪的自动对焦方法 |
CN112284250A (zh) * | 2020-10-15 | 2021-01-29 | 浙江大学台州研究院 | 一种基于机器视觉的尺寸测量评分系统及测量方法 |
CN113721072A (zh) * | 2021-08-18 | 2021-11-30 | 宁波云太基智能科技有限公司 | 智能测量仪的流程测量方法 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA2249092C (en) * | 1998-09-30 | 2013-11-05 | Hydroscope Canada Inc. | Method and system for determining pipeline defects |
CN108534684B (zh) * | 2018-03-08 | 2020-07-07 | 上海第二工业大学 | 一种基于Lab VIEW开发平台的尺寸测量系统及其测量方法 |
CN112330599B (zh) * | 2020-10-15 | 2024-02-20 | 浙江大学台州研究院 | 一种尺寸测量评分装置及调节方法和评分方法 |
CN114674223B (zh) * | 2020-10-15 | 2023-06-23 | 浙江大学台州研究院 | 一种基于机器视觉检测方法的尺寸测量评分系统 |
CN116249002A (zh) * | 2021-04-01 | 2023-06-09 | 浙江大学台州研究院 | 一种尺寸测量仪的自动对焦方法 |
CN113467664A (zh) * | 2021-04-01 | 2021-10-01 | 浙江大学台州研究院 | 一种基于模板匹配的尺寸测量仪使用方法 |
CN113639630A (zh) * | 2021-04-01 | 2021-11-12 | 浙江大学台州研究院 | 基于多模板匹配和自动对焦功能的尺寸测量仪系统 |
-
2021
- 2021-04-01 CN CN202110356536.7A patent/CN113639630A/zh active Pending
- 2021-12-14 WO PCT/CN2021/137820 patent/WO2022206022A1/zh active Application Filing
Patent Citations (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001194126A (ja) * | 2000-01-14 | 2001-07-19 | Sony Corp | 三次元形状計測装置および三次元形状計測方法、並びにプログラム提供媒体 |
WO2002029870A1 (fr) * | 2000-10-05 | 2002-04-11 | Nikon Corporation | Procede de determination des conditions d'exposition, procede d'exposition, dispositif de realisation dudit procede et support d'enregistrement |
US20080025616A1 (en) * | 2006-07-31 | 2008-01-31 | Mitutoyo Corporation | Fast multiple template matching using a shared correlation map |
CN1928920A (zh) * | 2006-09-15 | 2007-03-14 | 东南大学 | 三维扫描系统中基于单像素的阈值分割方法 |
JP2009111742A (ja) * | 2007-10-30 | 2009-05-21 | Nikon Corp | 画像認識装置及び焦点検出装置並びに撮像装置 |
JP2011138882A (ja) * | 2009-12-28 | 2011-07-14 | Sanyo Electric Co Ltd | コンデンサ用電極体の製造方法およびコンデンサの製造方法 |
CN102194115A (zh) * | 2010-03-18 | 2011-09-21 | 富士通株式会社 | 图像处理装置和图像处理方法 |
WO2012001876A1 (ja) * | 2010-07-01 | 2012-01-05 | 株式会社 日立ハイテクノロジーズ | パターンマッチング方法,画像処理装置、及びコンピュータプログラム |
CN102607421A (zh) * | 2012-04-12 | 2012-07-25 | 苏州天准精密技术有限公司 | 一种大视野影像测量方法与设备 |
CN104700415A (zh) * | 2015-03-23 | 2015-06-10 | 华中科技大学 | 一种图像匹配跟踪中匹配模板的选取方法 |
US10620802B1 (en) * | 2015-08-10 | 2020-04-14 | Cadence Design Systems, Inc. | Algorithmic modeling interface process |
CN105241399A (zh) * | 2015-09-09 | 2016-01-13 | 合肥芯碁微电子装备有限公司 | 一种精密定位平台动态平面度的测量方法 |
CN105910563A (zh) * | 2016-03-31 | 2016-08-31 | 刘玉芳 | 一种三坐标测量机工件连续测量方法 |
CN106101697A (zh) * | 2016-06-21 | 2016-11-09 | 深圳市辰卓科技有限公司 | 图像清晰度检测方法、装置及测试设备 |
CN106303242A (zh) * | 2016-08-18 | 2017-01-04 | 上海交通大学 | 多光谱显微成像的快速主动对焦系统及方法 |
JP2018195070A (ja) * | 2017-05-17 | 2018-12-06 | キヤノン株式会社 | 情報処理装置、情報処理方法、及びプログラム |
CN108628061A (zh) * | 2018-05-07 | 2018-10-09 | 凌云光技术集团有限责任公司 | 一种工业相机自适应自动对焦方法及装置 |
CN109685758A (zh) * | 2018-10-29 | 2019-04-26 | 中国化学工程第六建设有限公司 | 基于多模板匹配的焊缝视觉定位方法 |
CN109357630A (zh) * | 2018-10-30 | 2019-02-19 | 南京工业大学 | 一种多类型工件批量视觉测量系统及方法 |
CN109856157A (zh) * | 2019-01-24 | 2019-06-07 | 武汉精立电子技术有限公司 | 一种基于自适应对焦的lcd面板缺陷检测方法 |
CN110136120A (zh) * | 2019-05-16 | 2019-08-16 | 燕山大学 | 一种基于机器视觉的丝网印刷样板尺寸测量方法 |
CN110956624A (zh) * | 2019-12-02 | 2020-04-03 | 河海大学常州校区 | 一种针对立体物体的图像清晰度评价方法 |
CN111458835A (zh) * | 2020-04-16 | 2020-07-28 | 东南大学 | 一种显微镜多视野自动对焦系统及其使用方法 |
CN111698420A (zh) * | 2020-05-18 | 2020-09-22 | 桂林优利特医疗电子有限公司 | 一种用于图像分析仪的自动对焦方法 |
CN112284250A (zh) * | 2020-10-15 | 2021-01-29 | 浙江大学台州研究院 | 一种基于机器视觉的尺寸测量评分系统及测量方法 |
CN113721072A (zh) * | 2021-08-18 | 2021-11-30 | 宁波云太基智能科技有限公司 | 智能测量仪的流程测量方法 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022206022A1 (zh) * | 2021-04-01 | 2022-10-06 | 浙江大学台州研究院 | 基于多模板匹配和自动对焦功能的尺寸测量仪系统 |
CN114547356A (zh) * | 2022-04-27 | 2022-05-27 | 深圳百里科技有限公司 | 模板图像存储方法、装置、设备及存储介质 |
CN114547356B (zh) * | 2022-04-27 | 2022-07-12 | 深圳百里科技有限公司 | 模板图像存储方法、装置、设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
WO2022206022A1 (zh) | 2022-10-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5228490B2 (ja) | 画像解析によって欠陥検査を行う欠陥検査装置 | |
JP4220595B2 (ja) | 欠陥の分類方法並びに教示用データ作成方法 | |
TWI519778B (zh) | 用以檢驗圖案之線寬及/或位置錯誤之方法 | |
JP7005930B2 (ja) | シート検査装置及び検査システム | |
CN113639630A (zh) | 基于多模板匹配和自动对焦功能的尺寸测量仪系统 | |
CN111025701B (zh) | 一种曲面液晶屏幕检测方法 | |
KR20020013512A (ko) | 기준 다이 선택 시스템 및 방법 | |
CN110838149B (zh) | 一种相机光源自动配置方法及系统 | |
JP2007285754A (ja) | 欠陥検出方法および欠陥検出装置 | |
CN114689591A (zh) | 一种基于线扫描相机的卷材检测装置、系统及检测方法 | |
CN114486903A (zh) | 一种灰度自适应的卷材检测系统及装置、算法 | |
CN113467664A (zh) | 一种基于模板匹配的尺寸测量仪使用方法 | |
CN113645398A (zh) | 一种基于自动对焦功能的尺寸测量仪系统 | |
WO2014208193A1 (ja) | ウエハ外観検査装置 | |
US7970238B2 (en) | Method and apparatus for acquiring image of internal structure, and computer product | |
JP2007233299A (ja) | カラーフィルタ欠陥修正装置およびカラーフィルタ欠陥修正方法 | |
CN113624129A (zh) | 一种尺寸测量仪的实时测量方法 | |
CN113624129B (zh) | 一种尺寸测量仪的实时测量方法 | |
WO2014013865A1 (ja) | ウエハ外観検査装置及びウエハ外観検査装置における感度しきい値設定方法 | |
JP4880380B2 (ja) | 基板欠陥修正装置および基板欠陥修正方法 | |
JP7380332B2 (ja) | 画像処理装置、画像処理装置の制御方法およびプログラム | |
JP3826146B2 (ja) | ウェハ外観検査装置およびウェハ外観検査方法 | |
JP4975472B2 (ja) | カラーフィルタ欠陥修正装置およびカラーフィルタ欠陥修正方法 | |
JP2005140655A (ja) | シミ欠陥の検出方法及びその検出装置 | |
JP3202089B2 (ja) | 周期性パターンの表面欠陥検査方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |