CN111562262B - 一种合金分析系统及其复检方法 - Google Patents
一种合金分析系统及其复检方法 Download PDFInfo
- Publication number
- CN111562262B CN111562262B CN202010457852.9A CN202010457852A CN111562262B CN 111562262 B CN111562262 B CN 111562262B CN 202010457852 A CN202010457852 A CN 202010457852A CN 111562262 B CN111562262 B CN 111562262B
- Authority
- CN
- China
- Prior art keywords
- point
- detection
- candidate
- alloy
- structured light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000000956 alloy Substances 0.000 title claims abstract description 117
- 229910045601 alloy Inorganic materials 0.000 title claims abstract description 117
- 238000004458 analytical method Methods 0.000 title claims abstract description 41
- 238000000034 method Methods 0.000 title claims abstract description 29
- 238000001514 detection method Methods 0.000 claims abstract description 262
- 239000000523 sample Substances 0.000 claims abstract description 83
- 230000008569 process Effects 0.000 claims abstract description 13
- 238000013507 mapping Methods 0.000 claims description 10
- 238000012216 screening Methods 0.000 claims description 7
- 230000004044 response Effects 0.000 claims description 4
- 238000012913 prioritisation Methods 0.000 claims description 2
- 230000000007 visual effect Effects 0.000 description 19
- 238000004364 calculation method Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 9
- 230000033001 locomotion Effects 0.000 description 9
- 238000012545 processing Methods 0.000 description 4
- 230000003247 decreasing effect Effects 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000013102 re-test Methods 0.000 description 3
- 229910052717 sulfur Inorganic materials 0.000 description 3
- 229910000831 Steel Inorganic materials 0.000 description 2
- 230000001174 ascending effect Effects 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000007789 sealing Methods 0.000 description 2
- 239000010959 steel Substances 0.000 description 2
- 238000003466 welding Methods 0.000 description 2
- FYYHWMGAXLPEAU-UHFFFAOYSA-N Magnesium Chemical compound [Mg] FYYHWMGAXLPEAU-UHFFFAOYSA-N 0.000 description 1
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical compound [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 description 1
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- NINIDFKCEFEMDL-UHFFFAOYSA-N Sulfur Chemical compound [S] NINIDFKCEFEMDL-UHFFFAOYSA-N 0.000 description 1
- 241000577395 Thenus Species 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 1
- 229910052782 aluminium Inorganic materials 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 230000009849 deactivation Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012921 fluorescence analysis Methods 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 239000011777 magnesium Substances 0.000 description 1
- 229910052749 magnesium Inorganic materials 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000011574 phosphorus Substances 0.000 description 1
- 229910052698 phosphorus Inorganic materials 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 239000011593 sulfur Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/01—Arrangements or apparatus for facilitating the optical investigation
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/01—Arrangements or apparatus for facilitating the optical investigation
- G01N2021/0106—General arrangement of respective parts
- G01N2021/0112—Apparatus in one mechanical, optical or electronic block
Landscapes
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本申请公开一种合金分析系统及其复检方法,包括:机器人、合金分析仪、与机器人连接的结构光源和用于拍摄样品图像的相机组件;控制系统被配置为执行:从样品图像中提取的结构光条纹;根据结构光条纹计算第一检测点和候选检测点;将第一检测点和候选检测点按优先级排序组合成检测点集合;控制机器人移动合金分析仪,使探头与第一检测点接触,并控制合金分析仪对第一检测点进行检测;响应于未接收到合金分析仪反馈的有效检测数据,按照检测点集合中优先级从高到底的顺序,控制合金分析仪对候选检测点进行顺次复检,直至接收到有效检测数据,则复检过程结束。本申请提高了合金分析系统的检测效率,缩短工作节拍,使合金分析系统更适于快速检测场景。
Description
技术领域
本申请涉及视觉检测技术领域,尤其涉及一种合金分析系统及其复检方法。
背景技术
在一些应用场景中,需要对合金的元素成分进行现场测定,以保证产品质量,比如,在钢铁行业,由于产品的多样化,其生产水平亦趋于自动化和精细化,为防止不同钢种混号,需要对成品盘条进行合金成份分析。
在进行合金分析时,需要在待测样品表面选择一个最佳检测点,然后由机器人将合金分析仪的探头触到最佳检测点进行检测。目前一般采用结构光测量系统来定位样品表面最佳检测点的位置,结构光测量系统主要由结构光源、相机和图像处理系统组成,测量原理是向被测样品投射结构光,结构光受待测样品表面的调制而发生形变,使相机拍摄的样品图像中产生结构光条纹,通过解析结构光条纹计算最佳检测点的三维位置坐标。
在实际应用中,因受机器人工作误差等因素影响,可能导致合金分析仪在最佳检测点处无法检测到有效数据,此时需要进行复检,即重新对待测样品表面拍照,并根据拍摄的样品图像再次计算最佳检测点,直至合金分析仪能返回有效的检测数据为止。但是这种方式检测效率低,合金分析系统工作节拍长,无法满足某些需要快速检测的场景的要求。
发明内容
为解决上述背景技术中所述的问题,本申请提供一种合金分析系统及其复检方法。
第一方面,本申请提供一种合金分析系统,包括:
机器人;
与所述机器人连接的合金分析仪,所述合金分析仪包括探头;
与所述机器人连接的结构光源和用于拍摄样品图像的相机组件;
控制系统,被配置为执行:
从所述样品图像中提取的结构光条纹;
根据所述结构光条纹计算第一检测点和候选检测点;
将所述第一检测点和所述候选检测点按优先级排序组合成检测点集合;
控制机器人移动所述合金分析仪,以使所述探头与所述第一检测点接触,并控制所述合金分析仪对所述第一检测点进行检测;
响应于未接收到所述合金分析仪反馈的有效检测数据,按照所述检测点集合中优先级从高到底的顺序,控制所述合金分析仪对所述候选检测点进行顺次复检,直至接收到有效检测数据,则复检过程结束。
在一些实施例中,所述控制系统被进一步配置为按如下步骤计算第一检测点和候选检测点:
在图像坐标系uov中,对所述结构光条纹中各段子条纹的中心点按照v坐标值进行排序,将v坐标值最大的中心点作为述第一最凸点;
以所述第一最凸点为基准点,将所述结构光条纹划分为多个区间,并在除所述第一最凸点所属区间之外的其他区间内搜索候选最凸点;候选最凸点为所述其他区间内最凸的中心点;
计算所述第一最凸点映射到世界坐标系XYZ中的第一检测点,以及所述候选最凸点映射到世界坐标系XYZ中的候选检测点。
在一些实施例中,所述控制系统被进一步配置为按如下步骤将所述结构光条纹划分为多个区间:
以所述第一最凸点为基准点,分别沿所述图像坐标系uov中u轴的正向和负向,每间隔预设步长标定区间的节点,从而将所述结构光条纹划分为N+1个区间;
其中,N表示所述检测点集合中包括的检测点的预设数量。
在一些实施例中,所述预设步长=,其中,M为预设倍数,为所述结构光条
纹中各段子条纹在所述图像坐标系uov中的宽度的平均值;预设倍数M是根据所述结构光条
纹的总宽度以及所述结构光条纹被划分的区间数量计算得到。
在一些实施例中,所述相机组件包括处于同一水平高度上的第一相机和第二相机;所述样品图像包括第一相机拍摄的第一图像和第二相机拍摄的第二图像;所述结构光条纹包括从第一图像中提取的第一结构光条纹,以及从第二图像中提取第二结构光条纹;则所述控制系统被配置为按如下步骤计算检测点集合:
在图像坐标系uov中,对所述第一结构光条纹中各段子条纹的中心点按照v坐标值进行排序,得到第一中心点集合P1(u 1m,v 1m);
对所述第二结构光条纹中各段子条纹的中心点按照v坐标值进行排序,得到第二中心点集合P2(u 2n,v 2n);
判断在所述第二中心点集合中是否筛选到与所述第一中心点集合中的任一像素点(u 1m,v 1m)唯一匹配的像素点(u 2n,v 2n);
如果判断结果为否,则将像素点(u 1m,v 1m)从所述第一中心点集合中删除;
如果判断结果为是,则将像素点(u 1m,v 1m)保留在所述第一中心点集合中,并记录像素点(u 1m,v 1m)与像素点(u 2n,v 2n)为匹配对;
按照上述筛选方式遍历所述第一中心点集合,筛选完成后得到第一目标点集;
将所述第一目标点集中v坐标值最大的像素点作为第一最凸点(u 1,v 1);
根据所述第一最凸点(u 1,v 1)所属的匹配对,以及图像坐标系uov与世界坐标系XYZ的映射关系,计算所述第一检测点。
在一些实施例中,所述控制系统被进一步配置为按如下步骤计算候选检测点:
以所述第一最凸点为基准点,将所述第一结构光条纹划分为多个区间,并在除所述第一最凸点所属区间之外的其他区间内搜索候选最凸点;候选最凸点为在所述其他区间内包含于所述第一目标点集的最凸的中心点;
根据所述候选最凸点所属的匹配对,以及图像坐标系uov与世界坐标系XYZ的映射关系,计算所述候选检测点。
在一些实施例中,所述控制系统被进一步配置为按如下步骤判断在所述第二中心点集合中是否筛选到与所述第一中心点集合中的任一像素点(u 1m,v 1m)唯一匹配的像素点(u 2n,v 2n):
在图像坐标系uov中,分别计算所述第一中心点集合中的任一像素点(u 1m,v 1m)与所述第二中心点集合中每个像素点的距离,组成距离值集合;
如果所述距离值集合中仅有一个距离值小于或等于第一阈值,则确定筛选到与像素点(u 1m,v 1m)唯一匹配的像素点(u 2n,v 2n);
如果所述距离值集合中所有距离值都大于第一阈值,或者存在至少两个距离值小于或等于第一阈值,则确定未筛选到与像素点(u 1m,v 1m)唯一匹配的像素点(u 2n,v 2n);
其中,像素点(u 2n,v 2n)与像素点(u 1m,v 1m)的距离小于或等于第一阈值。
在一些实施例中,所述优先级排序为:
对所述第一检测点和所述候选检测点按照Z坐标值递增排序;
或者,对所述第一最凸点和所述候选最凸点按照v坐标值递减排序,并以此顺序对应排序所述第一检测点和所述候选检测点。
在一些实施例中,所述合金分析系统还包括语音装置,所述控制系统还被配置为:
响应于复检过程结束,控制所述语音装置播报与所述有效检测数据对应的提示信息;
控制所述机器人回到初始位置。
第二方面,本申请提供一种合金分析系统的复检方法,包括:
从样品图像中提取的结构光条纹;
根据所述结构光条纹计算第一检测点和候选检测点;
将所述第一检测点和所述候选检测点按优先级排序组合成检测点集合;
控制机器人移动所述合金分析仪,以使合金分析仪的探头与所述第一检测点接触,并控制合金分析仪对所述第一检测点进行检测;
响应于未接收到所述合金分析仪反馈的有效检测数据,按照所述检测点集合中优先级从高到底的顺序,控制所述合金分析仪对所述候选检测点进行顺次复检,直至接收到有效检测数据,则复检过程结束。
本申请复检的关键在于预先根据样品图像中的结构光条纹计算检测点集合,检测点集合中包括第一检测点(即全局最佳检测点)和候选检测点,当合金分析仪在第一检测点处未检测到有效的数据时,按照优先级从高到低的顺序依次对候选检测点进行复检,直至能接收到合金分析仪反馈的有效检测数据,则复检结束。本方案中,在预先获取检测点集合之后,只需调用检测点集合中的候选检测点进行复检即可,无需多次反复拍照计算检测点,从而提高了合金分析系统的检测效率,缩短工作节拍,从而使合金分析系统更适于快速检测场景的需求。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例示出的合金分析系统的结构示意图;
图2为本申请实施例示出的合金分析系统的电连接示意图;
图3为本申请实施例示出的支架与合金分析视觉定位装置、合金分析仪的连接结构示意图;
图4为本申请实施例示出的支架与合金分析视觉定位装置的连接结构背面示意图;
图5为本申请实施例示出的基于双目的视觉定位装置的结构示意图;
图6为本申请实施例示出的合金分析系统的复检方法的流程图;
图7为本申请实施例示出的具有结构光条纹的样品图像的示意图;
图8为本申请实施例示出的结构光条纹区域划分的简化示意图;
图9为本申请实施例示出的第一检测点的Z坐标的检测原理示意图;
图10为本申请实施例示出的第一最凸点和候选最凸点的标记示意图;
图11为本申请实施例示出的另一种合金分析系统的电连接示意图。
图中,1-机器人;2-支架,21-法兰,22-安装板,23-支撑杆,24-第一端,25-第二端;3-合金分析仪,31-探头;4-视觉定位装置,41-结构光源,42-相机组件,421-第一相机,422-第二相机,43-底板,44-外护罩,441-前端面板;5-控制系统,501-PLC控制器,502-计算机;6-语音装置;100-待测样品。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整的描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1和图2所示,本申请一实施例提供的合金分析系统包括机器人1、与机器人1连接的合金分析仪3、与机器人1连接并且与合金分析仪3相邻设置的视觉定位装置4,以及控制系统5。控制系统5与机器人1电连接,用于对机器人1的运动和启闭进行控制,当控制系统5控制机器人1移动时,机器人1会带动合金分析仪3和视觉定位装置4联动,机器人1可选择六轴机器人等类型。合金分析仪3与机器人1可通过法兰或者螺栓等部件进行连接,视觉定位装置4与机器人1可通过螺栓或者安装板等部件进行连接。合金分析仪3与控制系统5电连接,控制系统5用于控制合金分析仪的启闭状态。
合金分析仪3是采用X荧光分析技术,能快速、精确无损的分析多种材质;拥有广泛、可自定义牌号库,用户可对现有牌号库进行修改,添加新牌号或创建牌号库,可严格控制轻元素(镁铝硅磷硫)的分析;拥有强大的后台数据管理功能,可按要求定制软件。检测结果和报告可直接下载到U盘,或通过WiFi、USB或网线实现数据的传输。
在一种实现方式中,如图3和图4所示,合金分析系统还包括支架2,支架2可采用L形结构,支架2的第一端24通过法兰21与机器人1连接,合金分析仪3安装在支架2的第二端25,支架2的第二端25设有安装板22,安装板22具体可设置在支架2的第二端25的侧面,视觉定位装置4通过螺栓或者焊接等方式与安装板22连接。合金分析仪3和视觉定位装置4相邻且平行地设置于支架2上,并且都朝向待测样品100。支架2的两条边部之间通过支撑杆23连接,以提高支架2的支撑结构,从而提高支架2的机械强度。当视觉定位装置4定位出待测样品100表面的最佳检测点时,根据机器人和最佳检测点的三维坐标,可以生成一条运动轨迹,使得机器人1按照运动轨迹移动后,合金分析仪3的探头31能够与最佳检测点接触,从而进行对最佳检测点进行检测,完成待测样品100的合金分析。其中,待测样品100可以为盘条、盘卷和线材,或者其他需要进行合金分析的样品,本申请对此不作限定。
视觉定位装置4包括结构光源41和相机组件42,相机组件42可采用单目相机(即相机组件42包括1个相机),或者可以采用双目相机(即相机组件42包括2个相机)。图5示出一种基于双目的视觉定位装置4,其相机组件42包括处于同一水平高度上的第一相机421和第二相机422,控制系统5分别与结构光源41、第一相机421和第二相机422电连接,用于控制这些元件的启动和关闭。第一相机421和第二相机422采用相同型号的工业相机,保证拍摄参数一致,第一相机421和第二相机422在竖直方向上的高度相同,并且距离待测样品表面的距离相同,第一相机421和第二相机422仅是在水平方向(即图5中左右方向)上存在间距。基于单目的视觉定位装置4可参照图5的结构,差别仅仅是相机数量为1个。
结构光源41启动时可以产生结构光,基于结构光受待测样品表面的调制而发生形变的特性原理,结构光经待测样品100的表面反射后,被相机组件42接收,从而使拍摄到的图像具有携带待测样品表面真实形变特征的结构光条纹,通过结构光条纹可以计算出合金分析仪3在待测样品100表面上的第一检测点(即全局最佳检测点)和候选检测点。相机组件42包括的相机内可以设置调节元件,用于调节样品图像中结构光条纹的数量。
参照图4和图5,视觉定位装置4还包括底板43和外护罩44,外护罩44的前端面板441(前端即正面)呈透明,透明的前端面板441可以保证结构光源41发出的结构光能够入射到待测样品100的表面,以及保证相机组件42能够拍摄到样品图像,同时透明的前端面板441还起到密封防护的作用;外护罩44的后端(即背面)固定在底板43上,结构光源41和相机组件42位于外护罩44的内部,并且结构光源41和相机组件42都固定在底板43上,底板43与安装板22通过螺栓或焊接等方式刚性连接,底板43既用于安装结构光源41和相机组件42,还用于将视觉定位装置4与支架2固定连接,并对视觉定位装置4的后端进行密封防护。结构光源41和相机组件42的轴心处于同一竖直平面上,以保证图像的拍摄质量,相机组件42与结构光源41在竖直方向上的距离为700mm~100mm。
对于样品图像的拍摄,比如可在视觉定位装置4的顶部设置测距装置,比如激光测距仪,当机器人1控制视觉定位装置4向待测样品100移动的过程中,可以实时获取相机组件42与待测样品100之间的距离,并判断相机组件42与待测样品100之间的距离是否等于预设距离,如果判断结果是不等于,则需要继续控制机器人1调节相机组件42的位置,直至相机组件42与待测样品100之间的距离等于预设距离为止,则相机组件42的拍摄位置定位完成,可以控制相机组件42启动并对待测样品100表面进行拍摄,从而采集到样品图像。
或者,可以不再视觉定位装置4上设置测距装置进行拍摄定位调试,而是设定一个预设拍摄位,所述预设拍摄位是根据拍摄距离和拍摄角度等因素预先设定的固定位置,由于预设拍摄位是固定的,那么根据机器人1的初始位置与预设拍摄位,可以生成一个固定的运动轨迹,控制系统5控制机器人1按照按该运动轨迹移动时,可以将视觉定位装置4移动至预设拍摄位,则相机组件42可以启动对待测样品100表面的拍摄工作,即启动结构光源41,使得结构光源41发出的结构光能够入射到待测样品100的表面,若相机组件42采用单目相机,则直接拍摄一帧样品图像;若相机组件42采用双目相机,则相机组件42拍摄的样品图像包括第一相机421拍摄的第一图像,以及同一时刻第二相机422拍摄的第二图像。样品图像中可具有一条或多条结构光条纹。
所述合金分析系统还包括用于播报合金分析仪3的检测结果的语音装置6,语音装置6与控制系统5电连接,语音装置6可设置在机器人1上,或者其他需要进行语音提示的场景中。
本申请复检的实质在于预先根据样品图像中的结构光条纹计算检测点集合,检测点集合中包括第一检测点(即全局最佳检测点)和候选检测点,当合金分析仪在第一检测点处未检测到有效的数据时,按照优先级从高到低的顺序依次对候选检测点进行复检,直至能接收到合金分析仪反馈的有效检测数据,则复检结束。
如图6所示,本申请提供一种合金分析系统的复检方法,该复检方法用于如上所述的合金分析系统,方法执行主体为控制系统5,所述方法包括:
步骤S10,从样品图像中提取的结构光条纹。
相机组件42拍摄样品图像后,从样品图像中提取结构光条纹,如果相机组件42采用双目相机,则需要从第一图像中提取第一结构光条纹,从第二图像中提取第二结构光条纹。
参照图7,样品图像主要包括两部分,一部分是暗色的样品背景(即图中的黑色部分),另一部分是结构光条纹(即图中具有形变特征的白色光条纹),由于结构光条纹和样品背景具有其各自明显的特征,灰度不同,所以可以预设一个灰度阈值,通过灰度阈值对样品背景和结构光条纹进行区分和分割。为了简化计算量,提高检测点集合的计算效率,可以通过相机组件42中的调节元件,来调节样品图像中具有的结构光条纹的数量,图7所示的样品图像中优选为具有一个结构光条纹。
步骤S20,根据所述结构光条纹计算第一检测点和候选检测点。
申请人在实践中发现,结构光受待测样品表面的调制而发生形变的特性为:由于待测样品的表面存在凹凸性,会使照射到待测样品表面的结构光发生相位调制,造成待测样品越凸出的部分对应的光条纹像素点越偏下,反之,待测样品越凹进去的部分对应的光条纹像素点越偏上,基于此特性,利用提取出的结构光条纹来解析待测样品表面的凹凸性,从而计算筛选出第一检测点和候选检测点。
在一种实施例中,当相机组件 42采用单目相机时,步骤S20被进一步配置为:
步骤(A),在图像坐标系uov中,对结构光条纹中各段子条纹的中心点按照v坐标值进行排序,将v坐标值最大的中心点作为述第一最凸点。
如图7所述,一般将图像左上角作为原点,建立图像坐标系uov,结构光条纹数量等于1,结构光条纹中包括若干段的子条纹,分别获取每段子条纹的中心点,然后按照v坐标值递增或递减的顺序对结构光条纹中各段子条纹的中心点进行排序,将v坐标值最大的中心点作第一最凸点,即第一最凸点为全局最凸点。如果按照v坐标值递增排序,则第一最凸点为排序在最末位的中心点;如果按照v坐标值递减排序,则第一最凸点为排序在首位的中心点。
步骤(B),以第一最凸点为基准点,将结构光条纹划分为多个区间,并在除第一最凸点所属区间之外的其他区间内搜索候选最凸点;候选最凸点为所述其他区间内最凸的中心点。
具体来说,以第一最凸点为基准点,分别沿图像坐标系uov中u轴的正向和负向,每间隔预设步长标定区间的节点,从而将结构光条纹划分为N+1个区间,其中N表示检测点集合中包括的检测点的预设数量,即第一检测点和候选检测点的数量和为N。
图8示出结构光条纹区域划分的简化图,是以预设数量N等于3为例,以第一最凸点为基准点,分别沿u轴向左、右跨越预设步长,共标定了4个节点,将结构光条纹划分为4个区间,其中第一区间和第二区间为第一最凸点的所属区间,由于第一最凸点为全局最凸点,则第一区间和第二区间内最凸的中心点就是第一最凸点,因此无需在第一最凸点所属区间内搜索候选检测点,而是在其他区间内搜索候选最凸点。选出第三区间内包括的子条纹中v坐标值最大的中心点,即为第三区间内的候选最凸点1;选出第四区间内包括的子条纹中v坐标值最大的中心点,即为第四区间内的候选最凸点2。从而获得第一最凸点和两个候选最凸点。
其中,预设步长=,M为单目方案下的预设倍数,为结构光条纹中各段子
条纹在图像坐标系uov中的宽度的平均值;预设倍数M是根据结构光条纹的总宽度以及结构
光条纹被划分的区间数量N+1来计算得到。实际生产中,如果最佳检测点(即本申请中的第
一检测点)不符合要求,那么距离第一检测点较近的检测点大概率也不符合要求,因此设置
预设倍数和预设步长以远离不符合要求的检测点,提高候选检测点的可靠性,从而提高复
检的效率和准确性。
步骤(C),计算第一最凸点映射到世界坐标系XYZ中的第一检测点,以及候选最凸点映射到世界坐标系XYZ中的候选检测点。
世界坐标系XYZ是在实际世界空间中建立的坐标系,图像坐标系uov和世界坐标系XYZ建立后,可以根据相机成像特性和拍摄位置等相关信息,预先获取到图像坐标系uov与世界坐标系XYZ之间的映射关系,图像坐标系uov中任意一像素点都可以根据映射关系找到在世界坐标系XYZ对应的坐标点。因此,通过映射关系,可以计算到第一最凸点对应于世界坐标系XYZ中的第一检测点,以及每个候选最凸点对应于世界坐标系XYZ中的候选检测点。
在另一种实施例中,当相机组件 42采用双目相机时,所述结构光条纹包括从第一图像中提取的第一结构光条纹,以及从第二图像中提取第二结构光条纹,步骤S20被进一步配置为:
步骤(D),在图像坐标系uov中,对第一结构光条纹中各段子条纹的中心点按照v坐标值进行排序,得到第一中心点集合P1(u 1m,v 1m)。
对于第一结构光条纹和第二结构光条纹的数量等于1的情况,在第一结构光条纹提取出来后,第一结构光条纹中包括若干段的子条纹,分别获取每段子条纹的中心点,可以按照v坐标值递增或递减的顺序对第一结构光条纹中各段子条纹的中心点进行排序,排序完成后,则每个中心点就有对应的序位号m,即得到有序的中心点集合,本申请中命名为第一中心点集合P1(u 1m,v 1m),其中1≦m≦Q,Q为第一结构光条纹中包括的子条纹数量。
步骤(E),对第二结构光条纹中各段子条纹的中心点按照v坐标值进行排序,得到第二中心点集合P2(u 2n,v 2n)。
在第二结构光条纹提取出来后,第二结构光条纹中包括若干段的子条纹,分别获取每段子条纹的中心点,可以按照v坐标值递增或递减的顺序对第二结构光条纹中各段子条纹的中心点进行排序,需要说明的是,第一结构光条纹和第二结构光条纹中中心点排序方式一致,比如,如果第一结构光条纹中是按照v坐标值递增顺序对各中心点进行排序,那么第二结构光条纹也应该按照v坐标值递增顺序对各中心点进行排序。第二结构光条纹中各中心点排序完成后,则每个中心点就有对应的序位号n,即得到有序的中心点集合,本申请中命名为第二中心点集合P2(u 2n,v 2n),1≦n≦S,S为第二结构光条纹中包括的子条纹数量,第一结构光条纹和第二结构光条纹中包括的子条纹数量可能相同或不同。
对于第一中心点集合P1(u 1m,v 1m)和第二中心点集合P2(u 2m,v 2m),第一中心点集合中的任一像素点(u 1m,v 1m)理论上在第二中心点集合中应该仅有唯一匹配的像素点(u 2n,v 2n),相互匹配的像素点(u 1m,v 1m)和像素点(u 2n,v 2n)对应于实际空间中的同一个位置点。但同一个空间位置点在两个相机拍摄的图像中可能会呈现一定的偏差,比如,空间位置点A在第一图像中对应的像素点的位置可能稍微偏左,空间位置点A在第二图像中对应的像素点的位置可能稍微偏右,基于此因素,则可能导致像素点(u 1m,v 1m)在第二中心点集合中无法筛选到匹配点,或者,像素点(u 1m,v 1m)在第二中心点集合中存在两个及两个以上的匹配点,那么显然不能使该像素点(u 1m,v 1m)参与第一最凸点的计算,才能保证检测点集合计算的准确性。
步骤(F),判断在第二中心点集合中是否筛选到与第一中心点集合中的任一像素点(u 1m,v 1m)唯一匹配的像素点(u 2n,v 2n)。如果判断结果为否,则执行步骤(G);反之,如果判断结果为是,则执行步骤(H)。
步骤(F)的实现可采用阈值匹配算法,具体为:在图像坐标系uov中,分别计算第一中心点集合中的任一像素点(u 1m,v 1m)与第二中心点集合中每个像素点的距离,组成距离值集合;如果距离值集合中仅有一个距离值小于或等于第一阈值,则确定筛选到与像素点(u 1m,v 1m)唯一匹配的像素点(u 2n,v 2n),即像素点(u 2n,v 2n)与像素点(u 1m,v 1m)的距离小于或等于第一阈值;如果距离值集合中所有距离值都大于第一阈值,或者存在至少两个距离值小于或等于第一阈值,则确定未筛选到与像素点(u 1m,v 1m)唯一匹配的像素点(u 2n,v 2n)。
由于第一相机421和第二相机422的分辨率等拍摄参数都是相同的,因此可以将第一图像和第二图像导入同一个基准的图像坐标系uov中,相当于对第一图像和第二图像分别建立图像坐标系后,再将两个图像坐标系进行融合,以便于距离值集合的计算。
图7中每个子条纹对应一根线材,而待测样品表面各线材分布可能是凹凸不齐的,这样中心点越凸的子条纹对应的线材就越凸出,由于第一检测点是待测样品表面的最凸点,为提高基于阈值匹配计算的第一检测点的准确性,本实施例中利用第一结构光条纹和第二结构光条纹中,较凸的一批子条纹的高度来计算第一阈值,所述第一阈值为Min{H1,H2},或者(H1+H2)/2。
其中,H1为第一子条纹集合中所有子条纹在图像坐标系uov中的高度的平均值;如果第一结构光条纹中各段子条纹的中心点按照v坐标值递增进行排序,说明越凸的中心点在第一中心点集合中排序越靠后,则所述第一子条纹集合包括第一中心点集合中排序在后一半的中心点对应的子条纹;如果第一结构光条纹中各段子条纹的中心点按照v坐标值递减进行排序,说明越凸的中心点在第一中心点集合中排序越靠前,则所述第一子条纹集合包括第一中心点集合中排序在前一半的中心点对应的子条纹。
H2为第二子条纹集合中所有子条纹在图像坐标系uov中的高度的平均值;如果第二结构光条纹中各段子条纹的中心点按照v坐标值递增进行排序,说明越凸的中心点在第二中心点集合中排序越靠后,则所述第二子条纹集合包括第二中心点集合中排序在后一半的中心点对应的子条纹;如果第二结构光条纹中各段子条纹的中心点按照v坐标值递减进行排序,说明越凸的中心点在第二中心点集合中排序越靠前,则所述第二子条纹集合包括第二中心点集合中排序在前一半的中心点对应的子条纹。
通过本申请的方式计算第一阈值,可以提高阈值匹配算法的准确性,从而提高第一检测点和候选检测点计算的准确性,进而获取更准确的检测点集合,保证复检的准确性和效率。当然,所述第一阈值不限于本实施例给出的取值,也可根据经验进行设定。
步骤(G),将像素点(u 1m,v 1m)从所述第一中心点集合中删除。对于第二中心点集合中未筛选到与像素点(u 1m,v 1m)唯一匹配的像素点,包括两种情况,一种是像素点(u 1m,v 1m)对应的距离值集合中所有距离值都大于第一阈值,即第二中心点集合中不存在像素点(u 1m,v 1m)的匹配点;另一种是像素点(u 1m,v 1m)对应的距离值集合中至少存在两个距离值小于或等于第一阈值,即第二中心点集合中存在至少两个与像素点(u 1m,v 1m)匹配的点。无论两者中的任一种情况,都需要将该像素点(u 1m,v 1m)从第一中心点集合中删除,使之不参与到第一最凸点的计算。
步骤(H),将像素点(u 1m,v 1m)保留在所述第一中心点集合中,并记录像素点(u 1m,v 1m)与像素点(u 2n,v 2n)为匹配对。即第一中心点集合中,每确定出一个存在唯一匹配点的像素点(u 1m,v 1m),都将该像素点(u 1m,v 1m)保留,并记录像素点(u 1m,v 1m)和与其相匹配的像素点(u 2n,v 2n)为匹配对,从而记录相互匹配的两个像素点之间的对应关系。
步骤(I),按照上述筛选方式遍历所述第一中心点集合,筛选完成后得到第一目标点集。即按照步骤(F)~步骤(H),对第一中心点集合中的所有像素点进行筛选,第一中心点集合中不符合阈值匹配条件的像素点都被删除,得到第一目标点集。
步骤(J),将所述第一目标点集中v坐标值最大的像素点作为第一最凸点(u 1,v 1),根据所述第一最凸点(u 1,v 1)所属的匹配对,以及图像坐标系uov与世界坐标系XYZ的映射关系,计算所述第一检测点。
即v 1= v 1max,v 1max为第一目标点集中各像素点v坐标值的最大值,则(u 1,v 1)是第一结构光条纹中在v轴方向最下方的点,即第一最凸点为第一结构光条纹中的全局最凸点。由于第一目标点集包括的像素点已经预先按照v坐标值进行了排序,则可以直接获取到第一最凸点,如果是按照v坐标值递增的顺序(升序)排序,则第一目标点集中序位号m最大的像素点即为第一最凸点;反之,如果按照v坐标值递减的顺序(降序)排序,则第一目标点集中序位号m最小的像素点即为第一最凸点。当第一最凸点确定后,根据之前记录的匹配对的对应关系,即可找到与第一最凸点(u 1,v 1)唯一匹配的像素点(u 2,v 2)。
本实施例主要是从第一中心点集合的角度进行阈值匹配,当然也可以从第二中心点集合的角度,判断在第一中心点集合中是否筛选到与第二中心点集合中的任一像素点(u 2n,v 2n)唯一匹配的像素点(u 1m,v 1m),两种实现角度的实现方案实质上等同,这里不再赘述。
然后,将第一最凸点(u 1,v 1)所属的匹配对,即(u 1,v 1)和(u 2,v 2)分别映射到世界坐标系XYZ中,得到(u 1,v 1)对应的(X 1,Y 1)以及(u 2,v 2)对应的(X 2,Y 2),计算坐标(X 1,Y 1)和坐标(X 2,Y 2)的均值,得到第一检测点的X坐标和Y坐标,即X=(X 1+ X 2)/2,Y=(Y 1+ Y 2)/2。本申请中可以采用基于双目视觉的三角测距方法来计算第一检测点的Z坐标,参照图9示出的几何关系,即可按照如下公式计算第一检测点的Z坐标:
式中,T x 为第一相机421和第二相机422的水平距离,u 1为第一最凸点在图像坐标系uov中的横坐标,u 2为第一最凸点的唯一匹配点在图像坐标系uov中的横坐标,f为第一相机421和第二相机422的焦距,dx为第一相机421和第二相机422的固有参数值,dx取决于第一相机421和第二相机422的型号,当相机型号确定了,dx自然就确定了。当X坐标、Y坐标和Z坐标计算完成后,即可得到第一检测点的三维坐标(X,Y,Z)。
步骤(K),以所述第一最凸点(u 1,v 1)为基准点,将第一结构光条纹划分为多个区间,并在除第一最凸点所属区间之外的其他区间内搜索候选最凸点;候选最凸点为在所述其他区间内包含于所述第一目标点集的最凸的中心点。
以第一最凸点(u 1,v 1)为基准点,分别沿第一图像的u轴的正向和负向,每间隔预设步长标定区间的节点,从而将第一结构光条纹划分为N+1个区间,其中N表示检测点集合中包括的检测点的预设数量,即第一检测点和候选检测点的数量和为N。这里预设步长=,M 1为对应于双目方案下的预设倍数,为第一结构光条纹中各段子条纹在图像坐标系uov中的宽度的平均值;预设倍数M 1是根据第一结构光条纹的总宽度以及第一结构光条纹被划分的区间数量N+1来计算得到。
对于第一结构光条纹的被划分的区间,需要在除第一最凸点所属区间之外的其他区间内去搜索候选最凸点,由于本实施例采用双目方案,因此候选最凸点必须是包含于第一目标点集中的像素点,即候选最凸点满足的必要条件之一为第二中心点集合中存在与其唯一匹配的点,并且候选最凸点满足的必要条件之二为它是所述其他区间内有效的最凸中心点。
对此,在一种实现逻辑中,获取其他区间内包括的子条纹的中心点与第一目标点集的交集,然后从交集结果中选出v坐标值最大的点即为该区间内搜索到的候选最凸点。比如,在除第一最凸点所属区间外的某一区间,包括的子条纹为3个,这3个子条纹的中心点分别为中心点1、中心点2和中心点3,然后将3个中心点与第一目标点集做交集,交集结果为中心点2和中心点3,即该区间内的中心点2和中心点3属于第一目标点集,而中心点3的v坐标值大于中心点2的v坐标值,则中心点3即为该区间内的候选最凸点。
或者,在另一种实现逻辑中,也可将其他区间包括的子条纹的中心点按照v坐标值递减排序,然后判断排序在首位的中心点是否是第一目标点集中的点,如果判断结果为是,则排序在首位的中心点即为该区间内的候选最凸点;如果判断结果为否,说明该v坐标值最大的中心点不存在与其唯一匹配的点,即该中心点为无效的最凸中心点,则可以判断下一序位的中心点是否属于第一目标点集。比如,在除第一最凸点所属区间外的某一区间,包括的子条纹为3个,这3个子条纹的中心点分别为中心点1、中心点2和中心点3,按照v坐标值递减排序后,得到中心点1﹥中心点3﹥中心点2,但是中心点1不属于第一目标点集,则继续判断中心点3是否属于第一目标点集。判断结果为中心点3属于第一目标点集,即中心点3才是该区间内有效的最凸中心点,中心点3为该区间内的候选最凸点。
需要说明的是,在满足前述候选最凸点的两个必要条件的基础上,候选最凸点的搜索逻辑不限于本实施例所述。
步骤(L),根据所述候选最凸点所属的匹配对,以及图像坐标系uov与世界坐标系XYZ的映射关系,计算所述候选检测点。候选检测点的计算方法可以参照第一检测点,区别仅在于第一检测点是利用第一最凸点所属匹配对进行计算,而候选检测点是利用候选最凸点所属的匹配对进行计算,这里不再赘述。
步骤S30,将所述第一检测点和所述候选检测点按优先级排序组合成检测点集合。
对于步骤S30中所述的优先级排序,可以是对第一检测点和候选检测点按照Z坐标值递增排序,Z坐标值为相机组件42与检测点集合中的检测点之间的距离(即图像深度),间接说明机器人1需要沿Z轴方向行进多少距离,才能使得合金分析仪3的探头31触到检测点,检测点越凸出,机器人1沿Z轴行进距离越短,即越凸的检测点其Z坐标值越小。
或者,对第一最凸点和候选最凸点按照v坐标值递减排序,并以此顺序对应排序所述第一检测点和所述候选检测点。比如,假设预设数量N等于3,基于结构光条纹计算出了第一最凸点、候选最凸点1和候选最凸点2,按照v坐标值递减排序后得到第一最凸点﹥候选最凸点2﹥候选最凸点1,则在检测点集合中优先级排序为第一检测点﹥候选检测点2﹥候选检测点1。
在本实施例其他可能的实现方式中,如图10所示,控制系统5还被配置为执行如下程序步骤:在样品图像中对第一最凸点和候选最凸点进行标记,图10中标记的候选最凸点有两个,分别为候选最凸点1和候选最凸点2,从而为使用者提供参照,便于使用者了解第一最凸点和候选最凸点的具体位置分布。
步骤S40,控制机器人移动所述合金分析仪,以使探头与所述第一检测点接触,并控制合金分析仪对所述第一检测点进行检测。
根据机器人1所处的当前位置和第一检测点的三维坐标,即可生成机器人1的第一目标运动轨迹,第一目标运动轨迹应适于将合金分析仪3的探头31移动至第一检测点上,并保证探头31与第一检测能充分接触,然后控制系统5控制合金分析仪3启动,由合金分析仪3对第一检测点的检测和合金分析,并向控制系统5反馈检测结果。
步骤S50,判断是否接收到合金分析仪反馈的有效检测数据。当控制系统5接收合金分析仪的检索结果后,判定检测数据无效,比如数据全是0,或者控制系统5未接收到合金分析仪的检索结果反馈,这时执行步骤S60,需要启动复检;反之,如果控制系统5接收到合金分析仪反馈的有效检测数据,则执行步骤S70。
步骤S60,按照所述检测点集合中优先级从高到底的顺序,控制所述合金分析仪对所述候选检测点进行顺次复检,直至接收到有效检测数据,则复检过程结束。
比如,检测点集合中除第一检测点外,还包括候选检测点1、候选检测点2和候选检测点3,这3个候选检测点的优先级顺序为候选检测点1﹥候选检测点2﹥候选检测点3,则当第一检测点处未获取有效检测数据时,根据机器人1的当前位置和候选检测点1的三维坐标,生成机器人1的第二目标运动轨迹,控制机器人1按照第二目标运动轨迹移动直至探头31与候选检测点1接触,然后合金分析仪对候选检测点1进行检测,然后控制系统再次执行步骤S50,如果接收到有效检测数据,则复检过程结束,执行步骤S70;如果在候选检测点1也未获取有效检测数据,则继续对候选检测点2进行复检。以此类推,直至检测成功,则复检过程结束。
步骤S70,控制所述语音装置播报与所述有效检测数据对应的提示信息,以及控制所述机器人回到初始位置。
当控制系统5接收到合金分析仪对第一检测点的有效检测数据,或者复检过程结束时,控制系统5控制语音装置6播报与有效检测数据对应的提示信息,以使现场人员获知待测样品100是否合格。所述初始位置为不进行合金分析检测时机器人1停泊的位置,合金分析仪3工作完成后,使机器人1复位。所述提示信息可以预设在语音装置6中,提示信息比如可设置为某待测样品检测合格或不合格,提示信息的具体内容可以根据实际情况进行设定,本实施例不作限定。
在一种实现方式中,如图11所示,控制系统5可采用PLC控制器501+计算机502的组合控制结构,PLC控制器501与计算机502电连接,相机组件42和合金分析仪3分别与计算机502电连接,机器人1、结构光源41和语音装置6分别与PLC控制器501电连接。检测点集合可以存储在计算机502的数据库中,从而方便调用候选检测点进行复检,PLC控制器501和计算机502相配合的控制流程如下:
以相机组件42采用双目相机为例,计算机502接收到现场发出的样品待检测信号后,计算机502向PLC控制器501发送第一控制指令,PLC控制器501响应第一控制指令控制机器人1移动到预设拍摄位;机器人1到达预设拍摄位时向PLC控制器501反馈第一就位信号,PLC控制器501将第一就位信号传输至计算机502;计算机502接收到第一就位信号,分别向第一相机421和第二相机422发送第二控制指令,以控制第一相机421拍摄第一图像,同时控制第二相机422拍摄第二图像;第一相机421和第二相机422分别将拍摄的图像传输至计算机502中的图像处理系统,图像处理系统按照前述方法计算检测点集合后,将检测点集合存储在计算机502的数据库中,并把第一检测点的三维坐标发送给PLC控制器501;PLC控制器501根据第一检测点的三维坐标生成第三控制指令,并将第三控制指令发送给机器人1;机器人1响应第三控制指令,控制合金分析仪3的探头31抵达第一检测点。机器人1抵达第一检测点时向PLC控制器501反馈第二就位信号,PLC控制器501将第二就位信号传输至计算机502;计算机502接收到第二就位信号,向合金分析仪3发送第四控制指令;合金分析仪3接收并响应第四控制指令后,启动对第一检测点的检测,并将检测结果发送给计算机502。
计算机502判断是否接收到对第一检测点的有效检测数据,如果未接收到合金分析仪反馈的有效检测检测数据,则将第一检测点之后下一序位的候选检测点的三维坐标发送给PLC控制器501;PLC控制器501根据候选检测点的三维坐标生成第五控制指令,并将第五控制指令发送给机器人1;机器人1响应第五控制指令,控制合金分析仪3的探头31抵达候选检测点。机器人1抵达候选检测点时向PLC控制器501反馈第三就位信号,PLC控制器501将第三就位信号传输至计算机502;计算机502接收到第三就位信号,向合金分析仪3发送第六控制指令;合金分析仪3接收并响应第六控制指令后,启动对候选检测点的检测,并将检测结果发送给计算机502,由计算机再次进行判断。以此控制流程类推,按照检测点集合中各候选检测点优先级从高到低的顺序,顺次进行复检,直至计算机502接收到有效检测数据,则复检过程结束。
当计算机502接收到合金分析仪对第一检测点的有效检测数据,或者复检过程结束时,向PLC控制器501发送确定信号;PLC控制器501接收到确定信号,向机器人1发送第七控制指令,以控制机器人1回到初始位置,同时PLC控制器501向语音装置6发送第八控制指令,以控制语音装置6播报与有效检测数据对应的提示信息。
控制系统5可配置有控制程序以及图像处理系统等功能,控制系统5的具体硬件形式不限于本实施例所述。本实施例中,机器人1可选用ABB IRB4600型机器人,结构光源41选用OPT-SL10B型结构光源,合金分析仪3选用尼通XL2980型合金分析仪,相机组件42中的相机可选用AVT Mako G-192B型工业相机。
由以上技术方案可知,本申请复检的关键在于预先根据样品图像中的结构光条纹计算检测点集合,检测点集合中包括第一检测点(即全局最佳检测点)和候选检测点,当合金分析仪在第一检测点处未检测到有效的数据时,按照优先级从高到低的顺序依次对候选检测点进行复检,直至能接收到合金分析仪反馈的有效检测数据,则复检结束。本方案中,在预先获取检测点集合之后,只需直接调用检测点集合中的候选检测点进行复检即可,无需多次反复拍照计算检测点,从而提高了合金分析系统的检测效率,缩短工作节拍,从而使合金分析系统更适于快速检测场景的需求。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本发明的真正范围和精神由所附的权利要求指出。
应当理解的是,本发明并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。
Claims (9)
1.一种合金分析系统,其特征在于,包括:
机器人;
与所述机器人连接的合金分析仪,所述合金分析仪包括探头;
与所述机器人连接的结构光源和用于拍摄样品图像的相机组件;
控制系统,被配置为执行:
从所述样品图像中提取的结构光条纹;
根据所述结构光条纹计算第一检测点和候选检测点;
将所述第一检测点和所述候选检测点按优先级排序组合成检测点集合;
控制机器人移动所述合金分析仪,以使所述探头与所述第一检测点接触,并控制所述合金分析仪对所述第一检测点进行检测;
响应于未接收到所述合金分析仪反馈的有效检测数据,按照所述检测点集合中优先级从高到底的顺序,控制所述合金分析仪对所述候选检测点进行顺次复检,直至接收到有效检测数据,则复检过程结束;
所述控制系统被进一步配置为按如下步骤计算第一检测点和候选检测点:
在图像坐标系uov中,对所述结构光条纹中各段子条纹的中心点按照v坐标值进行排序,将v坐标值最大的中心点作为述第一最凸点;
以所述第一最凸点为基准点,将所述结构光条纹划分为多个区间,并在除所述第一最凸点所属区间之外的其他区间内搜索候选最凸点;候选最凸点为所述其他区间内最凸的中心点;
计算所述第一最凸点映射到世界坐标系XYZ中的第一检测点,以及所述候选最凸点映射到世界坐标系XYZ中的候选检测点。
2.根据权利要求1所述的合金分析系统,其特征在于,所述控制系统被进一步配置为按如下步骤将所述结构光条纹划分为多个区间:
以所述第一最凸点为基准点,分别沿所述图像坐标系uov中u轴的正向和负向,每间隔预设步长标定区间的节点,从而将所述结构光条纹划分为N+1个区间;
其中,N表示所述检测点集合中包括的检测点的预设数量。
4.根据权利要求1所述的合金分析系统,其特征在于,所述相机组件包括处于同一水平高度上的第一相机和第二相机;所述样品图像包括第一相机拍摄的第一图像和第二相机拍摄的第二图像;所述结构光条纹包括从第一图像中提取的第一结构光条纹,以及从第二图像中提取第二结构光条纹;则所述控制系统被配置为按如下步骤计算检测点集合:
在图像坐标系uov中,对所述第一结构光条纹中各段子条纹的中心点按照v坐标值进行排序,得到第一中心点集合P1(u 1m,v 1m);
对所述第二结构光条纹中各段子条纹的中心点按照v坐标值进行排序,得到第二中心点集合P2(u 2n,v 2n);
判断在所述第二中心点集合中是否筛选到与所述第一中心点集合中的任一像素点(u 1m,v 1m)唯一匹配的像素点(u 2n,v 2n);
如果判断结果为否,则将像素点(u 1m,v 1m)从所述第一中心点集合中删除;
如果判断结果为是,则将像素点(u 1m,v 1m)保留在所述第一中心点集合中,并记录像素点(u 1m,v 1m)与像素点(u 2n,v 2n)为匹配对;
按照上述筛选方式遍历所述第一中心点集合,筛选完成后得到第一目标点集;
将所述第一目标点集中v坐标值最大的像素点作为第一最凸点(u 1,v 1);
根据所述第一最凸点(u 1,v 1)所属的匹配对,以及图像坐标系uov与世界坐标系XYZ的映射关系,计算所述第一检测点。
5.据权利要求4所述的合金分析系统,其特征在于,所述控制系统被进一步配置为按如下步骤计算候选检测点:
以所述第一最凸点为基准点,将所述第一结构光条纹划分为多个区间,并在除所述第一最凸点所属区间之外的其他区间内搜索候选最凸点;候选最凸点为在所述其他区间内包含于所述第一目标点集的最凸的中心点;
根据所述候选最凸点所属的匹配对,以及图像坐标系uov与世界坐标系XYZ的映射关系,计算所述候选检测点。
6.根据权利要求4所述的合金分析系统,其特征在于,所述控制系统被进一步配置为按如下步骤判断在所述第二中心点集合中是否筛选到与所述第一中心点集合中的任一像素点(u 1m,v 1m)唯一匹配的像素点(u 2n,v 2n):
在图像坐标系uov中,分别计算所述第一中心点集合中的任一像素点(u 1m,v 1m)与所述第二中心点集合中每个像素点的距离,组成距离值集合;
如果所述距离值集合中仅有一个距离值小于或等于第一阈值,则确定筛选到与像素点(u 1m,v 1m)唯一匹配的像素点(u 2n,v 2n);
如果所述距离值集合中所有距离值都大于第一阈值,或者存在至少两个距离值小于或等于第一阈值,则确定未筛选到与像素点(u 1m,v 1m)唯一匹配的像素点(u 2n,v 2n);
其中,像素点(u 2n,v 2n)与像素点(u 1m,v 1m)的距离小于或等于第一阈值。
7.根据权利要求1-6任一项所述的合金分析系统,其特征在于,所述优先级排序为:
对所述第一检测点和所述候选检测点按照Z坐标值递增排序;
或者,对所述第一最凸点和所述候选最凸点按照v坐标值递减排序,并以此顺序对应排序所述第一检测点和所述候选检测点。
8.根据权利要求1所述的合金分析系统,其特征在于,还包括语音装置,所述控制系统还被配置为:
响应于复检过程结束,控制所述语音装置播报与所述有效检测数据对应的提示信息;
控制所述机器人回到初始位置。
9.一种合金分析系统的复检方法,其特征在于,包括:
从样品图像中提取的结构光条纹;
根据所述结构光条纹计算第一检测点和候选检测点;
将所述第一检测点和所述候选检测点按优先级排序组合成检测点集合;
控制机器人移动合金分析仪,以使合金分析仪的探头与所述第一检测点接触,并控制合金分析仪对所述第一检测点进行检测;
响应于未接收到所述合金分析仪反馈的有效检测数据,按照所述检测点集合中优先级从高到底的顺序,控制所述合金分析仪对所述候选检测点进行顺次复检,直至接收到有效检测数据,则复检过程结束;
按如下步骤计算第一检测点和候选检测点:
在图像坐标系uov中,对所述结构光条纹中各段子条纹的中心点按照v坐标值进行排序,将v坐标值最大的中心点作为述第一最凸点;
以所述第一最凸点为基准点,将所述结构光条纹划分为多个区间,并在除所述第一最凸点所属区间之外的其他区间内搜索候选最凸点;候选最凸点为所述其他区间内最凸的中心点;
计算所述第一最凸点映射到世界坐标系XYZ中的第一检测点,以及所述候选最凸点映射到世界坐标系XYZ中的候选检测点。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010457852.9A CN111562262B (zh) | 2020-05-27 | 2020-05-27 | 一种合金分析系统及其复检方法 |
PCT/CN2020/128643 WO2021238095A1 (zh) | 2020-05-27 | 2020-11-13 | 一种合金分析系统及其复检方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010457852.9A CN111562262B (zh) | 2020-05-27 | 2020-05-27 | 一种合金分析系统及其复检方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111562262A CN111562262A (zh) | 2020-08-21 |
CN111562262B true CN111562262B (zh) | 2020-10-13 |
Family
ID=72074905
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010457852.9A Active CN111562262B (zh) | 2020-05-27 | 2020-05-27 | 一种合金分析系统及其复检方法 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN111562262B (zh) |
WO (1) | WO2021238095A1 (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111562262B (zh) * | 2020-05-27 | 2020-10-13 | 江苏金恒信息科技股份有限公司 | 一种合金分析系统及其复检方法 |
CN114160467A (zh) * | 2021-11-30 | 2022-03-11 | 湖南思博睿智能装备有限公司 | 基于视觉检测的滤芯清洗方法 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2089498A (en) * | 1980-12-15 | 1982-06-23 | Ramsey Eng Co | Apparatus for Analysis by X-ray Fluorescence |
JP3834546B2 (ja) * | 2002-12-13 | 2006-10-18 | 株式会社東芝 | 測定対象パターンの選択方法、パターン検査方法、半導体装置の製造方法、プログラムおよびパターン検査装置 |
JP4632777B2 (ja) * | 2004-12-27 | 2011-02-16 | オリンパス株式会社 | 欠陥検査装置及び欠陥検査方法 |
KR100919166B1 (ko) * | 2007-04-02 | 2009-09-28 | 한국과학기술원 | 스테레오 모아레를 이용한 3차원 형상 측정장치 및 그 방법 |
CN100582650C (zh) * | 2008-07-23 | 2010-01-20 | 天津大学 | 基于视觉注意机制的气体泄漏源搜寻方法 |
SG164292A1 (en) * | 2009-01-13 | 2010-09-29 | Semiconductor Technologies & Instruments Pte | System and method for inspecting a wafer |
CN102221553B (zh) * | 2011-03-25 | 2013-05-01 | 上海交通大学 | 基于结构光的铁路扣件高速识别方法 |
CN102879405B (zh) * | 2012-09-29 | 2014-09-24 | 肇庆中导光电设备有限公司 | 紧凑型的检测台以及应用该检测台的检测方法 |
CN106872476A (zh) * | 2017-03-31 | 2017-06-20 | 武汉理工大学 | 一种基于线结构光的铸造类工件表面质量检测方法与系统 |
CN110057755A (zh) * | 2019-05-24 | 2019-07-26 | 广东工业大学 | 一种复合光学检测仪 |
CN110455802B (zh) * | 2019-08-27 | 2023-05-12 | 江苏金恒信息科技股份有限公司 | 基于视觉识别的合金分析装置及方法 |
CN110441336B (zh) * | 2019-08-27 | 2024-01-02 | 江苏金恒信息科技股份有限公司 | 一种合金分析仪柔性接触装置 |
CN110567963B (zh) * | 2019-11-06 | 2020-02-04 | 江苏金恒信息科技股份有限公司 | 合金分析视觉定位方法、装置及合金分析系统 |
CN111562262B (zh) * | 2020-05-27 | 2020-10-13 | 江苏金恒信息科技股份有限公司 | 一种合金分析系统及其复检方法 |
-
2020
- 2020-05-27 CN CN202010457852.9A patent/CN111562262B/zh active Active
- 2020-11-13 WO PCT/CN2020/128643 patent/WO2021238095A1/zh active Application Filing
Also Published As
Publication number | Publication date |
---|---|
WO2021238095A1 (zh) | 2021-12-02 |
CN111562262A (zh) | 2020-08-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102565072B (zh) | 拉伸铝合金板表面裂纹立体视觉在线检测方法 | |
CN111562262B (zh) | 一种合金分析系统及其复检方法 | |
CN109212377B (zh) | 一种高压线路障碍物识别方法、装置、巡检机器人 | |
CN110567963B (zh) | 合金分析视觉定位方法、装置及合金分析系统 | |
JP6875836B2 (ja) | ワイヤロープ計測装置及び方法 | |
CN103983203B (zh) | 一种激光熔覆熔池离焦量测量装置及其测量方法 | |
CN106885534B (zh) | 增材制造同轴送粉喷嘴测试装置及方法 | |
KR100695945B1 (ko) | 용접선 위치 추적 시스템 및 그 위치 추적 방법 | |
CN114140439B (zh) | 基于深度学习的激光焊接焊缝特征点识别方法及装置 | |
KR20140045854A (ko) | 단일객체에 대한 기울기를 추정하는 영상을 감시하는 장치 및 방법 | |
CN102455171A (zh) | 一种激光拼焊焊缝背面几何形貌检测方法及其实现装置 | |
WO2022050279A1 (ja) | 三次元計測装置 | |
CN112230345A (zh) | 光纤自动耦合对准设备和方法 | |
CN112734858A (zh) | 一种双目标定精度在线检测方法及装置 | |
CN111397529A (zh) | 一种基于双目视觉结构光的复杂表面形状检测方法 | |
KR20140114594A (ko) | 사람 객체 추적을 통한 자동 카메라 보정 방법 | |
CN111272756B (zh) | 一种合金分析系统 | |
JPH1144533A (ja) | 先行車両検出装置 | |
CN113506292B (zh) | 一种基于位移场的结构物表面裂纹检测和提取方法 | |
JP2006208187A (ja) | 形状良否判定装置および形状良否判定方法 | |
CN110134222A (zh) | 一种vr头显定位瞄准系统及其定位瞄准方法 | |
CN112710662B (zh) | 生成方法及装置、生成系统和存储介质 | |
CN108550144A (zh) | 基于灰度信度的激光光条序列图像质量评价方法 | |
CN211042118U (zh) | 一种三维检测系统 | |
JPH07306037A (ja) | 立体物領域検出装置及び立体物領域迄の距離測定装置及びそれらの検出、測定方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |