CN117647194A - 产品内壁尺寸检测方法及系统 - Google Patents
产品内壁尺寸检测方法及系统 Download PDFInfo
- Publication number
- CN117647194A CN117647194A CN202311562551.2A CN202311562551A CN117647194A CN 117647194 A CN117647194 A CN 117647194A CN 202311562551 A CN202311562551 A CN 202311562551A CN 117647194 A CN117647194 A CN 117647194A
- Authority
- CN
- China
- Prior art keywords
- sampling
- image
- product
- preset
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000001514 detection method Methods 0.000 claims abstract description 155
- 238000006243 chemical reaction Methods 0.000 claims abstract description 37
- 238000005070 sampling Methods 0.000 claims description 211
- 239000013598 vector Substances 0.000 claims description 89
- 238000005259 measurement Methods 0.000 claims description 52
- 239000011159 matrix material Substances 0.000 claims description 38
- 238000001914 filtration Methods 0.000 claims description 31
- 238000012545 processing Methods 0.000 claims description 31
- 230000009466 transformation Effects 0.000 claims description 29
- 238000004364 calculation method Methods 0.000 claims description 17
- 230000000007 visual effect Effects 0.000 claims description 13
- 238000003708 edge detection Methods 0.000 claims description 9
- 230000004044 response Effects 0.000 claims description 7
- 238000012216 screening Methods 0.000 claims description 6
- 238000009954 braiding Methods 0.000 claims description 4
- 238000012417 linear regression Methods 0.000 claims description 4
- 238000007689 inspection Methods 0.000 claims 4
- 238000010586 diagram Methods 0.000 description 13
- 238000003384 imaging method Methods 0.000 description 10
- 230000000694 effects Effects 0.000 description 8
- 230000008569 process Effects 0.000 description 6
- 238000006073 displacement reaction Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 3
- 208000003464 asthenopia Diseases 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000035939 shock Effects 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Abstract
本申请实施例提出了一种产品内壁尺寸检测方法及系统,通过3D扫描检测相机对产品内壁进行采样、扫描成像,从而在保证检测准确性的情况下,快速测得产品内壁尺寸指标,提升检测效率。其中,产品内壁尺寸检测方法包括:移动待测产品至预设检测工位,其中,待测产品在预设检测工位所在平面的投影与预设检测工位重合;采集预设检测工位的3D图像,并根据3D图像确定待测产品的内壁截面轮廓;从内壁截面轮廓中提取成对的测量点及对应的测量点坐标,并根据测量点坐标以及预先标定的坐标距离与物理距离的转换关系,计算待测产品的内壁尺寸。
Description
【技术领域】
本申请实施例涉及机器视觉技术领域,尤其涉及一种产品内壁尺寸检测方法及系统。
【背景技术】
在对尺寸具有高精密度要求的产品(包括手机、电脑等)的生产过程中,产品的内壁尺寸是否符合规格往往决定了该产品能否顺利完成组装。而在产品的生产过程中,往往会因为材料、加工方式等原因,出现产品整体内壁结构的变形、产品内壁尺寸误差等问题。
对于上述问题,往往通过人工检测的方式对产品的内壁尺寸指标进行测量,这一过程可能会因为检测方法、检测工具的精度较低,或者检测人员的视觉疲劳,检测疏忽等导致测量出现误差。同时,人工检测的速度也受制于人员本身的工作熟练度,导致产品内壁尺寸的整体检测效率较低。
【发明内容】
本申请实施例提供了一种产品内壁尺寸检测方法及系统,通过3D扫描检测相机对产品内壁进行采样、扫描成像,从而在保证检测准确性的情况下,快速测得产品内壁尺寸指标,提升检测效率。
第一方面,本申请实施例公开了一种产品内壁尺寸检测方法,所述方法包括:移动待测产品至预设检测工位,其中,所述待测产品在所述预设检测工位所在平面的投影与所述预设检测工位重合;采集所述预设检测工位的3D图像,并根据所述3D图像确定所述待测产品的内壁截面轮廓;从所述内壁截面轮廓中提取成对的测量点及对应的测量点坐标,并根据所述测量点坐标以及预先标定的坐标距离与物理距离的转换关系,计算所述待测产品的内壁尺寸。
本申请实施例中,先将待测产品移至预设检测工位,其中预设检测工位的边缘与待测产品外边缘完全重合,使待测产品的定位相对准确,随后用3D相机对产品内壁进行采样、扫描成像,从而在保证产品内壁尺寸检测的准确性的情况下,实现相比传统人工检测的方法更快的产品内壁尺寸指标测量速度,提升检查效率。
第二方面,本申请实施例公开了一种产品内壁尺寸检测系统,所述系统包括:视觉扫描工作台与控制终端,且所述控制终端与所述视觉扫描工作台电连接;所述控制终端,用于接收用户的产品尺寸测量指令,向所述视觉扫描工作台发送第一移动指令;所述视觉扫描工作台,用于根据所述第一移动指令,移动待测产品至预设检测工位,其中,所述待测产品在所述预设检测工位所在平面的投影与所述预设检测工位重合;所述控制终端,还用于向所述视觉扫描工作台发送第一采集指令;所述视觉扫描工作台,还用于根据所述第一采集指令,采集所述预设检测工位的3D图像,并将所述3D图像发送给所述控制终端;所述控制终端,还用于根据所述3D图像确定所述待测产品的内壁截面轮廓;所述控制终端,还用于从所述内壁截面轮廓中提取成对的测量点及对应的测量点坐标,并根据所述测量点坐标以及预先标定的坐标距离与物理距离的转换关系,计算所述待测产品的内壁尺寸。
应当理解的是,本申请实施例的第二方面与本申请实施例的第一方面的技术方案一致,各方面及对应的可行实施方式所取得的有益效果相似,不再赘述。
【附图说明】
为了更清楚地说明本申请实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本说明书的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。
图1(a)-1(b)为本申请实施例提供的一种产品内壁尺寸检测系统的结构示意图;
图2为本申请实施例提供的一种产品内壁尺寸检测方法的流程示意图;
图3为本申请实施例提供的一种待测产品定位方法的流程示意图;
图4为本申请实施例提供的一种外边缘轮廓的计算方法的流程示意图;
图5为本申请实施例提供的一种采样子区域的分布方式示意图;
图6为本申请实施例提供的一种第二平面图像的灰度变换方法的流程示意图;
图7为本申请实施例提供的一种待测产品边角轮廓拟合方法的示意图;
图8为本申请实施例提供的一种采样子区域的确定方法的流程示意图;
图9为本申请实施例提供的一种标定板中靶标放置的位置示意图;
图10为本申请实施例提供的一种物理距离与坐标距离转换关系的确认方法的流程示意图;
图11为本申请实施例提供的一种内壁截面轮廓的采集方法的流程示意图;
图12为本申请实施例提供的一种采样子区域与待测产品内壁边缘的位置关系示意图;
图13为本申请实施例提供的一种测量点的确定方法的流程示意图;
图14为本申请实施例提供的一种测量点的选取方法示意图;
图15为本申请实施例提供的一种内壁尺寸的测量方法的流程示意图;
图16为本申请实施例提供的一种产品内壁尺寸检测系统的结构示意图。
【具体实施方式】
为了更好的理解本说明书的技术方案,下面结合附图对本申请实施例进行详细描述。
应当明确,所描述的实施例仅仅是本说明书一部分实施例,而不是全部的实施例。基于本说明书中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例,都属于本说明书保护的范围。
在本申请实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本说明书。在本申请实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。
在对尺寸具有高精密度要求的产品(包括手机、电脑等)的生产过程中,产品的内壁尺寸是否符合规格往往决定了该产品能否顺利完成组装。而在产品的生产过程中,往往会因为材料、加工方式等原因,出现产品整体内壁结构的变形、产品内壁尺寸误差等问题。
经本申请发明人研究发现,对于上述问题,往往通过人工检测的方式对产品的内壁尺寸指标进行测量,这一过程可能会因为检测方法、检测工具的精度较低,或者检测人员的视觉疲劳,检测疏忽等导致测量出现误差。同时,人工检测的速度也受制于人员本身的工作熟练度,导致产品内壁尺寸的整体检测效率较低。
鉴于此,本申请实施例提供了一种产品内壁尺寸检测方法,3D扫描检测相机对产品内壁进行采样、扫描成像,从而在保证检测准确性的情况下,快速测得产品内壁尺寸指标,提升检测效率。
应理解的是,本申请实施例中所提及的“产品”、“待测产品”包括但不限于笔记本电脑、平板电脑、手机、数码相机、智能手表、车载导航仪、数字音频播放器等在内的电子制品、机械制品,以及这些电子制品与机械制品的产品外壳、框架、内部电路板等零部件产品,由于这些产品需要严格控制产品外壳、产品零件的内壁尺寸指标,因此均适用于本申请实施例所提供的产品内壁尺寸检测方法。
同时还应理解,本申请实施例中所提及的“坐标”、“坐标值”、“坐标距离”等与坐标系相关的概念,均基于使用本申请实施例提供的产品内壁尺寸检测方法的检测系统,以及系统内部采用的默认坐标系(一般为该检测系统中相机设备对应的相机坐标系)所确定。而对于如何将系统内部的相机坐标系作为默认坐标系,以及如何将相机坐标系与其它部件对应的坐标系(如移动待测产品的部件所对应的平台坐标系)之间建立映射关系,存在多种较为简便的配置方法,故不再对此进行赘述。
此外,本申请实施例中,对于产品内壁尺寸的检测采用的是非接触式检测法,该方法在拥有较高检测精度的同时,相比同类型的接触式检测法,具有更快的检测速度、更好的泛用性,从而能够代替人工检测实现快速、准确的产品内壁尺寸检测。
下面结合附图对本申请实施例提供的技术方案进行介绍:
图1(a)-1(b)是本申请实施例提供的一种产品内壁尺寸检测系统的结构示意图。作为一种可能的实施方式,如图1(a)所示,产品内壁尺寸检测系统1包括视觉扫描工作台11与控制终端12,其中视觉扫描工作台11包括多轴移动平台13、平面相机14、图像处理终端15以及3D扫描检测相机16;其中,多轴移动平台13具有在空间坐标系中多个方向、多个角度的移动自由度,且至少拥有垂直移动(沿y轴移动)、水平移动(沿x轴移动)、纵向移动(沿z轴移动)和水平旋转(于x轴、y轴所在平面旋转)四个方向上的自由度,可以在机械构件的活动范围内对放置于其上的物体进行任意移动。
示例性地,视觉扫描工作台11还可以包括用于固定平面相机14与3D扫描检测相机16的机械臂17,该机械臂17能够带动平面相机14和3D扫描检测相机16移动,使得平面相机14、3D扫描检测相机16可以在机械臂17的活动范围内以任意方向、任意角度进行移动或相机姿态调整,从而拍摄整个多轴移动工作台13的画面。
同时,如图1(b)所示,在控制终端12和图像处理终端15中,预先存储有一个位于多轴移动平台13上的预设采样区域21的位置数据,以及位于预设采样区域21中部的预设检测工位22的位置数据,其中,预设检测工位22的大小与待测产品3在多轴移动平台13上的水平投影大小相等。该产品内壁尺寸检测系统1的具体工作模式如下:
当需要对待测产品3进行检测时,产品内壁尺寸检测系统1首先通过多轴移动平台13移动待测产品3至预设采样区域21,随后将平面相机14移动至预设采样区域21进入平面相机14的相机视野内,并启用平面相机14进行扫描,并通过图像处理终端15接收扫描数据,计算待测产品3与预设检测工位22之间的特征向量偏移量(包括位置偏移量和角度偏移量)。进而,利用多轴移动平台13将待测产品3准确移入预设检测工位22。
随后,该系统通过移动3D扫描检测相机16,使预设采样区域21进入3D扫描检测相机16的相机视野内,并采集待测产品3的3D图像,进而将3D图像传入控制终端12,测算出内壁截面轮廓、找到测量点,并输出待测产品3的内壁尺寸数据。
应理解,该系统中,负责采集平面图像的平面相机14(下文简称“平面相机”)与负责采集3D图像的3D扫描检测相机16(下文简称“3D相机”)默认为两台具有不同扫描功能的相机,从而分别在平面图像采集、3D图像采集时得到具有较高精度的图像。但根据产品成本等需求,也可仅采用一台同时具有平面成像功能、3D立体成像功能的特殊相机或特殊镜头。
基于图1所述的产品内壁尺寸检测系统结构,请参见图2,本申请实施例还提供了一种产品内壁尺寸检测方法的流程示意图,该方法的步骤如下:
步骤101:移动待测产品至预设检测工位,其中,待测产品在预设检测工位所在平面的投影与预设检测工位重合。
本申请实施例中,将待测产品置于预设检测工位,该预设检测工位应与待测产品(例如手机中框)的外边缘轮廓在预设检测工位所在平面上的投影严格重合,使针对待测产品采集的3D图像尽可能精确无偏差。
在一些实施例中,将待测产品一次性移入预设检测工位对于控制精度要求较高,因此,可以采用先将待测产品移入范围更大的预设采样区域,然后再根据待测产品在预设采样区域中的位置、朝向状态,进一步微调待测产品的位置至预设检测工位。
图3是本申请实施例提供的一种待测产品移动至预设检测工位的方法的流程示意图,作为一种可能的实施方式,预设检测工位位于预设采样区域中,步骤101可以通过子步骤1011至1016来进一步实现。
步骤1011:将待测产品移动至预设采样区域内。
本申请实施例中,预设采样区域默认为面积大于预设检测工位、且面积小于平面相机的相机视野的矩形区域,但根据实际产品设计情况与测量需求,预设采样区域也可以为任意其它形状。
而将待测产品移动至预设采样区域内,一般可由包括多轴移动工作台对产品位置进行平移、升降、旋转来实现,其中多轴移动工作台可以由具有至少四自由度的任意等效器件或设备(包括电动云台、多自由度机械臂)进行替换。
步骤1012:采集预设采样区域内的第一平面图像。
在待测产品移至预设采样区域内任意位置后,触发平面相机采集第一平面图像的动作。负责采集平面图像的平面相机类型包括但不限于平面线阵扫描相机、平面面阵扫描相机或普通数码相机在内的任何平面拍摄成像设备。
而为了方便后续的待测产品外边缘轮廓计算,平面相机所采集的第一平面图像的具体类型可以是仅有单色度值的灰度图像,但视具体操作系统、硬件设备的不同,第一平面图像也可以是包括二值化图像、多通道图像、矢量图像等类型在内的任意平面图像。
步骤1013:根据第一平面图像计算待测产品的外边缘轮廓。
本申请实施例中,以灰度图像为例,当第一平面图像采集完成后,即可基于第一平面图像中的灰度值差异来计算出待测产品的外边缘轮廓,该外边缘轮廓的一种示例性的表示方式为矩阵向量形式,从而能以数据化方式较精准地描述待测产品的物体外边界、物体朝向等信息。
图4是本申请实施例提供的一种外边缘轮廓的计算方法的流程示意图。作为一种可能的实施方式,预设采样区域中包括多个均匀分布于预设采样区域的边界的采样子区域,步骤1012可以通过子步骤201来进一步实现;
步骤201:分别采集每个采样子区域对应的第二平面图像,第二平面图像为第一平面图像的局部图像。
本申请实施例中,由于平面相机往往在硬件上具有一定限制,在拍摄完整的第一平面图像时可能无法做到清晰成像,使计算出的待测产品的外边缘轮廓与实际情况存在较大误差。
因此,在后续需要计算外边缘轮廓的前提下,一种可选的方案是在预设采样区域内划分出多个采样子区域。这些采样子区域以任意的预设形状,均匀地分布于预设采样区域的边缘(即采样子区域的部分边缘与预设采样区域的部分边缘相切/重合,且采样子区域的边缘一般不超出预设采样区域的范围)。
而由于在预设采样区域创建时,存在不止一种创建方式,使预设采样区域的边缘可以与待测产品的外边缘在一定程度上贴近,进而,在设置采样子区域的时候,也可以通过适当调整采样子区域的面积、形状,使与预设采样区域边缘贴近的、待测产品的外边缘的一部分落入采样子区域的范围,进而被纳入到第二平面图像的采集中。
从而,平面相机在采集这些采样子区域对应的第二平面图像后,能够以缩小图像采集视野的方式采集到较清晰的待测产品的部分外边缘,并在后续步骤中提取出与这些外边缘相对应的边缘向量矩阵,进而通过曲线拟合等方式,更加准确地得到待测产品的外边缘轮廓。
图5是本申请实施例提供的一种采样子区域的分布方式示意图。作为一种可能的实施方式,采样子区域的数量被设定为偶数个,且其分布方式为以“一条经过预设采样区域的中心点的对称轴”为基准,不共边地、两两成对地呈轴对称分布,从而确保所采集的第二平面图像能够准确拟合出待测产品的外边缘轮廓。
同时,步骤1013可以通过子步骤202至206来进一步实现。
步骤202:对每个采样子区域对应的第二平面图像进行灰度变换,得到对应的灰度变换后的第二平面图像。
在得到包含待测产品外边缘的第二平面图像后,由于本申请实施例中,第二平面图像的一种可选的图像类型为灰度图像,而灰度图像的像素色度差异可以通过灰度变换操作来适当加深,进而使得图像边缘的分界更加明显,后续步骤中提取的边缘向量矩阵更加准确。因此,还可以在提取边缘向量矩阵之前,通过灰度变换操作进一步优化第二平面图像的质量。
具体来说,在对第二平面图像进行灰度变换时,可以通过多次改变曝光度的方式来获得最佳的呈现效果。
图6是本申请实施例提供的一种第二平面图像的灰度变换方法的流程示意图。作为一种可能的实施方式,步骤202可以通过执行子步骤2021至2023来进一步实现。
步骤2021:对每个第二平面图像分别使用多个预设曝光度值进行处理,得到对应的多个变换图像。
步骤2022:使用预设的灰度变换算子,分别计算每个变换图像的灰度梯度,得到多组灰度梯度矩阵,灰度变换算子至少包括梯度算子与拉普拉斯算子中的一种。
步骤2023:从多组灰度梯度矩阵中筛选出矩阵平方和最大的一组目标灰度梯度矩阵,并使用目标灰度梯度矩阵对应的变换图像替换对应的第二平面图像,得到灰度变换后的第二平面图像。
本申请实施例中,由于采用了类型为灰度图像的第二平面图像作为计算边缘向量矩阵的底图,故在计算前,可以先以不同的曝光度来修改第二平面图像,得到多张曝光度不同的变换图像,并进一步从这些变换图像中筛选出成像质量最高、外边缘最清晰的一张替换原本的第二平面图像,从而通过改善曝光效果,有效提升外边缘轮廓的成像质量。
具体来说,改变第二平面图像的曝光度这一操作,可以通过采用预设的多个曝光度值对单张第二平面图像进行后期处理,输出多张变换图像来实现。
在一些实施例中,也可以通过在平面相机拍摄第二平面图像时,多次改变相机的曝光补偿值、光圈大小、快门速度等参数,得到对应于一个采样子区域的多张曝光度不同的第二平面图像,从而代替后期处理,实现等效于修改第二平面图像曝光度的效果。
而在获得了多张曝光度不同的变换图像后,首先,使用灰度变换算子(如拉普拉斯算子、梯度算子等)对得到的多张变换图像分别进行卷积计算,得到每张变换图像对应的灰度梯度矩阵。其中,灰度梯度矩阵用于表征变换图像中每个像素相对于周边像素的灰度值差异情况,灰度梯度矩阵的矩阵平方和越大,变换图像中的平均灰度值差异也就越大,该变换图像的曝光效果也就越好。
随后,从多个变换图像中找出矩阵平方和最大的变换图像。由前述可知,该变换图像中即是所有变换图像中曝光效果最好的一张,也即该变换图像具有相对最清晰的边缘特征,能够在后续步骤中提取出相对最精确的外边缘轮廓。
而在找到曝光效果最好的变换图像,并使用该变换图像替换对应的第二平面图像后,还可以使用图像滤波算法来进一步提升图片清晰度。
步骤203:对每个灰度变换后的第二平面图像使用多个不同的图像滤波算法分别进行处理,得到对应的多个边缘灰度图像,图像滤波算法至少包括高斯滤波算法、中值滤波算法、均值滤波算法、申滤波算法和德里切滤波算法。
本申请实施例中,可以将灰度变换后的第二平面图像输入预设的多个图像滤波算法中进行处理,从而获得多张具有更高清晰度的边缘灰度图像,进一步提升外边缘轮廓的计算准确度。
应理解的是,由于每种图像滤波算法所输出的图片,对清晰度的改善效果可能存在较大差异,对应提取出的边缘向量矩阵也存在微小差异;因此,应同时保留多个图像滤波算法输出的边缘灰度图像,用于后续的亚像素边缘检测过程。
步骤204:对每个灰度变换后的第二平面图像对应的多个边缘灰度图像分别进行亚像素边缘检测,得到多个边缘向量矩阵。
在进行灰度变换、图像滤波处理后,可认为第二平面图像已经被优化为了有较好成像质量的多张边缘灰度图像,在被亚像素边缘检测时,能够准确检测出待测产品的外边缘。
而在将多张边缘灰度图像用于亚像素边缘检测时,其主要检测流程如下:
首先,对每个灰度变换后的第二平面图像对应的多个边缘灰度图像逐像素进行插值计算,从而在每个像素的对应位置得到一个指示像素灰度变化方向的灰度梯度向量。随后,在计算出这些灰度梯度向量的基础上,根据灰度梯度向量的总体数据特征,筛选出图像中灰度发生突变的轨迹。进而,在宏观上表现为以边缘向量矩阵的方式定位出了待测产品的一部分外边缘轮廓。最后,输出每张边缘灰度图像对应的边缘向量矩阵。
由于亚像素边缘检测的方式较为多样,且每种方式的运算机制都略有差别,此处仅对亚像素边缘检测的基础算法原理进行阐释,具体计算流程不再赘述。
步骤205:计算多个边缘向量矩阵的平均值,得到每个采样子区域对应的最优边缘矩阵。
在进行亚像素边缘检测后,会得到每个第二平面图像对应的多个边缘向量矩阵。由于这些边缘向量矩阵对应的边缘灰度图像,是用不同的图像滤波算法处理得到的,因此这些边缘向量矩阵的值也略有差别。
故而,一种可能的实施方式,是直接对这多个边缘向量矩阵进行平均值计算,消除不同的边缘向量矩阵之间的差异,从而得到对应第二平面图像的、与真实外边缘比较接近的最优边缘矩阵。
在一些实施例中,可以在进行平均值计算前,先去除多个边缘向量矩阵中方差大于设定方差阈值的边缘向量矩阵,从而避免因为多个边缘向量矩阵中存在极端值,导致最优边缘矩阵与真实的待测产品外边缘轮廓相差较远。
步骤206:根据多个采样子区域与预设采样区域之间的位置关系,对每个最优边缘矩阵中的全部边缘向量进行拟合,生成外边缘轮廓。
本申请实施例中,在计算出与每个第二平面图像的最佳边缘矩阵后,还可以使用全部最优边缘矩阵拟合出产品的外边缘轮廓,从而以矩阵向量的形式输出外边缘轮廓,具体应选取的拟合方式与待测产品的外形轮廓有关。
例如,对于形状较为复杂的待测产品,可以将计算得到的最佳边缘矩阵合并为更大的向量矩阵,并在使用主成分分析法(Principal Component Analysis,简称PCA)降维后,输入预设的曲线拟合算法得到完整的封闭轮廓曲线,该封闭轮廓曲线即是待测产品的外边缘轮廓。其中,预设的曲线拟合算法可以包括但不限于:多项式拟合算法、样条插值算法、贝赛曲线拟合算法、分段线性拟合算法或其它任何具有类似效果的算法。
同时,对于形状较为规整、简单的待测产品(如待测手机中框、笔记本电脑外壳),其边角形状对于测量产品的内壁尺寸指标来说是不需要关心的特征,可以在利用曲线拟合算法计算外边缘轮廓时忽略。此时的外边缘轮廓计算方式就需要进行适应性更改。
图7是本申请实施例提供的一种待测产品边角轮廓拟合方法的示意图,如图7所示,在对待测产品的边角区域进行外边缘轮廓拟合时,由于待测产品具有较简单、规整的形状,而仅在边角部分进行了圆角处理,因此在计算待测产品整体轮廓的基础上,可以直接选取与该边角区域最相近的两个采样子区域①、②,并分别计算这两个采样子区域对应的最佳边缘矩阵的延长线③、④,得到两条延长线的交点坐标⑤。
而后,将计算出来的交点坐标⑤,作为待测产品的外边缘轮廓在采样子区域①、②附近的形状顶点,并将交点坐标⑤参与到使用全部最优边缘矩阵拟合出产品的外边缘轮廓的拟合计算过程中(这一过程可以采用前文中提及的贝赛曲线拟合算法或分段线性拟合算法等,通过将交点坐标代入算法来实现),从而在忽视边角几何特征的情况下,将外边缘轮廓整体视为一个简单的封闭矩形向量,从而在不影响产品内壁尺寸检测精确度的情况下,降低外边缘轮廓的计算负担。
此外,由于采样子区域可以通过多种方式,例如人工划定或机器图像识别采集特定的标志物来确定,而其中较简便、快捷的一种办法,便是事先通过预设的带有靶标的标定板,在检测系统中确定多个采样子区域的位置。
图8是本申请实施例提供的一种采样子区域的确定方法的流程示意图。作为一种可能的实施方式,在步骤101之前,还可以进一步执行步骤106至110。
步骤106:将标定板移动至预设采样区域,其中,标定板在预设采样区域所在平面的投影与预设采样区域重合,标定板上存在多个均匀分布于标定板的边缘的靶标。
步骤107:响应于用户的标定图像采集操作,分别采集每个靶标所在位置对应的第三平面图像,得到多个第三平面图像。
步骤108:基于预设的靶标模板,从每个第三平面图像中匹配出靶标对应的靶标轮廓。
步骤109:计算靶标轮廓对应的靶标中心坐标。
步骤110:依次将每个靶标中心坐标作为一个采样子区域的中心点坐标,创建与靶标对应的采样子区域,得到多个采样子区域。
由于本申请实施例中所使用的标定板,仅用于向检测系统标明每个采样子区域的中心点坐标,而每个采样子区域在预设采样区域中的位置,都应由检测人员根据实际产品情况选定。因此,可以按照使用者的需求,在标定板上提前固定任意数量个靶标。
上述靶标的具体类型可以包括但不限于通孔靶、光学靶,且靶标的具体形状可以包括但不限于十字靶、圆形靶、方形靶。
例如,图9是本申请实施例提供的一种标定板中靶标放置的位置示意图。其中,标定板上所固定的靶标数量为偶数个,且所有靶标均匀地分布在预设采样区域的边缘,每两个处在相同边缘上的相邻靶标均为等大、等距的。同时,全部靶标两两成对地以“经过预设采样区域的中心点的对称轴”为基准,呈轴对称分布。
通过这种靶标放置方式,可以使所确定的采样子区域平均地分布在预设采样区域的边缘,进而,针对待测产品所采集的第二平面图像也会具有较为均匀的位置分布,能够有效提升外边缘轮廓计算的精确度。
相匹配地,针对需要识别的靶标,也应在产品内壁尺寸的检测系统中添加用于识别至少一种靶标类型、靶标形状的靶标模板。一种可能的实施方式,是由机器学习方法提取某个特定靶标类型、靶标形状所对应的特征参数,并生成包含该特征参数的靶标模板。从而,使检测系统在识别到属于该特定靶标类型、靶标形状的特征参数时,能够确定该靶标在第二平面图像中的靶标中心坐标。
而后,便可以根据检测人员的操作指令,使用平面相机采集靶标所在位置的第三平面图像,并从每个第三平面图像中识别出对应的靶标,得到多个靶标中心坐标。
在一些实施例中,可以使用成像精度更高的平面相机直接拍摄整个预设采样区域,并从得到的整个预设采样区域的图像中识别出多个靶标,从而一次性确定出全部靶标的中心坐标。
最后,将靶标中心坐标作为采样子区域的中心坐标,而采样子区域的形状参数、长宽参数则由检测人员自行拟定,从而在检测待测产品之前划定每个采样子区域所在的位置。
在一些实施例中,可以将采样子区域的形状数据、长宽数据与待测产品的类型之间建立映射关系,使得在需要同时检测多种待测产品的型号时,仅需选择不同的待测产品类型,即可根据所选待测产品类型自动查找出对应的采样子区域的形状与长宽数据,并套用查找出的形状数据、长宽数据,以及通过扫描标定板获得的多个靶标中心坐标,将对应的采样子区域快速定位在多轴移动平台上。
步骤1014:根据外边缘轮廓生成第一特征向量,第一特征向量用于表征待测产品的位姿状态。
在以矩阵向量的形式计算出外边缘轮廓的基础上,可以进一步确定外边缘轮廓对应的第一特征向量,即待测产品在多轴移动工作台上当前的精确放置状态。具体来说,第一特征向量可以为任何记录待测产品的位置、朝向状态的矩阵向量形式,且由于该第一特征向量由第一平面图像计算得出,一般仅包括平面维度的位置与朝向信息。
例如,对于一个以平面相机的相机坐标系为基准所提取的外边缘轮廓,可以通过外边缘轮廓中的朝向特征、边界特征等数据量,进一步提取出代表对应的待测产品当前朝向、当前位置的第一特征向量,从而使该第一特征向量具有类似常用的机器人位姿向量(包括在相机坐标系中的坐标量、角度量两种数学量)的数据结构特征。
步骤1015:计算第一特征向量与预设检测工位对应的第二特征向量的特征向量偏移量,特征向量偏移量包括位置偏移量与角度偏移量。
而在获得第一特征向量后,还可以提取产品内壁尺寸检测系统中与预设检测工位对应的第二特征向量,该第二特征向量可在确定预设检测工位时同步设定于检测系统中。随后,将第一特征向量与预设检测工位对应的第二特征向量作差,得到特征向量偏移量,使用得到的特征向量偏移量(包括位置偏移量、角度偏移量)作为后续执行移动的数据参照。
步骤1016:根据位置偏移量与角度偏移量,调整待测产品的位置至预设检测工位。
最后,基于位置偏移量与角度偏移量,将待测产品由目前所处的位置二次移动至预设检测工位。
此外,根据前文中所提及的通过识别到每个第三平面图像对应的靶标中心坐标,来确定采样子区域的方法,还可以进一步根据靶标中心坐标所代表的坐标参数,以及标定板上固定的各靶标对应的物理参数,建立坐标距离与物理距离之间的转换关系。
图10是本申请实施例提供的一种物理距离与坐标距离转换关系的确认方法的流程示意图。作为一种可能的实施方式,在步骤109之后,还可以进一步执行步骤111至112。
步骤111:根据靶标中心坐标,计算相邻两个靶标轮廓的中心点之间的坐标距离。
步骤112:根据坐标距离,以及对应的相邻两个靶标的中心点之间的物理距离,确定坐标距离与物理距离之间的转换关系。
本申请实施例中,由于标定板上的靶标所在的物理位置是易于确定的,故相邻的两个靶标的中心点之间的物理距离也可以通过测量工具精准获得。而另一方面,应用该产品内壁尺寸检测方法的检测系统所识别出的靶标中心坐标,也是数值确定且唯一的,故基于相邻的两个靶标分别对应的靶标中心坐标,可以确定这两个靶标的中心点之间的坐标距离。
进而,可以输入测量得到的两相邻靶标之间的物理距离,并与对应的坐标距离一起建立坐标距离、物理距离的转换关系,为后续的产品内壁尺寸的测量提供数据转换基础。
此外,在通过上述方法将待测产品移入预设检测工位后,还需要进一步采集该待测产品的3D图像,从而准确地测量待测产品的内壁尺寸。
步骤102:采集预设检测工位的3D图像。
本申请实施例中,采集3D图像时所使用的3D扫描检测相机可以是3D面阵扫描相机或3D线阵扫描相机,其中较合适的一种3D扫描检测相机类型是小视野3D面阵扫描相机,在使用该小视野3D面阵扫描相机采集图像时,可以具有比大视野3D面阵扫描相机更高的清晰度,并且相比3D线阵扫描相机具有更快的图像采集速度,从而适配需要进行批量产品检测的情况。
同时,需要注意的是,虽然在前述步骤中,已经通过对第一平面图像的计算得到了待测产品的外边缘轮廓。但考虑到待测产品一般是立体的、具有厚度与形状变化的,若直接使用外边缘轮廓测量长宽数据,所得到的尺寸数据与真实的内壁尺寸数据之间往往存在较大误差,精确度无法保证。
因此,需要进一步采集3D图像以得到待测产品的内壁形状特征,才能找出真正合适的测量点,并基于测量点得到足够精确的内壁尺寸。
而在采集到3D图像后,还需要针对3D图像执行进一步的内壁特征识别与提取。
步骤103:根据3D图像确定待测产品的内壁截面轮廓。
本申请实施例中,由于需要测量内壁尺寸的待测产品,一般在产品的边缘部分具有较复杂的形状特征,这其中,并非每种形状特征都有助于确定待测产品的内壁尺寸。因此,可以从3D图像中提取待测产品的内壁截面轮廓(相当于仅保留能够用于内壁尺寸测量的几何特征),在确保精确度的前提下,为后续产品内壁尺寸的自动测量创造条件。
图11是本申请实施例提供的一种内壁截面轮廓的确定方法的流程示意图。作为一种可能的实施方式,步骤102可以通过子步骤1021来进一步实现。
步骤1021:对每个采样子区域分别采集多张3D图像,并保留多张3D图像中拍摄时刻与设定时刻相等的一张目标3D图像。
同时,步骤103可以通过子步骤1031至1032来进一步实现。
步骤1031:依次读取每个采样子区域对应的目标3D图像,并以对应的设定平面为截平面,确定每个目标3D图像对应的截面子轮廓,其中,设定平面垂直于3D扫描检测相机的扫描方向,且经过采样子区域的中心点坐标。
步骤1032:将多个截面子轮廓作为待测产品的内壁截面轮廓。
本申请实施例中,首先,在3D相机采集3D图像时,考虑到3D相机位移或待测产品的位移所产生的机械震动,会对图像采集的精确度造成较大影响。因此,可以同时采集多张3D图像,并保留其中与设定时刻相等的3D图像,从而有效排除机械震动对成像造成的干扰,提升所得到的截面子轮廓的精确度。
例如,在3D相机停留在某个采样子区域时,拍摄了一共20张3D图像,每两张相邻的3D图像之间的脉冲间隔为100Pulse。则为了排除机械震动干扰,仅选择第10张或第11张3D图像用于提取截面子轮廓。
在一些实施例中,基于不同的检测系统与3D相机配置,可以在每次相机位移或待测产品位移前后设置一段等待时间,并在等待时间结束后才允许执行3D图像采集,从而等效地排除机械震动造成的干扰。
随后,因为以3D相机对应的相机坐标系来看,每个采样子区域对应的3D图像在X轴、Y轴与Z轴中均是连续的(为了论述方便,假设Z轴为一条垂直于预设采样区域所在平面、且经过采样子区域的中心点坐标的轴),故可以选取一个合适的、经过Z轴的设定平面作为截平面,从连续的3D图像中截取出一段可用于测量内壁尺寸的截面子轮廓。
最后,由于采样子区域均匀分布在预设采样区域的边缘区域,且基于前文中所例举的预设采样区域与采样子区域的设置方式,可以确保待测产品的外边缘被平面相机所采集到。因此,基于相同的设置方式,采样子区域也可以将待测产品的一部分内壁边缘特征纳入采集范围,进而通过采集采样子区域得到的多个截面子轮廓,也可以较具代表性地反映待测产品的截面特征,进而可以共同作为内壁截面轮廓参与接下来的测量点提取流程。
图12是本申请实施例提供的一种采样子区域与待测产品内壁边缘的位置关系示意图。以待测手机中框这一产品为例,由于前文中所采用的设置方式,已经使得待测手机中框这一产品的部分外边缘⑥落入了采样子区域⑦当中,同时,由于待测手机中框的内壁较薄,使得待测手机中框的部分内壁边缘⑧与外边缘⑥相距较近,也落入了采样子区域⑦所在的范围之中。
而通过适当改变采样子区域的面积、形状和分布方式,可以使得采样子区域图像一样,囊括绝大部分待测产品的内壁边缘。
步骤104:从内壁截面轮廓中提取成对的测量点及对应的测量点坐标。
本申请实施例中,在知晓内壁截面轮廓(即多个截面子轮廓)的基础上,还需要选取轮廓上具有代表性的测量点,才可以进行内壁尺寸的测量。而为了选取测量点,设定一种对内壁截面轮廓的几何特征进行分析的算法是可行的措施。
图13是本申请实施例提供的一种测量点的确定方法的流程示意图。作为一种可能的实施方式,步骤104可以通过子步骤1041至1044来进一步实现。
步骤1041:依次将每两个相互轴对称且不共边的采样子区域编为一组目标采样子区域。
步骤1042:基于预设的轮廓特征向量,对每组目标采样子区域对应的两个截面子轮廓进行特征搜索,得到每个截面子轮廓对应的感兴趣区域,感兴趣区域用于表征截面子轮廓中存在内壁边缘的概率最高的区域。
步骤1043:依次对每个截面子轮廓对应的感兴趣区域进行线性回归计算,定位出感兴趣区域中的最大曲率点。
步骤1044:将与每组目标采样子区域对应的两个最大曲率点作为一组测量点,并提取每组测量点对应的两个测量点坐标。
本申请实施例中,选取采样子区域具有偶数个,并且其在预设采样区域中的分布足够均匀,从而能够在编组时多次选取出两个相互轴对称且不共边的采样子区域。
需要注意的是,在该前提下,对称轴通常为一条经过预设采样区域中心点、且在预设采样区域所在平面的XY轴上的角度为0度或90度的直线。
而在选取多对采样子区域并依次编组后,便可以先基于预设的轮廓特征向量,对一组目标采样子区域对应的两个截面子轮廓进行筛选,提取出与轮廓特征向量具有相似特征的感兴趣区域,该感兴趣区域即为对应的截面子轮廓中存在内壁边缘概率最高的区域。
具体来说,首先,为了确保对同一个批次产品的内壁截面轮廓都可以准确提取出感兴趣区域,可以在检测全部待测产品前,先扫描一个与待测产品规格、型号相同的标准样品,生成该样品的内壁截面轮廓;进而,可在该样品对应的内壁截面轮廓中人工选取(或通过机器学习算法选取)内壁边缘所在的区域,并通过减少域算子(也称“投影算子”、“选择算子”或“过滤算子”,可用于在一张图片中剔除不必要或重复的元素,只保留所需要的元素如内壁边缘轮廓)或其它方式,以特征向量的方式提取该区域内的轮廓特征,得到轮廓特征向量。
由于该轮廓特征向量具有标准样品的内壁边缘轮廓特征,而标准样品与同一批次的待测产品规格、型号都一致,因此,所得到的轮廓特征向量可用于在该批次的待测产品中初步筛选出感兴趣区域。
随后,当检测待测产品时,便可基于轮廓特征向量对某个截面子轮廓进行相似度计算,相似度计算的算法可采用包括但不限于余弦相似度、欧几里得距离、香农距离、弗雷歇距离、豪斯多夫距离、动态时间规整在内的任何相似度算法。通过这些算法,便可以在截面子轮廓中筛选出与轮廓特征向量相似的轮廓线条,并生成一个框选上述轮廓线条的区域,即本申请实施例所需的感兴趣区域。
图14是本申请实施例提供的一种测量点的选取方法示意图,由于待测产品的内壁表面⑨与其它表面⑩之间的衔接部分,相较内壁表面⑨内部通常具有更高的曲率,因此一种优选的方法是对感兴趣区域内的轮廓线条计算曲率,并选取出其中的最大曲率点/>作为测量点。
在一些实施例中,可以在选取样品的内壁边缘所在区域时,进一步基于所选区域指定一个测量点。从而,通过机器学习算法对该测量点的选取规律进行学习,并在检测待测产品时基于从样品中学习到的选取规律,自动找出适宜的测量点。
步骤105:根据测量点坐标以及预先标定的坐标距离与物理距离的转换关系,计算待测产品的内壁尺寸。
本申请实施例中,由于所选取的测量点对应的目标采样子区域已经两两编组,且每个编组中的两个目标采样子区域彼此是轴对称、不共边的。因此,可视为每个编组对应的两个测量点直接表明了产品内壁中的一条长边(或短边)的平行线段,并可通过测量该编组中的两个测量点之间的物理距离,知晓产品的内壁尺寸。
具体来说,由于前文中已经对如何建立坐标距离、物理距离之间的转换关系进行了论述,因此此处只需得知一个编组中的两个测量点对应的坐标距离,即可基于坐标距离与物理距离的转换关系,得到对应的物理距离。
图15是本申请实施例提供的一种内壁尺寸的测量方法的流程示意图。作为一种可能的实施方式,步骤105可以通过子步骤1051至1055来进一步实现。
步骤1051:根据每组测量点对应的两个测量点坐标,计算对应的每组测量点之间的坐标距离,得到多个测量点坐标距离。
步骤1052:响应于一组目标采样子区域均位于预设采样区域的长边上,将对应的测量点坐标距离分类为宽度坐标值。
步骤1053:响应于一组目标采样子区域均位于预设采样区域的短边上,将对应的测量点坐标距离分类为长度坐标值。
步骤1054:基于坐标距离与物理距离的转换关系,计算每个宽度坐标值对应的内壁宽度,以及每个长度坐标值对应的内壁长度。
步骤1055:输出内壁宽度与内壁长度。
本申请实施例中,通过获得每组测量点对应的两个测量点坐标,并计算出对应的测量点坐标距离,即可得知产品内壁的尺寸。而在该基础上,还可以基于该组测量点对应的两个目标采样子区域在预设采样区域中所处的位置,对测量点坐标距离按照长度坐标值、宽度坐标值进行分类。
随后,通过上文中所提到的坐标距离、物理距离之间的转换关系,便可以直接将长度坐标值、宽度坐标值转换为对应的产品内壁长宽数据,即需要检测的产品内壁尺寸。
根据检测人员的具体需求,所输出的长宽数据既可以与对应的两个目标采样子区域关联,从而得到产品内壁不同位置的尺寸数据;也可以直接进行平均值计算,得到产品内壁的平均尺寸数据。
在一些实施例中,可直接基于测量点坐标距离的数值大小,通过聚类的方式建立长度坐标值集合、宽度坐标值集合。其中,长度坐标值集合包括全部数值相近的、可能为长度坐标值的测量点坐标距离;同时,宽度坐标值集合则包括全部数值相近的、可能为宽度坐标值的测量点坐标距离。进而,对长度坐标值集合、宽度坐标值集合分别进行平均值计算,并将输出的对应数值分别作为长度坐标值、宽度坐标值。
在一些实施例中,若一组测量点的高度不一致(即这组测量点之间的连线不与预设采样区域所在平面保持平行),则在计算出对应的测量点坐标距离后,利用该组测量点之间的连线与相机坐标系的坐标轴之间构成的三角函数值,进一步求出测量点坐标距离对应的水平坐标距离(此处的水平是相对于预设采样区域所在平面而言的),从而获得更加精准的产品内壁尺寸。
请参见图16,基于同一发明构思,本申请实施例还提供了一种产品内壁尺寸检测系统的结构示意图。该系统包括:视觉扫描工作台301与控制终端302,且控制终端302与视觉扫描工作台301电连接;
控制终端302,用于接收用户的产品尺寸测量指令,向视觉扫描工作台301发送第一移动指令;
视觉扫描工作台301,用于根据第一移动指令,移动待测产品至预设检测工位,其中,待测产品在预设检测工位所在平面的投影与预设检测工位重合;
控制终端302,还用于向视觉扫描工作台301发送第一采集指令;
视觉扫描工作台301,还用于根据第一采集指令,采集预设检测工位的3D图像,并将3D图像发送给控制终端302;
控制终端302,还用于根据3D图像确定待测产品的内壁截面轮廓;
控制终端302,还用于从内壁截面轮廓中提取成对的测量点及对应的测量点坐标,并根据测量点坐标以及预先标定的坐标距离与物理距离的转换关系,计算待测产品的内壁尺寸。
可选的,预设检测工位位于预设采样区域中,视觉扫描工作台301至少包括图像处理终端、多轴移动平台与面阵检测相机,预设采样区域被设置于多轴移动平台上;
多轴移动平台,用于根据第一移动指令,将待测产品移动至预设采样区域内;
图像处理终端,用于根据在多轴移动平台移动完成后,向面阵检测相机发送第二采集指令;
面阵检测相机,用于根据第二采集指令进行移动,使预设采样区域位于面阵检测相机的拍摄视野内,采集预设采样区域内的第一平面图像并发送至图像处理终端;
图像处理终端,用于将第一平面图像发送给根据第一平面图像计算待测产品的外边缘轮廓,并根据外边缘轮廓生成第一特征向量,第一特征向量用于表征待测产品的位姿状态;
图像处理终端,还用于计算第一特征向量与预设检测工位对应的第二特征向量的特征向量偏移量,并将特征向量偏移量发送至多轴移动平台,特征向量偏移量包括位置偏移量与角度偏移量;
多轴移动平台,还用于根据位置偏移量与角度偏移量,调整待测产品的位置至预设检测工位。
可选的,预设采样区域中包括多个均匀分布于预设采样区域的边界的采样子区域,面阵检测相机具体用于:
根据第二采集指令进行移动,使面阵检测相机的拍摄视野依次经过每个采样子区域;
在每个采样子区域移入面阵检测相机的拍摄视野时采集对应的第二平面图像,并将对应的第二平面图像发送给图像处理终端,第二平面图像为第一平面图像的局部图像;
图像处理终端具体用于:
对每个采样子区域对应的第二平面图像进行灰度变换,得到对应的灰度变换后的第二平面图像;
对灰度变换后的第二平面图像使用多个不同的图像滤波算法分别进行处理,得到对应的多个边缘灰度图像,图像滤波算法至少包括高斯滤波算法、中值滤波算法、均值滤波算法、申滤波算法和德里切滤波算法;
对每个灰度变换后的第二平面图像对应的多个边缘灰度图像分别进行亚像素边缘检测,得到多个边缘向量矩阵;
计算多个边缘向量矩阵的平均值,得到每个采样子区域对应的最优边缘矩阵;
根据多个采样子区域与预设采样区域之间的位置关系,对每个最优边缘矩阵中的全部边缘向量进行拟合,生成外边缘轮廓。
可选的,控制终端302,还用于在发送第一移动指令之前,向多轴移动平台发送第二移动指令;
多轴移动平台,还用于根据第二移动指令,将标定板移动至预设采样区域内,其中,标定板在预设采样区域所在平面的投影与预设采样区域重合,标定板上存在多个均匀分布于标定板的边缘的靶标;
控制终端302,还用于响应于用户的标定图像采集操作,向视觉扫描工作台301发送第三采集指令;
面阵检测相机,还用于根据第三采集指令,分别采集每个靶标所在位置对应的第三平面图像,得到多个第三平面图像,并将得到的多个第三平面图像全部发送给控制终端302;
控制终端302,还用于基于预设的靶标模板,从每个第三平面图像中匹配出靶标对应的靶标轮廓;
控制终端302,还用于计算靶标轮廓对应的靶标中心坐标;
控制终端302,还用于依次将每个靶标中心坐标作为一个采样子区域的中心点坐标,创建与靶标对应的采样子区域,得到多个采样子区域。
可选的,视觉扫描工作台301还包括3D扫描检测相机;
3D扫描检测相机,用于根据第一采集指令进行移动,使3D扫描检测相机的拍摄视野依次经过每个采样子区域;
3D扫描检测相机,还用于在每个采样子区域移入3D扫描检测相机的拍摄视野时,采集对应的多张3D图像,并将多张3D图像中拍摄时刻与设定时刻相等的一张目标3D图像发送给控制终端302;
控制终端302具体用于:
依次读取每个采样子区域对应的目标3D图像,并以对应的设定平面为截平面,确定每个目标3D图像对应的截面子轮廓,设定平面垂直于3D扫描检测相机的扫描方向,且经过采样子区域的中心点坐标;
将多个截面子轮廓作为产品的内壁截面轮廓。
可选的,控制终端302具体用于:
依次将每两个相互轴对称且不共边的采样子区域编为一组目标采样子区域;
基于预设的轮廓特征向量,对每组目标采样子区域对应的两个截面子轮廓进行特征搜索,得到每个截面子轮廓对应的感兴趣区域,感兴趣区域用于表征截面子轮廓中存在内壁边缘的概率最高的区域;
依次对每个截面子轮廓对应的感兴趣区域进行线性回归计算,定位出感兴趣区域中的最大曲率点;
将与每组目标采样子区域对应的两个最大曲率点作为一组测量点,并提取每组测量点对应的两个测量点坐标。
可选的,控制终端302具体用于:
根据每组测量点对应的两个测量点坐标,计算对应的每组测量点之间的坐标距离,得到多个测量点坐标距离;
响应于一组目标采样子区域均位于预设采样区域的长边上,将对应的测量点坐标距离分类为宽度坐标值;
响应于一组目标采样子区域均位于预设采样区域的短边上,将对应的测量点坐标距离分类为长度坐标值;
基于坐标距离与物理距离的转换关系,计算每个宽度坐标值对应的内壁宽度,以及每个长度坐标值对应的内壁长度;
输出内壁宽度与内壁长度。
可选的,图像处理终端具体用于:
对每个第二平面图像分别使用多个预设曝光度值进行处理,得到对应的多个变换图像;
使用预设的灰度变换算子,分别计算每个变换图像的灰度梯度,得到多组灰度梯度矩阵,灰度变换算子至少包括梯度算子与拉普拉斯算子中的一种;
从多组灰度梯度矩阵中筛选出矩阵平方和最大的一组目标灰度梯度矩阵,并使用目标灰度梯度矩阵对应的变换图像替换对应的第二平面图像,得到与每个采样子区域对应的灰度变换后的第二平面图像。
可选的,控制终端302还用于:
根据靶标中心坐标,计算相邻两个靶标轮廓的中心点之间的坐标距离;
根据坐标距离,以及对应的相邻两个靶标的中心点之间的物理距离,确定坐标距离与物理距离之间的转换关系。。
以上所述仅为本说明书的较佳实施例而已,并不用以限制本说明书,凡在本说明书的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本说明书保护的范围之内。
Claims (18)
1.一种产品内壁尺寸检测方法,其特征在于,所述方法包括:
移动待测产品至预设检测工位,其中,所述待测产品在所述预设检测工位所在平面的投影与所述预设检测工位重合;
采集所述预设检测工位的3D图像,并根据所述3D图像确定所述待测产品的内壁截面轮廓;
从所述内壁截面轮廓中提取成对的测量点及对应的测量点坐标,并根据所述测量点坐标以及预先标定的坐标距离与物理距离的转换关系,计算所述待测产品的内壁尺寸。
2.根据权利要求1所述的方法,其特征在于,所述预设检测工位位于预设采样区域中,移动待测产品至预设检测工位包括:
将所述待测产品移动至所述预设采样区域内;
采集所述预设采样区域内的第一平面图像,并根据所述第一平面图像计算所述待测产品的外边缘轮廓;
根据所述外边缘轮廓生成第一特征向量,所述第一特征向量用于表征所述待测产品的位姿状态;
计算所述第一特征向量与所述预设检测工位对应的第二特征向量的特征向量偏移量,所述特征向量偏移量包括位置偏移量与角度偏移量;
根据所述位置偏移量与所述角度偏移量,调整所述待测产品的位置至所述预设检测工位。
3.根据权利要求2所述的方法,其特征在于,所述预设采样区域中包括多个均匀分布于所述预设采样区域的边界的采样子区域,采集所述预设采样区域内的第一平面图像包括:
分别采集每个所述采样子区域对应的第二平面图像,所述第二平面图像为所述第一平面图像的局部图像;
所述根据所述第一平面图像计算所述待测产品的外边缘轮廓包括:
对每个所述采样子区域对应的所述第二平面图像进行灰度变换,得到对应的灰度变换后的所述第二平面图像;
对灰度变换后的每个所述第二平面图像使用多个不同的图像滤波算法分别进行处理,得到对应的多个边缘灰度图像,所述图像滤波算法至少包括高斯滤波算法、中值滤波算法、均值滤波算法、申滤波算法和德里切滤波算法;
对所述多个边缘灰度图像分别进行亚像素边缘检测,得到多个边缘向量矩阵;
计算所述多个边缘向量矩阵的平均值,得到每个所述采样子区域对应的最优边缘矩阵;
根据每个所述采样子区域与所述预设采样区域之间的位置关系,对每个所述最优边缘矩阵中的全部边缘向量进行拟合,生成所述外边缘轮廓。
4.根据权利要求3所述的方法,其特征在于,移动待测产品至预设检测工位之前,所述方法还包括:
将标定板移动至所述预设采样区域,其中,所述标定板在所述预设采样区域所在平面的投影与所述预设采样区域重合,所述标定板上存在多个均匀分布于所述标定板的边缘的靶标;
响应于用户的标定图像采集操作,分别采集每个所述靶标所在位置对应的第三平面图像,得到多个第三平面图像;
基于预设的靶标模板,从每个所述第三平面图像中匹配出所述靶标对应的靶标轮廓;
计算所述靶标轮廓对应的靶标中心坐标;
依次将每个所述靶标中心坐标作为一个所述采样子区域的中心点坐标,创建与所述靶标对应的所述采样子区域,得到多个所述采样子区域。
5.根据权利要求4所述的方法,其特征在于,采集所述预设检测工位的3D图像包括:
对每个所述采样子区域分别采集多张3D图像,并保留所述多张3D图像中拍摄时刻与设定时刻相等的一张目标3D图像;
所述根据所述3D图像,确定所述待测产品的内壁截面轮廓包括:
依次读取每个所述采样子区域对应的所述目标3D图像,并以对应的设定平面为截平面,确定每个所述目标3D图像对应的截面子轮廓,所述设定平面垂直于3D扫描检测相机的扫描方向,且经过所述采样子区域的所述中心点坐标;
将多个所述截面子轮廓作为所述待测产品的所述内壁截面轮廓。
6.根据权利要求5所述的方法,其特征在于,从所述内壁截面轮廓中提取成对的测量点及对应的测量点坐标包括:
依次将每两个相互轴对称且不共边的所述采样子区域编为一组目标采样子区域;
基于预设的轮廓特征向量,对每组所述目标采样子区域对应的两个所述截面子轮廓进行特征搜索,得到每个所述截面子轮廓对应的感兴趣区域,所述感兴趣区域用于表征所述截面子轮廓中存在内壁边缘的概率最高的区域;
依次对每个所述截面子轮廓对应的所述感兴趣区域进行线性回归计算,定位出所述感兴趣区域中的最大曲率点;
将与每组所述目标采样子区域对应的两个所述最大曲率点作为一组所述测量点,并提取每组所述测量点对应的两个测量点坐标。
7.根据权利要求6所述的方法,其特征在于,根据所述成对的测量点之间的坐标距离以及预先标定的坐标距离与物理距离的转换关系,计算所述待测产品的内壁尺寸包括:
根据每组所述测量点对应的所述两个测量点坐标,计算对应的每组测量点之间的坐标距离,得到多个测量点坐标距离;
响应于一组所述目标采样子区域均位于所述预设采样区域的长边上,将对应的所述测量点坐标距离分类为宽度坐标值;
响应于一组所述目标采样子区域均位于所述预设采样区域的短边上,将对应的所述测量点坐标距离分类为长度坐标值;
基于所述坐标距离与所述物理距离的转换关系,计算每个所述宽度坐标值对应的内壁宽度,以及每个所述长度坐标值对应的内壁长度;
输出所述内壁宽度与所述内壁长度。
8.根据权利要求3所述的方法,其特征在于,对每个所述采样子区域对应的所述第二平面图像进行灰度变换,得到对应的灰度变换后的所述第二平面图像包括:
对每个所述第二平面图像分别使用多个预设曝光度值进行处理,得到对应的多个变换图像;
使用预设的灰度变换算子,分别计算每个所述变换图像的灰度梯度,得到多组灰度梯度矩阵,所述灰度变换算子至少包括梯度算子与拉普拉斯算子中的一种;
从所述多组灰度梯度矩阵中筛选出矩阵平方和最大的一组目标灰度梯度矩阵,并使用所述目标灰度梯度矩阵对应的所述变换图像替换对应的所述第二平面图像,得到与每个所述采样子区域对应的灰度变换后的所述第二平面图像。
9.根据权利要求4所述的方法,其特征在于,计算所述靶标轮廓对应的靶标中心坐标之后,所述方法还包括:
根据所述靶标中心坐标,计算相邻两个所述靶标轮廓的中心点之间的坐标距离;
根据所述坐标距离,以及对应的相邻两个所述靶标的中心点之间的物理距离,确定所述坐标距离与所述物理距离之间的转换关系。
10.一种产品内壁尺寸检测系统,其特征在于,所述系统包括:视觉扫描工作台与控制终端,且所述控制终端与所述视觉扫描工作台电连接;
所述控制终端,用于接收用户的产品尺寸测量指令,向所述视觉扫描工作台发送第一移动指令;
所述视觉扫描工作台,用于根据所述第一移动指令,移动待测产品至预设检测工位,其中,所述待测产品在所述预设检测工位所在平面的投影与所述预设检测工位重合;
所述控制终端,还用于向所述视觉扫描工作台发送第一采集指令;
所述视觉扫描工作台,还用于根据所述第一采集指令,采集所述预设检测工位的3D图像,并将所述3D图像发送给所述控制终端;
所述控制终端,还用于根据所述3D图像确定所述待测产品的内壁截面轮廓;
所述控制终端,还用于从所述内壁截面轮廓中提取成对的测量点及对应的测量点坐标,并根据所述测量点坐标以及预先标定的坐标距离与物理距离的转换关系,计算所述待测产品的内壁尺寸。
11.根据权利要求10所述的系统,其特征在于,所述预设检测工位位于预设采样区域中,所述视觉扫描工作台至少包括图像处理终端、多轴移动平台与面阵检测相机,所述预设采样区域被设置于所述多轴移动平台上;
所述多轴移动平台,用于根据所述第一移动指令,将所述待测产品移动至所述预设采样区域内;
所述图像处理终端,用于根据在所述多轴移动平台移动完成后,向所述面阵检测相机发送第二采集指令;
所述面阵检测相机,用于根据所述第二采集指令进行移动,使所述预设采样区域位于所述面阵检测相机的拍摄视野内,采集所述预设采样区域内的第一平面图像并发送至所述图像处理终端;
所述图像处理终端,用于将所述第一平面图像发送给所述根据所述第一平面图像计算所述待测产品的外边缘轮廓,并根据所述外边缘轮廓生成第一特征向量,所述第一特征向量用于表征所述待测产品的位姿状态;
所述图像处理终端,还用于计算所述第一特征向量与所述预设检测工位对应的第二特征向量的特征向量偏移量,并将所述特征向量偏移量发送至所述多轴移动平台,所述特征向量偏移量包括位置偏移量与角度偏移量;
所述多轴移动平台,还用于根据所述位置偏移量与所述角度偏移量,调整所述待测产品的位置至所述预设检测工位。
12.根据权利要求11所述的系统,其特征在于,所述预设采样区域中包括多个均匀分布于所述预设采样区域的边界的采样子区域,所述面阵检测相机具体用于:
根据所述第二采集指令进行移动,使所述面阵检测相机的拍摄视野依次经过每个所述采样子区域;
在每个所述采样子区域移入所述面阵检测相机的拍摄视野时采集对应的第二平面图像,并将对应的所述第二平面图像发送给所述图像处理终端,所述第二平面图像为所述第一平面图像的局部图像;
所述图像处理终端具体用于:
对每个所述采样子区域对应的所述第二平面图像进行灰度变换,得到对应的灰度变换后的所述第二平面图像;
对灰度变换后的所述第二平面图像使用多个不同的图像滤波算法分别进行处理,得到对应的多个边缘灰度图像,所述图像滤波算法至少包括高斯滤波算法、中值滤波算法、均值滤波算法、申滤波算法和德里切滤波算法;
对每个灰度变换后的所述第二平面图像对应的所述多个边缘灰度图像分别进行亚像素边缘检测,得到多个边缘向量矩阵;
计算所述多个边缘向量矩阵的平均值,得到每个所述采样子区域对应的最优边缘矩阵;
根据多个所述采样子区域与所述预设采样区域之间的位置关系,对每个所述最优边缘矩阵中的全部边缘向量进行拟合,生成所述外边缘轮廓。
13.根据权利要求12所述的系统,其特征在于,所述控制终端,还用于在发送所述第一移动指令之前,向所述多轴移动平台发送第二移动指令;
所述多轴移动平台,还用于根据所述第二移动指令,将标定板移动至所述预设采样区域内,其中,所述标定板在所述预设采样区域所在平面的投影与所述预设采样区域重合,所述标定板上存在多个均匀分布于所述标定板的边缘的靶标;
所述控制终端,还用于响应于用户的标定图像采集操作,向所述面阵检测相机发送第三采集指令;
所述面阵检测相机,还用于根据所述第三采集指令,分别采集每个所述靶标所在位置对应的第三平面图像,得到多个第三平面图像,并将得到的所述多个第三平面图像全部发送给所述控制终端;
所述控制终端,还用于基于预设的靶标模板,从每个所述第三平面图像中匹配出所述靶标对应的靶标轮廓;
所述控制终端,还用于计算所述靶标轮廓对应的靶标中心坐标;
所述控制终端,还用于依次将每个所述靶标中心坐标作为一个所述采样子区域的中心点坐标,创建与所述靶标对应的所述采样子区域,得到多个所述采样子区域。
14.根据权利要求13所述的系统,其特征在于,所述视觉扫描工作台还包括3D扫描检测相机;
所述3D扫描检测相机,用于根据所述第一采集指令进行移动,使所述3D扫描检测相机的拍摄视野依次经过每个所述采样子区域;
所述3D扫描检测相机,还用于在每个所述采样子区域移入所述3D扫描检测相机的拍摄视野时,采集对应的多张3D图像,并将所述多张3D图像中拍摄时刻与设定时刻相等的一张目标3D图像发送给所述控制终端;
所述控制终端具体用于:
依次读取每个所述采样子区域对应的所述目标3D图像,并以对应的设定平面为截平面,确定每个所述目标3D图像对应的截面子轮廓,所述设定平面垂直于所述3D扫描检测相机的扫描方向,且经过所述采样子区域的所述中心点坐标;
将多个所述截面子轮廓作为所述产品的所述内壁截面轮廓。
15.根据权利要求14所述的系统,其特征在于,所述控制终端具体用于:
依次将每两个相互轴对称且不共边的所述采样子区域编为一组目标采样子区域;
基于预设的轮廓特征向量,对每组所述目标采样子区域对应的两个所述截面子轮廓进行特征搜索,得到每个所述截面子轮廓对应的感兴趣区域,所述感兴趣区域用于表征所述截面子轮廓中存在内壁边缘的概率最高的区域;
依次对每个所述截面子轮廓对应的所述感兴趣区域进行线性回归计算,定位出所述感兴趣区域中的最大曲率点;
将与每组所述目标采样子区域对应的两个所述最大曲率点作为一组所述测量点,并提取每组所述测量点对应的两个测量点坐标。
16.根据权利要求15所述的系统,其特征在于,所述控制终端具体用于:
根据每组所述测量点对应的所述两个测量点坐标,计算对应的每组测量点之间的坐标距离,得到多个测量点坐标距离;
响应于一组所述目标采样子区域均位于所述预设采样区域的长边上,将对应的所述测量点坐标距离分类为宽度坐标值;
响应于一组所述目标采样子区域均位于所述预设采样区域的短边上,将对应的所述测量点坐标距离分类为长度坐标值;
基于所述坐标距离与所述物理距离的转换关系,计算所述每个所述宽度坐标值对应的内壁宽度,以及每个所述长度坐标值对应的内壁长度;
输出所述内壁宽度与所述内壁长度。
17.根据权利要求12所述的系统,其特征在于,所述图像处理终端具体用于:
对每个所述第二平面图像分别使用多个预设曝光度值进行处理,得到对应的多个变换图像;
使用预设的灰度变换算子,分别计算每个所述变换图像的灰度梯度,得到多组灰度梯度矩阵,所述灰度变换算子至少包括梯度算子与拉普拉斯算子中的一种;
从所述多组灰度梯度矩阵中筛选出矩阵平方和最大的一组目标灰度梯度矩阵,并使用所述目标灰度梯度矩阵对应的所述变换图像替换对应的所述第二平面图像,得到与每个所述采样子区域对应的灰度变换后的所述第二平面图像。
18.根据权利要求13所述的系统,其特征在于,所述控制终端还用于:
根据所述靶标中心坐标,计算相邻两个所述靶标轮廓的中心点之间的坐标距离;
根据所述坐标距离,以及对应的相邻两个所述靶标的中心点之间的物理距离,确定所述坐标距离与所述物理距离之间的转换关系。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311562551.2A CN117647194A (zh) | 2023-11-21 | 2023-11-21 | 产品内壁尺寸检测方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311562551.2A CN117647194A (zh) | 2023-11-21 | 2023-11-21 | 产品内壁尺寸检测方法及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117647194A true CN117647194A (zh) | 2024-03-05 |
Family
ID=90047097
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311562551.2A Pending CN117647194A (zh) | 2023-11-21 | 2023-11-21 | 产品内壁尺寸检测方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117647194A (zh) |
-
2023
- 2023-11-21 CN CN202311562551.2A patent/CN117647194A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110689579B (zh) | 基于合作目标的快速单目视觉位姿测量方法及测量系统 | |
US11042146B2 (en) | Automated 360-degree dense point object inspection | |
CN112161619B (zh) | 位姿检测方法、三维扫描路径规划方法和检测系统 | |
US8600192B2 (en) | System and method for finding correspondence between cameras in a three-dimensional vision system | |
JP6363863B2 (ja) | 情報処理装置および情報処理方法 | |
CN109801333B (zh) | 体积测量方法、装置、系统及计算设备 | |
CN108562250B (zh) | 基于结构光成像的键盘键帽平整度快速测量方法与装置 | |
WO2007137388A1 (en) | Photogrammetric system and techniques for 3d acquisition | |
US20120147149A1 (en) | System and method for training a model in a plurality of non-perspective cameras and determining 3d pose of an object at runtime with the same | |
KR20140006891A (ko) | 현미경 슬라이드 좌표 시스템 등록 | |
CN108716890A (zh) | 一种基于机器视觉的高精度尺寸检测方法 | |
US10535157B2 (en) | Positioning and measuring system based on image scale | |
JP7353757B2 (ja) | アーチファクトを測定するための方法 | |
CN111707187A (zh) | 一种大型零件的测量方法及系统 | |
CN114029946A (zh) | 一种基于3d光栅引导机器人定位抓取的方法、装置及设备 | |
US6295384B1 (en) | Removing noise caused by artifacts from a digital image signal | |
CN113375555A (zh) | 一种基于手机影像的电力线夹测量方法及系统 | |
CN116596987A (zh) | 一种基于双目视觉的工件三维尺寸高精度测量方法 | |
EP3572860A1 (en) | A method, an apparatus and a computer program product for focusing | |
CN114964032B (zh) | 基于机器视觉的盲孔深度测量方法及装置 | |
CN115684012A (zh) | 视觉检测系统、校准方法、装置和可读存储介质 | |
CN117647194A (zh) | 产品内壁尺寸检测方法及系统 | |
CN116091401A (zh) | 基于目标检测和复合目标码的航天器装配件识别定位方法 | |
CN112651261B (zh) | 高精度2d相机坐标系和机械坐标系转换关系的计算方法 | |
CN116147477A (zh) | 联合标定方法、孔位检测方法、电子设备以及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |