CN108917593B - 一种基于待测工件基元组态的智能测量系统及方法 - Google Patents

一种基于待测工件基元组态的智能测量系统及方法 Download PDF

Info

Publication number
CN108917593B
CN108917593B CN201810455112.4A CN201810455112A CN108917593B CN 108917593 B CN108917593 B CN 108917593B CN 201810455112 A CN201810455112 A CN 201810455112A CN 108917593 B CN108917593 B CN 108917593B
Authority
CN
China
Prior art keywords
workpiece
primitive
image
region1
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810455112.4A
Other languages
English (en)
Other versions
CN108917593A (zh
Inventor
梅雪
黄小龙
刘欢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu CRRC Digital Technology Co Ltd
Original Assignee
Nanjing Tech University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Tech University filed Critical Nanjing Tech University
Priority to CN201810455112.4A priority Critical patent/CN108917593B/zh
Publication of CN108917593A publication Critical patent/CN108917593A/zh
Application granted granted Critical
Publication of CN108917593B publication Critical patent/CN108917593B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种基于待测工件基元组态的智能测量系统及方法，属于机器视觉检测测量领域。本发明的测量系统由主机，图像采集设备，X轴方向运动装置，Y轴方向运动装置，测量平台等部分组成。其中被测工件图像数据可由CCD相机或激光扫描仪采集，既可以用于二维数据测量，也可以用于三维数据的测量。本发明将待测工件放置于测量平台上，启动系统后图像采集设备获取工件的图像信息，由系统的图像处理模块对获取的图像提取基元，自动识别基元的类型并进行参数计算，同时生成测量对象库。本发明利以形状基元为测量模块，提高了检测效率，减小了对先验知识的依赖，提高了系统的通用性和灵活性。

Description

一种基于待测工件基元组态的智能测量系统及方法
技术领域
本发明涉及图像处理、机器视觉、智能传感及模式识别等技术，属于机器视觉检测测量领域。更具体地说，是一种以待测工件基元(直线、曲线、圆、椭圆、矩形、圆弧等)为检测单位，对工件基元进行自动测量的系统及方法。
背景技术
随着智能技术的发展及智慧工厂、无人工厂的提出，工业制造的自动化水平和规模越来越高，相应的对工业检测也提出了更高的要求。传统的人工检测方法费时费力，无法满足现代高精度、批量快速的工件测量、检测需求。而目前现有的一些非接触检测方法大多需要预先建立工件图像的模板库，然后将扫描图像跟模板库中的工件模板进行对比，这种方法对先验知识和硬件配置的依赖性较高，缺乏灵活性。基于上述问题，有必要开发出一种针对不同工件能自动提取、识别其待测工件基元的类型，然后进行相关处理，并具有一定通用性的测量系统及方法。
现有技术中，不使用预先建立的工件图像模板库，而使用判别基元类型或者类似判别基元类型的方案也有存在，如中国专利号ZL201310281987.4，发明创造名称为：一种具有圆弧几何基元的实时定位与匹配方法；该申请案通过几何基元本身在实测图像中搜索模板实例，离线模板计算过程中，采用迭代多边形逼近的方法将边缘轮廓图像快速分割成直线段的形式，并检查相邻线段能否用一个圆弧更好的近似，从而实现了图像轮廓中线段、圆弧的分离。同时，通过最小二乘法拟合线段与圆弧，得到几何基元的几何参数。在线实时检测过程中，以最长圆弧基元计算模板的刚性变换，通过计算在线实测图像中几何基元与变换后的模板中对应的几何基元之间的距离来实现匹配定位。该申请案通过几何基元本身在实测图像中搜索模板，并通过最小二乘法拟合线段与圆弧，得到几何基元的几何参数。但该申请案仅给出了圆弧几何基元的检测定位的方法，没有给出多种几何基元识别检测的方案。
发明内容
1.发明要解决的技术问题
本发明的目的在于解决上述现有技术中存在的问题，提供了一种基于待测工件基元组态的智能测量系统及方法；本发明不基于图像模板匹配，而以工件的形状基元为检测单位，先提取待测工件的基元，然后自动识别其基元类型并计算相关参数，在提取计算测量参数的同时，自动生成工件库；本发明的图像数据采集既可以通过CCD图像采集平台，也可以通过激光扫描仪获取，既可以用于二维图像的处理也可以用于三维图像的处理，且测量快速准确，具有很强的通用性和灵活性。
2.技术方案
为达到上述目的，本发明提供的技术方案为：
本发明的一种基于待测工件基元组态的智能测量方法，其步骤为：
步骤一、启动系统，图像采集设备按预先规划的路径进行数据采集，获取图像后系统的图像处理模块先计算被测工件的尺寸，并判断是否需要拼接；如需拼接则调用拼接程序，规划采集图像的路径，拼接完成后进入下一步处理，如不需拼接则直接进入下一步处理；
步骤二、对摆放位置和角度不同的工件进行姿态归一化处理，为后续的图像处理提供统一的标准姿态；
步骤三、图像处理模块根据图像三维尺寸特征，提取基元，自动识别判断基元类型，并调用相应的基元处理函数，计算其识别到的基元的相关参数；
步骤四、如基元库中不包含提取基元类型，需添加新的基元，则动态添加新基元特征至基元库并添加相应的基元处理函数，然后执行步骤二，如不需添加新基元则执行步骤五；
步骤五、以基元特征及基元的相对位置为依据，判别工件的类型若为工件库中已存在的类型，则在对应编号的工件类型数量上加一；若为工件库中不存在的类型，则按照既定的规则对所测的工件生成一个分类编号，并将工件的测量结果存储在相应的工件分类目录下。
更进一步地，步骤一的执行过程如下：
(1)启动系统，运动装置带动图像数据采集设备按照规划的路径进行数据采集，规划的路径分为非拼接路径和拼接路径，默认数据采集路径为非拼接路径；
(2)获得工件图像后，由系统的图像处理模块首先计算出工件图像的最大宽度，若最大宽度小于设定的阈值宽度T，，则不需拼接直接进入下一步处理，若计算出的最大宽度大于或等于设定的阈值宽度T则执行拼接数据采集路径，调用拼接程序，拼接完成后进入下一步处理。
更进一步地，步骤二中工件模型姿态归一化变换的流程为：
(1)通过全局阈值分割采集的图像获取工件的有效区域Region1；
(2)求工件的有效区域Region1的最小外接矩形Rectangle1；
(3)在二维的图像坐标系中求Rectangle1的中心C1(x1，y1)，图像的中心C2(x2，y2)及长轴与水平线的夹角Phi，其夹角取值范围(-π/2,π/2]；
(4)对工件进行三维重建，在三维坐标系中X-Y的平面上旋转工件的3D模型-Phi角度，使其长轴与三维坐标系中的X轴平行，初步获得模型的归一化姿态；
(5)根据工件模型的三维尺寸特征，将上一步获得的3D模型姿态再在X-Y平面上旋转180°或者不旋转，获得3D模型的归一化姿态；
(6)对只需要在二维坐标系中处理的基元，可根据C1、C2平移Region1至Image中心位置，然后旋转-Phi使Region1的最小外接矩形的长轴与X轴平行即获得在二维平面上的归一化姿态。
更进一步地，步骤三的执行过程为：对工件图像进行阈值分割，提取边缘轮廓，分割边缘轮廓获得该工件图像所包含的基元；然后以基元轮廓的左上角点的坐标值(Row，Column)为编号依据对基元进行编号，按照基元的编号顺序依次将基元与基元特征库的基元特征做匹配，自动识别该基元的类型，识别出基元类型后调用相应的基元处理函数计算该基元类型的相关参数，其中基元特征库基元模型是预先通过机器学习训练大量样本建立，可根据需要动态添加基元特征模型。
更进一步地，步骤三中基元类型为三维平面上的曲线时，其识别及相关参数的处理流程为：
(1)对工件图像进行三维建模，旋转模型至归一化的姿态；
(2)创建一个平面与三维模型相交，获得交线模型；
(3)将获得的交线模型投影到平面，此后便将三维的交线模型投影到二维的平面中处理；
(4)将投影到平面上的交线轮廓进行分割处理，获得属性不同的直线段和曲线段；
(5)与基元特征库匹配识别出曲线基元；
(6)拟合曲线，计算出曲率。
更进一步地，步骤三中基元类型为二维平面上的近似平行两线段时，其识别及相关参数的处理流程为：
(1)获取工件的有效区域Region1，及Region1的边缘轮廓；
(2)在二维平面旋转Region1的边缘轮廓至归一化的姿态；
(3)对Region1边缘轮廓进行分割，获得不同属性的轮廓集；
(4)与基元特征库匹配识别出近似平行两线段的基元；
(5)按各条直线的左上角点的坐标值对各直线编号；
(6)对各条直线段轮廓进行直线拟合，获得各条直线段的拟合直线段；
(7)计算获得的参数包括但不限于：拟合直线段的长度及两拟合直线段的夹角。
更进一步地，步骤三中基元为二维平面上的多个圆时，其识别及相关参数的处理流程为：
(1)获取工件的有效区域Region1，及Region1的边缘轮廓；
(2)在二维平面旋转Region1的边缘轮廓至归一化的姿态；
(3)对Region1边缘轮廓进行分割，获得不同属性的轮廓集；
(4)与基元特征库匹配识别出圆基元；
(5)按各圆的左上角点的坐标值对各圆编号；
(6)对各圆轮廓进行圆拟合，获得的参数包括但不限于：各圆的半径、面积、圆心坐标，孔心距及相对位置。
更进一步地，步骤三中基元类型为二维平面上的椭圆时，其识别及相关参数的处理流程为：
(1)获取工件的有效区域Region1，及Region1的边缘轮廓；
(2)在二维平面旋转Region1的边缘轮廓至归一化的姿态；
(3)对Region1边缘轮廓进行分割，获得不同属性的轮廓集；
(4)与基元特征库匹配识别出椭圆基元；
(5)对识别出的椭圆进行椭圆拟合，计算获得的参数包括但不限于：椭圆圆心坐标、长轴、短轴、倾斜角及圆心到工件轮廓边缘的相对距离。
更进一步地，步骤五的执行过程为：根据基元类型及基元的相关参数对工件进行分类并编号，测量新工件时，将识别出的基元类型及基元的几何特征与工件库中的已有工件进行相似性比对，判别该工件是否在工件库中已经存在，如果存在，则在对应编号的工件类型数量上加一并将该工件的测量结果存储该工件类别的目录下，如果比对不成功，则生成新的工件类别并编号。
本发明的一种基于待测工件基元组态的智能测量系统，包括主机，激光扫描仪，X轴方向运动装置，Y轴方向运动装置和测量平台；激光扫描仪有效扫描宽度为W，通过传输线与主机相连，启动系统后，激光扫描仪将获取的工件图像传送到主机中的图像处理模块进行处理；X轴方向运动装置和Y轴方向运动装置分别通过传输线与主机相连，启动系统后，X轴方向运动装置和Y轴方向运动装置将带动激光扫描仪按照预先设定的扫描路径进行扫描；测量平台位于激光扫描仪的下方，用于放置待测工件。
3.有益效果
采用本发明提供的技术方案，与已有的公知技术相比，具有如下显著效果：
(1)本发明的一种基于待测工件基元组态的智能测量方法，通过在二维平面上对工件图像进行处理获得旋转角度Phi应用在三维平面对工件3D模型姿态的归一化处理，进而获取工件3D模型的归一化姿态，为后续的图像处理提供统一的标准姿态，工件3D模型姿态的归一化不需要通过与标准姿态模型的模板进行匹配变换获得，只需根据工件三维尺寸特征及在二维平面获取的旋转角度Phi即可获得3D模型的归一化姿态，因此其3D模型姿态归一化的效率有较大的提高；
(2)本发明的一种基于待测工件基元组态的智能测量方法，在识别处理待测工件的基元时使用的是一种不需要预先建立图像模板库，而是直接对获取的工件图像先进行一系列的处理后，提取出工件的基元，再通过图像处理算法自动判别基元的类型，计算该类型基元的相关参数值的处理方案，由于在工件的实际检测中，要检测的基元类型通常为常见的几种类型如直线、曲线、圆、椭圆、矩形、圆弧等，因此只需针对常见的几种基元类型进行训练建立基元库，与传统的需要先获取工件图像再建立工件的图像模板库相比减少了大量的先前工作，提高了检测效率，并且该方法减小了对先验知识的依赖和对硬件的要求，具有一定的通用性；
(3)本发明的一种基于待测工件基元组态的智能测量方法，由于在工件的实际检测中，要检测的基元类型通常为常见的几种类型，而本发明是以基元为检测单位，与工件的尺寸形状适应性强，不需要针对不同尺寸形状的工件编写不同的处理程序，因此本发明对包含基本基元的工件检测具有很强的通用性和灵活性；
(4)本发明的一种基于待测工件基元组态的智能测量方法，根据基元类型及基元的相关参数，如尺寸、相对位置等特征对工件进行分类并编号，存储测量至相应的工件类别目录下，根据需要可以对不同分类工件的测量结果进行统计分析，在统计分析整体合格率的同时，可发掘更有价值的信息，如各个结构参数出现不合格的频率，从而加强质量把控。
附图说明
图1为本发明提供的基于待测工件基元组态的智能检测方法的流程图；
图2为本发明提供的基于待测工件基元的提取、识别及计算处理的流程图；
图3为本发明提供的基于待测工件基元组态的智能检测系统的示意图；
图4为以基元轮廓左上角点的行列坐标值的大小顺序为依据对基元轮廓进行编号的示意图；
图5为工件3D模型姿态归一化示意图，其中图5中的(a)为工件原图；图5中的(b)为提取的有效区域图；图5中的(c)为最小外接矩形图；图5中的(d)为原始三维模型图；图5中的(e)为旋转模型-Phi获得初步姿态图；图5中的(f)为旋转模型180获得归一化姿态图。
示意图中的标号说明：
1、主机；2、激光扫描仪；3、X轴方向运动装置；4、Y轴方向运动装置；5、测量平台。
具体实施方式
为进一步了解本发明的内容，结合附图和实施例对本发明作详细描述。
实施例1
本实施例提供了一种不基于图像模板匹配的检测方法，而是以工件的基元为检测单位，先提取待测工件的基元然后自动识别其基元类型并计算的快速测量方案，本实施例的图像数据采集既可以通过CCD图像采集平台获取二维图像，也可以通过激光扫描仪获取三维图像，既可以用于二维图像的处理也可以用于三维图像的处理。本实施例以采用激光扫描仪获取三维图像为例进行描述说明。其中基元类型包含直线、曲线、圆、椭圆、矩形、圆弧等。
如图3所示，本实施例的基于待测工件基元组态的智能测量系统，包括主机1，激光扫描仪2，X轴方向运动装置3，Y轴方向运动装置4和测量平台5。激光扫描仪2有效扫描宽度为W，它通过传输线与主机1相连，启动系统后，激光扫描仪2将获取的工件图像传送到主机1中的图像处理模块进行处理。X轴方向运动装置3和Y轴方向运动装置4分别通过传输线与主机1相连，启动系统后，X轴方向运动装置3和Y轴方向运动装置4将带动激光扫描仪2按照预先设定的扫描路径进行扫描。测量平台5位于激光扫描仪2的下方，用于放置待测工件，其表面应平整、高度一致。
结合图1，本实施例的基于待测工件基元组态的智能测量方法，具体包括以下步骤：
S1：启动系统，开始采集工件图像数据；
S2：X轴方向运动装置3和Y轴方向运动装置4按照规划好的路径带动图像数据采集设备进行扫描，并将获取的工件图像传送到主机1中交由图像处理模块进行处理；
本实施例中图像数据采集设备使用的是三维激光扫描仪，激光扫描仪的有效扫描宽度为W。S2中规划图像数据采集路径分为非拼接路径和拼接路径，非拼接路径的行走过程为：设定激光扫描仪的零点位置，假设位于检测平台的一个角点上方，启动系统后，X轴方向的运动装置不动，Y轴方向的运动装置带动扫描仪沿Y轴向前运动，当带动扫描仪运动到测量平台另一端时，Y轴方向停止运动，然后X轴方向运动装置带动扫描仪沿X轴方向运动距离为W(W为三维激光扫描仪的有效扫描宽度)后停止运动，然后再由Y轴运动装置带动扫描仪向另一端运动，如此往复运动直到扫描区域覆盖整个测量平台后返回零点位置；拼接路径的行走过程为：设定激光扫描仪的零点位置，假设位于检测平台的一个角点上方，启动系统后，X轴方向不动，Y轴方向的运动装置带动扫描仪沿Y轴向前运动，当带动扫描仪运动到测量平台另一端时，Y轴方向停止运动，然后X轴方向运动装置带动扫描仪沿X轴方向运动距离为0.5W(W为三维激光扫描仪的有效扫描宽度)后停止运动，然后再由Y轴运动装置带动扫描仪向另一端运动，如此往复运动直到扫描区域覆盖整个测量平台后返回零点位置。
S3：Y轴方向的运动装置带动扫描仪从测量平台的一端运动到另一端时即获取工件的扫描图像(可能是工件的完整扫描图，也可能是工件的部分扫描图)，系统的图像处理模块首先计算出工件图像的X轴方向的最大宽度，并与设定的阈值宽度作对比，如果计算出工件图像X轴方向的最大宽度小于阈值宽度T(T可设为扫描仪有效扫描宽度的0.9倍)，则不需要拼接，直接执行S6，如果大于或等于阈值宽度T，则工件图像需要拼接，进而执行S4；
S4：当判断出工件图像需要拼接后，主机1自动发出指令控制X轴方向运动装置3和Y轴方向运动装置4执行拼接扫描路径，获得用于拼接的工件扫描图像后执行S5；
S5：获取工件的拼接图像后，执行图像拼接程序完成工件图像拼接，获取完整的工件扫描图；
S6：获取摆放位置和角度不同的工件图像后，在图像处理模块中对工件模型姿态进行归一化处理，为后续的图像处理提供统一的标准姿态。
如图5所示，对摆放位置和角度不同的工件图像，其工件模型姿态进行归一化处理的流程为：
(1)通过全局阈值分割采集的图像获取工件的有效区域Region1；
(2)求工件的有效区域Region1的最小外接矩形Rectangle1；
(3)在二维的图像坐标系中求Rectangle1的中心C1(x1，y1)，图像的中心C2(x2，y2)及长轴与水平线(与X轴平行)的夹角Phi，其夹角取值范围(-π/2,π/2]；其中，沿X轴逆时针旋转Phi为正，顺时针旋转Phi为负；
(4)对工件进行三维重建，在三维坐标系中X-Y的平面上旋转工件的3D模型-Phi角度，使其长轴(在二维平面上获得)与三维坐标系中的X轴平行，初步获得模型的归一化姿态；
(5)根据工件模型的三维尺寸特征，将上一步获得的3D模型姿态再在X-Y平面上旋转180°或者不旋转，获得3D模型的归一化姿态；
(6)对只需要在二维坐标系中处理的基元，可根据C1、C2平移Region1至Image中心位置，然后旋转-Phi使Region1的最小外接矩形的长轴与X轴平行即获得在二维平面上的归一化姿态。
值得说明的是，本实施例中的图像采集设备采集的是三维图像信息，图像的灰度值代表其高度信息，因此可通设置采集设备的高度阈值将采集到的图像分为两个部分：第一部分为灰度值大于1的工件有效区域，第二部分为灰度值为空即为0的其余部分，因此步骤(1)中全局阈值分割相当于二值分割，可有效分割出工件的有效区域。另外，在工业检测中绝大多数的工件可通过上述方法旋转到归一化的姿态，对于少数工件可能会出现工件的长轴与最小外接矩形的长轴不平行的情况，在这种情况下由于其最小外接矩形只有一个，因此可以通过旋转两次获得工件的归一化姿态，因此上述的方法同样适用。对工件最小外接矩形为正方形时，如工件的形状为圆形或正多边形时由于其外接矩形的长轴不确定，因此对这种情况此方法会有一定的局限性。步骤(5)中初步获得3D模型的位姿后，可根据工件模型的三维尺寸特征如将选择较高、较宽或其他一些具有差异特征的一端旋转到X轴的正半轴，即可获得归一化的姿态。对于少数情况下工件的三维尺寸特征完全对称，无法提取模型的差异特征，在这种情况下初步获得的归一化姿态即为最终的姿态，因为工件模型完全对称。
S7：系统的图像处理模块根据图像三维尺寸特征，提取基元，自动识别判断基元类型，根据处理要求如需检测新的基元类型即基元库中不包含此基元类型，则执行S8，否则直接执行S9；具体过程如下：
系统的图像处理模块先对工件图像进行阈值分割，提取边缘轮廓，和基于点检测的方法分割边缘轮廓获得该工件图像所包含的基元；然后以基元轮廓的左上角点的坐标值的大小对基元进行编号，其编号规律为按左上角点的Row坐标值的大小从小到大的顺序进行编号，当Row坐标值相同时按Col坐标值的大小从小到大的顺序进行编号，如图4。按照基元的编号顺序依次将基元与基元特征库的基元特征做匹配，自动识别该基元的类型。其中基元特征库基元模型是预先通过机器学习训练大量样本建立，可根据需要动态添加基元特征模型。当要检测新的基元类型即基元库中不存在该基元特征模型时，则需动态添加新基元特征模型至基元库并添加相应的基元处理函数，执行S8，否则执行S9。
S8：通过机器学习训练新基元类型样本，获得新基元类型特征模型，动态添加新基元特征模型至基元库并添加相应的基元处理函数；本实施例的训练过程为：获取基元轮廓点集的坐标值，将点集的坐标值作为原始训练数据，其作为训练样本的基元轮廓集可在图像处理软件中获取；获取原始数据集后，对数据进行预处理主要包括特征提取，特征降维，特征转换，特征归一化等；数据预处理完成后，跟据基元轮廓的特征，选择合适模型用处理好的数据进行训练模型并测试；模型训练完成后，保存模型结果。
S9：图像处理模块识别判断出基元类型后调用相应的基元处理函数；
S10：基元处理函数自动分析判断该基元的相关参数并计算；基元处理函数能根据基元类型自动分析判断该基元类型所需计算的相关参数并将计算相关参数的结果在后台存储，在使用相关参数时可根据测量需求选择输出相关的参数。如识别出基元类型为椭圆时，其基元处理函数自动判断出所需计算的参数包括椭圆圆心坐标、长轴、短轴、面积、倾角等参数，可根据需求调用其中的参数。
本实施例中当基元类型为三维平面上的曲线时，其基元识别及相关参数的处理流程为：
(1)对工件图像进行三维建模，旋转模型至归一化的姿态；
(2)创建一个平面与三维模型相交，获得交线模型；
(3)将获得的交线模型投影到平面，此后便将三维的交线模型投影到二维的平面中处理；
(4)将投影到平面上的交线轮廓进行分割处理，获得属性不同的直线段和曲线段；
(5)与基元特征库匹配识别出曲线基元；
(6)拟合曲线，计算出曲率。
当基元类型为二维平面上的近似平行两线段时，其基元识别及相关参数的处理流程为：
(1)获取工件的有效区域Region1，及Region1的边缘轮廓；
(2)在二维平面旋转Region1的边缘轮廓至归一化的姿态；
(3)对Region1边缘轮廓进行分割，获得不同属性的轮廓集；
(4)与基元特征库匹配识别出近似平行两线段的基元；
(5)按各条直线的左上角点的坐标值对各直线编号；
(6)对各条直线段轮廓进行直线拟合，获得各条直线段的拟合直线段；
(7)计算拟合直线段的长度及两拟合直线段的夹角等参数。
当基元类型为二维平面上的多个圆时，其基元识别及相关参数的处理流程为：
(1)获取工件的有效区域Region1，及Region1的边缘轮廓；
(2)在二维平面旋转Region1的边缘轮廓至归一化的姿态；
(3)对Region1边缘轮廓进行分割，获得不同属性的轮廓集；
(4)与基元特征库匹配识别出圆基元；
(5)按各圆的左上角点的坐标值对各圆编号；
(6)对各圆轮廓进行圆拟合，获得各圆的半径、面积、圆心坐标，孔心距及相对位置等参数。
当基元类型为二维平面上的椭圆时，其基元识别及相关参数的处理流程为：
(1)获取工件的有效区域Region1，及Region1的边缘轮廓；
(2)在二维平面旋转Region1的边缘轮廓至归一化的姿态；
(3)对Region1边缘轮廓进行分割，获得不同属性的轮廓集；
(4)与基元特征库匹配识别出椭圆基元；
(5)对识别出的椭圆进行椭圆拟合，计算出椭圆圆心坐标、长轴、短轴、倾斜角及圆心到工件轮廓边缘的相对距离等参数。
S11：根据基元类型及基元的相关参数如尺寸，相对位置等特征，在存储测量结果时对工件进行分类并编号，测量新工件时，将识别出的基元类型及基元的几何特征与工件库中的已有工件进行相似性比对，判别该工件是否在工件库中已经存在，如果存在，则将该工件的测量结果存储该工件类别的目录下，如果比对不成功，则生成新的工件类别并编号。根据需要可以对不同分类工件的测量结果进行统计分析，在统计分析整体合格率的同时，可发掘更有价值的信息，如各个结构参数出现不合格的频率，从而加强质量把控。
S12：如需继续测量工件则执行S2，否则结束。
本实施例的一种基于待测工件基元组态的智能测量系统及方法，通过在二维平面上对工件图像进行处理获得旋转角度Phi应用在三维平面对工件3D模型姿态的归一化处理，进而获取工件3D模型的归一化姿态，为后续的图像处理提供统一的标准姿态，与传统的将工件模型与标准姿态模型通过模板匹配获得姿态变换参数pose进而进行模型姿态的归一化变换相比，由于仅需要在二维平面上进行简单的参数计算和对模型三维尺寸特征进行选择比较而不涉及模板匹配所需要进行的大量计算，所以本实施例提出的姿态归一化方法其效率有较大的提高。此外，本实施例不需要建立工件图像的模板库，而是直接对获取的工件图像先进行一系列的处理后，提取出工件的基元，再通过图像处理算法自动判别基元的类型，计算该类型基元的相关参数值。由于在工件的实际检测中，要检测的基元类型通常为常见的几种类型如直线、曲线、圆、椭圆、矩形、圆弧等，因此只需针对常见的几种基元类型进行训练建立基元库，与传统的需要先获取工件图像再建立工件的图像模板库相比减少了大量的先前工作，提高了检测效率，并且该方法具有一定的通用性。根据基元类型及基元的相关参数，如尺寸、相对位置等特征对工件进行分类并编号，存储测量结果至相应的工件类别目录下，根据需要可以对不同分类工件的测量结果进行统计分析，在统计分析整体合格率的同时，可发掘更有价值的信息，如各个结构参数出现不合格的频率，从而加强质量把控。本实施例减小了对先验知识的需求和对硬件的依赖，构建了通用测量平台，对工件进行批量、高效检测、测量具有重要应用价值。
以上示意性的对本发明及其实施方式进行了描述，该描述没有限制性，附图中所示的也只是本发明的实施方式之一，实际的结构并不局限于此。所以，如果本领域的普通技术人员受其启示，在不脱离本发明创造宗旨的情况下，不经创造性的设计出与该技术方案相似的结构方式及实施例，均应属于本发明的保护范围。

Claims (8)

1.一种基于待测工件基元组态的智能测量方法，其步骤为：
步骤一、启动系统，图像采集设备按预先规划的路径进行数据采集，获取图像后系统的图像处理模块先计算被测工件的尺寸，并判断是否需要拼接；如需拼接则调用拼接程序，规划采集图像的路径，拼接完成后进入下一步处理，如不需拼接则直接进入下一步处理；
步骤二、对摆放位置和角度不同的工件进行姿态归一化处理，为后续的图像处理提供统一的标准姿态；其中工件模型姿态归一化变换的流程为：
(1)通过全局阈值分割采集的图像获取工件的有效区域Region1；
(2)求工件的有效区域Region1的最小外接矩形Rectangle1；
(3)在二维的图像坐标系中求Rectangle1的中心C1(x1，y1)，图像的中心C2(x2，y2)及长轴与水平线的夹角Phi，其夹角取值范围(-π/2,π/2]；
(4)对工件进行三维重建，在三维坐标系中X-Y的平面上旋转工件的3D模型的角度为-Phi，其中，沿X轴逆时针旋转Phi为正，顺时针旋转Phi为负；使其长轴与三维坐标系中的X轴平行，初步获得模型的归一化姿态；
(5)根据工件模型的三维尺寸特征，将上一步获得的3D模型姿态再在X-Y平面上旋转180°或者不旋转，获得3D模型的归一化姿态；
(6)对只需要在二维坐标系中处理的基元，可根据C1、C2平移Region1至图像中心位置，然后旋转-Phi使Region1的最小外接矩形的长轴与X轴平行即获得在二维平面上的归一化姿态；
步骤三、图像处理模块根据图像三维尺寸特征，提取基元，自动识别判断基元类型，并调用相应的基元处理函数，计算其识别到的基元的相关参数；具体过程为：对工件图像进行阈值分割，提取边缘轮廓，分割边缘轮廓获得该工件图像所包含的基元；然后以基元轮廓的左上角点的坐标值(Row，Column)为编号依据对基元进行编号，按照基元的编号顺序依次将基元与基元特征库的基元特征做匹配，自动识别该基元的类型，识别出基元类型后调用相应的基元处理函数计算该基元类型的相关参数，其中基元特征库基元模型是预先通过机器学习训练大量样本建立，可根据需要动态添加基元特征模型；
步骤四、如基元库中不包含提取基元类型，需添加新的基元，则动态添加新基元特征至基元库并添加相应的基元处理函数，然后执行步骤二，如不需添加新基元则执行步骤五；
步骤五、以基元特征及基元的相对位置为依据，判别工件的类型若为工件库中已存在的类型，则在对应编号的工件类型数量上加一；若为工件库中不存在的类型，则按照既定的规则对所测的工件生成一个分类编号，并将工件的测量结果存储在相应的工件分类目录下。
2.根据权利要求1所述的一种基于待测工件基元组态的智能测量方法，其特征在于：步骤一的执行过程如下：
(1)启动系统，运动装置带动图像数据采集设备按照规划的路径进行数据采集，规划的路径分为非拼接路径和拼接路径，默认数据采集路径为非拼接路径；
(2)获得工件图像后，由系统的图像处理模块首先计算出工件图像的最大宽度，若最大宽度小于设定的阈值宽度T，则不需拼接直接进入下一步处理，若计算出的最大宽度大于或等于设定的阈值宽度T则执行拼接数据采集路径，调用拼接程序，拼接完成后进入下一步处理。
3.根据权利要求1或2所述的一种基于待测工件基元组态的智能测量方法，其特征在于：步骤三中基元类型为三维平面上的曲线时，其识别及相关参数的处理流程为：
(1)对工件图像进行三维建模，旋转模型至归一化的姿态；
(2)创建一个平面与三维模型相交，获得交线模型；
(3)将获得的交线模型投影到平面，此后便将三维的交线模型投影到二维的平面中处理；
(4)将投影到平面上的交线轮廓进行分割处理，获得属性不同的直线段和曲线段；
(5)与基元特征库匹配识别出曲线基元；
(6)拟合曲线，计算出曲率。
4.根据权利要求3所述的一种基于待测工件基元组态的智能测量方法，其特征在于：步骤三中基元类型为二维平面上的近似平行两线段时，其识别及相关参数的处理流程为：
(1)获取工件的有效区域Region1，及Region1的边缘轮廓；
(2)在二维平面旋转Region1的边缘轮廓至归一化的姿态；
(3)对Region1边缘轮廓进行分割，获得不同属性的轮廓集；
(4)与基元特征库匹配识别出近似平行两线段的基元；
(5)按各条直线的左上角点的坐标值对各直线编号；
(6)对各条直线段轮廓进行直线拟合，获得各条直线段的拟合直线段；
(7)计算获得的参数包括：拟合直线段的长度及两拟合直线段的夹角。
5.根据权利要求4所述的一种基于待测工件基元组态的智能测量方法，其特征在于：步骤三中基元为二维平面上的多个圆时，其识别及相关参数的处理流程为：
(1)获取工件的有效区域Region1，及Region1的边缘轮廓；
(2)在二维平面旋转Region1的边缘轮廓至归一化的姿态；
(3)对Region1边缘轮廓进行分割，获得不同属性的轮廓集；
(4)与基元特征库匹配识别出圆基元；
(5)按各圆的左上角点的坐标值对各圆编号；
(6)对各圆轮廓进行圆拟合，获得的参数包括：各圆的半径、面积、圆心坐标，孔心距及相对位置。
6.根据权利要求5所述的一种基于待测工件基元组态的智能测量方法，其特征在于：步骤三中基元类型为二维平面上的椭圆时，其识别及相关参数的处理流程为：
(1)获取工件的有效区域Region1，及Region1的边缘轮廓；
(2)在二维平面旋转Region1的边缘轮廓至归一化的姿态；
(3)对Region1边缘轮廓进行分割，获得不同属性的轮廓集；
(4)与基元特征库匹配识别出椭圆基元；
(5)对识别出的椭圆进行椭圆拟合，计算获得的参数包括：椭圆圆心坐标、长轴、短轴、倾斜角及圆心到工件轮廓边缘的相对距离。
7.根据权利要求6所述的一种基于待测工件基元组态的智能测量方法，其特征在于：步骤五的执行过程为：根据基元类型及基元的相关参数对工件进行分类并编号，测量新工件时，将识别出的基元类型及基元的几何特征与工件库中的已有工件进行相似性比对，判别该工件是否在工件库中已经存在，如果存在，则在对应编号的工件类型数量上加一并将该工件的测量结果存储该工件类别的目录下，如果比对不成功，则生成新的工件类别并编号。
8.一种执行权利要求7所述智能测量方法的系统，其特征在于：包括主机(1)，激光扫描仪(2)，X轴方向运动装置(3)，Y轴方向运动装置(4)和测量平台(5)；激光扫描仪(2)有效扫描宽度为W，通过传输线与主机(1)相连，启动系统后，激光扫描仪(2)将获取的工件图像传送到主机(1)中的图像处理模块进行处理；X轴方向运动装置(3)和Y轴方向运动装置(4)分别通过传输线与主机(1)相连，启动系统后，X轴方向运动装置(3)和Y轴方向运动装置(4)将带动激光扫描仪(2)按照预先设定的扫描路径进行扫描；测量平台(5)位于激光扫描仪(2)的下方，用于放置待测工件。
CN201810455112.4A 2018-05-14 2018-05-14 一种基于待测工件基元组态的智能测量系统及方法 Active CN108917593B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810455112.4A CN108917593B (zh) 2018-05-14 2018-05-14 一种基于待测工件基元组态的智能测量系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810455112.4A CN108917593B (zh) 2018-05-14 2018-05-14 一种基于待测工件基元组态的智能测量系统及方法

Publications (2)

Publication Number Publication Date
CN108917593A CN108917593A (zh) 2018-11-30
CN108917593B true CN108917593B (zh) 2020-01-24

Family

ID=64403627

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810455112.4A Active CN108917593B (zh) 2018-05-14 2018-05-14 一种基于待测工件基元组态的智能测量系统及方法

Country Status (1)

Country Link
CN (1) CN108917593B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109657374B (zh) * 2018-12-25 2023-10-27 中科曙光信息产业成都有限公司 印刷电路板的建模系统以及建模方法
CN109990711B (zh) * 2019-04-25 2021-08-31 湘潭大学 一种冲孔镀镍钢带的外观质量检测方法
CN111238366B (zh) * 2020-01-09 2021-10-22 天远三维（天津）科技有限公司 一种三维扫描路径规划方法及装置
CN111681206B (zh) * 2020-05-08 2023-10-17 上海工程技术大学 喷丝板异型孔尺寸检测方法
CN111627053B (zh) * 2020-05-15 2023-06-02 上海工程技术大学 通用喷丝孔清洗洁净度检测方法及系统
CN111651622B (zh) * 2020-05-29 2023-11-24 云南昆船设计研究院有限公司 一种基于三维成像的建筑用铝模板自动分类系统及其方法
CN111879774B (zh) * 2020-08-03 2023-07-21 广州星际悦动股份有限公司 刷头磨圆率测试方法、装置和电子设备
CN112286235B (zh) * 2020-10-30 2022-02-08 广东利元亨智能装备股份有限公司 基于轨迹的控制方法
CN113701821B (zh) * 2021-09-01 2024-03-05 西南科技大学 一种基于局部特征的建筑铝模板识别结构及其方法
CN114155242B (zh) * 2022-02-08 2022-05-24 天津聚芯光禾科技有限公司 自动识别方法以及基于该自动识别方法的定位方法
CN114241509B (zh) * 2022-02-24 2022-07-08 江西少科智能建造科技有限公司 基于施工图的空间分割方法、系统、存储介质及设备
CN117900918A (zh) * 2024-03-19 2024-04-19 中船黄埔文冲船舶有限公司 一种打磨规则模板化方法、系统、终端及可读存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4332649B2 (ja) * 1999-06-08 2009-09-16 独立行政法人情報通信研究機構 手の形状と姿勢の認識装置および手の形状と姿勢の認識方法並びに当該方法を実施するプログラムを記録した記録媒体
CN1155799C (zh) * 2001-12-10 2004-06-30 西安交通大学 激光线扫描三维测量双光刀虚拟网格映射标定方法及装置
JP2009192297A (ja) * 2008-02-13 2009-08-27 Hitachi Kokusai Electric Inc パターンマッチング方法
CN104134072A (zh) * 2014-07-04 2014-11-05 北京学信速达科技有限公司 一种答题卡识别方法
CN106228612B (zh) * 2016-07-11 2019-01-29 浙江大学 利用定轴旋转轮廓图重建马铃薯三维表面的方法和装置

Also Published As

Publication number Publication date
CN108917593A (zh) 2018-11-30

Similar Documents

Publication Publication Date Title
CN108917593B (zh) 一种基于待测工件基元组态的智能测量系统及方法
US5471541A (en) System for determining the pose of an object which utilizes range profiles and synethic profiles derived from a model
US7340089B2 (en) Geometric pattern matching using dynamic feature combinations
KR102649930B1 (ko) 비전 시스템을 갖는 이미지에서 패턴을 찾고 분류하기 위한 시스템 및 방법
CN108907526A (zh) 一种具有高鲁棒性的焊缝图像特征识别方法
CN112037203A (zh) 基于复杂工件外轮廓配准的侧表面缺陷检测方法及系统
Tian et al. Automatic identification of multi-type weld seam based on vision sensor with silhouette-mapping
KR20080032856A (ko) 조선소 소조립 용접부재 위치 인식 방법
CN114283139A (zh) 一种基于面阵结构光3d视觉的焊缝检测分割方法及装置
CN115035092A (zh) 基于图像的瓶体检测方法、装置、设备及存储介质
CN110288040B (zh) 一种基于拓扑验证的图像相似评判方法及设备
CN107516329B (zh) 一种减速机油孔定位方法
CN114022441A (zh) 一种不规则五金件的缺陷检测方法
Jin et al. A new welding seam recognition methodology based on deep learning model MRCNN
Salotti et al. Evaluation of edge detectors: Critics and proposal
CN115753791B (zh) 基于机器视觉的缺陷检测方法、装置以及系统
CN116823708A (zh) 基于机器视觉的pc构件边模识别与定位研究
JPH09281055A (ja) 欠け検査方法
Hargas et al. Novel machine vision tools applied in biomechatronic tasks
CN111062287A (zh) 一种基于机器视觉的旋帽定心及其一字槽角度识别的方法
JPH0738223B2 (ja) 移動ロボット用画像認識装置
Ogata et al. Automated design of image recognition process for picking system
Lan et al. Weld Recognition of Pressure Vessel Based on Texture Feature
CN117260003B (zh) 一种汽车座椅骨架自动摆件打钢刻码方法及系统
Kiddee et al. A geometry based feature detection method of V-groove weld seams for thick plate welding robots

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20211029

Address after: CRRC Digital Industrial Park, No. 18, Pusi Road, Jiangbei new area, Nanjing, Jiangsu 210031

Patentee after: JIANGSU CRRC DIGITAL TECHNOLOGY Co.,Ltd.

Address before: 211816 Puzhu South Road, Pukou District, Nanjing, Jiangsu Province, No. 30

Patentee before: NANJING University OF TECHNOLOGY