CN111353997B - 一种基于条纹投影的实时三维面型缺陷检测方法 - Google Patents

一种基于条纹投影的实时三维面型缺陷检测方法 Download PDF

Info

Publication number
CN111353997B
CN111353997B CN202010275461.5A CN202010275461A CN111353997B CN 111353997 B CN111353997 B CN 111353997B CN 202010275461 A CN202010275461 A CN 202010275461A CN 111353997 B CN111353997 B CN 111353997B
Authority
CN
China
Prior art keywords
point cloud
dimensional
standard
cloud data
piece
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010275461.5A
Other languages
English (en)
Other versions
CN111353997A (zh
Inventor
左超
钱佳铭
陈钱
冯世杰
许明珠
陶天阳
胡岩
刘凯
吴帅杰
李艺璇
尚昱昊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Science and Technology
Original Assignee
Nanjing University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Science and Technology filed Critical Nanjing University of Science and Technology
Publication of CN111353997A publication Critical patent/CN111353997A/zh
Application granted granted Critical
Publication of CN111353997B publication Critical patent/CN111353997B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/89—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8883—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges involving the calculation of gauges, generating models
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Chemical & Material Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Textile Engineering (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种基于条纹投影的实时三维面型缺陷检测方法，包括构建四目结构的三维成像系统，并完成系统标定；将标准件置于所构建的三维成像系统的成像范围内，转动标准件完成标准件不同面的三维点云数据的获取及拼接，并将最终拼接所得的三维模型保存为标准库；将待测件放置于所搭建的三维成像系统的成像范围内，转动待测件完成不同面的三维点云数据的获取，并根据标准库数据完成三维面型缺陷的检测。本发明整个过程高效、快速、实时、准确，极大提高了工件面型缺陷检测的效率和准确率。

Description

一种基于条纹投影的实时三维面型缺陷检测方法
技术领域
本发明属于面型缺陷检测技术领域，特别是一种基于条纹投影的实时三维面型缺陷检测方法。
背景技术
随着产品全球化用户越来越多，用户对产品的质量要求越来越苛刻，生产企业对产品质量要求也到了“近乎完美”的地步。产品质量除了体现在使用功能完整外，还包括用户第一视觉感官体验，即外观缺陷。外观缺陷包括产品的颜色差异，尺寸、形状、体积的变化以及表面缺陷等。产品的外观缺陷既影响感官体验，又有可能直接影响产品的功能要求，因此产品的外观缺陷检测对生产企业变得越发重要。
从检测手段来看，基于机器视觉技术的产品表面缺陷检测主要包括基于二维视觉的表面缺陷检测和三维视觉表面缺陷检测两大类。当前表面缺陷主要使用二维视觉表面缺陷检测，即通过图像传感器获得产品的二维图像，提取缺陷信息。但在二维视觉表面缺陷检测中，缺陷的形状、方位以及表面材质、纹理等，都会影响产品缺陷的成像质量进而影响到缺陷识别率(Madrigal C,Branch J,Restrepo A,et al.A method for automaticsurface inspection using a model-based 3D descriptor[J].Sensors,2017,17(10):2262)。
三维视觉表面缺陷检测，即利用三维视觉测量技术提取物体表面的三维点云数据，然后通过点云坐标，计算带有缺陷点云与离散化后的CAD标准模型或者无缺陷物体的点云之间的偏差，通过点云偏差判断是否有缺陷和缺陷的特征量。表面缺陷三维视觉检测相对于二维视觉检测，其特点主要体现在以下几个方面： (1)大多数缺陷都具有比较明显的三维特征，如深度和高度信息，三维视觉能较直接和方便地获取缺陷的完整信息；(2)三维视觉获取的缺陷包含了二维信息，如通过将三维数据进行投影映射，可以得到缺陷的周长、面积、最小外接矩形和最小包围圆等二维信息；(3)三维视觉获取的缺陷的三维数据拥有更多的信息量，理论上缺陷特征更容易提取出来；(4)三维视觉获取的深度或高度信息对生产工艺调整具有更好的指导意义(吴庆华.基于线结构光扫描的三维表面缺陷在线检测的理论与应用研究.博士学位论文.武汉：华中科技大学，2013)。
因此无论从企业需求，还是科学研究价值，三维表面缺陷检测研究都具有非常重要的意义。近几年随着图像处理技术的不断进步，三维视觉正逐步应用于机器视觉检测中。三维视觉能够提供产品的形状、尺寸、体积以及空间位置等信息。如机器人视觉引导与拾取中的零件三维位姿测量、食品食物的体积计算、原木的体积和形状测量、电子元器件的位置和尺寸检测等。
但是传统的表面缺陷三维视觉检测(Huang D,Du S,Li G,et al.Detection andmonitoring ofdefects on three-dimensional curved surfaces based on high-density point cloud data[J].Precision Engineering,2018,53:79-95.)方法，检测过程十分繁琐、耗时，且只能对静态对象的检测，无法满足流水线上的在线检测。因此现在尚缺乏一种针对动态物体的实时在线三维缺陷检测手段。
发明内容
本发明的目的在于提供一种基于条纹投影的实时三维面型缺陷检测方法。
实现本发明目的的技术方案为：一种基于条纹投影的实时三维面型缺陷检测方法，具体步骤为：
步骤1：构建四目结构的三维成像系统，并完成系统标定；
步骤2：将标准件置于所构建的三维成像系统的成像范围内，转动标准件完成标准件不同面的三维点云数据的获取及拼接，并将最终拼接所得的三维模型保存为标准库；
步骤3：将待测件放置于所搭建的三维成像系统的成像范围内，转动待测件完成不同面的三维点云数据的获取，并根据标准库数据完成三维面型缺陷的检测。
优选地，所述四目结构的三维成像系统包括一台计算机、四台相机(1～4)、一台投影仪(5)，所述投影仪分别与四台相机通过四根触发线一一连接，四台相机和计算机通过四根数据线相连接；四台相机分别位于投影仪(5)两侧且关于投影仪(5)对称设置，且第二相机置于第一相机与投影仪(5)之间，第三相机置于第四相机与投影仪(5)之间，四台相机的成像中心与投影仪(5)的投影中心相交于一点。
优选地，完成标准件不同面的三维点云数据的获取及拼接的具体方法为：
步骤2.1：将标准件放置于所搭建的三维成像系统的成像范围内，完成标准件在第一个视角下的三维数据扫描，获得第一个视角下的三维点云数据；
步骤2.2：旋转标准件到第二个视角，按照步骤2.1的方法完成对标准件在第二个视角下的三维数据扫描，获得第二个视角下的三维点云数据。
步骤2.3：对两个视角下的三维点云数据进行点云拼接；
步骤2.4：继续旋转标准件，完成标准件所有表面的点云数据的拼接，并建立标准库。
优选地，完成标准件在第一个视角下的三维数据扫描的具体方法为：
投影仪向标准件投影条纹图像，相机同步采集条纹图像，并根据条纹图像获取四个相机的包裹相位，所述包裹相位具体为：
Figure GDA0003810055830000031
式中，
Figure GDA0003810055830000032
为第i个相机的包裹相位，
Figure GDA0003810055830000033
分别为第i个相机采集的三幅条纹图像；
利用立体相位展开法确定最外侧两个相机的匹配点，获取标准件在第一个视角的三维数据。
优选地，对两个视角下的三维点云数据进行点云拼接具体方法为：
分别计算不同视角下标准件的2D纹理图；
通过尺度不变特征变换SIFT算法获取2D纹理图间的2D匹配点；
根据2D纹理图间的2D匹配点，通过地图定位与重建技术实现两个视角下的三维点云数据间的粗配准，并获取粗配准的旋转矩阵
Figure GDA0003810055830000034
和平移矩阵
Figure GDA0003810055830000035
将第一视角下的点云数据(x1,y1,z1)变换为(x1-c,y1-c,z1-c)，变换公式为：
Figure GDA0003810055830000036
利用最近点迭代算法实现(x1-c,y1-c,z1-c)和(x2,y2,z2)间的精配准，并获取精配准的变换矩阵
Figure GDA0003810055830000037
和
Figure GDA0003810055830000038
将(x1-c,y1-c,z1-c)变换为(x1-f,y1-f,z1-f)，变换公式为：
Figure GDA0003810055830000039
将点云(x1-f,y1-f,z1-f)与点云(x2,y2,z2)融合到一起形成一个新的点云集合 (X1,Y1,Z1)，实现第一个视角下的点云数据和第二个视角下的点云数据的拼接。
优选地，所述标准库包括n个视角下的标准件的完整点云集、n个视角下的标准件的2D纹理图、n个视角下的标准件的3D点云数据、以及n-1次点云拼接获得的的旋转矩阵与平移矩阵。
优选地，根据标准库数据完成三维面型缺陷的检测的具体方法为：
步骤3.1：将待测件放置于所搭建的三维成像系统之前，完成对标准件在第一个视角下的三维数据扫描；
步骤3.2：对待测件在第一个视角下的点云数据和标准件完整点云集进行点云配准；
步骤3.3：根据点云配准后的点云确定三维面型缺陷的度量值，完成第一个视角下的待测件点云数据的三维面型缺陷检测；
步骤3.4：旋转待测件到另一个视角，按照步骤3.1～3.3完成对待测件在所有视角下的三维面型缺陷检测。
优选地，对待测件在第一个视角下的点云数据和标准件完整点云集进行点云配准的具体方法为：
步骤3.2.1：从标准库找到与第一个视角下的待测件的2D纹理图最相似的标准件2D纹理图；
步骤3.2.2：对待测件在第一个视角下的点云数据(x′1,y′1,z′1)与标准库中的标准件点云数据(xj,yj,zj)进行粗配准，获得(x′1,y′1,z′1)变换后的点云(x′1-c,y′1-c,z′1-c)；
步骤3.2.3：对(x′1-c,y′1-c,z′1-c)与标准库中的完整点云集(Xn-1,Yn-1,Zn-1)进行粗配准，获得(X′1-c,Y′1-c,Z′1-c)；
步骤3.2.4：对(X′1-c,Y′1-c,Z′1-c)与标准库中的(X′n-1,Yn-1,Zn-1)进行精配准，获得精配准后的点云(X′1-f,Y′1-f,Z′1-f)。
优选地，对待测件在第一个视角下的点云数据(x′1,y′1,z′1)与标准库中的标准件点云数据(xj,yj,zj)进行粗配准，获得(x′1,y′1,z′1)变换后的点云(x′1-c,y′1-c,z′1-c)的具体方法为：
利用SIFT算法寻找待测件在第一个视角下的2D纹理图I′1和标准库中的2D 纹理图Ij间的2D匹配点；
利用SLAM实现(x′1,y′1,z′1)和(xj,yj,zj)间的粗配准，并获取粗配准的变换矩阵
Figure GDA0003810055830000041
和
Figure GDA0003810055830000042
对(x′1,y′1,z′1)进行点云变换获得点云(x′1-c,y′1-c,z′1-c)，变换公式为：
Figure GDA0003810055830000051
式中，
Figure GDA0003810055830000052
和
Figure GDA0003810055830000053
分别为待测件粗配准的旋转矩阵和平移矩阵。
本发明与现有技术相比，其显著优点为：本发明适用于运动及静止对象的三维面型缺陷检测，能够对被测件进行在线实时测量与检测，并实时地标记出尺寸上存在较大差异的区域，无需任何分析等待，可实时分析缺陷的大小与位置，满足流水线上的在线检测要求。
下面结合附图对本发明作进一步详细描述。
附图说明
图1为本发明的流程图。
图2为所搭建的四目结构的三维成像系统的结构图。
图3为旋转标准件与待测件时不同视角的示意图。
图4为用所搭建的三维成像系统对标准件扫描拼接的完整3D点云，其中(a)、 (b)、(c)、(d)分别表示四个不同视图。
图5为在不同时刻使用所搭建的三维成像系统对一无缺陷工件的面型缺陷检测结果。
图6为在不同时刻使用所搭建的三维成像系统对一有缺陷工件的面型缺陷检测结果。
具体实施方式
一种基于条纹投影的实时三维面型缺陷检测方法，首先搭建一四目结构的三维成像系统，对标准件进行实时三维重构并拼接各扫描点云生成标准库；然后对待测件进行扫描，将扫描的三维点云与标准库点云匹配，通过计算两配准点云的差异来确定被测件的面型缺陷，如图1所示，具体步骤如下：
步骤1：搭建四目结构的三维成像系统，并完成系统标定。
进一步的实施例中，所述三维成像系统包含一台计算机、四台相机1～4、一台投影仪5，所述投影仪分别与四台相机1～4通过四根触发线一一连接，四台相机1～4和计算机通过四根数据线相连接。
具体地，搭建四目结构的三维成像系统的具体方法为：
在搭建多目结构的三维成像系统(相机数量大于1的系统称为多目系统)时，需对系统中的相机、投影仪的位置进行优化，优化的具体方法为：视角之间的距离越近，那么一个视角上的任意一点在另一个视角上的一定深度范围内的投影线段越短，另一方面两个视角之间的距离越大，那么两个视角之间三维重构越准确 (T.Tao,Q.Chen,S.Feng,Y.Hu,M.Zhang,and C.Zuo,"High-precision real-time 3D shape measurement based on aquad-camera system,"Journal of Optics 20, 014009(2018).)。按照该优化方法，如图2所示，本发明中各部件的摆放位置为：相机1与投影仪5保持较远距离，两者中心相距约13毫米；相机2置于相机1 与投影仪5之间，并靠近相机1摆放，其中心与相机1中心相距约4.6毫米，与投影仪5相距约8.4毫米；相机4与相机1关于投影仪5对称，相机3与相机2 关于投影仪5对称放置。调节四个相机的视角，使四个相机的成像中心与投影仪 5的投影中心在成像系统前方约一米处相交于一点；同时调整相机及投影仪的焦距，使其在系统正前方约1m处保持最佳的聚焦度。
具体地，完成系统标定的具体方法为：
利用张正友标定算法(Z.Zhang,“A flexible new technique for cameracalibration.”IEEE Transactions onpattern analysis and machine intelligence.22(11), 1330-1334(2000).)将搭建的四目结构三维成像系统标定到统一的世界坐标系下，得到四个相机与投影仪在一个世界坐标系下的标定参数，并将这些参数转化为二维到三维、三维到三维的映射参数(K.Liu,Y.Wang,D.L.Lau,et al, “Dual-frequency patternscheme for high-speed 3-D shape measurement.”Optics express.18(5):5229-5244(2010).)。
步骤2：将标准件放置于所搭建的三维成像系统的成像范围内(系统正前方约1m处)，转动标准件完成标准件不同面的三维点云数据的获取及拼接，并将最终拼接所得的三维模型保存为标准库，具体步骤如下：
步骤2.1：将标准件放置于所搭建的三维成像系统的成像范围内(系统正前方约1m处)，完成对标准件在第一个视角下的三维数据扫描，具体步骤为：
步骤2.1.1：投影仪向标准件投影条纹图像，相机同步采集条纹图像，并根据条纹图像获取四个相机的包裹相位；
投影仪5向标准件投影三步相移条纹图像，四台相机1～4同步采集所投影的条纹图像，四个相机所采集的条纹图像可分别记为
Figure GDA0003810055830000061
(相机1采集的三幅条纹图像)，
Figure GDA0003810055830000071
(相机2采集的三幅条纹图像)，
Figure GDA0003810055830000072
(相机3采集的三幅条纹图像)，
Figure GDA0003810055830000073
(相机4采集的三幅条纹图像)，其中上标表示相机序号，下标‘-’前的数字代表第几步相移条纹图像，‘-’后的数字代表第几个旋转视角。由下式计算相机1的包裹相位
Figure GDA0003810055830000074
Figure GDA0003810055830000075
同样的操作可分别计算相机2、3、4的包裹相位
Figure GDA0003810055830000076
步骤2.1.2：利用立体相位展开法确定相机1和相机4间的匹配点，实现三维重构，获取标准件在第一个视角的三维数据；
进一步地，由于传统的相位展开方法---时间相位展开法需要投影额外的辅助图像才能实现相位展开，这降低了相位展开的效率，因此本发明采用立体相位展开法，在无需投影任何额外辅助图像的情况下实现相位展开，进而实现实时三维数据的获取，具体方法为：
(1)首先利用相机1和投影仪5间的二维到三维的映射参数重构出相机1 中某个像素点oc1对应的N个3D候选点，N代表所使用的条纹的根数；
(2)将深度在-200毫米～200毫米外的3D候选点排除；
(3)利用相机2和投影仪5间的二维到三维的映射参数将剩余的N2(1≤ N2≤N)个3D候选点映射到相机2，获取N2个2D候选点，将相位值与相机1 中某个像素点
Figure GDA0003810055830000077
的相位相差大于0.6rad的2D候选点排除，同时排除对应的3D 候选点；
(4)利用相机3和投影仪5间的二维到三维的映射参数将剩余的N3(1≤ N3≤N2)个3D候选点映射到相机3，获取N3个2D候选点，将相位值与相机 1中某个像素点
Figure GDA0003810055830000078
的相位相差大于0.8rad的2D候选点排除，同时排除对应的3D 候选点；
(5)利用相机4和投影仪5间的二维到三维的映射参数将剩余的N4(1≤ N4≤N3)个3D候选点映射到相机4，获取N4个2D候选点，将相位值与相机 1中某个像素点
Figure GDA0003810055830000079
的相位相差大于1rad的2D候选点排除，同时排除对应的3D 候选点，经过三轮的相位比较，最后剩下的2D候选点就是相机1中某个像素点
Figure GDA0003810055830000081
点唯一的匹配点；
(6)利用相机1和相机4间三维到三维的映射参数，重构出相机1中某个像素点
Figure GDA0003810055830000082
点的三维数据；
实际运用时，在计算机GPU中并行地对相机1中的每个像素点执行(1)～ (6)即可获取相机1下的标准件单个面的高精度三维点云数据(x1,y1,z1)。
步骤2.2：旋转标准件到第二个视角，按照步骤2.1的方法完成对标准件在第二个视角下的三维重构，获得第二个视角下的三维点云数据为(x2,y2,z2)。
步骤2.3：对两个视角下的三维点云数据(x1,y1,z1)和(x2,y2,z2)进行点云拼接，具体方法为：
步骤2.3.1获取第一个视角和第二个视角下的标准件的2D匹配点
对于第一个视角，相机1采集的条纹图像为
Figure GDA0003810055830000083
对于第二个视角，相机1采集的条纹图像记为
Figure GDA0003810055830000084
由下式计算第一个视角下的标准件的2D纹理图I1：
Figure GDA0003810055830000085
I1中的下标表示第几个视角；
同样的操作可计算第二个视角下的标准件的2D纹理图I2；
然后通过尺度不变特征变换SIFT算法获取I1和I2间的2D匹配点。
步骤2.3.2：对两个视角下的三维点云数据(x1,y1,z1)和(x2,y2,z2)进行粗配准和精配准，具体方法为：
(1)在已知第一和第二个视角下的标准件的3D点云数据(x1,y1,z1)、 (x2,y2,z2)及其对应的2D匹配点的情况下，可直接通过地图定位与重建技术 (SLAM)实现(x1,y1,z1)和(x2,y2,z2)间的粗配准，并获取粗配准的变换矩阵，即旋转矩阵
Figure GDA0003810055830000086
和平移矩阵
Figure GDA0003810055830000087
其中上标表示粗配准，下标代表第几次粗配准，然后通过下式变换(x1,y1,z1)，记变换后的点云数据为(x1-c,y1-c,z1-c)：
Figure GDA0003810055830000088
(2)利用最近点迭代算法(ICP)实现(x1-c,y1-c,z1-c)和(x2,y2,z2)间的精配准，并获取精配准的变换矩阵
Figure GDA0003810055830000091
和
Figure GDA0003810055830000092
其中上标表示精配准，下标表示第几次精配准，然后通过下式变换(x1-c,y1-c,z1-c)，记变换后的点云为(x1-f,y1-f,z1-f)：
Figure GDA0003810055830000093
(3)将点云(x1-f,y1-f,z1-f)与点云(x2,y2,z2)融合到一起形成一个新的点云集合，实现第一个视角下的点云数据和第二个视角下的点云数据的拼接，拼接后的数据记做(X1,Y1,Z1)，其中下标表示第几次拼接，一次粗配准和一次精配准表示一次拼接；
步骤2.4：继续旋转标准件，完成标准件所有表面的点云数据的拼接，并建立标准库，具体方法为：
步骤2.4.1：继续旋转标准件到不同视角，如图3所示，直至拼接完标准件所有视角下的3D数据；
将标准件旋转到第3个视角、第4个视角…第n个视角，并按照上述步骤 2.1.1～2.1.3实现对所有n个视角下标准件点云数据的获取、同时将后一个视角下的点云数据与之前视角拼接所得点云相拼接，最终拼接得到的标准件的完整3D 点云数据为(Xn-1,Yn-1,Zn-1)。
步骤2.4.2：建立标准库
将最终拼接得到的标准件的完整点云集(Xn-1,Yn-1,Zn-1)、n个视角下的标准件的2D纹理图I1～In、n个视角下的标准件的3D点云(x1,y1,z1)～(xn,yn,zn)、以及n-1次拼接所得的旋转矩阵
Figure GDA0003810055830000094
和平移矩阵
Figure GDA0003810055830000095
保存为标准库。
步骤3：将待测件放置于所搭建的三维成像系统的成像范围内(系统正前方约1m处)，转动待测件完成不同面的三维点云数据的获取及三维面型缺陷的检测。具体如下：
步骤3.1：将待测件放置于所搭建的三维成像系统之前，完成对标准件在第一个视角下的三维数据扫描；
具体地，使用投影仪5向待测件投影三步相移条纹图像，相机1、2、3、4 同步采集条纹图像，并根据条纹图像获取四个相机的包裹相位；
利用立体相位展开法确定相机1和相机4间的匹配点，实现三维重构，获取待测件在第一个视角的三维数据，记获取的三维点云数据为(x′1,y′1,z′1)，上标用于区分标准件的三维点云数据和待测件的三维点云数据，下标表示第几个视角。
步骤3.2：对待测件在第一个视角下的点云数据(x′1,y′1,z′1)和标准件完整的点云数据(Xn-1,Yn-1,Zn-1)进行点云配准；
步骤3.2.1从标准库找到与第一个视角下的待测件的2D纹理图最相似的标准件2D纹理图；
(1)通过下式获取待测件在第一个视角下的2D纹理图I′1：
Figure GDA0003810055830000101
I′1的下标表示第几个视角，步骤3.1中相机1采集的三幅三步相移条纹图像可表示为I′1-1、I′2-1、I′3-1，其中下标‘-’前的数字代表第几步相移条纹图像，‘-’后的数字代表第几个旋转视角，
(2)利用ORB算法，依次寻找I′1与标准库中I1～In的2D匹配点，并记录 2D匹配点的个数(即寻找I′1、I1间的匹配点并记录匹配点个数num1，寻找I′1、 I2间的匹配点并记录匹配点个数num2，寻找I′1、I3间的匹配点并记录匹配点个数num3。寻找I′1、In间的匹配点并记录匹配点个数numn)；
(3)比较num1～numn，找出其中最大的数字，假设找到的最大数字为numj，其中j∈[1n]，则标准库中的Ij就是和第一个视角的待测件2D纹理图I′1最相似的标准件2D纹理图。在该步骤中使用ORB算法而不是用SIFT算法的原因是， ORB算法的速度更快，使用ORB可快速遍历I1～In，以确定其中与I′1最相似的 2D纹理，进而保证后续检测的实时性。
步骤3.2.2：采用步骤2.3.2的方法对(x′1,y′1,z′1)与标准库中的(xj,yj,zj)进行粗配准；
(1)首先利用SIFT算法寻找I′1和Ij间的2D匹配点(这里使用SIFT的原因是，步骤2.1中的ORB虽然快速，但是没有SIFT准确，因此这里再使用SIFT 准确找出2D匹配点)；
(2)利用SLAM实现(x′1,y′1,z′1)和(xj,yj,zj)间的粗配准，并获取粗配准的变换矩阵
Figure GDA0003810055830000111
和
Figure GDA0003810055830000112
其中上标‘c’表示粗配准，上标‘，’用于区分标准件的粗配准和待测件的粗配准，下标代表第几次粗配准，然后通过下式对(x′1,y′1,z′1)进行变换，变换后的点云记为(x′1-c,y′1-c,z′1-c)：
Figure GDA0003810055830000113
步骤3.2.3：对(x′1-c,y′1-c,z′1-c)与标准库中的(Xn-1,Yn-1,Zn-1)进行粗配准。
在某些实施例中，根据(xj,yj,zj)与(Xn-1,Yn-1,Zn-1)间的关系，直接对 (x′1-c,y′1-c,z′1-c)进行变换以实现(x′1-c,y′1-c,z′1-c)与(Xn-1,Yn-1,Zn-1)的粗配准，即将 (x′1-c,y′1-c,z′1-c)依次通过标准库中的第j次变换矩阵
Figure GDA0003810055830000114
第j+1次变换矩阵
Figure GDA0003810055830000115
第n-1次变换矩阵
Figure GDA0003810055830000116
而变换，变换过程为：
(1)将旋转矩阵
Figure GDA0003810055830000117
与[x′c y′c z′c]T相乘并与平移矩阵
Figure GDA0003810055830000118
相加，得到一个新的点云集(x′c-j,y′c-j,z′c-j)，下标‘-’后的数字表示通过标准库中第几次粗配准的变换矩阵而变换；将旋转矩阵
Figure GDA0003810055830000119
与[x′c-j y′c-j zc-j]T相乘并与平移矩阵
Figure GDA00038100558300001110
相加，得到一个新的点云集(x′f-j,y′f-j,z′f-j)，下标‘-’后的数字表示通过标准库中第几次精配准的变换矩阵而变换(第1次变换结果)；
(2)将旋转矩阵
Figure GDA00038100558300001111
与[x′f-j y′f-j z′f-j]T相乘并与平移矩阵
Figure GDA00038100558300001112
相加，得到一个新的点云集(x′c-j+1,y′cj+1,z′cj+1 )；将旋转矩阵
Figure GDA00038100558300001113
与[x′c-j+1y′cj+1z′cj+1]T相乘并与平移矩阵
Figure GDA00038100558300001114
相加，得到一个新的点云集(x′f-j+1,y′f-j+1,z′f-j+1)(第2次变换结果)；
(3)将旋转矩阵
Figure GDA00038100558300001115
与[x′f-j+1y′f-j+1z′f-j+1]T相乘并与平移矩阵
Figure GDA00038100558300001116
相加，得到一个新的点云集(x′c-j+2,y′cj+2,z′cj+2)；将旋转矩阵
Figure GDA00038100558300001117
与 [x′c-j+2y′c-j+2z′c-j+2]T相乘并与平移矩阵
Figure GDA00038100558300001118
相加，得到一个新的点云集 (x′f-j+2,y′f-j+2,z′f-j+2)(第3次变换结果)；
(4)不断进行上述操作，记第n-j-1次变换后的结果为(x′f-n-2,y′f-n-2,z′f-n-2)，将旋转矩阵
Figure GDA00038100558300001119
与[x′f-n-2 y′f-n-2 z′f-n-2]T相乘并与平移矩阵
Figure GDA00038100558300001120
相加，得到一个新的点云集(x′c-n-1,y′c-n-1,z′c-n-1)；将旋转矩阵
Figure GDA00038100558300001121
与[x′c-n-1 y′c-n-1 z′c-n-1]T相乘并与平移矩阵
Figure GDA0003810055830000121
相加，得到一个新的点云集(x′f-n-1,y′f-n-1,z′f-n-1)，完成(x′1-c,y′1-c,z′1-c) 与(Xn-1,Yn-1,Zn-1)间的粗配准，记最后一次变换结果(x′f-n-1,y′f-n-1,z′f-n-1)为 (X′1-c,Y′1-c,Z′1-c)。
步骤3.2.4：对(X′1-c,Y′1-c,Z′1-c)与标准库中的(Xn-1,Yn-1,Zn-1)进行精配准。
在某些实施例中，利用ICP算法实现(X′1-c,Y′1-c,Z′1-c)和(Xn-1,Yn-1,Zn-1)间的精配准，并获取精配准的变换矩阵
Figure GDA0003810055830000122
和
Figure GDA0003810055830000123
其中上标‘f’表示精配准，上标‘，’用于区分标准件的精配准和待测件的粗精配准，下标表示第几次精配准，然后通过下式变换(X′1-c,Y′1-c,Z′1-c)，记变换后的点云为(X′1-f,Y′1-f,Z′1-f)：
Figure GDA0003810055830000124
步骤3.3：对第一个视角下的待测件的点云数据进行三维面型缺陷检测，具体为：
对于点云集(X′1-c,Y′1-c,Z′1-c)(第一个视角下的待测件点云数据)中任意一个三维点o′c，计算其与点云集(Xn-1,Yn-1,Zn-1)(标准件完整的的3D点云数据)中所有三维点之间的距离，找出其中最小的距离作为三维面型缺陷的度量值。在计算机GPU中对点云集(X′1-c,Y′1-c,Z′1-c)中所有的三维点并行地进行上述操作，以快速实时地完成对第一个视角下的待测件点云数据的三维面型缺陷检测。
步骤3.4：旋转待测件到另一个视角，按照步骤3.1～3.3完成对待测件在所有视角下的三数据扫描及三维面型缺陷检测。
本发明采用四目结构的三维成像系统，使用立体相位展开法，仅需少量投影帧数就可实现包裹相位无歧义展开及高精度三维数据的实时获取；首先使用该系统对一标准件进行多次单面扫描并记录每次扫描的点云数据及二维纹理图，将扫描结果快速拼接作为标准库；然后对待测件进行扫描，基于二维纹理特征识别将扫描点云与标准点云快速配准；最终基于GPU并行框架计算出两配准点云间的差异以获得待测件的三维面型缺陷，本发明高效、快速、实时、准确，极大提高了工件面型缺陷检测的效率和准确率。
实施例
为测试本发明的可行性和实时性，利用本发明步骤1所提出的方法搭建了一套四目结构的三维成像系统，如图2所示。三维成像系统使用了四个黑白相机，型号为BasleracA640-750um，最高帧率为750fps，最大分辨率为640×480，都使用了12mm的Computar镜头；所使用的投影仪型号为LightCrafter 4500Pro，分辨率为912×1140，最高速度为120Hz。在实验中，投影仪的速度为100Hz，所有的相机都是用投影仪来触发。
首先用所搭建的三维成像系统对一标准件进行扫描以生成标准库。只需将该标准件在三维成像系统前随意转动就能完成各个视角下的单面点云数据的拼接。拼接后的完整3D点云结果如图4所示，其中图4 中的(a)、(b)、(c)、(d)为不同的视图，从扫描的结果中可以观察到使用本发明的方法能对具有复杂面型的工件进行很好的重建。在获得标准库后，对两个同一厂家生产、相同型号的待测件进行实时缺陷检测。图5为对第一个工件在不同时间段的检测结果，图中的伪彩色代表缺陷的大小，从结果中能够观察到，该工业件的扫描数据和标准数据的偏差几乎都在0附近波动，表示该工件生产合格。图6为对另一个工件检测在不同时间段的检测结果，从结果中可以看出，该工件有缺陷的地方均被很好地探测出。将该工件存在的主要缺陷分别用三种不同的框线表示，从结果中可以观察到，无论角度如何，该工件的缺陷都能被很好的检测出来。本实施例充分证明了本发明在外观缺陷检测中所发挥出的优点。

Claims (7)

1.一种基于条纹投影的实时三维面型缺陷检测方法，其特征在于，具体步骤为：
步骤1：构建四目结构的三维成像系统，并完成系统标定；
步骤2：将标准件置于所构建的三维成像系统的成像范围内，转动标准件完成标准件不同面的三维点云数据的获取及拼接，并将最终拼接所得的三维模型保存为标准库，具体方法为：
步骤2.1：将标准件放置于所搭建的三维成像系统的成像范围内，完成标准件在第一个视角下的三维数据扫描，获得第一个视角下的三维点云数据；
步骤2.2：旋转标准件到第二个视角，按照步骤2.1的方法完成对标准件在第二个视角下的三维数据扫描，获得第二个视角下的三维点云数据；
步骤2.3：对两个视角下的三维点云数据进行点云拼接，具体方法为：
分别计算不同视角下标准件的2D纹理图；
通过尺度不变特征变换SIFT算法获取2D纹理图间的2D匹配点；
根据2D纹理图间的2D匹配点以及两个视角下标准件的点云数据，通过地图定位与重建技术实现两个视角下的三维点云数据间的粗配准，并获取粗配准的旋转矩阵
Figure FDA0003810055820000011
和平移矩阵T1 c，将第一视角下的点云数据(x1,y1,z1)变换为(x1-c,y1-c,z1-c)，变换公式为：
Figure FDA0003810055820000012
利用最近点迭代算法实现(x1-c,y1-c,z1-c)和(x2,y2,z2)间的精配准，并获取精配准的变换矩阵
Figure FDA0003810055820000013
和T1 f，将(x1-c,y1-c,z1-c)变换为(x1-f,y1-f,z1-f)，变换公式为：
Figure FDA0003810055820000014
将点云(x1-f,y1-f,z1-f)与点云(x2,y2,z2)融合到一起形成一个新的点云集合(X1,Y1,Z1)，实现第一个视角下的点云数据和第二个视角下的点云数据的拼接；
步骤2.4：继续旋转标准件，完成标准件所有表面的点云数据的拼接，并建立标准库；
步骤3：将待测件放置于所搭建的三维成像系统的成像范围内，转动待测件完成不同面的三维点云数据的获取，并根据标准库数据完成三维面型缺陷的检测。
2.根据权利要求1所述的基于条纹投影的实时三维面型缺陷检测方法，其特征在于，所述四目结构的三维成像系统包括一台计算机、四台相机(1～4)、一台投影仪(5)，所述投影仪分别与四台相机通过四根触发线一一连接，四台相机和计算机通过四根数据线相连接；四台相机分别位于投影仪(5)两侧且关于投影仪(5)对称设置，且第二相机置于第一相机与投影仪(5)之间，第三相机置于第四相机与投影仪(5)之间，四台相机的成像中心与投影仪(5)的投影中心相交于一点。
3.根据权利要求1所述的基于条纹投影的实时三维面型缺陷检测方法，其特征在于，完成标准件在第一个视角下的三维数据扫描的具体方法为：
投影仪向标准件投影条纹图像，相机同步采集条纹图像，并根据条纹图像获取四个相机的包裹相位，所述包裹相位具体为：
Figure FDA0003810055820000021
式中，
Figure FDA0003810055820000022
为第i个相机的包裹相位，
Figure FDA0003810055820000023
分别为第i个相机采集的三幅条纹图像；
利用立体相位展开法确定最外侧两个相机的匹配点，获取标准件在第一个视角的三维数据。
4.根据权利要求1所述的基于条纹投影的实时三维面型缺陷检测方法，其特征在于，所述标准库包括n个视角下的标准件的完整点云集、n个视角下的标准件的2D纹理图、n个视角下的标准件的3D点云数据、以及n-1次点云拼接获得的旋转矩阵与平移矩阵。
5.根据权利要求1所述的基于条纹投影的实时三维面型缺陷检测方法，其特征在于，根据标准库数据完成三维面型缺陷的检测的具体方法为：
步骤3.1：将待测件放置于所搭建的三维成像系统的成像范围内，完成对标准件在第一个视角下的三维数据扫描；
步骤3.2：对待测件在第一个视角下的点云数据和标准件完整点云集进行点云配准；
步骤3.3：根据点云配准后的点云确定三维面型缺陷的度量值，完成第一个视角下的待测件点云数据的三维面型缺陷检测；
步骤3.4：旋转待测件到另一个视角，按照步骤3.1～3.3完成对待测件在所有视角下的三维面型缺陷检测。
6.根据权利要求5所述的基于条纹投影的实时三维面型缺陷检测方法，其特征在于，对待测件在第一个视角下的点云数据和标准件完整点云集进行点云配准的具体方法为：
步骤3.2.1：从标准库找到与第一个视角下的待测件的2D纹理图最相似的标准件2D纹理图；
步骤3.2.2：对待测件在第一个视角下的点云数据(x′1,y′1,z′1)与标准库中的标准件点云数据(xj,yj,zj)进行粗配准，获得(x′1,y′1,z′1)变换后的点云(x′1-c,y′1-c,z′1-c)；
步骤3.2.3：对(x′1-c,y′1-c,z′1-c)与标准库中的完整点云集(Xn-1,Yn-1,Zn-1)进行粗配准，获得(X′1-c,Y′1-c,Z′1-c)；
步骤3.2.4：对(X′1-c,Y′1-c,Z′1-c)与标准库中的(Xn-1,Yn-1,Zn-1)进行精配准，获得精配准后的点云(X′1-f,Y′1-f,Z′1-f)。
7.根据权利要求6所述的基于条纹投影的实时三维面型缺陷检测方法，其特征在于，对待测件在第一个视角下的点云数据(x′1,y′1,z′1)与标准库中的标准件点云数据(xj,yj,zj)进行粗配准，获得(x′1,y′1,z′1)变换后的点云(x′1-c,y′1c,z′1-c)的具体方法为：
利用SIFT算法寻找待测件在第一个视角下的2D纹理图I′1和标准库中的2D纹理图Ij间的2D匹配点；
利用SLAM实现(x′1,y′1,z′1)和(xj,yj,zj)间的粗配准，并获取粗配准的变换矩阵
Figure FDA0003810055820000031
和T1 c′；
对(x′1,y′1,z′1)进行点云变换获得点云(x′1-c,y′1-c,z′1-c)，变换公式为：
Figure FDA0003810055820000032
式中，
Figure FDA0003810055820000033
和T1 c′分别为待测件粗配准的旋转矩阵和平移矩阵。
CN202010275461.5A 2019-04-11 2020-04-09 一种基于条纹投影的实时三维面型缺陷检测方法 Active CN111353997B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910289951 2019-04-11
CN2019102899518 2019-04-11

Publications (2)

Publication Number Publication Date
CN111353997A CN111353997A (zh) 2020-06-30
CN111353997B true CN111353997B (zh) 2022-10-28

Family

ID=71196556

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010275461.5A Active CN111353997B (zh) 2019-04-11 2020-04-09 一种基于条纹投影的实时三维面型缺陷检测方法

Country Status (1)

Country Link
CN (1) CN111353997B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110243831B (zh) * 2019-06-06 2022-02-15 锐捷网络股份有限公司 表面缺陷采集系统、表面缺陷检测方法、装置及存储介质
CN112037178A (zh) * 2020-08-10 2020-12-04 泉州市澳莱格电子有限责任公司 一种基于多目相机的柱体二维图像生成方法
CN112488998B (zh) * 2020-11-19 2022-10-14 安徽农业大学 一种基于条纹投影的苹果果梗和花萼检测方法
CN113240636B (zh) * 2021-05-08 2022-06-21 苏州天准科技股份有限公司 表面waviness智能检测方法、系统、存储介质和终端设备
CN115791794A (zh) * 2022-11-22 2023-03-14 福耀玻璃工业集团股份有限公司 光学元件检测方法、系统和应用

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105866129A (zh) * 2016-05-16 2016-08-17 天津工业大学 一种基于数字投影的产品表面质量在线检测方法
CN107192717A (zh) * 2017-04-26 2017-09-22 深圳市计量质量检测研究院 一种物体近似平坦表面的三维缺陷检测方法及装置
CN109242828A (zh) * 2018-08-13 2019-01-18 浙江大学 基于光栅投影多步相移法的3d打印制品三维缺陷检测方法
CN109523501A (zh) * 2018-04-28 2019-03-26 江苏理工学院 一种基于降维和点云数据匹配的电池外观缺陷检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105866129A (zh) * 2016-05-16 2016-08-17 天津工业大学 一种基于数字投影的产品表面质量在线检测方法
CN107192717A (zh) * 2017-04-26 2017-09-22 深圳市计量质量检测研究院 一种物体近似平坦表面的三维缺陷检测方法及装置
CN109523501A (zh) * 2018-04-28 2019-03-26 江苏理工学院 一种基于降维和点云数据匹配的电池外观缺陷检测方法
CN109242828A (zh) * 2018-08-13 2019-01-18 浙江大学 基于光栅投影多步相移法的3d打印制品三维缺陷检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于PMP的钢轨三维面型复原及表面缺陷检测;段帆等;《信息技术》;20170525(第5期);第72-74,78页 *

Also Published As

Publication number Publication date
CN111353997A (zh) 2020-06-30

Similar Documents

Publication Publication Date Title
CN111353997B (zh) 一种基于条纹投影的实时三维面型缺陷检测方法
CN110288642B (zh) 基于相机阵列的三维物体快速重建方法
CA2961921C (en) Camera calibration method using a calibration target
CN110514143B (zh) 一种基于反射镜的条纹投影系统标定方法
Zhong et al. Enhanced phase measurement profilometry for industrial 3D inspection automation
KR101604037B1 (ko) 카메라와 레이저 스캔을 이용한 3차원 모델 생성 및 결함 분석 방법
CN104713885A (zh) 一种用于pcb板在线检测的结构光辅助双目测量方法
CN109242828A (zh) 基于光栅投影多步相移法的3d打印制品三维缺陷检测方法
RU2668404C2 (ru) Устройство для записи изображения в трехмерном масштабе, способ создания 3D-изображения и способ формирования устройства для записи изображения в трехмерном масштабе
Qian et al. High-resolution real-time 360∘ 3D surface defect inspection with fringe projection profilometry
CN107767456A (zh) 一种基于rgb‑d相机的物体三维重建方法
EP3382645B1 (en) Method for generation of a 3d model based on structure from motion and photometric stereo of 2d sparse images
CN109307483A (zh) 一种基于结构光系统几何约束的相位展开方法
Galantucci et al. Photogrammetry applied to small and micro scaled objects: a review
CN113393439A (zh) 一种基于深度学习的锻件缺陷检测方法
CN110702025A (zh) 一种光栅式双目立体视觉三维测量系统及方法
CN112815843A (zh) 一种3d打印过程中工件表面打印偏差的在线监测方法
Liu et al. Real-time 3D surface measurement in additive manufacturing using deep learning
Xiong et al. The development of optical fringe measurement system integrated with a CMM for products inspection
Lavecchia et al. The influence of software algorithms on photogrammetric micro-feature measurement’s uncertainty
Xiong et al. Automatic three-dimensional reconstruction based on four-view stereo vision using checkerboard pattern
CN116433841A (zh) 一种基于全局优化的实时模型重建方法
CN114877826B (zh) 一种双目立体匹配三维测量方法、系统及存储介质
Grifoni et al. 3D multi-modal point clouds data fusion for metrological analysis and restoration assessment of a panel painting
CN111947598B (zh) 基于平面反射镜的360°三维人头测量方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant