CN111397529A - 一种基于双目视觉结构光的复杂表面形状检测方法 - Google Patents

一种基于双目视觉结构光的复杂表面形状检测方法 Download PDF

Info

Publication number
CN111397529A
CN111397529A CN202010238668.5A CN202010238668A CN111397529A CN 111397529 A CN111397529 A CN 111397529A CN 202010238668 A CN202010238668 A CN 202010238668A CN 111397529 A CN111397529 A CN 111397529A
Authority
CN
China
Prior art keywords
image
light
structured light
ccd camera
structural
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010238668.5A
Other languages
English (en)
Inventor
徐琦
王浩
蔡仁树
邱浩波
叶凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Beskys Technology Co ltd
Original Assignee
Wuhan Beskys Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Beskys Technology Co ltd filed Critical Wuhan Beskys Technology Co ltd
Priority to CN202010238668.5A priority Critical patent/CN111397529A/zh
Publication of CN111397529A publication Critical patent/CN111397529A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/9515—Objects of complex shape, e.g. examined with use of a surface follower device

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明设计一种基于双目视觉结构光的复杂表面形状检测方法，用于检测复杂工件表面的台阶、凹槽等对象的形状特征，双目视觉结构光的图像采集系统包括：控制器、左、右CCD相机、结构光发生器，检测方法包括：系统标定、图像采集、算法处理、三维模型重建，系统中任一CCD相机在结构光的辅助下可实现三维重建；即当某个相机无法正常捕捉到结构光斑时，由另一个相机实现三维重建，可有效扩大双目系统对复杂工件表面的识别率，有效提高了检测精度。对于坡角小于直角的台阶，本方法可准确重建出真实的三维模型，无需使用插值等算法对未检测区域进行修正，扩宽了双目视觉检测的应用范围。

Description

一种基于双目视觉结构光的复杂表面形状检测方法
技术领域
本发明涉及一种基于双目视觉结构光的复杂表面形状检测方法，属焊接过程中的双目视觉三维重建与检测技术领域。
背景技术
在激光接焊技术领域中，金属材料的自动化熔化焊接时，容易出现焊接裂纹、台阶、凹槽等焊接缺陷，针对此问题，现有的单目或双目视觉系统可有效检测出这些不良的是否存在。但是当裂纹、台阶、凹槽的深度跳变过大或这些焊接缺陷的分布方位复杂多样时，受相机与被测物体倾角等因素的影响，现有的视觉系统存在无法正常捕捉特定位置图像的情况，因此往往出现裂纹的深度、台阶和凹槽的坡度等参数无法准确检出问题。若需要对这些参数做进一步检测和分析，在线及时的检测出焊接质量等问题时，传统的单目或双目视觉系统已无法满足要求。
中国发明专利“基于双目视觉的焊接熔池表面形状获取与传感系统”（201010566206.2）提出一种适用于弧焊过程焊接熔池表面形状检测的传感系统，通过该系统可提出熔池的表面形状，并用于焊接建模和智能控制；实用新型专利“基于立体视觉原理的焊接螺柱检测系统”（201820683462.1）公开了一种用于检测螺杆焊接位置和角度的系统；实用新型专利“铝合金自动焊双目视觉熔池监控传感器”（200920142300.8）所公开的，是一种在焊接过程中引导焊枪自动跟踪焊缝并监控熔池状态的传感器装置，以上三个专利的不足之处是：所公开的技术，均没有提出分析和判断焊接处裂纹的深度、台阶和凹槽的坡度等参数的方法以及解决方案。中国发明专利“一种焊接检测中基于双目线结构光的光条中心三维坐标获取方法”（CN201711327867）提出：使用双目线结构光的方式，结合单目线结构光三维测量原理，利用噪声与结构光条纹在图像映射到空间中的平面后位置不同的特点，通过图像处理有效的去除焊接中的大部分噪声，并得到其中心线，使得焊接视觉检测更为精确，但对于焊接过程中出现的部分台阶和凹槽，若某台相机无法正常捕捉结构光线时，则无法准确获取焊接台阶或凹槽的参数。
发明内容
本发明的目的是针对背景技术所述问题，设计一种基于双目视觉结构光的复杂表面形状检测方法，用于检测复杂工件表面的台阶、凹槽等对象的形状特征，双目视觉中的任一成像单元在结构光的辅助下可实现三维重建；即当某个相机无法正常捕捉到结构光斑时，由另一个相机实现三维重建，可有效扩大双目系统对复杂工件表面的识别率，有效提高了检测精度。对于坡角小于直角的台阶，本方法可准确重建出真实的三维模型，无需使用插值等算法对未检测区域进行修正，扩宽了双目视觉检测的应用范围。
本发明的技术方案是：一种基于双目视觉结构光的复杂表面形状检测方法，其特征在于：包括如下步骤：
步骤一：在XYZ三维空间坐标系下搭建双目视觉结构光的图像采集系统，所述图像采集系统包括：控制器、图像发射单元和图像采集单元；所述图像发射单元包括：沿Z轴方向布置的结构光发生器，所述图像采集单元包括：分布在所述结构光发生器两侧的左CCD相机和右CCD相机；所述左CCD相机和右CCD相机与结构光发生器的中轴线共XOZ平面，结构光使能后，结构光发生器发射与Z轴平行的结构光线；所述结构光线照射在工件表面，图像单元拍摄到的结构光线坐标随工件表面高度起伏变化；所述图像采集单元中的左CCD相机和右CCD相机可同时采集结构光线图像，并将采集到的图像经图像算法处理后可提取出结构光线轨迹，结构光线轨迹由若干个结构光点组成；结构光点在图像中的坐标关联工件的高度信息；
所述图像采集单元中的左、右CCD相机上均设置有工业镜头；所述控制器用于控制左CCD相机、右CCD相机、结构光发生器按设定程序工作，控制器还用于控制待检测工件沿X方向运动，由此实现整个工件的扫描并完成三维重建；
设定：左CCD相机采集的工件表面结构光线图像为图像A、右CCD相机采集的工件表面结构光线图像为图像B；
步骤二：标定图像采集系统，包括：相机标定和结构光标定；
所述相机标定用于获取相机的内外参数，所述结构光标定用于建立图像中的结构光点的坐标与Z轴深度关系，同时建立图像A和图像B的仿射变换矩阵；
标定后的图像采集系统中，图像采集单元中，任一左CCD相机和/或右CCD相机，在结构光的辅助下，均可通过控制器完成三维重建；
步骤三：当工件在图像采集单元的视场中沿X轴方向移动时，通过图像采集单元实时捕获工件表面结构光线图像，并预存在控制器中。
步骤四：使用公知的图像处理算法软件，对捕获的图像进行亚像素级处理，之后经二值化算法，提取结构光线轨迹，并根据图像A和图像B的仿射变换矩阵，计算变换后的结构光线轨迹；
再根据图像A和图像B中的结构光线轨迹上每个结构光点的灰度值，计算各结构光线轨迹的并集D；
设定：并集D中，结构光线轨迹上的结构光点P（Px,Py），进而定义：解析处理机制解析结构光点P（Px,Py）包含以下四种状态：
第一种（P1）：图像A中为1、图像B中为0，则通过图像A中的点实现结构光点坐标解析；
第二种（P2）：图像A中为0、图像B中为1，则通过图像B中的点实现结构光点坐标解析；
第三种（P3）：图像A和图像B中均为1，图像A和图像B中的点联合实现结构光点坐标解析，即通过求取坐标平均值来实现；
第四种（P4）：图像A和图像B中均为0，采用解析异常处理机制处理；
所述公知的图像处理算法软件包括：Canny一类的算法软件；
步骤五：控制器控制待检测工件沿X方向运动过程中，重复步骤三和步骤四，直至实现整个工件的扫描并完成三维重建。
进一步地，标定图像采集系统时，采用张正友标定法，实现左CCD相机和右CCD相机 的标定，并分别获取左CCD相机和右CCD相机的内外参数；定义：Z轴深度变量z，左、右CCD相 机视场中未放置任何物体时结构光点的X轴坐标为
Figure 235501DEST_PATH_IMAGE001
，放入深度为z的物体后结构光点的X 轴坐标为
Figure 964423DEST_PATH_IMAGE002
，则：
Figure 636712DEST_PATH_IMAGE003
（1）
式中，k为深度系数，标定结构光点的坐标与Z轴深度关系即标定k值，使用多片等厚的平板辅助完成；
定义：图像A中的像素点为(ax,ay)，图像B中的像素点为(bx,by)，分别经C1和C2仿射变换后得到图像D中的像素点为(dx,dy)，公式如下：
Figure 603531DEST_PATH_IMAGE004
（2）
即：
Figure 109599DEST_PATH_IMAGE005
（3）
且：
Figure 325817DEST_PATH_IMAGE006
（4）
即建立图像A和图像B的仿射变换矩阵；
执行三维重建时，在提取每帧图像A和图像B的结构光线轨迹后，分别经C1和C2仿射变换，得到图像D1和D2；
当受台阶、凹槽等因素影响，D1不一定与D2相等时，需按步骤四中的方式进行解析，具体分析如下：
当台阶、凹槽的方向与结构光线平行时，设定双目视觉可检测的立体深度值为H，结构光与两侧相机的夹角相等，定义为θ；
定义：台阶或凹槽的深度为d，凹槽的宽度为w，凹槽对应的结构光点解析异常的区域宽度为m；
设定：
Figure DEST_PATH_IMAGE007
当
Figure 549600DEST_PATH_IMAGE008
时，
Figure 370926DEST_PATH_IMAGE009
，此时凹槽中的结构光线全部被遮挡；
当
Figure 313474DEST_PATH_IMAGE010
时，
Figure 344884DEST_PATH_IMAGE011
，此时凹槽中的结构光线 部分被遮挡；
当
Figure 765501DEST_PATH_IMAGE012
时，
Figure 238070DEST_PATH_IMAGE013
，此时凹槽中的结构光线不会被遮挡；
即当
Figure 554782DEST_PATH_IMAGE014
时，因凹槽边缘遮挡，导致相机单元无法正常采集结构光线，进而导 致部分结构光点解析异常；
设置需检测的最小凹槽宽度为
Figure 480013DEST_PATH_IMAGE015
，需检测的最大深度为
Figure 48529DEST_PATH_IMAGE016
，则结构光与两侧相 机的夹角最大值
Figure 375605DEST_PATH_IMAGE017
计算公式为：
Figure 659956DEST_PATH_IMAGE018
（5）
根据公式（1）可知，当
Figure 541324DEST_PATH_IMAGE019
为一个单位时，夹角θ越小，则Z轴深度值越大，即Z轴深 度的重建精度越差，因此为了保证三维重建时Z轴的精度，θ的优选取值范围为：
Figure 303744DEST_PATH_IMAGE020
（6）
θ值在公式（6）之区间内，当图像A和图像B中结构光点均为0时，将临近结构光点中深度最小的点进行填充，作为解析异常处理机制；
更进一步地，当台阶、凹槽的方向与结构光垂直时，所述图像采集系统可直接拍摄完整的结构光线图片，准确重建出三维模型。
本发明的优点和有益效果是：
（1）本发明提出的图像采集单元中的任一成像单元在结构光的辅助下可实现三维重建，即当某个相机无法正常捕捉到结构光斑时，由另一个相机实现三维重建，可有效扩大双目系统对复杂工件表面的识别率，有效提高了检测精度。
（2）采用本发明提出的技术方案，对于坡角小于直角的台阶，本方法可准确重建出真实的三维模型，无需使用插值等算法对未检测区域进行修正，扩宽了双目视觉检测的应用范围。
附图说明
图1是复杂表面形状检测方法流程图；
图2是依据本发明“一种基于双目视觉结构光的复杂表面形状检测方法”进行台阶检测时的示意图；
图3是依据本发明“一种基于双目视觉结构光的复杂表面形状检测方法”进行凹槽检测示意图；
图4是结构光与Z轴深度几何关系示意图；
图5是结构光标定示意图；
图6是结构光解析示意图；
图7是三维重建时Z轴精度与θ角的关系示意图；
图8是焊接熔池的台阶示意图。
附图中的标记说明：
1—控制器，2—结构光生器，3—左CCD相机，4—右CCD相机，5—工件，6—焊接熔池。
具体实施方式
以下结合附图对本发明实施例作进一步说明，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制，凡在本发明的精神和原则之内所做的任何修改、等同替换或改进等，均应包含在本发明的权利要求范围之内，本技术方案中未详细述及的，均为公知技术。
参见图1至图8，本发明实施例中，一种基于双目视觉结构光的复杂表面形状检测方法，包括如下步骤：
步骤一：在XYZ三维空间坐标系下搭建双目视觉结构光的图像采集系统，所述图像采集系统包括：控制器1、图像发射单元和图像采集单元，所述图像发射单元包括：沿Z轴方向布置的结构光发生器2，所述图像采集单元包括：分布在所述结构光两侧的左CCD相机3和右CCD相机4；所述左CCD相机3和右CCD相机4与结构光发生器2的中轴线共XOZ平面，当结构光使能后，结构光发生器2发射与Z轴平行的结构光线；所述结构光线照射在工件5表面，图像采集系统拍摄到的结构光线坐标随工件5表面高度起伏变化；所述左CCD相机3和右CCD相机4可同时采集结构光线图像，将采集到的图像经图像算法处理后可提取出结构光线轨迹，结构光线轨迹由若干个结构光点组成。结构光点在图像中的坐标关联工件的高度信息。
所述左CCD相机3和右CCD相机4上均设置有工业镜头；所述控制器1用于控制左CCD相机3、右CCD相机4和结构光发生器2，控制器1还用于控制待检测的工件5沿X方向运动，由此实现整个工件5的扫描并完成三维重建；
设定：左CCD相机3采集的工件表面结构光线图像为图像A、右CCD相机4采集的工件表面结构光线图像为图像B；
步骤二：标定图像采集系统，包括：相机标定和结构光标定；
所述相机标定用于获取相机的内外参数，所述结构光标定用于建立图像中的结构光点的坐标与Z轴深度关系，同时建立图像A和图像B的仿射变换矩阵；
标定后的图像采集系统中，图像采集单元中，任一左CCD相机3和/或右CCD相机4，在结构光的辅助下，均可通过控制器1完成三维重建；
步骤三：当工件在图像采集单元的视场中沿X轴方向移动时，通过图像采集单元实时捕获工件表面结构光线图像，预存在控制器中。
步骤四：使用公知的图像处理算法软件，对捕获的图像进行亚像素级处理，之后经二值化算法，提取结构光线轨迹，并根据图像A和图像B的仿射变换矩阵，计算变换后的结构光线轨迹；
再根据图像A和图像B中的结构光线轨迹上每个结构光点的灰度值，计算各结构光线轨迹的并集D；
设定：并集D中，结构光线轨迹上的结构光点P（Px,Py），进而定义：解析处理机制解析结构光点P（Px,Py）包含以下四种状态：
第一种（P1）：图像A中为1、图像B中为0，则通过图像A中的点实现结构光点坐标解析；
第二种（P2）：图像A中为0、图像B中为1，则通过图像B中的点实现结构光点坐标解析；
第三种（P3）：图像A和图像B中均为1，图像A和图像B中的点联合实现结构光点坐标解析，即通过求取坐标平均值来实现；
第四种（P4）：图像A和图像B中均为0，采用解析异常处理机制处理；
所述公知的图像处理算法软件包括：Canny一类的算法软件；
步骤五：控制器1控制待检测工件5沿X方向运动过程中，重复步骤三和步骤四，直至实现整个工件的扫描并完成三维重建。
参见图4，本发明实施例中，标定图像采集系统时，采用张正友标定法，实现左CCD 相机3和右CCD相机4的标定，并分别获取左CCD相机3和右CCD相机4的内外参数；定义Z轴深 度变量z，相机视场中未放置任何物体时结构光点的X轴坐标为
Figure 485326DEST_PATH_IMAGE001
，放入深度为z的物体后结 构光点的X轴坐标为
Figure 534054DEST_PATH_IMAGE002
，则：
Figure 902718DEST_PATH_IMAGE003
（1）
式中，k为深度系数。标定结构光点的坐标与Z轴深度关系即标定k值，使用多片等厚的平板辅助完成；本发明实施例中所用的平板厚度为1mm，采用0-5片平板工标定六组数据，将六组数据进行拟合得到k值。
参见图5和图6，定义：图像A中的像素点为(ax,ay)，图像B中的像素点为(bx,by)，分别经C1和C2仿射变换后得到图像D中的像素点为(dx,dy)，公式如下：
Figure 468829DEST_PATH_IMAGE004
（2）
即：
Figure 504918DEST_PATH_IMAGE005
（3）
且：
Figure 475279DEST_PATH_IMAGE006
（4）
即建立图像A和图像B的仿射变换矩阵；
执行三维重建时，在提取每帧图像A和图像B的结构光线轨迹后，分别经C1和C2仿射变换，得到图像D1和D2；
当受台阶、凹槽等因素影响，D1不一定与D2相等时，需按步骤四中的方式进行解析，具体分析如下：
参见图2、3、8，当台阶、凹槽的方向与结构光线平行时，设定双目视觉可检测的立体深度值为H，结构光与两侧相机的夹角相等，定义为θ；
定义：台阶或凹槽的深度为d，凹槽的宽度为w，凹槽对应的结构光点解析异常的区域宽度为m；
设定：
Figure 862398DEST_PATH_IMAGE021
当
Figure 966620DEST_PATH_IMAGE008
时，
Figure 591637DEST_PATH_IMAGE009
，此时凹槽中的结构光线全部被遮挡；
当
Figure 388691DEST_PATH_IMAGE010
时，
Figure 591003DEST_PATH_IMAGE011
，此时凹槽中的结构光线 部分被遮挡；
当
Figure 764495DEST_PATH_IMAGE012
时，
Figure 244018DEST_PATH_IMAGE013
，此时凹槽中的结构光线不会被遮挡；
即当
Figure 211974DEST_PATH_IMAGE014
时，因凹槽边缘遮挡，导致相机单元无法正常采集结构光线，进而导 致部分结构光点解析异常；
设置需检测的最小凹槽宽度为
Figure 308106DEST_PATH_IMAGE015
，需检测的最大深度为
Figure 98338DEST_PATH_IMAGE016
，则结构光与两侧相 机的夹角最大值
Figure 229105DEST_PATH_IMAGE017
计算公式为：
Figure 367963DEST_PATH_IMAGE018
（5）
参见图7，根据公式（1）可知，当
Figure 420232DEST_PATH_IMAGE019
为一个单位时，夹角θ越小，则Z轴深度值越大， 即Z轴深度的重建精度越差，因此为了保证三维重建时Z轴的精度，θ的优选取值范围为：
Figure 669948DEST_PATH_IMAGE020
（6）
θ值在公式（6）之区间内，当图像A和图像B中结构光点均为0时，将临近结构光点中深度最小的点进行填充，作为解析异常处理机制；
当台阶、凹槽的方向与结构光垂直时，所述图像采集系统可直接拍摄完整的结构光线图片，准确重建出三维模型。
参见图8，本实施例中，待检测的焊接熔池中存在台阶和凹槽的情况，设定需检测 的最小凹槽宽度与需检测的最大深度相等，即
Figure 248697DEST_PATH_IMAGE022
，则θ的优选取 值范围为：
Figure 558456DEST_PATH_IMAGE023
选取θ值为30°。对于所有台阶，始终有一个图像采集单元可采集到结构光线，正常解析结构光点得到三维模型，进而得到台阶高度。对于凹槽，因：
Figure 629180DEST_PATH_IMAGE024
存在以下情况：
当
Figure 151428DEST_PATH_IMAGE025
时，不在检测范围内，可忽略；
当
Figure 991208DEST_PATH_IMAGE026
且
Figure 471868DEST_PATH_IMAGE027
时结构光线不会被遮挡,可正常解析结构光点；
当
Figure 105587DEST_PATH_IMAGE026
且
Figure 962685DEST_PATH_IMAGE028
时，对于凹槽中的结构光线部分被遮挡的情况，且：
Figure 656971DEST_PATH_IMAGE029
此时，凹槽的15.5%区域无法正常解析，通过将临近结构光点中深度最小的点进行填充，对焊点不良的误判影响可忽略不计，即按解析处理机制解析结构光点。
本发明提出的图像采集单元中的任一成像单元在结构光的辅助下可实现三维重建，即当某个相机无法正常捕捉到结构光斑时，由另一个相机实现三维重建，可有效扩大双目系统对复杂工件表面的识别率，有效提高了检测精度。
采用本发明提出的技术方案，对于坡角小于直角的台阶，本方法可准确重建出真实的三维模型，无需使用插值等算法对未检测区域进行修正，扩宽了双目视觉检测的应用范围。

Claims (4)

1.一种基于双目视觉结构光的复杂表面形状检测方法，包括：在XYZ三维空间坐标系下搭建双目视觉结构光的图像采集系统，基于所述图像采集系统的复杂表面形状检测方法；所述图像采集系统包括：控制器、图像发射单元和图像采集单元；所述图像发射单元包括：沿Z轴方向布置的结构光发生器，所述图像采集单元包括：分布在所述结构光发生器两侧的左CCD相机和右CCD相机；所述左CCD相机和右CCD相机与结构光发生器的中轴线共XOZ平面，结构光使能后，结构光发生器发射与Z轴平行的结构光线；所述结构光线照射在工件表面，图像单元拍摄到的结构光线坐标随工件表面高度起伏变化；所述图像采集单元中的左CCD相机和右CCD相机可同时采集结构光线图像，并将采集到的图像经图像算法处理后可提取出结构光线轨迹，结构光线轨迹由若干个结构光点组成；结构光点在图像中的坐标关联工件的高度信息；
所述图像采集单元中的左、右CCD相机上均设置有工业镜头；所述控制器用于控制左CCD相机、右CCD相机、结构光发生器按设定程序工作，控制器还用于控制待检测工件沿X方向运动，由此实现整个工件的扫描并完成三维重建；
设定：左CCD相机采集的工件表面结构光线图像为图像A、右CCD相机采集的工件表面结构光线图像为图像B；
其特征在于：基于所述图像采集系统的复杂表面形状检测方法，包括如下步骤：
步骤一：标定图像采集系统，包括：相机标定和结构光标定；
所述相机标定用于获取相机的内外参数，所述结构光标定用于建立图像中的结构光点的坐标与Z轴深度关系，同时建立图像A和图像B的仿射变换矩阵；
标定后的图像采集系统中，图像采集单元中，任一左CCD相机和/或右CCD相机，在结构光的辅助下，均可通过控制器完成三维重建；
步骤二：当工件在图像采集单元的视场中沿X轴方向移动时，通过图像采集单元实时捕获工件表面结构光线图像，并预存在控制器中；
步骤三：使用公知的图像处理算法软件，对捕获的图像进行亚像素级处理，之后经二值化算法，提取结构光线轨迹，并根据图像A和图像B的仿射变换矩阵，计算变换后的结构光线轨迹；
再根据图像A和图像B中的结构光线轨迹上每个结构光点的灰度值，计算各结构光线轨迹的并集D；
所述公知的图像处理算法软件包括：Canny一类的算法软件；
步骤四：控制器控制待检测工件沿X方向运动过程中，重复步骤三和步骤四，直至实现整个工件的扫描并完成三维重建。
2.如权利要求1所述一种基于双目视觉结构光的复杂表面形状检测方法，其特征在于：所述步骤三中，设定：并集D中，结构光线轨迹上的结构光点P（Px,Py），进而定义：解析处理机制解析结构光点P（Px,Py）包含以下四种状态：
第一种（P1）：图像A中为1、图像B中为0，则通过图像A中的点实现结构光点坐标解析；
第二种（P2）：图像A中为0、图像B中为1，则通过图像B中的点实现结构光点坐标解析；
第三种（P3）：图像A和图像B中均为1，图像A和图像B中的点联合实现结构光点坐标解析，即通过求取坐标平均值来实现；
第四种（P4）：图像A和图像B中均为0，采用解析异常处理机制处理。
3.如权利要求1所述一种基于双目视觉结构光的复杂表面形状检测方法，其特征在于： 所述步骤一中，标定图像采集系统时，采用张正友标定法，实现左CCD相机和右CCD相机的标 定，并分别获取左CCD相机和右CCD相机的内外参数；定义：Z轴深度变量z，左、右CCD相机视 场中未放置任何物体时结构光点的X轴坐标为
Figure 63064DEST_PATH_IMAGE001
，放入深度为z的物体后结构光点的X轴坐 标为
Figure 108381DEST_PATH_IMAGE002
，则：
Figure 972431DEST_PATH_IMAGE003
（1）
式中，k为深度系数，标定结构光点的坐标与Z轴深度关系即标定k值，使用多片等厚的平板辅助完成；
定义：图像A中的像素点为(ax,ay)，图像B中的像素点为(bx,by)，分别经C1和C2仿射变换后得到图像D中的像素点为(dx,dy)，公式如下：
Figure 521224DEST_PATH_IMAGE004
（2）
即：
Figure 953474DEST_PATH_IMAGE005
（3）
且：
Figure 220507DEST_PATH_IMAGE006
（4）
即建立图像A和图像B的仿射变换矩阵；
执行三维重建时，在提取每帧图像A和图像B的结构光线轨迹后，分别经C1和C2仿射变换，得到图像D1和D2；
当受检测工件的台阶、凹槽因素影响，D1不一定与D2相等时，需按步骤三中的方式进行解析，具体分析如下：
当待检测工件的台阶、凹槽的方向与结构光线平行时，设定双目视觉可检测的立体深度值为H，结构光与两侧相机的夹角相等，定义为θ；
定义：台阶或凹槽的深度为d，凹槽的宽度为w，凹槽对应的结构光点解析异常的区域宽度为m；
设定：
Figure 622670DEST_PATH_IMAGE007
当
Figure 291548DEST_PATH_IMAGE008
时，
Figure 550491DEST_PATH_IMAGE009
，此时凹槽中的结构光线全部被遮挡；
当
Figure 632717DEST_PATH_IMAGE010
时，
Figure 635308DEST_PATH_IMAGE011
，此时凹槽中的结构光线 部分被遮挡；
当
Figure 627535DEST_PATH_IMAGE012
时，
Figure 791800DEST_PATH_IMAGE013
，此时凹槽中的结构光线不会被遮挡；
即当
Figure 33425DEST_PATH_IMAGE014
时，因凹槽边缘遮挡，导致图像采集单元中的CCD相机无法正常采集 结构光线，进而导致部分结构光点解析异常；
设置需检测的最小凹槽宽度为
Figure 918336DEST_PATH_IMAGE015
，需检测的最大深度为
Figure 296228DEST_PATH_IMAGE016
，则结构光与两侧相 机的夹角最大值
Figure 365815DEST_PATH_IMAGE017
计算公式为：
Figure 829157DEST_PATH_IMAGE018
（5）
设定：θ的取值范围为：
Figure 173551DEST_PATH_IMAGE019
（6）
θ值在公式（6）之区间内，当图像A和图像B中结构光点均为0时，将临近结构光点中深度最小的点进行填充，作为解析异常处理机制。
4.如权利要求1所述一种基于双目视觉结构光的复杂表面形状检测方法，其特征在于：当待检测工件的台阶、凹槽的方向与结构光垂直时，所述图像采集系统可直接拍摄完整的结构光线图片，准确重建出三维模型。
CN202010238668.5A 2020-03-30 2020-03-30 一种基于双目视觉结构光的复杂表面形状检测方法 Pending CN111397529A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010238668.5A CN111397529A (zh) 2020-03-30 2020-03-30 一种基于双目视觉结构光的复杂表面形状检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010238668.5A CN111397529A (zh) 2020-03-30 2020-03-30 一种基于双目视觉结构光的复杂表面形状检测方法

Publications (1)

Publication Number Publication Date
CN111397529A true CN111397529A (zh) 2020-07-10

Family

ID=71429221

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010238668.5A Pending CN111397529A (zh) 2020-03-30 2020-03-30 一种基于双目视觉结构光的复杂表面形状检测方法

Country Status (1)

Country Link
CN (1) CN111397529A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112683190A (zh) * 2020-10-27 2021-04-20 广东奥普特科技股份有限公司 一种透明体内置物深度检测方法及其检测系统
CN113763562A (zh) * 2021-08-31 2021-12-07 哈尔滨工业大学（威海） 基于双目视觉的立面特征检测及立面特征处理方法
CN114113008A (zh) * 2021-10-22 2022-03-01 清华大学深圳国际研究生院 一种基于结构光的人工触觉设备和方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106959080A (zh) * 2017-04-10 2017-07-18 上海交通大学 一种大型复杂曲面构件三维形貌光学测量系统和方法
CN107907048A (zh) * 2017-06-30 2018-04-13 长沙湘计海盾科技有限公司 一种基于线结构光扫描的双目立体视觉三维测量方法
CN108088390A (zh) * 2017-12-13 2018-05-29 浙江工业大学 一种焊接检测中基于双目线结构光的光条中心三维坐标获取方法
CN109974623A (zh) * 2018-09-13 2019-07-05 北京伟景智能科技有限公司 基于线激光和双目视觉的三维信息获取方法和装置
CN110230998A (zh) * 2019-06-24 2019-09-13 深度计算(长沙)信息技术有限公司 一种基于线激光和双目相机的快速精密三维测量方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106959080A (zh) * 2017-04-10 2017-07-18 上海交通大学 一种大型复杂曲面构件三维形貌光学测量系统和方法
CN107907048A (zh) * 2017-06-30 2018-04-13 长沙湘计海盾科技有限公司 一种基于线结构光扫描的双目立体视觉三维测量方法
CN108088390A (zh) * 2017-12-13 2018-05-29 浙江工业大学 一种焊接检测中基于双目线结构光的光条中心三维坐标获取方法
CN109974623A (zh) * 2018-09-13 2019-07-05 北京伟景智能科技有限公司 基于线激光和双目视觉的三维信息获取方法和装置
CN110230998A (zh) * 2019-06-24 2019-09-13 深度计算(长沙)信息技术有限公司 一种基于线激光和双目相机的快速精密三维测量方法和装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
张佰春: "条纹投影三维测量的若干关键技术的研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
翟新涛: "基于双目线结构光的大型工件测量", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112683190A (zh) * 2020-10-27 2021-04-20 广东奥普特科技股份有限公司 一种透明体内置物深度检测方法及其检测系统
CN113763562A (zh) * 2021-08-31 2021-12-07 哈尔滨工业大学（威海） 基于双目视觉的立面特征检测及立面特征处理方法
CN113763562B (zh) * 2021-08-31 2023-08-29 哈尔滨工业大学（威海） 基于双目视觉的立面特征检测及立面特征处理方法
CN114113008A (zh) * 2021-10-22 2022-03-01 清华大学深圳国际研究生院 一种基于结构光的人工触觉设备和方法
CN114113008B (zh) * 2021-10-22 2023-12-22 清华大学深圳国际研究生院 一种基于结构光的人工触觉设备和方法

Similar Documents

Publication Publication Date Title
CN106338521B (zh) 增材制造表面及内部缺陷与形貌复合检测方法及装置
KR102056076B1 (ko) 용접비드 비전 검사 장치 및 용접 불량 검사방법
CN111397529A (zh) 一种基于双目视觉结构光的复杂表面形状检测方法
Gu et al. Autonomous seam acquisition and tracking system for multi-pass welding based on vision sensor
CN102699534B (zh) 基于扫描式激光视觉传感的厚板窄间隙深坡口激光自动化多层焊焊接方法
CN108335286B (zh) 一种基于双线结构光的在线焊缝成型视觉检测方法
EP1555507A1 (en) Three-dimensional visual sensor
CN103983203B (zh) 一种激光熔覆熔池离焦量测量装置及其测量方法
Guo et al. Weld deviation detection based on wide dynamic range vision sensor in MAG welding process
CN114140439B (zh) 基于深度学习的激光焊接焊缝特征点识别方法及装置
CN112629441A (zh) 基于线结构光动态视觉的3d曲面玻璃轮廓扫描检测方法及系统
KR100695945B1 (ko) 용접선 위치 추적 시스템 및 그 위치 추적 방법
CN112365439B (zh) 一种镀锌钢gmaw焊缝成形特征与焊枪方向同步实时检测方法
CN114088738B (zh) 一种环状焊缝的高精度缺陷检测方法和装置
JP7353757B2 (ja) アーチファクトを測定するための方法
Zhang et al. Seam sensing of multi-layer and multi-pass welding based on grid structured laser
JP2013213733A (ja) 検査対象物の検査装置およびその検査方法
CN113504239A (zh) 一种品质管控数据分析方法
CN116772723A (zh) 一种基于结构光成像的焊缝质量检测方法
CN112894133B (zh) 一种激光焊接系统和焊点位置提取方法
CN109636859A (zh) 一种基于单相机的三维视觉检测的标定方法
JP2004239791A (ja) ズームによる位置計測方法
WO2021238095A1 (zh) 一种合金分析系统及其复检方法
CN116393982B (zh) 一种基于机器视觉的螺丝锁付方法及装置
CN109741311B (zh) 带伪边缘的铝合金熔焊背面熔宽检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200710

WD01 Invention patent application deemed withdrawn after publication