CN117788702A - 一种基于结构光技术的机械零配件3d重建方法及系统 - Google Patents
一种基于结构光技术的机械零配件3d重建方法及系统 Download PDFInfo
- Publication number
- CN117788702A CN117788702A CN202311800386.XA CN202311800386A CN117788702A CN 117788702 A CN117788702 A CN 117788702A CN 202311800386 A CN202311800386 A CN 202311800386A CN 117788702 A CN117788702 A CN 117788702A
- Authority
- CN
- China
- Prior art keywords
- projector
- camera
- image
- gray code
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 70
- 238000005516 engineering process Methods 0.000 title claims abstract description 30
- 238000010586 diagram Methods 0.000 claims abstract description 41
- 238000010587 phase diagram Methods 0.000 claims abstract description 34
- 239000011159 matrix material Substances 0.000 claims abstract description 29
- 230000010363 phase shift Effects 0.000 claims abstract description 21
- 230000009466 transformation Effects 0.000 claims abstract description 20
- 238000001514 detection method Methods 0.000 claims abstract description 14
- 238000004590 computer program Methods 0.000 claims description 15
- 238000003860 storage Methods 0.000 claims description 12
- 238000004422 calculation algorithm Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 8
- 230000007547 defect Effects 0.000 abstract description 20
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 239000012491 analyte Substances 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000000644 propagated effect Effects 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000005502 phase rule Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Landscapes
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明提供一种基于结构光技术的机械零配件3D重建方法及系统，涉及机械零配件3D重建技术领域，所述方法包括：基于格雷码图像对相机和投影仪进行联合标定，以获取相机和投影仪的内、外参矩阵以及畸变系数；采用结合格雷码图像的四步相移法对待测物进行绝对相位求解，以获取待测物的绝对相位图；结合相机和投影仪的内、外参矩阵对待测物的绝对相位图进行矩阵变换，以绘制待测物的3D点云图。本发明通过结合格雷码、四步相移法等技术对待测物进行3D建模，为后续3D缺陷检测奠定基础，解决了由于2D图像中无法呈现凹陷、凸起等关联高度的缺陷特征，导致的ADC系统模型无法检出相应缺陷的问题。
Description
技术领域
本发明涉及机械零配件3D重建技术领域，具体而言，涉及了一种基于结构光技术的机械零配件3D重建方法及系统。
背景技术
机械零配件在生产制造的各工艺阶段中会产生各种各样的缺陷。目前，很多机械零配件生产厂商已经引入了AOI(Automatic Optical Inspection，自动光学检测)系统、ADC(Automatic Defect Classification，自动缺陷分类)系统等智能化缺陷检测系统来替代人力进行零配件缺陷检测，并在实际生产活动中取得了良好的效果。
ADC系统主要采用深度学习的方式进行缺陷检测，主要是基于2D缺陷图像来进行建模。但实际产线中待测件是三维物体，拍摄的2D图像缺乏其高度信息，导致2D图像中无法呈现凹坑、凸起等关联高度的缺陷特征，所以ADC系统模型也无法检出相应的缺陷。
发明内容
本发明实施例提供了一种基于结构光技术的机械零配件3D重建方法及系统，解决由于2D图像中无法呈现凹陷、凸起等关联高度的缺陷特征，导致的ADC系统模型无法检出相应缺陷的问题。
在第一方面，本发明实施例中提供一种基于结构光技术的机械零配件3D重建方法，所述方法包括以下步骤：
基于格雷码图像对相机和投影仪进行联合标定，以获取相机和投影仪的内、外参矩阵以及畸变系数；
采用结合格雷码图像的四步相移法对待测物进行绝对相位求解，以获取待测物的绝对相位图；
结合相机和投影仪的内、外参矩阵对待测物的绝对相位图进行矩阵变换，以绘制待测物的3D点云图，并且结合相机和投影仪的畸变系数对待测物的3D点云图进行修正。
于上述实施例中，本发明首先分别生成并投射水平和竖直的正、反格雷码到棋盘格标定板，变换位置采集四组不同投影图像，利用张正友标定法对相机和投影仪进行联合标定，解决了相机2D标定方案无法标定投影仪的问题；然后分别生成并投射竖直的格雷码和四步余弦光栅图至待测物体，采集相应的投影图像，利用四步相移法求解图像中每点的相位并展开，以得到图像的绝对相位图，解决了经典空间相位展开算法中误差逐点累积和被测物体表面不连续导致相位展开错误的问题；最后结合相机、投影仪的内、外参矩阵和图像的绝对相位图，通过矩阵变换计算得到图像中每点像素坐标对应的三维空间坐标，以得到待测物体3D点云图，解决了2D图像无法呈现部分缺陷特征信息的问题，为后续3D缺陷检测奠定了基础。
作为本申请一些可选实施方式，基于格雷码图像对相机和投影仪进行联合标定，以获取相机和投影仪的内、外参矩阵以及畸变系数的流程如下：
将棋盘格标定板放置于相机和投影仪的视场范围内，并且生成格雷码图像；
记录不同位置下棋盘格标定板各角点的三维空间坐标，通过投影仪将格雷码图像、全白图像以及全黑图像投影至不同位置下的棋盘格标定板，并且通过相机对不同位置下的棋盘格标定板进行图像采集，以得到多组棋盘格图像；
针对每组棋盘格图像，在全白图像投影的棋盘格图像中使用角点检测算法对棋盘格图像中棋盘格标定板各角点进行检测，以得到各角点的相机图像坐标；
针对每组棋盘格图像，对格雷码图像投影的棋盘格图像中棋盘格标定板各角点进行局部单应性矩阵变换，以得到各角点的投影仪图像坐标；
基于多组不同位置下各角点的三维空间坐标、相机图像坐标以及投影仪图像坐标，采用张正友标定法分别对相机和投影仪进行标定，以获得相机和投影仪的内、外参矩阵以及畸变系数。
于上述实施例中，本发明基于在图像投影的基础上采用张正友标定法实现对相机、投影仪的联合标定，解决了相机2D标定方案无法标定投影仪的问题。
作为本申请一些可选实施方式，基于格雷码图像对相机和投影仪进行联合标定时生成的格雷码图像包括水平和竖直的正、反格雷码图像。
于上述实施例中，通过格雷码图像的投影能够结合格雷码图像的规律性对相机、投影仪进行联合标定，提高标定精准度。
作为本申请一些可选实施方式，采用结合格雷码图像的四步相移法对待测物进行绝对相位求解，以获取待测物的绝对相位图的流程如下：
生成格雷码图像和四步余弦光栅图像；
保持相机和投影仪联合标定结束时棋盘格标定板的位置不变，并且将待测物放置于棋盘格标定板表面；
通过投影仪将格雷码图像和四步余弦光栅图像分别投影至待测物，并且通过相机对棋盘格标定板进行图像采集，以得到多幅相机拍摄的格雷码图像以及多幅相机拍摄的四步余弦光栅图像；
针对多幅相机拍摄的四步余弦光栅图像，采用四步相移法对待测物进行相对相位求解，以得到待测物的相对相位图；
针对多幅相机拍摄的格雷码图像，利用二值化处理的格雷码图像确定相对相位图中待测物每点相位所在的余弦光栅周期，并且通过余弦光栅周期还原得到待测物的绝对相位图。
于上述实施例中，本发明采用结合格雷码、余弦光栅的规律性以及相位可解释性对待测物的相对相位和绝对相位进行求解，即采用结构光技术实现了3D重建。
作为本申请一些可选实施方式，采用结合格雷码图像的四步相移法对待测物进行绝对相位求解时生成的格雷码图像包括竖直的格雷码图像。
于上述实施例中，竖直的格雷码图像和四步余弦光栅图像的图像规律相似，因此可以根据两者的相位规律，实现待测物相位的求解。
作为本申请一些可选实施方式，结合相机和投影仪的内、外参矩阵对待测物的绝对相位图进行矩阵变换，以绘制待测物的3D点云图，并且结合相机和投影仪的畸变系数对待测物的3D点云图进行修正的流程如下：
针对待测物的绝对相位图，基于相位不变假设和余弦光栅周期计算绝对相位图中待测物每点在投影仪图像中对应的像素坐标；
基于相位图中待测物每点在投影仪图像中对应的像素坐标，并且结合相机和投影仪的内、外参矩阵，采用矩形变换计算相机图像中每点对应的三维空间坐标；
基于三维坐标绘制待测物的3D点云图，并且结合相机和投影仪的畸变系数对待测物的3D点云图进行修正。
于上述实施例中，本发明在相对相位图的基础上结合余弦光栅的相位假设以及结合相机和投影仪的内、外参矩阵，采用矩形变换计算，实现了绝对相位图的求解。
作为本申请一些可选实施方式，所述待测物为机械零配件。
在第二方面，本发明提供一种基于结构光技术的机械零配件3D重建系统，所述系统包括：
联合标定单元，所述联合标定单元基于格雷码图像对相机和投影仪进行联合标定，以获取相机和投影仪的内、外参矩阵以及畸变系数；
绝对相位求解单元，所述绝对相位求解单元采用结合格雷码图像的四步相移法对待测物进行绝对相位求解，以获取待测物的绝对相位图；
3D重建单元，所述3D重建单元结合相机和投影仪的内、外参矩阵对待测物的绝对相位图进行矩阵变换，以绘制待测物的3D点云图，并且结合相机和投影仪的畸变系数对待测物的3D点云图进行修正。
在第三方面，本发明提供一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述一种基于结构光技术的机械零配件3D重建方法。
在第四方面，本发明提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现所述一种基于结构光技术的机械零配件3D重建方法。
本发明的有益效果如下：本发明通过结合格雷码、四步相移法等技术对待测物进行3D建模，为后续3D缺陷检测奠定基础，解决了由于2D图像中无法呈现凹陷、凸起等关联高度的缺陷特征，导致的ADC系统模型无法检出相应缺陷的问题。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1是基于结构光技术的机械零配件3D重建方法的流程图；
图2是22张11位竖直正、反格雷码图像的示意图；
图3是24张11位水正、反格雷码图像、全白格雷码图像以及全黑格雷码图像的示意图；
图4是22张投射竖直格雷码图像至棋盘格标定板后相机采集图像的示意图；
图5是24张投射水平格雷码图像、全白图像、全黑图像至棋盘格标定板后相机采集图像的示意图；
图6是全白图像投影的棋盘格图像中棋盘格标定板各角点检测结果图的示意图；
图7是从相机图像角点领域到投影仪图像角点领域的局部单应性变换的示意图；
图8是5张格雷码图像的示意图；
图9是4张四步余弦光栅图像的示意图；
图10是5张投影格雷码图像到待测物时相机采集图像的示意图；
图11是4张投影四步余弦光栅图像到待测物时相机采集图像的示意图；
图12是待测物的相对相位图的示意图；
图13是待测物的绝对相位图的示意图；
图14是待测物的3D点云图的示意图；
图15是基于结构光技术的机械零配件3D重建系统的结构框图。
具体实施方式
为了更好的理解上述技术方案，下面通过附图以及具体实施例对本发明技术方案做详细的说明，应当理解本发明实施例以及实施例中的具体特征是对本发明技术方案的详细的说明，而不是对本发明技术方案的限定，在不冲突的情况下，本发明实施例以及实施例中的技术特征可以相互组合。
同样应当理解的是，为了简化本发明揭示的表述，从而帮助对至少一个发明实施例的理解，前文对本发明实施例的描述中，有时会将多种特征归并至一个实施例、附图或对其的描述中。但是，这种披露方法并不意味着本发明对象所需要的特征比权利要求中提及的特征多。实际上，实施例的特征要少于上述披露的单个实施例的全部特征。
实施例1
本发明提供一种基于结构光技术的机械零配件3D重建方法，所述方法包括：
(1)基于格雷码图像对相机和投影仪进行联合标定，以获取相机和投影仪的内、外参矩阵以及畸变系数。
于本发明实施例中，基于格雷码图像对相机和投影仪进行联合标定的流程如下：
(1.1)将棋盘格标定板放置于相机和投影仪的视场范围内，并且生成格雷码图像。具体的，相机和投影仪的分辨率需要根据实际情况进行选择，包括但不限于将相机的分辨率选定为3000*4096，投影仪的分辨率选定为1080*1920。棋盘格标定板的尺寸也需要根据待测物的实际情况进行选择，针对小型的待测量，例如待测物为螺钉，则棋盘格标定板的尺寸包括但不限于选定为100*100mm，格子设置为5*5mm。
于本发明实施例中，所述格雷码图像包括竖直和水平正、反格雷码图像；优选的，所述格雷码图像包括11位竖直和水平正、反格雷码图像、全白图像、全黑图像，共计46张；请参阅图2和图3，图2为22张11位竖直正、反格雷码图像的示意图，图3为24张11位水平正、反格雷码图像、全白图像以及全黑图像的示意图。
(1.2)记录不同位置下棋盘格标定板各角点的三维空间坐标，通过投影仪将格雷码图像、全白图像以及全黑图像投影至不同位置下的棋盘格标定板，并且通过相机对不同位置下的棋盘格标定板进行图像采集，以得到多组棋盘格图像。
于本发明实施例中，所述棋盘格标定板的位置变换次数包括但不限于三次，即需要记录四种不同位置下棋盘格标定板各角点的三维空间坐标，并且通过投影仪将竖直正、反格雷码图像(共计22张)、水平正、反格雷码图像(共计22张)、全白图像、全黑图像投影至四种不同位置下的棋盘格标定板，通过相机进行图像的采集，以得到四组相机采集的棋盘格图像，每组相机采集的棋盘格图像共计46张，即相机采集的图像与生成的图像一一对应，请参阅图4和图5，图4为22张投射竖直的正、反格雷码图像至棋盘格标定板后相机采集图像，图5为24张投射水平的正、反格雷码图像、全白图像、全黑图像至棋盘格标定板后相机采集图像。
(1.3)针对每组棋盘格图像，在全白图像投影的棋盘格图像中使用角点检测算法对棋盘格图像中棋盘格标定板各角点进行检测，以得到各角点的相机图像坐标，请参阅图6，图6为全白图像投影的棋盘格图像中棋盘格标定板各角点检测结果图。
于本发明实施例中，角点检测算法的思想是使用一个固定窗口在图像上进行任意方向上的滑动，比较滑动前后窗口区域的像素值变化，如果在任意方向都存在较大的像素值变化，则可以认为该窗口中存在角点，并且根据像素值变化获取角点的坐标，以得到角点的相机图像坐标。
(1.4)针对每组棋盘格图像，对格雷码图像投影的棋盘格图像中棋盘格标定板各角点进行局部单应性矩阵变换，以得到各角点的投影仪图像坐标。
于本发明实施例中，对格雷码图像投影的棋盘格图像中棋盘格标定板各角点进行局部单应性矩阵变换的流程如下：
(1.41)基于全黑图像投影的棋盘格图像采用直接光-间接光分解法对格雷码图像投影的棋盘格图像光路补偿，以分离成像时的间接光影响。其中，直接光就是通过投影仪的光源出发，直接照射到拍摄对象身上的光称为直接光，与此同时，反射到某个物体上，再投射到拍摄对象身上的光称为间接光，因此直接光-间接光分解法的思想是将格雷码图像投影的棋盘格图像的像素值减去全黑图像投影的棋盘格图像的像素值，以得到优化的格雷码图像投影的棋盘格图像。
(1.42)对优化的格雷码图像投影的棋盘格图像进行二值化处理，并且使用角点检测算法对棋盘格图像中棋盘格标定板各角点进行检测，以得到各角点以及局部领域中若干相邻点的投影仪图像坐标。
(1.42)在优化的全白图像投影的棋盘格图像中使用角点检测算法对棋盘格图像中棋盘格标定板各角点进行检测，以得到各角点以及局部领域中若干相邻点的相机图像坐标。
(1.43)基于各角点以及局部领域中若干相邻点的相机图像坐标以及投影仪图像坐标计算得到一个相机到投影仪的局部单应性矩阵；并且再次基于各角点相机图像坐标采用局部单应性矩阵计算各角点在投影仪图像中更加精准的像素坐标，以得到最终的投影仪图像坐标，请参阅图7，图7为从相机图像角点领域到投影仪图像角点领域的局部单应性矩阵变换示意图，涉及的公式为qn＝Hn·pn，其中，qn表示第n个投影图像的角点，pn表示第n个相机图像的角点，Hn表示第n个角点的局部单应性矩阵。
于本发明实施例中，二值化处理即是将像素值大于一定阈值范围的像素点设置为255，像素度值小于一定阈值范围的像素点设置为0。
于本发明实施例中，棋盘格标定板的位置的变换次数包括但不限于3次，即需要记录4个不同位置下棋盘格标定板各角点的三维空间坐标、相机图像坐标以及投影仪图像坐标；与此同时，局部领域中若干相邻点可以选择40个左右。
(1.5)基于多组不同位置下各角点的三维空间坐标、相机图像坐标以及投影仪图像坐标，采用张正友标定法分别对相机和投影仪进行标定，以获得相机和投影仪的内、外参矩阵以及畸变系数。即对4组不同位置下各角点的三维空间坐标分别与相机图像坐标以及投影仪图像坐标进行标定，进而得到相机和投影仪的内、外参矩阵以及畸变系数。
于本发明实施例中，所述张正友标定法的思想是通过每一个角点的像素坐标、每一个角点在世界坐标系下的物理坐标(即三维空间坐标)，分别来进行相机和投影仪的标定，获得相机投影仪的内外参矩阵、畸变参数，由于张正友标定法为现有技术，因此本发明对张正友标定法的标定过程不再赘述。
(2)采用结合格雷码图像的四步相移法对待测物进行绝对相位求解，以获取待测物的绝对相位图。
于本发明实施例中，采用结合格雷码图像的四步相移法对待测物进行绝对相位求解的流程如下：
(2.1)生成竖直格雷码图像和四步余弦光栅图像；具体的，生成4位和5位格雷码图像，选择全部的4位格雷码图像和5位格雷码图像中倒数第二张图像，共计5张格雷码图像，请参阅图8和图9，图8为5张格雷码图像的示意图，图9为4张四步余弦光栅图像的示意图。
(2.2)保持相机和投影仪联合标定结束时棋盘格标定板的位置不变，并且将待测物放置于棋盘格标定板表面，所述待测物为三维的机械零配件，包括螺钉、螺丝等。
(2.3)通过投影仪将5张格雷码图像和4张四步余弦光栅图像分别投影至待测物，并且通过相机对棋盘格标定板进行图像采集，以得到多幅相机拍摄的格雷码图像以及多幅相机拍摄的四步余弦光栅图像，共计9张；请参阅图10和图11，图10为投影5张格雷码图像到待测物候相机采集图像的示意图，图11为投影4张四步余弦光栅图像到待测物候相机采集图像的示意图。
(2.4)针对4幅相机拍摄的四步余弦光栅图像，采用四步相移法对待测物进行相对相位求解，以得到待测物的相对相位图，请参阅图12，图12为待测物的相对相位图。
于本发明实施例中，四步余弦光栅图像是将余弦结构光条纹移动特定的相位，每次相位增量为π/2，从而得到4张不同余弦结构光条纹图，4张余弦结构光条纹图分别对应0、π/2、π以及3π/2相位，与此同时，如果生成的格雷码图像为水平的格雷码图像，则需要采用四步正弦光栅图像进行相应的后续处理。
于本发明实施例中，所述四步相移法的原理是首先对4幅相机拍摄的四步余弦光栅图像进行强度计算，通常采用像素值来近似表示；然后通过比较相邻两张机拍摄的四步余弦光栅图像的条纹强度，可以计算出相应的相位差；由于每次相移增量为π/2，所以相位差应该是π/2的整数倍；最后将相位差进行累加或者累减，可以得到完整的相位分布，根据相位分布得到测物的相对相位图。
(2.5)针对5幅相机拍摄的格雷码图像，利用二值化处理的格雷码图像确定相对相位图中待测物每点相位所在的余弦光栅周期，并且通过余弦光栅周期还原得到待测物的绝对相位图，请参阅图13，图13为待测物的绝对相位图的示意图。具体的，相对相位和绝对相位的转换可以参照相位转化公式进行，本发明实施例对此不再赘述。
(3)结合相机和投影仪的内、外参矩阵对待测物的绝对相位图进行矩阵变换，以绘制待测物的3D点云图，并且结合相机和投影仪的畸变系数对待测物的3D点云图进行修正，请参阅图14，图14为待测物的3D点云图的示意图。
综上，本发明实施例首先分别生成并投射水平和竖直的正、反格雷码到棋盘格标定板，变换位置采集四组不同投影图像，利用张正友标定法对相机和投影仪进行联合标定，解决了相机2D标定方案无法标定投影仪的问题；然后分别生成并投射竖直的格雷码和四步余弦光栅图至待测物体，采集相应的投影图像，利用四步相移法求解图像中每点的相位并展开，以得到图像的绝对相位图，解决了经典空间相位展开算法中误差逐点累积和被测物体表面不连续导致相位展开错误的问题；最后结合相机、投影仪的内、外参矩阵和图像的绝对相位图，通过矩阵变换计算得到图像中每点像素坐标对应的三维空间坐标，以得到待测物体3D点云图，解决了2D图像无法呈现部分缺陷特征信息的问题，为后续3D缺陷检测奠定了基础。
实施例2
本发明提供一种基于结构光技术的机械零配件3D重建系统，请参阅图15，图15是机械零配件3D重建系统的结构框图，所述系统包括：
联合标定单元，所述联合标定单元基于格雷码图像对相机和投影仪进行联合标定，以获取相机和投影仪的内、外参矩阵以及畸变系数；
绝对相位求解单元，所述绝对相位求解单元采用结合格雷码图像的四步相移法对待测物进行绝对相位求解，以获取待测物的绝对相位图；
3D重建单元，所述3D重建单元结合相机和投影仪的内、外参矩阵对待测物的绝对相位图进行矩阵变换，以绘制待测物的3D点云图，并且结合相机和投影仪的畸变系数对待测物的3D点云图进行修正。
实施例3
本发明提供了一种计算机设备，所述计算机设备包括存储器及处理器，所述存储器存储有计算机程序，所述计算机程序在所述处理器运行时执行实施例1所述的一种基于结构光技术的机械零配件3D重建方法。
本实施例提供的计算机设备可以实现执行实施例1所述的方法，为避免重复，在此不再赘述。
实施例4
本发明提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现实施例1所述的一种基于结构光技术的机械零配件3D重建方法。
本实施例提供的计算机可读存储介质可以实现执行实施例1所述的方法，为避免重复，在此不再赘述。
其中，所述处理器可以是中央处理器(CPU，Central Processing Unit)，还可以是其他通用处理器、数字信号处理器(digital signal processor)、专用集成电路(Application Specific Integrated Circuit)、现成可编程门阵列(Fieldprogrammablegate array)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的数据，实现发明中基于结构光技术的机械零配件3D重建系统的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等。此外，存储器可以包括高速随机存取存储器、还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡，安全数字卡，闪存卡、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
基于结构光技术的机械零配件3D重建系统如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序可存储于一计算机可读存介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码、对象代码形式、可执行文件或某些中间形式等。所述计算机可读取介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器、随机存储器、点载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减。
本发明已对基本概念做了描述，显然，对于本领域技术人员来说，上述详细披露仅仅作为示例，而并不构成对本说明书的限定。虽然此处并没有明确说明，本领域技术人员可能会对本说明书进行各种修改、改进和修正。该类修改、改进和修正在本说明书中被建议，所以该类修改、改进、修正仍属于本说明书示范实施例的精神和范围。
计算机存储介质可能包含一个内含有计算机程序编码的传播数据信号，例如在基带上或作为载波的一部分。该传播信号可能有多种表现形式，包括电磁形式、光形式等，或合适的组合形式。计算机存储介质可以是除计算机可读存储介质之外的任何计算机可读介质，该介质可以通过连接至一个指令执行系统、装置或设备以实现通讯、传播或传输供使用的程序。位于计算机存储介质上的程序编码可以通过任何合适的介质进行传播，包括无线电、电缆、光纤电缆、RF、或类似介质，或任何上述介质的组合。
Claims (10)
1.一种基于结构光技术的机械零配件3D重建方法，其特征在于，所述方法包括以下步骤：
基于格雷码图像对相机和投影仪进行联合标定，以获取相机和投影仪的内、外参矩阵以及畸变系数；
采用结合格雷码图像的四步相移法对待测物进行绝对相位求解，以获取待测物的绝对相位图；
结合相机和投影仪的内、外参矩阵对待测物的绝对相位图进行矩阵变换，以绘制待测物的3D点云图，并且结合相机和投影仪的畸变系数对待测物的3D点云图进行修正。
2.根据权利要求1所述的一种基于结构光技术的机械零配件3D重建方法，其特征在于，基于格雷码图像对相机和投影仪进行联合标定，以获取相机和投影仪的内、外参矩阵以及畸变系数的流程如下：
将棋盘格标定板放置于相机和投影仪的视场范围内，并且生成格雷码图像；
记录不同位置下棋盘格标定板各角点的三维空间坐标，通过投影仪将格雷码图像、全白图像以及全黑图像投影至不同位置下的棋盘格标定板，并且通过相机对不同位置下的棋盘格标定板进行图像采集，以得到多组棋盘格图像；
针对每组棋盘格图像，在全白图像投影的棋盘格图像中使用角点检测算法对棋盘格图像中棋盘格标定板各角点进行检测，以得到各角点的相机图像坐标；
针对每组棋盘格图像，对格雷码图像投影的棋盘格图像中棋盘格标定板各角点进行局部单应性矩阵变换，以得到各角点的投影仪图像坐标；
基于多组不同位置下各角点的三维空间坐标、相机图像坐标以及投影仪图像坐标，采用张正友标定法分别对相机和投影仪进行标定，以获得相机和投影仪的内、外参矩阵以及畸变系数。
3.根据权利要求2所述的一种基于结构光技术的机械零配件3D重建方法，其特征在于：基于格雷码图像对相机和投影仪进行联合标定时生成的格雷码图像包括水平和竖直的正、反格雷码图像。
4.根据权利要求2所述的一种基于结构光技术的机械零配件3D重建方法，其特征在于，采用结合格雷码图像的四步相移法对待测物进行绝对相位求解，以获取待测物的绝对相位图的流程如下：
生成格雷码图像和四步余弦光栅图像；
保持相机和投影仪联合标定结束时棋盘格标定板的位置不变，并且将待测物放置于棋盘格标定板表面；
通过投影仪将格雷码图像和四步余弦光栅图像分别投影至待测物，并且通过相机对棋盘格标定板进行图像采集，以得到多幅相机拍摄的格雷码图像以及多幅相机拍摄的四步余弦光栅图像；
针对多幅相机拍摄的四步余弦光栅图像，采用四步相移法对待测物进行相对相位求解，以得到待测物的相对相位图；
针对多幅相机拍摄的格雷码图像，利用二值化处理的格雷码图像确定相对相位图中待测物每点相位所在的余弦光栅周期，并且通过余弦光栅周期还原得到待测物的绝对相位图。
5.根据权利要求4所述的一种基于结构光技术的机械零配件3D重建方法，其特征在于：采用结合格雷码图像的四步相移法对待测物进行绝对相位求解时生成的格雷码图像包括竖直的格雷码图像。
6.根据权利要求4所述的一种基于结构光技术的机械零配件3D重建方法，其特征在于，结合相机和投影仪的内、外参矩阵对待测物的绝对相位图进行矩阵变换，以绘制待测物的3D点云图，并且结合相机和投影仪的畸变系数对待测物的3D点云图进行修正的流程如下：
针对待测物的绝对相位图，基于相位不变假设和余弦光栅周期计算绝对相位图中待测物每点在投影仪图像中对应的像素坐标；
基于相位图中待测物每点在投影仪图像中对应的像素坐标，并且结合相机和投影仪的内、外参矩阵，采用矩形变换计算相机图像中每点对应的三维空间坐标；
基于三维坐标绘制待测物的3D点云图，并且结合相机和投影仪的畸变系数对待测物的3D点云图进行修正。
7.根据权利要求1或6所述的一种基于结构光技术的机械零配件3D重建方法，其特征在于，所述待测物为机械零配件。
8.一种基于结构光技术的机械零配件3D重建系统，其特征在于，所述系统包括：
联合标定单元，所述联合标定单元基于格雷码图像对相机和投影仪进行联合标定，以获取相机和投影仪的内、外参矩阵以及畸变系数；
绝对相位求解单元，所述绝对相位求解单元采用结合格雷码图像的四步相移法对待测物进行绝对相位求解，以获取待测物的绝对相位图；
3D重建单元，所述3D重建单元结合相机和投影仪的内、外参矩阵对待测物的绝对相位图进行矩阵变换，以绘制待测物的3D点云图，并且结合相机和投影仪的畸变系数对待测物的3D点云图进行修正。
9.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于：所述处理器执行所述计算机程序时实现如权利要求1-7中任一项所述一种基于结构光技术的机械零配件3D重建方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-7中任一项所述一种基于结构光技术的机械零配件3D重建方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311800386.XA CN117788702A (zh) | 2023-12-26 | 2023-12-26 | 一种基于结构光技术的机械零配件3d重建方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311800386.XA CN117788702A (zh) | 2023-12-26 | 2023-12-26 | 一种基于结构光技术的机械零配件3d重建方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117788702A true CN117788702A (zh) | 2024-03-29 |
Family
ID=90382771
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311800386.XA Pending CN117788702A (zh) | 2023-12-26 | 2023-12-26 | 一种基于结构光技术的机械零配件3d重建方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117788702A (zh) |
-
2023
- 2023-12-26 CN CN202311800386.XA patent/CN117788702A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107607040B (zh) | 一种适用于强反射表面的三维扫描测量装置及方法 | |
| US8743349B2 (en) | Apparatus and method to correct image | |
| US11763518B2 (en) | Method and system for generating a three-dimensional image of an object | |
| CN101765755B (zh) | 三维形状计测装置、三维形状计测方法 | |
| US9857166B2 (en) | Information processing apparatus and method for measuring a target object | |
| US9546863B2 (en) | Three-dimensional measuring apparatus and control method therefor | |
| US20100315490A1 (en) | Apparatus and method for generating depth information | |
| US10430962B2 (en) | Three-dimensional shape measuring apparatus, three-dimensional shape measuring method, and storage medium that calculate a three-dimensional shape of an object by capturing images of the object from a plurality of directions | |
| KR20190065432A (ko) | 뷰로부터 거리 정보를 획득하는 장치 및 방법 | |
| Douxchamps et al. | High-accuracy and robust localization of large control markers for geometric camera calibration | |
| KR20140027468A (ko) | 깊이 측정치 품질 향상 | |
| JP5633058B1 (ja) | ３次元計測装置及び３次元計測方法 | |
| US10078907B2 (en) | Distance measurement apparatus, distance measurement method, and storage medium | |
| JP6598673B2 (ja) | データ処理装置およびその方法 | |
| CN111047650B (zh) | 一种用于飞行时间相机的参数标定方法 | |
| CN111462246B (zh) | 一种结构光测量系统的设备标定方法 | |
| CN105157614A (zh) | 基于二值相移图案的三维测量方法 | |
| CN113963425B (zh) | 人脸活体检测系统的测试方法、装置及存储介质 | |
| CN116559179B (zh) | 一种反光表面形貌与缺陷检测方法及其系统 | |
| CN115164776B (zh) | 一种结构光解码与深度学习融合的三维测量方法及装置 | |
| CN117788702A (zh) | 一种基于结构光技术的机械零配件3d重建方法及系统 | |
| Koch et al. | Hardware design and accurate simulation for benchmarking of 3D reconstruction algorithms | |
| CN115082538A (zh) | 基于线结构光投影的多目视觉平衡环零件表面三维重建系统及方法 | |
| Petković et al. | Multiprojector multicamera structured light surface scanner | |
| Bu et al. | GPU-based distortion correction for CMOS positioning camera using star point measurement |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |