CN117994446B - 基于偏振双目线结构光融合互补三维重构方法和系统 - Google Patents
基于偏振双目线结构光融合互补三维重构方法和系统 Download PDFInfo
- Publication number
- CN117994446B CN117994446B CN202410405434.3A CN202410405434A CN117994446B CN 117994446 B CN117994446 B CN 117994446B CN 202410405434 A CN202410405434 A CN 202410405434A CN 117994446 B CN117994446 B CN 117994446B
- Authority
- CN
- China
- Prior art keywords
- laser
- camera
- binocular
- coordinate system
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 230000004927 fusion Effects 0.000 title claims abstract description 29
- 230000000295 complement effect Effects 0.000 title claims abstract description 26
- 230000010287 polarization Effects 0.000 claims abstract description 51
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 16
- 238000004364 calculation method Methods 0.000 claims abstract description 13
- 239000011159 matrix material Substances 0.000 claims description 66
- 238000013519 translation Methods 0.000 claims description 23
- 238000006243 chemical reaction Methods 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 10
- 230000006870 function Effects 0.000 claims description 10
- 238000001914 filtration Methods 0.000 claims description 8
- 230000003287 optical effect Effects 0.000 claims description 6
- 238000009499 grossing Methods 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 2
- 238000005259 measurement Methods 0.000 abstract description 5
- 238000003384 imaging method Methods 0.000 description 7
- 239000013598 vector Substances 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 230000005855 radiation Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000009977 dual effect Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000007499 fusion processing Methods 0.000 description 2
- 239000002184 metal Substances 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Abstract
本公开涉及视觉传感器测量领域，具体涉及一种基于偏振双目线结构光融合互补三维重构方法和系统，所述方法包括如下步骤：采集双目相机最佳偏振角度下的序列图像；基于所述序列图像得到激光区域，使用Steger算法计算得到激光中心；基于所述双目相机内部参数和光平面方程对每一帧图像的所述激光中心进行三维坐标的解算，得到每一帧图像各自基于相机坐标系下的世界坐标系的激光空间三维坐标数据，生成高精度的三维重构结果。本公开提出对重构的物体进行融合互补的计算，可以生成高精度的三维重构结果，能够有效地提高三维重构的精度和鲁棒性。
Description
技术领域
本公开涉及视觉传感器测量领域，具体涉及一种基于偏振双目线结构光融合互补三维重构方法和系统。
背景技术
随着计算机视觉和图像处理技术的飞速发展，三维测量成为了一个备受关注的研究领域。在许多应用领域中，如虚拟现实、增强现实、工业测量等，对真实世界的三维信息进行准确、快速的获取和重建已经成为了一项重要任务。线结构光三维重构作为一种常见的三维重建方法，通过投射光线并分析其形变信息，能够得到被测对象的三维形状信息。具有非接触、成像速度快、测量精度高、真实感强的优点，已广泛应用于工业环境。
传统的三维重建方法主要基于视觉几何学原理，其中主要包括立体视觉和结构光等技术。而线结构光三维重构方法属于结构光技术的一种，它利用光的投射和反射原理来获取被测对象表面的深度信息。线结构光三维重构的基本原理是：在被测对象表面投射一系列光线，并通过对光线在物体表面的形变进行分析。摄像机获取轮廓图像，求解结构光轮廓的二维图像坐标，利用所提出的算法计算二维坐标相对应的三维坐标。在线结构光三维重建的过程的实质是如何将二维的光条坐标信息转换为三维坐标信息，推断出物体表面的深度信息。然而，在扫描复杂物体表面时会遇到一些问题。物体本身的遮挡和高光表面会导致在三维重建过程中丢失了一些信息。这就意味着无法准确、完整地恢复出物体的三维形状。
发明内容
本公开提供一种基于偏振双目线结构光融合互补三维重构方法和系统，能够解决背景技术中提到的由于物体本身的遮挡和高光表面会导致在三维重建过程中丢失了一些信息的问题。为解决上述技术问题，本公开提供如下技术方案：
作为本公开实施例的一个方面，提供基于偏振双目线结构光融合互补三维重构方法，包括如下步骤：
采集双目相机最佳偏振角度下的序列图像；其中，通过旋转偏振透镜偏转0°、45°和90°采集的物体图像，得到物体图像最小像素强度对应的最佳偏振角，偏振双目相机包括由左偏振相机和线激光器组成的左目系统和右偏振相机和线激光器组成的右目系统，所述序列图像包括多帧图像；
基于所述序列图像得到激光区域，使用Steger算法计算得到激光中心；
基于所述双目相机内部参数和光平面方程对每一帧图像的所述激光中心进行三维坐标的解算，得到每一帧图像各自基于相机坐标系下的世界坐标系的激光空间三维坐标数据，生成高精度的三维重构结果。
可选地，基于所述序列图像得到激光区域，使用Steger算法计算得到激光中心，包括：
对所述序列图像进行滤波处理得到预处理图像；
在Hessian矩阵中求解预处理图像激光区域中每个像素的法线方向；
在所述法线方向上利用Taylor展开得到亚像素坐标，将所述亚像素坐标作为激光中心。
可选地，对所述序列图像进行滤波处理得到预处理图像，包括：
利用高斯函数二阶导的平滑核进行卷积，对序列图像进行预处理，其中，设置高斯方差，其中/>为光条宽度。
可选地，在Hessian矩阵中求解预处理图像激光区域中每个像素的法线方向，包括：
任意像素的Hessian矩阵可表示为下式：
，
在公式中，表示条纹区域中每个像素的Hessian矩阵，/>为对x方向求两次偏导的二阶偏导数，/>为先对x求偏导，然后将所得的偏导数再对y求偏导的二阶偏导数，/>为对y方向求两次偏导的二阶偏导数。
可选地，在所述法线方向上利用Taylor展开得到亚像素坐标，包括：
通过求解Hessian矩阵，以点为基准点，则光条纹中心的亚像素坐标公式为：
，
其中，Hessian矩阵的特征向量用表示，t表示为：/>，其中，/>为x方向的偏导数，/>为y方向的偏导数，/>为对x方向求两次偏导的二阶偏导数，/>为先对x求偏导，然后将所得的偏导数再对y求偏导的二阶偏导数，/>为对y方向求两次偏导的二阶偏导数。
可选地，所述光平面方程表示为：
，
其中，A，B，C为光平面方程参数，代表物体在z坐标轴上的位置或偏移量，/>代表物体在x坐标轴上的位置或偏移量，/>代表物体在y坐标轴上的位置或偏移量。
可选地，假定激光条纹投射在物体上任意点P在世界坐标为，其在左目系统坐标系下的坐标为/>，在右目系统坐标系下的坐标为/>，世界坐标系与双目相机坐标系的转换表示为：
,
，
其中，和/>分别表示世界坐标系和双目相机坐标系之间的旋转平移矩阵；
得到左目系统和右目系统之间的坐标转换关系为：
，
其中，表示双目相机的平移矩阵,/>表示双目相机的旋转矩阵，进而得到左目系统和右目系统之间的平移和旋转矩阵为：
，
其中，表示为右目系统旋转矩阵的逆矩阵。
作为本公开实施例的另一个方面，提供基于偏振双目线结构光融合互补三维重构系统，包括：
序列图像获取单元，采集双目相机最佳偏振角度下的序列图像；其中，通过旋转偏振透镜偏转0°、45°和90°采集的物体图像，得到物体图像最小像素强度对应的最佳偏振角，偏振双目相机包括由左偏振相机和线激光器组成的左目系统和右偏振相机和线激光器组成的右目系统，所述序列图像包括多帧图像；
激光中心计算单元，基于所述序列图像得到激光区域，使用Steger算法计算得到激光中心；
三维坐标重构单元，基于所述双目相机内部参数和光平面方程对每一帧图像的所述激光中心进行三维坐标的解算，得到每一帧图像各自基于相机坐标系下的世界坐标系的激光空间三维坐标数据，生成高精度的三维重构结果。
作为本公开实施例的另一个方面，提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述的基于偏振双目线结构光融合互补三维重构方法。
作为本公开实施例的另一个方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现所述的基于偏振双目线结构光融合互补三维重构方法的步骤。
相对于现有技术，本公开可以很好地处理传统结构光测量系统中使用偏振滤光片消除高光区域干扰的情况下，明显的提升条纹图像的质量；提出对重构的物体进行融合互补的计算，生成高精度的三维重构结果，能够有效地提高三维重构的精度和鲁棒性。
附图说明
图1为本公开实施例中的双摄像机模型图
图2为本公开实施例1中的基于偏振双目线结构光融合互补三维重构方法的流程图；
图3为本公开实施例1中的S20步骤流程图；
图4为本公开实施例1中的点云数据的拼接过程流程图；
图5为本公开实施例2中的基于偏振双目线结构光融合互补三维重构系统框图。
具体实施方式
以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。
在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
本实施例中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本实施例中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。
另外，为了更好地说明本公开，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本公开同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本公开的主旨。
可以理解，本公开提及的上述各个方法实施例，在不违背原理逻辑的情况下，均可以彼此相互结合形成结合后的实施例，限于篇幅，本公开不再赘述。
传统的三维重建方法主要基于视觉几何学原理，其中主要包括立体视觉和结构光等技术。而线结构光三维重构方法属于结构光技术的一种，它利用光的投射和反射原理来获取被测对象表面的深度信息。线结构光三维重构的基本原理是：在被测对象表面投射一系列光线，并通过对光线在物体表面的形变进行分析。摄像机获取轮廓图像，求解结构光轮廓的二维图像坐标，利用所提出的算法计算二维坐标相对应的三维坐标。在线结构光三维重建的过程的实质是如何将二维的光条坐标信息转换为三维坐标信息，推断出物体表面的深度信息。许多研究已经研究了线结构光三维重建方法。然而，在扫描复杂物体表面时会遇到一些问题。物体本身的遮挡和高光表面会导致在三维重建过程中丢失了一些信息。这就意味着无法准确、完整地恢复出物体的三维形状。
针对以上存在的问题，为了通过一次扫描得到的三维点云数据更为丰富、精度较高的物体三维模型，发明人利用两台带有偏振片的CCD相机（左相机和右相机）和一个激光发射器构建了一套旋转扫描式双摄像机模型。图1为本公开实施例中的双摄像机模型图；将左右相机分别与激光器组成两套测量系统，即左目系统和右目系统。通过以下实施例说明本公开实施例要实现的技术方案。
实施例1
本公开实施例进一步提供基于偏振双目线结构光融合互补三维重构方法，如图2所示，包括如下步骤：
S10、采集双目相机最佳偏振角度下的序列图像；其中，通过旋转偏振透镜偏转0°、45°和90°采集的物体图像，得到物体图像最小像素强度对应的最佳偏振角，偏振双目相机包括由左偏振相机和线激光器组成的左目系统和右偏振相机和线激光器组成的右目系统，所述序列图像包括多帧图像；
S20、基于所述序列图像得到激光区域，使用Steger算法计算得到激光中心；
S30、基于所述双目相机内部参数和光平面方程对每一帧图像的所述激光中心进行三维坐标的解算，得到每一帧图像各自基于相机坐标系下的世界坐标系的激光空间三维坐标数据，生成高精度的三维重构结果。
基于上述方法，本公开实施例解决背景技术中提到的由于物体本身的遮挡和高光表面会导致在三维重建过程中丢失了一些信息的问题，提出对重构的物体进行融合互补的计算，生成高精度的三维重构结果，能够有效地提高三维重构的精度和鲁棒性。
下面以一个线结构光视觉传感器包括的两个主要组件：线激光器和CCD摄像机为例说明，分别对本公开实施例的各步骤进行详细说明。
S10、采集双目相机最佳偏振角度下的序列图像；其中，通过旋转偏振透镜偏转0°、45°和90°采集的物体图像，得到物体图像最小像素强度对应的最佳偏振角，偏振双目相机包括由左偏振相机和线激光器组成的左目系统和右偏振相机和线激光器组成的右目系统，所述序列图像包括多帧图像；
其中，使用旋转平台对被测物体进行旋转扫描，利用Stokes矢量法建立相机拍摄物体图像的偏振辐射光强函数。所述Stokes参数的表达形式由四个矢量组成，表示为：
其中，代表的是该光波整体的强度，/>则分别代表着三个不同角度相互独立下的偏振状态。
由于圆偏振光出现的概率较低，本实施例中我们忽略了，假设S 3=0，表达公式如下：
，
其中，为偏振角度为/>的光强，/>为偏振角度为/>的光强，/>为偏振角度为/>的光强，/>为线偏振光在偏振片角度为0º和90º时的光强差值，/>为线偏振光在偏振片角度为45º和135º时的光强差值；
则图像像素位置在偏振角方向上的偏振辐射强度表示为：
，
其中，为空间坐标，/>表示为图像像素位置，/>表示偏振角；
当相机扫描图像之前，通过旋转偏振透镜采集0°、45°和90°的图像，可以得到图像最小像素强度对应的最佳偏振角，表达公式表示为：
，
其中，代表最佳偏振角度；
选出最优偏振角度进行扫描。分别采集最优偏振角度下，左偏振相机和线激光器组成的左目系统，右偏振相机和线激光器组成的右目系统的序列图像。
与传统双目相机相比，在利用偏振双目相机采集图像中，利用光的偏振态在光的传输过程中保持不变的特性，能够大大降低高光对金属工件的影响。
S20、基于所述序列图像得到激光区域，使用Steger算法计算得到激光中心；
假定任意点P在像平面上具有投影点P，P点在世界坐标系中的归一化坐标为对应的像素平面坐标系中的归一化坐标为/>。
根据摄像机针孔成像原理以及透镜成像原理，摄像机的透视投影成像模型为等式：
，
通过公式可以计算可得一个像素平面坐标系下的坐标转换到世界坐标系下的坐标。其中S为比例系数，其中R表示3×3正交旋转矩阵，T表示3×1平移矩阵向量，表示1×3的零矩阵。M是相机的投影矩阵。N是相机的内部参数的矩阵。
本实例通过棋盘作为平面标靶，基于自由移动平面标靶的交比不变法通过提取特征点，使用非线性最小二乘法进行求解光平面方程的参数。
本实例通过棋盘作为平面标靶，基于自由移动平面标靶的交比不变法通过提取特征点，使用非线性最小二乘法进行求解光平面方程的参数。在进行线结构光平面标定之前，首先要对相机做好标定，根据标定完成之后的参数，对光平面进行标定。光平面校准具体步骤如下：
步骤一：保持相机与激光器的相对位置不变，调整光圈大小。将棋盘靶标放置在相机视场内的合适位置处至少两次，作为参数标定的数据。光条纹由线激光投射到棋盘靶标上。
步骤二：摄像机拍摄带光条纹的棋盘格局图像，提取每幅图像上特征点的二维坐标，并计算二维平面内的交比值。基于交比不变法求出未知特征点的三维坐标。
步骤三：通过目标-相机转换矩阵将所获得的图像转换到相机坐标系，然后再转换到世界坐标系，即完成了坐标系转换。
步骤四：用非线性最小二乘法算法拟合光平面方程公式，完成光平面的标定。
其中，所述光平面方程表示为：
，
其中，A，B，C为光平面方程参数，代表物体在z坐标轴上的位置或偏移量，/>代表物体在x坐标轴上的位置或偏移量，/>代表物体在y坐标轴上的位置或偏移量。
线结构光传感器模型参数包括相机的内参数矩阵N、光平面方程。如果上述参数已知，则可以从相机平面上该点的像素坐标中获得光条纹上该点的三维坐标。分别对序列图像上的光条纹进行三维坐标的解算，得到了序列图像各自基于相机坐标系下的世界坐标系的激光空间三维坐标数据。
优选地，基于所述序列图像得到激光区域，使用Steger算法计算得到激光中心，如图3所示，包括：
S201、对所述序列图像进行滤波处理得到预处理图像；
S203、在Hessian矩阵中求解预处理图像激光区域中每个像素的法线方向；
S205、在所述法线方向上利用Taylor展开得到亚像素坐标，将所述亚像素坐标作为激光中心。
优选地，对所述序列图像进行滤波处理得到预处理图像，包括：
优选地，利用高斯函数二阶导的平滑核进行卷积，对序列图像进行预处理，其中，设置高斯方差，其中/>为光条宽度。
优选地，在Hessian矩阵中求解预处理图像激光区域中每个像素的法线方向，包括：
任意像素的Hessian矩阵可表示为下式：
，
在公式中，表示条纹区域中每个像素的Hessian矩阵，/>为对x方向求两次偏导的二阶偏导数，/>为先对x求偏导，然后将所得的偏导数再对y求偏导的二阶偏导数，/>为对y方向求两次偏导的二阶偏导数。
优选地，在所述法线方向上利用Taylor展开得到亚像素坐标，包括：
通过求解Hessian矩阵，以点为基准点，则光条纹中心的亚像素坐标公式为：
，
其中，Hessian矩阵的特征向量用表示，t表示为：/>，其中，/>为x方向的偏导数，/>为y方向的偏导数，/>为对x方向求两次偏导的二阶偏导数，/>为先对x求偏导，然后将所得的偏导数再对y求偏导的二阶偏导数，/>为对y方向求两次偏导的二阶偏导数。
S30、基于所述双目相机内部参数和光平面方程对每一帧图像的所述激光中心进行三维坐标的解算，得到每一帧图像各自基于相机坐标系下的世界坐标系的激光空间三维坐标数据，生成高精度的三维重构结果。
假定激光条纹投射在物体上任意点在世界坐标为/>。其在左摄像机坐标系下的坐标为/>，在右摄像机坐标系下的坐标为/>，世界坐标系与左右摄像机坐标系的转换表示为：
,
，
其中，和/>分别表示世界坐标系和双目相机坐标系之间的旋转平移矩阵；
得到左目系统和右目系统之间的坐标转换关系为：
，
其中，表示双目相机的平移矩阵,/>表示双目相机的旋转矩阵，
进而得到左目系统和右目系统之间的平移和旋转矩阵为：
，
其中，表示为右目系统旋转矩阵的逆矩阵。
优选地，生成高精度的三维重构结果也即完成点云数据的拼接，如图4所示，拼接过程如下：
S301、提取出第1帧图像激光中心，利用激光三角原理计算出其空间三维坐标。
S303、提取出第i帧(i=1，2，3…320)图像中的激光中心，同样计算出其空间三维坐标。按照旋转矩阵和平移矩阵将其转换到基准坐标系中，并将其与基准坐标系中的三维点云数据匹配起来。
S305、判断是否是最后一帧图像，若是，则输出三维点云结果；若不是，返回第二步。
用以上步骤分别对左目系统和右目系统进行处理后，即可以获得两个系统各自的三维点云模型。为了得到点云数据更为丰富的三维模型，将左目系统和右目系统各自所得的物体空间三维数据进行了融合统一。在进行融合处理时，以左相机的坐标系为全局坐标系，通过两个相机之间相对位置关系的旋转平移矩阵，将右相机对应相机坐标系下的三维坐标数据统一到全局坐标系中。再利用左相机的旋转平移矩阵，将所有的三维相机坐标点转换到世界坐标中。最后，进行点云数据融合，得到了数据更为丰富的物体表面三维点云模型。
实施例2
本公开实施例还提供基于偏振双目线结构光融合互补三维重构系统100，如图5所示，包括：
序列图像获取单元1，采集双目相机最佳偏振角度下的序列图像；其中，通过旋转偏振透镜偏转0°、45°和90°采集的物体图像，得到物体图像最小像素强度对应的最佳偏振角，偏振双目相机包括由左偏振相机和线激光器组成的左目系统和右偏振相机和线激光器组成的右目系统，所述序列图像包括多帧图像；
激光中心计算单元2，基于所述序列图像得到激光区域，使用Steger算法计算得到激光中心；
三维坐标重构单元3，基于所述双目相机内部参数和光平面方程对每一帧图像的所述激光中心进行三维坐标的解算，得到每一帧图像各自基于相机坐标系下的世界坐标系的激光空间三维坐标数据，生成高精度的三维重构结果。
序列图像获取单元1中，使用旋转平台对被测物体进行旋转扫描，利用Stokes矢量法建立相机拍摄物体图像的偏振辐射光强函数。所述Stokes参数的表达形式由四个矢量组成，表示为：
，
其中，代表的是该光波整体的强度，/>则分别代表着三个不同角度相互独立下的偏振状态。
由于圆偏振光出现的概率较低，本实施例中我们忽略了，假设S 3=0，表达公式如下：
，
其中，为偏振角度为/>的光强，/>为偏振角度为/>的光强，/>为偏振角度为/>的光强，/>为线偏振光在偏振片角度为0º和90º时的光强差值，/>为线偏振光在偏振片角度为45º和135º时的光强差值；
则图像像素位置在偏振角方向上的偏振辐射强度表示为：
，
其中，为空间坐标，/>表示为图像像素位置，/>表示偏振角；
当相机扫描图像之前，通过旋转偏振透镜采集0°、45°和90°的图像，可以得到图像最小像素强度对应的最佳偏振角，表达公式表示为：
，
其中，代表最佳偏振角度；
选出最优偏振角度进行扫描。分别采集最优偏振角度下，左偏振相机和线激光器组成的左目系统，右偏振相机和线激光器组成的右目系统的序列图像。
与传统双目相机相比，在利用偏振双目相机采集图像中，利用光的偏振态在光的传输过程中保持不变的特性，能够大大降低高光对金属工件的影响。
激光中心计算单元2中，假定任意点P在像平面上具有投影点，/>点在世界坐标系中的归一化坐标为/>，对应的像素平面坐标系中的归一化坐标为。
根据摄像机针孔成像原理以及透镜成像原理，摄像机的透视投影成像模型为等式：
，
通过公式可以计算可得一个像素平面坐标系下的坐标转换到世界坐标系下的坐标。其中S为比例系数，其中R表示3×3正交旋转矩阵，T表示3×1平移矩阵向量，表示1×3的零矩阵。M是相机的投影矩阵。N是相机的内部参数的矩阵。
本实例通过棋盘作为平面标靶，基于自由移动平面标靶的交比不变法通过提取特征点，使用非线性最小二乘法进行求解光平面方程的参数。
本实例通过棋盘作为平面标靶，基于自由移动平面标靶的交比不变法通过提取特征点，使用非线性最小二乘法进行求解光平面方程的参数。在进行线结构光平面标定之前，首先要对相机做好标定，根据标定完成之后的参数，对光平面进行标定。光平面校准具体步骤如下：
步骤一：保持相机与激光器的相对位置不变，调整光圈大小。将棋盘靶标放置在相机视场内的合适位置处至少两次，作为参数标定的数据。光条纹由线激光投射到棋盘靶标上。
步骤二：摄像机拍摄带光条纹的棋盘格局图像，提取每幅图像上特征点的二维坐标，并计算二维平面内的交比值。基于交比不变法求出未知特征点的三维坐标。
步骤三：通过目标-相机转换矩阵将所获得的图像转换到相机坐标系，然后再转换到世界坐标系，即完成了坐标系转换。
步骤四：用非线性最小二乘法算法拟合光平面方程公式，完成光平面的标定。
其中，所述光平面方程表示为：
，
其中，A，B，C为光平面方程参数，代表物体在z坐标轴上的位置或偏移量，/>代表物体在x坐标轴上的位置或偏移量，/>代表物体在y坐标轴上的位置或偏移量。
线结构光传感器模型参数包括相机的内参数矩阵N、光平面方程。如果上述参数已知，则可以从相机平面上该点的像素坐标中获得光条纹上该点的三维坐标。分别对序列图像上的光条纹进行三维坐标的解算，得到了序列图像各自基于相机坐标系下的世界坐标系的激光空间三维坐标数据。
激光中心计算单元2中，基于所述序列图像得到激光区域，使用Steger算法计算得到激光中心，包括：对所述序列图像进行滤波处理得到预处理图像；在Hessian矩阵中求解预处理图像激光区域中每个像素的法线方向；在所述法线方向上利用Taylor展开得到亚像素坐标，将所述亚像素坐标作为激光中心。
优选地，对所述序列图像进行滤波处理得到预处理图像，包括：
优选地，利用高斯函数二阶导的平滑核进行卷积，对序列图像进行预处理，其中，设置高斯方差，其中/>为光条宽度。
优选地，在Hessian矩阵中求解预处理图像激光区域中每个像素的法线方向，包括：
任意像素的Hessian矩阵可表示为下式：
，
在公式中，表示条纹区域中每个像素的Hessian矩阵，/>为对x方向求两次偏导的二阶偏导数，/>为先对x求偏导，然后将所得的偏导数再对y求偏导的二阶偏导数，/>为对y方向求两次偏导的二阶偏导数。
优选地，在所述法线方向上利用Taylor展开得到亚像素坐标，包括：
通过求解Hessian矩阵，以点为基准点，则光条纹中心的亚像素坐标公式为：/>
，
其中，Hessian矩阵的特征向量用表示，t表示为：/>，其中，/>为x方向的偏导数，/>为y方向的偏导数，/>为对x方向求两次偏导的二阶偏导数，/>为先对x求偏导，然后将所得的偏导数再对y求偏导的二阶偏导数，/>为对y方向求两次偏导的二阶偏导数。
三维坐标重构单元3中，假定激光条纹投射在物体上任意点在世界坐标为。其在左摄像机坐标系下的坐标为/>，在右摄像机坐标系下的坐标为/>，世界坐标系与左右摄像机坐标系的转换表示为：
,
，
其中，和/>分别表示世界坐标系和双目相机坐标系之间的旋转平移矩阵；
得到左目系统和右目系统之间的坐标转换关系为：
，
其中，表示双目相机的平移矩阵,/>表示双目相机的旋转矩阵，
进而得到左目系统和右目系统之间的平移和旋转矩阵为：
，
其中，表示为右目系统旋转矩阵的逆矩阵。
优选地，生成高精度的三维重构结果也即完成点云数据的拼接，如图3所示，拼接过程如下：
提取出第1帧图像激光中心，利用激光三角原理计算出其空间三维坐标。
提取出第i帧(i=1，2，3…320)图像中的激光中心，同样计算出其空间三维坐标。按照旋转矩阵和平移矩阵将其转换到基准坐标系中，并将其与基准坐标系中的三维点云数据匹配起来。
判断是否是最后一帧图像，若是，则输出三维点云结果；若不是，返回第二步。
用以上步骤分别对左目系统和右目系统进行处理后，即可以获得两个系统各自的三维点云模型。为了得到点云数据更为丰富的三维模型，将左目系统和右目系统各自所得的物体空间三维数据进行了融合统一。在进行融合处理时，以左相机的坐标系为全局坐标系，通过两个相机之间相对位置关系的旋转平移矩阵，将右相机对应相机坐标系下的三维坐标数据统一到全局坐标系中。再利用左相机的旋转平移矩阵，将所有的三维相机坐标点转换到世界坐标中。最后，进行点云数据融合，得到了数据更为丰富的物体表面三维点云模型。
实施例3
本公开实施例还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现实施例1中的基于偏振双目线结构光融合互补三维重构方法。
本公开实施例中的电子设备仅仅是一个示例，可以用来实现上位机的功能或者光幕控制器的功能，不应对本公开实施例的功能和使用范围带来任何限制。
电子设备可以以通用计算设备的形式表现，例如其可以为服务器设备。电子设备的组件可以包括但不限于：至少一个处理器、至少一个存储器、连接不同系统组件（包括存储器和处理器）的总线。
总线包括数据总线、地址总线和控制总线。
存储器可以包括易失性存储器，例如随机存取存储器（RAM）和/或高速缓存存储器，还可以进一步包括只读存储器（ROM）。
存储器还可以包括具有一组（至少一个）程序模块的程序工具，这样的程序模块包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
处理器通过运行存储在存储器中的计算机程序，从而执行各种功能应用以及数据处理。
电子设备也可以与一个或多个外部设备（例如键盘、指向设备等）通信。这种通信可以通过输入/输出（I/O）接口进行。并且，电子设备还可以通过网络适配器与一个或者多个网络（例如局域网（LAN），广域网（WAN）和/或公共网络，例如因特网）通信。网络适配器通过总线与电子设备的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID（磁盘阵列）系统、磁带驱动器以及数据备份存储系统等。
应当注意，尽管在上文详细描述中提及了电子设备的若干单元/模块或子单元/模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多单元/模块的特征和功能可以在一个单元/模块中具体化。反之，上文描述的一个单元/模块的特征和功能可以进一步划分为由多个单元/模块来具体化。
实施例4
本公开实施例提供一种计算机可读存储介质，所述可读存储介质存储有计算机程序，所述程序被处理器执行时实现上述实施例中的基于偏振双目线结构光融合互补三维重构方法的步骤。
其中，可读存储介质可以采用的更具体可以包括但不限于：便携式盘、硬盘、随机存取存储器、只读存储器、可擦拭可编程只读存储器、光存储器件、磁存储器件或上述的任意合适的组合。
在可能的实施方式中，本公开还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行实现实施例1中所述的基于偏振双目线结构光融合互补三维重构方法的步骤。
其中，可以以一种或多种程序设计语言的任意组合来编写用于执行本公开的程序代码，所述程序代码可以完全地在用户设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户设备上部分在远程设备上执行或完全在远程设备上执行。
以上所述，仅为本公开较佳的具体实施方式，但本公开的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应该以权利要求的保护范围为准。
Claims (8)
1.基于偏振双目线结构光融合互补三维重构方法，其特征在于，包括如下步骤：
采集双目相机最佳偏振角度下的序列图像；其中，通过旋转偏振透镜偏转0°、45°和90°采集的物体图像，得到物体图像最小像素强度对应的最佳偏振角，偏振双目相机包括由左偏振相机和线激光器组成的左目系统和右偏振相机和线激光器组成的右目系统，所述序列图像包括多帧图像；
基于所述序列图像得到激光区域，使用Steger算法计算得到激光中心；
基于所述双目相机内部参数和光平面方程对每一帧图像的所述激光中心进行三维坐标的解算，得到每一帧图像各自基于相机坐标系下的世界坐标系的激光空间三维坐标数据，生成高精度的三维重构结果；
所述光平面方程表示为：
，
其中，A，B，C为光平面方程参数，代表物体在z坐标轴上的位置或偏移量，/>代表物体在x坐标轴上的位置或偏移量，/>代表物体在y坐标轴上的位置或偏移量；
假定激光条纹投射在物体上任意点P在世界坐标为，其在左目系统坐标系下的坐标为/>，在右目系统坐标系下的坐标为/>，世界坐标系与双目相机坐标系的转换表示为：
,
，
其中，和/>分别表示世界坐标系和双目相机坐标系之间的旋转平移矩阵；
得到左目系统和右目系统之间的坐标转换关系为：
，
其中，表示双目相机的平移矩阵,/>表示双目相机的旋转矩阵，进而得到左目系统和右目系统之间的平移和旋转矩阵为：
，
其中，表示为右目系统旋转矩阵的逆矩阵。
2.如权利要求1所述的基于偏振双目线结构光融合互补三维重构方法，其特征在于，基于所述序列图像得到激光区域，使用Steger算法计算得到激光中心，包括：
对所述序列图像进行滤波处理得到预处理图像；
在Hessian矩阵中求解预处理图像激光区域中每个像素的法线方向；
在所述法线方向上利用Taylor展开得到亚像素坐标，将所述亚像素坐标作为激光中心。
3.如权利要求2所述的基于偏振双目线结构光融合互补三维重构方法，其特征在于，对所述序列图像进行滤波处理得到预处理图像，包括：
利用高斯函数二阶导的平滑核进行卷积，对序列图像进行预处理，其中，设置高斯方差，其中/>为光条宽度。
4.如权利要求3所述的基于偏振双目线结构光融合互补三维重构方法，其特征在于，在Hessian矩阵中求解预处理图像激光区域中每个像素的法线方向，包括：
任意像素的Hessian矩阵可表示为下式：
，
在公式中，表示条纹区域中每个像素的Hessian矩阵，/>为对x方向求两次偏导的二阶偏导数，/>为先对x求偏导，然后将所得的偏导数再对y求偏导的二阶偏导数，为对y方向求两次偏导的二阶偏导数。
5.如权利要求4所述的基于偏振双目线结构光融合互补三维重构方法，其特征在于，在所述法线方向上利用Taylor展开得到亚像素坐标，包括：
通过求解Hessian矩阵，以点为基准点，则光条纹中心的亚像素坐标/>公式为：
，
其中，Hessian矩阵的特征向量用表示，t表示为：/>，其中，/>为x方向的偏导数，/>为y方向的偏导数，/>为对x方向求两次偏导的二阶偏导数，/>为先对x求偏导，然后将所得的偏导数再对y求偏导的二阶偏导数，/>为对y方向求两次偏导的二阶偏导数。
6.基于偏振双目线结构光融合互补三维重构系统，其特征在于，包括：
序列图像获取单元，采集双目相机最佳偏振角度下的序列图像；其中，通过旋转偏振透镜偏转0°、45°和90°采集的物体图像，得到物体图像最小像素强度对应的最佳偏振角，偏振双目相机包括由左偏振相机和线激光器组成的左目系统和右偏振相机和线激光器组成的右目系统，所述序列图像包括多帧图像；
激光中心计算单元，基于所述序列图像得到激光区域，使用Steger算法计算得到激光中心；
三维坐标重构单元，基于所述双目相机内部参数和光平面方程对每一帧图像的所述激光中心进行三维坐标的解算，得到每一帧图像各自基于相机坐标系下的世界坐标系的激光空间三维坐标数据，生成高精度的三维重构结果；
所述光平面方程表示为：
，
其中，A，B，C为光平面方程参数，代表物体在z坐标轴上的位置或偏移量，/>代表物体在x坐标轴上的位置或偏移量，/>代表物体在y坐标轴上的位置或偏移量；
假定激光条纹投射在物体上任意点P在世界坐标为，其在左目系统坐标系下的坐标为/>，在右目系统坐标系下的坐标为/>，世界坐标系与双目相机坐标系的转换表示为：
,
，
其中，和/>分别表示世界坐标系和双目相机坐标系之间的旋转平移矩阵；
得到左目系统和右目系统之间的坐标转换关系为：
，
其中，表示双目相机的平移矩阵,/>表示双目相机的旋转矩阵，进而得到左目系统和右目系统之间的平移和旋转矩阵为：
，
其中，表示为右目系统旋转矩阵的逆矩阵。
7.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至5任一项所述的基于偏振双目线结构光融合互补三维重构方法。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现权利要求1至5任一项所述的基于偏振双目线结构光融合互补三维重构方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410405434.3A CN117994446B (zh) | 2024-04-07 | 基于偏振双目线结构光融合互补三维重构方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410405434.3A CN117994446B (zh) | 2024-04-07 | 基于偏振双目线结构光融合互补三维重构方法和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117994446A CN117994446A (zh) | 2024-05-07 |
| CN117994446B true CN117994446B (zh) | 2024-06-11 |
Family
ID=
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103413313A (zh) * | 2013-08-19 | 2013-11-27 | 国家电网公司 | 基于电力机器人的双目视觉导航系统及方法 |
| CN105571523A (zh) * | 2015-12-23 | 2016-05-11 | 中国科学院长春光学精密机械与物理研究所 | 直齿圆柱齿轮渐开线齿形误差视觉测量方法 |
| CN107907048A (zh) * | 2017-06-30 | 2018-04-13 | 长沙湘计海盾科技有限公司 | 一种基于线结构光扫描的双目立体视觉三维测量方法 |
| CN110645921A (zh) * | 2019-09-30 | 2020-01-03 | 武汉理工大学 | 一种基于偏振成像的冰形三维测量方法 |
| CN111121722A (zh) * | 2019-12-13 | 2020-05-08 | 南京理工大学 | 结合激光点阵和偏振视觉的双目三维成像方法 |
| CN112894209A (zh) * | 2021-01-19 | 2021-06-04 | 常州英迈乐智能系统有限公司 | 一种基于十字激光的管板智能焊接机器人自动平面校正方法 |
| CN113129430A (zh) * | 2021-04-02 | 2021-07-16 | 中国海洋大学 | 基于双目结构光的水下三维重建方法 |
| CN114255286A (zh) * | 2022-02-28 | 2022-03-29 | 常州罗博斯特机器人有限公司 | 一种多视角双目视觉感知的目标尺寸测量方法 |
| CN115880424A (zh) * | 2022-11-28 | 2023-03-31 | 杭州海康机器人股份有限公司 | 三维重建方法、装置、电子设备及机器可读存储介质 |
| CN116977391A (zh) * | 2023-07-31 | 2023-10-31 | 哈尔滨工程大学 | 一种基于双目多线结构光的水下三维重建方法 |
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103413313A (zh) * | 2013-08-19 | 2013-11-27 | 国家电网公司 | 基于电力机器人的双目视觉导航系统及方法 |
| CN105571523A (zh) * | 2015-12-23 | 2016-05-11 | 中国科学院长春光学精密机械与物理研究所 | 直齿圆柱齿轮渐开线齿形误差视觉测量方法 |
| CN107907048A (zh) * | 2017-06-30 | 2018-04-13 | 长沙湘计海盾科技有限公司 | 一种基于线结构光扫描的双目立体视觉三维测量方法 |
| CN110645921A (zh) * | 2019-09-30 | 2020-01-03 | 武汉理工大学 | 一种基于偏振成像的冰形三维测量方法 |
| CN111121722A (zh) * | 2019-12-13 | 2020-05-08 | 南京理工大学 | 结合激光点阵和偏振视觉的双目三维成像方法 |
| CN112894209A (zh) * | 2021-01-19 | 2021-06-04 | 常州英迈乐智能系统有限公司 | 一种基于十字激光的管板智能焊接机器人自动平面校正方法 |
| CN113129430A (zh) * | 2021-04-02 | 2021-07-16 | 中国海洋大学 | 基于双目结构光的水下三维重建方法 |
| CN114255286A (zh) * | 2022-02-28 | 2022-03-29 | 常州罗博斯特机器人有限公司 | 一种多视角双目视觉感知的目标尺寸测量方法 |
| CN115880424A (zh) * | 2022-11-28 | 2023-03-31 | 杭州海康机器人股份有限公司 | 三维重建方法、装置、电子设备及机器可读存储介质 |
| CN116977391A (zh) * | 2023-07-31 | 2023-10-31 | 哈尔滨工程大学 | 一种基于双目多线结构光的水下三维重建方法 |
Non-Patent Citations (2)
| Title |
|---|
| 基于偏振双目视觉的无纹理高反光目标三维重构;平茜茜;刘勇;董欣明;赵永强;张艳;;红外与毫米波学报;20170815(第04期);全文 * |
| 基于双目便携式三维扫描技术的小工件测量;刘家豪;贺赛先;;科学技术与工程;20160308(第07期);全文 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Ahmadabadian et al. | A comparison of dense matching algorithms for scaled surface reconstruction using stereo camera rigs | |
| Zhang et al. | Robust and efficient pose estimation from line correspondences | |
| Zhang et al. | 3D dynamic scene analysis: a stereo based approach | |
| Weber et al. | Automatic registration of unordered point clouds acquired by Kinect sensors using an overlap heuristic | |
| WO2018201677A1 (zh) | 基于光束平差的远心镜头三维成像系统的标定方法及装置 | |
| CN116129037B (zh) | 视触觉传感器及其三维重建方法、系统、设备及存储介质 | |
| Tan et al. | A welding seam positioning method based on polarization 3D reconstruction and linear structured light imaging | |
| CN115345942A (zh) | 空间标定方法、装置、计算机设备和存储介质 | |
| Lanman et al. | Spherical catadioptric arrays: Construction, multi-view geometry, and calibration | |
| Zhang et al. | Iterative projector calibration using multi-frequency phase-shifting method | |
| CN117994446B (zh) | 基于偏振双目线结构光融合互补三维重构方法和系统 | |
| Zheng et al. | A non-coplanar high-precision calibration method for cameras based on an affine coordinate correction model | |
| Chai et al. | Single-image calibration method for multiple virtual binocular vision system | |
| CN117994446A (zh) | 基于偏振双目线结构光融合互补三维重构方法和系统 | |
| Jiale et al. | Non-textured objects visual SLAM using pola-rization 3D reconstruction | |
| US11790606B2 (en) | Determining camera rotations based on known translations | |
| Maimone et al. | A taxonomy for stereo computer vision experiments | |
| Hassanpour et al. | Camera auto-calibration using a sequence of 2D images with small rotations | |
| Morinaga et al. | Underwater active oneshot scan with static wave pattern and bundle adjustment | |
| Chen et al. | Precise 6dof localization of robot end effectors using 3D vision and registration without referencing targets | |
| Dhome | Visual Perception Through Video Imagery | |
| Sekkati et al. | Direct and indirect 3-D reconstruction from opti-acoustic stereo imaging | |
| Martins et al. | Camera calibration using reflections in planar mirrors and object reconstruction using volume carving method | |
| Satouri et al. | Genetic algorithms and bundle adjustment for the enhancement of 3D reconstruction | |
| Wu et al. | A stable and effective calibration method for defocused cameras using synthetic speckle patterns |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |