CN117333649B - 一种动态扰动下高频线扫描稠密点云的优化方法 - Google Patents

一种动态扰动下高频线扫描稠密点云的优化方法 Download PDF

Info

Publication number
CN117333649B
CN117333649B CN202311389823.3A CN202311389823A CN117333649B CN 117333649 B CN117333649 B CN 117333649B CN 202311389823 A CN202311389823 A CN 202311389823A CN 117333649 B CN117333649 B CN 117333649B
Authority
CN
China
Prior art keywords
point cloud
array camera
contour
line scanning
frequency
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311389823.3A
Other languages
English (en)
Other versions
CN117333649A (zh
Inventor
杨凌辉
马璐瑶
邾继贵
刘皓月
樊一源
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN202311389823.3A priority Critical patent/CN117333649B/zh
Publication of CN117333649A publication Critical patent/CN117333649A/zh
Application granted granted Critical
Publication of CN117333649B publication Critical patent/CN117333649B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/262—Analysis of motion using transform domain methods, e.g. Fourier domain methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Architecture (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种动态扰动下高频线扫描稠密点云的优化方法，包括：双目线阵相机系统在运动状态下对被测表面进行高频、高分辨率的线扫描，获取点云形貌并映射纹理；面阵相机与线阵相机系统固连，在同一时钟下以更低的频率拍摄被测物表面，通过瞬时的二维图像为线扫描点云提供优化基准，减小点云轮廓之间的拼接误差；利用被测表面局部连续性对线扫描点云进一步约束，与基于二维图像的优化方法形成互补，实现更全面的点云优化，使基于线阵相机的线扫描形貌测量克服了对动态扰动的高敏感性，能够在多种运动场景下进行高效、精细的三维形貌测量，为运动状态下的列车、铁轨、隧道检测等领域提供思路和价值。

Description

一种动态扰动下高频线扫描稠密点云的优化方法
技术领域
本发明涉及运动状态下高分辨率三维形貌重建与细节检测技术领域，尤其是涉及一种动态扰动下高频线扫描稠密点云的优化方法。
背景技术
稠密三维点云在工业领域的细节分析检测中发挥重要的作用，其重建结果直观，信息丰富。随着产业升级，高效和精细的运动状态下三维形貌测量成为一项关键需求，例如在移动检测车上进行的铁路检查、隧道检测，对运行中的列车进行表面缺陷检测，在自动导航小车或无人机上对大型飞机进行检查。为了避免遗漏细节和占用太多时间，足够高的分辨率和扫描速度成为重要需求，同时还要保证重建的质量。
视觉测量方法具有高精度、快速、非接触、非逐点的优势，得到广泛应用。而传统的面阵相机测量方法更偏向与在静态环境下进行高质量、高分辨率的三维重建。相比之下，线阵相机作为仅在一维方向成像的特殊视觉传感器，可以轻松实现超高的采集频率(高达几十或几百kHz)和分辨率(可高达16k)，可以在运动状态下有效使用多帧测量方法实现高质量、高分辨率的点云测量。由于线阵相机单次测量生成点云轮廓，需要依靠连续的相对运动实现大量的点云轮廓配准，获取拼接而成的三维形貌。因此，线阵相机是专门为运动场景设计的传感器，其高频线扫描稠密点云最能满足上一段提到的运动状态下测量需求，具有巨大的价值和潜力。
然而，动态扰动是运动测量中不可避免的问题，如列车和轨道检测车辆的振动，或自动导航小车和无人机的运动偏差。对于线阵相机测量方法，其点云轮廓配准依赖于相对运动且误差容易累积，对动态扰动尤为敏感，导致点云在拼接方向出现失真。为了解决这一问题，通常使用高精度运动平台或优化点云。然而，高频线扫描的测量方式，使得点云配准优化成为难题，其根本原因是优化基准难以获取。(1)点云采集频率过高，难以提供基于姿态估计的外部基准。例如，基于面阵相机和特征点的定位方法、基于合作靶标和激光跟踪仪、全站仪等仪器的定位方法，频率均难以满足要求，无法纠正每条点云轮廓的位姿、提高拼接精度。(2)由于缺乏形状或图像参考，难以提供线扫描之间的内部基准。线扫描点云轮廓在形状上没有重叠或明显特征，难以采用基于迭代最临近点(Iterative ClosestPoint，ICP)的点云配准。同理，一维图像之间也很难相互关联。因此目前而言，高频线扫描点云的优化是一个巨大的挑战，使得线阵相机的发展和应用遇到了瓶颈。
发明内容
本发明的目的是提供一种动态扰动下高频线扫描稠密点云的优化方法，解决了高频线扫描模式下获取的点云在运动延展方向上精度差、优化基准难构建的问题，使基于线阵相机的线扫描形貌测量克服了对动态扰动的高敏感性，能够在多种运动场景下进行高效、精细的三维形貌测量，为运动状态下的列车、铁轨、隧道检测等领域提供思路和价值。
为实现上述目的，本发明提供了一种动态扰动下高频线扫描稠密点云的优化方法，包括以下步骤：
S1、所有相机固连，在运动状态下对被测物表面进行扫描，其中双目线阵相机为共面设置，面阵相机靠近其中一个线阵相机且视场覆盖线阵相机的线视场，所有相机由投影仪触发，工作在同一时钟下，投影仪高频投影结构光，线阵相机高频采集，面阵相机被分频后的投影仪信号触发低频采集，线阵相机采集到一维结构光图像；
S2、双目线阵相机的高频采集与投影仪的高速投影相互配合，对线阵相机采集的一维结构光图像通过傅里叶轮廓术获取折叠相位，根据多频相位解包裹计算展开相位，根据双目立体视觉的原理在线阵相机的视平面内生成线阵点云轮廓，并根据系统的移动速度和线阵相机的采集频率对线阵点云轮廓沿扫描运动方向进行拼接，得到线阵点云轮廓的大致拼接结果；
S3、面阵相机的曝光时间与线阵相机一致，在投影仪照明的辅助下捕获二维图像；
S4、由于S2的运动过程难免出现动态扰动，点云轮廓的位姿发生变化，拼接精度下降，导致整体点云形貌出现失真，根据步骤S3获得的二维图像和步骤S2得到的线阵点云轮廓对面阵相机每次采集的视场内线阵点云轮廓的位姿进行优化校正，提高线阵点云轮廓的拼接精度，受限于面阵相机成像原理，仅校正垂直于面阵相机光轴的平面内的三自由度位姿扰动；
S5、剩余的三个自由度的扰动会以面外噪声的形式改变点云的形状，因此可依靠被测表面的局部连续性进行约束与校正，根据S2中线阵点云轮廓的大致拼接结果，沿着点云轮廓拼接延展的方向进行连续性表面的搜索，若点与点的间距小于一定阈值则判断为具有局部连续性的表面片段，在判定为连续性的表面片段内进行降噪拟合，获得的低噪声的参考基准用来对点云轮廓的拼接进行约束校正；
S6、采用最临近点查找的匹配方法将低噪声基准与线扫描点云轮廓关联，采用高斯牛顿法优化每一条点云轮廓在剩余三个自由度的位姿扰动，S6与S4共同实现每条点云轮廓六自由度位姿的全面校正，有效提升点云轮廓的拼接精度，减小整体点云形貌的失真。
优选的，在步骤S1中，各相机触发采集包括以下步骤：
S11、投影仪切换投影图案的同时会输出硬触发信号，一路信号直接连接线阵相机输入端口进行硬件触发；
S12、另一路信号需要进行分频后触发面阵相机。由于线阵相机采集频率非常高，因此测量中可以选择2000分频对面阵相机进行触发，具体分频的数值可根据现场的扫描速度和相机视场进行灵活调节。
优选的，在步骤S2中，线阵相机点云轮廓生成包括如下步骤：
S21、系统一个投影周期内投影高速循环投影三张不同频率的正弦条纹图和一张白图，确保相位的无歧义展开和背景干扰的去除，实现高质量三维重建，并进行纹理映射，单张条纹图用于基于傅里叶轮廓术的折叠相位计算，三张条纹图能够确保相位的无歧义展开，白图用来实现背景干扰的去除和纹理映射，为了实现高速投影，基于二值图案离焦投影的正弦条纹生成方法被采用，根据待测表面的状态更改投影条纹的设置，如被测表面比较平坦，减少投影图案数目并结合空间相位展开法，采用相移条纹进行折叠相位计算；
S22、通过寻找左右相机相同相位的点，实现一维图像的匹配，再根据降维的双目立体模型，实现基于线阵视觉的点云生成，生成的点云为线阵相机视平面内的一条点云轮廓，由于线阵相机采集频率非常高，一个投影周期内的动态干扰基本可以忽略，能够在运动状态下生成高精度点云轮廓，由于点云轮廓间缺少约束和误差累计效应，点云轮廓沿运动方向的拼接精度差，这是造成拼接后的三维点云形貌失真的主要原因。
优选的，在步骤S3中，面阵相机采集图像的过程如下：
运动造成的图像模糊可由缩短相机曝光时间来解决，面阵相机有分频后的投影仪信号触发，面阵相机采集的分频数需要是投影仪投影周期的整数倍，曝光时间和单张图案投影时间一致，因此，每次面阵相机拍摄时，可保证投影仪正好投影白图，通过这种方式，面阵相机可以在线阵相机结构光测量的同时仍能有效捕获高质量的、亮度理想的被测物表面纹理信息。
优选的，在步骤S4中，基于二维图像的校正过程，具体描述如下：
S41、点云轮廓根据大致运动信息和标定的系统外参，重投影到面阵相机图像平面上；
S42、将重投影的点云轮廓像素点和二维图像进行匹配；
S43、匹配结束后，利用高斯牛顿法进行优化；
S44、通过迭代优化的方式，逐步提高匹配精度，并针对面内平移旋转的三个自由度对线扫描点云轮廓的位姿进行优化，减小运动方向的拼接误差。
优选的，在步骤S41中，假设P[X Y Z]T是点云轮廓上的一个点，P'[X' Y' Z']T是其在面阵坐标系下的坐标，则有坐标转换方程：
P'＝RaP+Ta＝exp(ξ^)P
其中Ra和Ta是旋转矩阵和平移向量，ξ是位姿的李代数表达，依次包括X、Y、Z三轴平移和三轴旋转，exp()在李代数中称作指数映射，^表示求解反对称矩阵，之后对P'[X' Y'Z']T进行重投影，重投影的公式为：
其中(u,v)为像素坐标，(fx,fy)为面阵相机焦距，(cx,cy)为主点。
优选的，在步骤S42中，由于点云轮廓特征不明显，且高频采集的点云轮廓和低频采集的二维图像采集时间不一致，传统的基于特征描述子或基于互相关归一化的方法不再有效，因此设计新的方法，将像素的灰度作为第三维的信息，对图像进行三维化，在三维化的图像中，依靠最临近点查找的手段将重投影点云轮廓上的点和二维图像上的点进行匹配。
优选的，在步骤S43中，像素坐标误差表示为：
给予ξ一个扰动δξ，扰动量即为待优化量，雅克比矩阵的计算过程为：
其中，
单个点的雅克比矩阵为2×6，假设一条点云轮廓共N个点，则整条点云轮廓雅克比矩阵为2N×6的矩阵：
受限于面阵相机成像原理，基于面阵相机二维图像基准的校正仅对垂直于面阵相机光轴的平面内的三自由度位姿扰动更为敏感，当校正考虑面内平移和旋转的三个自由度时，雅克比矩阵仅包含第1、2、6列，根据雅克比矩阵，对整条点云轮廓的位姿进行校正：
δξ＝-(JTJ)-1JTe。
优选的，在步骤S44中，由于单次匹配难以寻找到最准确的点，单次优化也难以达到最理想的效果，因此在每一次优化后，进入下一次迭代，重新执行匹配和优化步骤，直到精度足够高或者达到一定的迭代次数，由于一条点云轮廓由大量相对精度很高的点组成，优化的可靠性得到了保证，同时方法不需要被测表面具有非常密集、丰富的纹理。
优选的，在步骤S6中，根据局部连续性优化每一条点云轮廓位姿的过程，具体描述如下：
S61、由于单条点云轮廓精度高且包含高分辨率细节特征，因此逐一提取点云轮廓，仅对点云轮廓的位姿进行优化；
S62、利用最临近三维点查找的方法，将点云轮廓和低噪声基准进行匹配；
S63、利用高斯牛顿优化的方法校正点云轮廓的在面外三个自由度的位姿，设P为[X Y Z]T是某条点云轮廓上的一点，则雅克比矩阵计算过程如下：
考虑到仅需优化面外三个自由度，保留雅克比矩阵第3、4、5列，形成2×3的矩阵，则包含N个点的整条点云轮廓的雅克比矩阵为2N×3，获得雅克比矩阵之后即可对点云轮廓的位姿进行校正。
因此，本发明采用上述一种动态扰动下高频线扫描稠密点云的优化方法，其技术效果如下：
(1)高频线扫描的测量方式，使得动态扰动下点云配准的优化成为难题，其根本是难以获取优化的基准。本发明采用低频、高精度二维图像捕获的方式，结合有效的图像点云匹配方法和高斯牛顿优化方法，解决了优化基准获取的难题，使得线扫描点云轮廓的拼接配准误差得到校正，提升细节特征三维重建的精度。
(2)本发明提出的方法易于实施，适用于飞机蒙皮、铁轨等常见工业产品的表面。
(3)本发明方法通过有效的优化手段，解决了动态扰动对线阵相机形貌测量的严重影响，使高精度导轨和理想的无振动测量环境不再成为必要条件，扩大线阵相机测量的应用场景并提高实用性，有效服务于铁路运输、航空航天等领域中高效、精细的运动状态下三维形貌测量。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
图1为动态扰动下高频线扫描稠密点云的优化方法的工作流程图；
图2为所提出方法对应的系统结构图。
图3为线阵系统生成点云轮廓的示意图
图4为基于二维图像优化方法的流程图
附图标记
1、共面双目线阵相机；2、投影仪；3、面阵相机；4、线阵相机测量点云轮廓；5、面阵相机视场。
具体实施方式
以下通过附图和实施例对本发明的技术方案作进一步说明。
除非另外定义，本发明使用的技术术语或者科学术语应当为本发明所属领域内具有一般技能的人士所理解的通常意义。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的主旨或基本特征的情况下，能够以其它的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内，不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其它实施方式。这些其它实施方式也涵盖在本发明的保护范围内。
还应当理解，以上所述的具体实施例仅用于解释本发明，本发明的保护范围并不限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明/发明的保护范围之内。
对于相关领域普通技术人员已知的技术、方法和设备可能不作为详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
本发明说明书中引用的现有技术文献所公开的内容整体均通过引用并入本发明中，并且因此是本发明公开内容的一部分。
实施例一
如图所示，本发明提供了一种动态扰动下高频线扫描稠密点云的优化方法，包括以下步骤：
S1、所有相机固连，在运动状态下对被测物表面进行扫描，其中双目线阵相机为共面设置，面阵相机靠近其中一个线阵相机且视场覆盖线阵相机的线视场，如图2所示，所有相机由投影仪触发，工作在同一时钟下，投影仪高频投影结构光，线阵相机高频采集，面阵相机被分频后的投影仪信号触发低频采集，线阵相机采集到一维结构光图像。
S11、投影仪切换投影图案的同时会输出硬触发信号。一路信号直接连接双目线阵相机输入端口进行硬件触发。
S12、另一路信号需要进行分频后触发面阵相机。由于线阵相机采集频率非常高，因此测量中可以选择2000分频对面阵相机进行触发。在其他实施例中，具体分频的数值可根据现场的扫描速度和相机视场进行灵活调节。
S2、双目线阵相机的高频采集与投影仪的高速投影相互配合，对线阵相机采集的一维结构光图像通过傅里叶轮廓术获取折叠相位，根据多频相位解包裹计算展开相位，根据双目立体视觉的原理在线阵相机的视平面内生成线阵点云轮廓，并根据系统的移动速度和线阵相机的采集频率对线阵点云轮廓沿扫描运动方向进行拼接，得到线阵点云轮廓的大致拼接结果。
S21、如图3所示，系统一个投影周期内投影高速循环投影三张不同频率的正弦条纹图和一张白图，确保相位的无歧义展开和背景干扰的去除，实现高质量三维重建，并进行纹理映射，单张条纹图用于基于傅里叶轮廓术的折叠相位计算，三张条纹图能够确保相位的无歧义展开，白图用来实现背景干扰的去除和纹理映射，为了实现高速投影，基于二值图案离焦投影的正弦条纹生成方法被采用，根据待测表面的状态更改投影条纹的设置，如被测表面比较平坦，减少投影图案数目并结合空间相位展开法，如想进一步提高细节精度，采用相移条纹进行折叠相位计算。
S22、通过寻找左右相机相同相位的点，实现一维光结构图像的匹配，再根据降维的双目立体模型，实现基于线阵视觉的点云生成。生成的点云为线阵相机视平面内的一条点云轮廓。由于线阵相机采集频率非常高，一个投影周期内的动态干扰基本可以忽略，能够在运动状态下生成高精度点云轮廓。由于点云轮廓间缺少约束和误差累计效应，点云轮廓沿运动方向的拼接精度差，这是造成拼接后的三维点云形貌失真的主要原因。
S3、面阵相机的曝光时间与线阵相机一致，均足够短暂，可以避免运动状态下捕获的图像出现模糊。在步骤S12中面阵相机由投影仪信号经分频后触发，可与投影仪照明相互配合，在短暂的曝光时间获取足够亮度的二维图像。由于二维成像的特性，面阵相机的视场可覆盖多条线阵点云轮廓，这种一对多的关系足以使低频的面阵相机校正高频的线扫描点云。
面阵相机采集图像的过程如下：
运动造成的图像模糊可由缩短相机曝光时间来解决。面阵相机的曝光时间与线阵相机一致，均在2000微秒以下，短暂时间内运动造成的影响可忽略不计，因此面阵相机拍摄的纹理图案保持清晰。面阵相机有分频后的投影仪信号触发，其中分频数需要是投影仪投影周期的整数倍，以确保每次面阵相机拍摄时投影仪正好投影白图。投影仪的白图为面阵相机纹理拍摄提供了理想的光源，确保二维图像具有合适的亮度。通过这种方式，面阵相机实现了在线阵相机结构光测量的同时有效捕获高质量的、亮度理想的被测物表面纹理信息。与线阵相机的线视场不同，面阵相机可以在两个维度方向覆盖更大的视场，单次采集的观测范围将覆盖大量的线扫描点云轮廓。面阵图像与线扫描点云轮廓形成一对多的对应关系，使得低频的面阵相机采集能够适配高频的线阵扫描，确保了全部点云的有效覆盖与校正。
S4、由于S2的运动过程难免出现动态扰动，点云轮廓的位姿发生变化，拼接精度下降，导致整体点云形貌出现失真，根据步骤S3获得的二维图像和步骤S2得到的线阵点云轮廓对面阵相机每次采集的视场内线阵点云轮廓的位姿进行优化校正，提高线阵点云轮廓的拼接精度，受限于面阵相机成像原理，仅校正垂直于面阵相机光轴的平面内的三自由度位姿扰动。
S41、步骤S2得到的点云轮廓根据大致运动信息和标定的系统外参，可重投影到面阵相机图像平面上。假设P[X Y Z]T是点云轮廓上的一个点，P'[X' Y' Z']T是其在面阵坐标系下的坐标，则有坐标转换方程：
P'＝RaP+Ta＝exp(ξ^)P
其中Ra和Ta是旋转矩阵和平移向量，ξ是位姿的李代数表达，依次包括X、Y、Z三轴平移和三轴旋转，exp()在李代数中称作指数映射，^表示求解反对称矩阵。之后对P'[X' Y'Z']T进行重投影，重投影的公式为：
其中(u,v)为像素坐标，(fx,fy)为面阵相机焦距，(cx,cy)为主点。
S42、将步骤S41得到的重投影的点云轮廓像素点和步骤S3得到的二维图像进行匹配。由于点云轮廓特征不明显，且高频采集的点云轮廓和低频采集的二维图像采集时间不一致，传统的基于特征描述子或基于互相关归一化的方法不再有效。因此设计新的方法，将像素的灰度作为第三维的信息，对图像进行三维化。在三维化的图像中，依靠最临近点查找的手段将重投影点云轮廓上的点和二维图像上的点进行匹配。
S43、匹配结束后，利用高斯牛顿法进行优化。像素坐标误差表示为：
给予ξ一个扰动δξ，扰动量即为待优化量。雅克比矩阵的计算过程为：
其中，
单个点的雅克比矩阵为2×6。假设一条点云轮廓共N个点，则整条点云轮廓雅克比矩阵为2N×6的矩阵：
受限于面阵相机的成像原理，只有在垂直于光轴的平面内三个自由度的平移和旋转会显著改变相机像平面上的纹理信息。因此，基于面阵相机二维图像基准的校正仅对垂直于面阵相机光轴的平面内的三自由度位姿扰动更为敏感，当校正考虑面内平移和旋转的三个自由度时，雅克比矩阵仅包含第1、2、6列。根据雅克比矩阵，对整条点云轮廓的位姿进行校正：
δξ＝-(JTJ)-1JTe。
S44、由于单次匹配难以寻找到最准确的点，单次优化也难以达到最理想的效果。因此在每一次优化后，进入下一次迭代，重新执行匹配和优化步骤，直到精度足够高或者达到一定的迭代次数，如图4所示。由于一条点云轮廓由大量相对精度很高的点组成，优化的可靠性得到了保证，同时方法不需要被测表面具有非常密集、丰富的纹理。
S5、剩余的三个自由度的扰动会以面外噪声的形式改变点云的形状，因此可依靠被测表面的局部连续性进行约束与校正。根据线阵点云轮廓的大致拼接结果，沿着点云轮廓拼接延展的方向进行连续性表面的搜索，若点与点的间距小于一定阈值则判断为具有局部连续性的表面片段。在判定为连续性的表面片段内进行降噪拟合，获得的低噪声的参考基准用来对点云轮廓的拼接进行约束校正。
其中，利用表面局部连续性校正面外三个自由度的扰动解释如下：
剩余三个自由度的扰动不会显著改变重投影图像的纹理，但会以面外噪声的形式改变点云的形状，因此可通过被测表面的形状基准进行约束。测量系统面向运动状态下的三维形貌测量，典型应用场景有铁轨检测、列车检测、大型飞机检测等，这些待测表面均会存在一定的局部连续性。因此可依靠被测表面的局部连续性对剩余的面外三个自由度的扰动进行校正，满足实际的工程应用需求。
其中，局部连续性判断与降噪拟合过程的解释如下：
根据线阵点云轮廓的大致拼接结果，沿着点云轮廓拼接延展的方向进行逐点式判断，若点与点的间距小于一定阈值则判断为具有局部连续性的表面片段。若点与点间距满足连续性要求但斜率趋势整体发生大幅变化，则需判断为不同类型的连续性表面并分开处理。在动态扰动的影响下，点云在拼接延展方向引入误差，因此需沿着该方向进一步对局部连续性表面进行降噪拟合。为提高拟合精度，进行分段小范围拟合，并对不同类型的连续性表面分开拟合。获得的拟合结果虽然损失一部分非连续性细节特征，但噪声更低、受动态扰动程度更小，可作为后续优化的基准。
S6、根据低噪声基准，采用最临近点查找的匹配方法与线扫描点云关联，采用高斯牛顿法优化每一条点云轮廓的位姿，使点云轮廓之间属于连续性表面的区域尽量满足较好的连续性，同时有效保留了细节特征。
根据局部连续性优化每一条点云轮廓位姿的过程，具体描述如下：
S61、由于单条点云轮廓精度高且包含高分辨率细节特征，因此逐一提取点云轮廓，仅对点云轮廓的位姿进行优化。
S62、利用最临近三维点查找的方法，将点云轮廓和低噪声基准进行匹配。
S63、利用高斯牛顿优化的方法校正点云轮廓的在面外三个自由度的位姿。设P为[X Y Z]T是某条点云轮廓上的一点，则雅克比矩阵计算过程如下：
考虑到仅需优化面外三个自由度，则保留雅克比矩阵第3、4、5列，形成2×3的矩阵。则包含N个点的整条点云轮廓的雅克比矩阵为2N×3。获得雅克比矩阵之后即可对点云轮廓的位姿进行校正。
通过基于二维图像和基于连续性表面约束的双重优化，实现六自由度点云轮廓位姿的校正，以此实现点云拼接的优化，提高整体三维重建的精度。
六自由度点云轮廓位姿校正的解释如下：
基于二维图像的优化方法针对面内三个自由度进行校正，基于局部连续性约束的优化方法针对剩余三个自由度进行校正，合起来即为6个自由度。二者实现了互补，确保了更全面、完善的优化。6自由度校正提供了最全面的校正手段，在其他实施例中，运动的偏差有可能集中在固定的几个自由度上，而在某个自由度的扰动可能很小，能够忽略不计，这种情况下为简化算法可减少一个或多个自由度的校正。
因此，本发明采用上述一种动态扰动下高频线扫描稠密点云的优化方法，解决了高频线扫描模式下获取的点云在运动延展方向上精度差、优化基准难构建的问题，使基于线阵相机的线扫描形貌测量克服了对动态扰动的高敏感性，能够在多种运动场景下进行高效、精细的三维形貌测量，为运动状态下的列车、铁轨、隧道检测等领域提供思路和价值。
最后应说明的是：以上实施例仅用以说明本发明的技术方案而非对其进行限制，尽管参照较佳实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对本发明的技术方案进行修改或者等同替换，而这些修改或者等同替换亦不能使修改后的技术方案脱离本发明技术方案的精神和范围。

Claims (4)

1.一种动态扰动下高频线扫描稠密点云的优化方法，其特征在于，包括以下步骤：
S1、所有相机固连，在运动状态下对被测物表面进行扫描，其中双目线阵相机为共面设置，面阵相机靠近其中一个线阵相机且视场覆盖线阵相机的线视场，所有相机由投影仪触发，工作在同一时钟下，投影仪高频投影结构光，线阵相机高频采集，面阵相机被分频后的投影仪信号触发低频采集，线阵相机采集到一维结构光图像；
S2、双目线阵相机的高频采集与投影仪的高速投影相互配合，对线阵相机采集的一维结构光图像通过傅里叶轮廓术获取折叠相位，根据多频相位解包裹计算展开相位，根据双目立体视觉的原理在线阵相机的视平面内生成线扫描点云轮廓，并根据系统的移动速度和线阵相机的采集频率对线扫描点云轮廓沿扫描运动方向进行拼接，得到线扫描点云轮廓的大致拼接结果；
S3、面阵相机的曝光时间与线阵相机一致，在投影仪照明的辅助下捕获二维图像；
S4、由于S2的运动过程难免出现动态扰动，点云轮廓的位姿发生变化，拼接精度下降，导致整体点云形貌出现失真，根据步骤S3获得的二维图像和步骤S2得到的线扫描点云轮廓对面阵相机每次采集的视场内线扫描点云轮廓的位姿进行优化校正，提高线扫描点云轮廓的拼接精度，受限于面阵相机成像原理，仅校正垂直于面阵相机光轴的平面内的三自由度位姿扰动；
S5、剩余的三个自由度的扰动会以面外噪声的形式改变点云的形状，因此可依靠被测表面的局部连续性进行约束与校正，根据S2中线扫描点云轮廓的大致拼接结果，沿着点云轮廓拼接延展的方向进行连续性表面的搜索，若点与点的间距小于一定阈值则判断为具有局部连续性的表面片段，在判定为连续性的表面片段内进行降噪拟合，获得的低噪声的参考基准用来对点云轮廓的拼接进行约束校正；
S6、采用最临近点查找的匹配方法将低噪声基准与线扫描点云轮廓关联，采用高斯牛顿法优化每一条点云轮廓在剩余三个自由度的位姿扰动，S6与S4共同实现每条点云轮廓六自由度位姿的全面校正，有效提升点云轮廓的拼接精度，减小整体点云形貌的失真；
在步骤S4中，基于二维图像的校正过程，具体描述如下：
S41、点云轮廓根据大致运动信息和标定的系统外参，重投影到面阵相机图像平面上；
S42、将重投影的点云轮廓像素点和二维图像进行匹配；
S43、匹配结束后，利用高斯牛顿法进行优化；
S44、通过迭代优化的方式，逐步提高匹配精度，并针对面内平移旋转的三个自由度对线扫描点云轮廓的位姿进行优化，减小运动方向的拼接误差；
在步骤S41中，假设是点云轮廓上的一个点，/>是其在面阵坐标系下的坐标，则有坐标转换方程：
；
其中R a 和T a 是旋转矩阵和平移向量，是位姿的李代数表达，依次包括X、Y、Z三轴平移和三轴旋转，exp( )在李代数中称作指数映射，^表示求解反对称矩阵，之后对进行重投影，重投影的公式为：
，
其中为像素坐标，/>为面阵相机焦距，/>为主点；
在步骤S42中，由于点云轮廓特征不明显，且高频采集的点云轮廓和低频采集的二维图像采集时间不一致，传统的基于特征描述子或基于互相关归一化的方法不再有效，因此设计新的方法，将像素的灰度作为第三维的信息，对图像进行三维化，在三维化的图像中，依靠最临近点查找的手段将重投影点云轮廓上的点和二维图像上的点进行匹配；
在步骤S43中，像素坐标误差表示为：
，
给予一个扰动/>，扰动量即为待优化量，雅克比矩阵的计算过程为：
，
其中，
，
；
单个点的雅克比矩阵为2×6，假设一条点云轮廓共N个点，则整条点云轮廓雅克比矩阵为2N×6的矩阵：
；
受限于面阵相机成像原理，基于面阵相机二维图像基准的校正仅对垂直于面阵相机光轴的平面内的三自由度位姿扰动更为敏感，当校正考虑面内平移和旋转的三个自由度时，雅克比矩阵仅包含第1、2、6列，根据雅克比矩阵，对整条点云轮廓的位姿进行校正：
；
在步骤S44中，由于单次匹配难以寻找到最准确的点，单次优化也难以达到最理想的效果，因此在每一次优化后，进入下一次迭代，重新执行匹配和优化步骤，直到精度足够高或者达到一定的迭代次数，由于一条点云轮廓由大量相对精度很高的点组成，优化的可靠性得到了保证，同时方法不需要被测表面具有非常密集、丰富的纹理；
在步骤S6中，根据局部连续性优化每一条点云轮廓位姿的过程，具体描述如下：
S61、由于单条点云轮廓精度高且包含高分辨率细节特征，因此逐一提取点云轮廓，仅对点云轮廓的位姿进行优化；
S62、利用最临近三维点查找的方法，将点云轮廓和低噪声基准进行匹配；
S63、利用高斯牛顿优化的方法校正点云轮廓的在面外三个自由度的位姿，设为是某条点云轮廓上的一点，则雅克比矩阵计算过程如下：
；
考虑到仅需优化面外三个自由度，保留雅克比矩阵第3、4、5列，形成2×3的矩阵，则包含N个点的整条点云轮廓的雅克比矩阵为2N×3，获得雅克比矩阵之后即可对点云轮廓的位姿进行校正。
2.根据权利要求1所述的一种动态扰动下高频线扫描稠密点云的优化方法，其特征在于，在步骤S1中，各相机触发采集包括以下步骤：
S11、投影仪切换投影图案的同时会输出硬触发信号，一路信号直接连接线阵相机输入端口进行硬件触发；
S12、另一路信号需要进行分频后触发面阵相机，由于线阵相机采集频率非常高，因此测量中可以选择2000分频对面阵相机进行触发，具体分频的数值可根据现场的扫描速度和相机视场进行灵活调节。
3.根据权利要求1所述的一种动态扰动下高频线扫描稠密点云的优化方法，其特征在于，在步骤S2中，线扫描点云轮廓生成包括如下步骤：
S21、系统一个投影周期内投影高速循环投影三张不同频率的正弦条纹图和一张白图，确保相位的无歧义展开和背景干扰的去除，实现高质量三维重建，并进行纹理映射，单张条纹图用于基于傅里叶轮廓术的折叠相位计算，三张条纹图能够确保相位的无歧义展开，白图用来实现背景干扰的去除和纹理映射，为了实现高速投影，基于二值图案离焦投影的正弦条纹生成方法被采用，根据待测表面的状态更改投影条纹的设置，如被测表面比较平坦，减少投影图案数目并结合空间相位展开法，采用相移条纹进行折叠相位计算；
S22、通过寻找左右相机相同相位的点，实现一维图像的匹配，再根据降维的双目立体模型，实现基于线阵视觉的点云生成，生成的点云为线阵相机视平面内的一条点云轮廓，由于线阵相机采集频率非常高，一个投影周期内的动态干扰基本可以忽略，能够在运动状态下生成高精度点云轮廓，由于点云轮廓间缺少约束和误差累计效应，点云轮廓沿运动方向的拼接精度差，这是造成拼接后的三维点云形貌失真的主要原因。
4.根据权利要求1所述的一种动态扰动下高频线扫描稠密点云的优化方法，其特征在于，在步骤S3中，面阵相机采集图像的过程如下：
运动造成的图像模糊可由缩短相机曝光时间来解决，面阵相机由分频后的投影仪信号触发，面阵相机采集的分频数需要是投影仪投影周期的整数倍，曝光时间和单张图案投影时间一致，因此，每次面阵相机拍摄时，可保证投影仪正好投影白图，通过这种方式，面阵相机可以在线阵相机结构光测量的同时仍能有效捕获高质量的、亮度理想的被测物表面纹理信息。
CN202311389823.3A 2023-10-25 2023-10-25 一种动态扰动下高频线扫描稠密点云的优化方法 Active CN117333649B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311389823.3A CN117333649B (zh) 2023-10-25 2023-10-25 一种动态扰动下高频线扫描稠密点云的优化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311389823.3A CN117333649B (zh) 2023-10-25 2023-10-25 一种动态扰动下高频线扫描稠密点云的优化方法

Publications (2)

Publication Number Publication Date
CN117333649A CN117333649A (zh) 2024-01-02
CN117333649B true CN117333649B (zh) 2024-06-04

Family

ID=89277147

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311389823.3A Active CN117333649B (zh) 2023-10-25 2023-10-25 一种动态扰动下高频线扫描稠密点云的优化方法

Country Status (1)

Country Link
CN (1) CN117333649B (zh)

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103257342A (zh) * 2013-01-11 2013-08-21 大连理工大学 三维激光传感器与二维激光传感器的联合标定方法
WO2018049843A1 (zh) * 2016-09-14 2018-03-22 杭州思看科技有限公司 三维传感器系统及三维数据获取方法
WO2018103693A1 (zh) * 2016-12-07 2018-06-14 西安知象光电科技有限公司 一种三维轮廓的光学混合检测方法
CN111242990A (zh) * 2020-01-06 2020-06-05 西南电子技术研究所（中国电子科技集团公司第十研究所） 基于连续相位稠密匹配的360°三维重建优化方法
CN112013792A (zh) * 2020-10-19 2020-12-01 南京知谱光电科技有限公司 一种复杂大构件机器人面扫描三维重建方法
CN112347840A (zh) * 2020-08-25 2021-02-09 天津大学 视觉传感器激光雷达融合无人机定位与建图装置和方法
EP3783385A1 (en) * 2019-08-23 2021-02-24 Leica Geosystems AG Combined point cloud generation using a stationary laser scanner and a mobile scanner
CN112489110A (zh) * 2020-11-25 2021-03-12 西北工业大学青岛研究院 一种水下动态场景光学混合三维成像方法
CN114111637A (zh) * 2021-11-25 2022-03-01 天津工业大学 一种基于虚拟双目的条纹结构光三维重建方法
CN115147540A (zh) * 2022-05-07 2022-10-04 南方科技大学 一种改进的三维重构方法
CN115471534A (zh) * 2022-08-31 2022-12-13 华南理工大学 基于双目视觉和imu的水下场景三维重建方法及设备
WO2023272902A1 (zh) * 2021-06-30 2023-01-05 南京理工大学 基于条纹投影的双目双频互补三维面型测量方法
CN115836875A (zh) * 2022-11-10 2023-03-24 上海联影医疗科技股份有限公司 校正方法及系统
CN116310250A (zh) * 2023-02-10 2023-06-23 杭州汇萃智能科技有限公司 一种基于三维传感器的点云拼接方法、系统和存储介质
CN116358449A (zh) * 2023-04-13 2023-06-30 东南大学 一种基于双目面结构光的飞机铆钉凹凸量测量方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115880415A (zh) * 2021-09-28 2023-03-31 中国电子科技集团公司第三十八研究所 三维重建方法、装置、电子设备及存储介质

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103257342A (zh) * 2013-01-11 2013-08-21 大连理工大学 三维激光传感器与二维激光传感器的联合标定方法
WO2018049843A1 (zh) * 2016-09-14 2018-03-22 杭州思看科技有限公司 三维传感器系统及三维数据获取方法
WO2018103693A1 (zh) * 2016-12-07 2018-06-14 西安知象光电科技有限公司 一种三维轮廓的光学混合检测方法
EP3783385A1 (en) * 2019-08-23 2021-02-24 Leica Geosystems AG Combined point cloud generation using a stationary laser scanner and a mobile scanner
CN111242990A (zh) * 2020-01-06 2020-06-05 西南电子技术研究所（中国电子科技集团公司第十研究所） 基于连续相位稠密匹配的360°三维重建优化方法
CN112347840A (zh) * 2020-08-25 2021-02-09 天津大学 视觉传感器激光雷达融合无人机定位与建图装置和方法
CN112013792A (zh) * 2020-10-19 2020-12-01 南京知谱光电科技有限公司 一种复杂大构件机器人面扫描三维重建方法
CN112489110A (zh) * 2020-11-25 2021-03-12 西北工业大学青岛研究院 一种水下动态场景光学混合三维成像方法
WO2023272902A1 (zh) * 2021-06-30 2023-01-05 南京理工大学 基于条纹投影的双目双频互补三维面型测量方法
CN114111637A (zh) * 2021-11-25 2022-03-01 天津工业大学 一种基于虚拟双目的条纹结构光三维重建方法
CN115147540A (zh) * 2022-05-07 2022-10-04 南方科技大学 一种改进的三维重构方法
CN115471534A (zh) * 2022-08-31 2022-12-13 华南理工大学 基于双目视觉和imu的水下场景三维重建方法及设备
CN115836875A (zh) * 2022-11-10 2023-03-24 上海联影医疗科技股份有限公司 校正方法及系统
CN116310250A (zh) * 2023-02-10 2023-06-23 杭州汇萃智能科技有限公司 一种基于三维传感器的点云拼接方法、系统和存储介质
CN116358449A (zh) * 2023-04-13 2023-06-30 东南大学 一种基于双目面结构光的飞机铆钉凹凸量测量方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Luyao Ma等.Flexible High-Resolution Continuous 3-D Scanning for Large-Scale Industrial Components.《IEEE Transactions on Instrumentation and Measurement ( Volume:72)》.2023,全文. *
Wu, Weitong等.AFLI-Calib: Robust LiDAR-IMU extrinsic self-calibration based on adaptive frame length LiDAR odometry.《ISPRS JOURNAL OF PHOTOGRAMMETRY AND REMOTE SENSING》.2023,第157-181页. *
张利萍 ; 刘桂华 ; 可杨 ; .基于单双目融合的遮挡区域点云获取技术研究.微型机与应用.2017,(04),全文. *
李荣华 ; 王振宇 ; 陈凤 ; 肖余之 ; 薛豪鹏 ; .空间失稳目标线阵成像畸变分析与三维重建.宇航学报.2020,(02),全文. *

Also Published As

Publication number Publication date
CN117333649A (zh) 2024-01-02

Similar Documents

Publication Publication Date Title
CN110514143B (zh) 一种基于反射镜的条纹投影系统标定方法
CN110288642B (zh) 基于相机阵列的三维物体快速重建方法
JP5029618B2 (ja) パターン投影法による３次元形状計測装置、方法およびプログラム
CN103759670B (zh) 一种基于数字近景摄影的物体三维信息获取方法
CN105716542B (zh) 一种基于柔性特征点的三维数据拼接方法
KR101733228B1 (ko) 구조광을 이용한 3차원 스캐닝 장치
CN113160339B (zh) 一种基于沙姆定律的投影仪标定方法
CN110793464B (zh) 大视场条纹投影视觉三维测量系统和方法
CN109919911A (zh) 基于多视角光度立体的移动三维重建方法
CN110500970B (zh) 一种多频率结构光三维测量方法
JP2003269928A (ja) ３次元形状計測方法および装置ならびにプログラム
CN113962853B (zh) 一种旋转线阵扫描图像位姿自动化精密解算方法
CN117333649B (zh) 一种动态扰动下高频线扫描稠密点云的优化方法
Ma et al. A point cloud optimization method for accurate line-scan 3-D measurement in motion with dynamic disturbance
JP6099281B2 (ja) 書籍読み取りシステム及び書籍読み取り方法
CN116433841A (zh) 一种基于全局优化的实时模型重建方法
CN114252020B (zh) 一种多工位全场条纹图相移辅助散斑大长宽比间隙测量方法
CN104463863A (zh) 基于时间外差投影的运动干涉场的标定方法与系统
CN113865514B (zh) 一种线结构光三维测量系统标定方法
JP4985213B2 (ja) ３次元形状計測方法および装置ならびにプログラム
Chen et al. A novel camera calibration method based on known rotations and translations
Zhang et al. 4D metrology of flapping-wing micro air vehicle based on fringe projection
Ouji et al. A space-time depth super-resolution scheme for 3D face scanning
CN118189857B (zh) 基于单相机-投影仪系统的数字图像相关的三维测量方法及系统
CN116958292A (zh) 一种面向光滑物体面型重建的偏折成像方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant