CN110910506A - 基于法线检测的三维重建方法、装置、检测装置及系统 - Google Patents

基于法线检测的三维重建方法、装置、检测装置及系统 Download PDF

Info

Publication number
CN110910506A
CN110910506A CN201911221290.1A CN201911221290A CN110910506A CN 110910506 A CN110910506 A CN 110910506A CN 201911221290 A CN201911221290 A CN 201911221290A CN 110910506 A CN110910506 A CN 110910506A
Authority
CN
China
Prior art keywords
coordinate system
normal detection
light
calibration plate
dimensional reconstruction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911221290.1A
Other languages
English (en)
Other versions
CN110910506B (zh
Inventor
金韵
李晨
张旭
葛峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Jihui Huake Intelligent Equipment Technology Co ltd
Original Assignee
Jiangsu Jihui Huake Intelligent Equipment Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Jihui Huake Intelligent Equipment Technology Co ltd filed Critical Jiangsu Jihui Huake Intelligent Equipment Technology Co ltd
Priority to CN201911221290.1A priority Critical patent/CN110910506B/zh
Publication of CN110910506A publication Critical patent/CN110910506A/zh
Application granted granted Critical
Publication of CN110910506B publication Critical patent/CN110910506B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/30—Polynomial surface description
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/2441—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures using interferometry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Analysis (AREA)
  • Algebra (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Physics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明涉及光学测量技术领域，具体公开了一种基于物体表面法线检测的三维重建方法，其中，包括：获取待测物体表面的入射光线图像；对入射光线图像进行标定以及计算处理，得到入射光线方程；获取待测物体表面的反射光线图像；对反射光线图像通过位姿测量以及计算处理，得到反射光线方程；根据入射光线方程和反射光线方程计算得到待测物体表面光斑的梯度信息；根据获取到的待测物体表面多个光斑的梯度信息对待测物体进行三维重建。本发明还公开了一种基于物体表面法线检测的三维重建装置、物体表面法线检测装置及物体表面法线检测系统。本发明提供的基于物体表面法线检测的三维重建方法能够提高三维重建的精度和效率。

Description

基于法线检测的三维重建方法、装置、检测装置及系统
技术领域
本发明涉及光学测量技术领域，尤其涉及一种基于物体表面法线检测的三维重建方法、基于物体表面法线检测的三维重建装置、物体表面法线检测装置及物体表面法线检测系统。
背景技术
通常人们所接触的世界是三维的，相比距离、角度等一维、二维数据对世界的管窥蠡测，三维数据更贴近于实际，可以更完整地描述待测物体。目前，三维数据已广泛应用于测量、虚拟现实等多种领域，是认识环境、感知世界的重要工具。三维数据需要通过三维重建技术获得。广义三维重建是指通过测量工具与解算方法，获取目标局部点三维坐标、面三维结构乃至整体三维模型；狭义三维重建指通过重建技术，获取包括结构、纹理、尺度等的目标完整三维信息，其是广义三维重建的最高形式。
获取三维数据后，对目标进行各类测量是其最重要的应用之一，即三维重建测量。其分为接触式测量和非接触式测量。其中接触式测量具有测量速度慢，效率低；测量非刚体可能因接触使表面变形，导致测量数据不准等问题。目前广泛使用的是非接触式测量。非接触式三维重建测量是指在不接触待测目标的前提下，获得目标三维空间结构并进行测量的方法。具有精度高，速度快的特点。
基于结构光测量法是非接触式测量中的主动测量方法。其采用了外界人为、指定分布的照明光，在物体表面形成光场，结合三角测距原理将光场信息解算为深度信息，从而获得物体表面三维结构。其中的三角测量基本原理是由结构光投射器向待测物体表面投射可控制的光结构形成特征点，由电荷耦合器件(CCD)摄像机对物面进行拍摄，标定得到投射器及相机的位置、姿态等参数，利用三角测量原理交会计算特征点深度信息。目前大部分三维测量系统采用的都是三角测量法。直接三角法运算量小，测量系统便携，便于安装和维护，被广泛应用于工业级三维测量中。但是该方法测量精度受特征提取精度的约束，测量精度与速度难以同时得到提高；与所有光学非接触三维测量一样，存在遮挡问题；同时，受环境光源影响较大，一些形态的结构光的光强随测量距离的增大迅速衰减，并且高精度的测量设备成本也会相应较高。
发明内容
本发明提供了一种一种基于物体表面法线检测的三维重建方法、基于物体表面法线检测的三维重建装置、物体表面法线检测装置及物体表面法线检测系统，解决相关技术中存在的三维重建精度低的问题。
作为本发明的第一个方面，提供一种基于物体表面法线检测的三维重建方法，其中，包括：
获取待测物体表面的入射光线图像，其中所述待测物体表面的入射光线图像为面阵相机对待测物体表面被激光器照射后形成的光斑的成像；
对所述入射光线图像进行标定以及计算处理，得到入射光线方程；
获取所述待测物体表面的反射光线图像，其中所述待测物体表面的反射光线图像为面阵相机对经被测物体表面反射在全息膜上的光斑的成像；
对所述反射光线图像通过位姿测量以及计算处理，得到反射光线方程；
根据所述入射光线方程和所述反射光线方程计算得到待测物体表面光斑的梯度信息；
根据获取到的待测物体表面多个光斑的梯度信息对待测物体进行三维重建。
进一步地，所述对所述入射光线图像进行标定以及计算处理，得到入射光线方程，包括：
获取面阵相机的内参数和外参数，其中所述面阵相机的内参数和外参数为通过对面阵相机标定获得；
根据所述面阵相机的内参数和外参数计算待测物体的表面的光斑在相机坐标系下的坐标；
根据光斑在相机坐标系下的坐标拟合得到所述入射光线方程。
进一步地，所述根据所述面阵相机的内参数和外参数计算待测物体的表面的光斑在相机坐标系下的坐标，包括：
获取棋盘标定板的图像，其中所述棋盘标定板的图像为通过将棋盘标定板设置在待测物体所在的位置并被面阵相机拍摄后得到的图像；
通过重心法提取光斑在棋盘标定板的图像上的中心位置，并确定激光器发出的入射光线与棋盘标定板的焦点，其中所述光斑为所述激光器照射在所述棋盘标定板上形成；
分别获取多个位于不同于前一位姿的棋盘标定板在相机坐标系下的图像，并重复上述步骤以获得多个激光器的入射光线与棋盘标定板的交点；
根据对面阵相机进行标定获得的旋转和平移矩阵，计算棋盘标定板上的光斑在世界坐标系下的坐标；
计算棋盘标定板上的光斑从世界坐标系到相机坐标系下的坐标。
进一步地，所述对所述反射光线图像通过位姿测量以及计算处理，得到反射光线方程，包括：
获取圆形标定板的图像，并确定圆形标定板的特征点中心坐标，其中所述圆形标定板与所述全息膜紧贴设置，所述圆形标定板的图像为通过所述面阵相机拍摄所述圆形标定板得到；
建立圆形标定板的世界坐标系和圆形标定板的像素坐标的对应关系，并通过位姿测量方法确定圆形标定板所在的世界坐标系到相机坐标系的旋转和平移矩阵；
根据所述圆形标定板所在的世界坐标系到相机坐标系的旋转和平移矩阵计算全息膜上的光斑在相机坐标系下的坐标；
根据全息膜上的光斑在相机坐标系下的坐标以及棋盘标定板上的光斑在相机坐标系下的坐标拟合得到反射光线方程。
进一步地，所述根据所述相机坐标系的旋转和平移矩阵计算全息膜上的光斑在相机坐标系下的坐标，包括：
通过重心法提取光斑在所述全息膜上的重心，得到重心在像素坐标系下的坐标，并通过所述圆形标定板所在的世界坐标系到相机坐标系的旋转和平移矩阵计算重心从像素坐标系到世界坐标系下的坐标；
根据所述圆形标定板所在的世界坐标系到相机坐标系的旋转和平移矩阵计算全息膜上的光斑从世界坐标系到相机坐标系下的坐标。
进一步地，所述根据所述入射光线方程和所述反射光线方程计算得到待测物体表面光斑的梯度信息，包括：
根据所述入射光纤方差和所述反射光纤方差计算得到待测物体表面光斑的法线信息；
将所述待测物体表面光斑的法线信息进行转换得到待测物体表面光斑的梯度信息。
进一步地，所述根据获取到的待测物体表面多个光斑的梯度信息对待测物体进行三维重建，包括：
获得待测物体表面多个光斑的梯度信息；
根据所述待测物体表面的多个光斑的梯度信息获得泽尼克多项式系数；
根据所述泽尼克多项式系数获得面形函数；
根据所述面形函数重建待测物体的三维曲线。
作为本发明的另一个方面，提供一种基于物体表面法线检测的三维重建装置，其中，包括：存储器和处理器，所述存储器和所述处理器通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行前文所述的基于物体表面法线检测的三维重建方法。
作为本发明的另一个方面，提供一种物体表面法线检测装置，其中，包括：移动机构、法线检测机构、遮光板和底板，所述移动机构包括平台底座和机械臂，所述机械臂的一端设置在所述平台底座上，所述机械臂的另一端与所述底板连接，所述法线检测机构固定在所述底板上，所述遮光板与所述底板连接，
待测物体位于所述法线检测机构的设定区域，所述设定区域为所述法线检测机构的面阵相机的视场和法线检测机构的激光发射器的发射区域形成的交汇区域，且所述待测物体与法线检测机构的全息膜的距离能够使得所述面阵相机拍摄到所述待测物体。
作为本发明的另一个方面，提供一种物体表面法线检测系统，其中，包括：前文所述的基于物体表面法线检测的三维重建装置和前文所述的物体表面法线检测装置，所述物体表面法线检测装置中的法线检测机构与所述基于物体表面法线检测的三维重建装置通信连接。
本发明提供的基于物体表面法线检测的三维重建方法，通过采用法线测量方法获得物体表面的法线信息，进而获得物体表面梯度信息，根据梯度信息实现对待测物体的三维重建。这种基于物体表面法线检测的三维重建方法由于能够精确的计算得到物体表面的法线信息，能够提高三维重建的精度和效率，且不需要复杂的硬件结构，因此还能够降低三维重建所需的成本。
附图说明
附图是用来提供对本发明的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明，但并不构成对本发明的限制。在附图中：
图1为本发明提供的物体表面法线检测装置的立体结构示意图。
图2为本发明提供的物体表面法线检测装置的遮光板、底板以及法线检测机构的结构示意图。
图3为本发明提供的法线检测机构的组成示意图。
图4为本发明提供的遮光板组成示意图。
图5为本发明提供的全息膜和遮光板的连接示意图。
图6为本发明提供的面阵相机、激光发射器和底板的连接示意图。
图7为本发明提供的基于物体表面法线检测的三维重建方法的流程图。
图8为本发明提供的一种实施方式中的模拟曲线图。
图9为本发明提供的一种实施方式中的重建曲线图。
图10为本发明提供的另一种实施方式中的模拟曲线图。
图11为本发明提供的另一种实施方式中的重建曲线图。
具体实施方式
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互结合。下面将参考附图并结合实施例来详细说明本发明。
为了使本领域技术人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包括，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为了实现对物体表面的三维重建，本发明采用物体表面法线检测装置对物体表面进行检测，并将检测结果应用在基于法线检测的三维重建方法中，从而实现对物体表面的三维重建。
在本发明实施例中，提供一种物体表面法线检测装置，其中，如图1和图2所示，包括：移动机构100、法线检测机构200、遮光板300和底板400，所述移动机构100包括平台底座110和机械臂120，所述机械臂120的一端设置在所述平台底座110上，所述机械臂120的另一端与所述底板400连接，所述法线检测机构200固定在所述底板400上，所述遮光板300与所述底板400连接，
待测物体500位于所述法线检测机构200的设定区域，所述设定区域为所述法线检测机构200的面阵相机的视场和法线检测机构200的激光发射器的发射区域形成的交汇区域，且所述待测物体500与法线检测机构200的全息膜的距离能够使得所述面阵相机拍摄到所述待测物体500。
本实施例提供的物体表面法线检测装置，通过上述结构能够检测待测物体的表面法线，进而可以实现对待测物体的三维重建。
应当理解的是，通过移动机构的移动可以实现在移动范围内检测任意一处的待测物体表面的法线信息。
需要说明的是，所述机械臂120包括三个旋转关节121，其轴线相互平行，在平面内进行定位和定向。还具有一个移动关节(该移动关节位于所述平台底座内，图中未示出)，用来完成末端件在垂直于平面的运动，因此可以检测到在平面内的任何位置。
具体地，如图3至图6所示，所述法线检测机构带有一个具有微小光圈的面阵相机2、能够发射窄线宽激光的激光发射器1和85％透光率的全息膜3。该面阵相机2通过螺钉连接固定在相机底座13上，相机底座13通过螺钉14连接固定在底板400上，该激光发射器1通过螺钉连接激光器支架11，激光器支架11通过第一螺纹12以一定的角度连接固定在底板400上，该全息膜3覆盖了面阵相机2在此距离的全部视场，所述全息膜3通过与玻璃8贴合，用固定外框6和固定板9固定，通过第二螺纹10连接固定在遮光板300上。通过面阵相机2拍摄激光发射器1照射到待测物体500表面的光斑和反射光在全息膜3的光斑。全息膜3和面阵相机2的距离要确保面阵相机能够精确清晰识别特征点。
优选地，所述机械臂120的另一端通过第三螺纹4连接所述底板400。
需要说明的是，所述面阵相机2具有微小光圈的面阵相机，对待测物体500表面的光斑和经被测物体500表面反射在全息膜3上的光斑进行成像，其光斑对应于三维空间中的一条直线。
具体地，所述激光发射器1可以产生光斑直径为0.2mm的激光，对待测物体表面进行照射。
具体地，所述全息膜3具有85％透光率的特性，对待测物体500表面反射的光线进行光斑成像，其光斑对应于三维空间中的一条直线。
在本实施例中提供了一种基于物体表面法线检测的三维重建方法，图7是根据本发明实施例提供的基于物体表面法线检测的三维重建方法的流程图，如图7所示，包括：
S110、获取待测物体表面的入射光线图像，其中所述待测物体表面的入射光线图像为面阵相机对待测物体表面被激光器照射后形成的光斑的成像；
S120、对所述入射光线图像进行标定以及计算处理，得到入射光线方程；
S130、获取所述待测物体表面的反射光线图像，其中所述待测物体表面的反射光线图像为面阵相机对经被测物体表面反射在全息膜上的光斑的成像；
S140、对所述反射光线图像通过位姿测量以及计算处理，得到反射光线方程；
S150、根据所述入射光线方程和所述反射光线方程计算得到待测物体表面光斑的梯度信息；
S160、根据获取到的待测物体表面多个光斑的梯度信息对待测物体进行三维重建。
本实施例提供的基于物体表面法线检测的三维重建方法，通过采用法线测量方法获得物体表面的法线信息，进而获得物体表面梯度信息，根据梯度信息实现对待测物体的三维重建。这种基于物体表面法线检测的三维重建方法由于能够精确的计算得到物体表面的法线信息，能够提高三维重建的精度和效率，且不需要复杂的硬件结构，因此还能够降低三维重建所需的成本。
具体地，所述对所述入射光线图像进行标定以及计算处理，得到入射光线方程，包括：
获取面阵相机的内参数和外参数，其中所述面阵相机的内参数和外参数为通过对面阵相机标定获得；
根据所述面阵相机的内参数和外参数计算待测物体的表面的光斑在相机坐标系下的坐标；
根据光斑在相机坐标系下的坐标拟合得到所述入射光线方程。
进一步具体地，所述根据所述面阵相机的内参数和外参数计算待测物体的表面的光斑在相机坐标系下的坐标，包括：
获取棋盘标定板的图像，其中所述棋盘标定板的图像为通过将棋盘标定板设置在待测物体所在的位置并被面阵相机拍摄后得到的图像；
通过重心法提取光斑在棋盘标定板的图像上的中心位置，并确定激光器发出的入射光线与棋盘标定板的焦点，其中所述光斑为所述激光器照射在所述棋盘标定板上形成；
分别获取多个位于不同于前一位姿的棋盘标定板在相机坐标系下的图像，并重复上述步骤以获得多个激光器的入射光线与棋盘标定板的交点；
根据对面阵相机进行标定获得的旋转和平移矩阵，计算棋盘标定板上的光斑在世界坐标系下的坐标；
计算棋盘标定板上的光斑从世界坐标系到相机坐标系下的坐标。
下面结合前文的法线检测装置对本实施例提供的基于物体表面法线检测的三维重建方法中的入射光线方程的获取进行详细描述。
具体如下：首先打开激光发射器1，将移动平台100移动至合适位置，将棋盘标定板放置于待测物体500的位置并且被测视场内，使得面阵相机2能够获取棋盘标定板的图像，拍摄清晰明亮的棋盘标定板图像。再调小相机的曝光时间，仅保留激光在棋盘标定板上明亮的光斑，并拍摄。分别获取多个位于不同于前一位姿的棋盘标定板在相机坐标系的图像。通过灰度重心提取算法获得光斑在像素坐标系下的坐标。利用拍摄的多位姿棋盘标定板图案，对相机进行标定，获取棋盘标定板所在的世界坐标系到相机坐标的旋转和平移向量。对在像素坐标系下在光斑重心坐标进行计算转换得到在相机坐标系下的坐标，从而拟合得到入射光线方程。
1、世界坐标系到相机坐标：
Figure BDA0002300927970000071
其中Vc表示相机坐标系，
Figure BDA0002300927970000072
Vw表示世界坐标系，
Figure BDA0002300927970000073
设
Figure BDA0002300927970000074
则
Figure BDA0002300927970000075
因为在世界坐标系下的点的Z轴坐标为0，所以R可以写成：
Figure BDA0002300927970000076
所以得到变换矩阵为：
Figure BDA0002300927970000077
Vc＝T*Vw
2、像素坐标系到世界坐标系
Figure BDA0002300927970000078
带入变换矩阵得到：
Figure BDA0002300927970000079
其中
Figure BDA00023009279700000710
为内参矩阵。
故由标定已知内参矩阵，并且也已知相应的旋转矩阵的平移向量，因为尺度s不知道，所以最后的结果只能取(xw，yw)。得到(xw，yw)之后补上zw的坐标，即(xw，yw，0)，再通过旋转矩阵和平移向量，得到相机坐标系下的坐标如下：
Figure BDA00023009279700000711
拟合的入射光线方程为：
Figure BDA00023009279700000712
具体地，所述对所述反射光线图像通过位姿测量以及计算处理，得到反射光线方程，包括：
获取圆形标定板的图像，并确定圆形标定板的特征点中心坐标，其中所述圆形标定板与所述全息膜紧贴设置，所述圆形标定板的图像为通过所述面阵相机拍摄所述圆形标定板得到；
建立圆形标定板的世界坐标系和圆形标定板的像素坐标的对应关系，并通过位姿测量方法确定圆形标定板所在的世界坐标系到相机坐标系的旋转和平移矩阵；
根据所述圆形标定板所在的世界坐标系到相机坐标系的旋转和平移矩阵计算全息膜上的光斑在相机坐标系下的坐标；
根据全息膜上的光斑在相机坐标系下的坐标以及棋盘标定板上的光斑在相机坐标系下的坐标拟合得到反射光线方程。
进一步具体地，所述根据所述相机坐标系的旋转和平移矩阵计算全息膜上的光斑在相机坐标系下的坐标，包括：
通过重心法提取光斑在所述全息膜上的重心，得到重心在像素坐标系下的坐标，并通过所述圆形标定板所在的世界坐标系到相机坐标系的旋转和平移矩阵计算重心从像素坐标系到世界坐标系下的坐标；
根据所述圆形标定板所在的世界坐标系到相机坐标系的旋转和平移矩阵计算全息膜上的光斑从世界坐标系到相机坐标系下的坐标。
下面结合前文的法线检测装置对本实施例提供的基于物体表面法线检测的三维重建方法中的反射光线方程的获取进行详细描述。
具体如下：面阵相机2拍摄全息膜3上经待测物体反射的激光光斑。利用灰度重心提取算法获得光斑在像素坐标系下的坐标。将圆形标定板紧贴全息膜3，通过面阵相机2拍摄圆形标定板图像，利用椭圆中心检测确定标定板特征点中心坐标。建立圆形标定板所在世界坐标系和其像素坐标的对应关系，并通过PnP方法确定标定板所在的世界坐标系到在相机坐标系的旋转和平移矩阵。通过旋转和平移向量计算从光斑重心从像素坐标系到世界坐标系下的坐标，进而计算出从世界坐标系到相机坐标系下的坐标。根据棋盘标定板上的光斑和经被测目标表面反射的全息膜光斑在相机坐标系下的坐标，计算拟合成反射光线。
拟合成的反射光线为：
Figure BDA0002300927970000081
具体地，所述根据所述入射光线方程和所述反射光线方程计算得到待测物体表面光斑的梯度信息，包括：
根据所述入射光纤方差和所述反射光纤方差计算得到待测物体表面光斑的法线信息；
将所述待测物体表面光斑的法线信息进行转换得到待测物体表面光斑的梯度信息。
具体地，所述根据获取到的待测物体表面多个光斑的梯度信息对待测物体进行三维重建，包括：
获得待测物体表面多个光斑的梯度信息；
根据所述待测物体表面的多个光斑的梯度信息获得泽尼克多项式系数；
根据所述泽尼克多项式系数获得面形函数；
根据所述面形函数重建待测物体的三维曲线。
针对前文获得的入射光线方程和反射光线方程，利用泽尼克多项式对所有扫描点进行三维曲面或三维曲线重建。对面形函数进行x和y方向上求偏导，获得泽尼克多项式系数，带入面型函数中，即可获得待测物体表面的三维曲线或三维曲面。
具体地，采用泽尼克多项式对梯度信息进行计算，进而实现三维重建，包括：
首先计算获得梯度信息，对面形函数进行求偏导：
Figure BDA0002300927970000091
Figure BDA0002300927970000092
Figure BDA0002300927970000093
其中，[gx gy]表示被测物体的目标点梯度，n＝[nx ny nz]表示被测物体的法线信息，
Figure BDA0002300927970000094
分别表示泽尼克多项式在x和y方向梯度的导数，即wx(x，y)和wy(x，y)。把式(1)和(2)转换成矩阵的形式，如下：
Figure BDA0002300927970000095
其中，S为被测物体的采样点测得的梯度数据矩阵，大小为2mx1，m为采样点数量，wx(m)和wy(m)分分别第m个采样点的x方向和y方向的梯度，A为2mxn的泽尼克多项式偏导数值矩阵，
Figure BDA0002300927970000096
和
Figure BDA0002300927970000097
分别为泽尼克多项式第n项在第m个采样点的x和y方向的偏导数值，a为需要求解的泽尼克多项式系数，其最小二乘解为：
a＝A\S (4)
由式3可以获得泽尼克多项式系数，带入到面型函数中即可确定w(x,y)。
需要说明的是，此处的采样点即为待测物体表面被激光发射器照射后的光斑。
参见图8和图9所示，三维曲面仿真实验：
模拟的球面方程为：
x2+y2+z2＝20， (-5≤x≤5) (5)
在每个采样点的梯度添加高斯噪声，期望为0，标准差为0.0005。三维曲面的重建精度为6.3693×10-5。
参见图10和图11所示，三维曲线仿真实验：
模拟的曲线方程为：
Figure BDA0002300927970000098
在每个采样点的梯度添加高斯噪声，期望为0，标准差为0.0005。三维曲面的重建精度为9.8222×10-8。
本发明提供的基于物体表面法线检测的三维重建方法，相较于市面上有的三维测量系统具有以下显而易见的突出特点和显著优点：
在不降低测量精度的前提下，用全息膜代替了现有三维测量系统的感光元件，并且只需要一台普通的面阵相机，使得整体的结构更加紧凑，便携性更强，成本更加低廉。
采用极窄线宽的激光发射器，其对物体表面的高度变化相对于普通三维测量系统具有更高的敏感度，能够识别更微小的高度变化。并且采用目前精度较高的泽尼克多项式三维重建算法，确保了重建的精度。使该系统具有更高的检测精度。
本发明操作简单，用户只需要将待测物体放在相机视场内，不需要物体与系统摆放的位置精度。只需要用标定板标定一次后，就可以计算出后续采样点的入射和反射光线，进而得到采样点的梯度信息，计算出的梯度信息具有唯一性，在此梯度信息的基础上通过上述的方法即可恢复出待测物体表面的三维曲线或曲面。
作为本发明的另一实施例，提供一种基于物体表面法线检测的三维重建装置，其中，包括：存储器和处理器，所述存储器和所述处理器通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行前文所述的基于物体表面法线检测的三维重建方法。
关于本发明提供的基于物体表面法线检测的三维重建装置的具体工作原理可以参照前文的基于物体表面法线检测的三维重建方法的描述，此处不再赘述。
作为本发明的另一实施例，提供一种物体表面法线检测系统，其中，包括：前文所述的基于物体表面法线检测的三维重建装置和前文所述的物体表面法线检测装置，所述物体表面法线检测装置中的法线检测机构与所述基于物体表面法线检测的三维重建装置通信连接。
关于本发明提供的物体表面法线检测系统的具体工作原理可以参照前文的基于物体表面法线检测的三维重建方法的描述，此处不再赘述。
可以理解的是，以上实施方式仅仅是为了说明本发明的原理而采用的示例性实施方式，然而本发明并不局限于此。对于本领域内的普通技术人员而言，在不脱离本发明的精神和实质的情况下，可以做出各种变型和改进，这些变型和改进也视为本发明的保护范围。

Claims (10)

1.一种基于物体表面法线检测的三维重建方法，其特征在于，包括：
获取待测物体表面的入射光线图像，其中所述待测物体表面的入射光线图像为面阵相机对待测物体表面被激光器照射后形成的光斑的成像；
对所述入射光线图像进行标定以及计算处理，得到入射光线方程；
获取所述待测物体表面的反射光线图像，其中所述待测物体表面的反射光线图像为面阵相机对经被测物体表面反射在全息膜上的光斑的成像；
对所述反射光线图像通过位姿测量以及计算处理，得到反射光线方程；
根据所述入射光线方程和所述反射光线方程计算得到待测物体表面光斑的梯度信息；
根据获取到的待测物体表面多个光斑的梯度信息对待测物体进行三维重建。
2.根据权利要求1所述的基于物体表面法线检测的三维重建方法，其特征在于，所述对所述入射光线图像进行标定以及计算处理，得到入射光线方程，包括：
获取面阵相机的内参数和外参数，其中所述面阵相机的内参数和外参数为通过对面阵相机标定获得；
根据所述面阵相机的内参数和外参数计算待测物体的表面的光斑在相机坐标系下的坐标；
根据光斑在相机坐标系下的坐标拟合得到所述入射光线方程。
3.根据权利要求2所述的基于物体表面法线检测的三维重建方法，其特征在于，所述根据所述面阵相机的内参数和外参数计算待测物体的表面的光斑在相机坐标系下的坐标，包括：
获取棋盘标定板的图像，其中所述棋盘标定板的图像为通过将棋盘标定板设置在待测物体所在的位置并被面阵相机拍摄后得到的图像；
通过重心法提取光斑在棋盘标定板的图像上的中心位置，并确定激光器发出的入射光线与棋盘标定板的焦点，其中所述光斑为所述激光器照射在所述棋盘标定板上形成；
分别获取多个位于不同于前一位姿的棋盘标定板在相机坐标系下的图像，并重复上述步骤以获得多个激光器的入射光线与棋盘标定板的交点；
根据对面阵相机进行标定获得的旋转和平移矩阵，计算棋盘标定板上的光斑在世界坐标系下的坐标；
计算棋盘标定板上的光斑从世界坐标系到相机坐标系下的坐标。
4.根据权利要求3所述的基于物体表面法线检测的三维重建方法，其特征在于，所述对所述反射光线图像通过位姿测量以及计算处理，得到反射光线方程，包括：
获取圆形标定板的图像，并确定圆形标定板的特征点中心坐标，其中所述圆形标定板与所述全息膜紧贴设置，所述圆形标定板的图像为通过所述面阵相机拍摄所述圆形标定板得到；
建立圆形标定板的世界坐标系和圆形标定板的像素坐标的对应关系，并通过位姿测量方法确定圆形标定板所在的世界坐标系到相机坐标系的旋转和平移矩阵；
根据所述圆形标定板所在的世界坐标系到相机坐标系的旋转和平移矩阵计算全息膜上的光斑在相机坐标系下的坐标；
根据全息膜上的光斑在相机坐标系下的坐标以及棋盘标定板上的光斑在相机坐标系下的坐标拟合得到反射光线方程。
5.根据权利要求4所述的基于物体表面法线检测的三维重建方法，其特征在于，所述根据所述相机坐标系的旋转和平移矩阵计算全息膜上的光斑在相机坐标系下的坐标，包括：
通过重心法提取光斑在所述全息膜上的重心，得到重心在像素坐标系下的坐标，并通过所述圆形标定板所在的世界坐标系到相机坐标系的旋转和平移矩阵计算重心从像素坐标系到世界坐标系下的坐标；
根据所述圆形标定板所在的世界坐标系到相机坐标系的旋转和平移矩阵计算全息膜上的光斑从世界坐标系到相机坐标系下的坐标。
6.根据权利要求1所述的基于物体表面法线检测的三维重建方法，其特征在于，所述根据所述入射光线方程和所述反射光线方程计算得到待测物体表面光斑的梯度信息，包括：
根据所述入射光纤方差和所述反射光纤方差计算得到待测物体表面光斑的法线信息；
将所述待测物体表面光斑的法线信息进行转换得到待测物体表面光斑的梯度信息。
7.根据权利要求1所述的基于物体表面法线检测的三维重建方法，其特征在于，所述根据获取到的待测物体表面多个光斑的梯度信息对待测物体进行三维重建，包括：
获得待测物体表面多个光斑的梯度信息；
根据所述待测物体表面的多个光斑的梯度信息获得泽尼克多项式系数；
根据所述泽尼克多项式系数获得面形函数；
根据所述面形函数重建待测物体的三维曲线。
8.一种基于物体表面法线检测的三维重建装置，其特征在于，包括：存储器和处理器，所述存储器和所述处理器通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行权利要求1~7中任一项所述的基于物体表面法线检测的三维重建方法。
9.一种物体表面法线检测装置，其特征在于，包括：移动机构、法线检测机构、遮光板和底板，所述移动机构包括平台底座和机械臂，所述机械臂的一端设置在所述平台底座上，所述机械臂的另一端与所述底板连接，所述法线检测机构固定在所述底板上，所述遮光板与所述底板连接，
待测物体位于所述法线检测机构的设定区域，所述设定区域为所述法线检测机构的面阵相机的视场和法线检测机构的激光发射器的发射区域形成的交汇区域，且所述待测物体与法线检测机构的全息膜的距离能够使得所述面阵相机拍摄到所述待测物体。
10.一种物体表面法线检测系统，其特征在于，包括：权利要求8所述的基于物体表面法线检测的三维重建装置和权利要求9所述的物体表面法线检测装置，所述物体表面法线检测装置中的法线检测机构与所述基于物体表面法线检测的三维重建装置通信连接。
CN201911221290.1A 2019-12-03 2019-12-03 基于法线检测的三维重建方法、装置、检测装置及系统 Active CN110910506B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911221290.1A CN110910506B (zh) 2019-12-03 2019-12-03 基于法线检测的三维重建方法、装置、检测装置及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911221290.1A CN110910506B (zh) 2019-12-03 2019-12-03 基于法线检测的三维重建方法、装置、检测装置及系统

Publications (2)

Publication Number Publication Date
CN110910506A true CN110910506A (zh) 2020-03-24
CN110910506B CN110910506B (zh) 2021-02-09

Family

ID=69821724

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911221290.1A Active CN110910506B (zh) 2019-12-03 2019-12-03 基于法线检测的三维重建方法、装置、检测装置及系统

Country Status (1)

Country Link
CN (1) CN110910506B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114092663A (zh) * 2022-01-21 2022-02-25 盈嘉互联（北京）科技有限公司 面向城市信息模型建筑三维重建方法、装置、设备及介质
CN114219898A (zh) * 2021-12-21 2022-03-22 山西大学 一种基于光学图像的选择性集成三维重建方法
CN115598624A (zh) * 2021-06-28 2023-01-13 苏州一径科技有限公司（Cn） 一种激光雷达的标定方法、装置及设备
CN118134985A (zh) * 2024-05-08 2024-06-04 中国空气动力研究与发展中心低速空气动力研究所 一种基于稠密时序的复杂冰形三维重构方法及介质

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2371886C (en) * 1999-06-18 2012-01-03 The University Of Utah Research Foundation Method and apparatus for noninvasive measurement of carotenoids and related chemical substances in biological tissue
CN102749834A (zh) * 2012-07-24 2012-10-24 河北工程大学 一种光学显微成像系统及成像方法
CN103727897A (zh) * 2014-01-21 2014-04-16 杭州先临三维科技股份有限公司 类镜面表面测试方法
CN105783775A (zh) * 2016-04-21 2016-07-20 清华大学 一种镜面及类镜面物体表面形貌测量装置与方法
CN106920263A (zh) * 2017-03-10 2017-07-04 大连理工大学 基于Kinect的无畸变集成成像三维显示方法
CN107170043A (zh) * 2017-06-19 2017-09-15 电子科技大学 一种三维重建方法
CN107228625A (zh) * 2017-06-01 2017-10-03 深度创新科技（深圳）有限公司 三维重建方法、装置及设备
CN107292931A (zh) * 2016-03-30 2017-10-24 宝山钢铁股份有限公司 用于带材表面检测的线扫描相机折返成像标定系统及方法
US20180372934A1 (en) * 2017-06-22 2018-12-27 Honeywell International Inc. Apparatus and method for a holographic optical field flattener
CN109448109A (zh) * 2018-10-22 2019-03-08 江苏集萃微纳自动化系统与装备技术研究所有限公司 扫描电镜图像的三维重建方法
CN110032278A (zh) * 2019-03-29 2019-07-19 华中科技大学 一种人眼感兴趣物体的位姿识别方法、装置及系统
CN110360930A (zh) * 2019-08-29 2019-10-22 江苏集萃华科智能装备科技有限公司 一种激光位移法线传感器及其测量方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2371886C (en) * 1999-06-18 2012-01-03 The University Of Utah Research Foundation Method and apparatus for noninvasive measurement of carotenoids and related chemical substances in biological tissue
CN102749834A (zh) * 2012-07-24 2012-10-24 河北工程大学 一种光学显微成像系统及成像方法
CN103727897A (zh) * 2014-01-21 2014-04-16 杭州先临三维科技股份有限公司 类镜面表面测试方法
CN107292931A (zh) * 2016-03-30 2017-10-24 宝山钢铁股份有限公司 用于带材表面检测的线扫描相机折返成像标定系统及方法
CN105783775A (zh) * 2016-04-21 2016-07-20 清华大学 一种镜面及类镜面物体表面形貌测量装置与方法
CN106920263A (zh) * 2017-03-10 2017-07-04 大连理工大学 基于Kinect的无畸变集成成像三维显示方法
CN107228625A (zh) * 2017-06-01 2017-10-03 深度创新科技（深圳）有限公司 三维重建方法、装置及设备
CN107170043A (zh) * 2017-06-19 2017-09-15 电子科技大学 一种三维重建方法
US20180372934A1 (en) * 2017-06-22 2018-12-27 Honeywell International Inc. Apparatus and method for a holographic optical field flattener
CN109448109A (zh) * 2018-10-22 2019-03-08 江苏集萃微纳自动化系统与装备技术研究所有限公司 扫描电镜图像的三维重建方法
CN110032278A (zh) * 2019-03-29 2019-07-19 华中科技大学 一种人眼感兴趣物体的位姿识别方法、装置及系统
CN110360930A (zh) * 2019-08-29 2019-10-22 江苏集萃华科智能装备科技有限公司 一种激光位移法线传感器及其测量方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
BYRD R H ET AL: ""Approximate solution of the trust region problem by minimization over two-dimensional subspaces"", 《MATHEMATICAL PROGRAMMING》 *
RYUTARO OI ET AL: ""Three-dimensional reflection screens fabricated by holographic wavefront printer"", 《OPTICAL ENGINEERING》 *
徐强胜 等: ""基于数字全息层析的三维测量技术"", 《上海计量测试》 *
李晨 等: ""单相机监控偏折术测量方法"", 《光学学报》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115598624A (zh) * 2021-06-28 2023-01-13 苏州一径科技有限公司（Cn） 一种激光雷达的标定方法、装置及设备
CN115598624B (zh) * 2021-06-28 2023-12-12 苏州一径科技有限公司 一种激光雷达的标定方法、装置及设备
CN114219898A (zh) * 2021-12-21 2022-03-22 山西大学 一种基于光学图像的选择性集成三维重建方法
CN114219898B (zh) * 2021-12-21 2024-04-16 山西大学 一种基于光学图像的选择性集成三维重建方法
CN114092663A (zh) * 2022-01-21 2022-02-25 盈嘉互联（北京）科技有限公司 面向城市信息模型建筑三维重建方法、装置、设备及介质
CN114092663B (zh) * 2022-01-21 2022-04-26 盈嘉互联（北京）科技有限公司 面向城市信息模型建筑三维重建方法、装置、设备及介质
CN118134985A (zh) * 2024-05-08 2024-06-04 中国空气动力研究与发展中心低速空气动力研究所 一种基于稠密时序的复杂冰形三维重构方法及介质

Also Published As

Publication number Publication date
CN110910506B (zh) 2021-02-09

Similar Documents

Publication Publication Date Title
CN110910506B (zh) 基于法线检测的三维重建方法、装置、检测装置及系统
TW544509B (en) Method and system for measuring the relief of an object
JP2021072634A (ja) 改良されたカメラ較正システム、標的、およびプロセス
CN113532329B (zh) 一种以投射光斑为标定点的标定方法
CN106949836B (zh) 一种立体视觉摄像头同侧目标位置标定装置及方法
Peng Algorithms and models for 3-D shape measurement using digital fringe projections
WO2015132981A1 (ja) 位置測定装置及び位置測定方法
JP2003130621A (ja) ３次元形状計測方法およびその装置
CN116067283B (zh) 一种深腔测量方法、装置、设备及介质
US20110170767A1 (en) Three-dimensional (3d) imaging method
CN111578860A (zh) 基于反射镜及单目视觉的三维形貌测量方法
Dekiff et al. Three-dimensional data acquisition by digital correlation of projected speckle patterns
CN115661226B (zh) 镜面物体的三维测量方法、计算机可读存储介质
Zhou et al. Constructing feature points for calibrating a structured light vision sensor by viewing a plane from unknown orientations
JP2017207477A (ja) 精密ハンドヘルドスキャナ
Horbach et al. 3D reconstruction of specular surfaces using a calibrated projector–camera setup
Hartlieb et al. Highly accurate imaging based position measurement using holographic point replication
Li et al. Monocular underwater measurement of structured light by scanning with vibrating mirrors
JP2018179577A (ja) 位置計測装置
Popescu et al. The modelcamera: a hand-held device for interactive modeling
CN110462688A (zh) 使用基于模型的峰值选择的三维轮廓确定系统及方法
Li et al. Uncalibrated Euclidean 3-D reconstruction using an active vision system
JP5441752B2 (ja) 環境内の３ｄ物体の３ｄ姿勢を推定する方法及び装置
CN114241059B (zh) 一种光度立体视觉系统中相机和光源的同步标定方法
JP2005292027A (ja) 三次元形状計測・復元処理装置および方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant