CN116229017A - 一种基于逆向投影的管件三维模型重建方法 - Google Patents

一种基于逆向投影的管件三维模型重建方法 Download PDF

Info

Publication number
CN116229017A
CN116229017A CN202310121207.3A CN202310121207A CN116229017A CN 116229017 A CN116229017 A CN 116229017A CN 202310121207 A CN202310121207 A CN 202310121207A CN 116229017 A CN116229017 A CN 116229017A
Authority
CN
China
Prior art keywords
point
points
line
pipe
pipe fitting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310121207.3A
Other languages
English (en)
Inventor
王健
万雨晖
钟坤霖
王紫君
吕琦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University
Original Assignee
Nanjing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University filed Critical Nanjing University
Publication of CN116229017A publication Critical patent/CN116229017A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20061—Hough transform
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

一种基于逆向投影的管件三维模型重建方法，管件图像采集和预处理步骤：搭建图像采集系统，通过分布在管件周围双目相机进行图像抓取；中心线提取步骤中，将上述得到的管件轮廓连续点作离散化处理，使用Delaunay算法对轮廓离散点作三角剖分处理，得到关于离散点的Voronoi多边形，多边形顶点即为可能的中心线集；特征点提取步骤：采用霍夫变换检测中心线中的直线段部分，从而识别中心线上直线与圆弧的分界点，使用8邻域搜索提取出各部分直线的端点；多目相机标定步骤：特征点提取后的制作面积置于图像标定板采集系统中；管件的三维模型重建步骤：将同一管件在不同相机下识别出的对应的标定点得到各中心线的特征点的三维世界坐标。

Description

一种基于逆向投影的管件三维模型重建方法
技术领域
本发明涉及多目视觉重建技术领域，主要涉及一种基于逆向投影的管件三维模型重建方法。
背景技术
管路系统主要负责气体、液体等介质传输的，被大量应用于化工材料、能源电力、石油燃料、航空航天、船舶制造、汽车制造等工业中，是高端机电生产的重要组成部分。管件通常由数控弯管机弯曲加工制得，加工过程中的回弹、起皱、横截面畸变等因素会导致加工零件与设计要求之间产生一定的加工误差。工程中，为了保证加工中的回弹补偿和加工后的质量检测以及实现管路的无应力装配，需要对导致弯曲成型后的空间几何形态进行精确测量和重构，并在此基础上进行校正。随着计算机视觉和机器学习的发展，将多目视觉方法应用于管件数字化测量和重建成为了热门研究方向。
将多目视觉方法应用于管件数字化测量和重建的领域中，涉及到已有技术有：1)在多目视觉测量领域，相机标定是测量过程中的一个重要环节，论文《CAMERA CALIBRATIONUSING NEURAL NETWORKS(用神经网络实现相机标定)》
Figure BDA0004080025590000011
M,Da Silva I N,CastanhoJ E C.Camera calibration using neural networks[J].2002.提出了一种基于机器学习的相机标定方法，将标定点的图像坐标和其对应的世界坐标分别作为神经网络的输入和输出，经过神经网络训练后得到由二维图像坐标到三维世界坐标的对应关系模型。2)张天的论文《基于多目视觉的管路数字化测量方法研究》[1]张天.基于多目视觉的管路数字化测量方法研究[D].北京理工大学,2014.提出了一种基于中心线匹配的管路重建技术，其基本思想是：管路的生产是一根圆柱形直管经弯管机弯曲和裁剪后获得，因此可将整个管路抽象化为或直或弯的多个类圆柱体组成的几何体，其几何特性可通过中心线和管路直径表征和重建。3)CN110766669B[一种基于多目视觉的管线测量方法]公开了一种基于中心线匹配和外径扩展的管线测量方法，提出了中心线动态匹配方法和基于形心变换的外径计算方法。
综合以上分析，基于多目视觉的管件测量领域中的管件建模存在以下缺点：1)论文《CAMERA CALIBRATION USING NEURAL NETWORKS(用神经网络实现相机标定)》将标定点的图像坐标和其对应的世界坐标分别作为神经网络的输入和输出、实现由二维图像坐标到三维世界坐标对应的相机标定方法，未能获得由三维世界坐标到二维像素坐标的逆向对应关系，本发明提出了二维图像坐标与三维像素坐标之间的双向映射方法；2)在管线特征点识别环节，张天论文中的方法对边界点进行了标记，从而便于获取端点的坐标，该操作复杂且无法实现无接触式测量。
本发明提出了一种基于逆向投影的管件三维模型重建方法，无需对管件和管件图像做任何点位标记，即可精确获得端点坐标；CN110766669B[一种基于多目视觉的管线测量方法]提出的基于动态匹配的中心线匹配方法，未能解决在非俯视的倾斜视角下三维模型中的中心线端点与二维图像中管件轮廓一侧端点不匹配的问题，本发明提出的基于逆向投影的中心线端点定位方法，以不含原端点的中心线建模出管件模型后，用逆向投影轮廓匹配的方法解决了该问题。
发明内容
本发明目的是：为了克服现有技术中存在的不足，本发明提供了一种基于逆向投影的管件三维模型重建方法，用以解决当前管路识别技术中存在的模型映射不对称、标记法辅助端点检测操作复杂、部分视角下端点位置不匹配等问题。本发明方法使用基于管件中心线和特征点提取的管件重建技术和基于逆向投影的端部特征点定位技术，配合3D建模软件实现管件的三维模型重建。
为实现上述目的，本发明采用的技术方案为：一种基于逆向投影的管件的三维模型重建方法，基于管路中心线端点无标记定位方法，包括1)管件图像采集和预处理、2)中心线提取、3)特征点提取、4)多目相机标定、5)管件的三维模型重建五个步骤,具体步骤如下：
1)管件图像采集和预处理
步骤1.1搭建图像采集系统，通过分布在管件周围的双目(或更多)相机进行图像抓取，获得同一时刻下的目标管件在前、后(或者更多方向)相机视角下的图像；(指分布在相机周围的多个相机，每个相机形成一个视角)；
步骤1.2，对所得图像进行灰度处理和二值化处理，使背景与所述管线相互区分；采用连通域搜索技术，对二值化图像进行目标区域ROI提取，得到从背景图像剥离出来的管件ROI图像；用边界跟踪法对管件ROI图像进行处理，得到在不同相机视角下的管件轮廓图；
2)中心线提取
步骤2.1，将上述得到的管件轮廓连续点作离散化处理，使用Delaunay算法对轮廓离散点作三角剖分处理，得到关于离散点的Voronoi多边形，多边形顶点即为可能的中心线集；
步骤2.2，过滤掉Voronoi多边形顶点中存在于管件轮廓外的部分，得到初步生成的中心线；由于管件端部轮廓的影响，上述中心线的两端存在分叉部分，采用基于起始点坐标的分割方法将该中心线分为五个部分，即主线和四个分叉线，保留最长的一条，即为所求的中心线；此时的中心线与管件的实际中心线相比，两端稍短；
3)特征点提取
步骤3.1，采用霍夫变换检测中心线中的直线段部分，从而识别中心线上的直线部分与圆弧部分的分界点，使用8邻域搜索提取出各部分直线的端点；
4)多目相机标定
步骤4.1，特征点提取后的制作面积足够覆盖所需测量区域的标定板，将其置于图像标定板采集系统中；
步骤4.2，多目相机受控运动并拍摄标定板对所有标定板图片识别标定点，生成标定点在所有相机中的二维像素坐标，并根据标定点的实际位置分布生成与像素坐标对应的三维世界坐标；
步骤4.3，分别以像素坐标-世界坐标、世界坐标-像素坐标为数据集，训练各自独立的神经网络，得到由像素坐标到世界坐标的正向映射模型，和由世界坐标到像素坐标的逆向映射模型；
5)管件的三维模型重建
步骤5.1，将同一管件在不同相机下识别出的对应的标定点即特征点输入步骤4.3中训练好的正向映射网络模型，得到各中心线的特征点的三维世界坐标；
步骤5.2,将上述得到的特征点坐标和预设直径作为特征参数用CAD软件生成管件三维模型，并生成管件模型表面点的密集点云，将其输入步骤4.3中生成的逆向映射模型，得到所生成管件模型在原图中的逆向投影；由于步骤2.2中提取的中心线是两端稍短的，所以此时的逆投影模型与真实模型在管件两端存在面积上的差异；
步骤5.3向外延伸管件端部特征点的坐标，在逆投影的管件轮廓与原轮廓重合，此时的端部特征点坐标即为所需提取的管件端部中心点三维坐标；调整预设直径的值，使得逆投影轮廓与原轮廓面积差异最小时，此时的预设直径即为管件模型的真实直径；
步骤5.4将最终获得的端点坐标和管件直径等参数作为实际管件参数，借助OpenSCAD等三维建模软件完成对管件的三维模型重建。具体为：对于直管部分，建立以中心线端点为顶面和底面中心点、以管件直径为直径的圆柱体模型；对于弧形管部分，建立以中心线直线部分与弧线部分分割点为顶面和底面中心点、以中心线弧线段曲率为弧形曲率、以管件直径为直径的弧形圆柱模型；由于中心线的连续性，分别建模完成的直管和弧形管部分是首尾相接的，将所有部分组合即可。
有益效果：本发明方法针对广泛应用于的管路零件精加工过程中的管件三维建模提出了一种基于逆向投影的管件中心线端部特征点三维坐标及管件直径确定方法，同时公开了一种基于神经网络的多目相机双向模型映射标定方法。本方法可以有效解决当前管件建模与测量应用中出现的流程复杂、端部特征点定位不准确、管件三维模型重建困难的问题，获得管件特征点的精确三维坐标，可以完整地重建出管件三维模型，且可以通过特征点获取管件长度、弯曲角度、曲率、直径等全部信息。
附图说明
图1是本发明的系统各结构关系示意图；
图2A与图2B分别是4邻域和8邻域示意图
图3是Delaunay三角网示意图；
图4是管件轮廓voronoi多边形构建示意图；
图5是管件图像的二维中心线；
图6是二维中心线的霍夫变换直线检测；
图7是二维中心线端特征点识别；
图8是棋盘格标定板示意图；
图9是大尺寸棋盘格标定板，右侧图为棋盘格标定的特写图；
图10是双向映射模型中像素坐标与世界坐标的对应关系示意图
图11是空间圆弧重建示意图；
图12是管件三维模型渲染。
具体实施方式
下面结合附图对本发明作进一步的说明。
本发明提供的基于逆向投影的管路中心线端点无标记定位方法，主要包括(1)管件图像采集和预处理；(2)中心线提取；(3)特征点提取；(4)多目相机标定；(5)管件的三位模型重建；
下面给出一种具体实施例：
(1)管件图像采集和预处理
首先，搭建如图1所示的图像采集系统，使用标准铝型材搭建长宽高分别为1.5m、0.9m、1.6m的框架作为图像采集系统的外框架，在框架底部铺设亮度均匀的高亮度发光板，高亮度背光使得相机拍摄到的管件图像轮廓清晰，减少顶部光线和漫反射环境光差生的阴影对管件轮廓提取过程产生的影响；发光板上方放置钢化玻璃用以透光和放置待测管件。
在框架顶部安装多个分辨率达500万像素以上的摄像头，调整相机位置使目标区域处于各相机视场之中，所有相机经交换机通过网线连接到树莓派上，由外部计算机发出指令使多个相机同步工作，拍得同一管件在不同相机视角下的一组图片。
将同一组管件图片分别处理，转化为灰度图，并选择合适的阈值对其进行二值化处理，使管件与背景能够区分开；识别二值化图片中的所有连通域，连通域搜索的算法步骤为：1)将当前像素点的位置作为起点，称之为种子，并赋予其新的连通域标签，创建并维护一个与该标签关联的栈，将该种子4邻域中与种子像素值相同的像素位置压入栈中；2)种子位置按从上到下、从左到右的顺序遍历二值化图片的每个像素点，重复步骤1中的操作直到当前像素点的灰度值为255，当前连通域至此则检索完毕；3)以当前位置为新的起点，重复步骤1和步骤2，直至遍历完全部的像素点，输出含有包含连通域标签和连通域坐标集合的矩阵。由于高亮度背光光源和钢化玻璃的存在，拍得的管件图像中特别是其中心位置是大片的白色背景，因此通过判断连通域的重心是否处于设定的中心区域、连通域面积是否是全部连通域面积的前N位，来提取管件的ROI区域，上述的中心区域位置和面积前N位可根据实际光照条件和管件位置做调整，在所得的管件ROI区域图像中，管件部分和背景分别呈白色和黑色。对管件图片识别轮廓线，即可得到该ROI区域图像中唯一的轮廓线，即管件轮廓线的像素点(轮廓上的各点)坐标。
(2)中心线提取
Voronoi图又称泰森多边形，是一种空间分割算法，建立voronoi图需要空间中一组离散数据点，称为生成点，首先需要根据生成点构建Delaunay三角网。Delaunay三角剖分构成的三角形的边互不相交，且三角形的外接圆中不包含第四个点，基本原理为：首先建立一个大的三角形或多边形，把所有数据点包围起来，向其中插入一点，该点与包含它的三角形三个顶点相连，形成三个新的三角形，然后逐个对它们进行空外接圆检测，同时用局部优化过程LOP进行优化，即通过交换对角线的方法来保证所形成的三角网为Delaunay三角网。
在针对管件中心线的识别时，首先对图像执行Delaunay三角剖分，其基本步骤是：1)对管件轮廓线的连续点坐标作等距抽样，获得轮廓连点；2)构建一个包含所有轮廓连点的三角形链表，将点集中的散点一次插入，在三角形链表中找出外接圆包含插入点的三角形(称为该点的影响三角形)，删除影响三角形的公共边，将插入点同影响三角形的全部顶点连接起来，完成一个点在Delaunay三角形链表中的插入；3)根据优化准则对局部新形成的三角形优化。将形成的三角形放入Delaunay三角形链表；4)循环执行上述第2)步，直到所有散点插入完毕。如图3所示为Delaunay三角网的构建示意图，对其中的三角形作外接圆，每个外接圆内部只包含一个三角形的三个顶点，不能包含其他点。连接相邻三角形的外接圆圆心即可得到voronoi图，对于边缘的三角形，可作边的垂直平分线与图轮廓相交，形成如图4所示的voronoi多边形。可见管件轮廓外存在一部多边形角点，因此通过判别这些点与轮廓的相对位置去除这些轮廓外的干扰点；此外，轮廓内的中心线两端呈现Y字形分叉，将该部分中心线由起始点为依据进行分割，再提取分割后最长的线，即为提取出的中心线，如图5所示。需要注意点是，此中心线两端存在一定长度的缺失。由于管件端部是类圆柱形的，所以从不同角度拍得的管件图像，不可以通过延长中心线与轮廓线相交的方式获取端点的图像坐标，那样会导致各视角下点位的不匹配。
多边形顶点处理，Delaunay三角剖分，是将图中管件轮廓离散点为顶点，整张图像分割为互不相交的三角形，则管件轮廓内部的三角形其顶点必包含轮廓两侧的点，这些三角形的外心到其顶点距离相等，在离散点密度合适的情况下，外心到顶点的举例可视为外心到管件轮廓两侧边缘的举例，因此该三角形的外心满足“中心线上的点到轮廓两侧边缘距离相等”的要求。
连接位置相邻的三角形外形所得图形即为Voronoi图，由于有些三角形的外心在原图的范围意外，因此Voronoi图中虚线部分与图外外心的连线。
(3)特征点提取
得到管路中心线后，可以提取出图像上中心线的像素点列，重建三维空间中心线时，不宜对中心线上所有像素点进行重建映射，降低重建效率。选取合适的特征点，使其可以准确表达中心线的路径，在三维空间拟合准确的中心线。故将中心线分割为直线段与圆弧段，提取直线端点与圆弧中点等特征点，使用关键特征拟合中心线。对中心线执行8领域(如图2所示)搜索的霍夫直线检测，，所识别到直线的端点即为中心线的端点和直线部分与圆弧部分的分界点，采用霍夫变换检测直线段的结果如图6，准确地分割了中心线的直线部分与圆弧部分。一条直线在极坐标系中可以用如下公式表示，其中r为极径，代表原点到直线的距离，θ为极径和水平轴的夹角。
r＝xcosθ+ysinθ
在笛卡尔坐标系中的一条直线上取两点(xi,yi)、(xj,yj),将其变换到r、θ空间得到两条直线，其交点的值为笛卡尔坐标系中直线的参数。霍夫变换检测直线是基于统计投票的原理，首先创建一个二维累加器，行表示极径r，列表示θ，二维累加器的大小与检测精度有关。对于图像中的某一像素点(x0,y0)，代入直线极坐标表达式，从0到180度遍历θ值，得到相应的(r,θ)值，将其统计到二位累加器中相应位置。对图像中每一个非零值像素点执行上述操作，将会得到最终的投票结果，通过合适的阈值筛选出满足条件的直线。
检测到中心线上的直线后，需要精确提取直线的两个端点，基于直线的连续特性，使用8邻域搜索其端点，从中心线上提取出的直线如图6所示，直线所在区域像素值为255，背景像素值为0。对于直线内部的点，其8邻域内有两个非零点，而直线端点的8邻域内只有一个非零点，利用这一性质可迅速提取直线端点坐标，识别结果如图7所示。
根据直线端点可以得到直线方程，直线端点同时也是圆弧的边界点，圆弧两个边界点的中垂线与圆弧段中心线段的角点即是圆弧的中点，用两个边界点和圆弧中点坐标拟合出圆弧段的方程，获得其曲率、角度，为管件圆弧段的三维重建提供信息参数。
(4)多目相机标定
选择如图8所示的棋盘格标定板作为标定工具。首先制作大小与标定空间相匹配的棋盘格标定板，将其置于图像获取平面上，如图9所示；在与多目相机相连的服务器上部署电机控制与拍照的协同程序，电机的转动控制着标定板与多目相机的相对位置按特定步进渐变，形成电机运动-相对位置变化-多相机协同拍照-电机再次运动的循环，实现多目相机对三维空间内标定板图片的采集。
接着，对所有棋盘格标定板图片进行角点识别，将同一点位的多个视角下的像素坐标对应排列，并生成其对应的世界坐标，从而形成一组像素坐标与其世界坐标相对应的数据集。为了提升数据集的密度从而加强神经网络模型的训练，可采用以下方式进行数据增强：1)线性插值。在相邻坐标(x1，y1)和(x2，y2)中间插入二者的线性中点
Figure BDA0004080025590000081
2)几何中点插值。棋盘格的基本单位是正方形，角点即是正方形的各个拐角，正方形的中心点是其对角线的交点，即使在侧面视角下正方形呈梯形时也不会改变，因此所有正方形的中心点坐标亦可加入数据集。如此两种数据增强方式，可将数据集提升两倍，达到了类似于更密集、更小基本单位的棋盘格所达到的点云规模。这一方法可以解决棋盘格标定板太密集而无法识别角点的问题。将生成的数据集以像素坐标-世界坐标的形式输入全连接神经网络，该网络包含了神经元个数分别为32-64-128-64-32的隐藏层，以均方误差为损失函数，采用Adam优化器，经调节合适的学习率、训练轮次和批处理数量，训练得到二维像素坐标到三维世界坐标到正向映射模型；将生成的数据集以世界坐标-像素坐标的形式输入全连接神经网络，该网络包含了神经元个数分别为16-32-64-32-16的隐藏层，以均方误差为损失函数，采用Adam优化器，经调节合适的学习率、训练轮次和批处理数量，训练得到三维世界坐标到二维像素坐标到逆向映射模型。如图10所示为二维像素坐标与三维世界坐标间双向映射模型的示意图。
(5)管件的三维模型重建
提取中心线图像特征点后，需要根据这些关键特征点重建三维空间中心线，其中分为空间直线拟合以及空间圆拟合，再将直线段与圆弧拼接完成空间中心线重建。
①空间直线拟合
使用空间直线点向式方程拟合空间直线，根据直线上一点M0(x0,y0,z0)，和直线的方向向量s(m,n,p)，及直线上另一点M(x,y,z)，则向量MM0与其方向向量平行，所以两向量的对应坐标成比例，得到如下直线方程：
Figure BDA0004080025590000091
其参数方程可表示为：
x＝x0+mt
y＝y0+nt
z＝z0+pt
当方程中分母为零时，分子也视为零，例如m＝m＝0时，参数方程变为：
x＝x0
y＝y0
z＝z0+pt
②空间圆弧拟合
根据提取得到的圆弧上三个点拟合三维空间圆，求解空间圆弧圆心及半径，可由三点共面及三点到圆心距离相等两个条件求解。设空间中三点为P1(x1,y1,z1)、P2(x2,y2,z3)、P3(x3,y3,z3)，则其确定的空间平面方程为：
Figure BDA0004080025590000101
其中A1、B1、C1、D1分别为：
A1＝y1z2-y1z3-z1y2+z1y3+y2z3-y3z2
B1＝-x1z2+x1z3+z1x2-z1x3-x2z3+x3z2
C1＝x1y2-x1y3-y1x2+y1x3+x2y3-x3y2
D1＝-x1y2z3+x1y3z2+x2y1z3-x3y1z2-x2y3z1+x3y2z1
此外，还需要列出空间中三点到圆心的距离公式，其中R为半径：
R2＝(x1-x)2+(y1-y)2+(z1-z)2
R2＝(x2-x)2+(y2-y)2+(z2-z)2
R2＝(x3-x)2+(y3-y)2+(z3-z)2
联立上述三个距离公式消去半径可得：
Figure BDA0004080025590000102
Figure BDA0004080025590000103
上式可简化为：
A2x+B2y+C2z+D2＝0
A3x+B3y+C3z+D3＝0
结合上式与平面方程可得：
Figure BDA0004080025590000104
可得圆心坐标为：
Figure BDA0004080025590000111
求出空间圆弧圆心后，即可轻松计算出半径，至此即可重建出三维空间中心线。此时，空间中心线并不精确，根据现阶段的中心线路径扫描得到的管件三维模型存在较大误差，需要进一步修正模型参数。
得到空间中心线方程后，其误差主要体现在中心线两端长度上，即管件端面不一致，需要根据空间中心线及管件半径重建管件表面点云数据，将表面点云重投影到图像平面，形成重投影轮廓。将重投影轮廓与管件原始轮廓比较得到重投影误差，根据重投影误差修正管件空间中心线参数，直至重投影误差小于阈值，即得到了精确的空间中心线。
在三维空间中，以点(xc,yc,zc)为圆心，以向量
Figure BDA0004080025590000112
为法向量，半径为r的圆如图11所示，其中/>
Figure BDA0004080025590000113
向量为单位向量，它们既垂直于法向量/>
Figure BDA0004080025590000114
又相互垂直。
此空间圆的参数方程如下，即可求解圆上不同弧度位置的空间坐标，从而获得管件表面点云数据。
x(θ)＝c1+rcosθa1+rsinθb1
y(θ)＝c2+rcosθa2+rsinθb2
z(θ)＝c3+rcosθa3+rsinθb3
求得管件表面点云数据后，将点云输入世界坐标-像素坐标到逆向映射模型中，得到重投影到图像平面，计算重投影轮廓与管件原始轮廓的误差，调节管件三维模型参数。
将测量出的中心线坐标、管道半径、弯曲的曲率半径与标准库设置的管道数据进行比对，计算出管道不同位置的误差值E(Pn)如下：
Figure BDA0004080025590000115
Pn＝(xn,yn,zn)
Psn＝(xsn,ysn,zsn)
其中Pn为采集到的实际管道中心线上的坐标点，PSn为标准库设置的管道中心线上的坐标点，Rn为采集到的实际管道半径，RSn标准库设置的管道半径，A为管道加工精度要求(A<1，且精度越高A越小)。
通过3D渲染工具，根据转换后的管道轮廓数据，利用平面轮廓扫描法渲染出管道模型；此后，根据管道不同位置的误差值有差别地进行表面渲染，根据误差值的不同，渲染颜色也相应不同；当误差值大于管道的误差阈值时，将该段渲染为预定色。
根据中心线坐标定位出管道的具体走向和弯曲位置，配合轮廓半径和曲率半径渲染出供观察者全方位观察的立体管道；根据计算得出的误差值对管道进行差别渲染，误差值由小到大对应着一个由浅到深的渐变色的颜色带；当误差值大于管道的误差阈值时，将该段渲染为预定色段。
借助3D渲染工具对管道误差进行分段渲染，直观高效地展现了管道需要校正的位置，根据渲染情况进行校正。采用重投影方法，比对管件模型重投影轮廓与原始轮廓的误差，根据重投影误差紫东调整管件两侧端点三维坐标等参数，直至重投影误差小于设定阈值，保证管件测量与重建精度，以此时的端点坐标为端点真实坐标重建出管件的三维模型，如12所示。

Claims (7)

1.一种基于逆向投影的管件的三维模型重建方法，其特征是，基于管路中心线端点无标记定位方法，步骤如下：1)管件图像采集和预处理、2)管路中心线提取、3)特征点提取、4)多目相机标定、5)管件的三维模型重建五个步骤,具体如下：
1)管件图像采集和预处理
步骤1.1搭建图像采集系统，通过分布在管件周围的双目(或更多)相机进行图像抓取，获得同一时刻下的目标管件在前、后或者更多方向相机视角下的图像；
步骤1.2，对所得图像进行灰度处理和二值化处理，使背景与所述管线相互区分；采用连通域搜索技术，对二值化图像进行目标区域ROI提取，得到从背景图像剥离出来的管件ROI图像；用边界跟踪法对管件ROI图像进行处理，得到在不同相机视角下的管件轮廓图；
2)中心线提取
步骤2.1，将上述得到的管件轮廓连续点作离散化处理，使用Delaunay算法对轮廓离散点作三角剖分处理，得到关于离散点的Voronoi多边形，多边形顶点即为可能的中心线集；
步骤2.2，过滤掉Voronoi多边形顶点中存在于管件轮廓外的部分，得到初步生成的中心线；由于管件端部轮廓的影响，上述中心线的两端存在分叉部分，采用基于起始点坐标的分割方法将该中心线分为五个部分，即主线和四个分叉线，保留最长的一条，即为所求的中心线；此时的中心线与管件的实际中心线相比，两端稍短；
3)特征点提取
步骤3.1，采用霍夫变换检测中心线中的直线段部分，从而识别中心线上的直线部分与圆弧部分的分界点，使用8邻域搜索提取出各部分直线的端点；
4)多目相机标定
步骤4.1，特征点提取后的制作面积足够覆盖所需测量区域的标定板，将其置于图像标定板采集系统中；
步骤4.2，多目相机受控运动并拍摄标定板对所有标定板图片识别标定点，生成标定点在所有相机中的二维像素坐标，并根据标定点的实际位置分布生成与像素坐标对应的三维世界坐标；
步骤4.3，分别以像素坐标-世界坐标、世界坐标-像素坐标为数据集，训练各自独立的神经网络，得到由像素坐标到世界坐标的正向映射模型，和由世界坐标到像素坐标的逆向映射模型；
5)管件的三维模型重建
步骤5.1，将同一管件在不同相机下识别出的对应的标定点即特征点输入步骤4.3中训练好的正向映射网络模型，得到各中心线的特征点的三维世界坐标；
步骤5.2,将上述得到的特征点坐标和预设直径作为特征参数用CAD软件生成管件三维模型，并生成管件模型表面点的密集点云，将其输入步骤4.3中生成的逆向映射模型，得到所生成管件模型在原图中的逆向投影；由于步骤2.2中提取的中心线是两端稍短的，所以此时的逆投影模型与真实模型在管件两端存在面积上的差异；
步骤5.3向外延伸管件端部特征点的坐标，在逆投影的管件轮廓与原轮廓重合，此时的端部特征点坐标即为所需提取的管件端部中心点三维坐标；调整预设直径的值，使得逆投影轮廓与原轮廓面积差异最小时，此时的预设直径即为管件模型的真实直径；
步骤5.4，将最终获得的端点坐标和管件直径等参数作为实际管件参数，借助OpenSCAD等三维建模软件完成对管件的三维模型重建。具体为：对于直管部分，建立以中心线端点为顶面和底面中心点、以管件直径为直径的圆柱体模型；对于弧形管部分，建立以中心线直线部分与弧线部分分割点为顶面和底面中心点、以中心线弧线段曲率为弧形曲率、以管件直径为直径的弧形圆柱模型；由于中心线的连续性，分别建模完成的直管和弧形管部分是首尾相接的，将所有部分组合即可。
2.根据权利要求1所述的方法，其特征是，步骤1)管件图像采集和预处理中，
将同一组管件图片分别处理，转化为灰度图，并选择合适的阈值对其进行二值化处理，使管件与背景能够区分开；识别二值化图片中的所有连通域；通过判断连通域的重心是否处于设定的中心区域、连通域面积是否是全部连通域面积的前N位，来提取管件的ROI区域，上述的中心区域位置和面积前N位可根据实际光照条件和管件位置做调整，在所得的管件ROI区域图像中，管件部分和背景分别呈白色和黑色；对管件图片识别轮廓线，即可得到该图片中唯一的轮廓线，管件轮廓线是像素点坐标。
3.根据权利要求1所述的方法，其特征是，步骤2)中心线提取：
建立voronoi图需要空间中一组离散数据点，称为生成点，首先需要根据生成点构建Delaunay三角网；Delaunay三角剖分构成的三角形的边互不相交，且三角形的外接圆中不包含第四个点；首先建立一个大的三角形或多边形，把所有数据点包围起来，向其中插入一点，该点与包含它的三角形三个顶点相连，形成三个新的三角形，然后逐个对它们进行空外接圆检测，同时用局部优化过程LOP进行优化，即通过交换对角线的方法来保证所形成的三角网为Delaunay三角网；
在针对管件中心线的识别时，步骤是：2-1)对管件轮廓线的连续点坐标作等距抽样，获得轮廓连点；2-2)构建一个包含所有轮廓连点的三角形链表，将点集中的散点一次插入，在三角形链表中找出外接圆包含插入点的三角形(称为该点的影响三角形)，删除影响三角形的公共边，将插入点同影响三角形的全部顶点连接起来，完成一个点在Delaunay三角形链表中的插入；2-3)根据优化准则对局部新形成的三角形优化。将形成的三角形放入Delaunay三角形链表；2-4)循环执行上述第2-2)步，直到所有散点插入完毕；连接相邻三角形的外接圆圆心即可得到voronoi图，对于边缘的三角形，作边的垂直平分线与图轮廓相交，形成voronoi多边形；可见管件轮廓外存在一部多边形角点，因此通过判别这些点与轮廓的相对位置去除这些轮廓外的干扰点；此外，轮廓内的中心线两端呈现Y字形分叉，将该部分中心线由起始点为依据进行分割，再提取分割后最长的线，即为提取出的中心线。
4.根据权利要求1所述的方法，其特征是，步骤3)特征点提取：
得到管路中心线后，提取出图像上中心线的像素点列，选取合适的特征点，使其准确表达中心线的路径，在三维空间拟合准确的中心线；将中心线分割为直线段与圆弧段，提取直线端点与圆弧中点等特征点，使用关键特征拟合中心线；采用霍夫变换检测中心线中的直线段，从而识别中心线上直线部分与圆弧部分的分界点；直线在极坐标系中用如下公式表示，其中r为极径，代表原点到直线的距离，θ为极径和水平轴的夹角：
r＝x cosθ+y sinθ
在笛卡尔坐标系中的一条直线上取两点(xi,yi)、(xj,yj),将其变换到r、θ空间得到两条直线，其交点的值为笛卡尔坐标系中直线的参数；
霍夫变换检测直线是基于统计投票的原理，首先创建一个二维累加器，行表示极径r，列表示θ，二维累加器的大小与检测精度有关；对于图像中的某一像素点(x0,y0)，代入直线极坐标表达式，从0到180度遍历θ值，得到相应的(r,θ)值，将其统计到二位累加器中相应位置；对图像中每一个非零值像素点执行上述操作，将会得到最终的投票结果，通过合适的阈值筛选出满足条件的直线；
检测到中心线上的直线后，需要精确提取直线的两个端点，基于直线的连续特性，使用8-邻域搜索其端点，从中心线上提取出的直线，直线所在区域像素值为255，背景像素值为0；对于直线内部的点，其8-邻域内有两个非零点，而直线端点的8-邻域内只有一个非零点，利用这一性质可迅速提取直线端点坐标；
根据直线端点可以得到直线方程，直线端点同时也是圆弧的边界点，圆弧两个边界点的中垂线与圆弧段中心线段的角点即是圆弧的中点，用两个边界点和圆弧中点坐标拟合出圆弧段的方程，获得其曲率、角度，为管件圆弧段的三维重建提供信息参数。
5.根据权利要求1所述的方法，其特征是，步骤4)多目相机标定:
首先制作大小与标定空间相匹配的棋盘格标定板，将其置于图像获取平面上；在与多目相机相连的服务器上部署电机控制与拍照的协同程序，电机的转动控制着标定板与多目相机的相对位置按特定步进渐变，形成电机运动-相对位置变化-多相机协同拍照-电机再次运动的循环，实现多目相机对三维空间内标定板图片的采集；
对所有棋盘格标定板图片进行角点识别，将同一点位的多个视角下的像素坐标对应排列，并生成其对应的世界坐标，从而形成一组像素坐标与其世界坐标相对应的数据集；
提升数据集的密度从而加强神经网络模型的训练，采用以下方式进行数据增强：1)线性插值；在相邻坐标(x1，y1)和(x2，y2)中间插入二者的线性中点
Figure FDA0004080025580000051
2)几何中点插值。棋盘格的基本单位是正方形，角点即是正方形的各个拐角，正方形的中心点是其对角线的交点，即使在侧面视角下正方形呈梯形时也不会改变，因此所有正方形的中心点坐标亦可加入数据集；
将生成的数据集以像素坐标-世界坐标和世界坐标-像素坐标到形式分别喂入各自独立的两个神经网络，优化并训练得到由二维像素坐标到三维世界坐标到正向映射模型和由三维世界坐标到二维像素坐标到逆向映射模型。
6.根据权利要求1所述的方法，其特征是，步骤5)管件的三维模型重建：
提取中心线图像特征点后，需要根据这些关键特征点重建三维空间中心线，其中分为空间直线拟合以及空间圆拟合，再将直线段与圆弧拼接完成空间中心线重建；
①空间直线拟合
使用空间直线点向式方程拟合空间直线，根据直线上一点M0(x0,y0,z0)，和直线的方向向量s(m,n,p)，及直线上另一点M(x,y,z)，则向量MM0与其方向向量平行，所以两向量的对应坐标成比例，得到如下直线方程：
Figure FDA0004080025580000052
其参数方程可表示为：
x＝x0+mt
y＝y0+nt
z＝z0+pt
当方程中分母为零时，分子也视为零，例如m＝n＝0时，参数方程变为：
x＝x0
y＝y0
z＝z0+pt
②空间圆弧拟合
根据提取得到的圆弧上三个点拟合三维空间圆，求解空间圆弧圆心及半径，可由三点共面及三点到圆心距离相等两个条件求解。设空间中三点为P1(x1,y1,z1)、P2(x2,y2,z3)、P3(x3,y3,z3)，则其确定的空间平面方程为：
Figure FDA0004080025580000061
其中A1、B1、C1、D1分别为：
A1＝y1z2-y1z3-z1y2+z1y3+y2z3-y3z2
B1＝-x1z2+x1z3+z1x2-z1x3-x2z3+x3z2
C1＝x1y2-x1y3-y1x2+y1x3+x2y3-x3y2
D1＝-x1y2z3+x1y3z2+x2y1z3-x3y1z2-x2y3z1+x3y2z1
此外，还需要列出空间中三点到圆心的距离公式，其中R为半径：
R2＝(x1-x)2+(y1-y)2+(z1-z)2
R2＝(x2-x)2+(y2-y)2+(z2-z)2
R2＝(x3-x)2+(y3-y)2+(z3-z)2
联立上述三个距离公式消去半径可得：
Figure FDA0004080025580000062
Figure FDA0004080025580000063
上式可简化为：
A2x+B2y+C2z+D2＝0
A3x+B3y+C3z+D3＝0
结合上式与平面方程可得：
Figure FDA0004080025580000064
可得圆心坐标为：
Figure FDA0004080025580000071
求出空间圆弧圆心后，即可轻松计算出半径，至此即可重建出三维空间中心；但需要进一步修正模型参数；
得到空间中心线方程后，其误差主要体现在中心线两端长度上，即管件端面不一致，需要根据空间中心线及管件半径重建管件表面点云数据，将表面点云重投影到图像平面，形成重投影轮廓；将重投影轮廓与管件原始轮廓比较得到重投影误差，根据重投影误差修正管件空间中心线参数，直至重投影误差小于阈值，即得到了精确的空间中心线；
在三维空间中，以点(xc，yc，zc)为圆心，以向量
Figure FDA0004080025580000072
为法向量，半径为r的圆，其中
Figure FDA0004080025580000073
向量为单位向量，它们既垂直于法向量/>
Figure FDA0004080025580000074
又相互垂直；
此空间圆的参数方程如下，即求解圆上不同弧度位置的空间坐标，从而获得管件表面点云数据：
x(θ)＝c1+rcosθa1+rsinθb1
y(θ)＝c2+rcosθa2+rsinθb2
z(θ)＝c3+rcosθa3+rsinθb3
求得管件表面点云数据后，将点云输入世界坐标-像素坐标到逆向映射模型中，得到重投影到图像平面，计算重投影轮廓与管件原始轮廓的误差，调节管件三维模型参数；
将测量出的中心线坐标、管道半径、弯曲的曲率半径与标准库设置的管道数据进行比对，计算出管道不同位置的误差值E(Pn)如下：
Figure FDA0004080025580000075
Pn＝(xn，yn，zn)
Psn＝(xsn，ysn，zsn)
其中Pn为采集到的实际管道中心线上的坐标点，PSn为标准库设置的管道中心线上的坐标点，Rn为采集到的实际管道半径，RSn标准库设置的管道半径，A为管道加工精度要求(A<1，且精度越高A越小)；
通过3D渲染工具，根据转换后的管道轮廓数据，利用平面轮廓扫描法渲染出管道模型；此后，根据管道不同位置的误差值有差别地进行表面渲染，根据误差值的不同，渲染颜色也相应不同；当误差值大于管道的误差阈值时，将该段渲染为预定色。
7.根据权利要求1所述的方法，其特征是，根据中心线坐标定位出管道的具体走向和弯曲位置，配合轮廓半径和曲率半径渲染出供观察者全方位观察的立体管道；根据计算得出的误差值对管道进行差别渲染，误差值由小到大对应着一个由浅到深的渐变色的颜色带；当误差值大于管道的误差阈值时，将该段渲染为预定色段。
CN202310121207.3A 2022-11-09 2023-02-15 一种基于逆向投影的管件三维模型重建方法 Pending CN116229017A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202211401724 2022-11-09
CN2022114017248 2022-11-09

Publications (1)

Publication Number Publication Date
CN116229017A true CN116229017A (zh) 2023-06-06

Family

ID=86570906

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310121207.3A Pending CN116229017A (zh) 2022-11-09 2023-02-15 一种基于逆向投影的管件三维模型重建方法

Country Status (1)

Country Link
CN (1) CN116229017A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116628831A (zh) * 2023-07-25 2023-08-22 江西中煤建设集团有限公司 一种空间几何形体快速建模及体积差值计算方法
CN116804865A (zh) * 2023-08-28 2023-09-26 成都飞机工业（集团）有限责任公司 一种三轴自动化程编特征识别与刀轨生成方法
CN116930192A (zh) * 2023-07-26 2023-10-24 常州润来科技有限公司 一种高精度铜管缺陷检测方法及系统
CN117974747A (zh) * 2024-04-01 2024-05-03 北京理工大学长三角研究院(嘉兴) 360度点云2d深度盘三角剖分构图方法、装置及系统

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116628831A (zh) * 2023-07-25 2023-08-22 江西中煤建设集团有限公司 一种空间几何形体快速建模及体积差值计算方法
CN116628831B (zh) * 2023-07-25 2023-09-29 江西中煤建设集团有限公司 一种空间几何形体快速建模及体积差值计算方法
CN116930192A (zh) * 2023-07-26 2023-10-24 常州润来科技有限公司 一种高精度铜管缺陷检测方法及系统
CN116930192B (zh) * 2023-07-26 2024-02-09 常州润来科技有限公司 一种高精度铜管缺陷检测方法及系统
CN116804865A (zh) * 2023-08-28 2023-09-26 成都飞机工业（集团）有限责任公司 一种三轴自动化程编特征识别与刀轨生成方法
CN116804865B (zh) * 2023-08-28 2023-12-08 成都飞机工业（集团）有限责任公司 一种三轴自动化程编特征识别与刀轨生成方法
CN117974747A (zh) * 2024-04-01 2024-05-03 北京理工大学长三角研究院(嘉兴) 360度点云2d深度盘三角剖分构图方法、装置及系统

Similar Documents

Publication Publication Date Title
CN112581457B (zh) 一种基于三维点云的管道内表面检测方法及装置
US11164289B1 (en) Method for generating high-precision and microscopic virtual learning resource
CN116229017A (zh) 一种基于逆向投影的管件三维模型重建方法
Furukawa et al. Accurate, dense, and robust multiview stereopsis
Zhang et al. A 3D reconstruction method for pipeline inspection based on multi-vision
CN115345822A (zh) 一种面向航空复杂零件的面结构光自动化三维检测方法
CN102410811B (zh) 一种弯管参数的测量方法和系统
JP4785880B2 (ja) 三次元オブジェクト認識のためのシステムおよび方法
CN111080627A (zh) 一种基于深度学习的2d+3d大飞机外形缺陷检测与分析方法
CN101630418B (zh) 三维模型的测量和重建一体化方法及其系统
CN103196370B (zh) 一种导管接头空间位姿参数的测量方法和装置
Teutsch Model-based analysis and evaluation of point sets from optical 3D laser scanners
CN110702025B (zh) 一种光栅式双目立体视觉三维测量系统及方法
WO2010050996A1 (en) Combining feature boundaries
CN108801175A (zh) 一种高精度空间管路测量系统及方法
Jin et al. A new multi-vision-based reconstruction algorithm for tube inspection
CN108876909A (zh) 一种基于多图像拼接的三维重建方法
Lin et al. Vision system for fast 3-D model reconstruction
Zong et al. A high-efficiency and high-precision automatic 3D scanning system for industrial parts based on a scanning path planning algorithm
Radvar-Esfahlan et al. Robust generalized numerical inspection fixture for the metrology of compliant mechanical parts
Wu et al. A measurement method of free-form tube based on multi-view vision for industrial assembly
Lhuillier A generic error model and its application to automatic 3d modeling of scenes using a catadioptric camera
Sun et al. Research on point cloud hole filling and 3D reconstruction in reflective area
Kang et al. 3D urban reconstruction from wide area aerial surveillance video
Hart et al. Automated pipeline reconstruction using deep learning & instance segmentation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination