CN110415332A - 一种非单一视角下复杂织物表面三维重建系统及其方法 - Google Patents

一种非单一视角下复杂织物表面三维重建系统及其方法 Download PDF

Info

Publication number
CN110415332A
CN110415332A CN201910540860.7A CN201910540860A CN110415332A CN 110415332 A CN110415332 A CN 110415332A CN 201910540860 A CN201910540860 A CN 201910540860A CN 110415332 A CN110415332 A CN 110415332A
Authority
CN
China
Prior art keywords
camera
image
point
carrying platform
angle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910540860.7A
Other languages
English (en)
Inventor
辛斌杰
王益亮
邓娜
王文珍
陆帅钢
邢文宇
陈阳
张铮烨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai University of Engineering Science
Original Assignee
Shanghai University of Engineering Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai University of Engineering Science filed Critical Shanghai University of Engineering Science
Priority to CN201910540860.7A priority Critical patent/CN110415332A/zh
Publication of CN110415332A publication Critical patent/CN110415332A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/04Texture mapping
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20Finite element generation, e.g. wire-frame surface description, tesselation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85Stereo camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757Matching configurations of points or features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/08Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种非单一视角下复杂织物表面三维重建系统及其方法,涉及织物表面三维重建领域,解决了目前三维重建技术高精度的设备昂贵且速度慢难以普及而常用的设备难以高精度做到恢复织物表面组织点三维形态的弊端,其技术方案要点是包括有能绕竖直中心轴旋转并对织物样本进行承载的承载平台、周向间隔安装于承载平台的斜上方且朝向承载平台中心以对待测织物样本进行图像采集的若干相机;还包括有控制承载平台旋转、控制相机进行拍摄并且对拍摄获取的图像进行三维重建以获取对应的三维模型的处理装置,本发明的环境适应性强,运算快速、重建精度高,能够恢复织物表面纹理、颜色及组织点三维形态。

Description

一种非单一视角下复杂织物表面三维重建系统及其方法
技术领域
本发明涉及织物表面三维重建领域,特别涉及一种非单一视角下复杂织物表面三维重建系统及其方法。
背景技术
纺织品外观性能的检测主要依赖人工检验来评价,这种传统的方法易受检验人员的生理、心理及周围环境等因素的影响,精度低、可再现性差,随着纺织行业智能化数字化趋势的发展,传统方法已经不能满足当前检测需求,因此需要通过建立快速、客观、精确的评价方法。计算机视觉技术被广泛的应用与工业生产、工业检测、科学研究等各个领域,具有非接触、速度快、精度高、可循环处理等优点,所以采用计算机视觉的方式对织物外观进行识别和处理在当前纺织行业智能化发展中占有重要地位。
近几年来,大部分的研究学者都是在纺织品二维图像的基础上对其进行各种纹理的识别和分析,尽管随着成像技术的提高,图像质量也越来越好,但是二维图像丢失了织物表面的深度信息,这对织物组织点和纹理的分析和外观性能评测造成极大的困难,所以运用计算机视觉技术恢复织物表面三维外观形态具有重要意义。现有三维重建技术受多种因素影响,只能适用于某些场景,如激光扫描技术虽精度高,但是其扫描过程慢,设备昂贵,制约其成为通用的检测手段;双目立体视觉技术需要特定的双目摄像头进行图像采集,根据视差恢复三维形状,该方法精度较低,只能恢复织物宏观轮廓,不能恢复织物表面组织点三维形态;光度立体视觉技术需要在封闭的严格可控的光照环境中进行图像采集,不能在工厂和户外等开放性场所进行重建。均还有待改进的空间。
发明内容
本发明的第一目的是提供一种非单一视角下复杂织物表面三维重建系统,环境适应性强,运算快速、重建精度高,能够恢复织物表面纹理、颜色及组织点三维形态。
本发明的上述技术目的是通过以下技术方案得以实现的:
一种非单一视角下复杂织物表面三维重建系统,包括有能绕竖直中心轴旋转并对织物样本进行承载的承载平台、周向间隔安装于所述承载平台的斜上方且朝向承载平台中心以对待测的织物样本进行图像采集的若干相机;还包括有控制所述承载平台旋转、控制所述相机进行拍摄并且对拍摄获取的采集图像进行三维重建以获取对应的三维模型的处理装置。
作为优选,所述相机为高清数码相机设置有两台且分别安装于所述承载平台的左右斜上方;所述处理装置控制所述承载平台以45度旋转角度间隔旋转四次并且控制相机于每次旋转后进行拍摄获取对应的采集图像。
采用上述方案,织物样本采用高清数码相机拍摄,能清晰捕获到织物表面组织点形态,在配合高精度的多视角立体视觉算法,重建精度能达到恢复组织点三维形态级别。
本发明的第二目的是提供一种非单一视角下复杂织物表面三维重建方法,能够快速运算,并且高精度三维重建织物表面图像,能够恢复织物表面纹理、颜色及组织点三维形态。
本发明的上述技术目的是通过以下技术方案得以实现的:
一种非单一视角下复杂织物表面三维重建方法,包括有以下步骤:
搭建实验装置,将待测的织物样本放置于可旋转的承载平台,采用多相机拍摄并采集织物样本的多角度图像;
对采集的多角度图像进行预处理,得到去除背景后的织物图像;
标定采集织物多角度图像的相机参数并确定相机的内外参数矩阵;
根据织物的多角度图像和对应相机内外参数重建织物三维表面密集点云;
对密集点云进行网格化,对网格生成贴片,进行纹理映射获得织物表面精确三维模型。
作为优选,具体步骤如下:
S1、搭建可旋转的承载平台,于承载平台的斜上方周向安装若干相机;
S2、将待测织物样本用带有标记的纸片夹住,放置在承载平台中心,调整各相机角度和焦距,使织物样本能够在相机中清晰成像;
S3、控制承载平台绕中心轴旋转,并于每次旋转一定角度后通过各相机拍摄进行织物样本图像的采集,获取织物样本的多角度图像;
S4、对采集的多角度图像预处理,在图像的织物区域边界上选取若干个点,创建与图像大小相同的二进制掩码矩阵,将图像的R、G、B三个通道分别与掩码矩阵进行逻辑运算,得到去除背景后的织物图像;
S5、相机参数标定,利用平台旋转采集到多个角度织物图像,确定相机于各角度织物图像的内参和外参矩阵;
S6、将多角度图像和对应的相机内外参数作为PMVS算法的输入,重建织物三维表面密集点云;
S7、对密集点云进行网格化,再对网格生成贴片,进行纹理映射得到织物表面精确三维模型。
作为优选,搭建实验装置时,于承载平台的左右斜上方各放置相机,进行图像采集时,控制承载平台以每次45度的旋转角度匀速旋转4次,通过放置的两个相机采集获取八个角度下的织物样本的多角度图像。
采用上述方案,在重建算法开始前对图像进行了掩膜预处理,去除了不必要的背景部分,大大节省了算法的运行时间;一共采集八个角度的织物样本表面图像,信息重复率高,能重建出完整,稠密的织物表面三维点云。
作为优选,S5中相机的标定包括有以下具体步骤:
S51、对多角度图像根据各角度分别进行SIFT特征点检测并生成128维的特征描述子,利用k-d树模型计算匹配点之间的欧式距离完成最邻近匹配;
S52、采用RANSAC算法去除误匹配,在每两幅图像的所有匹配的特征点对中随机选择八对特征点计算本质矩阵E和基础矩阵F,并将其它特征点带入计算出的模型中,若满足该模型,则记为内点,迭代若干次数,选择内点数最多的矩阵为该对图像之间的参数矩阵;
S53、根据相机的本质矩阵和基础矩阵,通过矩阵分解得到每个相机的内参矩阵和外参矩阵;
S54、使用BA算法使重投影误差最小,实现相机位姿和稀疏空间点的优化,最终得到最优的相机内外参数。
采用上述方案,特征点检测阶段采用SIFT特征点,具有旋转,光照,尺度不变性,能够较好的检测织物样本的特征点。特征点匹配阶段采用仿射不变特征点匹配,使各方向采集到的图片与模板图片匹配的特征点数大大增加,提高了各角度图片对应的相机外参估计的精度。
作为优选,S6具体包括有以下步骤:
S61、对匹配的特征点进行三角测量得到空间稀疏三维点云,以空间点三维坐标为中心,点到可见相机光心的单位向量之和的平均值为初始法向量生成初始面片,对初始面片进行优化,并根据建立的适应度函数计算每个初始面片的优先级大小,创建一个优先级队列,按照面片的优先级大小将初始面片放入队列中;
S62、从优先级对列中依次取出优先级最高的面片进行扩展,对面片的邻域八个方向进行扩展,用粒子群算法对面片中心和法向量进行优化,按优先级大小插入优先级队列中,面片扩充过程直到优先级队列为空为止;
S63、面片扩充完成后得到织物表面的密集点云,过滤掉不合法的面片,得到织物表面精确的密集点云。
采用上述方案,突破双目三维重建的基于视差图恢复三维信息的原理的限制,采用基于面片的多目三维重建方法,通过特征点匹配生成初始面片,再进行面片的扩充,优化和过滤,生成最终的密集点云。该方法能得到织物全方位的三维信息,且具有良好的完整性,能准确对织物进行表征。
综上所述,本发明具有以下有益效果:
通过多个高清数码相机可以清晰获取织物表面图像,且采集的图像信息重复率高;配合预处理、特征点检测及多目三维重建,运算高效、重建精度更高、完整性更优良,能准确对织物进行表征。
附图说明
图1为多角度织物表面图像采集装置示意图;
图2为三维重建方法的总体流程图;
图3为多角度图像采集的结果示意图;
图4为对极几何约束示意图;
图5为特征点匹配示意图;
图6为重建出来的织物表面密集点云效果图;
图7为纹理映射之后的织物表面三维模型。
图中:1、承载平台;2、高清数码相机;31、伺服电机;32、运动控制器;33、计算机;4、织物样本;5、光源。
具体实施方式
以下结合附图对本发明作进一步详细说明。
实施例一:
本实施例公开的一种非单一视角下复杂织物表面三维重建系统,如图1所示,包括有承载平台1、若干相机、处理装置及光源5。承载平台1可绕竖直中心轴旋转并对织物样本4进行承载,若干相机周向间隔安装于承载平台1的斜上方,各相机均朝向承载平台1中心设置以对放置待测的织物样本4进行拍摄,获取多角度图像;处理装置控制承载平台1旋转、控制相机进行拍摄、对拍摄获取的采集图像进行三维重建以获取对应的三维模型;光源5调整至合适的位置和强度,对拍摄织物样本4的相机提供合适的光源5环境。
如图1所示,系统有两台高清数码相机2、承载平台1、伺服电机31、运动控制器32、光源5部件构成。承载平台1通过连接杆接在伺服电机31上,伺服电机31外接运动控制器32。处理装置包括伺服电机31、运动控制器32及终端计算机33,计算机33对运动控制器32及各相机进行控制,运动控制器32编程实现承载平台1的精确旋转。承载平台1上放置制作好的织物样本4的标签,两台高清数码相机2放置在承载平台1的左右斜上方,且与织物表面大约45度,承载平台1上方固定面光源5。调整好光源5强度,通过伺服电机31驱动承载平台1精确旋转以获取织物图像序列。系统通过承载平台1旋转实现多相机图像采集,承载平台1旋转时每次旋转45度,旋转四次,一共可采集织物样本4八个角度的图像。由于织物表面组织点比较微小,为了清楚拍摄到织物表面纱线交织状态,优选采用尼康D7200高清数码相机,成像分辨率能达到2400万,加上40mm的微距镜头,可以清晰的拍摄到织物表面的组织点。光源5为AFT-BL100W型LED背光源,运动控制器32采用多普康TC55系列运动控制器32,能控制伺服电机31精确旋转。
实施例二:
本实施例公开的一种非单一视角下复杂织物表面三维重建方法,如图2所示,包括有以下具体步骤:
步骤1、搭建实验装置:首先搭建一个可精确旋转的织物承载平台1,使用伺服电机31和运动控制器32控制承载平台1旋转。在承载平台1的斜上方周向间隔安装若干相机,且优选在左右斜上方分别安放高清数码相机2进行拍摄采集图像。调整好相机角度和焦距,并且调整好光源5位置和强度,使各相机可清晰拍摄到织物表面组织点;
步骤2、制作被测织物样本:将小块织物用带有标记的纸片夹住,放置在可旋转承载平台1中心,调整各相机角度和焦距,使织物样本4能够在相机中清晰成像;
步骤3、采集多角度织物样本图像:搭建好实验装置后,运动控制器32程序控制伺服电机31精确旋转,每次旋转角度为45°,每次旋转后左右相机各拍摄一张织物图像,平台旋转4次,一共采集到八个角度织物图像;
步骤4、对图像进行预处理:对采集到的图像去除背景部分,只留下织物样本4区域。在图像的织物区域边界上选取若干个点,创建与图像大小相同的二进制掩码矩阵,将图像的R、G、B三个通道分别与掩码矩阵进行逻辑运算,得到去除背景后的织物图像;
步骤5、相机参数标定:利用承载平台1旋转采集到八个角度织物图像相当于八台相机对织物进行拍摄,相机标定要确定八台相机的内参和外参矩阵,具体标定过程包括以下步骤:
步骤51、对各角度图像进行SIFT特征点检测并生成128维的特征描述子,再利用k-d树模型计算匹配点之间的欧式距离完成最邻近匹配;
步骤52、鉴于特征点匹配的误匹配问题,采用RANSAC算法去除误匹配,在每两幅图像的所有匹配的特征点对中随机选择八对特征点来计算本质矩阵E和基础矩阵F,并将其它特征点带入计算出的模型中,若满足该模型,则记为内点,迭代一定次数,选择内点数最多的矩阵为该对图像之间的参数矩阵;
步骤53、根据相机的本质矩阵和基础矩阵,通过矩阵分解得到每个相机的内参矩阵和外参矩阵。
步骤54、使用BA即bundle adjustment算法使重投影误差最小来实现相机位姿和稀疏空间点的优化,最终得到最优的相机内外参数。
步骤6、将多角度织物图像和对应的相机内外参数作为PMVS即Patch-basedmulti-view stereo算法的输入,重建织物三维表面密集点云,具体包含以下步骤:
步骤61、对匹配的特征点进行三角测量得到空间稀疏三维点云,以空间点三维坐标为中心,点到可见相机光心的单位向量之和的平均值为初始法向量生成初始面片,对初始面片进行优化,并根据建立的适应度函数计算每个初始面片的优先级大小,创建一个优先级队列,按照面片的优先级大小将初始面片放入队列中。
步骤62、从优先级对列中依次取出优先级最高的面片进行扩展,对面片的邻域八个方向进行扩展,扩展面片的初始法向量和中心坐标继承自父面片,再用粒子群算法对面片中心和法向量进行优化,最优化后的扩展的面片也需要计算其优先级,并按优先级大小插入优先级队列中,面片扩充过程直到优先级队列为空为止。
步骤63、面片扩充完成后可得到织物表面的密集点云,由于不能保证扩展得到的面片都是最佳的,因此按照指定的规则过滤掉不合法的面片,得到织物表面精确的密集点云。
步骤7、对密集点云进行网格化,再对网格生成贴片,进行纹理映射得到织物表面精确三维模型。
为了使本领域普通技术人员更好的理解本发明,首先对其中的一些本发明中算法涉及到的一些概念进行说明:
(1)非单一视角下图像采集:非单一视角是指从多个角度对织物表面进行图像采集,虽然也包含双目视觉,本发明涉及的是更多视角,至少五个或五个以上。双目三维重建一般是需要特定的双目相机,这两个相机要保持内参完全一致、相机光轴要保持相互平行且相机光心之间的距离要已知,这种相机通常需要特制且像素分辨率不高,无法对织物表面组织点和纹理特征进行重建。而且两个相机是平行放置的,在拍摄视角上面还是会存在组织点之间相互遮挡存在视角盲区,无法重建完整的三维信息。本发明中提到的非单一视角是在织物样本4周围一圈均匀分布多台相机,获取组织点全方位的信息,同时采用多台高清数码相机2进行拍摄,能重建出织物组织点三维形态。
(2)相机组标定:相机的内部参数和相加在世界坐标系中的位姿是从多张二维图像中恢复空间点的三维坐标信息所必不可少的。本发明采用自标定的方式对所有相机参数进行估计,利用对极几何约束能得到相机参数的方程。
(3)对极几何约束:如图4所示,空间中在两图像中的投影在空间点与光心的连线上,空间点与两光心构成一个平面,称为极平面,l1和l2称为极线。
(4)面片模型:面片-patch是一个μ×μ个像素的矩形块,它的数据结构包含两个部分,一个是中心坐标c(p),另一个是以中心坐标为起始点的单位法向量n(p)。在本发明提出的基于面片的多视角织物三维表明重建算法中,面片是组成物体表面三维结构的基本单元,相当于点云中的点。点是无限小的,因此以点为中心,构造有方向的矩形块,用来表示三维物体的局部表面。
(5)图像模型:在本发明提出算法中,将图像分割成β×β的像素块,β的取值与生成的点云的密集程度有关,β越小,点云越密集。
(6)可见相机集合:对于每个面片,定义图像集合V(p),该集合中包含所有能观察到面片p的图像,即V(p)包含所有光轴与面片p的单位法向量的夹角小于某一个阈值的图片。
(7)参考图像:为每个面片定义一张参考图像R(p),该图像是指面片p的单位法向量与可见相机光轴的夹角最小的图像,显然R(p)∈V(p)。
(8)全局-局部-邻近粒子群优化算法-GLN-PSO:粒子群优化算法是一个无导数的非线性优化算法,通过参考全局最优,局部最优和近邻最优来增强学习能力,逐步向最优解靠近。在本发明中,采用算法来对扩展面片进行优化。
为表述清楚,现举一本发明的实例,提出了一种非单一视角下复杂织物三维表面重建的方法。图1为本发明实施例的流程图。如图1所示,本方法有三个部分组成:多角度图像采集装置的搭建、系统中多相机的标定以及三维重建。每个部分都包含具体的实施步骤和算法流程。一下对这几个部分进行具体的说明。
三维重建算法采用C++语言实现,使用的集成开发环境包括Microsoft VisualStudio 2010、OpenCV2.4.9、Point Cloud Library1.6以及Meshlab,可以实现点云重建、渲染和表面纹理贴片。
为节省算法运行时间,对采集到的多角度织物图像进行掩膜预处理,去除不必要的背景部分,只留下织物样本4图像区域。实例中多角度图像经过掩膜预处理之后的结果如图3所示,获得(a)-(h)共8个角度的图像。
对相机进行标定,相机的内参矩阵K只与相机零件的内部结构有关,由x和y方向的焦距fx、fy以及相机光心坐标u0、v0决定。相机的外部参数是指世界坐标系到相机坐标系下变换矩阵M2,它一个3X3的旋转矩阵R和一个三维平移向量t组成。空间一点P(Xw,Yw,Zw)与图像中的投影点坐标(u,v)之间的变换如下式所示:
其中,s是比例因子,M为3×4的投影矩阵。相机标定的目的就是计算内参矩阵和外参矩阵的值。空间一点在不同图像中的投影满足对极几何约束,如图4所示,p1和p2为同一个空间点在两个成像平面上的投影,O1、O2、P三点确定一个平面,称为极平面。根据对极几何约束可得:
p2 TK-Tt^RK-1p1=0 (2)
把中间部分表示为本质矩阵E和基础矩阵F得:
E=t^R,F=K-TEK-1 (3)
根据以上约束,相机标定问题可分为以下两部:
1)找到空间一点在不同成像平面的位置,求出本质矩阵E和基础矩阵F;
2)根据E和F利用矩阵分解求得K、R和t。
本质矩阵E和基础矩阵F都是一个3×3的矩阵,其中有9个未知量,考虑到他的尺度等价性,至少需要对应成像平面的八个点才能求出E和F,所以相机标定的第一步就是特征点检测与匹配。采用具有旋转不变性和尺度不变性的SIFT(Scale-invariant featuretransform)特征转换方法进行特征点的提取,并生成特征描述符,用k-d树模型计算两张图片特征点之间的欧式距离进行特征点匹配,如图5所示。因为存在误匹配的情况,采用RANSAC算法剔除误匹配的特征点,在每对图像中随机选择八对点计算基础矩阵和本质矩阵,然后将其它特征点带入计算出的模型中,若满足该模型则为内点。该过程迭代进行多次,选择内点数最多的对极几何模型为相机的参数模型,在通过矩阵分解得到每个相机的内外参数。
通过上述方法计算出每个相机的参数之后,还需要用光束平差法(BundleAdjustment)对相机的位姿和特征点的空间位置进行优化。BA优化通过最小化重投影误差调整相机位姿。首先选择匹配的特征点数足够多的图像对作为初始图相对,通过三角测量得到空间点的位置,根据计算出的相机参数将空间点重投影到图像上,计算投影点与实际特征点之间的误差,把误差求和,构建最小二乘问题,用非线性优化寻找最优的相机位姿。不断添加新的相机和三维空间点进行BA优化,直到所有相机位姿都被优化。优化过程如下式所示:
其中,i表示相机序号,j表示特征点序号,zij表示第i个相机的第j个特征点的坐标,Pj表示第j个空间点的空间坐标。求解这个最小二乘问题求解,得到最优的相机位姿。
步骤61中,对特征点进行三角测量,确定初始空间点的三维坐标,以该点为中心确定初始面片。除了面片中心c(p),还需确定种子面片的表面法向量n(p)。对每个种子面片,根据其已知的可见相机集合V(p),定义c(p)到相机中心Oi(p)连线上的单位向量和的平均值作为种子面片的初始法向量n(p),其数学表示如下:
其中,|V(p)|表示V(p)集合中元素数量。然后根据优化算法对种子面片的初始法向量进行优化。对于扩展面片,其表面法向量则是继承自优化后的父面片,在利用粒子群算法对其进行优化。
步骤62,面片扩充的过程就是尝试使每个图像的像素块都至少有一个面片投影,用ci(p)表示面片p在第i个可视图像上的投影所在的像素块,我们尝试在ci(p)的单环邻域像素块共8个方向做面片扩充,扩充面片的初始法向量继承自父面片,然后用粒子群优化算法进行优化。
为了使面片扩充时有较好的连续性和收敛结果,我们为每个面片定义一个优先级,并将所有面片根据优先级的高到低存入一个优先级队列中,面片扩充时对优先级较高的面片先行扩充。每个面片的优先级定义为q(p),其数值越小,优先级越高。
其中,ξ(p)表示该面片的自适应函数值,γ(p)表示面片与可视图像上的投影之间的相关性,|V(p)|和|V|分别表示该面片的可见相机数和系统中的所有相机数。
步骤63中,面片过滤,过滤的过程主要分为两个方面,执行阶段过滤和后处理过滤。执行阶段过滤发生在在面片优化和扩充时。首先在面片优化时进行最小可视图片数过滤,如果|V(p)|<Vmin,则丢弃p。其次,由于在面片扩充过程中可能加入了不可见的图像,这些面片由于角度不正确,导致其在图像上的投影面积相对细长,与我们定义的方形的像素块差异很大,计算投影后的像素块的最短边长与面片边长的比率,如果该比率小于设定阈值,则删除该图像。
后处理过滤方式有三种,第一,深度测试过滤,假设同一个像素块中投影的面片都是同一个面片,删去面片p在同一个像素块中深度值不是最小的图片,然后检查是否满足|V(p)|<Vmin来决定是否舍去面片p。第二,面片相关性过滤,根据面片的归一化相关性γ(p),如果面片的可视相机数与γ(p)比同像素块的其他面片小,则将p视为异常值删去。第三,相邻像素块过滤,考虑到相邻像素块中的面片相关性,一个稳定的面片应该足够的相邻面片来支撑,通过计算面片相关性来判断是否为相邻面片,如果不是则删除该面片。
经过面片扩展和过滤,能够生成织物表面密集点云。本发明的一个实例生成的密集点云如图6所示,结果显示织物表面点云完整,且保留颜色信息,能较好的对织物进行表征。
步骤7,对生成的点云进行网格化,贴片生成以及纹理映射可以得到织物表面精确三维模型。该过程通过meshlab进行处理,生成最后模型的结果如图7所示。
本具体实施例仅仅是对本发明的解释,其并不是对本发明的限制,本领域技术人员在阅读完本说明书后可以根据需要对本实施例做出没有创造性贡献的修改,但只要在本发明的权利要求范围内都受到专利法的保护。

Claims (7)

1.一种非单一视角下复杂织物表面三维重建系统,其特征是:包括有能绕竖直中心轴旋转并对织物样本(4)进行承载的承载平台(1)、周向间隔安装于所述承载平台(1)的斜上方且朝向承载平台(1)中心以对待测的织物样本(4)进行图像采集的若干相机;还包括有控制所述承载平台(1)旋转、控制所述相机进行拍摄并且对拍摄获取的图像进行三维重建以获取对应的三维模型的处理装置。
2.根据权利要求1所述的非单一视角下复杂织物表面三维重建系统,其特征是:所述相机为高清数码相机(2)设置有两台且分别安装于所述承载平台(1)的左右斜上方;所述处理装置控制所述承载平台(1)以45度旋转角度间隔旋转四次并且控制相机于每次旋转后进行拍摄获取对应的采集图像。
3.一种非单一视角下复杂织物表面三维重建方法,其特征是,包括有以下步骤:
搭建实验装置,将待测的织物样本(4)放置于可旋转的承载平台(1),采用多相机拍摄并采集织物样本(4)的多角度图像;
对采集的多角度图像进行预处理,得到去除背景后的织物图像;
标定采集多角度图像的相机参数并确定相机的内外参数矩阵;
根据织物样本(4)的多角度图像和对应相机内外参数重建织物三维表面密集点云;
对密集点云进行网格化,对网格生成贴片,进行纹理映射获得织物表面精确三维模型。
4.根据权利要求3所述的非单一视角下复杂织物表面三维重建方法,其特征是,具体步骤如下:
S1、搭建可旋转的承载平台(1),于承载平台(1)的斜上方周向安装若干相机;
S2、将待测织物样本(4)用带有标记的纸片夹住,放置在承载平台(1)中心,调整各相机角度和焦距,使织物样本(4)能够在相机中清晰成像;
S3、控制承载平台(1)绕中心轴旋转,并于每次旋转一定角度后通过各相机拍摄进行织物样本(4)图像的采集,获取织物样本(4)的多角度图像;
S4、对采集的多角度图像预处理,在图像的织物区域边界上选取若干个点,创建与图像大小相同的二进制掩码矩阵,将图像的R、G、B三个通道分别与掩码矩阵进行逻辑运算,得到去除背景后的织物图像;
S5、相机参数标定,利用承载平台(1)旋转采集到多个角度织物图像,确定相机于各角度织物图像的内参和外参矩阵;
S6、将多角度图像和对应的相机内外参数作为PMVS算法的输入,重建织物三维表面密集点云;
S7、对密集点云进行网格化,再对网格生成贴片,进行纹理映射得到织物表面精确三维模型。
5.根据权利要求4所述的非单一视角下复杂织物表面三维重建方法,其特征是:搭建实验装置时,于承载平台(1)的左右斜上方各放置相机,进行图像采集时,控制承载平台(1)以每次45度的旋转角度匀速旋转4次,通过放置的两个相机采集获取八个角度下的织物样本(4)的多角度图像。
6.根据权利要求4所述的非单一视角下复杂织物表面三维重建方法,其特征是,S5中相机的标定包括有以下具体步骤:
S51、对多角度图像根据各角度分别进行SIFT特征点检测并生成128维的特征描述子,利用k-d树模型计算匹配点之间的欧式距离完成最邻近匹配;
S52、采用RANSAC算法去除误匹配,在每两幅图像的所有匹配的特征点对中随机选择八对特征点计算本质矩阵E和基础矩阵F,并将其它特征点带入计算出的模型中,若满足该模型,则记为内点,迭代若干次数,选择内点数最多的矩阵为该对图像之间的参数矩阵;
S53、根据相机的本质矩阵和基础矩阵,通过矩阵分解得到每个相机的内参矩阵和外参矩阵;
S54、使用BA算法使重投影误差最小,实现相机位姿和稀疏空间点的优化,最终得到最优的相机内外参数。
7.根据权利要求6所述的非单一视角下复杂织物表面三维重建方法,其特征是,S6具体包括有以下步骤:
S61、对匹配的特征点进行三角测量得到空间稀疏三维点云,以空间点三维坐标为中心,点到可见相机光心的单位向量之和的平均值为初始法向量生成初始面片,对初始面片进行优化,并根据建立的适应度函数计算每个初始面片的优先级大小,创建一个优先级队列,按照面片的优先级大小将初始面片放入队列中;
S62、从优先级对列中依次取出优先级最高的面片进行扩展,对面片的邻域八个方向进行扩展,用粒子群算法对面片中心和法向量进行优化,按优先级大小插入优先级队列中,面片扩充过程直到优先级队列为空为止;
S63、面片扩充完成后得到织物表面的密集点云,过滤掉不合法的面片,得到织物表面精确的密集点云。
CN201910540860.7A 2019-06-21 2019-06-21 一种非单一视角下复杂织物表面三维重建系统及其方法 Pending CN110415332A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910540860.7A CN110415332A (zh) 2019-06-21 2019-06-21 一种非单一视角下复杂织物表面三维重建系统及其方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910540860.7A CN110415332A (zh) 2019-06-21 2019-06-21 一种非单一视角下复杂织物表面三维重建系统及其方法

Publications (1)

Publication Number Publication Date
CN110415332A true CN110415332A (zh) 2019-11-05

Family

ID=68359514

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910540860.7A Pending CN110415332A (zh) 2019-06-21 2019-06-21 一种非单一视角下复杂织物表面三维重建系统及其方法

Country Status (1)

Country Link
CN (1) CN110415332A (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111070210A (zh) * 2020-01-02 2020-04-28 中车青岛四方机车车辆股份有限公司 一种工件定位校准方法
CN111833441A (zh) * 2020-07-30 2020-10-27 华中师范大学 一种基于多相机系统的人脸三维重建方法和装置
CN112649625A (zh) * 2020-12-08 2021-04-13 广东省医疗器械研究所 一种基于原子力显微镜检测组织力学性能的方法
CN112866583A (zh) * 2020-12-30 2021-05-28 深圳追一科技有限公司 数据采集系统、方法、装置、电子设备及存储介质
CN113838187A (zh) * 2021-08-27 2021-12-24 南方科技大学 大脑皮质下结构的三维表面生成方法、装置及存储介质
CN114511637A (zh) * 2022-04-20 2022-05-17 湖南华城检测技术有限公司 一种基于构造强特征的弱特征物体图像三维重建系统及方法
CN115068833A (zh) * 2021-03-15 2022-09-20 湖南华创医疗科技有限公司 用于束流阻挡器的定位装置和放射治疗系统
CN115100365A (zh) * 2022-08-25 2022-09-23 国网天津市电力公司高压分公司 一种基于粒子群算法的相机最优基线获取方法
CN115326805A (zh) * 2022-10-12 2022-11-11 云南瀚哲科技有限公司 图像采集装置与基于ibmr的烟叶作物长势分析方法
CN117893695A (zh) * 2024-03-15 2024-04-16 浙江托普云农科技股份有限公司 任意株高三维重建方法、系统及装置

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103236076A (zh) * 2013-04-11 2013-08-07 武汉大学 基于激光影像的物体三维模型重建系统及方法
CN104200517A (zh) * 2014-08-06 2014-12-10 北京工业大学 一种三维重建方法
CN107514983A (zh) * 2016-08-16 2017-12-26 上海汇像信息技术有限公司 一种基于三维测量技术测量物体表面积的系统及方法
CN107610216A (zh) * 2017-08-16 2018-01-19 西安电子科技大学 基于粒子群优化多视角立体点云生成方法及应用的摄像机
CN108648264A (zh) * 2018-04-25 2018-10-12 吉林大学 基于运动恢复的水下场景重建方法及存储介质
CN108694741A (zh) * 2017-04-07 2018-10-23 杭州海康威视数字技术股份有限公司 一种三维重建方法及装置
CN108961151A (zh) * 2018-05-08 2018-12-07 中德(珠海)人工智能研究院有限公司 一种将球幕相机得到的三维大场景转成剖面图的方法
CN109190537A (zh) * 2018-08-23 2019-01-11 浙江工商大学 一种基于掩码感知深度强化学习的多人物姿态估计方法
CN109242972A (zh) * 2018-08-14 2019-01-18 重庆大学 一种基于顶点特征的双法向网格模型光顺方法
CN109448041A (zh) * 2018-10-29 2019-03-08 重庆金山医疗器械有限公司 一种胶囊内镜图像三维重建方法及系统
CN109584355A (zh) * 2018-11-07 2019-04-05 南京邮电大学 基于手机gpu的三维模型快速重建方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103236076A (zh) * 2013-04-11 2013-08-07 武汉大学 基于激光影像的物体三维模型重建系统及方法
CN104200517A (zh) * 2014-08-06 2014-12-10 北京工业大学 一种三维重建方法
CN107514983A (zh) * 2016-08-16 2017-12-26 上海汇像信息技术有限公司 一种基于三维测量技术测量物体表面积的系统及方法
CN108694741A (zh) * 2017-04-07 2018-10-23 杭州海康威视数字技术股份有限公司 一种三维重建方法及装置
CN107610216A (zh) * 2017-08-16 2018-01-19 西安电子科技大学 基于粒子群优化多视角立体点云生成方法及应用的摄像机
CN108648264A (zh) * 2018-04-25 2018-10-12 吉林大学 基于运动恢复的水下场景重建方法及存储介质
CN108961151A (zh) * 2018-05-08 2018-12-07 中德(珠海)人工智能研究院有限公司 一种将球幕相机得到的三维大场景转成剖面图的方法
CN109242972A (zh) * 2018-08-14 2019-01-18 重庆大学 一种基于顶点特征的双法向网格模型光顺方法
CN109190537A (zh) * 2018-08-23 2019-01-11 浙江工商大学 一种基于掩码感知深度强化学习的多人物姿态估计方法
CN109448041A (zh) * 2018-10-29 2019-03-08 重庆金山医疗器械有限公司 一种胶囊内镜图像三维重建方法及系统
CN109584355A (zh) * 2018-11-07 2019-04-05 南京邮电大学 基于手机gpu的三维模型快速重建方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
苏涛: ""基于图像特征点的稠密点云三维重建"", 《中国优秀硕士学位论文全文数据库 (信息科技辑)》 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111070210A (zh) * 2020-01-02 2020-04-28 中车青岛四方机车车辆股份有限公司 一种工件定位校准方法
CN111833441A (zh) * 2020-07-30 2020-10-27 华中师范大学 一种基于多相机系统的人脸三维重建方法和装置
CN112649625A (zh) * 2020-12-08 2021-04-13 广东省医疗器械研究所 一种基于原子力显微镜检测组织力学性能的方法
CN112866583B (zh) * 2020-12-30 2022-06-21 深圳追一科技有限公司 数据采集系统、方法、装置、电子设备及存储介质
CN112866583A (zh) * 2020-12-30 2021-05-28 深圳追一科技有限公司 数据采集系统、方法、装置、电子设备及存储介质
CN115068833A (zh) * 2021-03-15 2022-09-20 湖南华创医疗科技有限公司 用于束流阻挡器的定位装置和放射治疗系统
CN115068833B (zh) * 2021-03-15 2024-02-06 湖南华创医疗科技有限公司 用于束流阻挡器的定位装置和放射治疗系统
CN113838187A (zh) * 2021-08-27 2021-12-24 南方科技大学 大脑皮质下结构的三维表面生成方法、装置及存储介质
CN114511637A (zh) * 2022-04-20 2022-05-17 湖南华城检测技术有限公司 一种基于构造强特征的弱特征物体图像三维重建系统及方法
CN115100365A (zh) * 2022-08-25 2022-09-23 国网天津市电力公司高压分公司 一种基于粒子群算法的相机最优基线获取方法
CN115100365B (zh) * 2022-08-25 2023-01-20 国网天津市电力公司高压分公司 一种基于粒子群算法的相机最优基线获取方法
CN115326805A (zh) * 2022-10-12 2022-11-11 云南瀚哲科技有限公司 图像采集装置与基于ibmr的烟叶作物长势分析方法
CN117893695A (zh) * 2024-03-15 2024-04-16 浙江托普云农科技股份有限公司 任意株高三维重建方法、系统及装置
CN117893695B (zh) * 2024-03-15 2024-06-04 浙江托普云农科技股份有限公司 任意株高三维重建方法、系统及装置

Similar Documents

Publication Publication Date Title
CN110415332A (zh) 一种非单一视角下复杂织物表面三维重建系统及其方法
CN109658365B (zh) 图像处理方法、装置、系统和存储介质
Hedman et al. Scalable inside-out image-based rendering
CN102834845B (zh) 用于多摄像装置校准的方法与装置
CN109242954B (zh) 基于模板变形的多视角三维人体重建方法
CN110163974B (zh) 一种基于无向图学习模型的单图像面片重建方法
CN108648264B (zh) 基于运动恢复的水下场景重建方法及存储介质
KR20180054487A (ko) Dvs 이벤트 처리 방법 및 장치
KR100681320B1 (ko) 헬름홀츠 교환조건으로부터 유도되는 편미분 방정식의레벨셋 풀이 방법을 이용한 물체의 3차원 형상 모델링 방법
CN109118544B (zh) 基于透视变换的合成孔径成像方法
CN107369204B (zh) 一种从单幅照片恢复出场景基本三维结构的方法
CN106530407A (zh) 一种用于虚拟现实的三维全景拼接方法、装置和系统
Pagani et al. Dense 3D Point Cloud Generation from Multiple High-resolution Spherical Images.
CN111524233A (zh) 一种静态场景动态目标的三维重建方法
JP7119023B2 (ja) オブジェクトの3dイメージングを実施するためのシステムおよび方法
CN115880443A (zh) 一种透明物体隐式表面重建方法及设备
CN108734773A (zh) 一种用于混合图片的三维重建方法及系统
CN114782628A (zh) 基于深度相机的室内实时三维重建方法
CN112862736A (zh) 一种基于点的实时三维重建与优化方法
CN112630469A (zh) 一种基于结构光和多光场相机的三维检测方法
CN111896032A (zh) 一种单目散斑投射器位置的标定系统及方法
Ramirez et al. Booster: a benchmark for depth from images of specular and transparent surfaces
Luo et al. Sparse RGB-D images create a real thing: A flexible voxel based 3D reconstruction pipeline for single object
Kato et al. Self-supervised learning of 3d objects from natural images
CN116681839B (zh) 一种基于改进NeRF的实景三维目标重建与单体化方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination