CN112102491B - 一种基于面结构光的皮肤损伤表面三维重建方法 - Google Patents

一种基于面结构光的皮肤损伤表面三维重建方法 Download PDF

Info

Publication number
CN112102491B
CN112102491B CN202010806372.9A CN202010806372A CN112102491B CN 112102491 B CN112102491 B CN 112102491B CN 202010806372 A CN202010806372 A CN 202010806372A CN 112102491 B CN112102491 B CN 112102491B
Authority
CN
China
Prior art keywords
skin
area
damaged
dimensional
point cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010806372.9A
Other languages
English (en)
Other versions
CN112102491A (zh
Inventor
梁晋
李成宏
温自明
张铭凯
陆旺
马金泽
赫景彬
苗泽华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Jiaotong University
Original Assignee
Xian Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Jiaotong University filed Critical Xian Jiaotong University
Priority to CN202010806372.9A priority Critical patent/CN112102491B/zh
Publication of CN112102491A publication Critical patent/CN112102491A/zh
Application granted granted Critical
Publication of CN112102491B publication Critical patent/CN112102491B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20Finite element generation, e.g. wire-frame surface description, tesselation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30088Skin; Dermal

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本公开揭示了一种基于面结构光的皮肤损伤表面三维重建方法,包括:拍摄受损皮肤所在区域的二维图像,同时采集投影到受损皮肤所在区域上的光栅信息,对光栅信息进行解调获得光栅的相位变化信息;根据光栅的相位变化信息和二维图像的像素坐标通过立体匹配获得受损皮肤所在区域的三维点云;读取受损皮肤所在区域的二维图像和三维点云,选取二维图像中皮肤受损区域的轮廓边界点;在二维图像上对轮廓边界点进行曲线拟合获得完整边缘轮廓;将轮廓边界点删除,根据所拟合的曲线,利用二维图像与三维点云的对应关系,将受损皮肤所在区域的三维点云分割为皮肤受损和非受损区域;对所述三维点云中的皮肤受损区域进行修补,完成受损皮肤的三维重建。

Description

一种基于面结构光的皮肤损伤表面三维重建方法
技术领域
本公开属于图像识别技术领域,具体涉及一种基于面结构光的皮肤损伤表面三维重建方法。
背景技术
三维打印技术是基于计算机三维数字成像技术及多层次连续打印的一种新型数字化成型技术。近几年,由于互联网、新兴材料和计算能力的逐渐进步,3D打印技术得到了迅速的发展。这也使得3D打印技术目前已经应用到生产和生活的众多领域,例如航空航天,生物医学,军工,纺织,教育等。生物3D打印则是在3D打印的基础之上,以种子细胞为原料打印活体组织和器官的一种新技术。3D生物打印在临床中的应用越来越广泛,包括皮肤、骨骼、血管、心脏组织等的体外再生与重建。
3D生物打印在皮肤损伤修复领域的应用主要是构建出组织工程皮肤。组织工程皮肤是由种子细胞和(或)支架材料在体外构建培养而成的人工皮肤。采用生物3D打印技术能够精确定位多种基质材料和细胞,通过将种子细胞等原料打印成预定制的形式,能够模拟生物体内的三维组织结构和微环境,具有孔隙结构可控、宽尺寸范围及高生产能力等优点,并可以解决组织工程中血管化的难题,因此在制造组织工程皮肤中具有极大的潜力。
然而,3D生物打印是离不开三维数据模型的,目前对皮肤修复的前端工作,缺损皮肤表面模型的重建工作一般是由一些三维设计软件如3DMAX、Maya、Solidworks等设计出所需尺寸的模型,再进行后端的生物3D打印部分,但是这种方法不仅要求使用者需要对三维建模软件的操作十分熟知,该方法还无法实现自动化建模。除此之外,一些研究人员利用再制造损伤提取的方法,利用三维光学测量采集损伤树脂皮肤模型表面点云数据,并重构成三维网格,将损伤皮肤模型与原始完好树脂模型的CAD模型进行布尔运算,得到缺损区域模型。然而,对于实际的损伤模型等,无法获取到原始模型的CAD,因此无法进行布尔运算。
发明内容
针对现有技术中的不足,本公开的目的在于提供一种基于面结构光的皮肤损伤表面三维重建方法,通过双目视觉系统获得皮肤表面的点云,利用点云的欧式聚类分割算法和拉普拉斯网格变形算法,快速准确的重建出受损皮肤的三维模型。
为实现上述目的,本公开提供以下技术方案:
一种基于面结构光的皮肤损伤表面三维重建方法,包括如下步骤:
S100:通过双目相机拍摄受损皮肤所在区域的二维图像,同时采集光栅投影装置投影到受损皮肤所在区域上的光栅信息,对所采集的光栅信息进行解调获得光栅的相位变化信息;
S200:利用所述光栅的相位信息和二维图像的像素坐标,通过立体匹配获得受损皮肤所在区域的三维点云,此时,三维点云与二维图像的二维像素坐标一一对应;
S300:读取受损皮肤所在区域的二维图像和受损皮肤所在区域的三维点云,选取所述二维图像中皮肤受损区域的轮廓边界点;
S400:在所述二维图像上对所述皮肤受损区域的轮廓边界点进行曲线拟合,获得二维图像上皮肤受损区域的完整边缘轮廓;
S500:将所拟合的曲线上的轮廓边界点删除,根据所拟合的曲线,并利用所述二维图像与所述三维点云的对应关系,将所述受损皮肤所在区域的三维点云分割为皮肤受损区域和皮肤非受损区域;
S600:对所述三维点云中的皮肤受损区域进行修补,完成受损皮肤的三维重建。
优选的,步骤S100中,通过多频外差法和四步相移法对所采集的光栅信息进行解调。
优选的,步骤S400中,在所述二维图像上对所述皮肤受损区域的轮廓边界点进行曲线拟合采用如下任一方法:样条插值法和最小二乘法。
优选的,步骤S500中,采用如下任意一种方法对所述受损皮肤所在区域的三维点云进行分割:生长分割法和欧式聚类分割法。
优选的,步骤S500中,删除所拟合的曲线上的轮廓边界点的同时,读取所述轮廓边界点的像素坐标对应的三维点云坐标。
优选的,步骤S600包括如下步骤:
S601:对所述受损皮肤所在区域的三维点云三角化,获得受损皮肤表面三维模型;
S602:通过最小面积法和拉普拉斯变形对受损皮肤表面三维模型进行修补。
本公开还提供一种存储设备,其中存储有多条指令,所述指令适于由处理器加载并执行:
通过双目相机拍摄受损皮肤所在区域的二维图像,同时采集光栅投影装置投影到受损皮肤所在区域上的光栅信息,对所采集的光栅信息进行解调获得光栅的相位变化信息;
根据所述光栅的相位信息和二维图像的像素坐标,通过立体匹配获得受损皮肤所在区域的三维点云,此时,三维点云与二维图像的二维像素坐标一一对应;
读取受损皮肤所在区域的二维图像和受损皮肤所在区域的三维点云,选取所述二维图像中皮肤受损区域的轮廓边界点;
在所述二维图像上对所述皮肤受损区域的轮廓边界点进行曲线拟合,获得二维图像上皮肤受损区域的完整边缘轮廓;
将所拟合的曲线上的轮廓边界点删除,根据所拟合的曲线,并利用所述二维图像与所述三维点云的对应关系,将所述受损皮肤所在区域的三维点云分割为皮肤受损区域和皮肤非受损区域;
对所述三维点云中的皮肤受损区域进行修补,完成受损皮肤的三维重建。
本公开还提供一种移动终端,包括:
处理器,适于实现各指令;
存储设备,适于存储多条指令,所述指令适于由处理器加载并执行:
通过双目相机拍摄受损皮肤所在区域的二维图像,同时采集光栅投影装置投影到受损皮肤所在区域上的光栅信息,对所采集的光栅信息进行解调获得光栅的相位变化信息;
根据所述光栅的相位信息和二维图像的像素坐标,通过立体匹配获得受损皮肤所在区域的三维点云,此时,三维点云与二维图像的二维像素坐标一一对应;
读取受损皮肤所在区域的二维图像和受损皮肤所在区域的三维点云,选取所述二维图像中皮肤受损区域的轮廓边界点;
在所述二维图像上对所述皮肤受损区域的轮廓边界点进行曲线拟合,获得二维图像上皮肤受损区域的完整边缘轮廓;
将所拟合的曲线上的轮廓边界点删除,根据所拟合的曲线,并利用所述二维图像与所述三维点云的对应关系,将所述受损皮肤所在区域的三维点云分割为皮肤受损区域和皮肤非受损区域;
对所述三维点云中的皮肤受损区域进行修补,完成受损皮肤的三维重建。
与现有技术相比,本公开带来的有益效果为:
1、可以对皮肤表面不规则的伤口进行重建和修复,得到良好的损伤皮肤的上下表面三维模型,并可以作为生物3D打印的输入模型,为利用组织工程皮肤移植治疗烧伤,皮肤病等研究奠定了良好的基础;
2、相对于利用三维设计软件进行人为设计皮肤损伤处的三维模型,本公开只需要用户在二维损伤图片上选取损伤区域边界点,便可自动拟合出损伤区域轮廓,通过后续的点云分割、点云三角化、最小面积法与拉普拉斯变形算法,即可恢复出损伤皮肤的上下表面。
附图说明
图1是本公开一个实施例提供的一种基于面结构光的皮肤损伤表面三维重建方法流程图;
图2为本公开一个实施例提供的面结构光双目视觉系统结构示意图;
图3为本公开一个实施例提供的模拟人体皮肤的树脂材料模型;
图4为本公开一个实施例提供的面结构光双目视觉系统求三维点的示意图;
图5为本公开一个实施例提供的通过结构光双目视觉系统扫描得到的树脂材料皮肤模型三维点云;
图6为本公开一个实施例提供的树脂材料皮肤图像上损伤轮廓点选择示意图;
图7为本公开一个实施例提供的树脂材料皮肤图像损伤区域边界轮廓拟合示意图;
图8为本公开一个实施例提供的三维点云模型非受损区域树脂皮肤点云与受损树脂皮肤点云分离效果图;
图9为本公开一个实施例提供的树脂皮肤模型分割后点云三角化得到的部分三角网格模型;
图10为本公开一个实施例提供的三角网格化封装后的树脂皮肤模型;
图11为本公开一个实施例提供的树脂皮肤损伤区域上表面大孔洞用最小面积法填充效果图;
图12为本公开一个实施例提供的树脂皮肤损伤区域上表面经过最小面积法和拉普拉斯变形后填孔提取的损伤区域修复模型。
具体实施方式
下面将参照附图1至附图12详细地描述本公开的具体实施例。虽然附图中显示了本公开的具体实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
需要说明的是,在说明书及权利要求当中使用了某些词汇来指称特定组件。本领域技术人员应可以理解,技术人员可能会用不同名词来称呼同一个组件。本说明书及权利要求并不以名词的差异作为区分组件的方式,而是以组件在功能上的差异作为区分的准则。如在通篇说明书及权利要求当中所提及的“包含”或“包括”为一开放式用语,故应解释成“包含但不限定于”。说明书后续描述为实施本发明的较佳实施方式,然所述描述乃以说明书的一般原则为目的,并非用以限定本发明的范围。本公开的保护范围当视所附权利要求所界定者为准。
为便于对本公开实施例的理解,下面将结合附图以具体实施例为例做进一步的解释说明,且各个附图并不构成对本公开实施例的限定。
一个实施例中,如图1所示,本公开提供一种基于面结构光的皮肤损伤表面三维重建方法,包括如下步骤:
S100:通过双目相机拍摄受损皮肤所在区域的二维图像,同时采集光栅投影装置投影到受损皮肤所在区域上的光栅信息,对所采集的光栅信息进行解调获得光栅的相位变化信息;
该步骤中,如图2所示,利用面结构光双目视觉系统拍摄受损皮肤所在区域的二维图像,通过光栅投影装置将光栅图案投影到皮肤表面,(本实施例中的皮肤为模拟人体皮肤的树脂材料模型,如图3所示),由于受到皮肤表面轮廓调制,光栅条纹会产生形变,这种变形条纹可解释为相位和振幅均被调制的空间载波信号。采集变形条纹并对其进行解调可以得到包含轮廓信息的相位变化。
进一步的,通过多频外差法和四步相移法对光栅信息进行解调得到带有物体高度信息的相位值。其中,四步相移法的基本思想是:通过采集多帧有一定相移的条纹图像来计算包含有被测物体表面三维信息的相位初值。假设条纹图像光强是标准正弦分布,则其光强分布函数为:
Figure BDA0002629264420000081
其中,I′(x,y)为图像的平均灰度,I″(x,y)为图像的灰度调制,δi为图像的相位移,
Figure BDA0002629264420000082
为待计算的相对相位值(也称相位主值),使用四步相移法需要采集以π/2相移为间隔的四张光栅图像,所获取的各光栅图像表示为:
Figure BDA0002629264420000083
根据上式可得光栅图像的相位主值为:
Figure BDA0002629264420000084
由于三角函数的周期性,所计算出的相位主值
Figure BDA0002629264420000085
周期性变化于0~2π之间(或者是-π~π之间亦可)。要想得到完整的相位场,还需要计算相角的级数,即进行相位展开。实际求解的完整相位值θ应当为:
Figure BDA0002629264420000091
其中,k称为条纹级数。
多频外差相位展开的原理是,将多种不同频率的光栅图像进行叠加,分析不同条纹之间的相位干涉关系进行相位求解。如下所示:其中λ1、λ2、λ3分别为相位函数φ1(x)、φ2(x)、φb(x)的频率。φb(x)的频率λb经过计算可表示为:
Figure BDA0002629264420000092
为了在全场范围内无歧义的进行相位展开,必须选择λ1、λ2值,使得λb=1。在图像全场范围内,tanα1,tanαb的比值等于投影图像的周期比数(为常量,设为R1),可采用下式对φ1(x)进行相位展开:Φ1=φ1+O1(x)×Π,其中:
Figure BDA0002629264420000093
S200:利用所述光栅的相位信息和二维图像的像素坐标通过立体匹配获得受损皮肤所在区域的三维点云,此时,三维点云与二维图像的二维像素坐标一一对应;
该步骤中,根据三维测量系统的原理,可进行三维点云的求解,在双目光栅投影结构光测量系统中,由于结合了立体视觉测量原理,必须找到左右匹配点才能计算出空间点的三维坐标获得测量数据,结构光双目立体视觉重建示意如图4所示。本实施例利用相位灰度图包含测量空间划分的特点,把相位灰度图分成一系列轮廓线并获得各线上像素点的点集,得到一系列的相位灰度线;然后根据各相位灰度线的绝对相位值,实现其在二维图像上的匹配,获得相互匹配的点集;最后在匹配点集内,根据极线约束对被测点在二维图像中的像点进行匹配。
以左摄像机坐标系为点云的世界坐标系,利用相机内参解算左右相机的三维点,公式如下
s1(u1,v1,1)T=K1(X1,Y1,Z1,1)T
s2(u2,v2,1)T=K2(X2,Y2,Z2,1)T
式中,s1、s2为左右相机的比例因子,同时根据相机外参将左右相机点对的对应关系进行转换,公式如下
(X1,Y1,Z1,1)T=R21(X2,Y2,Z2,1)T+T21
解算上述方程组成的方程组即可获得采集图片的每个像素点对应的三维坐标值,得到的树脂皮肤模型点云如图5所示。此外,本实施例中的面结构光扫描仪得到的点云存储信息将每个二维像素点及根据每个像素点求出的三维点坐标对应存储,即通过读取二维像素点坐标可以得到三维点云坐标。
S300:读取受损皮肤所在区域的二维图像和受损皮肤所在区域的三维点云,选取所述二维图像中皮肤损伤区域的轮廓边界点;
该步骤中,由于现有点云算法无法精确得到三维点云的轮廓边界,因此需要利用成熟的二维图像处理方法,利用二维图像得到皮肤损伤区域的边界,并利用点云和图像的对应关系,将图像的边缘对应得到三维点云的轮廓边界,用于分离受损区域和非受损区域。已知二维图像上的像素可以取出对应存储该像素坐标的点以便进行后续的删除。因此可以在二维图像上选取皮肤轮廓边界点,得到每个点的像素坐标,通过检索每个点存储的像素坐标,得到像素坐标对应的三维点,将其进行删除。另外,选取边界点时,应选择皮肤损伤区域的全部角点,同时应尽量贴合边界区域。选取受损皮肤边界轮廓点,如图6所示。
S400:在所述二维图像上对所述皮肤受损区域的轮廓边界点进行曲线拟合,获得二维图像上皮肤受损区域的完整边缘轮廓;
该步骤中,由于选取损伤皮肤的边界轮廓点并不能完整的表达损伤皮肤处的轮廓,因此想要得到更精确的轮廓线,需要用已知的轮廓点去拟合边界轮廓曲线。常用的方法包含样条插值法、最小二乘法、磨光法,在本方案中选用的方法为样条插值中的三次B样条插值法。三次B样条插值法的原理解释如下:利用曲线上的型值点{Pi},通过追赶法反解出控制点{Ci},再利用控制点{Ci}构造出过型值点{Pi}的三次B样条曲线。因此,利用步骤S300中选取的边界点为型值点,进行三次B样条插值,得到光滑的皮肤边界点曲线,拟合所得到的曲线,如图7所示。
S500:将所拟合的曲线上的轮廓边界点删除,根据所拟合的曲线,并利用所述二维图像与所述三维点云的对应关系,将所述受损皮肤所在区域的三维点云分割为皮肤受损区域和皮肤非受损区域;
该步骤中,在得到的点云模型中,由于皮肤损伤上表面和下表面的部分点云还是保持连接,无法确定皮肤上表面和下表面的轮廓,因此需要删除所拟合的轮廓线上的点,从而得到皮肤上表面和下表面的轮廓。将二维的皮肤损伤图像上拟合的光滑曲线进行删除,并输出删除的轮廓边界点的像素坐标文件并读取像素坐标文件。由于三维点云的向量中存储了像素坐标,因此利用像素值的对应关系,可以删除对齐的三维损伤皮肤轮廓点,分离得到的损伤皮肤上下表面模型如图8所示。
S600:对所述三维点云中的皮肤受损区域进行修补,完成受损皮肤的三维重建。
另一个实施例中,步骤S600包括如下步骤:
S601:对所述受损皮肤所在区域的三维点云三角化,获得受损皮肤表面三维模型;
该步骤中,图8所示只是皮肤模型在三维空间中的离散点(即点云),由于损伤皮肤的表面会有一些凹凸不平的区域,使用面结构光双目视觉系统重建出的点云会有小部分缺失,因此得到的三角网格模型会有部分孔洞,为了修补这些孔洞,需要将损伤皮肤的点云进行三角化,通过将点云之间用三角形连接,连接成一个封闭的三角网格模型,三角化后的部分树脂皮肤三角网格模型如图8所示。找到三角化的小孔洞后,利用小孔洞的边界求得小孔洞的重心,连接孔洞边界点和重心,便完成了小孔洞的修补,得到完整的受损皮肤表面三维模型。
S602:通过最小面积法和拉普拉斯变形对受损皮肤表面三维模型进行修补。
该步骤中,由于3D打印要求数据的完整性和模型的封闭性,带孔洞的模型是无法进行3D打印的,因此需要对皮肤表面的损伤区域进行填充修复。首先,需要识别出孔洞的边界,对孔洞多边形的边界使用最小面积法,即直接连接三个边界顶点,判断所有连接的三角形面积是否最小,选择三角形面积最小的连接方式进行填充,最小面积法填充得到的孔洞修补部分如图10所示。然后采用细分和边交换方式消除形状不好的新增三角网格。由于仅仅连接边界顶点无法保证填充的孔洞的曲率与损伤皮肤附近的网格模型曲率相近,因此需要采用拉普拉斯网格变形的方法,对新增三角片的顶点(用拉普拉斯坐标
Figure BDA0002629264420000131
vi为所选顶点坐标,di为该顶点的度,N(i)为该点的邻域,vj为该顶点邻域上的点表示)位置进行调整。由于在顶点位置调整变形时用到了孔洞周围邻域三角片的位置信息,所以能够得到曲率相近的修补效果,最终得到的损伤修复部分模型如图11所示,图12为非受损皮肤区域与修复区域整体拼合的模型。
另一个实施例中,本公开还提供一种存储设备,其中存储有多条指令,所述指令适于由处理器加载并执行:
通过双目相机拍摄受损皮肤所在区域的二维图像,同时采集光栅投影装置投影到受损皮肤所在区域上的光栅信息,对所采集的光栅信息进行解调获得光栅的相位变化信息;
根据所述光栅的相位信息和二维图像的像素坐标,通过立体匹配获得受损皮肤所在区域的三维点云,此时,三维点云与二维图像的二维像素坐标一一对应;
读取受损皮肤所在区域的二维图像和受损皮肤所在区域的三维点云,选取所述二维图像中皮肤受损区域的轮廓边界点;
在所述二维图像上对所述皮肤受损区域的轮廓边界点进行曲线拟合,获得二维图像上皮肤受损区域的完整边缘轮廓;
将所拟合的曲线上的轮廓边界点删除,根据所拟合的曲线,并利用所述二维图像与所述三维点云的对应关系,将所述受损皮肤所在区域的三维点云分割为皮肤受损区域和皮肤非受损区域;
对所述三维点云中的皮肤受损区域进行修补,完成受损皮肤的三维重建。
另一个实施例中,本公开还提供一种移动终端,包括:
处理器,适于实现各指令;
存储设备,适于存储多条指令,所述指令适于由处理器加载并执行:
通过双目相机拍摄受损皮肤所在区域的二维图像,同时采集光栅投影装置投影到受损皮肤所在区域上的光栅信息,对所采集的光栅信息进行解调获得光栅的相位变化信息;
根据所述光栅的相位信息和二维图像的像素坐标,通过立体匹配获得受损皮肤所在区域的三维点云,此时,三维点云与二维图像的二维像素坐标一一对应;
读取受损皮肤所在区域的二维图像和受损皮肤所在区域的三维点云,选取所述二维图像中皮肤受损区域的轮廓边界点;
在所述二维图像上对所述皮肤受损区域的轮廓边界点进行曲线拟合,获得二维图像上皮肤受损区域的完整边缘轮廓;
将所拟合的曲线上的轮廓边界点删除,根据所拟合的曲线,并利用所述二维图像与所述三维点云的对应关系,将所述受损皮肤所在区域的三维点云分割为皮肤受损区域和皮肤非受损区域;
对所述三维点云中的皮肤受损区域进行修补,完成受损皮肤的三维重建。
以上结合具体实施例描述了本申请的基本原理,但是,需要指出的是,在本申请中提及的优点、优势、效果等仅是示例而非限制,不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外,上述公开的具体细节仅是为了示例的作用和便于理解的作用,而非限制,上述细节并不限制本申请为必须采用上述具体的细节来实现。

Claims (8)

1.一种基于面结构光的皮肤损伤表面三维重建方法,包括如下步骤:
S100:通过双目相机拍摄受损皮肤所在区域的二维图像,同时采集光栅投影装置投影到受损皮肤所在区域上的光栅信息,对所采集的光栅信息进行解调获得光栅的相位变化信息;
S200:根据所述光栅的相位信息和二维图像的像素坐标,通过立体匹配获得受损皮肤所在区域的三维点云,此时,三维点云与二维图像的二维像素坐标一一对应;
S300:读取受损皮肤所在区域的二维图像和受损皮肤所在区域的三维点云,选取所述二维图像中皮肤受损区域的轮廓边界点;
S400:在所述二维图像上对所述皮肤受损区域的轮廓边界点进行曲线拟合,获得二维图像上皮肤受损区域的完整边缘轮廓;
S500:将所拟合的曲线上的轮廓边界点删除,根据所拟合的曲线,并利用所述二维图像与所述三维点云的对应关系,将所述受损皮肤所在区域的三维点云分割为皮肤受损区域和皮肤非受损区域;
S600:对所述三维点云中的皮肤受损区域进行修补,完成受损皮肤的三维重建。
2.根据权利要求1所述的方法,其中,优选的,步骤S100中,通过多频外差法和四步相移法对所采集的光栅信息进行解调。
3.根据权利要求1所述的方法,其中,步骤S400中,在所述二维图像上对所述皮肤受损区域的轮廓边界点进行曲线拟合采用如下任一方法:样条插值法和最小二乘法。
4.根据权利要求1所述的方法,其中,步骤S500中,采用如下任意一种方法对所述受损皮肤所在区域的三维点云进行分割:生长分割法和欧式聚类分割法。
5.根据权利要求1所述的方法,其中,步骤S500中,删除所拟合的曲线上的轮廓边界点的同时,读取所述轮廓边界点的像素坐标对应的三维点云坐标。
6.根据权利要求1所述的方法,其中,步骤S600包括如下步骤:
S601:对所述受损皮肤所在区域的三维点云三角化,获得受损皮肤表面三维模型;
S602:通过最小面积法和拉普拉斯变形对受损皮肤表面三维模型进行修补。
7.一种存储设备,其中存储有多条指令,所述指令适于由处理器加载并执行:
通过双目相机拍摄受损皮肤所在区域的二维图像,同时采集光栅投影装置投影到受损皮肤所在区域上的光栅信息,对所采集的光栅信息进行解调获得光栅的相位变化信息;
根据所述光栅的相位信息和二维图像的像素坐标,通过立体匹配获得受损皮肤所在区域的三维点云,此时,三维点云与二维图像的二维像素坐标一一对应;
读取受损皮肤所在区域的二维图像和受损皮肤所在区域的三维点云,选取所述二维图像中皮肤受损区域的轮廓边界点;
在所述二维图像上对所述皮肤受损区域的轮廓边界点进行曲线拟合,获得二维图像上皮肤受损区域的完整边缘轮廓;
将所拟合的曲线上的轮廓边界点删除,根据所拟合的曲线,并利用所述二维图像与所述三维点云的对应关系,将所述受损皮肤所在区域的三维点云分割为皮肤受损区域和皮肤非受损区域;
对所述三维点云中的皮肤受损区域进行修补,完成受损皮肤的三维重建。
8.一种移动终端,包括:
处理器,适于实现各指令;
存储设备,适于存储多条指令,所述指令适于由处理器加载并执行:
通过双目相机拍摄受损皮肤所在区域的二维图像,同时采集光栅投影装置投影到受损皮肤所在区域上的光栅信息,对所采集的光栅信息进行解调获得光栅的相位变化信息;
根据所述光栅的相位信息和二维图像的像素坐标,通过立体匹配获得受损皮肤所在区域的三维点云,此时,三维点云与二维图像的二维像素坐标一一对应;
读取受损皮肤所在区域的二维图像和受损皮肤所在区域的三维点云,选取所述二维图像中皮肤受损区域的轮廓边界点;
在所述二维图像上对所述皮肤受损区域的轮廓边界点进行曲线拟合,获得二维图像上皮肤受损区域的完整边缘轮廓;
将所拟合的曲线上的轮廓边界点删除,根据所拟合的曲线,并利用所述二维图像与所述三维点云的对应关系,将所述受损皮肤所在区域的三维点云分割为皮肤受损区域和皮肤非受损区域;
对所述三维点云中的皮肤受损区域进行修补,完成受损皮肤的三维重建。
CN202010806372.9A 2020-08-12 2020-08-12 一种基于面结构光的皮肤损伤表面三维重建方法 Active CN112102491B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010806372.9A CN112102491B (zh) 2020-08-12 2020-08-12 一种基于面结构光的皮肤损伤表面三维重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010806372.9A CN112102491B (zh) 2020-08-12 2020-08-12 一种基于面结构光的皮肤损伤表面三维重建方法

Publications (2)

Publication Number Publication Date
CN112102491A CN112102491A (zh) 2020-12-18
CN112102491B true CN112102491B (zh) 2022-12-06

Family

ID=73752809

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010806372.9A Active CN112102491B (zh) 2020-08-12 2020-08-12 一种基于面结构光的皮肤损伤表面三维重建方法

Country Status (1)

Country Link
CN (1) CN112102491B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112686877B (zh) * 2021-01-05 2022-11-11 同济大学 基于双目相机的三维房屋损伤模型构建测量方法及系统
CN113570725A (zh) * 2021-08-05 2021-10-29 中德(珠海)人工智能研究院有限公司 基于聚类的三维表面重建方法、装置、服务器及存储介质
CN113920072A (zh) * 2021-09-28 2022-01-11 煤炭科学研究总院 输送机皮带检测方法、装置以及存储介质
CN114913293A (zh) * 2022-07-18 2022-08-16 南方科技大学 三维热像模型生成方法、装置、系统及电子设备
CN114943755B (zh) * 2022-07-25 2022-10-04 四川省产品质量监督检验检测院 一种基于双目结构光三维重建相位图像的处理方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103337071A (zh) * 2013-06-19 2013-10-02 北京理工大学 基于结构重建的皮下静脉三维可视化装置及方法
CN107590825A (zh) * 2017-07-31 2018-01-16 东南大学 一种基于sfm的点云孔洞修补方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103337071A (zh) * 2013-06-19 2013-10-02 北京理工大学 基于结构重建的皮下静脉三维可视化装置及方法
CN107590825A (zh) * 2017-07-31 2018-01-16 东南大学 一种基于sfm的点云孔洞修补方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于从运动中恢复结构的三维点云孔洞修补算法研究;曾露露等;《光学学报》;20180610(第06期);全文 *

Also Published As

Publication number Publication date
CN112102491A (zh) 2020-12-18

Similar Documents

Publication Publication Date Title
CN112102491B (zh) 一种基于面结构光的皮肤损伤表面三维重建方法
Farahani et al. Three-dimensional imaging and scanning: current and future applications for pathology
Li et al. A reverse engineering system for rapid manufacturing of complex objects
CN103021017B (zh) 基于gpu加速的三维场景重建方法
CN112002010B (zh) 基于线激光扫描的损伤皮肤重建方法及重建系统
US7747305B2 (en) Computer-aided-design of skeletal implants
CN106709947A (zh) 一种基于rgbd相机的三维人体快速建模系统
US20050089213A1 (en) Method and apparatus for three-dimensional modeling via an image mosaic system
CN112562082A (zh) 一种三维人脸重建方法及系统
CN107970026A (zh) 基于单摄像头四步光栅相移法的足底三维扫描装置及方法
CN101339670A (zh) 一种计算机辅助的三维颅面复原方法
CN104299211A (zh) 一种自由移动式三维扫描方法
GB2389500A (en) Generating 3D body models from scanned data
CN110246186A (zh) 一种自动化三维彩色成像与测量方法
Cohen et al. Virtual reconstruction of archeological vessels using expert priors and intrinsic differential geometry information
CN110243307A (zh) 一种自动化三维彩色成像与测量系统
CN102663818A (zh) 颅颌面三维形貌模型的构建方法及其装置
CN109242951A (zh) 一种脸部实时三维重建方法
CN111105476B (zh) 一种基于Marching Cubes的CT图像三维重建方法
Lapeer et al. 3D shape recovery of a newborn skull using thin-plate splines
D'Apuzzo Automated photogrammetric measurement of human faces
Zeng et al. Accurate and scalable surface representation and reconstruction from images
CN112862975A (zh) 骨骼数据处理方法、系统、可读存储介质和设备
CN116681705B (zh) 基于人脑海马体纵向结构的表面形态测量方法及处理设备
CN116664796B (zh) 轻量级头部建模系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant