CN110310285A - 一种精确的基于三维人体重建的烧伤面积计算方法 - Google Patents
一种精确的基于三维人体重建的烧伤面积计算方法 Download PDFInfo
- Publication number
- CN110310285A CN110310285A CN201910398490.8A CN201910398490A CN110310285A CN 110310285 A CN110310285 A CN 110310285A CN 201910398490 A CN201910398490 A CN 201910398490A CN 110310285 A CN110310285 A CN 110310285A
- Authority
- CN
- China
- Prior art keywords
- human body
- burn
- network
- model
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004364 calculation method Methods 0.000 title claims abstract description 23
- 230000011218 segmentation Effects 0.000 claims abstract description 13
- 238000005457 optimization Methods 0.000 claims abstract description 9
- 230000036544 posture Effects 0.000 claims description 26
- 230000006870 function Effects 0.000 claims description 21
- 238000012549 training Methods 0.000 claims description 16
- 238000001514 detection method Methods 0.000 claims description 10
- 230000008859 change Effects 0.000 claims description 5
- 230000007423 decrease Effects 0.000 claims description 3
- 230000013016 learning Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 230000003068 static effect Effects 0.000 claims description 2
- 230000003321 amplification Effects 0.000 claims 1
- 239000000284 extract Substances 0.000 claims 1
- 238000003199 nucleic acid amplification method Methods 0.000 claims 1
- 238000000034 method Methods 0.000 abstract description 31
- 230000004927 fusion Effects 0.000 abstract description 3
- 238000006073 displacement reaction Methods 0.000 abstract description 2
- 238000013507 mapping Methods 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 5
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000037237 body shape Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000001983 electron spin resonance imaging Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000010985 leather Substances 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 230000001144 postural effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000005211 surface analysis Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种精确的基于三维人体重建的烧伤面积计算方法，包括：S1:通过一个RGB摄像头拍摄烧伤患者视频；S2:分割视频中的烧伤患者人体对象，得到该病人的轮廓剪影图像序列；S3:估计视频中烧伤患者的人体姿态；S4:一致性形状估计，基于SMPL模型优化给定的一组估计姿态，使其变形为T型姿态三维人体模型；S5:生成纹理；S6:参数化烧伤患者的三维人体模型；S7:分割烧伤创面区域。S8:计算烧伤区域面积。本发明将曲面位移扩展的参数化人体模型和一种将动态人体轮廓锥变形融合在一个共同参照系中的新方法相结合，创新性地从一个单目视频中重建包括皮肤和头发细节的个性化人体，从而更精确地计算烧伤区域面积。
Description
技术领域
本发明属于医学影像处理技术领域，涉及一种精确的基于三维人体重建的烧伤面积计算 方法。
背景技术
在过去的80年里，医学专业人员依靠手绘的图表和其他方法或公式来确定％TBSA，标准 的二维(2D)图表(如“Lund-Browder表格法”或“九分法(Rule of Nines)”)有助于确 定烧伤面积的百分比。1944年，Lund和Browder在前人方法的基础上对图表进行了修正，由 于其简单实用，Lund-Browder表格法得到了广泛的应用。如今，现代计算机技术的革新以及 对个体化与专业化治疗的需求已经成为发展精确和个体化评估技术的重要推动力。因此，为 了克服二维图表计算烧伤面积方法的不足，相关研究人员开发了一系列计算机辅助的三维模 型，可以快速、可靠地计算烧伤面积。代表性的成果有BurnCase 3D、EPRI3D Burn Vision、 BAI和Chang Gung全身扫描仪，Burncase 3D和EPRI 3D Burn Vision，都是通过数据输入(例 如年龄、性别、身高)调整库中默认的存储模型来确定％TBSA的。操作员选择相似的模型， 并通过使用画笔勾勒烧伤三角形来表示烧伤区域，％TBSA的计算就转变为选定三角形的面积 (即烧伤面积)与组成整个身体的三角形总面积的比值。该模型支持三维旋转、缩放等功能， 具有良好的直观和三维视觉效果。然而，这些模型的缺点是没有考虑到肥胖或畸形人群。相 比之下，BAI有80多名年龄、性别和体重(尤其是肥胖)各异的模特，就可以消除上述缺点。 这些系统都使用了具有不同身体特征并且数量有限的3D模型，所以无法针对个性化的烧伤患 者建立精确的3D模型。Chang Gung全身扫描仪(CGWBS)是一种立体人体扫描系统，在垂直塔 上安装了六台扫描仪，从头到脚扫描身体，试图建立一个个性化的三维人体模型。采用该技 术，成年人的平均PSA/TBSA比值为0.89％。通过对3951名亚洲受试者的扫描，建立了新的 TBSA计算公式(SA＝0.015925(Ht*Wt)1/2)，临床应用CGWBS的缺点是操作系统复杂、成本高、 操作不便。
三维人体重建的方法可以根据两个标准进行分类：使用传感器的自由曲面重建类型和基 于模型的重建类型。自由曲面方法通常使用多视图相机、深度相机或与传感器的融合，在不 使用基于模型的强先验的情况下，相当精确地重建表面几何形状。但是在单目相机这种无约 束且设置模糊的情况下，基于参数体模型的重建则更有助于显著地解决人体建模问题。
自由曲面的方法。通过变形网格或使用对象的空间表示来重建动态的对象。这些方法的 优点是，在初始化表面的前提下，可以很容易地重建出一般对象的动态形状。这种方法虽然 灵活，但是需要高质量的多视图输入数据，这对许多应用程序来说是不实用的。有一种方法 展示了利用预先捕获的人体模型，从单目视频中重建人体姿态和衣服的几何形状。也有一些 方法的重建过程是使用深度相机，像KinectFusion这样的系统允许重建三维刚性场景，并通 过在一个标准帧中逐步融合几何图形来重建客观对象模型。采用KinectFusion进行人体扫描 的方法有很多，问题是这些方法在不同的时间实例中需要单独的镜头。因此，当相机转向时， 人需要站着不动，即使是微妙的姿势变化都需要得到明确的补偿。
基于模型的方法。有几项研究利用参数化的身体模型从图像中估计人体的姿态和形状。 早期的计算机视觉模型重建都是基于形状简单的几何体。最近的一些研究对真人的进行数千 次扫描学习，并对姿势和形状变形进行编码。有些研究通过优化一个形状和多个姿态利用时 间信息，依据深度数据序列重建人体形状。使用多视图，一些研究利用高斯体模型的和或使 用预先计算的模板在户外成功地捕获了三维模型。许多工作局限于从多个视图或单幅图像中 通过手动点击来估计人体模型的形状参数，形状参数可以通过轮廓、阴影、特征和颜色推断 获得。二维位姿检测的进展使得三维位姿和形状估计在具有挑战性的场景中成为可能，于是 一些方法将三维体模型拟合到二维检测中，由于只对模型参数进行优化，且这些方法严重依 赖于二维检测，重建结果往往接近形状空间的均值。
发明内容
有鉴于此，本发明的目的在于开发了一种精确、低成本、便携的三维人体重建系统。利 用该系统可以建立个性化的三维人体模型，能够准确、快速地计算出烧伤面积。
为达到上述目的，本发明提供如下技术方案：
一种精确的基于三维人体重建的烧伤面积计算方法，算法具体步骤如下：
一种精确的基于三维人体重建的烧伤面积计算方法，其特征在于，包括以下步骤：
S1:通过一个RGB摄像头拍摄烧伤患者视频；
S2:分割视频中每一帧的烧伤患者人体对象，得到该病人的轮廓剪影图像序列，具体包括：
S2.1，预训练大量的标记图像来初始化基础CNN网络，进一步地，训练数据集DAVIS的 二元掩码上的网络，使用动量为0.9的随机梯度下降(SGD)迭代50000次，通过镜像和放大来 增加数据，学习率设置为10-8，并逐渐降低，经过离线训练，网络学会从背景中分割前景对 象，将这个网络成为父网络；
S2.2，通过进一步训练(微调)特定的图像-地面实况对的父网络，使用新的权重对整个 序列进行测试，对要分割的特定实例进行少量迭代，使得网络可以快速聚焦于该特定实例；
S2.3，将烧伤病人的视频按需提取出N帧的图像序列，输入训练好的网络，得到N张分 割出患者剪影轮廓的.png图片；
S3:估计视频中烧伤患者的人体姿态，具体是将大小为w*h的彩色图像作为输入，并输 出图像中识别出的烧伤患者身体关键点的二维位置，具体包括：
S3.1，前馈网络同时预测一组身体部位位置的二维置信度图S和一组身体部位相似性的 二维向量场L，这组向量场编码了肢体之间的关联程度；
S3.2，集合S＝S1,S2,…,SJ中有J个置信度图，每个身体部位各有一个置信度图，其中 集合L＝L1,L2,…,LC中有C个向量场，每个分支一个，其中Lc中的每个图像位置都编码一个二维向量；
S3.3，通过贪婪推理解析置信度图和关联字段，输出图像中烧伤患者的二维关键点；
S4:一致性形状估计，基于SMPL模型优化给定的一组估计姿态，使其变形为T型姿态三 维人体模型；
S5:生成纹理；
S6:参数化烧伤患者的三维人体模型；
S7:分割烧伤创面区域，具体包括：
S7.1，使用R101FA作为骨干网络提取特征图：ResNet101由101层组成，定义输出特征 图为C1、C2、C3、C4、C5，最终的特征图为P2,P3,P4,P5，使用一个1*1卷积核通过输出 C5得到第一个特征图P5，然后对P5进行上采样，得到P*，并由经过C5处理的3*3个卷积 核生成C*，P4映射是C*与P*合并的结果，在遍历所有C之后，就可以构建出P2、P3、P4 和P5；
S7.2，生成RoI的RPN网络：RPN网络在滑动窗口中心生成N个锚点(锚点比例尺为原始图像)，计算每个锚点的IOU值来判断锚点是正还是负，每张图像都有n个采样的ROI，其正负比为1:3；
S7.3，对每个RoI进行目标检测和mask预测：将每个正锚统一成一个固定的大小，用 一个全连接网络来提取一个2048维的特征向量，该向量用于分类器和箱形回归器，同时，RoIs 将经历两个卷积层，对图像mask进行预测；
S8:计算烧伤面积。
在上述的一种精确的基于三维人体重建的烧伤面积计算方法，在步骤S1中，视频拍摄要 求保持相机静止，且拍摄对象双臂伸展匀速自转至少一周。
在上述的一种精确的基于三维人体重建的烧伤面积计算方法，在步骤S4中，SMPL是一 个裸体人体的参数化模型，有72个姿态和10个形状参数，并返回一个N＝6890个顶点的三 角形网格；形状β和姿势θ变形应用于基础模板T，这个基础模板是原始SMPL模型对应的训 练扫描的平均计算形状：
M(β,θ)＝W(T(β,θ),J(β),θ,W)，
T(β,θ)＝Tμ+Bs(β)+Bp(θ)，
其中W是一个线性混合剥皮函数，应用于基于骨骼关节J(β)的静止姿态T(β,θ)，且T(β,θ)应用于位置相关的变形Bp(θ)和形状相关的变形Bs(β)；
由于SMPL模型无法对烧伤患者人体表面细节进行建模，因此需在模板中添加一组偏移量
T(β,θ,D)＝Tμ+Bs(β)+Bp(θ)+D；
从相机到轮廓点的一组光线定义一个约束锥，使用估计的姿态来展开由投影光线定义的 圆锥，通过对每一条射线的SMPL函数求逆来实现，在SMPL中，每个顶点v都按照如下公式 变形：
其中Gk是关节k的全局变换，和bP,i(θ)是Bs(β)和Bp(θ)所对应的第i个顶点的 元素，需要找到每一条射线r最近的三维模型点；
因此可以推理出，模型顶点vi对应的射线r的逆变换为：
在上述的一种精确的基于三维人体重建的烧伤面积计算方法，在步骤S5中，将估计的正 则模型变形回每一帧，将图像颜色反向投影到所有可见的顶点，最后通过计算所有视图中正 交纹理的中值生成纹理图像。
在上述的一种精确的基于三维人体重建的烧伤面积计算方法，在步骤S6中，首先使用 Blender将重建的三维人体模型沿一条边剪开，生成一个有且仅有一条边界的模型；然后将 网格模型参数化展平。
在上述的一种精确的基于三维人体重建的烧伤面积计算方法，在步骤S8中，将分割出烧 伤区域的参数化模型通过3D应用程序统计烧伤区域面积。
本发明的有益效果在于：本发明提出了一种精确的基于三维人体重建的烧伤面积计算方 法，从一个移动的人的单目视频重建个性化的三维人体模型。重建包括个性化的头发、身体 和衣服的几何形状、表面纹理和允许改变姿势和形状的基础模型。该方法将曲面位移扩展的 参数化人体模型和一种将动态人体轮廓锥变形融合在一个共同参照系中的新方法相结合。融 合锥融合了视频中包含的形状信息，使我们能够优化一个详细的模型形状。本方法不仅能捕 捉到物体表面的几何形状和外观，还能利用运动骨架自动对物体模型进行装配，从而实现近 似的位置相关表面变形。定量结果表明，此方法可以重建人体形状的精确度为4.5毫米。由 于单目相机无处不在且价格低廉，每个人都能够将自己数字化，并将3D人体模型应用于VR、 娱乐、生物识别或在线购物的虚拟试穿。此外，本方法精确地将模型与图像对齐，这也为图 像编辑提供了更多的可能性。
附图说明
图1为基于三维人体重建的烧伤面积计算方法流程图。
图2为输入数据：烧伤病人的单目视频截图。
图3为烧伤病人的对象分割、轮廓剪影结果示意图。
图4为烧伤病人三维模型的参数化展平结果。
图5a为烧伤病人三维人体模型重建效果图(方向一)。
图5b为烧伤病人三维人体模型重建效果图(方向二)。
具体实施方式
下面将结合附图，对本发明的优选实施例进行详细的描述。
本发明提供了一种精确的基于三维人体重建的烧伤面积计算方法，如图1所示，本发明 所述方法分为三个模块：数据预处理、三维人体重建和烧伤面积计算，详细内容具体包括以 下步骤：
S1:通过一个RGB摄像头拍摄10秒左右的烧伤患者视频；
S2:分割视频中每一帧的烧伤患者人体对象，得到该病人的轮廓剪影图像序列；
S3:估计视频中烧伤患者的人体姿态；
S4:一致性形状估计，基于SMPL模型优化给定的一组估计姿态，使其变形为T型姿态三 维人体模型；
S5:生成纹理；
S6:参数化烧伤患者的三维人体模型；
S7:分割烧伤创面区域。
S8:计算烧伤面积。
具体地说：
步骤S1:在本实施方式中，输入数据为烧伤患者的单目RGB视频，从单目RGB视频自动 重建个性化的人体移动，可以更好地应用到现实生活场景中，该视频需满足以下条件：1)每 次只拍摄一个烧伤患者；2)拍摄环境尽可能减少杂物；3)拍摄距离适中；4)拍摄对象双臂 伸展，匀速自转360°及以上。
步骤S2：VGG体系结构共分为五个阶段，该体系结构由一组卷积和ReLU层(修正线性单 元)组成，在各个阶段之间，随着深入网络，池操作将缩小特征映射的范围。
将卷积层连接起来，与每个阶段的最后一层(池化之前)形成单独的跳过路径，在需要的 地方进行升级操作，并将来自不同路径的功能映射连接起来，以构建包含不同级别详细信息 的卷。将特征映射线性地融合到一个与图像尺寸相同的输出中，并为其分配一个损失函数。
在这种情况下，二值分类的像素级交叉熵损失定义为：
其中W为CNN的标准可训练参数，X为输入图像，yj∈0,1，j＝1,…，|X|是X按像素划分的二进制标签，Y+和Y-是带正负标签的像素，P(·)是通过对最后一层应用激活函数sigmoid得到的。
为了处理两个二分类之间的不平衡，改进L(W)之后的二值分类像素级交叉熵损失定义为：
其中β＝|Y-|/|Y|，此方程可以训练不平衡的二分类任务。
最后，将烧伤病人的视频按需提取出N帧的图像序列，输入训练好的网络，得到N张分 割出患者剪影轮廓的.png图片。
步骤S3：该步骤的CNN网络分为两个分支：第一个分支是预测置信度图，第二个分支是 预测关联字段。首先由卷积网络分析图像，生成一组特征映射F，输入到每个分支的第一阶 段，在第一阶段，网络产生一组检测置信度图和一组部位关联字段，ρ1和φ1是CNN网络在第 一阶段的卷积，在之后的每个阶段中，将前一个阶段的两个分支的预测与原始图像特征F连 接起来，生成精细化的预测：
其中，ρt和φt是CNN网络中第t阶段的卷积操作。
引导了网络迭代预测第一个分支和第二个分支的身体部位置信度图，在两个分支的t阶 段分别应用一个损失函数：
其中是真实情况下的置信度图，是真实情况下的关联向量场，W为图像位置p缺失 注释时W(p)＝0的二元mask。
为每个人k生成个体置信度图设Xj,k为图中人K的身体j部分在图像中的实际位置。 在位置的值定义为：
其中σ控制峰值的传播。通过聚合单个置信图的最大值得到网络预测的实际置信图：
提出了一种新的人体特征表示方法，称为部件亲和域，它在整个肢体支持区域内同时保 存位置和方向信息。部件亲和域是每个肢体的二维向量场：在肢体所包含的整个支撑区域范 围内，这部分的位置信息和方向信息是一致的，把部件亲和域定量地表示为每个肢体的二维 向量场，每一个二维向量都表示这个肢体所包括范围内的一个像素点，向量的方向表示肢体 的走向。每个肢体都连接一个人身体的两个部位，每个部位都对应一个二维向量亲和域场。
设分别是人体k的肢体c的身体部件j1、j2的实际位置。肢体上任一点P，表示从j1到j2的单位向量，对其他所有的点，该向量都是零向量。
测试时，通过计算沿连接候选部件位置的线段相对应的PAF上的线积分，来测量候选部 件检测之间的关联，具体来说，对于两个候选部件位置和沿线段的预测部件亲和场Lc进 行采样，以测量它们之间关联的置信度：
步骤S4：SMPL是一个裸体人体的参数化模型，有72个姿态和10个形状参数，并返回一 个N＝6890个顶点的三角形网格。形状β和姿势θ变形应用于基础模板T，这个基础模板是原始SMPL模型对应的训练扫描的平均计算形状：
M(β,θ)＝W(T(β,θ),J(β),θ,W)
T(β,θ)＝Tμ+Bs(β)+Bp(θ)
其中W是一个线性混合剥皮函数，应用于基于骨骼关节J(β)的静止姿态T(β,θ)，且T(β,θ)应用于位置相关的变形Bp(θ)和形状相关的变形Bs(β)。
由于SMPL模型无法对烧伤患者人体表面细节进行建模，因此需在模板中添加一组偏 移量
T(β,θ,D)＝Tμ+Bs(β)+Bp(θ)+D
通过优化SMPL模型参数来适应图像中的二维联合检测，设置P＝5帧，即同时优化5帧 以减轻尺度模糊带来的影响，SMPL模型的形状参数作为初始化的输出，在后续的帧向位姿估 计中保持不变。为了更好地估计三维姿态，引入一个剪影术语：
其中Irn(θ)是模型的剪影图像，C是所观察图像的距离变换矩阵，是它的逆矩阵，w是 权重。为了使局部极小值具有鲁棒性，对高斯金字塔G的4个不同层次进行了优化。进一步 地，使用先进的二维联合检测和单模态A位姿先验让方法更加优化。除了训练网络使SMPL的 前一个姿势与A姿势中人的身体扫描相匹配，还在新的帧中初始化一个带有前一帧估计姿势θ 的新姿势。如果目标误差过大，就通过将姿态设置为零来重新初始化跟踪器。这一步的输出 是图像序列中F帧的一组姿态
从相机到轮廓点的一组光线定义一个约束锥，使用估计的姿态来展开由投影光线定义的 圆锥，通过对每一条射线的SMPL函数求逆来实现，在SMPL中，每个顶点v都按照如下公式 变形：
其中Gk是关节k的全局变换，和bP,i(θ)是Bs(β)和Bp(θ)所对应的第i个顶点的 元素，需要找到每一条射线r最近的三维模型点。
因此可以推理出，模型顶点vi对应的射线r的逆变换为：
给定F个轮廓的一组不确定光线(在所有实验中都使F＝120)，在正则坐标系中制定了一 个优化策略：
Econs＝Edata+ωlpElp+ωvarEvar+ωsymEsym
能量Econs包括数据项Edata和三个正则参数项Elp、Evar、Esym，用模板模型的相关形状参数β和顶点集合D来最小化这个能量。
数据项测量顶点和光线之间的距离。点到线的距离可以通过用Plucker坐标表示射线 (r＝rm,rn)计算出来。给定一组对应项(vi,r)∈M，数据项等于：
其中，ρ是Geman-McClure鲁棒成本函数，这里应用于点对线距离。
通过添加拉普拉斯网格正则化器来实现平滑变形：
其中，δ＝L(v(β0,0))，L是拉普拉斯算子。
惩罚重构的自由形式顶点与SMPL模型解释的顶点之间的偏差：
由于人体模型的对称性，对偏移量施加了一个约束，从而强制形成对称的形状：
步骤S5：在计算出给定序列的全局形状后，顺序地对每一帧进行能量优化。优化由前一 帧初始化，并与相邻帧正则化：
将估计的正则模型变形回每一帧，将图像颜色反向投影到所有可见的顶点，最后通过计 算所有视图中正交纹理的中值生成纹理图像。
步骤S6：烧伤区域的分割不能直接在三维人体模型上进行操作，使用目前比较先进、效 果更好的Blender软件来展平模型。借助Blender将模型沿一条边剪开，生成一个有且仅有 一条边界的模型，接下来我们使用几个参数化网格小程序将剪开的模型展平。
步骤S7：这一步的网络架构包含三个部分：第一部分是骨干网特征图的提取。第二部分 是生成RoI的RPN网络。最后，对每个RoI进行目标检测和mask预测。
在训练的过程中，收集了几乎所有种类的烧伤伤口的图片来训练模型，经过筛选后总计 有1000张图片。同时，为了实现更快的训练速度和更少的评估时间，使用R101FA作为框架 的骨干网络。
使用R101FA作为骨干网络提取特征图：ResNet101由101层组成，定义输出特征图为C1、 C2、C3、C4、C5，最终的特征图为P2,P3,P4,P5，使用一个1*1卷积核通过输出C5得到第一个特征图P5，然后对P5进行上采样，得到P*，并由经过C5处理的3*3个卷积核生成 C*，P4映射是C*与P*合并的结果，在遍历所有C之后，就可以构建出P2、P3、P4和P5。
在ResNet中使用了一阶卷积，卷积核大小为3*3，速率设置为2。
生成RoI的RPN网络：RPN网络在滑动窗口中心生成N个锚点(锚点比例尺为原始图像)， 计算每个锚点的IOU值来判断锚点是正还是负，每张图像都有n个采样的ROI，其正负比为 1:3；
RPN网络的输出为各锚点的得分和回归偏移量。定义了两个损失函数来训练RPN网络： 第一个是分数损失LrpnScore，第二个是回归损失LrpnReg。
为了计算LrpnScore，为每个锚点分配了两个标签，正标签和负标签。求所有锚点与目标 框并集上的交集，即IOU，若大于0.7，则判定为正标签，若小于0.3，则判定为负标签。为了确保所有的目标框至少对应一个锚，使用每个目标框将最高的IOU锚标记为一个正标签，可以得到所有的正锚和负锚，将这些锚编码为0和1的序列，序列是RPN目标判断的目标输出。将softmax函数应用于RPN的输出，得到所有锚点的目标可能性，最后利用交叉熵函数计算LrpnScore。
将一个线性函数应用于RPN网络的输出，并预测回归参数(t*)。计算每个正锚的回归偏 移量(t),包含四个值(x,y,w,h)：x和y是基于相关的目标框中心点的正锚点偏移比，w和h为正锚的纵横比和相关的目标框的对数值。只有正锚会影响LrpnReg，使用smoothL1来计算LrpnReg：
其中，i为批量梯度下降中锚的索引，如果锚为正，否则，ti和是四个向 量，用来表示回归偏移量，ti表示基于相关目标框的正锚的回归偏移，表示预测的回归偏移 量。
回归损失函数：
smoothL1定义：
损失函数包括五个部分。其中，RPN网络中两个，平行分支中有三个，分别定义为：LmCls、 LmBReg、LmMask。因此，损失函数可表示为：
L＝LrpnScore+LrpnReg+LmCls+LmBReg+LmMask
使用两个分类器来替换多个分类器。将sigmoid函数应用于输出，并利用交叉熵函数计 算损失。用y来定义N个ROI的实际值，Sigmoid函数的输出是y*。那么，LmCls的求解为：
使用与LrpnReg相同的方法来计算LmBReg
mask是对每个像素应用sigmoid函数后的输出，预测mask为28*28。实际RoI被缩放到28*28，并填充了0以避免失真。在mask分支的输出中，将每个RoI缩放到相同的大小来 计算mask loss。
步骤S8：将分割出烧伤区域的参数化模型通过3D应用程序统计烧伤区域面积。
在本实施例中，提出了基于SMPL模型的三维人体重建烧伤评估方案，本方案不仅提高了 烧伤区域面积计算的准确性，也弥补了类似于Kinect、Project等深度相机扫描进行三维人 体重建的不完整、不便利的问题。图2是在武汉市第三医院拍摄的烧伤患者视频，由图2可 知，该方案用于烧伤面积计算数据易获取，操作简单。图3是数据预处理阶段的对象分割结 果，本发明设计的对象分割全卷积网络非常完美清晰地分割出了视频中的人像，证明训练的 网络先进有效。图4是烧伤患者三维模型的参数化展平结果。图5是烧伤患者三维人体模型 重建效果图，可观察到，不管从哪个角度看重建的模型都是完整且光滑的。
从重建质量方面分析，本发明重建出的三维人体非常完整，没有任何顶点和面的缺失， 而一些三维扫描仪重建出的三维人体模型存在多个顶点和面的缺失；从重建效率方面分析， 在效率方面最大的优势在于数据采集的过程速度很快，一般只需10-15秒，而三维人体扫描 仪的扫描过程至少需要三十分钟。
最后说明的是，以上优选实施例仅用以说明本发明的技术方案而非限制，尽管通过上述 优选实施例已经对本发明进行了详细的描述，但本领域技术人员应当理解，可以在形式上和 细节上对其作出各种各样的改变，而不偏离本发明权利要求书所限定的范围。以上优选实施 例虽然只是烧伤患者的，但是本发明提出的基于三维人体重建的烧伤面积计算方法同样可应 用于VR、娱乐、生物识别或在线购物的虚拟试穿。
Claims (6)
1.一种精确的基于三维人体重建的烧伤面积计算方法，其特征在于，包括以下步骤：
S1:通过一个RGB摄像头拍摄烧伤患者视频；
S2:分割视频中每一帧的烧伤患者人体对象，得到该病人的轮廓剪影图像序列，具体包括：
S2.1，预训练大量的标记图像来初始化基础CNN网络，进一步地，训练数据集DAVIS的二元掩码上的网络，使用动量为0.9的随机梯度下降(SGD)迭代50000次，通过镜像和放大来增加数据，学习率设置为10-8，并逐渐降低，经过离线训练，网络学会从背景中分割前景对象，将这个网络成为父网络；
S2.2，通过进一步训练(微调)特定的图像-地面实况对的父网络，使用新的权重对整个序列进行测试，对要分割的特定实例进行少量迭代，使得网络可以快速聚焦于该特定实例；
S2.3，将烧伤病人的视频按需提取出N帧的图像序列，输入训练好的网络，得到N张分割出患者剪影轮廓的.png图片；
S3:估计视频中烧伤患者的人体姿态，具体是将大小为w*h的彩色图像作为输入，并输出图像中识别出的烧伤患者身体关键点的二维位置，具体包括：
S3.1，前馈网络同时预测一组身体部位位置的二维置信度图S和一组身体部位相似性的二维向量场L，这组向量场编码了肢体之间的关联程度；
S3.2，集合S＝S1,S2,…,SJ中有J个置信度图，每个身体部位各有一个置信度图，其中 集合L＝L1,L2,…,LC中有C个向量场，每个分支一个，其中Lc中的每个图像位置都编码一个二维向量；
S3.3，通过贪婪推理解析置信度图和关联字段，输出图像中烧伤患者的二维关键点；
S4:一致性形状估计，基于SMPL模型优化给定的一组估计姿态，使其变形为T型姿态三维人体模型；
S5:生成纹理；
S6:参数化烧伤患者的三维人体模型；
S7:分割烧伤创面区域，具体包括：
S7.1，使用R101FA作为骨干网络提取特征图：ResNet101由101层组成，定义输出特征图为C1、C2、C3、C4、C5，最终的特征图为P2,P3,P4,P5，使用一个1*1卷积核通过输出C5得到第一个特征图P5，然后对P5进行上采样，得到P*，并由经过C5处理的3*3个卷积核生成C*，P4映射是C*与P*合并的结果，在遍历所有C之后，就可以构建出P2、P3、P4和P5；
S7.2，生成RoI的RPN网络：RPN网络在滑动窗口中心生成N个锚点(锚点比例尺为原始图像)，计算每个锚点的IOU值来判断锚点是正还是负，每张图像都有n个采样的ROI，其正负比为1:3；
S7.3，对每个RoI进行目标检测和mask预测：将每个正锚统一成一个固定的大小，用一个全连接网络来提取一个2048维的特征向量，该向量用于分类器和箱形回归器，同时，RoIs将经历两个卷积层，对图像mask进行预测；
S8:计算烧伤面积。
2.根据权利要求1所述的一种精确的基于三维人体重建的烧伤面积计算方法，其特征在于，在步骤S1中，视频拍摄要求保持相机静止，且拍摄对象双臂伸展匀速自转至少一周。
3.根据权利要求1所述的一种精确的基于三维人体重建的烧伤面积计算方法，其特征在于，在步骤S4中，SMPL是一个裸体人体的参数化模型，有72个姿态和10个形状参数，并返回一个N＝6890个顶点的三角形网格；形状β和姿势θ变形应用于基础模板T，这个基础模板是原始SMPL模型对应的训练扫描的平均计算形状：
M(β,θ)＝W(T(β,θ),J(β),θ,W)，
T(β,θ)＝Tμ+Bs(β)+Bp(θ)，
其中W是一个线性混合剥皮函数，应用于基于骨骼关节J(β)的静止姿态T(β,θ)，且T(β,θ)应用于位置相关的变形Bp(θ)和形状相关的变形Bs(β)；
由于SMPL模型无法对烧伤患者人体表面细节进行建模，因此需在模板中添加一组偏移量
T(β,θ,D)＝Tμ+Bs(β)+Bp(θ)+D；
从相机到轮廓点的一组光线定义一个约束锥，使用估计的姿态来展开由投影光线定义的圆锥，通过对每一条射线的SMPL函数求逆来实现，在SMPL中，每个顶点v都按照如下公式变形：
其中Gk是关节k的全局变换，和bP,i(θ)是Bs(β)和Bp(θ)所对应的第i个顶点的元素，需要找到每一条射线r最近的三维模型点；
因此可以推理出，模型顶点vi对应的射线r的逆变换为：
4.根据权利要求1所述的一种精确的基于三维人体重建的烧伤面积计算方法，其特征在于，在步骤S5中，将估计的正则模型变形回每一帧，将图像颜色反向投影到所有可见的顶点，最后通过计算所有视图中正交纹理的中值生成纹理图像。
5.根据权利要求1所述的一种精确的基于三维人体重建的烧伤面积计算方法，其特征在于，在步骤S6中，首先使用Blender将重建的三维人体模型沿一条边剪开，生成一个有且仅有一条边界的模型；然后将网格模型参数化展平。
6.根据权利要求1所述的一种精确的基于三维人体重建的烧伤面积计算方法，其特征在于，在步骤S8中，将分割出烧伤区域的参数化模型通过3D应用程序统计烧伤区域面积。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910398490.8A CN110310285B (zh) | 2019-05-14 | 2019-05-14 | 一种精确的基于三维人体重建的烧伤面积计算方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910398490.8A CN110310285B (zh) | 2019-05-14 | 2019-05-14 | 一种精确的基于三维人体重建的烧伤面积计算方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110310285A true CN110310285A (zh) | 2019-10-08 |
| CN110310285B CN110310285B (zh) | 2022-12-20 |
Family
ID=68075419
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910398490.8A Expired - Fee Related CN110310285B (zh) | 2019-05-14 | 2019-05-14 | 一种精确的基于三维人体重建的烧伤面积计算方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110310285B (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110801204A (zh) * | 2019-11-12 | 2020-02-18 | 牛建华 | 一种基于人体框架的平衡检测方法 |
| CN110827342A (zh) * | 2019-10-21 | 2020-02-21 | 中国科学院自动化研究所 | 三维人体模型重建方法及存储设备、控制设备 |
| CN111105470A (zh) * | 2019-12-24 | 2020-05-05 | 福建中锐网络股份有限公司 | 一种基于肤色检测的烧伤患者人像分割方法 |
| CN111627101A (zh) * | 2020-05-22 | 2020-09-04 | 北京工业大学 | 一种基于图卷积的三维人体重构方法 |
| CN111968169A (zh) * | 2020-08-19 | 2020-11-20 | 北京拙河科技有限公司 | 动态人体三维重建方法、装置、设备和介质 |
| CN112418120A (zh) * | 2020-11-27 | 2021-02-26 | 湖南师范大学 | 基于峰值置信图的人群检测方法 |
| CN112465910A (zh) * | 2020-11-26 | 2021-03-09 | 成都新希望金融信息有限公司 | 一种目标拍摄距离获取方法、装置、存储介质及电子设备 |
| CN116824086A (zh) * | 2023-06-14 | 2023-09-29 | 西南交通大学 | 一种三维运动目标重建方法及系统 |
| US11972573B2 (en) * | 2020-12-14 | 2024-04-30 | Rokit Healthcare Inc. | Method of automatically recognizing wound boundary based on artificial intelligence and method of generating three-dimensional wound model |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4693255A (en) * | 1985-04-22 | 1987-09-15 | Beall Harry C | Medical apparatus method for assessing the severity of certain skin traumas |
| US20120184840A1 (en) * | 2009-04-07 | 2012-07-19 | Kayvan Najarian | Automated Measurement of Brain Injury Indices Using Brain CT Images, Injury Data, and Machine Learning |
| WO2012134264A2 (en) * | 2011-03-25 | 2012-10-04 | Institute Of Technology Petronas Sdn Bhd | Methodology and apparatus for lesion area measurement of skin pigmentation disorders using digital imaging |
| CN108742519A (zh) * | 2018-04-02 | 2018-11-06 | 上海中医药大学附属岳阳中西医结合医院 | 机器视觉三维重建技术皮肤溃疡创面智能辅助诊断系统 |
| CN110335304A (zh) * | 2019-06-11 | 2019-10-15 | 苏州思白人工智能技术研发有限公司 | 基于图像识别的皮损面积测量方法及皮肤疾病诊疗系统 |
-
2019
- 2019-05-14 CN CN201910398490.8A patent/CN110310285B/zh not_active Expired - Fee Related
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4693255A (en) * | 1985-04-22 | 1987-09-15 | Beall Harry C | Medical apparatus method for assessing the severity of certain skin traumas |
| US20120184840A1 (en) * | 2009-04-07 | 2012-07-19 | Kayvan Najarian | Automated Measurement of Brain Injury Indices Using Brain CT Images, Injury Data, and Machine Learning |
| WO2012134264A2 (en) * | 2011-03-25 | 2012-10-04 | Institute Of Technology Petronas Sdn Bhd | Methodology and apparatus for lesion area measurement of skin pigmentation disorders using digital imaging |
| CN108742519A (zh) * | 2018-04-02 | 2018-11-06 | 上海中医药大学附属岳阳中西医结合医院 | 机器视觉三维重建技术皮肤溃疡创面智能辅助诊断系统 |
| CN110335304A (zh) * | 2019-06-11 | 2019-10-15 | 苏州思白人工智能技术研发有限公司 | 基于图像识别的皮损面积测量方法及皮肤疾病诊疗系统 |
Non-Patent Citations (2)
| Title |
|---|
| LÓPEZ-GARCÍA, FERNANDO, ET AL.: "Automatic detection of skin defects in citrus fruits using a multivariate image analysis approach", 《COMPUTERS AND ELECTRONICS IN AGRICULTURE》 * |
| 刘春晖等: "基于单摄像头的三维体表损伤面积定量测量方法", 《中国生物医学工程学报》 * |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110827342A (zh) * | 2019-10-21 | 2020-02-21 | 中国科学院自动化研究所 | 三维人体模型重建方法及存储设备、控制设备 |
| CN110801204B (zh) * | 2019-11-12 | 2022-05-13 | 牛建华 | 一种基于人体框架的平衡检测方法 |
| CN110801204A (zh) * | 2019-11-12 | 2020-02-18 | 牛建华 | 一种基于人体框架的平衡检测方法 |
| CN111105470A (zh) * | 2019-12-24 | 2020-05-05 | 福建中锐网络股份有限公司 | 一种基于肤色检测的烧伤患者人像分割方法 |
| CN111105470B (zh) * | 2019-12-24 | 2023-02-24 | 福建中锐网络股份有限公司 | 一种基于肤色检测的烧伤患者人像分割方法 |
| CN111627101A (zh) * | 2020-05-22 | 2020-09-04 | 北京工业大学 | 一种基于图卷积的三维人体重构方法 |
| CN111968169A (zh) * | 2020-08-19 | 2020-11-20 | 北京拙河科技有限公司 | 动态人体三维重建方法、装置、设备和介质 |
| CN111968169B (zh) * | 2020-08-19 | 2024-01-19 | 北京拙河科技有限公司 | 动态人体三维重建方法、装置、设备和介质 |
| CN112465910A (zh) * | 2020-11-26 | 2021-03-09 | 成都新希望金融信息有限公司 | 一种目标拍摄距离获取方法、装置、存储介质及电子设备 |
| CN112465910B (zh) * | 2020-11-26 | 2021-12-28 | 成都新希望金融信息有限公司 | 一种目标拍摄距离获取方法、装置、存储介质及电子设备 |
| CN112418120B (zh) * | 2020-11-27 | 2021-09-28 | 湖南师范大学 | 基于峰值置信图的人群检测方法 |
| CN112418120A (zh) * | 2020-11-27 | 2021-02-26 | 湖南师范大学 | 基于峰值置信图的人群检测方法 |
| US11972573B2 (en) * | 2020-12-14 | 2024-04-30 | Rokit Healthcare Inc. | Method of automatically recognizing wound boundary based on artificial intelligence and method of generating three-dimensional wound model |
| CN116824086A (zh) * | 2023-06-14 | 2023-09-29 | 西南交通大学 | 一种三维运动目标重建方法及系统 |
| CN116824086B (zh) * | 2023-06-14 | 2024-03-19 | 西南交通大学 | 一种三维运动目标重建方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110310285B (zh) | 2022-12-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110310285A (zh) | 一种精确的基于三维人体重建的烧伤面积计算方法 | |
| US10679046B1 (en) | Machine learning systems and methods of estimating body shape from images | |
| Chen et al. | Model-based 3d hand reconstruction via self-supervised learning | |
| Bhatnagar et al. | Combining implicit function learning and parametric models for 3d human reconstruction | |
| Xu et al. | Denserac: Joint 3d pose and shape estimation by dense render-and-compare | |
| Xu et al. | Ghum & ghuml: Generative 3d human shape and articulated pose models | |
| Alldieck et al. | imghum: Implicit generative models of 3d human shape and articulated pose | |
| Malik et al. | Deephps: End-to-end estimation of 3d hand pose and shape by learning from synthetic depth | |
| Khamis et al. | Learning an efficient model of hand shape variation from depth images | |
| CN109636831B (zh) | 一种估计三维人体姿态及手部信息的方法 | |
| Taylor et al. | The vitruvian manifold: Inferring dense correspondences for one-shot human pose estimation | |
| Balan et al. | Detailed human shape and pose from images | |
| Chen et al. | Fast-SNARF: A fast deformer for articulated neural fields | |
| Hu et al. | 3DBodyNet: fast reconstruction of 3D animatable human body shape from a single commodity depth camera | |
| WO2021063271A1 (zh) | 人体模型重建方法、重建系统及存储介质 | |
| Tu et al. | Consistent 3d hand reconstruction in video via self-supervised learning | |
| Zhu et al. | Detailed avatar recovery from single image | |
| Li et al. | Detailed 3D human body reconstruction from multi-view images combining voxel super-resolution and learned implicit representation | |
| Guo et al. | Action2video: Generating videos of human 3d actions | |
| Caliskan et al. | Multi-view consistency loss for improved single-image 3d reconstruction of clothed people | |
| Madadi et al. | Learning Cloth Dynamics: 3D+ Texture Garment Reconstruction Benchmark. | |
| Yan et al. | Cimi4d: A large multimodal climbing motion dataset under human-scene interactions | |
| Jinka et al. | Sharp: Shape-aware reconstruction of people in loose clothing | |
| Pham et al. | Robust real-time performance-driven 3D face tracking | |
| Lu et al. | Parametric shape estimation of human body under wide clothing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20221220 |