CN108154531B - 一种计算体表损伤区域面积的方法和装置 - Google Patents

Abstract

本发明提供一种计算体表损伤区域面积的方法和装置，能够在人体曲率较大的部位取得较高精度，还能够避免拍摄角度带来的误差问题。该方法包括：获取多个角度的体表损伤部位的图像；提取所述图像的特征，对所述图像进行两两之间的特征匹配，根据匹配结果重建所述体表损伤部位的三维模型；对所述三维模型进行UV展开，得到所述体表损伤部位的二维图像；根据图像分割算法得到所述二维图像中的体表损伤区域，根据比例尺换算法得到所述体表损伤区域的面积。

Description

一种计算体表损伤区域面积的方法和装置

技术领域

本发明涉及计算机技术领域，尤其涉及一种计算体表损伤区域面积的方法和装置。

背景技术

体表损伤区域面积的计算是临床医学研究和法医学鉴定的一项重要工作。临床医学研究与法医学鉴定中，体表损伤区域面积值的准确率直接影响着医生的诊疗方案与研究，甚至决定着司法断案结论。在法医司法鉴定中，创伤、挫伤、烧伤等体表损伤是最为常见的损伤类型，体表损伤区域的面积决定了伤残等级的判定。

基于损伤图像的二维计算机软件系统是目前最常用的非人工计算方法。其利用损伤图像的照片，通过图像分割算法获取体表损伤部位轮廓，而后通过比例尺换算法，利用像素长度与实际长度的比值，计算体表损伤区域面积。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：

1.在人体曲率较大部位，计算精度差；

2.拍摄角度对误差结果影响大。

发明内容

有鉴于此，本发明实施例提供一种计算体表损伤区域面积的方法和装置，能够解决在人体曲率较大的部位取得较高精度，还能够避免拍摄角度带来的误差问题。

为实现上述目的，根据本发明实施例的一个方面，提供了一种计算体表损伤区域面积的方法。

本发明实施例一种计算体表损伤区域面积的方法包括：获取多个角度的体表损伤部位的图像；提取所述图像的特征，对所述图像进行两两之间的特征匹配，根据匹配结果重建所述体表损伤部位的三维模型；对所述三维模型进行UV展开，得到所述体表损伤部位的二维图像；根据图像分割算法得到所述二维图像中的体表损伤区域，根据比例尺换算法得到所述体表损伤区域的面积。

可选地，所述提取所述图像的特征，对所述图像进行两两之间的特征匹配是基于尺度不变特征变换。

可选地，根据匹配结果重建所述体表损伤部位的三维模型包括：根据所述匹配结果，基于运动恢复结构进行稀疏重建，获得稀疏点云；根据所述稀疏点云进行密集重建，获得三维点云；将三维点云网络化，获得所述三维模型。

可选地，对所述三维模型进行UV展开是基于LSCM算法。

为实现上述目的，根据本发明实施例的一个方面，提供了一种计算体表损伤区域面积的装置。

本发明实施例一种计算体表损伤区域面积的装置包括：图像获取模块，用于获取多个角度的体表损伤部位的图像；三维重建模块，用于提取所述图像的特征，对所述图像进行两两之间的特征匹配，根据匹配结果重建所述体表损伤部位的三维模型；三维展开模块，用于对所述三维模型进行UV展开，得到所述体表损伤部位的二维图像；面积计算模块，用于根据图像分割算法得到所述二维图像中的体表损伤区域，根据比例尺换算法得到所述体表损伤区域的面积。

可选地，所述提取所述图像的特征，对所述图像进行两两之间的特征匹配是基于尺度不变特征变换。

可选地，三维重建模块还用于：根据所述匹配结果，基于运动恢复结构进行稀疏重建，获得稀疏点云；根据所述稀疏点云进行密集重建，获得三维点云；将三维点云网络化，获得所述三维模型。

可选地，所述三维展开模块是基于LSCM算法。

为实现上述目的，根据本发明实施例的再一方面，提供了一种实现计算体表损伤区域面积的方法的电子设备。

本发明实施例的一种电子设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明实施例的计算体表损伤区域面积的方法。

为实现上述目的，根据本发明实施例的又一方面，提供了一种计算机可读介质。

本发明实施例的一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时用于实现使所述计算机执行本发明实施例的计算体表损伤区域面积的方法。

上述发明中的一个实施例具有如下优点或有益效果：因为采用对体表损伤区域先进行三维重建，再进行二维展开，然后计算体表损伤面积的技术手段，所以克服了二维计算机软件系统无法解决的人体曲率问题与拍摄角度问题技术问题，进而达到计算人体体表任意部位的损伤面积精度较高的技术效果；通过获取多个角度的体表损伤部位的图像，从而解决了二维计算机软件系统无法解决的拍摄角度问题技术问题；通过特征匹配、稀疏重建、密集重建和网络化获得损伤部位三维模型，从而能够仅基于损伤部位图像特征完成测量(计算)。

上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。

附图说明

附图用于更好地理解本发明，不构成对本发明的不当限定。其中：

图1是根据本发明实施例的一种计算体表损伤区域面积的方法的主要步骤的示意图；

图2是根据本发明实施例的一种计算体表损伤区域面积的方法的流程示意图；

图3是根据本发明实施例的一种计算体表损伤区域面积的装置的主要模块的示意图；

图4是适于用来实现本申请实施例的终端设备或服务器的计算机系统的结构示意图。

具体实施方式

以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

本发明实施例的技术方案首先输入一组围绕人体损伤区域拍摄的图像，通过特征匹配、基于SFM(Structure from Motion，运动恢复结构)的稀疏重建、密集重建和网络化获得损伤人体部位的三维模型；然后基于LSCM算法(Least Squares Conformal Maps，最小二乘共形映射)将三维模型的UV(立体模型的皮肤)展开；最后基于图像分割算法和比例尺换算测得损伤区域面积。

图1是根据本发明实施例的一种计算体表损伤区域面积的方法的主要步骤的示意图；

如图1所示，本发明实施例的计算体表损伤区域面积的方法主要包括如下步骤：

步骤S11：获取多个角度的体表损伤部位的图像。

步骤S12：提取所述图像的特征，对所述图像进行两两之间的特征匹配，根据匹配结果重建所述体表损伤部位的三维模型。在本步骤中，可以基于尺度不变特征变换(SIFT)进行两两图像之间的特征匹配；可以基于SFM进行稀疏重建，通过CMVS(cluster multi-view stereo)方法对图像进行聚簇，以减少重建过程的数据量，再通过PMVS(patch-basedmulti-view stereo)完成密集重建，通过泊松表面重建算法网络化得到体表损伤部位的三维模型。

步骤S13：对所述三维模型进行UV展开，得到所述体表损伤部位的二维图像。在本步骤中，可以基于LSCM算法对三维模型进行UV展开，得到所述体表损伤部位的二维图像。

步骤S14：根据图像分割算法得到所述二维图像中的体表损伤区域，根据比例尺换算法得到所述体表损伤区域的面积。在本步骤中，可以基于活动轮廓模型算法进行体表损伤区域轮廓的提取。

具体计算体表损伤区域面积的实现方案具体如下：

图2是根据本发明实施例的一种计算体表损伤区域面积的方法的流程示意图；

如图2所示，本发明在获取多角度的体表损伤图像之后，首先基于运动恢复形状法对人体体表损伤图像进行特征提取及匹配、稀疏重建、密集重建和网络化得到图像中被测体的三维模型；然后展开三维模型的UV(即三维模型表面贴图，可以理解为三维模型的皮肤)，将三维模型表面展开到二维平面；最后采用图像分割方法和比例尺换算法进行损伤面积的提取和测算。

下面结合具体实施例，对本发明的技术手段加以说明：

1.图像获取

获取多个角度的体表损伤部位的图像，这些图像为同一损伤部位，不同角度的图像。

2.三维重建

通过SIFT算法提取采集图像的特征，SIFT算法首先搜索所有尺度上的图像位置，通过高斯微分函数来识别潜在的对于尺度和旋转不变的兴趣点。在每个候选的位置上，通过一个拟合精细的模型来确定位置和尺度。然后基于图像局部的梯度方向，分配给每个关键点位置一个或多个方向。所有后面的对图像数据的操作都相对于关键点的方向、尺度和位置进行变换，从而提供对于这些变换的不变性。在每个关键点周围的邻域内，在选定的尺度上测量图像局部的梯度。这些梯度被变换成一种表示，这种表示允许比较大的局部形状的变形和光照变化。

根据匹配结果，利用SFM算法进行稀疏重建，然后根据这些特征点之间的函数关系，计算物体的结构和运动，重建出3D模型的稀疏点云。运动恢复形状法(SFM)是一个从二维图像序列估算三维结构的成像技术，其通过相机的移动来确定目标的空间和几何关系，而后通过在多幅未标定图像中检测匹配特征点集，使用数值方法恢复三维信息。

利用CMVS对采集的图像进行聚类，可优化SFM输入，减少密集匹配时间和空间代价。聚簇需要满足如下约束：(1)密集性。需在簇中去除冗余的图像。(2)大小。为让每个簇都能重构，簇需保持足够小。(3)覆盖。图像簇重构的结果应尽量使图像细节保持完整性。

再通过PMVS独立地对CMVS获取的每个图像簇进行重构，在局部光度一致性和全局可见性约束下，经过匹配、扩散、过滤生成带真实颜色的稠密点云，完成密集重建。PMVS有初始化特征匹配、面片生成、过滤，三个步骤。

之后利用泊松表面重建算法将稠密点云连成面，使其网络化，根据稠密点云构建出三维模型。泊松表面重建算法围绕着估计模型的表面指示函数以及提取对应等值面的过程而进行的，从而对输入点集数据信息完成为一个相互之间无缝隙的三角面片组合而成的表面信息模型。

3.三维展开

三维模型的三角剖分网络K＝(V,T)，其中V＝{v₁,v₂,...,v_n}，v i是顶点位置的集合，T＝{t₁,t₂,...,t_m}，t_i＝{v_i1,v_i2,v_i3}是三角形顶点组成的三元组的集合，t_i中i1、i2、i3表示V的垂直指数。假设每个三角形t_i有一组局部标准正交基，由于每个三角形t_i有唯一的法线，令法线沿z轴，则对每个三角形t_i来说，其在局部标准正交基(x,y)中的顶点为{(x_i1,y_i1),(x_i2,y_i2),(x_i3,y_i3)}。

基于黎曼方程，当且仅当下列方程成立时，映射U:(x,y)→(u,v)在一个三角形t_i上共形：

由于公式2不能保证在整个表面上被严格执行，无法满足公式(1)的映射可以利用最小二乘思想，将其定义为共形标准E_LSCM：

其中，A(t_i)是三角形t_i的面积。

通过求公式3中E_LSCM的最小值，得到三维模型的三角剖分网络在参数空间的的平面坐标(u,v)，即三维剖分网络被展开在二维的参数平面上，得到体表损伤部位的二维图像。

4.面积计算

通过基于活动轮廓模型的图像分割算法自动识别体表损伤部位的二维图像中的体表损伤区域，得到体表损伤区域的像素面积。然后利用已知的实际长度与像素长度的比例关系，通过公式(3)计算体表损伤区域的实际面积。

其中，l_x、l_y为X、Y方向的已知的实际长度，Lx、Ly为X、Y方向的已知的像素长度，S图为体表损伤区域的像素面积。

根据本发明实施例的计算体表损伤区域面积的方法可以看出，因为采用对体表损伤区域先进行三维重建，再进行二维展开，然后计算体表损伤面积的技术手段，所以克服了二维计算机软件系统无法解决的人体曲率问题与拍摄角度问题技术问题，进而达到计算人体体表任意部位的损伤面积精度较高的技术效果；通过获取多个角度的体表损伤部位的图像，从而解决了二维计算机软件系统无法解决的拍摄角度问题技术问题；通过特征匹配、稀疏重建、密集重建和网络化获得损伤部位三维模型，从而能够仅基于损伤部位图像特征完成测量(计算)。

图3是根据本发明实施例的一种计算体表损伤区域面积的装置的主要模块的示意图；

如图3所示，本发明实施例的计算体表损伤区域面积的装置30主要包括：图像获取模块31、三维重建模块32、三维展开模块33、面积计算模块34。其中：

图像获取模块31可用于获取多个角度的体表损伤部位的图像；三维重建模块32可用于提取所述图像的特征，对所述图像进行两两之间的特征匹配，根据匹配结果重建所述体表损伤部位的三维模型；三维展开模块33可用于对所述三维模型进行UV展开，得到所述体表损伤部位的二维图像；面积计算模块34可用于根据图像分割算法得到所述二维图像中的体表损伤区域，根据比例尺换算法得到所述体表损伤区域的面积。

此外，三维重建模块32还可用于：根据所述匹配结果，基于运动恢复结构进行稀疏重建，获得稀疏点云；根据所述稀疏点云进行密集重建，获得三维点云；将三维点云网络化，获得所述三维模型。其中，提取所述图像的特征，对所述图像进行两两之间的特征匹配是基于尺度不变特征变换。

此外，三维展开模块33是基于LSCM算法。

从以上描述可以看出，因为采用对体表损伤区域先进行三维重建，再进行二维展开，然后计算体表损伤面积的技术手段，所以克服了二维计算机软件系统无法解决的人体曲率问题与拍摄角度问题技术问题，进而达到计算人体体表任意部位的损伤面积精度较高的技术效果；通过获取多个角度的体表损伤部位的图像，从而解决了二维计算机软件系统无法解决的拍摄角度问题技术问题；通过特征匹配、稀疏重建、密集重建和网络化获得损伤部位三维模型，从而能够仅基于损伤部位图像特征完成测量(计算)。

根据本发明的实施例，本发明还提供了一种电子设备和一种可读介质。

本发明的电子设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明实施例的计算体表损伤区域面积的方法。

本发明的计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时用于实现使所述计算机执行本发明实施例的计算体表损伤区域面积的方法。

图4是适于用来实现本申请实施例的终端设备或服务器的计算机系统的结构示意图。

如图4所示，其示出了适于用来实现本申请实施例的终端设备的计算机系统400的结构示意图。图4示出的终端设备仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

如图4所示，计算机系统400包括中央处理单元(CPU)401，其可以根据存储在只读存储器(ROM)402中的程序或者从存储部分408加载到随机访问存储器(RAM)403中的程序而执行各种适当的动作和处理。在RAM 403中，还存储有系统400操作所需的各种程序和数据。CPU 401、ROM 402以及RAM 403通过总线404彼此相连。输入/输出(I/O)接口405也连接至总线404。

以下部件连接至I/O接口405：包括键盘、鼠标等的输入部分406；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分407；包括硬盘等的存储部分408；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分409。通信部分409经由诸如因特网的网络执行通信处理。驱动器410也根据需要连接至I/O接口405。可拆卸介质411，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器410上，以便于从其上读出的计算机程序根据需要被安装入存储部分408。

特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分409从网络上被下载和安装，和/或从可拆卸介质411被安装。在该计算机程序被中央处理单元(CPU)401执行时，执行本申请的系统中限定的上述功能。

需要说明的是，本申请所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本申请实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包括图像获取模块、三维重建模块、三维展开模块、面积计算模块。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定，例如，图像获取模块还可以被描述为“获取多个角度的体表损伤部位的图像的模块”。

作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括：获取多个角度的体表损伤部位的图像；提取所述图像的特征，对所述图像进行两两之间的特征匹配，根据匹配结果重建所述体表损伤部位的三维模型；对所述三维模型进行UV展开，得到所述体表损伤部位的二维图像；根据图像分割算法得到所述二维图像中的体表损伤区域，根据比例尺换算法得到所述体表损伤区域的面积。

上述产品可执行本发明实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本发明实施例所提供的方法。

根据本发明实施例的技术方案，因为采用对体表损伤区域先进行三维重建，再进行二维展开，然后计算体表损伤面积的技术手段，所以克服了二维计算机软件系统无法解决的人体曲率问题与拍摄角度问题技术问题，进而达到计算人体体表任意部位的损伤面积精度较高的技术效果；通过获取多个角度的体表损伤部位的图像，从而解决了二维计算机软件系统无法解决的拍摄角度问题技术问题；通过特征匹配、稀疏重建、密集重建和网络化获得损伤部位三维模型，从而能够仅基于损伤部位图像特征完成测量(计算)。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (6)

1.一种计算体表损伤区域面积的方法，其特征在于，包括：

获取多个角度的体表损伤部位的图像；

提取所述图像的特征，对所述图像进行两两之间的特征匹配，根据所述匹配结果，基于运动恢复结构进行稀疏重建，获得稀疏点云；

根据所述稀疏点云进行密集重建，获得三维点云；

将三维点云网络化，获得体表损伤部位的三维模型；

对所述三维模型进行三角剖分网络K＝(V,T)，其中V＝{v₁,v₂,...,v_n}，vi是顶点位置的集合，T＝{t₁,t₂,...,t_m}，t_i＝{v_i1,v_i2,v_i3}是三角形顶点组成的三元组的集合，t_i中i1、i2、i3表示V的垂直指数，映射U:(x,y)→(u,v)在一个三角形t_i上共形：

定义为共形标准E_LSCM：

其中，A(t_i)是三角形t_i的面积；

获得E_LSCM的最小值，得到三维模型的三角剖分网络在参数空间的的平面坐标(u,v)，即三维剖分网络被展开在二维的参数平面上，得到所述体表损伤部位的二维图像；

根据图像分割算法得到所述二维图像中的体表损伤区域，根据比例尺换算法得到所述体表损伤区域的面积。

2.根据权利要求1所述的方法，其特征在于，所述提取所述图像的特征，对所述图像进行两两之间的特征匹配是基于尺度不变特征变换。

3.一种计算体表损伤区域面积的装置，其特征在于，包括：

图像获取模块，用于获取多个角度的体表损伤部位的图像；

三维重建模块，用于提取所述图像的特征，对所述图像进行两两之间的特征匹配，根据所述匹配结果，基于运动恢复结构进行稀疏重建，获得稀疏点云；

根据所述稀疏点云进行密集重建，获得三维点云；

将三维点云网络化，获得体表损伤部位的三维模型；

三维展开模块，用于对所述三维模型进行三角剖分网络K＝(V,T)，其中V＝{v₁,v₂,...,v_n}，vi是顶点位置的集合，T＝{t₁,t₂,...,t_m}，t_i＝{v_i1,v_i2,v_i3}是三角形顶点组成的三元组的集合，t_i中i1、i2、i3表示V的垂直指数，映射U:(x,y)→(u,v)在一个三角形t_i上共形：

定义为共形标准E_LSCM：

其中，A(t_i)是三角形t_i的面积；

获得E_LSCM的最小值，得到三维模型的三角剖分网络在参数空间的的平面坐标(u,v)，即三维剖分网络被展开在二维的参数平面上，得到所述体表损伤部位的二维图像；

面积计算模块，用于根据图像分割算法得到所述二维图像中的体表损伤区域，根据比例尺换算法得到所述体表损伤区域的面积。

4.根据权利要求3所述的装置，其特征在于，所述提取所述图像的特征，对所述图像进行两两之间的特征匹配是基于尺度不变特征变换。

5.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-2中任一所述的方法。

6.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-2中任一所述的方法。

Images