CN108573532A - 一种混合模型的展示方法及装置、计算机存储介质 - Google Patents

Abstract

本发明公开了一种混合模型的展示方法及装置、计算机存储介质，所述方法包括：获取第三标记影像集，根据所述第三标记影像集创建至少一个目标对象的三维实体模型；获取三维表面模型文件，所述三维表面模型文件是通过对第四标记影像集中的M个关键断层图像分别创建M个轮廓，M≥2，基于所述M个轮廓创建第三目标对象的三维表面模型得到的，所述三维表面模型由空间中三角面片的集合组成；通过同一个三维坐标系，将所述至少一个目标对象的三维实体模型和所述第三目标对象的三维表面模型展示在显示界面上。

Description

一种混合模型的展示方法及装置、计算机存储介质

技术领域

本发明涉及图像处理技术领域，尤其涉及一种混合模型的展示方法及装置、计算机存储介质。

背景技术

多模态医学图像集是来自计算机体层摄影(CT，Computed Tomograph)设备、核磁共振成像(MRI，Magnetic Resonance Imaging)设备、X射线设备、超声设备等医学诊断设备采集到的断层图像集合，医学诊断设备测量的对象不限，例如人、动物、植物。

对断层图像集进行加工，可以得到特定的器官组织的标记影像集。在标记影像集中预定义一种前景色，表示一种特定的器官组织。将两个或多个标记影像集进行三维空间融合，可以得到一个融合了多个器官组织的图像集，其中不同的颜色表示着各自对应的器官组织。这些不同的颜色像素集合，在计算机图形学中，恰恰对应着三维物体的实体模型。另一方面，用户基于断层图像集设计了三维表面模型，一般说来，这样的三维表面模型，常常是肉眼不易识别的，需要依靠医师的经验进行判断勾画，一般用于肿瘤等病变组织的表示。

上述三维表面模型和实体模型，都是基于断层图像集得到的，如医学数字成像和通信(DiCOM，Digital Imaging and Communications in Medicine)文件集，因此，有需求通过一个共同的三维展示工具对他们进行展示，目前还未有相关的解决方案。

发明内容

为解决上述技术问题，本发明实施例提供了一种混合模型的展示方法及装置、计算机存储介质。

本发明实施例提供的混合模型的展示方法，包括：

获取第三标记影像集，根据所述第三标记影像集创建至少一个目标对象的三维实体模型；所述第三标记影像集是通过对至少两个标记影像集进行融合得到或者所述第三标记影像集为单一目标对象的标记影像集，所述至少两个标记影像集包括第一标记影像集和第二标记影像，所述第一标记影像集包括N1个第一目标对象的标记图像，N1≥2，所述N1个第一目标对象的标记图像是通过对第一DICOM文件集中的N1个断层图像进行第一目标对象的标记得到；所述第二标记影像集包括N2个第二目标对象的标记图像，N2≥2，所述N2个第二目标对象的标记图像是通过对第二DICOM文件集中的N2个断层图像进行第二目标对象的标记得到；所述第一DICOM文件集中的各个断层图像与所述第一DICOM文件集中的各个断层图像在空间上平行排布，每个断层图像对应于特定高度上的截面；

获取三维表面模型文件，所述三维表面模型文件是通过对第四标记影像集中的M个关键断层图像分别创建M个轮廓，M≥2，基于所述M个轮廓创建第三目标对象的三维表面模型得到的，所述三维表面模型由空间中三角面片的集合组成；

通过同一个三维坐标系，将所述至少一个目标对象的三维实体模型和所述第三目标对象的三维表面模型展示在显示界面上。

本发明实施例中，所述方法还包括：

在所述显示界面上展示所述至少一个目标对象的三维实体模型和所述第三目标对象的三维表面模型时，获取到针对任意一个或多个模型的选中操作，基于第一设置操作控制所选中的模型在所述显示界面上是否进行显示，其中，所述任意一个或多个模型是指所述三维实体模型和/或所述三维表面模型。

本发明实施例中，所述方法还包括：

在所述显示界面上展示所述至少一个目标对象的三维实体模型和所述第三目标对象的三维表面模型时，获取到针对任意一个或多个模型的选中操作，基于第二设置操作对所选中的模型进行以下至少一种变换操作：平移、旋转、缩放；其中，每种变换操作对应一种变换矩阵；所述任意一个或多个模型是指所述三维实体模型和/或所述三维表面模型；

当通过混合模型文件对所述至少一个目标对象的三维实体模型和所述第三目标对象的三维表面模型所形成的混合模型进行保存时，在所述混合模型文件中存储所述至少一个目标对象的三维实体模型对应的第三标记影像集的文件位置、所述第三目标对象的三维表面模型对应的三维表面模型文件的位置以及各个模型对应的变换矩阵。

本发明实施例中，不同的目标对象对应不同的颜色信息；

相应地，在所述显示界面上展示所述至少一个目标对象的三维实体模型和所述第三目标对象的三维表面模型时，不同的目标对象通过不同的颜色进行展示。

本发明实施例中，所述三维表面模型文件是通过对第四标记影像集中的M个关键断层图像分别创建M个轮廓，M≥2，基于所述M个轮廓创建第三目标对象的三维表面模型得到的，包括：

获取第四DICOM文件集，根据所述第四DICOM文件集创建N3个断层图像，N3≥2，所述N3个断层图像中的每个断层图像对应特定高度上的截面；

在所述N3个断层图像中选择出M个断层图像，作为关键断层图像，2≤M≤N3；

在所述M个关键断层图像上分别创建M个轮廓，所述轮廓通过二维多边形表征；

对所述M个轮廓中的各个轮廓进行图形编辑和/或端点编辑，其中，对所述轮廓进行图形编辑是指：对所述轮廓对应的二维多边形进行以下至少一种操作：平移、旋转、缩放，对所述轮廓进行端点编辑是指：对所述轮廓对应的二维多边形的端点进行以下至少一种操作：移动、删除、添加；所述图形编辑包括局部性图像编辑和/或全局性图形编辑，所述端点编辑包括局部性端点编辑和/或全局性端点编辑；

所述局部性图像编辑是指：对指定层的轮廓进行编辑；

所述全局性图形编辑是指：在对指定层的轮廓进行编辑的同时，按照引力位移模型确定所述指定层作用的牵引层，对各个所述牵引层按照所述指定层作用于所述牵引层的引力参数对所述牵引层的轮廓进行编辑；

所述局部性端点编辑是指：对指定层的指定端点进行编辑；

所述全局性端点编辑是指：在对指定层的指定端点进行编辑的同时，按照引力位移模型确定所述指定端点作用的牵引端点，对各个所述牵引端点按照所述指定端点作用于所述牵引端点的引力参数对所述牵引端点进行编辑；其中，所述牵引端点与所述指定端点位于同一轮廓中或不同的轮廓中；

基于编辑后的M个轮廓创建三维表面模型，所述三维表面模型由空间中三角面片的集合组成。

本发明实施例提供的混合模型的展示装置，包括：

第一获取单元，用于获取第三标记影像集，根据所述第三标记影像集创建至少一个目标对象的三维实体模型；所述第三标记影像集是通过对至少两个标记影像集进行融合得到或者所述第三标记影像集为单一目标对象的标记影像集，所述至少两个标记影像集包括第一标记影像集和第二标记影像，所述第一标记影像集包括N1个第一目标对象的标记图像，N1≥2，所述N1个第一目标对象的标记图像是通过对第一DICOM文件集中的N1个断层图像进行第一目标对象的标记得到；所述第二标记影像集包括N2个第二目标对象的标记图像，N2≥2，所述N2个第二目标对象的标记图像是通过对第二DICOM文件集中的N2个断层图像进行第二目标对象的标记得到；所述第一DICOM文件集中的各个断层图像与所述第一DICOM文件集中的各个断层图像在空间上平行排布，每个断层图像对应于特定高度上的截面；

第二获取单元，用于获取三维表面模型文件，所述三维表面模型文件是通过对第四标记影像集中的M个关键断层图像分别创建M个轮廓，M≥2，基于所述M个轮廓创建第三目标对象的三维表面模型得到的，所述三维表面模型由空间中三角面片的集合组成；

显示单元，用于通过同一个三维坐标系，将所述至少一个目标对象的三维实体模型和所述第三目标对象的三维表面模型展示在显示界面上。

本发明实施例中，所述装置还包括：

第一设置单元，用于获取到针对任意一个或多个模型的选中操作；

所述显示单元，还用于基于第一设置操作控制所选中的模型在所述显示界面上是否进行显示，其中，所述任意一个或多个模型是指所述三维实体模型和/或所述三维表面模型。

本发明实施例中，所述装置还包括：

第二设置单元，用于获取到针对任意一个或多个模型的选中操作；

所述显示单元，还用于基于第二设置操作对所选中的模型进行以下至少一种变换操作：平移、旋转、缩放；其中，每种变换操作对应一种变换矩阵；所述任意一个或多个模型是指所述三维实体模型和/或所述三维表面模型；

存储单元，用于当通过混合模型文件对所述至少一个目标对象的三维实体模型和所述第三目标对象的三维表面模型所形成的混合模型进行保存时，在所述混合模型文件中存储所述至少一个目标对象的三维实体模型对应的第三标记影像集的文件位置、所述第三目标对象的三维表面模型对应的三维表面模型文件的位置以及各个模型对应的变换矩阵。

本发明实施例中，不同的目标对象对应不同的颜色信息；

相应地，所述显示单元在所述显示界面上展示所述至少一个目标对象的三维实体模型和所述第三目标对象的三维表面模型时，不同的目标对象通过不同的颜色进行展示。

本发明实施例中，所述装置还包括：

三维表面建模单元，用于获取第四DICOM文件集，根据所述第四DICOM文件集创建N3个断层图像，N3≥2，所述N3个断层图像中的每个断层图像对应特定高度上的截面；在所述N3个断层图像中选择出M个断层图像，作为关键断层图像，2≤M≤N3；在所述M个关键断层图像上分别创建M个轮廓，所述轮廓通过二维多边形表征；对所述M个轮廓中的各个轮廓进行图形编辑和/或端点编辑，其中，对所述轮廓进行图形编辑是指：对所述轮廓对应的二维多边形进行以下至少一种操作：平移、旋转、缩放，对所述轮廓进行端点编辑是指：对所述轮廓对应的二维多边形的端点进行以下至少一种操作：移动、删除、添加；所述图形编辑包括局部性图像编辑和/或全局性图形编辑，所述端点编辑包括局部性端点编辑和/或全局性端点编辑；所述局部性图像编辑是指：对指定层的轮廓进行编辑；所述全局性图形编辑是指：在对指定层的轮廓进行编辑的同时，按照引力位移模型确定所述指定层作用的牵引层，对各个所述牵引层按照所述指定层作用于所述牵引层的引力参数对所述牵引层的轮廓进行编辑；所述局部性端点编辑是指：对指定层的指定端点进行编辑；所述全局性端点编辑是指：在对指定层的指定端点进行编辑的同时，按照引力位移模型确定所述指定端点作用的牵引端点，对各个所述牵引端点按照所述指定端点作用于所述牵引端点的引力参数对所述牵引端点进行编辑；其中，所述牵引端点与所述指定端点位于同一轮廓中或不同的轮廓中；基于编辑后的M个轮廓创建三维表面模型，所述三维表面模型由空间中三角面片的集合组成。

本发明实施例提供的计算机存储介质，其上存储有计算机可执行指令，该计算机可执行指令被处理器执行时实现上述的混合模型的展示方法。

本发明实施例的技术方案中，获取第三标记影像集，根据所述第三标记影像集创建至少一个目标对象的三维实体模型；所述第三标记影像集是通过对至少两个标记影像集进行融合得到或者所述第三标记影像集为单一目标对象的标记影像集，所述至少两个标记影像集包括第一标记影像集和第二标记影像，所述第一标记影像集包括N1个第一目标对象的标记图像，N1≥2，所述N1个第一目标对象的标记图像是通过对第一DICOM文件集中的N1个断层图像进行第一目标对象的标记得到；所述第二标记影像集包括N2个第二目标对象的标记图像，N2≥2，所述N2个第二目标对象的标记图像是通过对第二DICOM文件集中的N2个断层图像进行第二目标对象的标记得到；所述第一DICOM文件集中的各个断层图像与所述第一DICOM文件集中的各个断层图像在空间上平行排布，每个断层图像对应于特定高度上的截面；获取三维表面模型文件，所述三维表面模型文件是通过对第四标记影像集中的M个关键断层图像分别创建M个轮廓，M≥2，基于所述M个轮廓创建第三目标对象的三维表面模型得到的，所述三维表面模型由空间中三角面片的集合组成；通过同一个三维坐标系，将所述至少一个目标对象的三维实体模型和所述第三目标对象的三维表面模型展示在显示界面上。采用本发明实施例的技术方案，通过一个共同的三维坐标系实现了对三维实体模型和三维表面模型的共同展示，使得医师、患者、科研人员，可以有一个共同的交流平台。

附图说明

图1为本发明实施例的混合模型的展示方法的流程示意图；

图2为本发明实施例的图像的混合模型的展示的框架图；

图3为本发明实施例的三维场景的绘制流程图；

图4为本发明实施例的窗口的两个菜单条的示意图；

图5为本发明实施例的主窗口的初始界面示意图；

图6为本发明实施例的打开混合模型的界面示意图；

图7为本发明实施例的混合模型的编辑效果示意图；

图8为本发明实施例的混合模型的展示装置的结构组成示意图。

具体实施方式

为了能够更加详尽地了解本发明实施例的特点与技术内容，下面结合附图对本发明实施例的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本发明实施例。

图1为本发明实施例的混合模型的展示方法的流程示意图，如图1所示，所述混合模型的展示方法包括以下步骤：

步骤101：获取第三标记影像集，根据所述第三标记影像集创建至少一个目标对象的三维实体模型；所述第三标记影像集是通过对至少两个标记影像集进行融合得到或者所述第三标记影像集为单一目标对象的标记影像集，所述至少两个标记影像集包括第一标记影像集和第二标记影像，所述第一标记影像集包括N1个第一目标对象的标记图像，N1≥2，所述N1个第一目标对象的标记图像是通过对第一医学数字成像和通信DICOM文件集中的N1个断层图像进行第一目标对象的标记得到；所述第二标记影像集包括N2个第二目标对象的标记图像，N2≥2，所述N2个第二目标对象的标记图像是通过对第二DICOM文件集中的N2个断层图像进行第二目标对象的标记得到；所述第一DICOM文件集中的各个断层图像与所述第一DICOM文件集中的各个断层图像在空间上平行排布，每个断层图像对应于特定高度上的截面。

在一实施方式中，DICOM文件集包括多个DICOM文件，每个DICOM文件用于创建一个断层图像，这里，断层图像是指目标对象在特定高度上的截面。例如：在坐标系XYZ中，每个断层图像的截面位于XY平面，断层图像的高度是指该断层图像对应于Z坐标的值。假设一共有5个断层图像，高度值由大至小分别为Z1，Z2，Z3，Z4，Z5，其中，Z1为顶层的断层图像的高度值，Z5为底层的断层图像的高度值，Z2，Z3，Z4为三个中间层的断层图像的高度值。

这里，DICOM是美国放射学院和国家电气制造协会制定的医学图像标准，是医学图像和相关信息的国际标准和文件格式。DICOM被广泛应用于放射医疗，心血管成像以及放射诊疗诊断设备。数据源-DICOM文件集是，表示一次扫描中的所有断层的图像。其中，每个Dicom文件表示一个断层的图像，是一张灰度图，不同的灰度范围代表着一定的器官组织。

第一DICOM文件集包括N1个断层图像，是经过一次测量得到；第二DICOM文件集包括N2个断层图像，是经过另一次测量得到。N1和N2可以相等，也可以不同。

本发明实施例中，所述第一标记影像集包括N1个第一目标对象的标记图像，N1≥2，所述N1个第一目标对象的标记图像是通过对第一DICOM文件集中的N1个断层图像进行第一目标对象的标记得到；所述第二标记影像集包括N2个第二目标对象的标记图像，N2≥2，所述N2个第二目标对象的标记图像是通过对第二DICOM文件集中的N2个断层图像进行第二目标对象的标记得到。

以第一标记影像集的获取过程为例，所述N1个第一目标对象的标记图像是通过对第一DICOM文件集中的N1个断层图像进行第一目标对象的标记得到，包括：设置第一灰度阈值和第二灰度阈值，所述第一灰度阈值大于所述第二灰度阈值；针对所述N1个断层图像中的每个断层图像，将所述断层图像中的各个像素对应的灰度值分别与所述第一灰度阈值和第二灰度阈值进行比较；如果灰度值位于所述第一灰度阈值和所述第二灰度阈值所确定的灰度区域以内，则将所述灰度值对应的像素标记为第一数值；如果灰度值位于所述第一灰度阈值和所述第二灰度阈值所确定的灰度区域以外，则将所述灰度值对应的像素标记为第二数值；基于所述断层图像的每个像素的标记数值，创建所述断层图像对应的二值图像，作为所述第一目标对象的标记图像。例如：第一灰度阈值为30，第二灰度阈值为60。此外，还可以设置所述第一目标对象的第一目标颜色信息(如白色)，针对N1个二值图像中每个二值图像，将所述二值图像中像素标记为所述第一数值的像素的颜色信息设置为所述目标颜色信息，创建所述二值图像对应的彩色图像。

以第二标记影像集的获取过程为例，所述N2个第二目标对象的标记图像是通过对第二DICOM文件集中的N2个断层图像进行第二目标对象的标记得到，包括：设置第三灰度阈值和第四灰度阈值，所述第三灰度阈值大于所述第四灰度阈值；针对所述N2个断层图像中的每个断层图像，将所述断层图像中的各个像素对应的灰度值分别与所述第三灰度阈值和第四灰度阈值进行比较；如果灰度值位于所述第三灰度阈值和所述第四灰度阈值所确定的灰度区域以内，则将所述灰度值对应的像素标记为第一数值；如果灰度值位于所述第三灰度阈值和所述第四灰度阈值所确定的灰度区域以外，则将所述灰度值对应的像素标记为第二数值；基于所述断层图像的每个像素的标记数值，创建所述断层图像对应的二值图像，作为所述第二目标对象的标记图像。例如：第三灰度阈值为50，第四灰度阈值为80。此外，还可以设置所述第二目标对象的第二目标颜色信息(如红色)，针对N2个二值图像中每个二值图像，将所述二值图像中像素标记为所述第一数值的像素的颜色信息设置为所述目标颜色信息，创建所述二值图像对应的彩色图像。

实际应用中，不同的器官组织可以基于DICOM文件集设置不同的灰度阈值范围进行标记得到相应的标记影像集(也即二值图像集合)，进一步，不同的器官组织可以通过不同的颜色表示。

本发明实施例中，第三标记影像集通过以下方式得到：

1)在所述第一标记影像集中选择第一高度范围内的第一组标记图像，在所述第一组标记图像内按照第一差值高度生成第一组插值图像，所述第一组差值图像和所述第一组标记图像形成第一图像序列；在所述第二标记影像集中选择所述第一高度范围内的第二组标记图像，在所述第二组标记图像内按照第二差值高度生成第二组插值图像，所述第二组差值图像和所述第二组标记图像形成第二图像序列；其中，所述第一图像序列和所述第二图像序列具有相同数目的图像，且所述第一图像序列中的各个图像与所述第二图像序列中的各个图像在高度上具有一一对应关系。这里，第一高度范围为需要进行后续融合的高度范围。

例如：所述第一标记影像集包括N1个第一目标对象的标记图像，这N1个标记图像按照高度值顺序排列，最高的高度值假设为Zmax(1)，最低的高度值假设为Zmin(1)，现在需要选取高度值位于Z1和Z2之间(也即第一高度范围)的标记图像，假设高度值位于Z1和Z2之间的标记图像的数目为M1个，M1≤N1。所述第二标记影像集包括N2个第二目标对象的标记图像，这N2个标记图像按照高度值顺序排列，最高的高度值假设为Zmax(2)，最低的高度值假设为Zmin(2)，现在需要选取高度值位于Z1和Z2之间(也即第一高度范围)的标记图像，假设高度值位于Z1和Z2之间的标记图像的数目为M2个，M2≤N2。为了对两组标记图像进行融合，需要将M1个第一目标对象的标记图像和M2个第二目标对象的标记图像在高度上进行对齐，具体地，高度范围在Z1和Z2之间的第一目标对象的标记图像的数目需要与第二目标对象的标记图像的数目一致，且每个第一目标对象的标记图像在高度上具有一个相同高度值的第二目标对象的标记图像，本发明实施例通过生成一组插值图像来实现。例如：所述第一标记影像集中选择的第一高度范围内的第一组标记图像包括：P1(高度值Z1)、P2(高度值Z1-0.5)、P3(高度值Z1-1)、P4(高度值Z1-1.5＝Z2)，所述第二标记影像集中选择的第一高度范围内的第二组标记图像包括：p1(高度值Z1)、p2(高度值Z1-0.25)、p3(高度值Z1-0.5)、p4(高度值Z1-0.75)、p4(高度值Z1-1)、p4(高度值Z1-1.25)、p4(高度值Z1-1.5＝Z2)，需要在第一标记影像集中按照0.05的差值高度生成第一组插值图像，即：Δ1(高度值Z1-0.25)、Δ2(高度值Z1-0.75)、Δ3(高度值Z1-1.25)，这样，形成的第一图像序列包括：P1(高度值Z1)、Δ1(高度值Z1-0.25)、P2(高度值Z1-0.5)、Δ2(高度值Z1-0.75)、P3(高度值Z1-1)、Δ3(高度值Z1-1.25)、P4(高度值Z1-1.5＝Z2)，其中，插值图像也是标记图像，也即二值图像，这样，第一目标对象的标记图像集合就和第二目标对象的标记图像集合对齐了。

2)基于上述方案，在所述第一图像序列中选择第一对齐层，在所述第二图像序列中选择第二对齐层。所述第一对齐层和所述第二对齐层具有具有相同的高度值。

在所述第一对齐层中设置第一基准点和第二基准点，基于所述第一基准点和所述第二基站点构建第一基准线段；在所述第二对齐层中设置第三基准点和第四基准点，基于所述第三基准点和所述第四基站点构建第二基准线段；计算所述第一基准线段和所述第二基准线段的长度比以及夹角；基于所述第一基准点、第二基准点、第三基准点、第四基准点以及所述第一基准线段和所述第二基准线段的长度比以及夹角，计算平移变换矩阵、缩放变换矩阵以及旋转变换矩阵；基于所述平移变换矩阵、缩放变换矩阵以及旋转变换矩阵，计算对齐矩阵。

3)利用所述对齐矩阵将所述第二标记影像集中的各个标记图像，按照高度值对应关系融合到所述第一标记影像集的各个标记图像中，得到第三标记影像集，所述第三标记影像集中的各个标记图像包括所述第一目标对象和所述第二目标对象。

步骤102：获取三维表面模型文件，所述三维表面模型文件是通过对第四标记影像集中的M个关键断层图像分别创建M个轮廓，M≥2，基于所述M个轮廓创建第三目标对象的三维表面模型得到的，所述三维表面模型由空间中三角面片的集合组成。

本发明实施例中，所述三维表面模型通过以下方式得到：

1)获取第四DICOM文件集，根据所述第四DICOM文件集创建N3个断层图像，N3≥2，所述N3个断层图像中的每个断层图像对应特定高度上的截面；

2)在所述N3个断层图像中选择出M个断层图像，作为关键断层图像，2≤M≤N3；

3)在所述M个关键断层图像上分别创建M个轮廓，所述轮廓通过二维多边形表征；

4)对所述M个轮廓中的各个轮廓进行图形编辑和/或端点编辑，其中，对所述轮廓进行图形编辑是指：对所述轮廓对应的二维多边形进行以下至少一种操作：平移、旋转、缩放，对所述轮廓进行端点编辑是指：对所述轮廓对应的二维多边形的端点进行以下至少一种操作：移动、删除、添加；所述图形编辑包括局部性图像编辑和/或全局性图形编辑，所述端点编辑包括局部性端点编辑和/或全局性端点编辑；

所述局部性图像编辑是指：对指定层的轮廓进行编辑；

所述全局性图形编辑是指：在对指定层的轮廓进行编辑的同时，按照引力位移模型确定所述指定层作用的牵引层，对各个所述牵引层按照所述指定层作用于所述牵引层的引力参数对所述牵引层的轮廓进行编辑；

所述局部性端点编辑是指：对指定层的指定端点进行编辑；

所述全局性端点编辑是指：在对指定层的指定端点进行编辑的同时，按照引力位移模型确定所述指定端点作用的牵引端点，对各个所述牵引端点按照所述指定端点作用于所述牵引端点的引力参数对所述牵引端点进行编辑；其中，所述牵引端点与所述指定端点位于同一轮廓中或不同的轮廓中；

5)基于编辑后的M个轮廓创建三维表面模型，所述三维表面模型由空间中三角面片的集合组成。

步骤103：通过同一个三维坐标系，将所述至少一个目标对象的三维实体模型和所述第三目标对象的三维表面模型展示在显示界面上。

本发明实施例中，不同的目标对象对应不同的颜色信息；在所述显示界面上展示所述至少一个目标对象的三维实体模型和所述第三目标对象的三维表面模型时，不同的目标对象通过不同的颜色进行展示。

在一实施方式中，所述方法还包括：

在所述显示界面上展示所述至少一个目标对象的三维实体模型和所述第三目标对象的三维表面模型时，获取到针对任意一个或多个模型的选中操作，基于第一设置操作控制所选中的模型在所述显示界面上是否进行显示，其中，所述任意一个或多个模型是指所述三维实体模型和/或所述三维表面模型。

例如：在显示界面上有4个模型，分别为：目标对象1对应的三维实体模型1，目标对象2对应的三维实体模型2，目标对象3对应的三维实体模型3，目标对象4对应的三维表面模型4，这4个模型分别通过不同的颜色表示，用户可以选择在显示界面上显示哪一个或几个模型，其他的模型隐藏起来。应理解，上述三维实体模型1、三维实体模型2以及三维实体模型3都通过一个融合的标记影像集(也即第三标记影像集)得到的。

在一实施方式中，所述方法还包括：

在所述显示界面上展示所述至少一个目标对象的三维实体模型和所述第三目标对象的三维表面模型时，获取到针对任意一个或多个模型的选中操作，基于第二设置操作对所选中的模型进行以下至少一种变换操作：平移、旋转、缩放；其中，每种变换操作对应一种变换矩阵；所述任意一个或多个模型是指所述三维实体模型和/或所述三维表面模型；

当通过混合模型文件对所述至少一个目标对象的三维实体模型和所述第三目标对象的三维表面模型所形成的混合模型进行保存时，在所述混合模型文件中存储所述至少一个目标对象的三维实体模型对应的第三标记影像集的文件位置、所述第三目标对象的三维表面模型对应的三维表面模型文件的位置以及各个模型对应的变换矩阵。

以下结合具体地实现算法对本发明实施例的技术方案进行描述。

图2为本发明实施例的图像的混合模型的展示的框架图，如图2所示，包括如下模块：

1)Commons.DLL模块

通用类库Commons.dll的设计目的是，为三维图形的显示、变换，提供基础类型及其运算等功能。

Commons.dll主体部分由3个类别组成，参见表1。

表1 Common.dll中的类别组成

2)Controls.DLL模块

2.1)三维图形显示流程的设计封装

Controls.DLL定义了三维图形显示控件UcCanvas3D，后者封装了OpenGL的设置和显示流程、定义了三维坐标系、观察坐标系对象，管理了一系列的交互数据，实现了对三维模型观察的旋转、平移、远近等操作方式，设计、封装了整个显示流程。

Controls.DLL设计了DrawGame事件，用于与窗口界面合作完成三维场景的绘制流程。绘制流程参见图3。

2.2)类的设计组织

Controls.dll主体部分由3个类别组成，参见表2。

包含的类	描述
		UcCanvas3D	三维显示控件
tfPan	平移变换的操作面板
		tfRotate	旋转变换的操作面板
tfScale	缩放变换的操作面板

表2 Common.dll中的类别组成

3)PointModel.DLL模块

类库PointModel.dll的设计目的是，存储、管理三维实体模型和表面模型的数据，并实现其基本运算功能。

PointModel.dll中的主要类的说明，参见表3。

类名	描述
		clsPoints	实现对某个器官组织的点集及变换矩阵的管理
clsPointModel	实现对所有器官组织的点集对象的管理(含文件操作)
		clsTriModel	实现对表面模型的所有三角面片数据及变换矩阵的管理
clsMixModel	实现对实体模型clsPointModel和表面模型clsTriModel的管理

表3 PointModel.dll中的类

4)Model3D.exe模块

Model3D.exe的窗口流程是在frmMixModel3D中实现的。

4.1)主窗口frmMixModel3D

核心数据成员是一个clsMixModel类型的对象Model，其中表示了一个实体模型和一个表面模型。

主窗口界面包括两个菜单条，分别组织了文件操作和项目管理等操作。参见图4。

主窗口界面还包括两个窗格，右侧窗格是三维模型展示区，左侧窗格的上半部是对三维模型进行线性变换的操作面板，分别是平移、旋转、缩放，用于表达变换参数和操作。左侧窗格的下半部是模型列表。图5是主窗口的初始界面。

4.2)模型打开示例

使用文件菜单条的“打开点模型”，打开《面向标记影像集的三维融合软件》生成的融合了多个器官组织的图像集。

使用文件菜单条的“打开面模型”，打开《基于多模态神经影像的三维表面建模软件》生成的STL文件。

参见图6，可以见到多个器官组织的混合模型的显示界面。

用户可以看到左侧窗格下半部是模型列表，其中包含了四种器官组织的实体模型，和一个表面模型。每个模型都采用一种特定的颜色显示。

此时，可以鼠标双击模型列表项，以决定显示或不显示某个模型。

4.3)图6中，一种颜色(如黄色)的模型是三维表面模型，假设它的位置是不合适的，需要调整。

调整方法是在模型列表中选择该模型，指定相应的变换参数，进行线性变换。

为能够更加清晰的观察到模型的相对位置，双击了第一个模型项(白色的颅骨模型)，关闭了颅骨的显示。得到了图7。对比图6，可以看到模型编辑效果是少了颅骨的显示。

4.4)项目管理

对于精心建立起来的混合模型，应该将其保存为项目文件(*.prj)，以便后继使用。项目文件采用文本格式，存储了每个模型的数据源(融合了多个器官组织的图像集的位置、表面模型的文件位置)以及每个模型的变换矩阵。

当再次执行混合模型时，使用“打开项目”菜单项，指定项目文件名，则可以立即展现之前设计好的混合模型。

上述框架中，三维混合模型是指三维实体模型加上三维表面模型。其中，三维实体模型，取材于融合了多个器官组织的图像集，该图像集具有高度、及像素点尺寸等参数描述。三维表面模型，取材于3D打印领域中最常使用的STL文件。此外，所有模型都具有显示开关。针对每个模型指定相应的参数，进行线性变换。在存储混合模型时，并不存储模型数据，而是存储每个模型的变换矩阵。

通过上述框架实现本发明实施例的图像的混合模型的展示方法，包括但不局限于执行如下流程：

1创建显示实体模型

具体地，打开《面向标记影像集的三维融合软件》的结果数据集，创建多个器官组织的实体模型。进行三维显示。显示方式应该是可以选择的，即可以显示全部的器官组织，也可以单独显示指定的器官组织。

2打开显示表面模型

具体地，打开三维表面模型*.stl文件，将其与实体模型一同显示出来。

3对实体模型和表面模型进行线性变换

这里，因各种不可预测的原因，某些器官组织的模型的相对位置可能出现偏差。这时《目标软件》应能允许用户选择特定的模型进行指定的线性变换：平移、旋转、缩放。

4保存项目

这里，三维实体模型和三维表面模型的集合被称为三维混合模型，是一系列设计过程的结果，应该被保存起来以便于后续的应用。

图8为本发明实施例的混合模型的展示装置的结构组成示意图，如图8所示，所述混合模型的展示装置包括：

第一获取单元801，用于获取第三标记影像集，根据所述第三标记影像集创建至少一个目标对象的三维实体模型；所述第三标记影像集是通过对至少两个标记影像集进行融合得到或者所述第三标记影像集为单一目标对象的标记影像集，所述至少两个标记影像集包括第一标记影像集和第二标记影像，所述第一标记影像集包括N1个第一目标对象的标记图像，N1≥2，所述N1个第一目标对象的标记图像是通过对第一DICOM文件集中的N1个断层图像进行第一目标对象的标记得到；所述第二标记影像集包括N2个第二目标对象的标记图像，N2≥2，所述N2个第二目标对象的标记图像是通过对第二DICOM文件集中的N2个断层图像进行第二目标对象的标记得到；所述第一DICOM文件集中的各个断层图像与所述第一DICOM文件集中的各个断层图像在空间上平行排布，每个断层图像对应于特定高度上的截面；

第二获取单元802，用于获取三维表面模型文件，所述三维表面模型文件是通过对第四标记影像集中的M个关键断层图像分别创建M个轮廓，M≥2，基于所述M个轮廓创建第三目标对象的三维表面模型得到的，所述三维表面模型由空间中三角面片的集合组成；

显示单元803，用于通过同一个三维坐标系，将所述至少一个目标对象的三维实体模型和所述第三目标对象的三维表面模型展示在显示界面上。

在一实施方式中，所述装置还包括：

第一设置单元804，用于获取到针对任意一个或多个模型的选中操作；

所述显示单元803，还用于基于第一设置操作控制所选中的模型在所述显示界面上是否进行显示，其中，所述任意一个或多个模型是指所述三维实体模型和/或所述三维表面模型。

在一实施方式中，所述装置还包括：

第二设置单元805，用于获取到针对任意一个或多个模型的选中操作；

所述显示单元803，还用于基于第二设置操作对所选中的模型进行以下至少一种变换操作：平移、旋转、缩放；其中，每种变换操作对应一种变换矩阵；所述任意一个或多个模型是指所述三维实体模型和/或所述三维表面模型；

存储单元806，用于当通过混合模型文件对所述至少一个目标对象的三维实体模型和所述第三目标对象的三维表面模型所形成的混合模型进行保存时，在所述混合模型文件中存储所述至少一个目标对象的三维实体模型对应的第三标记影像集的文件位置、所述第三目标对象的三维表面模型对应的三维表面模型文件的位置以及各个模型对应的变换矩阵。

在一实施方式中，不同的目标对象对应不同的颜色信息；

相应地，所述显示单元在所述显示界面上展示所述至少一个目标对象的三维实体模型和所述第三目标对象的三维表面模型时，不同的目标对象通过不同的颜色进行展示。

在一实施方式中，所述装置还包括：

三维表面建模单元807，用于获取第四DICOM文件集，根据所述第四DICOM文件集创建N3个断层图像，N3≥2，所述N3个断层图像中的每个断层图像对应特定高度上的截面；在所述N3个断层图像中选择出M个断层图像，作为关键断层图像，2≤M≤N3；在所述M个关键断层图像上分别创建M个轮廓，所述轮廓通过二维多边形表征；对所述M个轮廓中的各个轮廓进行图形编辑和/或端点编辑，其中，对所述轮廓进行图形编辑是指：对所述轮廓对应的二维多边形进行以下至少一种操作：平移、旋转、缩放，对所述轮廓进行端点编辑是指：对所述轮廓对应的二维多边形的端点进行以下至少一种操作：移动、删除、添加；所述图形编辑包括局部性图像编辑和/或全局性图形编辑，所述端点编辑包括局部性端点编辑和/或全局性端点编辑；所述局部性图像编辑是指：对指定层的轮廓进行编辑；所述全局性图形编辑是指：在对指定层的轮廓进行编辑的同时，按照引力位移模型确定所述指定层作用的牵引层，对各个所述牵引层按照所述指定层作用于所述牵引层的引力参数对所述牵引层的轮廓进行编辑；所述局部性端点编辑是指：对指定层的指定端点进行编辑；所述全局性端点编辑是指：在对指定层的指定端点进行编辑的同时，按照引力位移模型确定所述指定端点作用的牵引端点，对各个所述牵引端点按照所述指定端点作用于所述牵引端点的引力参数对所述牵引端点进行编辑；其中，所述牵引端点与所述指定端点位于同一轮廓中或不同的轮廓中；基于编辑后的M个轮廓创建三维表面模型，所述三维表面模型由空间中三角面片的集合组成。

本领域技术人员应当理解，图8所示的混合模型的展示装置中的各单元的实现功能可参照前述混合模型的展示方法的相关描述而理解。图8所示的混合模型的展示装置中的各单元的功能可通过运行于处理器上的程序而实现，也可通过具体的逻辑电路而实现。

本发明实施例上述混合模型的展示装置如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read OnlyMemory)、磁碟或者光盘等各种可以存储程序代码的介质。这样，本发明实施例不限制于任何特定的硬件和软件结合。

相应地，本发明实施例还提供一种计算机存储介质，其中存储有计算机可执行指令，该计算机可执行指令被处理器执行时实现本发明实施例的上述混合模型的展示方法。

本发明实施例所记载的技术方案之间，在不冲突的情况下，可以任意组合。

在本发明所提供的几个实施例中，应该理解到，所揭露的方法和智能设备，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。

上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。

另外，在本发明各实施例中的各功能单元可以全部集成在一个第二处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。

Claims (11)

1.一种混合模型的展示方法，其特征在于，所述方法包括：

获取第三标记影像集，根据所述第三标记影像集创建至少一个目标对象的三维实体模型；所述第三标记影像集是通过对至少两个标记影像集进行融合得到或者所述第三标记影像集为单一目标对象的标记影像集，所述至少两个标记影像集包括第一标记影像集和第二标记影像，所述第一标记影像集包括N1个第一目标对象的标记图像，N1≥2，所述N1个第一目标对象的标记图像是通过对第一医学数字成像和通信DICOM文件集中的N1个断层图像进行第一目标对象的标记得到；所述第二标记影像集包括N2个第二目标对象的标记图像，N2≥2，所述N2个第二目标对象的标记图像是通过对第二DICOM文件集中的N2个断层图像进行第二目标对象的标记得到；所述第一DICOM文件集中的各个断层图像与所述第一DICOM文件集中的各个断层图像在空间上平行排布，每个断层图像对应于特定高度上的截面；

获取三维表面模型文件，所述三维表面模型文件是通过对第四标记影像集中的M个关键断层图像分别创建M个轮廓，M≥2，基于所述M个轮廓创建第三目标对象的三维表面模型得到的，所述三维表面模型由空间中三角面片的集合组成；

通过同一个三维坐标系，将所述至少一个目标对象的三维实体模型和所述第三目标对象的三维表面模型展示在显示界面上。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在所述显示界面上展示所述至少一个目标对象的三维实体模型和所述第三目标对象的三维表面模型时，获取到针对任意一个或多个模型的选中操作，基于第一设置操作控制所选中的模型在所述显示界面上是否进行显示，其中，所述任意一个或多个模型是指所述三维实体模型和/或所述三维表面模型。

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：

在所述显示界面上展示所述至少一个目标对象的三维实体模型和所述第三目标对象的三维表面模型时，获取到针对任意一个或多个模型的选中操作，基于第二设置操作对所选中的模型进行以下至少一种变换操作：平移、旋转、缩放；其中，每种变换操作对应一种变换矩阵；所述任意一个或多个模型是指所述三维实体模型和/或所述三维表面模型；

当通过混合模型文件对所述至少一个目标对象的三维实体模型和所述第三目标对象的三维表面模型所形成的混合模型进行保存时，在所述混合模型文件中存储所述至少一个目标对象的三维实体模型对应的第三标记影像集的文件位置、所述第三目标对象的三维表面模型对应的三维表面模型文件的位置以及各个模型对应的变换矩阵。

4.根据权利要求1所述的方法，其特征在于，不同的目标对象对应不同的颜色信息；

相应地，在所述显示界面上展示所述至少一个目标对象的三维实体模型和所述第三目标对象的三维表面模型时，不同的目标对象通过不同的颜色进行展示。

5.根据权利要求1至4任一项所述的方法，其特征在于，所述三维表面模型文件是通过对第四标记影像集中的M个关键断层图像分别创建M个轮廓，M≥2，基于所述M个轮廓创建第三目标对象的三维表面模型得到的，包括：

获取第四DICOM文件集，根据所述第四DICOM文件集创建N3个断层图像，N3≥2，所述N3个断层图像中的每个断层图像对应特定高度上的截面；

在所述N3个断层图像中选择出M个断层图像，作为关键断层图像，2≤M≤N3；

在所述M个关键断层图像上分别创建M个轮廓，所述轮廓通过二维多边形表征；

对所述M个轮廓中的各个轮廓进行图形编辑和/或端点编辑，其中，对所述轮廓进行图形编辑是指：对所述轮廓对应的二维多边形进行以下至少一种操作：平移、旋转、缩放，对所述轮廓进行端点编辑是指：对所述轮廓对应的二维多边形的端点进行以下至少一种操作：移动、删除、添加；所述图形编辑包括局部性图像编辑和/或全局性图形编辑，所述端点编辑包括局部性端点编辑和/或全局性端点编辑；

所述局部性图像编辑是指：对指定层的轮廓进行编辑；

所述全局性图形编辑是指：在对指定层的轮廓进行编辑的同时，按照引力位移模型确定所述指定层作用的牵引层，对各个所述牵引层按照所述指定层作用于所述牵引层的引力参数对所述牵引层的轮廓进行编辑；

所述局部性端点编辑是指：对指定层的指定端点进行编辑；

所述全局性端点编辑是指：在对指定层的指定端点进行编辑的同时，按照引力位移模型确定所述指定端点作用的牵引端点，对各个所述牵引端点按照所述指定端点作用于所述牵引端点的引力参数对所述牵引端点进行编辑；其中，所述牵引端点与所述指定端点位于同一轮廓中或不同的轮廓中；

基于编辑后的M个轮廓创建三维表面模型，所述三维表面模型由空间中三角面片的集合组成。

6.一种混合模型的展示装置，其特征在于，所述装置包括：

第一获取单元，用于获取第三标记影像集，根据所述第三标记影像集创建至少一个目标对象的三维实体模型；所述第三标记影像集是通过对至少两个标记影像集进行融合得到或者所述第三标记影像集为单一目标对象的标记影像集，所述至少两个标记影像集包括第一标记影像集和第二标记影像，所述第一标记影像集包括N1个第一目标对象的标记图像，N1≥2，所述N1个第一目标对象的标记图像是通过对第一DICOM文件集中的N1个断层图像进行第一目标对象的标记得到；所述第二标记影像集包括N2个第二目标对象的标记图像，N2≥2，所述N2个第二目标对象的标记图像是通过对第二DICOM文件集中的N2个断层图像进行第二目标对象的标记得到；所述第一DICOM文件集中的各个断层图像与所述第一DICOM文件集中的各个断层图像在空间上平行排布，每个断层图像对应于特定高度上的截面；

第二获取单元，用于获取三维表面模型文件，所述三维表面模型文件是通过对第四标记影像集中的M个关键断层图像分别创建M个轮廓，M≥2，基于所述M个轮廓创建第三目标对象的三维表面模型得到的，所述三维表面模型由空间中三角面片的集合组成；

显示单元，用于通过同一个三维坐标系，将所述至少一个目标对象的三维实体模型和所述第三目标对象的三维表面模型展示在显示界面上。

7.根据权利要求6所述的装置，其特征在于，所述装置还包括：

第一设置单元，用于获取到针对任意一个或多个模型的选中操作；

所述显示单元，还用于基于第一设置操作控制所选中的模型在所述显示界面上是否进行显示，其中，所述任意一个或多个模型是指所述三维实体模型和/或所述三维表面模型。

8.根据权利要求7所述的装置，其特征在于，所述装置还包括：

第二设置单元，用于获取到针对任意一个或多个模型的选中操作；

所述显示单元，还用于基于第二设置操作对所选中的模型进行以下至少一种变换操作：平移、旋转、缩放；其中，每种变换操作对应一种变换矩阵；所述任意一个或多个模型是指所述三维实体模型和/或所述三维表面模型；

存储单元，用于当通过混合模型文件对所述至少一个目标对象的三维实体模型和所述第三目标对象的三维表面模型所形成的混合模型进行保存时，在所述混合模型文件中存储所述至少一个目标对象的三维实体模型对应的第三标记影像集的文件位置、所述第三目标对象的三维表面模型对应的三维表面模型文件的位置以及各个模型对应的变换矩阵。

9.根据权利要求6所述的装置，其特征在于，不同的目标对象对应不同的颜色信息；

相应地，所述显示单元在所述显示界面上展示所述至少一个目标对象的三维实体模型和所述第三目标对象的三维表面模型时，不同的目标对象通过不同的颜色进行展示。

10.根据权利要求6至9任一项所述的装置，其特征在于，所述装置还包括：

三维表面建模单元，用于获取第四DICOM文件集，根据所述第四DICOM文件集创建N3个断层图像，N3≥2，所述N3个断层图像中的每个断层图像对应特定高度上的截面；在所述N3个断层图像中选择出M个断层图像，作为关键断层图像，2≤M≤N3；在所述M个关键断层图像上分别创建M个轮廓，所述轮廓通过二维多边形表征；对所述M个轮廓中的各个轮廓进行图形编辑和/或端点编辑，其中，对所述轮廓进行图形编辑是指：对所述轮廓对应的二维多边形进行以下至少一种操作：平移、旋转、缩放，对所述轮廓进行端点编辑是指：对所述轮廓对应的二维多边形的端点进行以下至少一种操作：移动、删除、添加；所述图形编辑包括局部性图像编辑和/或全局性图形编辑，所述端点编辑包括局部性端点编辑和/或全局性端点编辑；所述局部性图像编辑是指：对指定层的轮廓进行编辑；所述全局性图形编辑是指：在对指定层的轮廓进行编辑的同时，按照引力位移模型确定所述指定层作用的牵引层，对各个所述牵引层按照所述指定层作用于所述牵引层的引力参数对所述牵引层的轮廓进行编辑；所述局部性端点编辑是指：对指定层的指定端点进行编辑；所述全局性端点编辑是指：在对指定层的指定端点进行编辑的同时，按照引力位移模型确定所述指定端点作用的牵引端点，对各个所述牵引端点按照所述指定端点作用于所述牵引端点的引力参数对所述牵引端点进行编辑；其中，所述牵引端点与所述指定端点位于同一轮廓中或不同的轮廓中；基于编辑后的M个轮廓创建三维表面模型，所述三维表面模型由空间中三角面片的集合组成。

11.一种计算机存储介质，其上存储有计算机可执行指令，该计算机可执行指令被处理器执行时实现权利要求1至5任一项所述的方法步骤。