CN110517238B

CN110517238B - Ct医学影像ai三维重建与人机交互可视化网络系统

Info

Publication number: CN110517238B
Application number: CN201910766934.9A
Authority: CN
Inventors: 高梁; 潘林; 何炳蔚; 黄立勤; 郑绍华
Original assignee: Xiamen Tianyun Xingtu Medical Technology Co ltd
Current assignee: Xiamen Tianyun Xingtu Medical Technology Co ltd
Priority date: 2019-08-20
Filing date: 2019-08-20
Publication date: 2022-01-11
Anticipated expiration: 2039-08-20
Also published as: CN110517238A

Abstract

本发明涉及一种CT医学影像AI三维重建与人机交互可视化网络系统。包括AI服务器负责基于深度学习的CT图像的各解剖器官的分割；Web服务器可供医生客户端、图形工作站上传下载所需文件；医生客户端用于上传患者CT影像数据，并下载相应的STL三维模型文件；图形工作站用于实现与Web服务器交互及交互式医学影像处理；数据归档系统，用于存储与管理原始CT数据和生成的STL模型数据，可实现患者术后包括定量评估和病程跟踪定量评价的功能，并可为AI服务器提供新的训练数据，以定期更新AI模型。本发明可有效应用于病程跟踪、术前精准模拟规划、术中导航、术后定量评估与随访，为现代集成式手术室提供综合影像应用解决方案。

Description

CT医学影像AI三维重建与人机交互可视化网络系统

技术领域

本发明属于信号与信息处理领域，具体涉及一种CT医学影像AI三维重建与人机交互可视化网络系统。

背景技术

随着 CT（Computed Tomograph, 计算机断层扫描）技术不断发展，多层螺旋 CT扫描可实时重建得到毫米级的高分辨率薄层图像，已成为医生定性、定量评估人体各组织功能的重要工具。借助 CT影像能独立、直观、可重复地观察局部区域，精确测量容积、密度等指标，实现无侵入性的虚拟内窥检查；还能引导手术，展开疾病筛查等^[1]。

但是，目前CT扫描经重建可包含几百层图像，阅读大量图像不仅耗时，也容易导致病情误诊或漏诊。借助计算机辅助检测技术处理CT图像可得到精确的结构参数信息，将提供有力的辅助诊断依据和三维可视化影像，不仅大大减轻医生负担，而且利于发挥设备优势。从CT图像中分割出各组织的解剖结构是最基础和最必要的环节，具有重要的理论意义和临床应用价值。

多年来，国内外学者在提出了诸多CT图像的分割算法，有阈值法、区域生长法和聚类法，以及数学形态学法、主动轮廓法等传统分割方法^[2]。近年来，随着人工智能和深度学习技术的进展，深度学习方法已经在CT影像处理与分析中展现了优势，将成为未来本领域的主流方法。目前，基于深度学习方法的应用中，由于原始数据来源缺乏，且标注困难，还只是在一些比较容易获得的标注的组织中得到较好的进展，比如胸部CT主要在肺结节^[3,4]和肺气管^[5]上的检测，而复杂的血管研究较少，处于刚起步阶段。由于各组织CT影像的解剖结构之间的关联性、图像特征的特殊性、灰度信息的复杂性和形态的多样性，该领域工作仍然具有很多的困难和挑战。

目前国内外医院应用涉及CT三维重建与交互的相关软件中，有MIMICS，是比利时Materialise公司推出的一种医学影像控制系统，是模块化结构的软件。MIMICS是一套高度整合而且易用的3D图像生成及编辑处理软件该软件，功能强大，但要求医生参与度高。比如要重建出一例完整的三维肺部解剖结构，要花去有经验的临床医生好几小时时间，多数医生无法做到。

还有，美国的EDDA科技公司推出的系统软件，为重大疾病的诊疗管理全周期提供优化的计算机辅助临床解决方案，其中IQQA-Guide三维影像术中导航系统，获得美国FDA批准上市。该软件系统仍需要有经验的医生花大量时间进行人机交互，才能获得完整的三维解剖结构。

发明内容

本发明的目的在于提供一种CT医学影像AI三维重建与人机交互可视化网络系统，以人工智能为核心驱动，将涵盖疾病管理的全周期，可有效应用于病程跟踪、术前精准模拟规划、术中导航、术后定量评估与随访，为现代集成式手术室提供综合影像应用解决方案。

为实现上述目的，本发明的技术方案是：一种CT医学影像AI三维重建与人机交互可视化网络系统，包括AI服务器、Web服务器、医生客户端、图形工作站和数据归档系统；

所述AI服务器负责基于深度学习的CT图像的各解剖器官的分割；

所述Web服务器包括患者CT数据文件管理系统和STL三维模型文件管理系统，可供医生客户端、图形工作站上传下载所需文件；

所述医生客户端用于注册医生用户通过Web上传患者CT影像数据至患者CT数据文件管理系统，经由系统处理后，通过STL三维模型文件管理系统下载相应的STL三维模型文件；

所述图形工作站包括Web客户端和交互式医学影像处理软件，所述Web客户端用于实现与Web服务器的STL三维模型文件管理系统的交互，所述交互式医学影像处理软件用于实现交互式医学影像处理；

所述图形工作站后台设置所述数据归档系统，用于存储与管理原始CT数据和生成的STL模型数据，可实现患者术后包括定量评估和病程跟踪定量评价的功能，并可为AI服务器提供新的训练数据，以定期更新AI模型。

在本发明一实施例中，所述AI服务器包括AI训练模块和AI测试模块，所述AI训练模块能够对AI测试模块中的AI测试模型进行阶段更新的策略，随着数据不断增多，把重建好的结果作为新的训练数据继续训练AI测试模型。

在本发明一实施例中，所述患者CT数据文件管理系统存储管理由医生客户端上传的患者CT影像；STL三维模型文件管理系统存储与管理由图形工作站中交互式医学影像处理软件生成的STL三维模型文件，医生客户端可下载所对应的STL模型，在医生客户端可进行交互浏览。

在本发明一实施例中，所述医生客户端上传患者CT影像数据至患者CT数据文件管理系统时，会自动生成对应的流水号；所述交互式医学影像处理软件根据流水号文件夹顺序处理患者CT影像数据。

在本发明一实施例中，所述数据归档系统根据流水号存储与管理原始CT数据和生成的STL模型数据。

在本发明一实施例中，所述交互式医学影像处理软件实现流程如下：

1）CT序列DICOM图像数据导入导出；

2）将CT序列DICOM图像数据预处理生成AI测试数据；

3）将预处理数据上传至AI服务器，经由AI服务器处理后，下载AI分割结果；

4）对AI分割结果进行三维重建；

5）管径跟踪与标定：对肺气管和各组织的血管动静脉三维重建的结果进行跟踪标定；

6）将三维重建的结果生成为STL三维模型文件，并传输给STL三维模型文件管理系统。

在本发明一实施例中，所述步骤2）的具体步骤如下：

2.1）获取DICOM数据格式的患者CT影像数据，即患者CT序列DICOM影像，将其最精细序列通过ITK开源软件包提供的接口，转化为“.nii”格式的CT体数据；

2.2）灰度标准化：将数据的窗宽窗位调整至相应解剖组织对比度最好的灰度范围，不同的组织或解剖结构在CT中的值不同，并把CT体数据标准化至0到255灰度级；

2.3）数据归一化：标准化后的CT体数据，通过公式（1）进行归一化处理获得归一化数据V _norm，其中，V为原始体数据，V _mean为V图形的均值；

（1）

2.4）数据3D规范化：将原数据规范化为1024*1024*320三维体数据，再对体数据按照128*128*64进行切块，每块数据之间不交叠，得到320个体数据块；最后，以此数据块作为网络的输入。

在本发明一实施例中，所述AI服务器采用基于3D U-Net改进的深度学习网络模型对获得的数据块进行处理，所述基于3D U-Net改进的深度学习网络模型包括22个3D卷积层，其中，4个最大池化层对应4个上采样层，并设置4个连接层，最后一个3D卷积层可根据不同需求进行不同的分类设置。

在本发明一实施例中，所述步骤5）的具体步骤如下：

5.1）对系统重建的血管或气管三维图形进行骨架提取，获得骨架点；

5.2）采用分叉点检测算法对已获取的骨架点进行分叉点检测，获得分叉点；其中，分叉点检测算法实现流程如下：

对骨架点的26邻域进行统计，统计26邻域中骨架点的个数；正常情况下，一个管道的连通域内，如果是分叉点，其包含的骨架点个数应该大于3；因此，包含骨架点个数大于3的可认为是分叉点；

5.3）采用骨架点方向跟踪方法跟踪骨架点和分叉点，然后对血管或气管进行分级检测与标定。

相较于现有技术，本发明具有以下有益效果：本发明系统以人工智能为核心驱动，以CT序列影像为处理对象，将涵盖疾病管理的全周期，可有效应用于病程跟踪、术前精准模拟规划、术中导航、术后定量评估与随访，为现代集成式手术室提供综合影像应用解决方案。

附图说明

图1为系统总体框图。

图2 为交互式医学影像处理软件UI示意图。

图3 为血管和气管跟踪算法流程框图。

图4 为分叉点检测示意。

图5 为骨架点运动方向检测示意。

图6为基于WebGL的STL模型交互操作示意图。

具体实施方式

下面结合附图，对本发明的技术方案进行具体说明。

本发明提供一种CT医学影像AI三维重建与人机交互可视化网络系统，由人工智能（AI）服务器、Web服务器、医生客户端、图形工作站和数据归档系统5个组件构成，系统总框图如图1所示。

1、人工智能（AI）服务器

人工智能（AI）服务器是系统算法的核心组件，包含AI训练模块和AI测试模块。AI网络主要涉及基于3D U-Net的改进网络。器官实质类采用较为浅层的网络，网络训练速度快，且精度满足要求；管径类，如肺气管，各组织的血管动静脉，则采用较为深层的网络，以获得更好的分割效果。以上网络模型会根据不同组织的CT影像特点，辅助于相应的预处理和网络的改进，具体内容见方法描述。本发明拟采取对AI各个测试模型进行阶段更新的策略，随着数据（例）不断增多，在确保患者隐私的基础上，把重建好的结果作为新的训练数据继续训练AI模型。

2、Web服务器

Web服务器是患者CT影像数据和重建STL三维模型的存储和交互节点，由患者CT数据文件管理系统和STL模型文件管理系统组成。患者CT数据文件管理系统存储并管理由医生客户端上传的患者CT影像。STL模型文件管理系统存储与管理由图形工作站中交互式医学影像处理软件生成的STL三维模型文件，医生可下载所对应的STL模型，在Web客户端进行交互浏览。

3、医生客户端

医生客户端（包含移动端），为Web客户端。本系统注册医生用户通过Web上传患者CT影像数据，步骤如下：

（1）上传数据前，须填写所要传CT影像的相关信息（包括患者姓名、身份号、检查号、检测时间、病史等），填写之后系统自动生成流水号（该号保证该例数据在系统中的唯一性）。

（2）上传后，等待系统处理结果。医生可通过Web查看系统处理结果，处理好后有信息提示。

（3）收到信息后，可下载所传数据对应的STL三维模型文件。为保护患者隐私，当STL文件下载成功后，可自行删除已上传的CT影像数据。

STL三维模型文件由Web客户端的基于WebGL开发的软件工具来浏览、交互操作。交互操作包含各三维重建的解剖结构的显示、旋转、颜色设置、透明度设置、隐藏、标记等功能，为术前精准模拟规划、术中导航提供综合影像应用解决方案。

4、图形工作站

图形工作站由Web客户端、交互式医学影像处理软件两部分组成。Web客户端实现与Web服务器的文件系统进行交互，通过Web下载患者CT序列图像，按流水号生成存储文件夹。在上传医生的许可下，可把该数据同步存储到数据归档系统。

交互式医学影像处理软件根据流水号文件夹顺序处理患者CT影像数据。交互式医学影像处理软件是系统实现的核心组件。该软件要完成以下功能：1）CT序列DICOM图像导入导出；2）预处理生成AI测试数据；3）人机交互功能；4）三维重建，对AI分割结果进行三维重建；5）管径（如肺气管及各组织的血管动静脉）的跟踪与标定，自动标注至三级亚亚段的分叉点及分支； 6）生成STL文件，便于Web浏览，并考虑适应移动端的显示与交互，生成一种压缩版本的，并把该数据按流水号存储到数据归档系统。

5、数据归档系统

数据归档系统为本系统本地数据存储系统，按流水号存储，包括患者CT影像原始数据，每例患者重建后的各组织解剖结构的STL三维模型文件。每处理一例患者CT影像，结合标注工具，可以生成作为新的训练数据，更新AI训练模块和AI测试模型。此外，在数据归档系统设置一个术后/病程定量评估模块，可为患者提供相关疾病的早期检测与诊断、病程跟踪、术后定量评估与随访等功能，进而实现患者相关疾病全周期的诊疗与管理的。

本发明中，由于CT序列原始图像为DICOM数据格式，为了让深度学习网络模型获得更好的特征数据，需要对原始CT图像进行预处理。预处理步骤如下：

1）获取DICOM数据格式的患者CT影像数据，即患者CT序列DICOM影像，将其最精细序列（将代表每个序列尺寸的三维坐标x/y/z相乘，最大值即为所要的序列）通过ITK开源软件包提供的接口，转化为“.nii”格式的CT体数据；

2）灰度标准化：将数据的窗宽窗位调整至相应解剖组织对比度最好的灰度范围，不同的组织或解剖结构在CT中的值不同，并把CT体数据标准化至0到255灰度级；

3）数据归一化：标准化后的CT体数据，通过公式（1）进行归一化处理获得归一化数据V _norm，其中，V为原始体数据，V _mean为V图形的均值；

（1）

4）数据3D规范化：CT序列影像每层图像的分辨率大小一般为1024*1024，成年人的层数一般300以上不等。因此，可以将原数据规范化为1024*1024*320三维体数据，再对体数据按照128*128*64进行切块，每块数据之间不交叠，得到320个体数据块；最后，以此数据块作为网络的输入。

本发明中基于3D U-Net改进的深度学习网络模型：

本发明涉及的基于3D U-Net改进的网络模型在3D U-Net模型的基础上，加入了多种规范化手段，来改善U-Net应用的效果。首先，在每层的3D卷积后加入批规范化（BatchNormalization，BN）处理，可以更好地处理特征空间分布的改变，并有效加速训练。其次，在网络的收缩路径加入深度监督模块，在主网络第二个上采样路径后，提前地输出网络的额外结果，即不仅仅监督网络的最后一层的输出，也监督提前的输出，这能很好地改善梯度消失的现象。网络的训练过程则采用binary_crossentropy二分类交叉熵损失函数：

（2）

该网络如表1所述，由操作类型、卷积核、通道数、输入大小和输出大小5列组成，其中操作类型包含3D卷积（Convolution3D）、批归一化（Batch Normalization, BN）、最大池化（MaxPooling3D）、上采样（UpSampling3D）、连接（Concatenate）、激活（Activation）等操作。该网络共有22个3D卷积层，4个最大池化层对应4个上采样层，并设置4个连接层（分别连接（conv11, conv8）、（conv14, conv6）、（conv17, conv4）和（conv20, conv2）），最后一个卷积层（22层）可以根据不同需求进行不同的分类设置。该网络以128*128*64 3D数据块为输入，根据不同的任务，输出大小不同，该表适合为2分类的情形，适用于单类解剖结构的输出，如肺气管、组织血管等。但也有多分类输出的情形，如肺叶，左右肺公有5个肺叶，左边上下两肺叶，右边上中下三肺叶，就采用3D 6分类模型。

本发明中交互式医学影像处理软件采用了交互式医学影像处理技术：

交互式医学影像处理软件的工作区由横断面、矢状面、额状面、三维重建四个窗口组成，左边栏和上边栏为工具栏，右边栏为属性设置栏。软件UI示意如图2所示。

本发明交互式医学影像处理软件具有以下功能：

（1）CT序列DICOM图像导入导出，导入实现层厚可选，导出可以为序列“.jpg”、“.png”或“.nii”体数据。

（2）预处理生成AI测试数据。针对不同的解剖结构，会有不同的预处理方法，即不同的窗宽窗位调整及区域分割方法，使得测试数据更接近训练数据。

（3）人机交互功能，可显示横断面、矢状面及额状面序列图像，包括显示CT值、图像放大缩小、平移、窗宽窗位调节、全屏显示等功能；额状面、矢状面、横断面上实现角度、距离测量，实现手绘区域选择、面积测量、平均CT值计算、区域直方图显示；横断面上实现手绘区域选择，并对选择区域进行三维重建与显示。还有交互式分割，多个对象的三维重建与可视化，包括多个实体属性设置（颜色、透明度、开关、增删）和拾取等；

（4）三维重建，对AI分割结果进行三维重建，并需要进行一定的人工干预后处理。

（5）管径跟踪与标定。由于手术参考和导航需要，需要对肺气管和各组织的血管动静脉三维重建的结果进行跟踪标定。

（6）生成STL文件，便于Web浏览，三维重建结果需要生成为STL三维模型文件，未考虑适应移动端的显示与交互，生成一种压缩版本的，并把该数据按流水号存储到数据文件归档系统。

本发明中采用基于骨架拓扑的血管/气管跟踪和标定技术实现管径跟踪与标定：

考虑到各组织血管和气管在体数据中表现为三维管状连通结构，采用基于骨架拓扑的血管和气管跟踪和标定的方法。方法流程框图如图3所示。

（1）对系统重建的血管或气管三维图形进行骨架提取，方法采用基于快速步进方法优化双距离场和改进SUSAN端点检测的全自动三维骨架提取方法^[6]，获得骨架点。

（2）对已获取的骨架点进行分叉点检测，获得分叉点。

分叉点检测算法：对骨架点的26邻域（图4（a）为26邻域图）进行统计，统计26邻域中骨架点的个数。正常情况下，一个管道的连通域内，如果是分叉点，其包含的骨架点个数应该大于3。因此，包含骨架点个数大于3的可认为是分叉点。如图4所示，图中标记为1的点表示骨架点，当邻域骨架点个数大于3时，如图4（c），中心点可认为是分叉点。而图4（b）中心点则认为非分叉点。

（3）接着，跟踪骨架点和分叉点，然后对血管或气管进行分级检测与标定。

骨架点方向跟踪方法：由于分叉点在26邻域中表现为骨架点的汇聚点，可以判断出骨架点的运动方向。如图5所示，其中标记为1的点为分叉点，标记为2 的箭头表示骨架点运动的方向。

STL三维模型文件由医生客户端的基于WebGL开发的软件工具来浏览、交互操作。以肺为例，交互操作包含肺部气管、血管、结节、肺实质的显示、旋转、颜色设置、透明度设置、隐藏、标记等功能。示意图如图6所示。

[1]Ginneken V, Bram. Fifty years of computer analysis in chestimaging: rule-based, machine learning, deep learning[J]. Radiological Physicsand Technology, 2017, 10(1): 23-32.

[2]边子健, 覃文军, 刘积仁, 等. 肺部CT图像中的解剖结构分割方法综述[J].中国图象图形学报, 2018, 23(10): 22-43.

[3]Setio A A A, Ciompi F, Litjens G, et al. Pulmonary noduledetection in CT images: false positive reduction using multi-viewconvolutional networks[J]. IEEE transactions on medical imaging, 2016, 35(5):1160-1169.

[4]Dou Q, Chen H, Yu L, et al. Multilevel contextual 3-D CNNs forfalse positive reduction in pulmonary nodule detection[J]. IEEE Transactionson Biomedical Engineering, 2016, 64(7): 1558-1567.

[5]Yun J, Park J, Yu D, et al. Improvement of fully automated airwaysegmentation on volumetric computed tomographic images using a 2.5dimensional convolutional neural net[J]. Medical image analysis, 2019, 51:13-20.

[6]耿欢, 杨金柱, 赵大哲, et al. 一种面向人体管状组织的三维骨架提取算法[J]. 仪器仪表学报, 2014, 35(4):754-761.。

以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。

Claims

1.一种CT医学影像AI三维重建与人机交互可视化网络系统，其特征在于，包括AI服务器、Web服务器、医生客户端、图形工作站和数据归档系统；

2.根据权利要求1所述的CT医学影像AI三维重建与人机交互可视化网络系统，其特征在于，所述AI服务器包括AI训练模块和AI测试模块，所述AI训练模块能够对AI测试模块中的AI测试模型进行阶段更新的策略，随着数据不断增多，把重建好的结果作为新的训练数据继续训练AI测试模型。

3.根据权利要求1所述的CT医学影像AI三维重建与人机交互可视化网络系统，其特征在于，所述患者CT数据文件管理系统存储管理有医生客户端上传的患者CT影像；STL三维模型文件管理系统存储与管理有图形工作站中交互式医学影像处理软件生成的STL三维模型文件，医生客户端可下载所对应的STL模型，在医生客户端可进行交互浏览。

4.根据权利要求1所述的CT医学影像AI三维重建与人机交互可视化网络系统，其特征在于，所述医生客户端上传患者CT影像数据至患者CT数据文件管理系统时，会自动生成对应的流水号；所述交互式医学影像处理软件根据流水号文件夹顺序处理患者CT影像数据。

5.根据权利要求4所述的CT医学影像AI三维重建与人机交互可视化网络系统，其特征在于，所述数据归档系统根据流水号存储与管理原始CT数据和生成的STL模型数据。

6.根据权利要求1所述的CT医学影像AI三维重建与人机交互可视化网络系统，其特征在于，所述交互式医学影像处理软件实现流程如下：

1)CT序列DICOM图像数据导入导出；

2)将CT序列DICOM图像数据预处理生成AI测试数据；

3)将预处理数据上传至AI服务器，经由AI服务器处理后，下载AI分割结果；

4)对AI分割结果进行三维重建；

5)管径跟踪与标定：对肺气管和各组织的血管动静脉三维重建的结果进行跟踪标定；

6)将三维重建的结果生成为STL三维模型文件，并传输给STL三维模型文件管理系统。

7.根据权利要求6所述的CT医学影像AI三维重建与人机交互可视化网络系统，其特征在于，所述步骤2)的具体步骤如下：

2.1)获取DICOM数据格式的患者CT影像数据，即患者CT序列DICOM影像，将其最精细序列通过ITK开源软件包提供的接口，转化为“.nii”格式的CT体数据；

2.2)灰度标准化：将数据的窗宽窗位调整至相应解剖组织对比度最好的灰度范围，不同的组织或解剖结构在CT中的值不同，并把CT体数据标准化至0到255灰度级；

2.3)数据归一化：标准化后的CT体数据，通过公式(1)进行归一化处理获得归一化数据V_norm，其中，V为原始体数据，V_mean为V图形的均值；

2.4)数据3D规范化：将原数据规范化为1024*1024*320三维体数据，再对体数据按照128*128*64进行切块，每块数据之间不交叠，得到320个体数据块；最后，以此数据块作为网络的输入。

8.根据权利要求7所述的CT医学影像AI三维重建与人机交互可视化网络系统，其特征在于，所述AI服务器采用基于3D U-Net改进的深度学习网络模型对获得的数据块进行处理，所述基于3D U-Net改进的深度学习网络模型包括22个3D卷积层，其中，4个最大池化层对应4个上采样层，并设置4个连接层，最后一个3D卷积层可根据不同需求进行不同的分类设置。

9.根据权利要求6所述的CT医学影像AI三维重建与人机交互可视化网络系统，其特征在于，所述步骤5)的具体步骤如下：

5.1)对系统重建的血管或气管三维图形进行骨架提取，获得骨架点；

5.2)采用分叉点检测算法对已获取的骨架点进行分叉点检测，获得分叉点；其中，分叉点检测算法实现流程如下：

5.3)采用骨架点方向跟踪方法跟踪骨架点和分叉点，然后对血管或气管进行分级检测与标定。