CN116433605A - 基于云智能的医学影像分析移动增强现实系统和方法 - Google Patents

Abstract

本发明请求保护一种基于云智能的医学影像分析移动增强现实系统和方法，属于深度学习、三维可视化、医学图像处理、移动增强现实技术领域，该系统包括如下功能：用户管理、影像管理、AR定位追踪、手势交互控制、单体模型剥离。本发明采用深度学习算法、云渲染算法、模型压缩算法、跟踪配准算法、手势检测算法、影像加密算法、负载均衡算法、安全验证机制等技术，实现了上述功能模块。本发明采用云技术、深度学习技术、三维可视化技术和增强现实技术处理医学影像,在移动终端、手机、平板电脑客户端中实现影像解析、显示的智能化、数字化。

Description

基于云智能的医学影像分析移动增强现实系统和方法

技术领域

本发明属于深度学习、三维可视化、医学图像处理、移动增强现实技术领域，具体涉及一种基于云智能的医学影像分析移动增强现实系统和方法。

背景技术

随着医学影像设备的快速发展，医学影像分辨率越来越高，切片层数越来越多，数据规模越来越大，传统的手工读片工作方式效率缓慢且诊断准确率低，已经无法满足临床需求。

当前医学临床的治疗方案中,目标三维结构的位置判断准确性对外科手术的术前规划至关重要。今天，几乎所有的医学成像方式都可以提供三维数据，例如对比增强磁共振和计算机断层扫描图像用于术前规划。但是这些三维图像仍以二维形式显示在平面屏幕上，无法进行真实世界深度感知和3D交互。对于不同组织类别如实质与病变，在真实世界中三维可视化这些模型可以为医生提供更好的解剖学概览，通过引入增强现实环境用来模拟三维图像可以减少真实手术环境和可视化模型之间的偏差。

在云技术出现之前，医学影像可视化系统一般为本地可视化系统即PACS影像诊断工作站，影像处理、分析及可视化计算都是在本地进行，这就要求本地工作站配备高端图形硬件来满足需求，随着机器老化与软件版本升级，需要不断更新硬件设备，成本对于用户来说是不容忽视的问题。同时软件版本每次迭代更新，厂商都需要派遣工作人员到各地PACS影像诊断工作站完成相应升级，这种工作模式比较落后，效率缓慢，而且人员出差开销也会给厂商带来相应的成本问题。

如何将深度学习和混合现实技术有机结合形成完整的医疗系统成为未来数字医疗、智慧医疗领域研究较为重要的研究方向。因此，急需进一步深入研究，研发出一种基于云智能的医学影像分析移动增强现实系统和方法。

CN110321946A，一种基于深度学习的多模态医学影像识别方法及装置，利用医疗影像设备采集医学影像数据；影像增强算法对采集的影像进行增强处理；提取程序提取采集影像特征；利用识别程序对提取的特征进行识别；利用转换程序对不同模态医学影像进行转换操作；打印机将采集的影像进行打印操作；利用显示器显示采集医学影像数据信息。本发明通过影像特征提取模块提高影像特征提取效果；同时，通过模态转换模块采用三维重建、配准和分割的方式，保证了第一模态影像与第二模态影像的对应图像高度匹配；另外本发明对训练图像划分为若干图像块，降低了整张输入训练图片对硬件设备的要求。该专利中所述的使用显示器显示医学影像缺乏三维立体感，可能导致医生在诊断过程中无法准确地识别医学影像的深度和形状等信息，从而影响诊断的准确性和效率。本发明中通过增强现实显示，实现三维医学影像的虚实融合，从而使检查部位以立体的形式展现，使得医生更清楚地观察到患者内部组织结构。其次，该专利中所述的本地发明设备成本较高，可能会增加医疗机构购买和使用该设备的成本，从而限制了其普及和应用范围。本发明采用云计算技术自动化执行影像处理的过程，可以减少医疗机构购买和维护设备的成本，提高设备的利用率。最后，该专利中所述的使用场景有一定限制，可能只能在特定的医疗机构或固定场所使用，而本专利提供了多种影像查看设备，如移动终端、手机、平板电脑，可以满足医生进行移动办公和异地会诊的需求。

发明内容

本发明旨在解决以上现有技术的问题。提出了一种基于云智能的医学影像分析移动增强现实系统及方法。本发明的技术方案如下：

一种基于云智能的医学影像分析移动增强现实系统，其由下向上包括：数据层、逻辑层、系统功能层和表示层；其中，

所述数据层包括影像数据库、用户数据库、深度学习模型数据库、数据集库及三维模型库，所述逻辑层采用了深度学习算法、云渲染算法、模型压缩算法、跟踪配准算法、手势检测算法、影像加密算法、负载均衡算法、安全验证机制技术，所述系统功能层通过逻辑层的以上算法实现了用户管理、影像管理、AR定位追踪、手势交互控制、单体模型剥离功能，所述表示层包括移动终端、手机、平板电脑客户端。

进一步的，所述系统功能层包括以下模块：用户管理模块用于管理用户账户信息、用户注册和登录；影像管理模块用于存储和管理医学影像数据；AR定位追踪模块用于实现医学影像的增强现实效果；手势交互控制模块用于控制模型的旋转、缩放、平移操作；单体模型剥离模块用于在影像分析过程中将医学影像中的感兴趣区域从整体影像三维模型中剥离出来；

进一步的，所述系统逻辑层中，深度学习算法采用双注意力深度多尺度融合U形架构网络模型DCAM-Unet进行病灶区域检测与分割提取；云渲染算法用于实现三维影像的渲染与外观优化；模型压缩算法用于压缩三维模型数据，减少数据传输量；跟踪配准算法采用基于特征点的匹配、SLAM技术，用于在AR场景中进行模型的配准、跟踪；手势检测算法用于识别用户手势，控制影像模型的操作；影像加密算法采用基于AES、RSA在内的算法的加密解密技术，用于保护医学影像数据的安全性；负载均衡算法用于调度云端计算资源，实现任务的高效执行，采用动态负载均衡技术，在保证服务质量的同时，最大化地利用云端计算资源；安全验证机制用于保证用户数据的安全性，防止对系统的非法攻击和篡改，采用基于Token的身份验证技术，加强对用户身份的认证和授权。

进一步的，所述数据层包括影像数据库、用户数据库、三维模型数据库、数据集库、深度学习模型库；所述影像数据库用于存储各类医学影像数据，包括CT、MRI数据；所述用户数据库主要用于存储用户的个人信息、用户访问记录等信息；所述三维模型数据库用于存储三维模型数据，包括人体器官、病变部位模型数据；所述数据集库主要用于存储深度学习算法训练所需的数据集，用于影像分割的数据集、用于影像分类的数据集；所述深度学习模型库主要用于存储深度学习算法的模型数据。

进一步的，所述深度学习算法采用双注意力深度多尺度融合U形架构网络模型DCAM-Unet进行病灶区域检测与分割提取，具体包括：

所述DCAM-Unet模型包含两个部分，分别是编码部分和解码部分，其中，编码部分由三个子模块组成，每个子模块都包括两个3×3×3的三维空洞卷积层，经过两个卷积操作后，再通过Batch Normalization和ReLU激活函数操作；所述编码部分中还包括三个下采样，每个下采样模块采用的是步长为2的2×2×2的最大池化层；编码部分的作用是分析整个图像，提取空间信息；

所述解码部分包括三个子模块，每个子模块都包括上采样，上采样模块由一个步长为2的2×2×2的反卷积层组成，然后紧跟的是两个3×3×3的空洞卷积层，再通过BatchNormalization和ReLU激活函数；解码部分通过上采样操作将下采样缩小后的特征图恢复到与输入图像一致的尺寸，分辨率通过上采样操作依次上升，直到与输入图像的分辨率一致；

跳跃连接将编码部分的浅层特征与解码部分对应的深层特征进行映射级联，跳跃连接将所述编码部分的输出与反卷积块的输出进行了特征拼接融合，在特征拼接融合之前通过通道注意力机制和空间注意力机制，将融合连接输出作为下一层反卷积块的特征输入；最后使用Softmax函数对预测结果进行分类,得到脑胶质瘤医学影像的分割结果。

进一步的，所述云渲染算法包括三维可视化和优化，通过Marching Cubes算法将所述医学影像的分割结果构建出对应组织和器官的三维虚拟模型，并对所有网格顶点进行迭代，使用窗口化的sinc函数插值核对顶点v的坐标进行修正；从而在不修改顶点或多边形顶点单元的基础上放松网格，使等值面的外观得到改善。

进一步的，所述Marching Cubes算法具体包括：

通过Marching Cubes算法以数据场中的相邻两层MR切片上的各四个像素为顶点组成的立方体为最小等值面，在影像云服务器中将所述医学影像的分割结果构建出对应组织和器官的三维虚拟模型；它以数据场中的相邻两层MR切片上的各四个像素为顶点组成的立方体为最小等值面搜索单元，在MC算法中，一个轮廓线只能以有限的方式通过一个单元；组合出15种构造枚举单元所需的所有可能的拓扑状态，称之为事例表；然后获取单元格中轮廓的拓扑结构，与提取的等值面阈值比较，从而计算单元格顶点位置状态即每个顶点位于轮廓内还是轮廓外，构造该体素的索引表，根据索引表得出与等值面有交点的边界体素，确定网格结构；然后，计算连接点位置，Marching Cubes算法采用线性插值法得到交点；假设体素的棱边与等值面相交于(x,y,z)，v₁和v₂是该边上的等值面顶点，则由插值公式求出交点的位置:

式中T是等值面阈值，f(v₁)和f(v₂)是两顶点像素值，Δx，Δy，Δz被用来表示体素中两个相邻顶点之间的距离差；通过遍历体素后找到的所有等值点，创建并连接网络就可以得到等值面。

进一步的，所述模型压缩算法用于压缩三维模型数据，具体包括：采用二次误差迭代压缩算法，首先对所述三维虚拟模型使用收缩代价变量来选择收缩边，预先定义每个顶点的4×4对称误差矩阵；这些误差矩阵用于计算顶点误差，其基于二次基本误差矩阵和距离平方和；然后通过多次迭代来简化模型，在每个迭代中，它会根据当前误差度量减少模型中的顶点数量；如果误差大于预定的阈值，则算法将停止迭代，并保留当前模型；否则，算法将继续简化模型并进行迭代；在每次迭代中，通过计算新的顶点位置来进一步简化模型，最终达到减少整个多边形面片数，优化模型存储容量。

进一步的，所述负载均衡算法采用动态负载均衡技术，首先监测系统负载情况，收集各个节点的CPU利用率、内存使用率、网络带宽。根据负载情况，选择合适的节点来进行请求的分配。通过节点选择策略，选择合适的节点，使得各个节点的负载均衡，并且尽可能地降低请求的延迟和网络带宽的占用。其次，根据请求的类型和处理的难易程度，通过分配算法策略来进行请求的分配，以达到最优的负载均衡效果，并尽可能地减少请求的处理时间和系统的响应时间。在节点的选择和请求的分配过程中，需要考虑节点的响应速度和处理能力。通过响应速度策略，选择最合适的节点，并考虑节点的响应速度和处理能力，以保证系统的高效稳定运行。最后，在节点发生故障或网络异常时，需要及时地进行故障处理。通过故障处理策略，及时地进行故障处理，切换到备用节点或恢复故障节点的正常运行，以保证系统的高可用性和稳定性。

安全验证机制采用基于Token的身份验证技术，用户在登录后向服务器发送请求，服务器对用户进行身份验证。如果身份验证成功，服务器生成一个Token，并将Token发送给客户端。客户端将Token存储在本地，以便后续请求使用。在后续的请求中，客户端将Token发送给服务器进行身份验证。服务器通过Token的解析和验证，确定请求的来源和身份。如果Token验证成功，服务器响应请求并返回相应的数据。如果Token验证失败，则服务器拒绝请求，并返回错误信息。

一种基于任一项所述系统的云智能的医学影像分析移动增强现实方法，其包括以下步骤：

通过用户管理模块管理用户账户信息、用户注册和登录；

采用影像管理模块存储和管理医学影像数据；使用双注意力深度多尺度融合U形架构网络DCAM-Unet的深度学习算法自动提取原始影像数据的特征，对影像进行分割处理，并通过云渲染算法将其转化为逼真的三维模型；

采用AR定位追踪模块实现医学影像的增强现实效果；

采用手势交互控制模块控制模型的旋转、缩放、平移操作；

采用单体模型剥离模块在影像分析过程中将医学影像中的感兴趣区域从整体影像三维模型中剥离出来。

本发明的优点及有益效果如下：

考虑到病灶掩码虚拟模型需要由阅片医生手动分割和重建，不仅耗时耗力，还可能导致分割区域不完善的问题，基于深度学习算法的自动检测与分割模块，采用权利要求5所述的DCAM-Unet网络对医学影像中的病灶进行自动检测和分割。

本发明实现基于云计算的云渲染算法与模型压缩算法，可以快速进行多结构组织的三维可视化，提高了医生对目标三维结构的位置判断，提高了病灶区域定位的准确性。权利要求6所述的云渲染算法包括三维可视化算法和优化算法，可以精准的还原出医学影像中组织结构的三维模型。

本发明将医学三维可视化技术和增强现实技术结合起来，通过跟踪配准算法实现AR定位追踪功能，将医学影像重建后实现到移动增强现实设备中，通过不同颜色和透明度对各区域进行虚实融合展示，通过手势检测算法实现手势交互控制功能，以此实现拖动、旋转、缩放等交互操作，通过单体模型剥离功能对深度网络分割出的单体部分和病灶区域进行单独控制，从而提高医生对病患位置的直观了解，降低手术风险。

本发明降低了设备成本,图像处理过程本地无需配备高端图形硬件，即可在云服务器实现医学影像的处理，软件版本每次迭代更新在云服务器端操作，提高了开发效率，节约成本。影像显示过程提供了多种显示设备来实现，如移动终端、手机、平板电脑，降低使用成本的基础上，同时提高了医护人员诊病的便捷性。

附图说明

图1是本发明提供优选实施例基于云智能的医学影像分析移动增强现实系统架构图；

图2为本发明提出的双注意力深度多尺度融合U形架构网络结构示意图；

图3为本发明提出的云渲染算法和模型压缩算法的流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、详细地描述。所描述的实施例仅仅是本发明的一部分实施例。

本发明解决上述技术问题的技术方案是：

一种基于云智能的医学影像分析移动增强现实系统和方法，所述系统包括功能层、逻辑层、数据层和表示层；

所述系统提供多种功能包括用户管理、影像管理、AR定位追踪、手势交互控制、单体模型剥离，采用深度学习算法、云渲染算法、模型压缩算法、跟踪配准算法、手势检测算法、影像加密算法、负载均衡算法、安全验证机制技术，实现了上述功能；

其中，

所述系统功能层中，用户管理模块用于管理用户账户信息，实现用户的注册和登录功能，用户可以通过该模块来查看自己的个人信息。此外，用户管理模块还提供了账户安全设置功能，包括修改密码、找回密码。影像管理模块用于存储和管理医学影像数据，可以将医学影像数据上传到系统中，以便用户进行后续的分析和处理。AR定位追踪模块通过SLAM技术将虚拟模型与真实场景进行精确配准，使得虚拟模型能够准确地映射到真实场景中，用于实现医学影像的AR增强效果。手势交互控制模块用于控制模型的旋转、缩放、平移等操作。单体模型剥离模块用于在影像分析过程中将医学影像中的感兴趣区域从整体影像三维模型中剥离出来，可以单独的对感兴趣的单体区域三维模型进行位置控制和透明度调节。

所述系统逻辑层中，深度学习算法用于病灶区域检测与分割提取，提高模型分割的准确率，模型采用DCAM-Unet深度网络。云渲染算法用于实现三维影像的渲染与外观优化；模型压缩算法用于压缩三维模型数据，减少数据传输量。跟踪配准算法采用基于特征点的匹配、SLAM技术，用于在AR场景中进行影像的配准、跟踪。手势检测算法通过摄像头捕捉用户的手势，识别用户手势将其转化为AR场景中的操作，控制影像模型的操作。影像加密算法基于AES、RSA等算法的加密解密技术，用于保护医学影像数据的安全性。负载均衡算法用于调度云端计算资源，实现任务的高效执行，采用动态负载均衡技术，在保证服务质量的同时，最大化地利用云端计算资源。安全验证机制用于保证用户数据的安全性，防止对系统的非法攻击和篡改，采用基于Token的身份验证技术，加强对用户身份的认证和授权。

所述数据层包括影像数据库、用户数据库、三维模型数据库、数据集库、深度学习模型库；所述影像数据库主要用于存储各类医学影像数据，如CT、MRI数据；所述用户数据库主要用于存储用户的个人信息、用户访问记录等信息；所述三维模型数据库主要用于存储三维模型数据，如人体器官、病变部位等模型数据；所述数据集库主要用于存储深度学习算法训练所需的数据集，如用于影像分割的数据集、用于影像分类的数据集；所述深度学习模型库主要用于存储深度学习算法的模型数据。

所述表示层包括移动终端、手机、平板电脑的客户端。

进一步地，所述深度学习算法采用提出的双注意力深度多尺度融合U形架构网络模型(DCAM-Unet)进行病灶区域检测与分割提取：

所述DCAM-Unet模型包含两个部分，分别是编码部分和解码部分。其中，编码部分由三个子模块组成，每个子模块都包括两个3×3×3的三维空洞卷积层，经过两个卷积操作后，再通过Batch Normalization和ReLU激活函数操作，让网络更好的收敛，克服梯度消失问题。采用三维的网络可以更好的进行多尺度、多模态的预测与提取，让分割边界更加精细以提高准确性，三维卷积层通过逐层处理局部信息来提取更高维度的特征信息，将数据的空间信息利用起来，提炼图层切片之间的隐含特征。使用空洞卷积替换原有的卷积块，在标准的卷积核中注入空洞来增加感受野而不损失分辨率或者覆盖范围，在不损失分辨率的情况下混合多尺度的上下文信息。所述编码部分中还包括三个下采样，每个下采样模块采用的是步长为2的2×2×2的最大池化层。编码部分的作用是分析整个图像，提取空间信息。

所述解码部分包括三个子模块，每个子模块都包括上采样，上采样模块由一个步长为2的2×2×2的反卷积层组成，然后紧跟的是两个3×3×3的空洞卷积层，再通过BatchNormalization和ReLU激活函数。解码部分的作用是通过上采样操作将下采样缩小后的特征图恢复到与输入图像一致的尺寸，分辨率通过上采样操作依次上升，直到与输入图像的分辨率一致。

跳跃连接将编码部分的浅层特征与解码部分对应的深层特征进行映射级联，跳跃连接将所述编码部分的输出与反卷积块的输出进行了特征拼接融合。然而在编码部分提取的初始特征很差，这带来了很多冗余特征信息，所以在特征拼接融合之前引入通道注意力机制和空间注意力机制，将融合连接输出作为下一层反卷积块的特征输入，让网络把注意力集中到关键特征，抑制冗余特征，提高网络对脑肿瘤图像的分割效果。最后使用Softmax函数对预测结果进行分类,得到脑胶质瘤医学影像的分割结果。

进一步地，所述云渲染算法包括三维可视化和优化，通过Marching Cubes算法以数据场中的相邻两层MR切片上的各四个像素为顶点组成的立方体为最小等值面，在影像云服务器中将所述医学影像的分割结果构建出对应组织和器官的三维虚拟模型。它以数据场中的相邻两层MR切片上的各四个像素为顶点组成的立方体为最小等值面搜索单元(体素)。在MC算法中，一个前提是假设一个轮廓线只能以有限的方式通过一个单元。组合出15种构造枚举单元所需的所有可能的拓扑状态，称之为事例表。然后只关心它如何穿过单元格(即单元格中轮廓的拓扑结构)，与提取的等值面阈值比较，从而计算单元格顶点位置状态即每个顶点位于轮廓内还是轮廓外，构造该体素的索引表，根据索引表得出与等值面有交点的边界体素，确定网格结构。然后，计算连接点位置，Marching Cubes算法采用线性插值法得到交点。假设体素的棱边与等值面相交于(x,y,z)，v₁和v₂是该边上的等值面顶点，则由插值公式求出交点的位置:

式中T是等值面阈值，f(v₁)和f(v₂)是两顶点像素值，Δx，Δy，Δz被用来表示体素中两个相邻顶点之间的距离差。通过遍历体素后找到的所有等值点，创建并连接网络就可以得到等值面。

使用Marching Cubes算法从体数据获取的等值面数据量很大且不够平滑，故需要对网格进行平滑处理。对于每个顶点v，通过拓扑和几何分析确定与v相连的顶点与单元。对所有顶点进行迭代，使用窗口化的sinc函数插值核对顶点v的坐标进行修正。从而在不修改顶点或多边形顶点单元的基础上放松网格，使等值面的外观得到改善。

在一个给定的通带频率k_PB＝1/λ+1/μ条件下，优化的λ-μ迭代算法和约束条件如下，：

其中当N是偶数，λ_N＝λ，当N是奇数λ_N＝μ。应用变量的改变k＝2(1-cosθ)设计带窗口的滤波器，在区间[-π,π]得到：

同时，这个θ的函数也是一个理想低通滤波器。由Q_PB是k_PB＝2(1-cos(θ_PB))在[0,π/2]的唯一解，可得：

其中cos(nθ)＝T_n(cos(θ))由切比雪夫多项式近似，同时使用一个加权函数来修改傅里叶级数收敛，得到多项式的近似值：

其中ω₀，ω₁，…，ω_N是窗口的权重。应用的平滑迭代越多，逼近低通滤波器传递函数的多项式程度就越高。由于切比雪夫多项式是正交的，每一次平滑迭代都将切比雪夫滤波器近似的下一个高项应用于多面体，同时增加滤波器传递函数的近似阶数并不改变先前计算的低阶项的系数，所以这种将滤波器解耦为迭代应用的多项式是可实现的，从而有效的平滑网格表面。

进一步地，所述模型压缩算法采用二次误差迭代压缩算法，首先对所述三维虚拟模型使用收缩代价变量来选择收缩边，预先定义每个顶点的4×4对称误差矩阵。这些误差矩阵用于计算顶点误差，其基于特定的二次基本误差矩阵和距离平方和。然后通过多次迭代来进一步简化模型，在每个迭代中，它会根据当前误差度量减少模型中的顶点数量。如果误差大于预定的阈值，则算法将停止迭代，并保留当前模型。否则，算法将继续简化模型并进行迭代。在每次迭代中，通过计算新的顶点位置来进一步简化模型，最终达到减少整个多边形面片数的目的，优化模型存储容量。使用云渲染算法构造的组织表面模型有数万数量的三角面形成的模型，三角面的数量大小直接影响模型的存储容量，因此，需要提高实时的交互能力就必须对模型进行网格简化。

定义一个描述边的收缩代价的变量Δ，用于选择一条合适的边进行迭代收缩。对于网格中的每个顶点v，预先定义一个4×4的对称误差矩阵Q，顶点v＝[v_x v_y v_z 1]^T的误差为其二次项形式Δ(v)＝v^TQv。

是收缩边(v₁,v₂)的收缩后顶点，则定义/>

的误差矩阵

通过计算/>

得到使/>

取得最小值的顶点/>

位置，该公式等价于求解：

其中q_ij为矩阵

中对应的元素。如果该系数矩阵不可逆，就在v₁，v₂和(v₁+v₂)/2中选择一个使得收缩代价/>

取得最小的位置。对于如何计算每个顶点的初始误差矩阵Q，定义顶点的误差为顶点到这些平面的距离平方和：

其中K_P是二次基本误差矩阵：

因此对于原始网格中顶点v，当边收缩后，新顶点误差为

依次选取收缩后新顶点误差最小的边进行迭代收缩直到满足要求为止。最终达到减少整个多边形面片数,完成三角网格的简化的效果。最后将得到的三维虚拟模型保存为obj格式。

进一步地，上述影像处理过程在云服务中是自动化的，该过程首先使用DCAM-Unet网络的深度学习算法自动提取原始影像数据的特征，对影像进行分割处理，并通过云渲染算法将其转化为逼真的三维模型。同时，模型压缩算法被应用于该过程中，以减小模型尺寸、提高模型的运行效率和响应速度。最终，处理完成的模型被自动地存储到模型数据库中，以备后续使用。

进一步地，所述表示层客户端上设有登录页面，用于进行身份验证和权限管理，确保数据的安全性。在验证通过后，用户可以进入病例列表页面，查看全部的病例信息。当用户选择某个病例后，进入该病例的AR阅片页面，所述AR阅片页面提供了AR定位跟踪功能，客户端会自动下载医学三维虚拟模型，可以实现医学三维虚拟模型与真实场景的融合，增强了对影像的感知和理解。同时，所述AR阅片页面还设有单体模型剥离功能，用户可以通过该功能将医学影像中的感兴趣区域从整体影像模型中剥离脱离出来，调整三维虚拟影像各组织的透明度，以单独观察模型单体区域，更好地理解三维信息，提升对医学影像的分析和诊断精度。

此外，所述AR阅片页面还具备手势交互控制功能，用户可以通过手势进行影像的旋转、缩放、平移等操作，更加方便地控制影像。通过手势检测算法检测摄像头捕捉回调当前手势，当手势为捏状态并且手势碰撞检测到模型碰撞时，即可触发控制模型旋转，反之停止旋转。当手势为握住并且手势碰撞检测到模型碰撞时，即可触发控制模型位置六自由度跟随手势，反之停止跟随。当手势为捏合并拖拽并且手势碰撞检测到模型碰撞时，即可触发控制模型大小调整。

如图1所示，

本专利提出了一个医学影像分析系统，所述系统提供多种功能包括用户管理、影像管理、AR定位追踪、手势交互控制、单体模型剥离，采用深度学习算法、云渲染算法、模型压缩算法、跟踪配准算法、手势检测算法、影像加密算法、负载均衡算法、安全验证机制技术，实现了上述功能；

其中，

所述系统功能层中，用户管理模块用于管理用户账户信息，实现用户的注册和登录功能，用户可以通过该模块来查看自己的个人信息。此外，用户管理模块还提供了账户安全设置功能，如修改密码、找回密码。影像管理模块用于存储和管理医学影像数据，可以将医学影像数据上传到系统中，以便用户进行后续的分析和处理。AR定位追踪模块通过SLAM技术将虚拟模型与真实场景进行精确配准，使得虚拟模型能够准确地映射到真实场景中，用于实现医学影像的AR增强效果。手势交互控制模块用于控制模型的旋转、缩放、平移等操作。单体模型剥离模块用于在影像分析过程中将医学影像中的感兴趣区域从整体影像三维模型中剥离出来，可以单独的对感兴趣的单体区域三维模型进行位置控制和透明度调节。

所述系统逻辑层中，深度学习算法深度学习算法采用提出的双注意力深度多尺度融合U形架构网络(DCAM-Unet)模型进行病灶区域检测与分割提取。云渲染算法用于实现三维影像的渲染与外观优化，包括三维可视化及其优化；模型压缩算法用于压缩三维模型数据，减少数据传输量，最后将得到的三维虚拟模型保存为obj格式。跟踪配准算法采用基于特征点的匹配、SLAM技术，用于在AR场景中进行影像的配准、跟踪。手势检测算法通过摄像头捕捉用户的手势，识别用户手势将其转化为AR场景中的操作，控制影像模型的操作。影像加密算法基于AES、RSA等算法的加密解密技术，用于保护医学影像数据的安全性。负载均衡算法用于调度云端计算资源，实现任务的高效执行，采用动态负载均衡技术，在保证服务质量的同时，最大化地利用云端计算资源。安全验证机制用于保证用户数据的安全性，防止对系统的非法攻击和篡改，采用基于Token的身份验证技术，加强对用户身份的认证和授权。

所述数据层包括影像数据库、用户数据库、三维模型数据库、数据集库、深度学习模型库；所述影像数据库主要用于存储各类医学影像数据，如CT、MRI数据；所述用户数据库主要用于存储用户的个人信息、用户访问记录等信息；所述三维模型数据库主要用于存储三维模型数据，如人体器官、病变部位等模型数据；所述数据集库主要用于存储深度学习算法训练所需的数据集，如用于影像分割的数据集、用于影像分类的数据集；所述深度学习模型库主要用于存储深度学习算法的模型数据。

所述表示层包括移动终端、手机、平板电脑的客户端。

下面将结合本发明优选实施例,对本发明实施例中的技术方案进行清楚、完整地描述，

显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

以脑胶质瘤医学影像的分析为案，

首先在云服务中自动处理影像，该过程使用DCAM-Unet网络的深度学习算法自动提取原始影像数据的特征，对影像进行分割处理，网络结构如图2所示，然后通过云渲染算法将其转化为逼真的三维模型。同时，模型压缩算法被应用于该过程中，以减小模型尺寸、提高模型的运行效率和响应速度。云渲染和模型压缩算法流程如图3所示。最终，处理完成的模型被自动地存储到模型数据库中，以备后续使用。

上述本实施例的双注意力深度多尺度融合U形架构网络模型训练过程如下：

数据预处理，本发明使用到的脑胶质瘤数据集是Brats18数据集，该数据集提供每个病例的四个模态的MR图像序列,同时提供了医疗专家手工标注得到的每个病例的多区域脑胶质瘤分割区域掩码。MR图像的四个序列是不同模态的图像，图像对比度不一样，因此采用Z-score方式对图像零均值化和单位标准差处理。Z-score的计算公式如下：

其中x是原始数据，μ是所有样本数据的均值，σ为所有样本数据的标准差。处理后的数据符合标准正态分布；

脑胶质瘤MR图像灰色部分为脑部区域，黑色则为背景，背景信息在整幅图像中的比例较大，而且背景对于分割没有任何帮助。故将尺寸为240×240×155的原始模态MR脑胶质瘤医学影像裁剪掉黑色背景区域，裁剪后的医学影像尺寸为160×160×155，使视场更接近大脑，避免肿瘤区域占比过小；

将标准化和裁剪后的四个模态合并成四个通道，预处理后的大小为160×160×155×4。图像预处理后输入网络进行预测，采用BCEWithLogitsLoss与交叉熵损失函数之和进行反向传播训练，Batch Size设置为2,使用Adam进行优化,momentum为0.9,初始学习率和权值衰减分别为0.03和0.0001,使用早停法解决epoch数量需要手动设置的问题。

医生利用本系统的客户端分析脑胶质瘤的状况，该过程均采用影像加密算法和安全验证机制保护医学影像数据的隐私和安全。通过客户端的登录页面，进行身份验证和权限管理，保障数据的安全性。当验证通过后，医生可以进入病例列表页面，查看全部的病例信息。当医生选择本实施例的脑胶质瘤病例后，进入该病例的AR阅片页面，客户端自动下载医学三维虚拟模型，在增强现实场景中自动的加载三维虚拟模型至现实世界0.5米前。本系统客户端的屏幕上可以看到与真实场景融合的三维虚拟影像，可以实现医学影像与真实场景的融合，增强了对影像的感知和理解。

通过AR阅片页面的单体模型剥离功能，医生可以通过该功能将医学影像中的感兴趣区域从整体影像模型中剥离脱离出来，调整三维虚拟影像各组织的透明度，以单独观察模型单体区域，更好地理解三维信息，提升对医学影像的分析和诊断精度。

此外，AR阅片页面还具备手势交互控制功能，医生可以通过手势进行影像的旋转、缩放、平移等操作，更加方便地控制影像。通过手势检测算法检测摄像头捕捉回调当前手势，当手势为捏状态并且手势碰撞检测到模型碰撞时，即可触发控制模型旋转，反之停止旋转。当手势为握住并且手势碰撞检测到模型碰撞时，即可触发控制模型位置六自由度跟随手势，反之停止跟随。当手势为捏合并拖拽并且手势碰撞检测到模型碰撞时，即可触发控制模型大小调整，将影像移动至合适位置，从而直观地观察肿瘤细节。

本发明一种基于云智能的医学影像分析移动增强现实系统和方法，系统有效支撑辅助诊断,提高医生的审片效率,同时也提高了病灶区域定位的准确性,有助于医生直观了解病灶范围,从而提高手术的成功率,降低手术风险。通过移动增强现实终端与云服务器的5G网络无线连接,降低了医生工作的局限性,医生可以在科室或病房内实时获取患者医学影像,同时降低了开发成本与运营成本。

上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。

Claims (10)

1.一种基于云智能的医学影像分析移动增强现实系统，其特征在于，由下向上包括：数据层、逻辑层、系统功能层和表示层；其中，

所述数据层包括影像数据库、用户数据库、深度学习模型数据库、数据集库及三维模型库，所述逻辑层采用了深度学习算法、云渲染算法、模型压缩算法、跟踪配准算法、手势检测算法、影像加密算法、负载均衡算法、安全验证机制技术，所述系统功能层通过逻辑层的以上算法实现了用户管理、影像管理、AR定位追踪、手势交互控制、单体模型剥离功能，所述表示层包括移动终端、手机、平板电脑客户端。

2.根据权利要求1所述的一种基于云智能的医学影像分析移动增强现实系统，其特征在于，所述系统功能层包括以下模块：用户管理模块用于管理用户账户信息、用户注册和登录；影像管理模块用于存储和管理医学影像数据；AR定位追踪模块用于实现医学影像的增强现实效果；手势交互控制模块用于控制模型的旋转、缩放、平移操作；单体模型剥离模块用于在影像分析过程中将医学影像中的感兴趣区域从整体影像三维模型中剥离出来。

3.根据权利要求1所述的一种基于云智能的医学影像分析移动增强现实系统，其特征在于，所述系统逻辑层中，深度学习算法采用双注意力深度多尺度融合U形架构网络模型DCAM-Unet进行病灶区域检测与分割提取；云渲染算法用于实现三维影像的渲染与外观优化；模型压缩算法用于压缩三维模型数据，减少数据传输量；跟踪配准算法采用基于特征点的匹配、SLAM技术，用于在AR场景中进行模型的配准、跟踪；手势检测算法用于识别用户手势，控制影像模型的操作；影像加密算法采用基于AES、RSA在内的算法的加密解密技术，用于保护医学影像数据的安全性；负载均衡算法用于调度云端计算资源，实现任务的高效执行，采用动态负载均衡技术，在保证服务质量的同时，最大化地利用云端计算资源；安全验证机制用于保证用户数据的安全性，防止对系统的非法攻击和篡改，采用基于Token的身份验证技术，加强对用户身份的认证和授权。

4.根据权利要求1所述的一种基于云智能的医学影像分析移动增强现实系统，其特征在于，所述数据层包括影像数据库、用户数据库、三维模型数据库、数据集库、深度学习模型库；所述影像数据库用于存储各类医学影像数据，包括CT、MRI数据；所述用户数据库主要用于存储用户的个人信息、用户访问记录等信息；所述三维模型数据库用于存储三维模型数据，包括人体器官、病变部位模型数据；所述数据集库主要用于存储深度学习算法训练所需的数据集，用于影像分割的数据集、用于影像分类的数据集；所述深度学习模型库主要用于存储深度学习算法的模型数据。

5.根据权利要求3所述的一种基于云智能的医学影像分析移动增强现实系统，其特征在于，所述深度学习算法采用双注意力深度多尺度融合U形架构网络模型DCAM-Unet进行病灶区域检测与分割提取，具体包括：

所述DCAM-Unet模型包含两个部分，分别是编码部分和解码部分，其中，编码部分由三个子模块组成，每个子模块都包括两个3×3×3的三维空洞卷积层，经过两个卷积操作后，再通过Batch Normalization和ReLU激活函数操作；所述编码部分中还包括三个下采样，每个下采样模块采用的是步长为2的2×2×2的最大池化层；编码部分的作用是分析整个图像，提取空间信息；

所述解码部分包括三个子模块，每个子模块都包括上采样，上采样模块由一个步长为2的2×2×2的反卷积层组成，然后紧跟的是两个3×3×3的空洞卷积层，再通过BatchNormalization和ReLU激活函数；解码部分通过上采样操作将下采样缩小后的特征图恢复到与输入图像一致的尺寸，分辨率通过上采样操作依次上升，直到与输入图像的分辨率一致；

跳跃连接将编码部分的浅层特征与解码部分对应的深层特征进行映射级联，跳跃连接将所述编码部分的输出与反卷积块的输出进行了特征拼接融合，在特征拼接融合之前通过通道注意力机制和空间注意力机制，将融合连接输出作为下一层反卷积块的特征输入；最后使用Softmax函数对预测结果进行分类,得到脑胶质瘤医学影像的分割结果。

6.根据权利要求3所述的一种基于云智能的医学影像分析移动增强现实系统，其特征在于，所述云渲染算法包括三维可视化和优化，通过Marching Cubes算法将所述医学影像的分割结果构建出对应组织和器官的三维虚拟模型，并对所有网格顶点进行迭代，使用窗口化的sinc函数插值核对顶点v的坐标进行修正；从而在不修改顶点或多边形顶点单元的基础上放松网格，使等值面的外观得到改善。

7.根据权利要求6所述的一种基于云智能的医学影像分析移动增强现实系统，其特征在于，所述Marching Cubes算法具体包括：

通过Marching Cubes算法以数据场中的相邻两层MR切片上的各四个像素为顶点组成的立方体为最小等值面，在影像云服务器中将所述医学影像的分割结果构建出对应组织和器官的三维虚拟模型；它以数据场中的相邻两层MR切片上的各四个像素为顶点组成的立方体为最小等值面搜索单元，在MC算法中，一个轮廓线只能以有限的方式通过一个单元；组合出15种构造枚举单元所需的所有可能的拓扑状态，称之为事例表；然后获取单元格中轮廓的拓扑结构，与提取的等值面阈值比较，从而计算单元格顶点位置状态即每个顶点位于轮廓内还是轮廓外，构造该体素的索引表，根据索引表得出与等值面有交点的边界体素，确定网格结构；然后，计算连接点位置，Marching Cubes算法采用线性插值法得到交点；假设体素的棱边与等值面相交于(x,y,z)，v₁和v₂是该边上的等值面顶点，则由插值公式求出交点的位置:

式中T是等值面阈值，f(v₁)和f(v₂)是两顶点像素值，Δx，Δy，Δz被用来表示体素中两个相邻顶点之间的距离差；通过遍历体素后找到的所有等值点，创建并连接网络就可以得到等值面。

8.根据权利要求3所述的一种基于云智能的医学影像分析移动增强现实系统，其特征在于，所述模型压缩算法用于压缩三维模型数据，具体包括：采用二次误差迭代压缩算法，首先对所述三维虚拟模型使用收缩代价变量来选择收缩边，预先定义每个顶点的4×4对称误差矩阵；这些误差矩阵用于计算顶点误差，其基于二次基本误差矩阵和距离平方和；然后通过多次迭代来简化模型，在每个迭代中，它会根据当前误差度量减少模型中的顶点数量；如果误差大于预定的阈值，则算法将停止迭代，并保留当前模型；否则，算法将继续简化模型并进行迭代；在每次迭代中，通过计算新的顶点位置来进一步简化模型，最终达到减少整个多边形面片数，优化模型存储容量。

9.根据权利要求6所述的一种基于云智能的医学影像分析移动增强现实系统，其特征在于，所述负载均衡算法采用动态负载均衡技术，首先监测系统负载情况，收集各个节点的CPU利用率、内存使用率、网络带宽；根据负载情况，选择合适的节点来进行请求的分配；通过节点选择策略，选择合适的节点，使得各个节点的负载均衡，并且尽可能地降低请求的延迟和网络带宽的占用；其次，根据请求的类型和处理的难易程度，通过分配算法策略来进行请求的分配，以达到最优的负载均衡效果，并尽可能地减少请求的处理时间和系统的响应时间；在节点的选择和请求的分配过程中，需要考虑节点的响应速度和处理能力；通过响应速度策略，选择最合适的节点，并考虑节点的响应速度和处理能力，以保证系统的高效稳定运行；最后，在节点发生故障或网络异常时，需要及时地进行故障处理，通过故障处理策略，及时地进行故障处理，切换到备用节点或恢复故障节点的正常运行，以保证系统的高可用性和稳定性；

安全验证机制采用基于Token的身份验证技术，用户在登录后向服务器发送请求，服务器对用户进行身份验证。如果身份验证成功，服务器生成一个Token，并将Token发送给客户端；客户端将Token存储在本地，以便后续请求使用；在后续的请求中，客户端将Token发送给服务器进行身份验证。服务器通过Token的解析和验证，确定请求的来源和身份；如果Token验证成功，服务器响应请求并返回相应的数据；如果Token验证失败，则服务器拒绝请求，并返回错误信息。

10.一种基于权利要求1-9任一项所述系统的云智能的医学影像分析移动增强现实方法，其特征在于，包括以下步骤：

通过用户管理模块管理用户账户信息、用户注册和登录；

采用影像管理模块存储和管理医学影像数据；使用双注意力深度多尺度融合U形架构网络DCAM-Unet的深度学习算法自动提取原始影像数据的特征，对影像进行分割处理，并通过云渲染算法将其转化为逼真的三维模型；

采用AR定位追踪模块实现医学影像的增强现实效果；

采用手势交互控制模块控制模型的旋转、缩放、平移操作；

采用单体模型剥离模块在影像分析过程中将医学影像中的感兴趣区域从整体影像三维模型中剥离出来。

Images