CN116433605A - 基于云智能的医学影像分析移动增强现实系统和方法 - Google Patents

基于云智能的医学影像分析移动增强现实系统和方法 Download PDF

Info

Publication number
CN116433605A
CN116433605A CN202310255768.2A CN202310255768A CN116433605A CN 116433605 A CN116433605 A CN 116433605A CN 202310255768 A CN202310255768 A CN 202310255768A CN 116433605 A CN116433605 A CN 116433605A
Authority
CN
China
Prior art keywords
model
algorithm
image
medical image
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310255768.2A
Other languages
English (en)
Inventor
蔡林沁
李芷晴
甘雨
胡葭
杨枭
李奕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University of Post and Telecommunications
Original Assignee
Chongqing University of Post and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Post and Telecommunications filed Critical Chongqing University of Post and Telecommunications
Priority to CN202310255768.2A priority Critical patent/CN116433605A/zh
Publication of CN116433605A publication Critical patent/CN116433605A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Medical Informatics (AREA)
  • Computer Graphics (AREA)
  • Databases & Information Systems (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Geometry (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

本发明请求保护一种基于云智能的医学影像分析移动增强现实系统和方法，属于深度学习、三维可视化、医学图像处理、移动增强现实技术领域，该系统包括如下功能：用户管理、影像管理、AR定位追踪、手势交互控制、单体模型剥离。本发明采用深度学习算法、云渲染算法、模型压缩算法、跟踪配准算法、手势检测算法、影像加密算法、负载均衡算法、安全验证机制等技术，实现了上述功能模块。本发明采用云技术、深度学习技术、三维可视化技术和增强现实技术处理医学影像,在移动终端、手机、平板电脑客户端中实现影像解析、显示的智能化、数字化。

Description

基于云智能的医学影像分析移动增强现实系统和方法
技术领域
本发明属于深度学习、三维可视化、医学图像处理、移动增强现实技术领域，具体涉及一种基于云智能的医学影像分析移动增强现实系统和方法。
背景技术
随着医学影像设备的快速发展，医学影像分辨率越来越高，切片层数越来越多，数据规模越来越大，传统的手工读片工作方式效率缓慢且诊断准确率低，已经无法满足临床需求。
当前医学临床的治疗方案中,目标三维结构的位置判断准确性对外科手术的术前规划至关重要。今天，几乎所有的医学成像方式都可以提供三维数据，例如对比增强磁共振和计算机断层扫描图像用于术前规划。但是这些三维图像仍以二维形式显示在平面屏幕上，无法进行真实世界深度感知和3D交互。对于不同组织类别如实质与病变，在真实世界中三维可视化这些模型可以为医生提供更好的解剖学概览，通过引入增强现实环境用来模拟三维图像可以减少真实手术环境和可视化模型之间的偏差。
在云技术出现之前，医学影像可视化系统一般为本地可视化系统即PACS影像诊断工作站，影像处理、分析及可视化计算都是在本地进行，这就要求本地工作站配备高端图形硬件来满足需求，随着机器老化与软件版本升级，需要不断更新硬件设备，成本对于用户来说是不容忽视的问题。同时软件版本每次迭代更新，厂商都需要派遣工作人员到各地PACS影像诊断工作站完成相应升级，这种工作模式比较落后，效率缓慢，而且人员出差开销也会给厂商带来相应的成本问题。
如何将深度学习和混合现实技术有机结合形成完整的医疗系统成为未来数字医疗、智慧医疗领域研究较为重要的研究方向。因此，急需进一步深入研究，研发出一种基于云智能的医学影像分析移动增强现实系统和方法。
CN110321946A，一种基于深度学习的多模态医学影像识别方法及装置，利用医疗影像设备采集医学影像数据；影像增强算法对采集的影像进行增强处理；提取程序提取采集影像特征；利用识别程序对提取的特征进行识别；利用转换程序对不同模态医学影像进行转换操作；打印机将采集的影像进行打印操作；利用显示器显示采集医学影像数据信息。本发明通过影像特征提取模块提高影像特征提取效果；同时，通过模态转换模块采用三维重建、配准和分割的方式，保证了第一模态影像与第二模态影像的对应图像高度匹配；另外本发明对训练图像划分为若干图像块，降低了整张输入训练图片对硬件设备的要求。该专利中所述的使用显示器显示医学影像缺乏三维立体感，可能导致医生在诊断过程中无法准确地识别医学影像的深度和形状等信息，从而影响诊断的准确性和效率。本发明中通过增强现实显示，实现三维医学影像的虚实融合，从而使检查部位以立体的形式展现，使得医生更清楚地观察到患者内部组织结构。其次，该专利中所述的本地发明设备成本较高，可能会增加医疗机构购买和使用该设备的成本，从而限制了其普及和应用范围。本发明采用云计算技术自动化执行影像处理的过程，可以减少医疗机构购买和维护设备的成本，提高设备的利用率。最后，该专利中所述的使用场景有一定限制，可能只能在特定的医疗机构或固定场所使用，而本专利提供了多种影像查看设备，如移动终端、手机、平板电脑，可以满足医生进行移动办公和异地会诊的需求。
发明内容
本发明旨在解决以上现有技术的问题。提出了一种基于云智能的医学影像分析移动增强现实系统及方法。本发明的技术方案如下：
一种基于云智能的医学影像分析移动增强现实系统，其由下向上包括：数据层、逻辑层、系统功能层和表示层；其中，
所述数据层包括影像数据库、用户数据库、深度学习模型数据库、数据集库及三维模型库，所述逻辑层采用了深度学习算法、云渲染算法、模型压缩算法、跟踪配准算法、手势检测算法、影像加密算法、负载均衡算法、安全验证机制技术，所述系统功能层通过逻辑层的以上算法实现了用户管理、影像管理、AR定位追踪、手势交互控制、单体模型剥离功能，所述表示层包括移动终端、手机、平板电脑客户端。
进一步的，所述系统功能层包括以下模块：用户管理模块用于管理用户账户信息、用户注册和登录；影像管理模块用于存储和管理医学影像数据；AR定位追踪模块用于实现医学影像的增强现实效果；手势交互控制模块用于控制模型的旋转、缩放、平移操作；单体模型剥离模块用于在影像分析过程中将医学影像中的感兴趣区域从整体影像三维模型中剥离出来；
进一步的，所述系统逻辑层中，深度学习算法采用双注意力深度多尺度融合U形架构网络模型DCAM-Unet进行病灶区域检测与分割提取；云渲染算法用于实现三维影像的渲染与外观优化；模型压缩算法用于压缩三维模型数据，减少数据传输量；跟踪配准算法采用基于特征点的匹配、SLAM技术，用于在AR场景中进行模型的配准、跟踪；手势检测算法用于识别用户手势，控制影像模型的操作；影像加密算法采用基于AES、RSA在内的算法的加密解密技术，用于保护医学影像数据的安全性；负载均衡算法用于调度云端计算资源，实现任务的高效执行，采用动态负载均衡技术，在保证服务质量的同时，最大化地利用云端计算资源；安全验证机制用于保证用户数据的安全性，防止对系统的非法攻击和篡改，采用基于Token的身份验证技术，加强对用户身份的认证和授权。
进一步的，所述数据层包括影像数据库、用户数据库、三维模型数据库、数据集库、深度学习模型库；所述影像数据库用于存储各类医学影像数据，包括CT、MRI数据；所述用户数据库主要用于存储用户的个人信息、用户访问记录等信息；所述三维模型数据库用于存储三维模型数据，包括人体器官、病变部位模型数据；所述数据集库主要用于存储深度学习算法训练所需的数据集，用于影像分割的数据集、用于影像分类的数据集；所述深度学习模型库主要用于存储深度学习算法的模型数据。
进一步的，所述深度学习算法采用双注意力深度多尺度融合U形架构网络模型DCAM-Unet进行病灶区域检测与分割提取，具体包括：
所述DCAM-Unet模型包含两个部分，分别是编码部分和解码部分，其中，编码部分由三个子模块组成，每个子模块都包括两个3×3×3的三维空洞卷积层，经过两个卷积操作后，再通过Batch Normalization和ReLU激活函数操作；所述编码部分中还包括三个下采样，每个下采样模块采用的是步长为2的2×2×2的最大池化层；编码部分的作用是分析整个图像，提取空间信息；
所述解码部分包括三个子模块，每个子模块都包括上采样，上采样模块由一个步长为2的2×2×2的反卷积层组成，然后紧跟的是两个3×3×3的空洞卷积层，再通过BatchNormalization和ReLU激活函数；解码部分通过上采样操作将下采样缩小后的特征图恢复到与输入图像一致的尺寸，分辨率通过上采样操作依次上升，直到与输入图像的分辨率一致；
跳跃连接将编码部分的浅层特征与解码部分对应的深层特征进行映射级联，跳跃连接将所述编码部分的输出与反卷积块的输出进行了特征拼接融合，在特征拼接融合之前通过通道注意力机制和空间注意力机制，将融合连接输出作为下一层反卷积块的特征输入；最后使用Softmax函数对预测结果进行分类,得到脑胶质瘤医学影像的分割结果。
进一步的，所述云渲染算法包括三维可视化和优化，通过Marching Cubes算法将所述医学影像的分割结果构建出对应组织和器官的三维虚拟模型，并对所有网格顶点进行迭代，使用窗口化的sinc函数插值核对顶点v的坐标进行修正；从而在不修改顶点或多边形顶点单元的基础上放松网格，使等值面的外观得到改善。
进一步的，所述Marching Cubes算法具体包括：
通过Marching Cubes算法以数据场中的相邻两层MR切片上的各四个像素为顶点组成的立方体为最小等值面，在影像云服务器中将所述医学影像的分割结果构建出对应组织和器官的三维虚拟模型；它以数据场中的相邻两层MR切片上的各四个像素为顶点组成的立方体为最小等值面搜索单元，在MC算法中，一个轮廓线只能以有限的方式通过一个单元；组合出15种构造枚举单元所需的所有可能的拓扑状态，称之为事例表；然后获取单元格中轮廓的拓扑结构，与提取的等值面阈值比较，从而计算单元格顶点位置状态即每个顶点位于轮廓内还是轮廓外，构造该体素的索引表，根据索引表得出与等值面有交点的边界体素，确定网格结构；然后，计算连接点位置，Marching Cubes算法采用线性插值法得到交点；假设体素的棱边与等值面相交于(x,y,z)，v1和v2是该边上的等值面顶点，则由插值公式求出交点的位置:
Figure SMS_1
式中T是等值面阈值，f(v1)和f(v2)是两顶点像素值，Δx，Δy，Δz被用来表示体素中两个相邻顶点之间的距离差；通过遍历体素后找到的所有等值点，创建并连接网络就可以得到等值面。
进一步的，所述模型压缩算法用于压缩三维模型数据，具体包括：采用二次误差迭代压缩算法，首先对所述三维虚拟模型使用收缩代价变量来选择收缩边，预先定义每个顶点的4×4对称误差矩阵；这些误差矩阵用于计算顶点误差，其基于二次基本误差矩阵和距离平方和；然后通过多次迭代来简化模型，在每个迭代中，它会根据当前误差度量减少模型中的顶点数量；如果误差大于预定的阈值，则算法将停止迭代，并保留当前模型；否则，算法将继续简化模型并进行迭代；在每次迭代中，通过计算新的顶点位置来进一步简化模型，最终达到减少整个多边形面片数，优化模型存储容量。
进一步的，所述负载均衡算法采用动态负载均衡技术，首先监测系统负载情况，收集各个节点的CPU利用率、内存使用率、网络带宽。根据负载情况，选择合适的节点来进行请求的分配。通过节点选择策略，选择合适的节点，使得各个节点的负载均衡，并且尽可能地降低请求的延迟和网络带宽的占用。其次，根据请求的类型和处理的难易程度，通过分配算法策略来进行请求的分配，以达到最优的负载均衡效果，并尽可能地减少请求的处理时间和系统的响应时间。在节点的选择和请求的分配过程中，需要考虑节点的响应速度和处理能力。通过响应速度策略，选择最合适的节点，并考虑节点的响应速度和处理能力，以保证系统的高效稳定运行。最后，在节点发生故障或网络异常时，需要及时地进行故障处理。通过故障处理策略，及时地进行故障处理，切换到备用节点或恢复故障节点的正常运行，以保证系统的高可用性和稳定性。
安全验证机制采用基于Token的身份验证技术，用户在登录后向服务器发送请求，服务器对用户进行身份验证。如果身份验证成功，服务器生成一个Token，并将Token发送给客户端。客户端将Token存储在本地，以便后续请求使用。在后续的请求中，客户端将Token发送给服务器进行身份验证。服务器通过Token的解析和验证，确定请求的来源和身份。如果Token验证成功，服务器响应请求并返回相应的数据。如果Token验证失败，则服务器拒绝请求，并返回错误信息。
一种基于任一项所述系统的云智能的医学影像分析移动增强现实方法，其包括以下步骤：
通过用户管理模块管理用户账户信息、用户注册和登录；
采用影像管理模块存储和管理医学影像数据；使用双注意力深度多尺度融合U形架构网络DCAM-Unet的深度学习算法自动提取原始影像数据的特征，对影像进行分割处理，并通过云渲染算法将其转化为逼真的三维模型；
采用AR定位追踪模块实现医学影像的增强现实效果；
采用手势交互控制模块控制模型的旋转、缩放、平移操作；
采用单体模型剥离模块在影像分析过程中将医学影像中的感兴趣区域从整体影像三维模型中剥离出来。
本发明的优点及有益效果如下：
考虑到病灶掩码虚拟模型需要由阅片医生手动分割和重建，不仅耗时耗力，还可能导致分割区域不完善的问题，基于深度学习算法的自动检测与分割模块，采用权利要求5所述的DCAM-Unet网络对医学影像中的病灶进行自动检测和分割。
本发明实现基于云计算的云渲染算法与模型压缩算法，可以快速进行多结构组织的三维可视化，提高了医生对目标三维结构的位置判断，提高了病灶区域定位的准确性。权利要求6所述的云渲染算法包括三维可视化算法和优化算法，可以精准的还原出医学影像中组织结构的三维模型。
本发明将医学三维可视化技术和增强现实技术结合起来，通过跟踪配准算法实现AR定位追踪功能，将医学影像重建后实现到移动增强现实设备中，通过不同颜色和透明度对各区域进行虚实融合展示，通过手势检测算法实现手势交互控制功能，以此实现拖动、旋转、缩放等交互操作，通过单体模型剥离功能对深度网络分割出的单体部分和病灶区域进行单独控制，从而提高医生对病患位置的直观了解，降低手术风险。
本发明降低了设备成本,图像处理过程本地无需配备高端图形硬件，即可在云服务器实现医学影像的处理，软件版本每次迭代更新在云服务器端操作，提高了开发效率，节约成本。影像显示过程提供了多种显示设备来实现，如移动终端、手机、平板电脑，降低使用成本的基础上，同时提高了医护人员诊病的便捷性。
附图说明
图1是本发明提供优选实施例基于云智能的医学影像分析移动增强现实系统架构图；
图2为本发明提出的双注意力深度多尺度融合U形架构网络结构示意图；
图3为本发明提出的云渲染算法和模型压缩算法的流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、详细地描述。所描述的实施例仅仅是本发明的一部分实施例。
本发明解决上述技术问题的技术方案是：
一种基于云智能的医学影像分析移动增强现实系统和方法，所述系统包括功能层、逻辑层、数据层和表示层；
所述系统提供多种功能包括用户管理、影像管理、AR定位追踪、手势交互控制、单体模型剥离，采用深度学习算法、云渲染算法、模型压缩算法、跟踪配准算法、手势检测算法、影像加密算法、负载均衡算法、安全验证机制技术，实现了上述功能；
其中，
所述系统功能层中，用户管理模块用于管理用户账户信息，实现用户的注册和登录功能，用户可以通过该模块来查看自己的个人信息。此外，用户管理模块还提供了账户安全设置功能，包括修改密码、找回密码。影像管理模块用于存储和管理医学影像数据，可以将医学影像数据上传到系统中，以便用户进行后续的分析和处理。AR定位追踪模块通过SLAM技术将虚拟模型与真实场景进行精确配准，使得虚拟模型能够准确地映射到真实场景中，用于实现医学影像的AR增强效果。手势交互控制模块用于控制模型的旋转、缩放、平移等操作。单体模型剥离模块用于在影像分析过程中将医学影像中的感兴趣区域从整体影像三维模型中剥离出来，可以单独的对感兴趣的单体区域三维模型进行位置控制和透明度调节。
所述系统逻辑层中，深度学习算法用于病灶区域检测与分割提取，提高模型分割的准确率，模型采用DCAM-Unet深度网络。云渲染算法用于实现三维影像的渲染与外观优化；模型压缩算法用于压缩三维模型数据，减少数据传输量。跟踪配准算法采用基于特征点的匹配、SLAM技术，用于在AR场景中进行影像的配准、跟踪。手势检测算法通过摄像头捕捉用户的手势，识别用户手势将其转化为AR场景中的操作，控制影像模型的操作。影像加密算法基于AES、RSA等算法的加密解密技术，用于保护医学影像数据的安全性。负载均衡算法用于调度云端计算资源，实现任务的高效执行，采用动态负载均衡技术，在保证服务质量的同时，最大化地利用云端计算资源。安全验证机制用于保证用户数据的安全性，防止对系统的非法攻击和篡改，采用基于Token的身份验证技术，加强对用户身份的认证和授权。
所述数据层包括影像数据库、用户数据库、三维模型数据库、数据集库、深度学习模型库；所述影像数据库主要用于存储各类医学影像数据，如CT、MRI数据；所述用户数据库主要用于存储用户的个人信息、用户访问记录等信息；所述三维模型数据库主要用于存储三维模型数据，如人体器官、病变部位等模型数据；所述数据集库主要用于存储深度学习算法训练所需的数据集，如用于影像分割的数据集、用于影像分类的数据集；所述深度学习模型库主要用于存储深度学习算法的模型数据。
所述表示层包括移动终端、手机、平板电脑的客户端。
进一步地，所述深度学习算法采用提出的双注意力深度多尺度融合U形架构网络模型(DCAM-Unet)进行病灶区域检测与分割提取：
所述DCAM-Unet模型包含两个部分，分别是编码部分和解码部分。其中，编码部分由三个子模块组成，每个子模块都包括两个3×3×3的三维空洞卷积层，经过两个卷积操作后，再通过Batch Normalization和ReLU激活函数操作，让网络更好的收敛，克服梯度消失问题。采用三维的网络可以更好的进行多尺度、多模态的预测与提取，让分割边界更加精细以提高准确性，三维卷积层通过逐层处理局部信息来提取更高维度的特征信息，将数据的空间信息利用起来，提炼图层切片之间的隐含特征。使用空洞卷积替换原有的卷积块，在标准的卷积核中注入空洞来增加感受野而不损失分辨率或者覆盖范围，在不损失分辨率的情况下混合多尺度的上下文信息。所述编码部分中还包括三个下采样，每个下采样模块采用的是步长为2的2×2×2的最大池化层。编码部分的作用是分析整个图像，提取空间信息。
所述解码部分包括三个子模块，每个子模块都包括上采样，上采样模块由一个步长为2的2×2×2的反卷积层组成，然后紧跟的是两个3×3×3的空洞卷积层，再通过BatchNormalization和ReLU激活函数。解码部分的作用是通过上采样操作将下采样缩小后的特征图恢复到与输入图像一致的尺寸，分辨率通过上采样操作依次上升，直到与输入图像的分辨率一致。
跳跃连接将编码部分的浅层特征与解码部分对应的深层特征进行映射级联，跳跃连接将所述编码部分的输出与反卷积块的输出进行了特征拼接融合。然而在编码部分提取的初始特征很差，这带来了很多冗余特征信息，所以在特征拼接融合之前引入通道注意力机制和空间注意力机制，将融合连接输出作为下一层反卷积块的特征输入，让网络把注意力集中到关键特征，抑制冗余特征，提高网络对脑肿瘤图像的分割效果。最后使用Softmax函数对预测结果进行分类,得到脑胶质瘤医学影像的分割结果。
进一步地，所述云渲染算法包括三维可视化和优化，通过Marching Cubes算法以数据场中的相邻两层MR切片上的各四个像素为顶点组成的立方体为最小等值面，在影像云服务器中将所述医学影像的分割结果构建出对应组织和器官的三维虚拟模型。它以数据场中的相邻两层MR切片上的各四个像素为顶点组成的立方体为最小等值面搜索单元(体素)。在MC算法中，一个前提是假设一个轮廓线只能以有限的方式通过一个单元。组合出15种构造枚举单元所需的所有可能的拓扑状态，称之为事例表。然后只关心它如何穿过单元格(即单元格中轮廓的拓扑结构)，与提取的等值面阈值比较，从而计算单元格顶点位置状态即每个顶点位于轮廓内还是轮廓外，构造该体素的索引表，根据索引表得出与等值面有交点的边界体素，确定网格结构。然后，计算连接点位置，Marching Cubes算法采用线性插值法得到交点。假设体素的棱边与等值面相交于(x,y,z)，v1和v2是该边上的等值面顶点，则由插值公式求出交点的位置:
Figure SMS_2
式中T是等值面阈值，f(v1)和f(v2)是两顶点像素值，Δx，Δy，Δz被用来表示体素中两个相邻顶点之间的距离差。通过遍历体素后找到的所有等值点，创建并连接网络就可以得到等值面。
使用Marching Cubes算法从体数据获取的等值面数据量很大且不够平滑，故需要对网格进行平滑处理。对于每个顶点v，通过拓扑和几何分析确定与v相连的顶点与单元。对所有顶点进行迭代，使用窗口化的sinc函数插值核对顶点v的坐标进行修正。从而在不修改顶点或多边形顶点单元的基础上放松网格，使等值面的外观得到改善。
在一个给定的通带频率kPB＝1/λ+1/μ条件下，优化的λ-μ迭代算法和约束条件如下，：
Figure SMS_3
Figure SMS_4
其中当N是偶数，λN＝λ，当N是奇数λN＝μ。应用变量的改变k＝2(1-cosθ)设计带窗口的滤波器，在区间[-π,π]得到：
Figure SMS_5
同时，这个θ的函数也是一个理想低通滤波器。由QPB是kPB＝2(1-cos(θPB))在[0,π/2]的唯一解，可得：
Figure SMS_6
其中cos(nθ)＝Tn(cos(θ))由切比雪夫多项式近似，同时使用一个加权函数来修改傅里叶级数收敛，得到多项式的近似值：
Figure SMS_7
其中ω0，ω1，…，ωN是窗口的权重。应用的平滑迭代越多，逼近低通滤波器传递函数的多项式程度就越高。由于切比雪夫多项式是正交的，每一次平滑迭代都将切比雪夫滤波器近似的下一个高项应用于多面体，同时增加滤波器传递函数的近似阶数并不改变先前计算的低阶项的系数，所以这种将滤波器解耦为迭代应用的多项式是可实现的，从而有效的平滑网格表面。
进一步地，所述模型压缩算法采用二次误差迭代压缩算法，首先对所述三维虚拟模型使用收缩代价变量来选择收缩边，预先定义每个顶点的4×4对称误差矩阵。这些误差矩阵用于计算顶点误差，其基于特定的二次基本误差矩阵和距离平方和。然后通过多次迭代来进一步简化模型，在每个迭代中，它会根据当前误差度量减少模型中的顶点数量。如果误差大于预定的阈值，则算法将停止迭代，并保留当前模型。否则，算法将继续简化模型并进行迭代。在每次迭代中，通过计算新的顶点位置来进一步简化模型，最终达到减少整个多边形面片数的目的，优化模型存储容量。使用云渲染算法构造的组织表面模型有数万数量的三角面形成的模型，三角面的数量大小直接影响模型的存储容量，因此，需要提高实时的交互能力就必须对模型进行网格简化。
定义一个描述边的收缩代价的变量Δ，用于选择一条合适的边进行迭代收缩。对于网格中的每个顶点v，预先定义一个4×4的对称误差矩阵Q，顶点v＝[vx vy vz 1]T的误差为其二次项形式Δ(v)＝vTQv。
Figure SMS_8
是收缩边(v1,v2)的收缩后顶点，则定义/>
Figure SMS_9
的误差矩阵
Figure SMS_10
通过计算/>
Figure SMS_11
得到使/>
Figure SMS_12
取得最小值的顶点/>
Figure SMS_13
位置，该公式等价于求解：
Figure SMS_14
其中qij为矩阵
Figure SMS_15
中对应的元素。如果该系数矩阵不可逆，就在v1，v2和(v1+v2)/2中选择一个使得收缩代价/>
Figure SMS_16
取得最小的位置。对于如何计算每个顶点的初始误差矩阵Q，定义顶点的误差为顶点到这些平面的距离平方和：
Figure SMS_17
其中KP是二次基本误差矩阵：
Figure SMS_18
因此对于原始网格中顶点v，当边收缩后，新顶点误差为
Figure SMS_19
依次选取收缩后新顶点误差最小的边进行迭代收缩直到满足要求为止。最终达到减少整个多边形面片数,完成三角网格的简化的效果。最后将得到的三维虚拟模型保存为obj格式。
进一步地，上述影像处理过程在云服务中是自动化的，该过程首先使用DCAM-Unet网络的深度学习算法自动提取原始影像数据的特征，对影像进行分割处理，并通过云渲染算法将其转化为逼真的三维模型。同时，模型压缩算法被应用于该过程中，以减小模型尺寸、提高模型的运行效率和响应速度。最终，处理完成的模型被自动地存储到模型数据库中，以备后续使用。
进一步地，所述表示层客户端上设有登录页面，用于进行身份验证和权限管理，确保数据的安全性。在验证通过后，用户可以进入病例列表页面，查看全部的病例信息。当用户选择某个病例后，进入该病例的AR阅片页面，所述AR阅片页面提供了AR定位跟踪功能，客户端会自动下载医学三维虚拟模型，可以实现医学三维虚拟模型与真实场景的融合，增强了对影像的感知和理解。同时，所述AR阅片页面还设有单体模型剥离功能，用户可以通过该功能将医学影像中的感兴趣区域从整体影像模型中剥离脱离出来，调整三维虚拟影像各组织的透明度，以单独观察模型单体区域，更好地理解三维信息，提升对医学影像的分析和诊断精度。
此外，所述AR阅片页面还具备手势交互控制功能，用户可以通过手势进行影像的旋转、缩放、平移等操作，更加方便地控制影像。通过手势检测算法检测摄像头捕捉回调当前手势，当手势为捏状态并且手势碰撞检测到模型碰撞时，即可触发控制模型旋转，反之停止旋转。当手势为握住并且手势碰撞检测到模型碰撞时，即可触发控制模型位置六自由度跟随手势，反之停止跟随。当手势为捏合并拖拽并且手势碰撞检测到模型碰撞时，即可触发控制模型大小调整。
如图1所示，
本专利提出了一个医学影像分析系统，所述系统提供多种功能包括用户管理、影像管理、AR定位追踪、手势交互控制、单体模型剥离，采用深度学习算法、云渲染算法、模型压缩算法、跟踪配准算法、手势检测算法、影像加密算法、负载均衡算法、安全验证机制技术，实现了上述功能；
其中，
所述系统功能层中，用户管理模块用于管理用户账户信息，实现用户的注册和登录功能，用户可以通过该模块来查看自己的个人信息。此外，用户管理模块还提供了账户安全设置功能，如修改密码、找回密码。影像管理模块用于存储和管理医学影像数据，可以将医学影像数据上传到系统中，以便用户进行后续的分析和处理。AR定位追踪模块通过SLAM技术将虚拟模型与真实场景进行精确配准，使得虚拟模型能够准确地映射到真实场景中，用于实现医学影像的AR增强效果。手势交互控制模块用于控制模型的旋转、缩放、平移等操作。单体模型剥离模块用于在影像分析过程中将医学影像中的感兴趣区域从整体影像三维模型中剥离出来，可以单独的对感兴趣的单体区域三维模型进行位置控制和透明度调节。
所述系统逻辑层中，深度学习算法深度学习算法采用提出的双注意力深度多尺度融合U形架构网络(DCAM-Unet)模型进行病灶区域检测与分割提取。云渲染算法用于实现三维影像的渲染与外观优化，包括三维可视化及其优化；模型压缩算法用于压缩三维模型数据，减少数据传输量，最后将得到的三维虚拟模型保存为obj格式。跟踪配准算法采用基于特征点的匹配、SLAM技术，用于在AR场景中进行影像的配准、跟踪。手势检测算法通过摄像头捕捉用户的手势，识别用户手势将其转化为AR场景中的操作，控制影像模型的操作。影像加密算法基于AES、RSA等算法的加密解密技术，用于保护医学影像数据的安全性。负载均衡算法用于调度云端计算资源，实现任务的高效执行，采用动态负载均衡技术，在保证服务质量的同时，最大化地利用云端计算资源。安全验证机制用于保证用户数据的安全性，防止对系统的非法攻击和篡改，采用基于Token的身份验证技术，加强对用户身份的认证和授权。
所述数据层包括影像数据库、用户数据库、三维模型数据库、数据集库、深度学习模型库；所述影像数据库主要用于存储各类医学影像数据，如CT、MRI数据；所述用户数据库主要用于存储用户的个人信息、用户访问记录等信息；所述三维模型数据库主要用于存储三维模型数据，如人体器官、病变部位等模型数据；所述数据集库主要用于存储深度学习算法训练所需的数据集，如用于影像分割的数据集、用于影像分类的数据集；所述深度学习模型库主要用于存储深度学习算法的模型数据。
所述表示层包括移动终端、手机、平板电脑的客户端。
下面将结合本发明优选实施例,对本发明实施例中的技术方案进行清楚、完整地描述，
显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
以脑胶质瘤医学影像的分析为案，
首先在云服务中自动处理影像，该过程使用DCAM-Unet网络的深度学习算法自动提取原始影像数据的特征，对影像进行分割处理，网络结构如图2所示，然后通过云渲染算法将其转化为逼真的三维模型。同时，模型压缩算法被应用于该过程中，以减小模型尺寸、提高模型的运行效率和响应速度。云渲染和模型压缩算法流程如图3所示。最终，处理完成的模型被自动地存储到模型数据库中，以备后续使用。
上述本实施例的双注意力深度多尺度融合U形架构网络模型训练过程如下：
数据预处理，本发明使用到的脑胶质瘤数据集是Brats18数据集，该数据集提供每个病例的四个模态的MR图像序列,同时提供了医疗专家手工标注得到的每个病例的多区域脑胶质瘤分割区域掩码。MR图像的四个序列是不同模态的图像，图像对比度不一样，因此采用Z-score方式对图像零均值化和单位标准差处理。Z-score的计算公式如下：
Figure SMS_20
其中x是原始数据，μ是所有样本数据的均值，σ为所有样本数据的标准差。处理后的数据符合标准正态分布；
脑胶质瘤MR图像灰色部分为脑部区域，黑色则为背景，背景信息在整幅图像中的比例较大，而且背景对于分割没有任何帮助。故将尺寸为240×240×155的原始模态MR脑胶质瘤医学影像裁剪掉黑色背景区域，裁剪后的医学影像尺寸为160×160×155，使视场更接近大脑，避免肿瘤区域占比过小；
将标准化和裁剪后的四个模态合并成四个通道，预处理后的大小为160×160×155×4。图像预处理后输入网络进行预测，采用BCEWithLogitsLoss与交叉熵损失函数之和进行反向传播训练，Batch Size设置为2,使用Adam进行优化,momentum为0.9,初始学习率和权值衰减分别为0.03和0.0001,使用早停法解决epoch数量需要手动设置的问题。
医生利用本系统的客户端分析脑胶质瘤的状况，该过程均采用影像加密算法和安全验证机制保护医学影像数据的隐私和安全。通过客户端的登录页面，进行身份验证和权限管理，保障数据的安全性。当验证通过后，医生可以进入病例列表页面，查看全部的病例信息。当医生选择本实施例的脑胶质瘤病例后，进入该病例的AR阅片页面，客户端自动下载医学三维虚拟模型，在增强现实场景中自动的加载三维虚拟模型至现实世界0.5米前。本系统客户端的屏幕上可以看到与真实场景融合的三维虚拟影像，可以实现医学影像与真实场景的融合，增强了对影像的感知和理解。
通过AR阅片页面的单体模型剥离功能，医生可以通过该功能将医学影像中的感兴趣区域从整体影像模型中剥离脱离出来，调整三维虚拟影像各组织的透明度，以单独观察模型单体区域，更好地理解三维信息，提升对医学影像的分析和诊断精度。
此外，AR阅片页面还具备手势交互控制功能，医生可以通过手势进行影像的旋转、缩放、平移等操作，更加方便地控制影像。通过手势检测算法检测摄像头捕捉回调当前手势，当手势为捏状态并且手势碰撞检测到模型碰撞时，即可触发控制模型旋转，反之停止旋转。当手势为握住并且手势碰撞检测到模型碰撞时，即可触发控制模型位置六自由度跟随手势，反之停止跟随。当手势为捏合并拖拽并且手势碰撞检测到模型碰撞时，即可触发控制模型大小调整，将影像移动至合适位置，从而直观地观察肿瘤细节。
本发明一种基于云智能的医学影像分析移动增强现实系统和方法，系统有效支撑辅助诊断,提高医生的审片效率,同时也提高了病灶区域定位的准确性,有助于医生直观了解病灶范围,从而提高手术的成功率,降低手术风险。通过移动增强现实终端与云服务器的5G网络无线连接,降低了医生工作的局限性,医生可以在科室或病房内实时获取患者医学影像,同时降低了开发成本与运营成本。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。

Claims (10)

1.一种基于云智能的医学影像分析移动增强现实系统，其特征在于，由下向上包括：数据层、逻辑层、系统功能层和表示层；其中，
所述数据层包括影像数据库、用户数据库、深度学习模型数据库、数据集库及三维模型库，所述逻辑层采用了深度学习算法、云渲染算法、模型压缩算法、跟踪配准算法、手势检测算法、影像加密算法、负载均衡算法、安全验证机制技术，所述系统功能层通过逻辑层的以上算法实现了用户管理、影像管理、AR定位追踪、手势交互控制、单体模型剥离功能，所述表示层包括移动终端、手机、平板电脑客户端。
2.根据权利要求1所述的一种基于云智能的医学影像分析移动增强现实系统，其特征在于，所述系统功能层包括以下模块：用户管理模块用于管理用户账户信息、用户注册和登录；影像管理模块用于存储和管理医学影像数据；AR定位追踪模块用于实现医学影像的增强现实效果；手势交互控制模块用于控制模型的旋转、缩放、平移操作；单体模型剥离模块用于在影像分析过程中将医学影像中的感兴趣区域从整体影像三维模型中剥离出来。
3.根据权利要求1所述的一种基于云智能的医学影像分析移动增强现实系统，其特征在于，所述系统逻辑层中，深度学习算法采用双注意力深度多尺度融合U形架构网络模型DCAM-Unet进行病灶区域检测与分割提取；云渲染算法用于实现三维影像的渲染与外观优化；模型压缩算法用于压缩三维模型数据，减少数据传输量；跟踪配准算法采用基于特征点的匹配、SLAM技术，用于在AR场景中进行模型的配准、跟踪；手势检测算法用于识别用户手势，控制影像模型的操作；影像加密算法采用基于AES、RSA在内的算法的加密解密技术，用于保护医学影像数据的安全性；负载均衡算法用于调度云端计算资源，实现任务的高效执行，采用动态负载均衡技术，在保证服务质量的同时，最大化地利用云端计算资源；安全验证机制用于保证用户数据的安全性，防止对系统的非法攻击和篡改，采用基于Token的身份验证技术，加强对用户身份的认证和授权。
4.根据权利要求1所述的一种基于云智能的医学影像分析移动增强现实系统，其特征在于，所述数据层包括影像数据库、用户数据库、三维模型数据库、数据集库、深度学习模型库；所述影像数据库用于存储各类医学影像数据，包括CT、MRI数据；所述用户数据库主要用于存储用户的个人信息、用户访问记录等信息；所述三维模型数据库用于存储三维模型数据，包括人体器官、病变部位模型数据；所述数据集库主要用于存储深度学习算法训练所需的数据集，用于影像分割的数据集、用于影像分类的数据集；所述深度学习模型库主要用于存储深度学习算法的模型数据。
5.根据权利要求3所述的一种基于云智能的医学影像分析移动增强现实系统，其特征在于，所述深度学习算法采用双注意力深度多尺度融合U形架构网络模型DCAM-Unet进行病灶区域检测与分割提取，具体包括：
所述DCAM-Unet模型包含两个部分，分别是编码部分和解码部分，其中，编码部分由三个子模块组成，每个子模块都包括两个3×3×3的三维空洞卷积层，经过两个卷积操作后，再通过Batch Normalization和ReLU激活函数操作；所述编码部分中还包括三个下采样，每个下采样模块采用的是步长为2的2×2×2的最大池化层；编码部分的作用是分析整个图像，提取空间信息；
所述解码部分包括三个子模块，每个子模块都包括上采样，上采样模块由一个步长为2的2×2×2的反卷积层组成，然后紧跟的是两个3×3×3的空洞卷积层，再通过BatchNormalization和ReLU激活函数；解码部分通过上采样操作将下采样缩小后的特征图恢复到与输入图像一致的尺寸，分辨率通过上采样操作依次上升，直到与输入图像的分辨率一致；
跳跃连接将编码部分的浅层特征与解码部分对应的深层特征进行映射级联，跳跃连接将所述编码部分的输出与反卷积块的输出进行了特征拼接融合，在特征拼接融合之前通过通道注意力机制和空间注意力机制，将融合连接输出作为下一层反卷积块的特征输入；最后使用Softmax函数对预测结果进行分类,得到脑胶质瘤医学影像的分割结果。
6.根据权利要求3所述的一种基于云智能的医学影像分析移动增强现实系统，其特征在于，所述云渲染算法包括三维可视化和优化，通过Marching Cubes算法将所述医学影像的分割结果构建出对应组织和器官的三维虚拟模型，并对所有网格顶点进行迭代，使用窗口化的sinc函数插值核对顶点v的坐标进行修正；从而在不修改顶点或多边形顶点单元的基础上放松网格，使等值面的外观得到改善。
7.根据权利要求6所述的一种基于云智能的医学影像分析移动增强现实系统，其特征在于，所述Marching Cubes算法具体包括：
通过Marching Cubes算法以数据场中的相邻两层MR切片上的各四个像素为顶点组成的立方体为最小等值面，在影像云服务器中将所述医学影像的分割结果构建出对应组织和器官的三维虚拟模型；它以数据场中的相邻两层MR切片上的各四个像素为顶点组成的立方体为最小等值面搜索单元，在MC算法中，一个轮廓线只能以有限的方式通过一个单元；组合出15种构造枚举单元所需的所有可能的拓扑状态，称之为事例表；然后获取单元格中轮廓的拓扑结构，与提取的等值面阈值比较，从而计算单元格顶点位置状态即每个顶点位于轮廓内还是轮廓外，构造该体素的索引表，根据索引表得出与等值面有交点的边界体素，确定网格结构；然后，计算连接点位置，Marching Cubes算法采用线性插值法得到交点；假设体素的棱边与等值面相交于(x,y,z)，v1和v2是该边上的等值面顶点，则由插值公式求出交点的位置:
Figure QLYQS_1
式中T是等值面阈值，f(v1)和f(v2)是两顶点像素值，Δx，Δy，Δz被用来表示体素中两个相邻顶点之间的距离差；通过遍历体素后找到的所有等值点，创建并连接网络就可以得到等值面。
8.根据权利要求3所述的一种基于云智能的医学影像分析移动增强现实系统，其特征在于，所述模型压缩算法用于压缩三维模型数据，具体包括：采用二次误差迭代压缩算法，首先对所述三维虚拟模型使用收缩代价变量来选择收缩边，预先定义每个顶点的4×4对称误差矩阵；这些误差矩阵用于计算顶点误差，其基于二次基本误差矩阵和距离平方和；然后通过多次迭代来简化模型，在每个迭代中，它会根据当前误差度量减少模型中的顶点数量；如果误差大于预定的阈值，则算法将停止迭代，并保留当前模型；否则，算法将继续简化模型并进行迭代；在每次迭代中，通过计算新的顶点位置来进一步简化模型，最终达到减少整个多边形面片数，优化模型存储容量。
9.根据权利要求6所述的一种基于云智能的医学影像分析移动增强现实系统，其特征在于，所述负载均衡算法采用动态负载均衡技术，首先监测系统负载情况，收集各个节点的CPU利用率、内存使用率、网络带宽；根据负载情况，选择合适的节点来进行请求的分配；通过节点选择策略，选择合适的节点，使得各个节点的负载均衡，并且尽可能地降低请求的延迟和网络带宽的占用；其次，根据请求的类型和处理的难易程度，通过分配算法策略来进行请求的分配，以达到最优的负载均衡效果，并尽可能地减少请求的处理时间和系统的响应时间；在节点的选择和请求的分配过程中，需要考虑节点的响应速度和处理能力；通过响应速度策略，选择最合适的节点，并考虑节点的响应速度和处理能力，以保证系统的高效稳定运行；最后，在节点发生故障或网络异常时，需要及时地进行故障处理，通过故障处理策略，及时地进行故障处理，切换到备用节点或恢复故障节点的正常运行，以保证系统的高可用性和稳定性；
安全验证机制采用基于Token的身份验证技术，用户在登录后向服务器发送请求，服务器对用户进行身份验证。如果身份验证成功，服务器生成一个Token，并将Token发送给客户端；客户端将Token存储在本地，以便后续请求使用；在后续的请求中，客户端将Token发送给服务器进行身份验证。服务器通过Token的解析和验证，确定请求的来源和身份；如果Token验证成功，服务器响应请求并返回相应的数据；如果Token验证失败，则服务器拒绝请求，并返回错误信息。
10.一种基于权利要求1-9任一项所述系统的云智能的医学影像分析移动增强现实方法，其特征在于，包括以下步骤：
通过用户管理模块管理用户账户信息、用户注册和登录；
采用影像管理模块存储和管理医学影像数据；使用双注意力深度多尺度融合U形架构网络DCAM-Unet的深度学习算法自动提取原始影像数据的特征，对影像进行分割处理，并通过云渲染算法将其转化为逼真的三维模型；
采用AR定位追踪模块实现医学影像的增强现实效果；
采用手势交互控制模块控制模型的旋转、缩放、平移操作；
采用单体模型剥离模块在影像分析过程中将医学影像中的感兴趣区域从整体影像三维模型中剥离出来。
CN202310255768.2A 2023-03-16 2023-03-16 基于云智能的医学影像分析移动增强现实系统和方法 Pending CN116433605A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310255768.2A CN116433605A (zh) 2023-03-16 2023-03-16 基于云智能的医学影像分析移动增强现实系统和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310255768.2A CN116433605A (zh) 2023-03-16 2023-03-16 基于云智能的医学影像分析移动增强现实系统和方法

Publications (1)

Publication Number Publication Date
CN116433605A true CN116433605A (zh) 2023-07-14

Family

ID=87084587

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310255768.2A Pending CN116433605A (zh) 2023-03-16 2023-03-16 基于云智能的医学影像分析移动增强现实系统和方法

Country Status (1)

Country Link
CN (1) CN116433605A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117115045A (zh) * 2023-10-24 2023-11-24 吉林大学 基于互联网生成式人工智能提升医学影像数据质量的方法
CN117174260A (zh) * 2023-11-02 2023-12-05 四川省肿瘤医院 医疗影像数据管理系统及数据分析方法
CN117238458A (zh) * 2023-09-14 2023-12-15 广东省第二人民医院（广东省卫生应急医院） 基于云计算的重症护理跨机构协同平台系统
CN117437350A (zh) * 2023-09-12 2024-01-23 南京诺源医疗器械有限公司 一种用于手术术前规划的三维重建系统及方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117437350A (zh) * 2023-09-12 2024-01-23 南京诺源医疗器械有限公司 一种用于手术术前规划的三维重建系统及方法
CN117437350B (zh) * 2023-09-12 2024-05-03 南京诺源医疗器械有限公司 一种用于手术术前规划的三维重建系统及方法
CN117238458A (zh) * 2023-09-14 2023-12-15 广东省第二人民医院（广东省卫生应急医院） 基于云计算的重症护理跨机构协同平台系统
CN117238458B (zh) * 2023-09-14 2024-04-05 广东省第二人民医院（广东省卫生应急医院） 基于云计算的重症护理跨机构协同平台系统
CN117115045A (zh) * 2023-10-24 2023-11-24 吉林大学 基于互联网生成式人工智能提升医学影像数据质量的方法
CN117115045B (zh) * 2023-10-24 2024-01-09 吉林大学 基于互联网生成式人工智能提升医学影像数据质量的方法
CN117174260A (zh) * 2023-11-02 2023-12-05 四川省肿瘤医院 医疗影像数据管理系统及数据分析方法
CN117174260B (zh) * 2023-11-02 2024-01-30 四川省肿瘤医院 医疗影像数据管理系统及数据分析方法

Similar Documents

Publication Publication Date Title
Sharif et al. Brain tumor detection based on extreme learning
CN116433605A (zh) 基于云智能的医学影像分析移动增强现实系统和方法
Oliveira et al. Towards applying content-based image retrieval in the clinical routine
CN111046855A (zh) 图片识别方法、识别模型训练方法、装置及电子装置
CN107688783B (zh) 3d图像检测方法、装置、电子设备及计算机可读介质
CN112183541B (zh) 一种轮廓提取方法及装置、电子设备、存储介质
CN113763314A (zh) 使用深度降低卷积神经网络进行图像分割和分类的系统和方法
Cheng et al. Fully automated prostate whole gland and central gland segmentation on MRI using holistically nested networks with short connections
Ruppert et al. Medical image registration based on watershed transform from greyscale marker and multi-scale parameter search
Trimpl et al. Beyond automatic medical image segmentation—the spectrum between fully manual and fully automatic delineation
AU2019430369A1 (en) VRDS 4D medical image-based vein Ai endoscopic analysis method and product
CN117710760B (zh) 残差的注意神经网络用于胸部x线病灶检测的方法
CN113888566A (zh) 目标轮廓曲线确定方法、装置、电子设备以及存储介质
Wu et al. Semiautomatic segmentation of glioma on mobile devices
US20230103262A1 (en) Image processing method and device
CN115965785A (zh) 图像分割方法、装置、设备、程序产品及介质
Saalbach et al. A Hyperbolic Topographic Mapping for Proximity Data.
CN112837324A (zh) 基于改进的水平集的自动肿瘤影像区域分割系统及方法
CN113822846A (zh) 医学图像中确定感兴趣区域的方法、装置、设备及介质
Sofka et al. Progressive data transmission for anatomical landmark detection in a cloud
Nguyen et al. 3D biplanar reconstruction of lower limbs using nonlinear statistical models
CN115731240A (zh) 一种分割方法、装置、电子设备及存储介质
CN112037886A (zh) 放疗计划制定装置、方法及存储介质
Schmid Knowledge-based deformable models for medical image analysis
Jia et al. Density-adaptive registration of pointclouds based on Dirichlet Process Gaussian Mixture Models

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination