CN114266856A - 一种便携式ct可视化设备 - Google Patents

Abstract

本发明涉及一种便携式CT可视化设备，包括：云端服务器、便携式端设备、AI模型及CT三维重建可视化模块；云端服务器用于负责基于深度学习的CT图像的各种组织器官及骨骼的分割和文件的数据归档系统，存储与管理原始CT数据和生成的STL模型数据，并可为深度学习网络提供新的训练数据，以定期更新云和端上的AI模型；便携式端设备用于上传患者的CT影像数据、可视化交互浏览三维重建模型、导出相应的STL三维模型文件；所述AI模型用于提取CT图像中的包含各种组织器官及骨骼中的感兴趣区域进行准确、高效分割；CT三维重建可视化模块调用可视化工具包VTK，用于进行数据分割和重建，让数据处理更靠近源，从而缩短等待延迟的时间，实现与CT交互式医学影像处理。

Description

一种便携式CT可视化设备

技术领域

本发明涉及医疗领域，特别涉及一种基于深度学习和边云协同的便携式CT可视化的设备。

背景技术

医学影像对于医院中各种类型的严重疾病的诊断和监控至关重要。医学成像是对人体各个部位和组织的成像。每年医院都会生成大量的图像数据。这些图像可用于实现深度卷积神经网络，从而有助于在图像中找到不同的模式。人工智能将有助于分析这些图像，并将进一步帮助诊断，为医生做出挽救生命的决策提供工具。

在传统的诊断和治疗中，医生通过二维CT图像来观察病灶位置和具体细节，有时需要同时观察多张图像，不仅效率低，诊断的错误率也比较高，多数依靠医生的个人经验，给手术造成了很大不确定性，并且当医生与病人讲解病情时没有专业知识的普通患者容易产生误解，难以积极协助治疗。

发明内容

本发明的目的在于提供一种基于深度学习和边云协同的便携式CT可视化设备，以人工智能和边云协同为核心内容，可以快速、实时、高精度的生成各种组织器官及骨骼的CT三维可视化交互模型和STL三维模型文件，为解决目前医院中的医生诊疗、医患沟通、医护人员与第三方厂商的沟通等场景中的CT可视化设备欠缺的问题。

为实现上述目的，本发明提供如下技术方案：一种便携式CT可视化设备，包括：云端服务器、便携式端设备、AI模型及CT三维重建可视化模块；

所述云端服务器用于负责基于深度学习的CT图像的各种组织器官及骨骼的分割和文件的数据归档系统，用于存储与管理原始CT数据和生成的STL模型数据，并可为深度学习网络提供新的训练数据，以定期更新云和端上的AI模型；

所述便携式端设备用于上传患者的CT影像数据、可视化交互浏览三维重建模型、导出相应的STL三维模型文件；

所述AI模型用于提取CT图像中的包含各种组织器官及骨骼中的感兴趣区域进行准确、高效分割；

所述CT三维重建可视化模块调用可视化工具包VTK，用于进行数据分割和重建，让数据处理更靠近源，从而缩短等待延迟的时间，实现与CT交互式医学影像处理。

在一个可能的实现方式中，所述AI模型包括AI训练模块和AI测试模块，所述AI训练模块能够对AI测试模块中的AI测试模型进行阶段更新的策略，随着数据不断增多，把重建好的结果作为新的训练数据继续训练AI测试模型。

在一个可能的实现方式中，所述设备采用两种模式进行三维重构，以满足响应的使用要求；

所述模式的切换方式包括：自动判断网络延时和人为设定，以兼顾网络波动较大和网络波动较小的两种使用场景。

在一个可能的实现方式中，所述AI模型优化模式包括：

云端训练模式：在访问云端时直接利用云来训练模型，并直接在云上优化显示；

本地训练模式：将AI训练得到的优化参数下载到便携式设备上，利用所述设备上算法加AI优化后的参数进行模型的优化。

在一个可能的实现方式中，上传患者CT影像以及生成的STL三维模型文件后，所述设备自动生成对应的流水号。

在一个可能的实现方式中，所述设备上设置有训练好的AI模型、三维重建模块和STL三维模型文件生成模块，用于对患者CT影像快速、直接的进行可视化重建以及生成STL三维模型文件，以便所述设备随时进行交互浏览或者导出所对应的三维重建模型和STL模型。

在一个可能的实现方式中，所述AI模型为：所述设备通过深度学习网络对上传的数据进行训练学习生成的。

本发明与现有技术相比具有下列有益效果：本申请可以生产三维CT图形，以便于医生更清楚的观察病灶位置和具体细节，能够大幅提高效率，降低诊断的错误率。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明示例性实施例提供的便携式CT可视化设备结构示意图；

图2为本发明示例性实施例提供的3D V-Net网络结构图；

图3为本发明示例性实施例提供的边缘端设备流程图；

图4为本发明示例性实施例提供的边云协同示意图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。

需要说明的是，在不冲突的情况下，本申请中的实施例以及实施例中的特征可以相互组合。

以下先对本申请中涉及的技术做简要介绍。

卷积神经网络(Convolutional Neural Networks,CNNs)是一种前馈神经网络，人工神经元可以响应周围单元，可以进行大型图像处理。卷积神经网络包括卷积层和池化层。卷积神经网络包括一维卷积神经网络、二维卷积神经网络以及三维卷积神经网络。一维卷积神经网络常应用于序列类的数据处理；二维卷积神经网络常应用于图像类文本的识别；三维卷积神经网络主要应用于医学图像以及视频类数据识别。本申请采用端到端的训练方式，在训练时使用了一个基于Dice coefficient的新的目标函数来优化训练。它可以很好地处理前景和背景体素数量之间存在严重不平衡的情况。为了处理可用于训练的数据有限的情况，它使用了随机非线性转换和直方图匹配来增强数据。

智能边缘计算，将云计算能力拓展至用户现场，可以提供临时离线、低延时的计算服务，包括消息规则、函数计算、AI推断。智能边缘配合云，形成“云管理，端计算”的端云一体解决方案。智能边缘本地运行包，以容器化、模块化的方式，赋能无处不在的边缘计算节点，让本地设备、网关、控制器、服务器具备数据通讯、本地计算和AI推断、云端配置同步等能力；智能边缘云端管理套件，提供海量边缘管理能力，并且对接不同应用生产生态，提供强大的应用集成、测试、管理和分发的能力。

边缘计算是指一种可以在网络边缘完成的计算技术，这样的技术和平台在云和IoT设备之间上传和下载数据，以平衡系统计算、实时性、功耗和安全等方面的要求。嵌入式系统，是以应用为中心，以计算机技术为基础，并且软硬件可剪裁，适用于应用系统对功能、可靠性、成本、体积、功耗有严格要求的专用计算机系统。通过降低延迟级别，应用程序可以更高效、更快速地运行。边缘计算可以实时或更快的进行数据处理和分析，让数据处理更靠近源，而不是外部数据中心或者云，可以缩短延迟时间。在成本预算上可以大大减轻经费预算。企业在本地设备上的数据管理解决方案所花费的成本大大低于云和数据中心网络。

参与图1至图4，本申请提供了一种便携式CT可视化设备，包括：云端服务器、便携式端设备、AI模型及CT三维重建可视化模块；所述云端服务器用于负责基于深度学习的CT图像的各种组织器官及骨骼的分割和文件的数据归档系统，用于存储与管理原始CT数据和生成的STL模型数据，并可为深度学习网络提供新的训练数据，以定期更新云和端上的AI模型；所述便携式端设备用于上传患者的CT影像数据、可视化交互浏览三维重建模型、导出相应的STL三维模型文件；所述AI模型用于提取CT图像中的包含各种组织器官及骨骼中的感兴趣区域进行准确、高效分割；所述CT三维重建可视化模块调用可视化工具包VTK，用于进行数据分割和重建，让数据处理更靠近源，从而缩短等待延迟的时间，实现与CT交互式医学影像处理。

可选的，AI模型包括AI训练模块和AI测试模块，所述AI训练模块能够对AI测试模块中的AI测试模型进行阶段更新的策略，随着数据不断增多，把重建好的结果作为新的训练数据继续训练AI测试模型。

可选地，所述设备采用两种模式进行三维重构，以满足响应的使用要求；

所述模式的切换方式包括：自动判断网络延时和人为设定，以兼顾网络波动较大和网络波动较小的两种使用场景。

可选的，所述AI模型优化模式包括：云端训练模式：在访问云端时直接利用云来训练模型，并直接在云上优化显示；本地训练模式：将AI训练得到的优化参数下载到便携式设备上，利用所述设备上算法加AI优化后的参数进行模型的优化。

可选地，上传患者CT影像以及生成的STL三维模型文件后，所述设备自动生成对应的流水号。

可选地，设备上设置有训练好的AI模型、三维重建模块和STL三维模型文件生成模块，用于对患者CT影像快速、直接的进行可视化重建以及生成STL三维模型文件，以便所述设备随时进行交互浏览或者导出所对应的三维重建模型和STL模型。

可选地，AI模型为：所述设备通过深度学习网络对上传的数据进行训练学习生成的。

以下举例对本申请做进一步详细阐述。

硬件方案设计，采用树莓派4B型号8G版本，运行Ubuntu20.04LTS版本系统，同时该设备支持USB3.0端口，能够输出以60Hz的4K视频信号，支持2.4GHz和5GHz IEEE 802.11b/g/n/ac无线LAN和蓝牙5.0。该硬件采用64位四核博通BCM2711处理器，属性1.5GHz、四核、Arm Cortex-A72 CPU，同时支持VideoCore VI显卡，支持OpenGL ES 3.x，并且具有千兆以太网PHY和IEEE 1588支持。除此之外带有28个GPIO针脚，以及6个UART接口、6个12C接口和5个串行外设接口总线SPI。

硬件主要在Ubuntu系统上运搭建阿里云的Link IoT Edge，同时该设备正式支持谷歌TensorFlow和英特尔神经计算棒3代，即树莓派4B+NCS2将成为本地AI应用程序的加速器极佳平台，尤其在机器视觉上的计算处理。

高性能的边缘处理可以解决现场毫秒级的任务，很好的处理云端秒级响应的问题，并且不是所有数据都需要传输到云端，一些私密的敏感的数据，一些厂家是不愿意将数据全部放到云服务器里面，在医疗领域这种现象也是较为普遍，个人是不愿意自己的病情全部上传到云端。需要在本地处理加工后剔除敏感数据再上传到云。部分数据就本地存储或存入私有云。

云边一体架构是物联网边缘计算的主要产品架构，包括云端和边缘端两部分。云端：通过边缘计算控制台集成开发边缘一体机相关的资源，管理接入的终端设备、应用、算法等，实时监控边缘一体机及其软硬件资源。

实现步骤采用公开资料：阿里云Link IoT Edge的远程登录功能依赖设备的SSH服务，确保设备上已经开启了SSH服务。

环境设置

1、下载ubuntu镜像和SD镜像烧写工具。

2、使用Etcher将ubuntu镜像烧写到SD卡。

3、启动并配置Raspbian操作系统。

4、检查Link IoT Edge运行环境依赖。

创建边缘实例和网关

1、登录边缘计算控制台。

2、在左侧导航栏单击边缘实例。

3、创建一个边缘实例。

安装并启动Link IoT Edge

1、在边缘实例页面，单击实例名称右侧的软件安装。

2、根据环境设置软件安装相关参数，然后单击生成安装命令。

3、复制软件包下载命令备用。

4、登录您的树莓派系统机器后台。

5、任意目录下执行步骤3中已复制的命令。该命令实现一键下载、配置并启动LinkIoT Edge。执行完成后，会在当前目录中下载link-iot-edge-standard.sh脚本。

6、执行如下命令查看Link IoT Edge核心服务的运行状态。

嵌入式开发板树莓派4B在其中扮演的角色主要完成可视化界面的交互操作，存储部分敏感数据，并进行三维模型的重构运算任务。同时需要具有云端交换数据的功能。在交互时主要使用web应用的技术。其次需要综合使用现代软件技术Flask+HTML+CSS+BootStrap+MySQL+Python。使用Python的全栈开发技术，同时Python的机器学习三方库也有利于模型的训练。

边缘计算需要一个平台对分布式的资源进行统一的调度，由此而需要应用到一个中心云，中心云通过管理网络来控制边缘的分布式设备，同时当中心云的网络发生中断时，边缘设备可以通过独立的资源管理系统进行“自治管理”。当网络恢复时就再次接入中心云。

在本地的嵌入式设备中首先获得由本地医疗设备产生的第一手医疗资料，这第一资料是非专业人士无法辨认的，然后由我们的便携式可视化设备进行资料的打包整理，经由我们的物联网网关上传到云。

在云端我们会将病人的医疗影像资料进行归档处理，并依靠云端算力进行影像的格式进行转化整理。可以利用云端部署的AI模型进行模型训练，并得到优化参数，得到的优化参数可以用于便携式设备生成三维模型的优化。

同时便携式设备可以通过基于阿里云的边缘计算系统，我们需要对边缘设备进行调度管理，利用提前部署好的模型算法进行三维重构，以解决现场毫秒级的需求。在网络延时较高的时候的配合云端AI模型参数进行三维重构。在网络延迟较低的时候也可以使用云端算力直接建立三维模型，并通过终端访问显示。通过两种重构方式达到使用效果。

具体的重建工作流程为：采用图像预处理模块，对获取的原始CT图像进行增强和去噪处理，利用数学形态学运算和滤波去噪算法对原始CT图像进行处理，AI模块实现对包含各种组织器官及骨骼的感兴趣区域进行有效分割，加快分割速度，并利用提取的各种组织器官及骨骼的区域图像构造三维点云数据，可视化模块进行三维重建并调用可视化工具包VTK，将绘制结果在电脑窗口中渲染显示，并实现旋转、平移、缩放等交互操作。

CT图像预处理可以使重建后的三维图像精度更高、质量更好，对于许多图像处理算法来说滤波都是关键的处理步骤，在各种组织器官及骨骼的CT图像中不仅包含我们需要的信息，还存在肌肉、组织等无关因素，在三维重建之前的图像预处理可以消除在医学研究中的无关区域，同时增强感兴趣区域，对后期的分割和三维重建结果都至关重要，CT图像在断层扫描设备获取的过程中，会受到扫描各种组织器官及骨骼形状、表层状态因素和体内金属或其他植入体的伪影等方面的影响，所以在AI分割前应进行去噪处理，目的是在保证本身特征的同时，改善可视化操作后三维模型的精确度。

在AI模块中，所述过程如下所示：

1、图像重采样：图像重采样方法是只对轴向z行差值，y、x固定大小缩放，这样对于每一个数据，就只会有切片数量不同。在输入网络时，每个数据随机取样n个Slice数目相同的三维图片，输入网络即可。最终输入网络的数据集宽高深的大小为(128,128,128)。

2、图像归一化处理:根据要分割的部分，我们选择对各种组织器官及骨骼进行整体强度归一化，即：窗高高度40，窗宽350。最小和最大灰度值分别为-310和400。它们之间的强度值线性归一化为[-1，1]范围。小于最小值的强度设为-1，大于最大值的强度设为+1。

在本发明一实例中，所述云服务器采用基于3D V-Net改进的深度学习网络模型对获得的数据进行处理，所述基于3D V-Net改进的深度学习网络模型包括：在网络的左侧分为不同的阶段进行，使其学习Residual Function,每个阶段的输入是：1、通过卷积层并通过非线性处理，2、添加到该阶段最后一个卷积层的输出，以便能够学习ResidualFunction。在每一个阶段中实行的卷积运算使用具备5×5×5体素大小的卷积核。其分辨率随着数据沿压缩路径前进不同阶段而降低。这是通过使用步长为2的2×2×2体素宽内核的卷积来执行的。网络右侧部分提取特征，扩展低分辨率特征地图的空间支持，便于收集和组合必要的信息输出双通道体分割。前景和背景区域的概率分割由核大小为1×1×1的最后一个卷积层计算，并用softmax体素变换与输入体积大小相同的两个输出特征图。在网络右侧的每个阶段之后，都有反卷积操作来增加输入大小，然后是一到三个卷积层连接，涉及前一层一半使用的5×5×5核的数目。类似于网络的左侧，在这种情况下，残差函数也将在卷积阶段学习。

发明中所述3D V-net网络模型学习了U-net的网络结构，在卷积运算中加入残差功能模块进行非线性学习，采用Dice损失函数对三维医学图像分割结果进行评价。

发明中所述3D V-Net Dice损失函数：目标函数是一个基于Dice系数的目标函数，它是一个集合相似性度量函数，通常用于计算两个样本的相似度，该函数的值在0到1之间。用A、B表示两个轮廓区域所包含的点集，其中|A∩B|是A和B之间的交集，A和B的元素的个数分别用|A|和|B|表示，2是分子的系数，因为分母在A和B之间有一个共同的元素，这个元素是重复计算的。我们的目标是实现最大化。基于Dice的损失函数计算公式如:

其中N是像素的总数，p和g可以是三维体素或二维像素。总体概括，就是两个矩阵按位相乘后整体求和再乘以2，除以2个矩阵的按位平方后的总和。

本文中应用了具体个例对发明构思进行了详细阐述，以上实施例的说明只是用于帮助理解本发明的核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离该发明构思的前提下，所做的任何显而易见的修改、等同替换或其他改进，均应包含在本发明的保护范围之内。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性地，本申请的真正范围和精神由上述的权利要求指出。

应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

应当理解的是，在本文中提及的“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本申请的较佳实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (7)

1.一种便携式CT可视化设备，其特征在于，所述设备包括：云端服务器、便携式端设备、AI模型及CT三维重建可视化模块；

所述云端服务器用于负责基于深度学习的CT图像的各种组织器官及骨骼的分割和文件的数据归档系统，用于存储与管理原始CT数据和生成的STL模型数据，并可为深度学习网络提供新的训练数据，以定期更新云和端上的AI模型；

所述便携式端设备用于上传患者的CT影像数据、可视化交互浏览三维重建模型、导出相应的STL三维模型文件；

所述AI模型用于提取CT图像中的包含各种组织器官及骨骼中的感兴趣区域进行准确、高效分割；

所述CT三维重建可视化模块调用可视化工具包VTK，用于进行数据分割和重建，让数据处理更靠近源，从而缩短等待延迟的时间，实现与CT交互式医学影像处理。

2.根据权利要求1所述的设备，其特征在于，所述AI模型包括AI训练模块和AI测试模块，所述AI训练模块能够对AI测试模块中的AI测试模型进行阶段更新的策略，随着数据不断增多，把重建好的结果作为新的训练数据继续训练AI测试模型。

3.根据权利要求1所述的设备，其特征在于，所述设备采用两种模式进行三维重构，以满足响应的使用要求；

所述模式的切换方式包括：自动判断网络延时和人为设定，以兼顾网络波动较大和网络波动较小的两种使用场景。

4.根据权利要求1所述的设备，其特征在于，所述AI模型优化模式包括：

云端训练模式：在访问云端时直接利用云来训练模型，并直接在云上优化显示；

本地训练模式：将AI训练得到的优化参数下载到便携式设备上，利用所述设备上算法加AI优化后的参数进行模型的优化。

5.根据权利要求1所述的设备，其特征在于，上传患者CT影像以及生成的STL三维模型文件后，所述设备自动生成对应的流水号。

6.根据权利要求1所述的设备，其特征在于，所述设备上设置有训练好的AI模型、三维重建模块和STL三维模型文件生成模块，用于对患者CT影像快速、直接的进行可视化重建以及生成STL三维模型文件，以便所述设备随时进行交互浏览或者导出所对应的三维重建模型和STL模型。

7.根据权利要求1所述的设备，其特征在于，所述AI模型为：所述设备通过深度学习网络对上传的数据进行训练学习生成的。

Images