CN110009007A - 一种面向多类型疾病的人工智能手术辅助系统 - Google Patents

Abstract

本发明属于辅助手术技术领域，公开了一种面向多类型疾病的人工智能手术辅助系统，包括：服务器端和用户端两部分；其中，服务器端包括：网络结构构建模块、数据采集模块、模型建立及训练模块；用户端包括：选择疾病类型模块、摄像头实时采集图像模块、CPU计算处理模块、输出识别结果模块。本发明能够协助医生在手术过程中进行更准确更快速的判断，降低因手术医师缺乏操作经验而导致的手术失误的风险，提高手术的成功率。

Description

一种面向多类型疾病的人工智能手术辅助系统

技术领域

本发明涉及辅助手术技术领域，尤其涉及一种面向多类型疾病的人工智能手术辅助系统。

背景技术

目前，医疗资源分布不平衡一直受社会各界广泛关注。在中国，三甲医院只占医院总数的7.7％，然而在这里就医的人数比例则超过了48.7％。造成这种现象的原因是医疗资源分配不平衡，大医院集中了优质的医生、设备等资源。基于医疗资源的分配不均衡，导致患者形成了一种思维定势，“认为基层医疗水平不高，治病还得去大医院”。而手术主导医师是一个理论性、实践性极高的职业，培养专业医生的周期很长，很难在短时间内解决医疗短缺问题。在医疗需求日益高涨，医疗资源分配不均的情况下，打破患者的思维定势似乎并不容易实现。这时候，利用科技手段，用数据说话，客观的提高医院的治疗速度和质量是缓解医疗资源分配不均衡的有效措施。

人工智能在医学领域有很大的前景，特别是在具有专业知识和高诊断准确性的医疗手术辅助诊断方面。人工智能技术的出现为专业医生资源短缺提供了一个很好的解决方案。传统的机器学习技术往往使用原始形式来处理自然数据，模型的学习能力受到很大的局限，构成一个模式识别或机器学习系统往往需要相当的专业知识来从原始数据中(如图像的像素值)提取特征，并转换成一个适当的内部表示。而深度学习则具有自动提取特征的能力，它是一种针对表示的学习。深度学习允许多个处理层组成复杂计算模型，从而自动获取数据的表示与多个抽象级别。这些方法大大推动了语音识别，视觉识别物体，物体检测，药物发现和基因组学等领域的发展。通过使用不同的算法，深度学习有能力发现在大的数据集的隐含的复杂结构。基于卷积神经网络的深度学习方法具有自动学习特征的能力，近两年在医学图像处理的各种应用中展现出了卓越的能力。它符合人眼感受图像的原理，可以全自动的学习大量的特征，替代了手工选取特征。

发明内容

针对现有技术的不足，本发明提供一种面向多类型疾病的人工智能手术辅助系统，协助医生在手术过程中进行更准确更快速的判断，降低因手术医师缺乏操作经验而导致的手术失误的风险，提高手术的成功率。

本申请实施例提供一种面向多类型疾病的人工智能手术辅助系统，包括：服务器端和用户端两部分；

所述服务器端包括：网络结构构建模块、数据采集模块、模型建立及训练模块；

所述网络结构构建模块用于构建squeezenet网络；

所述数据采集模块用于采集数据并建立医疗数据集；

所述模型建立及训练模块用于利用所述医疗数据集对所述squeezenet 网络进行训练，生成辅助识别模型；

所述用户端包括：选择疾病类型模块、摄像头实时采集图像模块、CPU 计算处理模、输出识别结果模块；

所述选择疾病类型模块用于选择所要识别的疾病类型；

所述摄像头实时采集图像模块用于采集实时手术影像；

所述CPU计算处理模块用于根据所述辅助识别模型、所述实时手术影像得到辅助诊断结果；

所述输出识别结果模块用于输出显示所述辅助诊断结果。

优选的，所述用户端还包括：模型存储区；所述模型存储区用于存储所述辅助识别模型，接收所述实时手术影像。

优选的，所述服务器端还包括：验证模块；所述验证模块用于对所述辅助识别模型的准确度进行验证。

优选的，所述squeezenet网络的Fire模型包括：压缩层、扩张层；所述压缩层为1×1卷积核的卷积层，所述扩张层为1×1和3×3卷积核的卷积层。

优选的，所述数据采集模块采集的数据包括：影像图像、临床信息、疾病类型、病灶区域标注信息。

优选的，所述数据采集模块采集的数据隐去患者隐私信息和医疗机构信息。

优选的，所述生成辅助识别模型包括：将所述squeezenet网络、所述医疗数据集导入TensorFlow框架，在GPU上利用所述医疗数据集对所述 squeezenet网络进行训练，得到所述辅助识别模型。

优选的，所述摄像头实时采集图像模块还用于对采集的实时手术影像的矩阵进行归一化处理。

优选的，通过将病灶位置用红色框进行标定来显示所述辅助诊断结果。

优选的，在PC端对所述辅助识别模型的准确度进行验证，若准确度达不到预定标准，则重新建立医疗数据集进行再次验证；若准确度达到预定标准，则保存所述辅助识别模型。

本申请实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：

在本申请实施例中，结合传统医疗诊断过程和深度学习技术特点，采用squeezenet网络结构和TensorFlow框架，利用计算机视觉和深度学习技术，将手术过程中产生的医疗影像整理为训练数据集，得到相对应疾病的医疗手术辅助识别模型，最后将模型加载到用户端的模型存储区，医生即可在用户端上通过界面选择疾病类型，调用相关模型对手术中实时输入的医疗影像进行诊断，识别成功之后将结果显示在用户端界面，给出该疾病手术中应当进行的正确操作提示，从而帮助医生进行手术辅助诊断。

附图说明

为了更清楚地说明本实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一个实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种面向多类型疾病的人工智能手术辅助系统的原理图；

图2为本发明实施例提供的一种面向多类型疾病的人工智能手术辅助系统中用户端的工作流程图；

图3为本发明本发明实施例提供的一种面向多类型疾病的人工智能手术辅助系统中服务器端的工作流程图。

具体实施方式

为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。

本实施例提供了一种面向多类型疾病的人工智能手术辅助系统的原理图如图1所示，主要执行以下步骤：

步骤一：设计并构建以squeezenet网络为基础的网络结构

采用squeezenet网络为基础进行设计，网络参数总计18层。其核心在于 Fire模型，Fire模型由两层构成，分别是压缩(squeeze)层和扩张(expand)层；压缩层是一个1×1卷积核的卷积层，扩张层是1×1和3×3卷积核的卷积层，在扩张层中，把1×1和3×3的卷积层得到特征图谱(feature map)进行合并。

其中，Squeezenet网络可以显著减少参数数量，同时确保在参数数量受限的情况下提高准确率，提高模型的运算速度。即Squeezenet网络具有轻量级的特点，能够得到一个在准确度不下降太多的情况下需要更少参数的CNN网络。

此外，采用的squeezenet通过以下三种策略减少参数需求并压缩网络：

(1)使用1×1卷积代替3×3卷积，参数减少为原来的1/9。

(2)减少输入通道数量，这一部分使用压缩层来实现。

(3)将欠采样操作延后，可以给卷积层提供更大的激活图，更大的激活图保留了更多的信息，可以提供更高的分类准确率。

步骤二：制作医疗数据集

利用现有数据，包括影像图像、临床信息、疾病类型和病灶区域标注信息，制作VOC格式的数据集，将得到的大量带有标注信息的医疗图像作为训练数据集，供后续使用。

其中，现有数据的来源包括：公开数据集及各级医院的病例数据。各级医院包括社区医院、三甲医院等各级医院，数据来源尽量涵盖各类医疗机构及人群、高质量影像及常见临床疾病手术影像，影像检查设备包括目前国内外各大常用厂商，如西门子、飞利浦、东芝、GE、东软、联影等，尽量降低其他因素对诊断结果可能产生的影响。

优选的情况，数据集制作包括隐去患者隐私信息和医疗机构信息，这样能够保证患者隐私不被泄漏。

步骤三：服务器端加载深度学习模型

将数据集导入Tensorlfow框架中，其中框架中包含了算法运行所需的标签数据，再利用Tensorflow框架包含的Tensorpack工具包进行数据量化，在 NVIDIA GTX 1080TI服务器上进行迭代训练，最终将生成量化的模型；在训练过程中，随着迭代次数增多，量化得到的模型性能再不断改善；并将训练后的模型保存在用户端的模型存储区中，待用后续使用。

TensorFlow框架可部署于各类服务器、PC终端和网页并支持GPU和TPU 高性能数值计算，被广泛应用于各类机器学习(machine learning)算法的编程实现。本发明利用Tensorflow框架来实现所构建的squeezenet网络结构，与框架中所包含的标签数据合成计算图，对数据集中的医疗影像进行计算，得到待验证的前期辅助识别模型，能够有效提高使用效率、容错率。

优选的情况，在模型保存前期，先将模型在PC端上用数据集训练并验证构建的辅助识别模型的准确性；若准确性可靠，则将辅助识别模型保存到用户端的模型存储区。

在当今主流的人工智能算法运算平台中，包括PC端、Jetson tx2和PYNQ-Z2嵌入式开发板等，其中PC端功率大、运算速度快、准确率高，更能符合医院中医疗影像实时处理的要求。

步骤四：用户端选择疾病类型并显示结果

用户在用户端的系统界面上的疾病列表中选择疾病类型，结果返回到服务器中，并调用模型存储区中预先保存的辅助识别模型；之后用户端采集实时医疗图像，利用预先保存的辅助识别模型识别所采集的医疗图像，得到识别结果，并将得到的辅助诊断结果显示在用户端界面上。

优选的情况，CPU计算处理模块将用户端摄像头采集的图像的矩阵进行归一化，运用三维和二维矩阵的相互转换最大化优化显示效果，达到最高的显示帧率。神经网络中的卷积层逐步提取特征信息，中间穿插池化层减小数据大小，降低参数的数量和计算量，经过特征提取，得到一个一维1×4bounding box矩阵；从bounding box矩阵中提取四行，分别得到最符合训练数据的位置坐标(Xmin,Xmax,Ymin,Ymax)，最后在输出识别结果模块中调用cv2.rectangle函数将病灶位置用显眼的红色框标定出来。

下面从用户端、服务器端的角度对本发明做进一步的说明。

如图1，本发明提出的一种面向多类型疾病的人工智能手术辅助系统执行的具体步骤如下：

设计并构建以squeezenet网络为基础的网络结构，同时收集算法运行所需要的标签数据，导入TensorFlow框架。制作医疗数据集，包括影像图像、临床信息、疾病类型和病灶区域标注信息，将得到的大量带有标注信息的医疗图像作为训练数据集；在GPU上训练该网络，得到辅助识别模型，将模型在 PC端上用数据集验证构建的辅助识别模型的准确性，若准确性可靠，则将模型保存于用户端的模型存储区；用户通过用户端界面选择疾病类型，并采集实时手术影像送至模型存储区，CPU调用模型并进行运算，最后将输出结果显示在用户端界面上。

本发明提出的一种面向多类型疾病的人工智能手术辅助系统中的用户端，如图2所示，包括选择疾病类型模块、摄像头实时采集图像模块、CPU 计算处理模、输出识别结果模块。

用户端的的工作流程如图2所示，主要包括以下步骤：

(1)进入用户端后，用户在界面中选择所要识别的疾病类型；

(2)摄像头采集实时手术影像并上传至模型存储区；

(3)收到实时影像后用户端内的模型存储区将调用预先存储的相关疾病的辅助识别模型，并送至CPU中，CPU接收到相关指令后运行程序进行计算；

(4)将识别结果输出显示在用户端界面上，方便医生查看。

本发明提出的一种面向多类型疾病的人工智能手术辅助系统中的服务器端的工作流程图如图3所示：

(1)设计并构建以squeezenet网络为基础的网络结构，制作医疗数据集，数据集包括影像图像、临床信息、疾病类型和病灶区域标注信息，将得到的大量带有标注信息的医疗图像作为训练数据集，将squeezenet网络和不同类型疾病数据集导入TensorFlow框架中；

(2)在GPU上迭代30000次训练该网络，得到辅助识别模型，将模型在 PC端上用数据集验证构建的辅助识别模型的准确性；若准确性可靠，则将模型保存于用户端的模型存储区，否则重新采集数据集送入PC端进行再次验证，直到准确性达到一定指标。

(3)将训练完成的模型保存于用户端的模型存储区，待用户完成疾病选择和数据采集后方可进行调用。

结合传统医疗诊断过程和深度学习技术特点，本发明采用squeezenet网络结构和TensorFlow框架，利用计算机视觉和深度学习技术，将手术过程中产生的医疗影像整理为训练数据集，在GPU上训练该网络，得到辅助识别模型，经过PC端验证准确性后，将得到相对应疾病的医疗手术辅助识别模型加载到用户端的模型存储区，医生即可在用户端上通过界面选择疾病类型，调用相关模型对手术中实时输入的医疗影像进行诊断，识别成功之后将结果显示在用户端界面，给出该疾病手术中应当进行的正确操作提示，从而帮助医生进行手术辅助诊断。

即该技术实现方案包括两个部分，用户端与服务器端。

用户端，采用移动开发技术，主要应用于android移动平台，包括选择疾病类型模块，摄像头实时采集图像模块，CPU计算处理模块和输出识别结果模块。

选择疾病类型模块由一触摸显示屏构成，系统开机后显示屏主页将显示疾病类型选择方框，用户可根据手术需要选择相应的疾病类型，选择类型后界面将自动进入摄像头实时采集图像模块。

摄像头实时采集图像模块以可拆卸移动设备数据采集工具为主，主要是摄像机，亦可是内窥镜等手术影像采集工具，当接收到识别指令，调用摄像采集待识别数据，一般数据采集后为图片或视频格式，图片或影像大小过大对于传输效率有所影响，因此该模块还将对采集后的图片进行的图像或视频压缩，来提高数据处理效率。

CPU计算处理模块设备采用Nvidia GTX1080TI和Intel core i7-8700，经试验测试，在准确率为83.7％的条件下识别速度能够达到46FPS，准确度高并且速度快，能够实现良好的运算效果。

输出识别结果模块是将CPU计算处理模块输出的结果调用cv2.rectangle 函数将病灶位置用显眼的红色框标定出来并显示在用户端界面上，方便医生查看。

此外，由于移动设备在无线环境下，网络的带宽及稳定性的限制，且需要从服务器上加载大量的模型数据，其过程耗时比较长，因此识别过程中不适合实时下载识别模型。基于以上原因，在用户端中增加了模型存储区，能根据硬件设备及用户的需要，将一些已经训练好的模型进行保存。通过用户端的模型存储区能方便调用模型数据，提高系统识别速度。

服务器端，包括网络结构构建模块、数据采集模块、模型建立及训练模块、验证模块。

所述网络结构构建模块用于构建squeezenet网络。

所述数据采集模块用于采集数据并建立医疗数据集。

所述模型建立及训练模块用于利用所述医疗数据集对所述squeezenet 网络进行训练，生成辅助识别模型。

所述验证模块用于对所述辅助识别模型的准确度进行验证。

综上，本发明提出的一种面向多类型疾病的人工智能手术辅助系统，结合计算机视觉和深度学习技术对医学影像进行学习训练，利用卷积神经网络对输入的实时图像进行检测判断，可协助医生在手术过程中对不同疾病的病灶进行检测识别，能够在手术中给予年轻基层医师以辅助导引，帮助医师更迅速地做出判断和决策，提高手术的成功率，切实缓解医疗资源分配不均匀所引发的问题，造福患者。

本发明实施例提供的一种面向多类型疾病的人工智能手术辅助系统至少包括如下技术效果：

1)本发明的面向多类型疾病的人工智能手术辅助系统借助深度学习技术，以人工智能模型的高精度的识别能力，实现在手术过程中对不同疾病的病灶区域的提示，对手术操作进行辅助指导，从而协助医生在手术过程中进行更准确更快速的判断，降低因手术医师缺乏操作经验而导致的手术失误的风险，提高手术的成功率；

2)该系统包含验证模块，能不断验证和优化模型，解决了现有技术中计算机辅助软件无法反馈、无法自学习自更新的问题，通过对数据集的更新和模型训练次数的增加，可提高辅助结果的准确性和可靠性；

3)与现有技术相比能够节省人工的成本，对经验不足的年轻医生有辅助的作用，同时能起到教育指导的功能，是学校和医院的教学资源。

本发明代表智能医疗发展趋势，对智能系统辅助医疗具有积极的推动作用。

最后所应说明的是，以上具体实施方式仅用以说明本发明的技术方案而非限制，尽管参照实例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (10)

1.一种面向多类型疾病的人工智能手术辅助系统，其特征在于，包括：服务器端和用户端两部分；

所述服务器端包括：网络结构构建模块、数据采集模块、模型建立及训练模块；

所述网络结构构建模块用于构建squeezenet网络；

所述数据采集模块用于采集数据并建立医疗数据集；

所述模型建立及训练模块用于利用所述医疗数据集对所述squeezenet网络进行训练，生成辅助识别模型；

所述用户端包括：选择疾病类型模块、摄像头实时采集图像模块、CPU计算处理模块、输出识别结果模块；

所述选择疾病类型模块用于选择所要识别的疾病类型；

所述摄像头实时采集图像模块用于采集实时手术影像；

所述CPU计算处理模块用于根据所述辅助识别模型、所述实时手术影像得到辅助诊断结果；

所述输出识别结果模块用于输出显示所述辅助诊断结果。

2.根据权利要求1所述的面向多类型疾病的人工智能手术辅助系统，其特征在于，所述用户端还包括：模型存储区；

所述模型存储区用于存储所述辅助识别模型，接收所述实时手术影像。

3.根据权利要求1所述的面向多类型疾病的人工智能手术辅助系统，其特征在于，所述服务器端还包括：验证模块；

所述验证模块用于对所述辅助识别模型的准确度进行验证。

4.根据权利要求1所述的面向多类型疾病的人工智能手术辅助系统，其特征在于，所述squeezenet网络的Fire模型包括：压缩层、扩张层；

所述压缩层为1×1卷积核的卷积层，所述扩张层为1×1和3×3卷积核的卷积层。

5.根据权利要求1所述的面向多类型疾病的人工智能手术辅助系统，其特征在于，所述数据采集模块采集的数据包括：影像图像、临床信息、疾病类型、病灶区域标注信息。

6.根据权利要求1所述的面向多类型疾病的人工智能手术辅助系统，其特征在于，所述数据采集模块采集的数据隐去患者隐私信息和医疗机构信息。

7.根据权利要求1所述的面向多类型疾病的人工智能手术辅助系统，其特征在于，所述生成辅助识别模型包括：将所述squeezenet网络、所述医疗数据集导入TensorFlow框架，在GPU上利用所述医疗数据集对所述squeezenet网络进行训练，得到所述辅助识别模型。

8.根据权利要求1所述的面向多类型疾病的人工智能手术辅助系统，其特征在于，所述摄像头实时采集图像模块还用于对采集的实时手术影像的矩阵进行归一化处理。

9.根据权利要求1所述的面向多类型疾病的人工智能手术辅助系统，其特征在于，通过将病灶位置用红色框进行标定来显示所述辅助诊断结果。

10.根据权利要求3所述的面向多类型疾病的人工智能手术辅助系统，其特征在于，在PC端对所述辅助识别模型的准确度进行验证，若准确度达不到预定标准，则重新建立医疗数据集进行再次验证；若准确度达到预定标准，则保存所述辅助识别模型。