CN114092465A - 一种基于深度学习的肺癌辅助诊疗系统及方法 - Google Patents

一种基于深度学习的肺癌辅助诊疗系统及方法 Download PDF

Info

Publication number
CN114092465A
CN114092465A CN202111447046.4A CN202111447046A CN114092465A CN 114092465 A CN114092465 A CN 114092465A CN 202111447046 A CN202111447046 A CN 202111447046A CN 114092465 A CN114092465 A CN 114092465A
Authority
CN
China
Prior art keywords
module
lung
algorithm
image
subsystem
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202111447046.4A
Other languages
English (en)
Inventor
刘韬
黄�俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN202111447046.4A priority Critical patent/CN114092465A/zh
Publication of CN114092465A publication Critical patent/CN114092465A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Pathology (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本发明公开了一种基于深度学习的肺癌辅助诊疗系统，包括Web子系统和算法子系统，Web子系统包括客户端模块和服务端模块，客户端模块为用户提供图形化界面，服务端模块为客户端模块提供数据支持和业务处理，客户端模块与服务端模块的配合使用，将操作流程进行了可视化展示，为医生和就诊者提供了良好的人机交互界面。本发明通过引入深度学习目标检测领域的YoloV3算法和图像分割领域的UNet算法，结合肺部CT影像数据集，训练出肺结节检测模型和肺部器官分割模型，辅助医生开展肺结节检测识别和肺部危及器官及病灶靶区的勾画工作，提高了医生的工作效率，解决了目前肺癌诊断和治疗中过分依赖医生经验，且医生工作量大容易导致误诊、漏诊的问题。

Description

一种基于深度学习的肺癌辅助诊疗系统及方法
技术领域
本发明涉及深度学习、辅助医疗影像技术领域，具体为一种基于深度学习的肺癌辅助诊疗系统及方法。
背景技术
肺癌是除乳腺癌外全球发病人数最多的癌症，肺癌的治疗方法目前主要有外科治疗、中医治疗和内科治疗三种手段，而内科治疗的主要方法有化学治疗和放射治疗，其中有七成左右的肺癌患者需要接受放射治疗，放射治疗是肺癌治疗中一个很重要的手段，放射治疗利用高能量的放射线杀死体内癌细胞，在放射治疗前，医生必须精确定位照射范围，并在皮肤上做出明显标志，以免发生偏差，损伤周围正常组织。
肺癌的诊断一般先由放射科医生分析CT影像，普通的放射科医生在日常工作中需要每3-4秒做出一个诊断结果，高强度的工作会在很大程度上影响医生诊断结果的准确性，造成漏诊和误诊，且肺癌在放射治疗前，需要由放射科医生依据医学影像对病灶靶区和危及器官进行勾画，医生需要逐一对成百上千张的CT影像进行处理，这种高强度的工作量会使得医生在阅片中疲劳、走神，可能影响诊断结果。
发明内容
本发明的目的在于提供一种基于深度学习的肺癌辅助诊疗系统及方法，结合深度学习算法模型，搭建肺癌辅助诊疗系统，辅助肺癌的诊断和放射治疗两个过程，具备在诊断阶段快速定位CT影像中的肺结节，减小医生工作量，降低误诊、漏诊率的优点，同时具备在放射治疗阶段辅助医生进行肺部器官勾画，提高医生工作效率，避免过分依赖医生主观经验的优点，解决了目前肺癌诊断和治疗中过分依赖医生经验，且医生工作量大容易导致误诊、漏诊的问题。
为实现上述目的，本发明提供如下技术方案：一种基于深度学习的肺癌辅助诊疗系统，包括Web子系统和算法子系统，所述Web子系统包括客户端模块和服务端模块，所述客户端模块用于为用户提供图形化界面，客户端模块采用自适应页面设计，用户可以在台式电脑、移动电脑和平板电脑上使用肺癌辅助诊疗系统，客户端模块将用户的请求发送至服务端模块进行业务处理后，再通过客户端模块将处理后的结果展示给用户查看，所述客户端模块分为表示层、结构层、行为层，表示层采用CSS技术设置页面样式，结构层采用HTML技术搭建网页结构，结构层调用表示层进行网页内容的排版显示，行为层采用JavaScript和JQuery技术构建，负责实现结构层数据请求和修改的逻辑行为，所述服务端模块包括云平台和后端系统，所述云平台包括Nginx服务器和MySQL数据库，所述后端系统采用Java和SpringBoot技术搭建，服务端模块用于为客户端模块提供数据支持和业务处理，所述后端系统包括RESTful接口，客户端模块利用Ajax技术通过RESTful接口与后端系统进行通信，将用户业务请求传达到服务端模块进行处理，服务端模块与客户端模块交互，后端系统负责接收客户端模块的业务请求，进行业务逻辑处理工作，再将处理结果返回给客户端模块，同时云平台与后端系统进行数据交互，为Web子系统提供业务数据存储工作；
所述算法子系统包括Flask框架服务模块、Pytorch程序模块、MongoDB数据库和文件存储库，Pytorch程序模块包括数据读取模块、数据预处理模块、肺结节检测模型训练模块、肺部器官分割模型训练模块、辅助诊断模块、辅助治疗模块和数据保存模块，所述Flask框架服务模块，将算法子系统构建成应用服务，对外提供RESTful接口，Web子系统通过RESTful接口与算法子系统通信；所述MongoDB数据库和文件存储库，用于存储肺部CT影像数据集以及经过算法子系统处理后的肺部CT影像；
所述算法子系统的工作场景分为两个阶段，第一个阶段是算法模型训练阶段，第二个阶段是算法模型应用阶段，其中算法模型训练阶段是训练肺结节检测模型和肺部器官分割模型的工作阶段，算法模型应用阶段是使用训练好的算法模型对就诊者的CT影像进行肺结节检测和肺部器官分割的工作阶段，当第一个阶段训练出肺结节检测模型和肺部器官分割模型后才会进入第二阶段进行算法模型的应用；
所述数据读取模块采用Pydicom组件编写，应用在算法子系统的两个阶段，在算法模型训练阶段，用于从文件存储库中读取医生前期标注好的肺部CT影像数据集，在算法模型应用阶段，用于读取Web子系统传输过来的就诊者CT影像，在两个阶段都负责将读取到的CT影像数据保存在算法子系统内存中，供数据预处理模块使用，所述数据预处理模块采用Transforms组件编写，应用在算法子系统的两个阶段，在算法模型训练阶段，用于扩增肺部CT影像数据集和对数据集的影像进行微调，并将肺部CT影像数据集划分好训练集、验证集和测试集并保存在文件存储库中，以供肺结节检测模型训练模块和肺部器官分割模型训练模块工作使用，在算法模型应用阶段，用于对就诊者的CT影像进行微调，使其符合算法模型的应用要求，经过预处理后的就诊者CT影像，传入到辅助诊断模块和辅助治疗模块做进一步工作，所述肺结节检测模型训练模块包括YoloV3目标检测算法网络，应用在算法模型训练阶段，YoloV3算法网络结合文件存储库中的肺部CT影像训练集、验证集和测试集，训练肺结节检测模型，以供辅助诊断模块使用，所述肺部器官分割模型训练模块包括UNet图像分割算法网络，应用在算法模型训练阶段，UNet算法网络结合文件存储库中的肺部CT影像训练集、验证集和测试集，训练肺部器官分割模型，以供辅助治疗模块使用，所述辅助诊断模块包括肺结节检测模型，应用在算法模型应用阶段，在患者早期诊断期间，利用肺结节检测模型从就诊者的CT影像中检测定位肺结节，能有效帮助医生筛查出潜在的肺癌病灶，防止漏诊和误诊，所述辅助治疗模块，包括肺部器官分割模型，应用在算法模型应用阶段，在患者放射治疗期间，利用肺部器官分割模型从就诊者的CT影像中对肺部器官进行分割工作，辅助医生制定治疗方案，所述数据保存模块应用在算法子系统的两个阶段，在算法模型训练阶段，负责将数据预处理模块处理肺部CT数据集产生的训练集、验证集和测试集保存在文件存储库中，并将训练好的肺结节检测模型和肺部器官分割模型保存在文件存储库中，在算法模型应用阶段，采用OpenCV技术，将经过辅助诊断模块和辅助治疗模块处理过的CT影像转换为JPEG格式保存在文件存储库上，方便用户查看，并且将CT影像在文件存储库中存储的物理地址保存在MongoDB数据库中。
优选的，所述Web子系统功能模块包括用户登陆注册模块、预约挂号模块、辅助诊断模块、辅助治疗模块、划价收费模块、药房取药模块、用户中心模块和系统维护模块，预约挂号模块包括挂号收费子模块和挂号记录子模块，辅助诊断模块包括数据读取子模块、影像显示子模块和数据保存子模块，辅助治疗模块还包括影像显示子模块和数据保存子模块，用户中心模块包括个人中心子模块和账户设置子模块，系统维护模块包括公告管理子模块和角色审核子模块。
优选的，所述Web子系统中的辅助诊断模块、辅助治疗模块、数据读取子模块、数据保存子模块和算法子系统中的辅助诊断模块、辅助治疗模块、数据读取模块、数据保存模块的工作职责不同，Web子系统中的这些模块是用户可以在系统页面上看到的功能模块，用户可以在系统页面上通过可视化的方式操作这些模块，而算法子系统中的上述四种模块是在算法层面上的应用。
优选的，所述算法模型训练阶段，包括以下步骤：
步骤一、算法子系统调用数据读取模块从文件存储库中读入医生前期标注好的CT影像数据集；
步骤二、算法子系统数据预处理模块扩展微调CT影像数据集，并且划分训练集、验证集和测试集；
步骤三、算法子系统调用数据保存模块将划分好的数据集保存在文件存储库中；
步骤四、进入肺结节检测模型训练模块和肺部器官分割模型训练模块准备进行模型训练工作，分别构建YoloV3肺结节检测网络和UNet肺部器官分割网络；
步骤五、使用肺部CT影像训练集分别对YoloV3算法网络和UNet算法网络进行训练得到肺结节检测模型和肺部器官分割模型；
步骤六、使用验证集分别对训练好的肺结节检测模型和肺部器官分割模型进行验证，从多次迭代训练中挑选出最优模型；
步骤七、使用测试集对挑选出的最优模型进行测试；
步骤八、如果测试结果不满足要求，则将训练参数调整优化，重新进行模型训练；
步骤九、如果测试结果满足要求，则调用数据保存模块保存模型至文件存储库中；
步骤十、最后分别将文件存储库中保存的最优的肺结节检测模型和最优的肺部器官分割模型嵌入到辅助诊断模块和辅助治疗模块中进行部署，供分析就诊者CT影像时使用。
优选的，所述肺结节检测模型训练模块在使用YoloV3算法网络训练肺结节检测模型时，直至损失函数稳定不再下降则停止训练，损失函数是预测值和真实值之间差异的数值化表示，是决定算法网络训练学习质量的关键，在算法网络结构不变的前提下，损失函数选择不当会导致训练出来的模型精度差的效果，训练肺结节检测模型过程中采用的损失函数如下：
Figure BDA0003385071890000061
上式中，λcoord为预测坐标的误差系数，λnoobj为不包含识别目标时置信度的误差系数，S2表示将输入的CT影像划分成的网格数量，B表示每一个网格产生的预测框数量，
Figure BDA0003385071890000062
表示第i个网格的第j个预测框是否负责这个目标，如果负责那么
Figure BDA0003385071890000063
否则为0，
Figure BDA0003385071890000064
表示第i个网格的第j个预测框如果不负责这个目标则
Figure BDA0003385071890000065
否则为0，xi，yi，wi，hi分别表示预测的目标中心点的横、纵坐标、宽度和高度，
Figure BDA0003385071890000066
分别表示真实的目标的中心点横、纵坐标、宽度和高度，Ci和
Figure BDA0003385071890000067
分别表示第i个网格中存在待检测目标的预测置信度和真实置信度，Pi(c)和
Figure BDA0003385071890000068
分别表示第i个网格中目标识别属于某个类别的预测概率值和真实概率值。
优选的，所述肺部器官分割模型训练模块在使用UNet算法网络训练肺部器官分割模型时，直至损失函数稳定不再下降则停止训练，训练肺部器官分割模型过程中采用的损失函数如下：
Figure BDA0003385071890000071
上式为交叉熵损失函数，交叉熵损失函数能够保证背景被正确的分割，
Figure BDA0003385071890000072
上式为Dice损失函数，该损失函数将Dice系数最大化，使得其接近于零值，从而使得模型更加的快速收敛，
上述两个式子中，N为待分割CT影像中像素点的集合，L为金标准标签像素点集合，gij为第i个像素点和第j个金标准像素点的真实类别，pij为第i个像素点和第j个金标准像素点的预测类别；
本发明混合两种损失函数的优点，将交叉熵损失函数和Dice损失函数结合，作为训练的混合损失函数可表达为：
Loss＝LossBCE+LossDice。
优选的，所述肺癌辅助诊疗系统的物理架构包括应用接入层、应用服务层和数据服务层，用户通过台式电脑、移动电脑和平板电脑操作系统时，产生的请求先进入应用接入层，在应用接入层中经过Nginx服务器处理后进入应用服务层，所述Nginx服务器起到负载均衡、减轻单个服务器负载压力的作用，当用户操作系统时，为防止同一时间用户访问量大，Nginx服务器可以将请求转发到不同应用服务器和数据服务器上进行处理，所述应用服务层包括Web子系统应用服务器集群、算法子系统应用服务器集群和Zookeeper注册中心，先将算法子系统应用服务器集群注册到Zookeeper中心，当Web子系统调用算法子系统时，发送请求服务至Zookeeper中心，接着Zookeeper中心进行服务的调度安排，将请求转发至空闲的算法子系统服务器中进行处理，请求经过应用服务层处理后，进入到数据服务层，所述数据服务层包括MySQL数据库服务器、MongoDB数据库服务器和文件存储库服务器，通过数据服务层获取业务所需的数据并返回给应用服务层，或者将应用服务层处理的结果进行持久化保存在数据服务层。
优选的，所述肺癌辅助诊疗系统面向的用户群体是管理员、挂号员、医师和取药员，管理员的工作职责是在系统维护模块中对公告通知进行维护管理和对注册用户进行角色审核，挂号员的工作职责是负责在预约挂号模块中帮助就诊者办理就诊卡，并帮助就诊者进行挂号操作，医师的工作职责是结合系统的辅助诊断模块和辅助治疗模块给出CT分析结果，加上自身的专业知识和从医经验，对就诊者的病情进行确诊，并给出治疗方案，取药员的工作职责是负责在系统上对就诊者完成划价收费和取药的工作。
优选的，所述肺癌辅助诊疗系统的详细架构包括用户层、视图层、业务层、算法层和数据层，用户层有不同的用户群体，针对不同的用户群体，肺癌辅助诊疗系统有不同的权限控制，视图层由客户端模块构成，负责对用户的操作进行可视化展示，业务层由后端系统负责，用于对用户的请求进行业务逻辑处理，为肺癌辅助诊疗系统各个模块的业务操作提供逻辑支持，算法层由算法子系统构成，用于对业务层的CT影像数据进行算法处理，将就诊者肺部CT影像结合肺结节检测模型和肺部器官分割模型进行肺结节的检测工作和肺部器官分割工作，辅助医生进行诊断和制定治疗方案，其中CT影像数据存储在文件存储库中，MongoDB数据库中保存影像储存在文件存储库中的物理地址，数据层负责为肺癌辅助诊疗系统提供持久化数据保存，由文件存储库、MySQL数据库、MongoDB数据库组成，数据库服务器之间存在主从备份，防止服务器宕机导致数据丢失，后端系统通过Spring Data JPA框架技术与MongoDB数据库和MySQL数据库通信，肺癌辅助诊疗系统用Log4j记录用户操作日志。
一种基于深度学习的肺癌辅助诊疗方法，包括以下步骤：
步骤一、用户在肺癌辅助诊疗系统界面通过登陆进入到系统中，或者用户进行注册，当用户注册的信息通过系统管理员审核后，用户即可登陆进入系统；
步骤二、进入系统后，挂号员在系统预约挂号模块帮助就诊者办理就诊卡；
步骤三、当就诊者办理完就诊卡后，挂号员在系统的预约挂号模块帮助就诊者预约放射科专家门诊；
步骤四、医师指导就诊者拍摄肺部CT影像后，在Web子系统的辅助诊断模块上传就诊者CT影像，辅助诊断模块的先调用数据读取子模块读取医生上传的CT影像，然后调用数据保存子模块将就诊者CT影像保存在文件存储库中，最后调用影像显示子模块显示就诊者的CT影像；
步骤五、Web子系统向Zookeeper注册中心发送申请调用算法子系统的请求，Zookeeper接到请求后，分配空闲的算法子系统应用服务器给Web子系统提供服务；
步骤六、算法子系统调用数据读取模块将保存在文件存储库里的CT影像读取到内存中，传输给数据预处理模块，数据预处理模块对CT影像数据进行微调，随后传入到辅助诊断模块，在辅助诊断模块中结合之前训练好的肺结节检测模型对就诊者的CT影像进行肺结节检测工作；
步骤七、在算法子系统的辅助诊断模块处理完就诊者的CT影像后，调用算法子系统数据保存模块将处理后的CT影像转换成JPEG的格式，保存在文件存储库中，并且将CT影像在文件存储库中存储的物理地址保存在MongoDB数据库中；
步骤八、随后算法子系统将处理后的CT影像的存储地址返回给Web子系统，Web子系统调用影像显示子模块显示经过辅助诊断模块处理过的CT影像；
步骤九、医师根据肺结节检测后的CT影像，结合自身专业知识和从医经验，确认就诊者是否患有恶性肿瘤，最后Web子系统调用数据保存子模块将诊断结果保存在MySQL数据库中；
步骤十、如果确认就诊者无恶性肿瘤，则系统步骤流程结束；
步骤十一、如果患有恶性肿瘤，则进入治疗流程，在Web子系统的辅助治疗模块中对就诊者的CT影像调用算法子系统的辅助治疗模块进行处理，使用训练好的肺部器官分割模型进行肺部器官分割工作；
步骤十二、在算法子系统的辅助治疗模块处理完就诊者的CT影像后，调用算法子系统数据保存模块将处理后的CT影像转换成JPEG的格式，保存在文件存储库中，并且将CT影像在文件存储库中存储的物理地址保存在MongoDB数据库中；
步骤十三、随后算法子系统将处理后的CT影像的存储地址返回给Web子系统，Web子系统调用影像显示子模块显示带有肺部器官分割信息的CT影像；
步骤十四、医师根据肺部器官分割后的CT影像，结合自身专业知识和从医经验，对病灶靶区和危及器官进行勾画工作，随后同其他专家进行会诊设计治疗方案，最后Web子系统调用数据保存子模块将治疗方案保存在MySQL数据库中；
步骤十五、取药员对治疗方案中的费用进行划价收费，收费后将药物发放给就诊者。
与现有技术相比，本发明的有益效果如下：
1、本发明通过引入深度学习目标检测领域的YoloV3算法网络，结合肺部CT影像数据集，训练出肺结节检测模型，在肺癌诊断早期，通过肺结节检测模型处理就诊者CT影像，可以辅助医生对肺结节进行检测识别，让医生能够快速、准确的定位到肺结节，进而进行肺癌的临床诊断，减小医生工作量，降低漏诊、误诊率，同时，通过引入深度学习图像分割领域的UNet算法网络，结合肺部CT影像数据集，训练出肺部器官分割模型，在肺癌的放射治疗过程中，使用肺部器官分割模型处理就诊者CT影像，可以辅助医生进行肺部危及器官和病灶靶区的勾画工作，提高了医生的工作效率，避免过分依赖医生主观经验，使得器官勾画工作更加客观、准确，解决了目前肺癌诊断和治疗中过分依赖医生经验，且医生工作量大容易导致误诊、漏诊的问题。
2、本发明采用深度学习方法训练算法模型，相比传统的机器学习算法，深度学习通过监督学习的方式进行端到端的训练，极大地简化了模型的训练及测试过程，且不需要手工提取CT影像特征，可以自动学习判别性的特征，在早期肺癌的诊断和治疗中发挥极为重要的作用。
3、本发明通过客户端模块与服务端模块的配合使用，将操作流程进行了可视化展示，为医生和就诊者提供了良好的人机交互界面，使得计算机技术更好的服务社会。
4、本发明开发了肺癌辅助诊疗系统，用于诊断和治疗两个阶段，方便医护人员使用，本发明为肺癌等肿瘤诊疗提供了新的工作思路，具有一定的理论研究价值和工程应用价值。
附图说明
图1为本发明的总体架构图；
图2为本发明的Web子系统功能模块图；
图3为本发明的Web子系统架构图；
图4为本发明的Web子系统客户端模块图；
图5为本发明的Web子系统服务端模块图；
图6为本发明的算法子系统架构图；
图7为本发明的算法模型训练流程图；
图8为本发明的总体物理架构图；
图9为本发明的总体详细架构图；
图10为本发明的总体流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1-10，本发明提供一种技术方案：一种基于深度学习的肺癌辅助诊疗系统，包括Web子系统和算法子系统，Web子系统包括客户端模块和服务端模块，客户端模块用于为用户提供图形化界面，客户端模块采用自适应页面设计，用户可以在台式电脑、移动电脑和平板电脑上使用肺癌辅助诊疗系统，客户端模块将用户的请求发送至服务端模块进行业务处理后，再通过客户端模块将处理后的结果展示给用户查看；客户端模块分为表示层、结构层、行为层，表示层采用CSS技术设置页面样式，结构层采用HTML技术搭建网页结构，结构层调用表示层进行网页内容的排版显示，行为层采用JavaScript和JQuery技术构建，负责实现结构层数据请求和修改的逻辑行为；服务端模块包括云平台和后端系统，用于为客户端模块提供数据支持和业务处理，服务端模块与客户端模块交互，后端系统负责接收客户端模块的业务请求，进行业务逻辑处理工作，再将处理结果返回给客户端模块，同时云平台与后端系统进行数据交互，为Web子系统提供业务数据存储工作；云平台包括Nginx服务器和MySQL数据库，后端系统采用Java和SpringBoot技术搭建；Nginx服务器起到负载均衡、减轻单个服务器负载压力的作用，当用户操作系统时，为防止同一时间用户访问量大，Nginx服务器可以将请求转发到不同应用服务器和数据服务器上进行处理；后端系统包括RESTful接口，客户端模块利用Ajax技术通过RESTful接口与后端系统进行通信，将用户业务请求传达到服务端模块进行处理；
Web子系统功能模块包括用户登陆注册模块、预约挂号模块、辅助诊断模块、辅助治疗模块、划价收费模块、药房取药模块、用户中心模块和系统维护模块，预约挂号模块包括挂号收费子模块和挂号记录子模块，辅助诊断模块包括数据读取子模块、影像显示子模块和数据保存子模块，辅助治疗模块还包括影像显示子模块和数据保存子模块，用户中心模块包括个人中心子模块和账户设置子模块，系统维护模块包括公告管理子模块和角色审核子模块，Web子系统通过客户端模块与服务端模块的配合使用，将操作流程进行了可视化展示，为医生和就诊者提供了良好的人机交互界面，使得计算机技术更好的服务社会，Web子系统中的辅助诊断模块、辅助治疗模块、数据读取子模块、数据保存子模块和算法子系统中的辅助诊断模块、辅助治疗模块、数据读取模块、数据保存模块的工作职责不同，Web子系统中的这些模块是用户可以在系统页面上看到的功能模块，用户可以在系统页面上通过可视化的方式操作这些模块，而算法子系统中的上述四种模块是在算法层面上的应用；
算法子系统包括Flask框架服务模块、Pytorch程序模块、MongoDB数据库和文件存储库，Pytorch程序模块包括数据读取模块、数据预处理模块、肺结节检测模型训练模块、肺部器官分割模型训练模块、辅助诊断模块、辅助治疗模块和数据保存模块，Flask框架服务模块将算法子系统构建成应用服务，对外提供RESTful接口，Web子系统通过RESTful接口与算法子系统通信，MongoDB数据库和文件存储库，用于存储肺部CT影像数据集以及经过算法子系统处理后的肺部CT影像；
算法子系统的工作场景分为两个阶段，第一个阶段是算法模型训练阶段，第二个阶段是算法模型应用阶段，其中算法模型训练阶段是训练肺结节检测模型和肺部器官分割模型的工作阶段，算法模型应用阶段是使用训练好的算法模型对就诊者的CT影像进行肺结节检测和肺部器官分割的工作阶段，当第一个阶段训练出肺结节检测模型和肺部器官分割模型后才会进入第二阶段进行算法模型的应用，采用深度学习方法训练算法模型，相比传统的机器学习算法，深度学习通过监督学习的方式进行端到端的训练，极大地简化了模型的训练及测试过程，且不需要手工提取CT影像特征，可以自动学习判别性的特征，在早期肺癌的诊断和治疗中发挥极为重要的作用，算法模型训练阶段，包括以下步骤：
步骤一、算法子系统调用数据读取模块从文件存储库中读入医生前期标注好的CT影像数据集；
步骤二、算法子系统数据预处理模块扩展微调CT影像数据集，并且划分训练集、验证集和测试集；
步骤三、算法子系统调用数据保存模块将划分好的数据集保存在文件存储库中；
步骤四、进入肺结节检测模型训练模块和肺部器官分割模型训练模块准备进行模型训练工作，分别构建YoloV3肺结节检测网络和UNet肺部器官分割网络；
步骤五、使用肺部CT影像训练集分别对YoloV3算法网络和UNet算法网络进行训练得到肺结节检测模型和肺部器官分割模型；
步骤六、使用验证集分别对训练好的肺结节检测模型和肺部器官分割模型进行验证，从多次迭代训练中挑选出最优模型；
步骤七、使用测试集对挑选出的最优模型进行测试；
步骤八、如果测试结果不满足要求，则将训练参数调整优化，重新进行模型训练；
步骤九、如果测试结果满足要求，则调用数据保存模块保存模型至文件存储库中；
步骤十、最后分别将文件存储库中保存的最优的肺结节检测模型和最优的肺部器官分割模型嵌入到辅助诊断模块和辅助治疗模块中进行部署，供分析就诊者CT影像时使用；
数据读取模块采用Pydicom组件编写，应用在算法子系统的两个阶段，在算法模型训练阶段，用于从文件存储库中读取医生前期标注好的肺部CT影像数据集，在算法模型应用阶段，用于读取Web子系统传输过来的就诊者CT影像，在两个阶段都负责将读取到的CT影像数据保存在算法子系统内存中，供数据预处理模块使用，数据预处理模块采用Transforms组件编写，应用在算法子系统的两个阶段，由于医学领域涉及到患者的隐私问题，不便于公开，公开的医学数据集通常较小，需要使用数据预处理模块先进行数据增强，在算法模型训练阶段，用于扩增肺部CT影像数据集和对数据集的影像进行微调，并将肺部CT影像数据集划分好训练集、验证集和测试集并保存在文件存储库中，以供肺结节检测模型训练模块和肺部器官分割模型训练模块工作使用，在算法模型应用阶段，用于对就诊者的CT影像进行微调，使其符合算法模型的应用要求，经过预处理后的就诊者CT影像，传入到辅助诊断模块和辅助治疗模块做进一步工作，肺结节检测模型训练模块包括YoloV3目标检测算法网络，应用在算法模型训练阶段，YoloV3算法网络结合文件存储库中的肺部CT影像训练集、验证集和测试集，训练肺结节检测模型，以供辅助诊断模块使用，肺结节检测模型训练模块在使用YoloV3算法网络训练肺结节检测模型时，直至损失函数稳定不再下降则停止训练，损失函数是预测值和真实值之间差异的数值化表示，是决定算法网络训练学习质量的关键，在算法网络结构不变的前提下，损失函数选择不当会导致训练出来的模型精度差的效果，训练肺结节检测模型过程中采用的损失函数如下：
Figure BDA0003385071890000161
上式中，λcoord为预测坐标的误差系数，λnoobj为不包含识别目标时置信度的误差系数，S2表示将输入的CT影像划分成的网格数量，B表示每一个网格产生的预测框数量，
Figure BDA0003385071890000162
表示第i个网格的第j个预测框是否负责这个目标，如果负责那么
Figure BDA0003385071890000163
否则为0，
Figure BDA0003385071890000164
表示第i个网格的第j个预测框如果不负责这个目标则
Figure BDA0003385071890000165
否则为0，xi，yi，wi，hi分别表示预测的目标中心点的横、纵坐标、宽度和高度，
Figure BDA0003385071890000166
分别表示真实的目标的中心点横、纵坐标、宽度和高度，Ci和
Figure BDA0003385071890000167
分别表示第i个网格中存在待检测目标的预测置信度和真实置信度，Pi(c)和
Figure BDA0003385071890000168
分别表示第i个网格中目标识别属于某个类别的预测概率值和真实概率值；
肺部器官分割模型训练模块包括UNet图像分割算法网络，应用在算法模型训练阶段，UNet算法网络结合文件存储库中的肺部CT影像训练集、验证集和测试集，训练肺部器官分割模型，以供辅助治疗模块使用，肺部器官分割模型训练模块在使用UNet算法网络训练肺部器官分割模型时，直至损失函数稳定不再下降则停止训练，训练肺部器官分割模型过程中采用的损失函数如下：
Figure BDA0003385071890000171
上式为交叉熵损失函数，交叉熵损失函数能够保证背景被正确的分割，
Figure BDA0003385071890000172
上式为Dice损失函数，该损失函数将Dice系数最大化，使得其接近于零值，从而使得模型更加的快速收敛，上述两个式子中，N为待分割CT影像中像素点的集合，L为金标准标签像素点集合，gij为第i个像素点和第j个金标准像素点的真实类别，pij为第i个像素点和第j个金标准像素点的预测类别；
本发明混合两种损失函数的优点，将交叉熵损失函数和Dice损失函数结合，作为训练的混合损失函数可表达为：
Loss＝LossBCE+LossDice
辅助诊断模块包括肺结节检测模型应用在算法模型应用阶段，在患者早期诊断期间，利用肺结节检测模型从就诊者的CT影像中检测定位肺结节，能有效帮助医生筛查出潜在的肺癌病灶，防止漏诊和误诊，辅助治疗模块包括肺部器官分割模型，应用在算法模型应用阶段，在患者放射治疗期间，利用肺部器官分割模型从就诊者的CT影像中对肺部器官进行分割工作，辅助医生制定治疗方案，数据保存模块应用在算法子系统的两个阶段，在算法模型训练阶段，负责将数据预处理模块处理肺部CT数据集产生的训练集、验证集和测试集保存在文件存储库中，并将训练好的肺结节检测模型和肺部器官分割模型保存在文件存储库中，由于目前国际上通用的医学影像传输协定为DICOM(Digital Imaging andCommunications in Medicine)协定，所有的医学图像按照DICOM协定进行存储，在算法模型应用阶段，采用OpenCV技术，将经过辅助诊断模块和辅助治疗模块处理过的CT影像转换为JPEG格式保存在文件存储库上，方便用户查看，并且将CT影像在文件存储库中存储的物理地址保存在MongoDB数据库中，肺癌辅助诊疗系统的物理架构包括应用接入层、应用服务层和数据服务层，用户通过台式电脑、移动电脑和平板电脑操作系统时，产生的请求先进入应用接入层，在应用接入层中经过Nginx服务器处理后进入应用服务层，应用服务层包括Web子系统应用服务器集群、算法子系统应用服务器集群和Zookeeper注册中心，先将算法子系统应用服务器集群注册到Zookeeper中心，当Web子系统调用算法子系统时，发送请求服务至Zookeeper中心，接着Zookeeper中心进行服务的调度安排，将请求转发至空闲的算法子系统服务器中进行处理，请求经过应用服务层处理后，进入到数据服务层，数据服务层包括MySQL数据库服务器、MongoDB数据库服务器和文件存储库服务器，通过数据服务层获取业务所需的数据并返回给应用服务层，或者将应用服务层处理的结果进行持久化保存在数据服务层，肺癌辅助诊疗系统面向的用户群体是管理员、挂号员、医师和取药员，管理员的工作职责是在系统维护模块中对公告通知进行维护管理和对注册用户进行角色审核，挂号员的工作职责是负责在预约挂号模块中帮助就诊者办理就诊卡，并帮助就诊者进行挂号操作，医师的工作职责是结合系统的辅助诊断模块和辅助治疗模块给出CT分析结果，加上自身的专业知识和从医经验，对就诊者的病情进行确诊，并给出治疗方案，取药员的工作职责是负责在系统上对就诊者完成划价收费和取药的工作，肺癌辅助诊疗系统的详细架构包括用户层、视图层、业务层、算法层和数据层，用户层有不同的用户群体，针对不同的用户群体，肺癌辅助诊疗系统有不同的权限控制，视图层由客户端模块构成，负责对用户的操作进行可视化展示，业务层由后端系统负责，用于对用户的请求进行业务逻辑处理，为肺癌辅助诊疗系统各个模块的业务操作提供逻辑支持，算法层由算法子系统构成，用于对业务层的CT影像数据进行算法处理，将就诊者肺部CT影像结合肺结节检测模型和肺部器官分割模型进行肺结节的检测工作和肺部器官分割工作，辅助医生进行诊断和制定治疗方案，其中CT影像数据存储在文件存储库中，MongoDB数据库中保存影像储存在文件存储库中的物理地址，数据层负责为肺癌辅助诊疗系统提供持久化数据保存，由文件存储库、MySQL数据库、MongoDB数据库组成，数据库服务器之间存在主从备份，防止服务器宕机导致数据丢失，后端系统通过Spring Data JPA框架技术与MongoDB数据库和MySQL数据库通信，肺癌辅助诊疗系统用Log4j记录用户操作日志；
一种基于深度学习的肺癌辅助诊疗方法，包括以下步骤：
步骤一、用户在肺癌辅助诊疗系统界面通过登陆进入到系统中，或者用户进行注册，当用户注册的信息通过系统管理员审核后，用户即可登陆进入系统；
步骤二、进入系统后，挂号员在系统预约挂号模块帮助就诊者办理就诊卡；
步骤三、当就诊者办理完就诊卡后，挂号员在系统的预约挂号模块帮助就诊者预约放射科专家门诊；
步骤四、医师指导就诊者拍摄肺部CT影像后，在Web子系统的辅助诊断模块上传就诊者CT影像，辅助诊断模块的先调用数据读取子模块读取医生上传的CT影像，然后调用数据保存子模块将就诊者CT影像保存在文件存储库中，最后调用影像显示子模块显示就诊者的CT影像；
步骤五、Web子系统向Zookeeper注册中心发送申请调用算法子系统的请求，Zookeeper接到请求后，分配空闲的算法子系统应用服务器给Web子系统提供服务；
步骤六、算法子系统调用数据读取模块将保存在文件存储库里的CT影像读取到内存中，传输给数据预处理模块，数据预处理模块对CT影像数据进行微调，随后传入到辅助诊断模块，在辅助诊断模块中结合之前训练好的肺结节检测模型对就诊者的CT影像进行肺结节检测工作；
步骤七、在算法子系统的辅助诊断模块处理完就诊者的CT影像后，调用算法子系统数据保存模块将处理后的CT影像转换成JPEG的格式，保存在文件存储库中，并且将CT影像在文件存储库中存储的物理地址保存在MongoDB数据库中；
步骤八、随后算法子系统将处理后的CT影像的存储地址返回给Web子系统，Web子系统调用影像显示子模块显示经过辅助诊断模块处理过的CT影像；
步骤九、医师根据肺结节检测后的CT影像，结合自身专业知识和从医经验，确认就诊者是否患有恶性肿瘤，最后Web子系统调用数据保存子模块将诊断结果保存在MySQL数据库中；
步骤十、如果确认就诊者无恶性肿瘤，则系统步骤流程结束；
步骤十一、如果患有恶性肿瘤，则进入治疗流程，在Web子系统的辅助治疗模块中对就诊者的CT影像调用算法子系统的辅助治疗模块进行处理，使用训练好的肺部器官分割模型进行肺部器官分割工作；
步骤十二、在算法子系统的辅助治疗模块处理完就诊者的CT影像后，调用算法子系统数据保存模块将处理后的CT影像转换成JPEG的格式，保存在文件存储库中，并且将CT影像在文件存储库中存储的物理地址保存在MongoDB数据库中；
步骤十三、随后算法子系统将处理后的CT影像的存储地址返回给Web子系统，Web子系统调用影像显示子模块显示带有肺部器官分割信息的CT影像；
步骤十四、医师根据肺部器官分割后的CT影像，结合自身专业知识和从医经验，对病灶靶区和危及器官进行勾画工作，随后同其他专家进行会诊设计治疗方案，最后Web子系统调用数据保存子模块将治疗方案保存在MySQL数据库中；
步骤十五、取药员对治疗方案中的费用进行划价收费，收费后将药物发放给就诊者；
肺癌辅助诊疗系统，用于诊断和治疗两个阶段，方便医护人员使用，本发明为肺癌等肿瘤诊疗提供了新的工作思路，具有一定的理论研究价值和工程应用价值。
工作原理：本发明使用时，需要说明的是，算法子系统使用医师标注好的肺部CT影像数据集，分别结合目标检测YoloV3算法网络训练得到肺结节检测模型，结合UNet算法网络训练得到肺部器官分割模型，用户在肺癌辅助诊疗系统界面通过登陆进入到系统中，或者用户进行注册操作，当系统管理员审核并且确认用户的注册信息后，用户即可登陆进入系统，挂号员进入肺癌辅助诊疗系统后，在预约挂号模块帮助就诊者办理就诊卡，办理完就诊卡后，挂号员在系统的预约挂号模块帮助就诊者挂上放射科专家的门诊，放射科医师指导就诊者拍摄肺部CT影像后，在本系统的辅助诊断模块中上传CT影像，此时将会调用肺结节检测模型进行肺结节检测工作，医师根据肺结节检测后的CT影像，结合自身专业知识及从医经验，再次审查核对就诊者是否患有恶性肿瘤，若无恶性肿瘤，则系统步骤流程结束，若疑似患有恶性肿瘤，则在本系统的辅助治疗模块中调用肺部器官分割模型对CT影像进行肺部器官分割工作，医师根据肺部器官分割后的CT影像，结合自身专业知识和从医经验，对病灶靶区和危及器官进行勾画工作，随后同其他专家进行会诊设计治疗方案，取药员对治疗方案中的费用进行划价收费，收费后将药物发放给就诊者。
综上所述：该基于深度学习的肺癌辅助诊疗系统及方法，通过引入深度学习目标检测领域的YoloV3算法网络，结合肺部CT影像数据集，训练出肺结节检测模型，在肺癌诊断早期，通过肺结节检测模型处理就诊者CT影像，可以辅助医生对肺结节进行检测识别，让医生能够快速、准确的定位到肺结节，进而进行肺癌的临床诊断，减小医生工作量，降低漏诊、误诊率，同时，通过引入深度学习图像分割领域的UNet算法网络，结合肺部CT影像数据集，训练出肺部器官分割模型，在肺癌的放射治疗过程中，使用肺部器官分割模型处理就诊者CT影像，可以辅助医生进行肺部危及器官和病灶靶区的勾画工作，提高了医生的工作效率，避免过分依赖医生主观经验，使得器官勾画工作更加客观、准确，解决了目前肺癌诊断和治疗中过分依赖医生经验，且医生工作量大容易导致误诊、漏诊的问题。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (10)

1.一种基于深度学习的肺癌辅助诊疗系统，其特征在于：包括Web子系统和算法子系统，
所述Web子系统包括客户端模块和服务端模块，
所述客户端模块，用于为用户提供图形化界面，客户端模块采用自适应页面设计，用户可以在台式电脑、移动电脑和平板电脑上使用肺癌辅助诊疗系统，客户端模块将用户的请求发送至服务端模块进行业务处理后，再通过客户端模块将处理后的结果展示给用户查看，所述客户端模块分为表示层、结构层、行为层，表示层采用CSS技术设置页面样式，结构层采用HTML技术搭建网页结构，结构层调用表示层进行网页内容的排版显示，行为层采用JavaScript和JQuery技术构建，负责实现结构层数据请求和修改的逻辑行为；
所述服务端模块包括云平台和后端系统，所述云平台包括Nginx服务器和MySQL数据库，所述后端系统采用Java和SpringBoot技术搭建，服务端模块用于为客户端模块提供数据支持和业务处理，所述后端系统包括RESTful接口，客户端模块利用Ajax技术通过RESTful接口与后端系统进行通信，将用户业务请求传达到服务端模块进行处理，服务端模块与客户端模块交互，后端系统负责接收客户端模块的业务请求，进行业务逻辑处理工作，再将处理结果返回给客户端模块，同时云平台与后端系统进行数据交互，为Web子系统提供业务数据存储工作；
所述算法子系统包括Flask框架服务模块、Pytorch程序模块、MongoDB数据库和文件存储库，Pytorch程序模块包括数据读取模块、数据预处理模块、肺结节检测模型训练模块、肺部器官分割模型训练模块、辅助诊断模块、辅助治疗模块和数据保存模块；
所述Flask框架服务模块，将算法子系统构建成应用服务，对外提供RESTful接口，Web子系统通过RESTful接口与算法子系统通信；
所述MongoDB数据库和文件存储库，用于存储肺部CT影像数据集以及经过算法子系统处理后的肺部CT影像；
所述算法子系统的工作场景分为两个阶段，第一个阶段是算法模型训练阶段，第二个阶段是算法模型应用阶段，其中算法模型训练阶段是训练肺结节检测模型和肺部器官分割模型的工作阶段，算法模型应用阶段是使用训练好的算法模型对就诊者的CT影像进行肺结节检测和肺部器官分割的工作阶段，当第一个阶段训练出肺结节检测模型和肺部器官分割模型后才会进入第二阶段进行算法模型的应用；
所述数据读取模块，采用Pydicom组件编写，应用在算法子系统的两个阶段，在算法模型训练阶段，用于从文件存储库中读取医生前期标注好的肺部CT影像数据集，在算法模型应用阶段，用于读取Web子系统传输过来的就诊者CT影像，在两个阶段都负责将读取到的CT影像数据保存在算法子系统内存中，供数据预处理模块使用；
所述数据预处理模块，采用Transforms组件编写，应用在算法子系统的两个阶段，在算法模型训练阶段，用于扩增肺部CT影像数据集和对数据集的影像进行微调，并将肺部CT影像数据集划分好训练集、验证集和测试集并保存在文件存储库中，以供肺结节检测模型训练模块和肺部器官分割模型训练模块工作使用，在算法模型应用阶段，用于对就诊者的CT影像进行微调，使其符合算法模型的应用要求，经过预处理后的就诊者CT影像，传入到辅助诊断模块和辅助治疗模块做进一步工作；
所述肺结节检测模型训练模块，包括YoloV3目标检测算法网络，应用在算法模型训练阶段，YoloV3算法网络结合文件存储库中的肺部CT影像训练集、验证集和测试集，训练肺结节检测模型，以供辅助诊断模块使用；
所述肺部器官分割模型训练模块，包括UNet图像分割算法网络，应用在算法模型训练阶段，UNet算法网络结合文件存储库中的肺部CT影像训练集、验证集和测试集，训练肺部器官分割模型，以供辅助治疗模块使用；
所述辅助诊断模块，包括肺结节检测模型，应用在算法模型应用阶段，在患者早期诊断期间，利用肺结节检测模型从就诊者的CT影像中检测定位肺结节，能有效帮助医生筛查出潜在的肺癌病灶，防止漏诊和误诊；
所述辅助治疗模块，包括肺部器官分割模型，应用在算法模型应用阶段，在患者放射治疗期间，利用肺部器官分割模型从就诊者的CT影像中对肺部器官进行分割工作，辅助医生制定治疗方案；
所述数据保存模块，应用在算法子系统的两个阶段，在算法模型训练阶段，负责将数据预处理模块处理肺部CT数据集产生的训练集、验证集和测试集保存在文件存储库中，并将训练好的肺结节检测模型和肺部器官分割模型保存在文件存储库中，在算法模型应用阶段，采用OpenCV技术，将经过辅助诊断模块和辅助治疗模块处理过的CT影像转换为JPEG格式保存在文件存储库上，方便用户查看，并且将CT影像在文件存储库中存储的物理地址保存在MongoDB数据库中。
2.根据权利要求1所述的一种基于深度学习的肺癌辅助诊疗系统，其特征在于：所述Web子系统功能模块包括用户登陆注册模块、预约挂号模块、辅助诊断模块、辅助治疗模块、划价收费模块、药房取药模块、用户中心模块和系统维护模块，预约挂号模块包括挂号收费子模块和挂号记录子模块，辅助诊断模块包括数据读取子模块、影像显示子模块和数据保存子模块，辅助治疗模块还包括影像显示子模块和数据保存子模块，用户中心模块包括个人中心子模块和账户设置子模块，系统维护模块包括公告管理子模块和角色审核子模块。
3.根据权利要求2所述的一种基于深度学习的肺癌辅助诊疗系统，其特征在于：所述Web子系统中的辅助诊断模块、辅助治疗模块、数据读取子模块、数据保存子模块和算法子系统中的辅助诊断模块、辅助治疗模块、数据读取模块、数据保存模块的工作职责不同，Web子系统中的这些模块是用户可以在系统页面上看到的功能模块，用户可以在系统页面上通过可视化的方式操作这些模块，而算法子系统中的上述四种模块是在算法层面上的应用。
4.根据权利要求3所述的一种基于深度学习的肺癌辅助诊疗系统，其特征在于：所述算法模型训练阶段，包括以下步骤：
步骤一、算法子系统调用数据读取模块从文件存储库中读入医生前期标注好的CT影像数据集；
步骤二、算法子系统数据预处理模块扩展微调CT影像数据集，并且划分训练集、验证集和测试集；
步骤三、算法子系统调用数据保存模块将划分好的数据集保存在文件存储库中；
步骤四、进入肺结节检测模型训练模块和肺部器官分割模型训练模块准备进行模型训练工作，分别构建YoloV3肺结节检测网络和UNet肺部器官分割网络；
步骤五、使用肺部CT影像训练集分别对YoloV3算法网络和UNet算法网络进行训练得到肺结节检测模型和肺部器官分割模型；
步骤六、使用验证集分别对训练好的肺结节检测模型和肺部器官分割模型进行验证，从多次迭代训练中挑选出最优模型；
步骤七、使用测试集对挑选出的最优模型进行测试；
步骤八、如果测试结果不满足要求，则将训练参数调整优化，重新进行模型训练；
步骤九、如果测试结果满足要求，则调用数据保存模块保存模型至文件存储库中；
步骤十、最后分别将文件存储库中保存的最优的肺结节检测模型和最优的肺部器官分割模型嵌入到辅助诊断模块和辅助治疗模块中进行部署，供分析就诊者CT影像时使用。
5.根据权利要求4所述的一种基于深度学习的肺癌辅助诊疗系统，其特征在于：所述肺结节检测模型训练模块在使用YoloV3算法网络训练肺结节检测模型时，直至损失函数稳定不再下降则停止训练，损失函数是预测值和真实值之间差异的数值化表示，是决定算法网络训练学习质量的关键，在算法网络结构不变的前提下，损失函数选择不当会导致训练出来的模型精度差的效果，训练肺结节检测模型过程中采用的损失函数如下：
Figure FDA0003385071880000051
上式中，λcoord为预测坐标的误差系数，λnoobj为不包含识别目标时置信度的误差系数，S2表示将输入的CT影像划分成的网格数量，B表示每一个网格产生的预测框数量，
Figure FDA0003385071880000052
表示第i个网格的第j个预测框是否负责这个目标，如果负责那么
Figure FDA0003385071880000053
否则为0，
Figure FDA0003385071880000054
表示第i个网格的第j个预测框如果不负责这个目标则
Figure FDA0003385071880000055
否则为0，xi，yi，wi，hi分别表示预测的目标中心点的横、纵坐标、宽度和高度，
Figure FDA0003385071880000056
分别表示真实的目标的中心点横、纵坐标、宽度和高度，Ci和
Figure FDA0003385071880000057
分别表示第i个网格中存在待检测目标的预测置信度和真实置信度，Pi(c)和
Figure FDA0003385071880000061
分别表示第i个网格中目标识别属于某个类别的预测概率值和真实概率值。
6.根据权利要求5所述的一种基于深度学习的肺癌辅助诊疗系统，其特征在于：所述肺部器官分割模型训练模块在使用UNet算法网络训练肺部器官分割模型时，直至损失函数稳定不再下降则停止训练，训练肺部器官分割模型过程中采用的损失函数如下：
Figure FDA0003385071880000062
上式为交叉熵损失函数，交叉熵损失函数能够保证背景被正确的分割，
Figure FDA0003385071880000063
上式为Dice损失函数，该损失函数将Dice系数最大化，使得其接近于零值，从而使得模型更加的快速收敛，上述两个式子中，N为待分割CT影像中像素点的集合，L为金标准标签像素点集合，gij为第i个像素点和第j个金标准像素点的真实类别，pij为第i个像素点和第j个金标准像素点的预测类别；
本发明混合两种损失函数的优点，将交叉熵损失函数和Dice损失函数结合，作为训练的混合损失函数可表达为：
Loss＝LossBCE+LossDice
7.根据权利要求6所述的一种基于深度学习的肺癌辅助诊疗系统，其特征在于：所述肺癌辅助诊疗系统的物理架构包括应用接入层、应用服务层和数据服务层，用户通过台式电脑、移动电脑和平板电脑操作系统时，产生的请求先进入应用接入层，在应用接入层中经过Nginx服务器处理后进入应用服务层：所述Nginx服务器起到负载均衡、减轻单个服务器负载压力的作用，当用户操作系统时，为防止同一时间用户访问量大，Nginx服务器可以将请求转发到不同应用服务器和数据服务器上进行处理，所述应用服务层包括Web子系统应用服务器集群、算法子系统应用服务器集群和Zookeeper注册中心，先将算法子系统应用服务器集群注册到Zookeeper中心，当Web子系统调用算法子系统时，发送请求服务至Zookeeper中心，接着Zookeeper中心进行服务的调度安排，将请求转发至空闲的算法子系统服务器中进行处理，请求经过应用服务层处理后，进入到数据服务层，所述数据服务层包括MySQL数据库服务器、MongoDB数据库服务器和文件存储库服务器，通过数据服务层获取业务所需的数据并返回给应用服务层，或者将应用服务层处理的结果进行持久化保存在数据服务层。
8.根据权利要求7所述的一种基于深度学习的肺癌辅助诊疗系统，其特征在于：所述肺癌辅助诊疗系统面向的用户群体是管理员、挂号员、医师和取药员，管理员的工作职责是在系统维护模块中对公告通知进行维护管理和对注册用户进行角色审核，挂号员的工作职责是负责在预约挂号模块中帮助就诊者办理就诊卡，并帮助就诊者进行挂号操作，医师的工作职责是结合系统的辅助诊断模块和辅助治疗模块给出CT分析结果，加上自身的专业知识和从医经验，对就诊者的病情进行确诊，并给出治疗方案，取药员的工作职责是负责在系统上对就诊者完成划价收费和取药的工作。
9.根据权利要求8所述的一种基于深度学习的肺癌辅助诊疗系统，其特征在于：所述肺癌辅助诊疗系统的详细架构包括用户层、视图层、业务层、算法层和数据层，用户层有不同的用户群体，针对不同的用户群体，肺癌辅助诊疗系统有不同的权限控制，视图层由客户端模块构成，负责对用户的操作进行可视化展示，业务层由后端系统负责，用于对用户的请求进行业务逻辑处理，为肺癌辅助诊疗系统各个模块的业务操作提供逻辑支持，算法层由算法子系统构成，用于对业务层的CT影像数据进行算法处理，将就诊者肺部CT影像结合肺结节检测模型和肺部器官分割模型进行肺结节的检测工作和肺部器官分割工作，辅助医生进行诊断和制定治疗方案，其中CT影像数据存储在文件存储库中，MongoDB数据库中保存影像储存在文件存储库中的物理地址，数据层负责为肺癌辅助诊疗系统提供持久化数据保存，由文件存储库、MySQL数据库、MongoDB数据库组成，数据库服务器之间存在主从备份，防止服务器宕机导致数据丢失，后端系统通过Spring Data JPA框架技术与MongoDB数据库和MySQL数据库通信，肺癌辅助诊疗系统用Log4j记录用户操作日志。
10.一种基于深度学习的肺癌辅助诊疗方法，其应用于权利要求书1-9任一项所述的一种基于深度学习的肺癌辅助诊疗系统，其特征在于，包括以下步骤：
步骤一、用户在肺癌辅助诊疗系统界面通过登陆进入到系统中，或者用户进行注册，当用户注册的信息通过系统管理员审核后，用户即可登陆进入系统；
步骤二、进入系统后，挂号员在系统预约挂号模块帮助就诊者办理就诊卡；
步骤三、当就诊者办理完就诊卡后，挂号员在系统的预约挂号模块帮助就诊者预约放射科专家门诊；
步骤四、医师指导就诊者拍摄肺部CT影像后，在Web子系统的辅助诊断模块上传就诊者CT影像，辅助诊断模块的先调用数据读取子模块读取医生上传的CT影像，然后调用数据保存子模块将就诊者CT影像保存在文件存储库中，最后调用影像显示子模块显示就诊者的CT影像；
步骤五、Web子系统向Zookeeper注册中心发送申请调用算法子系统的请求，Zookeeper接到请求后，分配空闲的算法子系统应用服务器给Web子系统提供服务；
步骤六、算法子系统调用数据读取模块将保存在文件存储库里的CT影像读取到内存中，传输给数据预处理模块，数据预处理模块对CT影像数据进行微调，随后传入到辅助诊断模块，在辅助诊断模块中结合之前训练好的肺结节检测模型对就诊者的CT影像进行肺结节检测工作；
步骤七、在算法子系统的辅助诊断模块处理完就诊者的CT影像后，调用算法子系统数据保存模块将处理后的CT影像转换成JPEG的格式，保存在文件存储库中，并且将CT影像在文件存储库中存储的物理地址保存在MongoDB数据库中；
步骤八、随后算法子系统将处理后的CT影像的存储地址返回给Web子系统，Web子系统调用影像显示子模块显示经过辅助诊断模块处理过的CT影像；
步骤九、医师根据肺结节检测后的CT影像，结合自身专业知识和从医经验，确认就诊者是否患有恶性肿瘤，最后Web子系统调用数据保存子模块将诊断结果保存在MySQL数据库中；
步骤十、如果确认就诊者无恶性肿瘤，则系统步骤流程结束；
步骤十一、如果患有恶性肿瘤，则进入治疗流程，在Web子系统的辅助治疗模块中对就诊者的CT影像调用算法子系统的辅助治疗模块进行处理，使用训练好的肺部器官分割模型进行肺部器官分割工作；
步骤十二、在算法子系统的辅助治疗模块处理完就诊者的CT影像后，调用算法子系统数据保存模块将处理后的CT影像转换成JPEG的格式，保存在文件存储库中，并且将CT影像在文件存储库中存储的物理地址保存在MongoDB数据库中；
步骤十三、随后算法子系统将处理后的CT影像的存储地址返回给Web子系统，Web子系统调用影像显示子模块显示带有肺部器官分割信息的CT影像；
步骤十四、医师根据肺部器官分割后的CT影像，结合自身专业知识和从医经验，对病灶靶区和危及器官进行勾画工作，随后同其他专家进行会诊设计治疗方案，最后Web子系统调用数据保存子模块将治疗方案保存在MySQL数据库中；
步骤十五、取药员对治疗方案中的费用进行划价收费，收费后将药物发放给就诊者。
CN202111447046.4A 2021-11-30 2021-11-30 一种基于深度学习的肺癌辅助诊疗系统及方法 Withdrawn CN114092465A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111447046.4A CN114092465A (zh) 2021-11-30 2021-11-30 一种基于深度学习的肺癌辅助诊疗系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111447046.4A CN114092465A (zh) 2021-11-30 2021-11-30 一种基于深度学习的肺癌辅助诊疗系统及方法

Publications (1)

Publication Number Publication Date
CN114092465A true CN114092465A (zh) 2022-02-25

Family

ID=80306358

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111447046.4A Withdrawn CN114092465A (zh) 2021-11-30 2021-11-30 一种基于深度学习的肺癌辅助诊疗系统及方法

Country Status (1)

Country Link
CN (1) CN114092465A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116344001A (zh) * 2023-03-10 2023-06-27 中南大学湘雅三医院 一种基于人工智能的医疗信息可视化管理系统及方法
CN116934738A (zh) * 2023-08-14 2023-10-24 威朋（苏州）医疗器械有限公司 基于超声图像的器官与结节联合分割方法及系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116344001A (zh) * 2023-03-10 2023-06-27 中南大学湘雅三医院 一种基于人工智能的医疗信息可视化管理系统及方法
CN116344001B (zh) * 2023-03-10 2023-10-24 中南大学湘雅三医院 一种基于人工智能的医疗信息可视化管理系统及方法
CN116934738A (zh) * 2023-08-14 2023-10-24 威朋（苏州）医疗器械有限公司 基于超声图像的器官与结节联合分割方法及系统
CN116934738B (zh) * 2023-08-14 2024-03-22 威朋（苏州）医疗器械有限公司 基于超声图像的器官与结节联合分割方法及系统

Similar Documents

Publication Publication Date Title
US20200167881A1 (en) Automated clinical indicator recognition with natural language processing
CN1615489B (zh) 图像报告方法和系统
WO2020238044A1 (zh) 用于检测肿瘤的3D UNet网络模型构建方法、装置及存储介质
US11219426B2 (en) Method and system for determining irradiation dose
CN102612696A (zh) 具有报告验证器和报告增强器的医学信息系统
CN114092465A (zh) 一种基于深度学习的肺癌辅助诊疗系统及方法
US20070237378A1 (en) Multi-input reporting and editing tool
WO2021169122A1 (zh) 图像标注管理方法、装置、计算机系统及可读存储介质
CN111223554A (zh) 一种智能ai pacs系统及其检查报告信息处理方法
WO2015035193A1 (en) Automated clinical indicator recognition with natural language processing
WO2021073157A1 (zh) 图像管理显示方法、装置、计算机设备及存储介质
CN102971763A (zh) 诊断治疗支持系统和诊断治疗支持方法
WO2021143781A1 (zh) 基于多源迁移学习的多中心协同癌症预后预测系统
Azar et al. Accuracy of data entry of patient race/ethnicity/ancestry and preferred spoken language in an ambulatory care setting
WO2023076868A1 (en) Systems and methods to process electronic images for determining treatment
EP4147247A1 (en) Systems and methods to process electronic images to determine salient information in digital pathology
CN110957014A (zh) 一种肺癌早期筛查信息管理系统
Oh et al. Realization of process improvement at a diagnostic radiology department with aid of simulation modeling
Yazdanian Oncology information system: A qualitative study to identify cancer patient care workflows
US20140195267A1 (en) Techniques to improve accuracy of a medical report relating to a medical imaging study
Wu et al. Web-based training method for interpretation of dental images
Obuchowski Multivariate statistical methods
US20240185999A1 (en) Telemedicine platform including virtual assistance
CN110766004B (zh) 医疗鉴定数据处理方法、装置、电子设备及可读介质
US20220277452A1 (en) Methods for analyzing and reducing inter/intra site variability using reduced reference images and improving radiologist diagnostic accuracy and consistency

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20220225

WW01 Invention patent application withdrawn after publication