CN111275691A - 一种基于深度学习的小样本肿瘤坏死率分类预测装置 - Google Patents

一种基于深度学习的小样本肿瘤坏死率分类预测装置 Download PDF

Info

Publication number
CN111275691A
CN111275691A CN202010074621.XA CN202010074621A CN111275691A CN 111275691 A CN111275691 A CN 111275691A CN 202010074621 A CN202010074621 A CN 202010074621A CN 111275691 A CN111275691 A CN 111275691A
Authority
CN
China
Prior art keywords
image
tumor
network
generation
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010074621.XA
Other languages
English (en)
Other versions
CN111275691B (zh
Inventor
牛凯
贺志强
宋天琪
卢阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peking University Peoples Hospital
Beijing University of Posts and Telecommunications
Original Assignee
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Posts and Telecommunications filed Critical Beijing University of Posts and Telecommunications
Priority to CN202010074621.XA priority Critical patent/CN111275691B/zh
Publication of CN111275691A publication Critical patent/CN111275691A/zh
Application granted granted Critical
Publication of CN111275691B publication Critical patent/CN111275691B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Public Health (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种基于深度学习的小样本肿瘤坏死率分类预测装置，包括：单张图像生成模块，被配置为将正常骨轮廓图像以及带有肿瘤坏死率类别标签的真实化疗前肿瘤图像输入训练后的第一生成对抗网络模型中，获得带有肿瘤坏死率类别标签的生成化疗前肿瘤图像；时间序列图像生成模块，被配置为将所述生成化疗前肿瘤图像输入训练后的第二生成对抗网络模型中，获得生成肿瘤时间序列图像；坏死率分类模块，被配置为采用所述生成肿瘤时间序列图像训练深度卷积神经网络模型以获得待检测肿瘤时间序列图像的肿瘤坏死率分类结果。该装置能够解决肿瘤样本数量稀少、漏诊误诊率较高的问题。

Description

一种基于深度学习的小样本肿瘤坏死率分类预测装置
技术领域
本发明涉及计算机辅助诊断技术领域，尤其涉及一种基于深度学习的小样本肿瘤坏死率分类预测装置。
背景技术
原发恶性骨肿瘤是一组恶性程度很高的肿瘤，以骨肉瘤、尤文肉瘤和未分化肉瘤(恶性纤维组织细胞瘤)为代表。其中，最常见的骨肉瘤(Osteosarcoma，OS)起病隐匿、生长迅速、与神经血管关系密切、容易早期发生远处转移，是儿童和青少年人群中致死率仅次于白血病的恶性肿瘤。骨肉瘤患者就诊时的肿瘤分期与其生存预后直接相关。约有至少50％的患者会在确诊1年内发生肺转移。发生肺转移的患者预后极差，五年生存率不足20％。早期发现和明确诊断是治疗骨肉瘤等其他原发恶性肿瘤的关键。
此外，原发恶性骨肿瘤给患儿家庭和社会带来了极大的危害。虽然诊疗水平的进步让90％的患儿在初次手术时均可保留肢体，但是高达20-30％的患儿会因肿瘤局部复发或人工假体并发症接受二次手术。反复手术给患儿身心平添了巨大伤害。另外，由于该类肿瘤遵循新辅助化疗-手术-术后化疗的治疗原则，大剂量高强度化疗经常让患儿不堪打击，患儿及其家庭在治疗过程中承受了化疗副反应带来的巨大痛苦。除此之外，漫长的治疗过程也给患儿家庭和社会带来的极大的经济负担。
目前，X线检查目前仍然是基层医疗机构早期筛查和诊断该类疾病的主要方法。但是由于原发恶性骨肿瘤十分少见，基层一线骨科影像科医生并不完全具备准确诊断和判断的能力，疾病的漏诊误诊率较高。有相当高比例的原发恶性肿瘤患者会因诊断不及时错过治疗的最佳时机。诊断延误恶化了治疗开始前肿瘤的临床分期，增加了肿瘤肺转移的可能性，给患者的生存预后带来了负面影响。
发明内容
有鉴于此，本发明的目的在于提出一种基于深度学习的小样本肿瘤坏死率分类预测装置，以解决肿瘤样本数量稀少、漏诊误诊率较高的问题。
基于上述目的，本发明提供了一种基于深度学习的小样本肿瘤坏死率分类预测装置，包括：
单张图像生成模块，被配置为将正常骨轮廓图像以及带有肿瘤坏死率类别标签的真实化疗前肿瘤图像输入训练后的第一生成对抗网络模型中，获得带有肿瘤坏死率类别标签的生成化疗前肿瘤图像；
时间序列图像生成模块，被配置为将所述生成化疗前肿瘤图像输入训练后的第二生成对抗网络模型中，获得生成肿瘤时间序列图像；
坏死率分类模块，被配置为采用所述生成肿瘤时间序列图像训练深度卷积神经网络模型以获得待检测肿瘤时间序列图像的肿瘤坏死率分类结果。
从上面所述可以看出，本发明提供的基于深度学习的小样本肿瘤坏死率分类预测装置，通过单张图像生成模块扩充了用于训练第二生成对抗网络模型的化疗前肿瘤图像的数量，从而解决因化疗前肿瘤图像样本数量稀少影响后续模型训练效果的问题；单张图像生成模块的输出数据生成化疗前肿瘤图像输入训练后的第二生成对抗网络模型，从而可以按照需要生成大量的肿瘤时间序列图像，扩充了肿瘤时间序列图像的样本数据，从而解决因肿瘤时间序列图像样本数量少影响后续深度卷积神经网络模型训练效果的问题；最后通过获得的生成肿瘤时间序列图像去训练坏死率分类模块30中的深度卷积神经网络模型，使得该深度卷积神经网络模型可以对待检测肿瘤时间序列图像进行分类，从而获得对应的坏死率分类结果。本实施例所述基于深度学习的小样本肿瘤坏死率分类预测装置通过X射线拍摄的肿瘤图像即可辅助医生实现对肿瘤的诊断，有助于提高基层医院对肿瘤疾病的整体诊断水平，让患者获得更好的生存预后和生活质量。
附图说明
为了更清楚地说明本说明书一个或多个实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书一个或多个实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例基于深度学习的小样本肿瘤坏死率分类预测装置的第一结构示意图；
图2为本发明实施例基于深度学习的小样本肿瘤坏死率分类预测装置的第二结构示意图；
图3为本发明实施例单张图像生成模块的结构示意图；
图4为本发明实施例提取正常骨轮廓图像的流程图；
图5为本发明实施例预处理提取正常骨轮廓结果图；
图6为本发明实施例单张图像生成模块的第一训练单元结构示意图；
图7为本发明实施例生成化疗前肿瘤图像的流程图；
图8为本发明实施例时间序列图像生成模块的结构示意图；
图9为本发明实施例第二生成对抗网络模型的结构示意图；
图10为本发明实施例基本卷积长短期记忆生成单元的结构示意图；
图11为本发明实施例基本卷积长短期记忆生成单元中卷积操作的流程图；
图12为本发明实施例第二生成网络的结构示意图；
图13为本发明实施例第二生成网络的具体变量定义结构示意图；
图14为本发明实施例第二判别网络的结构示意图；
图15为本发明实施例第二判别网络的具体变量定义结构示意图；
图16为本发明实施例第二生成对抗网络模型的训练流程示意图；
图17为本发明实施例坏死率分类模块的结构示意图；
图18为本发明实施例深度卷积神经网络模型的结构示意图。
具体实施方式
为使本公开的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本公开进一步详细说明。
需要说明的是，除非另外定义，本说明书一个或多个实施例使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本说明书一个或多个实施例中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。
股骨远端、胫骨近端及肱骨是原发骨恶性肿瘤的三大好发部位。高达62％的原发骨恶性骨肿瘤发生于膝关节周围(股骨远端、胫骨近端、腓骨近端)。对原发恶性骨肿瘤进行肿瘤坏死率计算时通常需要将取瘤体样本处理后置于显微镜下观察计算，基层医疗机构很难以具有这样的条件。基层医疗机构普遍使用X线检查，而由于该病十分少见，基层一线骨科影像科医生很难以通过X射线获得正确的检查结果，导致该疾病的漏诊误诊，延误治疗时机。同时由于该病少见，导致肿瘤样本数据极难获得。
基于上述原因，本说明书的一个或多个实施例提出一种基于深度学习的小样本肿瘤坏死率分类预测装置，以解决肿瘤检测问题。如图1所示，该装置包括：
单张图像生成模块10，被配置为将正常骨轮廓图像以及带有肿瘤坏死率类别标签的真实化疗前肿瘤图像输入训练后的第一生成对抗网络模型中，获得带有肿瘤坏死率类别标签的生成化疗前肿瘤图像。
在本实施例中，真实化疗前肿瘤图像即为实际拍摄的肿瘤图像，即该图像是基于真实病人病历获得的，例如X射线拍摄获得的肿瘤图像。而生成化疗前肿瘤图像并非真实的肿瘤图像，而是由机器学习模型学习肿瘤图像获得了肿瘤病变特征后根据该肿瘤病变特征生成的，并非基于真实病人病历获得的。在本实施例中，生成化疗前肿瘤图像即为单张图像生成模块10在学习到了肿瘤病变特征后输出的肿瘤图像。
时间序列图像生成模块20，被配置为将单张图像生成模块10输出的生成化疗前肿瘤图像输入训练后的第二生成对抗网络模型中，获得生成肿瘤时间序列图像。
在本实施例中，生成肿瘤时间序列图像也并非基于真实病人病历获得的肿瘤时间序列图像，而是由时间序列图像生成模块20生成。其中，由于第二生成对抗网络模型的输入图像是带有肿瘤坏死率类别标签的因此第二生成对抗网络模型输出的生成肿瘤时间序列图像也带有肿瘤坏死率类别标签。
坏死率分类模块30，被配置为采用生成肿瘤时间序列图像训练深度卷积神经网络模型以获得待检测肿瘤时间序列图像的坏死率分类结果。
其中，生成对抗网络(Generative Adversarial Network，简称GAN)通过让两个神经网络相互博弈的方式进行学习，一般由一个生成网络与一个判别网络组成。生成网络从潜在空间(latent space)中采样作为输入，其输出结果需要尽量模仿训练集中的真实样本。判别网络的输入则为真实样本或生成网络的输出，其目的是将生成网络的输出从真实样本中尽可能分辨出来。而生成网络则要尽可能地欺骗判别网络。两个网络相互对抗、不断调整参数，最终目的是使判别网络无法判断生成网络的输出结果是否真实。
在本实施例中，第一生成对抗网络模型即属于生成对抗网络。如图2所示，G表示第一生成对抗网络模型的生成网络，D表示第一生成对抗网络模型的判别网络。训练后的第一生成对抗网络模型能够识别肿瘤病变特征，并基于该肿瘤病变特征直接生成与真实肿瘤病变图像非常接近甚至相同的肿瘤病变图像，即生成化疗前肿瘤图像。在训练后的第一生成对抗网络模型输入正常骨轮廓图像以及真实化疗前肿瘤图像后，可以按照需要生成大量的带有坏死率类别标签的生成化疗前肿瘤图像用于后续模型的训练，解决因疾病少见使得肿瘤图像样本数据少导致模型训练效果不好影响后续结果的问题。
第二生成对抗网络模型也属于生成对抗网络，如图2所示，G表示第二生成对抗网络模型的生成网络，D表示第二生成对抗网络模型的判别网络。训练后的第二生成对抗网络模型可以根据化疗前肿瘤图像生成化疗过程中的肿瘤时间序列图像。因此将第一生成对抗网络模型输出的生成化疗前肿瘤图像以及真实化疗前肿瘤图像输入到训练后的第二生成对抗网络模型即可获得生成肿瘤时间序列图像。
本实施例所述基于深度学习的小样本肿瘤坏死率分类预测装置，通过单张图像生成模块10扩充了用于训练第二生成对抗网络模型的化疗前肿瘤图像的数量，从而解决因化疗前肿瘤图像样本数量稀少影响后续模型训练效果的问题；单张图像生成模块10的输出数据生成化疗前肿瘤图像输入训练后的第二生成对抗网络模型，从而可以按照需要生成大量的肿瘤时间序列图像，进一步扩充了肿瘤时间序列图像的样本数据，从而解决因肿瘤时间序列图像样本数量少影响后续深度卷积神经网络模型训练效果的问题；最后通过获得的生成肿瘤时间序列图像去训练坏死率分类模块13中的深度卷积神经网络模型，使得该深度卷积神经网络模型可以对待检测肿瘤时间序列图像进行分类，从而获得对应的坏死率分类结果。本实施例所述基于深度学习的小样本肿瘤坏死率分类预测装置通过X射线拍摄的肿瘤图像即可辅助医生实现对肿瘤的诊断，有助于提高基层医院对肿瘤疾病的整体诊断水平，让患者获得更好的生存预后和生活质量。
本实施例中，基于深度学习的小样本肿瘤坏死率分类预测装置可以设置在单个设备上，例如一台计算机或服务器等。本实施例所述基于深度学习的小样本肿瘤坏死率分类预测装置也可以设置在分布式场景下的多台设备上，由多台设备相互配合来完成。在这种分布式场景的情况下，本实施例所述装置的单张图像生成模块、时间序列图像生成模块以及坏死率分类模块分别设置在单独的设备上，或者单张图像生成模块、时间序列图像生成模块以及坏死率分类模块中任意两个模块设置于一个设备，另一个设置于另外一个设备上，这多台设备相互之间会进行交互实现该基于深度学习的小样本肿瘤坏死率分类预测装置的肿瘤坏死率分类功能。同时，正常骨轮廓图像、带有坏死率类别标签的真实化疗前肿瘤图像、真实化疗前肿瘤图像等用于训练各个模块的数据以及生成化疗前肿瘤图像、生成肿瘤时间序列图像等生成属于存储与存储器中。
在一些可选的实施例中，如图3所示，单张图像生成模块10包括：
预处理单元，用于获取正常骨影像图201，对正常骨影像图201进行轮廓提取获得正常骨轮廓图像202，再将正常骨轮廓图像202划分为正常骨轮廓图像训练数据集203以及正常骨轮廓图像测试数据集204。
可选的，利用索贝尔(Sobel)边缘检测算子进行轮廓提取。如图4所示，预处理单元对正常骨影像图201进行轮廓提取时执行以下步骤：
步骤101，利用索贝尔边缘检测算子计算正常骨影像图的横向梯度及纵向梯度，具体包括：使用预置的横向索贝尔卷积因子、纵向索贝尔卷积因子分别与正常骨影像图做平面卷积，得到正常骨影像图的横向亮度差分近似值及纵向亮度差分近似值，计算公式如下：
Figure BDA0002378176260000071
其中A表示正常骨影像图，Gx表示正常骨影像图经横向边缘检测的图像灰度值，Gy表示正常骨影像图经纵向边缘检测的图像灰度值。
步骤102，综合计算像素点灰度值，具体包括：将图像的每一个像素的横向灰度值及纵向灰度值相结合，计算出该点灰度值的大小，计算公式如下：
Figure BDA0002378176260000072
步骤103，根据步骤102中计算出的图像灰度值与预设灰度值阈值的大小关系来判断该点是否为边缘，从而得到正常骨轮廓初始图像。例如设置预设灰度值阈值为50，若步骤102中计算出的图像灰度值大于50，则判断该点为边缘点。
步骤104，将正常骨轮廓初始图像与所述肿瘤病变图进行尺寸变换，从而使二者的尺寸相同，得到正常骨轮廓图像。如图5右侧为正常骨影像图，左侧图即为通过步骤101-104获得的正常骨轮廓图像。
第一训练单元，用于获取肿瘤病变图205，将肿瘤病变图205、正常骨轮廓图像训练数据集203拼接后输入第一生成对抗网络模型206进行训练，得到训练后的第一生成对抗网络模型208。
在一些可选的实施例中，第一生成对抗网络模型208为生成对抗网络风格迁移模型，该生成对抗网络风格迁移模型的输入包括待叠加风格轮廓图与目标细节风格图的成对图像。本实施例中，待叠加风格轮廓图为正常骨轮廓图像202，目标细节风格图为肿瘤病变图205，将如图5所示的肿瘤病变图205、正常骨轮廓图像训练数据集203的拼接图作为整体输入该生成对抗网络风格迁移模型中，训练中该模型学习正常骨轮廓图像训练数据集203与肿瘤病变图205之间的映射关系，训练后的模型可提取最具代表性的肿瘤病变特征。
第一生成单元，用于获取带有坏死率类别标签的真实化疗前肿瘤图像207，并将获取到的带有坏死率类别标签的真实化疗前肿瘤图像207以及正常骨轮廓图像测试数据集204拼接后输入训练后的第一生成对抗网络模型208，获得带有坏死率类别标签的生成化疗前肿瘤图像。
在本实施例中，利用生成对抗网络风格迁移模型提取出的肿瘤病变特征与化疗前肿瘤图像的类别标签，在正常骨轮廓图像测试数据集204上叠加带有坏死率类别的病变信息，得到带有肿瘤坏死率类别标签的生成化疗前肿瘤图像209。
在一些可选的实施例中，如图6所示，单张图像生成模块10的第一训练单元包括：
细节病变图获得子单元11，用于将正常骨轮廓图像训练数据集与肿瘤病变图输入第一生成对抗网络模型的第一生成网络中，获得生成细节病变图。
可选的，本实施例中所述第一生成对抗网络模型可以为生成对抗网络风格迁移模型，如Pix2Pix模型；在有需要的情况下也可以选用其他模型，例如BicycleGAN、CycleGAN、DRIT等。
在本实施例中，将正常骨轮廓图像训练数据集与肿瘤病变图输入第一生成对抗网络模型的第一生成网络中进行训练，第一生成网络学习正常骨轮廓图像与肿瘤病变图的映射关系，提取最具代表性的肿瘤病变特征，从而得到生成细节病变图。
如图6所示，当本实施例中第一生成对抗网络模型为生成对抗网络风格迁移模型时，该模型包括基于卷积结构的第一生成网络G和基于卷积结构的第一判别网络D。可选的，第一生成网络G的结构可为Unet网络架构，该网络架构的预设结构是由卷积层和反卷积层组成的对称编码-解码结构，输入为正常骨轮廓图像，输出对应的细节病变图，即生成细节病变图。
第一生成损失函数计算单元12，用于将所述正常骨轮廓图像训练数据集以及与之对应的所述生成细节病变图输入所述第一生成对抗网络模型的第一判别网络，计算第一生成损失函数。
可选的，第一判别网络D的结构采用普通卷积结构作为分类器，其预设结构是由卷积层组成的二分类器。将细节病变图获得子单元11输出的生成细节病变图以及与之对应的正常骨轮廓图像训练数据集拼接后输入第一判别网络D，输出此成对图像为“真”还是“假”的概率。其中“真”为1，“假”为0。
可选的，本实施例中，第一生成损失函数包括：
Figure BDA0002378176260000091
其中，x* i∈{x* 1,x* 2,...,x* m}表示从细节病变图获得子单元11输出的生成细节病变图及与之拼接的正常骨轮廓图像训练数据集中采样的m个样本，D(x)表示第一判别网络。
第一判别损失函数计算单元13，用于将所述正常骨轮廓图像训练数据集及与之拼接的所述肿瘤病变图、所述正常骨轮廓图像训练数据集及与之对应的所述生成细节病变图分别输入所述第一判别网络，计算第一判别损失函数。
在第一判别损失函数计算单元13中，输入数据包括两部分：其中一部分是生成细节病变图及与其对应的正常骨轮廓图像拼接后的生成图像对，另一部分是真实的训练数据图像对，即正常骨轮廓图像训练数据集及与之拼接的肿瘤病变图。经过第一判别网络后，分别输出判断两部分输入数据集属于“真假”类别的概率，即第一判别网络输出对于这两种数据集的“真假”判别结果进行对于生成网络和判别网络的训练。
所述第一判别损失函数包括：
Figure BDA0002378176260000092
其中，xi∈{x1,x2,...,xm}表示从所述正常骨轮廓图像训练数据集及与之拼接的所述肿瘤病变图中采样的m个样本，x* i∈{x* 1,x* 2,...,x* m}表示所述正常骨轮廓图像训练数据集及与之拼接的所述生成细节病变图中采样的m个样本，D(x)为所述第一判别网络。其中，
Figure BDA0002378176260000093
表示真实的训练数据图像对即正常骨轮廓图像训练数据集及与之拼接的肿瘤病变图的判别损失；
Figure BDA0002378176260000094
表示生成细节病变图及与其对应的正常骨轮廓图像的生成图像对的判别损失，此部分损失计算与其在第一生成网络中的计算方式是反函数的关系，计算两部分输入的损失之和。
第一模型训练单元14，用于基于所述第一生成损失函数及所述第一判别损失函数对所述第一生成网络及所述第一判别网络进行迭代地对抗训练至所述第一生成网络及所述第一判别网络均收敛，得到训练完成的所述第一生成对抗网络模型。
在本实施例中，将计算获得的第一生成损失函数反馈给第一生成网络并不断调整第一生成网络的网络参数以此训练第一生成网络；将计算获得的第一判别损失函数反馈给第一判别网络并不断调整第一判别网络的网络参数以此训练第一判别网络；当第一生成网络以及第一判别网络均收敛，则整个第一生成对抗网络模型收敛，表示模型训练完成；若其中任意一个网络不收敛，则继续优化网络参数直至两个网络均收敛。
如图7所示，第一生成对抗网络模型训练完成后，将正常骨轮廓图像测试数据集以及带有坏死率类别标签的真实化疗前肿瘤图像拼接后输入训练后的第一生成对抗网络模型，该模型的输出即为带有肿瘤坏死率类别标签的生成化疗前肿瘤图像。
在另一些可选的实施例中，时间序列图像生成模块还被配置为：
构建第二生成对抗网络模型；
获取真实肿瘤时间序列图像，将所述真实肿瘤时间序列图像输入第二生成对抗网络模型进行训练，获得训练后的所述第二生成对抗网络模型。
获取所述真实化疗前瘤图像，将所述真实化疗前肿瘤图像与所述生成化疗前肿瘤图像输入训练后的所述第二生成对抗网络模型，获得所述生成肿瘤时间序列图像。
如图8所示，在本实施例中，时间序列图像生成模块包括第二训练单元301以及第二生成单元302。其中，第二训练单元301用于将获取到的真实肿瘤时间序列图像输入到已构建好的第二生成对抗网络模型进行训练从而获得最具代表性的肿瘤时间序列图像病变的特征，即训练后的所述第二生成对抗网络模型能够识别肿瘤时间序列图像病变的特征。第二生成单元302用于将真实化疗前肿瘤图像以及单张图像生成模块11输出的生成化疗前肿瘤图像输入到训练后的所述第二生成对抗网络模型，训练后的所述第二生成对抗网络模型已经可以识别肿瘤时间序列图像病变的特征，因此可以生成并输出生成肿瘤时间序列图像。
可选的，在本实施例中，真实肿瘤时间序列图像即实际拍摄的肿瘤时间序列图像，即该图像是基于真实病人病历获得的，例如X射线拍摄获得的肿瘤时间序列图像。而生成肿瘤时间序列图像则是由时间序列图像生成模块基于本身的学习训练结构生成的肿瘤时间序列图像，并非是基于真实病人病历获得的。
在一些可选的实施例中，第二生成对抗网络模型可以为长短期记忆生成对抗网络模型(Long Short-Term Memory-Generative Adversarial Networks，LSTM-GAN)。其中，长短期记忆生成对抗网络模型包括一个用于生成图像的生成网络和用于提高生成网络生成图像质量的判别网络。每个网络都是由长短期记忆网络组成。生成网络初始化输入为时间序列图像的首张图像经过反卷积操作与非线性变换后输出初始生成图像。判别网络判别输入图像是属于真实样本集还是生成样本集。两个网络之间互相博弈，不断迭代，直至判别网络无法分辨真假，证明生成网络的生成能力已足够强大。
在生成网络中，包括基本卷积长短期记忆生成单元、由基本卷积长短期记忆单元组成的两层长短期记忆生成单元。将基本卷积长短期记忆生成单元组成的两层长短期记忆生成单元按照时间维度进行展开，形成两层时间序列长度为N的长短期记忆生成网络。将长短期记忆生成网络的每个时序阶段的输出进行非线性变换后得到生成的每个时序图像。
在判别网络中，包括基本长短期记忆单元、由基本长短期记忆单元组成的两层长短期记忆判别单元。将基本长短期记忆单元组成的两层长短期记忆判别单元按照时间维度进行展开，形成两层时间序列长度为N的长短期记忆判别网络。将长短期记忆判别网络的最后一个时序的输出经过线性变换后得到对于时间序列肿瘤图像属于“真假”类别的判断结果。
在生成网络的优化过程中，生成网络生成的时间序列图像预设标签为“真”。将其经过判别网络后输出的“真假”类别标签信息与预设标签的差异利用交叉熵损失函数进行对比，在训练过程中不断迭代减小损失，实现对于生成网络的优化。
在判别网络的优化过程中，将真实肿瘤时间序列图像和生成网络生成的时间序列图像输入判别网络进行训练。其中真实肿瘤时间序列图像预设标签为“真”，生成网络生成的时间序列图像预设标签为“假”。分别将其经过判别网络后输出的“真假”类别标签信息与预设标签进行对比，将二者损失之和作为判别网络的最终损失。在训练过程中不断迭代减小损失，实现对于判别网络的优化。
综上，生成网络与判别网络的损失函数是互为反函数的关系，二者互相博弈直至模型收敛。
在一些可选的实施例中，本发明所述时间序列图像生成模块即基于长短期记忆生成对抗网络模型。该模块的整体网络结构图如图9所示。第二生成网络和第二判别网络均为LSTM长短期记忆结构。其中，第二生成网络是由两层卷积LSTM组成，第二判别网络是由两层普通LSTM网络组成。
在本实施例中，时间序列图像生成模块在构建长短期记忆生成对抗网络模型时包括用于构建第二生成网络的生成网络模型构建子单元以及用于构建第二判别网络的判别网络模型构建子单元。其中，生成网络模型构建子单元用于构建基本卷积长短期记忆生成单元，将两个所述基本卷积长短期记忆生成单元进行级联获得两层卷积长短期记忆生成单元，将所述两层卷积长短期记忆生成单元按照时间维度进行扩展获得所述第二生成对抗网络模型的第二生成网络。具体如下所述：
如图10所示，构建好的基本卷积长短期记忆生成单元的输入包括(Ct-1,ht-1,xt)，其中Ct-1表示上一个时间序列传递的长时记忆状态，ht-1表示上一个时间序列传递的短时记忆状态，二者共同组成隐藏状态元组；xt表示输入图像。
构建好的基本卷积长短期记忆生成单元的状态更新公式即输入门、遗忘门和输出门的计算方法包括：
it＝σ(Wxi*xt+Whi*ht-1+WciοCt-1+bi)
ft＝σ(Wxf*xt+Whf*ht-1+WcfοCt-1+bf)
Ct＝ftοCt-1+itοtanh(Wxc*xt+Whc*ht-1+bc)，
ot＝σ(Wxo*xt+Who*ht-1+WcoοCt+bo)
ht＝otοtanh(Ct)
其中，it表示输入门，ft表示遗忘门，ot表示输出门，ht表示短期记忆状态，Ct表示长时记忆状态，*表示卷积操作，ο表示哈达玛(Hadamard)乘积，σ表示激活函数为sigmoid函数，tanh表示tanh激活函数，xt表示输入图像数据，Wxi、Whi、Wci分别表示输入图像和上一个时间阶段的短时记忆状态进行卷积操作的权重项，bi表示对应的偏置项。
构建好的基本卷积长短期记忆生成单元的输出包括(Ct,ht,ht)，Ct表示对下一个时间序列传递的长时记忆状态，第一个ht表示对下一个时间序列传递的短时记忆状态，第二个ht表示本时序的阶段性输出。本实施例中的“卷积”操作如图11所示。本实施例中包括7个卷积层、7个反卷积层，卷积核大小均为4，步长均为2。其中7个卷积层提取不同层次的图像特征，7个反卷积层将特征图反向解码与原图大小相同的图像，并使用类似Unet结构，在卷积层和反卷积层对应层建立跨层连接。其中，卷积层、反卷积层的数量以及卷积核、步长的大小均可根据需要进行调整。
如图12所示，将两个基本卷积长短期记忆生成单元进行级联获得一个两层卷积长短期记忆生成单元。其中，两层卷积长短期记忆生成单元的输入包括(C1 t-1,h1 t-1,C2 t-1,h2 t-1,Xt)，C1 t-1表示第一层上一个时间序列传递的长时记忆状态，h1 t-1表示第一层上一个时间序列传递的短时记忆状态，二者共同组成第一层单元的隐藏状态元组；C2 t-1表示第二层上一个时间序列传递的长时记忆状态，h2 t-1表示第二层上一个时间序列传递的短时记忆状态，二者共同组成第二层单元的隐藏状态元组；Xt表示输入图像。其中，第一层单元的状态更新计算方法与基本卷积长短期记忆生成单元的状态更新公式完全一致。在第二层单元的状态更新中，第二层单元的输入图像Xt为第一层单元的输出h1 t，其余参数的计算方法不变。
构建好的两层卷积长短期记忆生成单元的输出包括(C1 t,h1 t,C2 t,h2 t,h2 t)，C1 t表示第一层对下一个时间序列传递的长时记忆状态，h1 t表示对第一层下一个时间序列传递的短时记忆状态，C2 t表示第二层对下一个时间序列传递的长时记忆状态，第一个h2 t表示第二层对下一个时间序列传递的短时记忆状态，第二个h2 t表示所述两层卷积长短期记忆生成单元的最终输出。
如图12所示，将两层卷积长短期记忆生成单元按照时间维度扩展获得第二生成对抗网络模型的第二生成网络，在本实施例中，时间序列长度取4，也可根据需要设置其他的时间序列长度。
如图13所示，第二生成网络的第一层间状态变量包括[batch_size,h,w,c]，该状态变量是将一维噪声变量z经过线性变换后变换为符合两层卷积LSTM的状态变量的维度要求的格式，作为两层卷积LSTM的状态变量定义获得。其中，batch_size表示输入的每个批次的时间序列图像个数，h、w分别表示每张输入图像的高和宽，c表示每张输入图像的通道数。
每个基本卷积长短期记忆生成单元的状态变量维度即每个基本卷积长短期记忆生成单元的隐含变量包括[h,w,filter_num,filter_size]，h、w分别表示每张输入图像的高和宽，filter_num表示卷积操作中的卷积核数目，filter_size表示卷积操作中的卷积核大小。
输入图像的第一时间阶段的图像格式为符合tensorflow框架卷积操作输入的维度形式，包括[batch_size,h,w,c]，其中batch_size表示输入的每个批次的时间序列图像个数，h、w分别表示每张输入图像的高和宽，c表示每张输入图像的通道数。
输出图像包括h2 tj,j∈[1,2,…n]，n表示所述两层卷积长短期记忆生成单元扩展的时间序列长度。如图11所示，当时间序列长度取4时，时间序列图像的每个阶段输出为h2 t1,h2 t2,h2 t3,h2 t4。
判别网络模型构建子单元用于获取基本长短期记忆单元，将两个所述基本长短期记忆单元进行级联获得两层长短期记忆判别单元，将所述两层长短期记忆判别单元按照时间维度进行扩展获得所述第二生成对抗网络模型的第二判别网络。具体如下所述：
如图14所示，首先获取基本长短期记忆单元，将两个基本长短期记忆单元进行级联获得一个两层长短期记忆判别单元，其状态更新方式为如下的全连接LSTM网络更新方式：
it＝σ(Wxix't+Whiht-1+WciοCt-1+bi)
ft＝σ(Wxfx't+Whfht-1+WcfοCt-1+bf)
Ct＝ftοCt-1+itοtanh(Wxcx't+Whcht-1+bc)
ot＝σ(Wxox't+Whoht-1+WcoοCt+bo)
ht＝otοtanh(Ct)
其中，it表示输入门，ft表示遗忘门，ot表示输出门，ht表示短期记忆状态，Ct表示长时记忆状态，ο表示哈达玛(Hadamard)乘积，σ表示激活函数为sigmoid函数，tanh表示tanh激活函数，x't表示将输入图像数据展平为一维数据后的结果，Wxi、Whi、Wci分别表示输入图像和上一个时间阶段的短时记忆状态进行卷积操作的权重项，bi表示对应的偏置项。
将两层长短期记忆判别单元按照时间维度扩展获得所述第二生成对抗网络模型的第二判别网络；本实施例中，时间序列长度取4，有需要的情况下也可根据需要设置其他时间序列长度的值。
如图15所示，第二判别网络的第二层间状态变量包括[batch_size',hidden_num]，batch_size'表示输入的每个批次的时间序列图像个数，hidden_num表示隐含层状态变量个数。
基本长短期记忆单元的内部状态变量包括[hidden_num]，hidden_num表示隐含层状态变量个数。
将输入的真实时间序列图像数据定义为符合全连接LSTM网络输入的维度形式，即输入的时间序列图像的格式包括[batch_size',sequence_len,img_size]，batch_size表示输入的每个批次的时间序列图像个数，sequence_len表示时间序列图像的序列长度，img_size表示将二维时间序列图像数据展平成为一维后的图像维度。
输出图像包括h2 tj'。在本实施例中，当时间序列长度取4时，将最后一个阶段输出h2 t4'进行线性变换后经过softmax层，得到代表“真假”二分类结果的二维特征。
如图16所示，为时间序列图像生成模块的第二训练单元301在训练第二生成对抗网络模型的流程图。第二生成对抗网络模型的训练具体包括：
初始化单元31，包括第二生成网络的初始化以及第二判别网络的初始化。其中，初始化后的第二生成网络的输入数据包括输入图像X0以及第一层间状态变量，该输入图像X0为真实肿瘤时间序列图像中的第一张图像，经过第二生成网络后，依次得到生成的四个时间阶段的输出，组成时间序列图像，即生成肿瘤时间序列图像。第一层间状态变量包括长期记忆状态变量和短期记忆状态变量。其中长期记忆状态变量C0维度包括[batch_size,h,w,c]，具体实现是将第二生成网络输入的一维噪声向量z[batch_size,z_size]经过维度变换后得到的[batch_size,h,w,c]维变量，其中z_size的定义为噪声向量的维度，h、w分别表示每张输入图像的高和宽，c表示每张输入图像的通道数。短期记忆状态变量的初始值与长期记忆状态变量相同，每个基本卷积长短期生成单元内隐含变量维度包括[h,w,filter_num,filter_size]，其中h、w分别表示每张输入图像的高和宽，filter_num表示卷积操作中的卷积核数目，filter_size表示卷积操作中的卷积核大小。
初始化后的第二判别网络的输入图像Xd0,Xd1,Xd2,Xd3用于输入每组真实肿瘤时间序列图像或生成网络输出的生成肿瘤时间序列图像。第二判别网络还需输入第二层间状态变量，第二层间状态变量也包括长期记忆状态变量和短期记忆状态变量，长期记忆状态变量Cd0维度包括[batch_size,hidden_num]，短期记忆状态变量初始值与长期记忆状态变量相同；每个基本长短期记忆生成单元内隐含变量维度为[hidden_num]。
第二生成损失计算单元32，用于将第二生成网络输出的生成肿瘤时间序列图像输入到第二判别网络，得到对于生成肿瘤时间序列图像的“真假”二分类结果向量。其中，第二生成网络中定义生成的肿瘤时间序列图像标签为“真”，计算其与第二判别网络输出结果的交叉熵，即计算第二生成损失函数；其中，所述第二生成损失函数loss包括：
Figure BDA0002378176260000161
其中，i表示时间序列图像样本序号，y表示生成肿瘤时间序列图像的类别标签，该类别标签采取one-hot编码格式，在生成网络中此标签定义为“真”。d表示所述第二判别网络最后一个时间阶段的输出经过维度变换后得到的表示分类类别的二维特征，p表示经过逻辑回归(softmax)层后得到的二分类结果概率值，lossi表示每个时间序列图像样本的损失结果，其中n＝2，分别是“真”与“假”两种类别。计算每个batch中的m时间序列图像样本的平均损失得到最终loss数值。
第二判别损失计算单元33，用于将第二生成网络输出的生成肿瘤时间序列图像以及真实肿瘤时间序列图像输入第二判别网络，得到对于两种数据集的“真假”二分类结果向量。第二判别网络中定义生成肿瘤时间序列图像标签为“假”，并定义真实肿瘤时间序列图像标签为“真”，分别计算两种数据各自的预先定义标签与第二判别网络输出结果的交叉熵，将两种损失求和作为第二判别网络的最终损失函数，即第二判别损失函数；所述第二判别损失函数包括：
Figure BDA0002378176260000171
其中，i表示时间序列图像样本序号，yD表示真实肿瘤时间序列图像的类别标签，该类别标签采取one-hot编码格式，在判别网络中此标签定义为“真”。yG表示生成肿瘤时间序列图像的类别标签，采取one-hot编码格式，在判别网络中此标签定义为“假”。d表示所述第二判别网络最后一个时间阶段的输出经过维度变换后得到的表示分类类别的二维特征，p表示经过逻辑回归(softmax)层后得到的二分类结果概率值，lossD i表示每个真实肿瘤时间序列图像样本的损失结果，lossG i表示每个生成肿瘤时间序列图像样本的损失结果，其中n＝2，分别是“真”与“假”两种类别。第二判别网络中每次输入2×batch时间序列图像样本，其中第一个batch样本是真实肿瘤时间序列图像，后一个batch样本是生成肿瘤时间序列图像，分别计算每个batch含有的m肿瘤时间序列图像样本的损失之和然后将真实肿瘤时间序列图像损失之和加上生成肿瘤时间序列图像的损失之和，进行平均后得到最终loss数值。
第二模型训练单元34，用于基于第二生成损失函数及第二判别损失函数对第二生成网络及第二判别网络进行迭代地对抗训练至第二生成网络及第二判别网络均收敛，得到训练完成的第二生成对抗网络模型。
在本实施例中，将计算获得的第二生成损失函数反馈给第二生成网络并不断调整第二生成网络的网络参数以此训练第二生成网络；将计算获得的第二判别损失函数反馈给第二判别网络并不断调整第二判别网络的网络参数以此训练第二判别网络；当第二生成网络以及第二判别网络均收敛，则整个第二生成对抗网络模型收敛，表示模型训练完成；若其中任意一个网络不收敛，则继续优化网络参数直至两个网络均收敛。
可选的，为保证模型稳定性，设置第二判别网络的更新速率为第二生成网络的3倍。即第二判别网络每迭代3次后进行一次第二生成网络的更新。
第二生成对抗网络模型训练完成后，将单张图像生成模块10中得到的生成化疗前肿瘤图像以及获取到的真实化疗前肿瘤图像并集作为输入X0，输入已训练好的第二生成网络，得到生成肿瘤时间序列图像。同时，由于输入的化疗前肿瘤图像是带有肿瘤坏死率类别标签的，故第二生成对抗网络模型输出的生成肿瘤时间序列图像也带有肿瘤坏死率类别标签。
在另一些可选的实施例中，如图17所示，坏死率分类模块包括：
深度卷积神经网络训练单元，被配置为将所述生成肿瘤时间序列图像输入所述深度卷积神经网络初始模型训练并调整所述深度卷积神经网络模型的网络参数，获得训练后的所述深度卷积神经网络模型；
深度卷积神经网络诊断单元，被配置为获取所述待检测肿瘤时间序列图像，将所述待检测肿瘤时间序列图像输入训练后的所述深度卷积神经网络模型，获得所述坏死率分类结果。
在一些可选的实施例中，如图18所示，深度卷积神经网络模型包括2个3D卷积层、2个3D池化层和2个全连接层。其中，第一个卷积层参数设置卷积核边长大小为5，步长为1，输出32张特征图，即经过第一个卷积层后得到维度为[h,w,seq_len,feature_num]的特征,其中seq_len为时间序列图像序列长度，feature_num为特征图数量。第一个池化层参数设置步长为2，经过第一个池化层后得到维度为[h/2,w/2,seq_len/2,feature_num]的特征。第二个卷积层参数设置卷积核边长大小为5，步长为1，输出64张特征图，经过第二个卷积层后得到维度为[h/2,w/2,seq_len/2,feature_num×2]的特征。第二个池化层的参数设置步长为2，经过第二个池化层后得到维度为[h/4,w/4,seq_len/4,feature_num×2]的特征。将特征依次经过两个全连接层后得到二分类结果概率值。可选的，当有需要的情况下，深度卷积神经网络也可为其他结构，其卷积层、池化层以及全连接层的数量可以根据实际需要设置，各个层的卷积核边长、步长等参数也可根据实际需要调整。
深度卷积神经网络模型构建成功后，将时间序列图像生成模块输出的生成肿瘤时间序列图像输入到深度卷积神经网络模型中，基于肿瘤坏死率类别标签，训练并调整深度卷积神经网络模型的网络参数，使其提取到最具代表性的肿瘤时间序列图像病变特征。
可选的，可以将时间序列图像生成模块输出的生成肿瘤时间序列图像划分为生成肿瘤时间序列图像训练数据集以及生成肿瘤时间序列图像测试数据集，利用生成肿瘤时间序列图像训练数据集训练深度卷积神经网络模型，利用生成肿瘤时间序列图像测试数据集测试训练后的深度卷积神经网络模型。
最后，利用训练后的深度卷积神经网络进行肿瘤时间序列图像坏死率分类，将待检测肿瘤时间序列图像输入训练后的深度卷积神经网络，输出肿瘤坏死率分类结果。
在本实施例中，训练后的深度卷积神经网络模型可以针对肿瘤时间序列图像提取肿瘤影像特征，由于用于训练深度卷积神经网络模型的生成肿瘤时间序列图像带有肿瘤坏死率类别标签，将生成肿瘤时间序列图像输入到深度卷积神经网络模型进行训练可以得到基于坏死率类别标签的最具代表性的肿瘤时间序列图像病变特征。最后将待检测肿瘤时间序列图像输入训练后的所述深度卷积神经网络模型时即可得出该待检测肿瘤时间序列图像的肿瘤坏死率分类结果。可选的，可以将第二生成对抗网络模型输出的生成肿瘤时间序列图像划分为训练数据集和待诊断数据集，通过训练数据集训练深度卷积神经网络模型，将待诊断数据集输入训练后的深度卷积神经网络模型获得肿瘤坏死率分类结果。也可以将获取到的真实肿瘤时间序列图像直接输入训练后的深度卷积神经网络模型获得肿瘤坏死率分类结果，同时，也可获得病人的待诊断的真实化疗前肿瘤图像，将待诊断的真实化疗前肿瘤图像输入到第二生成对抗网络模型中生成待诊断真实肿瘤时间序列图像，最后再将待诊断真实肿瘤时间序列图像输入到深度卷积神经网络模型输出对应的肿瘤坏死率分类结果。
本说明书实施例提出的基于深度学习的小样本肿瘤坏死率分类预测装置，利用生成对抗网络生成肿瘤图像的方法扩充了稀有的肿瘤数据集，并在时间维度上预测了病变的发展趋势，为小样本肿瘤疾病的研究提供了新思路；该装置不仅适用于骨肿瘤，也适用于其他肿瘤；构建的深度卷积神经网络在时间序列图像的分类问题中表现良好，证明了肿瘤生成图像的有效性与可靠性；将生成对抗网络和深度卷积神经网络相结合，利用深度卷积神经网络对肿瘤时间序列图像进行分类，辅助医生诊断，有助于提高我国基层医院对肿瘤疾病的整体诊断水平，让患者获得更好的生存预后和生活质量。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本公开的范围(包括权利要求)被限于这些例子；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本发明的不同方面的许多其它变化，为了简明它们没有在细节中提供。
另外，为简化说明和讨论，并且为了不会使本发明难以理解，在所提供的附图中可以示出或可以不示出与集成电路(IC)芯片和其它部件的公知的电源/接地连接。此外，可以以框图的形式示出装置，以便避免使本发明难以理解，并且这也考虑了以下事实，即关于这些框图装置的实施方式的细节是高度取决于将要实施本发明的平台的(即，这些细节应当完全处于本领域技术人员的理解范围内)。在阐述了具体细节(例如，电路)以描述本发明的示例性实施例的情况下，对本领域技术人员来说显而易见的是，可以在没有这些具体细节的情况下或者这些具体细节有变化的情况下实施本发明。因此，这些描述应被认为是说明性的而不是限制性的。
尽管已经结合了本发明的具体实施例对本发明进行了描述，但是根据前面的描述，这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。例如，其它存储器架构(例如，动态RAM(DRAM))可以使用所讨论的实施例。
本发明的实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本发明的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于深度学习的小样本肿瘤坏死率分类预测装置，其特征在于，包括：
单张图像生成模块，被配置为将正常骨轮廓图像以及带有肿瘤坏死率类别标签的真实化疗前肿瘤图像输入训练后的第一生成对抗网络模型中，获得带有肿瘤坏死率类别标签的生成化疗前肿瘤图像；
时间序列图像生成模块，被配置为将所述生成化疗前肿瘤图像输入训练后的第二生成对抗网络模型中，获得生成肿瘤时间序列图像；
坏死率分类模块，被配置为采用所述生成肿瘤时间序列图像训练深度卷积神经网络模型以获得待检测肿瘤时间序列图像的肿瘤坏死率分类结果。
2.根据权利要求1所述的装置，其特征在于，所述单张图像生成模块还被配置为：
获取正常骨轮廓图像、肿瘤病变图以及带有坏死率类别标签的真实化疗前肿瘤图像，将所述正常骨轮廓图像划分为正常骨轮廓图像训练数据集以及正常骨轮廓图像测试数据集；
将所述肿瘤病变图、所述正常骨轮廓图像训练数据集拼接后输入所述第一生成对抗网络模型进行训练，得到训练后的所述第一生成对抗网络模型；
将所述正常骨轮廓图像测试数据集以及带有坏死率类别标签的真实化疗前肿瘤图像拼接后输入训练后的所述第一生成对抗网络模型，获得带有肿瘤坏死率类别标签的生成化疗前肿瘤图像。
3.根据权利要求2所述的装置，其特征在于，所述单张图像生成模块还被配置为：
将所述正常骨轮廓图像训练数据集与所述肿瘤病变图输入所述第一生成对抗网络模型的第一生成网络中，获得生成细节病变图；
将所述正常骨轮廓图像训练数据集以及与之对应的所述生成细节病变图输入所述第一生成对抗网络模型的第一判别网络，计算第一生成损失函数；
将所述正常骨轮廓图像训练数据集及与之拼接的所述肿瘤病变图输入所述第一判别网络，并基于输入所述第一判别网络的所述正常骨轮廓图像训练数据集及与之对应的所述生成细节病变图，计算第一判别损失函数；
基于所述第一生成损失函数及所述第一判别损失函数对所述第一生成网络及所述第一判别网络进行迭代地对抗训练至所述第一生成网络及所述第一判别网络均收敛，得到训练完成的所述第一生成对抗网络模型。
4.根据权利要求3所述的装置，其特征在于，
所述第一生成损失函数包括：
Figure FDA0002378176250000021
其中，x* i∈{x* 1,x* 2,...,x* m}表示所述正常骨轮廓图像训练数据集及与之拼接的生成细节病变图中采样的m个样本，D(x)为所述第一判别网络；
所述第一判别损失函数包括：
Figure FDA0002378176250000022
其中，xi∈{x1,x2,...,xm}表示从所述正常骨轮廓图像训练数据集及与之拼接的所述肿瘤病变图中采样的m个样本，x* i∈{x* 1,x* 2,...,x* m}表示所述正常骨轮廓图像训练数据集及与之拼接的生成细节病变图中采样的m个样本，D(x)为所述第一判别网络。
5.根据权利要求1所述的装置，其特征在于，所述时间序列图像生成模块还被配置为：
构建第二生成对抗网络模型；
获取真实肿瘤时间序列图像，将所述真实肿瘤时间序列图像输入所述第二生成对抗网络模型进行训练，获得训练后的所述第二生成对抗网络模型；
获取所述真实化疗前肿瘤图像，将所述真实化疗前肿瘤图像与所述生成化疗前肿瘤图像输入训练后的所述第二生成对抗网络模型，获得所述生成肿瘤时间序列图像。
6.根据权利要求5所述的装置，其特征在于，所述时间序列图像生成模块还被配置为：
构建基本卷积长短期记忆生成单元；其中，所述基本卷积长短期记忆生成单元的输入包括(Ct-1,ht-1,xt)，其中Ct-1表示上一个时间序列传递的长时记忆状态；ht-1表示上一个时间序列传递的短时记忆状态，xt表示输入图像；所述基本卷积长短期记忆生成单元的状态更新公式包括：
Figure FDA0002378176250000031
Figure FDA0002378176250000032
Figure FDA0002378176250000033
Figure FDA0002378176250000034
Figure FDA0002378176250000035
it表示输入门，ft表示遗忘门，ot表示输出门，ht表示短期记忆状态，Ct表示长时记忆状态，*表示卷积操作，
Figure FDA0002378176250000036
表示哈达玛乘积，σ表示激活函数为sigmoid函数，tanh表示tanh激活函数，xt表示输入图像数据，Wxi、Whi、Wci分别表示输入图像和上一个时间阶段的短时记忆状态进行卷积操作的权重项，bi表示对应的偏置项；所述基本卷积长短期记忆生成单元的输出包括(Ct,ht,ht)，Ct表示对下一个时间序列传递的长时记忆状态，第一个ht表示对下一个时间序列传递的短时记忆状态，第二个ht表示本时序的阶段性输出；
将两个所述基本卷积长短期记忆生成单元进行级联获得两层卷积长短期记忆生成单元；所述两层卷积长短期记忆生成单元的输入包括(C1 t-1,h1 t-1,C2 t-1,h2 t-1,Xt)，C1 t-1表示第一层上一个时间序列传递的长时记忆状态，h1 t-1表示第一层上一个时间序列传递的短时记忆状态，C2 t-1表示第二层上一个时间序列传递的长时记忆状态，h2 t-1表示第二层上一个时间序列传递的短时记忆状态，Xt表示输入图像，其中第二层单元的输入图像Xt为第一层单元的输出；所述两层卷积长短期记忆生成单元的输出包括(C1 t,h1 t,C2 t,h2 t,h2 t)，C1 t表示第一层对下一个时间序列传递的长时记忆状态，h1 t表示对第一层下一个时间序列传递的短时记忆状态，C2 t表示第二层对下一个时间序列传递的长时记忆状态，第一个h2 t表示第二层对下一个时间序列传递的短时记忆状态，第二个h2 t表示所述两层卷积长短期记忆生成单元的最终输出；
将所述两层卷积长短期记忆生成单元按照时间维度扩展获得所述第二生成对抗网络模型的第二生成网络；所述第二生成网络的第一层间状态变量包括[batch_size,h,w,c]，batch_size表示输入的每个批次的时间序列图像个数，h、w分别表示每张输入图像的高和宽，c表示每张输入图像的通道数；每个所述基本卷积长短期记忆生成单元的隐含变量包括[h,w,filter_num,filter_size]，h、w分别表示每张输入图像的高和宽，filter_num表示卷积操作中的卷积核数目，filter_size表示卷积操作中的卷积核大小；输入图像的第一时间阶段的图像格式包括[batch_size,h,w,c]，输出图像包括h2 tj,j∈[1,2,…n]，n表示所述两层卷积长短期记忆生成单元扩展的时间序列长度。
7.根据权利要求6所述的装置，其特征在于，所述时间序列图像生成模块，还被配置为：
获取基本长短期记忆单元，将两个所述基本长短期记忆单元进行级联获得两层长短期记忆判别单元，将所述两层长短期记忆判别单元按照时间维度扩展获得所述第二生成对抗网络模型的第二判别网络；
其中，所述第二判别网络的第二层间状态变量包括[batch_size',hidden_num]，batch_size'表示输入的每个批次的时间序列图像个数，hidden_num表示隐含层状态变量个数；所述基本长短期记忆单元的内部状态变量包括[hidden_num]；输入的时间序列图像的格式包括[batch_size',sequence_len,img_size]，batch_size'表示输入的每个批次的时间序列图像个数，sequence_len表示时间序列图像的序列长度，img_size表示将二维时间序列图像数据展平成为一维后的图像维度；输出图像包括h2 tj'。
8.根据权利要求7所述的装置，其特征在于，所述时间序列图像生成模块还被配置为：
初始化所述第二生成网络及所述第二判别网络，将所述真实肿瘤时间序列图像中的第一张图像及第一层间状态变量输入所述第二生成网络，获得生成肿瘤时间序列图像；
将所述生成肿瘤时间序列图像输入所述第二判别网络，计算第二生成损失函数；
将所述生成肿瘤时间序列图像以及所述真实肿瘤时间序列图像输入所述第二判别网络，计算第二判别损失函数；
基于所述第二生成损失函数及所述第二判别损失函数对所述第二生成网络及所述第二判别网络进行迭代地对抗训练至所述第二生成网络及所述第二判别网络均收敛，得到训练完成的所述第二生成对抗网络模型。
9.根据权利要求8所述的装置，其特征在于，
所述第二生成损失函数loss包括：
Figure FDA0002378176250000051
其中，i表示时间序列图像样本序号，y表示生成肿瘤时间序列图像的类别标签，d表示所述第二判别网络最后一个时间阶段的输出经过维度变换后得到的表示分类类别的二维特征，p表示经过逻辑回归层后得到的二分类结果概率值，lossi表示每个时间序列图像样本的损失结果；
所述第二判别损失函数包括：
Figure FDA0002378176250000052
其中，i表示时间序列图像样本序号，yD表示真实肿瘤时间序列图像的类别标签，yG表示生成肿瘤时间序列图像的类别标签，d表示所述第二判别网络最后一个时间阶段的输出经过维度变换后得到的表示分类类别的二维特征，p表示经过逻辑回归层后得到的二分类结果概率值，lossD i表示每个真实肿瘤时间序列图像样本的损失结果，lossG i表示每个生成肿瘤时间序列图像样本的损失结果。
10.根据权利要求1所述的装置，其特征在于，所述坏死率分类模块被配置为：
将所述生成肿瘤时间序列图像输入已构建的深度卷积神经网络初始模型训练并调整所述深度卷积神经网络模型的网络参数，获得训练后的所述深度卷积神经网络模型；
获取所述待检测肿瘤时间序列图像，将所述待检测肿瘤时间序列图像输入训练后的所述深度卷积神经网络模型，获得所述坏死率分类结果。
CN202010074621.XA 2020-01-22 2020-01-22 一种基于深度学习的小样本肿瘤坏死率分类预测装置 Active CN111275691B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010074621.XA CN111275691B (zh) 2020-01-22 2020-01-22 一种基于深度学习的小样本肿瘤坏死率分类预测装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010074621.XA CN111275691B (zh) 2020-01-22 2020-01-22 一种基于深度学习的小样本肿瘤坏死率分类预测装置

Publications (2)

Publication Number Publication Date
CN111275691A true CN111275691A (zh) 2020-06-12
CN111275691B CN111275691B (zh) 2023-08-18

Family

ID=71001872

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010074621.XA Active CN111275691B (zh) 2020-01-22 2020-01-22 一种基于深度学习的小样本肿瘤坏死率分类预测装置

Country Status (1)

Country Link
CN (1) CN111275691B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112308781A (zh) * 2020-11-23 2021-02-02 中国科学院深圳先进技术研究院 一种基于深度学习的单幅图像三维超分辨率重构方法
CN112967263A (zh) * 2021-03-18 2021-06-15 西安智诊智能科技有限公司 一种基于生成对抗网络的肝脏肿瘤图像样本增广方法
CN113066580A (zh) * 2021-03-17 2021-07-02 上海电气集团股份有限公司 一种医疗评分确定方法、装置、电子设备及存储介质
CN113101548A (zh) * 2021-04-20 2021-07-13 黄晓延 一种降低皮肤剂量的光子调强放疗控制方法
CN113537401A (zh) * 2021-08-13 2021-10-22 哈尔滨工程大学 一种基于改进的生成对抗网络的水下图像翻译方法
CN114298177A (zh) * 2021-12-16 2022-04-08 广州瑞多思医疗科技有限公司 一种适用于深度学习训练数据的扩充增强方法、系统及可读存储介质
TWI818203B (zh) * 2020-10-23 2023-10-11 國立臺灣大學醫學院附設醫院 基於病患病情的分類模型建立方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011063524A (ja) * 2009-09-15 2011-03-31 Japan Health Science Foundation ペロキシレドキシン２の使用、骨肉腫の化学療法奏効性の予測方法及び検査用試薬キット
US20180260951A1 (en) * 2017-03-08 2018-09-13 Siemens Healthcare Gmbh Deep Image-to-Image Recurrent Network with Shape Basis for Automatic Vertebra Labeling in Large-Scale 3D CT Volumes
US20190030371A1 (en) * 2017-07-28 2019-01-31 Elekta, Inc. Automated image segmentation using dcnn such as for radiation therapy

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011063524A (ja) * 2009-09-15 2011-03-31 Japan Health Science Foundation ペロキシレドキシン２の使用、骨肉腫の化学療法奏効性の予測方法及び検査用試薬キット
US20180260951A1 (en) * 2017-03-08 2018-09-13 Siemens Healthcare Gmbh Deep Image-to-Image Recurrent Network with Shape Basis for Automatic Vertebra Labeling in Large-Scale 3D CT Volumes
US20190030371A1 (en) * 2017-07-28 2019-01-31 Elekta, Inc. Automated image segmentation using dcnn such as for radiation therapy

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI818203B (zh) * 2020-10-23 2023-10-11 國立臺灣大學醫學院附設醫院 基於病患病情的分類模型建立方法
CN112308781A (zh) * 2020-11-23 2021-02-02 中国科学院深圳先进技术研究院 一种基于深度学习的单幅图像三维超分辨率重构方法
CN113066580A (zh) * 2021-03-17 2021-07-02 上海电气集团股份有限公司 一种医疗评分确定方法、装置、电子设备及存储介质
CN112967263A (zh) * 2021-03-18 2021-06-15 西安智诊智能科技有限公司 一种基于生成对抗网络的肝脏肿瘤图像样本增广方法
CN113101548A (zh) * 2021-04-20 2021-07-13 黄晓延 一种降低皮肤剂量的光子调强放疗控制方法
CN113537401A (zh) * 2021-08-13 2021-10-22 哈尔滨工程大学 一种基于改进的生成对抗网络的水下图像翻译方法
CN113537401B (zh) * 2021-08-13 2022-08-02 哈尔滨工程大学 一种基于改进的生成对抗网络的水下图像翻译方法
CN114298177A (zh) * 2021-12-16 2022-04-08 广州瑞多思医疗科技有限公司 一种适用于深度学习训练数据的扩充增强方法、系统及可读存储介质

Also Published As

Publication number Publication date
CN111275691B (zh) 2023-08-18

Similar Documents

Publication Publication Date Title
CN111275691B (zh) 一种基于深度学习的小样本肿瘤坏死率分类预测装置
Shen End-to-end training for whole image breast cancer diagnosis using an all convolutional design
Qadri et al. CT‐based automatic spine segmentation using patch‐based deep learning
Razmjooy et al. Entropy-based breast cancer detection in digital mammograms using world cup optimization algorithm
Mednikov et al. Transfer representation learning using Inception-V3 for the detection of masses in mammography
Wang et al. Annotation-efficient learning for medical image segmentation based on noisy pseudo labels and adversarial learning
Lee et al. Identifying women with mammographically-occult breast cancer leveraging GAN-simulated mammograms
Patel Predicting invasive ductal carcinoma using a reinforcement sample learning strategy using deep learning
Wankhade et al. A novel hybrid deep learning method for early detection of lung cancer using neural networks
CN115298702A (zh) 用于哺乳动物迁移学习的系统和方法
Salem Mammogram-Based cancer detection using deep convolutional neural networks
CN112638262B (zh) 相似度确定装置、方法及程序
Mecheter et al. Deep learning with multiresolution handcrafted features for brain MRI segmentation
Park et al. Data augmentation based on generative adversarial networks for endoscopic image classification
Faragallah et al. Efficient brain tumor segmentation using OTSU and K-means clustering in homomorphic transform
Yadav et al. Deep learning-based CAD system design for thyroid tumor characterization using ultrasound images
El-Shafai et al. Efficient classification of different medical image multimodalities based on simple CNN architecture and augmentation algorithms
Yadav et al. Assessment of encoder-decoder-based segmentation models for thyroid ultrasound images
Saber et al. Multi-center, multi-vendor, and multi-disease cardiac image segmentation using scale-independent multi-gate UNET
Jahangeer et al. Detecting breast cancer using novel mask R‐CNN techniques
Hao et al. Radiographs and texts fusion learning based deep networks for skeletal bone age assessment
Anilkumar et al. Classification of MR brain tumors with deep plain and residual feed forward CNNs through transfer learning
Heker et al. Hierarchical fine-tuning for joint liver lesion segmentation and lesion classification in ct
Amritha et al. Liver tumor segmentation and classification using deep learning
Armstrong et al. Brain tumor image segmentation using Deep learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20201110

Address after: 100876 Beijing city Haidian District Xitucheng Road No. 10

Applicant after: Beijing University of Posts and Telecommunications

Applicant after: Peking University People's Hospital

Address before: 100876 Beijing city Haidian District Xitucheng Road No. 10

Applicant before: Beijing University of Posts and Telecommunications

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant