CN117457140A - 基于深度学习的宫颈癌诊断报告生成方法、装置和设备 - Google Patents

基于深度学习的宫颈癌诊断报告生成方法、装置和设备 Download PDF

Info

Publication number
CN117457140A
CN117457140A CN202311452060.2A CN202311452060A CN117457140A CN 117457140 A CN117457140 A CN 117457140A CN 202311452060 A CN202311452060 A CN 202311452060A CN 117457140 A CN117457140 A CN 117457140A
Authority
CN
China
Prior art keywords
image
tumor
t2wi
sequence
image sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311452060.2A
Other languages
English (en)
Inventor
林永平
苏佳林
宋志钰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen University of Technology
Original Assignee
Xiamen University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen University of Technology filed Critical Xiamen University of Technology
Priority to CN202311452060.2A priority Critical patent/CN117457140A/zh
Publication of CN117457140A publication Critical patent/CN117457140A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/469—Contour-based spatial representations, e.g. vector-coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Public Health (AREA)
  • Databases & Information Systems (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Pathology (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供一种基于深度学习的宫颈癌诊断报告生成方法、装置和设备，涉及计算机辅助医学影像处理技术领域。其中，这种宫颈癌诊断报告生成方法包含步骤S1至步骤S5。S1、获取MRI图像序列。其中，MRI图像序列包括DWI图像序列和T2WI图像序列。S2、根据DWI图像序列进行目标检测，以识别肿瘤区域获取肿瘤的DW I图像块序列。S3、根据肿瘤的DWI图像块序列和T2WI图像序列进行图像相似度比对，获取肿瘤的T2WI图像序列。S4、分别将肿瘤的T2WI图像序列中的各张图像进行编码，并将编码接合成一个蕴含连续图像的动态信息的特征向量。S5、将蕴含连续图像的动态信息的特征向量输入预先训练好的LSTM文本生成模型进行解码，获取宫颈癌诊断报告文本。

Description

基于深度学习的宫颈癌诊断报告生成方法、装置和设备
技术领域
本发明涉及计算机辅助医学影像处理技术领域，具体而言，涉及一种基于深度学习的宫颈癌诊断报告生成方法、装置和设备。
背景技术
宫颈癌(CC)是女性第四大在最常见的癌症。宫颈癌(CC)是一种可预防的疾病。如果及早发现并进行适当治疗，宫颈癌(CC)可以治愈。通过疫苗接种、筛查和治疗可以大大减少宫颈癌新病例相关死亡。
目前放射科医生大多采用磁共振成像(MRI)作为给出医学诊断的首选影像方式，它具有高组织分辨率和高对比度的特性，可以很好的表征出患者的肿瘤信息。但目前反应患者病灶信息的医学影像通常由放射科医生根据他们的临床经验做出解释，而这种解释容易受到人的主观性影响，低效且误差高，两个放射科医生可能会对同一张医学影像做出不同的解释。
在对宫颈癌的磁共振成像(MRI)诊断中，放射科医生通常使用弥散加权成像(DWI)图像和T2加权成像(T2WI)图像中的信息作为诊断基础。其中弥散加权成像(DWI)图像清晰度不高，具有肿瘤高亮，但形态结构模糊的特点，其优势在于可以快速定位肿瘤的位置。而T2加权成像(T2WI)图像清晰度高，具有肿瘤不高亮，但形态结构清晰可见的特点，其优势在于可以在图像中看到更详细肿瘤的形态结构信息，帮助给出诊断结论。
目前，一些计算机辅助诊断(CAD)方法可以帮助放射科医生更好的对医学影像做出分析，并随着AI算法的突破，计算机辅助诊断(CAD)的性能也在不断提高，逐渐参与到更加复杂的诊断任务中，但目前主流的计算机辅助诊断(CAD)都无法做到基于MRI图像对CC进行精确高效的自动诊断。
有鉴于此，申请人在研究了现有的技术后特提出本申请。
发明内容
本发明提供了一种基于深度学习的宫颈癌诊断报告生成方法、装置和设备，以改善上述技术问题中的至少一个。
第一方面、本发明实施例提供了一种基于深度学习的宫颈癌诊断报告生成方法，其包含步骤S1至步骤S5。
S1、获取MRI图像序列。其中，MRI图像序列包括DWI图像序列和T2WI图像序列。
S2、根据DWI图像序列进行目标检测，以识别肿瘤区域获取肿瘤的DW I图像块序列。
S3、根据肿瘤的DWI图像块序列和T2WI图像序列进行图像相似度比对，获取肿瘤的T2WI图像序列。
S4、分别将肿瘤的T2WI图像序列中的各张图像进行编码，并将编码接合成一个蕴含连续图像的动态信息的特征向量。
S5、将蕴含连续图像的动态信息的特征向量输入预先训练好的LSTM文本生成模型进行解码，获取宫颈癌诊断报告文本。
第二方面、本发明实施例提供了一种基于深度学习的宫颈癌诊断报告生成装置，其包含：
初始图像获取模块，用于获取MRI图像序列。其中，MRI图像序列包括DWI图像序列和T2WI图像序列。
目标检测模块，用于根据DWI图像序列进行目标检测，以识别肿瘤区域获取肿瘤的DWI图像块序列。
相似识别模块，用于根据肿瘤的DWI图像块序列和T2WI图像序列进行图像相似度比对，获取肿瘤的T2WI图像序列。
编码模块，用于分别将肿瘤的T2WI图像序列中的各张图像进行编码，并将编码接合成一个蕴含连续图像的动态信息的特征向量。
解码模块，用于将蕴含连续图像的动态信息的特征向量输入预先训练好的LSTM文本生成模型进行解码，获取宫颈癌诊断报告文本。
第三方面、本发明实施例提供了一种基于深度学习的宫颈癌诊断报告生成设备，其包括处理器、存储器，以及存储在存储器内的计算机程序。计算机程序能够被处理器执行，以实现如第一方面任意一段的基于深度学习的宫颈癌诊断报告生成方法。
第四方面、本发明实施例提供了一种计算机可读存储介质。计算机可读存储介质包括存储的计算机程序，其中，在计算机程序运行时控制计算机可读存储介质所在设备执行如第一方面任意一段的基于深度学习的宫颈癌诊断报告生成方法。
通过采用上述技术方案，本发明可以取得以下技术效果：
本发明实施例的宫颈癌诊断报告生成方法通过肿瘤定位算法模拟放射科医生的思维方式，自动挑选出肿瘤形态清晰可见的T2WI图像序列，并根据肿瘤形态清晰可见的T2WI图像序列通过LSTM文本生成模型生成宫颈癌诊断报告。通过两阶段的处理和预测，可以准确的做到端到端的自动生成宫颈癌诊断报告，且每次生成报告的标准统一，准确率高，效率高，无需放射科医师干预。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1是宫颈癌诊断报告生成方法的流程示意图。
图2是宫颈癌诊断报告生成方法的网络模型，训练时的逻辑框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一、请参阅图1和图2，本发明第一实施例提供一种基于深度学习的宫颈癌诊断报告生成方法，其可由基于深度学习的宫颈癌诊断报告生成设备来执行(以下简称：报告生成设备)。特别地，由报告生成设备中的一个或多个处理器来执行，以实现步骤S1至步骤S5。
S1、获取MRI图像序列。其中，所述MRI图像序列包括DWI图像序列和T2WI图像序列。
优选的，MRI的DWI图像和T2WI图像的图像大小等大，均为512X512。
图2所示为模型训练时的逻辑框图。去掉图2中左下角的“文本信息-LSTM表示文本信息的向量-向量拼接”而直接将“连续图像的动态的特征向量”输入到LSTM文本生成模型进行解码，即可实现通过本发明实施例的“基于深度学习的宫颈癌诊断报告生成模型”自动生成宫颈癌诊断报告。
可以理解的是，所述报告生成设备可以是便携笔记本计算机、台式机计算机、服务器、智能手机或者平板电脑等具有计算性能的电子设备。
S2、根据所述DWI图像序列进行目标检测，以识别肿瘤区域获取肿瘤的DWI图像块序列。优选的，步骤S2具体包括步骤S21和步骤S22。
S21、通过YOLOv8目标检测模型对所述DWI图像序列进行目标检测，从而将肿瘤图像用先验框框起来，获取带有先验框的DWI图像序列。
S22、根据所述先验框提取肿瘤图像作为图像块，获取肿瘤的DWI图像块序列。
在本实施例中，模仿放射科医生思维范式的肿瘤定位算法，旨在从MRI的DWI图像序列中快速定位到肿瘤。患者MR I的DWI图像序列经过目标检测模型进行肿瘤检测后，挑选出肿瘤可见的连续DWI图像序列。
肿瘤定位算法的具体的设计内容为：将患者MR I的DWI图像序列送入目标检测模型YOLOv8获得先验框。即：当检测到肿瘤时以带有置信度的框包围起来。基于模型所预测出的先验框，根据置信度分数挑选出图像。
在YOLOv8遍历完DWI图像序列后，将得到带有先验框的DWI图像序列，即肿瘤可见的DWI图像序列(肿瘤区域在图像中呈高亮状态并均被带有置信度的框包围)。
对于这些带有先验框的DWI图像序列，提取每张DWI图像中先验框所包围的区域作为图像块，从而得到肿瘤的DWI图像块序列。
S3、根据所述肿瘤的DWI图像块序列和所述T2WI图像序列进行图像相似度比对，获取肿瘤的T2WI图像序列。在本实施例中，将肿瘤可见的DWI图像块(即：肿瘤的DWI图像块)输入到精心设计的图像比对模型，从而然后在T2WI图像序列中找到具有与肿瘤可见的DWI图像块最相似区域的T2W I图像。该T2WI图像即为患者在与DWI相同扫描位置通过T2WI方式得到的T2WI图像。
在上述实施例的基础上，本发明的一个可选地实施例中，步骤S3具体包括：
S31、分别根据肿瘤的DW I图像块序列中的各个DWI图像块执行步骤S32至步骤S35，以获取肿瘤的T2WI图像序列。
S32、根据肿瘤的DWI图像块的区域坐标分别从所述T2WI图像序列中的各个图像提取局部图像，获取局部T2WI图像序列。
S33、对所述局部T2WI图像序列进行模糊处理，并对肿瘤的DWI图像块和模糊处理后的局部T2W I图像序列中的各个图像进行边缘计算，以获取DWI图像块中的轮廓和模糊处理后的局部T2WI图像序列中各个图像的轮廓。
S34、将所述DWI图像块中的轮廓和模糊处理后的局部T2WI图像序列中各个图像的轮廓输入图像比对模型，识别DWI图像块对应的模糊处理后的局部T2WI图像。优选的，所述图像比对模型(即：图像相似度计算模型)先通过卷积层提取到图像块中的不同特征，然后通过ReLU层保留部分特征值和将特征小于0的值舍去，然后通过最大池化层对特征进行降维，最后使用结构相似性衡量指标来计算图像间的相似度分数。其中，相识度相似度分数大于预设值的认定为对应图像。
S35、根据所述DWI图像块对应的模糊处理后的局部T2WI图像，从T2WI图像序列提取图像，获取肿瘤的T2WI图像。
具体的，在一个DWI图像序列中，每张DWI图像上检测出的坐标是不同的，(因为肿瘤区域会随着扫描位置的变化而变化)，因此我们需要使用图像比对，来在T2WI图像序列中找到当前DWI图像对应的T2WI图像。
比如，DWI图像A检测出的坐标为(1,2,3,4)，而DWI图像B的坐标为(7,8,9,10)。那么就需要在T2WI图像序列中先截取出(1,2,3,4)坐标区域对应的T2WI图像块序列，然后在这些T2WI图像块序列中，找到能够与DWI图像块对应上的T2WI图像块，此时该T2WI图像块所在的T2WI图像即为与DWI图像A最相似的图像。DWI图像B的图像比对方式同理。
通过对T2WI图像序列的多次遍历，可以得到与DWI图像块序列最相似的T2WI图像序列。
细节来说，先对局部T2WI图像进行模糊操作，使得它从高清晰的T2WI图像块变为与DWI图像块一样模糊的图像块，旨在消除T2WI图像块中除肿瘤信息外的其他不必要的信息。然后对DWI图像块和模糊后的T2WI图像块分别进行边缘计算得到轮廓图。再将DWI图像中的图像块的轮廓图与模糊后的T2WI图像块的轮廓图同时输入到图像比对模型经过一系列的卷积层提取到图像块中的不同特征，再利用ReLU层保留特征比较好的值，并将特征小于0的值舍去，然后再经过最大池化层对特征进行降维后，使用SSIM来计算它们之间的图像相似度分数，选取相似度分数最高的局部T2WI图像所在的T2WI图像作为与DWI图像块最相似的T2WI图像，从而得到肿瘤的T2WI图像序列
步骤S2和步骤S3模仿放射科医生的思维范式，先从DWI图像定位到肿瘤，后在T2WI图像图列中找到相应的肿瘤结构清晰可见的图像，能够大大提高诊断的准确性。
S4、分别将肿瘤的T2WI图像序列中的各张图像进行编码，并将编码接合成一个蕴含连续图像的动态信息的特征向量。优选的，步骤S4具体包括：
S41、通过ResNet神经网络分别将肿瘤的T2WI图像序列中的各张图像进行编码，获取各张图像的特征向量。
具体的，由图像比对模型挑选出的T2WI图像序列作为输入，通过ResNet神经网络作为图像编码模型分别图像序列中的每张图像进行编码，获得每张图像的特征向量。
S42、将各张图像的特征向量进行逐元素的相乘，以获取一个蕴含连续图像的动态信息的特征向量。
具体的，为了能够综合考量多张图像的特征信息，将所有图像的特征向量逐元素相乘，从而获得一个既具有细节信息又具有强语义信息的图像特征向量。
现有技术中通过计算机辅助诊断(CAD)系统或现有的深度学习方法，对CC患者的医学影像(宫腔镜图像，经阴道超声图像，MRI图像等)进行分析，虽然可以得到医学诊断结果。但是，均只能对单个图像生成诊断结果，并且不能像放射科医生那样根据不同加权成像方式的多张图像序列得出一个全面的诊断报告。因此，得出的结论准确率较低，对放射科医生的诊断帮助有限。
本发明实施例，模仿放射科医生的思维范式，从多个MRI图像序列自动挑选出肿瘤形态结构清晰可见的图像。考量图像动态信息，根据连续的图像序列生成放射学诊断报告，帮助医生更快的得出诊断结果，制定更优的治疗策略。
S5、将所述蕴含连续图像的动态信息的特征向量输入预先训练好的LSTM文本生成模型进行解码，获取宫颈癌诊断报告文本。
本发明实施例的宫颈癌诊断报告生成方法通过肿瘤定位算法模拟放射科医生的思维方式，自动挑选出肿瘤形态清晰可见的T2WI图像序列，并根据肿瘤形态清晰可见的T2WI图像序列通过LSTM文本生成模型生成宫颈癌诊断报告。通过两阶段的处理和预测，可以准确的做到端到端的自动生成宫颈癌诊断报告，且每次生成报告的标准统一，准确率高，效率高，无需放射科医师干预。
如图2所示，在上述实施例的基础上，本发明的一个可选地实施例中，ResNet神经网络和LSTM文本生成模型的训练步骤包括步骤A1至步骤A5。
A1、获取宫颈癌诊断报告及其对应的患者的肿瘤的T2WI图像序列。
具体的，步骤A1中的肿瘤的T2WI图像序列通过步骤S1至步骤S3得到，也可由医生进行筛选得到。通过步骤S1至步骤S3自动进行肿瘤的T2WI图像序列的筛选的话，模型训练好之后精度会更高。
A2、将所述宫颈癌诊断报告中与病例诊断无关的句子删减后，提取出现频率最高的医学术语作为诊断报告的分类标签。
A3、通过LSTM自动编码器对分类标签进行编码，获取标签向量。
A4、通过ResNet神经网络将患者的肿瘤的T2WI图像序列中的各个图像编码成特征向量，并将各个图像的特征向量进行逐元素的相乘，从而得到一个蕴含连续图像的动态信息的特征向量。
A5、将蕴含连续图像的动态信息的特征向量和标签向量进行拼接，获取训练向量。
A5、将所述训练向量作为训练数据对ResNet神经网络和LSTM文本生成模型进行训练，从而获取预先训练好的ResNet神经网络和LSTM文本生成模型。
具体的，基于深度学习的宫颈癌诊断报告生成方法的诊断报告自动生成模型设计与训练步骤如下。
首先，为了获得能够用于训练诊断报告自动生成模型的文本信息，先由放射科医生根据CC患者的MRI图像序列进行诊断，得到诊断报告。
然后，对诊断报告进行文本预处理，删减与病例诊断无关的句子，提取出现频率最高的医学术语作为诊断报告的分类标签。使用LSTM自动编码器将这些文本信息(即标签)编码为向量。
再然后，将MRI图像序列中的肿瘤清晰可见的T2W I图像序列进行编码，每张图像通过ResNet编码为一个特征向量，再将这些向量进行逐元素的相乘，从而得到一个蕴含连续图像的动态信息的特征向量。
在得到蕴含连续图像的动态信息的特征向量和表示文本信息的向量后，对它们进行拼接操作融合为一个新的向量。最后，将这个向量作为训练数据输入到LSTM文本生成模型进行解码，从而得到CC诊断报告文本，并根据CC诊断报告文本和预先设置的损失函数对ResNet神经网络和LSTM文本生成模型进行调整，从而得到预先训练好的ResNet神经网络和LSTM文本生成模型。
本发明实施例的基于深度学习的宫颈癌诊断报告生成方法建立了高精度的深度学习模型，将弥散加权成像(DWI)和T2加权成像(T2WI)两种加权成像方式的优点相结合，从而弥补各自的缺点，通过计算机端到端的自动化实现，从而自动生成CC诊断报告。在帮助医生诊断宫颈癌(CC)方面具有很好的实际价值。其中，DWI图像清晰度不高，肿瘤形态结构模糊但肿瘤高亮，可以快速定位肿瘤的位置。T2WI图像清晰度高，肿瘤形态结构清晰可见，可以在图像中看到更详细肿瘤的形态结构信息。
实施例二、本发明实施例提供了一种基于深度学习的宫颈癌诊断报告生成装置，其包含：
初始图像获取模块，用于获取MRI图像序列。其中，所述MRI图像序列包括DW I图像序列和T2WI图像序列。
目标检测模块，用于根据所述DW I图像序列进行目标检测，以识别肿瘤区域获取肿瘤的DWI图像块序列。
相似识别模块，用于根据所述肿瘤的DWI图像块序列和所述T2WI图像序列进行图像相似度比对，获取肿瘤的T2W I图像序列。
编码模块，用于分别将肿瘤的T2WI图像序列中的各张图像进行编码，并将编码接合成一个蕴含连续图像的动态信息的特征向量。
解码模块，用于将所述蕴含连续图像的动态信息的特征向量输入预先训练好的LSTM文本生成模型进行解码，获取宫颈癌诊断报告文本。
在上述实施例的基础上，本发明的一个可选地实施例中，目标检测模块具体包括以下2个单元。
目标检测单元，用于通过YOLOv8目标检测模型对所述DWI图像序列进行目标检测，从而将肿瘤图像用先验框框起来，获取带有先验框的DWI图像序列。
目标提取单元，用于根据所述先验框提取肿瘤图像作为图像块，获取肿瘤的DW I图像块序列。
在上述实施例的基础上，本发明的一个可选地实施例中，相似识别模块具体包括以下5个单元。
循环遍历单元，用于分别根据肿瘤的DWI图像块序列中的各个DWI图像块执行后续单元，以获取肿瘤的T2W I图像序列。
局部图像提取单元，用于根据肿瘤的DWI图像块的区域坐标分别从所述T2WI图像序列中的各个图像提取局部图像，获取局部T2WI图像序列。
轮廓识别单元，用于对所述局部T2WI图像序列进行模糊处理，并对肿瘤的DW I图像块和模糊处理后的局部T2WI图像序列中的各个图像进行边缘计算，以获取DW I图像块中的轮廓和模糊处理后的局部T2WI图像序列中各个图像的轮廓。
轮廓比对单元，用于将所述DWI图像块中的轮廓和模糊处理后的局部T2WI图像序列中各个图像的轮廓输入图像比对模型，识别DWI图像块对应的模糊处理后的局部T2WI图像。
肿瘤图像提取单元，用于根据所述DWI图像块对应的模糊处理后的局部T2WI图像，从T2WI图像序列提取图像，获取肿瘤的T2WI图像。
在上述实施例的基础上，本发明的一个可选地实施例中，所述图像比对模型先通过卷积层提取到图像块中的不同特征，然后通过ReLU层保留部分特征值和将特征小于0的值舍去，然后通过最大池化层对特征进行降维，最后使用结构相似性衡量指标来计算图像间的相似度分数。其中，相识度相似度分数大于预设值的认定为对应图像。
在上述实施例的基础上，本发明的一个可选地实施例中，编码模块具体包括以下2个单元。：
图像编码单元，用于通过预先训练好的ResNet神经网络分别将肿瘤的T2WI图像序列中的各张图像进行编码，获取各张图像的特征向量。
向量相乘单元，用于将各张图像的特征向量进行逐元素的相乘，以获取一个蕴含连续图像的动态信息的特征向量。
在上述实施例的基础上，本发明的一个可选地实施例中，ResNet神经网络和LSTM文本生成模型的训练步骤包括步骤A1至步骤A5。
A1、获取宫颈癌诊断报告及其对应的患者的肿瘤的T2WI图像序列。
A2、将所述宫颈癌诊断报告中与病例诊断无关的句子删减后，提取出现频率最高的医学术语作为诊断报告的分类标签。
A3、通过LSTM自动编码器对分类标签进行编码，获取标签向量。
A4、通过ResNet神经网络将患者的肿瘤的T2WI图像序列中的各个图像编码成特征向量，并将各个图像的特征向量进行逐元素的相乘，从而得到一个蕴含连续图像的动态信息的特征向量。
A5、将蕴含连续图像的动态信息的特征向量和标签向量进行拼接，获取训练向量。
A5、将所述训练向量作为训练数据对ResNet神经网络和LSTM文本生成模型进行训练，从而获取预先训练好的ResNet神经网络和LSTM文本生成模型。
实施例三、本发明实施例提供了一种基于深度学习的宫颈癌诊断报告生成设备，其包括处理器、存储器，以及存储在所述存储器内的计算机程序。所述计算机程序能够被所述处理器执行，以实现如实施例一任意一段所述的基于深度学习的宫颈癌诊断报告生成方法。
实施例四、本发明实施例提供了一种计算机可读存储介质。所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如实施例一任意一段所述的基于深度学习的宫颈癌诊断报告生成方法。
在本发明实施例所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置和方法实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，电子设备，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-On l y Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。
应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。
实施例中提及的“第一\第二”仅仅是是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二”在允许的情况下可以互换特定的顺序或先后次序。应该理解“第一\第二”区分的对象在适当情况下可以互换，以使这里描述的实施例能够以除了在这里图示或描述的那些内容以外的顺序实施。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于深度学习的宫颈癌诊断报告生成方法，其特征在于，包含：
获取MRI图像序列；其中，所述MRI图像序列包括DWI图像序列和T2WI图像序列；
根据所述DWI图像序列进行目标检测，以识别肿瘤区域获取肿瘤的DWI图像块序列；
根据所述肿瘤的DWI图像块序列和所述T2WI图像序列进行图像相似度比对，获取肿瘤的T2WI图像序列；
分别将肿瘤的T2WI图像序列中的各张图像进行编码，并将编码接合成一个蕴含连续图像的动态信息的特征向量；
将所述蕴含连续图像的动态信息的特征向量输入预先训练好的LSTM文本生成模型进行解码，获取宫颈癌诊断报告文本。
2.根据权利要求1所述的基于深度学习的宫颈癌诊断报告生成方法，其特征在于，所述根据所述DWI图像序列进行目标检测，以识别肿瘤区域获取肿瘤的DWI图像块序列，具体包括：
通过YOLOv8目标检测模型对所述DWI图像序列进行目标检测，从而将肿瘤图像用先验框框起来，获取带有先验框的DWI图像序列；
根据所述先验框提取肿瘤图像作为图像块，获取肿瘤的DWI图像块序列。
3.根据权利要求1所述的基于深度学习的宫颈癌诊断报告生成方法，其特征在于，根据所述肿瘤的DWI图像块序列和所述T2WI图像序列进行图像相似度比对，获取肿瘤的T2WI图像序列，具体包括：
分别根据肿瘤的DWI图像块序列中的各个DWI图像块执行以下步骤，以获取肿瘤的T2WI图像序列；
根据肿瘤的DWI图像块的区域坐标分别从所述T2WI图像序列中的各个图像提取局部图像，获取局部T2WI图像序列；
对所述局部T2WI图像序列进行模糊处理，并对肿瘤的DWI图像块和模糊处理后的局部T2WI图像序列中的各个图像进行边缘计算，以获取DWI图像块中的轮廓和模糊处理后的局部T2WI图像序列中各个图像的轮廓；
将所述DWI图像块中的轮廓和模糊处理后的局部T2WI图像序列中各个图像的轮廓输入图像比对模型，识别DWI图像块对应的模糊处理后的局部T2WI图像；
根据所述DWI图像块对应的模糊处理后的局部T2WI图像，从T2WI图像序列提取图像，获取肿瘤的T2WI图像。
4.根据权利要求3所述的基于深度学习的宫颈癌诊断报告生成方法，其特征在于，所述图像比对模型先通过卷积层提取到图像块中的不同特征，然后通过ReLU层保留部分特征值和将特征小于0的值舍去，然后通过最大池化层对特征进行降维，最后使用结构相似性衡量指标来计算图像间的相似度分数；其中，相识度相似度分数大于预设值的认定为对应图像。
5.根据权利要求1所述的基于深度学习的宫颈癌诊断报告生成方法，其特征在于，分别将肿瘤的T2WI图像序列中的各张图像进行编码，并将编码接合成一个蕴含连续图像的动态信息的特征向量，具体包括：
通过预先训练好的ResNet神经网络分别将肿瘤的T2WI图像序列中的各张图像进行编码，获取各张图像的特征向量；
将各张图像的特征向量进行逐元素的相乘，以获取一个蕴含连续图像的动态信息的特征向量。
6.根据权利要求1至5任意一项所述的基于深度学习的宫颈癌诊断报告生成方法，其特征在于，LSTM文本生成模型的训练步骤包括：
获取宫颈癌诊断报告及其对应的患者的肿瘤的T2WI图像序列；
将所述宫颈癌诊断报告中与病例诊断无关的句子删减后，提取出现频率最高的医学术语作为诊断报告的分类标签；
通过LSTM自动编码器对分类标签进行编码，获取标签向量；
通过ResNet神经网络将患者的肿瘤的T2WI图像序列中的各个图像编码成特征向量，并将各个图像的特征向量进行逐元素的相乘，从而得到一个蕴含连续图像的动态信息的特征向量；
将蕴含连续图像的动态信息的特征向量和标签向量进行拼接，获取训练向量；
将所述训练向量作为训练数据对ResNet神经网络和LSTM文本生成模型进行训练，从而获取预先训练好的ResNet神经网络和LSTM文本生成模型。
7.一种基于深度学习的宫颈癌诊断报告生成装置，其特征在于，包含：
初始图像获取模块，用于获取MRI图像序列；其中，所述MRI图像序列包括DWI图像序列和T2WI图像序列；
目标检测模块，用于根据所述DWI图像序列进行目标检测，以识别肿瘤区域获取肿瘤的DWI图像块序列；
相似识别模块，用于根据所述肿瘤的DWI图像块序列和所述T2WI图像序列进行图像相似度比对，获取肿瘤的T2WI图像序列；
编码模块，用于分别将肿瘤的T2WI图像序列中的各张图像进行编码，并将编码接合成一个蕴含连续图像的动态信息的特征向量；
解码模块，用于将所述蕴含连续图像的动态信息的特征向量输入预先训练好的LSTM文本生成模型进行解码，获取宫颈癌诊断报告文本。
8.一种基于深度学习的宫颈癌诊断报告生成设备，其特征在于，包括处理器、存储器，以及存储在所述存储器内的计算机程序；所述计算机程序能够被所述处理器执行，以实现如权利要求1至6任意一项所述的基于深度学习的宫颈癌诊断报告生成方法。
CN202311452060.2A 2023-11-02 2023-11-02 基于深度学习的宫颈癌诊断报告生成方法、装置和设备 Pending CN117457140A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311452060.2A CN117457140A (zh) 2023-11-02 2023-11-02 基于深度学习的宫颈癌诊断报告生成方法、装置和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311452060.2A CN117457140A (zh) 2023-11-02 2023-11-02 基于深度学习的宫颈癌诊断报告生成方法、装置和设备

Publications (1)

Publication Number Publication Date
CN117457140A true CN117457140A (zh) 2024-01-26

Family

ID=89588837

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311452060.2A Pending CN117457140A (zh) 2023-11-02 2023-11-02 基于深度学习的宫颈癌诊断报告生成方法、装置和设备

Country Status (1)

Country Link
CN (1) CN117457140A (zh)

Similar Documents

Publication Publication Date Title
JP7143008B2 (ja) 深層学習に基づく医用画像検出方法及び装置、電子機器及びコンピュータプログラム
US10582907B2 (en) Deep learning based bone removal in computed tomography angiography
NL2019410B1 (en) Computer-aided diagnostics using deep neural networks
US8761475B2 (en) System and method for automatic recognition and labeling of anatomical structures and vessels in medical imaging scans
Ma et al. Automatic segmentation of the prostate on CT images using deep learning and multi-atlas fusion
US10853409B2 (en) Systems and methods for image search
CN110837572B (zh) 图像检索方法、装置、可读存储介质及电子设备
CN111971752A (zh) 医学图像数据的显示
AU2019334755A1 (en) Determination of a growth rate of an object in 3D data sets using deep learning
Tummala et al. Liver tumor segmentation from computed tomography images using multiscale residual dilated encoder‐decoder network
Dou et al. Tooth instance segmentation based on capturing dependencies and receptive field adjustment in cone beam computed tomography
Rajamani et al. Deformable attention (DANet) for semantic image segmentation
CN116129184A (zh) 多期相病灶分类方法、装置、设备及可读存储介质
CN112862786B (zh) Cta影像数据处理方法、装置及存储介质
Zhu et al. 3D pyramid pooling network for abdominal MRI series classification
CN112862785B (zh) Cta影像数据识别方法、装置及存储介质
Al-Eiadeh Automatic Lung Field Segmentation using Robust Deep Learning Criteria
Mansour et al. Kidney segmentations using cnn models
CN117457140A (zh) 基于深度学习的宫颈癌诊断报告生成方法、装置和设备
CN112614092A (zh) 脊柱检测方法和装置
Stralen et al. Stenosis detection in X-ray coronary angiography with deep neural networks leveraged by attention mechanisms
Ramesh et al. Hybrid U-Net and ADAM Algorithm for 3DCT Liver Segmentation
Kéchichian et al. Automatic multiorgan segmentation using hierarchically registered probabilistic atlases
CN117809122B (zh) 一种颅内大血管图像的处理方法、系统、电子设备及介质
Salehinejad et al. Unsupervised semantic segmentation of kidneys using radial transform sampling on limited images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination