CN113689927A - 一种基于深度学习模型的超声图像处理方法及装置 - Google Patents

一种基于深度学习模型的超声图像处理方法及装置 Download PDF

Info

Publication number
CN113689927A
CN113689927A CN202111245725.3A CN202111245725A CN113689927A CN 113689927 A CN113689927 A CN 113689927A CN 202111245725 A CN202111245725 A CN 202111245725A CN 113689927 A CN113689927 A CN 113689927A
Authority
CN
China
Prior art keywords
medical record
electronic medical
ultrasonic image
text
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111245725.3A
Other languages
English (en)
Other versions
CN113689927B (zh
Inventor
李明磊
刘文平
刘行军
朱晓波
雷俊丽
贾玉福
彭瑞卿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HUBEI UNIVERSITY OF ECONOMICS
Original Assignee
HUBEI UNIVERSITY OF ECONOMICS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by HUBEI UNIVERSITY OF ECONOMICS filed Critical HUBEI UNIVERSITY OF ECONOMICS
Priority to CN202111245725.3A priority Critical patent/CN113689927B/zh
Publication of CN113689927A publication Critical patent/CN113689927A/zh
Application granted granted Critical
Publication of CN113689927B publication Critical patent/CN113689927B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Public Health (AREA)
  • Theoretical Computer Science (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

本发明提供了一种基于深度学习模型的超声图像处理方法及装置，属于医学图像数据处理领域，方法步骤为：将超声图像、电子病历文本和检验结果预处理后分别获取超声图像特征、电子病历文本特征和检验结果特征；将超声图像特征、电子病历文本特征和检验结果特征输入至训练完毕的融合深度学习模型中，获取超声图像能表征待检查对象的概率，同时对能表征待检查对象概率最高的超声图像自动生成超声检查报告文本。本发明使用多源数据特征可以保证自动生成的超声检查报告的质量，同时能够提高超声检查的效率。

Description

一种基于深度学习模型的超声图像处理方法及装置
技术领域
本发明属于医学图像数据处理领域，更具体地，涉及一种基于深度学习模型的超声图像处理方法及装置。
背景技术
卵巢癌是女性生殖系统最常见的恶性肿瘤之一，其致死率高居妇科恶性肿瘤第一位。一般将卵巢肿瘤分为：良性肿瘤和恶性肿瘤。卵巢良性肿瘤根据肿瘤大小等情况可以进行保守治疗，做好定期复查；卵巢恶性肿瘤即是卵巢癌，需要进行手术治疗甚至化疗。在临床上，超声结果对临床医生进行卵巢肿瘤诊断和治疗具有重要的参考价值。超声又称为B超，是指彩色多普勒超声检查。针对卵巢肿瘤患者，大部分可以使用阴道超声获得包含卵巢部位的盆腔超声图像。同时，超声检查具有图像清晰、费用低廉等优点，在临床上广泛使用。目前，超声结果的准确性主要依赖于超声医生的经验，经验丰富的超声医生能够快速找到典型的超声图像并给出准确的描述（检查报告），这样的结果对临床医生关于患者的诊断及后续治疗有很大的参考价值；而经验不足的超声医生难以顺利发现具有典型特征的超声图像，也较难给出准确的检查报告描述，从而无法对临床医生进行判断提供有效的帮助，有时甚至会导致临床医生漏诊和误诊。现实中，经验丰富的超声医生是十分稀缺的，即使在很多三甲医院，也仅有一两位技术高超的超声医生能够具有较高的检查准确率。因此，借助于人工智能技术，辅助超声医生对超声图形进行处理，并自动生成检查报告，从而显著降低超声医生的工作强度和普遍提高超声医生检查的准确率，在临床实际应用中具有重大意义。
目前，使用人工智能深度学习自动生成医学影像检查报告的研究主要集中在X射线检查和CT检查，也主要针对胸部的检查，而对于女性盆腔卵巢的超声图像检查报告自动生成等方面的研究较少。同时，当前的医学影像检查报告自动生成方法大多仅依赖于影像的图像特征，缺乏其他数据源的支撑。因此，针对盆腔超声图像的卵巢肿瘤的检查报告自动生成，以及使用多源异构数据进一步提高检查报告生成准确率的课题还需要进一步研究。
发明内容
针对现有技术的缺陷，本发明提供了一种基于深度学习模型的超声图像处理方法及装置，目的在于基于超声图像、电子病历和检查结果，通过融合深度学习模型辅助超声检查，自动判断能够表征待检查对象的典型超声图像，并自动生成相应的超声检查报告；通过该方法可以有效降低超声医生的工作强度，同时普遍提高超声医生检查报告的准确率。
为实现上述目的，一方面，本发明提供了一种基于深度学习模型的超声图像处理方法，包括以下步骤：
将超声图像、电子病历文本和检验结果预处理后分别获取超声图像特征、电子病历文本特征和检验结果特征；
将超声图像特征、电子病历文本特征和检验结果特征作为一个特征单元，多个特征单元输入至训练完毕的融合深度学习模型中，获取各超声图像能够表征待检查对象的概率，同时对能够表征待检查对象概率最高的超声图像自动生成超声检查报告文本；
其中，所述融合深度学习模型包括特征提取子网络模型、分类子网络模型和报告生成子网络模型；所述特征提取子网络模型为采用多模态双线性矩阵分解池化方法融合超声图像特征和电子病历文本特征后，连接融合检验结果特征形成提取特征的子网络模型；所述报告生成子网络模型为多个LSTM串联的模型，用于输入提取特征，输出超声检查报告文本；所述分类子网络模型从输入端至输出端，顺次为批标准化层、DropOut层、全连接层和分类输出层，以提取特征为输入，输出超声图像能够表征待检查对象的概率。
优选地，训练融合深度学习模型的方法，包括以下步骤：
收集历史超声图像、电子病历文本和检验结果作为训练融合深度学习模型的原始数据，以超声图像是否能够表征待检查对象和超声图像的检查报告文本数据作为训练融合深度学习模型的标签；
将超声图像经过YOLO模型进行目标检测，识别超声图像中待检查对象；将电子病历文本使用Word2Vec进行向量化；且对检验结果根据每项结果是否正常赋值为1或0；
使用DenseNet网络提取超声图像特征；使用TextCNN网络在向量化后的电子病历文本提取电子病历文本特征；使用多层感知机MLP在赋值后的检验结果中提取检验结果特征；
对超声图像特征和电子病历文本特征施加注意力方法；
将施加注意力的超声图像特征和电子病历文本特征采用多模态双线性矩阵分解池化方法进行融合后，连接融合检验结果，形成提取特征；
以是否能够表征待检查对象作为标签，将提取特征输入至分类子网络模型，以交叉熵函数为损失函数，训练特征提取子网络和分类子网络模型的网络参数；
固定特征提取子网络的网络参数，以提取特征作为报告生成子网络模型的输入、超声图像的检查报告作为输出，使用对比学习的方法训练报告生成子网络模型的参数，完成融合深度学习模型的训练。
优选地，电子病历文本特征的获取方法为：
构建目标图像特征相关的语料库，使用中文分词工具jieba分词对语料库中的文本进行分词；
以分词的语料库训练Word2Vec模型；
采用训练完毕的Word2Vec模型对电子病历文本进行向量化；
使用TextCNN网络对向量化后的电子病历文本提取电子病历文本特征。
优选地，超声图像特征、电子病历文本特征和检验结果特征分别为：
X a = F 1(X)
Y a = F 2(Y )
Z a = F 3(Z)
其中，X a 为超声图像特征；Y a 为电子病历文本特征；Z a 为检验结果特征；X为超声图像；Y为向量化后的电子病历文本；Z为赋值为0或1的检验结果；F 1(•)为DenseNet网络函数；F 2(•)为TextCNN网络函数；F 3(•)为多层感知机MLP函数。
优选地，通过注意力方法获取的超声图像特征和电子病历文本特征为：
X b = relu(Atten(X a ))
Y b = relu(Atten(Y a ))
其中，X b 和Y b 分别为通过注意力方法获取的超声图像特征和电子病历文本特征；relu(•)为激活函数；Atten(•)为注意力方法函数。
另一方面，本发明提供了一种基于深度学习模型的超声图像处理装置，包括：
数据预处理模块，用于对若干超声图像、电子病历文本和检验结果进行预处理后分别获取若干超声图像特征、电子病历文本特征和检验结果特征；
融合深度学习模型，用于将电子病历文本特征、检验结果特征和单个超声图像特征作为一个特征单元，电子病历文本特征、检验结果特征与若干超声图像特征构建为若干个特征单元；将若干个特征单元分别输入至训练完毕的融合深度学习模型中，获取各超声图像能够表征待检查对象的概率，同时对能够表征待检查对象概率最高的超声图像自动生成超声检查报告文本；其中，融合深度学习模型包括：特征提取模块、分类模块和报告生成模块；
特征提取模块用于执行特征提取子网络模型的工作指令，采用多模态双线性矩阵分解池化方法融合超声图像特征和电子病历文本特征后，连接融合检验结果特征形成提取特征；
分类模块用于执行分类子网络模型的工作指令，分类子网络模型从输入端至输出端，顺次为批标准化层、DropOut层、全连接层和分类输出层，以提取特征为输入，输出当前超声图像能够表征待检查对象的概率；
报告生成模块用于执行报告生成子网络模型的工作指令，报告生成子网络模型为多个LSTM串联的模型，用于输入提取特征，输出超声检查报告文本。
优选地，训练融合深度学习模型的方法，包括以下步骤：
数据预处理模块收集超声图像、电子病历文本和检验结果作为训练融合深度学习模型的原始数据，以是否能够表征待检查对象和超声图像的检查报告文本数据作为训练融合深度学习模型的标签；
将超声图像经过YOLO模型进行目标检测，识别超声图像中的待检查对象；将电子病历文本使用Word2Vec进行向量化；且对检验结果根据每项结果是否正常赋值为1或0；
使用DenseNet网络提取超声图像特征；使用TextCNN网络在向量化后的电子病历文本提取电子病历文本特征；使用多层感知机MLP在赋值后的检验结果中提取检验结果特征；
对超声图像特征和电子病历文本特征施加注意力方法；
特征提取模块将施加注意力的超声图像特征和电子病历文本特征采用多模态双线性矩阵分解池化方法进行融合后，连接融合检验结果，形成提取特征；
分类模块以是经验丰富的超声医生判断超声图像是否能够表征待检查对象为输出标签，以提取特征为输入，以交叉熵函数为损失函数，训练特征提取子网络和分类子网络模型的网络参数；
固定特征提取子网络的网络参数，报告生成模块以提取特征为输入、相应超声图像的检查报告为输出，使用对比学习的方法训练报告生成子网络模型的参数，完成融合深度学习模型的训练。
优选地，数据预处理模块获取电子病历文本特征的方法为：
构建目标图像特征相关的语料库，使用中文分词工具jieba分词对语料库中的文本进行分词；
以分词的语料库训练Word2Vec模型；
采用训练完毕的所述Word2Vec模型对电子病历文本进行向量化；
使用TextCNN网络对向量化后的电子病历文本提取电子病历文本特征。
优选地，超声图像特征、电子病历文本特征和检验结果特征分别为：
X a = F 1(X)
Y a = F 2(Y )
Z a = F 3(Z)
其中，X a 为超声图像特征；Y a 为电子病历文本特征；Z a 为检验结果特征；X为超声图像；Y为向量化后的电子病历文本；Z为赋值为0或1的检验结果；F 1(•)为DenseNet网络函数；F 2(•)为TextCNN网络函数；F 3(•)为多层感知机MLP函数。
优选地，通过注意力方法获取的超声图像特征和电子病历文本特征为：
X b = relu(Atten(X a ))
Y b = relu(Atten(Y a ))
其中，X b 和Y b 分别为通过注意力方法获取的超声图像特征和电子病历文本特征；relu(•)为激活函数；Atten(•)为注意力方法函数。
总体而言，通过本发明所构思的以上技术方案与现有技术相比，具有以下有益效果：
本发明将超声图像、电子病历文本和检验结果输入至融合深度学习模型中，可以判断超声图像是否能够表征待检查对象，同时对能够表征待检查对象概率最高的超声图像自动生成超声检查报文文本；本发明能够自动对超声图像进行分析，协助超声医生在超声检查中对超声图像进行判断并自动生成检查报告，从而降低超声医生的工作强度、提高超声检查的效率，同时多源数据的使用也能够提高自动生成超声检查报告的准确率。
本发明使用深度学习网络DenseNet提取超声图像的特征，使用TextCNN网络提取电子病历文本的特征，使用融合方法将超声图像特征、电子病历文本特征和检验结果特征进行结合，可以保证生成高质量的超声检查报告生成。
附图说明
图1是本发明实施例提供的自动生成卵巢肿瘤超声检查报告的主要流程示意图；
图2是本发明实施例提供的基于对比学习的报告生成模块的网络参数训练示意图；
图3是本发明实施例提供的融合深度学习模型F-DTM-DNN的网络结构图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
一方面，本发明提供了一种基于深度学习模型的超声图像处理方法，包括以下步骤：
将超声图像、电子病历文本和检验结果预处理后分别获取超声图像特征、电子病历文本特征和检验结果特征；
将超声图像特征、电子病历文本特征和检验结果特征作为为一个特征单元，多个特征单元输入至训练完毕的融合深度学习模型中，获取各超声图像能够表征待检查对象的概率，同时对能够表征待检查对象概率最高的超声图像自动生成超声检查报告文本；
其中，所述融合深度学习模型包括特征提取子网络模型、分类子网络模型和报告生成子网络模型；所述特征提取子网络模型为采用多模态双线性矩阵分解池化方法融合超声图像特征和电子病历文本特征后，连接融合检验结果特征形成提取特征的子网络模型；所述报告生成子网络模型为多个LSTM串联的模型，用于输入提取特征，输出超声检查报告文本；所述分类子网络模型从输入端至输出端，顺次为批标准化层、DropOut层、全连接层和分类输出层，以提取特征为输入，输出超声图像能够表征待检查对象的概率。
优选地，训练融合深度学习模型的方法，包括以下步骤：
收集历史超声图像、电子病历文本和检验结果作为训练融合深度学习模型的原始数据，以超声图像是否能够表征待检查对象和超声图像的检查报告文本数据作为训练融合深度学习模型的标签；
将超声图像经过YOLO模型进行目标检测，识别超声图像中待检查对象；将电子病历文本使用Word2Vec进行向量化；且对检验结果根据每项结果是否正常赋值为1或0；
使用DenseNet网络提取超声图像特征；使用TextCNN网络在向量化后的电子病历文本提取电子病历文本特征；使用多层感知机MLP在赋值后的检验结果中提取检验结果特征；
对超声图像特征和电子病历文本特征施加注意力方法；
将施加注意力的超声图像特征和电子病历文本特征采用多模态双线性矩阵分解池化方法进行融合后，连接融合检验结果，形成提取特征；
以是否能够表征待检查对象作为标签，将提取特征输入至分类子网络模型，以交叉熵函数为损失函数，训练特征提取子网络和分类子网络模型的网络参数；
固定特征提取子网络的网络参数，以提取特征作为报告生成子网络模型的输入、超声图像的检查报告作为输出，使用对比学习的方法训练报告生成子网络模型的参数，完成融合深度学习模型的训练。
优选地，电子病历文本特征的获取方法为：
构建目标图像特征相关的语料库，使用中文分词工具jieba分词对语料库中的文本进行分词；
以分词的语料库训练Word2Vec模型；
采用训练完毕的Word2Vec模型对电子病历文本进行向量化；
使用TextCNN网络对向量化后的电子病历文本提取电子病历文本特征。
优选地，超声图像特征、电子病历文本特征和检验结果特征分别为：
X a = F 1(X)
Y a = F 2(Y )
Z a = F 3(Z)
其中，X a 为超声图像特征；Y a 为电子病历文本特征；Z a 为检验结果特征；X为超声图像；Y为向量化后的电子病历文本；Z为赋值为0或1的检验结果；F 1(•)为DenseNet网络函数；F 2(•)为TextCNN网络函数；F 3(•)为多层感知机MLP函数。
优选地，通过注意力方法获取的超声图像特征和电子病历文本特征为：
X b = relu(Atten(X a ))
Y b = relu(Atten(Y a ))
其中，X b 和Y b 分别为通过注意力方法获取的超声图像特征和电子病历文本特征；relu(•)为激活函数；Atten(•)为注意力方法函数。
另一方面，本发明提供了一种基于深度学习模型的超声图像处理装置，包括：
数据预处理模块，用于对若干超声图像、电子病历文本和检验结果进行预处理后分别获取若干超声图像特征、电子病历文本特征和检验结果特征；
融合深度学习模型，用于将电子病历文本特征、检验结果特征和单个超声图像特征作为一个特征单元，电子病历文本特征、检验结果特征与若干超声图像特征构建为若干个特征单元；将若干个特征单元分别输入至训练完毕的融合深度学习模型中，获取各超声图像能够表征待检查对象的概率，同时对能够表征待检查对象概率最高的超声图像自动生成超声检查报告文本；其中，融合深度学习模型包括：特征提取模块、分类模块和报告生成模块；
特征提取模块用于执行特征提取子网络模型的工作指令，采用多模态双线性矩阵分解池化方法融合超声图像特征和电子病历文本特征后，连接融合检验结果特征形成提取特征；
分类模块用于执行分类子网络模型的工作指令，分类子网络模型从输入端至输出端，顺次为批标准化层、DropOut层、全连接层和分类输出层，以提取特征为输入，输出当前超声图像能够表征待检查对象的概率；
报告生成模块用于执行报告生成子网络模型的工作指令，报告生成子网络模型为多个LSTM串联的模型，用于输入提取特征，输出超声检查报告文本。
优选地，训练融合深度学习模型的方法，包括以下步骤：
数据预处理模块收集超声图像、电子病历文本和检验结果作为训练融合深度学习模型的原始数据，以是否能够表征待检查对象和超声图像的检查报告文本数据作为训练融合深度学习模型的标签；
将超声图像经过YOLO模型进行目标检测，识别超声图像中的待检查对象；将电子病历文本使用Word2Vec进行向量化；且对检验结果根据每项结果是否正常赋值为1或0；
使用DenseNet网络提取超声图像特征；使用TextCNN网络在向量化后的电子病历文本提取电子病历文本特征；使用多层感知机MLP在赋值后的检验结果中提取检验结果特征；
对超声图像特征和电子病历文本特征施加注意力方法；
特征提取模块将施加注意力的超声图像特征和电子病历文本特征采用多模态双线性矩阵分解池化方法进行融合后，连接融合检验结果，形成提取特征；
分类模块以是经验丰富的超声医生判断超声图像是否能够表征待检查对象为输出标签，以提取特征为输入，以交叉熵函数为损失函数，训练特征提取子网络和分类子网络模型的网络参数；
固定特征提取子网络的网络参数，报告生成模块以提取特征为输入、相应超声图像的检查报告为输出，使用对比学习的方法训练报告生成子网络模型的参数，完成融合深度学习模型的训练。
优选地，数据预处理模块获取电子病历文本特征的方法为：
构建目标图像特征相关的语料库，使用中文分词工具jieba分词对语料库中的文本进行分词；
以分词的语料库训练Word2Vec模型；
采用训练完毕的所述Word2Vec模型对电子病历文本进行向量化；
使用TextCNN网络对向量化后的电子病历文本提取电子病历文本特征。
优选地，超声图像特征、电子病历文本特征和检验结果特征分别为：
X a = F 1(X)
Y a = F 2(Y )
Z a = F 3(Z)
其中，X a 为超声图像特征；Y a 为电子病历文本特征；Z a 为检验结果特征；X为超声图像；Y为向量化后的电子病历文本；Z为赋值为0或1的检验结果；F 1(•)为DenseNet网络函数；F 2(•)为TextCNN网络函数；F 3(•)为多层感知机MLP函数。
优选地，通过注意力方法获取的超声图像特征和电子病历文本特征为：
X b = relu(Atten(X a ))
Y b = relu(Atten(Y a ))
其中，X b 和Y b 分别为通过注意力方法获取的超声图像特征和电子病历文本特征；relu(•)为激活函数；Atten(•)为注意力方法函数。
需指出，这里的待检查对象可以是某一部件或者某一特征。
实施例
如图1所示，本实施例提供了一种基于深度学习模型的超声图像处理方法，深度学习模型经过训练后，通过输入卵巢肿瘤患者的盆腔超声图像、电子病历和检验结果，能够自动判断和选择典型的卵巢部位超声图像，并最终自动生成关于该超声图像的检查报告；具体步骤如下：
步骤一：收集卵巢肿瘤患者的盆腔超声图像、电子病历和检验结果，以及收集超声图像的质量判断和盆腔超声的诊断报告文本数据；上述数据构成本实施例的训练数据集；
步骤二：对数据进行预处理：
针对患者的盆腔超声图像，对盆腔超声图像中的卵巢进行人工标注；使用标注的数据对目标检测深度学习模型YOLO-V4进行训练，使其能够自动识别出盆腔超声图像中的卵巢部位；
针对电子病历文本数据，以图书“中国妇科肿瘤学（曹泽毅著）”作为语料库，使用中文分词工具jieba分词对图书中的文本进行分词，并将医学专有名词添加到jieba的词库中提高分词的准确性，以此语料训练针对妇科肿瘤的Word2Vec模型，然后使用训练完毕的Word2Vec对电子病历文本进行向量化；
针对检验结果，选取肿瘤标志物5项（CA125、CA15-3、CA19-9、CEA和AFP）、血细胞常规6项（白细胞计数、红细胞计数、血红蛋白、血小板计数、中性粒细胞比例和淋巴细胞比例）、性激素6项（HCG、E2、P、T、LH、FSH），根据每项结果正常与否赋值特征值为0或1；
针对超声图像的质量，由经验丰富的超声医生根据其能否表征待检查对象进行判定，如果超声图像能够合格的表征待检查对象，将该数据标注为1，否则标注为0；
针对超声检查报告的文本数据，使用中文分词工具jieba分词将其划分为词语，为了提高分词的准确性，将常用的医学和影像学专有名词添加到jieba的词库中；
步骤三：构建深度学习网络提取各种数据的特征；
使用DenseNet网络提取超声图像的特征，修改DenseNet网络的输出层，使其输出一个长度为500的向量作为超声图像特征；
使用 TextCNN网络提取电子病历文本的特征，最终以长度为256的向量作为电子病历文本特征；
使用多层感知机MLP提取检验结果的特征，经过2个隐含层，输出一个长度为10的向量作为检验结果的特征；
并且对超声图像特征和电子病历文本特征施加注意力模块，输出的特征维数没有变化；
具体为：定义经过步骤二预处理后获得的患者卵巢部位的超声图像为X；经过步骤二特征向量化的电子病历文本数据向量为Y；经过步骤二预处理后的检验结果为Z；DenseNet网络为F1(•)，TextCNN网络为F2(•)，多层感知机MLP为F3(•)，则各类数据类型的特征可以表示为：
Xa= F1（X）
Ya= F2（Y）
Za= F3（Z）
注意力方法定义为Atten(•)，则由超声图像特征和电子病历文本特征通过注意力方法产生的特征可以表示为：
X b = relu(Atten(X a ))
Y b =relu(Atten(Y a ))
其中，relu(•)为一个激活函数；
步骤四：将超声图像特征X b 、电子病历文本特征Y b 使用多模态双线性矩阵分解池化方法（MFB）进行特征融合形成一个长度为256的特征向量F；然后和检验结果特征Z a 进行连接构成最终的特征；MFB的详细过程如下：
F i =X b T W i Y b
其中，X b ∈R 500，Y b ∈R 256，W i 为投影矩阵；W=[ W 1 ，W 2 ，…，W 256 ]∈R 500×128×256；矩阵W可以分解为两个低秩U和V，则有：
F i =1 T （U i T X b
Figure 564236DEST_PATH_IMAGE001
V i T Y b ）
其中，U和V是一个三维张量，可以用reshape操作将其表示为二维数组
Figure 763267DEST_PATH_IMAGE002
∈R 500×256k 和
Figure 808584DEST_PATH_IMAGE003
∈R 256×256k ，因此，融合后的特征向量F又可以表示为：
Figure 734951DEST_PATH_IMAGE004
其中，SumPooling()表示求和池化函数；k为池化窗口的大小；
步骤五：根据步骤四产生的特征输出两个任务：其一使用分类模块根据步骤四产生的276维的特征向量使用分类模块进行分类，用以判断卵巢癌的可能性，分类模块包括批标准化层、DropOut层、全连接层（FC）和分类输出层；其二使用报告生成模块生成超声图像的检查报告文本，报告生成模块主要由多个LSTM组成；
步骤六：将步骤一获得的患者数据，经过步骤二进行预处理后输入步骤三、四和五所构建的融合深度学习网络模型F-DTM-DNN进行训练：首先训练步骤五中的任务一，损失函数为交叉熵损失函数，训练出特征提取模块和分类模块的网络参数；然后训练步骤五中的任务二，固定F-DTM-DNN中特征提取模块的网络参数，只需训练报告生成模块的网络参数，该过程基于一种带监督对比学习的方法对报告生成模块的网络参数进行训练，同时选用经验丰富的超声医生的检查数据进行训练；如图2所示，在训练之前先计算所有超声报告的文本相似度，在训练过程中，一次挑选两个检查报告文本相似度小于0.5的样本A和B输入当前模型中，生成的检查报告分别为P A 和P B ，损失函数设置为：
Figure 814903DEST_PATH_IMAGE005
其中，T A 为样本A对应的真是超声检查报告；d *，*表示两个检查报告文本的相似度；（z）+ 表示max(z，0)，
Figure 902944DEST_PATH_IMAGE006
为一个参数，本发明中设置为0.5；
步骤七：在临床使用中，首先使用F-DTM-DNN中的分类预测模块判断超声医生采集的盆腔超声图像过程中每张超声能够表征待检查对象的概率；然后选择能够表征待检查对象可能性最大的超声图像，使用F-DTM-DNN的报告生成模块生成该张超声图像的检查报告。图3为本发明所提出的融合深度学习网络F-DTM-DNN的结构示意图。
综上所述，本发明与现有技术相比，存在以下优势：
本发明将超声图像特征、电子病历文本特征和检验结果特征输入至融合深度学习模型中，可以显示超声图像能够表征待检查对象的概率，同时选择能够表征待检查对象概率最高的超声图像自动生成超声检查报文文本；多源数据特征可以提高自动生成的超声检查报告的质量。在超声检查过程中，本发明提供的方法能够自动对超声图像进行分析，并协助超声医生选择典型的超声图像然后自动生成相应的超声检查报告，相比于人工的筛选以及人工报告的生成，能够极大提高超声检查的效率的质量。
本发明使用深度学习网络DenseNet提取超声图像的特征，使用TextCNN网络提取电子病历文本的特征，使用融合方法将超声图像特征、电子病历文本特征和检验结果特征进行结合，可以保证生成高质量的超声检查报告。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于深度学习模型的超声图像处理方法，其特征在于，包括以下步骤：
将若干超声图像、电子病历文本和检验结果预处理后分别获取若干超声图像特征、电子病历文本特征和检验结果特征；
将电子病历文本特征、检验结果特征和单个超声图像特征作为一个特征单元，电子病历文本特征、检验结果特征与若干超声图像特征构建为若干个特征单元；将若干个特征单元分别输入至训练完毕的融合深度学习模型中，获取各超声图像能够表征待检查对象的概率，同时对能够表征待检查对象概率最高的超声图像自动生成超声检查报告文本；
其中，所述融合深度学习模型包括特征提取子网络模型、分类子网络模型和报告生成子网络模型；所述特征提取子网络模型为采用多模态双线性矩阵分解池化方法融合超声图像特征和电子病历文本特征后，连接融合检验结果特征形成提取特征的子网络模型；所述报告生成子网络模型为多个LSTM串联的模型，用于输入提取特征，输出超声检查报告文本；所述分类子网络模型从输入端至输出端，顺次为批标准化层、DropOut层、全连接层和分类输出层，以提取特征为输入，输出超声图像能够表征待检查对象的概率。
2.根据权利要求1所述的超声图像处理方法，其特征在于，训练所述融合深度学习模型的方法，包括以下步骤：
收集超声图像、电子病历文本和检验结果作为训练融合深度学习模型的原始数据，以能否表征待检查对象和超声图像的检查报告文本数据作为训练融合深度学习模型的标签；
将超声图像经过YOLO模型进行目标检测，识别超声图像中待检查对象；将电子病历文本使用Word2Vec进行向量化；且对检验结果根据每项结果是否正常赋值为1或0；
使用DenseNet网络提取超声图像特征；使用TextCNN网络在向量化后的电子病历文本提取电子病历文本特征；使用多层感知机MLP在赋值后的检验结果中提取检验结果特征；
对超声图像特征和电子病历文本特征施加注意力方法；
将施加注意力的超声图像特征和电子病历文本特征采用多模态双线性矩阵分解池化方法进行融合后，连接融合检验结果，形成提取特征；
以是否能够表征待检查对象作为标签，将提取特征输入至分类子网络模型，损失函数为交叉熵函数，训练特征提取子网络和分类子网络模型的网络参数；
固定特征提取子网络的网络参数，以提取特征作为报告生成子网络模型的输入、超声图像的检查报告作为输出，使用对比学习的方法训练报告生成子网络模型的参数，完成融合深度学习模型的训练。
3.根据权利要求1或2所述的超声图像处理方法，其特征在于，所述电子病历文本特征的获取方法为：
构建目标图像特征相关的语料库，使用中文分词工具jieba分词对语料库中的文本进行分词；
以分词的语料库训练Word2Vec模型；
采用训练完毕的所述Word2Vec模型对电子病历文本进行向量化；
使用TextCNN网络对向量化后的电子病历文本提取电子病历文本特征。
4.根据权利要求2所述的超声图像处理方法，其特征在于，所述超声图像特征、电子病历文本特征和检验结果特征分别为：
X a = F 1(X)
Y a = F 2(Y )
Z a = F 3(Z)
其中，X a 为超声图像特征；Y a 为电子病历文本特征；Z a 为检验结果特征；X为超声图像；Y为向量化后的电子病历文本；Z为赋值为0或1的检验结果；F 1(•)为DenseNet网络函数；F 2(•)为TextCNN网络函数；F 3(•)为多层感知机MLP函数。
5.根据权利要求4所述的超声图像处理方法，其特征在于，通过注意力方法获取的超声图像特征和电子病历文本特征为：
X b = relu(Atten(X a ))
Y b = relu(Atten(Y a ))
其中，X b 和Y b 分别为通过注意力方法获取的超声图像特征和电子病历文本特征；relu(•)为激活函数；Atten(•)为注意力方法函数。
6.一种基于深度学习模型的超声图像处理装置，其特征在于，包括：
数据预处理模块，用于对若干超声图像、电子病历文本和检验结果进行预处理后分别获取若干超声图像特征、电子病历文本特征和检验结果特征；
融合深度学习模型，用于将电子病历文本特征、检验结果特征和单个超声图像特征作为一个特征单元，电子病历文本特征、检验结果特征与若干超声图像特征构建为若干个特征单元；将若干个特征单元分别输入至训练完毕的融合深度学习模型中，获取各超声图像能够表征待检查对象的概率，同时对能够表征待检查对象概率最高的超声图像自动生成超声检查报告文本；
其中，融合深度学习模型包括：特征提取模块、分类模块和报告生成模块；
特征提取模块用于执行特征提取子网络模型的工作指令，采用多模态双线性矩阵分解池化方法融合超声图像特征和电子病历文本特征后，连接融合检验结果特征形成提取特征；
分类模块用于执行分类子网络模型的工作指令，分类子网络模型从输入端至输出端，顺次为批标准化层、DropOut层、全连接层和分类输出层，以提取特征为输入，输出能够表征待检查对象的超声图像；
报告生成模块用于执行报告生成子网络模型的工作指令，报告生成子网络模型为多个LSTM串联的模型，用于输入提取特征，输出超声检查报告文本。
7.根据权利要求6所述的超声图像处理装置，其特征在于，训练融合深度学习模型的方法，包括以下步骤：
数据预处理模块收集超声图像、电子病历文本和检验结果作为训练融合深度学习模型的原始数据，以超声图像是否能够表征为待检查对象和超声图像的检查报告文本数据作为训练融合深度学习模型的标签；
将超声图像经过YOLO模型进行目标检测，识别超声图像中待检查对象；将电子病历文本使用Word2Vec进行向量化；且对检验结果根据每项结果是否正常赋值为1或0；
使用DenseNet网络提取超声图像特征；使用TextCNN网络在向量化后的电子病历文本提取电子病历文本特征；使用多层感知机MLP在赋值后的检验结果中提取检验结果特征；
对超声图像特征和电子病历文本特征施加注意力方法；
特征提取模块将施加注意力的超声图像特征和电子病历文本特征采用多模态双线性矩阵分解池化方法进行融合后，连接融合检验结果，形成提取特征；
分类模块以是否能够表征为待检查对象为标签，以提取特征为输入，损失函数为交叉熵损失函数，训练特征提取子网络和分类子网络模型的网络参数；
固定特征提取子网络的网络参数，报告生成模块以提取特征为输入，以相应超声图像的检查报告文本为输出，使用对比学习的方法训练报告生成子网络模型的参数，完成融合深度学习模型的训练。
8.根据权利要求6或7所述的超声图像处理装置，其特征在于，所述数据预处理模块获取电子病历文本特征的方法为：
构建目标图像特征相关的语料库，使用中文分词工具jieba分词对语料库中的文本进行分词；
以分词的语料库训练Word2Vec模型；
采用训练完毕的所述Word2Vec模型对电子病历文本进行向量化；
使用TextCNN网络对向量化后的电子病历文本提取电子病历文本特征。
9.根据权利要求7所述的超声图像处理装置，其特征在于，所述超声图像特征、电子病历文本特征和检验结果特征分别为：
X a = F 1(X)
Y a = F 2(Y )
Z a = F 3(Z)
其中，X a 为超声图像特征；Y a 为电子病历文本特征；Z a 为检验结果特征；X为超声图像；Y为向量化后的电子病历文本；Z为赋值为0或1的检验结果；F 1(•)为DenseNet网络函数；F 2(•)为TextCNN网络函数；F 3(•)为多层感知机MLP函数。
10.根据权利要求9所述的超声图像处理装置，其特征在于，通过注意力方法获取的超声图像特征和电子病历文本特征为：
X b = relu(Atten(X a ))
Y b = relu(Atten(Y a ))
其中，X b 和Y b 分别为通过注意力方法获取的超声图像特征和电子病历文本特征；relu(•)为激活函数；Atten(•)为注意力方法函数。
CN202111245725.3A 2021-10-26 2021-10-26 一种基于深度学习模型的超声图像处理方法及装置 Active CN113689927B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111245725.3A CN113689927B (zh) 2021-10-26 2021-10-26 一种基于深度学习模型的超声图像处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111245725.3A CN113689927B (zh) 2021-10-26 2021-10-26 一种基于深度学习模型的超声图像处理方法及装置

Publications (2)

Publication Number Publication Date
CN113689927A true CN113689927A (zh) 2021-11-23
CN113689927B CN113689927B (zh) 2022-01-18

Family

ID=78588005

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111245725.3A Active CN113689927B (zh) 2021-10-26 2021-10-26 一种基于深度学习模型的超声图像处理方法及装置

Country Status (1)

Country Link
CN (1) CN113689927B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111524570A (zh) * 2020-05-06 2020-08-11 万达信息股份有限公司 一种基于机器学习的超声随访患者筛选方法
CN115082426A (zh) * 2022-07-20 2022-09-20 湖北经济学院 一种基于深度学习模型的卵泡检测方法及装置
CN115830017A (zh) * 2023-02-09 2023-03-21 智慧眼科技股份有限公司 基于图文多模态融合的肿瘤检测系统、方法、设备及介质
WO2023142532A1 (zh) * 2022-01-26 2023-08-03 华为云计算技术有限公司 一种推理模型训练方法及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110264462A (zh) * 2019-06-25 2019-09-20 电子科技大学 一种基于深度学习的乳腺超声肿瘤识别方法
CN110930367A (zh) * 2019-10-31 2020-03-27 上海交通大学 多模态超声影像分类方法以及乳腺癌诊断装置
CN111539930A (zh) * 2020-04-21 2020-08-14 浙江德尚韵兴医疗科技有限公司 基于深度学习的动态超声乳腺结节实时分割与识别的方法
CN111681210A (zh) * 2020-05-16 2020-09-18 浙江德尚韵兴医疗科技有限公司 基于深度学习的剪切波弹性图鉴别乳腺结节良恶性的方法
CN112529894A (zh) * 2020-12-22 2021-03-19 徐州医科大学 一种基于深度学习网络的甲状腺结节的诊断方法
CN112562860A (zh) * 2020-12-08 2021-03-26 中国科学院深圳先进技术研究院 分类模型的训练方法及装置、冠心病辅助筛查方法及装置
CN113344864A (zh) * 2021-05-21 2021-09-03 江苏乾君坤君智能网络科技有限公司 一种基于深度学习的超声甲状腺结节良恶性预测方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110264462A (zh) * 2019-06-25 2019-09-20 电子科技大学 一种基于深度学习的乳腺超声肿瘤识别方法
CN110930367A (zh) * 2019-10-31 2020-03-27 上海交通大学 多模态超声影像分类方法以及乳腺癌诊断装置
CN111539930A (zh) * 2020-04-21 2020-08-14 浙江德尚韵兴医疗科技有限公司 基于深度学习的动态超声乳腺结节实时分割与识别的方法
CN111681210A (zh) * 2020-05-16 2020-09-18 浙江德尚韵兴医疗科技有限公司 基于深度学习的剪切波弹性图鉴别乳腺结节良恶性的方法
CN112562860A (zh) * 2020-12-08 2021-03-26 中国科学院深圳先进技术研究院 分类模型的训练方法及装置、冠心病辅助筛查方法及装置
CN112529894A (zh) * 2020-12-22 2021-03-19 徐州医科大学 一种基于深度学习网络的甲状腺结节的诊断方法
CN113344864A (zh) * 2021-05-21 2021-09-03 江苏乾君坤君智能网络科技有限公司 一种基于深度学习的超声甲状腺结节良恶性预测方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
林岚 等: "深度学习算法在甲状腺超声图像结节良恶性分类中的应用", 《医疗卫生装备》 *
王勇: "基于深度学习的超声白内障检测算法", 《现代计算机》 *
贾玉福 等: "一种基于WIFI相异度的群组感知分析方法", 《计算机科学》 *
迟剑宁等: "融合深度网络和浅层纹理特征的甲状腺结节癌变超声图像诊断", 《中国图象图形学报》 *
邹奕轩等: "基于卷积神经网络的甲状腺结节超声图像良恶性分类研究", 《中国医学装备》 *
黄江珊等: "基于卷积神经网络与长短期记忆网络的医学影像数据管理方法研究", 《医学与社会》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111524570A (zh) * 2020-05-06 2020-08-11 万达信息股份有限公司 一种基于机器学习的超声随访患者筛选方法
CN111524570B (zh) * 2020-05-06 2024-01-16 万达信息股份有限公司 一种基于机器学习的超声随访患者筛选方法
WO2023142532A1 (zh) * 2022-01-26 2023-08-03 华为云计算技术有限公司 一种推理模型训练方法及装置
CN115082426A (zh) * 2022-07-20 2022-09-20 湖北经济学院 一种基于深度学习模型的卵泡检测方法及装置
CN115082426B (zh) * 2022-07-20 2022-11-04 湖北经济学院 一种基于深度学习模型的卵泡检测方法及装置
CN115830017A (zh) * 2023-02-09 2023-03-21 智慧眼科技股份有限公司 基于图文多模态融合的肿瘤检测系统、方法、设备及介质

Also Published As

Publication number Publication date
CN113689927B (zh) 2022-01-18

Similar Documents

Publication Publication Date Title
CN113689927B (zh) 一种基于深度学习模型的超声图像处理方法及装置
CN112101451B (zh) 一种基于生成对抗网络筛选图像块的乳腺癌组织病理类型分类方法
CN110827242B (zh) 一种基于卷积神经网络的颅内动脉瘤检测方法及系统
CN110459287A (zh) 来自医学文本报告的结构化报告数据
CN112365980A (zh) 脑肿瘤多靶点辅助诊断与前瞻性治疗演化可视化方法及系统
CN110517253A (zh) 基于3d多目标特征学习的肺结节良恶性分类的方法
CN110543912A (zh) 自动获取胎儿关键切面超声视频中心动周期视频的方法
CN114332572B (zh) 基于显著图引导分层密集特征融合网络用于提取乳腺病变超声图像多尺度融合特征参数方法
CN112420170B (zh) 一种提高计算机辅助诊断系统图片分类准确度的方法
Wang et al. Evaluation of malignancy of lung nodules from CT image using recurrent neural network
Pham et al. Ovarian Tumors Detection and Classification from Ultrasound Images Based on YOLOv8
Shah et al. An optimized multi-organ cancer cells segmentation for histopathological images based on CBAM-residual U-Net
US20220287647A1 (en) Disease classification by deep learning models
Ji et al. ResDSda_U-Net: A novel U-Net based residual network for segmentation of pulmonary nodules in lung CT images
Wang et al. 3D multi-scale DenseNet for malignancy grade classification of pulmonary nodules
Peng et al. Multi-view weighted feature fusion using cnn for pneumonia detection on chest x-rays
Siddiqui et al. Attention based covid-19 detection using generative adversarial network
TWI792751B (zh) 醫學影像專案管理平台
CN118471519B (zh) 一种基于机器学习的甲状腺癌患者风险分级系统
CN115082426B (zh) 一种基于深度学习模型的卵泡检测方法及装置
CN117422912B (zh) 一种基于提示学习的组织病理图像多任务分类系统
Shaikh et al. Computer aided leukemia detection using digital image processing techniques
Lalitha et al. Segmentation and Classification of 3D Lung Tumor Diagnoses Using Convolutional Neural Networks
US12100512B2 (en) Medical image project management platform
US20230197268A1 (en) Medical image project management platform

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant