CN109545302B - 一种基于语义的医学影像报告模板生成方法 - Google Patents
一种基于语义的医学影像报告模板生成方法 Download PDFInfo
- Publication number
- CN109545302B CN109545302B CN201811227004.8A CN201811227004A CN109545302B CN 109545302 B CN109545302 B CN 109545302B CN 201811227004 A CN201811227004 A CN 201811227004A CN 109545302 B CN109545302 B CN 109545302B
- Authority
- CN
- China
- Prior art keywords
- image
- report
- sentence
- module
- word
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 24
- 238000003384 imaging method Methods 0.000 claims abstract description 14
- 238000012545 processing Methods 0.000 claims abstract description 4
- 239000013598 vector Substances 0.000 claims description 37
- 230000001575 pathological effect Effects 0.000 claims description 14
- 230000000007 visual effect Effects 0.000 claims description 13
- 238000011176 pooling Methods 0.000 claims description 10
- 230000006870 function Effects 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 6
- 201000010099 disease Diseases 0.000 claims description 5
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims description 5
- 238000013528 artificial neural network Methods 0.000 claims description 4
- 125000004122 cyclic group Chemical group 0.000 claims description 4
- 230000007170 pathology Effects 0.000 claims description 4
- 238000012549 training Methods 0.000 claims description 4
- 238000003745 diagnosis Methods 0.000 claims description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 2
- 230000004913 activation Effects 0.000 claims description 2
- 230000002457 bidirectional effect Effects 0.000 claims description 2
- 210000004556 brain Anatomy 0.000 claims description 2
- 238000012512 characterization method Methods 0.000 claims description 2
- 238000005259 measurement Methods 0.000 claims description 2
- 238000005457 optimization Methods 0.000 claims description 2
- 238000007781 pre-processing Methods 0.000 claims description 2
- 230000011218 segmentation Effects 0.000 claims description 2
- 230000002146 bilateral effect Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 238000011976 chest X-ray Methods 0.000 description 4
- 208000002151 Pleural effusion Diseases 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 201000008482 osteoarthritis Diseases 0.000 description 3
- 201000003144 pneumothorax Diseases 0.000 description 3
- 230000002685 pulmonary effect Effects 0.000 description 3
- 206010007559 Cardiac failure congestive Diseases 0.000 description 2
- 206010019280 Heart failures Diseases 0.000 description 2
- 206010030113 Oedema Diseases 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 2
- 210000000038 chest Anatomy 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 206010006187 Breast cancer Diseases 0.000 description 1
- 208000026310 Breast neoplasm Diseases 0.000 description 1
- 208000000461 Esophageal Neoplasms Diseases 0.000 description 1
- 238000005481 NMR spectroscopy Methods 0.000 description 1
- 206010054107 Nodule Diseases 0.000 description 1
- 206010030155 Oesophageal carcinoma Diseases 0.000 description 1
- 206010035664 Pneumonia Diseases 0.000 description 1
- 230000001154 acute effect Effects 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 238000002591 computed tomography Methods 0.000 description 1
- 238000007596 consolidation process Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000001351 cycling effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 201000004101 esophageal cancer Diseases 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 210000004910 pleural fluid Anatomy 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Epidemiology (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Primary Health Care (AREA)
- Public Health (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Medical Treatment And Welfare Office Work (AREA)
Abstract
本发明属于医学图像处理技术领域，具体为一种基于语义的医学影像报告模板生成方法。本发明根据影像自动生成初步的成像报告，为没有经验的放射科医师撰写成像报告提供参考模板，降低放射科医师的工作强度与难度。放射科医师在撰写影像报告时会按照一定的诊断次序关注影像的不同区域，根据这些区域的特征做出相对应的影像学描述，本发明使用图像编码器与层次化的句子解码器架构，并引入了根据参照文本的注意力机制，模拟专业的放射科医师撰写成像报告的过程。相较于传统的基于模板的和基于规则的方法，本发明中提出的方法能生成自然语言化的成像报告，能够根据影像的特征捕捉到丰富的语义特征。
Description
技术领域
本发明属于医学图像处理技术领域，具体涉及基于语义的医学影像报告模板生成方法。
背景技术
随着影像成像技术的发展，医学影像例如X光(X-ray)影像、(ComputedTomography，计算机断层扫描技术)影像，MR(Magnetic Resonance，核磁共振)影像等已经广泛应用于医院与诊所，可用于包括肺炎、气胸、肺结节、食道癌、乳腺癌等各类疾病的筛查与诊断，为后续的临床诊断提供越来越丰富的支持。放射科医师通过阅读影像，叙述影像中各个区域的发现，撰写文本报告。对于经验不足的放射科医师来说撰写影像报告的要求很高，例如要能正确阅读胸部X光影像，需要了解胸腔的解剖结构，胸部疾病的生理学特征，影像分析技术，临床推断能力以及其他相关性知识；影像报告的撰写繁琐费时，在我国放射科医师需要每天撰写几十甚至上百份成像报告。另外随着数字化医院的建设，大型医院积累了大量的影像与文本报告数据，它们被统一的存储在医院的PACS(Picture Archiving andCommunication Systems，影像归档与通信系统)中，基于深度学习的方法能够从已有的大量影像与文本报告数据中自动学习，模拟放射科医师报告撰写流程，自动生成影像报告。
针对上述问题，本发明提出了一种基于语义的医学影像报告模板自动生成方法，相较于传统的基于模板和基于规则的生成固定模式的结构化报告，本发明提出的方法可生成自然语言化的影像报告，能捕捉到影像报告中更为丰富的语义。
发明内容
本发明的目的在于提供一种能够有效提高影像报告撰写效率与质量的基于语义的医学影像报告模板生成方法。
本发明提供的基于语义的医学影像报告模板生成方法，是基于深度学习方法的，本发明中的报告生成采用编码器-解码器架构，架构如图1所示，具体分为如下几个部分:
(1)影像编码器，该影像编码器为在Imagenet预训练的VGG-19网络，用于影像的特征提取；
(2)影像多标签预测模块，该模块根据影像编码器提取的特征，预测与影像相关的病理标签；
(3)视觉注意力模块，该模块借鉴人脑的视觉注意力机制，对报告中不同的段落、不同的词语关注于影像的不同区域与不同表征；同时，鉴于缺乏经验的放射科医师在撰写影像报告时往往会借鉴其他已有的报告，该视觉注意力模块基于已有报告数据的驱动，通过已有的报告数据来指导关注影像的不同区域特征；
(4)影像报告主题生成模块，该模块用于生成报告中某个段落的主题；考虑到影像报告往往比较长，单独的循环神经网络无法解决长依赖问题，因此，采用层次化的循环神经网络，报告生成包括句子主题生成与主题指导下的句子生成两部分；
(5)句子生成模块，该模块根据特定的主题结合影像学特征生成对应的句子；
(6)相似影像搜索模块，该模块为线下预训练的基于影像标签特征的模块，为线上影像报告生成提供相似的辅助文本作为参照。
本发明提供的基于语义的医学影像报告模板生成方法，具体步骤为：
(1)影像报告数据预处理：从PACS系统(Picture Archiving and CommunicationSystems，影像归档和通信系统)中导出影像与报告数据，将DICOM格式(Digital Imagingand Communications in Medicine，医学数字成像和通信格式)的影像数据导出为PNG格式图像数据，对影像报告数据作分词处理，构建影像描述中常用的词语字典，从影像报告数据中提取出与诊断相关的疾病概念并剔除正常性描述作为该影像的标签，记标签为：(l1,l2,l3,l4,…ln)，n为所有标签数目，li＝1，若该影像包含第i个病理，否则li＝0,
影像报告记为(s1,s2,…,sk)，其中：
si＝(wi1,wi2,…wim),m为该报告中句子数目，si为报告中第i个句子，wij为si中第j个单词在词典中的索引。
(2)用Imagenet上预训练的权重初始化影像编码器，影像编码器采用VGG19(Simonyan,Karen,and Andrew Zisserman."Very deep convolutional networks forlarge-scale image recognition."arXiv preprint arXiv:1409.1556(2014).)网络结构；输入为归一化后的影像图像，经过一系列卷积层、池化层和激活函数后，得到最后一层卷积层的512*14*14的影像特征其中vn为14*14的向量。
(3)影像特征经全局池化后输入到影像多标签预测模块，该影像多标签预测模块预测影像的病理特征向量，影像多标签预测模块为3层的全连接层，隐藏层单元分别为4096,4096,572，其中572表示所有的病理类别总数。记输出的病理特征向量为(p1,p2,p3,…,p572),其中pi表示影像中存在第i个病理的概率，pi∈[0,1]；
(3.1)根据得到的病理标签概率向量，根据Grad-CAM(Selvaraju,RamprasaathR.,et al."Grad-CAM:Visual Explanations from Deep Networks via Gradient-BasedLocalization."ICCV.2017.)得到该影像的一个显著性特征向量heat,该特征值为512维向量，表示中每个通道的重要性，将heat与/>做权重求和，得到14*14维的特征向量，记为/>heatn为heat的第n维分量。
(4)全局池化后的影像特征以及预测的病理特征向量输入到相似影像搜索模块，得到与该影像特征相似的top-5影像的报告，其中影像搜索采用输入特征的余弦相似度作为相似度衡量指标；从top-5中的报告中随机选择一个作为参照，记该报告内容表示为(s1′,s2′,…,sk′)；
(4.1)将(s1′,s2′,…,sk′)输入词LSTM中，对于每个句子取该句子中所有单词的LSTM隐藏层输出的平均池化作为该句子的特征，得到指导的语义特征，记为即
其中，hij表示编码第i个句字的第j个词的隐藏层向量，Ewij′表示词wij′对应的向量表示。
(5)将得到的语义特征影像学特征/>以及(3.1)得到的attv输入视觉注意力模块，该视觉注意力模块负责计算当前影像报告主题生成模块中和句子生成模块中对影像特征的关注点，影像报告主题生成模块的注意力计算公式如下：
其中，表示影像报告主题生成模块中LSTM中上一主题生成时的隐藏层状态， 分别为对应的需要学习的权重，/>表示影像报告主题生成模块中LSTM在t时刻得到的上下文，同理对于句子生成模块，计算公式如下：
其中，为句子生成模块上一时刻的隐藏层状态，Ewt为当前输入的词wt的向量表示，ts表示当前的主题向量，/>为最终当前词生成的上下文,/>为需要学习的权重。
(6)由影像报告主题生成模块生成当前句子的主题，其中主题向量计算如下：
这里，为影像报告主题生成模块LSTM中的隐藏层状态，/>为当前的句子的上下文向量，/>为需要学习的权重；句子停止器为三层的全连接层，输出是否要继续生成下一个句子的概率，其中
这里，Wstop，Wstop,s-1，Wstop,s为全连接层需要学习的权重。
(7)由句子生成模块逐词生成句子，句子生成模块为双向的LSTM，输入为上一时刻隐藏层状态当前单词的向量表示Ewt以及计算出的上下文向量/>其计算公式为：
其中，it，ft，ct，ot分别为输入门，遗忘门，记忆单元，输出门，at为输出的单词概率；
Wi，Ui，Ci，bi；Wf，Uf，Cf，bf；Wc，Uc，Cc，bc；Wo，Uo，Co，bo为输入门，遗忘门，记忆单元，输出门中需要学习的权重，Wy，by为预测层需要学习的权重。
(8)迭代优化函数，本方法中的多任务学习误差函数定义如下：
其中：ltag为预测的标签(l′1,l′2,l′3,l′4,…l′n)与标签(l1,l2,l3,l4,…ln)之间的BCE(二元交叉熵)误差；/>为句子停止器预测值与实际值的交叉熵；
I(s＝k′)为示性函数，当s＝k′时为1，否则为0；
lword(as,t,ws,t)为生成第s个句子的第t个单词时预测的词概率和实际的词之间的交叉熵，λtag，λsent，λword分别为标签预测误差，句子停止器预测误差以及句子生成误差的权重；
根据loss对参数做批量梯度下降，优化器选择为Adam；其中可以选择参数lr＝0.001,beta1＝0.9,beat2＝0.999。
(9)重复上述(2)～(8)步骤，直至达到预定义的训练步数或者loss不再下降。
(10)最终生成的报告为句子生成器生成的所有句子。
本发明提供的基于语义的医学影像报告模板生成方法，通过深度学习，从大量已有的影像与报告数据中自动学习影像报告的撰写，优点在于生成的报告自然语言化，无需设定特定的报告撰写规则，无需设计特定规则的模板，可直接用于最终的诊断报告。
本发明可用于医学影像报告模板的自动生成，为没有经验的放射科医师撰写成像报告提供指导，降低放射科医师的工作强度与难度。
附图说明
图1为本发明中的报告生成采用编码器-解码器架构。
图2为实施例的胸部X光输入影像。
图3为实施例的胸部X光参照影像。
具体实施方式
下面以一份胸部X光影像的报告生成展示该方法的具体实施方式:
(1)输入影像参见图2所示，该影像实际中包含的病理标签为“bilateral pleuraleffusion”,“degenerative joint disease”,“pleural effusion”，报告实际内容为
“Small bilateral pleural effusions.Prominent interstitialmarkings.There are small bilateral pleural effusions.No pneumothorax or focalconsolidation.Normal heart size.Catheter tubing present in the uppermidabdomen.There is bilateral acromioclavicular degenerative joint disease,right greater than left.”
(2)影像输入到训练好的VGG19网络中，提取出512*14*14的特征
(3)将特征全局池化后输入到多标签预测模块，输出病理标签概率，其中概率值top-5的标签为“congestive heart failure”,“edemas”,“degenerative jointdisease”,“pleural effusion”，“hiatal hernia”
(3.1)根据top-5标签用Grad-CAM算法得到attv；
(4)将特征全局池化后从线下数据库中搜索相似的图片，从top-5中任意选择一张作为参照，这里选择的参照影像见图3，报告为“Congestive heart failure with basilarpulmonary interstitial edema and bilateral pleural fluid.Heart islarge.Pulmonary XXXX are engorged.Bibasilar interstitial infiltrates andbilateral costophrenic XXXX blunting are present.”,可以看出参照报告与实际报告相差比较大，但有类似的病理标签，有助于帮助注意力机制集中在异常区域；
(4.1)将参照报告内容输入到词LSTM中得到该报告的一个向量表示
(5)将得到的语义特征影像学特征/>以及attv输入到视觉注意力模块计算出初始的影像报告主题生成模块LSTM的上下文向量，将/>输入到影像报告主题生成模块LSTM中得到隐向量/>
(6)根据计算句子停止概率/>以及主题向量ts，若/>则停止生成下一个句子，直接跳转到(8)，否则不断循环(7)直到达到生成的最大句子数目，这里设置为7；
(7)从注意力模块计算上下文向量将/>上一步预测的单词向量Ewt，输入到句子生成器输出下一个单词的概率，简单选择概率最大的作为该步骤的单词，若该单词为<SOS>则结束，输出之前的所有单词作为该步骤的句子输出，否则继续下一个单词的生成直至达到最大句子长度，这里设置为20；
(8)将句子生成器生成的所有句子作为最后的生成的报告内容，该影像数据生成的报告内容为“normal heart size but effusion.no pneumothorax or focalconsolidation.there isbilateral pleural effusion.degenerative changes in thespine.bilateral costophrenic blunting are present.there are acute changes ofthe aorta.there is bilateral disease”。
通过本发明方法，自动生成了影像的报告，耗时短，生成的报告语言流畅自然，能够捕捉到影像中的异常点，对于年轻的放射科医师来说能够给他们一个参考，对于有经验的放射科医师来说能够帮助他们快速定位到对应的显著区域，根据进一步的观察修改报告，能够为他们减少工作强度，缩短看片时间，提供一个基础版本的报告方便他们进一步精细化描述。
Claims (1)
1.一种基于语义的医学影像报告模板生成方法，其特征在于，报告生成采用编码器-解码器架构，分为如下几个部分:
(1)影像编码器，该影像编码器为在Imagenet预训练的VGG-19网络，用于影像的特征提取；
(2)影像多标签预测模块，该模块根据影像编码器提取的特征，预测与影像相关的病理标签；
(3)视觉注意力模块，该模块借鉴人脑的视觉注意力机制，对报告中不同的段落、不同的词语关注于影像的不同区域与不同表征；同时，鉴于缺乏经验的放射科医师在撰写影像报告时往往会借鉴其他已有的报告，该视觉注意力模块基于已有报告数据的驱动，通过已有的报告数据来指导关注影像的不同区域特征；
(4)影像报告主题生成模块，该模块用于生成报告中某个段落的主题；考虑到影像报告往往比较长，单独的循环神经网络无法解决长依赖问题，因此，采用层次化的循环神经网络，报告生成包括句子主题生成与主题指导下的句子生成两部分；
(5)句子生成模块，该模块根据特定的主题结合影像学特征生成对应的句子；
(6)相似影像搜索模块，该模块为线下预训练的基于影像标签特征的模块，为线上影像报告生成提供相似的辅助文本作为参照；
医学影像报告模板生成方法的具体步骤为：
(1)影像报告数据预处理：从PACS系统中导出影像与报告数据，将DICOM格式的影像数据导出为PNG格式图像数据，对影像报告数据作分词处理，构建影像描述中常用的词语字典，从影像报告数据中提取出与诊断相关的疾病概念并剔除正常性描述作为该影像的标签，记标签为：(l1,l2,l3,l4,…ln)，n为所有标签数目，li＝1，若该影像包含第i个病理，否则li＝0,
影像报告记为(s1,s2,…,sk)，
其中：
si＝(wi1,wi2,…wim),m为该报告中句子数目，si为报告中第i个句子，wij为si中第j个单词在词典中的索引；
(2)用Imagenet上预训练的权重初始化影像编码器，影像编码器采用VGG19网络结构；输入为归一化后的影像图像，经过一系列卷积层、池化层和激活函数后，得到最后一层卷积层的512*14*14的影像特征其中，vn为14*14的向量；
(3)影像特征经全局池化后输入到影像多标签预测模块，该影像多标签预测模块预测影像的病理特征向量，影像多标签预测模块为3层的全连接层，隐藏层单元分别为4096,4096,572，其中572表示所有的病理类别总数；记输出的病理特征向量为(p1,p2,p3,…,p572),其中，pi表示影像中存在第i个病理的概率，pi∈[0,1]；
(3.1)根据得到的病理标签概率向量，根据Grad-CAM得到该影像的一个显著性特征向量heat,该特征值为512维向量，表示中每个通道的重要性，将heat与/>做权重求和，得到14*14维的特征向量，记为：
heatn为heat的第n维分量；
(4)全局池化后的影像特征以及预测的病理特征向量输入到相似影像搜索模块，得到与该影像特征相似的top-5影像的报告，其中影像搜索采用输入特征的余弦相似度作为相似度衡量指标；从top-5中的报告中随机选择一个作为参照，记该报告内容表示为(s1′,s2′,…,sk′)；
(4.1)将(s1′,s2′,…,sk′)输入词LSTM中，对于每个句子取该句子中所有单词的LSTM隐藏层输出的平均池化avg_pool作为该句子的特征，得到指导的语义特征，记为即：
其中，hij表示编码第i个句字的第j个词的隐藏层向量，Ewij表示词wij对应的向量表示；
(5)将得到的语义特征影像学特征/>以及(3.1)得到的attv输入视觉注意力模块，该视觉注意力模块负责计算当前影像报告主题生成模块中和句子生成模块中对影像特征的关注点，影像报告主题生成模块的注意力计算公式如下：
其中，表示影像报告主题生成模块中LSTM中上一主题生成时的隐藏层状态， 分别为对应的需要学习的权重，/>表示影像报告主题生成模块中LSTM在t时刻得到的上下文，同理对于句子生成模块，计算公式如下：
其中，为句子生成模块上一时刻的隐藏层状态，Ewt为当前输入的词wt的向量表示，ts表示当前的主题向量，/>为最终当前词生成的上下文,/>为需要学习的权重；
(6)由影像报告主题生成模块生成当前句子的主题，其中主题向量计算如下：
这里，为影像报告主题生成模块LSTM中的隐藏层状态，/>为当前的句子的上下文向量，/>为需要学习的权重；句子停止器为三层的全连接层，输出是否要继续生成下一个句子的概率，其中：
这里，Wstop，Wstop,s-1，Wstop,s为全连接层需要学习的权重；
(7)由句子生成模块逐词生成句子，句子生成模块为双向的LSTM，输入为上一时刻隐藏层状态当前单词的向量表示Ewt以及计算出的上下文向量/>其计算公式为：
其中，it，ft，ct，ot分别为输入门，遗忘门，记忆单元，输出门，at为输出的单词概率；
Wi，Ui，Ci，bi；Wf，Uf，Cf，bf；Wc，Uc，Cc，bc；Wo，Uo，Co，bo为输入门，遗忘门，记忆单元，输出门中需要学习的权重，Wy，by为预测层需要学习的权重；
(8)迭代优化函数，其中的多任务学习误差函数定义如下：
其中：
ltag为预测的标签(l′1,l′2,l′3,l′4,…l′n)与标签.l1,l2,l3,l4,…ln)之间的BCE误差；
为句子停止器预测值与实际值的交叉熵；
I(s＝k′)为示性函数，当s＝k′时为1，否则为0；
lword(as,t,ws,t)为生成第s个句子的第t个单词时预测的词概率和实际的词之间的交叉熵，λtag，λsent，λword分别为标签预测误差，句子停止器预测误差以及句子生成误差的权重；
根据loss对参数做批量梯度下降，优化器选择为Adam；
(9)重复上述(2)～(8)步骤，直至达到预定义的训练步数或者loss不再下降；
(10)最终生成的报告为句子生成器生成的所有句子。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811227004.8A CN109545302B (zh) | 2018-10-22 | 2018-10-22 | 一种基于语义的医学影像报告模板生成方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811227004.8A CN109545302B (zh) | 2018-10-22 | 2018-10-22 | 一种基于语义的医学影像报告模板生成方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109545302A CN109545302A (zh) | 2019-03-29 |
| CN109545302B true CN109545302B (zh) | 2023-12-22 |
Family
ID=65844306
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811227004.8A Active CN109545302B (zh) | 2018-10-22 | 2018-10-22 | 一种基于语义的医学影像报告模板生成方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109545302B (zh) |
Families Citing this family (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110135427B (zh) * | 2019-04-11 | 2021-07-27 | 北京百度网讯科技有限公司 | 用于识别图像中的字符的方法、装置、设备和介质 |
| CN110111864B (zh) * | 2019-04-15 | 2023-05-26 | 中山大学 | 一种基于关系模型的医学报告生成系统及其生成方法 |
| CN110084297B (zh) * | 2019-04-23 | 2023-09-15 | 东华大学 | 一种面向小样本的影像语义对齐系统 |
| EP3734499A1 (en) * | 2019-05-02 | 2020-11-04 | Siemens Healthcare GmbH | Generating reports of three dimensional images |
| CN110176001B (zh) * | 2019-06-03 | 2021-09-03 | 浙江大学 | 一种基于Grad-CAM算法的高铁接触网绝缘子破损精确定位方法 |
| CN110569353B (zh) * | 2019-07-03 | 2023-04-07 | 重庆大学 | 一种基于注意力机制的Bi-LSTM的标签推荐方法 |
| TWI793391B (zh) | 2019-12-27 | 2023-02-21 | 廣達電腦股份有限公司 | 醫療影像辨識系統及醫療影像辨識方法 |
| CN111243729B (zh) * | 2020-01-07 | 2022-03-08 | 同济大学 | 一种肺部x线胸片检查报告自动生成方法 |
| CN111444367B (zh) * | 2020-03-24 | 2022-10-14 | 哈尔滨工程大学 | 一种基于全局与局部注意力机制的图像标题生成方法 |
| CN111640480B (zh) * | 2020-05-21 | 2023-09-26 | 上海联影智能医疗科技有限公司 | 医学报告生成方法、计算机设备和存储介质 |
| CN111681730B (zh) * | 2020-05-22 | 2023-10-27 | 上海联影智能医疗科技有限公司 | 医学影像报告的分析方法和计算机可读存储介质 |
| CN112164446B (zh) * | 2020-10-13 | 2022-04-22 | 电子科技大学 | 一种基于多网络融合的医疗影像报告生成方法 |
| CN112992308B (zh) * | 2021-03-25 | 2023-05-16 | 腾讯科技（深圳）有限公司 | 医学图像报告生成模型的训练方法及图像报告生成方法 |
| CN113035311B (zh) * | 2021-03-30 | 2023-05-23 | 广东工业大学 | 一种基于多模态注意力机制的医学图像报告自动生成方法 |
| CN114334068B (zh) * | 2021-11-15 | 2022-11-01 | 深圳市龙岗中心医院(深圳市龙岗中心医院集团、深圳市第九人民医院、深圳市龙岗中心医院针灸研究所) | 一种放射学报告生成方法、装置、终端及存储介质 |
| CN114298005A (zh) * | 2021-12-29 | 2022-04-08 | 深圳市铱硙医疗科技有限公司 | 脑部影像辅助判读报告生成系统及方法 |
| CN114416966B (zh) * | 2022-01-24 | 2022-08-26 | 山东大学第二医院 | 一种基于Simhash-BERT网络的医用耗材合理使用分析方法 |
| CN115034204B (zh) * | 2022-05-12 | 2023-05-23 | 浙江大学 | 结构化医学文本的生成方法、计算机设备、存储介质 |
| CN114972929B (zh) * | 2022-07-29 | 2022-10-18 | 中国医学科学院医学信息研究所 | 一种医学多模态模型的预训练方法及装置 |
| CN117558459A (zh) * | 2024-01-10 | 2024-02-13 | 中国科学技术大学 | 一种记忆驱动的医疗多模态内容分析及生成方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107209809A (zh) * | 2015-02-05 | 2017-09-26 | 皇家飞利浦有限公司 | 用于放射学报告的报告内容的背景创建 |
| EP3229157A1 (en) * | 2016-04-07 | 2017-10-11 | Siemens Healthcare GmbH | Image analytics question answering |
| CN107273657A (zh) * | 2017-05-15 | 2017-10-20 | 慧影医疗科技（北京）有限公司 | 影像诊断图文报告的生成方法及存储设备 |
| EP3246836A1 (en) * | 2016-05-18 | 2017-11-22 | Siemens Healthcare GmbH | Automatic generation of radiology reports from images and automatic rule out of images without findings |
| CN108376558A (zh) * | 2018-01-24 | 2018-08-07 | 复旦大学 | 一种多模态核磁共振影像病历报告自动生成方法 |
-
2018
- 2018-10-22 CN CN201811227004.8A patent/CN109545302B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107209809A (zh) * | 2015-02-05 | 2017-09-26 | 皇家飞利浦有限公司 | 用于放射学报告的报告内容的背景创建 |
| EP3229157A1 (en) * | 2016-04-07 | 2017-10-11 | Siemens Healthcare GmbH | Image analytics question answering |
| EP3246836A1 (en) * | 2016-05-18 | 2017-11-22 | Siemens Healthcare GmbH | Automatic generation of radiology reports from images and automatic rule out of images without findings |
| CN107273657A (zh) * | 2017-05-15 | 2017-10-20 | 慧影医疗科技（北京）有限公司 | 影像诊断图文报告的生成方法及存储设备 |
| CN108376558A (zh) * | 2018-01-24 | 2018-08-07 | 复旦大学 | 一种多模态核磁共振影像病历报告自动生成方法 |
Non-Patent Citations (2)
| Title |
|---|
| 章笠中 ; 曹世华 ; 梁俊 ; 许美芳 ; 金瓯.基于HL7v3CDA的可交换影像结果报告的设计与实现方法.2011中华医院信息网络大会.2011,97. * |
| 计算机辅助诊断技术在乳腺X线摄影中的应用进展;李婷;李康安;;中国数字医学(第03期);27-28 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109545302A (zh) | 2019-03-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109545302B (zh) | 一种基于语义的医学影像报告模板生成方法 | |
| Xue et al. | Multimodal recurrent model with attention for automated radiology report generation | |
| Xiong et al. | Reinforced transformer for medical image captioning | |
| Zhou et al. | Generalized radiograph representation learning via cross-supervision between images and free-text radiology reports | |
| Rani et al. | Self-supervised learning: A succinct review | |
| Ayesha et al. | Automatic medical image interpretation: State of the art and future directions | |
| US11810654B2 (en) | Method and system for automatically generating a section in a radiology report | |
| Beddiar et al. | Automatic captioning for medical imaging (MIC): a rapid review of literature | |
| Li et al. | Attention, suggestion and annotation: a deep active learning framework for biomedical image segmentation | |
| EP4266195A1 (en) | Training of text and image models | |
| Zhao et al. | A comparison review of transfer learning and self-supervised learning: Definitions, applications, advantages and limitations | |
| CN115205880A (zh) | 一种医学影像报告生成方法及装置 | |
| CN112216379A (zh) | 一种基于智能联合学习的疾病诊断系统 | |
| Najdenkoska et al. | Uncertainty-aware report generation for chest X-rays by variational topic inference | |
| CN111242059A (zh) | 基于递归记忆网络的无监督图像描述模型的生成方法 | |
| Hartsock et al. | Vision-language models for medical report generation and visual question answering: A review | |
| Saha et al. | LM-DNN: pre-trained DNN with LSTM and cross fold validation for detecting viral pneumonia from chest CT | |
| Shetty et al. | Cross-modal deep learning-based clinical recommendation system for radiology report generation from chest x-rays | |
| Mbilinyi et al. | Retrieving chest X-rays for differential diagnosis: A deep metric learning approach | |
| Štajduhar et al. | Analysing large repositories of medical images | |
| CN115862837A (zh) | 一种基于类型推理与语义约束的医学视觉问答方法 | |
| Karpagam et al. | Facial emotion detection using convolutional neural network algorithm | |
| Kourav et al. | Automatic Chest Radiology Report Generation Using Reinforcement Learning | |
| Xu et al. | Category-level regularized unlabeled-to-labeled learning for semi-supervised prostate segmentation with multi-site unlabeled data | |
| CN117393100B (zh) | 诊断报告的生成方法、模型训练方法、系统、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |