CN111243729A - 一种肺部x线胸片检查报告自动生成方法 - Google Patents

一种肺部x线胸片检查报告自动生成方法 Download PDF

Info

Publication number
CN111243729A
CN111243729A CN202010013066.XA CN202010013066A CN111243729A CN 111243729 A CN111243729 A CN 111243729A CN 202010013066 A CN202010013066 A CN 202010013066A CN 111243729 A CN111243729 A CN 111243729A
Authority
CN
China
Prior art keywords
chest
report
lung
label
semantic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010013066.XA
Other languages
English (en)
Other versions
CN111243729B (zh
Inventor
方钰
顾梦丹
黄欣
陆明名
翟鹏珺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tongji University
Original Assignee
Tongji University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tongji University filed Critical Tongji University
Priority to CN202010013066.XA priority Critical patent/CN111243729B/zh
Publication of CN111243729A publication Critical patent/CN111243729A/zh
Application granted granted Critical
Publication of CN111243729B publication Critical patent/CN111243729B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Epidemiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Biomedical Technology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

目前的X线胸片检查报告自动生成方法无法准确地生成长段的检查报告、无法有效地捕获胸片包含的语义信息、未考虑中文检查报告中正常样本描述相似的特点。一种肺部X线胸片检查报告自动生成方法，本发明的创新点在于利用胸片的语义标签生成检查报告，并针对中文检查报告的特点加入二分类器来区分胸片的正常与异常，有效地提高了自动生成中文检查报告的精确度。

Description

一种肺部X线胸片检查报告自动生成方法
技术领域
本发明涉及计算机视觉以及自然语言处理领域。
X线胸片检查报告自动生成是计算机辅助诊断领域的一个重要分支。
背景技术
由于目前仍未出现公开的胸片中文检查报告数据集，因此针对中文检查报告的自动生成研究仍十分匮乏。在胸片检查报告生成领域，仅有印第安纳大学公开的英文检查报告数据集openI，相关的研究大部分是在此数据集上进行的。Wang等人设计的TieNet，将检查报告和图像作为输入，在实现疾病分类的同时，生成检查报告。该方法提升了疾病分类的准确度，但是生成的检查报告BLEU值较低。Jing等人借鉴了Krause用于生成长段落的分层LSTM方法，将图像的特征以及语义特征作为句子级LSTM的输入，生成多个话题向量，并通过单词级LSTM对每个话题向量生成一句描述。Li等人把正面和侧面胸片同时作为CNN的输入，将检索法和生成法相结合，对于出现频率高的句子采用检索法，对于出现频率低的句子采用分层LSTM方法生成，最后将所有句子组合成一段检查报告。Xu等人提出的模型以循环的方式将CNN和LSTM结合在一起。模型结合图像特征和生成的句子构建输入，以指导下一个句子的生成。
以上方法的目标是生成检查报告的finding和impression部分，由于该部分包含大量的语义信息，但是模型在生成报告时难以捕捉如此丰富的信息，因此以上方法生成的 检查报告精度较低。
发明内容
X线胸片检查报告自动生成是计算机辅助诊断的一项重要任务，有助于减轻医生工作负担，提高诊断效率。目前的检查报告自动生成方法以生成长段的检查报告为目标，由于长段报告包含信息量过大，自动生成的报告质量不高；并且现有方法通常使用图像特征直接生成报告，而图像特征包含的语义信息有限；另外，现有研究多是针对英文检查报告，未考虑到中文检查报告的一些特点。
针对以上问题，本发明以生成肺部的检查报告为目标，采用多标签分类得到的语义标签来生成检查报告，并且针对中文检查报告中正常症状描述相似这一特点，通过加入二分类器提高了生成正常症状报告的精确度。
为了实现上述目的，本发明给出的技术方案为：
本发明提供一种肺部X线胸片检查报告自动生成方法，包括：
步骤1、构建胸片检查报告数据集；
步骤2、对中文检查报告进行预处理工作；
步骤3、利用多标签分类器获取胸片的语义标签；
步骤4、利用二分类器区分胸片的正常与异常；
步骤5、将步骤2多标签分类器得到的语义标签与步骤3二分类器的输出相结合，输入LSTM生成检查报告。
有益效果
本发明针对现有目前的X线胸片检查报告自动生成方法无法准确地生成长段的检查报告、无法有效地捕获胸片包含的语义信息、未考虑中文检查报告中正常样本描述相似的特点等问题，实现了一种肺部X线胸片检查报告自动生成方法。本发明以生成肺部检查报告为目标，通过选取与异常相关的高频词作为语义标签，利用语义标签生成检查报告，并且结合二分类器提高了生成正常症状报告的精确度，有助于推进中文检查报告自动生成领域的研究，对于计算机辅助诊断领域有重大意义。
本发明仅生成肺部的检查报告，给出一种肺部X线胸片检查报告自动生成方法。肺部报告相对于整段检查报告，包含的信息较少，便于模型在生成时捕捉有效信息，从而生成更确切的报告。
附图说明
附图是用来提动对本发明的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但不构成对本发明的限制。在附图中：
图1为胸片肺部检查报告自动生成方法的技术路线图；
图2为步骤二中文检查报告预处理的流程图；
图3为步骤三利用多标签分类器获取胸片的语义标签；
图4为步骤四利用二分类器区分胸片的正常与异常；
图5为利用LSTM生成肺部检查报告的说明图；
图6为肺部胸片检查报告自动生成的流程图。
具体实施方式
为了使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的具体实施方式进行清楚、完整的描述。应当理解的是，此处所描述的具体实施方法仅用于说明和解释本发明，并不用于限制本发明。
本发明的具体实施过程如图1所示，包括如下5个方面：
步骤1、构建胸片检查报告数据集；
步骤2、对中文检查报告进行预处理工作；
步骤3、利用多标签分类器获取胸片的语义标签；
步骤4、利用二分类器区分胸片的正常与异常；
步骤5、将步骤2多标签分类器得到的语义标签与步骤3二分类器的输出相结合，输入LSTM生成检查报告。
各个步骤详述如下。
第一步：采集胸片和中文检查报告用于构建胸片检查报告数据集。
数据集中包含胸片和检查报告，其中，将中文检查报告提供给第二步，将胸片提供给第三步和第四步。
第二步：对中文检查报告进行预处理工作，如图2所示
2.1：按句号对中文检查报告的片示部分内容进行划分；
2.2：筛选出中文检查报告中与肺相关的描述；
2.3：将收集的医学词典加入jieba分词器的用户字典，使用jieba分词器对中文检查报告中与肺相关的描述进行分词；
2.4：得到肺部检查报告数据集，提供给步骤3.1，步骤4.1和步骤5.2。
第三步：利用多标签分类器获取胸片的语义标签，如图3所示
3.1：首先，利用步骤2.4的肺部检查报告数据集建立一个语义标签集合。
3.1.1：统计肺部检查报告中所有词语出现的次数；
3.1.2：选择出现次数高并且与异常相关的词语，将这些词语按照词意进行归类(词语的意思相同的归为一类)，得到40类语义标签，作为语义标签集合；提供给步骤3.2。
3.2：为胸片标记语义标签。
每张胸片需要标注一个语义标签y＝[y1,y2，…，y40]T。设当胸片的肺部检查报告中出现了属于j类语义标签的词语时，yj＝1，否则yj＝0。正常胸片的语义标签全为0，即y＝[0，0，…，0]T。
将标注了语义标签的胸片提供给步骤3.3。
3.3：训练多标签分类器。
多标签分类器的输入为胸片，输出一个语义标签概率向量
Figure BDA0002357847410000041
多标签分类器的实现采用现有的空间正则化网络[1](Spatial RegularizationNetwork,SRN)，网络包括两部分：第一个部分采用现有的ResNet-101神经网络[2]，输入是一张胸片，输出是向量
Figure BDA0002357847410000042
作用是预测每个标签出现的概率；第二个部分是一个基于注意力机制的神经网络，该网络为3层卷积层组成的注意力预测器fatt，连接一个三层卷积网络fsr构成。输入是ResNet-101的“res4b22_relu”层提取的特征图X，输出是向量
Figure BDA0002357847410000043
作用是利用注意力机制学习语义标签之间的关联性。最终多标签分类器即所述空间正则化网络输出的语义标签概率向量
Figure BDA0002357847410000044
Figure BDA0002357847410000045
其中σ表示Sigmoid函数。空间正则化网络的损失函数公式为：
Figure BDA0002357847410000046
其中y表示步骤3.2标注的语义标签，
Figure BDA0002357847410000047
表示空间正则化网络输出的语义标签概率向量。利用随机梯度下降法优化方法训练空间正则化网络。
3.4：将胸片输入已训练的多标签分类器(空间正则化网络)可以得到语义标签概率向量
Figure BDA0002357847410000051
提供给步骤5.1。
第四步：利用二分类器区分胸片的正常与异常，如图4所示
4.1：根据步骤2.4得到的肺部检查报告数据集，为每一张胸片标注二分类标签ybc。肺部检查报告为正常的胸片标注ybc＝0，肺部检查报告为异常的胸片标注ybc＝1，提供给步骤4.2。
4.2：训练二分类器。
二分类器的实现采用现有的ResNet-101神经网络[2]，训练时需要输入胸片和胸片标注的二分类器标签ybc，输出预测该胸片为异常的概率pbc。利用的损失函数为二分交叉熵损失函数，公式为：F2(ybc，pbc)＝-ybc log(pbc)-(1-ybc)log(1-pbc)；其中，ybc表示步骤4.1标注的二分类标签，pbc表示预测该胸片为异常的概率。设置阈值为λ，当pbc≥λ时，令二分类的结果B＝1，否则B＝0。
4.3：将胸片输入已训练的二分类器，将二分类的结果B提供给步骤5.1。
第五步：将步骤3.3得到的语义标签概率向量
Figure BDA0002357847410000052
与步骤4.2的结果相结合，输入LSTM生成检查报告
5.1：将步骤3.3得到的语义标签概率向量
Figure BDA0002357847410000053
与步骤4.2得到的二分类的结果B相乘，提供给步骤5.2。
5.2：训练LSTM[3]。
如图6所示。
在训练时，LSTM的输入为胸片和步骤2.4得到的肺部检查报告。在时间步T＝0，LSTM的输入为
Figure BDA0002357847410000054
其中Wimg表示用于
Figure BDA0002357847410000055
的权重矩阵，
Figure BDA0002357847410000056
表示步骤5.1得到的结果；从时间步T＝1到T＝L，LSTM的输入为WsSt，其中L表示肺部检查报告中单词总数，Ws表示词向量的权重矩阵，St表示在肺部检查报告中的第t个单词采用one-hot编码表示的向量。损失函数的公式为
Figure BDA0002357847410000057
Figure BDA0002357847410000058
其中，N表示肺部检查报告的总数，L(i)表示第i个肺部检查报告中单词总数。
Figure BDA0002357847410000059
表示第i个肺部检查报告中第t个单词，
Figure BDA00023578474100000510
表示LSTM输出单词
Figure BDA00023578474100000511
的概率。利用随机梯度下降优化方法训练LSTM。
5.3：利用训练后的LSTM生成肺部检查报告。输入胸片，LSTM输出肺部检查报告。如图6所示。
参考文献
[1]Zhu F,Li H,Ouyang W,et al.Learning spatial regularization withimage-level supervisions for multi-label image classification[C]//Proceedingsof the IEEE Conference on Computer Vision and Pattern Recognition.2017:5513-5522.
[2]He K,Zhang X,Ren S,et al.Deep residual learning for imagerecognition[C]//Proceedings of the IEEE conference on computer vision andpattern recognition.2016:770-778.
[3]Hochreiter S,Schmidhuber J.Long short-term memory[J].Neuralcomputation,1997,9(8):1735-1780.
创新点
提出了一种肺部X线胸片检查报告自动生成方法，和现有的X线胸片检查报告自动生成方法不同，本发明仅生成肺部的X线胸片检查报告，生成的检查报告更确切。本发明利用与异常相关的高频词作为胸片的语义标签，使用多标签分类器预测语义标签，最后通过语义标签生成检查报告，相比于通过图像特征生成的检查报告具有更高的精确度。此外，本发明针对中文检查报告的特点进行了优化，通过加入一个区分正常与异常的二分类器，提高了生成正常症状报告的精确度。
本发明提出的方法在中文X线胸片检查报告数据集中有很好的表现，提高了自动生成检查报告的精确度。

Claims (6)

1.一种肺部X线胸片检查报告自动生成方法，其特征在于，包括
步骤1、构建胸片检查报告数据集；
步骤2、对中文检查报告进行预处理工作；
步骤3、利用多标签分类器获取胸片的语义标签；
步骤4、利用二分类器区分胸片的正常与异常；
步骤5、将步骤2多标签分类器得到的语义标签与步骤3二分类器的输出相结合，输入LSTM生成检查报告。
2.如权利要求1所述的肺部X线胸片检查报告自动生成方法，其特征在于，第一步：采集胸片和中文检查报告用于构建胸片检查报告数据集。
数据集中包含胸片和检查报告，其中，将中文检查报告提供给第二步，将胸片提供给第三步和第四步。
3.如权利要求1所述的肺部X线胸片检查报告自动生成方法，其特征在于，第二步：对中文检查报告进行预处理工作，
2.1：按句号对中文检查报告的片示部分内容进行划分；
2.2：筛选出中文检查报告中与肺相关的描述；
2.3：将收集的医学词典加入jieba分词器的用户字典，使用jieba分词器对中文检查报告中与肺相关的描述进行分词；
2.4：得到肺部检查报告数据集，提供给步骤3.1，步骤4.1和步骤5.2。
4.如权利要求1所述的肺部X线胸片检查报告自动生成方法，其特征在于，
第三步：利用多标签分类器获取胸片的语义标签，
3.1：首先，利用步骤2.4的肺部检查报告数据集建立一个语义标签集合；
3.1.1：统计肺部检查报告中所有词语出现的次数；
3.1.2：选择出现次数高并且与异常相关的词语，将这些词语按照词意进行归类(词语的意思相同的归为一类)，得到40类语义标签，作为语义标签集合；提供给步骤3.2；
3.2：为胸片标记语义标签；
每张胸片需要标注一个语义标签y＝[y1，y2，…，y40]T；设当胸片的肺部检查报告中出现了属于j类语义标签的词语时，yj＝1，否则yj＝0；正常胸片的语义标签全为0，即y＝[0,0,…,0]T；
将标注了语义标签的胸片提供给步骤3.3。
3.3：训练多标签分类器。
多标签分类器的输入为胸片，输出一个语义标签概率向量
Figure FDA0002357847400000021
多标签分类器的实现采用现有的空间正则化网络[1](Spatial RegularizationNetwork,SRN)，网络包括两部分：第一个部分采用现有的ResNet-101神经网络[2]，输入是一张胸片，输出是向量
Figure FDA0002357847400000022
作用是预测每个标签出现的概率；第二个部分是一个基于注意力机制的神经网络，该网络为3层卷积层组成的注意力预测器fatt，连接一个三层卷积网络fsr构成。输入是ResNet-101的“res4b22_relu”层提取的特征图X，输出是向量
Figure FDA0002357847400000023
作用是利用注意力机制学习语义标签之间的关联性。最终多标签分类器即所述空间正则化网络输出的语义标签概率向量
Figure FDA0002357847400000024
Figure FDA0002357847400000025
其中σ表示Sigmoid函数。空间正则化网络的损失函数公式为：
Figure FDA0002357847400000026
其中y表示步骤3.2标注的语义标签，
Figure FDA0002357847400000027
表示空间正则化网络输出的语义标签概率向量。利用随机梯度下降法优化方法训练空间正则化网络。
3.4：将胸片输入已训练的多标签分类器(空间正则化网络)可以得到语义标签概率向量
Figure FDA0002357847400000028
提供给步骤5.1。
5.如权利要求1所述的肺部X线胸片检查报告自动生成方法，其特征在于，
第四步：利用二分类器区分胸片的正常与异常，
4.1：根据步骤2.4得到的肺部检查报告数据集，为每一张胸片标注二分类标签ybc。肺部检查报告为正常的胸片标注ybc＝0，肺部检查报告为异常的胸片标注ybc＝1，提供给步骤4.2。
4.2：训练二分类器。
二分类器的实现采用现有的ResNet-101神经网络[2]，训练时需要输入胸片和胸片标注的二分类器标签ybc，输出预测该胸片为异常的概率pbc。利用的损失函数为二分交叉熵损失函数，公式为：F2(ybc,pbc)＝-ybclog(pbc)-(1-ybc)log(1-pbc)；其中，ybc表示步骤4.1标注的二分类标签，pbc表示预测该胸片为异常的概率。设置阈值为λ，当pbc≥λ时，令二分类的结果B＝1，否则B＝0。
4.3：将胸片输入已训练的二分类器，将二分类的结果B提供给步骤5.1。
6.如权利要求1所述的肺部X线胸片检查报告自动生成方法，其特征在于，
第五步：将步骤3.3得到的语义标签概率向量
Figure FDA0002357847400000031
与步骤4.2的结果相结合，输入LSTM生成检查报告
5.1：将步骤3.3得到的语义标签概率向量
Figure FDA0002357847400000032
与步骤4.2得到的二分类的结果B相乘，提供给步骤5.2。
5.2：训练LSTM
在训练时，LSTM的输入为胸片和步骤2.4得到的肺部检查报告。在时间步T＝0，LSTM的输入为
Figure FDA0002357847400000033
其中Wimg表示用于
Figure FDA0002357847400000034
的权重矩阵，
Figure FDA0002357847400000035
表示步骤5.1得到的结果；从时间步T＝1到T＝L，LSTM的输入为WsSt，其中L表示肺部检查报告中单词总数，Ws表示词向量的权重矩阵，St表示在肺部检查报告中的第t个单词采用one-hot编码表示的向量。损失函数的公式为
Figure FDA0002357847400000036
Figure FDA0002357847400000037
其中，N表示肺部检查报告的总数，L(i)表示第i个肺部检查报告中单词总数。
Figure FDA0002357847400000038
表示第i个肺部检查报告中第t个单词，
Figure FDA0002357847400000039
表示LSTM输出单词
Figure FDA00023578474000000310
的概率。利用随机梯度下降优化方法训练LSTM。
5.3：利用训练后的LSTM生成肺部检查报告。输入胸片，LSTM输出肺部检查报告。
CN202010013066.XA 2020-01-07 2020-01-07 一种肺部x线胸片检查报告自动生成方法 Active CN111243729B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010013066.XA CN111243729B (zh) 2020-01-07 2020-01-07 一种肺部x线胸片检查报告自动生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010013066.XA CN111243729B (zh) 2020-01-07 2020-01-07 一种肺部x线胸片检查报告自动生成方法

Publications (2)

Publication Number Publication Date
CN111243729A true CN111243729A (zh) 2020-06-05
CN111243729B CN111243729B (zh) 2022-03-08

Family

ID=70863947

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010013066.XA Active CN111243729B (zh) 2020-01-07 2020-01-07 一种肺部x线胸片检查报告自动生成方法

Country Status (1)

Country Link
CN (1) CN111243729B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112382360A (zh) * 2020-12-03 2021-02-19 卫宁健康科技集团股份有限公司 一种诊断报告自动生成系统、存储介质及电子设备
US11244755B1 (en) 2020-10-02 2022-02-08 International Business Machines Corporation Automatic generation of medical imaging reports based on fine grained finding labels
US11763081B2 (en) 2020-10-02 2023-09-19 Merative Us L.P. Extracting fine grain labels from medical imaging reports
US11928186B2 (en) 2021-11-01 2024-03-12 International Business Machines Corporation Combined deep learning and knowledge driven reasoning for artificial intelligence classification
CN112382360B (zh) * 2020-12-03 2024-05-31 卫宁健康科技集团股份有限公司 一种诊断报告自动生成系统、存储介质及电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108509521A (zh) * 2018-03-12 2018-09-07 华南理工大学 一种自动生成文本索引的图像检索方法
CN109545302A (zh) * 2018-10-22 2019-03-29 复旦大学 一种基于语义的医学影像报告模板生成方法
CN109754015A (zh) * 2019-01-02 2019-05-14 京东方科技集团股份有限公司 用于画作多标签识别的神经网络及相关方法、介质和设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108509521A (zh) * 2018-03-12 2018-09-07 华南理工大学 一种自动生成文本索引的图像检索方法
CN109545302A (zh) * 2018-10-22 2019-03-29 复旦大学 一种基于语义的医学影像报告模板生成方法
CN109754015A (zh) * 2019-01-02 2019-05-14 京东方科技集团股份有限公司 用于画作多标签识别的神经网络及相关方法、介质和设备

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
FENGQI YAN ETAL: "Combining LSTM and DenseNet for Automatic Annotation and Classification of Chest X-Ray Images", 《IEEE ACCESS》 *
XIN HUANG ETAL: "An Annotation Model on End-to-End Chest Radiology Reports", 《IEEE ACCESS》 *
XIN HUANG ETAL: "Multi-Attention and Incorporating Background Information Model for Chest X-Ray Image Report Generation", 《IEEE ACCESS》 *
王若佳等: "中文电子病历的分词及实体识别研究", 《图书情报工作》 *
金宸等: "基于双向LSTM神经网络模型的中文分词", 《中文信息学报》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11244755B1 (en) 2020-10-02 2022-02-08 International Business Machines Corporation Automatic generation of medical imaging reports based on fine grained finding labels
US11763081B2 (en) 2020-10-02 2023-09-19 Merative Us L.P. Extracting fine grain labels from medical imaging reports
CN112382360A (zh) * 2020-12-03 2021-02-19 卫宁健康科技集团股份有限公司 一种诊断报告自动生成系统、存储介质及电子设备
CN112382360B (zh) * 2020-12-03 2024-05-31 卫宁健康科技集团股份有限公司 一种诊断报告自动生成系统、存储介质及电子设备
US11928186B2 (en) 2021-11-01 2024-03-12 International Business Machines Corporation Combined deep learning and knowledge driven reasoning for artificial intelligence classification

Also Published As

Publication number Publication date
CN111243729B (zh) 2022-03-08

Similar Documents

Publication Publication Date Title
Khobahi et al. Coronet: A deep network architecture for semi-supervised task-based identification of covid-19 from chest x-ray images
Karpathy et al. Deep visual-semantic alignments for generating image descriptions
CN111243729B (zh) 一种肺部x线胸片检查报告自动生成方法
Nguyen et al. Automated generation of accurate\& fluent medical x-ray reports
CN114582470B (zh) 一种模型的训练方法、训练装置及医学影像报告标注方法
CN112541066B (zh) 基于文本结构化的医技报告检测方法及相关设备
CN111275118B (zh) 基于自我修正式标签生成网络的胸片多标签分类方法
Li et al. Publication date estimation for printed historical documents using convolutional neural networks
Li et al. Vispi: Automatic visual perception and interpretation of chest x-rays
CN113948217A (zh) 一种基于局部特征整合的医学嵌套命名实体识别方法
CN106227836B (zh) 基于图像与文字的无监督联合视觉概念学习系统及方法
CN112257441A (zh) 一种基于反事实生成的命名实体识别增强方法
CN111582506A (zh) 基于全局和局部标记关系的偏多标记学习方法
CN113657115A (zh) 一种基于讽刺识别和细粒度特征融合的多模态蒙古文情感分析方法
US20220375576A1 (en) Apparatus and method for diagnosing a medical condition from a medical image
CN116049367A (zh) 一种基于无监督知识增强的视觉-语言预训练方法及装置
CN113378919B (zh) 融合视觉常识和增强多层全局特征的图像描述生成方法
Rodin et al. Multitask and multimodal neural network model for interpretable analysis of x-ray images
Gu et al. Automatic generation of pulmonary radiology reports with semantic tags
Wu et al. AGNet: Automatic generation network for skin imaging reports
CN112784601A (zh) 关键信息提取方法、装置、电子设备和存储介质
CN112085742A (zh) 一种基于上下文注意力的nafld超声视频诊断方法
Gasimova Automated enriched medical concept generation for chest X-ray images
Adiwardana et al. Using generative models for semi-supervised learning
CN112765353B (zh) 一种基于科研文本的生物医学学科分类方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant