CN112382360B - 一种诊断报告自动生成系统、存储介质及电子设备 - Google Patents
一种诊断报告自动生成系统、存储介质及电子设备 Download PDFInfo
- Publication number
- CN112382360B CN112382360B CN202011415442.4A CN202011415442A CN112382360B CN 112382360 B CN112382360 B CN 112382360B CN 202011415442 A CN202011415442 A CN 202011415442A CN 112382360 B CN112382360 B CN 112382360B
- Authority
- CN
- China
- Prior art keywords
- image
- category label
- chest
- module
- description text
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000002159 abnormal effect Effects 0.000 claims abstract description 109
- 238000002601 radiography Methods 0.000 claims abstract description 84
- 238000003745 diagnosis Methods 0.000 claims abstract description 48
- 238000013145 classification model Methods 0.000 claims abstract description 30
- 238000012545 processing Methods 0.000 claims abstract description 19
- 230000014509 gene expression Effects 0.000 claims abstract description 16
- 238000001514 detection method Methods 0.000 claims description 18
- 230000011218 segmentation Effects 0.000 claims description 18
- 238000000034 method Methods 0.000 claims description 13
- 238000004891 communication Methods 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 4
- 238000003709 image segmentation Methods 0.000 claims description 4
- 238000010191 image analysis Methods 0.000 abstract description 2
- 210000000038 chest Anatomy 0.000 description 134
- 210000004072 lung Anatomy 0.000 description 23
- 230000005856 abnormality Effects 0.000 description 14
- 210000004224 pleura Anatomy 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 4
- 201000003144 pneumothorax Diseases 0.000 description 4
- 206010035588 Pleural adhesion Diseases 0.000 description 3
- 208000002151 Pleural effusion Diseases 0.000 description 3
- 230000000747 cardiac effect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000002685 pulmonary effect Effects 0.000 description 3
- 238000009877 rendering Methods 0.000 description 3
- 238000013519 translation Methods 0.000 description 3
- 230000014616 translation Effects 0.000 description 3
- 208000037411 Aortic calcification Diseases 0.000 description 2
- 208000004434 Calcinosis Diseases 0.000 description 2
- 206010014561 Emphysema Diseases 0.000 description 2
- 206010035592 Pleural calcification Diseases 0.000 description 2
- 206010035600 Pleural fibrosis Diseases 0.000 description 2
- 206010037423 Pulmonary oedema Diseases 0.000 description 2
- 230000002308 calcification Effects 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000002513 implantation Methods 0.000 description 2
- 210000001370 mediastinum Anatomy 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 208000005333 pulmonary edema Diseases 0.000 description 2
- 206010039722 scoliosis Diseases 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 239000013589 supplement Substances 0.000 description 2
- 206010028980 Neoplasm Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000011976 chest X-ray Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000008719 thickening Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30061—Lung
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- Epidemiology (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Data Mining & Analysis (AREA)
- Biomedical Technology (AREA)
- Databases & Information Systems (AREA)
- Pathology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Medical Treatment And Welfare Office Work (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本申请涉及图像分析技术领域，提供一种诊断报告自动生成系统、存储介质及电子设备，该系统包括：胸片图像输入模块，用于获取正位的胸片图像；分类模块，用于利用分类模型对胸片图像进行处理，获得胸片图像的类别标签组合，类别标签组合包括N个类别标签；历史报告查询模块，用于根据类别标签组合在历史数据中查询具有相同类别标签组合的历史诊断报告；描述文本拼接模块，用于当历史报告查询模块未查询到历史诊断报告时，根据类别标签组合从知识库中获取胸片图像中存在的各异常表现的预设描述，并将获得的各预设描述进行拼接，获得胸片图像对应的图像描述文本；报告自动生成模块，用于根据胸片图像以及图像描述文本生成诊断报告。
Description
技术领域
本发明涉及图像分析技术领域，具体而言，涉及一种诊断报告自动生成系统、存储介质及电子设备。
背景技术
胸部X光检查是目前对于胸部疾病的一种常见的医学检查手段。随着医院的胸部X光检查量以每年20％的速度增长，放射科医生解读胸部影像并给出诊断报告的压力与日俱增。
发明内容
本申请实施例的目的在于提供一种诊断报告自动生成系统、存储介质及电子设备，通过对胸部正位片进行分析，自动在诊断报告中填写影像所见，将医生从繁重的报告任务中解脱出来，将更多的精力用于对病灶的诊断。
为实现上述目的，本申请提供如下技术方案：
第一方面，本申请实施例提供一种诊断报告自动生成系统，包括：胸片图像输入模块，用于获取正位的胸片图像；分类模块，用于利用分类模型对所述胸片图像进行处理，获得所述胸片图像的类别标签组合，所述类别标签组合包括N个类别标签，每个类别标签表征所述胸片图像中存在对应异常表现的第一结果或不存在对应异常表现的第二结果；历史报告查询模块，用于根据所述类别标签组合在历史数据中查询具有相同类别标签组合的历史诊断报告；描述文本拼接模块，用于当历史报告查询模块未在历史数据中查询到具有相同类别标签组合的历史诊断报告时，根据所述类别标签组合从知识库中获取所述胸片图像中存在的各异常表现的预设描述，并将获得的各预设描述进行拼接，获得所述胸片图像对应的图像描述文本；报告自动生成模块，用于根据所述胸片图像以及所述图像描述文本生成诊断报告。
本技术方案可以通过分类模型解读胸片，自动形成图像描述文本，为医生减少了较多重复性劳动，帮助医生解放工作压力，并减少因为诊断疲劳导致的漏诊、误诊。医生可以在图像描述文本的基础上对报告进行完善，不需要从头开始阅片，省时省力。该方案可以将医生从繁重的报告任务中解脱出来，将更多的精力用于对病灶的诊断，其适用于体检患者的大规模筛查，也适用于医院门诊、病房患者的诊治。
可选的，在所述知识库中具有M个高级层级的知识以及每个高级层级下的下级层级的知识，每个下级层级对应一种异常表现；所述描述文本拼接模块包括：标签组合分割模块，用于将所述类别标签组合分割为M个子类别标签组合，每个子类别标签组合中的类别标签对应于同一高级层级；结果判断模块，用于分别判断每个子类别标签组合中的所有类别标签是否均表征第二结果；第一描述获取模块，用于在所述子类别标签组合中的所有类别标签均表征第二结果时，从与所述子类别标签组合所对应的高级层级的知识中获取对应的第一预设描述；第二描述获取模块，用于在所述子类别标签组合中有至少一个类别标签表征第一结果时，从表征第一结果的类别标签所对应的下级层级的知识中获取对应的第二预设描述；文本拼接模块，用于将所有子类别标签组合所对应的第一预设描述和第二预设描述进行拼接，获得所述胸片图像对应的图像描述文本。
通过上述方案可以形成更加自然的描述文本，使图像描述文本更符合自然语言的规律。
可选的，所述系统还包括：描述文本拷贝模块，用于当历史报告查询模块在历史数据中查询到具有相同类别标签组合的一个或多个历史诊断报告时，根据所述历史诊断报告的图像描述文本得到目标描述文本；并根据所述目标描述文本获得所述胸片图像对应的图像描述文本。
当历史报告查询模块查询到具有相同类别标签组合的历史诊断报告时，可以从历史诊断报告中获取所需的图像描述文本，而不必通过拼接的方式形成图像描述文本，简化操作。
可选的，描述文本拷贝模块包括：平均差异计算模块，用于当历史报告查询模块在历史数据中查询到具有相同类别标签组合的多个历史诊断报告时，分别计算每一历史诊断报告中的图像描述文本与其余历史诊断报告中的图像描述文本的平均差异；目标描述文本确定模块，用于将平均差异最小的一个图像描述文本确定为所述目标描述文本。
从多个图像描述文本中选取与其余图像描述文本的平均差异最小的一个图像描述文本，作为目标描述文本，平均差异最小的一个图像描述文本质量较高。
可选的，描述文本拷贝模块包括：文本处理模块，用于将所述目标描述文本中与方位、大小有关的词语删除，并将所述词语对应位置留为空白，获得经处理描述文本；图像描述文本确定模块，用于将所述经处理描述文本作为所述胸片图像对应的图像描述文本。
历史诊断报告中的图像描述文本可能带有不适用于该胸片图像的描述，例如，历史诊断报告中的图像描述文本中出现肺内阴影异常的位置在左肺，但该胸片图像出现肺内阴影异常的位置可能在右肺，或者两肺均见阴影，因此，需要将与方位、大小有关的词语删除并留白，等待医生补充完善。
可选的，所述系统还包括：目标检测模块，用于在所述胸片图像输入模块获取到正位的胸片图像之后，利用目标检测模型对所述胸片图像进行异常物检测，获得至少一个矩形框的第一信息；显示模块，用于根据所述至少一个矩形框的第一信息在所述胸片图像上层的相应位置显示相应大小的矩形框，每一矩形框中对应目标检测模型检测出的一种异常物。
显示模块在胸片图像的上层渲染出目标检测模块检测出的各个矩形框，将胸片图像中存在异常物的位置以矩形框形式标明，使得医生可以根据所显示的矩形框对矩形框中的内容予以关注，有利于医生进行诊断，防止误诊、漏诊。并且，医生可根据矩形框的位置判断矩形框位于胸部的左侧或者右侧，据此将图像描述文本中与方位有关的词语补充完整。
可选的，所述系统还包括：图像分割模块，用于在所述胸片图像输入模块获取到正位的胸片图像之后，利用分割模型对所述胸片图像进行异常区域分割，获得至少一个边界的第二信息；显示模块还用于根据所述至少一个边界的第二信息在所述胸片图像上层的相应位置描绘出相应的边界轮廓，每一边界轮廓内对应分割模型分割出的一个异常区域。
显示模块在胸片图像的上层渲染出分割模型分割出的各个边界，勾勒出胸片图像中异常区域的边界轮廓。在勾勒出边界后，有利于计算该异常区域的面积，以及评估异常区域收缩或扩大的百分比。医生可根据勾勒出的边界将图像描述文本中与大小有关的词语补充完整。
可选的，所述第一信息包括所述至少一个矩形框中对应矩形框所属的异常表现及属于所述异常表现的第二概率，所述第二信息包括至少一个边界中对应边界内的区域所属的异常表现及属于所述异常表现的第三概率；分类模块包括：概率获取模块，用于利用分类模型对所述胸片图像进行处理，获得N个第一概率，每一第一概率表示所述胸片图像中存在对应异常表现的概率；概率加权模块，用于将N个第一概率、至少一个第二概率、至少一个第三概率中对应于同一异常表现的概率进行加权平均计算，得到N个加权概率；标签组合获取模块，用于根据所述N个加权概率获得所述胸片图像的类别标签组合。
将分类模型、目标检测模型及分割模型输出的结果进行简单的加权平均计算，产生的效果会优于单一模型。
第二方面，本申请实施例提供一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如下的步骤：获取正位的胸片图像；利用分类模型对所述胸片图像进行处理，获得所述胸片图像的类别标签组合，所述类别标签组合包括N个类别标签，每个类别标签表征所述胸片图像中存在对应异常表现的第一结果或不存在对应异常表现的第二结果；根据所述类别标签组合在历史数据中查询具有相同类别标签组合的历史诊断报告；当未在历史数据中查询到具有相同类别标签组合的历史诊断报告时，根据所述类别标签组合从知识库中获取所述胸片图像中存在的各异常表现的预设描述，并将获得的各预设描述进行拼接，获得所述胸片图像对应的图像描述文本；根据所述胸片图像以及所述图像描述文本生成诊断报告。
第三方面，本申请实施例提供一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当所述电子设备运行时，所述处理器与所述存储器之间通过所述总线通信，所述机器可读指令被所述处理器执行时执行如下的步骤：获取正位的胸片图像；利用分类模型对所述胸片图像进行处理，获得所述胸片图像的类别标签组合，所述类别标签组合包括N个类别标签，每个类别标签表征所述胸片图像中存在对应异常表现的第一结果或不存在对应异常表现的第二结果；根据所述类别标签组合在历史数据中查询具有相同类别标签组合的历史诊断报告；当未在历史数据中查询到具有相同类别标签组合的历史诊断报告时，根据所述类别标签组合从知识库中获取所述胸片图像中存在的各异常表现的预设描述，并将获得的各预设描述进行拼接，获得所述胸片图像对应的图像描述文本；根据所述胸片图像以及所述图像描述文本生成诊断报告。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本申请实施例提供的诊断报告自动生成系统的示意图；
图2示出了本申请实施例中知识库的层级示意图；
图3示出了本申请实施例中描述文本拼接模块的一种具体示意图；
图4示出了本申请实施例提供的电子设备的示意图；
图5示出了图4中电子设备运行时所执行的具体步骤的流程图。
图标：110-胸片图像输入模块；120-分类模块；130-历史报告查询模块；140-描述文本拼接模块；150-报告自动生成模块；160-描述文本拷贝模块；141-标签组合分割模块；142-结果判断模块；143-第一描述获取模块；144-第二描述获取模块；145-文本拼接模块；200-电子设备；210-处理器；220-存储器；230-通信接口；240-总线。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
本申请实施例提供一种诊断报告自动生成系统，如图1所示，该系统包括：胸片图像输入模块110、分类模块120、历史报告查询模块130、描述文本拼接模块140以及报告自动生成模块150。
其中，胸片图像输入模块110用于获取正位的胸片图像。
通常，在胸部X光检查中会产生多张胸片，正位片为例行检查必拍。在胸片常见问题中，正位片可以更清楚地观察所有的异常表现，侧位等其他胸片可以用于辅助，因此，胸片图像输入模块110仅获取正位的胸片图像，侧位的胸片图像可以不传入胸片图像输入模块110。
胸片图像输入模块110具体用于读取正位胸片的原始DICOM(Digital Imagingand Communications in Medicine，医学数字成像和通信)图像，将原始DICOM图像转码为普通二维图像，获得上述胸片图像。
可选的，在获得胸片图像后，胸片图像输入模块110对胸片图像进行大小变换、旋转、翻转、调整灰度、对比度等预处理，使胸片图像质量提高，有利于对胸片图像进行后续分析，并且，对胸片图像的尺寸大小进行调整，使其尺寸符合分类模块120所使用的分类模型的输入要求。例如，可将胸片图像的大小调整为256*256或者384*384。
分类模块120，用于利用分类模型对胸片图像进行处理，获得胸片图像的类别标签组合，该类别标签组合包括N个类别标签，每个类别标签表征该胸片图像中存在对应异常表现的第一结果或不存在对应异常表现的第二结果。
在胸片图像输入模块110获取到胸片图像之后，将胸片图像传入分类模块120，分类模块120利用分类模型对胸片图像进行处理，获得胸片图像的类别标签组合。其中，分类模型的输出结果为N个第一概率，该类别标签组合为根据N个第一概率得到。
分类模型的训练是基于胸部的异常表现知识库，分类模型被配置为按照知识库内定义的异常表现的层级完成分类。知识库中包括与领域相关的理论知识、事实数据、由专家经验得到的启发式知识等。知识库的知识是有层次的。在知识库中定义M个高级层级，知识库中具有M个高级层级的相应知识，在每个高级层级下定义有至少一个下级层级，知识库中具有每一下级层级的相应知识。在高级层级下定义有高级层级下的第二层级，可选的，在第二层级下还定义有第二层级的第三层级。每一下级层级(第二层级或第三层级)对应一种异常表现，分类模型被配置为按照知识库内定义的全部下级层级的异常表现进行分类，对于每一下级层级对应的异常表现均输出一个第一概率，或者，被配置为按照知识库内定义的其中部分下级层级的异常表现进行分类。
根据专家经验，胸片图像中出现的各种异常表现按照图2所示的层级进行划分，其中，胸片中的异常表现可分为四个大类，分别为：肺实质、胸膜、胸廓和纵隔。
进一步的，肺实质的异常表现包括：肺野密度、肺门异常和肺纹理；肺野密度包括：肺内阴影、肿块、空洞、钙化、结节；肺内阴影包括：小片影、斑片影；肺纹理包括：肺气肿、肺水肿、肺纹理增多、间质性改变。
进一步的，胸膜的异常表现包括：气胸、胸腔积液、胸膜异常，胸膜异常包括：胸膜钙化、胸膜粘连、胸膜增厚。
进一步的，胸廓的异常表现包括：脊柱侧弯、PICC(Peripherally InsertedCentral Catheter，经外周静脉穿刺中心静脉置管)置管、心脏起搏器植入。
进一步的，纵隔的异常表现包括：心影增大、主动脉异常；主动脉异常包括：主动脉钙化、主动脉迂曲。
知识库内异常表现的层级按照图2所示进行定义，在知识库中定义有M个高级层级，K种异常表现。分类模型被配置为按照知识库内定义的全部下级层级的异常表现进行分类，对于每一下级层级对应的异常表现均输出一个第一概率，共输出N个第一概率，N＝K，当然，分类模型也可以被配置为按照知识库内定义的其中部分下级层级的异常表现进行分类，分类模型共输出N个第一概率，N<K。
在一种实施例中，考虑到肺野密度与肺纹理这两种异常下具有较多的细节异常，故可以将肺野密度与肺纹理定义为高级层级，于是，分类模型输出肺野密度与肺纹理的下级层级对应的异常表现的第一概率，而不输出肺野密度与肺纹理的第一概率。
通过定义不同的高级层级，有利于在描述文本拼接模块中拼接不同的高级层级所对应的第一预设描述，形成更符合医生使用习惯的文本。
根据上述实施例，分类模型对胸片图像中存在的异常表现进行分类，共输出25个第一概率，25个第一概率分别对应于如下25种异常表现：肺门异常、肺内阴影、肿块、空洞、钙化、结节、小片影、斑片影、肺气肿、肺水肿、肺纹理增多、间质性改变、气胸、胸腔积液、胸膜异常、胸膜钙化、胸膜粘连、胸膜增厚、脊柱侧弯、PICC置管、心脏起搏器植入、心影增大、主动脉异常、主动脉钙化、主动脉迂曲。
可以理解，上述描述和图2仅是一种具体的示例，并不表示知识库中仅有这几种异常表现，而且分类模型可以输出知识库内定义的全部异常表现的分类概率，也可以输出其中部分异常表现的分类概率，在实际应用中可以灵活对分类模型进行配置，因此，分类模型具体输出哪些异常表现的分类概率，本实施例不作限定。
分类模块120根据N个第一概率得到类别标签组合。类别标签组合包括N个类别标签，每个类别标签表征胸片图像中存在对应异常表现的第一结果或不存在对应异常表现的第二结果，将第一概率与预设阈值进行对比，若第一概率高于预设阈值，则获得表征第一结果的类别标签，反之，若不高于，则获得表征第二结果的类别标签。
类别标签组合可以是文字形式，也可以是数字形式，例如，用1表示第一结果，用0表示第二结果，在一种示例中，可以得到“0100010000011011010”的类别标签组合。
历史报告查询模块130，用于根据类别标签组合在历史数据中查询具有相同类别标签组合的历史诊断报告。
若分类模块120得到的类别标签组合为“0100010000011011010”，则历史报告查询模块130在历史数据中查询类别标签组合同样为“0100010000011011010”的历史诊断报告。
若历史报告查询模块130未查询到具有相同类别标签组合的历史诊断报告，则跳转至描述文本拼接模块140。若历史报告查询模块130查询到具有相同类别标签组合的一个或多个历史诊断报告，则跳转至描述文本拷贝模块160。
描述文本拼接模块140，用于当历史报告查询模块130未在历史数据中查询到具有相同类别标签组合的历史诊断报告时，根据类别标签组合从知识库中获取胸片图像中存在的各异常表现的预设描述，并将获得的各预设描述进行拼接，获得胸片图像对应的图像描述文本。
在一种实施例中，描述文本拼接模块140确定类别标签组合中表征第一结果的目标类别标签，根据每一目标类别标签从对应层级的知识中获取相对应的预设描述，并将获得的各个预设描述进行拼接，从而获得胸片图像对应的图像描述文本。
示例性的，类别标签组合为“0100010000011011010”，首先确定出值为1的类别标签，然后从知识库中获得相对应的预设描述，预设描述例如是“肺内见小片阴影”、“胸腔内有起搏器”等。
为形成更加自然的描述文本，使图像描述文本符合自然语言的规律，在一种实施例中，请参照图3，描述文本拼接模块140包括：标签组合分割模块141、结果判断模块142、第一描述获取模块143、第二描述获取模块144和文本拼接模块145。
其中，标签组合分割模块141用于将类别标签组合分割为M个子类别标签组合，每个子类别标签组合中的类别标签对应于同一高级层级。
在前述的示例中，类别标签组合“0100010000011011010”对应4个高级层级，将类别标签组合按照所对应的高级层级进行分割，例如，得到四个子类别标签组合，分别为：“010001”、“00000”、“11011”、“010”。
结果判断模块142用于分别判断每个子类别标签组合中的所有类别标签是否均表征第二结果。
结果判断模块142分别判断分割出的M个子类别标签组合中的每个子类别标签组合中的类别标签是否均表征第二结果。例如，分别判断四个子类别标签组合“010001”、“00000”、“11011”、“010”中是否有值为0的标签。
第一描述获取模块143，用于在子类别标签组合中的所有类别标签均表征第二结果时，从与子类别标签组合所对应的高级层级的知识中获取对应的第一预设描述。
如果某子类别标签组合中的所有类别标签的值均为0，则从与子类别标签组合所对应的高级层级的知识中获取对应的第一预设描述。第一预设描述例如为“XXX(所对应的高级层级)无异常”。
例如，“00000”中包含五种异常表现的结果，分别为：气胸、胸膜异常、胸腔积液，以及胸膜异常下的异常表现：胸膜增厚、胸膜粘连。“00000”对应的高级层级为“胸膜”。当结果判断模块142判断子类别标签组合“00000”中的值均为0时，第一描述获取模块143从“胸膜”的知识中获取对应的第一预设描述，第一预设描述为：“胸膜无异常”。
第二描述获取模块144，用于在子类别标签组合中有至少一个类别标签表征第一结果时，从表征第一结果的类别标签所对应的下级层级的知识中获取对应的第二预设描述。
当结果判断模块142判断出子类别标签组合“010001”、“11011”、“010”中有1存在时，第二描述获取模块144从各子类别标签组合中值为1对应的异常表现的知识中获取对应的第二预设描述，第二预设描述例如为“某某部位见某异常”等。每一个值为1的异常表现均获得一个第二预设描述。
文本拼接模块145，用于将所有子类别标签组合所对应的第一预设描述和第二预设描述进行拼接，获得胸片图像对应的图像描述文本。
文本拼接模块145获取子类别标签组合“010001”的所有第二预设描述，获取“00000”的第一预设描述，获取“11011”、“010”的所有第二预设描述，并将每个子类别标签组合对应的描述进行拼接，形成该胸片图像对应的图像描述文本。该图像描述文本即为该胸片图像的影像所见。
若历史报告查询模块130查询到具有相同类别标签组合的一个或多个历史诊断报告，则可以跳转至描述文本拷贝模块160，从历史诊断报告中获取所需的图像描述文本，而不必通过拼接的方式形成图像描述文本。
描述文本拷贝模块160用于当历史报告查询模块130在历史数据中查询到具有相同类别标签组合的一个或多个历史诊断报告时，根据历史诊断报告的图像描述文本得到目标描述文本；并根据目标描述文本获得胸片图像对应的图像描述文本。每个历史诊断报告均具有一个对应的图像描述文本。
可选的，当历史报告查询模块130在历史数据中查询到具有相同类别标签组合的一个历史诊断报告时，描述文本拷贝模块160将该历史诊断报告的图像描述文本作为该胸片图像对应的图像描述文本。
可选的，当历史报告查询模块130在历史数据中查询到具有相同类别标签组合的多个历史诊断报告时，描述文本拷贝模块160从多个历史诊断报告对应的多个图像描述文本中，选取使用最多的一个图像描述文本，作为该胸片图像对应的图像描述文本。
可选的，描述文本拷贝模块160包括：平均差异计算模块和目标描述文本确定模块。
其中，平均差异计算模块用于，当历史报告查询模块130在历史数据中查询到具有相同类别标签组合的多个历史诊断报告时，分别计算每一历史诊断报告中的图像描述文本与该多个历史诊断报告中其余历史诊断报告中的图像描述文本的平均差异。
其中，平均差异可以采用Bleu的评价方法进行计算。Bleu(Bilingual EvaluationUnderstudy，双语评估替换)是一个比较候选文本翻译与其他一个或多个参考翻译的评价分数，虽然Bleu一开始是为翻译工作而开发，但它也可以用于自然语言处理中对文本进行评估，本实施例将其用于评估某一图像描述文本与其他一个或多个图像描述文本之间的平均差异。
目标描述文本确定模块，用于将平均差异最小的一个图像描述文本确定为目标描述文本。
因此，当在历史数据中可查询到与该胸片图像具有相同类别标签组合的多个历史诊断报告时，可直接从历史诊断报告中获取到该胸片图像的图像描述文本。
报告自动生成模块150用于根据胸片图像以及图像描述文本生成诊断报告。
在得到该胸片图像的图像描述文本后，报告自动生成模块150可以根据该胸片图像和对应的图像描述文本自动生成诊断报告。该图像描述文本是对胸片图像中异常表现的语言描述。在医生实际撰写诊断报告时，由于不同医生的习惯不同，有的医生可能会省略一些描述，有的医生可能只写异常表示的描述，而不写无异常的描述，而通过上述的实施例，所生成的诊断报告按照统一的规范给出图像描述文本，使所有诊断报告标准化。
在一种实施例中，历史诊断报告中的图像描述文本可能带有不适用于该胸片图像的描述，因此，描述文本拷贝模块160包括：文本处理模块和图像描述文本确定模块。其中，文本处理模块用于将目标描述文本中与方位、大小有关的词语删除，并将词语对应位置留为空白，获得经处理描述文本；图像描述文本确定模块，用于将经处理描述文本作为该胸片图像对应的图像描述文本。
在描述文本拷贝模块160获得目标描述文本后，文本处理模块智能识别文本中与方位、大小有关的词语，并将其删除，例如，将“左肺见小片影”中的“左肺”删除，将“心影增大X倍”中的“X倍”删除，并将所删除词语的对应位置留为空白，等待医生补充完善。
进一步的，该系统还包括：目标检测模块和显示模块。
目标检测模块，用于在胸片图像输入模块110获取到正位的胸片图像之后，利用目标检测模型对胸片图像进行异常物检测，获得至少一个矩形框的第一信息。显示模块，用于根据至少一个矩形框的第一信息在胸片图像上层的相应位置显示相应大小的矩形框，每一矩形框中对应目标检测模型检测出的一种异常物。
目标检测模块利用目标检测模型对胸片图像进行异常物检测，目标检测模型输出至少一个矩形框的第一信息，每个矩形框的第一信息包括矩形框的中心坐标、矩形框的长和宽的值、矩形框所属的异常表现及属于该异常表现的第二概率。显示模块用于在胸片图像的上层渲染出目标检测模块检测出的各个矩形框，将胸片图像中存在异常物的位置以矩形框形式标明，使得医生可以根据所显示的矩形框对矩形框中的内容予以关注，有利于医生进行诊断，防止误诊、漏诊。目标检测模型检测出的异常物包括起搏器、气胸、肺内阴影等异常物。
医生可根据矩形框的位置判断矩形框位于胸部的左侧或者右侧，据此将图像描述文本中与方位有关的词语补充完整。
可选的，该系统还包括：图像分割模块。图像分割模块用于在胸片图像输入模块110获取到正位的胸片图像之后，利用分割模型对胸片图像进行异常区域分割，获得至少一个边界的第二信息。显示模块还用于根据至少一个边界的第二信息在胸片图像上层的相应位置描绘出相应的边界轮廓，每一边界轮廓内对应分割模型分割出的一个异常区域。
每个边界的第二信息包括边界上各像素点的位置、边界内的区域所属的异常表现及属于该异常表现的第三概率。显示模块用于在胸片图像的上层渲染出分割模型分割出的各个边界，勾勒出胸片图像中异常区域的边界轮廓。分割模型分割出的边界包括胸片图像中阴影、肿块等异常区域的边界。
在勾勒出边界后，有利于计算该异常区域的面积，以及可以通过将异常区域的面积与相对应的正常区域的面积进行对比，确定该异常区域已收缩或者扩大了多少百分比。
医生可根据勾勒出的边界将图像描述文本中与大小有关的词语补充完整。
在医生实际操作时，在打开相应患者的信息后，系统自动检索该患者的胸片图像以及图像描述文本，在打开报告书写栏后，将图像描述文本自动填写在影像所见中。在显示区域上，显示胸片图像，并在胸片图像上层渲染相应的矩形框及边界轮廓等。医生观察胸片图像给出相应的诊断意见，同时，如果影像所见中缺少与方位、大小有关的词语，则在影像所见中将其补充完整。
最后，报告自动生成模块150根据胸片图像、图像描述文本以及医生在报告书写栏中输入的内容生成诊断报告。
进一步的，将分类模型、目标检测模型及分割模型输出的结果进行简单的加权平均计算，产生的效果会优于单一模型。因此，分类模块120具体包括：概率获取模块、概率加权模块和标签组合获取模块。
其中，概率获取模块用于利用分类模型对胸片图像进行处理，获得N个第一概率，每一第一概率表示胸片图像中存在对应异常表现的概率。
概率加权模块用于将N个第一概率、至少一个第二概率、至少一个第三概率中对应于同一异常表现的概率进行加权平均计算，得到N个加权概率。
如果某异常表现仅对应有第一概率，则对应的加权概率即为它本身，如果某异常表现对应有一个第一概率和一个第二概率，则将该第一概率和该第二概率进行加权平均，得到对应的加权概率。
可选的，概率加权模块利用boosting网络对N个第一概率、至少一个第二概率和至少一个第三概率中对应于同一异常表现的概率进行加权平均计算，boosting网络输出N个加权概率。
标签组合获取模块，用于根据N个加权概率获得胸片图像的类别标签组合。在获得N个加权概率后，标签组合获取模块将每个加权概率与一个预设阈值进行对比，从而获得胸片图像的类别标签组合。
综上所述，本申请实施例提供一种诊断报告自动生成系统，可以通过分类模型自动解读胸片，帮助医生自动填写影像所见，为医生减少了较多重复性劳动，帮助医生解放工作压力，并减少因为诊断疲劳导致的漏诊、误诊。医生可以在图像描述文本的基础上对报告进行完善，不需要从头开始阅片，省时省力。本技术方案可以将医生从繁重的报告任务中解脱出来，将更多的精力用于对病灶的诊断，其适用于体检患者的大规模筛查，也适用于医院门诊、病房患者的诊治。
本系统使所有的诊断报告均按照统一的规范给出对胸片图像的描述，使报告标准化，同时，能有更完整的影像学描述，可以切实降低医生的漏诊、漏诊率。
图4示出了本申请实施例提供的电子设备200的一种可能的结构。参照图4，电子设备200包括：处理器210、存储器220以及通信接口230，这些组件通过通信总线240和/或其他形式的连接机构(未示出)互连并相互通讯。
其中，存储器220包括一个或多个(图中仅示出一个)，其可以是，但不限于，随机存取存储器(Random AccessMemory，简称RAM)，只读存储器(Read Only Memory，简称ROM)，可编程只读存储器(Programmable Read-Only Memory，简称PROM)，可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，简称EPROM)，电可擦除可编程只读存储器(Electric Erasable Programmable Read-Only Memory，简称EEPROM)等。处理器210以及其他可能的组件可对存储器220进行访问，读和/或写其中的数据。
处理器210包括一个或多个(图中仅示出一个)，其可以是一种集成电路芯片，具有信号的处理能力。上述的处理器210可以是通用处理器，包括中央处理器(CentralProcessingUnit，简称CPU)、微控制单元(Micro Controller Unit，简称MCU)、网络处理器(NetworkProcessor，简称NP)或者其他常规处理器；还可以是专用处理器，包括图形处理器(Graphics Processing Unit，GPU)、数字信号处理器(DigitalSignalProcessor,简称DSP)、专用集成电路(Application Specific Integrated Circuits，简称ASIC)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。并且，在处理器210为多个时，其中的一部分可以是通用处理器，另一部分可以是专用处理器。
通信接口230包括一个或多个(图中仅示出一个)，可以用于和其他设备进行直接或间接地通信，以便进行数据的交互。通信接口230可以包括进行有线和/或无线通信的接口。
在存储器220存储有处理器210可执行的机器可读指令，当电子设备200运行时，处理器210与存储器220之间通过总线240通信，机器可读指令被处理器210执行时执行如图5所示的步骤：
步骤S31，获取正位的胸片图像。
步骤S32，利用分类模型对胸片图像进行处理，获得胸片图像的类别标签组合，类别标签组合包括N个类别标签，每个类别标签表征胸片图像中存在对应异常表现的第一结果或不存在对应异常表现的第二结果。
步骤S33，根据类别标签组合在历史数据中查询具有相同类别标签组合的历史诊断报告。
步骤S34，当未在历史数据中查询到具有相同类别标签组合的历史诊断报告时，根据类别标签组合从知识库中获取胸片图像中存在的各异常表现的预设描述，并将获得的各预设描述进行拼接，获得胸片图像对应的图像描述文本。
步骤S35，根据胸片图像以及图像描述文本生成诊断报告。
上述实施例中的诊断报告自动生成系统可以以机器可读指令的形式布置在电子设备200中，电子设备200通过调用诊断报告自动生成系统中的各个模块执行相对应的步骤，从而实现诊断报告的自动生成。电子设备200在运行时所执行的具体过程可以参考前述实施例的描述。
可以理解，图4所示的结构仅为示意，电子设备200还可以包括比图4中所示更多或者更少的组件，或者具有与图4所示不同的配置。图4中所示的各组件可以采用硬件、软件或其组合实现。电子设备200可能是实体设备，例如PC机、笔记本电脑、平板电脑、手机、服务器、嵌入式设备等，也可能是虚拟设备，例如虚拟机、虚拟化容器等。并且，电子设备200也不限于单台设备，也可以是多台设备的组合或者大量设备构成的集群。
本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，所述计算机程序被计算机的处理器读取并运行时，执行如图5所示的步骤。上述实施例中的诊断报告自动生成系统可以以计算机程序的形式存储在计算机可读存储介质中。
在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。再者，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (7)
1.一种诊断报告自动生成系统，其特征在于，包括：
胸片图像输入模块，用于获取正位的胸片图像；
分类模块，用于利用分类模型对所述胸片图像进行处理，获得所述胸片图像的类别标签组合，所述类别标签组合包括N个类别标签，每个类别标签表征所述胸片图像中存在对应异常表现的第一结果或不存在对应异常表现的第二结果；
历史报告查询模块，用于根据所述类别标签组合在历史数据中查询具有相同类别标签组合的历史诊断报告；
描述文本拼接模块，用于当历史报告查询模块未在历史数据中查询到具有相同类别标签组合的历史诊断报告时，根据所述类别标签组合从知识库中获取所述胸片图像中存在的各异常表现的预设描述，并将获得的各预设描述进行拼接，获得所述胸片图像对应的图像描述文本；
报告自动生成模块，用于根据所述胸片图像以及所述图像描述文本生成诊断报告；
其中，在所述知识库中具有M个高级层级的知识以及每个高级层级下的下级层级的知识，每个下级层级对应一种异常表现；所述描述文本拼接模块包括：标签组合分割模块，用于将所述类别标签组合分割为M个子类别标签组合，每个子类别标签组合中的类别标签对应于同一高级层级；结果判断模块，用于分别判断每个子类别标签组合中的所有类别标签是否均表征第二结果；第一描述获取模块，用于在所述子类别标签组合中的所有类别标签均表征第二结果时，从与所述子类别标签组合所对应的高级层级的知识中获取对应的第一预设描述；第二描述获取模块，用于在所述子类别标签组合中有至少一个类别标签表征第一结果时，从表征第一结果的类别标签所对应的下级层级的知识中获取对应的第二预设描述；文本拼接模块，用于将所有子类别标签组合所对应的第一预设描述和第二预设描述进行拼接，获得所述胸片图像对应的图像描述文本；
其中，所述系统还包括：描述文本拷贝模块，用于当历史报告查询模块在历史数据中查询到具有相同类别标签组合的一个或多个历史诊断报告时，根据所述历史诊断报告的图像描述文本得到目标描述文本；并根据所述目标描述文本获得所述胸片图像对应的图像描述文本；
其中，所述描述文本拷贝模块包括：文本处理模块，用于将所述目标描述文本中与方位、大小有关的词语删除，并将所述词语对应位置留为空白，获得经处理描述文本；图像描述文本确定模块，用于将所述经处理描述文本作为所述胸片图像对应的图像描述文本。
2.根据权利要求1所述的系统，其特征在于，描述文本拷贝模块包括：
平均差异计算模块，用于当历史报告查询模块在历史数据中查询到具有相同类别标签组合的多个历史诊断报告时，分别计算每一历史诊断报告中的图像描述文本与其余历史诊断报告中的图像描述文本的平均差异；
目标描述文本确定模块，用于将平均差异最小的一个图像描述文本确定为所述目标描述文本。
3.根据权利要求1所述的系统，其特征在于，所述系统还包括：
目标检测模块，用于在所述胸片图像输入模块获取到正位的胸片图像之后，利用目标检测模型对所述胸片图像进行异常物检测，获得至少一个矩形框的第一信息；
显示模块，用于根据所述至少一个矩形框的第一信息在所述胸片图像上层的相应位置显示相应大小的矩形框，每一矩形框中对应目标检测模型检测出的一种异常物。
4.根据权利要求3所述的系统，其特征在于，所述系统还包括：
图像分割模块，用于在所述胸片图像输入模块获取到正位的胸片图像之后，利用分割模型对所述胸片图像进行异常区域分割，获得至少一个边界的第二信息；
显示模块还用于根据所述至少一个边界的第二信息在所述胸片图像上层的相应位置描绘出相应的边界轮廓，每一边界轮廓内对应分割模型分割出的一个异常区域。
5.根据权利要求4所述的系统，其特征在于，所述第一信息包括所述至少一个矩形框中对应矩形框所属的异常表现及属于所述异常表现的第二概率，所述第二信息包括至少一个边界中对应边界内的区域所属的异常表现及属于所述异常表现的第三概率；分类模块包括：
概率获取模块，用于利用分类模型对所述胸片图像进行处理，获得N个第一概率，每一第一概率表示所述胸片图像中存在对应异常表现的概率；
概率加权模块，用于将N个第一概率、至少一个第二概率、至少一个第三概率中对应于同一异常表现的概率进行加权平均计算，得到N个加权概率；
标签组合获取模块，用于根据所述N个加权概率获得所述胸片图像的类别标签组合。
6.一种存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如下的步骤：
获取正位的胸片图像；
利用分类模型对所述胸片图像进行处理，获得所述胸片图像的类别标签组合，所述类别标签组合包括N个类别标签，每个类别标签表征所述胸片图像中存在对应异常表现的第一结果或不存在对应异常表现的第二结果；
根据所述类别标签组合在历史数据中查询具有相同类别标签组合的历史诊断报告；
当未在历史数据中查询到具有相同类别标签组合的历史诊断报告时，根据所述类别标签组合从知识库中获取所述胸片图像中存在的各异常表现的预设描述，并将获得的各预设描述进行拼接，获得所述胸片图像对应的图像描述文本；
根据所述胸片图像以及所述图像描述文本生成诊断报告；
其中，在所述知识库中具有M个高级层级的知识以及每个高级层级下的下级层级的知识，每个下级层级对应一种异常表现；
所述当未在历史数据中查询到具有相同类别标签组合的历史诊断报告时，根据所述类别标签组合从知识库中获取所述胸片图像中存在的各异常表现的预设描述，并将获得的各预设描述进行拼接，获得所述胸片图像对应的图像描述文本，包括：将所述类别标签组合分割为M个子类别标签组合，每个子类别标签组合中的类别标签对应于同一高级层级；分别判断每个子类别标签组合中的所有类别标签是否均表征第二结果；在所述子类别标签组合中的所有类别标签均表征第二结果时，从与所述子类别标签组合所对应的高级层级的知识中获取对应的第一预设描述；在所述子类别标签组合中有至少一个类别标签表征第一结果时，从表征第一结果的类别标签所对应的下级层级的知识中获取对应的第二预设描述；将所有子类别标签组合所对应的第一预设描述和第二预设描述进行拼接，获得所述胸片图像对应的图像描述文本；
其中，所述步骤还包括：当在历史数据中查询到具有相同类别标签组合的一个或多个历史诊断报告时，根据所述历史诊断报告的图像描述文本得到目标描述文本；并根据所述目标描述文本获得所述胸片图像对应的图像描述文本；
其中，所述根据所述目标描述文本获得所述胸片图像对应的图像描述文本，包括：将所述目标描述文本中与方位、大小有关的词语删除，并将所述词语对应位置留为空白，获得经处理描述文本；将所述经处理描述文本作为所述胸片图像对应的图像描述文本。
7.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当所述电子设备运行时，所述处理器与所述存储器之间通过所述总线通信，所述机器可读指令被所述处理器执行时执行如下的步骤：
获取正位的胸片图像；
利用分类模型对所述胸片图像进行处理，获得所述胸片图像的类别标签组合，所述类别标签组合包括N个类别标签，每个类别标签表征所述胸片图像中存在对应异常表现的第一结果或不存在对应异常表现的第二结果；
根据所述类别标签组合在历史数据中查询具有相同类别标签组合的历史诊断报告；
当未在历史数据中查询到具有相同类别标签组合的历史诊断报告时，根据所述类别标签组合从知识库中获取所述胸片图像中存在的各异常表现的预设描述，并将获得的各预设描述进行拼接，获得所述胸片图像对应的图像描述文本；
根据所述胸片图像以及所述图像描述文本生成诊断报告；
其中，在所述知识库中具有M个高级层级的知识以及每个高级层级下的下级层级的知识，每个下级层级对应一种异常表现；
所述当未在历史数据中查询到具有相同类别标签组合的历史诊断报告时，根据所述类别标签组合从知识库中获取所述胸片图像中存在的各异常表现的预设描述，并将获得的各预设描述进行拼接，获得所述胸片图像对应的图像描述文本，包括：将所述类别标签组合分割为M个子类别标签组合，每个子类别标签组合中的类别标签对应于同一高级层级；分别判断每个子类别标签组合中的所有类别标签是否均表征第二结果；在所述子类别标签组合中的所有类别标签均表征第二结果时，从与所述子类别标签组合所对应的高级层级的知识中获取对应的第一预设描述；在所述子类别标签组合中有至少一个类别标签表征第一结果时，从表征第一结果的类别标签所对应的下级层级的知识中获取对应的第二预设描述；将所有子类别标签组合所对应的第一预设描述和第二预设描述进行拼接，获得所述胸片图像对应的图像描述文本；
其中，所述步骤还包括：当在历史数据中查询到具有相同类别标签组合的一个或多个历史诊断报告时，根据所述历史诊断报告的图像描述文本得到目标描述文本；并根据所述目标描述文本获得所述胸片图像对应的图像描述文本；
其中，所述根据所述目标描述文本获得所述胸片图像对应的图像描述文本，包括：将所述目标描述文本中与方位、大小有关的词语删除，并将所述词语对应位置留为空白，获得经处理描述文本；将所述经处理描述文本作为所述胸片图像对应的图像描述文本。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011415442.4A CN112382360B (zh) | 2020-12-03 | 2020-12-03 | 一种诊断报告自动生成系统、存储介质及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011415442.4A CN112382360B (zh) | 2020-12-03 | 2020-12-03 | 一种诊断报告自动生成系统、存储介质及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112382360A CN112382360A (zh) | 2021-02-19 |
| CN112382360B true CN112382360B (zh) | 2024-05-31 |
Family
ID=74590583
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011415442.4A Active CN112382360B (zh) | 2020-12-03 | 2020-12-03 | 一种诊断报告自动生成系统、存储介质及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112382360B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113053487B (zh) * | 2021-04-22 | 2023-03-24 | 薛蕴菁 | 基于结构化报告历史数据自动给出诊断建议的方法及装置 |
| CN113592819B (zh) * | 2021-07-30 | 2024-07-26 | 上海皓桦科技股份有限公司 | 图像处理系统及方法 |
| CN114093451A (zh) * | 2021-12-01 | 2022-02-25 | 华平祥晟(上海)医疗科技有限公司 | 一种pacs系统管理用户数据的方法及系统 |
| CN116046643B (zh) * | 2023-03-30 | 2024-01-16 | 深圳市帝迈生物技术有限公司 | 辅助诊断信息提供装置及血液分析系统 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108230289A (zh) * | 2016-12-22 | 2018-06-29 | 上海哲康医学科技有限公司 | 基于x线体检正位胸片的计算机辅助诊断系统和方法 |
| CN109935294A (zh) * | 2019-02-19 | 2019-06-25 | 广州视源电子科技股份有限公司 | 一种文本报告输出方法、装置、存储介质及终端 |
| CN110009629A (zh) * | 2019-04-12 | 2019-07-12 | 北京天明创新数据科技有限公司 | 一种尘肺病筛查系统及其数据训练方法 |
| CN110364236A (zh) * | 2019-07-22 | 2019-10-22 | 卫宁健康科技集团股份有限公司 | 放射影像报告的智能随访方法、系统、设备及存储介质 |
| CN110555825A (zh) * | 2019-07-23 | 2019-12-10 | 北京赛迈特锐医疗科技有限公司 | 胸部x线影像智能诊断系统及其诊断方法 |
| CN111243729A (zh) * | 2020-01-07 | 2020-06-05 | 同济大学 | 一种肺部x线胸片检查报告自动生成方法 |
| CN111341408A (zh) * | 2020-03-26 | 2020-06-26 | 联影智能医疗科技(北京)有限公司 | 影像报告模板的生成方法、计算机设备和存储介质 |
| CN111415331A (zh) * | 2020-03-03 | 2020-07-14 | 北京深睿博联科技有限责任公司 | 一种正位胸片中基于类别关系的异常检测方法及系统 |
| CN111476776A (zh) * | 2020-04-07 | 2020-07-31 | 上海联影智能医疗科技有限公司 | 胸部病灶位置确定方法、系统、可读存储介质和设备 |
| US10755413B1 (en) * | 2020-02-24 | 2020-08-25 | Qure.Ai Technologies Private Limited | Method and system for medical imaging evaluation |
| CN111754453A (zh) * | 2020-05-11 | 2020-10-09 | 佛山市第四人民医院(佛山市结核病防治所) | 基于胸透图像的肺结核检测方法、系统和存储介质 |
| CN111986182A (zh) * | 2020-08-25 | 2020-11-24 | 卫宁健康科技集团股份有限公司 | 辅助诊断方法、系统、电子设备及存储介质 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3376354B2 (ja) * | 2000-12-12 | 2003-02-10 | 三菱スペース・ソフトウエア株式会社 | ディジタル胸部画像のリブケイジ境界検出方法及び装置 |
| EP3258834A4 (en) * | 2015-02-19 | 2018-09-26 | Ramot at Tel-Aviv University Ltd. | Chest radiograph (cxr) image analysis |
| US20170337681A1 (en) * | 2016-03-09 | 2017-11-23 | Shenzhen Smart Imaging Healthcare Co., Ltd. | System and method for the classification of healthiness index from chest radiographs of a healthy person |
| US11583239B2 (en) * | 2017-03-24 | 2023-02-21 | The United States Of America, As Represented By The Secretary, Department Of Health And Human Service | Method and system of building hospital-scale chest X-ray database for entity extraction and weakly-supervised classification and localization of common thorax diseases |
| US11056227B2 (en) * | 2018-05-23 | 2021-07-06 | Koninklijke Philips N.V. | System and method for generating textual descriptions from medical images |
-
2020
- 2020-12-03 CN CN202011415442.4A patent/CN112382360B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108230289A (zh) * | 2016-12-22 | 2018-06-29 | 上海哲康医学科技有限公司 | 基于x线体检正位胸片的计算机辅助诊断系统和方法 |
| CN109935294A (zh) * | 2019-02-19 | 2019-06-25 | 广州视源电子科技股份有限公司 | 一种文本报告输出方法、装置、存储介质及终端 |
| CN110009629A (zh) * | 2019-04-12 | 2019-07-12 | 北京天明创新数据科技有限公司 | 一种尘肺病筛查系统及其数据训练方法 |
| CN110364236A (zh) * | 2019-07-22 | 2019-10-22 | 卫宁健康科技集团股份有限公司 | 放射影像报告的智能随访方法、系统、设备及存储介质 |
| CN110555825A (zh) * | 2019-07-23 | 2019-12-10 | 北京赛迈特锐医疗科技有限公司 | 胸部x线影像智能诊断系统及其诊断方法 |
| CN111243729A (zh) * | 2020-01-07 | 2020-06-05 | 同济大学 | 一种肺部x线胸片检查报告自动生成方法 |
| US10755413B1 (en) * | 2020-02-24 | 2020-08-25 | Qure.Ai Technologies Private Limited | Method and system for medical imaging evaluation |
| CN111415331A (zh) * | 2020-03-03 | 2020-07-14 | 北京深睿博联科技有限责任公司 | 一种正位胸片中基于类别关系的异常检测方法及系统 |
| CN111341408A (zh) * | 2020-03-26 | 2020-06-26 | 联影智能医疗科技(北京)有限公司 | 影像报告模板的生成方法、计算机设备和存储介质 |
| CN111476776A (zh) * | 2020-04-07 | 2020-07-31 | 上海联影智能医疗科技有限公司 | 胸部病灶位置确定方法、系统、可读存储介质和设备 |
| CN111754453A (zh) * | 2020-05-11 | 2020-10-09 | 佛山市第四人民医院(佛山市结核病防治所) | 基于胸透图像的肺结核检测方法、系统和存储介质 |
| CN111986182A (zh) * | 2020-08-25 | 2020-11-24 | 卫宁健康科技集团股份有限公司 | 辅助诊断方法、系统、电子设备及存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| LOCALIZATION OF CRITICAL FINDINGS IN CHEST X-RAY WITHOUT LOCAL ANNOTATIONS USING MULTI-INSTANCE LEARNING;Evan Schwab等;IEEE xplore;20200403;第1879-1882页 * |
| 基于深度残差网络研发辅助诊断软件用于Ｘ线胸片分类诊断;张晓东 等;放射学实践;20190930;第34卷(第9期);第952-957页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112382360A (zh) | 2021-02-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112382360B (zh) | 一种诊断报告自动生成系统、存储介质及电子设备 | |
| CN110459319B (zh) | 基于人工智能的乳腺钼靶图像的辅助诊断系统 | |
| US10755413B1 (en) | Method and system for medical imaging evaluation | |
| US10460838B2 (en) | Automated anatomically-based reporting of medical images via image annotation | |
| US20190220978A1 (en) | Method for integrating image analysis, longitudinal tracking of a region of interest and updating of a knowledge representation | |
| Sharma et al. | Artificial intelligence in diagnostic imaging: status quo, challenges, and future opportunities | |
| US8270688B2 (en) | Method for intelligent qualitative and quantitative analysis assisting digital or digitized radiography softcopy reading | |
| US9152760B2 (en) | Smart 3D PACS workflow by learning | |
| JP5178119B2 (ja) | 画像処理装置および画像処理方法 | |
| US20220198214A1 (en) | Image recognition method and device based on deep convolutional neural network | |
| US10290101B1 (en) | Heat map based medical image diagnostic mechanism | |
| CN109859168A (zh) | 一种x射线胸片图像质量确定方法及装置 | |
| US11282601B2 (en) | Automatic bounding region annotation for localization of abnormalities | |
| CN111916186A (zh) | 序贯型ai诊断模型对胸部x线智能诊断系统及方法 | |
| CN111325266A (zh) | 乳腺钼靶图像中微钙化簇的检测方法、装置和电子设备 | |
| JP7457011B2 (ja) | 異常検出方法、異常検出プログラム、異常検出装置、サーバ装置及び情報処理方法 | |
| US20230334663A1 (en) | Development of medical imaging ai analysis algorithms leveraging image segmentation | |
| CN111513743A (zh) | 一种骨折检测方法及装置 | |
| Brown et al. | Model-based assessment of lung structures: inferring and control system | |
| Shariaty et al. | Semi-automatic segmentation of COVID-19 infection in lung CT scans | |
| US20070214235A1 (en) | Application server for processing medical image data | |
| EP3786880A1 (en) | Methods for analyzing and reducing inter/intra site variability using reduced reference images and improving radiologist diagnostic accuracy and consistency | |
| KR20240149780A (ko) | 과거 영상과 현재 영상을 비교하는 방법 및 시스템 | |
| KR20240050666A (ko) | 3차원 ct 영상으로부터 폐 결절을 검출하는 진단 보조 장치 | |
| REBELO | SEMI-AUTOMATIC APPROACH FOR EPICARDIAL FAT SEGMENTATION AND QUANTIFICATION ON NON-CONTRAST CARDIAC CT |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |