CN115063425B - 基于读片知识图谱的结构化检查所见生成方法及系统 - Google Patents

基于读片知识图谱的结构化检查所见生成方法及系统 Download PDF

Info

Publication number
CN115063425B
CN115063425B CN202210989902.7A CN202210989902A CN115063425B CN 115063425 B CN115063425 B CN 115063425B CN 202210989902 A CN202210989902 A CN 202210989902A CN 115063425 B CN115063425 B CN 115063425B
Authority
CN
China
Prior art keywords
image
lesion
classification
target
lesion type
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210989902.7A
Other languages
English (en)
Other versions
CN115063425A (zh
Inventor
汤进
黄莉莉
谷宗运
赵海峰
李传富
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Artificial Intelligence of Hefei Comprehensive National Science Center
Original Assignee
Institute of Artificial Intelligence of Hefei Comprehensive National Science Center
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Artificial Intelligence of Hefei Comprehensive National Science Center filed Critical Institute of Artificial Intelligence of Hefei Comprehensive National Science Center
Priority to CN202210989902.7A priority Critical patent/CN115063425B/zh
Publication of CN115063425A publication Critical patent/CN115063425A/zh
Application granted granted Critical
Publication of CN115063425B publication Critical patent/CN115063425B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及人工智能和医学图像处理领域，具体涉及一种基于读片知识图谱的结构化检查所见生成方法及系统，所述方法包括如下步骤：对待检查医学影像进行分割；对所述待检查医学影像进行分类和或目标检出；根据所述读片知识图谱生成结构化检查所见。本发明以读片知识图谱作为先验知识，引导结构化检查所见自动生成的训练和预测这一系列过程；本发明融合图像分割、图像分类和目标检出，实现医学影像的病变定性和病变定位，提高了识别准确率。

Description

基于读片知识图谱的结构化检查所见生成方法及系统
技术领域
本发明涉及人工智能和医学图像处理领域，具体涉及一种基于读片知识图谱的结构化检查所见生成方法及系统。
背景技术
医学影像是指为了医疗或医学研究，对人体或人体某部分，以非侵入的方式取得内部组织影像的技术与处理过程。因为医学图像是疾病的早期诊断的基本方法，且成像不需要伤害人体，所以医学领域的图像分析非常重要。然而，医学影像数据在辅助诊断、提高疾病诊断精度的同时，也大大增加了诊断的工作量和复杂度。临床上，医学影像的解释由医生完成，医生通过审阅医学影像，对其中的医学发现进行分析和描述，并给出影像诊断形成影像诊断报告。影像诊断报告主要由“检查所见”及“检查印象”两部分组成，且“检查所见”由若干条被检查部位的正常或病变描述组成。
计算机辅助诊断/检测（Computer-Aided Diagnosis/ Detection，CAD）是指利用计算机视觉和人工智能进行医学图像处理（通常为放射性和病理图像）以识别疾病。计算机辅助诊断（CADx）和计算机辅助检测（CADe）都可以称为CAD，这两个概念可能会被混淆。两者的不同之处在于，CADx指的是疾病的分类、识别和预测，而CADe是检测图像中的病变。就结果而言，CADe属于医学图像分析，更接近目标检测。
目前，临床常见的医学影像学报告自动生成方法主要分为两种，一种是CAD，它以图像的局部特征为模型训练基础，对图像进行分类、识别和预测，针对特定病变进行病变检出，如肺癌、乳腺癌等。另一种是基于自然语言处理（Natural Language Processing，NLP）的端到端的架构，这种医学影像语义/分析和描述生成研究主要聚焦于医学影像的标签分类和短文本报告的生成。
现有技术的缺陷和不足：
基于CAD的方法忽略了临床相关信息及图像的完整性，只能对特定病变进行针对性检出。但是，医学影像学临床诊断并非只观察特定病变是否存在，而是需要全面地观察图像上显示的所有异常（检查所见），并结合临床提示可能的诊断（检查印象），因此这种只能提示某一种病变是否存在的CAD是无法满足临床实际工作需求的。
基于NLP的架构，有三个显著缺点：第一，这种架构不能满足研究应当具有可解释性的需求；第二，这种架构从图像到自由文本报告的生成结果比较粗糙，未能较好地捕获图像中的关键临床信息，将其应用于报告书写流程中并不能有效地提高医生书写报告的效率，反而会引入更多的错误信息；第三，这种架构在长文本自然语言影像报告的自动生成研究有限，还有极大的空白和研究空间。
发明内容
鉴于以上现有技术的缺陷，本发明的目的在于提供一种基于读片知识图谱的结构化检查所见生成方法及系统。
为实现上述目的及其他相关目的，本发明提供一种基于读片知识图谱的结构化检查所见生成方法，所述读片知识图谱至少包括病变类型节点和病变位置节点，所述病变类型节点和所述病变位置节点相互关联；所述结构化检查所见是包含病变类型或包含病变类型和病变位置的结构化语言；
所述方法包括如下步骤：
将待检查医学影像输入到图像分割模型中，得到与所述读片知识图谱的病变位置节点对应的分割结果；
将所述待检查医学影像输入到图像分类模型中，所述图像分类模型根据所述读片知识图谱的病变类型节点对所述待检查医学影像进行分类，得到分类结果；根据预设条件对所述分类结果进行筛选，将分类结果中满足所述预设条件的病变类型作为第一目标病变类型，并生成所述第一目标病变类型对应的热力图；所述预设条件是：所述第一目标病变类型对应的病变类型节点的样本数量大于等于预设数量，且所述第一目标病变类型对应的病变类型节点的图像分类结果的AUC曲线下面积大于等于预设值；
根据所述读片知识图谱，判断所述第一目标病变类型对应的病变类型节点是否存在与之相关联的病变位置节点；若存在所述病变位置节点，则根据所述分割结果和所述热力图确定所述第一目标病变类型对应的第一目标病变位置，并根据所述第一目标病变类型和所述第一目标病变位置，生成结构化检查所见；若不存在所述病变位置节点，则根据所述第一目标病变类型，生成结构化检查所见。
在本发明的一可选实施例中，所述方法还包括：
将所述待检查医学影像输入到目标检测模型中，所述目标检测模型根据所述读片知识图谱中的病变类型节点对所述待检查医学影像中的病变类型进行识别，得到第二目标病变类型，以及所述第二目标病变类型对应的病变区域；所述第二目标病变类型对应的病变类型节点的样本数量小于所述预设数量，或该病变类型节点的图像分类结果的AUC曲线下面积小于预设值；
根据所述读片知识图谱，判断所述第二目标病变类型是否存在位置信息；若存在位置信息，则根据所述分割结果和病变区域确定所述第二目标病变类型对应的第二目标病变位置，并根据所述第二目标病变类型和所述第二目标病变位置，生成结构化检查所见；若不存在位置信息，则根据所述第二目标病变类型，生成结构化检查所见。
在本发明的一可选实施例中，所述读片知识图谱还包括与所述病变类型节点和所述病变位置节点相关联的检查项目节点；
所述将待检查医学影像输入到图像分割模型中，得到与所述读片知识图谱的病变位置节点对应的分割结果的步骤之前还包括如下步骤：
将所述待检查医学影像输入到检查项目分类模型中，所述检查项目分类模型根据所述读片知识图谱中的检查项目节点对所述待检查医学影像进行分类，得到检查项目类别。
在本发明的一可选实施例中，所述将待检查医学影像输入到图像分割模型中，得到与所述读片知识图谱的病变位置节点对应的分割结果的步骤如下：
根据所述检查项目类别，调用对应的所述读片知识图谱，确定与所述检查项目类别对应的目标检查项目节点，以及与所述目标检查项目节点相关联的病变位置节点；
将所述待检查医学影像输入到图像分割模型中，所述图像分割模型根据与所述目标检查项目节点相关联的病变位置节点，对所述待检查医学影像进行分割，得到分割结果。
在本发明的一可选实施例中，所述检查项目分类模型采用如下方法获得：
获取历史影像学图像，所述历史影像学图像包括历史影像学分类项目名称数据及分类特征数据，该历史影像学图像所述分类项目名称数据为第一实体信息，该历史影像学图像所述分类特征数据为第二实体信息；
对所述历史影像学图像数据中与所述第二实体信息关联的图像特征添加分类标签，该分类标签用于表征该分类特征数据中是否存在与所述第一实体信息的分类项目名称相同的所述第二实体信息；
将所述历史影像学图像项目分类名称数据中的分类标签有所述分类特征的图像作为训练样本输入CSRA模型网络中进行训练，首先使用Transformer的编码器模块作为特征提取器，对训练样本中的第一实体信息、第二实体信息进行分类提取；根据提取的特征计算类特定残差注意力评分；根据所述类特定残差注意力评分计算残差注意力；根据所述残差注意力分别计算该训练样本的单头注意力和多头注意力，并将多头的逻辑输出直接求和，得到最终的多头注意力逻辑输出用于医学影像学项目分类，训练得到具有第二实体信息的历史影像学图像数据与具有第一实体信息的历史影像学图像数据对应的医学图像项目多分类模型。
在本发明的一可选实施例中，所述图像分类模型采用如下方法获得：
获取历史影像学图像信息，所述历史影像学图像信息包括由专家手动标注的病变位置及病变特征两个属性；
对该历史影像学图像信息中与病变位置及病变特征两个属性相关联的图像特征进行提取并添加分类标签，该分类标签用于表征该历史影像学图像信息中是否存在与原始获取历史影像学图像属性相同的图像信息；
将该历史影像学图像信息数据中的标注所述分类标签的图像特征作为训练样本；
将该训练样本输入CSRA模型网络中进行训练，首先使用Transformer的编码器模块作为特征提取器，对训练样本进行特征提取；根据提取的特征计算类特定残差注意力评分；根据所述类特定残差注意力评分计算残差注意力；根据所述残差注意力分别计算该训练样本的单头注意力和多头注意力，并将多头的逻辑输出直接求和，得到最终的多头注意力逻辑输出用于图像分类；训练得到图像分类模型。
在本发明的一可选实施例中，所述图像分割模型采用如下方法获得：
获取影像学图像，对部分所述影像学图像的正常解剖位置及分区进行手动标注，得到影像学图像分割训练数据集；
将影像学图像分割训练数据集输入本UNet网络；
通过下采样整体呈现逐渐缩小的结构，不断缩小特征图的分辨率，共分为4个阶段，在每个阶段中，使用最大池化层进行下采样，然后使用两个卷积层提取特征，最终的特征图缩小16倍；
通过上采样逐步修复分割对象的细节和空间维度，实现精准的定位，分为4个阶段，在每个阶段中，将输入的特征图进行上采样后，与上采样中对应尺度的特征图进行拼接运算，然后使用两个卷积层提取特征，最终的特征图放大16倍，输出特征图；
根据特征图，识别有效信息进行学习并得出最终图像分割模型参数；
为预测分割结果添加分类标签并与手动标注的部分所述影像学图像的正常解剖位置及分区进行比对，与手动标注结果相一致则保留，不一致则继续调整参数训练模型，直至与手动标注结果相一致，得到与手动标注的影像学图像相对应的图像分割模型。
在本发明的一可选实施例中，所述目标检测模型采用如下方法获得：
获取历史影像学图像信息，所述历史影像学图像信息包括由专家结合病变位置及病变特征两个属性进行手工标注目标边框，作为训练样本输入YOLO v5模型中；
将训练集数据输入输入端，进行Mosaic数据增强，即将四张图片进行随意裁剪，再拼接到一张图上作为训练数据；进行自适应锚框计算，即在训练时，以真实的边框位置相对于预设边框的偏移来构建训练样本，然后再在这些预设边框的基础上进行调整；
图像进入backbone前，运用Focus模块对图片进行切片操作，即拼接起来的图片相对于原先的RGB三通道模式变成了12个通道，最后将得到的新图片再经过卷积操作，最终得到了没有信息丢失情况下的二倍下采样特征图；
运用CSP将输入通道分成两部分，一部分经过常规Res(X)Block后跟另一部分进行通道拼接，拼接后进入transition layer；
运用FPN自顶向下的顺序，将高层特征通过上采样和低层特征做融合得到进行预测的特征图；运用包含了从上向下和从下向上的路径PAN，增强不同层特征融合，在多尺度上进行预测；
对该历史影像学图像信息中与病变特征属性相关联的图像特征进行提取并添加分类标签，该分类标签用于表征该历史影像学图像信息中是否存在与原始获取历史影像学图像属性相同的图像信息；
将该历史影像学图像信息数据中的标注所述分类标签的图像特征作为训练样本训练得到与所述病变特征属性相关联的实体图像目标检出模型。
为实现上述目的及其他相关目的，本发明还提供一种基于读片知识图谱的结构化检查所见生成系统，所述读片知识图谱至少包括病变类型节点和病变位置节点，所述病变类型节点和所述病变位置节点相互关联；所述结构化检查所见是包含病变类型或包含病变类型和病变位置的结构化语言，所述系统包括：
图像分割模块，用于将待检查医学影像输入到图像分割模型中，得到与所述读片知识图谱的病变位置节点对应的分割结果；
图像分类模块，用于将所述待检查医学影像输入到图像分类模型中，所述图像分类模型根据所述读片知识图谱的病变类型节点对所述待检查医学影像进行分类，得到第一目标病变类型，以及所述第一目标病变类型对应的热力图；所述第一目标病变类型对应的病变类型节点的样本数量大于等于预设数量，且该病变类型节点的图像分类结果的AUC曲线下面积大于等于预设值；
第一执行模块，用于根据所述读片知识图谱，判断所述第一目标病变类型是否存在位置信息；若存在位置信息，则根据所述分割结果和所述热力图确定所述第一目标病变类型对应的第一目标病变位置，并根据所述第一目标病变类型和所述第一目标病变位置，生成结构化检查所见；若不存在位置信息，则根据所述第一目标病变类型，生成结构化检查所见；
目标检测模块，用于将所述待检查医学影像输入到目标检测模型中，所述目标检测模型根据所述读片知识图谱中的病变类型节点对所述待检查医学影像中的病变类型进行识别，得到第二目标病变类型，以及所述第二目标病变类型对应的病变区域；所述第二目标病变类型对应的病变类型节点的样本数量小于所述预设数量，或该病变类型节点的图像分类结果的AUC曲线下面积小于预设值；
第二执行模块，用于根据所述读片知识图谱，判断所述第二目标病变类型是否存在位置信息；若存在位置信息，则根据所述分割结果和病变区域确定所述第二目标病变类型对应的第二目标病变位置，并根据所述第二目标病变类型和所述第二目标病变位置，生成结构化检查所见；若不存在位置信息，则根据所述第二目标病变类型，生成结构化检查所见。
为实现上述目的及其他相关目的，本发明提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述方法的步骤。
本发明的技术效果在于：本发明以读片知识图谱作为先验知识，引导结构化检查所见自动生成的训练和预测这一系列过程；本发明融合图像分割、图像分类和目标检出，实现医学影像的病变定性和病变定位，提高了识别准确率。本发明可用于医学影像辅助诊断，可以生成影像学结构化检查所见，放射科医生可根据生成的结构化检查所见作进一步的修改审阅，该方法极大提高了生成结果的可靠性和准确性，减轻了放射科医生的读片负担，具有一定的临床实用性。
附图说明
图1是本发明的实施例所提供的基于读片知识图谱的结构化检查所见生成方法的流程图；
图2是本发明的实施例所提供的图像分割流程图；
图3是本发明的实施例所提供的检查项目分类模型训练方法的流程图；
图4是本发明的实施例所提供的图像分类模型训练方法的流程图；
图5是本发明的实施例所提供的图像分割模型训练方法的流程图；
图6是本发明的实施例所提供的目标检测模型训练方法的流程图；
图7是本发明的实施例所提供的结构化检查所见生成方法的具体示例流程图；
图8是本发明的实施例所提供的图像分割结果示意图；
图9是本发明的实施例所提供的图像分类模型预测结果的热力图；
图10是本发明的实施例所提供的目标检测模型的检测结果示意图；
图11是本发明的实施例所提供的基于读片知识图谱的结构化检查所见生成系统的功能模块框图；
图12是本发明的实施例所提供的电子设备的结构框图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。
请参阅图1-图12。需要说明的是，本实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
本申请实施例可以基于人工智能技术对相关的数据进行获取和处理。其中，人工智能（Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
图1示出了本发明的结构化检查所见生成方法的较佳实施例的流程图。
所述结构化检查所见生成方法应用于一个或者多个电子设备中，所述电子设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程门阵列(Field－Programmable Gate Array，FPGA)、数字处理器(DigitalSignal Processor，DSP)、嵌入式设备等。
所述电子设备可以是任何一种可与用户进行人机交互的电子产品，例如，个人计算机、平板电脑、智能手机、个人数字助理（Personal Digital Assistant，PDA）、交互式网络电视（Internet Protocol Television，IPTV）、智能式穿戴式设备等。
所述电子设备还可以包括网络设备和/或用户设备。其中，所述网络设备包括，但不限于单个网络服务器、多个网络服务器组成的服务器组或基于云计算(CloudComputing)的由大量主机或网络服务器构成的云。
所述电子设备所处的网络包括但不限于互联网、广域网、城域网、局域网、虚拟专用网络（Virtual Private Network，VPN）等。
下面将结合图1来详细阐述本发明的结构化检查所见生成方法，该结构化检查所见生成方法例如可应用于医学图像智能诊断系统。
请参阅图1所示，一种基于读片知识图谱的结构化检查所见生成方法，所述读片知识图谱至少包括病变类型节点和病变位置节点，所述病变类型节点和所述病变位置节点相互关联；在一具体实施例中，所述读片知识图谱还包括与所述病变类型节点和所述病变位置节点相关联的检查项目节点。
在一具体实施例中，所述读片知识图谱结构如下：
读片知识图谱为三级结构，使用Neo4j图数据存储图谱的实体、属性、属性值及关系。
实体包括，检查项目、病变特征、解剖位置等多种。
属性包括，将一级节点设计为名称、编码、层级、顺序、分隔符、子节点全部选中描述、部分子节点选中描述、无子节点选中描述等8个属性；其子节点设计为名称、编码、层级、顺序、分隔符、子节点全部选中描述、部分子节点选中描述、无子节点选中描述等8个属性；叶子节点设计为名称、编码、层级、顺序、分隔符、无子节点选中描述等6个属性。
关系包括，将实体间的关系设计为“检查项目-检查项目子类”、“影像特征-影像特征子类”、“病变位置-病变位置子类”、“检查项目-影像特征”、“影像特征-病变位置”5类关系，并将“检查项目-检查项目子类”关系设计为关系名称、关系编号、关系类型3个属性，将“影像特征-影像特征子类”关系设计为关系名称、关系编号、关系类型3个属性，将“病变位置-病变位置子类”关系设计为关系名称、关系编号、关系类型3个属性，将“检查项目-影像特征”关系设计为关系名称、关系编号、关系类型3个属性，将“影像特征-病变位置”关系设计为关系名称、关系编号、关系类型3个属性。
所述结构化检查所见是包含病变类型或包含病变类型和病变位置的结构化语言，例如：[肺实质-透亮度增高-位置-肺野-右肺-右肺下野，肺实质-钙化-位置-肺野-左肺-左肺下野]
所述方法包括如下步骤：
S1：将所述待检查医学影像输入到检查项目分类模型中，所述检查项目分类模型根据所述读片知识图谱中的检查项目节点对所述待检查医学影像进行分类，得到检查项目类别。
请参阅图3所示，在一具体实施例中，所述检查项目分类模型采用如下方法获得：
S11：获取历史影像学图像，所述历史影像学图像包括历史影像学分类项目名称数据及分类特征数据，该历史影像学图像所述分类项目名称数据为第一实体信息，该历史影像学图像所述分类特征数据为第二实体信息；
S12：对所述历史影像学图像数据中与所述第二实体信息关联的图像特征添加分类标签，该分类标签用于表征该分类特征数据中是否存在与所述第一实体信息的分类项目名称相同的所述第二实体信息；
S13：将所述历史影像学图像项目分类名称数据中的分类标签有所述分类特征的图像作为训练样本输入CSRA模型网络中进行训练，首先使用Transformer的编码器模块作为特征提取器，对训练样本中的第一实体信息、第二实体信息进行分类提取；根据提取的特征计算类特定残差注意力评分；根据所述类特定残差注意力评分计算残差注意力；根据所述残差注意力分别计算该训练样本的单头注意力和多头注意力，并将多头的逻辑输出直接求和，得到最终的多头注意力逻辑输出用于医学影像学项目分类，训练得到具有第二实体信息的历史影像学图像数据与具有第一实体信息的历史影像学图像数据对应的医学图像项目多分类模型。
可以理解的是，本发明使用的CSRA算法原理是将实体信息输入实体项目分类模型，得到所述实体项目分类模型输出的项目分类结果。本发明使用的训练样本每个类都有其特定的全连接层分类器，运用全连接层分类器分类结果进行特定残差注意力评分的计算。残差注意力是为了识别医学影像中比较小，细粒度的异常特征。本发明将所有的位置特征矩阵组与其所对应的权值进行加权求和，得出该类别的类特征向量，将该向量与平均池化结果相融合，构成整个类特定的残差注意力模块。
S2：将待检查医学影像输入到图像分割模型中，得到与所述读片知识图谱的病变位置节点对应的分割结果。
请参阅图2所示，在一具体实施例中，所述步骤S2具体过程如下：
S21：根据所述检查项目类别，调用对应的所述读片知识图谱，确定与所述检查项目类别对应的目标检查项目节点，以及与所述目标检查项目节点相关联的病变位置节点；
S22：将所述待检查医学影像输入到图像分割模型中，所述图像分割模型根据与所述目标检查项目节点相关联的病变位置节点，对所述待检查医学影像进行分割，得到分割结果。
请参阅图5所示，在一具体实施例中，所述图像分割模型采用如下方法获得：
S201：获取影像学图像，对部分所述影像学图像的正常解剖位置及分区进行手动标注，得到影像学图像分割训练数据集；
S202：将影像学图像分割训练数据集输入本UNet网络；
S203：通过下采样整体呈现逐渐缩小的结构，不断缩小特征图的分辨率，共分为4个阶段，在每个阶段中，使用最大池化层进行下采样，然后使用两个卷积层提取特征，最终的特征图缩小16倍；
S204：通过上采样逐步修复分割对象的细节和空间维度，实现精准的定位，分为4个阶段，在每个阶段中，将输入的特征图进行上采样后，与上采样中对应尺度的特征图进行拼接运算，然后使用两个卷积层提取特征，最终的特征图放大16倍，输出特征图；
S205：根据特征图，识别有效信息进行学习并得出最终图像分割模型参数；
S206：为预测分割结果添加分类标签并与手动标注的部分所述影像学图像的正常解剖位置及分区进行比对，与手动标注结果相一致则保留，不一致则继续调整参数训练模型，直至与手动标注结果相一致，得到与手动标注的影像学图像相对应的图像分割模型。
S3：将所述待检查医学影像输入到图像分类模型中，所述图像分类模型根据所述读片知识图谱的病变类型节点对所述待检查医学影像进行分类，得到分类结果；根据预设条件对所述分类结果进行筛选，将分类结果中满足所述预设条件的病变类型作为第一目标病变类型，并生成所述第一目标病变类型对应的热力图；所述预设条件是：所述第一目标病变类型对应的病变类型节点的样本数量大于等于预设数量，且所述第一目标病变类型对应的病变类型节点的图像分类结果的AUC曲线下面积大于等于预设值；在一具体实施例中，所述预设储量例如可以是1000，所述预设值例如可以是0.8，可以理解的是，所述图像分类模型是一种多分类模型，所述预设数量和所述预设值越大，表明图像分类模型预测的准确率越高，反之当样本数或AUC曲线下面积较小时，表示图像分类模型的可信度较低，这种情况下则需要采用后续所述的目标检测模型对病变进行识别。
请参阅图4所示，在一具体实施例中，所述图像分类模型采用如下方法获得：
S31：获取历史影像学图像信息，所述历史影像学图像信息包括由专家手动标注的病变位置及病变特征两个属性；
S32：对该历史影像学图像信息中与病变位置及病变特征两个属性相关联的图像特征进行提取并添加分类标签，该分类标签用于表征该历史影像学图像信息中是否存在与原始获取历史影像学图像属性相同的图像信息；
S33：将该历史影像学图像信息数据中的标注所述分类标签的图像特征作为训练样本；
S34：将该训练样本输入CSRA模型网络中进行训练，首先使用Transformer的编码器模块作为特征提取器，对训练样本进行特征提取；根据提取的特征计算类特定残差注意力评分；根据所述类特定残差注意力评分计算残差注意力；根据所述残差注意力分别计算该训练样本的单头注意力和多头注意力，并将多头的逻辑输出直接求和，得到最终的多头注意力逻辑输出用于图像分类；训练得到图像分类模型。
在一具体实施例中，本发明使用的训练样本每个类都有其特定的全连接层分类器，运用全连接层分类器分类结果进行特定残差注意力评分的计算。残差注意力是为了识别医学影像中比较小，细粒度的异常特征。本发明将所有的位置特征矩阵组与其所对应的权值进行加权求和，得出该类别的类特征向量，将该向量与平均池化结果相融合，构成整个类特定的残差注意力模块。
S4：根据所述读片知识图谱，判断所述第一目标病变类型对应的病变类型节点是否存在与之相关联的病变位置节点；
S5：若存在所述病变位置节点，则根据所述分割结果和所述热力图确定所述第一目标病变类型对应的第一目标病变位置，并根据所述第一目标病变类型和所述第一目标病变位置，生成结构化检查所见；
S6：若不存在所述病变位置节点，则根据所述第一目标病变类型，生成结构化检查所见。
S7：将所述待检查医学影像输入到目标检测模型中，所述目标检测模型根据所述读片知识图谱中的病变类型节点对所述待检查医学影像中的病变类型进行识别，得到第二目标病变类型，以及所述第二目标病变类型对应的病变区域；所述第二目标病变类型对应的病变类型节点的样本数量小于所述预设数量，或该病变类型节点的图像分类结果的AUC曲线下面积小于预设值；在一具体实施例中，所述预设储量例如可以是1000，所述预设值例如可以是0.8，可以理解的是，所述预设数量和所述预设值越大，表明图像分类模型预测的准确率越高，反之当样本数或AUC曲线下面积较小时，表示图像分类模型的可信度较低，这种情况下则需要采用上述目标检测模型对病变进行识别。
请参阅图6所示，在一具体实施例中，所述目标检测模型采用如下方法获得：
S71：获取历史影像学图像信息，所述历史影像学图像信息包括由专家结合病变位置及病变特征两个属性进行手工标注目标边框，作为训练样本输入YOLO v5模型中；在一具体实施例中，本发明使用的YOLO v5模型由输入端、backbone和neck三部分组成。
S72：将训练集数据输入输入端，进行Mosaic数据增强，即将四张图片进行随意裁剪，再拼接到一张图上作为训练数据；进行自适应锚框计算，即在训练时，以真实的边框位置相对于预设边框的偏移来构建训练样本，然后再在这些预设边框的基础上进行调整；本发明使用的YOLO v5中该功能可以自适应的计算不同训练集中的最佳锚框值；进行自适应图片缩放，即训练图片样本的长宽收缩比例应该采用相同的比例，以便有效利用感受野信息则指对于收缩后不满足条件的一边，用灰白填充至可以被感受野整除。
S73：图像进入backbone前，运用Focus模块对图片进行切片操作，即拼接起来的图片相对于原先的RGB三通道模式变成了12个通道，最后将得到的新图片再经过卷积操作，最终得到了没有信息丢失情况下的二倍下采样特征图；
S74：运用CSP将输入通道分成两部分，一部分经过常规Res(X)Block后跟另一部分进行通道拼接，拼接后进入transition layer；CSP将梯度的变化从头到尾地集成到特征图中，在减少了计算量的同时可以保证准确率(或有所提升)。其中transition layer是一个卷积加池化,用于整合学到的特征,降低特征图的尺寸。
S75：运用FPN自顶向下的顺序，将高层特征通过上采样和低层特征做融合得到进行预测的特征图；运用包含了从上向下和从下向上的路径PAN，增强不同层特征融合，在多尺度上进行预测；
S76：对该历史影像学图像信息中与病变特征属性相关联的图像特征进行提取并添加分类标签，该分类标签用于表征该历史影像学图像信息中是否存在与原始获取历史影像学图像属性相同的图像信息；
S77：将该历史影像学图像信息数据中的标注所述分类标签的图像特征作为训练样本训练得到与所述病变特征属性相关联的实体图像目标检出模型。
S8：根据所述读片知识图谱，判断所述第二目标病变类型是否存在位置信息；
S9：若存在位置信息，则根据所述分割结果和病变区域确定所述第二目标病变类型对应的第二目标病变位置，并根据所述第二目标病变类型和所述第二目标病变位置，生成结构化检查所见；
S10：若不存在位置信息，则根据所述第二目标病变类型，生成结构化检查所见。
以下提供一种具体示例：
参考图7-图10，本发明所提供的基于读片知识图谱的医学影像结构化检查所见自动生成方法，以“X线—胸部后前位片—肺实质异常”的医学图像输入系统中，作为实施例，对本发明进行举例说明：
运用CSRA算法，对图像进行检查项目分类：
图像特征提取，使用Transformer的编码器模块作为特征提取器，从影像图片中提取特征矩阵
Figure 429101DEST_PATH_IMAGE001
，其中，d、h和w分别代表特征矩阵的维数，高度和宽度。
计算类特定残差注意力评分，每个类都有其特定的全连接层分类器，第i类所对应分类器mi，定义第i类和第j位置的类特定残差注意力评分：
Figure 134889DEST_PATH_IMAGE002
。
其中，T是温度控制因子，可以控制注意力评分的锐度，且有T＞0。将
Figure 470055DEST_PATH_IMAGE003
视为第i类出现在第j位置上的概率。
计算残差注意力，对于第i类，位置特征向量Xj对应的权值为
Figure 29604DEST_PATH_IMAGE004
。将所有的位置特征矩阵组与其所对应的权值进行加权求和，得到类特定的特征向量：
Figure 108419DEST_PATH_IMAGE005
。
由于平均池化在实践中得到了广泛的应用并取得了优越的结果，我们对向量
Figure 606396DEST_PATH_IMAGE006
和
Figure 440360DEST_PATH_IMAGE007
进行融合。最终，对于第i类的类特定残差注意力
Figure 390998DEST_PATH_IMAGE008
为：
Figure 273504DEST_PATH_IMAGE009
。
其中，
Figure 439037DEST_PATH_IMAGE010
是超参数（设置为0.3），以上部分即构成了整个类特定的残差注意力模块。
计算单头注意力逻辑输出，将第i类的类特定残差注意力
Figure 381585DEST_PATH_IMAGE011
与该类对应的分类器mi求点积，从而得到最后的逻辑输出：
Figure 819520DEST_PATH_IMAGE012
。
计算多头注意力逻辑输出，多头注意力机制的每个头都使用不同的温度超参数T。设注意力头数为H=4，定义以下规则：
Figure 302454DEST_PATH_IMAGE013
，
Figure 775023DEST_PATH_IMAGE014
。
引入多头注意力机制后，可得到每个头的逻辑输出，分别为：
Figure 888473DEST_PATH_IMAGE015
。注意，这里的每个头都是一个类特定残差注意力模块。每个头都对应一个我们设定的温度超参数T。我们将每个头的逻辑输出直接求和，得到最终的多头注意力逻辑输出：
Figure 626753DEST_PATH_IMAGE016
。
根据CSRA算法得出该图像对应的检查项目为：X线——胸部后前位片。
调用该检查项目所对应的读片知识图谱。
将待检查的影像输入到预先训练好的图像分割模型中，得到与读片知识图谱一级节点一致的人体的正常解剖分割结果，具体如下：
获取影像学图像，输入本专利使用的U-Net分割模型，网络根据图像对比度等图像特征，识别有效信息进行学习并得出最终图像分割模型参数。
通过下采样整体呈现逐渐缩小的结构，不断缩小特征图的分辨率：共分为4个阶段，在每个阶段中，使用最大池化层进行下采样，然后使用两个卷积层提取特征，最终的特征图缩小了16倍。
在通过上采样逐步修复分割对象的细节和空间维度，实现精准的定位：分为4个阶段，在每个阶段中，将输入的特征图进行上采样后，与上采样中对应尺度的特征图进行拼接运算，然后使用两个卷积层提取特征，最终的特征图放大了16倍，输出特征图。
最终输出图像分割结果如图8所示。
将影像学图像输入预先训练好的图像分类模型中，运用ResNet网络检出病变性质为：肺透亮度增高，该叶子结点训练时AUC值大于0.8，因此选择图像分类方式进行病变检出。
根据读片知识图谱指导，“透亮度增高”节点包含位置信息，使用Grad-CAM网络实现热力图生成，确定病变位置如图9。
根据读片知识图谱指导，“肺实质—钙化”节点在训练时，图像分类结果中AUC值小于0.8，采用目标检出的方法诊断。将影像学图像输入预先训练好的YOLO v5目标检出模型中，最终模型自动标注病变位置如图10。
根据目标疾病检出结果，判断病变有没有位置信息，如果没有位置信息，则直接获取对应的结构化检查所见；如果有位置信息，则把从目标检出模型中获取的病变区域与分割结果叠加获取到病灶位置信息，实现病变定位；结合病变定性、病变定位和读片知识图谱，可获得结构化检查所见。
将病变定性及病变定位信息取交集，获得完整的结构化检查所见。
由图像分类及目标检出结果可知，本图像包含“透亮度增高”和“钙化”两种病变特征。
将生成热力图与图像分割结果取交集，得到“透亮度增高”的病变位置为“右肺下野”，将目标检出图像与图像分割结果取交集，得到“钙化”的病变位置为“左肺下野”。
将上述病变特征信息与病变位置信息共同合成医学影像学结构化检查所见为：[肺实质-透亮度增高-位置-肺野-右肺-右肺下野，肺实质-钙化-位置-肺野-左肺-左肺下野]，以json文件格式保存至指定位置。
需要说明的是，上面各种方法的步骤划分，只是为了描述清楚，实现时可以合并为一个步骤或者对某些步骤进行拆分，分解为多个步骤，只要包含相同的逻辑关系，都在本专利的保护范围内；对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计，但不改变其算法和流程的核心设计都在该专利的保护范围内。
如图11所示，是本发明的结构化检查所见生成系统的较佳的实施例的功能模块图。所述结构化检查所见生成装置包括：项目分类模块101，图像分割模块102，图像分类模块103，目标检测模块104，执行模块105。所述本发明所称的模块是指一种能够被处理器100所执行，并且能够完成固定功能的一系列计算机程序段，其存储在存储器200中。
需要说明的是，本实施例的结构化检查所见生成系统是与上述结构化检查所见生成方法相对应的系统，结构化检查所见生成系统中的功能模块或者分别对应结构化检查所见生成方法中的相应步骤。本实施例的结构化检查所见生成系统可与结构化检查所见生成方法相互相配合实施。相应地，本实施例的结构化检查所见生成系统中提到的相关技术细节也可应用在上述结构化检查所见生成方法中。
需要说明的是，上述的各功能模块实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。此外这些模块全部或部分可以集成在一起，也可以独立实现。这里所述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的部分或全部步骤，或以上的各功能模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。
如图12所示，是本发明实现结构化检查所见生成方法的较佳实施例的电子设备的结构示意图。
所述电子设备可以包括存储器200、处理器100和总线，还可以包括存储在所述存储器中并可在所述处理器上运行的计算机程序，例如结构化检查所见生成程序。
其中，存储器200至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器（例如：SD或DX存储器等）、磁性存储器、磁盘、光盘等。存储器在一些实施例中可以是电子设备的内部存储单元，例如该电子设备的移动硬盘。存储器在另一些实施例中也可以是电子设备的外部存储设备，例如电子设备上配备的插接式移动硬盘、智能存储卡（Smart Media Card, SMC）、安全数字（Secure Digital, SD）卡、闪存卡（Flash Card）等。进一步地，存储器还可以既包括电子设备的内部存储单元也包括外部存储设备。存储器不仅可以用于存储安装于电子设备的应用软件及各类数据，例如结构化检查所见生成程序的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。
处理器100在一些实施例中可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器（Central Processing unit，CPU）、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。处理器是所述电子设备的控制核心（Control Unit），利用各种接口和线路连接整个电子设备的各个部件，通过运行或执行存储在所述存储器内的程序或者模块（例如执行结构化检查所见生成程序等），以及调用存储在所述存储器内的数据，以执行电子设备的各种功能和处理数据。
所述处理器执行所述电子设备的操作系统以及安装的各类应用程序。所述处理器执行所述应用程序以实现上述各个结构化检查所见生成方法实施例中的步骤，例如图1所示的步骤。
示例性的，所述计算机程序可以被分割成一个或多个模块，所述一个或者多个模块被存储在所述存储器中，并由所述处理器执行，以完成本发明。所述一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述电子设备中的执行过程。例如，所述计算机程序可以被分割成项目分类模块，图像分割模块，图像分类模块，目标检测模块，执行模块。
上述以软件功能模块的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机、计算机设备，或者网络设备等）或处理器（processor）执行本发明各个实施例所述结构化检查所见生成方法的部分功能。
总线可以是外设部件互连标准（peripheral component interconnect，简称PCI）总线或扩展工业标准结构（extended industry standard architecture，简称EISA）总线等。该总线可以分为地址总线、数据总线、控制总线等。为便于表示，在图12中仅用一根箭头表示，但并不表示仅有一根总线或一种类型的总线。所述总线被设置为实现所述存储器以及至少一个处理器等之间的连接通信。
综上所述，本发明以读片知识图谱作为先验知识，引导结构化检查所见自动生成的训练和预测这一系列过程；本发明融合图像分割、图像分类和目标检出，实现医学影像的病变定性和病变定位，提高了识别准确率。本发明可用于医学影像辅助诊断，可以生成影像学结构化检查所见，放射科医生可根据生成的结构化检查所见作进一步的修改审阅，该方法极大提高了生成结果的可靠性和准确性，减轻了放射科医生的读片负担，具有一定的临床实用性。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。
以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。

Claims (9)

1.一种基于读片知识图谱的结构化检查所见生成方法，其特征在于：所述读片知识图谱至少包括病变类型节点和病变位置节点，所述病变类型节点和所述病变位置节点相互关联；所述结构化检查所见是包含病变类型或包含病变类型和病变位置的结构化语言；
所述方法包括如下步骤：
将待检查医学影像输入到图像分割模型中，得到与所述读片知识图谱的病变位置节点对应的分割结果；
将所述待检查医学影像输入到图像分类模型中，所述图像分类模型根据所述读片知识图谱的病变类型节点对所述待检查医学影像进行分类，得到分类结果；根据预设条件对所述分类结果进行筛选，将分类结果中满足所述预设条件的病变类型作为第一目标病变类型，并生成所述第一目标病变类型对应的热力图；所述预设条件是：所述第一目标病变类型对应的病变类型节点的样本数量大于等于预设数量，且所述第一目标病变类型对应的病变类型节点的图像分类结果的AUC曲线下面积大于等于预设值；
根据所述读片知识图谱，判断所述第一目标病变类型对应的病变类型节点是否存在与之相关联的病变位置节点；若存在所述病变位置节点，则根据所述分割结果和所述热力图确定所述第一目标病变类型对应的第一目标病变位置，并根据所述第一目标病变类型和所述第一目标病变位置，生成结构化检查所见；若不存在所述病变位置节点，则根据所述第一目标病变类型，生成结构化检查所见；
将所述待检查医学影像输入到目标检测模型中，所述目标检测模型根据所述读片知识图谱中的病变类型节点对所述待检查医学影像中的病变类型进行识别，得到第二目标病变类型，以及所述第二目标病变类型对应的病变区域；所述第二目标病变类型对应的病变类型节点的样本数量小于所述预设数量，或该病变类型节点的图像分类结果的AUC曲线下面积小于预设值；
根据所述读片知识图谱，判断所述第二目标病变类型是否存在位置信息；若存在位置信息，则根据所述分割结果和病变区域确定所述第二目标病变类型对应的第二目标病变位置，并根据所述第二目标病变类型和所述第二目标病变位置，生成结构化检查所见；若不存在位置信息，则根据所述第二目标病变类型，生成结构化检查所见。
2.根据权利要求1所述的基于读片知识图谱的结构化检查所见生成方法，其特征在于，所述读片知识图谱还包括与所述病变类型节点和所述病变位置节点相关联的检查项目节点；
所述将待检查医学影像输入到图像分割模型中，得到与所述读片知识图谱的病变位置节点对应的分割结果的步骤之前还包括如下步骤：
将所述待检查医学影像输入到检查项目分类模型中，所述检查项目分类模型根据所述读片知识图谱中的检查项目节点对所述待检查医学影像进行分类，得到检查项目类别。
3.根据权利要求2所述的基于读片知识图谱的结构化检查所见生成方法，其特征在于，所述将待检查医学影像输入到图像分割模型中，得到与所述读片知识图谱的病变位置节点对应的分割结果的步骤如下：
根据所述检查项目类别，调用对应的所述读片知识图谱，确定与所述检查项目类别对应的目标检查项目节点，以及与所述目标检查项目节点相关联的病变位置节点；
将所述待检查医学影像输入到图像分割模型中，所述图像分割模型根据与所述目标检查项目节点相关联的病变位置节点，对所述待检查医学影像进行分割，得到分割结果。
4.根据权利要求2所述的基于读片知识图谱的结构化检查所见生成方法，其特征在于，所述检查项目分类模型采用如下方法获得：
获取历史影像学图像，所述历史影像学图像包括历史影像学分类项目名称数据及分类特征数据，该历史影像学图像所述分类项目名称数据为第一实体信息，该历史影像学图像所述分类特征数据为第二实体信息；
对所述历史影像学图像数据中与所述第二实体信息关联的图像特征添加分类标签，该分类标签用于表征该分类特征数据中是否存在与所述第一实体信息的分类项目名称相同的所述第二实体信息；
将所述历史影像学图像项目分类名称数据中的分类标签有所述分类特征的图像作为训练样本输入CSRA模型网络中进行训练，首先使用Transformer的编码器模块作为特征提取器，对训练样本中的第一实体信息、第二实体信息进行分类提取；根据提取的特征计算类特定残差注意力评分；根据所述类特定残差注意力评分计算残差注意力；根据所述残差注意力分别计算该训练样本的单头注意力和多头注意力，并将多头的逻辑输出直接求和，得到最终的多头注意力逻辑输出用于医学影像学项目分类，训练得到具有第二实体信息的历史影像学图像数据与具有第一实体信息的历史影像学图像数据对应的医学图像项目多分类模型。
5.根据权利要求1所述的基于读片知识图谱的结构化检查所见生成方法，其特征在于，所述图像分类模型采用如下方法获得：
获取历史影像学图像信息，所述历史影像学图像信息包括由专家手动标注的病变位置及病变特征两个属性；
对该历史影像学图像信息中与病变位置及病变特征两个属性相关联的图像特征进行提取并添加分类标签，该分类标签用于表征该历史影像学图像信息中是否存在与原始获取历史影像学图像属性相同的图像信息；
将该历史影像学图像信息数据中的标注所述分类标签的图像特征作为训练样本；
将该训练样本输入CSRA模型网络中进行训练，首先使用Transformer的编码器模块作为特征提取器，对训练样本进行特征提取；根据提取的特征计算类特定残差注意力评分；根据所述类特定残差注意力评分计算残差注意力；根据所述残差注意力分别计算该训练样本的单头注意力和多头注意力，并将多头的逻辑输出直接求和，得到最终的多头注意力逻辑输出用于图像分类；训练得到图像分类模型。
6.根据权利要求1所述的基于读片知识图谱的结构化检查所见生成方法，其特征在于，所述图像分割模型采用如下方法获得：
获取影像学图像，对部分所述影像学图像的正常解剖位置及分区进行手动标注，得到影像学图像分割训练数据集；
将影像学图像分割训练数据集输入本UNet网络；
通过下采样整体呈现逐渐缩小的结构，不断缩小特征图的分辨率，共分为4个阶段，在每个阶段中，使用最大池化层进行下采样，然后使用两个卷积层提取特征，最终的特征图缩小16倍；
通过上采样逐步修复分割对象的细节和空间维度，实现精准的定位，分为4个阶段，在每个阶段中，将输入的特征图进行上采样后，与上采样中对应尺度的特征图进行拼接运算，然后使用两个卷积层提取特征，最终的特征图放大16倍，输出特征图；
根据特征图，识别有效信息进行学习并得出最终图像分割模型参数；
为预测分割结果添加分类标签并与手动标注的部分所述影像学图像的正常解剖位置及分区进行比对，与手动标注结果相一致则保留，不一致则继续调整参数训练模型，直至与手动标注结果相一致，得到与手动标注的影像学图像相对应的图像分割模型。
7.根据权利要求1所述的基于读片知识图谱的结构化检查所见生成方法，其特征在于，所述目标检测模型采用如下方法获得：
获取历史影像学图像信息，所述历史影像学图像信息包括由专家结合病变位置及病变特征两个属性进行手工标注目标边框，作为训练样本输入YOLO v5模型中；
将训练集数据输入输入端，进行Mosaic数据增强，即将四张图片进行随意裁剪，再拼接到一张图上作为训练数据；进行自适应锚框计算，即在训练时，以真实的边框位置相对于预设边框的偏移来构建训练样本，然后再在这些预设边框的基础上进行调整；
图像进入backbone前，运用Focus模块对图片进行切片操作，即拼接起来的图片相对于原先的RGB三通道模式变成了12个通道，最后将得到的新图片再经过卷积操作，最终得到了没有信息丢失情况下的二倍下采样特征图；
运用CSP将输入通道分成两部分，一部分经过常规Res(X)Block后跟另一部分进行通道拼接，拼接后进入transition layer；
运用FPN自顶向下的顺序，将高层特征通过上采样和低层特征做融合得到进行预测的特征图；运用包含了从上向下和从下向上的路径PAN，增强不同层特征融合，在多尺度上进行预测；
对该历史影像学图像信息中与病变特征属性相关联的图像特征进行提取并添加分类标签，该分类标签用于表征该历史影像学图像信息中是否存在与原始获取历史影像学图像属性相同的图像信息；
将该历史影像学图像信息数据中的标注所述分类标签的图像特征作为训练样本训练得到与所述病变特征属性相关联的实体图像目标检出模型。
8.一种基于读片知识图谱的结构化检查所见生成系统，其特征在于，所述读片知识图谱至少包括病变类型节点和病变位置节点，所述病变类型节点和所述病变位置节点相互关联；所述结构化检查所见是包含病变类型或包含病变类型和病变位置的结构化语言，所述系统包括：
图像分割模块，用于将待检查医学影像输入到图像分割模型中，得到与所述读片知识图谱的病变位置节点对应的分割结果；
图像分类模块，用于将所述待检查医学影像输入到图像分类模型中，所述图像分类模型根据所述读片知识图谱的病变类型节点对所述待检查医学影像进行分类，得到第一目标病变类型，以及所述第一目标病变类型对应的热力图；所述第一目标病变类型对应的病变类型节点的样本数量大于等于预设数量，且该病变类型节点的图像分类结果的AUC曲线下面积大于等于预设值；
第一执行模块，用于根据所述读片知识图谱，判断所述第一目标病变类型是否存在位置信息；若存在位置信息，则根据所述分割结果和所述热力图确定所述第一目标病变类型对应的第一目标病变位置，并根据所述第一目标病变类型和所述第一目标病变位置，生成结构化检查所见；若不存在位置信息，则根据所述第一目标病变类型，生成结构化检查所见；
目标检测模块，用于将所述待检查医学影像输入到目标检测模型中，所述目标检测模型根据所述读片知识图谱中的病变类型节点对所述待检查医学影像中的病变类型进行识别，得到第二目标病变类型，以及所述第二目标病变类型对应的病变区域；所述第二目标病变类型对应的病变类型节点的样本数量小于所述预设数量，或该病变类型节点的图像分类结果的AUC曲线下面积小于预设值；
第二执行模块，用于根据所述读片知识图谱，判断所述第二目标病变类型是否存在位置信息；若存在位置信息，则根据所述分割结果和病变区域确定所述第二目标病变类型对应的第二目标病变位置，并根据所述第二目标病变类型和所述第二目标病变位置，生成结构化检查所见；若不存在位置信息，则根据所述第二目标病变类型，生成结构化检查所见。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
CN202210989902.7A 2022-08-18 2022-08-18 基于读片知识图谱的结构化检查所见生成方法及系统 Active CN115063425B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210989902.7A CN115063425B (zh) 2022-08-18 2022-08-18 基于读片知识图谱的结构化检查所见生成方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210989902.7A CN115063425B (zh) 2022-08-18 2022-08-18 基于读片知识图谱的结构化检查所见生成方法及系统

Publications (2)

Publication Number Publication Date
CN115063425A CN115063425A (zh) 2022-09-16
CN115063425B true CN115063425B (zh) 2022-11-11

Family

ID=83207697

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210989902.7A Active CN115063425B (zh) 2022-08-18 2022-08-18 基于读片知识图谱的结构化检查所见生成方法及系统

Country Status (1)

Country Link
CN (1) CN115063425B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116052137B (zh) * 2023-01-30 2024-01-30 北京化工大学 一种基于深度学习的古典家具文化属性识别方法及系统
CN116843612A (zh) * 2023-04-20 2023-10-03 西南医科大学附属医院 一种用于糖尿病视网膜病变诊断的图像处理方法
CN116797889B (zh) * 2023-08-24 2023-12-08 青岛美迪康数字工程有限公司 医学影像识别模型的更新方法、装置和计算机设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109583440A (zh) * 2017-09-28 2019-04-05 北京西格码列顿信息技术有限公司 结合影像识别与报告编辑的医学影像辅助诊断方法及系统
CN111933251A (zh) * 2020-06-24 2020-11-13 安徽影联云享医疗科技有限公司 一种医学影像标注方法及系统
CN113222933A (zh) * 2021-05-13 2021-08-06 西安交通大学 一种应用于肾细胞癌全链条诊断的图像识别系统
CN113366530A (zh) * 2019-05-29 2021-09-07 徕卡生物系统成像股份有限公司 计算机支持的组织学图像中的肿瘤审查和术后肿瘤切缘评估
CN114582470A (zh) * 2022-04-29 2022-06-03 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) 一种模型的训练方法、训练装置及医学影像报告标注方法
CN114724670A (zh) * 2022-06-02 2022-07-08 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) 一种医学报告生成方法、装置、存储介质和电子设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020210891A1 (en) * 2019-04-18 2020-10-22 Shelley Boyd Detection, prediction, and classification for ocular disease

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109583440A (zh) * 2017-09-28 2019-04-05 北京西格码列顿信息技术有限公司 结合影像识别与报告编辑的医学影像辅助诊断方法及系统
CN113366530A (zh) * 2019-05-29 2021-09-07 徕卡生物系统成像股份有限公司 计算机支持的组织学图像中的肿瘤审查和术后肿瘤切缘评估
CN111933251A (zh) * 2020-06-24 2020-11-13 安徽影联云享医疗科技有限公司 一种医学影像标注方法及系统
CN113222933A (zh) * 2021-05-13 2021-08-06 西安交通大学 一种应用于肾细胞癌全链条诊断的图像识别系统
CN114582470A (zh) * 2022-04-29 2022-06-03 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) 一种模型的训练方法、训练装置及医学影像报告标注方法
CN114724670A (zh) * 2022-06-02 2022-07-08 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) 一种医学报告生成方法、装置、存储介质和电子设备

Also Published As

Publication number Publication date
CN115063425A (zh) 2022-09-16

Similar Documents

Publication Publication Date Title
CN110599448B (zh) 基于MaskScoring R-CNN网络的迁移学习肺部病变组织检测系统
Yao et al. Weakly supervised medical diagnosis and localization from multiple resolutions
CN115063425B (zh) 基于读片知识图谱的结构化检查所见生成方法及系统
US10496884B1 (en) Transformation of textbook information
CN110211087B (zh) 可分享的半自动糖尿病眼底病变标注方法
US10692602B1 (en) Structuring free text medical reports with forced taxonomies
US20220198230A1 (en) Auxiliary detection method and image recognition method for rib fractures based on deep learning
KR102015224B1 (ko) 딥러닝 기반의 뇌출혈 및 뇌종양 병변 진단 방법 및 장치
JP7350582B2 (ja) モデル学習用のシステム、装置、及び学習方法
US20230230241A1 (en) System and method for detecting lung abnormalities
CN111723817B (zh) 一种肺结节辅助检测方法
Zhang et al. Dual encoder fusion u-net (defu-net) for cross-manufacturer chest x-ray segmentation
CN113222064A (zh) 一种图像目标对象实时检测方法、系统、终端及存储介质
Ogiela et al. Natural user interfaces in medical image analysis
Gulati et al. Comparative analysis of deep learning approaches for the diagnosis of diabetic retinopathy
Sangeetha et al. Diagnosis of Pneumonia using Image Recognition Techniques
CN113516639A (zh) 基于全景x光片的口腔异常检测模型的训练方法及装置
Pal et al. A fully connected reproducible SE-UResNet for multiorgan chest radiographs segmentation
Patel et al. PTXNet: An extended UNet model based segmentation of pneumothorax from chest radiography images
Adegun et al. Deep convolutional network-based framework for melanoma lesion detection and segmentation
Li et al. Deformation and refined features based lesion detection on chest X-ray
CN112862786B (zh) Cta影像数据处理方法、装置及存储介质
Liu et al. TrEnD: A transformer‐based encoder‐decoder model with adaptive patch embedding for mass segmentation in mammograms
CN113822846A (zh) 医学图像中确定感兴趣区域的方法、装置、设备及介质
Thammarach et al. AI chest 4 all

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant