CN115206478A - 医学报告生成方法以及装置、电子设备、可读存储介质 - Google Patents

医学报告生成方法以及装置、电子设备、可读存储介质 Download PDF

Info

Publication number
CN115206478A
CN115206478A CN202210470748.2A CN202210470748A CN115206478A CN 115206478 A CN115206478 A CN 115206478A CN 202210470748 A CN202210470748 A CN 202210470748A CN 115206478 A CN115206478 A CN 115206478A
Authority
CN
China
Prior art keywords
medical
target object
data
index data
medical report
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210470748.2A
Other languages
English (en)
Inventor
吴及
郭辰仪
王道烩
张少霆
胡志强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Shanghai Sensetime Intelligent Technology Co Ltd
Original Assignee
Tsinghua University
Shanghai Sensetime Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University, Shanghai Sensetime Intelligent Technology Co Ltd filed Critical Tsinghua University
Priority to CN202210470748.2A priority Critical patent/CN115206478A/zh
Publication of CN115206478A publication Critical patent/CN115206478A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Public Health (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Quality & Reliability (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本申请公开了医学报告生成方法以及装置、电子设备、可读存储介质，其中，所述医学报告生成方法包括：获取到目标对象的多张医学图像；分别对各所述医学图像中的目标对象进行特征提取，得到所述目标对象的多种指标数据；基于所述多种指标数据，得到多种指标数据的结构化信息和所述医学报告的描述框架；基于所述多种指标数据的结构化信息和所述医学报告的描述框架，生成医学报告。上述方案，能够提高医学报告的多样性和准确性，并提高医学报告生成的可解释性。

Description

医学报告生成方法以及装置、电子设备、可读存储介质
技术领域
本申请涉及报告生成技术领域，特别是涉及医学报告生成方法以及装置、电子设备、可读存储介质。
背景技术
随着医学技术的发展，临床各科室功能不断细分，在疾病专业化治疗的同时，医生对于各项检查、检验的依赖性也越来越高，这导致严重依赖人工操作和判读的医学影像科发展与需求匹配失衡。医学影像领域急需引入新的技术手段，提高临床效率，将医生的精力从重复性的劳动中解脱出来，例如，根据医学影像数据自动生成诊断报告，一方面能够解放影像科医生的非专业工作，另一方面针对报告数据实现辅助诊断，提高诊断报告的水平。
从技术方面，现有的诊断报告生成系统主要分为两类；第一类是根据获得的数字和文本信息，通过规则和统计模型，套用文字模板，生成最终的报告；第二类是采用端到端的Encoder-Decoder神经网络模型，搭建从医学影像到诊断报告的端到端的系统。
现有的医学报告生成系统，基于模板生成的报告拘泥于模板，表达多样性及表达能力受限，报告表达形式单一；基于端到端的神经网络方法会产生重复、无效冗余语句等问题，且无法对输出结果做出合理的解释，报告缺乏可解释性。
发明内容
本申请至少提供医学报告生成方法以及装置、电子设备、可读存储介质。
本申请提供了一种医学报告生成方法，所述医学报告生成方法包括：获取到目标对象的多张医学图像；分别对各所述医学图像中的目标对象进行特征提取，得到所述目标对象的多种指标数据；基于所述多种指标数据，得到多种指标数据的结构化信息和所述医学报告的描述框架；基于所述多种指标数据的结构化信息和所述医学报告的描述框架，生成医学报告。
因此，通过获取到目标对象的多张医学图像，分别对各医学图像中的目标对象进行特征提取，得到目标对象的多种指标数据，再对目标对象的多种指标数据进行分析处理，得到多种指标数据的结构化信息，并确定医学报告的描述框架，最后基于多种指标数据的结构化信息和医学报告的描述框架，生成医学报告，能够对多张医学图像的特征信息进行分析处理，提高系统对目标对象分析的多样性和准确性，并使用非端到端的医学图像到医学报告文本的解决方法，采用结构化医学报告描述框架作为枢纽，极大地提高了医学报告生成的可解释性。
其中，所述获取到目标对象的多张医学图像的步骤包括：对原始医学图像进行目标检测，识别出所述目标对象；确定包含所述目标对象的目标区域，得到包含所述目标区域的多张所述医学图像。
因此，利用计算机视觉中的目标检测技术，对原始医学图像进行目标检测，从中识别出目标对象，确定包含目标对象的目标区域，可以提供准确的包含目标区域的医学图像。
其中，所述分别对各所述医学图像中的目标对象进行特征提取，得到所述目标对象的多种指标数据的步骤包括：分别对各所述医学图像中的目标对象进行特征提取，得到各所述医学图像中的目标对象的多个特征数据；基于所述目标对象的类型对所述多个特征数据进行分类，得到所述多种指标数据。
因此，分别对各医学图像进行特征提取，得到多个特征数据，再基于目标对象的类型对多个特征数据进行分类，得到多种指标数据，能够综合多张医学图像的特征数据进行报告生成，提高医学报告的多样性和准确性。
其中，所述基于所述多种指标数据，得到多种指标数据的结构化信息和所述医学报告的描述框架的步骤包括：通过医学实体识别模型对所述目标对象的多种指标数据进行实体识别，得到多个实体；对所述多个实体进行归一化处理，并对归一化处理后的各个实体之间的关系进行分析，得到实体关系分析结果；基于所述实体关系分析结果确定所述医学报告的描述框架。
因此，通过医学实体识别模型对目标对象的多种指标数据进行实体识别，并对归一化处理后的各个实体之间的关系进行分析，得到实体关系分析结果，于是可以基于实体关系分析结果确定医学报告的描述框架，于是，医学报告的描述框架可以作为医学图像到医学报告的枢纽，为医学图像处理系统指明了需要从医学图像中获取的医学指标信息，同时也为医学报告生成系统提供了输入的结构化信息，从而将医学图像到医学报告的系统划分为两个阶段，极大提高了医学报告生成的可解释性。
其中，在所述分别对各所述医学图像中的目标对象进行特征提取，得到所述目标对象的多种指标数据的步骤之后，所述医学报告生成方法还包括：对各种指标数据之间的一致性进行分析，得到一致性分析结果，并根据所述一致性分析结果对所述多种指标数据进行修正和/或生成提示信息。
因此，由于各种指标数据是对同一目标对象不同维度的信息，它们之间不是完全相互独立，而是具有非常强的相关性，故可以利用这种相关性，对各种指标数据之间的一致性进行分析，从中发现可能不一致的情况，进而对多种指标数据进行修正和/或生成提示信息。
其中，所述医学报告包括影像描述部分和医学诊断部分；所述基于所述多种指标数据的结构化信息和所述医学报告的描述框架，生成医学报告的步骤包括：利用所见部分生成模型基于所述多种指标数据的结构化信息，生成所述影像描述部分；基于所述多种指标数据的结构化信息、所述医学报告的描述框架和所述影像描述部分，生成所述医学诊断部分。
因此，利用所见部分生成模型基于多种指标数据的结构化信息，对从医学图像中获取到的信息进行描述，生成影像描述部分，并基于多种指标数据的结构化信息、医学报告的描述框架和影像描述部分，给出诊断结果以及治疗意见，生成医学诊断部分，利用自然语言生成技术生成符合描述风格的医学报告，并正确反映各项医学指标。
其中，所述利用所见部分生成模型基于所述多种指标数据的结构化信息，生成所述影像描述部分的步骤包括：将所述多种指标数据的结构化信息输入到所述所见部分生成模型的编码器，通过所述编码器对所述多种指标数据的结构化信息进行编码，得到每种指标数据的数据向量；将所述数据向量输入到所述所见部分生成模型的解码器，通过所述解码器对所述数据向量进行解码，得到所述影像描述部分。
因此，通过所见部分生成模型的编码器对多种指标数据的结构化信息进行编码，得到每种指标数据的数据向量，再通过解码器对数据向量进行解码，得到影像描述部分，能够根据多种指标数据的结构化信息，输出一份正确反映医学指标且符合医学报告描述风格的总结性描述。
其中，所述将所述数据向量输入到所述所见部分生成模型的解码器，通过所述解码器对所述数据向量进行解码，得到所述影像描述部分的步骤包括：在当前时刻的解码过程中，利用编码器输出的每个数据向量和上一时刻的解码器输出的数据向量通过注意力机制得到在解码器输入的每个数据向量上的注意力概率分布；将编码器输出的每个数据向量根据所述注意力概率分布进行加权平均，得到当前时刻的解码器输入的数据向量；将所述当前时刻的解码器输入的数据向量输入到所述解码器，得到当前时刻的生成概率分布；根据当前时刻的状态向量、所述当前时刻的解码器输入的数据向量以及所述上一时刻的解码器输出的数据向量，得到当前时刻的生成概率；利用所述当前时刻的生成概率对所述当前时刻的生成概率分布和所述注意力概率分布进行加权求和，得到当前时刻的最终概率分布；从所述当前时刻的最终概率分布中挑选概率最大的数据向量作为当前时刻的解码器输出的数据向量；将所述解码器输出的数据向量处理生成自然语言文本，得到所述影像描述部分。
因此，利用所见部分生成模型的编码器将多种指标数据的结构化信息转换为每种指标数据的数据向量，再通过所见部分生成模型的解码器将数据向量转换为通过自然语言进行描述的影像描述部分，能够自动对多种指标数据的结构化信息中冗余的信息进行合并描述，减少不必要的信息，提高医学报告对目标对象的生理情况表达的有效性和针对性。
其中，所述医学诊断部分包括所见总结、良恶性诊断和医学建议；所述基于所述多种指标数据的结构化信息、所述医学报告的描述框架和所述影像描述部分，生成所述医学诊断部分的步骤包括：基于所述医学报告的描述框架，利用筛选模型对所述影像描述部分进行关键句提取，得到所述所见总结，以及根据所述多种指标数据的结构化信息和相关医学知识，得到所述良恶性诊断，并根据所述良恶性诊断生成所述医学建议。
因此，由于医学诊断部分包括所见总结、良恶性诊断和医学建议，针对不同部分的内容，采用不同的生成方法，并且由于医学诊断部分涉及到具体的诊断，所以需要比较强的相关医学知识并根据已有的医学指标信息才能够得到准确的医学报告。
本申请还提供了一种医学报告生成装置，所述医学报告生成装置包括：获取模块，用于获取到多张医学图像，其中，各所述医学图像中包括目标对象；特征提取模块，用于分别对各所述医学图像中的目标对象进行特征提取，得到所述目标对象的多种指标数据；分析处理模块，用于对所述目标对象的多种指标数据进行分析处理，得到多种指标数据的结构化信息，并确定医学报告的描述框架；生成模块，用于基于所述多种指标数据的结构化信息和所述医学报告的描述框架，生成医学报告。
本申请还提供了一种电子设备，包括相互耦接的存储器和处理器，处理器用于执行存储器中存储的程序指令，以实现上述医学报告生成方法。
本申请还提供了一种计算机可读存储介质，其上存储有程序指令，程序指令被处理器执行时实现上述医学报告生成方法。
上述方案，能够提高医学报告的多样性和准确性，并提高医学报告生成的可解释性。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本申请的实施例，并与说明书一起用于说明本申请的技术方案。
图1是本申请医学报告生成方法一实施例的流程示意图；
图2是一应用场景中图像特征提取模型的结构示意图；
图3是图1中步骤S13一实施例的流程示意图；
图4是一应用场景中医学实体识别模型的结构示意图；
图5是一应用场景中实体关系分析结果的示意图；
图6是一应用场景中医学报告的描述框架的示意图；
图7是图1中步骤S14一实施例的流程示意图；
图8是图7中步骤S141一实施例的流程示意图；
图9是图8中步骤S1412一实施例的流程示意图；
图10是一应用场景中影像描述部分生成的框架示意图；
图11是一应用场景中医学诊断部分生成的框架示意图；
图12是本申请医学报告生成方法另一实施例的流程示意图；
图13是本申请医学报告生成装置一实施例的框架示意图；
图14是本申请医学报告生成装置一应用场景的结构示意图；
图15是本申请电子设备一实施例的框架示意图；
图16为本申请计算机可读存储介质一实施例的框架示意图。
具体实施方式
下面结合说明书附图，对本申请实施例的方案进行详细说明。
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、接口、技术之类的具体细节，以便透彻理解本申请。
本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。此外，本文中的“多”表示两个或者多于两个。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。
请参阅图1，图1是本申请医学报告生成方法一实施例的流程示意图。具体而言，可以包括如下步骤：
步骤S11：获取到目标对象的多张医学图像。
获取到目标对象的多张医学图像。本实施例的目标对象为活体对象的身体部位，可以包括人体器官、人体组织、人体肢体、动物肢体、动物器官、动物组织等，例如：肺、肝、头颅、皮肤、淋巴结、骨头等，具体的目标对象可以基于实际需求进行设置，在此不做限定。
其中，当获取到目标对象的多张医学图像时，各医学图像中包含的目标对象可以为同一个，例如：各医学图像为同一个肝脏的不同部位的医学图像。各医学图像中包含的目标对象也可以为不同的多个，但不同的目标对象的类型相同，例如：各医学图像分别包括不同的淋巴结，但各医学图像中的目标对象都为淋巴结。
在一个具体的应用场景中，当目标对象为同一个时，多张医学图像可以分别包括同一目标对象的局部图像或全局图像。在另一个具体的应用场景中，当目标对象为多个相同类型的目标对象时，多张医学图像可以分别包括不同但类型相同的目标对象的局部图像或全局图像。其中，当目标对象为同一个时，目标对象可以指一个活体对象内仅有一个相应的目标对象，例如心、头颅、肝等，当目标对象为多个相同类型的目标对象时，目标对象可以指一个活体对象内有多个相同的目标对象，例如淋巴结、毛囊等。
其中，医学图像的类型可以包括常规RGB图像、B超图像、CT图像或X光图像等，医学图像的具体类型可以基于目标对象的类型进行确定，在此不做限定。
在一实施例中，上述步骤S11具体可以包括：对原始医学图像进行目标检测，识别出所述目标对象；确定包含所述目标对象的目标区域，得到包含所述目标区域的多张所述医学图像。
具体地，本申请的原始医学图像为多模态医学影像，例如CT(计算机X线断层扫描)影像、MRI(磁共振成像)影像、超声影像等。在获取到多模态医学影像后，可以将多模态医学影像输入目标检测网络，利用目标检测网络检测出输入的多模态医学影像中包含目标对象的目标区域，目标对象为病灶，即确定病灶所在区域。例如，原始医学图像为颈部淋巴超声影像，针对颈部淋巴超声影像，可以使用了Yolov3的模型进行目标检测处理。
因此，利用计算机视觉中的目标检测技术，对原始医学图像进行目标检测，从中识别出目标对象，确定包含目标对象的目标区域，可以提供准确的包含目标区域的医学图像。
步骤S12：分别对各所述医学图像中的目标对象进行特征提取，得到所述目标对象的多种指标数据。
分别对各医学图像中的目标对象进行特征提取，得到目标对象的多种指标数据。其中，目标对象的多种指标数据可以包括目标对象的大小、类型、边缘、形状、曲度、平滑度等指标类型，具体的指标数据的类型基于目标对象的类型进行确定。例如：当目标对象为淋巴结时，本步骤的特征提取得到的可以为淋巴结的大小、类型、边缘等指标数据；而目标对象为颈椎时，本步骤的特征提取得到的可以为颈椎的形状、曲度等指标数据。
在一个具体的实施方式中，可以通过预先训练好的图像特征提取模型分别对各医学图像中的目标对象进行特征提取，得到目标对象的多种指标数据。其中，图像特征提取模型可以以卷积神经网络(CNN)、递归神经网络(RNN)、深信度网络(DBN)、深度自动编码器(AutoEncoder)和生成对抗网络(GAN)等深度神经网络为基础，通过相关训练图像以及训练标签进行训练得到。
在其他实施方式中，也可以接收人工对各医学图像的特征提取，从而得到目标对象的多种指标数据，具体的特征提取方法在此不做限定。
进一步地，上述步骤S12具体可以包括：分别对各所述医学图像中的目标对象进行特征提取，得到各所述医学图像中的目标对象的多个特征数据；基于所述目标对象的类型对所述多个特征数据进行分类，得到所述多种指标数据。
获取到多张医学图像后，分别对各医学图像中的目标对象进行特征提取，得到各医学图像中的目标对象的多个特征数据，而，特征数据可以包括目标对象的大小、曲度、平滑度、形状等生理特征数据。在此不做限定。
得到目标对象的多个特征数据后，基于目标对象的类型对多个特征数据进行分类，得到多种指标数据。
由于在医学领域，不同类型的目标对象所需要进行分析的医学指标不同，因此，在对多个特征数据进行分类时，可以基于不同类型的目标对象分别所需的医学指标进行分类，从而得到目标对象所需的指标数据。其中，目标对象的类型是基于医学对活体对象的组成结构的分类进行划分得到的，例如：目标对象的类型可以包括肺、肝、头颅、皮肤、淋巴结、骨头等，每个类型的目标对象表示活体对象的一种组成结构。
其中，本步骤对基于多张医学图像得到的特征数据统一进行分类，得到目标对象的多种指标数据，能够综合多张医学图像的特征信息进行报告生成，避免对医学图像的单一化分析，提高医学报告的信息多样化，适用于多病灶的、多目标对象的医学报告生成场景。
在一个具体的实施方式中，可以通过图像特征提取模型的编码器分别对各医学图像中的目标对象进行特征提取，得到各目标对象的多个特征数据；再基于目标对象的类型通过图像特征提取模型的多个分类器分别对多个特征数据进行分类，得到多种指标数据。其中，图像特征提取模型的分类器的数量可以与多种指标数据的种类数量一一对应。
通过同一个编码器对医学图像中的目标对象进行特征提取，得到的特征数据提供给多个分类器，以进行多个分类任务，能够使得编码器利用多个分类任务的信息学习到更好的向量表示，进而提高特征提取的准确率和效率，进而提高医学报告生成的可靠性和效率。
在一个具体的应用场景中，图像特征提取模型可以是预先基于与目标对象类型相同的训练对象进行训练得到的。图像特征提取模型包括相互级联的编码器和多个分类器。
在一个具体的实施方式中，对各医学图像中的目标对象进行特征提取时，可以先将各医学图像进行划分，得到目标对象的各个特征部位的医学子图像，再分别对划分后的医学子图像进行特征提取，得到目标对象的各个特征部位的指标数据。其中，医学图像的划分依据可以基于目标对象的常见病灶区域或人工经验进行划分。例如：可以按照淋巴结所在的左颈部、右颈部、左锁骨上窝、右锁骨上窝部位对医学图像进行划分；可以按照心脏的左心房、左心室、右心房、右心室位置对医学图像进行划分。
而本步骤得到的多种指标数据也可以基于目标对象的各个特征部位进行对应特征提取。指标数据的分类也可以基于所对应目标对象的各个特征部位的不同进行分类，例如：淋巴结的尺寸指标可以被划分为左颈部的淋巴结尺寸、右颈部的淋巴结尺寸、左锁骨上窝的淋巴结尺寸以及右锁骨上窝的淋巴结尺寸。
本实施例基于目标对象的各个特征部位进行对应特征提取能够进一步适用于目标对象存在多病灶的情况。当目标对象的不同特征部位存在不同病灶时，通过对目标对象进行划分，能够分别得到不同病灶的指标数据，适用多病灶的目标对象的医学报告生成。
在一个具体的应用场景中，本步骤得到的多种指标数据可以通过表格形式进行展示，从而便于指标数据的内容呈现。
因此，分别对各医学图像进行特征提取，得到多个特征数据，再基于目标对象的类型对多个特征数据进行分类，得到多种指标数据，能够综合多张医学图像的特征数据进行报告生成，提高医学报告的多样性和准确性。
请结合图2，图2是一应用场景中图像特征提取模型的结构示意图，在一应用场景中，图像特征提取模型可以根据同一病灶的多模态医学影像，获取医学报告的描述框架中的各项医学指标。该部分的任务可以看做是计算机视觉中的分类任务，图像特征提取模型的输入为同一病灶的多个模态的影像，如颈部淋巴的超声影像和多普勒影像，输出为该病灶的各项指标，如颈部淋巴的良恶性、边界等。为了同时解决多模态影像的问题，图像特征提取模型包括多个卷积神经网络，将各个模态的影像通过不同的卷积神经网络的特征提取器提取对应的特征，从而实现不同模态的差异化处理，通过特征拼接，实现各医学指标的分类。由于病灶的各个医学指标之间可能存在着一些关联，如淋巴结的良恶性和边缘的形态具有非常强的相关性，多个任务同时学习能够让模型学习到更加本质的特征，而在设计各个医学指标的分类模型时，可以让这些分类任务共享特征提取层，各个模块只保留自己独有的分类器。
步骤S13：基于所述多种指标数据，得到多种指标数据的结构化信息和所述医学报告的描述框架。
具体地，在获取目标对象的多种指标数据后，可以挖掘医学指标中描述的关键信息，得到指标数据的结构化信息，并抽取出医学报告的描述框架。
请结合图3，图3是图1中步骤S13一实施例的流程示意图，在一实施例中，上述步骤S13具体可以包括：
步骤S131：通过医学实体识别模型对所述目标对象的多种指标数据进行实体识别，得到多个实体。
利用训练后的医学实体识别模型对目标对象的多种指标数据进行实体识别，可以准确识别出不同的实体类型，以便于后续确定医学报告的描述框架。
关于医学实体识别模型的训练，在不同医学场景中，可以先从医院等机构获取原始的多模态医学影像报告，然后对原始的多模态医学影像报告进行分析，并结合专业医学知识，确定实体类型种类、制定标注规范，例如在颈部淋巴超声报告中，定义了“部位”、“回声”、“类型”、“大小”、“边界”等实体类型；在对部分的原始的多模态医学影像报告数据进行人工标注之后，将所有的原始的多模态医学影像报告作为训练样本，训练医学实体识别模型。医学实体识别模型可以采用BiLSTM+CRF、BERT等命名实体识别算法，请结合图4，图4是一应用场景中医学实体识别模型的结构示意图，以BiLSTM+CRF神经网络为例，双向长短时记忆网络能够捕捉每个位置左右的信息，从而得到每个字更精准的向量表示，条件随机场能够自动学习输出序列的转移特征，从而引导系统输出转移概率高的序列。
步骤S132：对所述多个实体进行归一化处理，并对归一化处理后的各个实体之间的关系进行分析，得到实体关系分析结果。
请结合图5，图5是一应用场景中实体关系分析结果的示意图，在进行实体识别之后，由于对于同一个实体可能有不同类型的描述，因此需要对多个实体进行归一化处理，对实体进行归一化有利于后续的分析和处理，例如“左侧颈”、“左颈部”可以归一化为“左侧颈部”；这一部分主要可以对同一类型的实体进行统计，然后根据专业医学知识，整理出各个实体的规范化描述词典，在之后系统的使用迭代过程中，可以对词典进行迭代完善，逐步提高系统的完备程度。而在对实体进行归一化处理之后，需要对各个实体之间的关系进行抽取，例如一句话中有多个“部位”、“类型”等信息，此时需要明确各个类型所属的是哪个部位；在医学报告中，各个实体之间一般是树状的从属关系，例如在颈部超声淋巴报告中，“左颈部可见多发低回声结节”可以抽取出如图5所示的关系。
步骤S133：基于所述实体关系分析结果确定所述医学报告的描述框架。
在得到了大量的实体关系分析结果之后，基于专业医学知识经过人工整理，可以得到一份医学报告的描述框架。请结合图6，图6是一应用场景中医学报告的描述框架的示意图，医学报告的描述框架的具体内容可以包括：医学报告描述的主体、各个主体描述的属性以及各个属性的具体表现。以颈部淋巴超声报告为例，可以整理出医学报告的描述框架如图6所示。医学报告的描述框架，作为医学图像到医学报告的枢纽，为医学图像处理系统指明了需要从图像中获取的医学指标信息，同时也为医学报告生成系统提供了输入的结构化信息，从而将医学图像到医学报告的系统划分为两个阶段，极大提高了系统的可解释性。
步骤S14：基于所述多种指标数据的结构化信息和所述医学报告的描述框架，生成医学报告。
可以理解的是，在医院就诊过程中，影像科检查的结果一般最终都会总结为一份报告，而不是罗列出各项医学指标的结构化信息，因此，在得到多种指标数据的结构化信息后，可以基于医学报告的描述框架，利用自然语言生成技术，生成符合描述风格的医学报告，并正确反映关键的医学指标。
上述方案，通过获取到目标对象的多张医学图像，分别对各医学图像中的目标对象进行特征提取，得到目标对象的多种指标数据，再对目标对象的多种指标数据进行分析处理，得到多种指标数据的结构化信息，并确定医学报告的描述框架，最后基于多种指标数据的结构化信息和医学报告的描述框架，生成医学报告，能够对多张医学图像的特征信息进行分析处理，提高系统对目标对象分析的多样性和准确性，并使用非端到端的医学图像到医学报告文本的解决方法，采用结构化医学报告描述框架作为枢纽，极大地提高了医学报告生成的可解释性。
在一实施例中，医学报告可以包括影像描述部分和医学诊断部分，其中，影像描述部分包括对从医学图像中获取到的一些指标信息的描述，医学诊断部分包括根据对医学图像的观察所给出的诊断结果以及治疗意见。请结合图7，图7是图1中步骤S14一实施例的流程示意图，本实施例中，上述步骤S14具体可以包括：
步骤S141：利用所见部分生成模型基于所述多种指标数据的结构化信息，生成所述影像描述部分。
将得到的多种指标数据的结构化信息输入所见部分生成模型，输出一份正确反映医学指标且符合医学报告描述风格的总结性描述，即影像描述部分。
请结合图8，图8是图7中步骤S141一实施例的流程示意图，在一具体实施例中，上述步骤S141具体可以包括：
步骤S1411：将所述多种指标数据的结构化信息输入到所述所见部分生成模型的编码器，通过所述编码器对所述多种指标数据的结构化信息进行编码，得到每种指标数据的数据向量。
步骤S1412：将所述数据向量输入到所述所见部分生成模型的解码器，通过所述解码器对所述数据向量进行解码，得到所述影像描述部分。
通过所见部分生成模型的编码器对多种指标数据的结构化信息进行编码，得到每种指标数据的数据向量，再通过解码器对数据向量进行解码，得到影像描述部分，能够根据多种指标数据的结构化信息，输出一份正确反映医学指标且符合医学报告描述风格的总结性描述。具体地，所见部分生成模型的基本结构可以是seq2seq模型，分为编码器与解码器两个部分，编码器的输出是词向量，解码器利用编码器的输出进一步处理生成自然语言文本，得到影像描述部分。如图10所示，图10是一应用场景中影像描述部分生成的框架示意图，以颈部淋巴超声影像报告为例，在医学报告的影像描述部分的生成过程中，可以采用如图10所示的所见部分生成模型。可以理解的是，编码器输入端的词向量包含四个部分：(1)字的嵌入向量；(2)所属类型的嵌入向量；(3)字在词中从左向右的位置；(4)字在词中从右向左的位置。例如，对于“部位：左颈部”中的“颈”字，其嵌入向量为{<“部位”的嵌入向量>+<“颈”的嵌入向量+“2l”的嵌入向量+“2r”的嵌入向量>}。将所有的结构化信息按照上述方法得到一个嵌入向量的序列，输入到双向长短时记忆网络中，就可以得到每个词向量包含上下文信息的表示。
进一步地，请结合图9和图10，图9是图8中步骤S1412一实施例的流程示意图，上述步骤S1412具体可以包括：
步骤S14121：在当前时刻的解码过程中，利用编码器输出的每个数据向量和上一时刻的解码器输出的数据向量通过注意力机制得到在解码器输入的每个数据向量上的注意力概率分布。
步骤S14122：将编码器输出的每个数据向量根据所述注意力概率分布进行加权平均，得到当前时刻的解码器输入的数据向量。
步骤S14123：将所述当前时刻的解码器输入的数据向量输入到所述解码器，得到当前时刻的生成概率分布。
步骤S14124：根据当前时刻的状态向量、所述当前时刻的解码器输入的数据向量以及所述上一时刻的解码器输出的数据向量，得到当前时刻的生成概率。
步骤S14125：利用所述当前时刻的生成概率对所述当前时刻的生成概率分布和所述注意力概率分布进行加权求和，得到当前时刻的最终概率分布。
步骤S14126：从所述当前时刻的最终概率分布中挑选概率最大的数据向量作为当前时刻的解码器输出的数据向量。
步骤S14127：将所述解码器输出的数据向量处理生成自然语言文本，得到所述影像描述部分。
利用所见部分生成模型的编码器将多种指标数据的结构化信息转换为每种指标数据的数据向量，再通过所见部分生成模型的解码器将数据向量转换为通过自然语言进行描述的影像描述部分，能够自动对多种指标数据的结构化信息中冗余的信息进行合并描述，减少不必要的信息，提高医学报告对目标对象的生理情况表达的有效性和针对性。具体地，解码器将编码器输出的词向量作为输出，采用单向长短时记忆网络作为基本的网络模型，并结合注意力机制与拷贝机制。在解码的每个时间步，例如在当前时刻的解码过程中，利用编码器输出的每个数据向量和上一时刻的解码器输出的数据向量通过注意力机制模块得到在解码器输入的每个数据向量上的注意力概率分布，并将编码器输出的每个数据向量根据这个注意力概率分布进行加权平均，得到当前时刻的解码器输入的数据向量。将所述当前时刻的解码器输入的数据向量输入到所述解码器，得到当前时刻在词典上的概率分布，该概率分布称为生成概率分布，同时网络会根据当前时刻的状态向量St，当前时刻的解码器输入的数据向量Ct，以及上一时刻的解码器输出的数据向量Yt-1，得到当前时刻的生成概率Pgen，其中，当前时刻的状态向量是由当前时刻的输入向量和历史状态通过一个函数计算得到的。可以理解的是，生成概率越高，表示网络更加倾向于生成部分得到的结果，反之表示网络更加偏向于拷贝部分的结果。接着，利用当前时刻的生成概率Pgen对当前时刻的生成概率分布和注意力概率分布进行加权求和，得到最终在整个词典上的概率分布，即当前时刻的最终概率分布；于是，从当前时刻的最终概率分布中挑选概率最大的数据向量作为当前时刻的解码器输出的数据向量，最终可以将解码器输出的数据向量处理生成自然语言文本，得到影像描述部分。
步骤S142：基于所述多种指标数据的结构化信息、所述医学报告的描述框架和所述影像描述部分，生成所述医学诊断部分。
在利用所见部分生成模型基于多种指标数据的结构化信息，对从医学图像中获取到的信息进行描述，生成影像描述部分后，可以基于多种指标数据的结构化信息、医学报告的描述框架和影像描述部分，给出诊断结果以及治疗意见，生成医学诊断部分，从而实现利用自然语言生成技术生成符合描述风格的医学报告，并正确反映各项医学指标。
进一步地，医学诊断部分包括所见总结、良恶性诊断和医学建议。例如在颈部淋巴超声报告中，可能的医学诊断部分描述为“右颈部可见低回声结节，异常淋巴结，建议超声引导下穿刺活检。”由于该部分涉及到具体的诊断，所以需要比较强的医学知识并根据已有的医学指标才能够得到准确的报告。
具体地，上述步骤S142具体可以包括：基于所述医学报告的描述框架，利用筛选模型对所述影像描述部分进行关键句提取，得到所述所见总结，以及根据所述多种指标数据的结构化信息和相关医学知识，得到所述良恶性诊断，并根据所述良恶性诊断生成所述医学建议。
由于医学诊断部分包括所见总结、良恶性诊断和医学建议，针对不同部分的内容，采用不同的生成方法，并且由于医学诊断部分涉及到具体的诊断，所以需要比较强的相关医学知识并根据已有的医学指标信息才能够得到准确的医学报告。请结合图11，图11是一应用场景中医学诊断部分生成的框架示意图，例如在颈部淋巴超声报告中，医学诊断部分可以分为三部分描述：(1)所见总结；(2)良恶性诊断；(3)医学建议。例如，在上面的例子中，“右颈部可见低回声结节”为所见总结部分，“异常淋巴结”为良恶性诊断部分，“建议超声引导下穿刺活检”为医学建议部分。可以理解的是，针对不同部分，可以采用不同的生成方法；对于所见总结部分而言，可以基于医学报告的描述框架，利用筛选模型对影像描述部分进行关键句提取；对于良恶性诊断部分，一方面可以根据多种指标数据的结构化信息中的“良恶性”直接获取，另一方面可以根据其它医学指标结合专业的相关医学知识来进行推断，最终得到良恶性诊断结果；而对于医学建议部分，可以根据收集到的原始的医学诊断报告，整理医生在各种诊断结果下的描述，得到一些固定的医学建议模板，然后在生成过程中直接根据良恶性诊断结果输出对应的医学建议即可，可以理解的是，后期还可以增加更多的规则来完善医学建议模板信息。
请参阅图12，图12是本申请医学报告生成方法另一实施例的流程示意图。具体而言，可以包括如下步骤：
步骤S121：获取到目标对象的多张医学图像。
步骤S122：分别对各所述医学图像中的目标对象进行特征提取，得到所述目标对象的多种指标数据。
步骤S123：对各个指标数据之间的一致性进行分析，得到一致性分析结果，并根据所述一致性分析结果对所述多种指标数据进行修正和/或生成提示信息。
可以理解的是，各个指标数据是对同一病灶不同维度的信息，它们之间不是完全相互独立，而是具有非常强的相关性。所以可以利用这种相关性，来对各个指标数据之间的一致性进行分析，得到一致性分析结果，从中发现可能不一致的情况，进而可以根据一致性分析结果对多种指标数据进行修正，或者向医生给出提示信息。
具体地，对各个指标数据之间的一致性进行分析涉及到各个指标数据之间的关联，因此需要对相关领域的医学知识进行了解，并整理出对应的一致性约束。例如在颈部淋巴超声报告中，淋巴结的良恶性和边缘具有非常强的关联，良性淋巴结的边缘一般为模糊或者不规则，而恶性淋巴结的边缘一般为清楚，所以可以抽取一致性约束为{类型：良性，边缘：模糊}、{类型：恶性，边缘：清楚}。同时，还可以整理出涉及指标更多的医学知识，在整理出了专业知识后，可以对得到的各个指标数据的合理性进行评估，当发生和医学知识相违背的情况，可以对出错概率最大的指标进行纠正，或者直接将不合理的指标组合反馈给医生，让医生来做进一步的决策。
步骤S124：基于所述多种指标数据，得到多种指标数据的结构化信息和所述医学报告的描述框架。
步骤S125：基于所述多种指标数据的结构化信息和所述医学报告的描述框架，生成医学报告。
本实施例中，步骤S121、S122、S124和S125分别与与前述实施例的步骤S11至S14相同，请参阅全文，在此不再赘述。
请参阅图13，图13是本申请医学报告生成装置一实施例的框架示意图。医学报告生成装置13包括获取模块131、特征提取模块132、分析处理模块133和生成模块134。获取模块131，用于获取到目标对象的多张医学图像；特征提取模块132，用于分别对各所述医学图像中的目标对象进行特征提取，得到所述目标对象的多种指标数据；分析处理模块133，用于基于所述多种指标数据，得到多种指标数据的结构化信息和所述医学报告的描述框架；生成模块134，用于基于所述多种指标数据的结构化信息和所述医学报告的描述框架，生成医学报告。
上述方案，通过获取到目标对象的多张医学图像，分别对各医学图像中的目标对象进行特征提取，得到目标对象的多种指标数据，再对目标对象的多种指标数据进行分析处理，得到多种指标数据的结构化信息，并确定医学报告的描述框架，最后基于多种指标数据的结构化信息和医学报告的描述框架，生成医学报告，能够对多张医学图像的特征信息进行分析处理，提高系统对目标对象分析的多样性和准确性，并使用非端到端的医学图像到医学报告文本的解决方法，采用结构化医学报告描述框架作为枢纽，极大地提高了医学报告生成的可解释性。
在一些公开实施例中，获取模块131执行获取到目标对象的多张医学图像的步骤包括：对原始医学图像进行目标检测，识别出所述目标对象；确定包含所述目标对象的目标区域，得到包含所述目标区域的多张所述医学图像。
在一些公开实施例中，特征提取模块132执行分别对各所述医学图像中的目标对象进行特征提取，得到所述目标对象的多种指标数据的步骤包括：分别对各所述医学图像中的目标对象进行特征提取，得到各所述医学图像中的目标对象的多个特征数据；基于所述目标对象的类型对所述多个特征数据进行分类，得到所述多种指标数据。
在一些公开实施例中，分析处理模块133执行基于所述多种指标数据，得到多种指标数据的结构化信息和所述医学报告的描述框架的步骤包括：通过医学实体识别模型对所述目标对象的多种指标数据进行实体识别，得到多个实体；对所述多个实体进行归一化处理，并对归一化处理后的各个实体之间的关系进行分析，得到实体关系分析结果；基于所述实体关系分析结果确定所述医学报告的描述框架。
在一些公开实施例中，分析处理模块133在执行分别对各所述医学图像中的目标对象进行特征提取，得到所述目标对象的多种指标数据的步骤之后，还用于对各种指标数据之间的一致性进行分析，得到一致性分析结果，并根据所述一致性分析结果对所述多种指标数据进行修正和/或生成提示信息。
在一些公开实施例中，所述医学报告包括影像描述部分和医学诊断部分；生成模块134执行基于所述多种指标数据的结构化信息和所述医学报告的描述框架，生成医学报告的步骤包括：利用所见部分生成模型基于所述多种指标数据的结构化信息，生成所述影像描述部分；基于所述多种指标数据的结构化信息、所述医学报告的描述框架和所述影像描述部分，生成所述医学诊断部分。
在一些公开实施例中，生成模块134执行利用所见部分生成模型基于所述多种指标数据的结构化信息，生成所述影像描述部分的步骤具体包括：将所述多种指标数据的结构化信息输入到所述所见部分生成模型的编码器，通过所述编码器对所述多种指标数据的结构化信息进行编码，得到每种指标数据的数据向量；将所述数据向量输入到所述所见部分生成模型的解码器，通过所述解码器对所述数据向量进行解码，得到所述影像描述部分。
在一些公开实施例中，生成模块134执行将所述数据向量输入到所述所见部分生成模型的解码器，通过所述解码器对所述数据向量进行解码，得到所述影像描述部分的步骤具体可以包括：在当前时刻的解码过程中，利用编码器输出的每个数据向量和上一时刻的解码器输出的数据向量通过注意力机制得到在解码器输入的每个数据向量上的注意力概率分布；将编码器输出的每个数据向量根据所述注意力概率分布进行加权平均，得到当前时刻的解码器输入的数据向量；将所述当前时刻的解码器输入的数据向量输入到所述解码器，得到当前时刻的生成概率分布；根据当前时刻的状态向量、所述当前时刻的解码器输入的数据向量以及所述上一时刻的解码器输出的数据向量，得到当前时刻的生成概率；利用所述当前时刻的生成概率对所述当前时刻的生成概率分布和所述注意力概率分布进行加权求和，得到当前时刻的最终概率分布；从所述当前时刻的最终概率分布中挑选概率最大的数据向量作为当前时刻的解码器输出的数据向量；将所述解码器输出的数据向量处理生成自然语言文本，得到所述影像描述部分。
在一些公开实施例中，医学诊断部分包括所见总结、良恶性诊断和医学建议；生成模块134执行基于所述多种指标数据的结构化信息、所述医学报告的描述框架和所述影像描述部分，生成所述医学诊断部分的步骤具体包括：基于所述医学报告的描述框架，利用筛选模型对所述影像描述部分进行关键句提取，得到所述所见总结，以及根据所述多种指标数据的结构化信息和相关医学知识，得到所述良恶性诊断，并根据所述良恶性诊断生成所述医学建议。
请结合图14，图14是本申请医学报告生成装置一应用场景的结构示意图，在一应用场景中，医学报告生成装置包括获取模块、特征提取模块、分析处理模块和生成模块，其中，获取模块具体为疾病区域检测模块，特征提取模块具体为多模态影像关键医学特征提取模块，分析处理模块具体包括多模态影像报告结构化分析及框架搭建模块和医学指标一致性检测模块，生成模块具体包括医学报告所见部分生成模块和医学报告诊断部分生成模块。具体地，在获取到多模态医学影像后，将多模态医学影像输入疾病区域检测模块，利用疾病区域检测模块中的目标检测网络检测出输入的多模态医学影像中的病灶区域，得到包含病灶区域的多模态医学影像。然后利用多模态影像关键医学特征提取模块，根据包含病灶区域的多模态医学影像，获取医学报告的描述框架中的各项医学指标。其中，医学报告的描述框架由多模态影像报告结构化分析及框架搭建模块生成，具体地，多模态影像报告结构化分析及框架搭建模块结合专业的医学领域知识，利用机器学习算法对已有的多模态医学影像报告进行分析处理，挖掘报告中描述的关键信息，得到报告结构化的结果，抽取报告的描述框架，从而得到医学报告的描述框架。另外，在获取到医学报告的描述框架中的各项医学指标后，可以通过医学指标一致性检测模块对各个医学指标之间的一致性进行分析，整理出对应的一致性约束，从各个医学指标中发现可能不一致的情况，进而进行修正或向医生给出提示。然后，将最终得到的各个医学指标的结构化信息输入生成模块，输出一份符合医技报告描述风格的医学报告，并能够正确反映各项指标。所生成的医学报告包括医学报告所见部分(即影像描述部分)和医学报告诊断部分，具体地，将各个医学指标的结构化信息输入医学报告所见部分生成模块，可以输出一份正确反映医学指标且符合医技报告描述风格的总结性描述，即医学报告所见部分；之后，将各个医学指标的结构化信息连同医学报告所见部分生成模块所生成的医学报告所见部分，输入医学报告诊断部分生成模块，可以输出医学报告诊断部分，由于该部分涉及到具体的诊断，所以需要比较强的专业医学知识并根据已有的医学指标才能够得到准确的医学报告。
请参阅图15，图15是本申请电子设备一实施例的框架示意图。电子设备15包括相互耦接的存储器151和处理器152，处理器152用于执行存储器151中存储的程序指令，以实现上述任一医学报告生成方法实施例的步骤。在一个具体的实施场景中，电子设备15可以包括但不限于：微型计算机、服务器，此外，电子设备15还可以包括笔记本电脑、平板电脑等移动设备，在此不做限定。
具体而言，处理器152用于控制其自身以及存储器151以实现上述任一医学报告生成方法实施例的步骤。处理器152还可以称为CPU(Central Processing Unit，中央处理单元)。处理器152可能是一种集成电路芯片，具有信号的处理能力。处理器152还可以是通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(ApplicationSpecific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable GateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外，处理器152可以由集成电路芯片共同实现。
上述方案，能够提高医学报告的多样性和准确性，并提高医学报告生成的可解释性。
请参阅图16，图16为本申请计算机可读存储介质一实施例的框架示意图。计算机可读存储介质16存储有能够被处理器运行的程序指令160，程序指令160用于实现上述任一医学报告生成方法实施例的步骤。
上述方案，能够提高医学报告的多样性和准确性，并提高医学报告生成的可解释性。在一些实施例中，本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。
上文对各个实施例的描述倾向于强调各个实施例之间的不同之处，其相同或相似之处可以互相参考，为了简洁，本文不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性、机械或其它的形式。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (12)

1.一种医学报告生成方法，其特征在于，所述方法包括：
获取到目标对象的多张医学图像；
分别对各所述医学图像中的目标对象进行特征提取，得到所述目标对象的多种指标数据；
基于所述多种指标数据，得到多种指标数据的结构化信息和所述医学报告的描述框架；
基于所述多种指标数据的结构化信息和所述医学报告的描述框架，生成医学报告。
2.根据权利要求1所述的医学报告生成方法，其特征在于，所述获取到目标对象的多张医学图像的步骤包括：
对原始医学图像进行目标检测，识别出所述目标对象；
确定包含所述目标对象的目标区域，得到包含所述目标区域的多张所述医学图像。
3.根据权利要求1所述的医学报告生成方法，其特征在于，所述分别对各所述医学图像中的目标对象进行特征提取，得到所述目标对象的多种指标数据的步骤包括：
分别对各所述医学图像中的目标对象进行特征提取，得到各所述医学图像中的目标对象的多个特征数据；
基于所述目标对象的类型对所述多个特征数据进行分类，得到所述多种指标数据。
4.根据权利要求1所述的医学报告生成方法，其特征在于，所述基于所述多种指标数据，得到多种指标数据的结构化信息和所述医学报告的描述框架的步骤包括：
通过医学实体识别模型对所述目标对象的多种指标数据进行实体识别，得到多个实体；
对所述多个实体进行归一化处理，并对归一化处理后的各个实体之间的关系进行分析，得到实体关系分析结果；
基于所述实体关系分析结果确定所述医学报告的描述框架。
5.根据权利要求1所述的医学报告生成方法，其特征在于，在所述分别对各所述医学图像中的目标对象进行特征提取，得到所述目标对象的多种指标数据的步骤之后，所述医学报告生成方法还包括：
对各种指标数据之间的一致性进行分析，得到一致性分析结果，并根据所述一致性分析结果对所述多种指标数据进行修正和/或生成提示信息。
6.根据权利要求1～5任一项所述的医学报告生成方法，其特征在于，所述医学报告包括影像描述部分和医学诊断部分；
所述基于所述多种指标数据的结构化信息和所述医学报告的描述框架，生成医学报告的步骤包括：
利用所见部分生成模型基于所述多种指标数据的结构化信息，生成所述影像描述部分；
基于所述多种指标数据的结构化信息、所述医学报告的描述框架和所述影像描述部分，生成所述医学诊断部分。
7.根据权利要求6所述的医学报告生成方法，其特征在于，所述利用所见部分生成模型基于所述多种指标数据的结构化信息，生成所述影像描述部分的步骤包括：
将所述多种指标数据的结构化信息输入到所述所见部分生成模型的编码器，通过所述编码器对所述多种指标数据的结构化信息进行编码，得到每种指标数据的数据向量；
将所述数据向量输入到所述所见部分生成模型的解码器，通过所述解码器对所述数据向量进行解码，得到所述影像描述部分。
8.根据权利要求7所述的医学报告生成方法，其特征在于，所述将所述数据向量输入到所述所见部分生成模型的解码器，通过所述解码器对所述数据向量进行解码，得到所述影像描述部分的步骤包括：
在当前时刻的解码过程中，利用编码器输出的每个数据向量和上一时刻的解码器输出的数据向量通过注意力机制得到在解码器输入的每个数据向量上的注意力概率分布；
将编码器输出的每个数据向量根据所述注意力概率分布进行加权平均，得到当前时刻的解码器输入的数据向量；
将所述当前时刻的解码器输入的数据向量输入到所述解码器，得到当前时刻的生成概率分布；
根据当前时刻的状态向量、所述当前时刻的解码器输入的数据向量以及所述上一时刻的解码器输出的数据向量，得到当前时刻的生成概率；
利用所述当前时刻的生成概率对所述当前时刻的生成概率分布和所述注意力概率分布进行加权求和，得到当前时刻的最终概率分布；
从所述当前时刻的最终概率分布中挑选概率最大的数据向量作为当前时刻的解码器输出的数据向量；
将所述解码器输出的数据向量处理生成自然语言文本，得到所述影像描述部分。
9.根据权利要求6所述的医学报告生成方法，其特征在于，所述医学诊断部分包括所见总结、良恶性诊断和医学建议；
所述基于所述多种指标数据的结构化信息、所述医学报告的描述框架和所述影像描述部分，生成所述医学诊断部分的步骤包括：
基于所述医学报告的描述框架，利用筛选模型对所述影像描述部分进行关键句提取，得到所述所见总结，以及根据所述多种指标数据的结构化信息和相关医学知识，得到所述良恶性诊断，并根据所述良恶性诊断生成所述医学建议。
10.一种医学报告生成装置，其特征在于，所述医学报告生成装置包括：
获取模块，用于获取到目标对象的多张医学图像；
特征提取模块，用于分别对各所述医学图像中的目标对象进行特征提取，得到所述目标对象的多种指标数据；
分析处理模块，用于基于所述多种指标数据，得到多种指标数据的结构化信息和所述医学报告的描述框架；
生成模块，用于基于所述多种指标数据的结构化信息和所述医学报告的描述框架，生成医学报告。
11.一种电子设备，其特征在于，包括相互耦接的存储器和处理器，所述处理器用于执行所述存储器中存储的程序指令，以实现如权利要求1至9任一项所述的医学报告生成方法。
12.一种计算机可读存储介质，其上存储有程序指令，其特征在于，所述程序指令被处理器执行时实现如权利要求1至9任一项所述的医学报告生成方法。
CN202210470748.2A 2022-04-28 2022-04-28 医学报告生成方法以及装置、电子设备、可读存储介质 Pending CN115206478A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210470748.2A CN115206478A (zh) 2022-04-28 2022-04-28 医学报告生成方法以及装置、电子设备、可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210470748.2A CN115206478A (zh) 2022-04-28 2022-04-28 医学报告生成方法以及装置、电子设备、可读存储介质

Publications (1)

Publication Number Publication Date
CN115206478A true CN115206478A (zh) 2022-10-18

Family

ID=83575021

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210470748.2A Pending CN115206478A (zh) 2022-04-28 2022-04-28 医学报告生成方法以及装置、电子设备、可读存储介质

Country Status (1)

Country Link
CN (1) CN115206478A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116072255A (zh) * 2023-04-07 2023-05-05 北京大学第三医院（北京大学第三临床医学院） 基于人工智能的颈椎退行性疾病ct检查结构化报告系统
CN116822477A (zh) * 2023-05-16 2023-09-29 浙江法之道信息技术有限公司 一种法律文书自动生成系统
CN118072899A (zh) * 2024-02-27 2024-05-24 中国人民解放军总医院第二医学中心 一种基于扩散模型文本生成技术的骨密度报告生成平台

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116072255A (zh) * 2023-04-07 2023-05-05 北京大学第三医院（北京大学第三临床医学院） 基于人工智能的颈椎退行性疾病ct检查结构化报告系统
CN116822477A (zh) * 2023-05-16 2023-09-29 浙江法之道信息技术有限公司 一种法律文书自动生成系统
CN116822477B (zh) * 2023-05-16 2024-04-30 浙江法之道信息技术有限公司 一种法律文书自动生成系统
CN118072899A (zh) * 2024-02-27 2024-05-24 中国人民解放军总医院第二医学中心 一种基于扩散模型文本生成技术的骨密度报告生成平台

Similar Documents

Publication Publication Date Title
Pietka et al. Feature extraction in carpal-bone analysis
EP3806746B1 (en) Second reader suggestion
US10733727B2 (en) Application of deep learning for medical imaging evaluation
US7529394B2 (en) CAD (computer-aided decision) support for medical imaging using machine learning to adapt CAD process with knowledge collected during routine use of CAD system
EP1711908B1 (en) Systems and methods for automated diagnosis and decision support for heart related diseases and conditions
US7995820B2 (en) System and method for detection of fetal anatomies from ultrasound images using a constrained probabilistic boosting tree
US7693315B2 (en) Systems and methods for providing automated regional myocardial assessment for cardiac imaging
WO2021186592A1 (ja) 診断支援装置及びモデル生成装置
JP2021002339A (ja) 画像内での構造又は物質セグメンテーションに基づいた機械学習分類のための方法及びシステム
Nurmaini et al. Accurate detection of septal defects with fetal ultrasonography images using deep learning-based multiclass instance segmentation
US20050251013A1 (en) Systems and methods providing automated decision support for medical imaging
CN115206478A (zh) 医学报告生成方法以及装置、电子设备、可读存储介质
US20040193036A1 (en) System and method for performing probabilistic classification and decision support using multidimensional medical image databases
US12027267B2 (en) Information processing apparatus, information processing system, information processing method, and non-transitory computer-readable storage medium for computer-aided diagnosis
Lang et al. Localization of craniomaxillofacial landmarks on CBCT images using 3D mask R-CNN and local dependency learning
Mihail et al. Automatic hand skeletal shape estimation from radiographs
CN116524248B (zh) 医学数据处理装置、方法及分类模型训练装置
WO2020099941A1 (en) Application of deep learning for medical imaging evaluation
WO2022112731A1 (en) Decision for double reader
CN111209945A (zh) 基于ai的影像科医疗影像辅助识别方法及系统
CN118262220B (zh) 放射影像报告的质量评估方法、装置和设备
Ramos Analysis of medical images to support decision-making in the musculoskeletal field
US20220254026A1 (en) Deep Learning Architecture For Analyzing Medical Images For Body Region Recognition And Delineation
Rajalakshmi YOLOv8 Kidney Guard: Smart Imaging for Stone Detection Using Deep Learning
CN117457142A (zh) 用于报告生成的医学影像处理系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination