CN117457142A - 用于报告生成的医学影像处理系统及方法 - Google Patents

用于报告生成的医学影像处理系统及方法 Download PDF

Info

Publication number
CN117457142A
CN117457142A CN202311538173.4A CN202311538173A CN117457142A CN 117457142 A CN117457142 A CN 117457142A CN 202311538173 A CN202311538173 A CN 202311538173A CN 117457142 A CN117457142 A CN 117457142A
Authority
CN
China
Prior art keywords
medical image
feature map
feature
deep
autocorrelation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311538173.4A
Other languages
English (en)
Inventor
胡利荣
伍华樑
尤堃
张跃华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Feitu Imaging Technology Co ltd
Original Assignee
Zhejiang Feitu Imaging Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Feitu Imaging Technology Co ltd filed Critical Zhejiang Feitu Imaging Technology Co ltd
Priority to CN202311538173.4A priority Critical patent/CN117457142A/zh
Publication of CN117457142A publication Critical patent/CN117457142A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/52—Scale-space analysis, e.g. wavelet analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Public Health (AREA)
  • Software Systems (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Primary Health Care (AREA)
  • Quality & Reliability (AREA)
  • Epidemiology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本发明公开了一种用于报告生成的医学影像处理系统及方法，其获取待分析医学影像；提取所述待分析医学影像的浅层特征、中层特征和深层特征以得到医学影像浅层特征图、医学影像中层特征图和医学影像深层特征图；对所述医学影像浅层特征图、所述医学影像中层特征图和所述医学影像深层特征图进行融合与强化以得到优化后自相关强化医学影像特征矩阵；及，基于所述优化后自相关强化医学影像特征矩阵，生成报告文本。这样，可以为医生的诊断和决策提供有价值的参考，减少医生花费在报告撰写上的时间，使他们能够更专注于临床工作和患者护理。

Description

用于报告生成的医学影像处理系统及方法
技术领域
本发明涉及智能化医学影像处理技术领域，尤其涉及一种用于报告生成的医学影像处理系统及方法。
背景技术
医学影像是通过使用各种成像技术（如X射线、计算机断层扫描、磁共振成像、超声波和核医学）来获取人体内部结构和功能信息的图像。这些图像可以提供医生和医学专业人员对疾病、损伤和异常情况的详细了解。
医学影像在临床医学中发挥着重要的作用。它们可以帮助医生进行早期疾病诊断、评估疾病的严重程度和进展、制定治疗方案、指导手术操作，并监测治疗的效果。
生成基于医学影像的报告具有多个重要的目的。但是，在生成报告时仍面临一些挑战。传统的医学影像分析方法通常需要人工花费大量时间来进行撰写。
因此，期待一种优化的用于报告生成的医学影像处理方法。
发明内容
本发明实施例提供一种用于报告生成的医学影像处理系统及方法，其获取待分析医学影像；提取所述待分析医学影像的浅层特征、中层特征和深层特征以得到医学影像浅层特征图、医学影像中层特征图和医学影像深层特征图；对所述医学影像浅层特征图、所述医学影像中层特征图和所述医学影像深层特征图进行融合与强化以得到优化后自相关强化医学影像特征矩阵；及，基于所述优化后自相关强化医学影像特征矩阵，生成报告文本。这样，可以为医生的诊断和决策提供有价值的参考，减少医生花费在报告撰写上的时间，使他们能够更专注于临床工作和患者护理。
本发明实施例还提供了一种用于报告生成的医学影像处理方法，其包括：
获取待分析医学影像；
提取所述待分析医学影像的浅层特征、中层特征和深层特征以得到医学影像浅层特征图、医学影像中层特征图和医学影像深层特征图；
对所述医学影像浅层特征图、所述医学影像中层特征图和所述医学影像深层特征图进行融合与强化以得到优化后自相关强化医学影像特征矩阵；及
基于所述优化后自相关强化医学影像特征矩阵，生成报告文本。
本发明实施例还提供了一种用于报告生成的医学影像处理系统，其包括：
医学影像获取模块，用于获取待分析医学影像；
特征图提取模块，用于提取所述待分析医学影像的浅层特征、中层特征和深层特征以得到医学影像浅层特征图、医学影像中层特征图和医学影像深层特征图；
融合与强化模块，用于对所述医学影像浅层特征图、所述医学影像中层特征图和所述医学影像深层特征图进行融合与强化以得到优化后自相关强化医学影像特征矩阵；及
报告文本生成模块，用于基于所述优化后自相关强化医学影像特征矩阵，生成报告文本。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1为本发明实施例中提供的一种用于报告生成的医学影像处理方法的流程图。
图2为本发明实施例中提供的一种用于报告生成的医学影像处理方法的系统架构的示意图。
图3为本发明实施例中提供的一种用于报告生成的医学影像处理系统的框图。
图4为本发明实施例中提供的一种用于报告生成的医学影像处理方法的应用场景图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本发明实施例做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。
除非另有说明，本申请实施例所使用的所有技术和科学术语与本申请的技术领域的技术人员通常理解的含义相同。本申请中所使用的术语只是为了描述具体的实施例的目的，不是旨在限制本申请的范围。
在本申请实施例记载中，需要说明的是，除非另有说明和限定，术语“连接”应做广义理解，例如，可以是电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
需要说明的是，本申请实施例所涉及的术语“第一\第二\第三”仅仅是是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序。应该理解“第一\第二\第三”区分的对象在适当情况下可以互换，以使这里描述的本申请的实施例可以除了在这里图示或描述的那些以外的顺序实施。
医学影像是一种重要的医学诊断工具，通过使用不同的成像技术来获取人体内部结构和功能信息的图像，这些图像可以帮助医生和医学专业人员更好地了解疾病、损伤和异常情况，从而做出准确的诊断和治疗计划。
X射线是最常见的医学影像技术之一，使用X射线穿过人体，通过检测射线的吸收程度来生成图像，X射线可以用于检查骨骼、肺部和某些软组织结构。CT扫描利用X射线和计算机技术生成详细的横断面图像，可以提供比传统X射线更详细的图像，有助于检测肿瘤、血管疾病、骨折等。磁共振成像使用强磁场和无害的无线电波来生成高分辨率的图像，可以提供详细的解剖结构和组织信息，对于检查脑部、脊柱、关节、内脏器官等具有很高的准确性。超声波利用高频声波的回声来生成图像，是一种无创的成像技术，可用于检查胎儿、腹部、心脏、血管等，超声波对于实时观察器官和流体动态变化非常有用。核医学使用放射性示踪剂来观察人体内部器官和组织的功能。例如，单光子发射计算机断层扫描（SPECT）和正电子发射计算机断层扫描（PET）可以用于检测癌症、心血管疾病和神经系统疾病。
医学影像在临床医学中发挥着重要的作用，为医生提供了非常有价值的信息，用于早期疾病诊断、评估疾病的严重程度和进展、制定治疗方案、指导手术操作，并监测治疗的效果。医学影像技术可以帮助医生在疾病发展的早期阶段发现异常情况。例如，通过X射线或CT扫描可以检测出肺部结节，MRI可以帮助早期发现脑部肿瘤，早期诊断有助于及早采取治疗措施，提高治疗成功率。医学影像可以帮助医生评估疾病的严重程度和进展情况。例如，MRI可以提供详细的关节结构图像，帮助评估关节炎的程度，通过定期进行影像检查，医生可以监测疾病的变化，调整治疗方案。
医学影像可以为医生制定治疗方案提供重要依据。例如，在癌症治疗中，CT、MRI和PET扫描可以帮助确定肿瘤的位置、大小和扩散情况，从而决定手术、放疗、化疗等治疗方式和方案。医学影像在手术中的应用越来越广泛。例如，使用CT或MRI图像进行三维重建，可以帮助医生在手术前规划手术路径和确定手术范围，在手术过程中，医生可以利用实时的X射线或超声波图像来引导手术操作，提高手术的准确性和安全性。医学影像可以用于监测治疗的效果。例如，通过比较治疗前后的影像，可以评估肿瘤的缩小程度，判断治疗是否有效，有助于医生及时调整治疗方案，提供更好的治疗效果。
在本发明的一个实施例中，图1为本发明实施例中提供的一种用于报告生成的医学影像处理方法的流程图。图2为本发明实施例中提供的一种用于报告生成的医学影像处理方法的系统架构的示意图。如图1和图2所示，根据本发明实施例的用于报告生成的医学影像处理方法，包括：110，获取待分析医学影像；120，提取所述待分析医学影像的浅层特征、中层特征和深层特征以得到医学影像浅层特征图、医学影像中层特征图和医学影像深层特征图；130，对所述医学影像浅层特征图、所述医学影像中层特征图和所述医学影像深层特征图进行融合与强化以得到优化后自相关强化医学影像特征矩阵；及，140，基于所述优化后自相关强化医学影像特征矩阵，生成报告文本。
所述步骤110获取需要进行分析的医学影像，这些影像可以是来自各种医学影像设备（如X射线、CT、MRI等）所生成的图像，通过获取待分析的医学影像，可以为后续的分析和诊断提供必要的数据。
所述步骤120通过使用深度学习和计算机视觉技术，从待分析的医学影像中提取浅层特征、中层特征和深层特征，可以是图像的低级视觉特征（如边缘、纹理等）到高级语义特征（如器官、病变等）的表示，提取不同层次的特征有助于捕捉医学影像中不同级别的信息，为后续的分析和诊断提供更全面的数据。
所述步骤130，将所提取的医学影像特征图进行融合与强化，以得到优化后的自相关强化医学影像特征矩阵。融合与强化可以通过不同的方法和技术实现，例如特征融合、特征加权、特征增强等，这一步骤的目的是综合利用不同层次的特征信息，提高特征的表达能力和区分度，从而得到更具有代表性和区分性的特征矩阵。
所述步骤140基于优化后的自相关强化医学影像特征矩阵，可以应用自然语言处理和机器学习技术，生成相应的报告文本。报告文本可以包括对医学影像的描述、诊断结果、病变评估、治疗建议等内容，通过自动化生成报告文本，可以提高工作效率，减轻医生的工作负担，并确保报告的一致性和准确性。
通过获取待分析医学影像、提取特征、融合与强化特征，并基于优化后的特征生成报告文本，可以实现对医学影像的自动化分析和诊断。这些步骤可以提供必要的数据、捕捉不同层次的信息、提高特征的表达能力和区分度，以及提高工作效率和报告准确性，有助于改善医学影像分析和诊断的效果，并为医生提供更准确、快速的诊断结果。
生成基于医学影像的报告具有多个重要的目的。具体来说，首先，报告可以将医学影像的结果和观察记录下来，以便医生和其他医疗专业人员能够查阅和理解。其次，报告可以提供对病情的描述和分析，包括病灶的位置、大小、形态和密度等信息，帮助医生进行准确的诊断和治疗计划制定。此外，报告还可以作为医学影像结果的传递和沟通工具，使医生、患者和其他医疗团队成员之间能够共享和讨论病情。
但是，在生成报告时仍面临一些挑战。传统的医学影像分析方法通常需要人工花费大量时间来进行撰写。因此，期待一种优化的用于报告生成的医学影像处理方法。
针对上述技术问题，本申请的技术构思是对待分析医学影像进行病灶感兴趣区域提取与分析，并以此来生成报告文本，为医生的诊断和决策提供有价值的参考。同时，减少医生花费在报告撰写上的时间，使他们能够更专注于临床工作和患者护理。
基于此，在本申请的技术方案中，首先获取待分析医学影像。其中，所述待分析医学影像可以来自于各种成像技术，如X射线、计算机断层扫描（CT）、磁共振成像（MRI）、超声波和核医学等。
然后，对所述待分析医学影像进行降噪处理以得到降噪后待分析医学影像。这里，考虑到医学影像通常受到噪声的影响，例如成像设备中的电子噪声、伽马射线中的散射噪声等，这些噪声会降低图像的质量和清晰度，使细节难以辨别，甚至可能会掩盖或扭曲图像中的重要特征，如病变。通过降噪处理可以减少噪声的影响，使图像中的重要特征更加明显和可辨认。
具体地，可以采用基于统计学原理的滤波器来对图像中的像素进行统计分析以降低噪声，例如，均值滤波器和中值滤波器。均值滤波器通过计算邻域像素的平均值来平滑图像，中值滤波器则通过计算邻域像素的中值来去除噪声。也可以采用偏微分方程（PDE）方法来进行降噪处理。其中，偏微分方程（PDE）方法通过描述图像中的灰度变化和纹理信息来降噪。例如，全变差正则化（Total Variation Regularization）是一种常用的基于PDE的降噪方法，它通过最小化图像的全变差来平滑图像。
在本申请的一个具体实施例中，提取所述待分析医学影像的浅层特征、中层特征和深层特征以得到医学影像浅层特征图、医学影像中层特征图和医学影像深层特征图，包括：对所述待分析医学影像进行降噪处理以得到降噪后待分析医学影像；及，将所述降噪后待分析医学影像通过基于金字塔网络的医学影像特征提取器以得到所述医学影像浅层特征图、所述医学影像中层特征图和所述医学影像深层特征图。
接着，将所述降噪后待分析医学影像通过基于金字塔网络的医学影像特征提取器以得到医学影像浅层特征图、医学影像中层特征图和医学影像深层特征图；并使用特征图级联融合模块来融合所述医学影像浅层特征图、所述医学影像中层特征图和所述医学影像深层特征图以得到医学影像多尺度特征图。应可以理解，医学影像通常包含丰富的层次结构和多样的特征。浅层特征主要包含低级的图像特征，如边缘、纹理等；中层特征则具有更高级别的语义信息，如形状、结构等；而深层特征则可以捕捉到更抽象和高级的语义特征表示。通过提取并融合多层特征，可以使模型具备更全面和多样化的特征表达能力。
在本申请的一个具体实施例中，将所述降噪后待分析医学影像通过基于金字塔网络的医学影像特征提取器以得到所述医学影像浅层特征图、所述医学影像中层特征图和所述医学影像深层特征图，包括：将所述降噪后待分析医学影像通过所述基于金字塔网络的医学影像特征提取器的第一卷积模块以得到所述医学影像浅层特征图；将所述降噪后待分析医学影像通过所述基于金字塔网络的医学影像特征提取器的第二卷积模块以得到所述医学影像中层特征图；以及，将所述降噪后待分析医学影像通过所述基于金字塔网络的医学影像特征提取器的第三卷积模块以得到所述医学影像深层特征图。
在本申请的一个具体实施例中，对所述医学影像浅层特征图、所述医学影像中层特征图和所述医学影像深层特征图进行融合与强化以得到优化后自相关强化医学影像特征矩阵，包括：使用特征图级联融合模块来融合所述医学影像浅层特征图、所述医学影像中层特征图和所述医学影像深层特征图以得到医学影像多尺度特征图；对所述医学影像多尺度特征图进行特征自相关关联强化以得到自相关强化医学影像多尺度特征图；对所述自相关强化医学影像多尺度特征图进行降维处理以得到自相关强化医学影像特征矩阵；以及，对所述自相关强化医学影像特征矩阵进行特征分布优化以得到所述优化后自相关强化医学影像特征矩阵。
进一步地，使用特征图级联融合模块来融合所述医学影像浅层特征图、所述医学影像中层特征图和所述医学影像深层特征图以得到医学影像多尺度特征图，包括：对所述医学影像深层特征图通过基于第一上采样因子的上采样与卷积模块以得到第一上采样深层卷积编码特征图；对所述医学影像中层特征图通过基于第二上采样因子的上采样与卷积模块以得到第一上采样中层卷积编码特征图；将所述第一上采样深层卷积编码特征图、所述第一上采样中层卷积编码特征图和所述医学影像浅层特征图进行逐元素相乘操作以得到浅-中-深交互特征图；对所述医学影像深层特征图通过基于第二上采样因子的上采样与卷积模块以得到第二上采样深层卷积编码特征图；将所述医学影像中层特征图和所述第二上采样深层卷积编码特征图进行逐元素相乘操作以得到中-深交互特征图；将所述第二上采样深层卷积编码特征图和所述中-深交互特征图进行拼接处理以得到中-深拼接交互特征图；对所述中-深拼接交互特征图通过卷积处理和上采样处理以得到调整后中-深拼接交互特征图，所述调整后中-深拼接交互特征图与所述浅-中-深交互特征图具有相同的尺寸；以及，将所述浅-中-深交互特征图和所述调整后中-深拼接交互特征图进行拼接处理以得到所述医学影像多尺度特征图。
应可以理解，虽然所述医学影像多尺度特征图是由所述医学影像浅层特征图、所述医学影像中层特征图和所述医学影像深层特征图进行深度地特征交互所得，表达了医学影像关于病灶信息的多尺度特征。但是，医学影像中的不同空间位置处所表达的图像语义信息与病灶特征分布信息的程度有所不同。也就是说，所述特征图中各个位置处的特征值对于形成完整的目标特征信息具有不同的重要性。因此，在本申请的技术方案中，对所述医学影像多尺度特征图进行特征自相关关联强化以得到自相关强化医学影像多尺度特征图。其中，对所述医学影像多尺度特征图进行特征自相关关联强化以得到自相关强化医学影像多尺度特征图的实现方式是通过将所述医学影像多尺度特征图通过特征自相关关联强化模块进行处理以得到所述自相关强化医学影像多尺度特征图。
其中，所述自相关强化模块通过构造所述医学影像多尺度特征图中各个特征值之间的相似性来构造关系矩阵，并以关系矩阵来聚合关于目标病灶特征的完整信息。通过这样的方式，帮助模型更好地理解影像中不同区域之间的关系，并凸显出重要区域的特征分布。
在本申请的一个具体实施例中，对所述医学影像多尺度特征图进行特征自相关关联强化以得到自相关强化医学影像多尺度特征图，包括：对所述医学影像多尺度特征图通过特征自相关关联强化模块的第一卷积层以得到第一特征图；将所述第一特征图通过所述特征自相关关联强化模块的第二卷积层以得到第二特征图；将所述第二特征图沿通道维度的各个特征矩阵展开为特征向量以得到第一特征向量的序列；计算所述第一特征向量的序列中的任意两个第一特征向量之间的余弦相似度以得到余弦相似性特征图；将所述余弦相似性特征图通过Softmmax函数进行归一化处理以得到归一化余弦相似性特征图；将所述归-化余弦相似性特征图与所述余弦相似性特征图进行按位置点乘以得到相似度映射优化特征图；将所述相似度映射优化特征图通过所述特征自相关关联强化模块的第一反卷积层以得到第一反卷积特征图；计算所述第一反卷积特征图和所述第一特征图的逐元素和以得到第一融合特征图；将所述第-融合特征图通过所述特征自相关关联强化模块的第二反卷积层以得到第二反卷积特征图；计算所述第二反卷积特征图和所述医学影像多尺度特征图的逐元素和以得到所述自相关强化医学影像多尺度特征图。
随后，对所述自相关强化医学影像多尺度特征图进行沿通道维度的全局均值池化以得到自相关强化医学影像特征矩阵。
在本申请的一个具体实施例中，对所述自相关强化医学影像多尺度特征图进行降维处理以得到自相关强化医学影像特征矩阵，包括：对所述自相关强化医学影像多尺度特征图进行沿通道维度的全局均值池化以得到所述自相关强化医学影像特征矩阵。
在本申请的技术方案中，所述医学影像浅层特征图、所述医学影像中层特征图和所述医学影像深层特征图分别表达所述降噪后待分析医学影像的基于金字塔网络的不同尺度和不同深度的图像语义特征，这样，在使用特征图级联融合模块来融合所述医学影像浅层特征图、所述医学影像中层特征图和所述医学影像深层特征图，并对得到的所述医学影像多尺度特征图进行特征自相关关联强化时，可以基于各个特征矩阵的跨尺度和跨深度图像语义特征表示对通道维度的关联性进行约束，使得所述自相关强化医学影像多尺度特征图的通道分布也遵循跨尺度和跨深度图像语义特征分布，由此，对所述自相关强化医学影像多尺度特征图进行沿通道维度的全局均值池化后，得到的所述自相关强化医学影像特征矩阵就会具有跨尺度和跨深度图像语义特征分布。
因此，考虑到所述自相关强化医学影像特征矩阵的这种跨尺度和深度维度的图像语义特征分布之间的差异性，会导致所述自相关强化医学影像特征矩阵的与维度子集相关的图像语义特征分布的分布稀疏化，从而导致将所述自相关强化医学影像特征矩阵通过Softmax函数进行逐像素类概率回归映射时，所述自相关强化医学影像特征矩阵的各个特征值的回归概率的概率密度分布的收敛性差，影响通过Softmax函数得到的逐像素分类结果的准确性。
因此，优选地，对所述自相关强化医学影像特征矩阵的各个特征值进行优化，具体表示为：以如下优化公式对所述自相关强化医学影像特征矩阵的各个特征值进行优化以得到所述优化后自相关强化医学影像特征矩阵；其中，所述优化公式为：其中，/>和/>是所述自相关强化医学影像特征矩阵/>的第/>和第/>个特征值，且/>是所述自相关强化医学影像特征矩阵的全局特征均值，/>是所述优化后自相关强化医学影像特征矩阵的第/>个特征值，表示计算以数值为幂的自然指数函数值。
具体地，针对所述自相关强化医学影像特征矩阵在高维特征空间内的稀疏分布导致的概率空间内概率密度分布的局部概率密度不匹配，通过正则化全局自洽类编码，来模仿所述自相关强化医学影像特征矩阵/>的高维特征在概率空间内的编码行为的全局自洽关系，以调整在高维开放空间域内的特征流形的误差景观，实现所述自相关强化医学影像特征矩阵/>的高维特征对显式概率空间嵌入的自洽匹配式类编码，从而提升所述自相关强化医学影像特征矩阵/>的回归概率的概率密度分布的收敛性，改进其通过Softmax函数得到的逐像素分类结果的准确性。
继而，使用Softmax函数对所述优化后自相关强化医学影像特征矩阵进行逐像素分类以得到病灶感兴趣区域提取结果。其中，Softmax函数输出的是概率值，表示每个像素位置属于不同类别的置信度。这种概率输出可以提供更细粒度的信息，而可以不仅仅是简单的二元分类结果。通过设置适当的阈值，可以根据概率值将像素分为感兴趣区域和非感兴趣区域，从而得到更精确的病灶提取结果。这里，所述病灶感兴趣区域提取结果可以视作为病灶感兴趣区域图像。
继而，对所述病灶感兴趣区域提取结果进行几何形态分析以得到分析结果，所述分析结果包括病灶大小、病灶形态和病灶密度；并基于所述病灶感兴趣区域提取结果和所述分析结果，生成报告文本。
其中，几何形态分析是一种用于研究对象形状和结构的分析方法。它涉及对几何形状的各种度量和特征进行定量分析，以获得对形状的描述和理解。也就是，几何形态分析可以从不同的角度对对象的形状进行量化和描述。
具体地，在本申请的实施例中，基于所述病灶感兴趣区域提取结果和所述分析结果，生成报告文本的过程，包括：首先，将从医学影像中提取的病灶感兴趣区域结果与原始影像进行对应，可以通过颜色映射或叠加等方式将感兴趣区域在原始影像上进行可视化，以直观地展示病灶的位置和形状。接着，根据提取的病灶感兴趣区域和分析结果，使用自然语言处理技术生成相应的报告文本。可以根据实际需求设计生成报告的模板，包括报告的结构、段落和句子的组织方式。然后，将分析结果以结构化的方式插入报告文本中，例如使用表格或列表形式呈现病灶的特征参数。
在本申请的一个具体实施例中，基于所述优化后自相关强化医学影像特征矩阵，生成报告文本，包括：使用Softmax函数对所述优化后自相关强化医学影像特征矩阵进行逐像素分类以得到病灶感兴趣区域提取结果；对所述病灶感兴趣区域提取结果进行几何形态分析以得到分析结果，所述分析结果包括病灶大小、病灶形态和病灶密度；以及，基于所述病灶感兴趣区域提取结果和所述分析结果，生成报告文本。
综上，基于本发明实施例的用于报告生成的医学影像处理方法被阐明，其对待分析医学影像进行病灶感兴趣区域提取与分析，并以此来生成报告文本，为医生的诊断和决策提供有价值的参考。同时，减少医生花费在报告撰写上的时间，使他们能够更专注于临床工作和患者护理。
图3为本发明实施例中提供的一种用于报告生成的医学影像处理系统的框图。如图3所示，所述用于报告生成的医学影像处理系统200，包括：医学影像获取模块210，用于获取待分析医学影像；特征图提取模块220，用于提取所述待分析医学影像的浅层特征、中层特征和深层特征以得到医学影像浅层特征图、医学影像中层特征图和医学影像深层特征图；融合与强化模块230，用于对所述医学影像浅层特征图、所述医学影像中层特征图和所述医学影像深层特征图进行融合与强化以得到优化后自相关强化医学影像特征矩阵；及，报告文本生成模块240，用于基于所述优化后自相关强化医学影像特征矩阵，生成报告文本。
本领域技术人员可以理解，上述用于报告生成的医学影像处理系统中的各个步骤的具体操作已经在上面参考图1到图2的用于报告生成的医学影像处理方法的描述中得到了详细介绍，并因此，将省略其重复描述。
如上所述，根据本发明实施例的用于报告生成的医学影像处理系统200可以实现在各种终端设备中，例如用于报告生成的医学影像处理的服务器等。在一个示例中，根据本发明实施例的用于报告生成的医学影像处理系统200可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如，该用于报告生成的医学影像处理系统200可以是该终端设备的操作系统中的一个软件模块，或者可以是针对于该终端设备所开发的一个应用程序；当然，该用于报告生成的医学影像处理系统200同样可以是该终端设备的众多硬件模块之一。
替换地，在另一示例中，该用于报告生成的医学影像处理系统200与该终端设备也可以是分立的设备，并且该用于报告生成的医学影像处理系统200可以通过有线和/或无线网络连接到该终端设备，并且按照约定的数据格式来传输交互信息。
图4为本发明实施例中提供的一种用于报告生成的医学影像处理方法的应用场景图。如图4所示，在该应用场景中，首先，获取待分析医学影像（例如，如图4中所示意的C）；然后，将获取的待分析医学影像输入至部署有用于报告生成的医学影像处理算法的服务器（例如，如图4中所示意的S）中，其中所述服务器能够基于用于报告生成的医学影像处理算法对所述待分析医学影像进行处理，以生成报告文本。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种用于报告生成的医学影像处理方法，其特征在于，包括：
获取待分析医学影像；
提取所述待分析医学影像的浅层特征、中层特征和深层特征以得到医学影像浅层特征图、医学影像中层特征图和医学影像深层特征图；
对所述医学影像浅层特征图、所述医学影像中层特征图和所述医学影像深层特征图进行融合与强化以得到优化后自相关强化医学影像特征矩阵；及
基于所述优化后自相关强化医学影像特征矩阵，生成报告文本。
2.根据权利要求1所述的用于报告生成的医学影像处理方法，其特征在于，提取所述待分析医学影像的浅层特征、中层特征和深层特征以得到医学影像浅层特征图、医学影像中层特征图和医学影像深层特征图，包括：
对所述待分析医学影像进行降噪处理以得到降噪后待分析医学影像；及
将所述降噪后待分析医学影像通过基于金字塔网络的医学影像特征提取器以得到所述医学影像浅层特征图、所述医学影像中层特征图和所述医学影像深层特征图。
3.根据权利要求2所述的用于报告生成的医学影像处理方法，其特征在于，将所述降噪后待分析医学影像通过基于金字塔网络的医学影像特征提取器以得到所述医学影像浅层特征图、所述医学影像中层特征图和所述医学影像深层特征图，包括：
将所述降噪后待分析医学影像通过所述基于金字塔网络的医学影像特征提取器的第一卷积模块以得到所述医学影像浅层特征图；
将所述降噪后待分析医学影像通过所述基于金字塔网络的医学影像特征提取器的第二卷积模块以得到所述医学影像中层特征图；以及
将所述降噪后待分析医学影像通过所述基于金字塔网络的医学影像特征提取器的第三卷积模块以得到所述医学影像深层特征图。
4.根据权利要求3所述的用于报告生成的医学影像处理方法，其特征在于，对所述医学影像浅层特征图、所述医学影像中层特征图和所述医学影像深层特征图进行融合与强化以得到优化后自相关强化医学影像特征矩阵，包括：
使用特征图级联融合模块来融合所述医学影像浅层特征图、所述医学影像中层特征图和所述医学影像深层特征图以得到医学影像多尺度特征图；
对所述医学影像多尺度特征图进行特征自相关关联强化以得到自相关强化医学影像多尺度特征图；
对所述自相关强化医学影像多尺度特征图进行降维处理以得到自相关强化医学影像特征矩阵；以及
对所述自相关强化医学影像特征矩阵进行特征分布优化以得到所述优化后自相关强化医学影像特征矩阵。
5.根据权利要求4所述的用于报告生成的医学影像处理方法，其特征在于，使用特征图级联融合模块来融合所述医学影像浅层特征图、所述医学影像中层特征图和所述医学影像深层特征图以得到医学影像多尺度特征图，包括：
对所述医学影像深层特征图通过基于第一上采样因子的上采样与卷积模块以得到第一上采样深层卷积编码特征图；
对所述医学影像中层特征图通过基于第二上采样因子的上采样与卷积模块以得到第一上采样中层卷积编码特征图；
将所述第一上采样深层卷积编码特征图、所述第一上采样中层卷积编码特征图和所述医学影像浅层特征图进行逐元素相乘操作以得到浅-中-深交互特征图；
对所述医学影像深层特征图通过基于第二上采样因子的上采样与卷积模块以得到第二上采样深层卷积编码特征图；
将所述医学影像中层特征图和所述第二上采样深层卷积编码特征图进行逐元素相乘操作以得到中-深交互特征图；
将所述第二上采样深层卷积编码特征图和所述中-深交互特征图进行拼接处理以得到中-深拼接交互特征图；
对所述中-深拼接交互特征图通过卷积处理和上采样处理以得到调整后中-深拼接交互特征图，所述调整后中-深拼接交互特征图与所述浅-中-深交互特征图具有相同的尺寸；以及
将所述浅-中-深交互特征图和所述调整后中-深拼接交互特征图进行拼接处理以得到所述医学影像多尺度特征图。
6.根据权利要求5所述的用于报告生成的医学影像处理方法，其特征在于，对所述医学影像多尺度特征图进行特征自相关关联强化以得到自相关强化医学影像多尺度特征图，包括：
对所述医学影像多尺度特征图通过特征自相关关联强化模块的第一卷积层以得到第一特征图；
将所述第一特征图通过所述特征自相关关联强化模块的第二卷积层以得到第二特征图；
将所述第二特征图沿通道维度的各个特征矩阵展开为特征向量以得到第一特征向量的序列；
计算所述第一特征向量的序列中的任意两个第一特征向量之间的余弦相似度以得到余弦相似性特征图；
将所述余弦相似性特征图通过Softmmax函数进行归一化处理以得到归一化余弦相似性特征图；
将所述归-化余弦相似性特征图与所述余弦相似性特征图进行按位置点乘以得到相似度映射优化特征图；
将所述相似度映射优化特征图通过所述特征自相关关联强化模块的第一反卷积层以得到第一反卷积特征图；
计算所述第一反卷积特征图和所述第一特征图的逐元素和以得到第一融合特征图；
将所述第-融合特征图通过所述特征自相关关联强化模块的第二反卷积层以得到第二反卷积特征图；
计算所述第二反卷积特征图和所述医学影像多尺度特征图的逐元素和以得到所述自相关强化医学影像多尺度特征图。
7.根据权利要求6所述的用于报告生成的医学影像处理方法，其特征在于，对所述自相关强化医学影像多尺度特征图进行降维处理以得到自相关强化医学影像特征矩阵，包括：
对所述自相关强化医学影像多尺度特征图进行沿通道维度的全局均值池化以得到所述自相关强化医学影像特征矩阵。
8.根据权利要求7所述的用于报告生成的医学影像处理方法，其特征在于，基于所述优化后自相关强化医学影像特征矩阵，生成报告文本，包括：
使用Softmax函数对所述优化后自相关强化医学影像特征矩阵进行逐像素分类以得到病灶感兴趣区域提取结果；
对所述病灶感兴趣区域提取结果进行几何形态分析以得到分析结果，所述分析结果包括病灶大小、病灶形态和病灶密度；以及
基于所述病灶感兴趣区域提取结果和所述分析结果，生成报告文本。
9.一种用于报告生成的医学影像处理系统，其特征在于，包括：
医学影像获取模块，用于获取待分析医学影像；
特征图提取模块，用于提取所述待分析医学影像的浅层特征、中层特征和深层特征以得到医学影像浅层特征图、医学影像中层特征图和医学影像深层特征图；
融合与强化模块，用于对所述医学影像浅层特征图、所述医学影像中层特征图和所述医学影像深层特征图进行融合与强化以得到优化后自相关强化医学影像特征矩阵；及
报告文本生成模块，用于基于所述优化后自相关强化医学影像特征矩阵，生成报告文本。
10.根据权利要求9所述的用于报告生成的医学影像处理系统，其特征在于，所述特征图提取模块，包括：
降噪处理单元，用于对所述待分析医学影像进行降噪处理以得到降噪后待分析医学影像；及
特征提取单元，用于将所述降噪后待分析医学影像通过基于金字塔网络的医学影像特征提取器以得到所述医学影像浅层特征图、所述医学影像中层特征图和所述医学影像深层特征图。
CN202311538173.4A 2023-11-17 2023-11-17 用于报告生成的医学影像处理系统及方法 Pending CN117457142A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311538173.4A CN117457142A (zh) 2023-11-17 2023-11-17 用于报告生成的医学影像处理系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311538173.4A CN117457142A (zh) 2023-11-17 2023-11-17 用于报告生成的医学影像处理系统及方法

Publications (1)

Publication Number Publication Date
CN117457142A true CN117457142A (zh) 2024-01-26

Family

ID=89592897

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311538173.4A Pending CN117457142A (zh) 2023-11-17 2023-11-17 用于报告生成的医学影像处理系统及方法

Country Status (1)

Country Link
CN (1) CN117457142A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109583440A (zh) * 2017-09-28 2019-04-05 北京西格码列顿信息技术有限公司 结合影像识别与报告编辑的医学影像辅助诊断方法及系统
CN110956634A (zh) * 2020-02-26 2020-04-03 南京慧脑云计算有限公司 一种基于深度学习的脑微出血自动检测方法及系统
CN112232232A (zh) * 2020-10-20 2021-01-15 城云科技（中国）有限公司 一种目标检测方法
CN116563302A (zh) * 2023-05-30 2023-08-08 杭州医锐联科技有限公司 智慧医疗信息管理系统及其方法
CN116779091A (zh) * 2023-06-15 2023-09-19 兰州交通大学 一种多模态网络互联融合的胸部影像诊断报告自动生成方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109583440A (zh) * 2017-09-28 2019-04-05 北京西格码列顿信息技术有限公司 结合影像识别与报告编辑的医学影像辅助诊断方法及系统
CN110956634A (zh) * 2020-02-26 2020-04-03 南京慧脑云计算有限公司 一种基于深度学习的脑微出血自动检测方法及系统
CN112232232A (zh) * 2020-10-20 2021-01-15 城云科技（中国）有限公司 一种目标检测方法
CN116563302A (zh) * 2023-05-30 2023-08-08 杭州医锐联科技有限公司 智慧医疗信息管理系统及其方法
CN116779091A (zh) * 2023-06-15 2023-09-19 兰州交通大学 一种多模态网络互联融合的胸部影像诊断报告自动生成方法

Similar Documents

Publication Publication Date Title
Pranata et al. Deep learning and SURF for automated classification and detection of calcaneus fractures in CT images
Parvaiz et al. Vision transformers in medical computer vision—A contemplative retrospection
JP6014059B2 (ja) 医療データの知的リンキング方法及びシステム
Cheema et al. Liver extraction using residual convolution neural networks from low-dose CT images
Ni et al. Asymmetry disentanglement network for interpretable acute ischemic stroke infarct segmentation in non-contrast CT scans
Jiang et al. Novel automated spinal ultrasound segmentation approach for scoliosis visualization
Dourthe et al. Automated segmentation of spinal muscles from upright open MRI using a multiscale pyramid 2D convolutional neural network
Fontanella et al. Diffusion models for counterfactual generation and anomaly detection in brain images
Xiao et al. PET and CT image fusion of lung cancer with siamese pyramid fusion network
Kumaraswamy et al. A review on cancer detection strategies with help of biomedical images using machine learning techniques
Wang et al. Triplanar convolutional neural network for automatic liver and tumor image segmentation
Eswaran et al. Applying Machine Learning for Medical Image Processing
de Azevedo Marques et al. Content-based retrieval of medical images: landmarking, indexing, and relevance feedback
Sabokrohiyeh et al. Sketch-based registration of 3d cine mri to 4d flow mri
Malinda et al. Lumbar vertebrae synthetic segmentation in computed tomography images using hybrid deep generative adversarial networks
CN117457142A (zh) 用于报告生成的医学影像处理系统及方法
US20220076421A1 (en) Method for identifying bone images
Musatian et al. Medical images segmentation operations
Memiş et al. Fast and accurate registration of the proximal femurs in bilateral hip joint images by using the random sub-sample points
Swarnambiga Medical Image Processing for Improved Clinical Diagnosis
Ramos Analysis of medical images to support decision-making in the musculoskeletal field
Pandey et al. A Framework for Mathematical Methods in Medical Image Processing
CN112884759B (zh) 一种乳腺癌腋窝淋巴结转移状态的检测方法及相关装置
Benjamin et al. Genetic Algorithm based L4 Identification and Psoas Segmentation.
Zhang et al. SEG-LUS: A novel ultrasound segmentation method for liver and its accessory structures based on muti-head self-attention

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination