CN116433660B - 医疗图像数据处理装置、电子设备及计算机可读存储介质 - Google Patents

医疗图像数据处理装置、电子设备及计算机可读存储介质 Download PDF

Info

Publication number
CN116433660B
CN116433660B CN202310689691.XA CN202310689691A CN116433660B CN 116433660 B CN116433660 B CN 116433660B CN 202310689691 A CN202310689691 A CN 202310689691A CN 116433660 B CN116433660 B CN 116433660B
Authority
CN
China
Prior art keywords
module
stage
feature
image data
decoder
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310689691.XA
Other languages
English (en)
Other versions
CN116433660A (zh
Inventor
王瑞天
刘军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jilin Hexi Technology Development Co ltd
Original Assignee
Jilin Hexi Technology Development Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jilin Hexi Technology Development Co ltd filed Critical Jilin Hexi Technology Development Co ltd
Priority to CN202310689691.XA priority Critical patent/CN116433660B/zh
Publication of CN116433660A publication Critical patent/CN116433660A/zh
Application granted granted Critical
Publication of CN116433660B publication Critical patent/CN116433660B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Public Health (AREA)
  • Databases & Information Systems (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Pathology (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Image Analysis (AREA)

Abstract

本公开提供了一种医疗图像数据处理装置、电子设备及计算机可读存储介质，涉及医疗设备技术领域。该装置将对目标部位进行疾病评估的图像数据以及图像数据对应的病灶区域和疾病严重程度分级信息作为训练数据，对预先构建的包括特征提取器、解码器和分类器的多任务学习模型进行训练，得到用于确定目标部位上病灶区域以及病灶区域对应疾病严重程度的疾病评估模型，以便利用该疾病评估模型对目标部位上的病灶区域进行分割以及对病灶区域的疾病严重程度进行评估。本公开通过对多任务学习模型训练得到的疾病评估模型，能够通过一次推理同时实现病灶区域分割和疾病严重程度评估，提高了医疗图像数据的处理效率。

Description

医疗图像数据处理装置、电子设备及计算机可读存储介质
技术领域
本公开涉及医疗设备技术领域，尤其涉及一种医疗图像数据处理装置、电子设备及计算机可读存储介质。
背景技术
糖尿病足溃疡（Diabetic Foot Ulcer，DFU）是糖尿病最严重的并发症之一，病灶可出现在足部的任何部位，其大小、颜色和对比度因各种病变而不同。据统计，每年有超过一百万的糖尿病患者由于未能正确认识和有效治疗糖尿病足溃疡而导致截肢或死亡。
目前，主要通过足科医生的视觉检查来评估糖尿病足溃疡患者，用手工测量工具来确定糖尿病足溃疡的疾病严重程度。这存在有很大的局限性。
随着计算机视觉（Computer Vision，CV）技术的不断发展，远程医疗系统常常被认为是远程检测和预防糖尿病足溃疡（Diabetic Foot Ulcer，DFU）的最经济的解决方案之一。远程医疗系统和目前的医疗服务可以相互结合，为糖尿病足溃疡提供更具成本效益、高效和优质的治疗。
针对糖尿病足溃疡的计算机视觉任务主要包括：病灶分类、病灶分割和病灶检测三种，每一种计算机视觉任务都在执行一个单独的图像分析任务，而临床医生在诊断糖尿病足溃疡时不会仅仅关注一种诊断指标，而是会综合考量病灶位置、面积、颜色、周围表皮形态学特征等多方面的因素，以得到客观准确的诊断结果。
可见，如何提供一种快速进行病灶区域分割和疾病严重程度评估的医疗图像处理设备，以对糖尿病足溃疡患者进行疾病评估，是本领域亟待解决的问题。
需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本公开提供一种医疗图像数据处理装置、电子设备及计算机可读存储介质，至少在一定程度上克服相关技术中基于计算机视觉任务的医疗图像数据处理方法存在准确性不高的技术问题。
本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。
根据本公开的一个方面，提供了一种医疗图像数据处理装置，该装置包括：训练数据获取模块，用于获取训练数据，其中，所述训练数据为对目标部位进行疾病评估的图像数据，所述图像数据上标注有至少一个病灶区域以及各个病灶区域对应的疾病严重程度分级信息；机器学习模块，用于利用所述训练数据，对预先构建的多任务学习模型进行训练，得到用于确定所述目标部位上病灶区域以及病灶区域对应疾病严重程度的疾病评估模型；其中，所述多任务学习模型包括：特征提取器、解码器和分类器；所述特征提取器用于根据输入的所述目标部位的图像数据输出执行分割任务的局部特征信息和执行分类任务的全局特征信息；所述解码器用于根据所述特征提取器输出的局部特征信息输出所述目标部位上一个或多个病灶区域的分割结果；所述分类器用于根据所述特征提取器输出的全局特征信息输出所述目标部位上各个病灶区域的疾病严重程度分级结果。
在一些实施例中，所述特征提取器包括：多组级联连接的解耦模块和卷积模块；所述解码器包括：多组级联连接的特征融合模块和上采样模块；所述分类器包括：全连接层和激活层；其中，所述特征提取器中每一级的解耦模块与所述解码器中同一级的特征融合模块连接；所述特征提取器中每一级的卷积模块与相邻下一级的解耦模块连接；所述解码器中每一级的特征融合模块与相邻下一级的上采样模块连接；所述特征提取器中最后一级的卷积模块分别与所述分类器的全连接层和所述解码器中第一级的上采样模块连接；所述特征提取器中每一级的解耦模块用于将输入的所述目标部位的图像数据解耦为执行分割任务的局部特征信息和执行分类任务的全局特征信息，并解耦后的局部特征信息输入至所述解码器中同一级的特征融合模块，将解耦后的全局特征信息通过同一级的卷积模块输入至相邻下一级的解耦模块；所述特征提取器中每一级的卷积模块用于对输入的全局特征信息进行细粒度特征提取以得到高维度全局特征信息；所述解码器中每一级的特征融合模块用于对输入的局部特征信息进行融合，得到融合后的特征信息；所述解码器中每一级的上采样模块用于将输入特征图像的分辨率恢复到原始图像的分辨率大小；所述分类器中的全连接层和激活层用于根据所述特征提取器中卷积模块输出的全局特征信息进行分类。
在一些实施例中，所述解耦模块使用位置敏感的轴向自注意力机制构建；所述卷积模块基于残差网络结构的UNet网络的编码器构建。
在一些实施例中，所述训练数据获取模块还用于：采集目标部位的多幅图像；对采集的图像执行如下至少一种增强处理，得到增强处理后的图像数据：旋转、镜像、裁剪；将增强处理后的图像数据以及所述增强处理后的图像数据对应的病灶区域和疾病严重程度分级信息，作为训练所述疾病评估模型的训练数据。
在一些实施例中，所述训练数据为对足部进行糖尿病足溃疡评估的图像数据，所述图像数据上标注有至少一个糖尿病足溃疡的病灶区域以及各个病灶区域的糖尿病足溃疡严重程度分级信息；所述疾病评估模型用于对足部进行糖尿病足溃疡评估。
根据本公开的一个方面，还提供了一种医疗图像数据处理装置，包括：图像数据获取模块，用于获取目标部位的图像数据；疾病评估模块，用于将所述目标部位的图像数据输入至预先训练好的疾病评估模型中，输出所述图像数据的病灶区域和疾病严重程度分级信息；其中，所述疾病评估模型为利用训练数据对预先构建的多任务学习模型进行训练得到的；所述训练数据为对目标部位进行疾病评估的图像数据，所述图像数据上标注有至少一个病灶区域以及各个病灶区域对应的疾病严重程度分级信息；其中，所述多任务学习模型包括：特征提取器、解码器和分类器；所述特征提取器用于根据输入的所述目标部位的图像数据输出执行分割任务的局部特征信息和执行分类任务的全局特征信息；所述解码器用于根据所述特征提取器输出的局部特征信息输出所述目标部位上一个或多个病灶区域的分割结果；所述分类器用于根据所述特征提取器输出的全局特征信息输出所述目标部位上各个病灶区域的疾病严重程度分级结果。
根据本公开的一个方面，还提供了一种电子设备，包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行如下步骤的方法：获取训练数据，其中，所述训练数据为对目标部位进行疾病评估的图像数据，所述图像数据上标注有至少一个病灶区域以及各个病灶区域对应的疾病严重程度分级信息；利用所述训练数据，对预先构建的多任务学习模型进行训练，得到用于确定所述目标部位上病灶区域以及病灶区域对应疾病严重程度的疾病评估模型；其中，所述多任务学习模型包括：特征提取器、解码器和分类器；所述特征提取器用于根据输入的所述目标部位的图像数据输出执行分割任务的局部特征信息和执行分类任务的全局特征信息；所述解码器用于根据所述特征提取器输出的局部特征信息输出所述目标部位上一个或多个病灶区域的分割结果；所述分类器用于根据所述特征提取器输出的全局特征信息输出所述目标部位上各个病灶区域的疾病严重程度分级结果。
根据本公开的一个方面，还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如下步骤的方法：获取训练数据，其中，所述训练数据为对目标部位进行疾病评估的图像数据，所述图像数据上标注有至少一个病灶区域以及各个病灶区域对应的疾病严重程度分级信息；利用所述训练数据，对预先构建的多任务学习模型进行训练，得到用于确定所述目标部位上病灶区域以及病灶区域对应疾病严重程度的疾病评估模型；其中，所述多任务学习模型包括：特征提取器、解码器和分类器；所述特征提取器用于根据输入的所述目标部位的图像数据输出执行分割任务的局部特征信息和执行分类任务的全局特征信息；所述解码器用于根据所述特征提取器输出的局部特征信息输出所述目标部位上一个或多个病灶区域的分割结果；所述分类器用于根据所述特征提取器输出的全局特征信息输出所述目标部位上各个病灶区域的疾病严重程度分级结果。
根据本公开的一个方面，还提供了一种电子设备，包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行如下步骤的方法：获取目标部位的图像数据；将所述目标部位的图像数据输入至预先训练好的疾病评估模型中，输出所述图像数据的病灶区域和疾病严重程度分级信息；其中，所述疾病评估模型为利用训练数据对预先构建的多任务学习模型进行训练得到的；所述训练数据为对目标部位进行疾病评估的图像数据，所述图像数据上标注有至少一个病灶区域以及各个病灶区域对应的疾病严重程度分级信息；其中，所述多任务学习模型包括：特征提取器、解码器和分类器；所述特征提取器用于根据输入的所述目标部位的图像数据输出执行分割任务的局部特征信息和执行分类任务的全局特征信息；所述解码器用于根据所述特征提取器输出的局部特征信息输出所述目标部位上一个或多个病灶区域的分割结果；所述分类器用于根据所述特征提取器输出的全局特征信息输出所述目标部位上各个病灶区域的疾病严重程度分级结果。
根据本公开的一个方面，还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如下步骤的方法：获取目标部位的图像数据；将所述目标部位的图像数据输入至预先训练好的疾病评估模型中，输出所述图像数据的病灶区域和疾病严重程度分级信息；其中，所述疾病评估模型为利用训练数据对预先构建的多任务学习模型进行训练得到的；所述训练数据为对目标部位进行疾病评估的图像数据，所述图像数据上标注有至少一个病灶区域以及各个病灶区域对应的疾病严重程度分级信息；其中，所述多任务学习模型包括：特征提取器、解码器和分类器；所述特征提取器用于根据输入的所述目标部位的图像数据输出执行分割任务的局部特征信息和执行分类任务的全局特征信息；所述解码器用于根据所述特征提取器输出的局部特征信息输出所述目标部位上一个或多个病灶区域的分割结果；所述分类器用于根据所述特征提取器输出的全局特征信息输出所述目标部位上各个病灶区域的疾病严重程度分级结果。
根据本公开的另一个方面，还提供了一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如下步骤的方法：获取训练数据，其中，所述训练数据为对目标部位进行疾病评估的图像数据，所述图像数据上标注有至少一个病灶区域以及各个病灶区域对应的疾病严重程度分级信息；利用所述训练数据，对预先构建的多任务学习模型进行训练，得到用于确定所述目标部位上病灶区域以及病灶区域对应疾病严重程度的疾病评估模型；其中，所述多任务学习模型包括：特征提取器、解码器和分类器；所述特征提取器用于根据输入的所述目标部位的图像数据输出执行分割任务的局部特征信息和执行分类任务的全局特征信息；所述解码器用于根据所述特征提取器输出的局部特征信息输出所述目标部位上一个或多个病灶区域的分割结果；所述分类器用于根据所述特征提取器输出的全局特征信息输出所述目标部位上各个病灶区域的疾病严重程度分级结果。
根据本公开的另一个方面，还提供了一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如下步骤的方法：获取目标部位的图像数据；将所述目标部位的图像数据输入至预先训练好的疾病评估模型中，输出所述图像数据的病灶区域和疾病严重程度分级信息；其中，所述疾病评估模型为利用训练数据对预先构建的多任务学习模型进行训练得到的；所述训练数据为对目标部位进行疾病评估的图像数据，所述图像数据上标注有至少一个病灶区域以及各个病灶区域对应的疾病严重程度分级信息；其中，所述多任务学习模型包括：特征提取器、解码器和分类器；所述特征提取器用于根据输入的所述目标部位的图像数据输出执行分割任务的局部特征信息和执行分类任务的全局特征信息；所述解码器用于根据所述特征提取器输出的局部特征信息输出所述目标部位上一个或多个病灶区域的分割结果；所述分类器用于根据所述特征提取器输出的全局特征信息输出所述目标部位上各个病灶区域的疾病严重程度分级结果。
本公开实施例中提供的医疗图像数据处理装置、电子设备及计算机可读存储介质，通过将对目标部位进行疾病评估的图像数据以及图像数据对应的病灶区域和疾病严重程度分级信息作为训练数据，对预先构建的包括特征提取器、解码器和分类器的多任务学习模型进行训练，得到用于确定目标部位上病灶区域以及病灶区域对应疾病严重程度的疾病评估模型，以便利用该疾病评估模型对目标部位上的病灶区域进行分割以及对病灶区域的疾病严重程度进行评估。
本公开实施例提供的方案，通过对多任务学习模型训练得到的疾病评估模型，能够通过一次推理同时实现病灶区域分割和疾病严重程度评估，提高了医疗图像数据的处理效率。当本公开实施例中训练模型的训练数据是对足部进行糖尿病足溃疡评估的图像数据时，通过本公开实施例中提供的医疗图像数据处理装置，能够通过一次推理，同时实现糖尿病足溃疡的病灶区域分割和严重程度分级评估。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出本公开实施例中一种应用系统架构示意图；
图2示出本公开实施例中一种医疗图像数据处理方法流程图；
图3示出本公开实施例中又一种医疗图像数据处理方法流程图；
图4示出本公开实施例中医疗图像数据处理方法的总体实现流程图；
图5示出本公开实施例中医疗图像数据处理方法的具体实现流程图；
图6示出本公开实施例中一种解耦模块的输出数据示意图；
图7示出本公开实施例中一种轴向注意力机制计算流程图；
图8示出本公开实施例中一种添加位置自编码后的自注意力机制示意图；
图9示出本公开实施例中一种医疗图像数据处理装置示意图；
图10示出本公开实施例中又一种医疗图像数据处理装置示意图；
图11示出本公开实施例中一种电子设备的结构框图；
图12示出本公开实施例中一种计算机可读存储介质示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。
此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
需要注意的是，本公开实施例中对数据的获取、存储、使用、处理等均符合国家法律法规的相关规定，本公开实施例中获取的用户个体或群体相关的身份数据、操作数据、行为数据等多种类型的数据，均已获得授权。
下面结合附图，对本公开实施例的具体实施方式进行详细说明。
图1示出了可以应用本公开实施例中医疗图像数据处理方法的示例性应用系统架构示意图。如图1所示，该系统架构可以包括终端设备10、网络20和服务器30。
网络20用以在终端设备10和服务器30之间提供通信链路的介质，可以是有线网络，也可以是无线网络。
可选地，上述的无线网络或有线网络使用标准通信技术和/或协议。网络通常为因特网、但也可以是任何网络，包括但不限于局域网(Local Area Network，LAN)、城域网(Metropolitan Area Network，MAN)、广域网(Wide Area Network，WAN)、移动、有线或者无线网络、专用网络或者虚拟专用网络的任何组合)。在一些实施例中，使用包括超文本标记语言(Hyper Text Mark-up Language，HTML)、可扩展标记语言(Extensible MarkupLanguage，XML)等的技术和/或格式来代表通过网络交换的数据。此外还可以使用诸如安全套接字层(Secure Socket Layer，SSL)、传输层安全(Transport Layer Security，TLS)、虚拟专用网络(Virtual Private Network，VPN)、网际协议安全(Internet ProtocolSecurity，IPSec)等常规加密技术来加密所有或者一些链路。在另一些实施例中，还可以使用定制和/或专用数据通信技术取代或者补充上述数据通信技术。
终端设备10可以是各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机、台式计算机、可穿戴设备、增强现实设备、虚拟现实设备等。
可选地，不同的终端设备10中安装的应用程序的客户端是相同的，或基于不同操作系统的同一类型应用程序的客户端。基于终端平台的不同，该应用程序的客户端的具体形态也可以不同，比如，该应用程序客户端可以是手机客户端、PC客户端等。
服务器30可以是提供各种服务的服务器，例如对用户利用终端设备10所进行操作的装置提供支持的后台管理服务器。后台管理服务器可以对接收到的请求等数据进行分析等处理，并将处理结果反馈给终端设备。
可选地，服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN（Content Delivery Network，内容分发网络）、以及大数据和人工智能平台等基础云计算服务的云服务器。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本公开在此不做限制。
本领域技术人员可以知晓，图1中的终端设备、网络和服务器的数量仅仅是示意性的，根据实际需要，可以具有任意数目的终端设备、网络和服务器。本公开实施例对此不作限定。
在上述系统架构下，本公开实施例中提供了一种医疗图像数据处理，该方法可以由任意具备计算处理能力的电子设备执行。
在一些实施例中，本公开实施例中提供的医疗图像数据处理方法可以由上述系统架构的终端设备执行；在另一些实施例中，本公开实施例中提供的医疗图像数据处理方法可以由上述系统架构中的服务器执行；在另一些实施例中，本公开实施例中提供的医疗图像数据处理方法可以由上述系统架构中的终端设备和服务器通过交互的方式来实现。
图2示出本公开实施例中一种医疗图像数据处理方法流程图，如图2所示，本公开实施例中提供的医疗图像数据处理方法包括如下步骤：
S202，获取训练数据，其中，训练数据为对目标部位进行疾病评估的图像数据，图像数据上标注有至少一个病灶区域以及各个病灶区域对应的疾病严重程度分级信息。
需要说明的是，本公开实施例中提供的医疗图像数据处理方法，旨在训练一个能够同时实现病灶区域分割及疾病严重程度分级评估的疾病评估模型；不同疾病的评估，所使用训练数据也不同。上述S202中的目标部位可以是目标对象上的任意一个部位；当目标对象为人体时，目标部位可以是头部、手部、足部等部位；当目标对象为人体足部时，目标部位可以是足部上的脚趾、脚面、脚底等部位。
在一些实施例中，当通过本公开实施例中提供的疾病评估模型应用于对糖尿病足溃疡的病灶区域分割以及严重程度分级评估时，上述训练数据可以是对足部进行糖尿病足溃疡评估的图像数据，图像数据上标注有至少一个糖尿病足溃疡的病灶区域以及各个病灶区域的糖尿病足溃疡严重程度分级信息；则通过本公开实施例中医疗图像数据处理方法训练得到的模型可以用于对足部进行糖尿病足溃疡评估。
示例性地，对于糖尿病足溃疡的严重程度，本公开实施例中采用的分级方法为Wagner等级。Wagner等级是基于伤口的深度，分为如下六个等级：0级（完整皮肤）；1级（浅表溃疡）；2级（深部溃疡至骨、肌腱、深筋膜或关节囊）；3级（深部溃疡伴脓肿、骨髓炎或骨炎）；4级（前脚坏疽）；5级（全脚坏疽）。等级的数值越大，溃疡就越严重。
在通过机器学习训练模型时，训练数据越多，训练得到的模型越发准确，因而，在一些实施例中，上述S202可具体通过如下步骤来实现：采集目标部位的图像数据；对采集的图像执行如下至少一种增强处理，得到增强处理后的图像数据：旋转、镜像、裁剪；将增强处理后的图像数据以及增强处理后的图像数据对应的病灶区域和疾病严重程度分级信息，作为训练疾病评估模型的训练数据。通过对图像数据进行旋转、镜像、裁剪等增强处理，能够得到更多的图像数据，从而增加训练数据的数量。
在本公开实施例中，将收集的目标部位的图像调整至设定尺寸大小，并在模型训练阶段，使用旋转、镜像、中心裁剪等图像增强增广策略来扩大训练图像的数量，能够避免模型因数据量过少而出现过拟合问题。
S204，利用训练数据，对预先构建的多任务学习模型进行训练，得到用于确定目标部位上病灶区域以及病灶区域对应疾病严重程度的疾病评估模型。
需要说明的是，本公开实施例中构建的多任务学习模型是一个进行多任务学习的模型，为了训练得到一个能够同时实现图像分割和图像分类的模型，本公开实施例中构建的多任务学习模型可包括：特征提取器、解码器和分类器；其中，特征提取器用于根据输入的目标部位的图像数据输出执行分割任务的局部特征信息和执行分类任务的全局特征信息；解码器用于根据特征提取器输出的局部特征信息输出目标部位上一个或多个病灶区域的分割结果；分类器用于根据特征提取器输出的全局特征信息输出目标部位上各个病灶区域的疾病严重程度分级结果。
由上可知，本公开实施例中提供的上述医疗图像数据处理方法，将对目标部位进行疾病评估的图像数据以及图像数据对应的病灶区域和疾病严重程度分级信息作为训练数据，对预先构建的包括特征提取器、解码器和分类器的多任务学习模型进行训练，得到用于确定目标部位上病灶区域以及病灶区域对应疾病严重程度的疾病评估模型，以便利用该疾病评估模型对目标部位上的病灶区域进行分割以及对病灶区域的疾病严重程度进行评估。通过本公开实施例中提供的医疗图像数据处理方法，对多任务学习模型训练得到的疾病评估模型，能够通过一次推理同时实现病灶区域分割和疾病严重程度评估，提高了医疗图像数据的处理效率。当本公开实施例中训练模型的训练数据是对足部进行糖尿病足溃疡评估的图像数据时，通过本公开实施例训练得到的疾病评估模型可以通过一次推理，同时实现糖尿病足溃疡的病灶区域分割和严重程度分级评估。
进一步地，在一些实施例中，上述特征提取器可包括：多组级联连接的解耦模块和卷积模块；解码器包括：多组级联连接的特征融合模块和上采样模块；分类器包括：全连接层和激活层；其中，特征提取器中每一级的解耦模块与解码器中同一级的特征融合模块连接；特征提取器中每一级的卷积模块与相邻下一级的解耦模块连接；解码器中每一级的特征融合模块与相邻下一级的上采样模块连接；特征提取器中最后一级的卷积模块分别与分类器的全连接层和解码器中第一级的上采样模块连接。
上述实施例中，特征提取器中每一级的解耦模块用于将输入的目标部位的图像数据解耦为执行分割任务的局部特征信息和执行分类任务的全局特征信息，并解耦后的局部特征信息输入至解码器中同一级的特征融合模块，将解耦后的全局特征信息通过同一级的卷积模块输入至相邻下一级的解耦模块；特征提取器中每一级的卷积模块用于对输入的全局特征信息进行细粒度特征提取以得到高维度全局特征信息；解码器中每一级的特征融合模块用于对输入的局部特征信息进行融合，得到融合后的特征信息；解码器中每一级的上采样模块用于将输入特征图像的分辨率恢复到原始图像的分辨率大小；分类器中的全连接层和激活层用于根据特征提取器中卷积模块输出的全局特征信息进行分类。
在一些实施例中，上述解耦模块可使用位置敏感的轴向自注意力机制构建；上述卷积模块可基于残差网络结构的UNet网络（ UNet为呈现U型的一个网络模型）的编码器构建。
需要说明的是，在本公开实施例中，使用分类损失函数与分割损失函数组合的形式来训练模型，其中，分类损失函数为分类任务的损失函数，分割损失函数为分割任务的损失函数。在一些实施例中，本公开实施例中，对于分割任务的损失函数可以采用交叉熵损失函数；对于分类任务的损失函数可以采用交叉熵损失函数与加权骰子损失函数之和。
基于同一发明构思，本公开实施例中还提供了一种医疗图像数据处理方法，该方法可以由任意具备计算处理能力的电子设备执行。
在一些实施例中，本公开实施例中提供的医疗图像数据处理方法可以由上述系统架构的终端设备执行；在另一些实施例中，本公开实施例中提供的医疗图像数据处理方法可以由上述系统架构中的终端设备和服务器通过交互的方式来实现。
图3示出本公开实施例中又一种医疗图像数据处理方法流程图，如图3所示，本公开实施例中提供的医疗图像数据处理方法包括如下步骤：
S302，获取目标部位的图像数据。
S304，将目标部位的图像数据输入至预先训练好的疾病评估模型中，输出图像数据的病灶区域和疾病严重程度分级信息。
需要说明的是，上述疾病评估模型为利用训练数据对预先构建的多任务学习模型进行训练得到的；其中，训练数据为对目标部位进行疾病评估的图像数据，这些图像数据上标注有至少一个病灶区域以及各个病灶区域对应的疾病严重程度分级信息；本公开实施例中的多任务学习模型可包括：特征提取器、解码器和分类器；特征提取器用于根据输入的目标部位的图像数据输出执行分割任务的局部特征信息和执行分类任务的全局特征信息；解码器用于根据特征提取器输出的局部特征信息输出目标部位上一个或多个病灶区域的分割结果；分类器用于根据特征提取器输出的全局特征信息输出目标部位上各个病灶区域的疾病严重程度分级结果。
由上可知，本公开实施例中提供的上述医疗图像数据处理方法，将目标部位的图像数据输入至预先训练好的疾病评估模型中，能够直接输出这些图像数据的病灶区域和疾病严重程度分级信息。通过本公开实施例中提供的医疗图像数据处理方法，利用预先对多任务学习模型训练得到的疾病评估模型，能够通过一次推理同时实现病灶区域分割和疾病严重程度评估，提高了医疗图像数据的处理效率。当本公开实施例中对多任务学习模型训练的训练数据是对足部进行糖尿病足溃疡评估的图像数据时，通过本公开实施例训练得到的疾病评估模型可以通过一次推理，同时实现糖尿病足溃疡的病灶区域分割和严重程度分级评估。
需要说明的是，通过本公开实施例中医疗图像数据处理方法训练得到的疾病评估模型可以用于但不限于糖尿病足溃疡的评估（即糖尿病足溃疡的病灶区域分割及严重程度分级）。
下面，以糖尿病足溃疡病灶区域分割及严重程度分级为例，结合图4和图5来对本公开实施例中提供的医疗图像数据处理方法进行详细说明。
如图4和图5所示，主要包括如下几个部分：
一、输入图像：输入糖尿病足溃疡患者的足部图像；
二、特征提取：通过特征提取器输出用于分割任务（病灶区域发分割）的局部特征图（即上述输入特征图的局部特征信息）和用于分类任务（疾病严重程度分级）的全局特征图（即上述输入特征图的全局特征信息）。
需要说明的是，特征提取器由多组级联的解耦模块和卷积模块组成，如图5所示，特征提取器可通过解耦模块输出两类特征图，其中，解耦模块的构建方法是基于位置敏感的轴向自注意力机制（Axial-Self-Attention, ASA）, 通过计算像素集之间的相似度，捕获特征的长距离依赖性，选择和聚焦少量重要信息，忽略大部分无价值信息，将输入图像解耦为用于关注分割任务的局部特征图和用于关注分类任务的全局特征图。
解耦模块输出的全局特征图输入卷积模块，卷积模块的构建方法是基于残差网络结构的UNet网络的编码器部分，包括卷积层、残差模块和下采样层。在具体实施时，输入图像经特征提取器得到1个用于多任务学习的高维度全局特征图以及4个不同尺度的局部特征图，假设表示输入特征图的高度，/>表示输入特征图的宽度，当全局特征图的尺寸大小为（H/16,W/16）时，对应的四个不同尺度的局部特征图为：（H,W）、（H/2,W/2）、（H/4,W/4）和（H/8,W/8），全局特征图用于输入卷积模块继续进行高维度特征提取和下采样操作，局部特征图用于分割任务的多尺度特征融合，实现病灶区域的精准分割。在本公开实施例中，2、4、8、16这样的数值表示对输入特征图进行下采样的倍数。
三、分割任务：通过解码器将高维度全局特征图进行上采样后输出与输入图像分辨率相同的病灶掩码作为分割结果，在这个过程中使用多尺度特征融合构建上下文关系；具体地，将特征提取器输出的高维度全局特征图输入解码器，解码器由4组上采样模块组成，将特征图逐渐上采样至初始分辨率大小，特征图大小包括[(H/8,W/8），(H/4,W/4)，(H/2,W/2），（H,W）]。在这个过程中，上采样模块的输入是由经上采样后的全局特征图和对应尺度的局部特征图级联而成。
四、分类任务：由全连接层和Softmax激活层（即采用Softmax函数的激活层）构建分类器，将特征提取器输出的高维度全局特征图输入至分类器，输出糖尿病足溃疡患者的严重程度分级评估结果。
五、训练损失：在多任务学习的训练过程中，分类任务和分割任务是同时进行的，因此，传统的交叉熵损失函数无法满足模型的训练模式，损失函数被设定为分类损失和分割损失组合的形式，其中分类损失部分仍使用交叉熵损失，分割损失使用交叉熵损失和加权骰子损失相加构成。
六、模型推理：获取待病灶区域分割和疾病严重程度评估的糖尿病足溃疡患者的足部影像，输入至训练好的疾病评估模型，得到该糖尿病足溃疡患者的病灶区域分割掩码和溃疡严重程度分级的评估结果。
下面列举一个具体的例子，来说明对糖尿病足溃疡评估模型的训练以及利用训练好的糖尿病足溃疡评估模型来实现糖尿病足溃疡的病灶区域分割和溃疡严重程度分级。具体实现步骤如下：
1）收集待评估疾病严重程度和病灶区域分割的糖尿病足溃疡患者足部图像，作为输入图像。
1.1）使用相机作为足部图像的采集设备，采集的足部图像为全脚的图像，采集距离约为30-40厘米，与溃疡的平面平行方向。
1.2）在采集足部图像时使用室内灯光来获得色彩一致的图像。
1.2）将所有图像的大小调整为预设尺寸（例如，256×256，单位为像素个数），以提高性能并降低计算成本。
1.3）由专门研究糖尿病伤口和溃疡的足科医生，根据Wagner等级来对采集的足部图像上各个病灶区域的溃疡严重程度进行标注。
2）对输入图像进行数据扩增处理。
2.1）使用图像增广策略，包括但不限于旋转、随机裁剪、彩色通道等扩大数据集图像数量，避免模型因数据量过少而出现过拟合问题。
2.2）划分样本数据，将扩增好的数据分为训练集和验证集，比例为80%的训练图像和20%的验证图像。
2.3）将样本数据输入训练模型。
3）将训练数据输入至多任务学习模型的特征提取器，特征提取器由4组级联的解耦模块和卷积模块组成。
3.1）多任务学习模型包括分类路径和分割路径。
3.2）两条路径由特征提取器中的解耦模块连接，通过特征解耦的方式解耦出分类特征和分割特征，实现多任务学习，促进模型的同步优化。如图6所示，特征图经过解耦模块后得到两个输出，一个是用于继续进行高维度特征提取和分类任务的全局特征图，一个是用于分割任务上采样中进行多尺度特征融合的局部特征信息。
3.2）解耦模块的计算模式是基于轴向自注意力，其特点是将二维自注意力分解为两个一维自注意力层，由宽度轴向自注意力层和高度轴向自注意力层顺序运行来构成。假定输入特征图为，高度为H，宽度为W，自注意层的输出y∈R Cout×H×W 可通过如下公式计算得到：
其中,分别表示自注意力机制中的查询（query）、键（key）和值（value），可通过对输入特征图/>计算投影得到的投影矩阵，/>表示各个投影矩阵的权重系数，可通过学习得到。R Cin×H×W 表示输入特征图集合；R Cout×H×W 表示输出特征图集合；/>表示输入特征图的通道数量；/>表示自注意层输出特征图的通道数量；表示输入特征图的高度（列数）；/>表示输入特征图的宽度（行数），/>表示列序号，/>表示行序号；/>表示激活函数；/>表示键；/>表示位置/>处的查询，/>表示/>的转置，/>。在解耦模块中使用轴向自注意力机制的目的在于克服传统自注意力计算方式的复杂度，将单个自注意分解为两个自注意模块，第一个模块在特征图高度轴上执行自注意，第二个模块在宽度轴上执行自注意，如图7所示。
3.3）在自注意力层中编码了两个分量：一个包含像素之间相关性的成对项和一个推断每个像素显着性的一元项。其中，成对项更侧重于类别内的注意力，而一元项则侧重于边界，由于输入的足部影像表现融合了局部特征和全局特征，局部特征线索包括病灶的强度、纹理和形状特征，全局特征用于提取病灶的位置、上下文和相对大小等特征。因此，在糖足溃疡分级与病灶分割的多任务学习中，网络需要过进一步限制一元项来更多地关注病灶的局部特征。
3.4）对于局部特征，解耦模块通过对键（key）和查询（query）进行乘积操作关注类别内区域的注意力，得到患者足部图像中关于局部特征的注意力图。在注意力机制中，查询（query）、键（key）和值（value）是通过对输入数据进行不同线性变换得到的，通过计算键（key）和查询（query）之间的相似度，来确定查询（query）需要关注的信息，实现对输入数据的加权处理。
3.5）对于全局特征，在解耦模块中设置了一个不与共享的新权重矩阵/>，这使得对局部特征和全局特征的优化相互独立。这种形式允许全局特征不局限于病灶周围，而是以更大的视野捕获特征，这有助于优化全局特征线索的提取。
3.6）为了克服自注意力机制对缺乏对空间结构进行编码的能力，在执行轴向注意力时添加了相对位置编码项，使解耦模块可以对目标位置信息敏感，添加位置偏差后的自注意力机制通过如下公式计算得到，其结构如图8所示：
其中，表示相对位置编码项，/>表示局部特征图，/>表示全局特征图；/>表示输入特征图的高度；/>表示输入特征图的宽度；/>表示位置/>对应的列号；/>表示位置对应的行号；/>表示激活函数；/>表示位置/>处的查询，/>表示/>的转置；/>表示依赖于查询的位置偏差项；/>表示键，/>表示/>的转置；/>表示依赖于键的位置偏差项；/>表示键对应的值；/>表示依赖于值的位置偏差项。
4）经解耦模块输出的全局特征图作为卷积模块的输入进行高维度特征提取。
4.1）卷积模块是Res-Unet网络（即基于残差结构的U-net网络）构成，Res-Unet网络将U-net网络的特征提取层使用ResNet50特征提取网络代替，以进行深层次的的特征提取。
4.2）每一个卷积模块都由卷积层、BN（Batch Normalization，批量归一化）层、ReLU（Rectified Linear Unit，线性整流函数）层、跳跃连接和池化层组成。
4.3）全局特征图经过卷积层采样后特征图大小缩小1/2，进入下一个解耦模块，继续得到全局特征图/>和局部特征图/>。
4.4）联合步骤3.6），输入图像经4组级联的解耦模块和卷积模块构成的特征提取器后得到1个用于多任务学习的高维全局特征图，其尺寸大小为（H/16,W/16）和4个不同尺度的局部特征图：/>，其尺寸大小分别为（H,W）、（H/2,W/2）、（H/4,W/4）和（H/8,W/8）。
5）经特征提取器计算的高维度特征图输入至用于分割任务的解码器，解码器由上采样模块和特征融合块组成。
5.1）解码器由4组上采样模块组成，将特征图逐渐上采样至初始分辨率大小，特征图大小包括[(H/8,W/8），(H/4,W/4)，(H/2,W/2），（H,W）]。具体而言，首先将特征提取器输出的高维度全局特征图输入解码器中的第一层上采样模块，得到(H/8,W/8）大小的特征图；
5.2）将特征图与4.4）中的局部特征图/>进行特征聚合得到融合特征图，作为下一层上采样模块的输入；
5.3）经第二层上采样模块后得到大小为（H/4,W/4）的特征图，在特征融合模块中与4.4）中的局部特征/>进行特征聚合得到融合特征/>作为第三层上采样模块的输入，多尺度特征融合的目的是为了获得更准确的边缘细节，如此经共4层解码后将特征图逐渐上采样至初始分辨率大小，得到最终的病灶掩码图像，其过程如图8所示。
6）经特征提取器计算的高维度特征图输入至用于溃疡程度分级任务的分类器得到病灶的Wagner等级评估结果。
6.1）分类器由两层全连接层和一层softmax激活层组成。
6.2）经softmax激活层输出后得到6个预测标签，分别对应Wagner等级中的0-5级。
7）损失函数使用分类损失函数与分割损失函数组合的形式来训练模型。在具体实施时：①分类任务损失函数使用交叉熵损失函数；②分割任务损失函数使用交叉熵损失函数和加权骰子损失函数结合的方式来约束图像前景和背景不一致的问题。在一个实施例中，本公开实施例中采用的组合损失函数定义为：
其中，表示组合损失函数；/>表示交叉熵损失函数；/>表示加权骰子损失函数；α和β用于控制交叉熵损失函数和加权骰子损失函数之间的权衡；且存在。
在本公开实施例中，交叉熵损失函数和加权骰子损失函数定义如下：
其中，表示像素/>在真实图中的类别标签；/>表示像素/>在预测图中的类别标签；/>表示真实图或预测图中包含的像素数量；/>表示平滑超参数，用于防止分母为0的情况出现。
8）模型推理：①载入新的糖足患者足部影像，输入训练好的模型；②经特征提取器，解码器和分类器计算后得到该糖足患者的病灶分割掩码和溃疡严重程度的评估结果。
需要说明的是，早期发现导致DFU发展的足部关键病理变化是非常重要的，目前足科医生的人工检查仍然是诊断DFU的理想解决方案，但由于医疗系统的人力资源和设施有限，基于CV的计算机辅助系统在协助临床医生评估DFU方面提供助力。
本公开实施例中提供的医疗图像数据处理方法，应用于医疗设备，可以通过一次推理同时实现对糖足溃疡严重程度的预评估和病灶区域分割，极大缩减训练成本。通过轴向自注意力机制力在构建强大的远程上下文关系的同事，可以通过轴向计算的方式克服传统自注意力对计算资源耗费巨大的缺点，通过添加相对位置偏差，也弥补了传统自注意力对空间位置的不敏感性，提高模型的准确性。
基于很多糖尿病患者对糖足病症认识不足，本发明提出的糖足溃疡评估和病灶分割的多任务学习方法可以为患者提供迅速的反馈，未来在帮助医疗专家和病人在远程环境中进行DFU评估和随访领域具有极大的潜力。
基于同一发明构思，本公开实施例中还提供了一种医疗图像数据处理装置，如下面的实施例所述。由于该装置实施例解决问题的原理与上述方法实施例相似，因此该装置实施例的实施可以参见上述方法实施例的实施，重复之处不再赘述。
图9示出本公开实施例中一种医疗图像数据处理装置示意图，如图9所示，该装置包括：训练数据获取模块901和机器学习模块902。
其中，训练数据获取模块901，用于获取训练数据，其中，训练数据为对目标部位进行疾病评估的图像数据，图像数据上标注有至少一个病灶区域以及各个病灶区域对应的疾病严重程度分级信息；机器学习模块902，用于利用训练数据，对预先构建的多任务学习模型进行训练，得到用于确定目标部位上病灶区域以及病灶区域对应疾病严重程度的疾病评估模型；其中，多任务学习模型包括：特征提取器、解码器和分类器；特征提取器用于根据输入的目标部位的图像数据输出执行分割任务的局部特征信息和执行分类任务的全局特征信息；解码器用于根据特征提取器输出的局部特征信息输出目标部位上一个或多个病灶区域的分割结果；分类器用于根据特征提取器输出的全局特征信息输出目标部位上各个病灶区域的疾病严重程度分级结果。
此处需要说明的是，上述训练数据获取模块901和机器学习模块902对应于方法实施例中的S202～S204，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述方法实施例所公开的内容。需要说明的是，上述模块作为装置的一部分可以在诸如一组计算机可执行指令的计算机系统中执行。
在一些实施例中，特征提取器包括：多组级联连接的解耦模块和卷积模块；解码器包括：多组级联连接的特征融合模块和上采样模块；分类器包括：全连接层和激活层；其中，特征提取器中每一级的解耦模块与解码器中同一级的特征融合模块连接；特征提取器中每一级的卷积模块与相邻下一级的解耦模块连接；解码器中每一级的特征融合模块与相邻下一级的上采样模块连接；特征提取器中最后一级的卷积模块分别与分类器的全连接层和解码器中第一级的上采样模块连接；特征提取器中每一级的解耦模块用于将输入的目标部位的图像数据解耦为执行分割任务的局部特征信息和执行分类任务的全局特征信息，并解耦后的局部特征信息输入至解码器中同一级的特征融合模块，将解耦后的全局特征信息通过同一级的卷积模块输入至相邻下一级的解耦模块；特征提取器中每一级的卷积模块用于对输入的全局特征信息进行细粒度特征提取以得到高维度全局特征信息；解码器中每一级的特征融合模块用于对输入的局部特征信息进行融合，得到融合后的特征信息；解码器中每一级的上采样模块用于将输入特征图像的分辨率恢复到原始图像的分辨率大小；分类器中的全连接层和激活层用于根据特征提取器中卷积模块输出的全局特征信息进行分类。
在一些实施例中，解耦模块使用位置敏感的轴向自注意力机制构建；卷积模块基于残差网络结构的UNet网络的编码器构建。
在一些实施例中，上述训练数据获取模块901还用于：采集目标部位的图像数据；对采集的图像执行如下至少一种增强处理，得到增强处理后的图像数据：旋转、镜像、裁剪；将增强处理后的图像数据以及增强处理后的图像数据对应的病灶区域和疾病严重程度分级信息，作为训练疾病评估模型的训练数据。
在一些实施例中，训练数据为对足部进行糖尿病足溃疡评估的图像数据，图像数据上标注有至少一个糖尿病足溃疡的病灶区域以及各个病灶区域的糖尿病足溃疡严重程度分级信息；疾病评估模型用于对足部进行糖尿病足溃疡评估。
基于同一发明构思，本公开实施例中还提供了一种医疗图像数据处理装置，如下面的实施例所述。由于该装置实施例解决问题的原理与上述方法实施例相似，因此该装置实施例的实施可以参见上述方法实施例的实施，重复之处不再赘述。
图10示出本公开实施例中又一种医疗图像数据处理装置示意图，如图10所示，该装置包括：图像数据获取模块1001和疾病评估模块1002。
其中，图像数据获取模块1001，用于获取目标部位的图像数据；
疾病评估模块1002，用于将目标部位的图像数据输入至预先训练好的疾病评估模型中，输出图像数据的病灶区域和疾病严重程度分级信息；其中，疾病评估模型为利用训练数据对预先构建的多任务学习模型进行训练得到的；训练数据为对目标部位进行疾病评估的图像数据，图像数据上标注有至少一个病灶区域以及各个病灶区域对应的疾病严重程度分级信息；其中，多任务学习模型包括：特征提取器、解码器和分类器；特征提取器用于根据输入的目标部位的图像数据输出执行分割任务的局部特征信息和执行分类任务的全局特征信息；解码器用于根据特征提取器输出的局部特征信息输出目标部位上一个或多个病灶区域的分割结果；分类器用于根据特征提取器输出的全局特征信息输出目标部位上各个病灶区域的疾病严重程度分级结果。
此处需要说明的是，上述图像数据获取模块1001和疾病评估模块1002对应于方法实施例中的S302～S304，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述方法实施例所公开的内容。需要说明的是，上述模块作为装置的一部分可以在诸如一组计算机可执行指令的计算机系统中执行。
在一些实施例中，上述图像数据获取模块获取的图像数据为足部图像；上述疾病评估模型用于对足部图像进行糖尿病足溃疡的病灶区域分割和严重程度分级评估。
所属技术领域的技术人员能够理解，本公开的各个方面可以实现为系统、方法或程序产品。因此，本公开的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式（包括固件、微代码等），或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。
下面参照图11来描述根据本公开的这种实施方式的电子设备1100。图11显示的电子设备1100仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图11所示，电子设备1100以通用计算设备的形式表现。电子设备1100的组件可以包括但不限于：上述至少一个处理单元1110、上述至少一个存储单元1120、连接不同系统组件（包括存储单元1120和处理单元1110）的总线1130。
其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元1110执行，使得所述处理单元1110执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤。
在一些实施例中，当电子设备为训练模型的设备时，处理单元1110可以执行上述方法实施例的如下步骤：获取训练数据，其中，训练数据为对目标部位进行疾病评估的图像数据，图像数据上标注有至少一个病灶区域以及各个病灶区域对应的疾病严重程度分级信息；利用训练数据，对预先构建的多任务学习模型进行训练，得到用于确定目标部位上病灶区域以及病灶区域对应疾病严重程度的疾病评估模型；其中，多任务学习模型包括：特征提取器、解码器和分类器；特征提取器用于根据输入的目标部位的图像数据输出执行分割任务的局部特征信息和执行分类任务的全局特征信息；解码器用于根据特征提取器输出的局部特征信息输出目标部位上一个或多个病灶区域的分割结果；分类器用于根据特征提取器输出的全局特征信息输出目标部位上各个病灶区域的疾病严重程度分级结果。
在一些实施例中，当电子设备为模型预测的设备时，获取目标部位的图像数据；将目标部位的图像数据输入至预先训练好的疾病评估模型中，输出图像数据的病灶区域和疾病严重程度分级信息；其中，疾病评估模型为利用训练数据对预先构建的多任务学习模型进行训练得到的；训练数据为对目标部位进行疾病评估的图像数据，图像数据上标注有至少一个病灶区域以及各个病灶区域对应的疾病严重程度分级信息；其中，多任务学习模型包括：特征提取器、解码器和分类器；特征提取器用于根据输入的目标部位的图像数据输出执行分割任务的局部特征信息和执行分类任务的全局特征信息；解码器用于根据特征提取器输出的局部特征信息输出目标部位上一个或多个病灶区域的分割结果；分类器用于根据特征提取器输出的全局特征信息输出目标部位上各个病灶区域的疾病严重程度分级结果。
存储单元1120可以包括易失性存储单元形式的可读介质，例如随机存取存储单元（RAM）11201和/或高速缓存存储单元11202，还可以进一步包括只读存储单元（ROM）11203。
存储单元1120还可以包括具有一组（至少一个）程序模块11205的程序/实用工具11204，这样的程序模块11205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线1130可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备1100也可以与一个或多个外部设备1140（例如键盘、指向设备、蓝牙设备等）通信，还可与一个或者多个使得用户能与该电子设备1100交互的设备通信，和/或与使得该电子设备1100能与一个或多个其它计算设备进行通信的任何设备（例如路由器、调制解调器等等）通信。这种通信可以通过输入/输出（I/O）接口1150进行。并且，电子设备1100还可以通过网络适配器1160与一个或者多个网络（例如局域网（LAN），广域网（WAN）和/或公共网络，例如因特网）通信。如图所示，网络适配器1160通过总线1130与电子设备1100的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备1100使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质（可以是CD-ROM，U盘，移动硬盘等）中或网络上，包括若干指令以使得一台计算设备（可以是个人计算机、服务器、终端装置、或者网络设备等）执行根据本公开实施方式的方法。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机程序产品，该计算机程序产品包括：计算机程序，所述计算机程序被处理器执行时实现上述任一项的医疗图像数据处理方法。
在本公开的示例性实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质可以是可读信号介质或者可读存储介质。图12示出本公开实施例中一种计算机可读存储介质示意图，如图12所示，该算机可读存储介质1200上存储有能够实现本公开上述方法的程序产品。在一些可能的实施方式中，本公开的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤。
本公开中的计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、光纤、便携式紧凑磁盘只读存储器（CD-ROM）、光存储器件、磁存储器件、或者上述的任意合适的组合。
在本公开中，计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可选地，计算机可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
在具体实施时，可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网（LAN）或广域网（WAN），连接到用户计算设备，或者，可以连接到外部计算设备（例如利用因特网服务提供商来通过因特网连接）。
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
此外，尽管在附图中以特定顺序描述了本公开中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。
通过以上实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质（可以是CD-ROM，U盘，移动硬盘等）中或网络上，包括若干指令以使得一台计算设备（可以是个人计算机、服务器、移动终端、或者网络设备等）执行根据本公开实施方式的方法。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由所附的权利要求指出。

Claims (8)

1.一种医疗图像数据处理装置，其特征在于，包括：
训练数据获取模块，用于获取训练数据，其中，所述训练数据为对目标部位进行疾病评估的图像数据，所述图像数据上标注有至少一个病灶区域以及各个病灶区域对应的疾病严重程度分级信息；
机器学习模块，用于利用所述训练数据，对预先构建的多任务学习模型进行训练，得到用于确定所述目标部位上病灶区域以及病灶区域对应疾病严重程度的疾病评估模型；
其中，所述多任务学习模型包括：特征提取器、解码器和分类器；所述特征提取器用于根据输入的所述目标部位的图像数据输出执行分割任务的局部特征信息和执行分类任务的全局特征信息；所述解码器用于根据所述特征提取器输出的局部特征信息输出所述目标部位上一个或多个病灶区域的分割结果；所述分类器用于根据所述特征提取器输出的全局特征信息输出所述目标部位上各个病灶区域的疾病严重程度分级结果；
其中，所述特征提取器包括：多组级联连接的解耦模块和卷积模块，所述卷积模块包括：卷积层、残差模块和下采样层；所述解码器包括：多组级联连接的特征融合模块和上采样模块；所述分类器包括：全连接层和激活层；所述特征提取器中每一级的解耦模块与所述解码器中同一级的特征融合模块连接；所述特征提取器中每一级的卷积模块与相邻下一级的解耦模块连接；所述解码器中每一级的特征融合模块与相邻下一级的上采样模块连接；所述特征提取器中最后一级的卷积模块分别与所述分类器的全连接层和所述解码器中第一级的上采样模块连接；所述特征提取器中每一级的解耦模块用于将输入的所述目标部位的图像数据解耦为执行分割任务的局部特征信息和执行分类任务的全局特征信息，并解耦后的局部特征信息输入至所述解码器中同一级的特征融合模块，将解耦后的全局特征信息通过同一级的卷积模块输入至相邻下一级的解耦模块；所述特征提取器中每一级的卷积模块用于对输入的全局特征信息进行细粒度特征提取以得到高维度全局特征信息；所述解码器中每一级的特征融合模块用于对输入的局部特征信息进行融合，得到融合后的特征信息；所述解码器中每一级的上采样模块用于将输入特征图像的分辨率恢复到原始图像的分辨率大小；所述分类器中的全连接层和激活层用于根据所述特征提取器输出的全局特征信息进行分类；
其中，所述训练数据为对足部进行糖尿病足溃疡评估的图像数据，所述图像数据上标注有至少一个糖尿病足溃疡的病灶区域以及各个病灶区域的糖尿病足溃疡严重程度分级信息；所述疾病评估模型用于对足部进行糖尿病足溃疡评估。
2.根据权利要求1所述的医疗图像数据处理装置，其特征在于，所述解耦模块使用位置敏感的轴向自注意力机制构建；所述卷积模块基于残差网络结构的UNet网络的编码器构建。
3.根据权利要求1所述的医疗图像数据处理装置，其特征在于，所述训练数据获取模块还用于：
采集目标部位的多幅图像；
对采集的图像执行如下至少一种增强处理，得到增强处理后的图像数据：旋转、镜像、裁剪；
将增强处理后的图像数据以及所述增强处理后的图像数据对应的病灶区域和疾病严重程度分级信息，作为训练所述疾病评估模型的训练数据。
4.一种医疗图像数据处理装置，其特征在于，包括：
图像数据获取模块，用于获取目标部位的图像数据；
疾病评估模块，用于将所述目标部位的图像数据输入至预先训练好的疾病评估模型中，输出所述图像数据的病灶区域和疾病严重程度分级信息；
其中，所述疾病评估模型为利用训练数据对预先构建的多任务学习模型进行训练得到的；所述训练数据为对目标部位进行疾病评估的图像数据，所述图像数据上标注有至少一个病灶区域以及各个病灶区域对应的疾病严重程度分级信息；
其中，所述多任务学习模型包括：特征提取器、解码器和分类器；所述特征提取器用于根据输入的所述目标部位的图像数据输出执行分割任务的局部特征信息和执行分类任务的全局特征信息；所述解码器用于根据所述特征提取器输出的局部特征信息输出所述目标部位上一个或多个病灶区域的分割结果；所述分类器用于根据所述特征提取器输出的全局特征信息输出所述目标部位上各个病灶区域的疾病严重程度分级结果；
其中，所述特征提取器包括：多组级联连接的解耦模块和卷积模块，所述卷积模块包括：卷积层、残差模块和下采样层；所述解码器包括：多组级联连接的特征融合模块和上采样模块；所述分类器包括：全连接层和激活层；所述特征提取器中每一级的解耦模块与所述解码器中同一级的特征融合模块连接；所述特征提取器中每一级的卷积模块与相邻下一级的解耦模块连接；所述解码器中每一级的特征融合模块与相邻下一级的上采样模块连接；所述特征提取器中最后一级的卷积模块分别与所述分类器的全连接层和所述解码器中第一级的上采样模块连接；所述特征提取器中每一级的解耦模块用于将输入的所述目标部位的图像数据解耦为执行分割任务的局部特征信息和执行分类任务的全局特征信息，并解耦后的局部特征信息输入至所述解码器中同一级的特征融合模块，将解耦后的全局特征信息通过同一级的卷积模块输入至相邻下一级的解耦模块；所述特征提取器中每一级的卷积模块用于对输入的全局特征信息进行细粒度特征提取以得到高维度全局特征信息；所述解码器中每一级的特征融合模块用于对输入的局部特征信息进行融合，得到融合后的特征信息；所述解码器中每一级的上采样模块用于将输入特征图像的分辨率恢复到原始图像的分辨率大小；所述分类器中的全连接层和激活层用于根据所述特征提取器输出的全局特征信息进行分类；
其中，所述训练数据为对足部进行糖尿病足溃疡评估的图像数据，所述图像数据上标注有至少一个糖尿病足溃疡的病灶区域以及各个病灶区域的糖尿病足溃疡严重程度分级信息；所述疾病评估模型用于对足部进行糖尿病足溃疡评估。
5. 一种电子设备，其特征在于，包括：
处理器；以及
存储器，用于存储所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行如下步骤的方法：
获取训练数据，其中，所述训练数据为对目标部位进行疾病评估的图像数据，所述图像数据上标注有至少一个病灶区域以及各个病灶区域对应的疾病严重程度分级信息；
利用所述训练数据，对预先构建的多任务学习模型进行训练，得到用于确定所述目标部位上病灶区域以及病灶区域对应疾病严重程度的疾病评估模型；
其中，所述多任务学习模型包括：特征提取器、解码器和分类器；所述特征提取器用于根据输入的所述目标部位的图像数据输出执行分割任务的局部特征信息和执行分类任务的全局特征信息；所述解码器用于根据所述特征提取器输出的局部特征信息输出所述目标部位上一个或多个病灶区域的分割结果；所述分类器用于根据所述特征提取器输出的全局特征信息输出所述目标部位上各个病灶区域的疾病严重程度分级结果；
其中，所述特征提取器包括：多组级联连接的解耦模块和卷积模块，所述卷积模块包括：卷积层、残差模块和下采样层；所述解码器包括：多组级联连接的特征融合模块和上采样模块；所述分类器包括：全连接层和激活层；所述特征提取器中每一级的解耦模块与所述解码器中同一级的特征融合模块连接；所述特征提取器中每一级的卷积模块与相邻下一级的解耦模块连接；所述解码器中每一级的特征融合模块与相邻下一级的上采样模块连接；所述特征提取器中最后一级的卷积模块分别与所述分类器的全连接层和所述解码器中第一级的上采样模块连接；所述特征提取器中每一级的解耦模块用于将输入的所述目标部位的图像数据解耦为执行分割任务的局部特征信息和执行分类任务的全局特征信息，并解耦后的局部特征信息输入至所述解码器中同一级的特征融合模块，将解耦后的全局特征信息通过同一级的卷积模块输入至相邻下一级的解耦模块；所述特征提取器中每一级的卷积模块用于对输入的全局特征信息进行细粒度特征提取以得到高维度全局特征信息；所述解码器中每一级的特征融合模块用于对输入的局部特征信息进行融合，得到融合后的特征信息；所述解码器中每一级的上采样模块用于将输入特征图像的分辨率恢复到原始图像的分辨率大小；所述分类器中的全连接层和激活层用于根据所述特征提取器输出的全局特征信息进行分类；
其中，所述训练数据为对足部进行糖尿病足溃疡评估的图像数据，所述图像数据上标注有至少一个糖尿病足溃疡的病灶区域以及各个病灶区域的糖尿病足溃疡严重程度分级信息；所述疾病评估模型用于对足部进行糖尿病足溃疡评估。
6.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如下步骤的方法：
获取训练数据，其中，所述训练数据为对目标部位进行疾病评估的图像数据，所述图像数据上标注有至少一个病灶区域以及各个病灶区域对应的疾病严重程度分级信息；
利用所述训练数据，对预先构建的多任务学习模型进行训练，得到用于确定所述目标部位上病灶区域以及病灶区域对应疾病严重程度的疾病评估模型；
其中，所述多任务学习模型包括：特征提取器、解码器和分类器；所述特征提取器用于根据输入的所述目标部位的图像数据输出执行分割任务的局部特征信息和执行分类任务的全局特征信息；所述解码器用于根据所述特征提取器输出的局部特征信息输出所述目标部位上一个或多个病灶区域的分割结果；所述分类器用于根据所述特征提取器输出的全局特征信息输出所述目标部位上各个病灶区域的疾病严重程度分级结果；
其中，所述特征提取器包括：多组级联连接的解耦模块和卷积模块，所述卷积模块包括：卷积层、残差模块和下采样层；所述解码器包括：多组级联连接的特征融合模块和上采样模块；所述分类器包括：全连接层和激活层；所述特征提取器中每一级的解耦模块与所述解码器中同一级的特征融合模块连接；所述特征提取器中每一级的卷积模块与相邻下一级的解耦模块连接；所述解码器中每一级的特征融合模块与相邻下一级的上采样模块连接；所述特征提取器中最后一级的卷积模块分别与所述分类器的全连接层和所述解码器中第一级的上采样模块连接；所述特征提取器中每一级的解耦模块用于将输入的所述目标部位的图像数据解耦为执行分割任务的局部特征信息和执行分类任务的全局特征信息，并解耦后的局部特征信息输入至所述解码器中同一级的特征融合模块，将解耦后的全局特征信息通过同一级的卷积模块输入至相邻下一级的解耦模块；所述特征提取器中每一级的卷积模块用于对输入的全局特征信息进行细粒度特征提取以得到高维度全局特征信息；所述解码器中每一级的特征融合模块用于对输入的局部特征信息进行融合，得到融合后的特征信息；所述解码器中每一级的上采样模块用于将输入特征图像的分辨率恢复到原始图像的分辨率大小；所述分类器中的全连接层和激活层用于根据所述特征提取器输出的全局特征信息进行分类；
其中，所述训练数据为对足部进行糖尿病足溃疡评估的图像数据，所述图像数据上标注有至少一个糖尿病足溃疡的病灶区域以及各个病灶区域的糖尿病足溃疡严重程度分级信息；所述疾病评估模型用于对足部进行糖尿病足溃疡评估。
7. 一种电子设备，其特征在于，包括：
处理器；以及
存储器，用于存储所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行如下步骤的方法：
获取目标部位的图像数据；
将所述目标部位的图像数据输入至预先训练好的疾病评估模型中，输出所述图像数据的病灶区域和疾病严重程度分级信息；
其中，所述疾病评估模型为利用训练数据对预先构建的多任务学习模型进行训练得到的；所述训练数据为对目标部位进行疾病评估的图像数据，所述图像数据上标注有至少一个病灶区域以及各个病灶区域对应的疾病严重程度分级信息；
其中，所述多任务学习模型包括：特征提取器、解码器和分类器；所述特征提取器用于根据输入的所述目标部位的图像数据输出执行分割任务的局部特征信息和执行分类任务的全局特征信息；所述解码器用于根据所述特征提取器输出的局部特征信息输出所述目标部位上一个或多个病灶区域的分割结果；所述分类器用于根据所述特征提取器输出的全局特征信息输出所述目标部位上各个病灶区域的疾病严重程度分级结果；
其中，所述特征提取器包括：多组级联连接的解耦模块和卷积模块，所述卷积模块包括：卷积层、残差模块和下采样层；所述解码器包括：多组级联连接的特征融合模块和上采样模块；所述分类器包括：全连接层和激活层；所述特征提取器中每一级的解耦模块与所述解码器中同一级的特征融合模块连接；所述特征提取器中每一级的卷积模块与相邻下一级的解耦模块连接；所述解码器中每一级的特征融合模块与相邻下一级的上采样模块连接；所述特征提取器中最后一级的卷积模块分别与所述分类器的全连接层和所述解码器中第一级的上采样模块连接；所述特征提取器中每一级的解耦模块用于将输入的所述目标部位的图像数据解耦为执行分割任务的局部特征信息和执行分类任务的全局特征信息，并解耦后的局部特征信息输入至所述解码器中同一级的特征融合模块，将解耦后的全局特征信息通过同一级的卷积模块输入至相邻下一级的解耦模块；所述特征提取器中每一级的卷积模块用于对输入的全局特征信息进行细粒度特征提取以得到高维度全局特征信息；所述解码器中每一级的特征融合模块用于对输入的局部特征信息进行融合，得到融合后的特征信息；所述解码器中每一级的上采样模块用于将输入特征图像的分辨率恢复到原始图像的分辨率大小；所述分类器中的全连接层和激活层用于根据所述特征提取器输出的全局特征信息进行分类；
其中，所述训练数据为对足部进行糖尿病足溃疡评估的图像数据，所述图像数据上标注有至少一个糖尿病足溃疡的病灶区域以及各个病灶区域的糖尿病足溃疡严重程度分级信息；所述疾病评估模型用于对足部进行糖尿病足溃疡评估。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如下步骤的方法：
获取目标部位的图像数据；
将所述目标部位的图像数据输入至预先训练好的疾病评估模型中，输出所述图像数据的病灶区域和疾病严重程度分级信息；
其中，所述疾病评估模型为利用训练数据对预先构建的多任务学习模型进行训练得到的；所述训练数据为对目标部位进行疾病评估的图像数据，所述图像数据上标注有至少一个病灶区域以及各个病灶区域对应的疾病严重程度分级信息；
其中，所述多任务学习模型包括：特征提取器、解码器和分类器；所述特征提取器用于根据输入的所述目标部位的图像数据输出执行分割任务的局部特征信息和执行分类任务的全局特征信息；所述解码器用于根据所述特征提取器输出的局部特征信息输出所述目标部位上一个或多个病灶区域的分割结果；所述分类器用于根据所述特征提取器输出的全局特征信息输出所述目标部位上各个病灶区域的疾病严重程度分级结果；
其中，所述特征提取器包括：多组级联连接的解耦模块和卷积模块，所述卷积模块包括：卷积层、残差模块和下采样层；所述解码器包括：多组级联连接的特征融合模块和上采样模块；所述分类器包括：全连接层和激活层；所述特征提取器中每一级的解耦模块与所述解码器中同一级的特征融合模块连接；所述特征提取器中每一级的卷积模块与相邻下一级的解耦模块连接；所述解码器中每一级的特征融合模块与相邻下一级的上采样模块连接；所述特征提取器中最后一级的卷积模块分别与所述分类器的全连接层和所述解码器中第一级的上采样模块连接；所述特征提取器中每一级的解耦模块用于将输入的所述目标部位的图像数据解耦为执行分割任务的局部特征信息和执行分类任务的全局特征信息，并解耦后的局部特征信息输入至所述解码器中同一级的特征融合模块，将解耦后的全局特征信息通过同一级的卷积模块输入至相邻下一级的解耦模块；所述特征提取器中每一级的卷积模块用于对输入的全局特征信息进行细粒度特征提取以得到高维度全局特征信息；所述解码器中每一级的特征融合模块用于对输入的局部特征信息进行融合，得到融合后的特征信息；所述解码器中每一级的上采样模块用于将输入特征图像的分辨率恢复到原始图像的分辨率大小；所述分类器中的全连接层和激活层用于根据所述特征提取器输出的全局特征信息进行分类；
其中，所述训练数据为对足部进行糖尿病足溃疡评估的图像数据，所述图像数据上标注有至少一个糖尿病足溃疡的病灶区域以及各个病灶区域的糖尿病足溃疡严重程度分级信息；所述疾病评估模型用于对足部进行糖尿病足溃疡评估。
CN202310689691.XA 2023-06-12 2023-06-12 医疗图像数据处理装置、电子设备及计算机可读存储介质 Active CN116433660B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310689691.XA CN116433660B (zh) 2023-06-12 2023-06-12 医疗图像数据处理装置、电子设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310689691.XA CN116433660B (zh) 2023-06-12 2023-06-12 医疗图像数据处理装置、电子设备及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN116433660A CN116433660A (zh) 2023-07-14
CN116433660B true CN116433660B (zh) 2023-09-15

Family

ID=87081832

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310689691.XA Active CN116433660B (zh) 2023-06-12 2023-06-12 医疗图像数据处理装置、电子设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN116433660B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116703901B (zh) * 2023-08-03 2023-10-31 北京大学第三医院（北京大学第三临床医学院） 肺部医学ct影像分割及分类装置及设备
CN117132840B (zh) * 2023-10-26 2024-01-26 苏州凌影云诺医疗科技有限公司 一种基于AHS分期和Forrest分级的消化性溃疡分类方法和系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110136828A (zh) * 2019-05-16 2019-08-16 杭州健培科技有限公司 一种基于深度学习实现医学影像多任务辅助诊断的方法
CN113506294A (zh) * 2021-09-08 2021-10-15 远云(深圳)互联网科技有限公司 一种医疗图像评估方法、系统、计算机设备及存储介质
CN113516678A (zh) * 2021-03-31 2021-10-19 杭州电子科技大学 一种基于多任务的眼底图像检测方法
CN114049314A (zh) * 2021-10-28 2022-02-15 杭州电子科技大学 一种基于特征重排和门控轴向注意力的医学图像分割方法
CN114693675A (zh) * 2022-05-10 2022-07-01 福建师范大学 引入门控轴向自注意力的多通道he染色病理图像分割方法
CN114913183A (zh) * 2021-02-07 2022-08-16 上海交通大学 基于约束的图像分割方法、系统、装置和介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110136828A (zh) * 2019-05-16 2019-08-16 杭州健培科技有限公司 一种基于深度学习实现医学影像多任务辅助诊断的方法
CN114913183A (zh) * 2021-02-07 2022-08-16 上海交通大学 基于约束的图像分割方法、系统、装置和介质
CN113516678A (zh) * 2021-03-31 2021-10-19 杭州电子科技大学 一种基于多任务的眼底图像检测方法
CN113506294A (zh) * 2021-09-08 2021-10-15 远云(深圳)互联网科技有限公司 一种医疗图像评估方法、系统、计算机设备及存储介质
CN114049314A (zh) * 2021-10-28 2022-02-15 杭州电子科技大学 一种基于特征重排和门控轴向注意力的医学图像分割方法
CN114693675A (zh) * 2022-05-10 2022-07-01 福建师范大学 引入门控轴向自注意力的多通道he染色病理图像分割方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
"Transformer and group and parallel axial attention cencoder for medical image segmentation";Chaoqun li et al.;《nature》;全文 *
"基于多任务学习的肝细胞癌分割与病理分化程度预测方法";文含 等;《生物医学工程学杂志》;第40卷(第1期);60-69 *
文含 等."基于多任务学习的肝细胞癌分割与病理分化程度预测方法".《生物医学工程学杂志》.2023,第40卷(第1期),60-69. *

Also Published As

Publication number Publication date
CN116433660A (zh) 2023-07-14

Similar Documents

Publication Publication Date Title
CN116433660B (zh) 医疗图像数据处理装置、电子设备及计算机可读存储介质
Yap et al. Deep learning in diabetic foot ulcers detection: A comprehensive evaluation
Mendes et al. Skin lesions classification using convolutional neural networks in clinical images
Rahman et al. Deep learning–driven automated detection of Covid-19 from radiography images: A comparative analysis
CN114999629B (zh) 一种基于多特征融合的ad早期预测方法、系统、装置
Chen et al. PCAT-UNet: UNet-like network fused convolution and transformer for retinal vessel segmentation
WO2022028127A1 (zh) 基于人工智能的病理图像处理方法、装置、电子设备及存储介质
CN115984622B (zh) 基于多模态和多示例学习分类方法、预测方法及相关装置
CN111951281A (zh) 图像分割方法、装置、设备及存储介质
Yap et al. Development of diabetic foot ulcer datasets: an overview
AlZu’Bi et al. transfer learning enabled CAD system for monkey pox classification
Strzelecki et al. Artificial Intelligence in the detection of skin cancer: state of the art
CN117672443A (zh) 体检数据分析方法、装置、电子设备及存储介质
Jiménez-Sánchez et al. Detecting shortcuts in medical images-a case study in chest x-rays
CN111370130B (zh) 医疗数据的实时处理方法及装置、存储介质、电子设备
CN116564505A (zh) 基于深度学习的甲状腺疾病筛查方法、系统、设备及存储介质
CN115965785A (zh) 图像分割方法、装置、设备、程序产品及介质
Li et al. MCAFNet: multiscale cross-layer attention fusion network for honeycomb lung lesion segmentation
Ovi et al. Infection segmentation from covid-19 chest ct scans with dilated cbam u-net
Biswas et al. DFU_XAI: a deep learning-based approach to diabetic foot ulcer detection using feature explainability
CN113822846A (zh) 医学图像中确定感兴趣区域的方法、装置、设备及介质
Khachnaoui et al. Enhanced Parkinson’s Disease Diagnosis Through Convolutional Neural Network Models Applied to SPECT DaTSCAN Images
Wang et al. MSAMS-Net: accurate lung lesion segmentation from COVID-19 CT images
Di Martino et al. A computational framework to support the treatment of bedsores during COVID-19 diffusion
Zhao et al. VCMix-Net: A hybrid network for medical image segmentation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant