CN111640119B - 一种图像处理方法、处理装置、电子设备及存储介质 - Google Patents

一种图像处理方法、处理装置、电子设备及存储介质 Download PDF

Info

Publication number
CN111640119B
CN111640119B CN202010273013.1A CN202010273013A CN111640119B CN 111640119 B CN111640119 B CN 111640119B CN 202010273013 A CN202010273013 A CN 202010273013A CN 111640119 B CN111640119 B CN 111640119B
Authority
CN
China
Prior art keywords
body part
human body
neural network
sub
network model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010273013.1A
Other languages
English (en)
Other versions
CN111640119A (zh
Inventor
侯蓓蓓
康桂霞
唐源
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Posts and Telecommunications
Original Assignee
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Posts and Telecommunications filed Critical Beijing University of Posts and Telecommunications
Priority to CN202010273013.1A priority Critical patent/CN111640119B/zh
Publication of CN111640119A publication Critical patent/CN111640119A/zh
Application granted granted Critical
Publication of CN111640119B publication Critical patent/CN111640119B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10104—Positron emission tomography [PET]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30016—Brain

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供了一种图像处理方法、处理装置、电子设备及存储介质，所述方法包括：获取待处理多模态人体部位影像；对待处理多模态人体部位影像进行预处理，得到预处理后的多模态人体部位影像；将预处理后的多模态人体部位影像，输入预先训练好的基于注意力机制构建的栈式卷积神经网络模型中，得到预处理后的多模态人体部位影像对应的区域分割结果。本发明实施例，能够提升人体不正常区域分割的准确度，满足批量处理人体部位影像不正常区域分割工作的需求，实时性较高，可重复操作性好。

Description

一种图像处理方法、处理装置、电子设备及存储介质
技术领域
本发明涉及图像处理技术领域，特别是涉及一种图像处理方法、处理装置、电子设备及存储介质。
背景技术
人体部位影像通常是指通过MRI(Magnetic Resonance Imaging，磁共振成像)、PET(Positron Emission Tomography，正电子发射型计算机断层扫描)和CT(ComputedTomography，电子计算机断层扫描)等仪器扫描后得到的图像，该图像中通常携带有人体部位的透视信息，例如，解剖结构信息、组织代谢信息、组织的密度信息等。使用MRI、PET和CT可以得到多模态的人体部位影像，进而对所获取的多模态人体部位影像进行特征提取、分析，可以区分人体部位影像中不同区域是否正常。
现有的图像处理方法，通常是针对所获取的多模态人体部位影像，由经验丰富的医学专家根据自身的解剖学和病理学知识，借助图像处理和分析工具Freesurfer，在原始人体部位影像上以手工勾画的方式，实现对人体部位影像中不正常区域的分割。其中，Freesurfer是用于对多模态人体部位影像进行处理和分析的一款开源软件，可以实现多种模态数据的预处理、皮层重建等功能。
然而，现有图像处理方法中，尽管人工手动分割准确率高，但是耗时耗力，实时性较差，不能满足批量处理人体部位影像分割工作的需求，并且，不正常区域分割的准确性严重依赖操作者的先验知识和经验积累，具有很大的主观性和个体差异性，可重复操作性差。
发明内容
本发明实施例的目的在于提供一种图像处理方法、处理装置、电子设备及存储介质，以解决现有技术中图像区域分割耗时耗力、实时性较差以及可重复操作性差的问题。具体技术方案如下：
第一方面，本发明实施例提供了一种图像处理方法，所述方法包括：
获取待处理多模态人体部位影像，所述多模态人体部位影像表示利用不同成像原理、参数、设备得到的人体部位影像；
对所述待处理多模态人体部位影像进行预处理，得到预处理后的多模态人体部位影像；
将所述预处理后的多模态人体部位影像，输入预先训练好的基于注意力机制构建的栈式卷积神经网络模型中，得到所述预处理后的多模态人体部位影像对应的区域分割结果，所述区域分割结果包括：正常区域和不正常区域；其中，所述预先训练好的基于注意力机制构建的栈式卷积神经网络模型，是根据所述预处理后的多模态人体部位影像，以及所述预处理后的多模态人体部位影像对应的标准区域分割结果训练得到的。
可选地，所述对所述待处理多模态人体部位影像进行预处理，得到预处理后的多模态人体部位影像的步骤，包括：
从所获取的待处理多模态人体部位影像中，选择满足预设条件的人体部位影像，作为基准模态人体部位影像；
利用预设的人体部位影像处理软件，对所述待处理多模态人体部位影像依次进行去噪、标准化处理，得到标准化处理后的多模态人体部位影像；
将标准化处理后的多模态人体部位影像中的其他模态人体部位影像通过预设的配准方法，与所述基准模态人体部位影像配准，得到配准后的多模态人体部位影像；
将所述配准后的多模态人体部位影像，确定为预处理后的多模态人体部位影像。
可选地，所述基于注意力机制构建的栈式卷积神经网络模型的训练过程，包括：
构建初始栈式卷积神经网络模型，所述初始栈式卷积神经网络模型，由2×N个并列的栈式卷积子神经网络模型构成；其中，所述2×N个并列的栈式卷积子神经网络模型中各层的初始参数是随机生成的，所述栈式卷积子神经网络模型包括：上通路模块、下通路模块和分类器；所述上通路模块包括：多个交替的第一卷积层和下采样层，所述下通路模块为：多个由注意力机制层、第二卷积层和上采样层构成的子模块组成，N为大于1的整数；
将预设数量的预处理后的多模态人体部位影像，以及各预处理后的多模态人体部位影像对应的标准区域分割结果，输入各所述栈式卷积子神经网络模型；
分别利用各所述栈式卷积子神经网络模型，得到各所述预处理后的多模态人体部位影像对应的区域分割结果；
基于所述区域分割结果与所述标准区域分割结果的差异，分别计算各所述栈式卷积子神经网络模型对应的损失函数；
对各所述栈式卷积子神经网络模型对应的损失函数进行最小化处理，得到各所述栈式卷积子神经网络模型对应的最小化损失函数；
根据各所述栈式卷积子神经网络模型对应的最小化损失函数，确定各栈式卷积子神经网络模型中各模块的权重参数；
基于各栈式卷积子神经网络模型中各模块的权重参数，对所述栈式卷积子神经网络模型中的参数进行更新，训练得到所述栈式卷积神经网络模型。
可选地，所述2×N个并列的栈式卷积子神经网络模型中，N个栈式卷积子神经网络模型对应的损失函数相同；
其中，N个栈式卷积子神经网络模型对应的损失函数表示为：
其中，rm表示不正常区域的第m个体素对应的标准区域分割结果，pm表示不正常区域的第m个体素对应的概率化预测输出结果,α表示可调超参，ε表示防止表达式分母为0的随机小值，为1-rm，/>为1-pm，γ表示在[0,1]内变化的稳定指数；
另外N个栈式卷积子神经网络模型对应的损失函数表示为：
其中，rlm表示属于类别l的第m个体素对应的标准区域分割结果，plm表示属于类别l的第m个体素对应的预测概率，wl表示体素属于类别l的权重，类别l为1表示属于不正常区域，类别为0表示属于正常区域，M表示体素的总个数。
可选地，所述栈式卷积神经网络模型的输出结果为：使用如下表达式对各所述栈式卷积子神经网络模型对应的输出进行处理的结果；
所述表达式为：
其中，表示所述栈式卷积神经网络模型的输出结果，N表示所述栈式卷积子神经网络模型的个数，/>表示第i个所述栈式卷积子神经网络模型在给定属于人体部位影像I和训练权重Wi的情况下的输出结果，/>表示给定人体部位影像I时对应的各体素的预测概率；
将所述输出结果，与预设阈值进行比较，确定所述栈式卷积神经网络模型的最终输出结果。
第二方面，本发明实施例提供了一种图像处理装置，所述装置包括：
获取模块，用于获取待处理多模态人体部位影像，所述多模态人体部位影像表示利用不同成像原理、参数、设备得到的人体部位影像；
预处理模块，用于对所述待处理多模态人体部位影像进行预处理，得到预处理后的多模态人体部位影像；
区域分割模块，用于将所述预处理后的多模态人体部位影像，输入预先训练好的基于注意力机制构建的栈式卷积神经网络模型中，得到所述预处理后的多模态人体部位影像对应的区域分割结果，所述区域分割结果包括：正常区域和不正常区域；其中，所述预先训练好的基于注意力机制构建的栈式卷积神经网络模型，是根据所述预处理后的多模态人体部位影像，以及所述预处理后的多模态人体部位影像对应的标准区域分割结果训练得到的。
可选地，所述预处理模块，包括：
选择子模块，用于从所获取的待处理多模态人体部位影像中，选择满足预设条件的人体部位影像，作为基准模态人体部位影像；
标准化子模块，用于利用预设的人体部位影像处理软件，对所述待处理多模态人体部位影像依次进行去噪、标准化处理，得到标准化处理后的多模态人体部位影像；
配准子模块，用于将标准化处理后的多模态人体部位影像中的其他模态人体部位影像通过预设的配准方法，与所述基准模态人体部位影像配准，得到配准后的多模态人体部位影像；
确定子模块，用于将所述配准后的多模态人体部位影像，确定为预处理后的多模态人体部位影像。
可选地，所述装置还包括：
构建模块，用于构建初始栈式卷积神经网络模型，所述初始栈式卷积神经网络模型，由2×N个并列的栈式卷积子神经网络模型构成；其中，所述2×N个并列的栈式卷积子神经网络模型中各层的初始参数是随机生成的，所述栈式卷积子神经网络模型包括：上通路模块、下通路模块和分类器；所述上通路模块包括：多个交替的第一卷积层和下采样层，所述下通路模块为：多个由注意力机制层、第二卷积层和上采样层构成的子模块组成，N为大于1的整数；
第一训练模块，用于将预设数量的预处理后的多模态人体部位影像，以及各预处理后的多模态人体部位影像对应的标准区域分割结果，输入各所述栈式卷积子神经网络模型；
第一获得模块，用于分别利用各所述栈式卷积子神经网络模型，得到各所述预处理后的多模态人体部位影像对应的区域分割结果；
计算模块，用于基于所述区域分割结果与所述标准区域分割结果的差异，分别计算各所述栈式卷积子神经网络模型对应的损失函数；
第二获得模块，用于对各所述栈式卷积子神经网络模型对应的损失函数进行最小化处理，得到各所述栈式卷积子神经网络模型对应的最小化损失函数；
确定模块，用于根据各所述栈式卷积子神经网络模型对应的最小化损失函数，确定各栈式卷积子神经网络模型中各模块的权重参数；
第二训练模块，用于基于各栈式卷积子神经网络模型中各模块的权重参数，对所述栈式卷积子神经网络模型中的参数进行更新，训练得到所述栈式卷积神经网络模型。
第三方面，本发明实施例还提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现上述第一方面所述的一种图像处理方法的方法步骤。
第四方面，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述第一方面所述的一种图像处理方法的方法步骤。
本发明实施例有益效果：
本发明实施例提供的一种图像处理方法、处理装置、电子设备及存储介质，可以对所获取的待处理多模态人体部位影像进行预处理，得到预处理后的多模态人体部位影像，进而，将预处理后的多模态人体部位影像，输入预先训练好的基于注意力机制构建的栈式卷积神经网络模型中，得到预处理后的多模态人体部位影像对应的区域分割结果。本发明实施例中，使用预先训练好的基于注意力机制构建的栈式卷积神经网络模型，对多模态人体部位影像自动进行区域的分割，不需要人工分割，可以节省人力和时间，并且，模型中增加了注意力机制，可以重点关注特定的部分区域，能够很好的提升人体不正常区域分割的准确度，也能够满足批量处理人体部位影像不正常区域分割工作的需求，实时性较高，可重复操作性好。
当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种图像处理方法的流程示意图；
图2为本发明实施例提供的一种图像预处理的实施方式流程示意图；
图3为本发明实施例提供的一种网络模型训练实施方式流程图；
图4为本发明实施例提供的一种栈式卷积子神经网络模型结构示意图；
图5为本发明实施例提供的一种图像处理装置的结构示意图；
图6为本发明实施例提供的一种预处理模块的结构示意图；
图7为本发明实施例提供的一种网络模型的结构示意图；
图8为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了解决现有技术中图像区域分割耗时耗力、实时性较差以及可重复操作性差的问题，本发明实施例提供了一种图像处理方法、处理装置、电子设备及存储介质。
下面首先对本发明实施例所提供的一种图像处理方法进行介绍。
如图1所示，图1为本发明实施例提供的一种图像处理方法的流程示意图，该方法可以包括：
S101、获取待处理多模态人体部位影像。
本发明实施例中的待处理多模态人体部位影像，可以是由MRI、PET和CT等仪器扫描后得到的多模态的人体部位影像，其中，多模态人体部位影像表示利用不同成像原理、参数、设备得到的人体部位影像。可以理解，这些人体部位影像中通常含有人体部位的透视信息，由于是待进行特征分析处理的图像，因此可以称为待处理人体部位影像。
示例性的，以脑部神经影像为例，由MRI仪器扫描后得到的多模态人体部位影像可以包括：T1-WI(T1 weighted image,T1加权像)、T2-WI(T2 weighted image,T2加权像)、DWI(Diffusion weighted imaging，磁共振扩散加权成像)、FLAIR(Fluid AttenuatedInversion Recovery，磁共振成像液体衰减反转恢复序列)等，这些模态下的人体部位影像都是利用不同成像原理得到的人体部位影像。
S102、对待处理多模态人体部位影像进行预处理，得到预处理后的多模态人体部位影像。
由于待处理多模态人体部位影像中存在诸多噪声，且不同模态的人体部位影像是利用不同成像原理得到，在成像的过程中可能存在扫描次数、扫描层数以及扫描侧重点的不同，导致不同模态下的人体部位影像中同一部位对应的体素位置可能不同，这些噪声以及体素位置的不同，会对人体部位影像特征提取和分析产生影响，因此需要对待处理多模态人体部位影像进行预处理，以得到符合特征提取、分析要求的图像。
作为本发明实施例一种可选的实施方式，如图2所示，上述步骤S102具体可以包括以下步骤：
S1021、从所获取的待处理多模态人体部位影像中，选择满足预设条件的人体部位影像，作为基准模态人体部位影像。
本发明实施例中，可以从所获取的待处理多模态人体部位影像中，选择分辨率高或分辨率低的人体部位影像，作为基准模态人体部位影像，进而得到基准模态人体部位影像数据集，利用该基准模态人体部位影像数据集，对所获取的待处理多模态人体部位影像进行预处理。其中，分辨率的高或低，本领域技术人员可以根据需要自行设置。示例性的，针对脑部影像而言，因T1像的采集分辨率高，结构显像清楚，可以选择T1像作为基准模态人体部位影像；也可以选择FLAIR像或其他模态的影像作为基准模态人体部位影像，具体的，本领域技术人员可以根据实际需求对基准模态人体部位影像进行选择。
S1022、利用预设的人体部位影像处理软件，对待处理多模态人体部位影像依次进行去噪、标准化处理，得到标准化处理后的多模态人体部位影像。
本发明实施例中，可以使用图像处理和分析工具Freesurfer，对待处理多模态人体部位影像进行去除扫描噪声处理，以及标准化处理，使得标准化处理后的各模态人体部位影像中组织结构位置均衡、对称，组织结构大小均衡、对称。该标准化处理是指，使用工具Freesurfer对多模态人体部位影像进行格式化处理，得到的一种组织结构位置均衡、对称，组织结构大小均衡、对称的，便于特征提取和分析的人体部位影像。
S1023、将标准化处理后的多模态人体部位影像中的其他模态人体部位影像通过预设的配准方法，与基准模态人体部位影像配准，得到配准后的多模态人体部位影像。
本发明实施例中，进一步可以使用图像处理软件SPM(statistical parametricmapping)，将标准化处理后的多模态人体部位影像中的其他模态人体部位影像，与基准模态人体部位影像进行配准，得到配准后的多模态人体部位影像，配准后的多模态人体部位影像为可进行机器处理格式的图像。其中，SPM是一个可以用于图像数据分析，配准的通用软件包。
示例性的，可以使用SPM，将标准化处理后的人体部位影像T1-WI、T2-WI、DWI、以及FLAIR，与基准模态人体部位影像T1像进行配准，得到配准后的人体部位影像T1-WI、T2-WI、DWI、以及FLAIR，配准后的人体部位影像T1-WI、T2-WI、DWI、以及FLAIR和T1像中各组织结构的位置一一对应，可以理解的，配准后的人体部位影像T1-WI、T2-WI、DWI、以及FLAIR和T1像中各体素的空间位置一一对应。
S1024、将配准后的多模态人体部位影像，确定为预处理后的多模态人体部位影像。
本发明实施例中，可以将T1像作为基准模态人体部位影像，进而使用Freesurfer，对待处理多模态人体部位影像进行去除扫描噪声处理，以及标准化处理，再使用SPM，将标准化处理后的多模态人体部位影像中的其他模态人体部位影像，与基准模态人体部位影像T1像进行配准，得到配准后的多模态人体部位影像，以使得配准后的多模态人体部位影像中各体素的空间位置一一对应，能够更加有利于后续特征提取和分析，提高对人体部位影像区域分割的准确性。
参见图1，S103、将预处理后的多模态人体部位影像，输入预先训练好的基于注意力机制构建的栈式卷积神经网络模型中，得到预处理后的多模态人体部位影像对应的区域分割结果。
本发明实施例中，将上述配准后的多模态人体部位影像，输入预先训练好的基于注意力机制构建的栈式卷积神经网络模型中，进而得到预处理后的多模态人体部位影像对应的区域分割结果。其中，区域分割结果可以包括：正常区域和不正常区域；预先训练好的基于注意力机制构建的栈式卷积神经网络模型，可以是根据预处理后的多模态人体部位影像，以及预处理后的多模态人体部位影像对应的标准区域分割结果训练得到的，具体的，基于注意力机制构建的栈式卷积神经网络模型的训练过程在下文进行详细介绍。
示例性的，得到预处理后的多模态人体部位影像对应的区域分割结果，可以是针对人体部位影像中各体素是否属于正常区域或不正常区域进行分割，体素属于正常区域用0表示，体素属于不正常区域用1表示，分割的结果可以表示为与输入人体部位影像尺寸相同的0-1图像。
本发明实施例提供的一种图像处理方法，可以对所获取的待处理多模态人体部位影像进行预处理，得到预处理后的多模态人体部位影像，进而，将预处理后的多模态人体部位影像，输入预先训练好的基于注意力机制构建的栈式卷积神经网络模型中，得到预处理后的多模态人体部位影像对应的区域分割结果。本发明实施例中，使用预先训练好的基于注意力机制构建的栈式卷积神经网络模型，对多模态人体部位影像自动进行区域的分割，不需要人工分割，可以节省人力和时间，并且，模型中增加了注意力机制，可以重点关注特定的部分区域，能够很好的提升人体不正常区域分割的准确度，也能够满足批量处理人体部位影像不正常区域分割工作的需求，实时性较高，可重复操作性好。
作为本发明实施例一种可选的实施方式，如图3所示，对上述基于注意力机制构建的栈式卷积神经网络模型进行训练的实施过程，可以包括：
S201、构建初始栈式卷积神经网络模型。
本发明实施例中，所构建的初始栈式卷积神经网络模型，可以由2×N个并列的栈式卷积子神经网络模型构成。其中，2×N个并列的栈式卷积子神经网络模型中各层的初始参数是随机生成的，该2×N个并列的栈式卷积子神经网络模型可以是并行训练的，每一栈式卷积子神经网络模型的结构可以相同。具体的，栈式卷积子神经网络模型可以包括：上通路模块、下通路模块和分类器；上通路模块包括：多个交替的第一卷积层和下采样层，下通路模块为：多个由注意力机制层、第二卷积层和上采样层构成的子模块组成，N为大于1的整数。
S202、将预设数量的预处理后的多模态人体部位影像，以及各预处理后的多模态人体部位影像对应的标准区域分割结果，输入各栈式卷积子神经网络模型。
S203、分别利用各栈式卷积子神经网络模型，得到各预处理后的多模态人体部位影像对应的区域分割结果。
示例性的，栈式卷积子神经网络模型的结构可参见图4，该栈式卷积子神经网络模型是使用由t1个交替的第一卷积层和下采样层构成的上通路模块，t2个由注意力机制层、第二卷积层和上采样层构成的子模块所组成的下通路模块，以及分类器构成的。其中，t1和t2可以设置为3个，4个或5个，栈式卷积子神经网络模型的个数N可以设置为5个，6个或8个，本领域技术人员可根据实际需要进行设置，分类器可以使用Softmax函数或Sigmoid函数作为激活函数。
上述步骤S202中，预处理后的多模态人体部位影像的数量，本领域技术人员可根据模型训练的需求进行设置。预处理后的多模态人体部位影像对应的标准区域分割结果，可以是人工对多模态人体部位影像进行分割，得到的标准区域分割结果。
本发明实施例中，注意力机制层可以为交叉注意力子模块，由空间注意力子模块和通道注意力子模块构成。交叉注意力子模块，将上通路模块输出的低阶多模态人体部位影像对应的特征图像，和上通路模块输出的高阶多模态人体部位影像对应的特征图像作为输入，分别输入一个卷积核大小为1×1×1的卷积层中，再将卷积层输出的多模态人体部位影像对应的特征图像相加。然后，将卷积层输出的多模态人体部位影像对应的特征图像相加的结果，分别作为空间注意力子模块和通道注意力子模块的输入，再将卷积层输出的多模态人体部位影像对应的特征图像相加的结果，分别与空间注意力子模块得到的人体部位影像对应的特征图像中各体素的权重，和通道注意力子模块得到的人体部位影像对应的特征图像中各体素的权重相乘，之后再相加，得到该交叉注意力子模块输出的综合注意力权重，将该综合注意力权重的输出结果作为下通路模块的第二卷积层的输入。
其中，空间注意力子模块得到人体部位影像对应的特征图像中各体素的权重的过程可以为：空间注意力子模块将卷积层输出的多模态人体部位影像对应的特征图像相加结果的空间域特征转换为四维空间的数据，以便于逐体素提取人体部位影像对应的特征图像中的关键信息。在空间注意力子模块中，可以使用沿通道池化的方式对每个通道的人体部位影像对应的特征图像进行池化，得到一个通道空间大小的数据，进而将池化得到的一个通道空间大小的数据，输入一个卷积核大小为1×1×1的卷积层中，再通过激活函数层输出该空间注意力子模块对应的人体部位影像对应的特征图像中各体素的权重。示例性的，一共32个通道，每个通道的空间大小为60×60×60，那么沿通道池化对每个通道的人体部位影像对应的特征图像进行池化，得到的一个通道空间大小的数据，即为一个空间大小为60×60×60的数据，激活函数层可以为Sigmoid激活函数。
通道注意力子模块得到人体部位影像对应的特征图像中各体素的权重的过程可以为：在通道注意力子模块中，可以使用全局池化的方式对每个通道的人体部位影像对应的特征图像进行池化，得到各通道对应的一维数据，进而将池化得到的各通道对应的一维数据，输入一个卷积核大小为1×1×1的卷积层中，再通过激活函数层输出该通道注意力子模块对应的人体部位影像对应的特征图像中各体素的权重。示例性的，一共32个通道，每个通道的空间大小为60×60×60，那么使用全局池化对每个通道的人体部位影像对应的特征图像进行池化，得到的各通道对应的一维数据，即为一个32×1×1×1大小的数据，激活函数层可以为Sigmoid激活函数。
使用注意力机制，可以对人体部位影像对应的特征图像中各体素的权重进行计算，体素对应的权重越大，说明对该体素的关注越多。
本发明实施例中，将预设数量的预处理后的多模态人体部位影像，以及各预处理后的多模态人体部位影像对应的标准区域分割结果，输入如图4所示的栈式卷积子神经网络模型，利用各栈式卷积子神经网络模型，得到各预处理后的多模态人体部位影像对应的区域分割结果。
示例性的，得到各预处理后的多模态人体部位影像对应的区域分割结果，可以是针对各预处理后的多模态人体部位影像中各体素是否属于正常区域或不正常区域进行分割，得到的分割结果可以是各体素属于正常区域或不正常区域的预测概率。
参见图3，S204、基于区域分割结果与标准区域分割结果的差异，分别计算各栈式卷积子神经网络模型对应的损失函数。
本发明实施例中，基于得到的各预处理后的多模态人体部位影像对应的区域分割结果，与标准区域分割结果的差异，分别计算各栈式卷积子神经网络模型对应的损失函数。
本发明实施例中，2×N个并列的栈式卷积子神经网络模型中，N个栈式卷积子神经网络模型对应的损失函数相同，设置两种损失函数的计算方式。其中，N个栈式卷积子神经网络模型对应的损失函数，考虑模型训练的稳定性问题，其表达式可以表示为：
其中，rm表示不正常区域的第m个体素对应的标准区域分割结果，pm表示不正常区域的第m个体素对应的概率化预测输出结果,α表示可调超参，ε表示防止表达式分母为0的随机小值，为1-rm，/>为1-pm，γ表示在[0,1]内变化的稳定指数。
另外N个栈式卷积子神经网络模型对应的损失函数，考虑图像类别的自适应均衡问题，其表达式可以表示为：
其中，rlm表示属于类别l的第m个体素对应的标准区域分割结果，plm表示属于类别l的第m个体素对应的预测概率，wl表示体素属于类别l的权重，类别l为1表示属于不正常区域，类别为0表示属于正常区域，M表示体素的总个数。
参见图3，S205、对各栈式卷积子神经网络模型对应的损失函数进行最小化处理，得到各栈式卷积子神经网络模型对应的最小化损失函数。
S206、根据各栈式卷积子神经网络模型对应的最小化损失函数，确定各栈式卷积子神经网络模型中各模块的权重参数。
S207、基于各栈式卷积子神经网络模型中各模块的权重参数，对栈式卷积子神经网络模型中的参数进行更新，训练得到栈式卷积神经网络模型。
上述步骤S205～S207中，对各栈式卷积子神经网络模型对应的损失函数进行最小化处理，得到各栈式卷积子神经网络模型对应的最小化损失函数，再根据各栈式卷积子神经网络模型对应的最小化损失函数，确定各栈式卷积子神经网络模型中各模块的权重参数，最后，利用权重参数对栈式卷积子神经网络模型中的参数进行更新，训练得到栈式卷积神经网络模型。此过程的详细实现过程，可参见现有技术的实现，本发明实施例在此不再赘述。
本发明实施例中，通过上述训练方式得到的栈式卷积神经网络模型的输出结果为：使用如下表达式对各栈式卷积子神经网络模型对应的输出进行处理的结果，该表达式可以表示为：
其中，表示栈式卷积神经网络模型的输出结果，N表示栈式卷积子神经网络模型的个数，/>表示第i个栈式卷积子神经网络模型在给定属于人体部位影像I和训练权重Wi的情况下的输出结果，/>表示给定人体部位影像I时对应的各体素的预测概率；
然后，将输出结果，与预设阈值进行比较，确定栈式卷积神经网络模型的最终输出结果。
示例性的，输出结果可以为0-1之间的概率值，设置的阈值可以为0.5，0.6，或0.8，当模型的输出结果大于所设置的阈值时，将区域分割结果1确定为栈式卷积神经网络模型的最终输出结果，该最终输出结果表示区域不正常；当模型的输出结果不大于所设置的阈值时，将区域分割结果0确定为栈式卷积神经网络模型的最终输出结果，该最终输出结果表示区域正常。
本发明实施例提供的一种图像处理方法，可以对所获取的待处理多模态人体部位影像进行预处理，得到预处理后的多模态人体部位影像，进而，将预处理后的多模态人体部位影像，输入预先训练好的基于注意力机制构建的栈式卷积神经网络模型中，得到预处理后的多模态人体部位影像对应的区域分割结果。本发明实施例中，使用预先训练好的基于注意力机制构建的栈式卷积神经网络模型，对多模态人体部位影像自动进行区域的分割，不需要人工分割，可以节省人力和时间，并且，模型中增加了注意力机制，可以重点关注特定的部分区域，能够很好的提升人体不正常区域分割的准确度，也能够满足批量处理人体部位影像不正常区域分割工作的需求，实时性较高，可重复操作性好。
相应于上述方法实施例，本发明实施例提供了一种图像处理装置，如图5所示，该装置可以包括：
获取模块301，用于获取待处理多模态人体部位影像，多模态人体部位影像表示利用不同成像原理、参数、设备得到的人体部位影像。
预处理模块302，用于对待处理多模态人体部位影像进行预处理，得到预处理后的多模态人体部位影像。
区域分割模块303，用于将预处理后的多模态人体部位影像，输入预先训练好的基于注意力机制构建的栈式卷积神经网络模型中，得到预处理后的多模态人体部位影像对应的区域分割结果，区域分割结果包括：正常区域和不正常区域；其中，预先训练好的基于注意力机制构建的栈式卷积神经网络模型，是根据预处理后的多模态人体部位影像，以及预处理后的多模态人体部位影像对应的标准区域分割结果训练得到的。
本发明实施例提供的一种图像处理装置，可以对所获取的待处理多模态人体部位影像进行预处理，得到预处理后的多模态人体部位影像，进而，将预处理后的多模态人体部位影像，输入预先训练好的基于注意力机制构建的栈式卷积神经网络模型中，得到预处理后的多模态人体部位影像对应的区域分割结果。本发明实施例中，使用预先训练好的基于注意力机制构建的栈式卷积神经网络模型，对多模态人体部位影像自动进行区域的分割，不需要人工分割，可以节省人力和时间，并且，模型中增加了注意力机制，可以重点关注特定的部分区域，能够很好的提升人体不正常区域分割的准确度，也能够满足批量处理人体部位影像不正常区域分割工作的需求，实时性较高，可重复操作性好。
需要说明的是，本发明实施例的装置是与图1所示的一种图像处理方法对应的装置，图1所示的一种图像处理方法的所有实施例均适用于该装置，且均能达到相同的有益效果。
参见图6，上述预处理模块302，可以包括：
选择子模块3021，用于从所获取的待处理多模态人体部位影像中，选择满足预设条件的人体部位影像，作为基准模态人体部位影像。
标准化子模块3022，用于利用预设的人体部位影像处理软件，对待处理多模态人体部位影像依次进行去噪、标准化处理，得到标准化处理后的多模态人体部位影像。
配准子模块3023，用于将标准化处理后的多模态人体部位影像中的其他模态人体部位影像通过预设的配准方法，与基准模态人体部位影像配准，得到配准后的多模态人体部位影像。
确定子模块3024，用于将配准后的多模态人体部位影像，确定为预处理后的多模态人体部位影像。
参见图7，上述装置还可以包括：
构建模块401，用于构建初始栈式卷积神经网络模型，初始栈式卷积神经网络模型，由2×N个并列的栈式卷积子神经网络模型构成；其中，2×N个并列的栈式卷积子神经网络模型中各层的初始参数是随机生成的，栈式卷积子神经网络模型包括：上通路模块、下通路模块和分类器；上通路模块包括：多个交替的第一卷积层和下采样层，下通路模块为：多个由注意力机制层、第二卷积层和上采样层构成的子模块组成，N为大于1的整数。
第一训练模块402，用于将预设数量的预处理后的多模态人体部位影像，以及各预处理后的多模态人体部位影像对应的标准区域分割结果，输入各栈式卷积子神经网络模型。
第一获得模块403，用于分别利用各栈式卷积子神经网络模型，得到各预处理后的多模态人体部位影像对应的区域分割结果。
计算模块404，用于基于区域分割结果与标准区域分割结果的差异，分别计算各栈式卷积子神经网络模型对应的损失函数。
第二获得模块405，用于对各栈式卷积子神经网络模型对应的损失函数进行最小化处理，得到各栈式卷积子神经网络模型对应的最小化损失函数。
确定模块406，用于根据各栈式卷积子神经网络模型对应的最小化损失函数，确定各栈式卷积子神经网络模型中各模块的权重参数。
第二训练模块407，用于基于各栈式卷积子神经网络模型中各模块的权重参数，对栈式卷积子神经网络模型中的参数进行更新，训练得到栈式卷积神经网络模型。
可选地，上述2×N个并列的栈式卷积子神经网络模型中，N个栈式卷积子神经网络模型对应的损失函数相同。
其中，N个栈式卷积子神经网络模型对应的损失函数可以表示为：
其中，rm表示不正常区域的第m个体素对应的标准区域分割结果，pm表示不正常区域的第m个体素对应的概率化预测输出结果,α表示可调超参，ε表示防止表达式分母为0的随机小值，为1-rm，/>为1-pm，γ表示在[0,1]内变化的稳定指数。
另外N个栈式卷积子神经网络模型对应的损失函数可以表示为：
其中，rlm表示属于类别l的第m个体素对应的标准区域分割结果，plm表示属于类别l的第m个体素对应的预测概率，wl表示体素属于类别l的权重，类别l为1表示属于不正常区域，类别为0表示属于正常区域，M表示体素的总个数。
可选地，上述栈式卷积神经网络模型的输出结果为：使用如下表达式对各栈式卷积子神经网络模型对应的输出进行处理的结果；
该表达式可以为：
其中，表示栈式卷积神经网络模型的输出结果，N表示栈式卷积子神经网络模型的个数，/>表示第i个栈式卷积子神经网络模型在给定属于人体部位影像I和训练权重Wi的情况下的输出结果，/>表示给定人体部位影像I时对应的各体素的预测概率；
将输出结果，与预设阈值进行比较，确定栈式卷积神经网络模型的最终输出结果。
本发明实施例还提供了一种电子设备，如图8所示，包括处理器501、通信接口502、存储器503和通信总线504，其中，处理器501，通信接口502，存储器503通过通信总线504完成相互间的通信，存储器503，用于存放计算机程序；
处理器501，用于执行存储器503上所存放的程序时，实现本发明实施例所提供的一种图像处理方法的步骤。
本发明实施例提供的一种电子设备，可以对所获取的待处理多模态人体部位影像进行预处理，得到预处理后的多模态人体部位影像，进而，将预处理后的多模态人体部位影像，输入预先训练好的基于注意力机制构建的栈式卷积神经网络模型中，得到预处理后的多模态人体部位影像对应的区域分割结果。本发明实施例中，使用预先训练好的基于注意力机制构建的栈式卷积神经网络模型，对多模态人体部位影像自动进行区域的分割，不需要人工分割，可以节省人力和时间，并且，模型中增加了注意力机制，可以重点关注特定的部分区域，能够很好的提升人体不正常区域分割的准确度，也能够满足批量处理人体部位影像不正常区域分割工作的需求，实时性较高，可重复操作性好。
上述电子设备提到的通信总线可以是PCI(Peripheral ComponentInterconnect，外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture，扩展工业标准结构)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括RAM(Random Access Memory，随机存取存储器)，也可以包括NVM(Non-Volatile Memory，非易失性存储器)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括CPU(Central Processing Unit，中央处理器)、NP(Network Processor，网络处理器)等；还可以是DSP(Digital Signal Processing，数字信号处理器)、ASIC(Application Specific Integrated Circuit，专用集成电路)、FPGA(Field-Programmable Gate Array，现场可编程门阵列)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一一种图像处理方法的步骤。
在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一一种图像处理方法的步骤。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、DSL(Digital Subscriber Line，数字用户线))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD(Digital Versatile Disc，数字多功能光盘))、或者半导体介质(例如SSD(Solid StateDisk，固态硬盘))等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置/电子设备实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (6)

1.一种图像处理方法，其特征在于，所述方法包括：
获取待处理多模态人体部位影像，所述多模态人体部位影像表示利用不同成像原理、参数、设备得到的人体部位影像；
从所获取的待处理多模态人体部位影像中，选择满足预设条件的人体部位影像，作为基准模态人体部位影像；利用预设的人体部位影像处理软件，对所述待处理多模态人体部位影像依次进行去噪、标准化处理，得到标准化处理后的多模态人体部位影像；将标准化处理后的多模态人体部位影像中的其他模态人体部位影像通过预设的配准方法，与所述基准模态人体部位影像配准，得到配准后的多模态人体部位影像；将所述配准后的多模态人体部位影像，确定为预处理后的多模态人体部位影像；
将所述预处理后的多模态人体部位影像，输入预先训练好的基于注意力机制构建的栈式卷积神经网络模型中，得到所述预处理后的多模态人体部位影像对应的区域分割结果，所述区域分割结果包括：正常区域和不正常区域；其中，所述预先训练好的基于注意力机制构建的栈式卷积神经网络模型，是根据所述预处理后的多模态人体部位影像，以及所述预处理后的多模态人体部位影像对应的标准区域分割结果训练得到的；
所述基于注意力机制构建的栈式卷积神经网络模型的训练过程，包括：
构建初始栈式卷积神经网络模型，所述初始栈式卷积神经网络模型，由2×N个并列的栈式卷积子神经网络模型构成；其中，所述2×N个并列的栈式卷积子神经网络模型中各层的初始参数是随机生成的，所述栈式卷积子神经网络模型包括：上通路模块、下通路模块和分类器；所述上通路模块包括：多个交替的第一卷积层和下采样层，所述下通路模块为：多个由注意力机制层、第二卷积层和上采样层构成的子模块组成，N为大于1的整数；将预设数量的预处理后的多模态人体部位影像，以及各预处理后的多模态人体部位影像对应的标准区域分割结果，输入各所述栈式卷积子神经网络模型；分别利用各所述栈式卷积子神经网络模型，得到各所述预处理后的多模态人体部位影像对应的区域分割结果，所述注意力机制层为交叉注意力子模块，由空间注意力子模块和通道注意力子模块构成，所述交叉注意力子模块将所述上通路模块输出的低阶多模态人体部位影像对应的特征图像，和所述上通路模块输出的高阶多模态人体部位影像对应的特征图像分别输入到卷积层中，将所述卷积层中输出的多模态人体部位影像对应的特征图像相加，得到相加结果；将所述相加结果分别作为所述空间注意力子模块和所述通道注意力子模块的输入；将所述相加结果与所述空间注意力子模块得到的人体部位影像对应的特征图像中各体素的权重相乘，得到第一乘积结果；将所述相加结果和所述通道注意力子模块得到的人体部位影像对应的特征图像中各体素的权重相乘，得到第二乘积结果；将所述第一乘积结果和所述第二乘积结果相加，得到所述交叉注意力子模块输出的综合注意力权重，将所述综合注意力权重作为所述下通路模块的第二卷积层的输入；基于所述区域分割结果与所述标准区域分割结果的差异，分别计算各所述栈式卷积子神经网络模型对应的损失函数；对各所述栈式卷积子神经网络模型对应的损失函数进行最小化处理，得到各所述栈式卷积子神经网络模型对应的最小化损失函数；根据各所述栈式卷积子神经网络模型对应的最小化损失函数，确定各栈式卷积子神经网络模型中各模块的权重参数；基于各栈式卷积子神经网络模型中各模块的权重参数，对所述栈式卷积子神经网络模型中的参数进行更新，训练得到所述栈式卷积神经网络模型。
2.根据权利要求1所述的方法，其特征在于，所述2×N个并列的栈式卷积子神经网络模型中，N个栈式卷积子神经网络模型对应的损失函数相同；
其中，N个栈式卷积子神经网络模型对应的损失函数表示为：
其中，rm表示不正常区域的第m个体素对应的标准区域分割结果，pm表示不正常区域的第m个体素对应的概率化预测输出结果,α表示可调超参，ε表示防止表达式分母为0的随机小值，为1-rm，/>为1-pm，γ表示在[0,1]内变化的稳定指数；
另外N个栈式卷积子神经网络模型对应的损失函数表示为：
其中，rlm表示属于类别l的第m个体素对应的标准区域分割结果，plm表示属于类别l的第m个体素对应的预测概率，wl表示体素属于类别l的权重，类别l为1表示属于不正常区域，类别为0表示属于正常区域，M表示体素的总个数。
3.根据权利要求1所述的方法，其特征在于，所述栈式卷积神经网络模型的输出结果为：使用如下表达式对各所述栈式卷积子神经网络模型对应的输出进行处理的结果；
所述表达式为：
其中，表示所述栈式卷积神经网络模型的输出结果，N表示所述栈式卷积子神经网络模型的个数，/>表示第i个所述栈式卷积子神经网络模型在给定属于人体部位影像I和训练权重Wi的情况下的输出结果，/>表示给定人体部位影像I时对应的各体素的预测概率；
将所述输出结果，与预设阈值进行比较，确定所述栈式卷积神经网络模型的最终输出结果。
4.一种图像处理装置，其特征在于，所述装置包括：
获取模块，用于获取待处理多模态人体部位影像，所述多模态人体部位影像表示利用不同成像原理、参数、设备得到的人体部位影像；
预处理模块，用于对所述待处理多模态人体部位影像进行预处理，得到预处理后的多模态人体部位影像；
区域分割模块，用于将所述预处理后的多模态人体部位影像，输入预先训练好的基于注意力机制构建的栈式卷积神经网络模型中，得到所述预处理后的多模态人体部位影像对应的区域分割结果，所述区域分割结果包括：正常区域和不正常区域；其中，所述预先训练好的基于注意力机制构建的栈式卷积神经网络模型，是根据所述预处理后的多模态人体部位影像，以及所述预处理后的多模态人体部位影像对应的标准区域分割结果训练得到的；
所述预处理模块，包括：
选择子模块，用于从所获取的待处理多模态人体部位影像中，选择满足预设条件的人体部位影像，作为基准模态人体部位影像；
标准化子模块，用于利用预设的人体部位影像处理软件，对所述待处理多模态人体部位影像依次进行去噪、标准化处理，得到标准化处理后的多模态人体部位影像；
配准子模块，用于将标准化处理后的多模态人体部位影像中的其他模态人体部位影像通过预设的配准方法，与所述基准模态人体部位影像配准，得到配准后的多模态人体部位影像；
确定子模块，用于将所述配准后的多模态人体部位影像，确定为预处理后的多模态人体部位影像；
所述装置还包括：
构建模块，用于构建初始栈式卷积神经网络模型，所述初始栈式卷积神经网络模型，由2×N个并列的栈式卷积子神经网络模型构成；其中，所述2×N个并列的栈式卷积子神经网络模型中各层的初始参数是随机生成的，所述栈式卷积子神经网络模型包括：上通路模块、下通路模块和分类器；所述上通路模块包括：多个交替的第一卷积层和下采样层，所述下通路模块为：多个由注意力机制层、第二卷积层和上采样层构成的子模块组成，N为大于1的整数；
第一训练模块，用于将预设数量的预处理后的多模态人体部位影像，以及各预处理后的多模态人体部位影像对应的标准区域分割结果，输入各所述栈式卷积子神经网络模型；
第一获得模块，用于分别利用各所述栈式卷积子神经网络模型，得到各所述预处理后的多模态人体部位影像对应的区域分割结果，所述注意力机制层为交叉注意力子模块，由空间注意力子模块和通道注意力子模块构成，所述交叉注意力子模块将所述上通路模块输出的低阶多模态人体部位影像对应的特征图像，和所述上通路模块输出的高阶多模态人体部位影像对应的特征图像分别输入到卷积层中，将所述卷积层中输出的多模态人体部位影像对应的特征图像相加，得到相加结果；将所述相加结果分别作为所述空间注意力子模块和所述通道注意力子模块的输入；将所述相加结果与所述空间注意力子模块得到的人体部位影像对应的特征图像中各体素的权重相乘，得到第一乘积结果；将所述相加结果和所述通道注意力子模块得到的人体部位影像对应的特征图像中各体素的权重相乘，得到第二乘积结果；将所述第一乘积结果和所述第二乘积结果相加，得到所述交叉注意力子模块输出的综合注意力权重，将所述综合注意力权重作为所述下通路模块的第二卷积层的输入；
计算模块，用于基于所述区域分割结果与所述标准区域分割结果的差异，分别计算各所述栈式卷积子神经网络模型对应的损失函数；
第二获得模块，用于对各所述栈式卷积子神经网络模型对应的损失函数进行最小化处理，得到各所述栈式卷积子神经网络模型对应的最小化损失函数；
确定模块，用于根据各所述栈式卷积子神经网络模型对应的最小化损失函数，确定各栈式卷积子神经网络模型中各模块的权重参数；
第二训练模块，用于基于各栈式卷积子神经网络模型中各模块的权重参数，对所述栈式卷积子神经网络模型中的参数进行更新，训练得到所述栈式卷积神经网络模型。
5.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-3任一所述的方法步骤。
6.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-3任一所述的方法步骤。
CN202010273013.1A 2020-04-09 2020-04-09 一种图像处理方法、处理装置、电子设备及存储介质 Active CN111640119B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010273013.1A CN111640119B (zh) 2020-04-09 2020-04-09 一种图像处理方法、处理装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010273013.1A CN111640119B (zh) 2020-04-09 2020-04-09 一种图像处理方法、处理装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN111640119A CN111640119A (zh) 2020-09-08
CN111640119B true CN111640119B (zh) 2023-11-17

Family

ID=72329533

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010273013.1A Active CN111640119B (zh) 2020-04-09 2020-04-09 一种图像处理方法、处理装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN111640119B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113140291B (zh) * 2020-12-17 2022-05-10 慧影医疗科技(北京)股份有限公司 图像分割方法、装置、模型训练方法及电子设备
CN112950644B (zh) * 2021-03-17 2024-04-05 西北大学 基于深度学习的新生儿大脑图像分割方法及模型构建方法
CN114550313A (zh) * 2022-02-18 2022-05-27 北京百度网讯科技有限公司 图像处理方法、神经网络及其训练方法、设备和介质
CN115359103B (zh) * 2022-08-24 2023-04-18 北京医智影科技有限公司 图像配准网络模型及其建立方法、设备及介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108629306A (zh) * 2018-04-28 2018-10-09 北京京东金融科技控股有限公司 人体姿态识别方法及装置、电子设备、存储介质
CN108886601A (zh) * 2016-01-20 2018-11-23 杰拉德·迪尔克·施密茨 全息视频捕获和远程呈现系统
CN109146891A (zh) * 2018-07-23 2019-01-04 北京邮电大学 一种应用于mri的海马体分割方法、装置及电子设备
WO2019135234A1 (en) * 2018-01-03 2019-07-11 Ramot At Tel-Aviv University Ltd. Systems and methods for the segmentation of multi-modal image data
CN110189334A (zh) * 2019-05-28 2019-08-30 南京邮电大学 基于注意力机制的残差型全卷积神经网络的医学图像分割方法
CN110889343A (zh) * 2019-11-15 2020-03-17 复旦大学 基于注意力型深度神经网络的人群密度估计方法及装置
CN110930397A (zh) * 2019-12-06 2020-03-27 陕西师范大学 一种磁共振图像分割方法、装置、终端设备及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108886601A (zh) * 2016-01-20 2018-11-23 杰拉德·迪尔克·施密茨 全息视频捕获和远程呈现系统
WO2019135234A1 (en) * 2018-01-03 2019-07-11 Ramot At Tel-Aviv University Ltd. Systems and methods for the segmentation of multi-modal image data
CN108629306A (zh) * 2018-04-28 2018-10-09 北京京东金融科技控股有限公司 人体姿态识别方法及装置、电子设备、存储介质
CN109146891A (zh) * 2018-07-23 2019-01-04 北京邮电大学 一种应用于mri的海马体分割方法、装置及电子设备
CN110189334A (zh) * 2019-05-28 2019-08-30 南京邮电大学 基于注意力机制的残差型全卷积神经网络的医学图像分割方法
CN110889343A (zh) * 2019-11-15 2020-03-17 复旦大学 基于注意力型深度神经网络的人群密度估计方法及装置
CN110930397A (zh) * 2019-12-06 2020-03-27 陕西师范大学 一种磁共振图像分割方法、装置、终端设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
师冬丽 ; 李锵 ; 关欣 ; .结合卷积神经网络和模糊系统的脑肿瘤分割.计算机科学与探索.2017,(04),全文. *
王媛媛 ; 周涛 ; 吴翠颖 ; .基于卷积神经网络的PET/CT多模态图像识别研究.电视技术.2017,(03),全文. *

Also Published As

Publication number Publication date
CN111640119A (zh) 2020-09-08

Similar Documents

Publication Publication Date Title
CN111640119B (zh) 一种图像处理方法、处理装置、电子设备及存储介质
US10140544B1 (en) Enhanced convolutional neural network for image segmentation
US9934567B2 (en) Methods and means of CAD system personalization to reduce intraoperator and interoperator variation
CN111488914B (zh) 一种基于多任务学习的阿尔茨海默症分类及预测系统
Sridhar et al. Brain tumor classification using discrete cosine transform and probabilistic neural network
US20210090247A1 (en) Apparatus and method for medical diagnostic
Hussein et al. Fully‐automatic identification of gynaecological abnormality using a new adaptive frequency filter and histogram of oriented gradients (HOG)
CN111028246A (zh) 一种医学图像分割方法、装置、存储介质及电子设备
US11430123B2 (en) Sampling latent variables to generate multiple segmentations of an image
Yao et al. Pneumonia Detection Using an Improved Algorithm Based on Faster R‐CNN
CN101887581A (zh) 图像融合方法及设备
CN109146891B (zh) 一种应用于mri的海马体分割方法、装置及电子设备
Osadebey et al. Three-stage segmentation of lung region from CT images using deep neural networks
CN111640107B (zh) 一种致痫灶位置检测方法及装置
Mirza et al. A comparative study of medical image enhancement algorithms and quality assessment metrics on COVID-19 CT images
Stanley et al. Disproportionate subgroup impacts and other challenges of fairness in artificial intelligence for medical image analysis
CN113850796A (zh) 基于ct数据的肺部疾病识别方法及装置、介质和电子设备
CN112927235A (zh) 基于多尺度超像素与核低秩表示的脑肿瘤图像分割方法
EP4057296A1 (en) Machine learning for automatic detection of intracranial hemorrhages with uncertainty measures from ct images
CN116416221A (zh) 一种超声图像分析方法
CN111126424A (zh) 一种基于卷积神经网络的超声图像分类方法
Wang et al. Generation of synthetic ground glass nodules using generative adversarial networks (GANs)
Hasan et al. An intelligent detection system for Covid-19 diagnosis using CT-images
Guo et al. Effect of segmentation algorithms on the performance of computerized detection of lung nodules in CT
CN113327221A (zh) 融合roi区域的图像合成方法、装置、电子设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant