CN114841975A - 一种三维图像数据的处理方法、装置及设备 - Google Patents

一种三维图像数据的处理方法、装置及设备 Download PDF

Info

Publication number
CN114841975A
CN114841975A CN202210533133.XA CN202210533133A CN114841975A CN 114841975 A CN114841975 A CN 114841975A CN 202210533133 A CN202210533133 A CN 202210533133A CN 114841975 A CN114841975 A CN 114841975A
Authority
CN
China
Prior art keywords
image data
target
dimensional image
block group
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210533133.XA
Other languages
English (en)
Inventor
林家骥
王竞宇
吴昊洋
金鑫
崔光彬
陆薇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Air Force Medical University of PLA
Original Assignee
Air Force Medical University of PLA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Air Force Medical University of PLA filed Critical Air Force Medical University of PLA
Priority to CN202210533133.XA priority Critical patent/CN114841975A/zh
Publication of CN114841975A publication Critical patent/CN114841975A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30016—Brain

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)

Abstract

本发明的实施例提供一种三维图像数据的处理方法、装置及设备，所述方法包括：获取目标症状图像的三维图像数据；对所述三维图像数据进行预处理，得到待分类图像数据；将所述待分类图像数据输入训练好的目标症状分类模型，得到分类结果；所述训练好的目标症状分类模型是根据所述三维图像数据的目标症状图像信息训练得到的；根据所述分类结果，生成目标关注点分布图，并输出。本发明的实施例实现了对三维图像数据准确且有效地分类，同时资源消耗低，运行速度快。

Description

一种三维图像数据的处理方法、装置及设备
技术领域
本发明涉及图像数据处理技术领域，特别是指一种三维图像数据的处理方法、装置及设备。
背景技术
目前，国内针对MCI(Mild Cognitive Impairment，轻度认知功能障碍)的人工智能诊断模型主要以卷积神经网络为基干，其所需要的计算资源多，耗时长，并且无法掌握图像区块之间的注意力关系。
目前国内对于三维图像的分类诊断识别的人工诊断模型主要以卷积神经网络为基干，可以进行多种神经系统疾病的分类诊断，便于临床工作，例如：
针对结构影像所进行的AD老年痴呆、MCI轻度认知障碍的识别；
针对弥散影像所进行的脱髓鞘疾病的识别；
针对脑血流影像(动脉自旋标记(Arterial spin labeling,ASL))所进行烟雾病的识别等。
基于Transformer(特征变换器模型)的全局注意力机制神经网络所需要的计算资源多耗时长。
虽然以NesT(嵌套模型)的一类局部注意力机制优化了学习效率，但是对于局部区域的注意力分析方案常因为固定的局部区块设计的差异，区块信息的缺乏有效的交流，导致学习效能下降无法精准捕捉到相应的特征。
发明内容
本发明提供了一种三维图像数据的处理方法、装置及设备。本发明的方案实现了对于不同三维图像数据特点进行差异化的区块设计并进行注意力交流，实现准确且有效地分类，同时资源消耗低，运行速度快。
为解决上述技术问题，本发明的实施例提供以下方案：
一种三维图像数据的处理方法，所述方法包括：
获取目标症状图像的三维图像数据；
对所述三维图像数据进行预处理，得到待分类图像数据；
将所述待分类图像数据输入训练好的目标症状分类模型，得到分类结果；所述训练好的目标症状分类模型是根据所述三维图像数据的目标症状图像信息训练得到的；
根据所述分类结果，生成目标关注点分布图，并输出。
可选的，对所述三维图像数据进行预处理，得到待分类图像数据，包括：
对所述三维图像数据的格式进行转换处理，得到目标格式的三维图像数据；
将所述目标格式的三维图像数据进行非均匀场校正处理，得到校正后三维图像数据；
将所述校正后三维图像数据配准至目标标准空间，并对所述目标标准空间内的校正后三维图像数据进行数值归一化处理，得到待分类图像数据。
可选的，所述目标症状分类模型通过以下过程进行训练：
获取目标症状图像的训练数据集；所述目标症状图像的训练数据集包括至少一个目标症状图像的待训练图像数据；
对所述目标症状图像的训练数据集中的待训练图像数据进行区块处理，得到固定区块组；
对所述固定区块组进行迭代的注意力计算，直至得到输出区块组；
根据所述输出区块组，通过多层感知机进行分类计算，得到分类结果。
可选的，对所述目标症状图像的训练数据集中的待训练图像数据进行区块处理，得到固定区块组，包括：
对每个所述待训练图像数据进行区块划分，得到与所述待训练图像数据对应的多个区块；
对所述多个区块进行线性维度嵌入处理，得到多个一维向量区块；
获取目标症状图像的症状特性和演变特性；
根据所述症状特性和演变特性，确定区块整合方案；
通过所述区块整合方案对所述多个一维向量区块进行整合处理，得到固定区块组。
可选的，对所述固定区块组进行迭代的注意力计算，直至得到输出区块组，包括：
对所述固定区块组进行多次局部多头注意力计算，并按照预设改变机制对所述固定区块组进行区块组改变处理，直至得到目标区块组；
对所述目标区块组进行聚合处理，得到输出区块组。
可选的，所述区块组改变处理包括以下至少一项：
向特定向量移动预设距离；
区块组位置交换；
区块组旋转；
区块组形变。
可选的，所述三维图像数据的处理方法，还包括：
通过反向传播提取注意力值，根据所述分类结果，生成注意力关注点分布图。
本发明还提供一种三维图像数据的处理装置，所述装置包括：
获取模块，用于获取目标症状图像的三维图像数据；
处理模块，用于对所述三维图像数据进行预处理，得到待分类图像数据；将所述待分类图像数据输入训练好的目标症状分类模型，得到分类结果；所述训练好的目标症状分类模型是根据所述三维图像数据的目标症状图像信息训练得到的；根据所述分类结果，生成目标关注点分布图，并输出。
本发明还提供一种计算设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如上述的方法对应的操作。
本发明还提供一种计算机可读存储介质，存储有指令，所述指令在计算机上运行时，使得计算机执行如上述的方法。
本发明的上述方案至少包括以下有益效果：
本发明的上述方案，通过获取目标症状图像的三维图像数据；对所述三维图像数据进行预处理，得到待分类图像数据；将所述待分类图像数据输入训练好的目标症状分类模型，得到分类结果；所述训练好的目标症状分类模型是根据所述三维图像数据的目标症状图像信息训练得到的；根据所述分类结果，生成目标关注点分布图，并输出。本发明的方案实现了对三维图像数据准确且有效地分类，同时资源消耗低，运行速度快。
附图说明
图1为本发明实施例的三维图像数据的处理方法的流程示意图；
图2为本发明提供的具体的实施例中阿尔兹海默症和正常认知的三维图像数据的示意图；
图3为本发明提供的具体的实施例中脱髓和正常认知的三维图像数据的示意图；
图4为本发明提供的具体的实施例中烟雾病和正常认知的三维图像数据的示意图；
图5为本发明提供的具体的实施例中膨胀率为1时膨胀卷积核的示意图；
图6为本发明提供的具体的实施例中膨胀率为2时膨胀卷积核的示意图；
图7为本发明实施例中变换编码器中的处理流程示意图；
图8为本发明提供的具体的实施例中对目标症状和健康状态的三维图像数据的处理的流程示意图；
图9为本发明提供的具体的实施例中对目标症状的三维图像数据的预处理的流程示意图；
图10为本发明提供的具体的实施例中对目标症状的三维图像数据区块划分出灰质皮层的示意图；
图11为本发明提供的具体的实施例中对目标症状的三维图像数据区块划分出白质的示意图；
图12为本发明提供的具体的实施例中对多个区块进行迭代处理的流程示意图；
图13为本发明实施例的三维图像数据的处理装置的结构示意图。
具体实施方式
下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。
如图1所示，本发明提供一种三维图像数据的处理方法，所述方法包括：
步骤11，获取目标症状图像的三维图像数据；
步骤12，对所述三维图像数据进行预处理，得到待分类图像数据；
步骤13，将所述待分类图像数据输入训练好的目标症状分类模型，得到分类结果；所述训练好的目标症状分类模型是根据所述三维图像数据的目标症状图像信息训练得到的；
步骤14，根据所述分类结果，生成目标关注点分布图，并输出。
该实施例中，三维图像数据是根据目标症状图像得到的，对三维图像数据进行预处理，得到待分类图像数据，这里的预处理用于消除奇异的三维图像数据导致的不良影响，以提高三维图像数据的精度和质量；
这里，对三维图像数据进行预处理的目的进行说明：
通过对三维图像数据进行预处理可以减少不同磁共振设备、设备状态、扫描参数等设备条件所导致的差异；将个体影像的三维图像进行标准化处理，提高数据内部的一致性；进行数据资料和内容的预处理，例如剥离头皮、减少时间层扰动、检查图像头动参数、进行场不均匀校正等，在进行图像质量检查的同时，最大化提高图像信息密度和信噪比，提高数据的可信度。
将待分类图像数据输入训练好的目标症状分类模型，得到分类结果，最终根据分类结果生成目标关注点分布图，并输出，其中，目标关注点分布图为分类结果的可视化展现；实现了对三维图像数据准确且有效地分类，同时资源消耗低，运行速度快。
这里的三维图像数据适用于基于非时间序列的医学影像数据的分类诊断工作，可以是基于结构磁共振成像sMRI(structural magnetic resonance imaging，结构磁共振成像)的T1加权成像、T2加权成像、T2加权Flair(fluid attenuated inversion recovery，磁共振成像液体衰减反转恢复序列)成像，也可以是基于动脉自旋标记(ASL，Arterial spinlabeling)的脑血流影像，还可以是基于磁敏感加权成像，本申请不以此为限制；其中，非时间序列的医学影像数据优选为BOLD(blood oxygenation level dependent，血氧依赖水平)以外的影像；
目标症状图像是某一类具有影像学指征和表现的神经系统疾病，例如在老年痴呆AD中，常出现一定程度的、以海马和颞叶为主的大脑灰质体积萎缩，可以通过T1加权成像数据特征的挖掘和识别，实现和健康人的分类诊断；在烟雾病等脑血管疾病中，由于脑血管异常导致区域脑血流灌注水平的异常，可以利用动脉自旋标记(ASL)数据特征的挖掘和识别，实现和健康人的分类诊断；在髓鞘病等脑白质疾病中，出现T2加权上非水的异常信号，可以利用T2加权Flair成像数据特征的挖掘和识别，实现和健康人的分类诊断；本申请不以此为限制；
目标症状图像信息包括目标症状的症状特性和演变特性。
本发明一可选的实施例中，步骤12包括：
步骤121，对所述三维图像数据的格式进行转换处理，得到目标格式的三维图像数据；
步骤122，将所述目标格式的三维图像数据进行非均匀场校正处理，得到校正后三维图像数据；
步骤123，将所述校正后三维图像数据配准至目标标准空间，并对所述目标标准空间内的校正后三维图像数据进行数值归一化处理，得到待分类图像数据。
本实施例中，对三维图像数据的格式进行转换处理，由于三维图像数据是根据目标症状图像得到的，目标症状图像优选为医学影像，因而三维图像数据在进行格式转换处理前的格式优选为dicom(Digital Imaging and Communications in Medicine，医学数字成像和通信)文件的格式，对其进行格式转换处理，得到目标格式的三维图像数据，该目标格式优选为Nifty(Neuroimaging Informatics Technology Initiative，神经影像信息学技术倡议)格式；
将目标格式的三维图像数据进行非均匀场校正处理，这里的非均匀场校正处理是为了将目标格式的三维图像数据的成像质量提高，使得校正后三维图像数据相较于未校正时的目标格式的三维图像数据视觉效果更好，以便于后续输入至训练好的目标症状分类模型中能够得到更好的分类结果；
将校正后三维图像数据配准至目标标准空间中，该目标标准空间优选为MNI(Montreal Neurological Institute，蒙特利尔神经研究所)标准空间，MNI空间是根据一系列正常人脑的磁共振图像而建立的脑成像坐标系统，这样保证了校正后三维图像数据的各向同性；
这里，对三维图像数据的各向同性进行说明：
由于获取三维图像数据的过程中，图像在x方向、y方向以及z方向三个扫描方向的像素间距(pixel spacing)不一致，三维图像数据根据dicom格式定义，x方向对应被扫描物的左右方向；y方向对应被扫描物的前、后方向；z方向对应被扫描物的上、下方向；x方向和y方向的像素间距较小，分辨率较高；而z方向的像素间距较大；这就导致了三维图像数据在x方向、y方向以及z方向这三个方向上存在各向异性；为了便于后续的处理，在预处理过程中优选通过图像插值把像素间距调整为各向同性(isotropic)，也就是xyz三个方向的像素间距一致。
进一步的，对所述目标标准空间内的校正后三维图像数据进行数值归一化处理，这里的归一化处理用于使得目标标准空间内的校正后三维图像数据被限定在一定的范围内，从而消除奇异数据所导致的不良影响，最终得到待分类图像数据；经过上述的预处理过程，使得输入至训练好的目标症状分类模型后，能够得到更加准确和有效的分类结果。
本发明一可选的实施例中，所述目标症状分类模型通过以下过程进行训练：
步骤a，获取目标症状图像的训练数据集；所述目标症状图像的训练数据集包括至少一个目标症状图像的待训练图像数据；
步骤b，对所述目标症状图像的训练数据集中的待训练图像数据进行区块处理，得到固定区块组；
步骤c，对所述固定区块组进行迭代的注意力计算，直至得到输出区块组；
步骤d，根据所述输出区块组，通过多层感知机进行分类计算，得到分类结果。
本实施例中，获取训练数据集，对训练数据集中的待训练图像数据进行区块处理，得到固定区块组，这里的区块划分处理包括区块划分，嵌入处理，整合处理中的至少一项，进一步的，对固定区块组进行注意力计算，按照预设改变机制，重复进行注意力计算，并将信息特征进行融合，直至得到输出区块组，这里的输出区块组优选为
Figure BDA0003640045020000081
其中，E为嵌入维度，xL1_out为输出区块组，(HL1,WL1,DL1)为输出区块组的图像大小；
然后根据输出区块组，通过多层感知机(Multi-Layer Perception，MLP)进行分类计算，得到分类结果；多层感知器是一种前向结构的人工神经网络，映射一组输入向量到一组输出向量；将目标区块输入多层感知器后，可以得到至少两个分类结果；
另外，需要说明的是，通过大量的训练数据集中的待训练图像数据对目标症状分类模型进行训练，将目标症状分类模型的分类结果与待训练图像数据的正确分类结果进行比对，其准确率大于预设概率时，此时，目标症状分类模型为训练好的。
本发明一可选的实施例中，步骤b包括：
步骤b1，对每个所述待训练图像数据进行区块划分，得到与所述待训练图像数据对应的多个区块；
步骤b2，对所述多个区块进行线性维度嵌入处理，得到多个一维向量区块；
步骤b3，获取目标症状图像信息，所述目标症状图像信息包括症状特性和演变特性；
步骤b4，根据所述目标症状图像信息，确定区块整合方案；
步骤b5，通过所述区块整合方案对所述多个一维向量区块进行整合处理，得到固定区块组。
本实施例中，将预处理后的待训练图像数据进行区块划分，划分为多个预设大小的区块，对多个区块进行线性维度嵌入处理，这里的线性维度嵌入处理将每个区块嵌入成向量xpe∈RE，其中，xpe为每个区块嵌入后的一维向量区块，E为嵌入维度；
获取目标症状图像信息，这里的目标症状图像信息包括症状特性和演变特性，根据目标症状图像信息确定区块整合方案，这里，根据目标症状图像信息确定区块整合方案可以是根据症状特性和演变特性进行自定义区块整合方案，也可以是根据症状特性和演变特性计算得到区块整合方案，本申请不以此为限制；根据症状特性和演变特性确定的区块整合方案，对数据细节的敏感性更强；其中，症状特性包括研究对象，症状的参数特性，症状的图像特性，症状的体积元素(Volume Pixel)中的至少一项；体素是图像数据在空间上的最小单元；
按照区块整合方案对多个一维向量区块进行整合处理，这里的整合处理可以是空间上相邻的区块群组合(如，3×3×3的空间上，全部区块组的组合)，也可以是空间上离散区块群组合(如，5×5×5的空间上，相互间隔的27个区块之间的组合)，还可以是其它自定义的区块群组合，本申请不以此为限制；通过整合处理后，将多个一维向量区块整合处理成固定区块组；
如图2所示，一个具体的实施例中，由于研究对象的不同，根据脑肿瘤的症状特性可知，以阿尔茨海默病AD为例子，阿尔茨海默病患者常因为病程的神经毒性因素，导致大脑神经元死亡，在图像数据上表现为影像上T1加权结构像的脑灰质厚度下降，并且由于神经影像上灰质分布主要为大脑皮层，利用3×3×1长方体或者3×3×3正方体的区块，主要对于大脑灰质皮层区域，即大脑表面的脑沟、脑回等结构，进行逐体素的区块移动，可以较为准确捕捉到阿尔茨海默病AD患者的结构影像改变特征，从而进行分类识别和诊断。
如图3所示，又一个具体的实施例中，以脱髓鞘疾病为例子，脱髓鞘疾病患者在区域炎症和血管因素的影响下，常发生大脑神经纤维的缺血坏死，表现为影像上T2加权Flair结构像的脑白质中的异常信号，并且由于神经影像上灰质分布主要为大脑实质中，位于皮层灰质和皮下灰质之间，利用3×1×1长方体、膨胀系数为2的正方体、或者放射状的区块，主要对于大脑白质区域进行逐体素的区块移动，可以较为准确捕捉到脱髓鞘疾病患者的结构影像改变特征，从而进行分类识别和诊断。
如图4所示，再一个具体的实施例中，以烟雾病为例，烟雾病是一种以双侧颈内动脉末端及大脑前动脉、大脑中动脉起始部慢性进行性狭窄或闭塞为特征，并继发颅底异常血管网形成的一种脑血管疾病，常发生沿着灰质和白质的缺血表现。在动脉自旋标记(ASL)数据上表现为沿着血管供应区的灌注异常。利用椭圆体、八面体、或者放射状的区块，主要沿着脑动脉血管网进行逐体素的区块移动，可以较为准确捕捉到烟雾病患者的脑血流灌注改变特征，从而进行分类识别和诊断。
由此可见，根据上述目标症状的不同，目标症状图像信息包括症状特性和演变特性均不同，确定区块整合方案可以实现更易地捕捉症状的特征，充分实现信息之间的沟通，大大节约了结算量。
如图2和图3所示，一个具体的实施例中，根据症状的图像特性，症状C在脑部的体现为在脑部幕下区域产生肿瘤，此时，根据症状C的图像特性确定区块整合方案为通过膨胀卷积核，进行周边膨胀点进行定位；需要说明的是，这里的膨胀卷积核是将卷积核扩张到膨胀尺度约束的尺度中，并将原卷积核没有占用的区域填充零，图2中的膨胀率为d＝1，将3×3的空间中的卷积核扩张到了5×5的空间上，原卷积核没有占用的区域都填充零；当膨胀率为d＝2时，将3×3的空间中的卷积核扩张到了7×7的空间上，原卷积核没有占用的区域都填充零。
本发明一可选的实施例中，步骤c包括：
步骤c1，对所述固定区块组进行多次局部多头注意力计算，并按照预设改变机制对所述固定区块组进行区块组改变处理，直至得到目标区块组；
步骤c2，对所述目标区块组进行聚合处理，得到输出区块组。
本实施例中，对至少两个固定区块组进行注意力计算，该注意力计算优选通过变换编码器进行局部多头注意力计算，可选的，通过公式
Figure BDA0003640045020000101
计算，其中，Attention(Q,K,V)为任意两个固定区块组之间的注意力值，Q为查询向量，K为键值向量，V为值向量，dk为区块的数量；
进一步的，按照预设改变机制对固定区块组进行区块组改变处理，本发明一可选的实施例中，所述区块组改变处理包括以下至少一项：向特定向量移动预设距离；区块组位置交换；区块组旋转；区块组形变。通过区块组的改变实现了移动过程中的信息的交流。其中，区块组的形态可以是正方体，也可以是长方体，还可以是不规则形态，本申请不以此为限制；
每次进行区块组改变处理后，计算固定区块组的局部多头注意力计算的注意力值，直至得到目标区块组，对目标区块组进行聚合处理，得到输出区块组；
其中，这里，对目标区块组进行聚合处理包括平均处理或取最大值处理。
如图7所示，需要说明的是，变换编码器中对输入的数据进行如下处理：
对输入的数据进行一级归一化处理，得到第一归一化值；
对该第一归一化值进行多头注意力机制处理，得到注意力值；
将输入的数据和注意力值进行一级异或运算，得到第一异或运算结果；
将第一异或运算的结果作为输入值进行二级归一化处理，得到第二归一化值；
将第二归一化值作为输入值输入多层感知器，并将多层感知器的输出和第一异或运算结果进行二级异或运算，得到第二异或运算结果。
本发明一可选的实施例中，三维图像数据的处理方法，还包括：
步骤15，通过反向传播提取注意力值，根据所述分类结果，生成注意力关注点分布图。
该实施例，步骤14中根据分类结果生成目标关注点分布图，优选通过Grad-CAM(Gradient-weighted Class Activation Mapping，梯度加权分类激活映射)算法生成可视化的三维图像的分类供献度分布图；
进一步的，基于注意力关注点，通过反向传播提取每层的注意力值，对训练好的目标症状分类模型针对输入数据生成注意力关注点分布图，该注意力关注点分布图用于可视化地体现三维图像数据的分类结果中的注意力关注点。
如图8所示，一个具体的实施例中，将大脑的目标症状(NC/MCI(轻度认知功能障碍)/AD)的三维图像数据和健康状态的三维图像数据作为输入，对三维图像数据进行预处理，得到多个区块大小为(PH,PW,PD)的区块；
其中，预处理的过程如图9所示，对于在标准空间、各向同性、去头皮、空间校正的标准图像下，根据目标症状的发病特点，对待分类图像数据(目标症状或健康状态的三维图像数据)x∈RC×H×W×D进行区块划分(Split Patch)，得到多个区块大小为(PH,PW,PD)的区块(3×3×1的长方体区块，主要沿着大脑皮层表面进行灰质区域的区块移动，捕捉相关信息)，每个区块为
Figure BDA0003640045020000121
对多个区块进行线性维度嵌入处理，得到多个一维向量区块xpe∈RE，其中，C为输入通道数量，E为嵌入维度；
其中，如图10和图11所示，当对大脑的白质和灰质皮层进行区块划分时，多个区块中，图10中的白色圆点所示的部分为灰质皮层，图11中除白色圆点所示的部分为白质，由此可见，通过区块划分可以很好的将大脑的三位图像数据进行划分；
根据图像信息，确定区块整合方案，将多个一维向量区块整合处理成固定区块组
Figure BDA0003640045020000122
然后将固定区块组xL1b输入输入层
Figure BDA0003640045020000123
Figure BDA0003640045020000124
其中，(HL1,WL1,DL1)为嵌入处理后所得到的区块大小，
Figure BDA0003640045020000125
每一处位置有E个值，BL1为第一层的组的数量，S是区块组包含的区块数量，HL1×WL1×DL1＝BL1×S；
通过变换编码器对第一层的固定区块组
Figure BDA0003640045020000126
进行局部多头注意力计算，对于输入输入层的固定区块组xL1bi嵌入成同等长度的向量Q,K,V，通过注意力机制计算
Figure BDA0003640045020000127
每一层通过变换编码器进行注意力机制计算后，按照预设区块组改变机制进行区块群的改变，以达到相邻模块信息交流的作用，根据预设区块组改变机制重复进行局部多头注意力计算，将各固定区块组之间的信息特征进行充分融合，直至得到目标区块组为
Figure BDA0003640045020000128
对目标区块组通过平均或者取最大值进行聚合处理，得到输出区块组
Figure BDA0003640045020000129
直至只剩下一个组，将该组输入MLP进行分类计算，得到第一分类结果为NC(Normal cognitive，正常认知)，第二分类结果为目标症状；
进一步的，将分类贡献度通过Grad-CAM算法以可视化的方式，由目标关注点分布图展现，将注意力关注点通过反向传播提取每层的注意力值，由注意力关注点分布图展示；
上述过程是通过对多个区块进行重复n次的区块迭代处理；
这里的区块迭代处理的具体过程如图12所示：将嵌入处理的输入和上一次嵌入处理的输出同时进行位置编码，位置编码(Positional Encoding)用于对区块的相对位置的编码，保留区块的位置信息，分别得到输入编码结果和输出编码结果；
进一步的，对输入编码结果进行多头注意力机制处理，得到第一注意力结果，将该第一注意力结果与输入编码结果分别作为输入结果和输出结果进行相加和归一化处理，得到第一归一化结果；
将第一归一化结果通过前馈网络进行处理，得到第一前馈结果；
将第一归一化结果和第一前馈结果分别作为输入结果和输出结果进行相加和归一化处理，得到输入处理结果；
对输出编码结果进行多头注意力机制处理，得到第二注意力结果，将该第二注意力结果与输入编码结果分别作为输入结果和输出结果进行相加和归一化处理，得到输出处理结果；
进一步地，将输入处理结果和输出处理结果进行多头注意力机制处理，得到第三注意力结果，将该第三注意力结果与输出处理结果分别作为输入结果和输出结果进行相加和归一化处理，得到第二归一化结果；
将第二归一化结果通过前馈网络进行处理，得到第二前馈结果；
将第二归一化结果和第二前馈结果分别作为输入结果和输出结果进行相加和归一化处理，得到第三归一化结果；
对第三归一化结果依次进行线性处理和二分类的Softmax函数处理，得到输出结果(最后达成NC/MCI/AD的三分类)；利用MR(magnetic resonance，磁共振)进行阿尔兹海默症和早期轻度阿尔兹海默症患者的快速筛查，辅助医生进行临床诊断。
本发明的实施例通过获取目标症状图像的三维图像数据；对所述三维图像数据进行预处理，得到待分类图像数据；将所述待分类图像数据输入训练好的目标症状分类模型，得到分类结果；所述训练好的目标症状分类模型是根据所述三维图像数据的目标症状图像信息训练得到的；根据所述分类结果，生成目标关注点分布图，并输出；实现了对三维图像数据准确且有效地分类，同时资源消耗低，运行速度快。
如图13所示，本发明还提供一种三维图像数据的处理装置130，所述装置130包括：
获取模块131，用于获取目标症状图像的三维图像数据；
处理模块132，用于对所述三维图像数据进行预处理，得到待分类图像数据；将所述待分类图像数据输入训练好的目标症状分类模型，得到分类结果；所述训练好的目标症状分类模型是根据所述三维图像数据的目标症状图像信息训练得到的；根据所述分类结果，生成目标关注点分布图，并输出。
可选的，对所述三维图像数据进行预处理，得到待分类图像数据，包括：
对所述三维图像数据的格式进行转换处理，得到目标格式的三维图像数据；
将所述目标格式的三维图像数据进行非均匀场校正处理，得到校正后三维图像数据；
将所述校正后三维图像数据配准至目标标准空间，并对所述目标标准空间内的校正后三维图像数据进行数值归一化处理，得到待分类图像数据。
可选的，所述目标症状分类模型通过以下过程进行训练：
获取目标症状图像的训练数据集；所述目标症状图像的训练数据集包括至少一个目标症状图像的待训练图像数据；
对所述目标症状图像的训练数据集中的待训练图像数据进行区块处理，得到固定区块组；
对所述固定区块组进行迭代的注意力计算，直至得到输出区块组；
根据所述输出区块组，通过多层感知机进行分类计算，得到分类结果。
可选的，对所述目标症状图像的训练数据集中的待训练图像数据进行区块处理，得到固定区块组，包括：
对每个所述待训练图像数据进行区块划分，得到与所述待训练图像数据对应的多个区块；
对所述多个区块进行线性维度嵌入处理，得到多个一维向量区块；
获取目标症状图像的症状特性和演变特性；
根据所述症状特性和演变特性，确定区块整合方案；
通过所述区块整合方案对所述多个一维向量区块进行整合处理，得到固定区块组。
可选的，对所述固定区块组进行迭代的注意力计算，直至得到输出区块组，包括：
对所述固定区块组进行多次局部多头注意力计算，并按照预设改变机制对所述固定区块组进行区块组改变处理，直至得到目标区块组；
对所述目标区块组进行聚合处理，得到输出区块组。
可选的，所述区块组改变处理包括以下至少一项：
向特定向量移动预设距离；
区块组位置交换；
区块组旋转；
区块组形变。
可选的，所述处理模块132，还包括：
通过反向传播提取注意力值，根据所述分类结果，生成注意力关注点分布图。
需要说明的是，该装置是与上述方法对应的装置，上述方法实施例中的所有实现方式均适用于该装置的实施例中，也能达到相同的技术效果。
本发明的实施例还提供一种计算设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如上述的方法对应的操作。
需要说明的是，该计算设备是与上述方法对应的计算设备，上述方法实施例中的所有实现方式均适用于该计算设备的实施例中，也能达到相同的技术效果。
本发明的实施例还提供一种计算机可读存储介质，存储有指令，所述指令在计算机上运行时，使得计算机执行如上所述的方法。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本发明所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
此外，需要指出的是，在本发明的装置和方法中，显然，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本发明的等效方案。并且，执行上述系列处理的步骤可以自然地按照说明的顺序按时间顺序执行，但是并不需要一定按照时间顺序执行，某些步骤可以并行或彼此独立地执行。对本领域的普通技术人员而言，能够理解本发明的方法和装置的全部或者任何步骤或者部件，可以在任何计算装置(包括处理器、存储介质等)或者计算装置的网络中，以硬件、固件、软件或者它们的组合加以实现，这是本领域普通技术人员在阅读了本发明的说明的情况下运用他们的基本编程技能就能实现的。
因此，本发明的目的还可以通过在任何计算装置上运行一个程序或者一组程序来实现。所述计算装置可以是公知的通用装置。因此，本发明的目的也可以仅仅通过提供包含实现所述方法或者装置的程序代码的程序产品来实现。也就是说，这样的程序产品也构成本发明，并且存储有这样的程序产品的存储介质也构成本发明。显然，所述存储介质可以是任何公知的存储介质或者将来所开发出来的任何存储介质。还需要指出的是，在本发明的装置和方法中，显然，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本发明的等效方案。并且，执行上述系列处理的步骤可以自然地按照说明的顺序按时间顺序执行，但是并不需要一定按照时间顺序执行。某些步骤可以并行或彼此独立地执行。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种三维图像数据的处理方法，其特征在于，所述方法包括：
获取目标症状图像的三维图像数据；
对所述三维图像数据进行预处理，得到待分类图像数据；
将所述待分类图像数据输入训练好的目标症状分类模型，得到分类结果；所述训练好的目标症状分类模型是根据所述三维图像数据的目标症状图像信息训练得到的；
根据所述分类结果，生成目标关注点分布图，并输出。
2.根据权利要求1所述的三维图像数据的处理方法，其特征在于，对所述三维图像数据进行预处理，得到待分类图像数据，包括：
对所述三维图像数据的格式进行转换处理，得到目标格式的三维图像数据；
将所述目标格式的三维图像数据进行非均匀场校正处理，得到校正后三维图像数据；
将所述校正后三维图像数据配准至目标标准空间，并对所述目标标准空间内的校正后三维图像数据进行数值归一化处理，得到待分类图像数据。
3.根据权利要求1所述的三维图像数据的处理方法，其特征在于，所述目标症状分类模型通过以下过程进行训练：
获取目标症状图像的训练数据集；所述目标症状图像的训练数据集包括至少一个目标症状图像的待训练图像数据；
对所述目标症状图像的训练数据集中的待训练图像数据进行区块处理，得到固定区块组；
对所述固定区块组进行迭代的注意力计算，直至得到输出区块组；
根据所述输出区块组，通过多层感知机进行分类计算，得到分类结果。
4.根据权利要求3所述的三维图像数据的处理方法，其特征在于，对所述目标症状图像的训练数据集中的待训练图像数据进行区块处理，得到固定区块组，包括：
对每个所述待训练图像数据进行区块划分，得到与所述待训练图像数据对应的多个区块；
对所述多个区块进行线性维度嵌入处理，得到多个一维向量区块；
获取目标症状图像信息，所述目标症状图像信息包括症状特性和演变特性；
根据所述目标症状图像信息，确定区块整合方案；
通过所述区块整合方案对所述多个一维向量区块进行整合处理，得到固定区块组。
5.根据权利要求3所述的三维图像数据的处理方法，其特征在于，对所述固定区块组进行迭代的注意力计算，直至得到输出区块组，包括：
对所述固定区块组进行多次局部多头注意力计算，并按照预设改变机制对所述固定区块组进行区块组改变处理，直至得到目标区块组；
对所述目标区块组进行聚合处理，得到输出区块组。
6.根据权利要求5所述的三维图像数据的处理方法，其特征在于，所述区块组改变处理包括以下至少一项：
向特定向量移动预设距离；
区块组位置交换；
区块组旋转；
区块组形变。
7.根据权利要求1所述的三维图像数据的处理方法，其特征在于，还包括：
通过反向传播提取注意力值，根据所述分类结果，生成注意力关注点分布图。
8.一种三维图像数据的处理装置，其特征在于，所述装置包括：
获取模块，用于获取目标症状图像的三维图像数据；
处理模块，用于对所述三维图像数据进行预处理，得到待分类图像数据；将所述待分类图像数据输入训练好的目标症状分类模型，得到分类结果；所述训练好的目标症状分类模型是根据所述三维图像数据的目标症状图像信息训练得到的；根据所述分类结果，生成目标关注点分布图，并输出。
9.一种计算设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如权利要求1至7中任一项所述的方法对应的操作。
10.一种计算机可读存储介质，其特征在于，存储有指令，所述指令在计算机上运行时，使得计算机执行如权利要求1至7任一项所述的方法。
CN202210533133.XA 2022-05-12 2022-05-12 一种三维图像数据的处理方法、装置及设备 Pending CN114841975A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210533133.XA CN114841975A (zh) 2022-05-12 2022-05-12 一种三维图像数据的处理方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210533133.XA CN114841975A (zh) 2022-05-12 2022-05-12 一种三维图像数据的处理方法、装置及设备

Publications (1)

Publication Number Publication Date
CN114841975A true CN114841975A (zh) 2022-08-02

Family

ID=82570870

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210533133.XA Pending CN114841975A (zh) 2022-05-12 2022-05-12 一种三维图像数据的处理方法、装置及设备

Country Status (1)

Country Link
CN (1) CN114841975A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115830020A (zh) * 2023-02-14 2023-03-21 成都泰莱生物科技有限公司 一种肺结节特征提取方法、分类方法、装置及介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115830020A (zh) * 2023-02-14 2023-03-21 成都泰莱生物科技有限公司 一种肺结节特征提取方法、分类方法、装置及介质

Similar Documents

Publication Publication Date Title
CN109242865B (zh) 基于多图谱的医学图像自动分区系统、方法、装置及存储介质
Liu et al. Weakly supervised deep learning for brain disease prognosis using MRI and incomplete clinical scores
US10088544B2 (en) Tractography framework with magnetic resonance imaging for brain connectivity analysis
Salem et al. Multiple sclerosis lesion synthesis in MRI using an encoder-decoder U-NET
US20200058098A1 (en) Image processing apparatus, image processing method, and image processing program
US10726546B2 (en) Tissue-to-flow image generation in medical imaging
US10970837B2 (en) Automated uncertainty estimation of lesion segmentation
CN111599432B (zh) 一种三维颅面影像特征点标记分析系统及方法
Valanarasu et al. Learning to segment brain anatomy from 2D ultrasound with less data
JP2021140769A (ja) 医用情報処理装置、医用情報処理方法及び医用情報処理プログラム
CN114841975A (zh) 一种三维图像数据的处理方法、装置及设备
CN116452592B (zh) 脑血管病ai认知功能评测模型的构建方法、装置及系统
US11295442B2 (en) Medical information display apparatus displaying cavity region in brain image, medical information display method, and medical information display program
EP3965117A1 (en) Multi-modal computer-aided diagnosis systems and methods for prostate cancer
CN115294023A (zh) 肝脏肿瘤自动分割方法及装置
Rutherford et al. Observing the origins of human brain development: automated processing of fetal fMRI
Devi et al. Effect of situational and instrumental distortions on the classification of brain MR images
Pal et al. Panoptic Segmentation and Labelling of Lumbar Spine Vertebrae using Modified Attention Unet
EP4198997A1 (en) A computer implemented method, a method and a system
Lou et al. Predicting radiologist attention during mammogram reading with deep and shallow high-resolution encoding
WO2020262571A1 (ja) 学習用画像生成装置、方法及びプログラム、並びに学習方法、装置及びプログラム
EP4270309A1 (en) Image processing device and method
An et al. Residual Self-attention Based Cortical Surface Reconstruction
Mu et al. DMA-HPCNet: Dual Multi-level Attention Hybrid Pyramid Convolution Neural Network for Alzheimer’s Disease Classification
BENJAMIN Brain Morphology Quantification for Large MRI Cohorts using Convolutional Neural Networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination