CN114821205B - 一种基于多维特征的图像处理方法、装置及设备 - Google Patents

一种基于多维特征的图像处理方法、装置及设备 Download PDF

Info

Publication number
CN114821205B
CN114821205B CN202210754406.3A CN202210754406A CN114821205B CN 114821205 B CN114821205 B CN 114821205B CN 202210754406 A CN202210754406 A CN 202210754406A CN 114821205 B CN114821205 B CN 114821205B
Authority
CN
China
Prior art keywords
target
matrix
image
time sequence
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210754406.3A
Other languages
English (en)
Other versions
CN114821205A (zh
Inventor
卢洁
李玮华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengying Technology Beijing Co ltd
Xuanwu Hospital
Original Assignee
Chengying Technology Beijing Co ltd
Xuanwu Hospital
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengying Technology Beijing Co ltd, Xuanwu Hospital filed Critical Chengying Technology Beijing Co ltd
Priority to CN202210754406.3A priority Critical patent/CN114821205B/zh
Publication of CN114821205A publication Critical patent/CN114821205A/zh
Application granted granted Critical
Publication of CN114821205B publication Critical patent/CN114821205B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明的实施例提供一种基于多维特征的图像处理方法、装置及设备，所述方法包括：获取目标对象的四维影像图像；对所述四维影像图像进行预处理，得到目标图像；将所述目标图像输入预设分类模型中进行分类处理，得到所述目标图像的分类结果；所述预设分类模型是基于卷积神经网络进行训练得到的；所述预设分类模型是基于所述目标图像的融合多维特征后的时间序列矩阵，对所述目标图像进行分类处理的；根据所述分类结果，确定所述四维影像图像的识别结果。本发明的实施例基于融合多维特征的时间序列矩阵，对所述四维影像图像进行分类处理，提高图像分类及识别的准确度。

Description

一种基于多维特征的图像处理方法、装置及设备
技术领域
本发明涉及图像处理技术领域，特别是指一种基于多维特征的图像处理方法、装置及设备。
背景技术
近年来，随着深度学习方法的发展，越来越多的研究人员转向使用深度学习模型来从功能连接矩阵进行分类研究。目前，常规卷积神经网络被应用到功能磁共振成像fMRI的分类中，其利用的仅仅是功能连接的空间信息，缺乏多尺度信息，性能较低。基于卷积神经网络（CNN），功能连接矩阵被视为简单的二维图像进行处理，取得了一定的效果。
然而，单纯的卷积神经网络无法捕捉时间维度的多尺度特征，因此迫切需要一种能够关注到时空多尺度特征卷积网络分类模型，捕捉更多时间维度和空间维度的多尺度特征，达到更好的分类性能。
发明内容
本发明提供了一种基于多维特征的图像处理方法、装置及设备。本发明的方案于融合多维特征的时间序列矩阵，对所述四维影像图像进行分类处理，提高图像分类及识别的准确度。
为解决上述技术问题，本发明的实施例提供以下方案：
一种基于多维特征的图像处理方法，所述方法包括：
获取目标对象的四维影像图像；
对所述四维影像图像进行预处理，得到目标图像；
将所述目标图像输入预设分类模型中进行分类处理，得到所述目标图像的分类结果；所述预设分类模型是基于卷积神经网络进行训练得到的；所述预设分类模型是基于所述目标图像的融合多维特征后的时间序列矩阵，对所述目标图像进行分类处理的；
根据所述分类结果，确定所述四维影像图像的识别结果。
可选的，对所述四维影像图像进行预处理，得到目标图像，包括：
将所述四维影像图像进行时间序列校正处理，得到第一影像图像，并将所述第一影像图像配准至目标标准空间，并进行图像滤波处理；
对所述目标标准空间内的第一影像图像进行数值归一化处理，得到目标图像。
可选的，所述预设分类模型对输入的目标图像的进行分类处理，包括：
根据所述目标图像的空间尺度，获得所述目标图像的第一时间序列矩阵；
对所述第一时间序列矩阵进行不同维度的特征融合处理，获得目标时间序列矩阵；
对所述目标时间序列矩阵中的任意两个时间序列进行卷积计算，获得所述目标时间序列矩阵的功能连接矩阵；
根据所述功能连接矩阵，得到分类结果。
可选的，根据所述目标图像的空间尺度，获得所述目标图像的第一时间序列矩阵，包括：
根据脑谱图对所述目标图像进行分割处理，获得所述目标图像的n个脑区图；
根据每一个所述脑区图的每一帧图像的空间尺度均值，获得所述目标图像的初始时间序列矩阵；
对所述初始时间序列矩阵进行标准化处理，获得所述目标图像的第一时间序列矩阵Rn×t，其中n为正整数，t为所述目标图像的帧数。
可选的，对所述第一时间序列矩阵进行不同维度的特征融合处理，获得目标时间序列矩阵，包括：
对所述第一时间序列矩阵中的时间序列，按照第一预设大小和数量的卷积核，进行第一维度的卷积池化处理，获得第一目标时间序列矩阵；
对所述第一目标时间序列矩阵的时间序列，按照第一预设大小和数量的卷积核，进行第二维度的卷积池化处理，获得第二目标时间序列矩阵。
可选的，对所述目标时间序列矩阵中的任意两个时间序列进行卷积计算处理，获得所述目标时间序列矩阵的功能连接矩阵，包括：
对所述第一目标时间序列矩阵中的任意两个时间序列，按照第二预设大小和数量的卷积核进行卷积计算，获得第二功能连接矩阵；
对所述第二目标时间序列矩阵中的任意两个时间序列，按照第二预设大小和数量的卷积核进行卷积计算，获得第三功能连接矩阵。
可选的，所述的基于多维特征的图像处理方法，还包括：对所述第一时间序列矩阵中的任意两个时间序列，按照第二预设大小和数量的卷积核进行卷积计算，获得所述第一时间序列矩阵的第一功能连接矩阵；
根据所述功能连接矩阵，得到分类结果，包括：
将经过不同层数的卷积处理及池化处理后的所述第二功能连接矩阵以及所述第三功能连接矩阵；与所述第一功能连接矩阵在第三为维度上连接，获得目标功能连接矩阵；
对所述目标功能连接矩阵进行池化处理，获得第二时间序列矩阵；
将所述第二时间序列矩阵在所述预设分类模型的全连接层进行处理后，输入所述预设分类模型的分类层中进行分类处理，得到分类结果。
本发明的实施例还提供一种基于多维特征的图像处理装置，所述装置包括：
获取模块，用于获取目标对象的四维影像图像；
处理模块，用于对所述四维影像图像进行预处理，得到目标图像；
将所述目标图像输入预设分类模型中进行分类处理，得到所述目标图像的分类结果标签；所述预设分类模型是基于卷积神经网络进行训练得到的；所述预设分类模型是基于所述目标图像的时间序列矩阵，对所述目标图像进行分类处理的；根据所述分类结果标签，得到所述四维影像图像的识别结果。
本发明提供一种计算设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如上述的方法对应的操作。
本发明还提供一种计算机可读存储介质，存储有指令，所述指令在计算机上运行时，使得计算机执行如上述的方法。
本发明的上述方案至少包括以下有益效果：
本发明的上述方案，通过获取目标对象的四维影像图像；对所述四维影像图像进行预处理，得到目标图像；将所述目标图像输入预设分类模型中进行分类处理，得到所述目标图像的分类结果；所述预设分类模型是基于卷积神经网络进行训练得到的；所述预设分类模型是基于所述目标图像的融合多维特征后的时间序列矩阵，对所述目标图像进行分类处理的；根据所述分类结果，确定所述四维影像图像的识别结果。本发明的方案基于对所述目标图像进行多尺度的时间和空间特征提取，提高了影像图像分类及识别的准确性。
附图说明
图1为本发明实施例的基于多维特征的图像处理方法的流程示意图；
图2为本发明的一可选实施例提供的第一时间序列矩阵进行卷积池化处理的流程图；
图3为本发明一可选实施例提供的基于多维特征的图像处理方法具体实现流程示意图。
图4为本发明实施例提供的基于多维特征的图像处理装置的结构示意图。
具体实施方式
下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。
如图1所示，本发明提供一种基于多维特征的图像处理方法，包括：
步骤11，获取目标对象的四维影像图像；
步骤12，对所述四维影像图像进行预处理，得到目标图像；
步骤13，将所述目标图像输入预设分类模型中进行分类处理，得到所述目标图像的分类结果；所述预设分类模型是基于卷积神经网络进行训练得到的；所述预设分类模型是基于所述目标图像的融合多维特征后的时间序列矩阵，对所述目标图像进行分类处理的；
步骤14，根据所述分类结果，确定所述四维影像图像的识别结果。
该实施例中，所述目标图像可以表示为x∈RH×W×D×t，其中，H、W、D分别为每一帧图像的高、深、宽，t为图像的帧数；基于所述目标图像融合多维特征后的时间序列矩阵对卷积神经网络进行训练，获得所述预设分类模型，提高所述预设分类模型的性能；对所述四维影像图像进行预处理，获得目标图像，提高了目标图像的空间分辨率，便于后续对所述目标图像的分类；同时将预处理后得到的目标图像输入所述预设分类模型中进行分类处理，获得分类结果；所述分类结果可以是基于所述预设分类模型进行处理后获得的输出标签，所述四维影像图像可以是人脑的功能磁共振影像fMRI图像，可以依据输出的分类结果判断功能磁共振影像fMRI图像对应的患者是否为正常人或者具有轻度的阿尔茨海默病或者具有重度的阿尔茨海默病。
本发明一可选的实施例中，所述预设分类模型通过以下过程训练获得：
获取数据集；所述数据集是基于历史四维影像图像对应的数据进行预处理后得到的；
将所述数据集输入卷积神经网络模型中，使用梯度反传算法进行训练；
同时将交叉熵损失函数作为所述预设分类模型中的损失函数；
在卷积神经网络对所述数据集进行迭代计算处理的过程中，网络会计算批量损失相对于权重的梯度，并相应地更新权重；经过多轮计算之后，网络损失值将变得足够小；通过梯度反传算法进行权重的训练，增强模型自学习的性能，通过十折交叉验证，调整预设分类模型的参数，进一步提高所述预设分类模型的进行分类处理的精确度；所述交叉熵损失函数可以通过以下公式表示：
Figure 405728DEST_PATH_IMAGE001
其中，L为损失值，T为样本的总数量，S为样本中类别的数量，Pic为样本i属于c类的预测概率，Pic越大说明样本i属于c类的概率越大；yic为符号函数（其值为0或1），如果样本i的真实类别等于c类取1，否则取0。
本发明的一可选实施例中，所述步骤12，可以包括：
步骤121，将所述四维影像图像进行时间序列校正处理，得到第一影像图像，并将所述第一影像图像配准至目标标准空间，并进行图像滤波处理；
步骤122，对所述目标标准空间内的第一影像图像进行数值归一化处理，得到目标图像。
该实施例中，对所述四维影像图像进行时间序列校正处理，得到第一影像图像，所述时间序列校正处理是针对拍摄目标对象的摄像设备在场景和环境变化时发生的微小探测器漂移，按照拍摄时间顺序进行调整，以对其影像图像的帧，去除影像图像中存在的伪影，获得高质量的第一影像图像；并将所述第一影像图像配准至目标标准空间，所述目标标准空间可以选用MNI（Montreal Neurological Institute，蒙特利尔神经学研究所）标准空间，并通过滤波器对所述第一影像图像进行滤波处理，以去除影像图像中包含的噪声，提高后续处理精度。
本发明的一可选实施例中，所述预设分类模型对输入的目标图像的进行分类处理，可以包括：
步骤131，根据所述目标图像的空间尺度，获得所述目标图像的第一时间序列矩阵；
步骤132，对所述第一时间序列矩阵进行不同维度的特征融合处理，获得目标时间序列矩阵；
步骤133，对所述目标时间序列矩阵中的任意两个时间序列进行卷积计算，获得所述目标时间序列矩阵的功能连接矩阵；
步骤134，根据所述功能连接矩阵，得到分类结果。
该实施例中，根据所述目标图像的空间尺度，获得目标图像对应的第一时间序列矩阵，为后续进行分类提供数据基础，所述第一时间序列矩阵中包含多个时间序列，每一个时间序列均表示所述目标图像在每一帧上的特征值；在所述预设分类模型中对所述第一时间序列矩阵进行不同维度的特征融合处理，以在不同的维度上融合所述目标图像多个特征，获得不同维度的目标时间序列矩阵，以提高后续分类的精确度；
在所述预设分类模型的输入层中，对所述目标时间序列矩阵中的任意两个目标时间序列进行卷积计算，进一步在时间维度上融合所述目标时间序列的特征，获得功能连接矩阵；所述功能连接矩阵中的每一个元素表示所述目标时间序列矩阵中的任意两个目标时间序列相关性的关联程度；
应当知道的，不同维度的目标时间序列矩阵，对应生成不同层次的功能连接矩阵，在所述预设分类模型中对不同层次的功能连接矩阵进行级联处理，获得分类结果，进一步提高分类结果的精确度。
本发明的一可选实施例中，所述步骤131，可以包括：
步骤1311，根据脑谱图对所述目标图像进行分割处理，获得所述目标图像的n个脑区图；
步骤1312，根据每一个所述脑区图的每一帧图像的空间尺度均值，获得所述目标图像的初始时间序列矩阵；
步骤1313，对所述初始时间序列矩阵进行标准化处理，获得所述目标图像的第一时间序列矩阵Rn×t，其中n为正整数，t为所述目标图像的帧数。
该实施例中，对所述目标图像进行分割处理，可以依据脑图谱，如额叶等将所述目标图像划分为n个大小不一的脑区图，针对于每一个脑区图，在每一帧图像上计算其空间尺度的均值，得到每一个脑区图的时间序列，进一步获得所述目标图像的一个完整的时间序列矩阵；通过对目标图像进行分割处理，并再分别对每个脑区图进行处理，与直接处理所述目标图像相比，降低了处理的难度，提高了处理精度；
进一步的，对时间序列矩阵按矩阵中的行进行标准化处理，矩阵中每一行数据元素都先减去其均值再除以其方差，进而得到标准化的第一时间序列矩阵。
本发明的一可选实施例中，对所述第一时间序列矩阵中的任意两个时间序列，按照第二预设大小和数量的卷积核进行卷积计算，获得所述第一时间序列矩阵的第一功能连接矩阵；
该实施例中，在所述预设分类模型的卷积层中，按照第二预设大小和数量的卷积核，对所述第一时间序列矩阵中的任意两个时间序列进行卷积计算，以将不同脑区图对应的时间序列的关联性特征进行融合，获得所述第一时间序列矩阵的初始功能连接矩阵；进一步的，再对初始功能连接矩阵进行三次卷积核池化处理，以获得预设大小值的第一功能连接矩阵，以便于后续进行分类处理；对卷积处理后的时间序列矩阵进行池化处理，以保留不同脑区图的特征细节。
在一个具体实施例中，如图2所示，在所述预设分类模型的卷积层中，对于输入的时间序列XL1∈Rn×t ，使用M1个 1*t大小的卷积核 km计算其对应的初始功能连接矩阵XFC1∈Rn×n×M1；
具体操作为将XL1的任意两行两两配对，使用 km进行第一次卷积操(ConFC1)，获得初始功能连接矩阵XFC1=（i，j，m）=km（XL1（i），XL1（j）） ；
进一步的，对初始功能连接矩阵XFC1进行第二次卷积操作（图中con3），使用5*5大 小的 M2个卷积核进行卷积处理后，通过池化层进行池化处理后得到中间功能连接矩阵
Figure 791710DEST_PATH_IMAGE002
；
进一步的，对中间功能连接矩阵
Figure 368184DEST_PATH_IMAGE002
；在经过con6和con8两层 卷积和池化处理，得到第一功能连接矩阵
Figure 107601DEST_PATH_IMAGE003
。
对初始功能连接矩阵进行多次卷积及池化处理，以将其调整到预设大小值的第一功能连接矩阵，以便于后续进行分类处理；同时通过卷积计算求取初始功能连接矩阵，以融合所述第一时间序列矩阵中对应不同脑区图的时间序列的特征，去除冗余的相同特征，提高后续分类精度；其中，XL1(i)为所述四维影像图像中第i个脑区图对应卷积处理后的时间序列， XL1(j) 为所述四维影像图像中第j个脑区图对应卷积处理后的时间序列， km为第m个卷积核， M1、M2表示卷积核的个数，i、j、M1、M2、m、 km 均为正整数。
本发明的一可选实施例中，所述步骤132，可以包括：
步骤1321，对所述第一时间序列矩阵中的时间序列，按照第一预设大小和数量的卷积核，进行第一维度的卷积池化处理，获得第一目标时间序列矩阵；
步骤1322，对所述第一目标时间序列矩阵的时间序列，按照第一预设大小和数量的卷积核，进行第二维度的卷积池化处理，获得第二目标时间序列矩阵。
该实施例中，对所述第一时间序列矩阵中的时间序列依次进行两次卷积池化处理，且每次在不同维度的进行卷积处理，之后再进行池化处理，依次获得第一维度上的第一目标时间序列矩阵，和第二维度上的第二目标时间序列矩阵，为后续对应功能连接矩阵的求取，提供具有不同维度特征的时间序列矩阵，以提高分类的精确度；
具体的，在所述预设分类模型的卷积层中，对于输入的所述第一时间序列矩阵中 的时间序列XL1∈Rn×t ，使用5*5大小的M2个卷积核进行卷积处理后通过池化层进行池化处 理，得到第一目标时间序列矩阵中时间序列为
Figure 390815DEST_PATH_IMAGE004
；
对于输入的第一目标时间序列矩阵中时间序列
Figure 72332DEST_PATH_IMAGE005
，使用5*5大 小的M2个卷积核进行卷积处理后，再通过池化层进行池化处理，得到第二目标时间序列矩 阵中时间序列
Figure 808207DEST_PATH_IMAGE006
。
本发明的一可选实施例中，所述步骤133，可以包括：
步骤1331，对所述第一目标时间序列矩阵中的任意两个时间序列，按照第二预设大小和数量的卷积核进行卷积计算，获得第二功能连接矩阵；
步骤1332，对所述第二目标时间序列矩阵中的任意两个时间序列，按照第二预设大小和数量的卷积核进行卷积计算，获得第三功能连接矩阵。
该实施例中，如图3所示，按照第二预设大小和数量的卷积核，也即是 M1个1*t大 小的卷积核km计算所述第一目标时间序列矩阵中时间序列
Figure 849850DEST_PATH_IMAGE005
对应的第 二功能连接矩阵
Figure 987570DEST_PATH_IMAGE007
(ConFC2)；
按照第二预设大小和数量的卷积核，也即是 M2个1*t大小的卷积核km计算其对应 的第三功能连接矩阵
Figure 777672DEST_PATH_IMAGE008
(ConFC3)；
在所述预设分类模型中，通过相同大小及数量的卷积核计算所述第一目标时间序列矩阵、所述第二时间序列矩阵的功能连接矩阵，考虑时间序列矩阵中每一个时间序列所对应的脑区图之间的关联关系的大小，也即是每一个时间序列的权重大小，提高了计算功能连接矩阵的精确度。
本发明的一可选实施例中，所述步骤134，可以包括：
步骤1341，将经过不同层数的卷积处理及池化处理后的所述第二功能连接矩阵以及所述第三功能连接矩阵；与所述第一功能连接矩阵在第三为维度上连接，获得目标功能连接矩阵；
步骤1342，对所述目标功能连接矩阵进行池化处理，获得第二时间序列矩阵；
步骤1343，将所述第二时间序列矩阵在所述预设分类模型的全连接层进行处理后，输入所述预设分类模型的分类层中进行分类处理，得到分类结果。
该实施例中，对所述第二功能连接矩阵以及所述第三功能连接矩阵分别进行不同层数的卷积处理及池化处理，以调整第二、第三功能连接矩阵的大小与所述第一功能连接矩阵的大小相同，以便于后续进行级联处理；
具体的，如图3所示，对所述第二功能连接矩阵 XFC5进行卷积操作（图中con4），使 用5*5大小的M2个卷积核进行处理后，再经过池化处理，得到功能连接矩阵
Figure 797581DEST_PATH_IMAGE009
；对所述功能连接矩阵XFC6进行con7卷积和池化处理，得到功能连 接矩阵
Figure 878800DEST_PATH_IMAGE010
；
对所述第三功能连接矩阵XFC8进行卷积（图中con5）和池化处理，得到功能连接矩 阵
Figure 871027DEST_PATH_IMAGE011
；
将功能连接矩阵XFC4、XFC7、XFC9 按照第三维维度首位相连相连，获得融合不同维度 特征的目标功能连接矩阵
Figure 894347DEST_PATH_IMAGE012
，其中M4为卷积核个数；
进一步的，在大小为
Figure 604814DEST_PATH_IMAGE013
的池化层中对所述目标功能连接矩阵进行池化 处理，得到时间序列为
Figure 949380DEST_PATH_IMAGE014
的第二时间序列矩阵；将所述第二时间序列矩阵输入 节点数为64和32的两层全连接层中处理后，再输入到分类层SoftMax中进行分类，获得分类 结果；所述分类结果可以是输出的类别标签，根据所述类别标签，判断所述四维影像图像是 否为具有轻度阿尔茨海默病或具有重度阿尔茨海默病的患者的影像图，或者正常人的影像 图。
本发明的上述实施例中，通过在空间尺度上求取四维影像图像对应的每一个脑区图的时间序列，并形成四维影像图像的第一时间序列矩阵；在获取所述时间序列矩阵的功能连接矩阵之前，先在不同桶的维度上对所述第一时间序列矩阵进行卷积处理，以为功能连接矩阵的求取提供不同维度特征的时间序列，在将不同维度上获得的功能连接矩阵进行级联处理，提高所述四维影像图像分类的精确度。
如图4所示，本发明还提供一种基于多维特征的图像处理装置40，所述装置40包括：
获取模块41，用于获取目标对象的四维影像图像；
处理模块42，用于对所述四维影像图像进行预处理，得到目标图像；
将所述目标图像输入预设分类模型中进行分类处理，得到所述目标图像的分类结果标签；所述预设分类模型是基于卷积神经网络进行训练得到的；所述预设分类模型是基于所述目标图像的时间序列矩阵，对所述目标图像进行分类处理的；根据所述分类结果标签，得到所述四维影像图像的识别结果。
可选的，所述处理模块42，用于对所述四维影像图像进行预处理，得到目标图像，包括：
将所述四维影像图像进行时间序列校正处理，得到第一影像图像，并将所述第一影像图像配准至目标标准空间，并进行图像滤波处理；
对所述目标标准空间内的第一影像图像进行数值归一化处理，得到目标图像。
可选的，所述处理模块42对输入的目标图像的进行分类处理，包括：
根据所述目标图像的空间尺度，获得所述目标图像的第一时间序列矩阵；
对所述第一时间序列矩阵进行不同维度的特征融合处理，获得目标时间序列矩阵；
对所述目标时间序列矩阵中的任意两个时间序列进行卷积计算，获得所述目标时间序列矩阵的功能连接矩阵；
根据所述功能连接矩阵，得到分类结果。
可选的，所述处理模块42，用于根据所述目标图像的空间尺度，获得所述目标图像的第一时间序列矩阵，包括：
根据脑谱图对所述目标图像进行分割处理，获得所述目标图像的n个脑区图；
根据每一个所述脑区图的每一帧图像的空间尺度均值，获得所述目标图像的初始时间序列矩阵；
对所述初始时间序列矩阵进行标准化处理，获得所述目标图像的第一时间序列矩阵Rn×t，其中n为正整数，t为所述目标图像的帧数。
可选的，所述处理模块42，用于对所述第一时间序列矩阵进行不同维度的特征融合处理，获得目标时间序列矩阵，包括：
对所述第一时间序列矩阵中的时间序列，按照第一预设大小和数量的卷积核，进行第一维度的卷积池化处理，获得第一目标时间序列矩阵；
对所述第一目标时间序列矩阵的时间序列，按照第一预设大小和数量的卷积核，进行第二维度的卷积池化处理，获得第二目标时间序列矩阵。
可选的，所述处理模块42，用于对所述目标时间序列矩阵中的任意两个时间序列进行卷积计算处理，获得所述目标时间序列矩阵的功能连接矩阵，包括：
对所述第一目标时间序列矩阵中的任意两个时间序列，按照第二预设大小和数量的卷积核进行卷积计算，获得第二功能连接矩阵；
对所述第二目标时间序列矩阵中的任意两个时间序列，按照第二预设大小和数量的卷积核进行卷积计算，获得第三功能连接矩阵。
可选的，所述处理模块42，还用于对所述第一时间序列矩阵中的任意两个时间序列，按照第二预设大小和数量的卷积核进行卷积计算，获得所述第一时间序列矩阵的第一功能连接矩阵；
可选的，所述处理模块42，用于根据所述功能连接矩阵，得到分类结果，包括：
将经过不同层数的卷积处理及池化处理后的所述第二功能连接矩阵以及所述第三功能连接矩阵；与所述第一功能连接矩阵在第三为维度上连接，获得目标功能连接矩阵；
对所述目标功能连接矩阵进行池化处理，获得第二时间序列矩阵；
将所述第二时间序列矩阵在所述预设分类模型的全连接层进行处理后，输入所述预设分类模型的分类层中进行分类处理，得到分类结果。
需要说明的是，该装置是与上述方法对应的装置，上述方法实施例中的所有实现方式均适用于该装置的实施例中，也能达到相同的技术效果。
本发明的实施例还提供一种计算设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如上述的方法对应的操作。
需要说明的是，该计算设备是与上述方法对应的计算设备，上述方法实施例中的所有实现方式均适用于该计算设备的实施例中，也能达到相同的技术效果。
本发明的实施例还提供一种计算机可读存储介质，存储有指令，所述指令在计算机上运行时，使得计算机执行如上所述的方法。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本发明所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
此外，需要指出的是，在本发明的装置和方法中，显然，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本发明的等效方案。并且，执行上述系列处理的步骤可以自然地按照说明的顺序按时间顺序执行，但是并不需要一定按照时间顺序执行，某些步骤可以并行或彼此独立地执行。对本领域的普通技术人员而言，能够理解本发明的方法和装置的全部或者任何步骤或者部件，可以在任何计算装置（包括处理器、存储介质等）或者计算装置的网络中，以硬件、固件、软件或者它们的组合加以实现，这是本领域普通技术人员在阅读了本发明的说明的情况下运用他们的基本编程技能就能实现的。
因此，本发明的目的还可以通过在任何计算装置上运行一个程序或者一组程序来实现。所述计算装置可以是公知的通用装置。因此，本发明的目的也可以仅仅通过提供包含实现所述方法或者装置的程序代码的程序产品来实现。也就是说，这样的程序产品也构成本发明，并且存储有这样的程序产品的存储介质也构成本发明。显然，所述存储介质可以是任何公知的存储介质或者将来所开发出来的任何存储介质。还需要指出的是，在本发明的装置和方法中，显然，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本发明的等效方案。并且，执行上述系列处理的步骤可以自然地按照说明的顺序按时间顺序执行，但是并不需要一定按照时间顺序执行。某些步骤可以并行或彼此独立地执行。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (9)

1.一种基于多维特征的图像处理方法，其特征在于，所述方法包括：
获取目标对象的四维影像图像；对所述四维影像图像进行预处理，得到目标图像；
将所述目标图像输入预设分类模型中进行分类处理，得到所述目标图像的分类结果；
所述预设分类模型是基于卷积神经网络进行训练得到的；所述预设分类模型是基于所述目标图像的融合多维特征后的时间序列矩阵，对所述目标图像进行分类处理的；
根据所述分类结果，确定所述四维影像图像的识别结果；
其中，所述预设分类模型对输入的目标图像的进行分类处理，包括：
根据所述目标图像的空间尺度，获得所述目标图像的第一时间序列矩阵；
对所述第一时间序列矩阵进行不同维度的特征融合处理，获得目标时间序列矩阵；
对所述目标时间序列矩阵中的任意两个时间序列进行卷积计算，获得所述目标时间序列矩阵的功能连接矩阵；
根据所述功能连接矩阵，得到分类结果。
2.根据权利要求1所述的基于多维特征的图像处理方法，其特征在于，对所述四维影像图像进行预处理，得到目标图像，包括：
将所述四维影像图像进行时间序列校正处理，得到第一影像图像，并将所述第一影像图像配准至目标标准空间，并进行图像滤波处理；
对所述目标标准空间内的第一影像图像进行数值归一化处理，得到目标图像。
3.根据权利要求1所述的基于多维特征的图像处理方法，其特征在于，根据所述目标图像的空间尺度，获得所述目标图像的第一时间序列矩阵，包括：
根据脑谱图对所述目标图像进行分割处理，获得所述目标图像的n个脑区图；
根据每一个所述脑区图的每一帧图像的空间尺度均值，获得所述目标图像的初始时间序列矩阵；
对所述初始时间序列矩阵进行标准化处理，获得所述目标图像的第一时间序列矩阵Rn ×t，其中n为正整数，t为所述目标图像的帧数。
4.根据权利要求3所述的基于多维特征的图像处理方法，其特征在于，对所述第一时间序列矩阵进行不同维度的特征融合处理，获得目标时间序列矩阵，包括：
对所述第一时间序列矩阵中的时间序列，按照第一预设大小和数量的卷积核，进行第一维度的卷积池化处理，获得第一目标时间序列矩阵；
对所述第一目标时间序列矩阵的时间序列，按照第一预设大小和数量的卷积核，进行第二维度的卷积池化处理，获得第二目标时间序列矩阵。
5.根据权利要求4所述的基于多维特征的图像处理方法，其特征在于，对所述目标时间序列矩阵中的任意两个时间序列进行卷积计算处理，获得所述目标时间序列矩阵的功能连接矩阵，包括：
对所述第一目标时间序列矩阵中的任意两个时间序列，按照第二预设大小和数量的卷积核进行卷积计算，获得第二功能连接矩阵；
对所述第二目标时间序列矩阵中的任意两个时间序列，按照第二预设大小和数量的卷积核进行卷积计算，获得第三功能连接矩阵。
6.根据权利要求5所述的基于多维特征的图像处理方法，其特征在于，还包括：
对所述第一时间序列矩阵中的任意两个时间序列，按照第二预设大小和数量的卷积核进行卷积计算，获得所述第一时间序列矩阵的第一功能连接矩阵；
根据所述功能连接矩阵，得到分类结果，包括：
将经过不同层数的卷积处理及池化处理后的所述第二功能连接矩阵以及所述第三功能连接矩阵；
与所述第一功能连接矩阵在第三为维度上连接，获得目标功能连接矩阵；对所述目标功能连接矩阵进行池化处理，获得第二时间序列矩阵；
将所述第二时间序列矩阵在所述预设分类模型的全连接层进行处理后，输入所述预设分类模型的分类层中进行分类处理，得到分类结果。
7.一种基于多维特征的图像处理装置，其特征在于，所述装置包括：
获取模块，用于获取目标对象的四维影像图像；
处理模块，用于对所述四维影像图像进行预处理，得到目标图像；将所述目标图像输入预设分类模型中进行分类处理，得到所述目标图像的分类结果标签；所述预设分类模型是基于卷积神经网络进行训练得到的；所述预设分类模型是基于所述目标图像的时间序列矩阵，对所述目标图像进行分类处理的；根据所述分类结果标签，得到所述四维影像图像的识别结果；
其中，所述预设分类模型对输入的目标图像的进行分类处理，包括：
根据所述目标图像的空间尺度，获得所述目标图像的第一时间序列矩阵；
对所述第一时间序列矩阵进行不同维度的特征融合处理，获得目标时间序列矩阵；
对所述目标时间序列矩阵中的任意两个时间序列进行卷积计算，获得所述目标时间序列矩阵的功能连接矩阵；
根据所述功能连接矩阵，得到分类结果。
8.一种计算设备，其特征在于，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如权利要求1-6中任一项所述的方法对应的操作。
9.一种计算机可读存储介质，其特征在于，存储有指令，所述指令在计算机上运行时，使得计算机执行如权利要求1至6任一项所述的方法。
CN202210754406.3A 2022-06-30 2022-06-30 一种基于多维特征的图像处理方法、装置及设备 Active CN114821205B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210754406.3A CN114821205B (zh) 2022-06-30 2022-06-30 一种基于多维特征的图像处理方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210754406.3A CN114821205B (zh) 2022-06-30 2022-06-30 一种基于多维特征的图像处理方法、装置及设备

Publications (2)

Publication Number Publication Date
CN114821205A CN114821205A (zh) 2022-07-29
CN114821205B true CN114821205B (zh) 2022-09-13

Family

ID=82523181

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210754406.3A Active CN114821205B (zh) 2022-06-30 2022-06-30 一种基于多维特征的图像处理方法、装置及设备

Country Status (1)

Country Link
CN (1) CN114821205B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115091211B (zh) * 2022-08-22 2023-02-28 徐州康翔精密制造有限公司 数控车磨复合机床及其生产控制方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107437092B (zh) * 2017-06-28 2019-11-15 苏州比格威医疗科技有限公司 基于三维卷积神经网络的视网膜oct图像的分类方法
CN107423756A (zh) * 2017-07-05 2017-12-01 武汉科恩斯医疗科技有限公司 基于深度卷积神经网络结合长短期记忆模型的核磁共振图像序列分类方法
KR102159052B1 (ko) * 2020-05-12 2020-09-23 주식회사 폴라리스쓰리디 영상 분류 방법 및 장치
CN112185523B (zh) * 2020-09-30 2023-09-08 南京大学 基于多尺度卷积神经网络的糖尿病视网膜病变分类方法
CN113269230B (zh) * 2021-04-23 2022-09-06 复旦大学 一种基于时序高维特征提取的多肺炎ct分类方法及装置

Also Published As

Publication number Publication date
CN114821205A (zh) 2022-07-29

Similar Documents

Publication Publication Date Title
EP3732619B1 (en) Convolutional neural network-based image processing method and image processing apparatus
CN110378381B (zh) 物体检测方法、装置和计算机存储介质
CN110097130B (zh) 分类任务模型的训练方法、装置、设备及存储介质
CN112446270B (zh) 行人再识别网络的训练方法、行人再识别方法和装置
CN110659665B (zh) 一种异维特征的模型构建方法及图像识别方法、装置
CN112507990A (zh) 视频时空特征学习、抽取方法、装置、设备及存储介质
CN111862009B (zh) 一种眼底oct图像的分类方法及计算机可读存储介质
CN113728335A (zh) 用于3d图像的分类和可视化的方法和系统
CN110930378B (zh) 基于低数据需求的肺气肿影像处理方法及系统
CN109685830B (zh) 目标跟踪方法、装置和设备及计算机存储介质
CN113705655B (zh) 三维点云全自动分类方法及深度神经网络模型
Yang et al. A robust iris segmentation using fully convolutional network with dilated convolutions
CN114821205B (zh) 一种基于多维特征的图像处理方法、装置及设备
CN114266894A (zh) 一种图像分割方法、装置、电子设备及存储介质
CN113592769A (zh) 异常图像的检测、模型的训练方法、装置、设备及介质
Salama et al. Enhancing Medical Image Quality using Neutrosophic Fuzzy Domain and Multi-Level Enhancement Transforms: A Comparative Study for Leukemia Detection and Classification
CN110929731B (zh) 一种基于探路者智能搜索算法的医疗影像处理方法及装置
CN111667495A (zh) 一种图像场景解析方法和装置
CN116030063A (zh) Mri图像的分类诊断系统、方法、电子设备及介质
CN115909016A (zh) 基于GCN分析fMRI图像的系统、方法、电子设备及介质
CN115631526A (zh) 基于自监督学习技术的被遮挡的人脸表情识别方法及应用
CN114119970A (zh) 目标跟踪方法及装置
CN112614092A (zh) 脊柱检测方法和装置
CN114120397B (zh) 一种人脸图像重构方法、系统及数据降维方法
CN117437493B (zh) 联合一阶和二阶特征的脑肿瘤mri图像分类方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant