CN107622485A - 一种融合深度张量神经网络的医学影像数据分析方法和系统 - Google Patents

Abstract

本发明属于计算机应用技术领域，具体涉及医学影像分析技术领域，特别是一种融合深度张量神经网络的医学影像数据分析方法和系统，本发明首先经过张量卷积神经网络整合医学图像内的有效信息，再进入张量递归神经网络，通过对病人历史医学影像数据和当前医学影像数据进行分析，输出当前医学影像数据的分析结果和将来时刻医学影像的分析结果预测，分别用于为医师提供分析参考和评价病人正在接受的治疗方案。本发明引入张量CP分解和张量列分解，相比传统递归神经网络，张量递归神经网络的参数规模远远小于传统网络处理相同张量数据时的网络参数规模。因此能有效提高影像学分析的可靠性和效率，为调整优化治疗方案提供依据。

Description

一种融合深度张量神经网络的医学影像数据分析方法和系统

技术领域

本发明属于计算机应用技术领域，具体涉及医学影像分析技术领域，特别是一种融合深度张量神经网络的医学影像数据分析方法和系统。

背景技术

如发明名称为深度学习对医学数据进行分析的方法及其智能分析仪，申请号为201510294286.3的中国发明专利，应用深度学习模型对医学数据进行分析，输出相应的病理分析结果。其具体实施方案如下：

采集已备案的同类型的医学素材数据及与该医学素材数据匹配的医学分析数据作为医学训练数据通过输入装置存储于计算机中；

所述医学训练数据中不小于二维的医学影像数据与文本数据中随时间空间的变化值与对应的数据相关联；

在采集的海量医学训练数据中，将与每一个个体对应的医学训练数据和所述变化值汇总为一条单元数据；

将所述训练数据采用分割、关联或文本数据挖掘方法整合或格式化为计算机可以理解的结构化数据矩阵并从每个单元数据中提取数据特征；

将已形成结构化数据矩阵的医学训练数据导入装置于计算机内对应深度学习模型的存储模块中；

通过计算机对所述深度学习模型进行优化计算；

将获取的已形成结构化矩阵数据的医学待分析数据导入该深度学习模型中进行与之匹配的医学病理分析；

由该深度学习模型通过输出装置输出与所述医学待分析数据相匹配的医学病理分析结果及疾病发展变化的预测结果。

该现有技术只是把所有能够获取的医疗数据冗杂在一起构建矩阵数据，利用卷积神经网络与相应的诊断记录匹配起来。这种做法基于最大化信息量的原则进行的。存在大量的重复信息，增加模型的信息搜索负担，同时冗杂了与模型问题无关的信息，掩盖内在规律。卷积神经网络不能够提取时间维度的信息，存在时间维度的信息，反成了噪声。

并且通过现有技术可知递归神经网络是一种能够对时序数据进行显示建模的神经网络，而医学影像一般以2D和3D的矩阵或张量模型存储表达，规模较大，如MRI图像每个切片视野为512×512，传统递归神经网络分析时，采用向量化处理运算，对医学图像进行特征提取或其他向量化处理，会在不同程度上破坏医学图像特有的空间结构信息及各因素间的内在依赖性，不能充分利用医学图像的全部有效信息，模型输出结果可靠性低，同时传统递归神经网络中存在大量全连接结构，如输入层到第一层隐藏层全连，隐层间全连接、隐藏层自身全连接，隐藏层到输出层全连接，这些全连接结构产生了庞大的权值参数，导致内存代价高，计算复杂度高，效率低等问题。

发明内容

针对以上问题，本发明在只能处理向量数据的传统递归神经网络进行适当的修改，提供一种融合深度张量神经网络的医学影像数据分析方法和系统。

为解决上述技术问题，本发明采用的一个技术方案是：提供一种融合深度张量神经网络的医学影像数据分析方法，其特征在于包括如下步骤：

采集已备案待分析疾病的医学影像数据，建立并实时更新所述待分析疾病的医学影像数据库；

根据待分析的问题对所述待分析疾病的医学影像数据库中待分析疾病的医学影像数据进行筛选，得到符合条件的医学影像数据；同一病人的医学影像数据按时间顺序组合成医学影像数据序列；

根据所述筛选后的医学影像数据序列构建预测模型；利用卷积神经网络和张量递归神经网络设计构建深度学习预测模型的结构，对深度学习预测模型进行优化训练，输出最优的深度学习预测模型并更新；

获取待分析的医学影像数据，与其近期的医学影像数据构成待分析的医学影像数据序列，并将所述医学影像数据序列导入深度学习预测模型；所述深度学习预测模型根据待分析的医学影像数据进行分析预测，输出当前影像的分析结果和未来影像的预测分析结果。

进一步的，构建预测模型步骤之前还包括对筛选后的医学影像数据序列进行数据加强的数据加强步骤，所述数据加强步骤具体包括：

对筛选后的医学影像数据进行几何变换，改变图像像素或体素的位置并保持特征的几何旋转不变性。

更进一步的，所述构建预测模型具体包括如下步骤：

迁移学习步骤，搜索下载图像深度学习网络的结构及其对应的参数，辅助深度学习预测模型的优化训练；

卷积步骤，参照迁移学习步骤下载的图像深度学习网络中卷积部分的结构，构建卷积神经网络；并把图像深度学习网络相应位置的参数作为卷积神经网络的初始化参数，实现知识迁移；对数据加强之后的医学影像数据序列中的各个医学影像数据进行卷积处理，输出相应的张量特征图序列；张量递归步骤，通过张量递归神经网络对张量数据特征图序列进行分析和处理，所述张量递归步骤还包括张量CP分解步骤和张量列分解步骤，其中：

张量CP分解步骤，对卷积神经网络输出的张量特征图序列中各个张量特征图和张量递归神经网络内的张量参数进行CP分解；

张量列分解步骤，对张量递归神经网络内的全连接矩阵进行张量列分解；

参数优化步骤，优化调整卷积神经网络和张量递归神经网络内的参数，输出最优的深度学习预测模型，将最优参数传递给深度学习预测模型。

作为一种改进，该方法还包括专家校正步骤，所述专家校正步骤具体包括：专业医师根据当前医学影像和深度学习预测模型输出的分析结果和，给出当前医学影像所对应的最终分析结果，经审查后的最终分析结果自动及时归入到医学影像数据中。

具体的，所述几何变换包括但不局限于仿射变换、投影变换、噪声扰动；所述仿射变换包括平移、缩放、旋转、剪切。

一种融合深度张量神经网络的医学影像数据分析系统，该系统包括医学影像数据库模块，数据筛选模块，模型训练模块，智能预测模块，实时医学影像数据产生模块，结果输出模块：其中：

所述医学影像数据库模块，用于采集已备案待分析疾病的医学影像数据，建立并实时更新所述待分析疾病的医学影像数据库；

所述数据筛选模块，用于根据待分析的问题对所述待分析疾病的医学影像数据库中待分析疾病的医学影像数据进行筛选，得到符合条件的医学影像数据；同一病人的医学影像数据按时间顺序组合成医学影像数据序列；

所述模型训练模块，用于根据筛选后的医学影像数据构建预测模型；所述构建预测模型包括利用卷积神经网络和张量递归神经网络设计构建深度学习预测模型的结构，对深度学习预测模型进行优化训练，输出最优的深度学习预测模型并更新；

所述实时医学影像数据产生模块，用于获取待分析的医学影像数据，与其近期的医学影像数据构成待分析的医学影像数据序列，并将所述医学影像数据序列导入深度学习预测模型；

所述结果输出模块，用于将所述深度学习预测模型根据待分析的医学影像数据进行分析预测，输出当前影像的分析结果和未来影像的预测分析结果。

进一步的，该系统还包括对筛选后的医学影像数据序列进行数据加强的数据加强模块，所述数据加强模块用于：

对筛选后的医学影像数据进行几何变换，改变图像像素或体素的位置并保持特征的几何旋转不变性。

作为一种改进，所述模型训练模块具体包括如下子模块：

迁移学习子模块，用于搜索下载图像深度学习网络的结构及其对应的参数，辅助深度学习预测模型的优化训练；

卷积神经网络子模块，用于参照迁移学习子模块下载的图像深度学习网络中卷积部分的结构，构建卷积神经网络；并把图像深度学习网络相应位置的参数作为卷积神经网络的初始化参数，实现知识迁移；对数据加强之后的医学影像数据序列中的各个医学影像数据进行卷积处理，输出相应的张量特征图序列；

张量递归神经网络子模块，通过张量递归神经网络对张量数据特征图序列进行分析和处理，所述张量递归神经网络子模块还包括张量CP分解子模块和张量列分解子模块，其中：

张量CP分解子模块，用于对卷积神经网络输出的张量特征图序列中各个张量特征图和张量递归神经网络内的张量参数进行CP分解；

张量列分解子模块，用于对张量递归神经网络内的全连接矩阵进行张量列分解；

参数优化子模块，用于优化调整卷积神经网络和张量递归神经网络内的参数，输出最优的深度学习预测模型，将最优参数传递给深度学习预测模型。

作为进一步改进，该系统还包括专家校正模块，所述专家校正模块具体用于：专业医师根据当前医学影像和深度学习预测模型输出的分析结果，给出当前医学影像所对应的最终分析结果，经审查后的最终分析结果自动及时归入到医学影像数据模块中。

具体的，所述几何变换包括但不局限于仿射变换、投影变换、噪声扰动；所述仿射变换包括平移、缩放、旋转、剪切。

本发明一种融合深度张量神经网络的医学影像数据分析方法和系统，首先经过张量卷积神经网络整合医学图像内的有效信息，再进入张量递归神经网络通过对病人历史医学影像数据和当前医学影像数据进行分析，输出当前医学影像数据的分析结果和将来时刻医学影像分析的结果预测，分别用于为医师提供分析参考和评价病人正在接受的治疗方案。由于张量递归神经网络能够在不破坏结构信息和内在相关性的前提下，处理张量数据；本发明在此基础上引入张量CP分解和张量列分解，相比传统递归神经网络，张量递归神经网络的参数规模远远小于传统网络处理相同张量数据时的网络参数规模。因此能有效提高影像学分析的可靠性和效率，为调整优化治疗方案提供依据。

附图说明

图1是张量CP分解示意图；

图2是张量列分解示意图；

图3是全连接矩阵重构三阶张量示意图；

图4是本发明一种融合深度张量神经网络的医学影像数据分析方法逻辑示意框图；

图5是本发明一种融合深度张量神经网络的医学影像数据分析方法构建预测模型步骤逻辑示意框图；

图6是本发明一种融合深度张量神经网络的医学影像数据分析系统逻辑结构示意框图；

图7是本发明具体实施例中Alex Net的卷积部分的结构示意图；

图8是本发明具体实施例中张量CP分解R值与权值参数的规模关系示意图；

图9是本发明一种融合深度张量神经网络的医学影像数据分析系统所述网络结构示意图；

图10是本发明本发明具体实施例中张量列分解r值与权值参数的规模关系示意图。

具体实施方式

本发明提供的一种融合深度张量神经网络的医学影像数据分析方法和系统。

为了能够更为清楚的描述本发明的内容，以下结合图1至图3详细介绍有关本发明的专业名词解释：

张量数据

在医学影像学领域，医学图像常常以张量模式存储，譬如，X射线图，计算机断层扫描图像(CT图像)，核磁共振图像(MRI)用矩阵(二阶张量)进行表示储存。弥散张量图像(DTI)则用三阶张量进行表示储存，不同于向量模式表示方法，张量模式表示能够储存更多向量模式无法表示的信息，如原始数据的结构信息、内在依赖性等，更能描述病人的整理疾病信息。

卷积神经网络

卷积神经网络(Convolutional Neural Network，CNN)是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，对于大型图像处理有出色表现。卷积神经网络(CNN)避免了对图像的复杂前期预处理，可以直接输入原始图像，基本结构分为两层，卷积层和池化层。卷积层通过多个可训练的滤波器组对前一层输出进行非线性卷积，产生特征映射图；池化层对特征映射图中每组的四个像素进行池化运算，对空间或特征类型进行聚合。能够识别提取具有位移、缩放及其他形式扭曲不变性的特征。

张量CP分解(Rank-one tensor decomposition)

通常，一般的张量可以被认为是多个秩一张量(Rank-one)的线性组合。秩一张量是能够由低维的向量的外积的形式表示。张量CP分解将张量分解成秩一张量的线性组合，秩一张量又以低维向量的外积表示。这种表示方法能够有效减少表示张量的元素的规模，进而节约存储空间，降低如张量内积运算的计算复杂度。张量CP分解的物理意义与主成分分析类似，每个张量外积表示的秩一张量表示一个主成分，各个成分按其重要性排序。如N阶张量的CP分解(主成分个数R个)：

其中表示第r个秩一张量(主成分)第r阶对应的向量，符号“°”表示外积运算，当R为张量CP分解最小成分数时，该张量的秩(Rank)为R。

张量列分解或TT分解(tensor train decomposition)

张量列分解(tensor train decomposition，TT-decomposition)是一种张量分解模型，假设存在N阶张量I_k表示张量第k阶的维数张量列分解将N阶张量分解为个矩阵，张量内的每元素以其中的N个矩阵的乘积表示。矩阵的规模可以通过TT-rank进行调整。

N阶张量的张量列分解的数学公式表示为

X(i₁,…i_N)＝G₁(i₁)G₂(i₂)……G_N(i_N)

其中G_k(i_k)表示张量第k阶的第i_k个矩阵，也称核矩阵，规模为r_k-1×r_k。(r₀,…r_N)为张量列分解的张量列秩(TT-Rank)，同时存在约束条件：r₀＝r_N＝1。本质上，G_k是一个三阶张量，规模为r_k-1×I_k×r_k。即：X＝G₁G₂……G_N，如图2所示，为三阶张量的张量列分解。

矩阵的张量列分解

矩阵的张量列分解，首先对矩阵进行重构变为高阶张量。重构过程：(1)确定重构高阶张量的阶数及重构方式(矩阵行的折叠方式，矩阵列的折叠方式)；(2)根据重构方式将矩阵构造为高阶张量。然后对重构高阶张量进行张量列分解。如图3所示，为矩阵重构三阶张量的过程。

迁移学习

迁移学习是运用已存有的知识对不同但相关领域问题进行求解的一种新的机器学习方法.它放宽了传统机器学习中的两个基本假设：(1)用于学习的训练样本与新的测试样本满足独立同分布的条件；(2)必须有足够可利用的训练样本才能学习得到一个好的分类模型。目的是迁移已有的知识来解决目标领域中仅有少量有标签样本数据甚至没有的学习问题。

数据加强

在图像的深度学习中，为了丰富图像训练集，更好的提取图像特征，泛化模型(防止模型过拟合)，一般都会对数据图像进行数据加强，数据加强常用的方式，就是旋转图像，剪切图像，改变图像色差,扭曲图像特征，改变图像尺寸大小，增强图像噪音(一般使用高斯噪音，椒盐噪音)等。

为说明本发明的具体实施方案，现以脑胶质瘤的弥散张量影像(DTI)数据为例进行说明，但本发明的应用范围不限于病种脑胶质瘤和医学影像DTI。本发明具体流程为：

医学影像库模块

采集特定疾病的医学影像数据，建立或更新特定病种医学影像数据库MedImageDatabase,MedImageDatabase包括两个索引立方体和一个文件夹，数据索引立方体(病人×时间×影像格式，元素为医学影像数据文件名)，另一个是标签立方体(病人×时间×影像格式，元素为对应医学影像数据的分析标签)，文件夹内含有多个子文件夹，按影像格式分类存放。

如图4所示，本发明的技术方案是：提供一种融合深度张量神经网络的医学影像数据分析方法，包括如下步骤：

S1：采集已备案待分析疾病的医学影像数据，建立并实时更新所述待分析疾病的医学影像数据库；

S2：根据待分析的问题对所述待分析疾病的医学影像数据库中待分析疾病的医学影像数据进行筛选，持续选择符合条件的医学影像数据，同一病人的医学影像数据按时间顺序组合成医学影像数据序列；

S3：对筛选后的医学影像数据序列进行数据加强，所述数据加强具体为对筛选后的医学影像数据序列进行几何变换，改变图像像素或体素的位置并保持特征的几何旋转不变性；作为一种优选实施例，本发明所述几何变换包括但不局限于仿射变换(如平移、缩放、旋转、剪切)、投影变换、噪声扰动。

S4：根据筛选加强后的医学影像数据序列构建预测模型；所述构建预测模型包括利用卷积神经网络和张量递归神经网络设计构建深度学习预测模型的结构，对深度学习预测模型进行优化训练，输出最优的深度学习预测模型并更新；如图5所示，所述步骤S4：构建预测模型具体包括如下子步骤：

S41：迁移学习步骤，搜索下载图像深度学习网络的结构及其对应的参数，辅助深度学习预测模型的优化训练；

S42：卷积步骤，参照迁移学习步骤下载的图像深度学习网络中卷积部分的结构，构建卷积神经网络；并把图像深度学习网络相应位置的参数作为卷积神经网络参数的初始化参数，实现知识迁移；卷积数据加强之后传递的医学影像数据序列中的各个医学影像数据，输出相应的张量特征图；

S43：张量递归步骤，通过张量递归神经网络对张量数据特征图序列进行分析和处理，所述张量递归步骤还包括张量CP分解步骤和张量列分解步骤，其中：

S431：张量CP分解步骤，对卷积神经网络输出的张量特征图序列中各个张量特征图和张量递归神经网络内的张量参数进行CP分解；

S432：张量列分解步骤，对张量递归神经网络内的全连接矩阵进行张量列分解；

S44：参数优化步骤，优化调整卷积神经网络和张量递归神经网络内的参数，输出最优的深度学习预测模型，将最优参数传递给深度学习预测模型。

S5：获取待分析的医学影像数据，与其近期的医学影像数据构成待分析的医学影像数据序列，并将所述医学影像数据序列导入深度学习预测模型；

S6：所述深度学习预测模型根据待分析的医学影像数据序列进行分析预测，输出当前影像的分析结果和未来影像的预测分析结果。

最后还包括专家校正步骤S7：，所述专家校正步骤S7：具体包括：专业医师根据当前医学影像和深度学习预测模型输出的分析结果，给出当前医学影像所对应的最终分析结果，经审查后的最终分析结果自动及时归入到医学影像数据库中。

如图6所示，本发明还包括一种融合深度张量神经网络的医学影像数据分析系统，该系统包括医学影像数据库模块，数据筛选模块，数据加强模块，模型训练模块，智能预测模块，实时医学影像数据产生模块，结果输出模块：其中：

医学影像数据库模块，采集已备案待分析疾病的医学影像数据，建立并实时更新所述待分析疾病的医学影像数据库；

数据筛选模块，根据待分析的问题对所述待分析疾病的医学影像数据库中待分析疾病的医学影像数据进行筛选，持续选择符合条件的医学影像数据；同一病人的医学影像数据按时间顺序组合成医学影像数据序列；

数据加强模块，对筛选后的医学影像数据序列进行数据加强，所述数据加强具体为对筛选后的医学影像数据序列进行几何变换，改变图像像素或体素的位置并保持特征的几何旋转不变性；所述几何变换包括但不局限于仿射变换(包括平移、缩放、旋转、剪切)、投影变换、噪声扰动。

模型训练模块，根据筛选后的医学影像数据序列构建预测模型；所述构建预测模型包括利用卷积神经网络和张量递归神经网络设计构建深度学习预测模型的结构，对深度学习预测模型进行优化训练，输出最优的深度学习预测模型并更新；所述模型训练模块具体包括如下子模块：

迁移学习子模块，搜索下载图像深度学习网络的结构及其对应的参数，辅助深度学习预测模型的优化训练；

卷积神经网络子模块，用于参照迁移学习子模块下载的图像深度学习网络中卷积部分的结构，构建卷积神经网络；并把图像深度学习网络相应位置的参数作为卷积神经网络参数的初始化参数，实现知识迁移；对数据加强之后的医学影像数据序列中的各个医学影像数据进行卷积处理，输出相应的张量特征图序列；

张量递归神经网络子模块(即张量LSTM-RNN子模块)，通过张量递归神经网络对张量数据特征图序列进行分析和处理，所述张量递归神经网络子模块还包括张量CP分解子模块和张量列分解子模块，其中：

张量CP分解子模块，对卷积神经网络输出的张量特征图序列中各个张量特征图和张量递归神经网络内的张量参数进行CP分解；

张量列分解子模块，对张量递归神经网络内的全连接矩阵进行张量列分解。

参数优化子模块，优化调整卷积神经网络和张量递归神经网络内的参数，输出最优的深度学习预测模型，将最优参数传递给深度学习预测模型；

实时医学影像数据产生模块，获取待分析的医学影像数据，与其近期的医学影像数据构成待分析的医学影像数据序列，并将所述医学影像数据序列导入深度学习预测模型；及时储存到医学影像数据库MedImageDatabase中；同时负责调取病人的历史记录的功能。

智能预测模块：所述智能预测模块内置有深度学习预测模型，根据实时产生医学影像数据库模块产生新的待分析的医学影像数据序列，输出当前影像的疾病分析结果和未来m张影像的分析结果的预测。

结果输出模块，所述智能预测模块根据待分析的医学影像数据序列进行分析预测，输出当前影像的分析结果和未来影像的预测分析结果。

作为一种优选方式，最后还包括专家校正模块，所述专家校正模块具体包括：专业医师根据当前医学影像和深度学习预测模型输出的分析结果，给出当前医学影像所对应的最终分析结果，经审查后的最终分析结果自动及时归入到医学影像数据库模块中。

本发明一种融合深度张量神经网络的医学影像数据分析方法和系统，首先经过张量卷积神经网络整合医学图像内的有效信息，再进入张量递归神经网络通过对病人历史医学影像数据和当前医学影像数据进行分析，输出当前医学影像数据的分析结果和将来时刻医学影像的分析结果预测，分别用于为医师提供分析参考和评价病人正在接受的治疗方案。由于张量递归神经网络能够在不破坏结构信息和内在相关性的前提下，处理张量数据；本发明在此基础上引入张量CP分解和张量列分解，相比传统递归神经网络，张量递归神经网络的参数规模远远小于传统网络处理相同张量数据时的网络参数规模。因此能有效提高影像学分析的可靠性和效率，为调整优化治疗方案提供依据。

为了进一步详细阐述本发明的技术方案，现以脑胶质瘤的弥散张量影像(DTI)数据为例进行说明，但本发明的应用范围不限于病种脑胶质瘤和医学影像DTI。如图9所示，本发明该具体实施例的流程为：

医学影像数据库模块采集特定疾病的医学影像数据，建立或更新特定病种医学影像数据库MedImageDatabase,MedImageDatabase包括两个索引立方体和一个文件夹，数据索引立方体(病人×时间×影像格式，元素为医学影像数据文件名)，另一个是标签立方体(病人×时间×影像格式，元素为对应医学影像数据的分析标签)，文件夹内含有多个子文件夹，按影像格式分类存放。

实例中采集的DTI图像数据的索引属于数据索引立方体的DTI层，DTI图像数据对应的分析结果属于标签索引立方体的DTI层，DTI层的数据及分析结果存储方式如下：

表1-DTI数据：

表2-DTI分析结果：

数据筛选模块

根据待分析目的问题，选择符合的医学影像数据持续导入到模型训练模块；同一病人的医学影像数据按时间顺序组合成医学影像数据序列；

本实例，模型问题定义为，利用前n次的DTI图像(包括当前图像)预测未来m次影像学的分析结果(包括当前分析结果)。所以系统在医学影像数据库MedImageDatabas中的筛选条件为，存在n次或以上的病人图像数据。

数据加强模块

对原有医学影像数据序列中的各个医学影像数据进行几何变换，改变图像像素或体素的位置并保持特征的几何旋转不变性，显著增加数据样本量。如将所有图像数据都进行5种几何变换，将原来的图像数据扩增为原来的5倍；

几何变换包括仿射变换(affine transformations)如：平移(translation)、缩放(scaling)、旋转(rotation)、剪切(shearing)；投影变换(projective transformations)，噪声扰动(noise)等。本实例展示的几何变换为噪声扰动(椒盐噪声)。

模型训练模块

设计构建深度学习模型的结构，对深度学习预测模型进行优化训练，输出最优的预测模型并更新智能预测模块中的深度学习预测模型。包括迁移学习子模块，卷积神经网络子模块，张量递归神经网络子模块(即张量LSTM-RNN子模块)和参数优化子模块。所述张量递归神经网络子模块(即张量LSTM-RNN子模块)包括张量CP分解子模块和张量列分解子模块。

本实例中的模型训练模块具体做法如下：

迁移学习子模块搜索下载现有合适的图像深度学习网络模型(Alex Net)的结构及其对应的参数，辅助模型训练模块对预测模型的优化训练。

以Alex Net的卷积部分作为参照网络，构建5层卷积的卷积神经网络，如图7所示。

调整医学影像的规模。由于Alex Net的输入是227×227×3的RGB图，而本实例的DTI影像是512×512×7的，需要将DTI影像调整为227×227×7。

将第一层卷积核由原来的11×11×3调整为11×11×7，同时该层的参数随机初始化；

其他层的结构及其相应的参数与原网络保持一致；

卷积神经网络对数据加强模块传递的n张DTI影像进行若干次卷积池化正则化处理输出相应的规模为5×5×256的张量特征图；

张量递归神经网络子模块(即张量LSTM-RNN子模块)中，在传统递归神经网络的基础上，将输入层到第一隐藏层与输入数据连接的权值向量，全都修改为张量权值，使其能够直接处理张量数据，得到张量递归神经网络。

张量特征图输入张量递归神经网络输入层，输入层传递到隐藏层的神经元中，学习张量特征图中的病例信息。

神经元包括三个控制门控制医学影像的张量特征图的信息传递，它们是遗忘门，输入门和输出门。

输入门决定细胞状态C是否需要学习当前DTI影像张量特征图中的信息。

ι_t＝σ(W_{iι}Z_t+W_{hι}h_t-1+W_{cι}C_t-1+b_ι)

遗忘门决定细胞已学习的DTI影像张量特征图中的哪些信息可以从细胞状态C(cell state)中剔除。

根据输入门和遗忘门的情况，更新细胞状态C中关于DTI影像张量特征图的信息：

输出门决定细胞状态中已学习的DTI影像张量特征图的哪些信息需要传递到下一层隐藏层和当前隐藏层下一个时刻中继续学习。

ω_t＝σ(W_{iω}Z_t+W_{hω}h_t-1+W_{cω}C_t-1+b_ω)

最后，根据输出门的情况，将学习到的DTI影像张量特征图的信息传递到下一层隐藏层中学习。

经过若干层全连接隐藏层后输出m个连续时刻的分析结果。(第一个是当前影像学的分析结果，后续的是未来时刻的影像学分析结果的预测)。

其中，L表示隐藏节点的个数；Z_t表示t时刻的DTI影像特征图；表示点乘运算；ι,ω,C分别表示输入门，遗忘门，输出门，和细胞状态。权值矩阵W_{iι}，W_{iω}，W_{ic}表示输入数据到输入门，遗忘门，输出门，细胞状态的权值矩阵，其中该矩阵的规模为L×1,其元素为张量，不是标量；权值矩阵W_{hι}，W_{hω}表示上一个时刻的隐藏层到3个门的全连接矩阵，其元素为标量。权值矩阵W_{cι}，W_{cω}表示上一个时刻的细胞状态到3个门的全连接矩阵，元素为标量。

调用张量CP分解子模块，对W_{iι}Z_t，W_{iω}Z_t，W_{ic}Z_t中的张量内积运算进行张量CP分解。以W_{iι}Z_t中的张量内积运算为例进行说明，为说明方便，记作<W,Z>。假设W,Z的CP分解分别为则有控制门的参数规模由原来的显著降低为其中I_k表示张量权值的第k阶的维数，本例中，张量特征图的规模为5×5×256，根据R的不同选择，参数规模的变化如图8所示，选择合适的R值，能够有效降低参数规模。

调用张量列分解子模块，将张量递归神经网络中隐藏层自身全连接和隐藏层之间的全连接矩阵进行张量列分解。

矩阵的张量列分解，首先对矩阵进行重构变为高阶张量，然后进行张量列分解。下面举例说明其具体过程，但不限于重构为三阶张量：假设存在两个相邻的隐藏层，节点规模分别为784和800，则两层隐藏层之间存在规模为800×784全连接矩阵。首先确定将全连接矩阵重构为三阶张量，规则为800＝25×8×4,784＝28×4×7；接着，沿着矩阵的行和列队矩阵进行折叠，将矩阵维数维800的行折叠为25、8、4的三个虚拟的维度，得到长度为784行向量，每个元素为全连接矩阵每列折叠后的25×8×4三阶张量，将所述行向量折叠为28、4、7的三个虚拟的维度，得到28×4×7的三阶张量，每个元素为25×8×4三阶张量，最后得到700×32×28的三阶张量；

然后认为定义张量列秩为(1,r,r,1)，对700×32×28的三阶张量进行张量列分解。

W(i₁,…i_N)＝G₁(i₁)G₂(i₂)……G_N(i_N)

分解为个核矩阵，其中规模r₀×r₁＝1×r的核矩阵700个，规模为r₁×r₂＝r×r的核矩阵32个，规模为r₀×r₁＝r×1的核矩阵28个。

根据r值的不同选择，全连接权值的规模变化如图10所示，选择合适的r值，能够有效地降低全连接矩阵的参数规模。

全连接矩阵应用张量列分解后，相应的向前传递和向后更新的公式也发生了变化，具体为：更新公式不在对原来的权值矩阵求偏导数进行更新，而是对核矩阵求偏导数进行更新。

最后，张量递归神经网络全连接m个平行的softmax输出层，每个softmax输出层输出一个分析结果，对应当前影像学分析结果和未来(m-1)次影像学的分析结果。当然，这里的全连接矩阵也可调用张量列分解子模块进行张量列分解。

调用参数优化子模块，优化调整卷积神经网络和张量递归神经网络内的参数，输出最优的预测模型。将张量递归神经网络输出层中各个节点的输出值与分析结果(当前医学影像分析结果和后续(m-1)影像学分析结果)，反复调整各个节点的参数值，迭代循环，直到输出节点的输出值与所述分析结果之间差异最小，最终输出获取最优模型。

将参数优化子模块得到的最优模型替换智能预测模块中的模型。

实时医学影像数据产生模块

医疗过程中实时产生的新的医学影像数据，输入智能预测模块，及时储存到医学影像数据库MedImageDatabase中；兼具负责调取病人的历史记录的功能。

本例中，实时医学影像数据产生模块产生新的DTI图像数据，新数据及时储存到医学影像数据库MedImageDatabase中；同时，在数据库搜索调取病人最近n次的医学影像数据，与新数据一起输入到智能预测模块。

智能预测模块

根据实时医学影像数据产生模块产生的新医学影像数据，输出当前影像的疾病分析结果和未来(m-1)张影像的疾病分析结果的预测；

本例中，根据实时医学影像数据产生模块输入的新数据和最近n次的DTI影响数据，输出当前影像的疾病分析结果和未来(m-1)张影像的疾病分析结果，前影像的疾病分析结果辅助医师分析，提高分析效率和可靠性；未来(m-1)张影像的疾病分析结果为医师评价当前治疗方案提供评价依据。

专家校正模块

专业医师根据当前医学影像和智能预测模块的输出结果，给出当前医学影像所对应的疾病分析结果，经医师审查过的分析结果自动及时储存到医学影像数据库MedImageDatabase中，扩增MedImageDatabase数据库。

本发明一种融合深度张量神经网络的医学影像数据分析方法和系统，其医疗影像学数据在进入张量递归神经网络前先进行卷积，有效整合用于判别的病理空间结构信息，剔除不相关信息，卷积神经网络的训练过程采纳了迁移学习策略，提高特征提取和降维的可靠性，加快训练速度。

本发明采用数据加强的策略降低医学影像数据的不足的影响，同时该系统附有数据库模块，持续累计有效的影像学数据，存在良性循环效应，系统使用时间越长，数据库也大，预测效果越好。

本发明所述的卷积神经网络对影像学数据中有效的病理空间结构不变性特征进行整合，移除无关信息，既有数据清洗功能也是降维功能；该网络采用迁移学习网络，训练结果更可靠，训练速度更快，满足医疗事业上的实时性。

本发明所述的张量递归神经网络，能够直接处理张量数据，由于引入张量CP分解和张量列分解，使得网络在维持较高的表达能力的前提下，参数规模仍然保持在较低的规模，节约内存空间，降低计算复杂度，提高网络效率。

本发明所述的张量递归神经网络是在传统递归神经网络的基础上，将输入层到第一隐藏层与输入数据相连的权值向量修改为张量权值，并对张量权值进行张量CP分解，降低张量权值的规模，将原来的张量内积运算转为其中W的CP分解为的CP分解为传统递归神经网络原有的全连接矩阵采用张量列分解后的TT-format格式进行更新储存，大幅度降低网络参数规模，节约内存空间，降低计算复杂度，提高网络效率，同时向前传递公式和向后更新公式也发生了改变。具体为：更新公式不在对原来的权值矩阵求偏导数进行更新，而是对核矩阵求偏导数进行更新。

以上所述仅为本发明的实施方式，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种融合深度张量神经网络的医学影像数据分析方法，其特征在于包括如下步骤：

采集已备案待分析疾病的医学影像数据，建立并实时更新所述待分析疾病的医学影像数据库；

根据待分析的问题对所述医学影像数据库中待分析疾病的医学影像数据进行筛选，得到符合条件的医学影像数据；同一病人的医学影像数据按时间顺序组合成医学影像数据序列；

根据所述筛选后的医学影像数据序列构建预测模型；利用卷积神经网络和张量递归神经网络设计构建深度学习预测模型的结构，对深度学习预测模型进行优化训练，输出最优的深度学习预测模型；

获取待分析的医学影像数据，与其近期的医学影像数据构成待分析的医学影像数据序列，并将所述医学影像数据序列导入深度学习预测模型；所述深度学习预测模型根据待分析的医学影像数据序列进行分析预测，输出当前影像的分析结果和未来影像的预测分析结果。

2.如权利要求1所述的融合深度张量神经网络的医学影像数据分析方法，其特征在于，所述根据筛选后的医学影像数据序列构建预测模型之前还包括对筛选后的医学影像数据序列进行数据加强的步骤，所述数据加强步骤具体包括：

对筛选后的医学影像数据序列中的每个医学影像数据进行几何变换，改变图像像素或体素的位置并保持特征的几何旋转不变性。

3.如权利要求2所述的融合深度张量神经网络的医学影像数据分析方法，其特征在于，所述根据筛选后的医学影像数据序列构建预测模型步骤具体包括如下步骤：

迁移学习步骤，搜索下载图像深度学习网络的结构及其对应的参数，辅助深度学习预测模型的优化训练；

卷积步骤，参照迁移学习步骤下载的图像深度学习网络中卷积部分的结构，构建卷积神经网络；并把图像深度学习网络相应位置的参数作为卷积神经网络的初始化参数，实现知识迁移；对数据加强之后的医学影像数据序列中的各个医学影像数据进行卷积处理，输出相应的张量特征图序列；

张量递归步骤，通过张量递归神经网络对张量特征图序列进行分析和处理，所述张量递归步骤还包括张量CP分解步骤和张量列分解步骤，其中：

张量CP分解步骤，对卷积神经网络输出的张量特征图序列中各个张量特征图和张量递归神经网络内的张量参数进行CP分解；

张量列分解步骤，对张量递归神经网络内的全连接矩阵进行张量列分解；

参数优化步骤，优化调整卷积神经网络和张量递归神经网络内的参数，输出最优的深度学习预测模型，将最优参数传递给深度学习预测模型。

4.如权利要求1-3任一项所述的融合深度张量神经网络的医学影像数据分析方法，其特征在于，该方法还包括专家校正步骤，所述专家校正步骤具体包括：专业医师根据当前医学影像和深度学习预测模型输出的分析结果，给出当前医学影像所对应的最终分析结果。

5.如权利要求2所述的融合深度张量神经网络的医学影像数据分析方法，其特征在于，所述几何变换包括但不局限于仿射变换、投影变换、噪声扰动；所述仿射变换包括如平移、缩放、旋转、剪切。

6.一种融合深度张量神经网络的医学影像数据分析系统，其特征在于，该系统包括医学影像数据库模块，数据筛选模块，模型训练模块，智能预测模块，实时医学影像数据产生模块，结果输出模块：其中：

所述医学影像数据库模块，用于采集已备案待分析疾病的医学影像数据，建立并实时更新所述待分析疾病的医学影像数据库；

所述数据筛选模块，用于根据待分析的问题对所述待分析疾病的医学影像数据库中待分析疾病的医学影像数据进行筛选，得到符合条件的医学影像数据，同一病人的医学影像数据按时间顺序组合成医学影像数据序列；

所述模型训练模块，用于根据所述筛选后的医学影像数据序列构建预测模型；所述构建预测模型包括利用卷积神经网络和张量递归神经网络设计构建深度学习预测模型的结构，对深度学习预测模型进行优化训练，输出最优的深度学习预测模型并更新；

所述实时医学影像数据产生模块，用于获取待分析的医学影像数据，与其近期医学影像数据构成待分析的医学影像数据序列，并将所述医学影像数据序列导入深度学习预测模型；

所述结果输出模块，用于将所述深度学习预测模型根据待分析的医学影像数据序列进行分析预测，输出当前影像的分析结果和未来影像的预测分析结果。

7.如权利要求6所述的融合深度张量神经网络的医学影像数据分析系统，其特征在于，该系统还包括对筛选后的医学影像数据序列进行数据加强的数据加强模块，所述数据加强模块用于：

对筛选后的医学影像数据序列进行几何变换，改变图像像素或体素的位置并保持特征的几何旋转不变性。

8.如权利要求7所述的融合深度张量神经网络的医学影像数据分析系统，其特征在于，所述模型训练模块具体包括如下子模块：

迁移学习子模块，用于搜索下载图像深度学习网络的结构及其对应的参数，辅助深度学习预测模型的优化训练；

卷积神经网络子模块，用于参照迁移学习子模块下载的图像深度学习网络中卷积部分的结构，构建卷积神经网络；并把图像深度学习网络相应位置的参数作为卷积神经网络的初始化参数，实现知识迁移；对数据加强之后的医学影像数据序列中各个医疗影像数据卷积处理，输出相应的张量特征图序列；

张量递归神经网络子模块，通过张量递归神经网络对张量特征图序列进行分析和处理，所述张量递归神经网络子模块还包括张量CP分解子模块和张量列分解子模块，其中：

张量CP分解子模块，用于对卷积神经网络输出的张量特征图序列中各个张量特征图和张量递归神经网络内的张量参数进行CP分解；

张量列分解子模块，用于对张量递归神经网络内的全连接矩阵进行张量列分解；

参数优化子模块，用于优化调整卷积神经网络和张量递归神经网络内的参数，输出最优的深度学习预测模型，将最优参数传递给深度学习预测模型。

9.如权利要求6-8任一项所述的融合深度张量神经网络的医学影像数据分析系统，其特征在于，该系统还包括专家校正模块，所述专家校正模块具体用于：专业医师根据当前医学影像和深度学习预测模型输出的分析结果和，给出当前医学影像所对应的最终分析结果。

10.如权利要求7所述的融合深度张量神经网络的医学影像数据分析系统，其特征在于，所述几何变换包括但不局限于仿射变换、投影变换、噪声扰动；所述仿射变换包括如平移、缩放、旋转、剪切。