CN113989576A

CN113989576A - 一种结合小波变换和张量网络的医学图像分类方法

Info

Publication number: CN113989576A
Application number: CN202111475762.3A
Authority: CN
Inventors: 赖红; 黄延
Original assignee: Southwest University
Current assignee: Southwest University
Priority date: 2021-12-06
Filing date: 2021-12-06
Publication date: 2022-01-28

Abstract

本发明涉及医学图像分类技术领域，具体公开了一种结合小波变换和张量网络的医学图像分类方法，提出了一种粗粒化网络，该粗粒化网络结合了小波变换和MERA，即将D4小波编码到MERA中，形成一个内部参数固定的waveletMERA模型，并且还构建了一个如全连接层般的张量分类网络。本发明使用MNIST数据集、Covid‑19数据集和LIDC数据集进行多维验证，结果表明waveletMERA的准确率稳定居高，比CNNs的深度神经网络具有更好的粗粒化能力，使waveletMERA能够在保证精度的同时，更大程度上减少模型的参数量。结果表明waveletMERA不仅在分类上优于当前主流的深度神经网络，而且在数据预处理方面也优于普通小波变换。不仅如此，waveletMERA还具有张量网络本身的可解释性优势。

Description

一种结合小波变换和张量网络的医学图像分类方法

技术领域

本发明涉及医学图像分类技术领域，尤其涉及一种结合小波变换和张量网络的医学图像分类方法。

背景技术

近几十年来，机器学习得到了蓬勃的发展，出现了许多算法，它们在各自的时代都被证明是足够好的，例如朴素贝叶斯(

Bayes)、核方法(kernel methods)、决策树(decision trees)、随机森林(random forests)和神经网络(Neural Networks,NNs)。近年来，深度神经网络取得了惊人的成功。卷积神经网络 (Convolutional Neural Networks,CNNs)是最成功的深度神经网络之一，其卷积层能够从原始数据中提取出重要特征，再由池化层对数据进行压缩，最后输入全连接层得到预测结果。

在医学图像分析领域，CNNs模型及其变体被广泛用于结肠镜检查、HEp-2 细胞图像分类、乳腺肿块分类、脑小血管疾病的生物标志物检测和皮肤癌分类。过去两年新型冠状病毒(Covid-19virus)在全球范围内大肆传播，使得人们更加重视智能医学领域，研究人员正在思考如何使用机器协助人类战胜疾病。精确的计算机医学图像分析工具可以协助医生识别和定位病灶，提高诊断效率和准确性。医学图像包括X射线、计算机断层扫描(CT)、磁共振成像(MRI)、正电子发射断层扫描(PET)和超声波等，将它们用于训练深度学习模型并不容易。首先，医学图像一般存在各种质量的失真和退化，例如噪声、模糊和压缩效应。并且，与自然图像不同，标记大量医学图像既昂贵又耗时，因此可用于训练深度神经网络模型的医学图像总是有限的。最后，医学图像分类任务在要求模型具有高精度的同时还要求模型的预测结果有据可依。

因此，CNNs及其变体在用于医学图像分类任务时具有不可避免的缺点。随着模型层数的加深，医学图像的失真会导致更多的偏差；小数据集通常会导致深度神经网络在训练时出现过拟合的现象；在经典机器学习算法中，可解释性和高精度往往是鱼和熊掌的关系，CNNs当中的非线性运算为其带来了出色的准确率，但也限制了其可解释性。因此，人们渴望找到一种方法，既可以兼顾CNNs的优点，又可以弥补其缺点。

发明内容

本发明提供一种结合小波变换和张量网络的医学图像分类方法，解决的技术问题在于：现有医学图像分类方法在小数据集下无法兼顾高准确率、避免过拟合和可解释性。

为解决以上技术问题，本发明提供一种结合小波变换和张量网络的医学图像分类方法，包括步骤：

S1、将具有N个像素的医学二维灰度图像展平为长度为N的一维向量v(x)；

S2、将一维向量v(x)中的每一个元素x_i特征映射为希尔伯特空间当中的一个量子态，得到N个量子态；

S3、通过结合了小波变换和张量网络的粗粒化网络对N个量子态进行L次粗粒化处理，每次输出一个仅含有单个|1＞态的项，从而得到L个仅含有单个|1＞态的项作为粗粒化输出；

S4、将该粗粒化输出特征映射为多个特征值并通过张量积连接起来输入训练完成的张量分类网络中，得到预测的分类结果。

进一步地，在所述步骤S3中，所述粗粒化网络基于粗粒化单元构建，所述粗粒化单元包括两个解纠缠器和一个等距；该两个解纠缠器用于输入通过张量积连接的步骤S2所得N个量子态中的四个相邻量子态，通过解纠缠各自得到一个仅含有单个|1＞态的项；该等距用于对该两个解纠缠器输出的两个仅含有单个 |1>态的项进行粗粒化操作，得到对应的一个仅含有单个|1＞态的项。

进一步地，分别用U、V表示解纠缠器和等距，则U、V定义为：

其中，θ_u＝-π/6，θ_v＝π/12。

进一步地，所述粗粒化网络由解纠缠器和等距组成多层网络结构，每层网络结构包含2个以上解纠缠器和1个以上等距，每个解纠缠器具有两个输入指标和两个输出指标，每个等距具有两个输入指标和一个输出指标；每层网络结构的最后一个解纠缠器与第一个解纠缠器通过一个附加的等距相连接；

在非顶层的网络结构中，一个等距的两个输入指标各连接相邻两个解纠缠器的一个输出指标，一个解纠缠器的两个输出指标各连接相邻两个等距的一个输入指标，同一层中各个等距的输出指标连接下一层网络结构中解纠缠器的输入指标；

在最底层的网络结构中，每相邻两个解纠缠器的四个输入指标用于输入通过张量积连接的步骤S2所得N个量子态中的每四个相邻量子态；

每个解纠缠器用于保留输入的张量积连接下的两个量子态的纠缠，并解除这两个量子态与输入其他解纠缠器量子态之间的纠缠，每个解纠缠器分别从两个输出指标输出仅含有单个|1＞态的第一项和第二项，其中第一项、第二项分别为该两个量子态在尺度函数运算中位于后两位和前两位输入时得到的结果；

每个等距用于对输入的张量积连接下的两个仅含有单个|1>态的项进行粗粒化操作，得出输入到与其相连的两个解纠缠器中的4个相邻量子态经过D4小波变换后的结果。

进一步地，在步骤S2中，一维向量v(x)中的第i个元素x_i被映射为：

|φ(x_i)>＝|0>+x_i|1>。

进一步地，在步骤S3中，对四个相邻量子态组成的张量积

由相邻的第一解纠缠器、第二解纠缠器以及所述第一解纠缠器、所述第二解纠缠器均连接的第一等距进行粗粒化的过程包括步骤：

S31、第一解纠缠器对张量积

进行解纠缠，输出只含有单个 |1>态的第二项至第一等距中；第二解纠缠器对张量积

进行解纠缠，输出只含有单个|1>态的第一项至第一等距中；

S32、第一等距对输入的两个只含有单个|1＞态的项进行张量积操作，得到只含有单个|1＞态的项输入该第一等距连接的下一层网络结构中的一解纠缠器中。

进一步地，第一解纠缠器根据自身的定义对张量积

进行解纠缠，用公式表示为：

其中，(x_2i+1sinθ_u+x_2i cosθ_u)|1＞、(x_2i+1cosθ_u-x_2i sinθ_u)|1＞分别为第一解纠缠器输出的仅含有单个|1>态的第一项和第二项；

同理，第二解纠缠器输出的仅含有单个|1>态的第一项和第二项分别为 (x_2i+3sinθ_u+x_2i+2cosθ_u)|1>、(x_2i+3cosθ_u-x_2i+2sinθ_u)|1>：

则第一等距根据自身的定义对第一解纠缠器输出的第二项和第二解纠缠器输出的第一项进行张量积得到只含有单个|1>态的项，用公式表示为：

其中，作用到原始输入数据(x_2i x_2i+1 x_2i+2 x_2i+3)上的系数为：

进一步地，所述步骤S4具体包括步骤：

S41、保留步骤S3所得粗粒化输出中所有|1>态的项的系数，并使用离差标准化方法将这L个系数值归一化到区间[0,1]当中，得到L个归一化值；

S42、采用如下公式对L个归一化值进行特征映射：

其中，x指代L个归一化值中的任一个，φ(x)表示对x映射后得到的特征值；

S43、通过张量积将步骤S42得到的L个特征值连接起来，得到该医学二维灰度图像对应的全局特征映射；

S44、将该全局特征映射输入训练完成的张量分类网络中，预测得到该医学二维灰度图像的分类结果。

进一步地，张量分类网络采用矩阵乘积态，用线性决策函数表示为：

其中，f^j(x)表示张量分类网络对第j个样本的预测结果，Φ(x)^j表示数据集中第j个样本的全局特征映射，W表示权重矩阵，由L个权重张量

组成， n＝0,1,2,....,L，经数据集训练后，W固定不变。

进一步地，在训练张量分类网络的过程中，使用交叉熵损失函数来计算张量分类网络的预测结果和真实标签之间的距离，并使用反向传播算法来更新张量分类网络中的权重张量；交叉熵损失函数表示为：

其中，y_j表示第j个样本的标签，正类为1，负类为0；p_j表示第j个样本被预测为正类的概率。

本发明提供的一种结合小波变换和张量网络的医学图像分类方法，提出一种在医学图像上表现优异的粗粒化网络，该粗粒化网络结合了小波变换和 MERA(多尺度纠缠重整化拟设，Multi-scale Entanglement Renormalization Ansatz)，即将D4小波编码到MERA中，形成一个内部参数固定的模型，本发明将其命名为waveletMERA。本发明还构建一个如全连接层般的可训练张量网络(即张量分类网络)。本发明使用MNIST数据集、Covid-19数据集和LIDC数据集进行多维验证，结果表明waveletMERA的准确率稳定居高，比CNNs的深度神经网络具有更好的粗粒化能力，这种能力使waveletMERA能够在保证精度的同时，更大程度上减少模型的参数量。结果表明waveletMERA不仅在分类上优于当前主流的深度神经网络，而且在数据预处理方面也优于普通小波变换。不仅如此，waveletMERA还具有张量网络本身的可解释性优势，能够为医生提供更有针对性、更高效的诊断协助，缓解医疗紧张和医患冲突问题。

附图说明

图1是本发明实施例提供的张量和张量运算的图形符号表示图；

图2是本发明实施例提供的CNNs与MERA的结构图；

图3是本发明实施例提供的D4小波变换中原始数据、尺度函数和小波函数的关系图；

图4是本发明实施例提供的8位量子多体态的4种张量网络表示图；

图5是本发明实施例提供的MERA两种张量的性质示意图；

图6是本发明实施例提供的随着距离x的增加，MPS和MERA捕捉数据之间相关性能力的衰减曲线图；

图7是本发明实施例提供的实现小波变换的由幺正门组成的量子线路图；

图8是本发明实施例提供的图7中电路的幺正门组可以被组合以形成如公式(9)和(8)所示的解纠缠器U和等距V图；

图9是本发明实施例提供的|0＞+x_2i|1＞和|0＞+x_2i+1|1＞位于一次尺度函数运算的前后两位示意图；

图10是本发明实施例提供的四个相邻数据通过一个粗粒化单元进行粗粒化的过程展示图；

图11是本发明实施例提供的用“zigzag”展平方法将医学二维灰度图像展开成向量的示意图；

图12是本发明实施例提供的一种结合小波变换和张量网络的医学图像分类方法的流程图；

图13是本发明实施例提供的张量分类网络(MPS)的结构图；

图14是本发明实施例提供的肺部CXR图像在经过4层waveletMERA图的前后对比图；

图15是本发明实施例提供的waveletMERA在Covid-19测试集上的混淆矩阵示意图；

图16是本发明实施例提供的对Covid-19数据集进行预处理的过程展示图；

图17是本发明实施例提供的waveletMERA在Covid-19-mask测试集上的混淆矩阵示意图；

图18是本发明实施例提供的waveletMERA在LIDC测试集上的混淆矩阵图示意图。

具体实施方式

下面结合附图具体阐明本发明的实施方式，实施例的给出仅仅是为了说明目的，并不能理解为对本发明的限定，包括附图仅供参考和说明使用，不构成对本发明专利保护范围的限制，因为在不脱离本发明精神和范围基础上，可以对本发明进行许多改变。

作为量子多体物理和量子信息科学领域中强大的数值工具，张量网络 (TensorNetworks,TNs)被用于结合量子物理和机器学习的研究中，近年来取得了蓬勃的发展。TNs和NNs都是由简单的单元(张量或神经元)构成以实现复杂的功能。作为矩阵的扩展，张量能够表示现实世界中的文本、图像、音频、视频等高维数据特征。张量和张量运算的图形符号如图1所示，(a)：标量S、向量 V_i、矩阵M_ij、三阶张量T_ijk的图形符号表示；(b)：矩阵乘或张量收缩的图形符号表示；(c)：两个矩阵乘积的迹的图形符号表示。

TNs是一种基于张量的数据分析方法，它能够解决张量在其阶数上升时所面临的“维度灾难”问题。然而，与NNs不同的是，TNs在高维空间中做线性运算，这使得它们更容易进行理论分析，并促进了更具可解释性的算法的开发。这里强调TNs的可解释性，因为它们自然地结合了基于统计物理和量子场论的量子概率解释，并且TNs上的操作是透明和具体的。在医疗行业智能化的发展过程中，TNs已经展现了令人惊讶的效果。

发展张量网络的一个关键动机是粗粒化的思想，在物理学中被称为重整化群，具有粗粒化思想的代表性张量网络如树张量网络(Tree Tensor Network,TTN)、多尺度纠缠重整化拟设(Multi-scale Entanglement Renormalization Ansatz,MERA) 分别见于图4(c)、4(d)。令人惊讶的是，CNNs拥有物理学的“基因”，其卷积操作蕴含着粗粒化的思想，并且CNNs在结构上与MERA张量网络非常相似，如图2所示，图2上部分是在肺部图像上执行卷积运算的过程，下部分是MERA 的粗粒化过程，原始数据需要经过特征映射之后再输入张量网络。因此，本例开发了一种基于MERA的轻量级方法，它不仅受益于TNs的可解释性，也弥补了 CNNs模型过于复杂所带来的缺点。

小波和小波变换是近几十年来信号和图像处理领域最重要的发展之一。D4 小波具有四个尺度函数系数h和四个小波函数系数g如下所示：

尺度函数与小波函数由函数系数(h和g)与四个输入数据的内积给出，尺度函数如公式(2)所示，小波函数如公式(3)所示：

s(x)＝h₀x_2i+h₁x_2i+1+h₂x_2i+2+h₃x_2i+3, (2)

w(x)＝g₀x_2i+g₁x_2i+1+g₂x_2i+2+g₃x_2i+3, (3)

其中i∈{i|1≤i＜(N/2),i∈Z}，这里N表示输入数据的总个数。在进行小波变换时，尺度函数和小波函数的值是迭代计算的。每次迭代，上式中的i都会增加 1。尺度函数能够捕捉数据的分布特征，并使用一般的数据量模拟出原始数据的分布，小波函数能够捕捉数据之间的差异，如图3所示。D4小波存在一个边缘问题：当i＝(N/2)-1时，小波变换应该作用于输入数据x_N-2、x_N-1、x_N、x_N+1，但 x_N和x_N+1并不存在。该边缘问题有两种解决办法：(1)将原始数据视为周期性的，即首尾相连的，紧跟在x_N-1之后的数据就变为了x₀和x₁；(2)将原始数据的首尾两端都看作是镜像的，这样输入数据就变为了x_N-2、x_N-1、x_N-1、x_N-2。

TNs能够解决使用经典计算机模拟量子多体系统时遇到的“维度灾难”问题。一个N位量子多体态

可以被表示为

其对应的希尔伯特空间(Hilbert Space)维数为d^N。如图4(a)所示，量子态

的系数

可以表示为一个N阶的张量，其每一阶的维数为d，则该系数张量的参数数量随着N的增加呈指数上升。当N足够大时，该张量已不能够被经典计算机处理。

因此，一些TNs，例如矩阵乘积态(Matrix Product State,MPS)，被用来近似高阶张量。MPS是一种张量分解方法，它可以使用一个3阶张量链来逼近任意高阶张量，如图4(b)。N阶系数张量

的MPS形式可以表示为：

其中

表示构成MPS的各个三阶张量，i_n是各张量的物理指标，α_n被称为虚拟指标，连接MPS当中的各个张量。指标α_n的维度大小为χ，它决定了MPS 的近似表示能力，张量

的参数量由指数级别的d^N减少到多项式级别的 N·d·χ²。当χ＝d^N2时，MPS的近似是精确的，可以表示任意张量。MPS捕捉数据之间相关性的能力随两数据之间距离的增长呈指数衰减，如图4所示：(a)

的张量图像表示；(b)矩阵乘积态(Matrix ProductState,MPS)；(c)树张量网络(Tree Tensor Network,TTN)；(d)多尺度纠缠重整化拟设(Multi-scale Entanglement Ansatz,MERA)。

MERA也是张量网络的一种，与MPS一样可以近似地表示一个高阶张量，见图4(d)，被设计用于在一个强大的数值算法中实现实空间重整化群思想。与 MPS相比，MERA能够捕捉相距较远的数据之间的相关性，如图6所示，即 MERA捕捉数据之间相关性的能力随两数据之间距离的增长呈幂律衰减。

MERA有两种类型的张量：解纠缠器和等距，分别如图5(a)和图5(b)所示。对于标准的二元MERA来说，这两种张量都需要满足特定的限制，解纠缠器必须是幺正的：

等距需要满足：

解纠缠器保留输入同一解纠缠器的两数据之间的纠缠，并解除输入到不同解纠缠器的数据之间的纠缠；再由等距层对解纠缠层的输出进行粗粒化。解纠缠器和等距的特性使得 MERA能够在同一层捕捉同一尺度上的所有纠缠。

与类似MPS这样的一维单层张量相比，分层结构的张量网络可以更好地表示线性层之间的相关性。TTN也是一种分层张量网络，由一些等距张量构成如图4(c)。由于等距的特性，TTN也能够完成对原始数据的粗粒化或重整化，每层 TTN能够减少原数据一半的数据量。但是与MERA相比，TTN存在明显的劣势，比如位于图4(c)中i₄、i₅的相邻数据在TTN的最顶端张量才会相遇。这就需要最顶层张量捕获部分相邻数据之间的短程纠缠，而就限制了其捕捉长程纠缠的能力，而MERA的解纠缠层能够弥补TTN这一不足。

重整化群的思想影响了小波变换的发展，并且小波已经被证明是重整化群应用的有用工具。MERA与小波变换都与重整化群具有密切的联系，可以使用由一些幺正门组成的量子线路实现小波变换，如图7所示，每一层电路都有两个子层，分别由幺正门u(θ₁)和u(θ₂)构成。当每个幺正门u(θ₂)左上方的指标腿与 |1＞态收缩且θ₁＝-π/6、θ₂＝π/12时，灰色阴影区域中的电路部分可以实现D4小波变换的尺度函数。

图7所示电路当中的幺正门定义如下：

图7中的灰色阴影区域用公式表示如下：

原幺正门中的(sinθ₂cosθ₂)两项被保留下来。同理，当与|0＞态收缩时，图7 中的灰色阴影区域实现D4小波变换的小波函数。每层电路一半的输出对应于尺度函数的结果，继续向上传递作为下一层电路的输入。

在这些理论基础上，本发明实施例提供了一种结合小波变换和张量网络的医学图像分类方法，参考图12，具体包括步骤：

步骤S3中的粗粒化网络结合了D4小波变换和MERA，本例称之为 waveletMERA，其结构如图8(b)所示，其中浅灰色的指标表示每层waveletMERA 的第一个输出位。waveletMERA基于图8(a)右边所示的粗粒化单元构建，该粗粒化单元由8(a)左边所示的D4小波变换中的幺正门组变换而来。具体的，粗粒化单元包括两个解纠缠器和一个等距；该两个解纠缠器用于输入通过张量积连接的步骤S2所得N个量子态中的四个相邻量子态，通过解纠缠各自得到一个仅含有单个|1＞态的项；该等距用于对该两个解纠缠器输出的两个仅含有单个|1＞态的项进行粗粒化操作，得到对应的一个仅含有单个|1＞态的项。

所述粗粒化网络由M层网络结构组成，图8(b)为M＝2层的示例。每层网络结构包含2个以上解纠缠器和1个以上等距，每个解纠缠器具有两个输入指标和两个输出指标，每个等距具有两个输入指标和一个输出指标；每层网络结构的最后一个解纠缠器与第一个解纠缠器通过一个附加的等距相连接。

在非顶层的网络结构中，一个等距的两个输入指标各连接相邻两个解纠缠器的一个输出指标，一个解纠缠器的两个输出指标各连接相邻两个等距的一个输入指标，同一层中各个等距的输出指标连接下一层网络结构中解纠缠器的输入指标。在最底层的网络结构中，每相邻两个解纠缠器的四个输入指标用于输入通过张量积连接的步骤S2所得N个量子态中的每四个相邻量子态。

每个等距用于对输入的张量积连接下的两个仅含有单个|1＞态的项进行粗粒化操作，得出输入到与其相连的两个解纠缠器中的4个相邻量子态经过D4小波变换后的结果。

容易看出，输入数据在经过M层waveletMERA后，长度由N减小到N/2^M＝L。

在本例中，waveletMERA当中的解纠缠器U和等距V可以被定义为：

其中θ_u＝-π/6，θ_v＝π/12。

在步骤S2中，一维向量v(x)中的第i个元素x_i(图像中的第i个像素点)被映射为希尔伯特空间当中的一个量子态|φ(x_i)〉：

|φ(x_i)＞＝|0＞+x_i|1＞, (10)

其中的狄拉克符号“|＞”表示一个向量，|0＞表示向量(10)^T，|1＞表示向量 (01)^T。完成特征映射后的相邻输入由张量积连接。D4小波每次作用于四个相邻数据，参考图10，对于任意四个相邻量子态组成的张量积

由相邻的第一解纠缠器(位于图10左边)、第二解纠缠器(位于图10右边)以及第一解纠缠器、第二解纠缠器均连接的第一等距进行粗粒化的过程包括步骤：

S31、第一解纠缠器对张量积

进行解纠缠，输出只含有单个 |1＞态的第二项至第一等距中；第二解纠缠器对张量积

进行解纠缠，输出只含有单个|1＞态的第一项至第一等距中；

更具体的，第一解纠缠器根据自身的定义对张量积

进行收缩，表示为

当输入向量当中存在含有多个|1＞态的项时，waveletMERA就不再编码D4 小波变换，因此，去除全|0＞态的项和含有多个|1＞态的项，仅保留含有单个|1>态的项。公式(11)可以被继续推导为：

很明显可以看出，公式(12)得到的结果是一个纠缠态，所以这时需要考虑到两种情况，如图9所示。对于四个相邻输入数据|φ(x_2i)>、|φ(x_2i+1)＞、|φ(x_2i+2)＞、|φ(x_2i+3)〉，当i＝0时，|φ(x₂)〉和|φ(x₃)〉在一次尺度函数运算当中位于后两位；当i＝1时，|φ(x₂)〉和|φ(x₃)〉位于前两位。所以公式(12)的结果包含了相邻输入|φ(x_2i)〉和|φ(x_2i+1)＞在两次尺度函数运算中得到的结果。

是|φ(x_2i)＞和|φ(x_2i+1) 在尺度函数运算中位于后两位输入时得到的结果(如图9(a)所示)，

是|φ(x_2i)＞和|φ(x_2i+1)＞位于前两位输入时得到的结果(如图9(b)所示)。

第一解纠缠器的解纠缠过程用公式总结为：

其中，(x_2i+1sinθ_u+x_2i cosθ_u)|1＞、(x_2i+1cosθ_u-x_2i sinθ_u)|1＞分别为第一解纠缠器输出的仅含有单个|1＞态的第一项和第二项；

则第一等距根据自身的定义对第一解纠缠器输出的第二项和第二解纠缠器输出的第一项进行张量积得到只含有单个|1＞态的项，用公式表示为：

因此，公式(13)中|1＞态的系数与原始数据经过公式(2)所示的D4小波变换尺度函数得到的数值结果相等。

在清楚如何使用waveletMERA实现D4小波变换之后，则可以根据任务来调整waveletMERA的层数，以达到分类精度和参数量的最佳平衡。

需要说明，本例步骤S1采用“zigzag”展平方法，使空间中的相邻像素尽可能相互靠近，如图11所示，圆点表示展平化的起点，箭头表示终点。

步骤S3的目的是对原始输入数据进行粗粒化，用于输入训练完成的张量分类网络中，得到预测的分类结果(步骤S4)。具体的，步骤S4包括步骤：

S41、保留步骤S3所得粗粒化输出中所有|1＞态的项的系数，并使用离差标准化方法将这L个系数值归一化到区间[0,1]当中，得到L个归一化值；

S42、对L个归一化值进行特征映射：

图像中每个像素的特征映射过程为张量网络提供了非线性扩充，类似于机器学习中的激活函数，从而使张量网络模型能够解决复杂的问题，步骤S42选择的是正弦局部特征映射：

s＝1,...,d，当d＝2时，得到：

其中，x指代L个归一化值中的任一个，φ(x)表示对x映射后得到的特征值。

对步骤S41得到的值进行公式(16)所示的特征映射，并通过张量积将它们连接起来，可以得到：

需要说明的是，在训练过程中，对数据集中各个样本的处理过程与步骤 S1～S43一致，而步骤S1～S4整体由图12所示的网络模型实现。但在将该模型投入应用前，需要训练张量分类网络，以固定其参数。

在本例中，张量分类网络采用矩阵乘积态MPS，如图13所示，除了中心张量的物理指标作为网络的输出指标外，每个输入向量φ(x_n)的指标腿与MPS中每个3阶张量的物理指标腿相连，表示即将被收缩。本例使用的MPS，它首先在输入数据和MPS之间进行水平方向上的收缩，然后在权重张量之间进行垂直方向上的收缩，其可以表示为一个线性决策函数：

其中，f^j(x)表示张量分类网络对第j个样本的预测结果，Φ(x)^j表示数据集中第j个样本的全局特征映射(求取过程与步骤S1～S43一致)，W表示权重矩阵，由L个权重张量

组成，n＝0,1,2,...,L，经数据集训练后，W固定不变。

在训练张量分类网络的过程中，使用交叉熵损失函数来计算张量分类网络的预测结果和真实标签之间的距离，并使用反向传播算法来更新张量分类网络中的权重张量；交叉熵损失函数表示为：

本例使用MNIST数据集、Covid-19数据集和LIDC数据集来验证本例所提出方法的分类能力，并将其与其他TNs(包括MPS和TTN)、经典NNs和一些最先进的模型进行了对比实验。首先，将waveletMERA的分类精度和参数数量与MNIST数据集中的其他四个模型进行比较。然后，在其他三个医学图像数据集中，本例比较了参数量、准确率(accuracy)、灵敏度(sensitivity)、特异度 (specificity)、平衡准确度(balanced accuracy,BA)和单次迭代的大致时间，并在每个数据集上绘制了waveletMERA的混淆矩阵，由四个指标组成：真阳性(True Positive,TP)、假阳性(False Positive,FP)、假阴性(False Negative,FN)和真阴性(True Negative,TN)，以协助评估waveletMERA模型的分类能力。准确率是模型正确分类的样本数与样本总数的比值(见公式(20))。特异度定义为样本中实际阴性数与预测阴性结果数的比值(见公式(21))。灵敏度是对预测为阳性的实际阳性病例比例的度量(见公式(22))。BA可以帮助确定数据集中正负样本的比例是否平衡(见公式(23))。

为了使实验结果更具有对比性，实验中使用的所有TNs都将虚拟指标的维度设置为χ＝6。所有实验均在Inter(R)Core(TM)i7-10700 CPU@2.90GHz上进行，并由Python模拟。

表1.在MNIST数据集上的对比试验结果

MNIST数据集被广泛应用于验证机器学习模型的基础分类能力，包含大量尺寸为28×28的手写数字灰度图片。目前有方法提出了一种将经典神经网络与张量网络相结合的可训练网络，称为Hybrid Tensor Network(HTN)，并对比了几种TNs与经典NNs在MNIST数据集上的分类精度以及参数量，本例再加入本文提出的waveletMERA张量网络，如表1所示。

由于MNIST数据样本原尺寸就不大，因此本例对其只进行了一层粗粒化操作。waveletMERA在MNIST数据集上的参数量为2.9×10⁴，在测试集上的分类精度能够达到96％。与没有使用waveletMERA的MPS相比，在参数量减半的情况下，精度没有变化。无论是目前较为成功的张量网络TTN、HTN，还是成熟的神经网络FCN，参数量都远高于waveletMERA，且精度相差无几。

Covid-19肺炎新出现不久，现有的公共网络资源中还没有合适和可用的数据集。在这样的背景下，来自多哈卡塔尔大学和孟加拉国达卡大学的一个研究小组，以及来自巴基斯坦和马来西亚的合作者，与医生合作，创建了这个关于 Covid-19阳性病例以及健康和病毒性肺炎图像的CXR图像数据库。本例在上述数据库中选取部分Covid-19阳性病例与健康图像构成了一个平衡子集以训练 waveletMERA和其他用于对比实验的模型。具体来说，该子集包含5112张肺部 CXR图像，其中2597张为健康图像，2515张为Covid-19阳性病例图像。并且，还另外选取了1091张健康图像与1101张Covid-19阳性病例图像作为测试集，共2192张。训练集与测试集中正负样本比例都接近于1:1，尺寸为128×128，并且没有图片重复存在。

首先，本例以waveletMERA中MERA的层数为变量(即小波变换的次数)，以参数量与测试集上的分类准确率为两个衡量指标，使用Covid-19数据集进行了对比实验，结果如表2所示。结果表明，对于尺寸为128×128的Covid-19数据集来说，当层数为4时，参数量的减少与准确率的下降能够达到一个平衡。平均每一张肺部CXR图像经过4层waveletMERA需要1秒钟。图14展示了4层 waveletMERA变换前后肺部的CXR图像。

表2.在Covid-19数据集上，不同的waveletMERA层数能够达到的参数量和准确率

除waveletMERA之外，本例还实验了6种网络结构，其中包括使用控制变量法以进行对照试验的网络结构，如：MPS，db2+MPS，MLP，db2+MLP，以及目前通过肺部CXR图像就能够分类Covid-19阳性病例的最先进的模型，如： patch-GTNC和Fused-DenseNet-Tiny。实验中使用的MPS模型与waveletMERA 当中充当可训练网络(全连接层)的MPS是一样的，目的是验证waveletMERA 当中粗粒化过程的有效性。db2+MPS是将waveletMERA替换为pywavelets函数库中的db2小波变换函数，以进行waveletMERA与普通小波变换的对比。 db2+MLP则是作为普通小波+经典神经网络的对照组。Pywavelets函数库里面的 db2小波变换函数与D4小波具有相同的尺度函数与小波函数，采用镜像方法处理边缘问题。Fused-DenseNet-Tiny目前在通过CXR图像对新冠肺炎分类的任务上表现很好，模型精度高，参数少，但模型非常抽象且不可见。表3展示了对比试验的结果，其中waveletMERA每次迭代的时间仅包含训练阶段，图15给出了waveletMERA在Covid-19测试集上的混淆矩阵。

表3.Covid-19数据集上的对比实验结果

与MPS相比，4层waveletMERA不仅减少了一百多万参数量，并且各项指标都有大幅度的提升，证明waveletMERA的粗粒化能够提取出原图片中更具价值的信息；db2+MPS由于处理边缘问题的方式不同，所以参数量稍大于 waveletMERA，但分类效果明显差于waveletMERA，由此证明waveletMERA提取特征的能力强于普通小波。Patch-GTNC使用“patches”保留原图片的全局结构信息，是目前在根据X-ray图像分类Covid-19阳性病例任务中表现较好的张量网络模型，但无论是参数量还是分类表现都不如waveletMERA。MLP和 db2+MLP作为对照的经典方法在参数量上少于MPS与waveletMERA，但各项指标都逊色于张量网络方法。轻量级的深度神经网络Fused-DenseNet-Tiny在各项指标上跟waveletMERA相差无几，但参数量却依然很大。

当然，还需要考虑通过CXR图像进行新冠肺炎识别分类的可信度。医学图像由于其特殊性，数据集可能来自同一家医院、诊所、CT扫描仪，甚至是同一位医生，这些信息不可避免地会成为网络进行分类决策时的依据，而没有完全聚焦于CXR图像的肺部区域。因此，通过除肺部区域外的图像特征而做出的分类决策可能不可靠。根据Tartaglione的工作，可以在CXR图像中分割出独立的肺部区域作为新冠图像分类器的训练数据，从而去除掉原数据集当中的冗余特征。本例选择U-Net图像分割网络，并使用Lung-CXR数据集对其进行训练。通过这种方法，得到了一个可以从CXR图像当中分割出肺部区域的U-Net模型，其准确率为96％。利用该模型对Covid-19数据集中的CXR图像进行分割，可以得到二值分割结果，然后保留分割出来的肺部区域中的原始像素，就得到了本实验的训练数据，见图16，其中：(a)Covid-19数据集中的原始肺部X光图像；(b)使用U-net分割后的二值肺部图像；(c)保留肺部区域的原始像素。

原Covid-19数据集经过上述处理后，最终保留704张健康的肺部图像和 691张Covid-19阳性病例图像作为训练集，291张健康图像和308张Covid-19 阳性病例图像作为测试集。本例将该数据集称为Covid-19-mask数据集。与Covid- 19数据集一样，正负样本比例接近1:1，尺寸为128×128。通过表2的实验，本例在此数据集上同样将waveletMERA的层数设置为4，并进行了与Covid-19数据集同样的对比试验，如表4所示，其中waveletMERA每次迭代的时间仅包含训练阶段。waveletMERA在Covid-19-mask测试集上的混淆矩阵如图17所示。

表4.Covid-19-mask数据集上的对比实验结果

Covid-19-mask的图片个数小于Covid-19，更符合医学图像数据集的真实情况。在实验中，MPS、db2+MPS、MLP、db2+MLP都出现了过拟合的现象。Patch- GTNC与Fused-DenseNet-Tiny在Covid-19-mask数据集上的表现明显差于在 Covid-19数据集上的表现，说明这两个模型在Covid-19数据集上做出的分类决策并不完全依据肺部区域的像素，并且这两个模型的灵敏度远高于特异度，会造成很高的漏诊率，耽误治疗时机。waveletMERA不仅参数量在6个模型中最低，而且准确率能够达到99.50％，灵敏度与特异度相差不大。

除了与新型冠状病毒有关的数据集外，本例还在其他医学数据集上验证了waveletMERA模型的有效性。LIDC数据集是一个包含临床胸部CT扫描并标注病变区域的数据集。数据集中所有肺结节大小都在3mm-33mm，本例按照医生对各图像标注的恶性程度，将LIDC数据集分为良性与恶性两类，其中由2031 张恶性图像和1928张良性图像构成训练集，840张恶性图像和858张良性图像构成测试集，都是64×64的灰度图像，且正负样本比例接近1:1。在实验中，本例将waveletMERA的层数设置为2，平均每一张图片的粗粒化处理时间为0.2秒钟，能够得到参数量与准确率的最优平衡。对照试验中db2小波函数的变换次数同样设定为2次。在表5中本例给出了waveletMERA与其他6种模型的对比实验结果，waveletMERA每次迭代的时间仅包含训练阶段。其中LoTeNet*模型是在LoTeNet模型的基础之上加入了卷积操作与全连接层。waveletMERA在 LIDC测试集上的混淆矩阵如图18所示。

表5.LIDC数据集上的对比实验结果

相比于Covid-19数据集，LIDC数据集的分类难度较高，waveletMERA仍然能够保持其参数量少且准确率高的优势，减少了20多万的参数量，并且在测试集上的准确率达到98.47％，反观另外6种模型的准确率都低于80％。

综上，本发明实施例提供的一种结合小波变换和张量网络的医学图像分类方法，提出一种在医学图像上表现优异的粗粒化网络，该粗粒化网络结合了小波变换和MERA，即将D4小波编码到MERA中，形成一个内部参数固定的模型，本发明将其命名为waveletMERA。本发明还构建一个如全连接层般的可训练张量网络(即张量分类网络)。本发明使用MNIST数据集、Covid-19数据集和LIDC 数据集进行多维验证，结果表明waveletMERA的准确率稳定居高，比CNNs的深度神经网络具有更好的粗粒化能力，这种能力使waveletMERA能够在保证精度的同时，更大程度上减少模型的参数量。结果表明waveletMERA不仅在分类上优于当前主流的深度神经网络，而且在数据预处理方面也优于普通小波变换。不仅如此，waveletMERA还具有张量网络本身的可解释性优势，能够为医生提供更有针对性、更高效的诊断协助，缓解医疗紧张和医患冲突问题。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims

1.一种结合小波变换和张量网络的医学图像分类方法，其特征在于，包括步骤：

S3、通过结合了小波变换和张量网络的粗粒化网络对N个量子态进行L次粗粒化处理，每次输出一个仅含有单个|1>态的项，从而得到L个仅含有单个|1>态的项作为粗粒化输出；

2.根据权利要求1所述的一种结合小波变换和张量网络的医学图像分类方法，其特征在于：在所述步骤S3中，所述粗粒化网络基于粗粒化单元构建，所述粗粒化单元包括两个解纠缠器和一个等距；该两个解纠缠器用于输入通过张量积连接的步骤S2所得N个量子态中的四个相邻量子态，通过解纠缠各自得到一个仅含有单个|1>态的项；该等距用于对该两个解纠缠器输出的两个仅含有单个|1>态的项进行粗粒化操作，得到对应的一个仅含有单个|1>态的项。

3.根据权利要求2所述的一种结合小波变换和张量网络的医学图像分类方法，其特征在于，分别用U、V表示解纠缠器和等距，则U、V定义为：