CN107798697A - 一种基于卷积神经网络的医学图像配准方法、系统及电子设备 - Google Patents

一种基于卷积神经网络的医学图像配准方法、系统及电子设备 Download PDF

Info

Publication number
CN107798697A
CN107798697A CN201711017916.8A CN201711017916A CN107798697A CN 107798697 A CN107798697 A CN 107798697A CN 201711017916 A CN201711017916 A CN 201711017916A CN 107798697 A CN107798697 A CN 107798697A
Authority
CN
China
Prior art keywords
mrow
msubsup
registration
msub
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711017916.8A
Other languages
English (en)
Inventor
王书强
张彬彬
胡明辉
胡勇
王祖辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Advanced Technology of CAS
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen Institute of Advanced Technology of CAS
Priority to CN201711017916.8A priority Critical patent/CN107798697A/zh
Publication of CN107798697A publication Critical patent/CN107798697A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medicines Containing Antibodies Or Antigens For Use As Internal Diagnostic Agents (AREA)

Abstract

本申请涉及一种基于卷积神经网络的医学图像配准方法、系统及电子设备。所述方法包括：步骤a：在卷积神经网络的全连接层的权值矩阵上引入张量列，得到张量卷积神经网络；步骤b：获取具有参数t的至少两幅待配准图像，并获取所述至少两幅待配准图像的图像子模块；其中，所述参数t表示每幅待配准图像对应的3D模型刚体变换参数，所述图像子模块是至少两幅待配准图像在局部的差值；步骤c：将所述图像子模块输入张量卷积神经网络，所述张量卷积神经网络根据图像子模块计算所述至少两幅待配准图像之间关于参数t的参数关系，并根据所述参数关系对至少两幅待配准图像进行配准。本申请可以缩短网络训练时间，提高图像配准精度。

Description

一种基于卷积神经网络的医学图像配准方法、系统及电子 设备
技术领域
本申请涉及图像配配准技术领域，特别涉及一种基于卷积神经网络的医学图像配准方法、系统及电子设备。
背景技术
图像配准(Image registration)就是将不同时间、不同成像设备或不同条件下获取的两幅或多幅图像进行匹配、叠加的过程，它已经被广泛地应用于遥感数据分析、计算机视觉、图像处理等领域。随着深度学习在图像识别领域的广泛应用，深度学习应用于图片配准领域成为新的热点。在涉及神经网络的配准应用中，卷积神经网络通常隐含着大量的神经元，涉及到成千上万的参数，随着上百层神经网络的应用，参数量达到千万甚至过亿。这不仅需要海量的带有真实标签值的训练数据，而且对计算机硬件资源要求比较高，并在一定程度上影响配准的效率。
舒程珣等在期刊《基于卷积神经网络的点云配准方法》提出了一种利用卷积神经网络进行点云配准的方法。首先计算点云的深度图像，利用卷积神经网络提取深度图像对的特征差，将深度图像对的特征差作为全连接网络的输入并计算点云配准参数，迭代地执行上述操作直至配准误差小于可接受阈值。实验结果表明，相比传统的点云配准方法，基于卷积神经网络的点云配准方法具有所需计算量小、配准效率高、对噪声点和异常点不敏感的优点。
吴航在论文《基于卷积神经网络的遥感图像配准方法》中通过利用卷积神经网络生成图像特征的特征表达，并通过此特征表达完成特征匹配，进而实现待配准图像之间的配准操作。利用训练好的卷积神经网络生成特征表达，神经网络的输出是200维向量，并且运用此特征表达得出的特征匹配效果优于标准的尺度不变特征转的特征匹配效果。这些单纯基于卷积神经网络的配准方法虽然相比传统配准技术具有较大的优势，但是网络模型本身具有很大的参数量，在网络的训练阶段因为要训练大量的特征样本，所以需要花费巨额的训练时间，而且网络在训练过程中经常会出现过拟合。
综上所述，现有基于卷积神经网络的医学图像配准方案，虽然权值共享在卷积层大大减少了参数量，但是对于深层次网络而言，由于多层全连接层的存在，这些模型具有成千上万个节点和上千万甚至过亿的参数，使得需要训练的权值参数的量非常之多，大量占据内存，训练难度大并且非常费时，使得这类网络模型对计算资源要求很高。另外，对于卷积神经网络的训练需要海量的数据，因为卷积神经网络的参数非常多，必然依靠大规模的训练才能防止过拟合。目前，神经网络的大多数成功实例都是由监督训练得来的。但是，如果要想获得较高的准确性，就必须使用庞大、多样且精确标注的训练数据集，但是这类数据集成本很高。又因为卷积神经网络的训练都需要有真实的人为专家手工标记的标签值，不仅花费巨大，有时还会出现由于人为主观因素导致错分等问题，因此面临着训练数据的缺乏。
发明内容
本申请提供了一种基于卷积神经网络的医学图像配准方法、系统及电子设备，旨在至少在一定程度上解决现有技术中的上述技术问题之一。
为了解决上述问题，本申请提供了如下技术方案：
一种基于卷积神经网络的医学图像配准方法，包括：
步骤a：在卷积神经网络的全连接层的权值矩阵上引入张量列，得到张量卷积神经网络；
步骤b：获取具有参数t的至少两幅待配准图像，并获取所述至少两幅待配准图像的图像子模块；其中，所述参数t表示每幅待配准图像对应的3D模型刚体变换参数，所述图像子模块是至少两幅待配准图像在局部的差值；
步骤c：将所述图像子模块输入张量卷积神经网络，所述张量卷积神经网络根据图像子模块计算所述至少两幅待配准图像之间关于参数t的参数关系，并根据所述参数关系对至少两幅待配准图像进行配准。
本申请实施例采取的技术方案还包括：在所述步骤b中，所述获取具有参数t的至少两幅待配准图像具体包括：
步骤b1：采集图像序列数据集，利用三维重建技术将所述图像序列数据集进行三维重建，构造图像的3D模型；
步骤b2：通过数字重建放射影像成像技术分别获取图像的3D模型在t1、t2状态下具有参数t的至少两幅待配准图像；其中，t包括六个自由度参数tx,ty,tz,tθ,tα,tβ，tx、ty、tz依次表示3D模型刚体变换中沿X轴、Y轴、Z轴的平移参数，tθ、tα、tβ依次表示3D模型刚体变换中绕Z轴、X轴、Y轴的旋转参数；
步骤b3：对所述至少两幅待配准图像进行预处理，分别获得至少两幅待配准图像的图像子模块和标签值δt{δtx,δty,δtz,δtθ,δtα,δtβ}；其中，δt{δtx,δty,δtz,δtθ,δtα,δtβ}是至少两幅待配准图像各自对应的六个自由度参数tx,ty,tz,tθ,tα,tβ之间的差值。
本申请实施例采取的技术方案还包括：在所述步骤c中，所述将图像子模块输入张量卷积神经网络，所述张量卷积神经网络根据图像子模块计算所述至少两幅待配准图像之间关于参数t的参数关系，并根据所述参数关系对至少两幅待配准图像进行配准还包括：以所述图像子模块和标签值作为训练集，对所述张量卷积神经网络进行训练，所述张量卷积神经网络通过前向传播对输入的图像子模块进行卷积池化后，经全连接层输出至少两幅待配准图像关于参数t对应的6个自由度参数之间的参数关系。
本申请实施例采取的技术方案还包括：所述张量卷积神经网络通过前向传播对输入的图像子模块进行卷积池化后，经全连接层输出至少两幅待配准图像关于参数t对应的6个自由度参数之间的参数关系具体包括：
步骤c1：通过第一卷积层分别对每个图像子模块进行卷积操作，提取图像子模块的低级特征，并将提取的低级特征输出至第一池化层；
步骤c2：通过第一池化层对所述低级特征进行池化处理，缩减所述低级特征的数量，并将缩减后的低级特征输出至第二卷积层；
步骤c3：通过第二卷积层分别对每个低级特征进行卷积操作，从所述低级特征中提取图像子模块的主要特征，并将提取的主要特征输出至第二池化层；
步骤c4：通过第二池化层对所述主要特征进行池化处理，缩减所述主要特征的数量，并将缩减后的主要特征输出至全连接层；
步骤c5：通过所述全连接层输出：
在上述公式中，δ表示全连接层的激活函数，x(j1,...jd)是经过第二池化层池化后输出的图像子模块的主要特征，b(i1,...id)是全连接层的偏置参数；
步骤c6：通过输出层输出所述至少两幅待配准图像的6个自由度参数t{tx,ty,tz,tθ,tα,tβ}之间的参数关系：
f(Xi,w)＝(y*W1+b1)
在上述公式中，y1表示经全连接层非线性变换后输出的图像子模块的主要特征，W1是输出层的权值矩阵参数，b1为输出层的偏置参数。
本申请实施例采取的技术方案还包括：所述以图像子模块和标签值作为训练集，对所述张量卷积神经网络进行训练还包括：根据张量卷积神经网络的输出值f(Xi,w)与标签值δt{δtx,δty,δtz,δtθ,δtα,δtβ}计算损失函数，并根据误差反方向传播算法优化张量卷积神经网络的权值参数；所述损失函数的计算公式为：
在上述公式中，K是图像子模块的数量，i表示第i个待配准图像，δti表示第i个待配准图像的标签值。
本申请实施例采取的技术方案还包括：所述根据误差反方向传播算法优化张量卷积神经网络的权值参数具体包括：
步骤c7：计算输出层的误差，并优化输出层权值参数；所述误差计算公式为：
上述公式中，y'表示至少两幅待配准图像的标签值δt{δtx,δty,δtz,δtθ,δtα,δtβ}，表示输出层第k个节点的至少两幅待配准图像关于参数t之间关系的实际输出，表示输出层第k个节点的至少两幅待配准图像之间的参数关系与标签值δti之间的误差；
所述输出层权值参数优化公式为：
在上述公式中，表示输出层的第k个节点的要优化的权值，表示输出层第k个节点的误差，η表示学习率，表示输出层第k个节点的输入，表示输出层的偏置参数；
步骤c8：通过全连接层将输出层的误差张量化，并根据输出层的输出优化全连接层的权值参数：
上述公式中，Gk[ik,jk]表示全连接层权值采用张量列形式存储的核张量因子，表示全连接层第k个节点的误差，表示全连接层第k个节点的输入，表示全连接层的偏置参数；
步骤c9：第二池化层根据全连接层的误差向第二卷积层输出误差图，第二卷积层根据第二池化层的输出优化卷积核参数：
上述公式中，表示第二卷积层第k个节点的权值，表示第二卷积层第k个节点的误差，表示第二卷积层第k个节点的输入，表示第二卷积层的偏置参数。
本申请实施例采取的技术方案还包括：所述以图像子模块和标签值作为训练集，对所述张量卷积神经网络进行训练还包括：根据输出值f(Xi,w)与标签值δt{δtx,δty,δtz,δtθ,δtα,δtβ}之间的误差大小判断损失函数是否达到最优值，如果没有达到最优值，则重新输入图像子模块和标签值；如果达到最优值，保存所述张量卷积神经网络的权值参数。
本申请实施例采取的另一技术方案为：一种基于卷积神经网络的医学图像配准系统，包括：
张量网络构建模块：用于在卷积神经网络的全连接层的权值矩阵上引入张量列，得到张量卷积神经网络；
图像获取模块：用于获取具有参数t的至少两幅待配准图像，并获取所述至少两幅待配准图像的图像子模块；其中，所述参数t表示每幅待配准图像对应的3D模型刚体变换参数，所述图像子模块是至少两幅待配准图像在局部的差值；
图像配准模块：用于将所述图像子模块输入张量卷积神经网络，所述张量卷积神经网络根据图像子模块计算所述至少两幅待配准图像之间关于参数t的参数关系，并根据所述参数关系对至少两幅待配准图像进行配准。
本申请实施例采取的技术方案还包括：所述图像获取模块包括：
图像采集单元：用于采集图像序列数据集，利用三维重建技术将所述图像序列数据集进行三维重建，构造图像的3D模型；
图像重建单元：用于通过数字重建放射影像成像技术分别获取图像的3D模型在t1、t2状态下具有参数t的至少两幅待配准图像；其中，t包括六个自由度参数tx,ty,tz,tθ,tα,tβ，tx、ty、tz依次表示3D模型刚体变换中沿X轴、Y轴、Z轴的平移参数，tθ、tα、tβ依次表示3D模型刚体变换中绕Z轴、X轴、Y轴的旋转参数；
图像预处理单元：用于对所述至少两幅待配准图像进行预处理，分别获得至少两幅待配准图像的图像子模块和标签值δt{δtx,δty,δtz,δtθ,δtα,δtβ}；其中，δt{δtx,δty,δtz,δtθ,δtα,δtβ}是至少两幅待配准图像各自对应的六个自由度参数tx,ty,tz,tθ,tα,tβ之间的差值。
本申请实施例采取的技术方案还包括网络训练模块，所述网络训练模块用于以所述图像子模块和标签值作为训练集，对所述张量卷积神经网络进行训练，所述张量卷积神经网络通过前向传播对输入的图像子模块进行卷积池化后，经全连接层输出两幅待配准图像关于参数t对应的6个自由度之间的参数关系。
本申请实施例采取的技术方案还包括：所述网络训练模块包括：
第一卷积单元：用于通过第一卷积层分别对每个图像子模块进行卷积操作，提取图像子模块的低级特征，并将提取的低级特征输出至第一池化层；
第一池化单元：用于通过第一池化层对所述低级特征进行池化处理，缩减所述低级特征的数量，并将缩减后的低级特征输出至第二卷积层；
第二卷积单元：用于通过第二卷积层分别对每个低级特征进行卷积操作，从所述低级特征中提取图像子模块的主要特征，并将提取的主要特征输出至第二池化层；
第二池化单元：用于通过第二池化层对所述主要特征进行池化处理，缩减所述主要特征的数量，并将缩减后的主要特征输出至全连接层；
全连接输出单元：用于通过所述全连接层输出：
在上述公式中，δ表示全连接层的激活函数，x(j1,...jd)是经过第二池化层池化后输出的图像子模块的主要特征，b(i1,...id)是全连接层的偏置参数；
参数关系输出单元：用于通过输出层输出所述至少两幅待配准图像的6个自由度参数t{tx,ty,tz,tθ,tα,tβ}之间的参数关系：
f(Xi,w)＝(y*W1+b1)
在上述公式中，y1表示经全连接层非线性变换后输出的图像子模块的主要特征，W1是输出层的权值矩阵参数，b1为输出层的偏置参数。
本申请实施例采取的技术方案还包括：
差值计算模块：用于根据张量卷积神经网络的输出值f(Xi,w)与标签值δt{δtx,δty,δtz,δtθ,δtα,δtβ}计算损失函数；
权值优化模块：用于根据误差反方向传播算法优化张量卷积神经网络的权值参数；所述损失函数的计算公式为：
在上述公式中，K是图像子模块的数量，i表示第i个待配准图像，δti表示第i个待配准图像的标签值。
本申请实施例采取的技术方案还包括：所述权值优化模块包括：
输出层误差计算单元：用于计算输出层的误差，并优化输出层权值参数；所述误差计算公式为：
上述公式中，y'表示至少两幅待配准图像的标签值δt{δtx,δty,δtz,δtθ,δtα,δtβ}，表示输出层第k个节点的至少两幅待配准图像关于参数t之间关系的实际输出，表示输出层第k个节点的至少两幅待配准图像之间的参数关系与标签值δti之间的误差；
所述输出层权值参数优化公式为：
在上述公式中，表示输出层的第k个节点的要优化的权值，表示输出层第k个节点的误差，η表示学习率，表示输出层第k个节点的输入，表示输出层的偏置参数；
全连接层优化单元：用于通过全连接层将输出层的误差张量化，并根据输出层的输出优化全连接层的权值参数：
上述公式中，Gk[ik,jk]表示全连接层权值采用张量列形式存储的核张量因子，表示全连接层第k个节点的误差，表示全连接层第k个节点的输入，表示全连接层的偏置参数；
第二卷积层优化单元：用于第二池化层根据全连接层的误差向第二卷积层输出误差图，第二卷积层根据第二池化层的输出优化卷积核参数：
上述公式中，表示第二卷积层第k个节点的权值，表示第二卷积层第k个节点的误差，表示第二卷积层第k个节点的输入，表示第二卷积层的偏置参数。
本申请实施例采取的技术方案还包括：
误差判断模块：用于根据输出值f(Xi,w)与标签值δt{δtx,δty,δtz,δtθ,δtα,δtβ}之间的误差大小判断损失函数是否达到最优值，如果没有达到最优值，则重新输入图像子模块和标签值；如果达到最优值，通过参数存储模块保存所述张量卷积神经网络的权值参数；
参数存储模块：用于在张量卷积神经网络训练结束后，保存所述张量卷积神经网络的权值参数。
本申请实施例采取的又一技术方案为：一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述的基于卷积神经网络的医学图像配准方法的以下操作：
步骤a：在卷积神经网络的全连接层的权值矩阵上引入张量列，得到张量卷积神经网络；
步骤b：获取具有参数t的至少两幅待配准图像，并获取所述至少两幅待配准图像的图像子模块；其中，所述参数t表示每幅待配准图像对应的3D模型刚体变换参数，所述图像子模块是至少两幅待配准图像在局部的差值；
步骤c：将所述图像子模块输入张量卷积神经网络，所述张量卷积神经网络根据图像子模块计算所述至少两幅待配准图像之间关于参数t的参数关系，并根据所述参数关系对至少两幅待配准图像进行配准。
相对于现有技术，本申请实施例产生的有益效果在于：本申请实施例的基于卷积神经网络的医学图像配准方法、系统及电子设备通过引入张量列的全连接层压缩参数量，通过使用很少的参数来表示完全连接层的密集权值矩阵，提高图像配准精度的同时，大大的缩减了所占用的内存空间，降低了对计算机硬件资源的要求，降低了网络内部运算量，相应地缩短了训练时间，并且保存了层级之间的表达能力，使得神经网络具有更快的推理时间，同时并不需要海量的图像训练数据，避免了获取海量具有真实标签的训练数据的困难，使网络训练变得相对简易。
附图说明
图1是本申请第一实施例的基于卷积神经网络的医学图像配准方法的流程图；
图2是本申请第二实施例的基于卷积神经网络的医学图像配准方法的流程图；
图3为本申请实施例的张量卷积神经网络结构图；
图4为本申请实施例的训练集获取方法的流程图；
图5是本申请实施例的张量卷积神经网络通过前向传播对图像子模块的处理过程示意图；
图6是本申请实施例的基于卷积神经网络的医学图像配准系统的结构示意图；
图7是本申请实施例提供的基于卷积神经网络的医学图像配准方法的硬件设备结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
本发明实施例的基于卷积神经网络的医学图像配准方法针对卷积神经网络的全连接层引入张量列，对全连接层的权值参数进行张量列表示，一方面通过神经网络学习更高级的抽象特征，另一方面通过引入张量列的全连接层压缩参数量，通过使用很少的参数来表示完全连接层的密集权值矩阵，同时保持足够的灵活性来执行信号转换，所得到的层与现有的神经网络训练算法兼容，简化了神经网络的训练难度，同时保持图像的配准精度。本申请适用于CT图像、MRI图像或X射线图像等多种类型的医学图像配置，为了更为清楚的描述本申请所采用的技术方案，以下实施例中，仅以人的尺骨桡骨的X射线图像为例进行具体说明。
具体地，请参阅图1，是本申请第一实施例的基于卷积神经网络的医学图像配准方法的流程图。本申请第一实施例的基于卷积神经网络的医学图像配准方法包括以下步骤：
步骤a：在卷积神经网络的全连接层的权值矩阵上引入张量列，得到张量卷积神经网络；
步骤b：获取具有参数t的至少两幅待配准图像，并获取所述至少两幅待配准图像的图像子模块；其中，所述参数t表示每幅待配准图像对应的3D模型刚体变换参数，所述图像子模块是至少两幅待配准图像在局部的差值；
步骤c：将所述图像子模块输入张量卷积神经网络，所述张量卷积神经网络根据图像子模块计算所述至少两幅待配准图像之间关于参数t的参数关系，并根据所述参数关系对至少两幅待配准图像进行配准。
请参阅图2，是本申请第二实施例的基于卷积神经网络的医学图像配准方法的流程图。本申请第二实施例的基于卷积神经网络的医学图像配准方法包括以下步骤：
步骤200：建立卷积神经网络，并初始化卷积神经网络的权值参数；
在步骤200中，本申请实施例通过高斯分布产生的小随机数初始化卷积神经网络的权值参数，使所有权值大概呈现均匀分布于0的两侧；
步骤210：在卷积神经网络的全连接层的权值矩阵上引入张量列，得到张量卷积神经网络；
在步骤210中，由于卷积神经网络图像配准模型拥有众多的待训练参数，不仅涉及复杂的运算量，而且要求获得海量的带有真实标签的尺骨桡骨图像训练集，这使得尺骨桡骨图像配准费时费力。因此，本申请实施例通过在卷积神经网络的全连接层的权值矩阵上引入张量列，以张量列形式存储参数，引入张量列后参数存储占用空间为O(dmnr2)，相比之前的O(mdnd)，总体上压缩了网络参数，大大的缩减了所占用的内存空间，降低了对计算机硬件资源的要求，又已知神经网络的精度随着层数的加深而相应的提高，降低了网络内部运算量，相应地缩短了训练时间，并且保存了层级之间的表达能力，使得神经网络具有更快的推理时间，同时并不需要海量的图像训练数据，避免了获取海量具有真实标签的训练数据的困难，使网络训练变得相对简易，并为以后的网络扩充提供了便利。具体如图3所示，为本申请实施例的张量卷积神经网络结构图。在全连接层F1层的权值矩阵A上引入张量列后，对于权值矩阵A的每一个元素均可以被表示成如下形式：
A(j1,...,jk)＝G1[i1,j1]G2[i2,j2]...Gd[id,jd] (1)
在公式(1)中，Gk[ik,jk]表示全连接层F1层权值采用张量列形式存储的核张量因子。
步骤220：获取待配准图像，并将待配准图像进行预处理，得到每幅待配准图像的图像子模块以及每幅待配准图像的标签值，以图像子模块和标签值作为张量卷积神经网络的训练集；
在步骤220中，待配准图像的数量为至少两幅，本申请实施例中仅以两幅为例。为了清楚描述步骤220，请一并参阅图4，是本申请实施例的训练集获取方法的流程图。本申请实施例的训练集获取方法包括以下步骤：
步骤221：采集人的尺骨桡骨X射线图像序列数据集，并利用三维重建技术将尺骨桡骨X射线图像序列数据集进行三维重建，构造一个尺骨桡骨的3D模型；
步骤222：通过两次数字重建放射影像成像技术分别获取尺骨桡骨的3D模型在t1、t2状态下具有不同参数t的两幅2D形式的第一待配准图像I1和第二待配准图像I2；
在步骤222中，t表示每幅尺骨桡骨图像对应的3D模型刚体变换参数，参数t包括六个自由度参数(tx,ty,tz,tθ,tα,tβ)，其中，tx、ty、tz依次表示3D模型刚体变换中沿X轴、Y轴、Z轴的平移参数，tθ、tα、tβ依次表示3D模型刚体变换中绕Z轴、X轴、Y轴的旋转参数。
步骤223：对第一待配准图像I1和第二待配准图像I2进行预处理，获得N个图像子模块和各待配准图像的标签值δt{δtx,δty,δtz,δtθ,δtα,δtβ}；
在步骤223中，图像子模块是二值灰度图像，是第一待配准图像I1和第二待配准图像I2在局部的差值。δt即(t2-t1)，是两幅待配准图像关于参数t对应的6个自由度参数之间的参数关系，即第一待配准图像I1和第二待配准图像I2各自对应的六个自由度参数(tx,ty,tz,tθ,tα,tβ)之间的差值δt{δtx,δty,δtz,δtθ,δtα,δtβ})，δt{δtx,δty,δtz,δtθ,δtα,δtβ}代表着6个自由度参数(tx,ty,tz,tθ,tα,tβ)的手工标记值。其中δt的值不易过大，因为在实际的手术治疗系统中，病人摆位等调整针对的都是小范围的变化。
为了提取一个对参数残差相关的图像子模块，并且对参数t不相关，本申请实施例将跨越旋转参数tα、tβ的参数空间划分为18＊18的网格，每个网格覆盖20＊20度的区域，此时：
在公式(2)中，Xk是图像子模块，Ωk表示第k个区域，δt表示两幅待配准图像关于参数t对应的6个自由度参数之间的参数关系。因为神经网络对参数关系δt的捕捉范围相对有限，并且实际应用中都是基于参数t小范围的变化进行调整，因此需要对参数空间进行区域划分，并在每个区域中进行训练，使得结果更为精确。
步骤230：将训练集中的图像子模块统一尺寸规格后，将图像子模块和标签值输入张量卷积神经网络，对张量卷积神经网络进行训练；
步骤240：张量卷积神经网络通过前向传播对输入的图像子模块进行卷积池化后，经全连接层输出两幅待配准图像关于参数t对应的6个自由度参数之间的参数关系；
在步骤240中，输入的图像子模块在经过张量卷积神经网络不断的卷积池化操作后，全连接到全连接层F1层，在全连接层F1层权值矩阵采用张量列形式表示，并输出。由于输出值多达6个数值，同时为了更好的训练模型，需要对张量卷积神经网络的6个输出值依次进行多次迭代训练。且分层回归可以在上次回归的基础上迭代进行，迭代次数可根据训练需求设定。
具体地，待训练的张量卷积神经网络是采用N个引入张量列后的结构网络，对应着N个输入通道，每个结构网络的内部层级设置保持一致，即卷积层池化层排列顺序和所采用的卷积核规模大小及池化比例均保持一致。每个通道对应一个图像子模块，每个结构网络用于对一个图像子模块进行特征提取。从所有输入通道提取的特征向量最后全连接到输出层F2层，输出层F2层具有6个节点，每个节点的输出值对应两幅待配准图像关于参数关系δt{δtx,δty,δtz,δtθ,δtα,δtβ}之间的六个分量之一。
本申请实施例中，张量卷积神经网络依次包括第一卷积层C1层、第一池化层P1层、第二卷积层C2层、第二池化层P2层、全连接层F1层和输出层F2层，以下实施例中，设定第一卷积层C1层和第二卷积层C2层的卷积核分别为5＊5，第一池化层P1层和第二池化层P2层的池化比例分别为2＊2，具体可根据应用需求进行调节。
请一并参阅图5，是本申请实施例的张量卷积神经网络通过前向传播对图像子模块的处理过程示意图。本申请实施例的张量卷积神经网络通过前向传播对图像子模块的处理过程包括以下步骤：
步骤241：通过第一卷积层C1层使用多个不同的5＊5的卷积核分别对每个图像子模块进行卷积操作，提取图像子模块的低级特征，并将提取的低级特征输出至第一池化层P1层；
在步骤241中，不同的卷积核代表提取不同的图像子模块的低级特征。
步骤242：通过第一池化层P1层应用2＊2的池化比例对第一卷积层C1层输出的低级特征进行池化处理，将低级特征的数量缩减为原第有低级特征的四分之一，并将缩减后的低级特征输出至第二卷积层C2层；
步骤243：通过第二卷积层C2层应用不同的5＊5的卷积核分别对第一池化层P1层输出的每个低级特征进行卷积操作，从低级特征中提取出深层次的主要特征，并将提取的主要特征输出至第二池化层P2层；
在步骤243中，提取的主要特征便于张量卷积神经网络判断两幅待配准图像之间的参数关系，有利于提高图像的配准精度。
步骤244：通过第二池化层P2层应用2＊2的池化比例对第二卷积层C2层输出的主要特征进行池化处理，将主要特征的数据规模缩减为原有主要特征的四分之一，并将缩减后的主要特征输出至全连接层F1层；
步骤245：在全连接层F1层，引入张量列后，全连接层F1层的权值矩阵用核张量Gk(ik,jk)的张量列格式存储，此时全连接层F1层的变换输出表示为：
在公式(3)中，δ表示全连接层F1层的激活函数，x(j1,...jd)是从图像子模块提取的主要特征经过第二池化层P2层池化后的输出，b(i1,...id)是全连接层F1层的偏置参数。
步骤246：通过输出层F2层输出张量卷积神经网络自主学习到的两幅待配准图像的6个自由度参数t{tx,ty,tz,tθ,tα,tβ}之间的参数关系：
f(Xi,w)＝(y*W1+b1) (4)
在公式(4)中，y1表示从图像子模块提取的主要特征经全连接层F1层非线性变换后的输出，W1是输出层F2层的权值矩阵参数，b1为输出层F2层的偏置参数。
步骤250：计算张量卷积神经网络的输出值f(Xi,w)与标签值δt{δtx,δty,δtz,δtθ,δtα,δtβ}之间的差值，即损失函数值：
在公式(5)中，K是图像子模块的数量，i表示第i个待配准图像，δti表示第i个待配准图像的标签值。
步骤260：根据误差反方向传播算法优化张量卷积神经网络的权值参数；
在步骤260中，本申请实施例使用动量随机梯度下降(动量m＝0.9)的权值参数优化算法，即沿着使目标函数下降最快的方向(负梯度方向)，合理设置学习率，使目标函数快速取得最小极值。具体地，根据误差反方向传播算法优化张量卷积神经网络的权值参数包括以下步骤：
步骤261：计算输出层F2层的误差其中，y'表示两幅待配准图像的标签值δt{δtx,δty,δtz,δtθ,δtα,δtβ}，表示网络自主学习到的输出层F2层第k个节点的两幅待配准图像参数t之间关系的实际输出，表示输出层F2层第k个节点的网络学习到的两幅待配准图像之间的参数关系与第i个标签值δti之间的误差；
在步骤261中，根据反向传播算法，输出层F2层的误差会反向传播一直到输入层来进行各层参数的优化；首先由输出层F2层误差根据反向传播算法规则：
在上述公式中，表示输出层F2层的第k个节点的要优化的权值，表示输出层F2层第k个节点的误差，η表示学习率，本申请实施例中取值为0.001，表示输出层F2层第k个节点的输入，即表示从图像子模块提取的主要特征经全连接层F1层变换后的输出，表示输出层F2层的偏置参数。
步骤262：当输出层F2层的误差反向传播至全连接层F1层时，由于在全连接层F1层引入张量列，全连接层F1层的误差也是同阶张量的形式，因此需要将输出层F2层的误差张量化；表示误差的反向传播过程，输出层F2层的误差乘以其权值矩阵表示反向传播到上一层的误差，此时全连接层F1层的权值参数优化如下：
上述公式中，表示全连接层F1层第k个节点的误差，表示全连接层F1层第k个节点的输入，即从图像子模块中提取的主要特征，表示全连接层F1层的偏置参数。
步骤263：由于全连接层F1层的误差是同阶张量的形式，当反向传播至第二池化层P2层时，此时反向传回的是误差图，将第二池化层P2层的误差图根据池化类型上采样传递到第二卷积层C2层，第二卷积层C2层的卷积核参数优化如下：
上述公式中，表示第二卷积层C2层第k个节点的权值，表示第二卷积层C2层第k个节点的误差，表示第二卷积层C2层第k个节点的输入，即从图像子模块中提取的低级特征。表示第二卷积层C2层的偏置参数。第一卷积层C1层的卷积核参数优化过程与第二卷积层C2层类似，本申请将不再赘述。
采用反向传播算法计算梯度，动量随机梯度进行优化，目标就是找到一组最优参数，使得损失函数的值最小。
步骤270：根据输出值f(Xi,w)与标签值δt{δtx,δty,δtz,δtθ,δtα,δtβ}之间的误差大小以及配准精度判断损失函数值是否达到最优值，如果没有达到最优值，则迭代执行步骤230；如果达到最优值，执行步骤280；
步骤280：张量卷积神经网络训练结束，保存训练好的张量卷积神经网络的权值参数；
步骤290：将待配准的源图像和目标图像输入训练好的张量卷积神经网络，通过张量卷积神经网络捕捉源图像和目标图像之间的参数关系，并根据参数关系进行相应的摆位调整，从而对源图像和目标图像进行配准。
请参阅图6，是本申请实施例的基于卷积神经网络的医学图像配准系统的结构示意图。本申请实施例的基于卷积神经网络的医学图像配准系统包括网络构建模块、张量网络构建模块、图像获取模块、网络训练模块、差值计算模块、权值优化模块、误差判断模块、参数存储模块和图像配准模块；
网络构建模块：用于建立卷积神经网络，并初始化卷积神经网络的权值参数；其中，本申请实施例通过高斯分布产生的小随机数初始化卷积神经网络的权值参数，使所有权值大概呈现均匀分布于0的两侧；
张量网络构建模块：用于在卷积神经网络的全连接层的权值矩阵上引入张量列，得到张量卷积神经网络；其中，本申请实施例通过在卷积神经网络的全连接层的权值矩阵上引入张量列，并将全连接层的权值矩阵以张量列形式存储，从而消除了全连接层的冗余现象。具体如图3所示，为本申请实施例的张量卷积神经网络结构图。在全连接层F1层的权值矩阵A上引入张量列后，对于权值矩阵A的每一个元素均可以被表示成如下形式：
A(j1,...,jk)＝G1[i1,j1]G2[i2,j2]...Gd[id,jd] (1)
在公式(1)中，Gk[ik,jk]表示全连接层F1层权值采用张量列形式存储的核张量因子。
图像获取模块：用于获取待配准图像，并将待配准图像进行预处理，得到每幅待配准图像的图像子模块以及每幅待配准图像的标签值，以图像子模块和标签值作为张量卷积神经网络的训练集；
具体地，图像获取模块包括：
图像采集单元：用于采集人的尺骨桡骨X射线图像序列数据集，并利用三维重建技术将尺骨桡骨X射线图像序列数据集进行三维重建，构造一个尺骨桡骨的3D模型；
图像重建单元：用于通过两次数字重建放射影像成像技术分别获取尺骨桡骨的3D模型在t1、t2状态下具有不同参数t的两幅2D形式的第一待配准图像I1和第二待配准图像I2；其中，t表示每幅尺骨桡骨图像对应的3D模型刚体变换参数，参数t包括六个自由度参数(tx,ty,tz,tθ,tα,tβ)，其中，tx、ty、tz依次表示3D模型刚体变换中沿X轴、Y轴、Z轴的平移参数，tθ、tα、tβ依次表示3D模型刚体变换中绕Z轴、X轴、Y轴的旋转参数。
图像预处理单元：用于对第一待配准图像I1和第二待配准图像I2进行预处理，获得N个图像子模块和标签值δt{δtx,δty,δtz,δtθ,δtα,δtβ}；其中，图像子模块是二值灰度图像，是第一待配准图像I1和第二待配准图像I2在局部的差值。δt即(t2-t1)，是两幅待配准图像关于参数t对应的6个自由度参数之间的参数关系，δt{δtx,δty,δtz,δtθ,δtα,δtβ}即第一待配准图像I1和第二待配准图像I2各自对应的六个自由度参数(tx,ty,tz,tθ,tα,tβ)之间的差值，δt{δtx,δty,δtz,δtθ,δtα,δtβ}代表着6个自由度参数(tx,ty,tz,tθ,tα,tβ)的手工标记值。其中δt的值不易过大，因为在实际的手术治疗系统中，病人摆位等调整针对的都是小范围的变化。为了提取一个对参数残差相关的图像子模块，并且对参数t不相关，本申请实施例将跨越旋转参数tα、tβ的参数空间划分为18＊18的网格，每个网格覆盖20＊20度的区域，此时：
在公式(2)中，Xk是图像子模块，Ωk表示第k个区域，δt表示两幅待配准图像关于参数t对应的6个自由度之间的参数关系。因为神经网络对参数关系δt的捕捉范围相对有限，并且实际应用中都是基于参数t小范围的变化进行调整，因此需要对参数空间进行区域划分，并在每个区域中进行训练，使得结果更为精确。
网络训练模块：用于将训练集中的图像子模块统一尺寸规格后，将图像子模块和标签值输入张量卷积神经网络，对张量卷积神经网络进行训练，张量卷积神经网络通过前向传播对输入的图像子模块进行卷积池化后，经全连接层输出两幅待配准图像关于参数t对应的6个自由度之间的参数关系；其中，输入的图像子模块在经过张量卷积神经网络不断的卷积池化操作后，全连接到全连接层F1层，在全连接层F1层权值矩阵采用张量列形式表示并输出。由于输出值多达6个数值，同时为了更好的训练模型，需要对张量卷积神经网络的6个输出值依次进行多次迭代训练。且分层回归可以在上次回归的基础上迭代进行，迭代次数可根据训练需求设定。
具体地，待训练的张量卷积神经网络是采用N个引入张量列后的结构网络，对应着N个输入通道，每个结构网络的内部层级设置保持一致，即卷积层池化层排列顺序和所采用的卷积核规模大小及池化比例均保持一致。每个通道对应一个图像子模块，每个结构网络用于对一个图像子模块进行特征提取。从所有输入通道提取的特征向量最后全连接到输出层F2层，输出层F2层具有6个节点，每个节点的输出值对应两幅待配准图像关于参数关系δt{δtx,δty,δtz,δtθ,δtα,δtβ}之间的六个分量之一。
本申请实施例中，张量卷积神经网络依次包括第一卷积层C1层、第一池化层P1层、第二卷积层C2层、第二池化层P2层、全连接层F1层和输出层F2层，以下实施例中，设定第一卷积层C1层和第二卷积层C2层的卷积核分别为5＊5，第一池化层P1层和第二池化层P2层的池化比例分别为2＊2，具体可根据应用需求进行调节。
进一步地，网络训练模块包括：
第一卷积单元：用于通过第一卷积层C1层使用多个不同的5＊5的卷积核分别对每个图像子模块进行卷积操作，提取图像子模块的低级特征，并将提取的低级特征输出至第一池化层P1层；
第一池化单元：用于通过第一池化层P1层应用2＊2的池化比例对第一卷积层C1层输出的低级特征进行池化处理，将低级特征的数量缩减为原第有低级特征的四分之一，并将缩减后的低级特征输出至第二卷积层C2层；
第二卷积单元：用于通过第二卷积层C2层应用不同的5＊5的卷积核分别对第一池化层P1层输出的每个低级特征进行卷积操作，从低级特征中提取出深层次的主要特征，并将提取的主要特征输出至第二池化层P2层；其中，提取的主要特征便于张量卷积神经网络判断两幅待配准图像之间的参数关系，有利于图像的配准。
第二池化单元：用于通过第二池化层P2层应用2＊2的池化比例对第二卷积层C2层输出的主要特征进行池化处理，将主要特征的数据规模缩减为原有主要特征的四分之一，并将缩减后的主要特征输出至全连接层F1层；
全连接输出单元：用于将引入张量列的全连接层F1层的变换输出为：
在公式(3)中，δ表示全连接层F1层的激活函数，x(j1,...jd)是从图像子模块提取的主要特征经过第二池化层P2层池化后的输出，b(i1,...id)是全连接层F1层的偏置参数。
参数关系输出单元：用于通过输出层F2层输出两幅待配准图像的6个自由度参数t{tx,ty,tz,tθ,tα,tβ}之间的参数关系：
f(Xi,w)＝(y*W1+b1) (4)
在公式(4)中，y1表示从图像子模块提取的主要特征经全连接层F1层非线性变换后的输出，W1是输出层F2层的权值矩阵参数，b1为输出层F2层的偏置参数。
差值计算模块：用于计算张量卷积神经网络的输出值f(Xi,w)与标签值δt{δtx,δty,δtz,δtθ,δtα,δtβ}之间的差值，即损失函数值：
在公式(5)中，K是图像子模块的数量，i表示第i个待配准图像，δti表示第i个待配准图像的标签值。
权值优化模块：用于根据误差反方向传播算法优化张量卷积神经网络的权值参数；本申请实施例使用动量随机梯度下降(动量m＝0.9)的权值参数优化算法，即沿着使目标函数下降最快的方向(负梯度方向)，合理设置学习率，使目标函数快速取得最小极值。具体地，权值优化模块包括：
输出层误差计算单元：用于计算输出层F2层的误差并优化输出层的权值参数；其中，y'表示两幅待配准图像的标签值δt{δtx,δty,δtz,δtθ,δtα,δtβ}，表示网络自主学习到的输出层F2层第k个节点的两幅待配准图像参数t之间关系的实际输出，表示输出层F2层第k个节点的网络学习到的两幅待配准图像之间的参数关系与第i个标签值δti之间的误差；其中，根据反向传播算法，输出层F2层的误差会反向传播一直到输入层来进行各层参数的优化；首先由输出层F2层误差根据反向传播算法规则：
在上述公式中，表示输出层F2层的第k个节点的要优化的权值，表示输出层F2层第k个节点的误差，η表示学习率，本申请实施例中取值为0.001，表示输出层F2层第k个节点的输入，即表示从图像子模块提取的主要特征经全连接层F1层变换后的输出，表示输出层F2层的偏置参数。
全连接层优化单元：用于根据输出层的输出优化全连接层的权值参数；当输出层F2层的误差反向传播至全连接层F1层时，由于在全连接层F1层引入张量列，全连接层F1层的误差也是同阶张量的形式，因此需要将输出层F2层的误差张量化；表示误差的反向传播过程，输出层F2层的误差乘以其权值矩阵表示反向传播到上一层的误差，此时全连接层F1层的权值参数优化如下：
上述公式中，表示全连接层F1层第k个节点的误差，表示全连接层F1层第k个节点的输入，即从图像子模块中提取的主要特征，表示全连接层F1层的偏置参数。
第二卷积层优化单元：用于根据第二池化层返回的误差图优化卷积核；由于全连接层F1层的误差是同阶张量的形式，当反向传播至第二池化层P2层时，此时反向传回的是误差图，将第二池化层P2层的误差图根据池化类型上采样传递到第二卷积层C2层，第二卷积层C2层根据第二池化层P2层的输出优化卷积核参数；第二卷积层C2层的卷积核参数优化如下：
上述公式中，表示第二卷积层C2层第k个节点的权值，表示第二卷积层C2层第k个节点的误差，表示第二卷积层C2层第k个节点的输入，即从图像子模块中提取的低级特征。表示第二卷积层C2层的偏置参数。
第一卷积层优化单元：用于对第一卷积层的卷积核参数进行优化，优化过程与第二卷积层C2层类似，本申请将不再赘述。
误差判断模块：用于根据输出值f(Xi,w)与标签值δt之间的误差大小以及配准精度判断损失函数值是否达到最优值，如果没有达到最优值，通过网络训练模块重新输入待配准图像；如果达到最优值，通过参数存储模块存储张量卷积神经网络的权值参数；
参数存储模块：用于在张量卷积神经网络训练结束后，保存训练好的张量卷积神经网络的权值参数；
图像配准模块：用于将待配准的源图像和目标图像输入训练好的张量卷积神经网络，通过张量卷积神经网络捕捉源图像和目标图像之间的参数关系，根据参数关系进行相应的摆位调整，从而对源图像和目标图像进行配准。
图7是本申请实施例提供的计算候选公交站点的方法的硬件设备结构示意图，如图7所示，该设备包括一个或多个处理器以及存储器。以一个处理器为例，该设备还可以包括：输入系统和输出系统。
处理器、存储器、输入系统和输出系统可以通过总线或者其他方式连接，图7中以通过总线连接为例。
存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块。处理器通过运行存储在存储器中的非暂态软件程序、指令以及模块，从而执行电子设备的各种功能应用以及数据处理，即实现上述方法实施例的处理方法。
存储器可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至处理系统。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入系统可接收输入的数字或字符信息，以及产生信号输入。输出系统可包括显示屏等显示设备。
所述一个或者多个模块存储在所述存储器中，当被所述一个或者多个处理器执行时，执行上述任一方法实施例的以下操作：
步骤a：在卷积神经网络的全连接层的权值矩阵上引入张量列，得到张量卷积神经网络；
步骤b：获取具有参数t的至少两幅待配准图像，并获取所述至少两幅待配准图像的图像子模块；其中，所述参数t表示每幅待配准图像对应的3D模型刚体变换参数，所述图像子模块是至少两幅待配准图像在局部的差值；
步骤c：将所述图像子模块输入张量卷积神经网络，所述张量卷积神经网络根据图像子模块计算所述至少两幅待配准图像之间关于参数t的参数关系，并根据所述参数关系对至少两幅待配准图像进行配准。
上述产品可执行本申请实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本申请实施例提供的方法。
本申请实施例提供了一种非暂态(非易失性)计算机存储介质，所述计算机存储介质存储有计算机可执行指令，该计算机可执行指令可执行以下操作：
步骤a：在卷积神经网络的全连接层的权值矩阵上引入张量列，得到张量卷积神经网络；
步骤b：获取具有参数t的至少两幅待配准图像，并获取所述至少两幅待配准图像的图像子模块；其中，所述参数t表示每幅待配准图像对应的3D模型刚体变换参数，所述图像子模块是至少两幅待配准图像在局部的差值；
步骤c：将所述图像子模块输入张量卷积神经网络，所述张量卷积神经网络根据图像子模块计算所述至少两幅待配准图像之间关于参数t的参数关系，并根据所述参数关系对至少两幅待配准图像进行配准。
本申请实施例提供了一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行以下操作：
步骤a：在卷积神经网络的全连接层的权值矩阵上引入张量列，得到张量卷积神经网络；
步骤b：获取具有参数t的至少两幅待配准图像，并获取所述至少两幅待配准图像的图像子模块；其中，所述参数t表示每幅待配准图像对应的3D模型刚体变换参数，所述图像子模块是至少两幅待配准图像在局部的差值；
步骤c：将所述图像子模块输入张量卷积神经网络，所述张量卷积神经网络根据图像子模块计算所述至少两幅待配准图像之间关于参数t的参数关系，并根据所述参数关系对至少两幅待配准图像进行配准。
本申请实施例的基于卷积神经网络的医学图像配准方法、系统及电子设备通过引入张量列的全连接层压缩参数量，通过使用很少的参数来表示完全连接层的密集权值矩阵，提高图像配准精度的同时，大大的缩减了所占用的内存空间，降低了对计算机硬件资源的要求，降低了网络内部运算量，相应地缩短了训练时间，并且保存了层级之间的表达能力，使得神经网络具有更快的推理时间，同时并不需要海量的图像训练数据，避免了获取海量具有真实标签的训练数据的困难，使网络训练变得相对简易。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (15)

1.一种基于卷积神经网络的医学图像配准方法，其特征在于，包括：
步骤a：在卷积神经网络的全连接层的权值矩阵上引入张量列，得到张量卷积神经网络；
步骤b：获取具有参数t的至少两幅待配准图像，并获取所述至少两幅待配准图像的图像子模块；其中，所述参数t表示每幅待配准图像对应的3D模型刚体变换参数，所述图像子模块是至少两幅待配准图像在局部的差值；
步骤c：将所述图像子模块输入张量卷积神经网络，所述张量卷积神经网络根据图像子模块计算所述至少两幅待配准图像之间关于参数t的参数关系，并根据所述参数关系对至少两幅待配准图像进行配准。
2.根据权利要求1所述的基于卷积神经网络的医学图像配准方法，其特征在于，在所述步骤b中，所述获取具有参数t的至少两幅待配准图像具体包括：
步骤b1：采集图像序列数据集，利用三维重建技术将所述图像序列数据集进行三维重建，构造图像的3D模型；
步骤b2：通过数字重建放射影像成像技术分别获取图像的3D模型在t1、t2状态下具有参数t的至少两幅待配准图像；其中，t包括六个自由度参数tx,ty,tz,tθ,tα,tβ，tx、ty、tz依次表示3D模型刚体变换中沿X轴、Y轴、Z轴的平移参数，tθ、tα、tβ依次表示3D模型刚体变换中绕Z轴、X轴、Y轴的旋转参数；
步骤b3：对所述至少两幅待配准图像进行预处理，分别获得至少两幅待配准图像的图像子模块和标签值δt{δtx,δty,δtz,δtθ,δtα,δtβ}；其中，δt{δtx,δty,δtz,δtθ,δtα,δtβ}是至少两幅待配准图像各自对应的六个自由度参数tx,ty,tz,tθ,tα,tβ之间的差值。
3.根据权利要求2所述的基于卷积神经网络的医学图像配准方法，其特征在于，在所述步骤c中，所述将图像子模块输入张量卷积神经网络，所述张量卷积神经网络根据图像子模块计算所述至少两幅待配准图像之间关于参数t的参数关系，并根据所述参数关系对至少两幅待配准图像进行配准还包括：以所述图像子模块和标签值作为训练集，对所述张量卷积神经网络进行训练，所述张量卷积神经网络通过前向传播对输入的图像子模块进行卷积池化后，经全连接层输出至少两幅待配准图像关于参数t对应的6个自由度参数之间的参数关系。
4.根据权利要求3所述的基于卷积神经网络的医学图像配准方法，其特征在于，所述张量卷积神经网络通过前向传播对输入的图像子模块进行卷积池化后，经全连接层输出至少两幅待配准图像关于参数t对应的6个自由度参数之间的参数关系具体包括：
步骤c1：通过第一卷积层分别对每个图像子模块进行卷积操作，提取图像子模块的低级特征，并将提取的低级特征输出至第一池化层；
步骤c2：通过第一池化层对所述低级特征进行池化处理，缩减所述低级特征的数量，并将缩减后的低级特征输出至第二卷积层；
步骤c3：通过第二卷积层分别对每个低级特征进行卷积操作，从所述低级特征中提取图像子模块的主要特征，并将提取的主要特征输出至第二池化层；
步骤c4：通过第二池化层对所述主要特征进行池化处理，缩减所述主要特征的数量，并将缩减后的主要特征输出至全连接层；
步骤c5：通过所述全连接层输出：
<mrow> <mi>y</mi> <mrow> <mo>(</mo> <mrow> <msub> <mi>i</mi> <mn>1</mn> </msub> <mo>,</mo> <mn>...</mn> <mo>,</mo> <msub> <mi>i</mi> <mi>d</mi> </msub> </mrow> <mo>)</mo> </mrow> <mo>=</mo> <mi>&amp;delta;</mi> <mrow> <mo>{</mo> <mrow> <munder> <mi>&amp;Sigma;</mi> <mrow> <msub> <mi>j</mi> <mn>1</mn> </msub> <mo>,</mo> <mn>...</mn> <msub> <mi>j</mi> <mi>d</mi> </msub> </mrow> </munder> <msub> <mi>G</mi> <mn>1</mn> </msub> <mrow> <mo>&amp;lsqb;</mo> <mrow> <msub> <mi>i</mi> <mn>1</mn> </msub> <mo>,</mo> <msub> <mi>j</mi> <mn>1</mn> </msub> </mrow> <mo>&amp;rsqb;</mo> </mrow> <mn>...</mn> <msub> <mi>G</mi> <mi>d</mi> </msub> <mrow> <mo>&amp;lsqb;</mo> <mrow> <msub> <mi>i</mi> <mi>d</mi> </msub> <mo>,</mo> <msub> <mi>j</mi> <mi>d</mi> </msub> </mrow> <mo>&amp;rsqb;</mo> </mrow> <mi>x</mi> <mrow> <mo>(</mo> <mrow> <msub> <mi>j</mi> <mn>1</mn> </msub> <mo>,</mo> <mn>...</mn> <msub> <mi>j</mi> <mi>d</mi> </msub> </mrow> <mo>)</mo> </mrow> <mo>+</mo> <mi>b</mi> <mrow> <mo>(</mo> <mrow> <msub> <mi>i</mi> <mn>1</mn> </msub> <mo>,</mo> <mn>...</mn> <msub> <mi>i</mi> <mi>d</mi> </msub> </mrow> <mo>)</mo> </mrow> </mrow> <mo>}</mo> </mrow> </mrow>
在上述公式中，δ表示全连接层的激活函数，x(j1,...jd)是经过第二池化层池化后输出的图像子模块的主要特征，b(i1,...id)是全连接层的偏置参数；
步骤c6：通过输出层输出所述至少两幅待配准图像的6个自由度参数t{tx,ty,tz,tθ,tα,tβ}之间的参数关系：
f(Xi,w)＝(y*W1+b1)
在上述公式中，y1表示经全连接层非线性变换后输出的图像子模块的主要特征，W1是输出层的权值矩阵参数，b1为输出层的偏置参数。
5.根据权利要求4所述的基于卷积神经网络的医学图像配准方法，其特征在于，所述以图像子模块和标签值作为训练集，对所述张量卷积神经网络进行训练还包括：根据张量卷积神经网络的输出值f(Xi,w)与标签值δt{δtx,δty,δtz,δtθ,δtα,δtβ}计算损失函数，并根据误差反方向传播算法优化张量卷积神经网络的权值参数；所述损失函数的计算公式为：
<mrow> <mi>L</mi> <mo>=</mo> <mfrac> <mn>1</mn> <mrow> <mn>2</mn> <mi>K</mi> </mrow> </mfrac> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>K</mi> </munderover> <mo>|</mo> <mo>|</mo> <msub> <mi>&amp;delta;t</mi> <mi>i</mi> </msub> <mo>-</mo> <mi>f</mi> <mrow> <mo>(</mo> <msub> <mi>x</mi> <mi>i</mi> </msub> <mo>,</mo> <mi>w</mi> <mo>)</mo> </mrow> <mo>|</mo> <msubsup> <mo>|</mo> <mn>2</mn> <mn>2</mn> </msubsup> </mrow>
在上述公式中，K是图像子模块的数量，i表示第i个待配准图像，δti表示第i个待配准图像的标签值。
6.根据权利要求5所述的基于卷积神经网络的医学图像配准方法，其特征在于，所述根据误差反方向传播算法优化张量卷积神经网络的权值参数具体包括：
步骤c7：计算输出层的误差，并优化输出层权值参数；所述误差计算公式为：
<mrow> <msubsup> <mi>&amp;delta;</mi> <mi>k</mi> <mrow> <mi>F</mi> <mn>2</mn> </mrow> </msubsup> <mo>=</mo> <msup> <mi>y</mi> <mo>&amp;prime;</mo> </msup> <mo>-</mo> <msubsup> <mi>y</mi> <mi>k</mi> <mrow> <mi>F</mi> <mn>2</mn> </mrow> </msubsup> </mrow>
上述公式中，y'表示至少两幅待配准图像的标签值δt{δtx,δty,δtz,δtθ,δtα,δtβ}，表示输出层第k个节点的至少两幅待配准图像关于参数t之间关系的实际输出，表示输出层第k个节点的至少两幅待配准图像之间的参数关系与标签值δti之间的误差；
所述输出层权值参数优化公式为：
<mrow> <msubsup> <msup> <mi>W</mi> <mo>&amp;prime;</mo> </msup> <mi>k</mi> <mrow> <mi>F</mi> <mn>2</mn> </mrow> </msubsup> <mo>=</mo> <msubsup> <mi>W</mi> <mi>k</mi> <mrow> <mi>F</mi> <mn>2</mn> </mrow> </msubsup> <mo>-</mo> <msubsup> <mi>&amp;eta;&amp;delta;</mi> <mi>k</mi> <mrow> <mi>F</mi> <mn>2</mn> </mrow> </msubsup> <msubsup> <mi>x</mi> <mi>k</mi> <mrow> <mi>F</mi> <mn>2</mn> </mrow> </msubsup> </mrow>
<mrow> <msubsup> <msup> <mi>b</mi> <mo>&amp;prime;</mo> </msup> <mi>k</mi> <mrow> <mi>F</mi> <mn>2</mn> </mrow> </msubsup> <mo>=</mo> <msubsup> <mi>b</mi> <mi>k</mi> <mrow> <mi>F</mi> <mn>2</mn> </mrow> </msubsup> <mo>-</mo> <msubsup> <mi>&amp;eta;&amp;delta;</mi> <mi>k</mi> <mrow> <mi>F</mi> <mn>2</mn> </mrow> </msubsup> </mrow>
在上述公式中，表示输出层的第k个节点的要优化的权值，表示输出层第k个节点的误差，η表示学习率，表示输出层第k个节点的输入，表示输出层的偏置参数；
步骤c8：通过全连接层将输出层的误差张量化，并根据输出层的输出优化全连接层的权值参数：
<mrow> <msup> <mi>G</mi> <mo>&amp;prime;</mo> </msup> <mo>&amp;lsqb;</mo> <msub> <mi>i</mi> <mi>k</mi> </msub> <mo>,</mo> <msub> <mi>j</mi> <mi>k</mi> </msub> <mo>&amp;rsqb;</mo> <mo>=</mo> <mi>G</mi> <mo>&amp;lsqb;</mo> <msub> <mi>i</mi> <mi>k</mi> </msub> <mo>,</mo> <msub> <mi>j</mi> <mi>k</mi> </msub> <mo>&amp;rsqb;</mo> <mo>-</mo> <msubsup> <mi>&amp;eta;&amp;delta;</mi> <mi>k</mi> <mrow> <mi>F</mi> <mn>1</mn> </mrow> </msubsup> <msubsup> <mi>x</mi> <mi>k</mi> <mrow> <mi>F</mi> <mn>1</mn> </mrow> </msubsup> </mrow>
<mrow> <msubsup> <msup> <mi>b</mi> <mo>&amp;prime;</mo> </msup> <mi>k</mi> <mrow> <mi>F</mi> <mn>1</mn> </mrow> </msubsup> <mo>=</mo> <msubsup> <mi>b</mi> <mi>k</mi> <mrow> <mi>F</mi> <mn>1</mn> </mrow> </msubsup> <mo>-</mo> <msubsup> <mi>&amp;eta;&amp;delta;</mi> <mi>k</mi> <mrow> <mi>F</mi> <mn>1</mn> </mrow> </msubsup> </mrow>
上述公式中，Gk[ik,jk]表示全连接层权值采用张量列形式存储的核张量因子，表示全连接层第k个节点的误差，表示全连接层第k个节点的输入，表示全连接层的偏置参数；
步骤c9：第二池化层根据全连接层的误差向第二卷积层输出误差图，第二卷积层根据第二池化层的输出优化卷积核参数：
<mrow> <msubsup> <msup> <mi>W</mi> <mo>&amp;prime;</mo> </msup> <mi>k</mi> <mrow> <mi>C</mi> <mn>2</mn> </mrow> </msubsup> <mo>=</mo> <msubsup> <mi>W</mi> <mi>k</mi> <mrow> <mi>C</mi> <mn>2</mn> </mrow> </msubsup> <mo>-</mo> <msubsup> <mi>&amp;eta;&amp;delta;</mi> <mi>k</mi> <mrow> <mi>C</mi> <mn>2</mn> </mrow> </msubsup> <msubsup> <mi>x</mi> <mi>k</mi> <mrow> <mi>C</mi> <mn>2</mn> </mrow> </msubsup> </mrow>
<mrow> <msubsup> <msup> <mi>b</mi> <mo>&amp;prime;</mo> </msup> <mi>k</mi> <mrow> <mi>C</mi> <mn>2</mn> </mrow> </msubsup> <mo>=</mo> <msubsup> <mi>b</mi> <mi>k</mi> <mrow> <mi>C</mi> <mn>2</mn> </mrow> </msubsup> <mo>-</mo> <msubsup> <mi>&amp;eta;&amp;delta;</mi> <mi>k</mi> <mrow> <mi>C</mi> <mn>2</mn> </mrow> </msubsup> </mrow>
上述公式中，表示第二卷积层第k个节点的权值，表示第二卷积层第k个节点的误差，表示第二卷积层第k个节点的输入，表示第二卷积层的偏置参数。
7.根据权利要求6所述的基于卷积神经网络的医学图像配准方法，其特征在于，所述以图像子模块和标签值作为训练集，对所述张量卷积神经网络进行训练还包括：根据输出值f(Xi,w)与标签值δt{δtx,δty,δtz,δtθ,δtα,δtβ}之间的误差大小判断损失函数是否达到最优值，如果没有达到最优值，则重新输入图像子模块和标签值；如果达到最优值，保存所述张量卷积神经网络的权值参数。
8.一种基于卷积神经网络的医学图像配准系统，其特征在于，包括：
张量网络构建模块：用于在卷积神经网络的全连接层的权值矩阵上引入张量列，得到张量卷积神经网络；
图像获取模块：用于获取具有参数t的至少两幅待配准图像，并获取所述至少两幅待配准图像的图像子模块；其中，所述参数t表示每幅待配准图像对应的3D模型刚体变换参数，所述图像子模块是至少两幅待配准图像在局部的差值；
图像配准模块：用于将所述图像子模块输入张量卷积神经网络，所述张量卷积神经网络根据图像子模块计算所述至少两幅待配准图像之间关于参数t的参数关系，并根据所述参数关系对至少两幅待配准图像进行配准。
9.根据权利要求8所述的基于卷积神经网络的医学图像配准系统，其特征在于，所述图像获取模块包括：
图像采集单元：用于采集图像序列数据集，利用三维重建技术将所述图像序列数据集进行三维重建，构造图像的3D模型；
图像重建单元：用于通过数字重建放射影像成像技术分别获取图像的3D模型在t1、t2状态下具有参数t的至少两幅待配准图像；其中，t包括六个自由度参数tx,ty,tz,tθ,tα,tβ，tx、ty、tz依次表示3D模型刚体变换中沿X轴、Y轴、Z轴的平移参数，tθ、tα、tβ依次表示3D模型刚体变换中绕Z轴、X轴、Y轴的旋转参数；
图像预处理单元：用于对所述至少两幅待配准图像进行预处理，分别获得至少两幅待配准图像的图像子模块和标签值δt{δtx,δty,δtz,δtθ,δtα,δtβ}；其中，δt{δtx,δty,δtz,δtθ,δtα,δtβ}是至少两幅待配准图像各自对应的六个自由度参数tx,ty,tz,tθ,tα,tβ之间的差值。
10.根据权利要求9所述的基于卷积神经网络的医学图像配准系统，其特征在于，还包括网络训练模块，所述网络训练模块用于以所述图像子模块和标签值作为训练集，对所述张量卷积神经网络进行训练，所述张量卷积神经网络通过前向传播对输入的图像子模块进行卷积池化后，经全连接层输出两幅待配准图像关于参数t对应的6个自由度之间的参数关系。
11.根据权利要求10所述的基于卷积神经网络的医学图像配准系统，其特征在于，所述网络训练模块包括：
第一卷积单元：用于通过第一卷积层分别对每个图像子模块进行卷积操作，提取图像子模块的低级特征，并将提取的低级特征输出至第一池化层；
第一池化单元：用于通过第一池化层对所述低级特征进行池化处理，缩减所述低级特征的数量，并将缩减后的低级特征输出至第二卷积层；
第二卷积单元：用于通过第二卷积层分别对每个低级特征进行卷积操作，从所述低级特征中提取图像子模块的主要特征，并将提取的主要特征输出至第二池化层；
第二池化单元：用于通过第二池化层对所述主要特征进行池化处理，缩减所述主要特征的数量，并将缩减后的主要特征输出至全连接层；
全连接输出单元：用于通过所述全连接层输出：
<mrow> <mi>y</mi> <mrow> <mo>(</mo> <msub> <mi>i</mi> <mn>1</mn> </msub> <mo>,</mo> <mo>...</mo> <mo>,</mo> <msub> <mi>i</mi> <mi>d</mi> </msub> <mo>)</mo> </mrow> <mo>=</mo> <mi>&amp;delta;</mi> <mo>{</mo> <munder> <mo>&amp;Sigma;</mo> <mrow> <msub> <mi>j</mi> <mn>1</mn> </msub> <mo>,</mo> <mo>...</mo> <msub> <mi>j</mi> <mi>d</mi> </msub> </mrow> </munder> <msub> <mi>G</mi> <mn>1</mn> </msub> <mo>&amp;lsqb;</mo> <msub> <mi>i</mi> <mn>1</mn> </msub> <mo>,</mo> <msub> <mi>j</mi> <mn>1</mn> </msub> <mo>&amp;rsqb;</mo> <mo>...</mo> <msub> <mi>G</mi> <mi>d</mi> </msub> <mo>&amp;lsqb;</mo> <msub> <mi>i</mi> <mi>d</mi> </msub> <mo>,</mo> <msub> <mi>j</mi> <mi>d</mi> </msub> <mo>&amp;rsqb;</mo> <mi>x</mi> <mrow> <mo>(</mo> <msub> <mi>j</mi> <mn>1</mn> </msub> <mo>,</mo> <mo>...</mo> <msub> <mi>j</mi> <mi>d</mi> </msub> <mo>)</mo> </mrow> <mo>+</mo> <mi>b</mi> <mrow> <mo>(</mo> <msub> <mi>i</mi> <mn>1</mn> </msub> <mo>,</mo> <mo>...</mo> <msub> <mi>i</mi> <mi>d</mi> </msub> <mo>)</mo> </mrow> <mo>}</mo> </mrow>
在上述公式中，δ表示全连接层的激活函数，x(j1,...jd)是经过第二池化层池化后输出的图像子模块的主要特征，b(i1,...id)是全连接层的偏置参数；
参数关系输出单元：用于通过输出层输出所述至少两幅待配准图像的6个自由度参数t{tx,ty,tz,tθ,tα,tβ}之间的参数关系：
f(Xi,w)＝(y*W1+b1)
在上述公式中，y1表示经全连接层非线性变换后输出的图像子模块的主要特征，W1是输出层的权值矩阵参数，b1为输出层的偏置参数。
12.根据权利要求11所述的基于卷积神经网络的医学图像配准系统，其特征在于，还包括：
差值计算模块：用于根据张量卷积神经网络的输出值f(Xi,w)与标签值δt{δtx,δty,δtz,δtθ,δtα,δtβ}计算损失函数；
权值优化模块：用于根据误差反方向传播算法优化张量卷积神经网络的权值参数；所述损失函数的计算公式为：
<mrow> <mi>L</mi> <mo>=</mo> <mfrac> <mn>1</mn> <mrow> <mn>2</mn> <mi>K</mi> </mrow> </mfrac> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>K</mi> </munderover> <mo>|</mo> <mo>|</mo> <msub> <mi>&amp;delta;t</mi> <mi>i</mi> </msub> <mo>-</mo> <mi>f</mi> <mrow> <mo>(</mo> <msub> <mi>x</mi> <mi>i</mi> </msub> <mo>,</mo> <mi>w</mi> <mo>)</mo> </mrow> <mo>|</mo> <msubsup> <mo>|</mo> <mn>2</mn> <mn>2</mn> </msubsup> </mrow>
在上述公式中，K是图像子模块的数量，i表示第i个待配准图像，δti表示第i个待配准图像的标签值。
13.根据权利要求12所述的基于卷积神经网络的医学图像配准系统，其特征在于，所述权值优化模块包括：
输出层误差计算单元：用于计算输出层的误差，并优化输出层权值参数；所述误差计算公式为：
<mrow> <msubsup> <mi>&amp;delta;</mi> <mi>k</mi> <mrow> <mi>F</mi> <mn>2</mn> </mrow> </msubsup> <mo>=</mo> <msup> <mi>y</mi> <mo>&amp;prime;</mo> </msup> <mo>-</mo> <msubsup> <mi>y</mi> <mi>k</mi> <mrow> <mi>F</mi> <mn>2</mn> </mrow> </msubsup> </mrow>
上述公式中，y'表示至少两幅待配准图像的标签值δt{δtx,δty,δtz,δtθ,δtα,δtβ}，表示输出层第k个节点的至少两幅待配准图像关于参数t之间关系的实际输出，表示输出层第k个节点的至少两幅待配准图像之间的参数关系与标签值δti之间的误差；
所述输出层权值参数优化公式为：
<mrow> <msubsup> <msup> <mi>W</mi> <mo>&amp;prime;</mo> </msup> <mi>k</mi> <mrow> <mi>F</mi> <mn>2</mn> </mrow> </msubsup> <mo>=</mo> <msubsup> <mi>W</mi> <mi>k</mi> <mrow> <mi>F</mi> <mn>2</mn> </mrow> </msubsup> <mo>-</mo> <msubsup> <mi>&amp;eta;&amp;delta;</mi> <mi>k</mi> <mrow> <mi>F</mi> <mn>2</mn> </mrow> </msubsup> <msubsup> <mi>x</mi> <mi>k</mi> <mrow> <mi>F</mi> <mn>2</mn> </mrow> </msubsup> </mrow>
<mrow> <msubsup> <msup> <mi>b</mi> <mo>&amp;prime;</mo> </msup> <mi>k</mi> <mrow> <mi>F</mi> <mn>2</mn> </mrow> </msubsup> <mo>=</mo> <msubsup> <mi>b</mi> <mi>k</mi> <mrow> <mi>F</mi> <mn>2</mn> </mrow> </msubsup> <mo>-</mo> <msubsup> <mi>&amp;eta;&amp;delta;</mi> <mi>k</mi> <mrow> <mi>F</mi> <mn>2</mn> </mrow> </msubsup> </mrow>
在上述公式中，表示输出层的第k个节点的要优化的权值，表示输出层第k个节点的误差，η表示学习率，表示输出层第k个节点的输入，表示输出层的偏置参数；
全连接层优化单元：用于通过全连接层将输出层的误差张量化，并根据输出层的输出优化全连接层的权值参数：
<mrow> <msup> <mi>G</mi> <mo>&amp;prime;</mo> </msup> <mo>&amp;lsqb;</mo> <msub> <mi>i</mi> <mi>k</mi> </msub> <mo>,</mo> <msub> <mi>j</mi> <mi>k</mi> </msub> <mo>&amp;rsqb;</mo> <mo>=</mo> <mi>G</mi> <mo>&amp;lsqb;</mo> <msub> <mi>i</mi> <mi>k</mi> </msub> <mo>,</mo> <msub> <mi>j</mi> <mi>k</mi> </msub> <mo>&amp;rsqb;</mo> <mo>-</mo> <msubsup> <mi>&amp;eta;&amp;delta;</mi> <mi>k</mi> <mrow> <mi>F</mi> <mn>1</mn> </mrow> </msubsup> <msubsup> <mi>x</mi> <mi>k</mi> <mrow> <mi>F</mi> <mn>1</mn> </mrow> </msubsup> </mrow>
<mrow> <msubsup> <msup> <mi>b</mi> <mo>&amp;prime;</mo> </msup> <mi>k</mi> <mrow> <mi>F</mi> <mn>1</mn> </mrow> </msubsup> <mo>=</mo> <msubsup> <mi>b</mi> <mi>k</mi> <mrow> <mi>F</mi> <mn>1</mn> </mrow> </msubsup> <mo>-</mo> <msubsup> <mi>&amp;eta;&amp;delta;</mi> <mi>k</mi> <mrow> <mi>F</mi> <mn>1</mn> </mrow> </msubsup> </mrow>
上述公式中，Gk[ik,jk]表示全连接层权值采用张量列形式存储的核张量因子，表示全连接层第k个节点的误差，表示全连接层第k个节点的输入，表示全连接层的偏置参数；
第二卷积层优化单元：用于第二池化层根据全连接层的误差向第二卷积层输出误差图，第二卷积层根据第二池化层的输出优化卷积核参数：
<mrow> <msubsup> <msup> <mi>W</mi> <mo>&amp;prime;</mo> </msup> <mi>k</mi> <mrow> <mi>C</mi> <mn>2</mn> </mrow> </msubsup> <mo>=</mo> <msubsup> <mi>W</mi> <mi>k</mi> <mrow> <mi>C</mi> <mn>2</mn> </mrow> </msubsup> <mo>-</mo> <msubsup> <mi>&amp;eta;&amp;delta;</mi> <mi>k</mi> <mrow> <mi>C</mi> <mn>2</mn> </mrow> </msubsup> <msubsup> <mi>x</mi> <mi>k</mi> <mrow> <mi>C</mi> <mn>2</mn> </mrow> </msubsup> </mrow>
<mrow> <msubsup> <msup> <mi>b</mi> <mo>&amp;prime;</mo> </msup> <mi>k</mi> <mrow> <mi>C</mi> <mn>2</mn> </mrow> </msubsup> <mo>=</mo> <msubsup> <mi>b</mi> <mi>k</mi> <mrow> <mi>C</mi> <mn>2</mn> </mrow> </msubsup> <mo>-</mo> <msubsup> <mi>&amp;eta;&amp;delta;</mi> <mi>k</mi> <mrow> <mi>C</mi> <mn>2</mn> </mrow> </msubsup> </mrow>
上述公式中，表示第二卷积层第k个节点的权值，表示第二卷积层第k个节点的误差，表示第二卷积层第k个节点的输入，表示第二卷积层的偏置参数。
14.根据权利要求13所述的基于卷积神经网络的医学图像配准系统，其特征在于，还包括：
误差判断模块：用于根据输出值f(Xi,w)与标签值δt{δtx,δty,δtz,δtθ,δtα,δtβ}之间的误差大小判断损失函数是否达到最优值，如果没有达到最优值，则重新输入图像子模块和标签值；如果达到最优值，通过参数存储模块保存所述张量卷积神经网络的权值参数；
参数存储模块：用于在张量卷积神经网络训练结束后，保存所述张量卷积神经网络的权值参数。
15.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述1至7任一项所述的基于卷积神经网络的医学图像配准方法的以下操作：
步骤a：在卷积神经网络的全连接层的权值矩阵上引入张量列，得到张量卷积神经网络；
步骤b：获取具有参数t的至少两幅待配准图像，并获取所述至少两幅待配准图像的图像子模块；其中，所述参数t表示每幅待配准图像对应的3D模型刚体变换参数，所述图像子模块是至少两幅待配准图像在局部的差值；
步骤c：将所述图像子模块输入张量卷积神经网络，所述张量卷积神经网络根据图像子模块计算所述至少两幅待配准图像之间关于参数t的参数关系，并根据所述参数关系对至少两幅待配准图像进行配准。
CN201711017916.8A 2017-10-26 2017-10-26 一种基于卷积神经网络的医学图像配准方法、系统及电子设备 Pending CN107798697A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711017916.8A CN107798697A (zh) 2017-10-26 2017-10-26 一种基于卷积神经网络的医学图像配准方法、系统及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711017916.8A CN107798697A (zh) 2017-10-26 2017-10-26 一种基于卷积神经网络的医学图像配准方法、系统及电子设备

Publications (1)

Publication Number Publication Date
CN107798697A true CN107798697A (zh) 2018-03-13

Family

ID=61547807

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711017916.8A Pending CN107798697A (zh) 2017-10-26 2017-10-26 一种基于卷积神经网络的医学图像配准方法、系统及电子设备

Country Status (1)

Country Link
CN (1) CN107798697A (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108596961A (zh) * 2018-04-17 2018-09-28 浙江工业大学 基于三维卷积神经网络的点云配准方法
CN109035316A (zh) * 2018-08-28 2018-12-18 北京安德医智科技有限公司 核磁共振图像序列的配准方法及设备
CN109064502A (zh) * 2018-07-11 2018-12-21 西北工业大学 基于深度学习和人工设计特征相结合的多源图像配准方法
CN109559296A (zh) * 2018-10-08 2019-04-02 广州市本真网络科技有限公司 基于全卷积神经网络和互信息的医学图像配准方法及系统
CN109584283A (zh) * 2018-11-29 2019-04-05 合肥中科离子医学技术装备有限公司 一种基于卷积神经网络的医学图像配准算法
CN109745062A (zh) * 2019-01-30 2019-05-14 腾讯科技（深圳）有限公司 Ct图像的生成方法、装置、设备及存储介质
CN109767461A (zh) * 2018-12-28 2019-05-17 上海联影智能医疗科技有限公司 医学影像配准方法、装置、计算机设备和存储介质
CN110503110A (zh) * 2019-08-12 2019-11-26 北京影谱科技股份有限公司 特征匹配方法和装置
CN110827335A (zh) * 2019-11-01 2020-02-21 北京推想科技有限公司 乳腺影像配准方法和装置
CN110909865A (zh) * 2019-11-18 2020-03-24 福州大学 边缘计算中基于分层张量分解的联邦学习方法
CN111354025A (zh) * 2018-12-21 2020-06-30 通用电气公司 用于基于深度学习的自动脊柱配准和标记传播的系统和方法
CN113077001A (zh) * 2021-04-07 2021-07-06 西南大学 一种基于生成型张量网络的医学图像分类系统
CN114373004A (zh) * 2022-01-13 2022-04-19 强联智创（北京）科技有限公司 一种基于动态级联网络的无监督三维图像刚性配准方法
US12016717B2 (en) 2019-01-30 2024-06-25 Tencent Technology (Shenzhen) Company Limited CT image generation method and apparatus, computer device, and computer-readable storage medium

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106373109A (zh) * 2016-08-31 2017-02-01 南方医科大学 一种医学图像模态合成的方法
CN106651750A (zh) * 2015-07-22 2017-05-10 美国西门子医疗解决公司 用于基于卷积神经网络回归的2d/3d图像配准的方法和系统
CN106778745A (zh) * 2016-12-23 2017-05-31 深圳先进技术研究院 一种车牌识别方法及装置、用户设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106651750A (zh) * 2015-07-22 2017-05-10 美国西门子医疗解决公司 用于基于卷积神经网络回归的2d/3d图像配准的方法和系统
CN106373109A (zh) * 2016-08-31 2017-02-01 南方医科大学 一种医学图像模态合成的方法
CN106778745A (zh) * 2016-12-23 2017-05-31 深圳先进技术研究院 一种车牌识别方法及装置、用户设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ALEXANDER NOVIKOV ET AL.: ""Tensorizing Neural Networks"", 《ARXIV:1509.06569V2》 *

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108596961A (zh) * 2018-04-17 2018-09-28 浙江工业大学 基于三维卷积神经网络的点云配准方法
CN108596961B (zh) * 2018-04-17 2021-11-23 浙江工业大学 基于三维卷积神经网络的点云配准方法
CN109064502A (zh) * 2018-07-11 2018-12-21 西北工业大学 基于深度学习和人工设计特征相结合的多源图像配准方法
CN109035316A (zh) * 2018-08-28 2018-12-18 北京安德医智科技有限公司 核磁共振图像序列的配准方法及设备
CN109559296A (zh) * 2018-10-08 2019-04-02 广州市本真网络科技有限公司 基于全卷积神经网络和互信息的医学图像配准方法及系统
CN109559296B (zh) * 2018-10-08 2020-08-25 广州市大智网络科技有限公司 基于全卷积神经网络和互信息的医学图像配准方法及系统
CN109584283A (zh) * 2018-11-29 2019-04-05 合肥中科离子医学技术装备有限公司 一种基于卷积神经网络的医学图像配准算法
CN111354025A (zh) * 2018-12-21 2020-06-30 通用电气公司 用于基于深度学习的自动脊柱配准和标记传播的系统和方法
CN111354025B (zh) * 2018-12-21 2023-12-15 通用电气公司 用于基于深度学习的自动脊柱配准和标记传播的系统和方法
CN109767461B (zh) * 2018-12-28 2021-10-22 上海联影智能医疗科技有限公司 医学影像配准方法、装置、计算机设备和存储介质
CN109767461A (zh) * 2018-12-28 2019-05-17 上海联影智能医疗科技有限公司 医学影像配准方法、装置、计算机设备和存储介质
CN109745062A (zh) * 2019-01-30 2019-05-14 腾讯科技（深圳）有限公司 Ct图像的生成方法、装置、设备及存储介质
US12016717B2 (en) 2019-01-30 2024-06-25 Tencent Technology (Shenzhen) Company Limited CT image generation method and apparatus, computer device, and computer-readable storage medium
CN110503110A (zh) * 2019-08-12 2019-11-26 北京影谱科技股份有限公司 特征匹配方法和装置
CN110827335B (zh) * 2019-11-01 2020-10-16 北京推想科技有限公司 乳腺影像配准方法和装置
CN110827335A (zh) * 2019-11-01 2020-02-21 北京推想科技有限公司 乳腺影像配准方法和装置
CN110909865B (zh) * 2019-11-18 2022-08-30 福州大学 边缘计算中基于分层张量分解的联邦学习方法
CN110909865A (zh) * 2019-11-18 2020-03-24 福州大学 边缘计算中基于分层张量分解的联邦学习方法
CN113077001A (zh) * 2021-04-07 2021-07-06 西南大学 一种基于生成型张量网络的医学图像分类系统
CN114373004A (zh) * 2022-01-13 2022-04-19 强联智创（北京）科技有限公司 一种基于动态级联网络的无监督三维图像刚性配准方法
CN114373004B (zh) * 2022-01-13 2024-04-02 强联智创（北京）科技有限公司 一种动态图像配准方法

Similar Documents

Publication Publication Date Title
CN107798697A (zh) 一种基于卷积神经网络的医学图像配准方法、系统及电子设备
Wang et al. Cross self-attention network for 3D point cloud
CN109949255A (zh) 图像重建方法及设备
CN109544534A (zh) 一种病灶图像检测装置、方法和计算机可读存储介质
CN108171762A (zh) 一种深度学习的压缩感知同类图像快速重构系统与方法
CN107563497A (zh) 计算装置和方法
CN107679522A (zh) 基于多流lstm的动作识别方法
CN108550115A (zh) 一种图像超分辨率重建方法
CN107154043A (zh) 一种基于3dcnn的肺结节假阳性样本抑制方法
CN106408610A (zh) 用边缘空间深度神经网络进行解剖对象检测的方法和系统
Rezaei et al. Whole heart and great vessel segmentation with context-aware of generative adversarial networks
CN107610146A (zh) 图像场景分割方法、装置、计算设备及计算机存储介质
CN109783910A (zh) 一种利用生成对抗网络加速的结构优化设计方法
CN110210524A (zh) 一种图像增强模型的训练方法、图像增强方法及装置
CN108108814A (zh) 一种深度神经网络的训练方法
CN104103042B (zh) 一种基于局部相似性和局部选择的非凸压缩感知图像重构方法
CN111862261B (zh) 一种flair模态磁共振影像生成方法及系统
CN114782503A (zh) 一种基于多尺度特征相似度约束的点云配准方法及系统
CN113034371B (zh) 一种基于特征嵌入的红外与可见光图像融合方法
CN117036162B (zh) 轻量级胸部ct图像超分辨率的残差特征注意力融合方法
CN114612535A (zh) 基于偏微分对抗学习的图像配准方法、系统、设备和介质
Astono et al. [Regular Paper] Adjacent Network for Semantic Segmentation of Liver CT Scans
CN114820636A (zh) 一种三维医学图像分割模型及其训练方法和应用
Sun et al. Autopath: image-specific inference for 3D segmentation
CN107330912A (zh) 一种基于多特征融合的稀疏表示的目标追踪方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180313

RJ01 Rejection of invention patent application after publication