CN112700535A - 一种面向智能医疗辅助诊断的超声影像三维重建方法 - Google Patents

Abstract

本发明公开了一种面向智能医疗辅助诊断的超声影像三维重建方法，本发明的特点是无监督学习和训练，根据输入的超声影像序列，能够得到其三维结构，其中设计三个卷积神经网络A、B和C，通过训练得到网络参数，进一步得到超声影像的三维结构。利用本发明能够有效地实现超声影像的三维重建，在人工智能的辅助诊断中，充分发挥辅助诊断的作用，3D可视化的重建结果，能够提高辅助诊断的效率。

Description

一种面向智能医疗辅助诊断的超声影像三维重建方法

技术领域

本发明属于计算机技术领域中的超声影像智能辅助诊断技术，尤其涉及一种面向智能医疗辅助诊断的超声影像三维重建方法。

背景技术

近年来，人工智能技术已为信息领域带来了重要的技术革命，影像三维重建技术是医疗辅助诊断的关键技术，其研究意义重大。

最近，面向医疗辅助诊断的技术研究中，在影像三维重建技术的研究中，出现了一些有关CT影像、核磁影像等的三维重建技术，对于超声影像的三维重建，由于摄象机的参数恢复存在一定的难度，导致目前超声影像的三维重建技术的研究，尚未成熟。如何建立有效的深度学习的网络模型，有效解决超声影像的三维重建问题，这是亟待解决的实际问题。

发明内容

本发明的目的是提供一种为智能医疗辅助诊断的超声影像三维重建方法，该方法在人工智能的辅助诊断中，充分发挥辅助诊断的作用，3D可视化的重建结果，可以提高疾病诊断的效率。

实现本发明目的的具体技术方案是：

一种面向智能医疗辅助诊断的超声影像三维重建方法，该方法输入一个超声序列，其影像分辨率为M×N，100≤M≤1500，100≤N≤1500，三维重建的过程具体包括以下步骤：

步骤1：构建数据集

(a)构建自然图像数据集D

选取一个自然图像网站，要求具有图像序列及对应的摄像机内部参数，从该网站下载a个图像序列及序列对应的内部参数,1≤a≤20,对于每个图像序列，每相邻3帧图像记为图像b、图像c和图像d，将图像b和图像d按照颜色通道进行拼接，得到图像τ，由图像c与图像τ构成一个数据元素，图像c为自然目标图像，图像c的采样视点作为目标视点，图像b、图像c和图像d的内部参数均为e_t(t＝1，2，3，4)，其中e₁为水平焦距，e₂为垂直焦距，e₃及e₄是主点坐标的两个分量；如果同一图像序列中最后剩余图像不足3帧，则舍弃；利用所有序列构建数据集D，数据集D有f个元素，而且3000≤f≤20000；

(b)构建超声影像数据集E

采样g个超声影像序列，其中1≤g≤20，对于每个序列，每相邻3帧影像记为影像i、影像j和影像k，将影像i和影像k按照颜色通道进行拼接得到影像π，由影像j与影像π构成一个数据元素，影像j为超声目标影像,影像j的采样视点作为目标视点，如果同一影像序列中最后剩余影像不足3帧，则舍弃，利用所有序列构建数据集E，数据集E有F个元素，而且1000≤F≤20000；

步骤2：构建神经网络

神经网络处理的图像或影像的分辨率均为p×o，p为宽度，o为高度，以像素为单位，100≤o≤2000，100≤p≤2000；

(1)网络A的结构

张量H作为输入，尺度为α×o×p×3，张量I作为输出,尺度为α×o×p×1，α为批次数量；

网络A由编码器和解码器组成，对于张量H，依次经过编码和解码处理后，获得输出张量I；

编码器由5个残差单元组成，第1至5个单元分别包括2，3，4，6，3个残差模块，每个残差模块进行3次卷积，卷积核的形状均为3×3，卷积核的个数分别是64，64，128，256，512，其中，第一个残差单元之后，包含一个最大池化层；

解码器由6个解码单元组成，每个解码单元均包括反卷积和卷积两步处理，反卷积和卷积处理的卷积核形状、个数都相同，第1至6个解码单元卷积核的形状均为3×3，卷积核的个数分别是512，256，128，64，32，16，编码器与解码器的网络层之间进行跨层连接，跨层连接的对应关系为：1与4、2与3、3与2、4与1；

(2)网络B的结构

张量J和张量K作为输入，尺度分别为α×o×p×3和α×o×p×6，张量L和张量O作为输出，尺度分别为α×2×6和α×4×1，α为批次数量；

网络B由模块P和模块Q构成，共有11层卷积单元,首先，将张量J和张量K按照最后一个通道进行拼接，获得尺度为α×o×p×9的张量，对于所述张量经过模块P和模块Q处理后，分别获得输出张量L和张量O；

模块Q与模块P共享前4层卷积单元，前4层卷积单元结构为:前两层单元中卷积核尺度分别为7×7、5×5，第3层到第4层的卷积核尺度均为3×3，1至4层的卷积核个数依次为16、32、64、128；

对于模块P，除了共享4层外，占据网络B的第5层到第7层卷积单元，卷积核尺度均为3×3,卷积核个数均为256，第7层的处理结果利用12个3×3的卷积核进行卷积处理后，将12个结果顺次排成2行，得到张量L的结果；

对于模块Q，除了共享网络B的1至4层外，还占据网络B的第8至11层卷积单元，网络B的第2层输出作为网络B的第8层输入，第8至11层卷积单元中卷积核的形状均为3×3，卷积核个数均为256，第11层的结果利用4个3×3的卷积核进行卷积处理后，从4个通道得到张量O的结果；

(3)网络C的结构

张量R和张量S作为网络输入，尺度均为α×o×p×3，张量T作为网络输出，尺度为α×o×p×2，α为批次数量；

网络C设计为编码和解码结构，首先，将张量R和张量S按照最后一个通道进行拼接，获得尺度为α×o×p×6的张量，对于所述张量经过编码和解码处理后，获得输出张量T；

对于编码结构，由6层编码单元组成，每层编码单元包含1次卷积处理，1次批归一化处理和1次激活处理，其中第1层编码单元采用7×7卷积核，其它层编码单元均采用3×3卷积核，第1和3层编码单元的卷积步长为1，其它层卷积步长均为2，对于每层编码单元，均采用Relu函数激活，1-6层编码单元的卷积核个数分别为16、32、64、128、256、512；

对于解码结构，由6层解码单元组成，每层解码单元由反卷积单元、连接处理单元和卷积单元构成，其中反卷积单元包括反卷积处理与Relu激活处理，1-6层反卷积核的大小均为3x3，对于第1-2层解码单元，反卷积步长为1，3-6层解码单元的反卷积步长为2，1-6层反卷积核的个数依次为512、256、128、64、32、16，连接处理单元将编码单元和对应解码单元的反卷积结果连接后，输入到卷积单元，1-5层卷积单元的卷积核大小为3x3，第6层卷积单元的卷积核大小为7x7，1-6层卷积单元的卷积步长均为2，将第6层的卷积结果经过2个3x3的卷积处理后，得到结果T；步骤3：神经网络的训练

分别将数据集D、数据集E中样本按照9:1划分为训练集和测试集，训练集中数据用于训练，测试集数据用于测试，在下列各步骤训练时，分别从对应的数据集中获取训练数据，统一缩放到分辨率p×o，输入到对应网络中，迭代优化，通过不断修改网络模型参数，使得每批次的损失达到最小；

在训练过程中，各损失的计算方法：

内部参数监督合成损失：在自然图像的网络模型参数训练中，将网络A的输出张量I作为深度，将网络B的输出结果L与训练数据的内部参数标签e_t(t＝1，2，3，4)分别作为位姿参数和摄像机内部参数，根据计算机视觉算法，利用图像b和图像d分别合成图像c视点处的两个图像，利用图像c分别与所述的两个图像，按照逐像素、逐颜色通道强度差之和计算得到；

内部参数误差损失：利用网络B的输出结果O与训练数据的内部参数标签et(t＝1，2，3，4)按照各分量差的绝对值之和计算得到；

无监督合成损失：在超声影像的网络模型参数训练中，将网络A的输出张量I作为深度，将网络B的输出张量L和张量O分别作为位姿参数和摄像机内部参数，根据计算机视觉算法，利用目标影像的两相邻影像分别合成目标影像视点处的影像，利用目标影像分别与所述目标影像视点处的影像，按照逐像素、逐颜色通道强度差之和计算得到；

(1)在数据集D上，分别对网络A及网络B的模块P训练80000次

每次从数据集D中取出训练数据，统一缩放到分辨率p×o，将图像c输入网络A，将图像c及图像τ输入网络B，对网络B的模块P进行训练，每批次的训练损失由内部参数监督合成损失计算得到；

(2)在数据集D上，对网络B的模块Q训练80000次

每次从数据集D中取出训练数据，统一缩放到分辨率p×o，将图像c输入网络A，将图像c及图像τ输入网络B，对网络B的模块Q进行训练，每批次的训练损失由内部参数监督合成损失和内部参数误差损失之和计算得到；

(3)在数据集E上，对网络B的模块Q训练80000次

每次从数据集E中取出超声训练数据，统一缩放到分辨率p×o，将影像j输入网络A，将影像j及影像π输入网络B，对网络B的模块Q进行训练，每批次的训练损失由无监督合成损失计算得到；

(4)在数据集E上，对网络B的模块P及模块Q训练80000次

训练时，每次从数据集E中取出训练数据，统一缩放到分辨率p×o，将影像j输入网络A，将影像j及影像π输入网络B，整个训练过程中，通过不断修改网络B的模块P及模块Q的参数，迭代优化，使得每批次的每幅影像的损失达到最小，每批次的训练损失由无监督合成损失计算得到；

(5)在数据集E上，对网络C和网络B的模块P及模块Q训练80000次，得到模型参数ρ

训练时，每次从数据集E中取出超声影像训练数据，统一缩放到分辨率p×o，将影像j输入网络A，将影像j及影像π输入网络B，将网络A的输出作为深度，将网络B的输出作为位姿参数和摄像机内部参数，分别根据影像i和影像k合成影像j视点处的影像，将所述合成的两张影像输入网络C，通过不断修改调整网络C、网络B的模块P以及模块Q的参数，迭代优化，使得每批次的每幅影像的损失达到最小，迭代后得到最优的网络模型参数ρ；

每批次的训练损失计算为：利用影像i和影像k合成影像j视点处影像的过程中，得到每个像素位置后，将每个像素的坐标加上网络C输出的每个像素位移结果，得到每个像素新的位置，构成合成结果影像，利用该结果影像与影像j之间的逐像素、逐颜色通道强度差之和计算；

步骤4：超声影像三维重建

利用自采样的一个超声序列影像，将每一帧影像统一缩放到分辨率p×o，使用模型参数ρ进行预测，将影像j输入网络A，将影像j及影像π输入网络B，将网络A的输出作为深度，将网络B的输出作为位姿参数和摄像机内部参数，按照下列步骤选取关键帧，序列中第一帧作为当前关键帧，依次将序列影像中的每一帧作为目标帧，根据当前关键帧，利用摄像机位姿参数和内部参数，合成目标帧视点处的影像，利用所述合成影像与目标帧之间逐像素逐颜色通道强度差之和的大小计算误差λ，再根据目标帧的相邻帧，利用摄像机位姿参数和内部参数，合成目标帧视点处的影像，利用所述合成影像与目标帧之间逐像素逐颜色通道强度差之和的大小计算误差γ，进一步利用公式(1)计算合成误差比Z，当Z大于阈值η时，1<η<2,将当前关键帧更新为此时的目标帧；

对任一目标帧，将其分辨率缩放到M×N，根据摄像机内部参数，依据计算机视觉的重建算法，计算每帧影像每个像素的摄象机坐标系中的三维坐标，进一步，将第一帧的视点作为世界坐标系的原点，再结合所有关键帧的位姿参数，利用三维空间几何变换，计算得到该序列每一帧影像每个像素的世界坐标系中的三维坐标。

利用本发明方法，可以有效地实现超声影像的三维重建，在人工智能的辅助诊断中，可以提高辅助诊断的效率，将超声的切片影像，以3D可视的效果展示出来，提高辅助诊断的效率。

附图说明

图1为本发明超声影像的空域合成误差图；

图2为本发明超声影像的三维重建结果图。

具体实施方式

实施例

下面结合附图对本发明进一步说明。

本实施例在PC机上Windows10 64位操作系统下进行实施，其硬件配置是CPU i7-9700F，内存16G，GPU NVIDIA GeForce GTX 2070 8G，深度学习库采用Tensorflow1.14，编程采用Python语言；

一种面向智能医疗辅助诊断的超声影像三维重建方法，该方法输入一个超声影像序列，分辨率为450×300，三维重建的过程具体包括以下步骤：

步骤1：构建数据集

(a)构建自然图像数据集D

选取一个自然图像网站，要求具有图像序列及对应的摄像机内部参数，从该网站下载19个图像序列及序列对应的内部参数,对于每个图像序列，每相邻3帧图像记为图像b、图像c和图像d，将图像b和图像d按照颜色通道进行拼接，得到图像τ，由图像c与图像τ构成一个数据元素，图像c为自然目标图像，图像c的采样视点作为目标视点，图像b、图像c和图像d的内部参数均为et(t＝1，2，3，4)，其中e₁为水平焦距，e₂为垂直焦距，e₃及e₄是主点坐标的两个分量；如果同一图像序列中最后剩余图像不足3帧，则舍弃；利用所有序列构建数据集D，数据集D有3600个元素；

(b)构建超声影像数据集E

采样10个超声影像序列，对于每个序列，每相邻3帧影像记为影像i、影像j和影像k，将影像i和影像k按照颜色通道进行拼接得到影像π，由影像j与影像π构成一个数据元素，影像j为超声目标影像,影像j的采样视点作为目标视点，如果同一影像序列中最后剩余影像不足3帧，则舍弃，利用所有序列构建数据集E，数据集E有1600个元素；

步骤2：构建神经网络

神经网络处理的图像或影像的分辨率均为416×128，416为宽度，128为高度，以像素为单位；

(1)网络A的结构

张量H作为输入，尺度为16×128×416×3，张量I作为输出,尺度为16×128×416×1；

网络A由编码器和解码器组成，对于张量H，依次经过编码和解码处理后，获得输出张量I；

编码器由5个残差单元组成，第1至5个单元分别包括2，3，4，6，3个残差模块，每个残差模块进行3次卷积，卷积核的形状均为3×3，卷积核的个数分别是64，64，128，256，512，其中，第一个残差单元之后，包含一个最大池化层；

解码器由6个解码单元组成，每个解码单元均包括反卷积和卷积两步处理，反卷积和卷积处理的卷积核形状、个数都相同，第1至6个解码单元卷积核的形状均为3×3，卷积核的个数分别是512，256，128，64，32，16，编码器与解码器的网络层之间进行跨层连接，跨层连接的对应关系为：1与4、2与3、3与2、4与1；

(2)网络B的结构

张量J和张量K作为输入，尺度分别为16×128×416×3和16×128×416×6，张量L和张量O作为输出，尺度分别为16×2×6和16×4×1；

网络B由模块P和模块Q构成，共有11层卷积单元,首先，将张量J和张量K按照最后一个通道进行拼接，获得尺度为16×128×416×9的张量，对于所述张量经过模块P和模块Q处理后，分别获得输出张量L和张量O；

模块Q与模块P共享前4层卷积单元，前4层卷积单元结构为:前两层单元中卷积核尺度分别为7×7、5×5，第3层到第4层的卷积核尺度均为3×3，1至4层的卷积核个数依次为16、32、64、128；

对于模块P，除了共享4层外，占据网络B的第5层到第7层卷积单元，卷积核尺度均为3×3,卷积核个数均为256，第7层的处理结果利用12个3×3的卷积核进行卷积处理后，将12个结果顺次排成2行，得到张量L的结果；

对于模块Q，除了共享网络B的1至4层外，还占据网络B的第8至11层卷积单元，网络B的第2层输出作为网络B的第8层输入，第8至11层卷积单元中卷积核的形状均为3×3，卷积核个数均为256，第11层的结果利用4个3×3的卷积核进行卷积处理后，从4个通道得到张量O的结果；

(3)网络C的结构

张量R和张量S作为网络输入，尺度均为16×128×416×3，张量T作为网络输出，尺度为16×128×416×2；

网络C设计为编码和解码结构，首先，将张量R和张量S按照最后一个通道进行拼接，获得尺度为16×128×416×6的张量，对于所述张量经过编码和解码处理后，获得输出张量T；

对于编码结构，由6层编码单元组成，每层编码单元包含1次卷积处理，1次批归一化处理和1次激活处理，其中第1层编码单元采用7×7卷积核，其它层编码单元均采用3×3卷积核，第1和3层编码单元的卷积步长为1，其它层卷积步长均为2，对于每层编码单元，均采用Relu函数激活，1-6层编码单元的卷积核个数分别为16、32、64、128、256、512；

对于解码结构，由6层解码单元组成，每层解码单元由反卷积单元、连接处理单元和卷积单元构成，其中反卷积单元包括反卷积处理与Relu激活处理，1-6层反卷积核的大小均为3x3，对于第1-2层解码单元，反卷积步长为1，3-6层解码单元的反卷积步长为2，1-6层反卷积核的个数依次为512、256、128、64、32、16，连接处理单元将编码单元和对应解码单元的反卷积结果连接后，输入到卷积单元，1-5层卷积单元的卷积核大小为3x3，第6层卷积单元的卷积核大小为7x7，1-6层卷积单元的卷积步长均为2，将第6层的卷积结果经过2个3x3的卷积处理后，得到结果T；

步骤3：神经网络的训练

分别将数据集D、数据集E中样本按照9:1划分为训练集和测试集，训练集中数据用于训练，测试集数据用于测试，在下列各步骤训练时，分别从对应的数据集中获取训练数据，统一缩放到分辨率416×128，输入到对应网络中，迭代优化，通过不断修改网络模型参数，使得每批次的损失达到最小；

在训练过程中，各损失的计算方法：

内部参数监督合成损失：在自然图像的网络模型参数训练中，将网络A的输出张量I作为深度，将网络B的输出结果L与训练数据的内部参数标签et(t＝1，2，3，4)分别作为位姿参数和摄像机内部参数，根据计算机视觉算法，利用图像b和图像d分别合成图像c视点处的两个图像，利用图像c分别与所述的两个图像，按照逐像素、逐颜色通道强度差之和计算得到；

内部参数误差损失：利用网络B的输出结果O与训练数据的内部参数标签et(t＝1，2，3，4)按照各分量差的绝对值之和计算得到；

无监督合成损失：在超声影像的网络模型参数训练中，将网络A的输出张量I作为深度，将网络B的输出张量L和张量O分别作为位姿参数和摄像机内部参数，根据计算机视觉算法，利用目标影像的相邻影像合成目标影像视点处的两个影像，利用目标影像分别与所述的两个影像，按照逐像素、逐颜色通道强度差之和计算得到；

(1)在数据集D上，分别对网络A及网络B的模块P训练80000次

每次从数据集D中取出训练数据，统一缩放到分辨率416×128，将图像c输入网络A，将图像c及图像τ输入网络B，对网络B的模块P进行训练，每批次的训练损失由内部参数监督合成损失计算得到；

(2)在数据集D上，对网络B的模块Q训练80000次

每次从数据集D中取出训练数据，统一缩放到分辨率416×128，将图像c输入网络A，将图像c及图像τ输入网络B，对网络B的模块Q进行训练，每批次的训练损失由内部参数监督合成损失和内部参数误差损失之和计算得到；

(3)在数据集E上，对网络B的模块Q训练80000次

每次从数据集E中取出超声训练数据，统一缩放到分辨率416×128，将影像j输入网络A，将影像j及影像π输入网络B，对网络B的模块Q进行训练，每批次的训练损失由无监督合成损失计算得到；

(4)在数据集E上，对网络B的模块P及模块Q训练80000次

训练时，每次从数据集E中取出训练数据，统一缩放到分辨率416×128，将影像j输入网络A，将影像j及影像π输入网络B，整个训练过程中，通过不断修改网络B的模块P及模块Q的参数，迭代优化，使得每批次的每幅影像的损失达到最小，每批次的训练损失由无监督合成损失计算得到；

(5)在数据集E上，对网络C和网络B的模块P及模块Q训练80000次，得到模型参数ρ

训练时，每次从数据集E中取出超声影像训练数据，统一缩放到分辨率416×128，将影像j输入网络A，将影像j及影像π输入网络B，将网络A的输出作为深度，将网络B的输出作为位姿参数和摄像机内部参数，分别根据影像i和影像k合成影像j视点处的影像，将所述合成的两张影像输入网络C，通过不断修改调整网络C、网络B的模块P以及模块Q的参数，迭代优化，使得每批次的每幅影像的损失达到最小，迭代后得到最优的网络模型参数ρ；

每批次的训练损失计算为：利用影像i和影像k合成影像j视点处影像的过程中，得到每个像素位置后，将每个像素的坐标加上网络C输出的每个像素位移结果，得到每个像素新的位置，构成合成结果影像，利用该结果影像与影像j之间的逐像素、逐颜色通道强度差之和计算；

步骤4：超声影像三维重建

利用自采样的一个超声序列影像，将每一帧影像统一缩放到分辨率416×128，使用模型参数ρ进行预测，将影像j输入网络A，将影像j及影像π输入网络B，将网络A的输出作为深度，将网络B的输出作为位姿参数和摄像机内部参数，按照下列步骤选取关键帧，序列中第一帧作为当前关键帧，依次将序列影像中的每一帧作为目标帧，根据当前关键帧，利用摄像机位姿参数和内部参数，合成目标帧视点处的影像，利用所述合成影像与目标帧之间逐像素逐颜色通道强度差之和的大小计算误差λ，再根据目标帧的相邻帧，利用摄像机位姿参数和内部参数，合成目标帧视点处的影像，利用所述合成影像与目标帧之间逐像素逐颜色通道强度差之和的大小计算误差γ，进一步利用公式(1)计算合成误差比Z，当Z大于阈值1.2时，将当前关键帧更新为此时的目标帧；

对任一目标帧，将其分辨率缩放到450×300，根据摄像机内部参数，依据计算机视觉的重建算法，计算每帧影像每个像素的摄象机坐标系中的三维坐标，进一步，将第一帧的视点作为世界坐标系的原点，再结合所有关键帧的位姿参数，利用三维空间几何变换，计算得到该序列每一帧影像每个像素的世界坐标系中的三维坐标。

在实施例中，实验的超参数如下：优化器采用Adam优化器，各个网络学习率均取0.0002，动量系数为0.9；

本实施例在数据集D和E的训练集上进行网络训练，并在数据集E的测试集上进行测试；图1为超声影像合成误差图，其计算根据公式(1)得到，图2表示超声影像的三维重建结果，为了能够可视三维重建的结果，采用DenseNet对超声影像进行分割，产生3D的重建结果，从以上结果中可看出本发明的有效性。

Claims (1)

1.一种面向智能医疗辅助诊断的超声影像三维重建方法，其特征在于，该方法输入一个超声序列，其影像分辨率为M×N，100≤M≤1500，100≤N≤1500，三维重建的过程具体包括以下步骤：

步骤1：构建数据集

(a)构建自然图像数据集D

选取一个自然图像网站，要求具有图像序列及对应的摄像机内部参数，从该网站下载a个图像序列及序列对应的内部参数,1≤a≤20,对于每个图像序列，每相邻3帧图像记为图像b、图像c和图像d，将图像b和图像d按照颜色通道进行拼接，得到图像τ，由图像c与图像τ构成一个数据元素，图像c为自然目标图像，图像c的采样视点作为目标视点，图像b、图像c和图像d的内部参数均为e_t(t＝1，2，3，4)，其中e₁为水平焦距，e₂为垂直焦距，e₃及e₄是主点坐标的两个分量；如果同一图像序列中最后剩余图像不足3帧，则舍弃；利用所有序列构建数据集D，数据集D有f个元素，而且3000≤f≤20000；

(b)构建超声影像数据集E

采样g个超声影像序列，其中1≤g≤20，对于每个序列，每相邻3帧影像记为影像i、影像j和影像k，将影像i和影像k按照颜色通道进行拼接得到影像π，由影像j与影像π构成一个数据元素，影像j为超声目标影像,影像j的采样视点作为目标视点，如果同一影像序列中最后剩余影像不足3帧，则舍弃，利用所有序列构建数据集E，数据集E有F个元素，而且1000≤F≤20000；

步骤2：构建神经网络

神经网络处理的图像或影像的分辨率均为p×o，p为宽度，o为高度，以像素为单位，100≤o≤2000，100≤p≤2000；

(1)网络A的结构

张量H作为输入，尺度为α×o×p×3，张量I作为输出,尺度为α×o×p×1，α为批次数量；

网络A由编码器和解码器组成，对于张量H，依次经过编码和解码处理后，获得输出张量I；

编码器由5个残差单元组成，第1至5个单元分别包括2，3，4，6，3个残差模块，每个残差模块进行3次卷积，卷积核的形状均为3×3，卷积核的个数分别是64，64，128，256，512，其中，第一个残差单元之后，包含一个最大池化层；

解码器由6个解码单元组成，每个解码单元均包括反卷积和卷积两步处理，反卷积和卷积处理的卷积核形状、个数都相同，第1至6个解码单元卷积核的形状均为3×3，卷积核的个数分别是512，256，128，64，32，16，编码器与解码器的网络层之间进行跨层连接，跨层连接的对应关系为：1与4、2与3、3与2、4与1；

(2)网络B的结构

张量J和张量K作为输入，尺度分别为α×o×p×3和α×o×p×6，张量L和张量O作为输出，尺度分别为α×2×6和α×4×1，α为批次数量；

网络B由模块P和模块Q构成，共有11层卷积单元,首先，将张量J和张量K按照最后一个通道进行拼接，获得尺度为α×o×p×9的张量，对于所述张量经过模块P和模块Q处理后，分别获得输出张量L和张量O；

模块Q与模块P共享前4层卷积单元，前4层卷积单元结构为:前两层单元中卷积核尺度分别为7×7、5×5，第3层到第4层的卷积核尺度均为3×3，1至4层的卷积核个数依次为16、32、64、128；

对于模块P，除了共享4层外，占据网络B的第5层到第7层卷积单元，卷积核尺度均为3×3,卷积核个数均为256，第7层的处理结果利用12个3×3的卷积核进行卷积处理后，将12个结果顺次排成2行，得到张量L的结果；

对于模块Q，除了共享网络B的1至4层外，还占据网络B的第8至11层卷积单元，网络B的第2层输出作为网络B的第8层输入，第8至11层卷积单元中卷积核的形状均为3×3，卷积核个数均为256，第11层的结果利用4个3×3的卷积核进行卷积处理后，从4个通道得到张量O的结果；

(3)网络C的结构

张量R和张量S作为网络输入，尺度均为α×o×p×3，张量T作为网络输出，尺度为α×o×p×2，α为批次数量；

网络C设计为编码和解码结构，首先，将张量R和张量S按照最后一个通道进行拼接，获得尺度为α×o×p×6的张量，对于所述张量经过编码和解码处理后，获得输出张量T；

对于编码结构，由6层编码单元组成，每层编码单元包含1次卷积处理，1次批归一化处理和1次激活处理，其中第1层编码单元采用7×7卷积核，其它层编码单元均采用3×3卷积核，第1和3层编码单元的卷积步长为1，其它层卷积步长均为2，对于每层编码单元，均采用Relu函数激活，1-6层编码单元的卷积核个数分别为16、32、64、128、256、512；

对于解码结构，由6层解码单元组成，每层解码单元由反卷积单元、连接处理单元和卷积单元构成，其中反卷积单元包括反卷积处理与Relu激活处理，1-6层反卷积核的大小均为3x3，对于第1-2层解码单元，反卷积步长为1，3-6层解码单元的反卷积步长为2，1-6层反卷积核的个数依次为512、256、128、64、32、16，连接处理单元将编码单元和对应解码单元的反卷积结果连接后，输入到卷积单元，1-5层卷积单元的卷积核大小为3x3，第6层卷积单元的卷积核大小为7x7，1-6层卷积单元的卷积步长均为2，将第6层的卷积结果经过2个3x3的卷积处理后，得到结果T；

步骤3：神经网络的训练

分别将数据集D、数据集E中样本按照9:1划分为训练集和测试集，训练集中数据用于训练，测试集数据用于测试，在下列各步骤训练时，分别从对应的数据集中获取训练数据，统一缩放到分辨率p×o，输入到对应网络中，迭代优化，通过不断修改网络模型参数，使得每批次的损失达到最小；

在训练过程中，各损失的计算方法：

内部参数监督合成损失：在自然图像的网络模型参数训练中，将网络A的输出张量I作为深度，将网络B的输出结果L与训练数据的内部参数标签et(t＝1，2，3，4)分别作为位姿参数和摄像机内部参数，根据计算机视觉算法，利用图像b和图像d分别合成图像c视点处的两个图像，利用图像c分别与所述的两个图像，按照逐像素、逐颜色通道强度差之和计算得到；

内部参数误差损失：利用网络B的输出结果O与训练数据的内部参数标签e_t(t＝1，2，3，4)按照各分量差的绝对值之和计算得到；

无监督合成损失：在超声影像的网络模型参数训练中，将网络A的输出张量I作为深度，将网络B的输出张量L和张量O分别作为位姿参数和摄像机内部参数，根据计算机视觉算法，利用目标影像的两相邻影像分别合成目标影像视点处的影像，利用目标影像分别与所述目标影像视点处的影像，按照逐像素、逐颜色通道强度差之和计算得到；

(1)在数据集D上，分别对网络A及网络B的模块P训练80000次

每次从数据集D中取出训练数据，统一缩放到分辨率p×o，将图像c输入网络A，将图像c及图像τ输入网络B，对网络B的模块P进行训练，每批次的训练损失由内部参数监督合成损失计算得到；

(2)在数据集D上，对网络B的模块Q训练80000次

每次从数据集D中取出训练数据，统一缩放到分辨率p×o，将图像c输入网络A，将图像c及图像τ输入网络B，对网络B的模块Q进行训练，每批次的训练损失由内部参数监督合成损失和内部参数误差损失之和计算得到；

(3)在数据集E上，对网络B的模块Q训练80000次

每次从数据集E中取出超声训练数据，统一缩放到分辨率p×o，将影像j输入网络A，将影像j及影像π输入网络B，对网络B的模块Q进行训练，每批次的训练损失由无监督合成损失计算得到；

(4)在数据集E上，对网络B的模块P及模块Q训练80000次

训练时，每次从数据集E中取出训练数据，统一缩放到分辨率p×o，将影像j输入网络A，将影像j及影像π输入网络B，整个训练过程中，通过不断修改网络B的模块P及模块Q的参数，迭代优化，使得每批次的每幅影像的损失达到最小，每批次的训练损失由无监督合成损失计算得到；

(5)在数据集E上，对网络C和网络B的模块P及模块Q训练80000次，得到模型参数ρ

训练时，每次从数据集E中取出超声影像训练数据，统一缩放到分辨率p×o，将影像j输入网络A，将影像j及影像π输入网络B，将网络A的输出作为深度，将网络B的输出作为位姿参数和摄像机内部参数，分别根据影像i和影像k合成影像j视点处的影像，将所述合成的两张影像输入网络C，通过不断修改调整网络C、网络B的模块P以及模块Q的参数，迭代优化，使得每批次的每幅影像的损失达到最小，迭代后得到最优的网络模型参数ρ；

每批次的训练损失计算为：利用影像i和影像k合成影像j视点处影像的过程中，得到每个像素位置后，将每个像素的坐标加上网络C输出的每个像素位移结果，得到每个像素新的位置，构成合成结果影像，利用该影像与影像j之间的逐像素、逐颜色通道强度差之和计算；

步骤4：超声影像三维重建

利用自采样的一个超声序列影像，将每一帧影像统一缩放到分辨率p×o，使用模型参数ρ进行预测，将影像j输入网络A，将影像j及影像π输入网络B，将网络A的输出作为深度，将网络B的输出作为位姿参数和摄像机内部参数，按照下列步骤选取关键帧，序列中第一帧作为当前关键帧，依次将序列影像中的每一帧作为目标帧，根据当前关键帧，利用摄像机位姿参数和内部参数，合成目标帧视点处的影像，利用所述合成影像与目标帧之间逐像素逐颜色通道强度差之和的大小计算误差λ，再根据目标帧的相邻帧，利用摄像机位姿参数和内部参数，合成目标帧视点处的影像，利用所述合成影像与目标帧之间逐像素逐颜色通道强度差之和的大小计算误差γ，进一步利用公式(1)计算合成误差比Z，当Z大于阈值η时，1<η<2,将当前关键帧更新为此时的目标帧；

对任一目标帧，将其分辨率缩放到M×N，根据摄像机内部参数，依据计算机视觉的重建算法，计算每帧影像每个像素的摄象机坐标系中的三维坐标，进一步，将第一帧的视点作为世界坐标系的原点，再结合所有关键帧的位姿参数，利用三维空间几何变换，计算得到该序列每一帧影像每个像素的世界坐标系中的三维坐标。

Images