CN112734906A - 一种基于知识蒸馏的超声或ct医学影像的三维重建方法 - Google Patents
一种基于知识蒸馏的超声或ct医学影像的三维重建方法 Download PDFInfo
- Publication number
- CN112734906A CN112734906A CN202011621388.9A CN202011621388A CN112734906A CN 112734906 A CN112734906 A CN 112734906A CN 202011621388 A CN202011621388 A CN 202011621388A CN 112734906 A CN112734906 A CN 112734906A
- Authority
- CN
- China
- Prior art keywords
- image
- network
- tensor
- loss
- multiplied
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于知识蒸馏的超声或CT医学影像的三维重建方法，本发明的特点是采用无监督学习，根据超声或CT影像采集的特点，利用视觉方法，采用基于知识蒸馏的迁移学习策略，实现超声影像的三维重建。利用本发明能够有效地实现超声或CT影像的三维重建，在人工智能的辅助诊断中，能够提高辅助诊断的效率。
Description
技术领域
本发明属于计算机技术领域中有关超声或CT影像智能辅助诊断技术，涉及一种面向辅助诊断的超声或CT影像三维重建方法，借助于自然图像的成像规律，利用人工智能的基于知识蒸馏的学习策略，建立特征编码解码的轻量网络结构，可以解决超声或CT影像三维重建的应用问题。
背景技术
近年来，人工智能技术快速发展，医疗辅助诊断的关键技术研究的意义重大。目前，超声或CT影像的三维重建技术研究中，由于摄象机的参数恢复存在一定的难度，导致目前超声或CT影像的三维重建技术的研究存在一定难点，特别是复杂模型的重建会给三维重建带来时间复杂度高的严重问题，不利于临床医疗辅助诊断的应用。如何建立有效的深度学习的网络编码模型，有效解决超声或CT影像的三维重建的问题，这是亟待解决的实际问题。
发明内容
本发明为一种超声或CT医学影像的三维重建方法，提出一种基于知识蒸馏的超声或CT医学影像的三维重建方法，该方法采用简单的编码解码结构，能够获得目标三维结构，具有较高的实用价值。
实现本发明目的的具体技术方案是：
一种基于知识蒸馏的超声或CT医学影像的三维重建方法，该方法输入一个超声或者CT影像序列，其影像分辨率为M×N，100≤M≤1500，100≤N≤1500，三维重建的过程具体包括以下步骤：
步骤1：构建数据集
(a)构建自然图像数据集D
选取一个自然图像网站，要求具有图像序列及对应的摄像机内部参数，从所述自然图像网站下载a个图像序列及序列对应的内部参数,1≤a≤20,对于每个图像序列，每相邻3帧图像记为图像b、图像c和图像d，将图像b和图像d按照颜色通道进行拼接，得到图像τ，由图像c与图像τ构成一个数据元素，图像c为自然目标图像，图像c的采样视点作为目标视点，图像b、图像c和图像d的内部参数均为et(t＝1，2，3，4)，其中e1为水平焦距，e2为垂直焦距，e3及e4是主点坐标的两个分量；如果同一图像序列中最后剩余图像不足3帧，则舍弃；利用所有序列构建数据集D，数据集D有f个元素，而且3000≤f≤20000；
(b)构建超声影像数据集E
采样g个超声影像序列，其中1≤g≤20，对于每个序列，每相邻3帧影像记为影像i、影像j和影像k，将影像i和影像k按照颜色通道进行拼接得到影像π，由影像j与影像π构成一个数据元素，影像j为超声目标影像,影像j的采样视点作为目标视点，如果同一影像序列中最后剩余影像不足3帧，则舍弃，利用所有序列构建数据集E，数据集E有F个元素，而且1000≤F≤20000；
(c)构建CT影像数据集G
采样h个CT影像序列，其中1≤h≤20，对于每个序列，每相邻3帧记为影像l、影像m和影像n，将影像l和影像n按照颜色通道进行拼接得到影像σ，由影像m与影像σ构成一个数据元素，影像m为CT目标影像,影像m的采样视点作为目标视点，如果同一影像序列中最后剩余影像不足3帧，则舍弃，利用所有序列构建数据集G，数据集G有ξ个元素，而且1000≤ξ≤20000；
步骤2：构建神经网络
神经网络处理的图像或影像的分辨率均为p×o，p为宽度，o为高度，以像素为单位，100≤o≤2000，100≤p≤2000；
(1)网络A的结构
张量H作为输入，尺度为α×o×p×3，张量I作为输出,尺度为α×o×p×1，α为批次数量；
网络A由编码器和解码器组成，对于张量H，依次经过编码和解码处理后，获得输出张量I；
编码器由5个残差单元组成，第1至5个单元分别包括2，3，4，6，3个残差模块，每个残差模块进行3次卷积，卷积核的形状均为3×3，卷积核的个数分别是64，64，128，256，512，其中，第一个残差单元之后，包含一个最大池化层；
解码器由6个解码单元组成，每个解码单元均包括反卷积和卷积两步处理，反卷积和卷积处理的卷积核形状、个数都相同，第1至6个解码单元卷积核的形状均为3×3，卷积核的个数分别是512，256，128，64，32，16，编码器与解码器的网络层之间进行跨层连接，跨层连接的对应关系为：1与4、2与3、3与2、4与1；
(2)网络B的结构
张量J和张量K作为输入，尺度分别为α×o×p×3和α×o×p×6，张量L、张量O和张量
作为输出，尺度分别为α×2×6，α×4×1和α×1×1，α为批次数量；
网络B由模块P、模块Q和模块μ构成，共有16层卷积单元,首先，将张量J和张量K按照最后一个通道进行拼接，获得尺度为α×o×p×9的张量，对于所述张量经过模块P、模块Q和模块μ处理后，分别获得输出张量L、张量O和张量
模块Q、模块P和模块μ共享前4层卷积单元，这4层结构为：前两层单元中卷积核尺度分别为7×7、5×5，第3层到第4层的卷积核尺度均为3×3，这4层结构的卷积核个数依次为16、32、64、128；
对于模块P，除了共享4层外，占据网络B的第5层到第7层卷积单元，卷积核尺度均为3×3,卷积核个数均为256，第7层的处理结果利用12个3×3的卷积核进行卷积处理后，从12个通道得到张量L的结果；
对于模块Q，除了共享网络B的1至4层外，还占据网络B的第8至11层卷积单元，网络B的第2层输出作为网络B的第8层输入，第8至11层卷积单元中卷积核的形状均为3×3，卷积核个数均为256，第11层的结果利用4个3×3的卷积核进行卷积处理后，从4个通道得到张量O的结果；
对于模块μ，除了共享网络B的1至4层外，还占据网络B的第12层至第16层卷积单元，网络B的第2层输出作为第12层输入，第12层至第16层中卷积核的形状均为3×3，卷积核个数均为256，第16层的结果利用1个3×3的卷积核进行卷积处理后，得到张量
的结果；
(3)网络C的结构
张量R和张量S作为网络输入，尺度均为α×o×p×3，张量T作为网络输出，尺度为α×o×p×2，α为批次数量；
网络C设计为编码和解码结构，首先，将张量R和张量S按照最后一个通道进行拼接，获得尺度为α×o×p×6的张量，对于所述张量经过编码和解码处理后，获得输出张量T；
对于编码结构，由6层编码单元组成，每层编码单元包含1次卷积处理，1次批归一化处理和1次激活处理，其中第1层编码单元采用7×7卷积核，其它层编码单元均采用3×3卷积核，第1和3层编码单元的卷积步长为1，其它层卷积步长均为2，对于每层编码单元，均采用Relu函数激活，1-6层编码单元的卷积核个数分别为16、32、64、128、256、512；
对于解码结构，由6层解码单元组成，每层解码单元由反卷积单元、连接处理单元和卷积单元构成，其中反卷积单元包括反卷积处理与Relu激活处理，1-6层反卷积核的大小均为3x3，对于第1-2层解码单元，反卷积步长为1，3-6层解码单元的反卷积步长为2，1-6层反卷积核的个数依次为512、256、128、64、32、16，连接处理单元将编码单元和对应解码单元的反卷积结果连接后，输入到卷积单元，1-5层卷积单元的卷积核大小为3x3，第6层卷积单元的卷积核大小为7x7，1-6层卷积单元的卷积步长均为2，将第6层的卷积结果经过2个3x3的卷积处理后，得到结果T；步骤3：神经网络的训练
分别将数据集D、数据集E和数据集G中样本按照9:1划分为训练集和测试集，训练集中数据用于训练，测试集数据用于测试，在下列各步骤训练时，分别从对应的数据集中获取训练数据，统一缩放到分辨率p×o，输入到对应网络中，迭代优化，通过不断修改网络模型参数，使得每批次的损失达到最小；
在训练过程中，各损失的计算方法：
内部参数监督合成损失：在自然图像的网络模型参数训练中，将网络A的输出张量I作为深度，将网络B的输出结果L与训练数据的内部参数标签et(t＝1，2，3，4)分别作为位姿参数和摄像机内部参数，根据计算机视觉算法，利用图像b和图像d分别合成图像c视点处的两个图像，利用图像c分别与所述的两个图像，按照逐像素、逐颜色通道强度差之和计算得到；
无监督合成损失：在超声或者CT影像的网络模型参数训练中，将网络B的模块μ的输出张量
作为深度，将网络B的输出张量L和张量O分别作为位姿参数和摄像机内部参数，根据计算机视觉算法，利用目标影像的两相邻影像分别合成目标影像视点处的影像，利用目标影像分别与所述目标影像视点处的影像，按照逐像素、逐颜色通道强度差之和计算得到；
内部参数误差损失：利用网络B的输出结果O与训练数据的内部参数标签et(t＝1，2，3，4)按照各分量差的绝对值之和计算得到；
空间结构误差损失：在超声或者CT影像的网络模型参数训练中，将网络B的模块μ的输出张量
作为深度，将网络B的输出张量L和张量O分别作为位姿参数和摄像机内部参数，根据计算机视觉算法，以目标影像的视点为摄像机坐标系的原点，对目标影像进行重建，采用RANSAC算法对重建点进行空间结构的拟合，利用目标影像的每个重建点到空间几何结构的欧式距离计算得到；
变换合成损失：在超声或者CT影像的网络模型参数训练中，将网络B的模块μ的输出张量
作为深度，将网络B的输出张量L和张量O分别作为位姿参数和摄像机内部参数，根据计算机视觉算法，利用目标影像的两个相邻影像合成目标影像视点处的两个影像的过程中，对于所述合成的两个影像中的每个影像，在得到每个像素位置后，将每个像素的坐标加上网络C输出的每个像素位移结果，得到每个像素新的位置，构成合成结果影像，利用该合成结果影像与影像j之间的逐像素、逐颜色通道强度差之和计算；
(1)在数据集D上，分别对网络A及网络B的模块P训练80000次
每次从数据集D中取出训练数据，统一缩放到分辨率p×o，将图像c输入网络A，将图像c及图像τ输入网络B，对网络B的模块P进行训练，每批次的训练损失由内部参数监督合成损失计算得到；
(2)在数据集D上，对网络B的模块Q训练80000次
每次从数据集D中取出训练数据，统一缩放到分辨率p×o，将图像c输入网络A，将图像c及图像τ输入网络B，对网络B的模块Q进行训练，每批次的训练损失由内部参数监督合成损失和内部参数误差损失之和计算得到；
(3)在数据集E上，对网络B的模块Q和模块μ进行训练80000次，进行知识蒸馏
每次从数据集E中取出超声训练数据，统一缩放到分辨率p×o，将影像j及影像π输入网络B，对网络B的模块Q和模块μ进行训练，每批次的训练损失计算如下：
z＝v+W+χ (1)
其中，v为无监督合成损失，W为空间结构误差损失，常深度损失χ利用模块μ的输出结果的均方差计算得到；
(4)在数据集E上，按照如下步骤对网络B的三个模块训练80000次
每次从数据集E中取出超声训练数据，统一缩放到分辨率p×o，将影像j及影像π输入网络B，训练时，通过不断修改网络B的三个模块的参数，迭代优化，使得每批次的每幅影像的损失达到最小，每批次的训练损失由无监督合成损失、空间结构误差损失和常深度损失之和组成，常深度损失利用网络B的模块μ的输出结果的均方差计算得到；
(5)在数据集E上，对网络C和网络B的三个模块训练80000次
每次从数据集E中取出超声影像训练数据，统一缩放到分辨率p×o，将影像j及影像π输入网络B，将网络B的模块μ的输出张量
作为深度，将网络B输出张量L和张量O分别作为位姿参数和摄像机内部参数，分别根据影像i和影像k合成影像j视点处的两张影像，将所述的两张影像输入网络C，通过不断修改网络C和网络B的参数，迭代优化，使得每批次的每幅影像的损失达到最小，每批次的损失计算为变换合成损失、空间结构误差损失和常深度损失之和，其中常深度损失利用网络B的模块μ的输出结果的均方差计算得到；
(6)在数据集E上，对网络C和网络B的三个模块训练50000次，得到模型ρ
训练时，每次从数据集E中取出超声影像训练数据，统一缩放到分辨率p×o，将影像j及影像π输入网络B，将网络B的模块μ的输出张量
作为深度，将网络B输出张量L和张量O分别作为位姿参数和摄像机内部参数，分别根据影像i和影像k合成影像j视点处的两张影像，将所述的两张影像输入网络C，通过不断修改网络C和网络B的参数，迭代优化，使得每批次的每幅影像的损失达到最小，迭代后得到最优的网络模型参数ρ，每批次的损失计算为变换合成损失和空间结构误差损失之和；
(7)在数据集G上，对网络C和网络B的三个模块训练80000次
训练时，每次从数据集G中取出CT影像训练数据，统一缩放到分辨率p×o，将影像m及影像σ输入网络B，将网络B的模块μ的输出张量
作为深度，将网络B输出张量L和张量O分别作为位姿参数和摄像机内部参数，分别根据影像l和影像n合成影像m视点处的两张影像，将所述的两张影像输入网络C，通过不断修改网络C和网络B的参数，迭代优化，使得每批次的每幅影像的损失达到最小，每批次的损失计算为变换合成损失、空间结构误差损失、常深度损失和摄象机平移运动损失Y之和，其中，常深度损失利用网络B的模块μ的输出结果的均方差计算得到，Y由网络B的输出位姿参数，根据摄像机平移运动的约束计算得到；
(8)在数据集G上，对网络C和网络B的三个模块训练50000次，得到模型ρ′
每次从数据集G中取出CT影像训练数据，统一缩放到分辨率p×o，将影像m及影像σ输入网络B，将网络B的模块μ的输出张量
作为深度，将网络B输出张量L和张量O分别作为位姿参数和摄像机内部参数，分别根据影像l和影像n合成影像m视点处的两张影像，将所述的两张影像输入网络C，通过不断修改网络C和网络B的参数，迭代优化，使得每批次的每幅影像的损失达到最小，迭代后得到最优的网络模型参数ρ′，每批次的损失计算为变换合成损失、空间结构误差损失和摄象机平移运动损失Y之和，Y由网络B的输出位姿参数，根据摄像机平移运动的约束计算得到；
步骤4：超声或者CT影像三维重建
利用自采样的一个超声或者CT序列影像，将每一帧影像统一缩放到分辨率p×o，使用模型参数ρ或者模型参数ρ′进行预测，对于超声序列影像，将影像j及影像π输入网络B，对于CT序列影像，将影像m及影像σ输入网络B，将网络B的模块μ的输出张量
作为深度，将网络B的输出张量L和张量O分别作为位姿参数和摄像机内部参数，按照下列步骤选取关键帧，序列中第一帧作为当前关键帧，依次将序列影像中的每一帧作为目标帧，根据当前关键帧，利用摄像机位姿参数和内部参数，合成目标帧视点处的影像，利用所述合成影像与目标帧之间逐像素逐颜色通道强度差之和的大小计算误差λ，再根据目标帧的相邻帧，利用摄像机位姿参数和内部参数，合成目标帧视点处的影像，利用所述合成影像与目标帧之间逐像素逐颜色通道强度差之和的大小计算误差γ，进一步利用公式(2)计算合成误差比Z，当Z大于阈值η时，1<η<2,将当前关键帧更新为此时的目标帧；
对任一目标帧，将其分辨率缩放到M×N，根据摄像机内部参数，依据计算机视觉的重建算法，计算每帧影像每个像素的摄象机坐标系中的三维坐标，进一步，将第一帧的视点作为世界坐标系的原点，再结合所有关键帧的位姿参数，利用三维空间几何变换，计算得到该序列每一帧影像每个像素的世界坐标系中的三维坐标。
利用本发明方法，可以有效地实现超声或CT影像的三维重建，在人工智能的辅助诊断中，可以提高辅助诊断的效率，将CT或者超声的切片影像，以3D可视的效果展示出来，提高辅助诊断的准确率。
附图说明
图1为本发明的超声影像的三维重建结果图；
图2为本发明的CT影像的三维重建结果图。
具体实施方式
实施例
下面结合附图对本发明进一步说明。
本实施例在PC机上Windows10 64位操作系统下进行实施，其硬件配置是CPU i7-9700F，内存16G，GPU NVIDIA GeForce GTX 2070 8G；深度学习库采用Tensorflow1.14；编程采用Python语言。
一种基于知识蒸馏的超声或CT医学影像的三维重建方法，该方法输入一个超声或者CT影像序列，分辨率为M×N，对于超声影像，M取450，N取300，对于CT影像，M和N均取512，三维重建的过程具体包括以下步骤：
步骤1：构建数据集
(a)构建自然图像数据集D
选取一个自然图像网站，要求具有图像序列及对应的摄像机内部参数，从该网站下载19个图像序列及序列对应的内部参数,对于每个图像序列，每相邻3帧图像记为图像b、图像c和图像d，将图像b和图像d按照颜色通道进行拼接，得到图像τ，由图像c与图像τ构成一个数据元素，图像c为自然目标图像，图像c的采样视点作为目标视点，图像b、图像c和图像d的内部参数均为et(t＝1，2，3，4)，其中e1为水平焦距，e2为垂直焦距，e3及e4是主点坐标的两个分量；如果同一图像序列中最后剩余图像不足3帧，则舍弃；利用所有序列构建数据集D，数据集D有3600个元素；
(b)构建超声影像数据集E
采样10个超声影像序列，对于每个序列，每相邻3帧影像记为影像i、影像j和影像k，将影像i和影像k按照颜色通道进行拼接得到影像π，由影像j与影像π构成一个数据元素，影像j为超声目标影像,影像j的采样视点作为目标视点，如果同一影像序列中最后剩余影像不足3帧，则舍弃，利用所有序列构建数据集E，数据集E有1600个元素；
(c)构建CT影像数据集G
采样1个CT影像序列，对于所述序列，每相邻3帧记为影像l、影像m和影像n，将影像l和影像n按照颜色通道进行拼接得到影像σ，由影像m与影像σ构成一个数据元素，影像m为CT目标影像,影像m的采样视点作为目标视点，如果同一影像序列中最后剩余影像不足3帧，则舍弃，利用所有序列构建数据集G，数据集G有2000个元素；步骤2：构建神经网络
神经网络处理的图像或影像的分辨率均为416×128，416为宽度，128为高度，以像素为单位；
(1)网络A的结构
张量H作为输入，尺度为16×128×416×3，张量I作为输出,尺度为16×128×416×1；
网络A由编码器和解码器组成，对于张量H，依次经过编码和解码处理后，获得输出张量I；
编码器由5个残差单元组成，第1至5个单元分别包括2，3，4，6，3个残差模块，每个残差模块进行3次卷积，卷积核的形状均为3×3，卷积核的个数分别是64，64，128，256，512，其中，第一个残差单元之后，包含一个最大池化层；
解码器由6个解码单元组成，每个解码单元均包括反卷积和卷积两步处理，反卷积和卷积处理的卷积核形状、个数都相同，第1至6个解码单元卷积核的形状均为3×3，卷积核的个数分别是512，256，128，64，32，16，编码器与解码器的网络层之间进行跨层连接，跨层连接的对应关系为：1与4、2与3、3与2、4与1；
(2)网络B的结构
张量J和张量K作为输入，尺度分别为16×128×416×3和16×128×416×6，张量L、张量O和张量
作为输出，尺度分别为16×2×6，16×4×1和16×1×1；
网络B由模块P、模块Q和模块μ构成，共有16层卷积单元,首先，将张量J和张量K按照最后一个通道进行拼接，获得尺度为16×128×416×9的张量，对于所述张量经过模块P、模块Q和模块μ处理后，分别获得输出张量L、张量O和张量
模块Q、模块P和模块μ共享前4层卷积单元，这4层结构为：前两层单元中卷积核尺度分别为7×7、5×5，第3层到第4层的卷积核尺度均为3×3，这4层结构的卷积核个数依次为16、32、64、128；
对于模块P，除了共享4层外，占据网络B的第5层到第7层卷积单元，卷积核尺度均为3×3,卷积核个数均为256，第7层的处理结果利用12个3×3的卷积核进行卷积处理后，从12个通道得到张量L的结果；
对于模块Q，除了共享网络B的1至4层外，还占据网络B的第8至11层卷积单元，网络B的第2层输出作为网络B的第8层输入，第8至11层卷积单元中卷积核的形状均为3×3，卷积核个数均为256，第11层的结果利用4个3×3的卷积核进行卷积处理后，从4个通道得到张量O的结果；
对于模块μ，除了共享网络B的1至4层外，还占据网络B的第12层至第16层卷积单元，网络B的第2层输出作为第12层输入，第12层至第16层中卷积核的形状均为3×3，卷积核个数均为256，第16层的结果利用1个3×3的卷积核进行卷积处理后，得到张量
的结果；
(3)网络C的结构
张量R和张量S作为网络输入，尺度均为16×128×416×3，张量T作为网络输出，尺度为16×128×416×2；
网络C设计为编码和解码结构，首先，将张量R和张量S按照最后一个通道进行拼接，获得尺度为16×128×416×6的张量，对于所述张量经过编码和解码处理后，获得输出张量T；
对于编码结构，由6层编码单元组成，每层编码单元包含1次卷积处理，1次批归一化处理和1次激活处理，其中第1层编码单元采用7×7卷积核，其它层编码单元均采用3×3卷积核，第1和3层编码单元的卷积步长为1，其它层卷积步长均为2，对于每层编码单元，均采用Relu函数激活，1-6层编码单元的卷积核个数分别为16、32、64、128、256、512；
对于解码结构，由6层解码单元组成，每层解码单元由反卷积单元、连接处理单元和卷积单元构成，其中反卷积单元包括反卷积处理与Relu激活处理，1-6层反卷积核的大小均为3x3，对于第1-2层解码单元，反卷积步长为1，3-6层解码单元的反卷积步长为2，1-6层反卷积核的个数依次为512、256、128、64、32、16，连接处理单元将编码单元和对应解码单元的反卷积结果连接后，输入到卷积单元，1-5层卷积单元的卷积核大小为3x3，第6层卷积单元的卷积核大小为7x7，1-6层卷积单元的卷积步长均为2，将第6层的卷积结果经过2个3x3的卷积处理后，得到结果T；步骤3：神经网络的训练
分别将数据集D、数据集E和数据集G中样本按照9:1划分为训练集和测试集，训练集中数据用于训练，测试集数据用于测试，在下列各步骤训练时，分别从对应的数据集中获取训练数据，统一缩放到分辨率416×128，输入到对应网络中，迭代优化，通过不断修改网络模型参数，使得每批次的损失达到最小；
在训练过程中，各损失的计算方法：
内部参数监督合成损失：在自然图像的网络模型参数训练中，将网络A的输出张量I作为深度，将网络B的输出结果L与训练数据的内部参数标签et(t＝1，2，3，4)分别作为位姿参数和摄像机内部参数，根据计算机视觉算法，利用图像b和图像d分别合成图像c视点处的两个图像，利用图像c分别与所述的两个图像，按照逐像素、逐颜色通道强度差之和计算得到；
无监督合成损失：在超声或者CT影像的网络模型参数训练中，将网络B的模块μ的输出张量
作为深度，将网络B的输出张量L和张量O分别作为位姿参数和摄像机内部参数，根据计算机视觉算法，利用目标影像的两相邻影像分别合成目标影像视点处的影像，利用目标影像分别与所述目标影像视点处的影像，按照逐像素、逐颜色通道强度差之和计算得到；
内部参数误差损失：利用网络B的输出结果O与训练数据的内部参数标签et(t＝1，2，3，4)按照各分量差的绝对值之和计算得到；
空间结构误差损失：在超声或者CT影像的网络模型参数训练中，将网络B的模块μ的输出张量
作为深度，将网络B的输出张量L和张量O分别作为位姿参数和摄像机内部参数，根据计算机视觉算法，以目标影像的视点为摄像机坐标系的原点，对目标影像进行重建，采用RANSAC算法对重建点进行空间结构的拟合，利用目标影像的每个重建点到空间几何结构的欧式距离计算得到；
变换合成损失：在超声或者CT影像的网络模型参数训练中，将网络B的模块μ的输出张量
作为深度，将网络B的输出张量L和张量O分别作为位姿参数和摄像机内部参数，根据计算机视觉算法，利用目标影像的两个相邻影像合成目标影像视点处的两个影像的过程中，对于所述合成的两个影像中的每个影像，在得到每个像素位置后，将每个像素的坐标加上网络C输出的每个像素位移结果，得到每个像素新的位置，构成合成结果影像，利用该合成结果影像与影像j之间的逐像素、逐颜色通道强度差之和计算得到；
(1)在数据集D上，分别对网络A及网络B的模块P训练80000次
每次从数据集D中取出训练数据，统一缩放到分辨率416×128，将图像c输入网络A，将图像c及图像τ输入网络B，对网络B的模块P进行训练，每批次的训练损失由内部参数监督合成损失计算得到；
(2)在数据集D上，对网络B的模块Q训练80000次
每次从数据集D中取出训练数据，统一缩放到分辨率416×128，将图像c输入网络A，将图像c及图像τ输入网络B，对网络B的模块Q进行训练，每批次的训练损失由内部参数监督合成损失和内部参数误差损失之和计算得到；
(3)在数据集E上，对网络B的模块Q和模块μ进行训练80000次，进行知识蒸馏
每次从数据集E中取出超声训练数据，统一缩放到分辨率416×128，将影像j及影像π输入网络B，对网络B的模块Q和模块μ进行训练，每批次的训练损失计算如下：
z＝v+W+χ (1)
其中，v为无监督合成损失，W为空间结构误差损失，常深度损失χ利用模块μ的输出结果的均方差计算得到；
(4)在数据集E上，按照如下步骤对网络B的三个模块训练80000次
每次从数据集E中取出超声训练数据，统一缩放到分辨率416×128，将影像j及影像π输入网络B，训练时，通过不断修改网络B的三个模块的参数，迭代优化，使得每批次的每幅影像的损失达到最小，每批次的训练损失由无监督合成损失、空间结构误差损失和常深度损失之和组成，常深度损失利用网络B的模块μ的输出结果的均方差计算得到；
(5)在数据集E上，对网络C和网络B的三个模块训练80000次
每次从数据集E中取出超声影像训练数据，统一缩放到分辨率416×128，将影像j及影像π输入网络B，将网络B的模块μ的输出张量
作为深度，将网络B输出张量L和张量O分别作为位姿参数和摄像机内部参数，分别根据影像i和影像k合成影像j视点处的两张影像，将所述的两张影像输入网络C，通过不断修改网络C和网络B的参数，迭代优化，使得每批次的每幅影像的损失达到最小，每批次的损失计算为变换合成损失、空间结构误差损失和常深度损失之和，其中常深度损失利用网络B的模块μ的输出结果的均方差计算得到；
(6)在数据集E上，对网络C和网络B的三个模块训练50000次，得到模型ρ
训练时，每次从数据集E中取出超声影像训练数据，统一缩放到分辨率416×128，将影像j及影像π输入网络B，将网络B的模块μ的输出张量
作为深度，将网络B输出张量L和张量O分别作为位姿参数和摄像机内部参数，分别根据影像i和影像k合成影像j视点处的两张影像，将所述的两张影像输入网络C，通过不断修改网络C和网络B的参数，迭代优化，使得每批次的每幅影像的损失达到最小，迭代后得到最优的网络模型参数ρ，每批次的损失计算为变换合成损失和空间结构误差损失之和；
(7)在数据集G上，对网络C和网络B的三个模块训练80000次
训练时，每次从数据集G中取出CT影像训练数据，统一缩放到分辨率416×128，将影像m及影像σ输入网络B，将网络B的模块μ的输出张量
作为深度，将网络B输出张量L和张量O分别作为位姿参数和摄像机内部参数，分别根据影像l和影像n合成影像m视点处的两张影像，将所述的两张影像输入网络C，通过不断修改网络C和网络B的参数，迭代优化，使得每批次的每幅影像的损失达到最小，每批次的损失计算为变换合成损失、空间结构误差损失、常深度损失和摄象机平移运动损失Y之和，其中，常深度损失利用网络B的模块μ的输出结果的均方差计算得到，Y由网络B的输出位姿参数，根据摄像机平移运动的约束计算得到；
(8)在数据集G上，对网络C和网络B的三个模块训练50000次，得到模型ρ′
每次从数据集G中取出CT影像训练数据，统一缩放到分辨率416×128，将影像m及影像σ输入网络B，将网络B的模块μ的输出张量
作为深度，将网络B输出张量L和张量O分别作为位姿参数和摄像机内部参数，分别根据影像l和影像n合成影像m视点处的两张影像，将所述的两张影像输入网络C，通过不断修改网络C和网络B的参数，迭代优化，使得每批次的每幅影像的损失达到最小，迭代后得到最优的网络模型参数ρ′，每批次的损失计算为变换合成损失、空间结构误差损失和摄象机平移运动损失Y之和，Y由网络B的输出位姿参数，根据摄像机平移运动的约束计算得到；
步骤4：超声或者CT影像三维重建
利用自采样的一个超声或者CT序列影像，将每一帧影像统一缩放到分辨率416×128，使用模型参数ρ或者模型参数ρ′进行预测，对于超声序列影像，将影像j及影像π输入网络B，对于CT序列影像，将影像m及影像σ输入网络B，将网络B的模块μ的输出张量
作为深度，将网络B的输出张量L和张量O分别作为位姿参数和摄像机内部参数，按照下列步骤选取关键帧，序列中第一帧作为当前关键帧，依次将序列影像中的每一帧作为目标帧，根据当前关键帧，利用摄像机位姿参数和内部参数，合成目标帧视点处的影像，利用所述合成影像与目标帧之间逐像素逐颜色通道强度差之和的大小计算误差λ，再根据目标帧的相邻帧，利用摄像机位姿参数和内部参数，合成目标帧视点处的影像，利用所述合成影像与目标帧之间逐像素逐颜色通道强度差之和的大小计算误差γ，进一步利用公式(2)计算合成误差比Z，当Z大于阈值1.2时，将当前关键帧更新为此时的目标帧；
对任一目标帧，将其分辨率缩放到M×N，对于超声影像，M取450，N取300，对于CT影像，M和N均取512，根据摄像机内部参数，依据计算机视觉的重建算法，计算每帧影像每个像素的摄像机坐标系中的三维坐标，进一步，将第一帧的视点作为世界坐标系的原点，再结合所有关键帧的位姿参数，利用三维空间几何变换，计算得到该序列每一帧影像每个像素的世界坐标系中的三维坐标。
在实施例中，实验的超参数如下：优化器采用Adam优化器，网络学习率均取0.0002，动量系数为0.9；
本实施例在数据集D、数据集E及数据集G的训练集上进行网络训练，并在数据集D及数据集E的测试集上进行分别测试，表1为超声影像合成的误差结果，利用公式(1)计算得到，采用DenseNet对超声影像进行分割，产生3D结果，图1表示超声影像的三维重建结果图；表2为CT影像合成的误差结果，利用公式(1)计算得到，为了能够可视三维重建的结果，采用DenseNet对CT影像进行分割，产生3D的重建结果，图2表示CT影像的三维重建结果图；从这些结果中可看出本发明的有效性。
表1
| 序号 | 误差 |
| 1 | 0.2662167816444853 |
| 2 | 0.216378819510853 |
| 3 | 0.25436291290199875 |
| 4 | 0.16778334105593978 |
| 5 | 0.1363438260240396 |
| 6 | 0.16518221511160266 |
| 7 | 0.11243306260788681 |
| 8 | 0.17295299223168367 |
| 9 | 0.198316395925333 |
| 10 | 0.10849799001248274 |
表2
| 序号 | 误差 |
| 1 | 0.16919035535617863 |
| 2 | 0.20345245294575115 |
| 3 | 0.20639589410593454 |
| 4 | 0.2060208183131885 |
| 5 | 0.21360360706568904 |
| 6 | 0.20066805543590824 |
| 7 | 0.24210558094918327 |
| 8 | 0.299958561974719 |
| 9 | 0.2423451413466099 |
| 10 | 0.24416909446456772 |
Claims (1)
1.一种基于知识蒸馏的超声或CT医学影像的三维重建方法，其特征在于，该方法输入一个超声或者CT影像序列，其影像分辨率为M×N，100≤M≤1500，100≤N≤1500，三维重建的过程具体包括以下步骤：
步骤1：构建数据集
(a)构建自然图像数据集D
选取一个自然图像网站，要求具有图像序列及对应的摄像机内部参数，从所述自然图像网站下载a个图像序列及序列对应的内部参数,1≤a≤20,对于每个图像序列，每相邻3帧图像记为图像b、图像c和图像d，将图像b和图像d按照颜色通道进行拼接，得到图像τ，由图像c与图像τ构成一个数据元素，图像c为自然目标图像，图像c的采样视点作为目标视点，图像b、图像c和图像d的内部参数均为et(t＝1，2，3，4)，其中e1为水平焦距，e2为垂直焦距，e3及e4是主点坐标的两个分量；如果同一图像序列中最后剩余图像不足3帧，则舍弃；利用所有序列构建数据集D，数据集D有f个元素，而且3000≤f≤20000；
(b)构建超声影像数据集E
采样g个超声影像序列，其中1≤g≤20，对于每个序列，每相邻3帧影像记为影像i、影像j和影像k，将影像i和影像k按照颜色通道进行拼接得到影像π，由影像j与影像π构成一个数据元素，影像j为超声目标影像,影像j的采样视点作为目标视点，如果同一影像序列中最后剩余影像不足3帧，则舍弃，利用所有序列构建数据集E，数据集E有F个元素，而且1000≤F≤20000；
(c)构建CT影像数据集G
采样h个CT影像序列，其中1≤h≤20，对于每个序列，每相邻3帧记为影像l、影像m和影像n，将影像l和影像n按照颜色通道进行拼接得到影像σ，由影像m与影像σ构成一个数据元素，影像m为CT目标影像,影像m的采样视点作为目标视点，如果同一影像序列中最后剩余影像不足3帧，则舍弃，利用所有序列构建数据集G，数据集G有ξ个元素，而且1000≤ξ≤20000；步骤2：构建神经网络
神经网络处理的图像或影像的分辨率均为p×o，p为宽度，o为高度，以像素为单位，100≤o≤2000，100≤p≤2000；
(1)网络A的结构
张量H作为输入，尺度为α×o×p×3，张量I作为输出,尺度为α×o×p×1，α为批次数量；
网络A由编码器和解码器组成，对于张量H，依次经过编码和解码处理后，获得输出张量I；
编码器由5个残差单元组成，第1至5个单元分别包括2，3，4，6，3个残差模块，每个残差模块进行3次卷积，卷积核的形状均为3×3，卷积核的个数分别是64，64，128，256，512，其中，第一个残差单元之后，包含一个最大池化层；
解码器由6个解码单元组成，每个解码单元均包括反卷积和卷积两步处理，反卷积和卷积处理的卷积核形状、个数都相同，第1至6个解码单元卷积核的形状均为3×3，卷积核的个数分别是512，256，128，64，32，16，编码器与解码器的网络层之间进行跨层连接，跨层连接的对应关系为：1与4、2与3、3与2、4与1；
(2)网络B的结构
张量J和张量K作为输入，尺度分别为α×o×p×3和α×o×p×6，张量L、张量O和张量
作为输出，尺度分别为α×2×6，α×4×1和α×1×1，α为批次数量；
网络B由模块P、模块Q和模块μ构成，共有16层卷积单元，首先，将张量J和张量K按照最后一个通道进行拼接，获得尺度为α×o×p×9的张量，对于所述张量经过模块P、模块Q和模块μ处理后，分别获得输出张量L、张量O和张量
模块Q、模块P和模块μ共享前4层卷积单元，这4层结构为：前两层单元中卷积核尺度分别为7×7、5×5，第3层到第4层的卷积核尺度均为3×3，这4层结构的卷积核个数依次为16、32、64、128；
对于模块P，除了共享4层外，占据网络B的第5层到第7层卷积单元，卷积核尺度均为3×3，卷积核个数均为256，第7层的处理结果利用12个3×3的卷积核进行卷积处理后，从12个通道得到张量L的结果；
对于模块Q，除了共享网络B的1至4层外，还占据网络B的第8至11层卷积单元，网络B的第2层输出作为网络B的第8层输入，第8至11层卷积单元中卷积核的形状均为3×3，卷积核个数均为256，第11层的结果利用4个3×3的卷积核进行卷积处理后，从4个通道得到张量O的结果；
对于模块μ，除了共享网络B的1至4层外，还占据网络B的第12层至第16层卷积单元，网络B的第2层输出作为第12层输入，第12层至第16层中卷积核的形状均为3×3，卷积核个数均为256，第16层的结果利用1个3×3的卷积核进行卷积处理后，得到张量
的结果；
(3)网络C的结构
张量R和张量S作为网络输入，尺度均为α×o×p×3，张量T作为网络输出，尺度为α×o×p×2，α为批次数量；
网络C设计为编码和解码结构，首先，将张量R和张量S按照最后一个通道进行拼接，获得尺度为α×o×p×6的张量，对于所述张量经过编码和解码处理后，获得输出张量T；
对于编码结构，由6层编码单元组成，每层编码单元包含1次卷积处理，1次批归一化处理和1次激活处理，其中第1层编码单元采用7×7卷积核，其它层编码单元均采用3×3卷积核，第1和3层编码单元的卷积步长为1，其它层卷积步长均为2，对于每层编码单元，均采用Relu函数激活，1-6层编码单元的卷积核个数分别为16、32、64、128、256、512；
对于解码结构，由6层解码单元组成，每层解码单元由反卷积单元、连接处理单元和卷积单元构成，其中反卷积单元包括反卷积处理与Relu激活处理，1-6层反卷积核的大小均为3x3，对于第1-2层解码单元，反卷积步长为1，3-6层解码单元的反卷积步长为2，1-6层反卷积核的个数依次为512、256、128、64、32、16，连接处理单元将编码单元和对应解码单元的反卷积结果连接后，输入到卷积单元，1-5层卷积单元的卷积核大小为3x3，第6层卷积单元的卷积核大小为7x7，1-6层卷积单元的卷积步长均为2，将第6层的卷积结果经过2个3x3的卷积处理后，得到结果T；
步骤3：神经网络的训练
分别将数据集D、数据集E和数据集G中样本按照9:1划分为训练集和测试集，训练集中数据用于训练，测试集数据用于测试，在下列各步骤训练时，分别从对应的数据集中获取训练数据，统一缩放到分辨率p×o，输入到对应网络中，迭代优化，通过不断修改网络模型参数，使得每批次的损失达到最小；
在训练过程中，各损失的计算方法：
内部参数监督合成损失：在自然图像的网络模型参数训练中，将网络A的输出张量I作为深度，将网络B的输出结果L与训练数据的内部参数标签et(t＝1，2，3，4)分别作为位姿参数和摄像机内部参数，根据计算机视觉算法，利用图像b和图像d分别合成图像c视点处的两个图像，利用图像c分别与所述的两个图像，按照逐像素、逐颜色通道强度差之和计算得到；
无监督合成损失：在超声或者CT影像的网络模型参数训练中，将网络B的模块μ的输出张量
作为深度，将网络B的输出张量L和张量O分别作为位姿参数和摄像机内部参数，根据计算机视觉算法，利用目标影像的两相邻影像分别合成目标影像视点处的影像，利用目标影像分别与所述目标影像视点处的影像，按照逐像素、逐颜色通道强度差之和计算得到；
内部参数误差损失：利用网络B的输出结果O与训练数据的内部参数标签et(t＝1，2，3，4)按照各分量差的绝对值之和计算得到；
空间结构误差损失：在超声或者CT影像的网络模型参数训练中，将网络B的模块μ的输出张量
作为深度，将网络B的输出张量L和张量O分别作为位姿参数和摄像机内部参数，根据计算机视觉算法，以目标影像的视点为摄像机坐标系的原点，对目标影像进行重建，采用RANSAC算法对重建点进行空间结构的拟合，利用目标影像的每个重建点到空间几何结构的欧式距离计算得到；
变换合成损失：在超声或者CT影像的网络模型参数训练中，将网络B的模块μ的输出张量
作为深度，将网络B的输出张量L和张量O分别作为位姿参数和摄像机内部参数，根据计算机视觉算法，利用目标影像的两个相邻影像合成目标影像视点处的两个影像的过程中，对于所述合成的两个影像中的每个影像，在得到每个像素位置后，将每个像素的坐标加上网络C输出的每个像素位移结果，得到每个像素新的位置，构成合成结果影像，利用该合成结果影像与影像j之间的逐像素、逐颜色通道强度差之和计算；
(1)在数据集D上，分别对网络A及网络B的模块P训练80000次
每次从数据集D中取出训练数据，统一缩放到分辨率p×o，将图像c输入网络A，将图像c及图像τ输入网络B，对网络B的模块P进行训练，每批次的训练损失由内部参数监督合成损失计算得到；
(2)在数据集D上，对网络B的模块Q训练80000次
每次从数据集D中取出训练数据，统一缩放到分辨率p×o，将图像c输入网络A，将图像c及图像τ输入网络B，对网络B的模块Q进行训练，每批次的训练损失由内部参数监督合成损失和内部参数误差损失之和计算得到；
(3)在数据集E上，对网络B的模块Q和模块μ进行训练80000次，进行知识蒸馏
每次从数据集E中取出超声训练数据，统一缩放到分辨率p×o，将影像j及影像π输入网络B，对网络B的模块Q和模块μ进行训练，每批次的训练损失计算如下：
z＝v+W+χ (1)
其中，v为无监督合成损失，W为空间结构误差损失，常深度损失χ利用模块μ的输出结果的均方差计算得到；
(4)在数据集E上，按照如下步骤对网络B的三个模块训练80000次
每次从数据集E中取出超声训练数据，统一缩放到分辨率p×o，将影像j及影像π输入网络B，训练时，通过不断修改网络B的三个模块的参数，迭代优化，使得每批次的每幅影像的损失达到最小，每批次的训练损失由无监督合成损失、空间结构误差损失和常深度损失之和组成，常深度损失利用网络B的模块μ的输出结果的均方差计算得到；
(5)在数据集E上，对网络C和网络B的三个模块训练80000次
每次从数据集E中取出超声影像训练数据，统一缩放到分辨率p×o，将影像j及影像π输入网络B，将网络B的模块μ的输出张量
作为深度，将网络B输出张量L和张量O分别作为位姿参数和摄像机内部参数，分别根据影像i和影像k合成影像j视点处的两张影像，将所述的两张影像输入网络C，通过不断修改网络C和网络B的参数，迭代优化，使得每批次的每幅影像的损失达到最小，每批次的损失计算为变换合成损失、空间结构误差损失和常深度损失之和，其中常深度损失利用网络B的模块μ的输出结果的均方差计算得到；
(6)在数据集E上，对网络C和网络B的三个模块训练50000次，得到模型ρ
训练时，每次从数据集E中取出超声影像训练数据，统一缩放到分辨率p×o，将影像j及影像π输入网络B，将网络B的模块μ的输出张量
作为深度，将网络B输出张量L和张量O分别作为位姿参数和摄像机内部参数，分别根据影像i和影像k合成影像j视点处的两张影像，将所述的两张影像输入网络C，通过不断修改网络C和网络B的参数，迭代优化，使得每批次的每幅影像的损失达到最小，迭代后得到最优的网络模型参数ρ，每批次的损失计算为变换合成损失和空间结构误差损失之和；
(7)在数据集G上，对网络C和网络B的三个模块训练80000次
训练时，每次从数据集G中取出CT影像训练数据，统一缩放到分辨率p×o，将影像m及影像σ输入网络B，将网络B的模块μ的输出张量
作为深度，将网络B输出张量L和张量O分别作为位姿参数和摄像机内部参数，分别根据影像l和影像n合成影像m视点处的两张影像，将所述的两张影像输入网络C，通过不断修改网络C和网络B的参数，迭代优化，使得每批次的每幅影像的损失达到最小，每批次的损失计算为变换合成损失、空间结构误差损失、常深度损失和摄象机平移运动损失Y之和，其中，常深度损失利用网络B的模块μ的输出结果的均方差计算得到，Y由网络B的输出位姿参数，根据摄像机平移运动的约束计算得到；
(8)在数据集G上，对网络C和网络B的三个模块训练50000次，得到模型ρ′
每次从数据集G中取出CT影像训练数据，统一缩放到分辨率p×o，将影像m及影像σ输入网络B，将网络B的模块μ的输出张量
作为深度，将网络B输出张量L和张量O分别作为位姿参数和摄像机内部参数，分别根据影像l和影像n合成影像m视点处的两张影像，将所述的两张影像输入网络C，通过不断修改网络C和网络B的参数，迭代优化，使得每批次的每幅影像的损失达到最小，迭代后得到最优的网络模型参数ρ′，每批次的损失计算为变换合成损失、空间结构误差损失和摄象机平移运动损失Y之和，Y由网络B的输出位姿参数，根据摄像机平移运动的约束计算得到；
步骤4：超声或者CT影像三维重建
利用自采样的一个超声或者CT序列影像，将每一帧影像统一缩放到分辨率p×o，使用模型参数ρ或者模型参数ρ′进行预测，对于超声序列影像，将影像j及影像π输入网络B，对于CT序列影像，将影像m及影像σ输入网络B，将网络B的模块μ的输出张量
作为深度，将网络B的输出张量L和张量O分别作为位姿参数和摄像机内部参数，按照下列步骤选取关键帧，序列中第一帧作为当前关键帧，依次将序列影像中的每一帧作为目标帧，根据当前关键帧，利用摄像机位姿参数和内部参数，合成目标帧视点处的影像，利用所述合成影像与目标帧之间逐像素逐颜色通道强度差之和的大小计算误差λ，再根据目标帧的相邻帧，利用摄像机位姿参数和内部参数，合成目标帧视点处的影像，利用所述合成影像与目标帧之间逐像素逐颜色通道强度差之和的大小计算误差γ，进一步利用公式(2)计算合成误差比Z，当Z大于阈值η时，1<η<2,将当前关键帧更新为此时的目标帧；
对任一目标帧，将其分辨率缩放到M×N，根据摄像机内部参数，依据计算机视觉的重建算法，计算每帧影像每个像素的摄象机坐标系中的三维坐标，进一步，将第一帧的视点作为世界坐标系的原点，再结合所有关键帧的位姿参数，利用三维空间几何变换，计算得到该序列每一帧影像每个像素的世界坐标系中的三维坐标。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011621388.9A CN112734906B (zh) | 2020-12-30 | 2020-12-30 | 一种基于知识蒸馏的超声或ct医学影像的三维重建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011621388.9A CN112734906B (zh) | 2020-12-30 | 2020-12-30 | 一种基于知识蒸馏的超声或ct医学影像的三维重建方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112734906A true CN112734906A (zh) | 2021-04-30 |
| CN112734906B CN112734906B (zh) | 2022-08-19 |
Family
ID=75609768
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011621388.9A Active CN112734906B (zh) | 2020-12-30 | 2020-12-30 | 一种基于知识蒸馏的超声或ct医学影像的三维重建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112734906B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113724379A (zh) * | 2021-07-08 | 2021-11-30 | 中国科学院空天信息创新研究院 | 三维重建方法、装置、设备及存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110264526A (zh) * | 2019-06-19 | 2019-09-20 | 华东师范大学 | 一种基于深度学习的场景深度和摄像机位置姿势求解方法 |
| CN110390674A (zh) * | 2019-07-24 | 2019-10-29 | 腾讯医疗健康(深圳)有限公司 | 图像处理方法、装置、存储介质、设备以及系统 |
| CN111105475A (zh) * | 2019-12-24 | 2020-05-05 | 电子科技大学 | 一种基于正交角度x光的骨骼三维重建方法 |
| CN111341420A (zh) * | 2020-02-21 | 2020-06-26 | 四川大学 | 基于全心七维模型的心血管影像识别系统及方法 |
| CN111402311A (zh) * | 2020-03-09 | 2020-07-10 | 福建帝视信息科技有限公司 | 一种基于知识蒸馏的轻量级立体视差估计方法 |
| CN112037200A (zh) * | 2020-08-31 | 2020-12-04 | 上海交通大学 | 一种医学影像中解剖特征自动识别与模型重建方法 |
| CN112086174A (zh) * | 2020-09-24 | 2020-12-15 | 深圳先进技术研究院 | 一种三维知识诊断模型构建方法和系统 |
-
2020
- 2020-12-30 CN CN202011621388.9A patent/CN112734906B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110264526A (zh) * | 2019-06-19 | 2019-09-20 | 华东师范大学 | 一种基于深度学习的场景深度和摄像机位置姿势求解方法 |
| CN110390674A (zh) * | 2019-07-24 | 2019-10-29 | 腾讯医疗健康(深圳)有限公司 | 图像处理方法、装置、存储介质、设备以及系统 |
| CN111105475A (zh) * | 2019-12-24 | 2020-05-05 | 电子科技大学 | 一种基于正交角度x光的骨骼三维重建方法 |
| CN111341420A (zh) * | 2020-02-21 | 2020-06-26 | 四川大学 | 基于全心七维模型的心血管影像识别系统及方法 |
| CN111402311A (zh) * | 2020-03-09 | 2020-07-10 | 福建帝视信息科技有限公司 | 一种基于知识蒸馏的轻量级立体视差估计方法 |
| CN112037200A (zh) * | 2020-08-31 | 2020-12-04 | 上海交通大学 | 一种医学影像中解剖特征自动识别与模型重建方法 |
| CN112086174A (zh) * | 2020-09-24 | 2020-12-15 | 深圳先进技术研究院 | 一种三维知识诊断模型构建方法和系统 |
Non-Patent Citations (2)
| Title |
|---|
| 唐灿等: ""图像特征检测与匹配方法研究综述"", 《南京信息工程大学学报(自然科学版)》 * |
| 彭国豪: ""基于单幅图像的人脸三维模型重建研究"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113724379A (zh) * | 2021-07-08 | 2021-11-30 | 中国科学院空天信息创新研究院 | 三维重建方法、装置、设备及存储介质 |
| CN113724379B (zh) * | 2021-07-08 | 2022-06-17 | 中国科学院空天信息创新研究院 | 融合图像与激光点云的三维重建方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112734906B (zh) | 2022-08-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112767532B (zh) | 一种基于迁移学习的超声或ct医学影像三维重建方法 | |
| CN111310707B (zh) | 基于骨骼的图注意力网络动作识别方法及系统 | |
| Kumar | Video based traffic forecasting using convolution neural network model and transfer learning techniques | |
| Fu et al. | Bidirectional 3D quasi-recurrent neural network for hyperspectral image super-resolution | |
| CN113689545B (zh) | 一种2d到3d端对端的超声或ct医学影像跨模态重建方法 | |
| CN111932550B (zh) | 一种基于深度学习的3d心室核磁共振视频分割系统 | |
| Khagi et al. | Pixel‐Label‐Based Segmentation of Cross‐Sectional Brain MRI Using Simplified SegNet Architecture‐Based CNN | |
| Isensee et al. | Or-unet: an optimized robust residual u-net for instrument segmentation in endoscopic images | |
| CN110930378A (zh) | 基于低数据需求的肺气肿影像处理方法及系统 | |
| CN112734906B (zh) | 一种基于知识蒸馏的超声或ct医学影像的三维重建方法 | |
| Bao et al. | SCTANet: a spatial attention-guided CNN-transformer aggregation network for deep face image super-resolution | |
| Gao et al. | Bayesian image super-resolution with deep modeling of image statistics | |
| CN112700534B (zh) | 一种基于特征迁移的超声或ct医学影像三维重建方法 | |
| CN112734907B (zh) | 一种超声或ct医学影像三维重建方法 | |
| CN112700535B (zh) | 一种面向智能医疗辅助诊断的超声影像三维重建方法 | |
| CN113689548B (zh) | 一种基于互注意力Transformer的医学影像三维重建方法 | |
| CN113689542B (zh) | 一种基于自注意力Transformer的超声或CT医学影像三维重建方法 | |
| CN115861384B (zh) | 基于生成对抗和注意力机制的光流估计方法及系统 | |
| CN113689544B (zh) | 一种跨视图几何约束的医学影像三维重建方法 | |
| CN111401209B (zh) | 一种基于深度学习的动作识别方法 | |
| CN113689546B (zh) | 一种两视图孪生Transformer的超声或CT影像跨模态三维重建方法 | |
| Gao et al. | Rank-one network: An effective framework for image restoration | |
| Rezaei et al. | Brain abnormality detection by deep convolutional neural network | |
| CN114612305B (zh) | 一种基于立体图建模的事件驱动视频超分辨率方法 | |
| CN113689547B (zh) | 一种跨视图视觉Transformer的超声或CT医学影像三维重建方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |