CN113689547A - 一种跨视图视觉Transformer的超声或CT医学影像三维重建方法 - Google Patents

一种跨视图视觉Transformer的超声或CT医学影像三维重建方法 Download PDF

Info

Publication number
CN113689547A
CN113689547A CN202110881631.9A CN202110881631A CN113689547A CN 113689547 A CN113689547 A CN 113689547A CN 202110881631 A CN202110881631 A CN 202110881631A CN 113689547 A CN113689547 A CN 113689547A
Authority
CN
China
Prior art keywords
image
stage
coding
network
cross
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110881631.9A
Other languages
English (en)
Other versions
CN113689547B (zh
Inventor
全红艳
董家顺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
East China Normal University
Original Assignee
East China Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by East China Normal University filed Critical East China Normal University
Priority to CN202110881631.9A priority Critical patent/CN113689547B/zh
Publication of CN113689547A publication Critical patent/CN113689547A/zh
Application granted granted Critical
Publication of CN113689547B publication Critical patent/CN113689547B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G06T2207/10136—3D ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Epidemiology (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种跨视图视觉Transformer的超声或CT医学影像三维重建方法，本发明的特点是建立跨视图的Transformer学习网络结构，采用无监督学习，根据超声或CT影像采集数据的特点，设计基于视觉Transformer的卷积神经网络拓扑结构，采用迁移学习策略，针对医学影像的少纹理多噪声的特点，借助于自然图像的成像规律进行特征迁移，该方法对不同模态医学影像进行三维重建，能够得到较满意的结果，进一步为医疗辅助诊断提供有效的重建手段，从而为临床医学辅助诊断提供有效的可视化策略。

Description

一种跨视图视觉Transformer的超声或CT医学影像三维重建 方法
技术领域
本发明属于计算机技术领域，涉及医疗辅助诊断中超声或CT影像三维重建，发明技术中采用新的技术手段，建立跨视图视觉Transformer的网络结构，利用人工智能的迁移学习策略，借助于自然图像的成像规律，迁移网络学习的特征，实现对超声或CT影像三维重建。
背景技术
近年来，人工智能技术快速发展，医学影像辅助诊断的关键技术在现代临床的诊断中起着重要的作用，超声或CT影像的三维重建技术可以在辅助诊断中提高诊断的准确率，降低人工诊断的误差，但是，由于医学影像少纹理多噪声的客观事实，并且特别是对于超声摄像机的参数恢复存在一定的难度，导致目前超声或CT影像的三维重建技术的研究存在一定难点，因此，如何建立有效的深度学习的网络编码模型，是解决医学影像重建中几何恢复的疑难问题，鉴于Transformer模型具有全局上下文特征学习的能力，将其强大的特征感知能力应用于医学影像的分析中，可以促进医学临床辅助诊断技术的发展。
发明内容
本发明目的是提供一种跨视图视觉Transformer的超声或CT医学影像三维重建方法，结合医学影像的成像规律，以及跨视图采样数据之间的互作用机制，设计多分支的跨视图Transformer网络，基于视觉成像原理，利用医学影像序列，设计跨视图相互注意力的学习方法，可以得到不同视图之间的对应关系，进而可以获得较为精细的医学目标的三维结构，具有较高的实用价值。
实现本发明目的的具体技术方案是：
一种跨视图视觉Transformer的超声或CT医学影像三维重建方法，该方法输入一个超声或者CT影像序列，其影像分辨率为M×N，100≤M≤2000，100≤N≤2000，三维重建的过程具体包括以下步骤：
步骤1：构建数据集
(a)构建自然图像数据集
选取一个自然图像网站，要求具有图像序列及对应的摄像机内部参数，从所述自然图像网站下载a个图像序列及序列对应的内部参数,1≤a≤20,对于每个图像序列，每相邻3帧图像记为图像b、图像c和图像d，将图像b和图像d按照颜色通道进行拼接，得到图像τ，由图像c与图像τ构成一个数据元素，图像c为自然目标图像，图像c的采样视点作为目标视点，图像b、图像c和图像d的内部参数均为et(t＝1，2，3，4)，其中e1为水平焦距，e2为垂直焦距，e3及e4是主点坐标的两个分量；如果同一图像序列中最后剩余图像不足3帧，则舍弃；利用所有序列构建自然图像数据集，所构建的自然图像数据集中有f个元素，而且3000≤f≤20000；
(b)构建超声影像数据集
采样g个超声影像序列，其中1≤g≤20，对于每个序列，每相邻3帧影像记为影像i、影像j和影像k，将影像i和影像k按照颜色通道进行拼接得到影像π，由影像j与影像π构成一个数据元素，影像j为超声目标影像,影像j的采样视点作为目标视点，如果同一影像序列中最后剩余影像不足3帧，则舍弃，利用所有序列构建超声影像数据集，所构建的超声影像数据集中有F个元素，而且1000≤F≤20000；
(c)构建CT影像数据集
采样h个CT影像序列，其中1≤h≤20，对于每个序列，每相邻3帧记为影像l、影像m和影像n，将影像l和影像n按照颜色通道进行拼接得到影像σ，由影像m与影像σ构成一个数据元素，影像m为CT目标影像,影像m的采样视点作为目标视点，如果同一影像序列中最后剩余影像不足3帧，则舍弃，利用所有序列构建CT影像数据集，所构建的CT影像数据集中有ξ个元素，而且1000≤ξ≤20000；
步骤2：构建跨视图视觉Transformer网络A
神经网络输入的图像或影像的分辨率均为p×o，p为宽度，o为高度，以像素为单位，100≤o≤2000，100≤p≤2000；
网络A的结构由一个主干网络和5个网络分支构成，主干网络为跨视图Transformer拓扑结构，张量J和张量C作为输入，尺度分别为α×o×p×3和α×o×p×6，5个网络分支分别预测张量L、张量O、张量W、张量B和张量D，张量L尺度为α×2×6，张量O尺度为α×4×1，张量W尺度为α×o×p×1，张量B尺度为α×o×p×4，张量D的尺度为α×3，α为批次数量；
主干网络设计为3个阶段的跨视图编码：
(1)第1个阶段的跨视图编码包括第1个阶段的嵌入编码和第1个阶段注意力编码
第1个阶段的嵌入编码，分别将张量J、张量C的最后一个维度的前3个特征分量、张量C最后一个维度的后3个特征分量进行卷积运算，卷积核尺度均为7×7，特征通道数为24，序列化处理将编码特征从图像特征空域形状变换为序列结构，层归一化处理，分别得到第1个阶段嵌入编码1、第1个阶段嵌入编码2和第1个阶段嵌入编码3；
第1个阶段注意力编码，将第1个阶段嵌入编码1与第1个阶段嵌入编码2按照最后一个维度进行串接，得到注意力编码输入特征1；将第1个阶段嵌入编码1与第1个阶段嵌入编码3按照最后一个维度进行串接，得到第1个阶段注意力编码输入特征2；将第1个阶段嵌入编码2与第1个阶段嵌入编码1按照最后一个维度进行串接，得到第1个阶段注意力编码输入特征3；将第1个阶段嵌入编码3与第1个阶段嵌入编码1按照最后一个维度进行串接，得到第1个阶段注意力编码输入特征4；将所述第1个阶段注意力编码的4个输入特征，进行注意力编码：将第1个阶段每个注意力编码输入特征按照最后一个维度将前一半通道特征作为目标编码特征，将后一半通道特征作为源编码特征，再将目标编码特征和源编码特征分别进行可分离的卷积运算，其中卷积核尺度均为3×3，特征通道数为24，水平方向及垂直方向的步长均为1，将目标编码特征的处理结果作为注意力学习的查询关键词K编码向量和数值V编码向量，将源编码特征的处理结果作为注意力学习的查询Q编码向量，然后，利用多头注意力方法计算每个注意力编码输入特征的注意力权重矩阵，头的个数为1，特征通道数为24，最后，将所述每个注意力权重矩阵与每个注意力编码输入特征的目标编码特征相加，得到第1个阶段4个跨视图编码特征，利用所述4个跨视图编码特征的第1个和第2个跨视图编码特征的平均特征作为第1个阶段跨视图跨层特征；将所述第1个阶段跨视图跨层特征、第1个阶段第3个跨视图编码特征、第1个阶段第4个跨视图编码特征作为第1个阶段跨视图编码结果；将所述第1个阶段跨视图编码结果作为第2个阶段跨视图编码输入，将所述第1个阶段跨视图编码结果按照最后一个维度进行串接得到第1个阶段串接编码结果；
(2)第2个阶段的跨视图编码包括第2个阶段的嵌入编码和第2个阶段注意力编码
第2个阶段的嵌入编码，将第1个阶段跨视图编码结果中的每个特征进行嵌入编码，卷积运算的特征通道数为64，卷积核尺度均为3×3，水平方向及垂直方向的步长均为2，序列化处理将编码特征从图像特征空域形状变换为序列结构，特征的层归一化处理，得到第2个阶段嵌入编码1、第2个阶段嵌入编码2和第2个阶段嵌入编码3；
第2个阶段注意力编码，将第2个阶段嵌入编码1与第2个阶段嵌入编码2按照最后一个维度进行串接，得到第2阶注意力编码输入特征1；将第2个阶段嵌入编码1与第2个阶段嵌入编码3按照最后一个维度进行串接，得到第2个阶段注意力编码输入特征2；将第2个阶段嵌入编码2与第2个阶段嵌入编码1按照最后一个维度进行串接，得到第2个阶段注意力编码输入特征3；将第2个阶段嵌入编码3与第2个阶段嵌入编码1按照最后一个维度进行串接，得到第2个阶段注意力编码输入特征4，将所述每个输入特征，按照最后一个维度，将前一半通道特征作为目标编码特征，将后一半通道特征作为源编码特征，将目标编码特征和源编码特征分别进行可分离的卷积运算，卷积核尺度均为3×3，特征通道数为64，水平方向及垂直方向的步长均为2，将目标编码特征的处理结果作为注意力学习的查询关键词K编码向量和数值V编码向量，将源编码特征的处理结果作为注意力学习的查询Q编码向量，然后，利用多头注意力方法计算每个注意力编码输入特征的的注意力权重矩阵，头的个数为3，特征通道数为64，最后，将所述每个注意力编码输入特征的注意力权重矩阵与每个注意力编码输入特征的目标编码特征相加，得到第2个阶段的4个跨视图编码特征，利用所述跨视图编码特征的第1个和第2个特征的平均特征作为第2个阶段跨视图跨层特征；将所述第2个阶段跨视图跨层特征、第2个阶段第3个跨视图编码特征、第2个阶段第4个跨视图编码特征作为第2个阶段跨视图编码结果；将所述第2个阶段跨视图编码结果作为第3个阶段跨视图编码输入，将所述第2个阶段跨视图编码结果按照最后一个维度进行串接得到第2个阶段串接编码结果；
(3)第3个阶段的跨视图编码包括第3个阶段的嵌入编码和第3个阶段注意力编码
第3个阶段的嵌入编码，将第2个阶段跨视图编码结果中的每个特征进行嵌入编码处理，卷积运算，卷积核尺度均为3×3，特征通道数为128，水平方向及垂直方向的步长均为2，序列化处理将编码特征从图像特征空域形状变换为序列结构，特征的层归一化处理，得到第3个阶段嵌入编码1、第3个阶段嵌入编码2和第3个阶段嵌入编码3；
第3个阶段注意力编码，将第3个阶段嵌入编码1与第3个阶段嵌入编码2按照最后一个维度进行串接，得到第3阶注意力编码输入特征1；将第3个阶段嵌入编码1与第3个阶段嵌入编码3按最后一个维度进行串接，得到第3个阶段注意力编码输入特征2；将第3个阶段嵌入编码2与第3个阶段嵌入编码1按照最后一个维度进行串接，得到第3个阶段注意力编码输入特征3；将第3个阶段嵌入编码3与第3个阶段嵌入编码1按照最后一个维度进行串接，得到第3个阶段注意力编码输入特征4；将所述每个输入特征，按照最后一个维度，将前一半通道特征作为目标编码特征，将后一半通道特征作为源编码特征，将目标编码特征和源编码特征分别进行可分离的卷积运算，其中卷积核尺度均为3×3，特征通道数为128，水平方向及垂直方向的步长均为2，将目标编码特征的处理结果作为注意力学习的查询关键词K编码向量和数值V编码向量，将源编码特征的处理结果作为注意力学习的查询Q编码向量，然后，利用多头注意力方法计算每个注意力编码输入特征的注意力权重矩阵，头的个数为6，特征通道数为128，最后，将第3个阶段每个注意力编码输入特征的权重矩阵与每个注意力编码输入特征的目标编码特征相加，得到第3个阶段的4个跨视图编码特征，利用所述跨视图编码特征的第1个和第2个特征的平均特征作为第3个阶段跨视图跨层特征；将所述第3个阶段跨视图跨层特征、第3个阶段第3个跨视图编码特征、第3个阶段第4个跨视图编码特征作为第3个阶段跨视图编码结果；将所述第3个阶段跨视图编码结果按照最后一个维度进行串接得到第3个阶段串接编码结果；
对于第1个网络分支，将第1个阶段串接编码结果依次进行2个单元处理：在第1个单元处理中，卷积运算的特征通道数为16，卷积核尺度均为7×7，水平方向及垂直方向的步长均为1，再进行特征激活、批归一化处理；在第2个单元处理中，卷积运算的特征通道数为32，卷积核尺度均为3×3，水平方向及垂直方向的步长均为2，再进行特征激活、批归一化处理；将所得到的特征依次进行2个单元处理：在第1个单元处理中，卷积运算的特征通道数为32，卷积核尺度均为7×7，水平方向及垂直方向的步长均为1，再进行特征激活、批归一化处理；在第2个单元处理中，卷积运算的特征通道数为64，卷积核尺度均为3×3，水平方向及垂直方向的步长均为2，再进行特征激活、批归一化处理；然后，将所得到的特征与第3个阶段串接编码结果相串接，进行以下3个单元处理：在第1个单元处理中，卷积运算的特征通道数为64，卷积核尺度均为7×7，水平方向及垂直方向的步长均为2，再进行特征激活、批归一化处理；在第2个单元处理中，卷积运算的特征通道数为128，卷积核尺度均为3×3，水平方向及垂直方向的步长均为2，再进行特征激活、批归一化处理；在第3个单元处理中，卷积运算的特征通道数为12，卷积核尺度均为1×1，水平方向及垂直方向的步长均为1，再进行特征激活、批归一化处理；将所得的12通道的特征结果按照2×6的形式进行预测，得到张量L的结果；
对于第2个网络分支，将第1个阶段串接编码结果依次进行2个单元处理：在第1个单元处理中，卷积运算的特征通道数为16，卷积核尺度均为7×7，水平方向及垂直方向的步长均为1，再进行特征激活、批归一化处理；在第2个单元处理中，卷积运算的特征通道数为32，卷积核尺度均为3×3，水平方向及垂直方向的步长均为2，再进行特征激活、批归一化处理；然后将所得到的特征与第2个阶段串接编码结果相串接，进行以下2个单元处理：在第1个单元处理中，卷积运算的特征通道数为32，卷积核尺度均为7×7，水平方向及垂直方向的步长均为1，再进行特征激活、批归一化处理；在第2个单元处理中，卷积运算的特征通道数为32，卷积核尺度均为3×3，水平方向及垂直方向的步长均为2，再进行特征激活、批归一化处理；将所得到的特征与第3个阶段串接编码结果相串接，进行2个单元处理：在第1个单元处理中，卷积运算的特征通道数为64，卷积核尺度均为7×7，水平方向及垂直方向的步长均为2，再进行特征激活、批归一化处理；在第2个单元处理中，卷积运算的特征通道数为128，卷积核尺度均为3×3，水平方向及垂直方向的步长均为2，再进行特征激活、批归一化处理；在第3个单元处理中，卷积运算的特征通道数为4，卷积核尺度均为1×1，水平方向及垂直方向的步长均为1，再进行特征激活、批归一化处理；将所得的4通道特征作为张量O的结果；
对于第3个网络分支，将第1个阶段跨视图跨层特征输入，依次进行3个单元处理：在第1个单元处理中，卷积运算的特征通道数为32，卷积核尺度均为3×3，水平方向及垂直方向的步长均为1，再进行特征激活、批归一化处理；在第2个单元处理中，卷积运算的特征通道数为32，卷积核尺度均为3×3，水平方向及垂直方向的步长均为1，再进行特征激活、批归一化处理；在第3个单元处理中，卷积运算的特征通道数为32，卷积核尺度均为3×3，水平方向及垂直方向的步长均为1；再进行特征激活、批归一化处理，然后进行1次反卷积运算，卷积的特征通道数为16，卷积核尺度均为3×3，水平方向及垂直方向的步长均为2，特征激活、批归一化处理，得到第3个网络分支的第1跨层特征；
对于第3个网络分支跨层特征初始化：将主干网络的将第1个阶段跨视图跨层特征作为第3个网络分支的第2跨层特征，将主干网络的将第2个阶段跨视图跨层特征作为第3个网络分支的第3跨层特征，将主干网络的将第3个阶段跨视图跨层特征作为第3个网络分支的第4跨层特征，再将主干网络的将第1个阶段跨视图跨层特征经过第1次残差编码处理，包括3次卷积运算，其通道特征数分别为64、64和256个，卷积核的形状分别为1×1、3×3和1×1，然后，依次进行2个单元处理：在第1个单元处理中，卷积运算的特征通道数为192，卷积核尺度均为3×3，水平方向及垂直方向的步长均为2，再进行特征激活、批归一化处理，在第2个单元处理中，卷积运算的特征通道数为192，卷积核尺度均为3×3，水平方向及垂直方向的步长均为2，特征激活、批归一化处理，作为第3个网络分支的第5跨层特征，将第5跨层特征进行1次残差编码处理，具体进行3次卷积运算，这3次卷积运算中通道特征数分别为512、512和2048个，卷积核的形状分别为1×1、3×3和1×1，然后将所得到的特征依次进行6个单元处理过程：
在第1个单元处理时，上采样卷积处理，特征通道数为512，卷积的核形状为3×3，上采样的尺度为2×2，将所得的特征与第3个网络分支的第5跨层特征相串接，进一步将所述串接特征进行卷积处理，卷积的特征通道数为512，卷积的核形状为3×3；
在第2个单元处理时，上采样卷积处理，特征通道数为256，卷积的核形状为3×3，上采样的尺度为2×2，将所得的特征与第3个网络分支的第4跨层特征相串接，将得到的特征再进行卷积处理，卷积的特征通道数为256，卷积的核形状为3×3；
在第3个单元处理时，上采样卷积处理，特征通道数为128，卷积的核形状为3×3，上采样的尺度为2×2，将所得的特征与第3个网络分支的第3跨层特征相串接，将所述串接特征进行卷积处理，卷积的特征通道数为128，卷积的核形状为3×3，将所得的特征输入到4个单元处理，同时，将所得到的特征通过核为3×3的卷积运算，预测为张量W的第4个尺度的结果；
在第4个单元处理时，上采样卷积处理，特征通道数为64，卷积的核形状为3×3，上采样的尺度为2×2，将所得的特征与第3个网络分支的第2跨层特征、在第3个单元处理时的2×2上采样编码特征相串接，将所述串接特征进行卷积处理，卷积的特征通道数为64，卷积的核形状为3×3，将所得的特征输入到第5个单元处理，同时，将所得到的特征通过核为3×3的卷积运算，预测为张量W的第3个尺度的结果；
在第5个单元处理时，上采样卷积处理，特征通道数为32，卷积的核形状为3×3，上采样的尺度为2×2，将所得的特征分别与第3个网络分支的第1跨层特征、在第4个单元处理时的2×2上采样编码特征相串接，再将所述串接特征输入到第6个单元进行处理，同时，将所得到的特征通过核为3×3的卷积运算，预测为张量W的第2个尺度的结果；
在第6个单元处理时，上采样卷积处理，特征通道数为16，卷积的核形状为3×3，上采样的尺度为2×2，将所得的特征与在第5个单元处理时的2×2上采样编码特征相串接，再将所述串接特征通过核为3×3的卷积运算，预测为张量W的第1个尺度的结果；
利用第1至4个尺度的结果作为张量W的结果；
对于第4个网络分支，将第1个阶段跨视图跨层特征进行一次反卷积运算、特征激活、批归一化处理，反卷积运算中，卷积的特征通道数为16，卷积核尺度均为3×3，水平方向及垂直方向的步长均为2；将得到的结果记为解码器跨层特征1，再将第1个阶段跨视图跨层特征进行以下2个单元的处理：第1个单元处理时，卷积运算特征通道数为32，卷积核尺度均为7×7，水平方向及垂直方向的步长均为1，特征激活、批归一化处理，并将处理特征记为解码器跨层特征2；第2个单元处理，卷积运算，特征通道数为32，卷积核尺度均为3×3，水平方向及垂直方向的步长均为2，特征激活、批归一化处理，将所得到的特征与第2个阶段跨视图跨层特征进行串接，将所述串接结果进行以下2个单元的处理：第1个单元处理时，卷积的特征通道数为64，卷积核尺度均为7×7，水平方向及垂直方向的步长均为1，并将处理特征记为解码器跨层特征3；第2个单元处理时，卷积的特征通道数为128，卷积核尺度均为3×3，水平方向及垂直方向的步长均为2,然后将所得到的特征与第3个阶段跨视图跨层特征进行串接，再进行以下3个单元处理，第1个单元处理时，卷积的特征通道数为128，卷积核尺度均为7×7，水平方向及垂直方向的步长均为1，并将处理特征记为解码器跨层特征4；第2个单元处理时，卷积的特征通道数为256，卷积核尺度均为3×3，水平方向及垂直方向的步长均为2，将并将处理特征记为解码器跨层特征5；第3个单元处理时，卷积的特征通道数为512个，卷积核尺度均为3×3，水平方向及垂直方向的步长均为2，处理后得到第4个网络分支编码特征；
进一步进行解码，将所述第4个网络分支编码特征进行1次反卷积运算：卷积的特征通道数为256，卷积核尺度均为3×3，水平方向及垂直方向的步长均为2，特征激活、批归一化处理，并将得到的结果与解码器跨层特征5相串接，进行一次卷积运算：特征通道数为512，卷积核尺度均为3×3，水平方向及垂直方向的步长均为1，特征激活、批归一化处理，将所得到的结果进行反卷积运算：特征通道数为256，卷积核尺度均为3×3，水平方向及垂直方向的步长均为2，特征激活、批归一化处理，将所得到的结果与解码器跨层特征4相串接，进行一次卷积运算：特征通道数为256，卷积核尺度均为3×3，水平方向及垂直方向的步长均为1，特征激活、批归一化处理，将所得到的结果进行一次进行反卷积运算：特征通道数为128，卷积核尺度均为3×3，水平方向及垂直方向的步长均为2，特征激活、批归一化处理，将所得到的结果与解码器跨层特征3相串接，进行一次卷积运算：特征通道数为128，卷积核尺度均为3×3，水平方向及垂直方向的步长均为1，特征激活、批归一化处理，将所得到的特征作为张量B的第4个尺度结果，同时，将所得到的特征进行1次反卷积运算，反卷积的特征通道数为64，卷积核尺度均为3×3，水平方向及垂直方向的步长均为2，特征激活、批归一化处理，将所得到的特征与解码器跨层特征2相串接，进行一次卷积运算：特征通道数为64，卷积核尺度均为3×3，水平方向及垂直方向的步长均为1，特征激活、批归一化处理，将所得到的特征作为张量B的第3个尺度结果，同时，将所得到的特征进行1次反卷积运算：反卷积的特征通道数为32，卷积核尺度均为3×3，水平方向及垂直方向的步长均为2，特征激活、批归一化处理，再将所得到的特征与解码器跨层特征1相串接，然后进行一次卷积运算：特征通道数为32，卷积核尺度均为3×3，水平方向及垂直方向的步长均为1，特征激活、批归一化处理，将所得到的特征作为张量B的第2个尺度结果，同时，将所得到的特征进行1次反卷积运算：特征通道数为16，卷积核尺度均为7×7，水平方向及垂直方向的步长均为2，特征激活、批归一化处理，将所得到的特征与第3个尺度特征的上采样结果进行相串接，然后进行一次卷积运算：特征通道数为16，卷积核尺度均为3×3，水平方向及垂直方向的步长均为1，特征激活、批归一化处理，将所得到的特征作为张量B的第1个尺度结果，利用所述张量B的4个尺度结果，得到第4个网络分支的输出；
对于第5个网络分支，将第3个阶段串接编码结果依次进行4个单元处理：在第1个单元处理中，卷积运算的特征通道数为256，卷积核尺度均为3×3，水平方向及垂直方向的步长均为1，再进行特征激活、批归一化处理，在第2个单元处理中，卷积运算的特征通道数为512，卷积核尺度均为3×3，水平方向及垂直方向的步长均为2，再进行特征激活、批归一化处理，在第3个单元处理中，卷积运算的特征通道数为1024，卷积核尺度均为3×3，水平方向及垂直方向的步长均为2,在第4个单元处理中，卷积运算的特征通道数为3，卷积核尺度均为1×1，水平方向及垂直方向的步长均为1，将所得到的特征作为张量D的结果；
步骤3：神经网络的训练
分别将自然图像数据集、超声影像数据集和CT影像数据集中样本按照9:1划分为训练集和测试集，训练集中数据用于训练，测试集数据用于测试，在训练时，分别从对应的数据集中获取训练数据，统一缩放到分辨率p×o，输入到对应网络中，迭代优化，通过不断修改网络模型参数，使得每批次的损失达到最小；
在训练过程中，各损失的计算方法：
内部参数监督合成损失：在自然图像的网络模型训练中，将网络A的第3个网络分支输出的张量W作为深度，将网络A输出的张量L与训练数据的内部参数标签et(t＝1，2，3，4)分别作为位姿参数和摄像机内部参数，根据计算机视觉原理算法，利用图像b和图像d分别合成图像c视点处的两个图像，利用图像c分别与所述的两个合成图像，按照逐像素、逐颜色通道强度差之和计算得到；
无监督合成损失：在超声或者CT影像的网络模型训练中，将网络A的输出张量W作为深度，网络A输出的张量L和张量O分别作为位姿参数和摄像机内部参数，根据计算机视觉算法，利用目标影像的两个相邻影像分别构建目标视点处的合成影像，利用目标影像分别与所述两个目标视点处的合成影像，按照逐像素、逐颜色通道强度差之和计算得到；
内部参数误差损失：网络A输出的张量O与训练数据的内部参数标签et(t＝1，2，3，4)按照各分量差的绝对值之和计算得到；
空间结构误差损失：在超声或者CT影像的网络模型训练中，将网络A的输出张量W作为深度，网络A输出的张量L和张量O分别作为位姿参数和摄像机内部参数，根据计算机视觉算法，分别利用目标视点处影像的两个相邻影像重建目标视点处影像的三维坐标，采用RANSAC算法对重建点进行空间结构拟合，利用拟合得到的法向量与网络A的输出张量D，利用余弦距离计算得到；
变换合成损失：在超声或者CT影像的网络模型训练中，将网络A的输出张量W作为深度，网络A输出的张量L和张量O分别作为位姿参数和摄像机内部参数，根据计算机视觉算法，利用目标影像的两个相邻影像构建目标影像视点处的两个合成影像，对于所述合成影像中的每个影像，在合成过程得到每个像素位置后，将网络A的输出张量B作为合成影像空域变形的位移量，利用所述两个目标视点处的合成影像与目标视点处影像，按照逐像素、逐颜色通道强度差之和计算得到；
具体训练步骤：
(1)自然图像数据集上，分别对网络A的主干网络及第1及第3个网络分支，训练50000次
每次从自然图像数据集中取出训练数据，统一缩放到分辨率p×o，将图像c及图像τ输入网络A，对网络A的主干网络及第1及第3个网络分支训练50000次，每批次的训练损失由内部参数监督合成损失计算得到；
(2)自然图像数据集上，对网络A的第2个网络分支，训练60000次
每次从自然图像数据集中取出训练数据，统一缩放到分辨率p×o，将将图像c及图像τ输入网络A，对网络A的第2个网络分支进行训练，每批次的训练损失由无监督合成损失和内部参数误差损失之和计算得到；
(3)在超声影像数据集上，对网络A的第4及第5个网络分支训练60000次每次从超声影像数据集上取出超声训练数据，统一缩放到分辨率p×o，将影像j及影像π输入网络A，将输入到网络A，对网络A的第4及第5个网络分支进行训练，每批次的训练损失由变换合成损失和空间结构误差损失之和计算得到；
(4)在超声影像数据集上，对网络A的主干网络及第1至第5个网络分支训练50000次，得到网络模型参数ρ
每次从超声影像数据集上取出超声训练数据，统一缩放到分辨率p×o，将影像j及影像π输入网络A，将输入到网络A，对网络A的主干网络及第1至第5个网络分支进行训练，每批次的训练损失由变换合成损失和空间结构误差损失之和计算得到；
(5)在CT影像数据集上，对网络A的主干网络及第1至第5个网络分支进行训练50000次，得到模型参数ρ′
每次从CT影像数据集中取出CT影像训练数据，统一缩放到分辨率p×o，将影像m及影像σ输入到网络A，对网络A的主干网络及第1至第5个网络分支进行训练，通过不断修改网络的参数，对所述网络进行训练，不断修改网络参数，使得每批次的每幅影像的损失达到最小，网络优化的损失计算时，除了变换合成损失、空间结构误差损失，还要附加上摄像机平移运动的损失，训练50000次，得到模型参数ρ′；
步骤4：对超声或者CT影像三维重建
利用自采样的一个超声或者CT序列影像，同时进行以下3个处理实现三维重建：
(1)对序列影像中任一目标影像，按照如下方法计算摄像机坐标系下的三维坐标：缩放到分辨率p×o，对于超声序列影像，将影像j及影像π输入到网络A，对于CT序列影像，将影像m及影像σ输入到网络A，分别利用模型参数ρ和模型参数ρ′进行预测，将网络A的第1个网络分支的输出张量L和第2个网络分支的输出张量O分别作为摄像机位姿参数及摄像机内部参数，从网络A的第3个网络分支输出张量W作为目标影像的深度信息，根据目标影像的深度信息及摄像机内部参数，依据计算机视觉的原理，计算目标影像的摄像机坐标系下的三维坐标；
(2)序列影像三维重建过程中，建立关键帧序列：将序列影像第一帧作为关键帧序列的第一帧，并作为当前关键帧，当前关键帧之后的帧作为目标帧，按照目标帧顺序依次动态选取新的关键帧：首先，用单位矩阵初始化目标帧相对于当前关键帧的位姿参数矩阵，针对任一目标帧，将所述位姿参数矩阵累乘目标帧摄像机位姿参数，并利用累乘结果，结合所述目标帧的内部参数及深度信息，合成所述目标帧视点处的影像，利用所述合成影像与所述目标帧之间逐像素逐颜色通道强度差之和的大小计算误差λ，再根据所述目标帧的相邻帧，利用摄像机位姿参数和内部参数，合成所述目标帧视点处的影像，利用所述合成的影像与所述目标帧之间逐像素逐颜色通道强度差之和的大小计算误差γ，进一步利用公式(1)计算合成误差比Z：
Figure BDA0003192210170000121
满足Z大于阈值η，1<η<2，将所述目标帧作为新的关键帧，并将所述目标帧相对于当前关键帧的位姿参数矩阵作为新的关键帧的位姿参数，同时将所述目标帧更新为当前关键帧；以此迭代，完成关键帧序列建立；
(3)将序列影像第一帧的视点作为世界坐标系的原点，对任一目标影像，将其分辨率缩放到M×N，根据网络输出得到的摄像机内部参数及深度信息，计算得到摄像机坐标系下的三维坐标，根据网络输出的摄像机位姿参数，并结合关键帧序列中每一关键帧的位姿参数以及目标帧相对于当前关键帧的位姿参数矩阵，计算得到所述目标帧的每个像素的世界坐标系中的三维坐标。
本发明的有益效果：
本发明采用跨视图视觉Transformer网络模型，设计跨视图注意力学习模块，学习医学影像中跨视图采样之间的上下文特征信息，在医学影像的三维重建方法设计中充分发挥学习和智能感知的能力，本发明可以实现自动从二维的医学图像重建三维空间几何信息的功能，利用本发明能够有效地预测超声或CT影像的三维几何信息，可以为人工智能的医疗辅助诊断提供有效的3D重建解决方案。
附图说明
图1为本发明超声影像的三维重建结果图；
图2为本发明CT影像的三维重建结果图。
具体实施方式
下面结合附图及实施例对本发明进一步说明。
实施例
本实施例在PC机上Windows10 64位操作系统下进行实施，其硬件配置是CPU i7-9700F，内存16G，GPU NVIDIA GeForce GTX 2070 8G；深度学习库采用Tensorflow1.14；编程采用Python语言3.7版本。
一种基于跨视图视觉Transformer的超声或CT医学影像三维重建方法，该方法输入一个超声或者CT影像序列，分辨率为M×N，对于超声影像，M取450，N取300，对于CT影像，M和N均取512，三维重建的过程具体包括以下步骤：
步骤1：构建数据集
(a)构建自然图像数据集
选取一个自然图像网站，要求具有图像序列及对应的摄像机内部参数，从该网站下载19个图像序列及序列对应的内部参数,对于每个图像序列，每相邻3帧图像记为图像b、图像c和图像d，将图像b和图像d按照颜色通道进行拼接，得到图像τ，由图像c与图像τ构成一个数据元素，图像c为自然目标图像，图像c的采样视点作为目标视点，图像b、图像c和图像d的内部参数均为et(t＝1，2，3，4)，其中e1为水平焦距，e2为垂直焦距，e3及e4是主点坐标的两个分量；如果同一图像序列中最后剩余图像不足3帧，则舍弃；利用所有序列构建自然图像数据集，其数据集有3600个元素；
(b)构建超声影像数据集
采样10个超声影像序列，对于每个序列，每相邻3帧影像记为影像i、影像j和影像k，将影像i和影像k按照颜色通道进行拼接得到影像π，由影像j与影像π构成一个数据元素，影像j为超声目标影像,影像j的采样视点作为目标视点，如果同一影像序列中最后剩余影像不足3帧，则舍弃，利用所有序列构建超声影像数据集，其数据集有1600个元素；
(c)构建CT影像数据集
采样1个CT影像序列，对于所述序列，每相邻3帧记为影像l、影像m和影像n，将影像l和影像n按照颜色通道进行拼接得到影像σ，由影像m与影像σ构成一个数据元素，影像m为CT目标影像,影像m的采样视点作为目标视点，如果同一影像序列中最后剩余影像不足3帧，则舍弃，利用所有序列构建CT影像数据集，其数据集有2000个元素；步骤2：构建跨视图视觉Transformer网络A
神经网络处理的图像或影像的分辨率均为416×128，416为宽度，128为高度，以像素为单位；
网络A的结构由一个主干网络和5个网络分支构成，主干网络为跨视图Transformer拓扑结构，张量J和张量C作为输入，尺度分别为4×128×416×3和4×128×416×6，5个网络分支分别预测张量L、张量O、张量W、张量B和张量D，张量L尺度为4×2×6，张量O尺度为4×4×1，张量W尺度为4×128×416×1，张量B尺度为4×128×416×4，张量D的尺度为4×3；
主干网络设计为3个阶段的跨视图编码：
(1)第1个阶段的跨视图编码包括第1个阶段的嵌入编码和第1个阶段注意力编码
第1个阶段的嵌入编码，分别将张量J、张量C的最后一个维度的前3个特征分量、张量C最后一个维度的后3个特征分量进行卷积运算，卷积核尺度均为7×7，特征通道数为24，序列化处理将编码特征从图像特征空域形状变换为序列结构，层归一化处理，分别得到第1个阶段嵌入编码1、第1个阶段嵌入编码2和第1个阶段嵌入编码3；
第1个阶段注意力编码，将第1个阶段嵌入编码1与第1个阶段嵌入编码2按照最后一个维度进行串接，得到注意力编码输入特征1；将第1个阶段嵌入编码1与第1个阶段嵌入编码3按照最后一个维度进行串接，得到第1个阶段注意力编码输入特征2；将第1个阶段嵌入编码2与第1个阶段嵌入编码1按照最后一个维度进行串接，得到第1个阶段注意力编码输入特征3；将第1个阶段嵌入编码3与第1个阶段嵌入编码1按照最后一个维度进行串接，得到第1个阶段注意力编码输入特征4；将所述第1个阶段注意力编码的4个输入特征，进行注意力编码：将第1个阶段每个注意力编码输入特征按照最后一个维度将前一半通道特征作为目标编码特征，将后一半通道特征作为源编码特征，再将目标编码特征和源编码特征分别进行可分离的卷积运算，其中卷积核尺度均为3×3，特征通道数为24，水平方向及垂直方向的步长均为1，将目标编码特征的处理结果作为注意力学习的查询关键词K编码向量和数值V编码向量，将源编码特征的处理结果作为注意力学习的查询Q编码向量，然后，利用多头注意力方法计算每个注意力编码输入特征的注意力权重矩阵，头的个数为1，特征通道数为24，最后，将所述每个注意力权重矩阵与每个注意力编码输入特征的目标编码特征相加，得到第1个阶段4个跨视图编码特征，利用所述4个跨视图编码特征的第1个和第2个跨视图编码特征的平均特征作为第1个阶段跨视图跨层特征；将所述第1个阶段跨视图跨层特征、第1个阶段第3个跨视图编码特征、第1个阶段第4个跨视图编码特征作为第1个阶段跨视图编码结果；将所述第1个阶段跨视图编码结果作为第2个阶段跨视图编码输入，将所述第1个阶段跨视图编码结果按照最后一个维度进行串接得到第1个阶段串接编码结果；
(2)第2个阶段的跨视图编码包括第2个阶段的嵌入编码和第2个阶段注意力编码
第2个阶段的嵌入编码，将第1个阶段跨视图编码结果中的每个特征进行嵌入编码，卷积运算的特征通道数为64，卷积核尺度均为3×3，水平方向及垂直方向的步长均为2，序列化处理将编码特征从图像特征空域形状变换为序列结构，特征的层归一化处理，得到第2个阶段嵌入编码1、第2个阶段嵌入编码2和第2个阶段嵌入编码3；
第2个阶段注意力编码，将第2个阶段嵌入编码1与第2个阶段嵌入编码2按照最后一个维度进行串接，得到第2阶注意力编码输入特征1；将第2个阶段嵌入编码1与第2个阶段嵌入编码3按照最后一个维度进行串接，得到第2个阶段注意力编码输入特征2；将第2个阶段嵌入编码2与第2个阶段嵌入编码1按照最后一个维度进行串接，得到第2个阶段注意力编码输入特征3；将第2个阶段嵌入编码3与第2个阶段嵌入编码1按照最后一个维度进行串接，得到第2个阶段注意力编码输入特征4，将所述每个输入特征，按照最后一个维度，将前一半通道特征作为目标编码特征，将后一半通道特征作为源编码特征，将目标编码特征和源编码特征分别进行可分离的卷积运算，卷积核尺度均为3×3，特征通道数为64，水平方向及垂直方向的步长均为2，将目标编码特征的处理结果作为注意力学习的查询关键词K编码向量和数值V编码向量，将源编码特征的处理结果作为注意力学习的查询Q编码向量，然后，利用多头注意力方法计算每个注意力编码输入特征的的注意力权重矩阵，头的个数为3，特征通道数为64，最后，将所述每个注意力编码输入特征的注意力权重矩阵与每个注意力编码输入特征的目标编码特征相加，得到第2个阶段的4个跨视图编码特征，利用所述跨视图编码特征的第1个和第2个特征的平均特征作为第2个阶段跨视图跨层特征；将所述第2个阶段跨视图跨层特征、第2个阶段第3个跨视图编码特征、第2个阶段第4个跨视图编码特征作为第2个阶段跨视图编码结果；将所述第2个阶段跨视图编码结果作为第3个阶段跨视图编码输入，将所述第2个阶段跨视图编码结果按照最后一个维度进行串接得到第2个阶段串接编码结果；
(3)第3个阶段的跨视图编码包括第3个阶段的嵌入编码和第3个阶段注意力编码
第3个阶段的嵌入编码，将第2个阶段跨视图编码结果中的每个特征进行嵌入编码处理，卷积运算，卷积核尺度均为3×3，特征通道数为128，水平方向及垂直方向的步长均为2，序列化处理将编码特征从图像特征空域形状变换为序列结构，特征的层归一化处理，得到第3个阶段嵌入编码1、第3个阶段嵌入编码2和第3个阶段嵌入编码3；
第3个阶段注意力编码，将第3个阶段嵌入编码1与第3个阶段嵌入编码2按照最后一个维度进行串接，得到第3阶注意力编码输入特征1；将第3个阶段嵌入编码1与第3个阶段嵌入编码3按最后一个维度进行串接，得到第3个阶段注意力编码输入特征2；将第3个阶段嵌入编码2与第3个阶段嵌入编码1按照最后一个维度进行串接，得到第3个阶段注意力编码输入特征3；将第3个阶段嵌入编码3与第3个阶段嵌入编码1按照最后一个维度进行串接，得到第3个阶段注意力编码输入特征4；将所述每个输入特征，按照最后一个维度，将前一半通道特征作为目标编码特征，将后一半通道特征作为源编码特征，将目标编码特征和源编码特征分别进行可分离的卷积运算，其中卷积核尺度均为3×3，特征通道数为128，水平方向及垂直方向的步长均为2，将目标编码特征的处理结果作为注意力学习的查询关键词K编码向量和数值V编码向量，将源编码特征的处理结果作为注意力学习的查询Q编码向量，然后，利用多头注意力方法计算每个注意力编码输入特征的注意力权重矩阵，头的个数为6，特征通道数为128，最后，将第3个阶段每个注意力编码输入特征的权重矩阵与每个注意力编码输入特征的目标编码特征相加，得到第3个阶段的4个跨视图编码特征，利用所述跨视图编码特征的第1个和第2个特征的平均特征作为第3个阶段跨视图跨层特征；将所述第3个阶段跨视图跨层特征、第3个阶段第3个跨视图编码特征、第3个阶段第4个跨视图编码特征作为第3个阶段跨视图编码结果；将所述第3个阶段跨视图编码结果按照最后一个维度进行串接得到第3个阶段串接编码结果；
对于第1个网络分支，将第1个阶段串接编码结果依次进行2个单元处理：在第1个单元处理中，卷积运算的特征通道数为16，卷积核尺度均为7×7，水平方向及垂直方向的步长均为1，再进行特征激活、批归一化处理；在第2个单元处理中，卷积运算的特征通道数为32，卷积核尺度均为3×3，水平方向及垂直方向的步长均为2，再进行特征激活、批归一化处理；将所得到的特征依次进行2个单元处理：在第1个单元处理中，卷积运算的特征通道数为32，卷积核尺度均为7×7，水平方向及垂直方向的步长均为1，再进行特征激活、批归一化处理；在第2个单元处理中，卷积运算的特征通道数为64，卷积核尺度均为3×3，水平方向及垂直方向的步长均为2，再进行特征激活、批归一化处理；然后，将所得到的特征与第3个阶段串接编码结果相串接，进行以下3个单元处理：在第1个单元处理中，卷积运算的特征通道数为64，卷积核尺度均为7×7，水平方向及垂直方向的步长均为2，再进行特征激活、批归一化处理；在第2个单元处理中，卷积运算的特征通道数为128，卷积核尺度均为3×3，水平方向及垂直方向的步长均为2，再进行特征激活、批归一化处理；在第3个单元处理中，卷积运算的特征通道数为12，卷积核尺度均为1×1，水平方向及垂直方向的步长均为1，再进行特征激活、批归一化处理；将所得的12通道的特征结果按照2×6的形式进行预测，得到张量L的结果；
对于第2个网络分支，将第1个阶段串接编码结果依次进行2个单元处理：在第1个单元处理中，卷积运算的特征通道数为16，卷积核尺度均为7×7，水平方向及垂直方向的步长均为1，再进行特征激活、批归一化处理；在第2个单元处理中，卷积运算的特征通道数为32，卷积核尺度均为3×3，水平方向及垂直方向的步长均为2，再进行特征激活、批归一化处理；然后将所得到的特征与第2个阶段串接编码结果相串接，进行以下2个单元处理：在第1个单元处理中，卷积运算的特征通道数为32，卷积核尺度均为7×7，水平方向及垂直方向的步长均为1，再进行特征激活、批归一化处理；在第2个单元处理中，卷积运算的特征通道数为32，卷积核尺度均为3×3，水平方向及垂直方向的步长均为2，再进行特征激活、批归一化处理；将所得到的特征与第3个阶段串接编码结果相串接，进行2个单元处理：在第1个单元处理中，卷积运算的特征通道数为64，卷积核尺度均为7×7，水平方向及垂直方向的步长均为2，再进行特征激活、批归一化处理；在第2个单元处理中，卷积运算的特征通道数为128，卷积核尺度均为3×3，水平方向及垂直方向的步长均为2，再进行特征激活、批归一化处理；在第3个单元处理中，卷积运算的特征通道数为4，卷积核尺度均为1×1，水平方向及垂直方向的步长均为1，再进行特征激活、批归一化处理；将所得的4通道特征作为张量O的结果；
对于第3个网络分支，将第1个阶段跨视图跨层特征输入，依次进行3个单元处理：在第1个单元处理中，卷积运算的特征通道数为32，卷积核尺度均为3×3，水平方向及垂直方向的步长均为1，再进行特征激活、批归一化处理；在第2个单元处理中，卷积运算的特征通道数为32，卷积核尺度均为3×3，水平方向及垂直方向的步长均为1，再进行特征激活、批归一化处理；在第3个单元处理中，卷积运算的特征通道数为32，卷积核尺度均为3×3，水平方向及垂直方向的步长均为1；再进行特征激活、批归一化处理，然后进行1次反卷积运算，卷积的特征通道数为16，卷积核尺度均为3×3，水平方向及垂直方向的步长均为2，特征激活、批归一化处理，得到第3个网络分支的第1跨层特征；
对于第3个网络分支跨层特征初始化：将主干网络的将第1个阶段跨视图跨层特征作为第3个网络分支的第2跨层特征，将主干网络的将第2个阶段跨视图跨层特征作为第3个网络分支的第3跨层特征，将主干网络的将第3个阶段跨视图跨层特征作为第3个网络分支的第4跨层特征，再将主干网络的将第1个阶段跨视图跨层特征经过第1次残差编码处理，包括3次卷积运算，其通道特征数分别为64、64和256个，卷积核的形状分别为1×1、3×3和1×1，然后，依次进行2个单元处理：在第1个单元处理中，卷积运算的特征通道数为192，卷积核尺度均为3×3，水平方向及垂直方向的步长均为2，再进行特征激活、批归一化处理，在第2个单元处理中，卷积运算的特征通道数为192，卷积核尺度均为3×3，水平方向及垂直方向的步长均为2，特征激活、批归一化处理，作为第3个网络分支的第5跨层特征，将第5跨层特征进行1次残差编码处理，具体进行3次卷积运算，这3次卷积运算中通道特征数分别为512、512和2048个，卷积核的形状分别为1×1、3×3和1×1，然后将所得到的特征依次进行6个单元处理过程：
在第1个单元处理时，上采样卷积处理，特征通道数为512，卷积的核形状为3×3，上采样的尺度为2×2，将所得的特征与第3个网络分支的第5跨层特征相串接，进一步将所述串接特征进行卷积处理，卷积的特征通道数为512，卷积的核形状为3×3；
在第2个单元处理时，上采样卷积处理，特征通道数为256，卷积的核形状为3×3，上采样的尺度为2×2，将所得的特征与第3个网络分支的第4跨层特征相串接，将得到的特征再进行卷积处理，卷积的特征通道数为256，卷积的核形状为3×3；
在第3个单元处理时，上采样卷积处理，特征通道数为128，卷积的核形状为3×3，上采样的尺度为2×2，将所得的特征与第3个网络分支的第3跨层特征相串接，将所述串接特征进行卷积处理，卷积的特征通道数为128，卷积的核形状为3×3，将所得的特征输入到4个单元处理，同时，将所得到的特征通过核为3×3的卷积运算，预测为张量W的第4个尺度的结果；
在第4个单元处理时，上采样卷积处理，特征通道数为64，卷积的核形状为3×3，上采样的尺度为2×2，将所得的特征与第3个网络分支的第2跨层特征、在第3个单元处理时的2×2上采样编码特征相串接，将所述串接特征进行卷积处理，卷积的特征通道数为64，卷积的核形状为3×3，将所得的特征输入到第5个单元处理，同时，将所得到的特征通过核为3×3的卷积运算，预测为张量W的第3个尺度的结果；
在第5个单元处理时，上采样卷积处理，特征通道数为32，卷积的核形状为3×3，上采样的尺度为2×2，将所得的特征分别与第3个网络分支的第1跨层特征、在第4个单元处理时的2×2上采样编码特征相串接，再将所述串接特征输入到第6个单元进行处理，同时，将所得到的特征通过核为3×3的卷积运算，预测为张量W的第2个尺度的结果；
在第6个单元处理时，上采样卷积处理，特征通道数为16，卷积的核形状为3×3，上采样的尺度为2×2，将所得的特征与在第5个单元处理时的2×2上采样编码特征相串接，再将所述串接特征通过核为3×3的卷积运算，预测为张量W的第1个尺度的结果；
利用第1至4个尺度的结果作为张量W的结果；
对于第4个网络分支，将第1个阶段跨视图跨层特征进行一次反卷积运算、特征激活、批归一化处理，反卷积运算中，卷积的特征通道数为16，卷积核尺度均为3×3，水平方向及垂直方向的步长均为2；将得到的结果记为解码器跨层特征1，再将第1个阶段跨视图跨层特征进行以下2个单元的处理：第1个单元处理时，卷积运算特征通道数为32，卷积核尺度均为7×7，水平方向及垂直方向的步长均为1，特征激活、批归一化处理，并将处理特征记为解码器跨层特征2；第2个单元处理，卷积运算，特征通道数为32，卷积核尺度均为3×3，水平方向及垂直方向的步长均为2，特征激活、批归一化处理，将所得到的特征与第2个阶段跨视图跨层特征进行串接，将所述串接结果进行以下2个单元的处理：第1个单元处理时，卷积的特征通道数为64，卷积核尺度均为7×7，水平方向及垂直方向的步长均为1，并将处理特征记为解码器跨层特征3；第2个单元处理时，卷积的特征通道数为128，卷积核尺度均为3×3，水平方向及垂直方向的步长均为2,然后将所得到的特征与第3个阶段跨视图跨层特征进行串接，再进行以下3个单元处理，第1个单元处理时，卷积的特征通道数为128，卷积核尺度均为7×7，水平方向及垂直方向的步长均为1，并将处理特征记为解码器跨层特征4；第2个单元处理时，卷积的特征通道数为256，卷积核尺度均为3×3，水平方向及垂直方向的步长均为2，将并将处理特征记为解码器跨层特征5；第3个单元处理时，卷积的特征通道数为512个，卷积核尺度均为3×3，水平方向及垂直方向的步长均为2，处理后得到第4个网络分支编码特征；
进一步进行解码，将所述第4个网络分支编码特征进行1次反卷积运算：卷积的特征通道数为256，卷积核尺度均为3×3，水平方向及垂直方向的步长均为2，特征激活、批归一化处理，并将得到的结果与解码器跨层特征5相串接，进行一次卷积运算：特征通道数为512，卷积核尺度均为3×3，水平方向及垂直方向的步长均为1，特征激活、批归一化处理，将所得到的结果进行反卷积运算：特征通道数为256，卷积核尺度均为3×3，水平方向及垂直方向的步长均为2，特征激活、批归一化处理，将所得到的结果与解码器跨层特征4相串接，进行一次卷积运算：特征通道数为256，卷积核尺度均为3×3，水平方向及垂直方向的步长均为1，特征激活、批归一化处理，将所得到的结果进行一次进行反卷积运算：特征通道数为128，卷积核尺度均为3×3，水平方向及垂直方向的步长均为2，特征激活、批归一化处理，将所得到的结果与解码器跨层特征3相串接，进行一次卷积运算：特征通道数为128，卷积核尺度均为3×3，水平方向及垂直方向的步长均为1，特征激活、批归一化处理，将所得到的特征作为张量B的第4个尺度结果，同时，将所得到的特征进行1次反卷积运算，反卷积的特征通道数为64，卷积核尺度均为3×3，水平方向及垂直方向的步长均为2，特征激活、批归一化处理，将所得到的特征与解码器跨层特征2相串接，进行一次卷积运算：特征通道数为64，卷积核尺度均为3×3，水平方向及垂直方向的步长均为1，特征激活、批归一化处理，将所得到的特征作为张量B的第3个尺度结果，同时，将所得到的特征进行1次反卷积运算：反卷积的特征通道数为32，卷积核尺度均为3×3，水平方向及垂直方向的步长均为2，特征激活、批归一化处理，再将所得到的特征与解码器跨层特征1相串接，然后进行一次卷积运算：特征通道数为32，卷积核尺度均为3×3，水平方向及垂直方向的步长均为1，特征激活、批归一化处理，将所得到的特征作为张量B的第2个尺度结果，同时，将所得到的特征进行1次反卷积运算：特征通道数为16，卷积核尺度均为7×7，水平方向及垂直方向的步长均为2，特征激活、批归一化处理，将所得到的特征与第3个尺度特征的上采样结果进行相串接，然后进行一次卷积运算：特征通道数为16，卷积核尺度均为3×3，水平方向及垂直方向的步长均为1，特征激活、批归一化处理，将所得到的特征作为张量B的第1个尺度结果，利用所述张量B的4个尺度结果，得到第4个网络分支的输出；
对于第5个网络分支，将第3个阶段串接编码结果依次进行4个单元处理：在第1个单元处理中，卷积运算的特征通道数为256，卷积核尺度均为3×3，水平方向及垂直方向的步长均为1，再进行特征激活、批归一化处理，在第2个单元处理中，卷积运算的特征通道数为512，卷积核尺度均为3×3，水平方向及垂直方向的步长均为2，再进行特征激活、批归一化处理，在第3个单元处理中，卷积运算的特征通道数为1024，卷积核尺度均为3×3，水平方向及垂直方向的步长均为2,在第4个单元处理中，卷积运算的特征通道数为3，卷积核尺度均为1×1，水平方向及垂直方向的步长均为1，将所得到的特征作为张量D的结果；
步骤3：神经网络的训练
分别将自然图像数据集、超声影像数据集和CT影像数据集中样本按照9:1划分为训练集和测试集，训练集中数据用于训练，测试集数据用于测试，在训练时，分别从对应的数据集中获取训练数据，统一缩放到分辨率p×o，输入到对应网络中，迭代优化，通过不断修改网络模型参数，使得每批次的损失达到最小；
在训练过程中，各损失的计算方法：
内部参数监督合成损失：在自然图像的网络模型训练中，将网络A的第3个网络分支输出的张量W作为深度，将网络A输出的张量L与训练数据的内部参数标签et(t＝1，2，3，4)分别作为位姿参数和摄像机内部参数，根据计算机视觉原理算法，利用图像b和图像d分别合成图像c视点处的两个图像，利用图像c分别与所述的两个合成图像，按照逐像素、逐颜色通道强度差之和计算得到；
无监督合成损失：在超声或者CT影像的网络模型训练中，将网络A的输出张量W作为深度，网络A输出的张量L和张量O分别作为位姿参数和摄像机内部参数，根据计算机视觉算法，利用目标影像的两个相邻影像分别构建目标视点处的合成影像，利用目标影像分别与所述两个目标视点处的合成影像，按照逐像素、逐颜色通道强度差之和计算得到；
内部参数误差损失：网络A输出的张量O与训练数据的内部参数标签et(t＝1，2，3，4)按照各分量差的绝对值之和计算得到；
空间结构误差损失：在超声或者CT影像的网络模型训练中，将网络A的输出张量W作为深度，网络A输出的张量L和张量O分别作为位姿参数和摄像机内部参数，根据计算机视觉算法，分别利用目标视点处影像的两个相邻影像重建目标视点处影像的三维坐标，采用RANSAC算法对重建点进行空间结构拟合，利用拟合得到的法向量与网络A的输出张量D，利用余弦距离计算得到；
变换合成损失：在超声或者CT影像的网络模型训练中，将网络A的输出张量W作为深度，网络A输出的张量L和张量O分别作为位姿参数和摄像机内部参数，根据计算机视觉算法，利用目标影像的两个相邻影像构建目标影像视点处的两个合成影像，对于所述合成影像中的每个影像，在合成过程得到每个像素位置后，将网络A的输出张量B作为合成影像空域变形的位移量，利用所述两个目标视点处的合成影像与目标视点处影像，按照逐像素、逐颜色通道强度差之和计算得到；
具体训练步骤：
(1)自然图像数据集上，分别对网络A的主干网络及第1及第3个网络分支，训练50000次
每次从自然图像数据集中取出训练数据，统一缩放到分辨率416×128，将图像c及图像τ输入网络A，对网络A的主干网络及第1及第3个网络分支训练50000次，每批次的训练损失由内部参数监督合成损失计算得到；
(2)自然图像数据集上，对网络A的第2个网络分支，训练60000次
每次从自然图像数据集中取出训练数据，统一缩放到分辨率416×128，将将图像c及图像τ输入网络A，对网络A的第2个网络分支进行训练，每批次的训练损失由无监督合成损失和内部参数误差损失之和计算得到；
(3)在超声影像数据集上，对网络A的第4及第5个网络分支训练60000次
每次从超声影像数据集上取出超声训练数据，统一缩放到分辨率416×128，将影像j及影像π输入网络A，将输入到网络A，对网络A的第4及第5个网络分支进行训练，每批次的训练损失由变换合成损失和空间结构误差损失之和计算得到；
(4)在超声影像数据集上，对网络A的主干网络及第1至第5个网络分支训练50000次，得到网络模型参数ρ
每次从超声影像数据集上取出超声训练数据，统一缩放到分辨率416×128，将影像j及影像π输入网络A，将输入到网络A，对网络A的主干网络及第1至第5个网络分支进行训练，每批次的训练损失由变换合成损失和空间结构误差损失之和计算得到；
(5)在CT影像数据集上，对网络A的主干网络及第1至第5个网络分支进行训练50000次，得到模型参数ρ′
每次从CT影像数据集中取出CT影像训练数据，统一缩放到分辨率416×128，将影像m及影像σ输入到网络A，对网络A的主干网络及第1至第5个网络分支进行训练，通过不断修改网络的参数，对所述网络进行训练，不断修改网络参数，使得每批次的每幅影像的损失达到最小，网络优化的损失计算时，除了变换合成损失、空间结构误差损失，还要附加上摄像机平移运动的损失，训练50000次，得到模型参数ρ′；步骤4：对超声或者CT影像三维重建
利用自采样的一个超声或者CT序列影像，同时进行以下3个处理实现三维重建：
(1)对序列影像中任一目标影像，按照如下方法计算摄像机坐标系下的三维坐标：缩放到分辨率416×128，对于超声序列影像，将影像j及影像π输入到网络A，对于CT序列影像，将影像m及影像σ输入到网络A，分别利用模型参数ρ和模型参数ρ′进行预测，将网络A的第1个网络分支的输出张量L和第2个网络分支的输出张量O分别作为摄像机位姿参数及摄像机内部参数，从网络A的第3个网络分支输出张量W作为目标影像的深度信息，根据目标影像的深度信息及摄像机内部参数，依据计算机视觉的原理，计算目标影像的摄像机坐标系下的三维坐标；
(2)序列影像三维重建过程中，建立关键帧序列：将序列影像第一帧作为关键帧序列的第一帧，并作为当前关键帧，当前关键帧之后的帧作为目标帧，按照目标帧顺序依次动态选取新的关键帧：首先，用单位矩阵初始化目标帧相对于当前关键帧的位姿参数矩阵，针对任一目标帧，将所述位姿参数矩阵累乘目标帧摄像机位姿参数，并利用累乘结果，结合所述目标帧的内部参数及深度信息，合成所述目标帧视点处的影像，利用所述合成影像与所述目标帧之间逐像素逐颜色通道强度差之和的大小计算误差λ，再根据所述目标帧的相邻帧，利用摄像机位姿参数和内部参数，合成所述目标帧视点处的影像，利用所述合成的影像与所述目标帧之间逐像素逐颜色通道强度差之和的大小计算误差γ，进一步利用公式(1)计算合成误差比Z：
Figure BDA0003192210170000231
满足Z大于1.2时，将所述目标帧作为新的关键帧，并将所述目标帧相对于当前关键帧的位姿参数矩阵作为新的关键帧的位姿参数，同时将所述目标帧更新为当前关键帧；以此迭代，完成关键帧序列建立；
(3)将序列影像第一帧的视点作为世界坐标系的原点，对任一目标影像，将其分辨率缩放到M×N，对于超声影像，M取450，N取300，对于CT影像，M和N均取512，根据网络输出得到的摄像机内部参数及深度信息，计算得到摄像机坐标系下的三维坐标，根据网络输出的摄像机位姿参数，并结合关键帧序列中每一关键帧的位姿参数以及目标帧相对于当前关键帧的位姿参数矩阵，计算得到所述目标帧的每个像素的世界坐标系中的三维坐标。
在本实施例中，实验的超参数：优化器采用Adam优化器，网络学习率均取0.0002，动量系数为0.9。
本实施例在所构建的自然图像训练集、超声影像训练集和CT影像训练集进行网络训练，利用公共数据集中10个超声采样序列和1个CT影像序列，分别进行测试，采用变换合成损失进行误差计算，在超声或者CT影像的误差计算中，利用目标影像的两个相邻影像分别构建目标影像视点处的两个合成影像，利用所述合成影像中的每个影像与目标视点处影像，按照逐像素、逐颜色通道强度差之和计算得到。
表1为在超声影像序列重建时，计算得到的误差，表中每行的误差与超声影像公共数据集中的一个采样序列相对应，在CT影像序列重建时，将CT影像序列中的序列帧分为10组，每组的CT影像数量为40帧，表2为10组影像重建的误差，表中每行的误差与每组CT影像相对应。
本实施例，采用DenseNet对超声或者CT影像进行分割，然后进行3D重建，图1表示利用本发明得到的超声影像的三维重建结果，图2表示利用本发明得到的CT影像的三维重建结果，从中可以看出本发明能够得到较为准确的重建结果。
表1
序号 误差
1 0.16663369681760137
2 0.06336891486277994
3 0.09496393758067918
4 0.13823270491925962
5 0.12988432400835281
6 0.13054519425371922
7 0.0857021669440433
8 0.1477621596095048
9 0.10880799129583894
10 0.12566525323785782
表2
序号 误差
1 0.5975004650655322
2 0.6146742551448633
3 0.615208193937101
4 0.5846125403054919
5 0.5117251136899235
6 0.5217067828533032
7 0.5606986538433135
8 0.6052383589129315
9 0.5265263382920379
10 0.6071123475110765

Claims (1)

1.一种跨视图视觉Transformer的超声或CT医学影像三维重建方法，其特征在于，该方法输入一个超声或者CT影像序列，其影像分辨率为M×N，100≤M≤2000，100≤N≤2000，三维重建的过程具体包括以下步骤：
步骤1：构建数据集
(a)构建自然图像数据集
选取一个自然图像网站，要求具有图像序列及对应的摄像机内部参数，从所述自然图像网站下载a个图像序列及序列对应的内部参数,1≤a≤20,对于每个图像序列，每相邻3帧图像记为图像b、图像c和图像d，将图像b和图像d按照颜色通道进行拼接，得到图像τ，由图像c与图像τ构成一个数据元素，图像c为自然目标图像，图像c的采样视点作为目标视点，图像b、图像c和图像d的内部参数均为et(t＝1，2，3，4)，其中e1为水平焦距，e2为垂直焦距，e3及e4是主点坐标的两个分量；如果同一图像序列中最后剩余图像不足3帧，则舍弃；利用所有序列构建自然图像数据集，所构建的自然图像数据集中有f个元素，而且3000≤f≤20000；
(b)构建超声影像数据集
采样g个超声影像序列，其中1≤g≤20，对于每个序列，每相邻3帧影像记为影像i、影像j和影像k，将影像i和影像k按照颜色通道进行拼接得到影像π，由影像j与影像π构成一个数据元素，影像j为超声目标影像,影像j的采样视点作为目标视点，如果同一影像序列中最后剩余影像不足3帧，则舍弃，利用所有序列构建超声影像数据集，所构建的超声影像数据集中有F个元素，而且1000≤F≤20000；
(c)构建CT影像数据集
采样h个CT影像序列，其中1≤h≤20，对于每个序列，每相邻3帧记为影像l、影像m和影像n，将影像l和影像n按照颜色通道进行拼接得到影像σ，由影像m与影像σ构成一个数据元素，影像m为CT目标影像,影像m的采样视点作为目标视点，如果同一影像序列中最后剩余影像不足3帧，则舍弃，利用所有序列构建CT影像数据集，所构建的CT影像数据集中有ξ个元素，而且1000≤ξ≤20000；
步骤2：构建跨视图视觉Transformer网络A
神经网络输入的图像或影像的分辨率均为p×o，p为宽度，o为高度，以像素为单位，100≤o≤2000，100≤p≤2000；
网络A的结构由一个主干网络和5个网络分支构成，主干网络为跨视图Transformer拓扑结构，张量J和张量C作为输入，尺度分别为α×o×p×3和α×o×p×6，5个网络分支分别预测张量L、张量O、张量W、张量B和张量D，张量L尺度为α×2×6，张量O尺度为α×4×1，张量W尺度为α×o×p×1，张量B尺度为α×o×p×4，张量D的尺度为α×3，α为批次数量；
主干网络设计为3个阶段的跨视图编码：
(1)第1个阶段的跨视图编码包括第1个阶段的嵌入编码和第1个阶段注意力编码
第1个阶段的嵌入编码，分别将张量J、张量C的最后一个维度的前3个特征分量、张量C最后一个维度的后3个特征分量进行卷积运算，卷积核尺度均为7×7，特征通道数为24，序列化处理将编码特征从图像特征空域形状变换为序列结构，层归一化处理，分别得到第1个阶段嵌入编码1、第1个阶段嵌入编码2和第1个阶段嵌入编码3；
第1个阶段注意力编码，将第1个阶段嵌入编码1与第1个阶段嵌入编码2按照最后一个维度进行串接，得到注意力编码输入特征1；将第1个阶段嵌入编码1与第1个阶段嵌入编码3按照最后一个维度进行串接，得到第1个阶段注意力编码输入特征2；将第1个阶段嵌入编码2与第1个阶段嵌入编码1按照最后一个维度进行串接，得到第1个阶段注意力编码输入特征3；将第1个阶段嵌入编码3与第1个阶段嵌入编码1按照最后一个维度进行串接，得到第1个阶段注意力编码输入特征4；将所述第1个阶段注意力编码的4个输入特征，进行注意力编码：将第1个阶段每个注意力编码输入特征按照最后一个维度将前一半通道特征作为目标编码特征，将后一半通道特征作为源编码特征，再将目标编码特征和源编码特征分别进行可分离的卷积运算，其中卷积核尺度均为3×3，特征通道数为24，水平方向及垂直方向的步长均为1，将目标编码特征的处理结果作为注意力学习的查询关键词K编码向量和数值V编码向量，将源编码特征的处理结果作为注意力学习的查询Q编码向量，然后，利用多头注意力方法计算每个注意力编码输入特征的注意力权重矩阵，头的个数为1，特征通道数为24，最后，将所述每个注意力权重矩阵与每个注意力编码输入特征的目标编码特征相加，得到第1个阶段4个跨视图编码特征，利用所述4个跨视图编码特征的第1个和第2个跨视图编码特征的平均特征作为第1个阶段跨视图跨层特征；将所述第1个阶段跨视图跨层特征、第1个阶段第3个跨视图编码特征、第1个阶段第4个跨视图编码特征作为第1个阶段跨视图编码结果；将所述第1个阶段跨视图编码结果作为第2个阶段跨视图编码输入，将所述第1个阶段跨视图编码结果按照最后一个维度进行串接得到第1个阶段串接编码结果；
(2)第2个阶段的跨视图编码包括第2个阶段的嵌入编码和第2个阶段注意力编码
第2个阶段的嵌入编码，将第1个阶段跨视图编码结果中的每个特征进行嵌入编码，卷积运算的特征通道数为64，卷积核尺度均为3×3，水平方向及垂直方向的步长均为2，序列化处理将编码特征从图像特征空域形状变换为序列结构，特征的层归一化处理，得到第2个阶段嵌入编码1、第2个阶段嵌入编码2和第2个阶段嵌入编码3；
第2个阶段注意力编码，将第2个阶段嵌入编码1与第2个阶段嵌入编码2按照最后一个维度进行串接，得到第2阶注意力编码输入特征1；将第2个阶段嵌入编码1与第2个阶段嵌入编码3按照最后一个维度进行串接，得到第2个阶段注意力编码输入特征2；将第2个阶段嵌入编码2与第2个阶段嵌入编码1按照最后一个维度进行串接，得到第2个阶段注意力编码输入特征3；将第2个阶段嵌入编码3与第2个阶段嵌入编码1按照最后一个维度进行串接，得到第2个阶段注意力编码输入特征4，将所述每个输入特征，按照最后一个维度，将前一半通道特征作为目标编码特征，将后一半通道特征作为源编码特征，将目标编码特征和源编码特征分别进行可分离的卷积运算，卷积核尺度均为3×3，特征通道数为64，水平方向及垂直方向的步长均为2，将目标编码特征的处理结果作为注意力学习的查询关键词K编码向量和数值V编码向量，将源编码特征的处理结果作为注意力学习的查询Q编码向量，然后，利用多头注意力方法计算每个注意力编码输入特征的注意力权重矩阵，头的个数为3，特征通道数为64，最后，将所述每个注意力编码输入特征的注意力权重矩阵与每个注意力编码输入特征的目标编码特征相加，得到第2个阶段的4个跨视图编码特征，利用所述跨视图编码特征的第1个和第2个特征的平均特征作为第2个阶段跨视图跨层特征；将所述第2个阶段跨视图跨层特征、第2个阶段第3个跨视图编码特征、第2个阶段第4个跨视图编码特征作为第2个阶段跨视图编码结果；将所述第2个阶段跨视图编码结果作为第3个阶段跨视图编码输入，将所述第2个阶段跨视图编码结果按照最后一个维度进行串接得到第2个阶段串接编码结果；
(3)第3个阶段的跨视图编码包括第3个阶段的嵌入编码和第3个阶段注意力编码
第3个阶段的嵌入编码，将第2个阶段跨视图编码结果中的每个特征进行嵌入编码处理，卷积运算，卷积核尺度均为3×3，特征通道数为128，水平方向及垂直方向的步长均为2，序列化处理将编码特征从图像特征空域形状变换为序列结构，特征的层归一化处理，得到第3个阶段嵌入编码1、第3个阶段嵌入编码2和第3个阶段嵌入编码3；
第3个阶段注意力编码，将第3个阶段嵌入编码1与第3个阶段嵌入编码2按照最后一个维度进行串接，得到第3阶注意力编码输入特征1；将第3个阶段嵌入编码1与第3个阶段嵌入编码3按最后一个维度进行串接，得到第3个阶段注意力编码输入特征2；将第3个阶段嵌入编码2与第3个阶段嵌入编码1按照最后一个维度进行串接，得到第3个阶段注意力编码输入特征3；将第3个阶段嵌入编码3与第3个阶段嵌入编码1按照最后一个维度进行串接，得到第3个阶段注意力编码输入特征4；将所述每个输入特征，按照最后一个维度，将前一半通道特征作为目标编码特征，将后一半通道特征作为源编码特征，将目标编码特征和源编码特征分别进行可分离的卷积运算，其中卷积核尺度均为3×3，特征通道数为128，水平方向及垂直方向的步长均为2，将目标编码特征的处理结果作为注意力学习的查询关键词K编码向量和数值V编码向量，将源编码特征的处理结果作为注意力学习的查询Q编码向量，然后，利用多头注意力方法计算每个注意力编码输入特征的注意力权重矩阵，头的个数为6，特征通道数为128，最后，将第3个阶段每个注意力编码输入特征的权重矩阵与每个注意力编码输入特征的目标编码特征相加，得到第3个阶段的4个跨视图编码特征，利用所述跨视图编码特征的第1个和第2个特征的平均特征作为第3个阶段跨视图跨层特征；将所述第3个阶段跨视图跨层特征、第3个阶段第3个跨视图编码特征、第3个阶段第4个跨视图编码特征作为第3个阶段跨视图编码结果；将所述第3个阶段跨视图编码结果按照最后一个维度进行串接得到第3个阶段串接编码结果；
对于第1个网络分支，将第1个阶段串接编码结果依次进行2个单元处理：在第1个单元处理中，卷积运算的特征通道数为16，卷积核尺度均为7×7，水平方向及垂直方向的步长均为1，再进行特征激活、批归一化处理；在第2个单元处理中，卷积运算的特征通道数为32，卷积核尺度均为3×3，水平方向及垂直方向的步长均为2，再进行特征激活、批归一化处理；将所得到的特征依次进行2个单元处理：在第1个单元处理中，卷积运算的特征通道数为32，卷积核尺度均为7×7，水平方向及垂直方向的步长均为1，再进行特征激活、批归一化处理；在第2个单元处理中，卷积运算的特征通道数为64，卷积核尺度均为3×3，水平方向及垂直方向的步长均为2，再进行特征激活、批归一化处理；然后，将所得到的特征与第3个阶段串接编码结果相串接，进行以下3个单元处理：在第1个单元处理中，卷积运算的特征通道数为64，卷积核尺度均为7×7，水平方向及垂直方向的步长均为2，再进行特征激活、批归一化处理；在第2个单元处理中，卷积运算的特征通道数为128，卷积核尺度均为3×3，水平方向及垂直方向的步长均为2，再进行特征激活、批归一化处理；在第3个单元处理中，卷积运算的特征通道数为12，卷积核尺度均为1×1，水平方向及垂直方向的步长均为1，再进行特征激活、批归一化处理；将所得的12通道的特征结果按照2×6的形式进行预测，得到张量L的结果；
对于第2个网络分支，将第1个阶段串接编码结果依次进行2个单元处理：在第1个单元处理中，卷积运算的特征通道数为16，卷积核尺度均为7×7，水平方向及垂直方向的步长均为1，再进行特征激活、批归一化处理；在第2个单元处理中，卷积运算的特征通道数为32，卷积核尺度均为3×3，水平方向及垂直方向的步长均为2，再进行特征激活、批归一化处理；然后将所得到的特征与第2个阶段串接编码结果相串接，进行以下2个单元处理：在第1个单元处理中，卷积运算的特征通道数为32，卷积核尺度均为7×7，水平方向及垂直方向的步长均为1，再进行特征激活、批归一化处理；在第2个单元处理中，卷积运算的特征通道数为32，卷积核尺度均为3×3，水平方向及垂直方向的步长均为2，再进行特征激活、批归一化处理；将所得到的特征与第3个阶段串接编码结果相串接，进行2个单元处理：在第1个单元处理中，卷积运算的特征通道数为64，卷积核尺度均为7×7，水平方向及垂直方向的步长均为2，再进行特征激活、批归一化处理；在第2个单元处理中，卷积运算的特征通道数为128，卷积核尺度均为3×3，水平方向及垂直方向的步长均为2，再进行特征激活、批归一化处理；在第3个单元处理中，卷积运算的特征通道数为4，卷积核尺度均为1×1，水平方向及垂直方向的步长均为1，再进行特征激活、批归一化处理；将所得的4通道特征作为张量O的结果；
对于第3个网络分支，将第1个阶段跨视图跨层特征输入，依次进行3个单元处理：在第1个单元处理中，卷积运算的特征通道数为32，卷积核尺度均为3×3，水平方向及垂直方向的步长均为1，再进行特征激活、批归一化处理；在第2个单元处理中，卷积运算的特征通道数为32，卷积核尺度均为3×3，水平方向及垂直方向的步长均为1，再进行特征激活、批归一化处理；在第3个单元处理中，卷积运算的特征通道数为32，卷积核尺度均为3×3，水平方向及垂直方向的步长均为1；再进行特征激活、批归一化处理，然后进行1次反卷积运算，卷积的特征通道数为16，卷积核尺度均为3×3，水平方向及垂直方向的步长均为2，特征激活、批归一化处理，得到第3个网络分支的第1跨层特征；
对于第3个网络分支跨层特征初始化：将主干网络的将第1个阶段跨视图跨层特征作为第3个网络分支的第2跨层特征；将主干网络的将第2个阶段跨视图跨层特征作为第3个网络分支的第3跨层特征；将主干网络的将第3个阶段跨视图跨层特征作为第3个网络分支的第4跨层特征；再将主干网络的将第1个阶段跨视图跨层特征经过第1次残差编码处理，包括3次卷积运算，其通道特征数分别为64、64和256个，卷积核的形状分别为1×1、3×3和1×1，然后，依次进行2个单元处理：在第1个单元处理中，卷积运算的特征通道数为192，卷积核尺度均为3×3，水平方向及垂直方向的步长均为2，再进行特征激活、批归一化处理；在第2个单元处理中，卷积运算的特征通道数为192，卷积核尺度均为3×3，水平方向及垂直方向的步长均为2，特征激活、批归一化处理，作为第3个网络分支的第5跨层特征；将第5跨层特征进行1次残差编码处理，具体进行3次卷积运算，这3次卷积运算中通道特征数分别为512、512和2048个，卷积核的形状分别为1×1、3×3和1×1，然后将所得到的特征依次进行6个单元处理过程：
在第1个单元处理时，上采样卷积处理，特征通道数为512，卷积的核形状为3×3，上采样的尺度为2×2，将所得的特征与第3个网络分支的第5跨层特征相串接，进一步将所述串接特征进行卷积处理，卷积的特征通道数为512，卷积的核形状为3×3；
在第2个单元处理时，上采样卷积处理，特征通道数为256，卷积的核形状为3×3，上采样的尺度为2×2，将所得的特征与第3个网络分支的第4跨层特征相串接，将得到的特征再进行卷积处理，卷积的特征通道数为256，卷积的核形状为3×3；
在第3个单元处理时，上采样卷积处理，特征通道数为128，卷积的核形状为3×3，上采样的尺度为2×2，将所得的特征与第3个网络分支的第3跨层特征相串接，将所述串接特征进行卷积处理，卷积的特征通道数为128，卷积的核形状为3×3，将所得的特征输入到4个单元处理，同时，将所得到的特征通过核为3×3的卷积运算，预测为张量W的第4个尺度的结果；
在第4个单元处理时，上采样卷积处理，特征通道数为64，卷积的核形状为3×3，上采样的尺度为2×2，将所得的特征与第3个网络分支的第2跨层特征、上述第3个单元的2×2上采样编码特征相串接，将所述串接特征进行卷积处理，卷积的特征通道数为64，卷积的核形状为3×3，将所得的特征输入到第5个单元处理，同时，将所得到的特征通过核为3×3的卷积运算，预测为张量W的第3个尺度的结果；
在第5个单元处理时，上采样卷积处理，特征通道数为32，卷积的核形状为3×3，上采样的尺度为2×2，将所得的特征分别与第3个网络分支的第1跨层特征、所述第4个单元的2×2上采样编码特征相串接，再将所述串接特征输入到第6个单元进行处理，同时，将所得到的特征通过核为3×3的卷积运算，预测为张量W的第2个尺度的结果；
在第6个单元处理时，上采样卷积处理，特征通道数为16，卷积的核形状为3×3，上采样的尺度为2×2，将所得的特征与上述第5个单元的2×2上采样编码特征相串接，再将所述串接特征通过核为3×3的卷积运算，预测为张量W的第1个尺度的结果；
利用第1至4个尺度的结果作为张量W的结果；
对于第4个网络分支，将第1个阶段跨视图跨层特征进行一次反卷积运算、特征激活、批归一化处理，反卷积运算中，卷积的特征通道数为16，卷积核尺度均为3×3，水平方向及垂直方向的步长均为2；将得到的结果记为解码器跨层特征1，再将第1个阶段跨视图跨层特征进行以下2个单元的处理：第1个单元处理时，卷积运算特征通道数为32，卷积核尺度均为7×7，水平方向及垂直方向的步长均为1，特征激活、批归一化处理，并将处理特征记为解码器跨层特征2；第2个单元处理，卷积运算，特征通道数为32，卷积核尺度均为3×3，水平方向及垂直方向的步长均为2，特征激活、批归一化处理，将所得到的特征与第2个阶段跨视图跨层特征进行串接，将所述串接结果进行以下2个单元的处理：第1个单元处理时，卷积的特征通道数为64，卷积核尺度均为7×7，水平方向及垂直方向的步长均为1，并将处理特征记为解码器跨层特征3；第2个单元处理时，卷积的特征通道数为128，卷积核尺度均为3×3，水平方向及垂直方向的步长均为2，然后将所得到的特征与第3个阶段跨视图跨层特征进行串接，再进行以下3个单元处理，第1个单元处理时，卷积的特征通道数为128，卷积核尺度均为7×7，水平方向及垂直方向的步长均为1，并将处理特征记为解码器跨层特征4；第2个单元处理时，卷积的特征通道数为256，卷积核尺度均为3×3，水平方向及垂直方向的步长均为2，将并将处理特征记为解码器跨层特征5；第3个单元处理时，卷积的特征通道数为512个，卷积核尺度均为3×3，水平方向及垂直方向的步长均为2，处理后得到第4个网络分支编码特征；
进一步进行解码，将所述第4个网络分支编码特征进行1次反卷积运算：卷积的特征通道数为256，卷积核尺度均为3×3，水平方向及垂直方向的步长均为2，特征激活、批归一化处理，并将得到的结果与解码器跨层特征5相串接，进行一次卷积运算：特征通道数为512，卷积核尺度均为3×3，水平方向及垂直方向的步长均为1，特征激活、批归一化处理，将所得到的结果进行反卷积运算：特征通道数为256，卷积核尺度均为3×3，水平方向及垂直方向的步长均为2，特征激活、批归一化处理，将所得到的结果与解码器跨层特征4相串接，进行一次卷积运算：特征通道数为256，卷积核尺度均为3×3，水平方向及垂直方向的步长均为1，特征激活、批归一化处理，将所得到的结果进行一次进行反卷积运算：特征通道数为128，卷积核尺度均为3×3，水平方向及垂直方向的步长均为2，特征激活、批归一化处理，将所得到的结果与解码器跨层特征3相串接，进行一次卷积运算：特征通道数为128，卷积核尺度均为3×3，水平方向及垂直方向的步长均为1，特征激活、批归一化处理，将所得到的特征作为张量B的第4个尺度结果，同时，将所得到的特征进行1次反卷积运算，反卷积的特征通道数为64，卷积核尺度均为3×3，水平方向及垂直方向的步长均为2，特征激活、批归一化处理，将所得到的特征与解码器跨层特征2相串接，进行一次卷积运算：特征通道数为64，卷积核尺度均为3×3，水平方向及垂直方向的步长均为1，特征激活、批归一化处理，将所得到的特征作为张量B的第3个尺度结果，同时，将所得到的特征进行1次反卷积运算：反卷积的特征通道数为32，卷积核尺度均为3×3，水平方向及垂直方向的步长均为2，特征激活、批归一化处理，再将所得到的特征与解码器跨层特征1相串接，然后进行一次卷积运算：特征通道数为32，卷积核尺度均为3×3，水平方向及垂直方向的步长均为1，特征激活、批归一化处理，将所得到的特征作为张量B的第2个尺度结果，同时，将所得到的特征进行1次反卷积运算：特征通道数为16，卷积核尺度均为7×7，水平方向及垂直方向的步长均为2，特征激活、批归一化处理，将所得到的特征与第3个尺度特征的上采样结果进行相串接，然后进行一次卷积运算：特征通道数为16，卷积核尺度均为3×3，水平方向及垂直方向的步长均为1，特征激活、批归一化处理，将所得到的特征作为张量B的第1个尺度结果，利用所述张量B的4个尺度结果，得到第4个网络分支的输出；
对于第5个网络分支，将第3个阶段串接编码结果依次进行4个单元处理：在第1个单元处理中，卷积运算的特征通道数为256，卷积核尺度均为3×3，水平方向及垂直方向的步长均为1，再进行特征激活、批归一化处理；在第2个单元处理中，卷积运算的特征通道数为512，卷积核尺度均为3×3，水平方向及垂直方向的步长均为2，再进行特征激活、批归一化处理；在第3个单元处理中，卷积运算的特征通道数为1024，卷积核尺度均为3×3，水平方向及垂直方向的步长均为2；在第4个单元处理中，卷积运算的特征通道数为3，卷积核尺度均为1×1，水平方向及垂直方向的步长均为1，将所得到的特征作为张量D的结果；步骤3：神经网络的训练
分别将自然图像数据集、超声影像数据集和CT影像数据集中样本按照9:1划分为训练集和测试集，训练集中数据用于训练，测试集数据用于测试，在训练时，分别从对应的数据集中获取训练数据，统一缩放到分辨率p×o，输入到对应网络中，迭代优化，通过不断修改网络模型参数，使得每批次的损失达到最小；
在训练过程中，各损失的计算方法：
内部参数监督合成损失：在自然图像的网络模型训练中，将网络A的第3个网络分支输出的张量W作为深度，将网络A输出的张量L与训练数据的内部参数标签et(t＝1，2，3，4)分别作为位姿参数和摄像机内部参数，根据计算机视觉原理算法，利用图像b和图像d分别合成图像c视点处的两个图像，利用图像c分别与所述的两个合成图像，按照逐像素、逐颜色通道强度差之和计算得到；
无监督合成损失：在超声或者CT影像的网络模型训练中，将网络A的输出张量W作为深度，网络A输出的张量L和张量O分别作为位姿参数和摄像机内部参数，根据计算机视觉算法，利用目标影像的两个相邻影像分别构建目标视点处的合成影像，利用目标影像分别与所述两个目标视点处的合成影像，按照逐像素、逐颜色通道强度差之和计算得到；
内部参数误差损失：网络A输出的张量O与训练数据的内部参数标签et(t＝1，2，3，4)按照各分量差的绝对值之和计算得到；
空间结构误差损失：在超声或者CT影像的网络模型训练中，将网络A的输出张量W作为深度，网络A输出的张量L和张量O分别作为位姿参数和摄像机内部参数，根据计算机视觉算法，分别利用目标视点处影像的两个相邻影像重建目标视点处影像的三维坐标，采用RANSAC算法对重建点进行空间结构拟合，利用拟合得到的法向量与网络A的输出张量D，利用余弦距离计算得到；
变换合成损失：在超声或者CT影像的网络模型训练中，将网络A的输出张量W作为深度，网络A输出的张量L和张量O分别作为位姿参数和摄像机内部参数，根据计算机视觉算法，利用目标影像的两个相邻影像构建目标影像视点处的两个合成影像，对于所述合成影像中的每个影像，在合成过程得到每个像素位置后，将网络A的输出张量B作为合成影像空域变形的位移量，利用所述两个目标视点处的合成影像与目标视点处影像，按照逐像素、逐颜色通道强度差之和计算得到；
具体训练步骤：
(1)自然图像数据集上，分别对网络A的主干网络及第1及第3个网络分支，训练50000次
每次从自然图像数据集中取出训练数据，统一缩放到分辨率p×o，将图像c及图像τ输入网络A，对网络A的主干网络及第1及第3个网络分支训练50000次，每批次的训练损失由内部参数监督合成损失计算得到；
(2)自然图像数据集上，对网络A的第2个网络分支，训练60000次
每次从自然图像数据集中取出训练数据，统一缩放到分辨率p×o，将将图像c及图像τ输入网络A，对网络A的第2个网络分支进行训练，每批次的训练损失由无监督合成损失和内部参数误差损失之和计算得到；
(3)在超声影像数据集上，对网络A的第4及第5个网络分支训练60000次
每次从超声影像数据集上取出超声训练数据，统一缩放到分辨率p×o，将影像j及影像π输入网络A，将输入到网络A，对网络A的第4及第5个网络分支进行训练，每批次的训练损失由变换合成损失和空间结构误差损失之和计算得到；
(4)在超声影像数据集上，对网络A的主干网络及第1至第5个网络分支训练50000次，得到网络模型参数ρ
每次从超声影像数据集上取出超声训练数据，统一缩放到分辨率p×o，将影像j及影像π输入网络A，将输入到网络A，对网络A的主干网络及第1至第5个网络分支进行训练，每批次的训练损失由变换合成损失和空间结构误差损失之和计算得到；
(5)在CT影像数据集上，对网络A的主干网络及第1至第5个网络分支进行训练50000次，得到模型参数ρ′
每次从CT影像数据集中取出CT影像训练数据，统一缩放到分辨率p×o，将影像m及影像σ输入到网络A，对网络A的主干网络及第1至第5个网络分支进行训练，通过不断修改网络的参数，对所述网络进行训练，不断修改网络参数，使得每批次的每幅影像的损失达到最小，网络优化的损失计算时，除了变换合成损失、空间结构误差损失，还要附加上摄像机平移运动的损失，训练50000次，得到模型参数ρ′；
步骤4：对超声或者CT影像三维重建
利用自采样的一个超声或者CT序列影像，同时进行以下3个处理实现三维重建：
(1)对序列影像中任一目标影像，按照如下方法计算摄像机坐标系下的三维坐标：缩放到分辨率p×o，对于超声序列影像，将影像j及影像π输入到网络A，对于CT序列影像，将影像m及影像σ输入到网络A，分别利用模型参数ρ和模型参数ρ′进行预测，将网络A的第1个网络分支的输出张量L和第2个网络分支的输出张量O分别作为摄像机位姿参数及摄像机内部参数，从网络A的第3个网络分支输出张量W作为目标影像的深度信息，根据目标影像的深度信息及摄像机内部参数，依据计算机视觉的原理，计算目标影像的摄像机坐标系下的三维坐标；
(2)序列影像三维重建过程中，建立关键帧序列：将序列影像第一帧作为关键帧序列的第一帧，并作为当前关键帧，当前关键帧之后的帧作为目标帧，按照目标帧顺序依次动态选取新的关键帧：首先，用单位矩阵初始化目标帧相对于当前关键帧的位姿参数矩阵，针对任一目标帧，将所述位姿参数矩阵累乘目标帧摄像机位姿参数，并利用累乘结果，结合所述目标帧的内部参数及深度信息，合成所述目标帧视点处的影像，利用所述合成影像与所述目标帧之间逐像素逐颜色通道强度差之和的大小计算误差λ，再根据所述目标帧的相邻帧，利用摄像机位姿参数和内部参数，合成所述目标帧视点处的影像，利用所述合成的影像与所述目标帧之间逐像素逐颜色通道强度差之和的大小计算误差γ，进一步利用公式(1)计算合成误差比Z：
Figure FDA0003192210160000101
满足Z大于阈值η，1<η<2，将所述目标帧作为新的关键帧，并将所述目标帧相对于当前关键帧的位姿参数矩阵作为新的关键帧的位姿参数，同时将所述目标帧更新为当前关键帧；以此迭代，完成关键帧序列建立；
(3)将序列影像第一帧的视点作为世界坐标系的原点，对任一目标影像，将其分辨率缩放到M×N，根据网络输出得到的摄像机内部参数及深度信息，计算得到摄像机坐标系下的三维坐标，根据网络输出的摄像机位姿参数，并结合关键帧序列中每一关键帧的位姿参数以及目标帧相对于当前关键帧的位姿参数矩阵，计算得到所述目标帧的每个像素的世界坐标系中的三维坐标。
CN202110881631.9A 2021-08-02 2021-08-02 一种跨视图视觉Transformer的超声或CT医学影像三维重建方法 Active CN113689547B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110881631.9A CN113689547B (zh) 2021-08-02 2021-08-02 一种跨视图视觉Transformer的超声或CT医学影像三维重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110881631.9A CN113689547B (zh) 2021-08-02 2021-08-02 一种跨视图视觉Transformer的超声或CT医学影像三维重建方法

Publications (2)

Publication Number Publication Date
CN113689547A true CN113689547A (zh) 2021-11-23
CN113689547B CN113689547B (zh) 2023-06-23

Family

ID=78578575

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110881631.9A Active CN113689547B (zh) 2021-08-02 2021-08-02 一种跨视图视觉Transformer的超声或CT医学影像三维重建方法

Country Status (1)

Country Link
CN (1) CN113689547B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050041771A1 (en) * 2003-08-05 2005-02-24 Gioietta Kuo-Petravic Practical implementation of a CT cone beam algorithm for 3-D image reconstruction as applied to nondestructive inspection of baggage, live laboratory animal and any solid materials
WO2013021023A1 (en) * 2011-08-11 2013-02-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. View synthesis compliant signal codec
CN110544297A (zh) * 2019-08-06 2019-12-06 北京工业大学 一种单幅图像的三维模型重建方法
CN112767532A (zh) * 2020-12-30 2021-05-07 华东师范大学 一种基于迁移学习的超声或ct医学影像三维重建方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050041771A1 (en) * 2003-08-05 2005-02-24 Gioietta Kuo-Petravic Practical implementation of a CT cone beam algorithm for 3-D image reconstruction as applied to nondestructive inspection of baggage, live laboratory animal and any solid materials
WO2013021023A1 (en) * 2011-08-11 2013-02-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. View synthesis compliant signal codec
CN110544297A (zh) * 2019-08-06 2019-12-06 北京工业大学 一种单幅图像的三维模型重建方法
CN112767532A (zh) * 2020-12-30 2021-05-07 华东师范大学 一种基于迁移学习的超声或ct医学影像三维重建方法

Also Published As

Publication number Publication date
CN113689547B (zh) 2023-06-23

Similar Documents

Publication Publication Date Title
CN111310707B (zh) 基于骨骼的图注意力网络动作识别方法及系统
CN112150425B (zh) 一种基于神经网络的无监督血管内超声图像配准方法
CN112767532B (zh) 一种基于迁移学习的超声或ct医学影像三维重建方法
CN113689545A (zh) 一种2d到3d端对端的超声或ct医学影像跨模态重建方法
CN111738363A (zh) 基于改进的3d cnn网络的阿尔茨海默病分类方法
CN110930378B (zh) 基于低数据需求的肺气肿影像处理方法及系统
CN115082293A (zh) 一种基于Swin Transformer和CNN双分支耦合的图像配准方法
CN113689546A (zh) 一种两视图孪生Transformer的超声或CT影像跨模态三维重建方法
CN116385454A (zh) 一种基于多阶段聚合的医学图像分割方法
CN112700534B (zh) 一种基于特征迁移的超声或ct医学影像三维重建方法
CN118196153A (zh) 一种跨模态可变形医学影像配准方法及系统
CN116416553A (zh) 基于时空解耦注意力机制的视频目标分割方法
CN113689542B (zh) 一种基于自注意力Transformer的超声或CT医学影像三维重建方法
CN113689544B (zh) 一种跨视图几何约束的医学影像三维重建方法
CN118015396A (zh) 一种基于无监督的医学图像器官分割模型预训练方法
CN112734906B (zh) 一种基于知识蒸馏的超声或ct医学影像的三维重建方法
CN116309754A (zh) 一种基于局部-全局信息协作的大脑医学图像配准方法及系统
CN112700535B (zh) 一种面向智能医疗辅助诊断的超声影像三维重建方法
CN112734907B (zh) 一种超声或ct医学影像三维重建方法
CN113689547A (zh) 一种跨视图视觉Transformer的超声或CT医学影像三维重建方法
CN116228823A (zh) 一种基于人工智能的磁共振影像无监督级联配准方法
CN116309679A (zh) 一种适用于多种模态的类mlp医学影像分割方法
CN113689543B (zh) 一种极线约束的稀疏注意力机制医学影像三维重建方法
CN113689548A (zh) 一种基于互注意力Transformer的医学影像三维重建方法
CN114820636A (zh) 一种三维医学图像分割模型及其训练方法和应用

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant