CN113808182B - 一种2d与3d图像配准方法及装置 - Google Patents

一种2d与3d图像配准方法及装置 Download PDF

Info

Publication number
CN113808182B
CN113808182B CN202111374305.5A CN202111374305A CN113808182B CN 113808182 B CN113808182 B CN 113808182B CN 202111374305 A CN202111374305 A CN 202111374305A CN 113808182 B CN113808182 B CN 113808182B
Authority
CN
China
Prior art keywords
image
feature
feature data
network
characteristic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111374305.5A
Other languages
English (en)
Other versions
CN113808182A (zh
Inventor
舒丽霞
李萌
蔺嫦燕
陈彧
濮欣
许尚栋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BEIJING INSTITUTE OF HEART LUNG AND BLOOD VESSEL DISEASES
Beijing Anzhen Hospital
Original Assignee
BEIJING INSTITUTE OF HEART LUNG AND BLOOD VESSEL DISEASES
Beijing Anzhen Hospital
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BEIJING INSTITUTE OF HEART LUNG AND BLOOD VESSEL DISEASES, Beijing Anzhen Hospital filed Critical BEIJING INSTITUTE OF HEART LUNG AND BLOOD VESSEL DISEASES
Priority to CN202111374305.5A priority Critical patent/CN113808182B/zh
Publication of CN113808182A publication Critical patent/CN113808182A/zh
Application granted granted Critical
Publication of CN113808182B publication Critical patent/CN113808182B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/38—Registration of image sequences
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种2D与3D图像配准方法及装置，包括：获取待配准的一幅2D图像和一幅3D图像；将所述2D图像和3D图像输入预先训练的2D图像特征提取模型和3D图像特征提取模型中，获取同维度的包含2D空间信息的2D图像特征数据和包含3D空间信息的3D图像的特征数据；将所述2D图像的特征数据及所述3D图像的特征数据输入到预先训练的配准模型中，对所述2D图像的特征数据及所述3D图像的特征数据进行配准，得到配准所述2D图像与所述3D图像的空间变换；基于所述空间变换，将所述3D图像映射并叠加到所述2D图像对应空间位置上。本发明直接对图像对进行配准，无需配准前图像预处理，最大程度简化了2D和3D图像配准流程。

Description

一种2D与3D图像配准方法及装置
技术领域
本发明涉及图像配准领域，尤其涉及一种2D与3D图像配准方法及装置。
背景技术
2D图像和3D图像配准，即寻找一个空间变换，将2D图像和3D图像中相同的空间位置准确地叠加在一起的过程。2D和3D图像配准广泛应用于各种场景，比如在介入治疗、智能制造、机器人定位等领域，通常需要将预先已知的3D图像与实时获取的2D图像进行配准，以实现手术的精准导航、机械臂的安全自主交互、汽车的自主动态避障路径规划等功能。
现有2D与3D图像配准技术主要采用如下两种方案：1、将3D图像投影到2D空间生成2D投影图像，遍历所有可能的投影变换，构建一个投影图像库，然后从中寻找与待配准2D图像最为匹配的2D投影图像，从而实现2D与3D图像的配准。构建完整的投影图像库经常需要成百上千个小时，过程极为繁琐耗时。2、利用多张2D图像重建3D图像，通过匹配重建3D图像与待配准的3D图像，间接实现2D和3D图像的配准。现实中很难即时获得多张2D图像以重建3D图像，即使能获得少量2D图像，所重建的3D图像比较粗糙，进而影响2D与3D图像的最终配准精度。因此，亟需一种新的2D与3D图像配准技术，直接在2D与3D图像对上进行配准，以避开繁琐、耗时、难以满足条件等诸多配准前的预处理。
发明内容
为此，我们考虑将待配准的2D图像和3D图像分别拉伸为2D图像的1D特征序列和3D图像的1D特征序列，并将2D图像和3D图像的空间信息分别嵌入到各自的1D特征序列中，得到包含空间信息的2D图像1D特征序列和包含空间信息3D图像1D特征序列，然后配准包含空间信息的2D图像1D特征序列和包含空间信息3D图像1D特征序列，进而实现2D和3D图像的配准。如此便可以直接在2D和3D图像上进行配准，无需配准前的图像预处理过程。
有鉴于此，本发明提供了一种2D和3D图像配准方法，包括：
获取待配准的一幅2D图像和一幅3D图像；
将所述2D图像和3D图像分别输入预先训练的2D图像特征提取网络模型和3D图像特征提取网络模型中，获取包含2D空间信息的2D图像的特征数据和包含3D空间信息的3D图像的特征数据，所述2D图像的特征数据与所述3D图像的特征数据具有相同的维度；
将所述包含2D空间信息的2D图像的特征数据及所述包含3D空间信息的3D图像的特征数据输入到预先训练的配准模型中，对所述包含空间信息的2D图像的特征数据及所述包含空间信息的3D图像的特征数据进行配准，得到配准所述2D图像与所述3D图像的空间变换；
基于所述空间变换，将所述3D图像映射并叠加到所述2D图像对应空间位置上。
基于上述配准方法，本发明还提供了一种2D和3D图像配准装置，包括：
数据获取单元，用于：获取待配准的一幅2D图像和一幅3D图像；
特征提取单元，用于：将所述2D图像和3D图像分别输入预先训练的2D图像特征提取网络模型和3D图像特征提取网络模型中，获取包含2D空间信息的2D图像的特征数据和包含3D空间信息的3D图像的特征数据，所述2D图像的特征数据与所述3D图像的特征数据具有相同的维度；
图像配准单元，用于：将所述包含2D空间信息的2D图像的特征数据及所述包含3D空间信息的3D图像的特征数据输入到预先训练的配准模型中，对所述包含空间信息的2D图像的特征数据及所述包含空间信息的3D图像的特征数据进行配准，得到配准所述2D图像与所述3D图像的空间变换；
图像叠加单元，用于：基于所述空间变换，将所述3D图像映射并叠加到所述2D图像对应空间位置上。
相对于现有2D与3D图像配准技术，本发明直接在输入的待配准图像对上进行图像配准，没有在配准前对待配准的2D图像或3D图像做任何的图像预处理，避开了繁琐、耗时、难以满足条件等诸多配准前的预处理工作，最大程度简化了2D和3D图像配准的流程。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1是本发明实施例1、实施例2、实施例3和实施例4提供的一种2D和3D图像配准方法流程示意图；
图2是本发明实施例1和实施例2提供的特征提取模型示意图；
图3是本发明实施例1和实施例3提供的配准模型示意图；
图4是本发明实施例2和实施例4提供的配准模型示意图；
图5是本发明实施例3和实施例4提供的特征提取模型示意图；
图6是本发明实施例5、实施例6、实施例7和实施例8提供的一种2D和3D图像配准装置结构示意图；
图7是本发明实施例5和实施例6提供的特征提取单元示意图；
图8是本发明实施例5和实施例7提供的图像配准单元示意图；
图9是本发明实施例6和实施例8提供的图像配准单元示意图；
图10是本发明实施例7和实施例8提供的特征提取单元示意图。
具体实施方式
为使本发明的目的、技术手段和有益效果更加清楚完整，下面结合附图对本发明的具体实施方式进行描述。
实施例1
本发明实施例提供了一种2D和3D图像配准方法，其流程示意图如图1所示，包括以下步骤：
S1、获取待配准的一幅2D图像和一幅3D图像。
S2、将所述2D图像和3D图像分别输入预先训练的2D图像特征提取网络模型和3D图像特征提取网络模型中，获取包含2D空间信息的2D图像的特征数据和包含3D空间信息的3D图像的特征数据，所述2D图像的特征数据与所述3D图像的特征数据具有相同的维度。
图2显示了S2中特征提取模型S21的网络结构：
S211、2D图像特征提取网络模型S211，从所述2D图像间接提取包含有2D空间信息的2D图像的1D特征数据，2D图像特征提取网络模型S211依次具体包括：
S2111、2D图像2D特征提取模块，采用2D图像卷积神经网络提取2D图像的2D特征数据，2D图像卷积神经网络由输入层、卷积层、激活函数、池化层、全连接层组成；
S2112、特征数据维度转换模块，用于将所述2D图像的2D特征数据转换成1D特征数据，采用公式(1)进行转换：
Figure GDA0003503291580000041
这里f表示2D图像的2D特征数据，L2*W2为2D图像的2D特征数据大小，d2表示2D图像的2D特征数据的通道数；
Figure GDA0003503291580000042
表示转换后的2D图像的1D特征数据，S2＝L2*W2表示转换后的2D图像的1D特征序列长度；
S2113、2D图像1D特征与通道转置模块，采用公式(2)对2D图像的1D特征与通道进行转置：
Figure GDA0003503291580000043
其中S2为转置前2D图像的1D特征序列长度，d2为转置前2D图像的1D特征的通道数,m＝0，1，…，S2-1,n＝0，1，…，d2-1；
Figure GDA0003503291580000044
表示转置前的2D图像的1D特征数据，
Figure GDA0003503291580000045
表示转置后的2D图像的1D特征数据；
S2114、特征数据位置嵌入模块，用于对所述转置后的2D图像的1D特征数据的位置信息进行编码，并将位置编码嵌入到所述转置后的2D图像的1D特征数据中；
首先，采用如下公式进行位置编码：
Figure GDA0003503291580000051
Figure GDA0003503291580000052
其中，PE表示位置编码函数；S2为转置后2D图像的1D特征的通道数；i表示特征值在2D图像1D特征序列中的位置，i＝0，1，…，d2-1；j表示特征值在2D图像的1D特征通道中的位置，j＝0，1，…，S2-1；
然后，将位置编码嵌入到2D图像的1D特征数据中，嵌入公式如下：
Figure GDA0003503291580000053
其中，
Figure GDA0003503291580000054
表示转置后的2D图像的1D特征数据，X2表示嵌入位置编码后的2D图像的1D特征数据。
S212、3D图像特征提取网络模型S212，从所述3D图像间接提取包含有3D空间信息的3D图像的1D特征数据，所述3D图像特征提取网络模型依次具体包括：
S2121、3D图像3D特征提取模块，采用3D图像卷积神经网络提取3D图像的3D特征数据，3D图像卷积神经网络由输入层、卷积层、激活函数、池化层、全连接层组成；
S2122、特征数据维度转换模块，用于将所述3D图像的3D特征数据转换成1D特征数据，采用公式(6)进行转换：
Figure GDA0003503291580000055
这里f表示3D图像的3D特征数据，L3*W3*H3为3D图像的3D特征数据大小，d3表示3D图像的3D特征的通道数；
Figure GDA0003503291580000056
表示转换后3D图像的1D特征数据，S3＝L3*W3*H3表示转换后3D图像的1D特征长度；
S2123、3D图像1D特征与通道转置模块，采用公式(7)对3D图像的1D特征与通道进行转置：
Figure GDA0003503291580000057
其中S3为转置前3D图像的1D特征序列长度，d3为转置前3D图像的1D特征的通道数,m＝0，1，…，S3-1,n＝0，1，…，d3-1；
Figure GDA0003503291580000061
表示转置前的3D图像的1D特征数据，
Figure GDA0003503291580000062
表示转置后的3D图像的1D特征数据；
S2124、特征数据位置嵌入模块，用于对所述转置后的3D图像的1D特征数据的位置信息进行编码，并将位置编码嵌入到所述3D图像的1D特征数据中；
首先，采用如下公式进行位置编码：
Figure GDA0003503291580000063
Figure GDA0003503291580000064
其中，PE表示位置编码函数；S3为转置后3D图像的1D特征的通道数；i表示特征值在3D图像的1D特征序列中的位置，i＝0，1，…，d3-1；j表示特征值在3D图像的1D特征通道中的位置，j＝0，1，…，S3-1；
然后，将位置编码嵌入到3D图像的1D特征数据中，嵌入公式如下：
Figure GDA0003503291580000065
其中，
Figure GDA0003503291580000066
表示转置后的3D图像的1D特征数据，X3表示嵌入位置编码后的3D图像的1D特征数据。
S3、将所述包含2D空间信息的2D图像的特征数据及所述3D包含空间信息的3D图像的特征数据输入到预先训练的配准模型中，对所述包含空间信息的2D图像的特征数据及所述包含空间信息的3D图像的特征数据进行配准，得到配准所述2D图像与所述3D图像的空间变换；
图3显示了S3中配准模型S31的网络结构：
S31、所述配准模型依次包括：特征长度归一化网络、特征交叉融合网络和空间变换计算网络；
S311、特征长度归一化网络：
采用一维卷积网络，将所述包含2D空间信息的2D图像的1D特征序列和所述包含2D空间信息的3D图像的1D特征序列分别归一化为相同的序列长度；归一化后的序列长度S0取值靠近所述包含空间信息的2D图像的1D特征序列长度和所述包含空间信息的3D图像的1D特征序列长度的几何平均数，同时能被后述多头交叉注意力网络中的头数所整除；
S312、特征交叉融合网络：
采用多头交叉注意力网络，学习从2D图像到3D图像的交叉融合特征和从3D图像到2D图像的交叉融合特征，具体包括：
S3121、2D图像到3D图像交叉融合特征计算网络，采用2D到3D图像的多头交叉注意力网络，将长度归一化后的包含空间信息的2D图像的1D特征数据
Figure GDA0003503291580000071
传递给长度归一化后的包含空间信息的3D图像的1D特征数据
Figure GDA0003503291580000072
得到所述2D图像到所述3D图像的交叉融合特征X2-3，具体计算如下：
Figure GDA0003503291580000073
Figure GDA0003503291580000074
Figure GDA0003503291580000075
其中，LN表示层标准化，mul表示交叉注意力网络的头数，即传递次数，
Figure GDA0003503291580000076
表示为将
Figure GDA0003503291580000077
传递给
Figure GDA0003503291580000078
的第i头交叉注意力网络层，
Figure GDA0003503291580000079
表示为将
Figure GDA00035032915800000710
通过第i头注意力网络传递给
Figure GDA00035032915800000711
后得到的第i头交叉融合特征，
Figure GDA00035032915800000712
表示
Figure GDA00035032915800000713
传递给
Figure GDA00035032915800000714
的第i-1头交叉融合特征，
Figure GDA00035032915800000715
表示最终得到的
Figure GDA00035032915800000716
传递给
Figure GDA00035032915800000717
的第i头交叉融合特征，
Figure GDA00035032915800000718
Figure GDA00035032915800000719
表示由θ参数化的第i头交叉注意力网络的前馈层；
将特征Xβ传递给特征Xα的交叉注意力CMβ-α(Xα，Xβ)的计算公式如下：
Figure GDA00035032915800000720
其中，
Figure GDA00035032915800000721
和
Figure GDA00035032915800000722
为待训练的交叉注意力网络参数；dk表示交叉注意力网络中键的通道数，具体取值依据模型需要自行设定；
S3122、3D图像到2D图像交叉融合特征计算网络，采用3D到2D图像的多头交叉注意力网络，将长度归一化后的包含空间信息的3D图像的1D特征数据
Figure GDA0003503291580000081
传递给长度归一化后的包含空间信息的2D图像的1D特征数据
Figure GDA0003503291580000082
得到所述3D图像到所述2D图像的交叉融合特征X3-2，具体计算如下：
Figure GDA0003503291580000083
Figure GDA0003503291580000084
Figure GDA0003503291580000085
其中，LN表示层标准化，mul表示交叉注意力网络的头数，即传递次数，
Figure GDA0003503291580000086
表示为将
Figure GDA0003503291580000087
传递给
Figure GDA0003503291580000088
的第i头交叉注意力网络层，
Figure GDA0003503291580000089
表示为将
Figure GDA00035032915800000810
通过第i头注意力网络传递给
Figure GDA00035032915800000811
后得到的第i头交叉融合特征，
Figure GDA00035032915800000812
表示
Figure GDA00035032915800000813
传递给
Figure GDA00035032915800000814
的第i-1头交叉融合特征，
Figure GDA00035032915800000815
表示最终得到的
Figure GDA00035032915800000816
传递给
Figure GDA00035032915800000817
的第i头交叉融合特征，
Figure GDA00035032915800000818
Figure GDA00035032915800000819
表示由θ参数化的第i头交叉注意力网络的前馈层；
S313、空间变换计算网络：
用于计算配准所述2D图像与所述3D图像的空间变换，具体如下：
S3131、特征组合模型，将所述2D图像到3D图像的交叉融合特征X2-3与所述3D图像到2D图像的交叉融合特征X3-2组合为特征X，Y＝[X3-2；X2-3]，组合特征X的序列长度保持所述归一化后的序列长度S0不变，组合特征X的通道数d＝2dv,dv表示交叉注意力网络中值的通道数，具体取值依据模型需要自行设定；也可以如后述实施例2中S322一样进行特征组合；
S3132、特征解析网络，采用自注意力网络对组合特征X进行解析，组合特征X的自注意力计算公式如下：
Figure GDA00035032915800000820
其中，
Figure GDA00035032915800000821
表示组合特征X经自注意力网络解析后得到的解析特征；WQ，WK和WV为待训练的自注意力网络参数，d表示组合特征X的通道数；
S3133、空间变换输出网络，先通过一个卷积层，将解析特征的通道数调整为1；再通过一个由全连接层、激活层、标准化层组成的全连接网络，输出配准所述2D图像与所述3D图像的空间变换。
S4、基于所述空间变换，将所述3D图像映射并叠加到所述2D图像对应空间位置上。
以上即为本发明实施例1提供的一种2D和3D图像配准方法的具体实施方式。相较于现有2D与3D图像配准技术，此方法直接在输入的待配准图像对上进行图像配准，没有在配准前对待配准的2D图像或3D图像做任何的图像预处理，避开了繁琐、耗时、难以满足条件等诸多配准前的预处理工作，最大程度简化了2D和3D图像配准的流程。
实施例2
本发明实施例提供了一种2D和3D图像配准方法，其流程示意图如图1所示，包括以下步骤：
S1、获取待配准的一幅2D图像和一幅3D图像。
S2、将所述2D图像和3D图像分别输入预先训练的2D图像特征提取网络模型和3D图像特征提取网络模型中，获取包含2D空间信息的2D图像的特征数据和包含3D空间信息的3D图像的特征数据，所述2D图像的特征数据与所述3D图像的特征数据具有相同的维度。
图2显示了S2中特征提取模型S21的网络结构，包括S211即2D图像特征提取网络模型和S212即3D图像特征提取网络模型，其中：
S211、所述2D图像特征提取网络模型从所述2D图像间接提取包含有2D空间信息的2D图像的1D特征数据，依次具体包括：S2111即2D图像2D特征提取模块，S2112即特征数据维度转换模块、S2113即2D图像1D特征与通道转置模块和S2114即特征数据位置嵌入模块；
S212、所述3D图像特征提取网络模型从所述3D图像间接提取包含有3D空间信息的3D图像的1D特征数据，依次具体包括：S2121即3D图像3D特征提取模块、S2122即特征数据维度转换模块、S2123即3D图像1D特征与通道转置模块和S2124即特征数据位置嵌入模块；
所述特征提取模型S21与实施例1中所述特征提取模型S21完全相同。
S3、将所述包含2D空间信息的2D图像的特征数据及所述包含3D空间信息的3D图像的特征数据输入到预先训练的配准模型中，对所述包含空间信息的2D图像的特征数据及所述包含空间信息的3D图像的特征数据进行配准，得到配准所述2D图像与所述3D图像的空间变换。
图4显示了S3中配准模型S32的网络结构，具体包括：特征通道归一化网络、特征组合网络、特征解析网络和空间变换输出网络，其中：
S321、特征通道归一化网络，用于将所述包含2D空间信息的2D图像的1D特征通道和所述包含3D空间信息的3D图像的1D特征通道归一化为相同的通道数；归一化后的通道数d0取值为所述包含空间信息的2D图像的1D特征序列长度d2和所述包含空间信息的3D图像的1D特征序列长度d3的几何平均数；
S322、特征组合网络，用于将所述包含2D空间信息的2D图像的1D特征数据X2和所述包含3D空间信息的3D图像的1D特征数据X3组合起来，得到组合特征Y＝[X2；X3]；组合特征Y的通道数保持所述归一化后的通道数d0不变，组合特征Y的序列长度S＝S2+S3,S2和S3分别表示特征X2和X3的序列长度；也可以如前述实施例1中S3131一样进行特征组合；
S323、特征解析网络，用于解析组合特征Y；采用组合特征Y的自注意力对Y进行解析，组合特征Y的自注意力计算公式如下：
Figure GDA0003503291580000101
其中，
Figure GDA0003503291580000102
表示组合特征Y经自注意力网络解析后得到的解析特征；WQ，WK和WV为待训练的自注意力网络参数，d0为所述组合特征Y的通道数；
S324、空间变换输出网络，用于输出配准空间变换；所述空间变换输出网络由一个卷积层和一个全连接网络构成；先通过一个卷积层，将解析特征的通道数调整为1；再通过由全连接层、激活层、标准化层组成的全连接网络，输出配准所述2D图像与所述3D图像的空间变换。
以上即为本发明实施例2提供的一种2D和3D图像配准方法的具体实施方式。相较于现有2D与3D图像配准技术，此方法直接在输入的待配准图像对上进行图像配准，无需任何配准前的图像预处理工作，最大程度简化了2D和3D图像配准的流程。
实施例3
本发明实施例提供了一种2D和3D图像配准方法，其流程示意图如图1所示，包括以下步骤：
S1、获取待配准的一幅2D图像和一幅3D图像。
S2、将所述2D图像和3D图像分别输入预先训练的2D图像特征提取网络模型和3D图像特征提取网络模型中，获取包含2D空间信息的2D图像的特征数据和包含3D空间信息的3D图像的特征数据，所述2D图像的特征数据与所述3D图像的特征数据具有相同的空间维度。
图5显示了步骤S2中特征提取模型S22的网络结构，包括2D图像特征提取网络模型和3D图像特征提取网络模型，其中：
S221、2D图像特征提取网络模型，从所述2D图像直接提取包含有2D空间信息的2D图像的1D特征数据，具体包括：n1个2D图像处理单元和1个时间卷积单元；其中，每个2D图像处理单元由n2个卷积单元和1个最大池化单元组成；每个卷积单元又包括：一个卷积核大小为3*3和步长为1的卷积层、一个批标准化层和一个激活层；每个最大池化单元由一个卷积核大小为3*3、步长为2的最大池化层构成；每个时间卷积单元则由一个卷积核大小为n3*n3、步长为1的时间卷积层构成；n1、n2和n3的取值依据需要自行确定；
S222、3D图像特征提取网络模型，从所述3D图像直接提取包含有3D空间信息的3D图像的1D特征数据，具体包括：n4个3D图像处理单元和1个时间卷积单元；其中，每个3D图像处理单元由n5个卷积单元和1个最大池化单元组成；每个卷积单元又包括：一个卷积核大小为3*3*3和步长为1的卷积层、一个批标准化层和一个激活层；每个池化单元由一个卷积核大小为3*3*3、步长为2的最大池化层构成；每个时间卷积单元则由一个卷积核大小为n6*n6*n6、步长为1的时间卷积层构成；n4、n5和n6的取值依据需要自行确定。
S3、将所述包含2D空间信息的2D图像的特征数据及所述包含3D空间信息的3D图像的特征数据输入到预先训练的配准模型中，对所述包含空间信息的2D图像的特征数据及所述包含空间信息的3D图像的特征数据进行配准，得到配准所述2D图像与所述3D图像的空间变换。
图3显示了S3中配准模型S31的网络结构，依次包括：S311即特征长度归一化网络、S312即特征交叉融合网络和S313即空间变换计算网络，其中：
S312、所述特征交叉融合网络包括：S3121即2D到3D图像交叉融合特征计算网络和S3122即3D到2D图像交叉融合特征计算网络；
S313、所述空间变换计算网络包括：S3131即特征组合模型、S3132即特征解析网络和S3133空间变换输出网络；
所述配准模型S31与实施例1中所述配准网络模型S31完全相同。
S4、基于所述空间变换，将所述3D图像映射并叠加到所述2D图像对应空间位置上。
以上即为本发明实施例3提供的一种2D和3D图像配准方法的具体实施方式。相较于现有2D与3D图像配准技术，此方法直接在输入的待配准图像对上进行图像配准，无需任何配准前的图像预处理工作，最大程度简化了2D和3D图像配准的流程。
实施例4
本发明实施例提供了一种2D和3D图像配准方法，其流程示意图如图1所示，包括以下步骤：
S1、获取待配准的一幅2D图像和一幅3D图像。
S2、将所述2D图像和3D图像分别输入预先训练的2D图像特征提取网络模型和3D图像特征提取网络模型中，获取包含2D空间信息的2D图像的特征数据和包含3D空间信息的3D图像的特征数据，所述包含空间信息的2D图像的特征数据与所述包含空间信息的3D图像特征具有相同的空间维度；
图5显示了步骤S2中特征提取模型S22的网络结构，包括2D图像特征提取网络模型S221和3D图像特征提取网络模型S222，其中：
S221、2D图像特征提取网络模型从所述2D图像直接提取包含有2D空间信息的2D图像的1D特征数据；
S222、3D图像特征提取网络模型从所述3D图像直接提取包含有3D空间信息的3D图像的1D特征数据；
所述特征提取模型S22与实施例3中所述特征提取模型S22完全相同。
S3、将所述包含2D空间信息的2D图像的特征数据及所述包含3D空间信息的3D图像的特征数据输入到预先训练的配准模型中，对所述包含空间信息的2D图像的特征数据及所述包含空间信息的3D图像的特征数据进行配准，得到配准所述2D图像与所述3D图像的空间变换；
图4显示了S3中配准模型S32的网络结构，依次包括：S321即特征通道归一化网络、S322即特征组合网络、S323即特征解析网络和S324即空间变换输出网络；
所述配准模型S32与实施例2中所述配准模型S32完全相同。
S4、基于所述空间变换，将所述3D图像映射并叠加到所述2D图像对应空间位置上。
以上即为本发明实施例4提供的一种2D和3D图像配准方法的具体实施方式。相较于现有2D与3D图像配准技术，此方法直接在输入的待配准图像对上进行图像配准，无需任何配准前的图像预处理工作，最大程度简化了2D和3D图像配准的流程。
实施例5
基于实施例1提供的一种2D和3D图像配准方法，本发明实施例提供了一种2D和3D图像配准装置，其结构示意图如图6所示，该装置包括以下单元：
图像获取单元D1，获取待配准的一幅2D图像和一幅3D图像。
特征提取单元D2，将所述2D图像和3D图像分别输入预先训练的2D图像特征提取子单元和3D图像特征提取子单元中，获取包含2D空间信息的2D图像的特征数据和包含3D空间信息的3D图像的特征数据，所述包含空间信息的2D图像的特征数据与所述包含空间信息的3D图像的特征数据具有相同的空间维度；
图7显示了D2中特征提取单元D21的结构，包括2D图像特征提取子单元D211和3D图像特征提取子单元D212两个部分，其中：
2D图像特征提取子单元D211，用于：从所述2D图像间接提取包含有2D空间信息的2D图像的1D特征数据，2D图像特征提取子单元D211依次具体包括：
2D图像2D特征提取子单元D2111，采用2D图像卷积神经网络提取2D图像的2D特征数据，2D图像卷积神经网络由输入层、卷积层、激活函数、池化层、全连接层组成；
特征数据维度转换子单元D2112，用于将所述2D图像的2D特征数据转换成1D特征数据，采用公式(20)进行转换：
Figure GDA0003503291580000131
这里f表示2D图像的2D特征数据，L2*W2为2D图像的2D特征数据大小，d2表示2D图像的2D特征的通道数；
Figure GDA0003503291580000132
表示转换后的2D图像的1D特征数据，S2＝L2*W2表示转换后的2D图像的1D特征序列长度；
2D图像1D特征与通道转置子单元D2113，采用公式(21)对2D图像的1D特征与通道进行转置：
Figure GDA0003503291580000133
其中S2为转置前2D图像的1D特征序列长度，d2为转置前2D图像的1D特征的通道数,m＝0，1，…，S2-1,n＝0，1，…，d2-1；
Figure GDA0003503291580000134
表示转置前的2D图像的1D特征数据，
Figure GDA0003503291580000135
表示转置后的2D图像的1D特征数据；
特征数据位置嵌入子单元D2114，用于对所述转置后2D图像的1D特征数据的位置信息进行编码，并将位置编码嵌入到所述转置后的2D图像的1D特征数据中；
首先，采用如下公式进行位置编码：
Figure GDA0003503291580000136
Figure GDA0003503291580000137
其中，PE表示位置编码函数；S2为转置后2D图像的1D特征的通道数；i表示特征值在2D图像的1D特征序列中的位置，i＝0，1，…，d2-1；j表示特征值在2D图像的1D特征通道中的位置，j＝0，1，…，S2-1；
然后，将位置编码嵌入到2D图像的1D特征数据中，嵌入公式如下：
Figure GDA0003503291580000138
其中，
Figure GDA0003503291580000141
表示转置后的2D图像的1D特征数据，X2表示嵌入位置编码后的2D图像的1D特征数据。
3D图像特征提取子单元D212，用于：从所述3D图像间接提取包含有3D空间信息的3D图像的1D特征数据，所述3D图像特征提取子单元D212依次具体包括：
3D图像3D特征提取子单元D2121，采用3D图像卷积神经网络提取3D图像的3D特征数据，3D图像卷积神经网络由输入层、卷积层、激活函数、池化层、全连接层组成；
特征数据维度转换子单元D2122，用于将所述3D图像的3D特征数据转换成1D特征数据，采用公式(25)进行转换：
Figure GDA0003503291580000142
这里f表示3D图像的3D特征数据，L3*W3*H3为3D图像的3D特征数据大小，d3表示3D图像的3D特征的通道数；
Figure GDA0003503291580000143
表示转换后的3D图像的1D特征数据，S3＝L3*W3*H3表示转换后的3D图像的1D特征长度；
3D图像1D特征与通道转置子单元D2123，采用公式(26)对3D图像的特征与通道进行转置：
Figure GDA0003503291580000144
其中S3为转置前3D图像的1D特征序列长度，d3为转置前3D图像的1D特征的通道数,m＝0，1，…，S3-1,n＝0，1，…，d3-1；
Figure GDA0003503291580000145
表示转置前的3D图像的1D特征数据，
Figure GDA0003503291580000146
表示转置后的3D图像的1D特征数据；
特征数据位置嵌入子单元D2124，用于对所述转置后的3D图像的1D特征数据的位置信息进行编码，并将位置编码嵌入到所述3D图像的1D特征数据中；
首先，采用如下公式进行位置编码：
Figure GDA0003503291580000147
Figure GDA0003503291580000148
其中，PE表示位置编码函数；S3为转置后3D图像的1D特征的通道数；i表示特征值在3D图像的1D特征序列中的位置，i＝0，1，…，d3-1；j表示特征值在3D图像的1D特征通道中的位置，j＝0，1，…，S3-1；
然后，将位置编码嵌入到3D图像的1D特征数据中，嵌入公式如下：
Figure GDA0003503291580000151
其中，
Figure GDA0003503291580000152
表示转置后的3D图像的1D特征数据，X3表示嵌入位置编码后的3D图像的1D特征数据。
图像配准单元D3，将所述包含2D空间信息的2D图像的特征数据及所述包含3D空间信息的3D图像的特征数据输入到预先训练的配准单元中，对所述包含空间信息的2D图像的特征数据及所述包含空间信息的3D图像的特征数据进行配准，得到配准所述2D图像与所述3D图像的空间变换。
图8显示了D3中图像配准单元D31的网络结构，图像配准单元D31依次包括：特征长度归一化子单元D311、特征交叉融合子单元D312和空间变换计算子单元D313，其中：
特征长度归一化子单元D311：
采用一维卷积网络，将所述包含空间信息的2D图像的1D特征序列和所述包含空间信息的3D图像的1D特征序列分别归一化为相同的序列长度；归一化后的序列长度S0取值靠近所述包含空间信息的2D图像的1D特征序列长度和所述包含空间信息的3D图像的1D特征序列长度的几何平均数，同时能被后述多头交叉注意力网络中的头数所整除。
特征交叉融合子单元D312：
采用多头交叉注意力网络，学习从2D图像到3D图像的交叉融合特征和从3D图像到2D图像的交叉融合特征，具体包括：
2D图像到3D图像交叉融合特征计算子单元D3121，采用2D到3D图像的多头交叉注意力网络，将长度归一化后的包含空间信息的2D图像的1D特征数据
Figure GDA0003503291580000153
传递给长度归一化后的包含空间信息的3D图像的1D特征数据
Figure GDA0003503291580000154
得到所述2D图像到所述3D图像的交叉融合特征X2-3，具体计算如下：
Figure GDA0003503291580000155
Figure GDA0003503291580000156
Figure GDA0003503291580000161
其中，LN表示层标准化，mul表示交叉注意力网络的头数，即传递次数，
Figure GDA0003503291580000162
表示为将
Figure GDA0003503291580000163
传递给
Figure GDA0003503291580000164
的第i头交叉注意力网络层，
Figure GDA0003503291580000165
表示为将
Figure GDA0003503291580000166
通过第i头注意力网络传递给
Figure GDA0003503291580000167
后得到的第i头交叉融合特征，
Figure GDA0003503291580000168
表示
Figure GDA0003503291580000169
传递给
Figure GDA00035032915800001610
的第i-1头交叉融合特征，
Figure GDA00035032915800001611
表示最终得到的
Figure GDA00035032915800001612
传递给
Figure GDA00035032915800001613
的第i头交叉融合特征，
Figure GDA00035032915800001614
Figure GDA00035032915800001615
表示由θ参数化的第i头交叉注意力网络的前馈层；
将特征Xβ传递给特征Xα的交叉注意力CMβ-α(Xα，Xβ)的计算公式如下：
Figure GDA00035032915800001616
其中，
Figure GDA00035032915800001617
和
Figure GDA00035032915800001618
为待训练的交叉注意力网络参数；dk表示交叉注意力网络中键的通道数，具体取值依据模型需要自行设定；
3D图像到2D图像交叉融合特征计算子单元D3122，采用3D到2D图像的多头交叉注意力网络，将长度归一化后的包含空间信息的3D图像的1D特征数据
Figure GDA00035032915800001619
传递给长度归一化后的包含空间信息的2D图像的1D特征数据
Figure GDA00035032915800001620
得到所述3D图像到所述2D图像的交叉融合特征X3-2，具体计算如下：
Figure GDA00035032915800001621
Figure GDA00035032915800001622
Figure GDA00035032915800001623
其中，LN表示层标准化，mul表示交叉注意力网络的头数，即传递次数，
Figure GDA00035032915800001624
表示为将
Figure GDA00035032915800001625
传递给
Figure GDA00035032915800001626
的第i头交叉注意力网络层，
Figure GDA00035032915800001627
表示为将
Figure GDA00035032915800001628
通过第i头注意力网络传递给
Figure GDA00035032915800001629
后得到的第i头交叉融合特征，
Figure GDA00035032915800001630
表示
Figure GDA0003503291580000171
传递给
Figure GDA0003503291580000172
的第i-1头交叉融合特征，
Figure GDA0003503291580000173
表示最终得到的
Figure GDA0003503291580000174
传递给
Figure GDA0003503291580000175
的第i头交叉融合特征，
Figure GDA0003503291580000176
Figure GDA0003503291580000177
表示由θ参数化的第i头交叉注意力网络的前馈层。
空间变换计算子单元D313：
用于计算配准所述2D图像与所述3D图像的空间变换，具体结构如下：
特征组合子单元D3131，将所述2D图像到3D图像的交叉融合特征X2-3与所述3D图像到2D图像的交叉融合特征X3-2组合为特征X，X＝[X3-2；X2-3]，组合特征X的序列长度保持所述归一化后的序列长度S0不变，组合特征X的通道数d＝2dv,dv表示交叉注意力网络中值的通道数，具体取值依据模型需要自行设定；也可以如后述实施例2中S322一样进行特征组合；
特征解析子单元D3132，采用自注意力网络对组合特征X进行解析，组合特征X的自注意力计算公式如下：
Figure GDA0003503291580000178
其中，
Figure GDA0003503291580000179
表示组合特征X经自注意力网络解析后得到的解析特征；WQ，WK和WV为待训练的自注意力网络参数，d表示组合特征X的通道数；
空间变换输出子单元D3133，先通过一个卷积层，将解析特征的通道数调整为1；再通过一个由全连接层、激活层、标准化层组成的全连接网络，输出配准所述2D图像与所述3D图像的空间变换。
图像叠加单元D4，基于所述空间变换，将所述3D图像映射并叠加到所述2D图像对应空间位置上。
以上即为本发明实施例5提供的一种2D和3D图像配准装置的具体结构。相较于现有2D与3D图像配准技术，此装置直接在输入的待配准图像对上进行图像配准，没有在配准前对待配准的2D图像或3D图像做任何的图像预处理，避开了繁琐、耗时、难以满足条件等诸多配准前的预处理工作，最大程度简化了2D和3D图像配准的流程。
实施例6
基于实施例2提供的一种2D和3D图像配准方法，本发明实施例提供了一种2D和3D图像配准装置，其结构示意图如图6所示，该装置包括以下单元：
图像获取单元D1，用于：获取待配准的一幅2D图像和一幅3D图像。
特征提取单元D2，用于：将所述2D图像和3D图像分别输入预先训练的2D图像特征提取子单元和3D图像特征提取子单元中，获取包含2D空间信息的2D图像的特征数据和包含3D空间信息的3D图像的特征数据，所述包含空间信息的2D图像的特征数据与所述包含空间信息的3D图像的特征数据具有相同的空间维度。
图7显示了D2中特征提取单元D21的结构，包括有2D图像特征提取子单元D211和3D图像特征提取子单元D212，其中：
2D图像特征提取子单元D211，用于：从所述2D图像间接提取包含有2D空间信息的2D图像的1D特征数据，依次具体包括：2D图像2D特征提取子单元D2111，特征数据维度转换子单元D2112、2D图像1D特征与通道转置子单元D2113和特征数据位置嵌入子单元D2114；
3D图像特征提取子单元D212，用于：从所述3D图像间接提取包含有3D空间信息的3D图像的1D特征数据，依次具体包括：3D图像3D特征提取子单元D2121、特征数据维度转换子单元D2122、3D图像1D特征与通道转置子单元D2123和特征数据位置嵌入子单元D2124；
所述特征提取单元D21与实施例5中所述特征提取单元D21完全相同。
图像配准单元D3，用于：将所述包含2D空间信息的2D图像的特征数据及所述包含3D空间信息的3D图像的特征数据输入到预先训练的配准单元中，对所述包含空间信息的2D图像的特征数据及所述包含空间信息的3D图像的特征数据进行配准，得到配准所述2D图像与所述3D图像的空间变换。
图9显示了D3中图像配准单元D32的网络结构，具体包括：特征通道归一化子单元D321、特征组合子单元D322、特征解析子单元D323和空间变换输出子单元D324，其中：
特征通道归一化子单元D321，用于：将所述包含空间信息的2D图像的1D特征通道和所述包含空间信息的3D图像的1D特征通道归一化为相同的通道数；归一化后的通道数d0取值为所述包含空间信息的2D图像的1D特征序列长度d2和所述包含空间信息的3D图像的1D特征序列长度d3的几何平均数；
特征组合子单元D322，用于：将所述包含空间信息的2D图像的1D特征数据X2和所述包含空间信息的3D图像的1D特征数据X3组合起来，得到组合特征Y＝[X2；X3]；组合特征Y的通道数保持所述归一化后的通道数d0不变，组合特征Y的序列长度S＝S2+S3,S2和S3分别表示特征X2和X3的序列长度；也可以如前述实施例5中D3131一样进行特征组合；
特征解析子单元D323，用于：解析组合特征Y；采用组合特征Y的自注意力对Y进行解析，组合特征Y的自注意力计算公式如下：
Figure GDA0003503291580000191
其中，
Figure GDA0003503291580000192
表示组合特征Y经自注意力网络解析后得到的解析特征；WQ，WK和WV为待训练的自注意力网络参数，d0为所述组合特征Y的通道数；
空间变换输出子单元D324，用于：输出配准空间变换；空间变换输出子单元D324由一个卷积层和一个全连接网络构成；先通过一个卷积层，将解析特征的通道数调整为1；再通过由全连接层、激活层、标准化层组成的全连接网络，输出配准所述2D图像与所述3D图像的空间变换。
图像叠加单元D4，用于：基于所述空间变换，将所述3D图像映射并叠加到所述2D图像对应空间位置上。
以上即为本发明实施例6提供的一种2D和3D图像配准装置的具体结构。相较于现有2D与3D图像配准技术，此装置直接在输入的待配准图像对上进行图像配准，无需任何配准前的图像预处理工作，最大程度简化了2D和3D图像配准的流程。
实施例7
基于实施例3提供的一种2D和3D图像配准方法，本发明实施例提供了一种2D和3D图像配准装置，其结构示意图如图6所示，该装置包括以下单元：
图像获取单元D1，用于：获取待配准的一幅2D图像和一幅3D图像。
特征提取单元D2，用于：将所述2D图像和3D图像分别输入预先训练的2D图像特征提取网络模型和3D图像特征提取网络模型中，获取包含2D空间信息的2D图像的特征数据和包含3D空间信息的3D图像的特征数据，所述包含空间信息的2D图像的特征数据与所述包含空间信息的3D图像的特征数据具有相同的空间维度。
图10显示了D2中特征提取单元D22的结构，包括2D图像特征提取子单元D221和3D图像特征提取子单元D222，其中：
2D图像特征提取子单元D221，用于：从所述2D图像直接提取包含有2D空间信息的2D图像的1D特征数据，具体包括：n1个2D图像处理单元和1个时间卷积单元；其中，每个2D图像处理单元由n2个卷积单元和1个最大池化单元组成；每个卷积单元又包括：一个卷积核大小为3*3和步长为1的卷积层、一个批标准化层和一个激活层；每个最大池化单元由一个卷积核大小为3*3、步长为2的最大池化层构成；每个时间卷积单元则由一个卷积核大小为n3*n3、步长为1的时间卷积层构成；n1、n2和n3的取值依据需要自行确定；
3D图像特征提取子单元D222，用于：从所述3D图像直接提取包含有3D空间信息的3D图像的1D特征数据，具体包括：n4个3D图像处理单元和1个时间卷积单元；其中，每个3D图像处理单元由n5个卷积单元和1个最大池化单元组成；每个卷积单元又包括：一个卷积核大小为3*3*3和步长为1的卷积层、一个批标准化层和一个激活层；每个池化单元由一个卷积核大小为3*3*3、步长为2的最大池化层构成；每个时间卷积单元则由一个卷积核大小为n6*n6*n6、步长为1的时间卷积层构成；n4、n5和n6的取值依据需要自行确定。
图像配准单元D3，用于：将所述包含2D空间信息的2D图像的特征数据及所述包含3D空间信息的3D图像的特征数据输入到预先训练的配准单元中，对所述包含空间信息的2D图像的特征数据及所述包含空间信息的3D图像的特征数据进行配准，得到配准所述2D图像与所述3D图像的空间变换。
图8显示了D3中图像配准单元D31的结构，依次包括：特征长度归一化子单元D311、特征交叉融合子单元D312和空间变换计算子单元D313，其中：
特征交叉融合子单元D312包括：2D到3D图像交叉融合特征计算子单元D3121和3D到2D图像交叉融合特征计算子单元D3122；
空间变换计算子单元D313，包括：特征组合子单元D3131、特征解析子单元D3132 z和空间变换输出子单元D3133；
所述图像配准单元D31与实施例5中所述图像配准单元D31结构完全相同。
图像叠加单元D4，用于：基于所述空间变换，将所述3D图像映射并叠加到所述2D图像对应空间位置上。
以上即为本发明实施例7提供的一种2D和3D图像配准装置的具体结构。相较于现有2D与3D图像配准技术，此装置直接在输入的待配准图像对上进行图像配准，无需任何配准前的图像预处理工作，最大程度简化了2D和3D图像配准的流程。
实施例8
基于实施例4提供的一种2D和3D图像配准方法，本发明实施例提供了一种2D和3D图像配准装置，其结构示意图如图6所示，该装置包括以下单元：
图像获取单元D1，用于：获取待配准的一幅2D图像和一幅3D图像。
特征提取单元D2，用于：将所述2D图像和3D图像分别输入预先训练的2D图像特征提取子单元和3D图像特征提取子单元中，获取包含2D空间信息的2D图像的特征数据和包含3D空间信息的3D图像的特征数据，所述包含空间信息的2D图像的特征数据与所述包含空间信息的3D图像的特征数据具有相同的空间维度；
图10显示了D2中特征提取单元D22的网络结构，包括：2D图像特征提取子单元D221和3D图像特征提取子单元D222，其中：
2D图像特征提取子单元D221，用于：从所述2D图像直接提取包含有2D空间信息的2D图像的1D特征数据；
3D图像特征提取子单元D222，用于：从所述3D图像直接提取包含有3D空间信息的3D图像的1D特征数据；
所述特征提取单元D22与实施例3中所述特征提取单元D22完全相同。
图像配准单元D3，用于：将所述包含2D空间信息的2D图像的特征数据及所述包含3D空间信息的3D图像的特征数据输入到预先训练的配准单元中，对所述包含空间信息的2D图像的特征数据及所述包含空间信息的3D图像的特征数据进行配准，得到配准所述2D图像与所述3D图像的空间变换；
图9显示了D3中配准模型D32的网络结构，依次包括：特征通道归一化子单元D321、特征组合子单元D322、特征解析子单元D323和空间变换输出子单元D324；
图像配准模型D32与实施例6中所述配准模型D32完全相同。
图像叠加单元D4，用于：基于所述空间变换，将所述3D图像映射并叠加到所述2D图像对应空间位置上。
以上即为本发明实施例8提供的一种2D和3D图像配准装置的具体结构。相较于现有2D与3D图像配准技术，此装置直接在输入的待配准图像对上进行图像配准，无需任何配准前的图像预处理工作，最大程度简化了2D和3D图像配准的流程。
上述实施例将2D和3D图像皆拉伸为1D特征数据后进行配准，也可以从2D图像中提取2D特征数据，从3D图像中提取2D特征数据，然后在2D图像的2D特征数据和3D图像的2D特征数据上进行配准，同样也可以避开配准前的图像预处理工作。
以上所述仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制。虽然本发明以较佳实施例揭露如上，然而并非用以限定本发明。任何熟悉本领域的技术人员，在不脱离本发明技术方案范围情况下，都可利用上述揭示的方法和技术内容对本发明技术方案做出许多可能的变动和修饰，或修改为等同变化的等效实施例。因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所做的任何简单修改、等同变化及修饰，均仍属于本发明技术方案保护的范围内。

Claims (12)

1.一种2D与3D图像配准方法，其特征在于，包括：
获取待配准的一幅2D图像和一幅3D图像；
将所述2D图像和3D图像分别输入预先训练的2D图像特征提取网络模型和3D图像特征提取网络模型中，获取包含2D空间信息的2D图像的特征数据和包含3D空间信息的3D图像的特征数据，所述2D图像的特征数据与所述3D图像的特征数据具有相同的维度；
将所述包含2D空间信息的2D图像的特征数据及所述包含3D空间信息的3D图像的特征数据输入到预先训练的配准模型中，对所述包含空间信息的2D图像的特征数据及所述包含空间信息的3D图像的特征数据进行配准，得到配准所述2D图像与所述3D图像的空间变换；
基于所述空间变换，将所述3D图像映射并叠加到所述2D图像对应空间位置上。
2.根据权利要求1所述的方法，其特征在于，将所述2D图像和3D图像分别输入预先训练的2D图像特征提取网络模型和3D图像特征提取网络模型中，获取包含2D空间信息的2D图像的特征数据和包含3D空间信息的3D图像特征，所述2D图像的特征数据与所述3D图像的特征数据具有相同的维度，其中：
所述2D图像特征提取网络模型从所述2D图像间接提取包含有2D空间信息的2D图像1D特征，所述2D图像特征提取网络模型依次具体包括：2D图像2D特征提取模块、特征数据维度转换模块，和特征数据位置嵌入模块，其中：
所述2D图像2D特征提取模块，采用2D图像卷积神经网络提取2D图像的2D特征数据，2D图像卷积神经网络由输入层、卷积层、激活函数、池化层、全连接层组成；
所述特征数据维度转换模块，用于将所述2D图像的2D特征数据转换成1D特征数据，采用公式(1)进行转换：
Figure FDA0003503291570000011
这里f表示2D图像的2D特征数据，L2*W2为2D图像的2D特征数据大小，d2表示2D图像的2D特征的通道数；
Figure FDA0003503291570000012
表示转换后的2D图像的1D特征数据，S2＝L2*W2表示转换后的2D图像的1D特征序列长度；
所述特征数据位置嵌入模块，用于对所述2D图像的1D特征数据的位置信息进行编码，并将位置编码嵌入到所述2D图像的1D特征数据中；
首先，采用如下公式进行位置编码：
Figure FDA0003503291570000021
Figure FDA0003503291570000022
其中，PE表示位置编码函数；d2表示2D图像的1D特征数据的通道数，即所述2D图像的2D特征数据的通道数；i表示特征值在2D图像的1D特征序列中的位置，i＝0，1，…，S2-1；j表示特征值在2D图像的1D特征通道中的位置，j＝0，1，…，d2-1；
然后，将位置编码嵌入到2D图像的1D特征数据中，嵌入公式如下：
Figure FDA0003503291570000023
其中，
Figure FDA0003503291570000024
表示2D图像的1D特征数据，d2表示2D图像的1D特征数据的通道数，X2表示嵌入位置编码后的2D图像的1D特征数据；
所述3D图像特征提取网络模型从所述3D图像间接提取包含有3D空间信息的3D图像的1D特征数据，所述3D图像特征提取网络模型依次具体包括：3D图像3D特征提取模块、特征数据维度转换模块、和特征数据位置嵌入模块，其中：
所述3D图像3D特征提取模块，采用3D图像卷积神经网络提取3D图像的3D特征数据，3D图像卷积神经网络由输入层、卷积层、激活函数、池化层、全连接层组成；
所述特征数据维度转换模块，用于将所述3D图像的3D特征数据转换成1D特征数据，采用公式(5)进行转换：
Figure FDA0003503291570000025
这里f表示3D图像的3D特征数据，L3*W3*H3为3D图像的3D特征数据大小，d3表示3D图像的3D特征数据的通道数；
Figure FDA0003503291570000026
表示转换后的3D图像的1D特征数据，S3＝L3*W3*H3表示转换后的3D图像的1D特征长度；
所述特征数据位置嵌入模块，用于对所述3D图像的1D特征数据的位置信息进行编码，并将位置编码嵌入到所述3D图像的1D特征数据中；
首先，采用如下公式进行位置编码：
Figure FDA0003503291570000031
Figure FDA0003503291570000032
其中，PE表示位置编码函数，d3表示3D图像的1D特征数据的通道数，即所述3D图像的3D特征数据的通道数,i表示特征值在3D图像的1D特征序列中的位置i＝0，1，…，S3-1；j表示特征值在3D图像的1D特征通道中的位置，j＝0，1，…，d3-1；
然后，将位置编码嵌入到3D图像的1D特征数据中，嵌入公式如下：
Figure FDA0003503291570000033
其中，
Figure FDA0003503291570000034
表示3D图像的1D特征数据，d3表示3D图像的1D特征数据的通道数，X3表示嵌入位置编码后的3D图像的1D特征数据。
3.根据权利要求2所述的方法，其特征在于，在所述2D图像特征提取网络模型的特征数据维度转换模块和特征数据位置嵌入模块之间增加一个2D图像1D特征与通道转置模块，在所述3D图像特征提取网络模型的特征数据维度转换模块和特征数据位置嵌入模块之间增加一个3D图像1D特征与通道转置模块；
采用公式(9)分别对2D图像和3D图像的1D特征与通道进行转置：
XT(n，m)＝X(S，d) T(m，n) (9)
其中S为转置前1D特征序列长度，d为转置前1D特征的通道数，m＝0，1，…，S-1；n＝0，1，…，d-1,X表示转置前的1D特征数据，XT表示转置后的1D特征数据；
特征与通道转置之后，位置嵌入随之调整。
4.根据权利要求1所述的方法，其特征在于，将所述2D图像和3D图像分别输入预先训练的2D图像特征提取网络模型和3D图像特征提取网络模型中，获取包含2D空间信息的2D图像的特征数据和包含3D空间信息的3D图像的特征数据所述2D图像的特征数据与所述3D图像的特征数据具有相同的维度，其中：
所述2D图像特征提取网络模型从所述2D图像直接提取包含有2D空间信息的2D图像1D特征，所述2D图像特征提取网络模型具体包括：n1个2D图像处理单元和1个时间卷积单元；其中，每个2D图像处理单元由n2个卷积单元和1个最大池化单元组成；每个卷积单元又包括：一个卷积核大小为3*3和步长为1的卷积层、一个批标准化层和一个激活层；每个最大池化单元由一个卷积核大小为3*3、步长为2的最大池化层构成；每个时间卷积单元则由一个卷积核大小为n3*n3、步长为1的时间卷积层构成；n1、n2和n3的取值依据需要自行确定；
所述3D图像特征提取网络模型从所述3D图像直接提取包含有3D空间信息的3D图像1D特征，所述3D图像特征提取网络模型具体包括：n4个3D图像处理单元和1个时间卷积单元；其中，每个3D图像处理单元由n5个卷积单元和1个最大池化单元组成；每个卷积单元又包括：一个卷积核大小为3*3*3和步长为1的卷积层、一个批标准化层和一个激活层；每个池化单元由一个卷积核大小为3*3*3、步长为2的最大池化层构成；每个时间卷积单元则由一个卷积核大小为n6*n6*n6、步长为1的时间卷积层构成；n4、n5和n6的取值依据需要自行确定。
5.根据权利要求3或4所述的方法，其特征在于，将所述包含2D空间信息的2D图像的特征数据及所述包含3D空间信息的3D图像的特征数据输入到预先训练的配准模型中，对所述包含空间信息的2D图像的特征数据及所述包含空间信息的3D图像的特征数据进行配准，得到配准所述2D图像与所述3D图像的空间变换，其中，
所述配准模型依次包括：特征长度归一化网络、特征交叉融合网络和空间变换计算网络；
所述特征长度归一化网络；
采用一维卷积网络，将所述包含2D空间信息的2D图像的1D特征序列和所述包含3D空间信息的3D图像的1D特征序列分别归一化为相同的序列长度；归一化后的序列长度S0取值靠近所述包含空间信息的2D图像的1D特征序列长度S2和所述包含空间信息的3D图像的1D特征序列长度S3的几何平均数，同时能被后述多头交叉注意力网络中的头数所整除；
所述特征交叉融合网络；
采用多头交叉注意力网络，学习从2D图像到3D图像的交叉融合特征和从3D图像到2D图像的交叉融合特征，具体包括：2D图像到3D图像交叉融合特征计算网络和3D图像到2D图像交叉融合特征计算网络：
所述2D图像到3D图像交叉融合特征计算网络，采用2D到3D图像的多头交叉注意力网络，将长度归一化后的包含2D空间信息的2D图像的1D特征数据
Figure FDA0003503291570000051
传递给长度归一化后的包含3D空间信息的3D图像的1D特征数据
Figure FDA0003503291570000052
得到所述2D图像到所述3D图像的交叉融合特征X2-3，具体计算如下：
Figure FDA0003503291570000053
Figure FDA0003503291570000054
Figure FDA0003503291570000055
其中，LN表示层标准化，mul表示交叉注意力网络的头数，即传递次数，
Figure FDA0003503291570000056
表示为将
Figure FDA0003503291570000057
传递给
Figure FDA0003503291570000058
的第i头交叉注意力网络层，
Figure FDA0003503291570000059
表示为将
Figure FDA00035032915700000510
通过第i头注意力网络传递给
Figure FDA00035032915700000511
后得到的第i头交叉融合特征，
Figure FDA00035032915700000512
表示
Figure FDA00035032915700000513
传递给
Figure FDA00035032915700000514
的第i-1头交叉融合特征，
Figure FDA00035032915700000515
表示最终得到的
Figure FDA00035032915700000516
传递给
Figure FDA00035032915700000517
的第i头交叉融合特征，
Figure FDA00035032915700000518
Figure FDA00035032915700000519
表示由θ参数化的第i头交叉注意力网络的前馈层；
将特征Xβ传递给特征Xα的交叉注意力CMβ-α(Xα，Xβ)的计算公式如下：
Figure FDA00035032915700000520
其中，
Figure FDA00035032915700000521
和
Figure FDA00035032915700000522
为待训练的交叉注意力网络参数；dk表示交叉注意力网络中键的通道数，具体取值依据模型需要自行设定；
所述3D图像到2D图像交叉融合特征计算网络，采用3D到2D图像的多头交叉注意力网络，将长度归一化后的包含3D空间信息的3D图像的1D特征数据
Figure FDA00035032915700000523
传递给长度归一化后的包含2D空间信息的2D图像的1D特征数据
Figure FDA00035032915700000524
得到所述3D图像到所述2D图像的交叉融合特征X3-2，具体计算如下：
Figure FDA0003503291570000061
Figure FDA0003503291570000062
Figure FDA0003503291570000063
其中，LN表示层标准化，mul表示交叉注意力网络的头数，即传递次数，
Figure FDA0003503291570000064
表示为将
Figure FDA0003503291570000065
传递给
Figure FDA0003503291570000066
的第i头交叉注意力网络层，
Figure FDA0003503291570000067
表示为将
Figure FDA0003503291570000068
通过第i头注意力网络传递给
Figure FDA0003503291570000069
后得到的第i头交叉融合特征，
Figure FDA00035032915700000610
表示
Figure FDA00035032915700000611
传递给
Figure FDA00035032915700000612
的第i-1头交叉融合特征，
Figure FDA00035032915700000613
表示最终得到的
Figure FDA00035032915700000614
传递给
Figure FDA00035032915700000615
的第i头交叉融合特征，
Figure FDA00035032915700000616
Figure FDA00035032915700000617
表示由θ参数化的第i头交叉注意力网络的前馈层；
所述空间变换计算网络，用于计算配准所述2D图像与所述3D图像的空间变换，具体如下：
步骤A、将所述2D图像到3D图像的交叉融合特征X2-3与所述3D图像到2D图像的交叉融合特征X3-2组合为特征X，X＝[X3-2；X2-3]，组合特征X的序列长度保持所述归一化后的序列长度S0不变，组合特征X的通道数d＝2dv；dv表示交叉注意力网络中值的通道数，具体取值依据模型需要自行设定；
步骤B、采用自注意力网络对组合特征X进行解析，组合特征X的自注意力计算公式如下：
Figure FDA00035032915700000618
Figure FDA00035032915700000619
其中，
Figure FDA00035032915700000620
表示组合特征X经自注意力网络解析后得到的解析特征；WQ，WK和WV为待训练的自注意力网络参数，d表示组合特征X的通道数；
步骤C、先通过一个卷积层，将解析特征的通道数调整为1；再通过一个由全连接层、激活层、标准化层组成的全连接网络，输出配准所述2D图像与所述3D图像的空间变换。
6.根据权利要求3或4所述的方法，其特征在于，将所述包含2D空间信息的2D图像的特征数据及所述包含3D空间信息的3D图像的特征数据输入到预先训练的配准模型中，对所述包含空间信息的2D图像的特征数据及所述包含空间信息的3D图像的特征数据进行配准，得到配准所述2D图像与所述3D图像的空间变换，其中：
所述配准模型依次包括：特征通道归一化网络、特征组合网络、特征解析网络和空间变换输出网络，其中：
所述特征通道归一化网络，用于将所述包含空间信息的2D图像的1D特征通道和所述包含空间信息的3D图像的1D特征通道归一化为相同的通道数；归一化后的通道数d0取值为所述包含空间信息的2D图像的1D特征序列长度d2和所述包含空间信息的3D图像的1D特征序列长度d3的几何平均数；
所述特征组合网络，用于将所述包含空间信息的2D图像的1D特征数据X2和所述包含空间信息的3D图像的1D特征数据X3组合起来，得到组合特征Y＝[X2；X3]；组合特征Y的通道数保持所述归一化后的通道数d0不变，组合特征Y的序列长度S＝S2+S3,S2和S3分别表示特征X2和X3的序列长度；
所述特征解析网络，用于解析组合特征Y；采用组合特征Y的自注意力对Y进行解析，组合特征Y的自注意力计算公式如下：
Figure FDA0003503291570000071
其中，
Figure FDA0003503291570000072
表示组合特征Y经自注意力网络解析后得到的解析特征；WQ，WK和WV为待训练的自注意力网络参数，d0为所述组合特征Y的通道数；
所述空间变换输出网络，用于输出配准空间变换；所述空间变换输出网络由一个卷积层和一个全连接网络构成；先通过一个卷积层，将解析特征的通道数调整为1；再通过由全连接层、激活层、标准化层组成的全连接网络，输出配准所述2D图像与所述3D图像的空间变换。
7.一种2D与3D图像配准装置，其特征在于，包括：
图像获取单元，用于：获取待配准的一幅2D图像和一幅3D图像；
特征提取单元，用于：将所述2D图像和3D图像分别输入预先训练的2D图像特征提取子单元和3D图像特征提取子单元中，获取包含2D空间信息的2D图像的特征数据和包含3D空间信息的3D图像的特征数据，所述2D图像的特征数据与所述3D图像的特征数据具有相同的维度；
图像配准单元，用于：将所述包含2D空间信息的2D图像的特征数据及所述包含3D空间信息的3D图像的特征数据输入到预先训练的配准单元中，对所述包含空间信息的2D图像的特征数据及所述包含空间信息的3D图像的特征数据进行配准，得到配准所述2D图像与所述3D图像的空间变换；
图像叠加单元，用于：基于所述空间变换，将所述3D图像映射并叠加到所述2D图像对应空间位置上。
8.根据权利要求7所述的装置，其特征在于，所述特征提取单元包括：2D图像特征提取子单元1和3D图像特征提取子单元1，其中：
所述2D图像特征提取子单元1从所述2D图像间接提取包含有2D空间信息的2D图像的1D特征数据，所述2D图像特征提取子单元1依次具体包括：2D图像2D特征提取子单元、特征数据维度转换子单元，和特征数据位置嵌入子单元，其中：
所述2D图像2D特征提取子单元，用于：提取2D图像的2D特征数据；采用2D图像卷积神经网络提取2D图像的2D特征数据，2D图像卷积神经网络由输入层、卷积层、激活函数、池化层、全连接层组成；
所述特征数据维度转换子单元，用于：将所述2D图像的2D特征数据转换成1D特征数据，采用公式(19)进行转换：
Figure FDA0003503291570000081
这里f表示2D图像的2D特征数据，L2*W2为2D图像的2D特征数据大小，d2表示2D图像的2D特征数据的通道数；
Figure FDA0003503291570000082
表示转换后的2D图像的1D特征数据，S2＝L2*W2表示转换后的2D图像的1D特征序列长度；
所述特征数据位置嵌入子单元，用于：对所述2D图像的1D特征数据的位置信息进行编码，并将位置编码嵌入到所述2D图像的1D特征数据中；
首先采用如下公式进行位置编码：
Figure FDA0003503291570000083
Figure FDA0003503291570000084
其中，PE表示位置编码函数；d2表示2D图像的1D特征数据的通道数，即所述2D图像的2D特征数据的通道数；i2表示特征值在2D图像的1D特征序列中的位置，i2＝0，1，…，s2-1；j2表示特征值在2D图像的1D特征通道中的位置，j2＝0，1，…，d2-1；
然后，将位置编码嵌入到2D图像的1D特征数据中，嵌入公式如下：
Figure FDA0003503291570000091
其中，
Figure FDA0003503291570000092
表示2D图像的1D特征数据，d2表示2D图像的1D特征数据的通道数，X2表示嵌入位置编码后的2D图像的1D特征数据；
所述3D图像特征提取子单元1从所述3D图像间接提取包含有3D空间信息的3D图像的1D特征数据，所述3D图像特征提取子单元1依次具体包括：3D图像3D特征提取子单元、特征数据维度转换子单元，和特征数据位置嵌入子单元，其中：
所述3D图像3D特征提取子单元1，用于：提取3D图像的3D特征数据；采用3D图像卷积神经网络提取3D图像的3D特征数据，3D图像卷积神经网络由输入层、卷积层、激活函数、池化层、全连接层组成；
所述特征数据维度转换子单元，用于：将所述3D图像的3D特征数据转换成1D特征数据，采用公式(23)进行转换：
Figure FDA0003503291570000093
这里f表示3D图像的3D特征数据，L3*W3*H3为3D图像的3D特征数据大小，d3表示3D图像的3D特征数据的通道数；
Figure FDA0003503291570000094
表示转换后的3D图像的1D特征数据，S3＝L3*W3*H3表示转换后的3D图像的1D特征长度；
所述特征数据位置嵌入子单元，用于：对所述3D图像的1D特征数据的位置信息进行编码，并将位置编码嵌入到所述3D图像的1D特征数据中；
首先，采用如下公式进行位置编码：
Figure FDA0003503291570000095
Figure FDA0003503291570000096
其中，PE表示位置编码函数，d3表示3D图像的1D特征数据的通道数，即所述3D图像的3D特征数据的通道数,i3表示特征值在3D图像的1D特征序列中的位置，i3＝0，1，…，S3-1；j3表示特征值在3D图像的1D特征通道中的位置，j3＝0，1，…，d3-1；
然后，将位置编码嵌入到3D图像的1D特征数据中，嵌入公式如下：
Figure FDA0003503291570000101
其中，
Figure FDA0003503291570000102
表示3D图像的1D特征数据，d3表示3D图像的1D特征数据的通道数，X3表示嵌入位置编码后的3D图像的1D特征数据。
9.根据权利要求8所述的装置，其特征在于，在所述2D图像2D特征提取子单元中特征数据维度转换子单元和特征数据位置嵌入子单元之间增加一个2D图像1D特征与通道转置子单元，在所述3D图像3D特征提取子单元中特征数据维度转换子单元和特征数据位置嵌入子单元之间增加一个3D图像1D特征与通道转置子单元；
采用公式(27)分别对2D图像和3D图像的1D特征与通道进行转置：
XT(n，m)＝X(s，d) T(m，n) (27)
其中S为转置前1D特征序列长度，d为转置前1D特征的通道数，m＝0，1，…，S-1；n＝0，1，…，d-1；X(S，d)表示转置前的1D特征数据，XT表示转置后的1D特征数据；
特征与通道转置之后，位置嵌入随之调整。
10.根据权利要求7所述的装置，其特征在于，所述特征提取单元包括：2D图像特征提取子单元2和3D图像特征提取子单元2，其中：
所述2D图像特征提取子单元2，用于：从所述2D图像直接提取包含有2D空间信息的2D图像的1D特征数据；所述2D图像特征提取子单元2具体包括：n1个2D图像处理单元和1个时间卷积单元；其中，每个2D图像处理单元由n2个卷积单元和1个最大池化单元组成；每个卷积单元又包括：一个卷积核大小为3*3和步长为1的卷积层、一个批标准化层和一个激活层；每个最大池化单元由一个卷积核大小为3*3、步长为2的最大池化层构成；每个时间卷积单元则由一个卷积核大小为n3*n3、步长为1的时间卷积层构成；n1、n2和n3的取值依据需要自行确定；
所述3D图像特征提取子单元2，用于：从所述3D图像直接提取包含有3D空间信息的3D图像的1D特征数据；所述3D图像特征提取子单元2具体包括：n4个3D图像处理单元和1个时间卷积单元；其中，每个3D图像处理单元由n5个卷积单元和1个最大池化单元组成；每个卷积单元又包括：一个卷积核大小为3*3*3和步长为1的卷积层、一个批标准化层和一个激活层；每个池化单元由一个卷积核大小为3*3*3、步长为2的最大池化层构成；每个时间卷积单元则由一个卷积核大小为n6*n6*n6、步长为1的时间卷积层构成；n4、n5和n6的取值依据需要自行确定。
11.根据权利要求9或10所述的装置，其特征在于，所述配准单元依次包括：特征长度归一化子单元、特征交叉融合子单元，和空间变换计算子单元；
所述特征长度归一化子单元，用于：采用一维卷积网络，将所述包含2D空间信息的2D图像的1D特征序列和所述包含3D空间信息的3D图像的1D特征序列分别归一化为相同的序列长度；归一化后的序列长度S0取值靠近所述包含空间信息的2D图像的1D特征序列长度S2和所述包含空间信息的3D图像的1D特征序列长度S3的几何平均数，同时能被后述多头交叉注意力网络中的头数所整除；
所述特征交叉融合子单元，用于：采用多头交叉注意力网络，学习从2D图像到3D图像的交叉融合特征和从3D图像到2D图像的交叉融合特征；所述特征交叉融合子单元具体又包括：2D图像到3D图像交叉融合特征计算子单元和3D图像到2D图像交叉融合特征计算子单元；
所述2D图像到3D图像交叉融合特征计算子单元，用于：学习从2D图像到3D图像的交叉融合特征；采用2D到3D图像的多头交叉注意力网络，将长度归一化后的包含2D空间信息的2D图像的1D特征数据
Figure FDA0003503291570000111
传递给长度归一化后的包含3D空间信息的3D图像的1D特征数据
Figure FDA0003503291570000112
得到所述2D图像到所述3D图像的交叉融合特征X2-3，具体计算如下：
Figure FDA0003503291570000113
Figure FDA0003503291570000114
Figure FDA0003503291570000115
其中，LN表示层标准化，mul表示交叉注意力网络的头数，即传递次数，
Figure FDA0003503291570000116
表示为将
Figure FDA0003503291570000117
传递给
Figure FDA0003503291570000118
的第i头交叉注意力网络层，
Figure FDA0003503291570000119
表示为将
Figure FDA00035032915700001110
通过第i头注意力网络传递给
Figure FDA00035032915700001111
后得到的第i头交叉融合特征，
Figure FDA00035032915700001112
表示
Figure FDA0003503291570000121
传递给
Figure FDA0003503291570000122
的第i-1头交叉融合特征，
Figure FDA0003503291570000123
表示最终得到的
Figure FDA0003503291570000124
传递给
Figure FDA0003503291570000125
的第i头交叉融合特征，
Figure FDA0003503291570000126
Figure FDA0003503291570000127
表示由θ参数化的第i头交叉注意力网络的前馈层；
将特征Xβ传递给特征Xα的交叉注意力CMβ-α(Xα，Xβ)的计算公式如下：
Figure FDA0003503291570000128
其中，
Figure FDA0003503291570000129
和
Figure FDA00035032915700001210
为待训练的交叉注意力网络参数；dk表示交叉注意力网络中键的通道数，具体取值依据模型需要自行设定；
所述3D图像到2D图像交叉融合特征计算网络，采用3D到2D图像的多头交叉注意力网络，将长度归一化后的包含3D空间信息的3D图像的1D特征
Figure FDA00035032915700001211
传递给长度归一化后的包含2D空间信息的2D图像的1D特征数据
Figure FDA00035032915700001212
得到所述3D图像到所述2D图像的交叉融合特征X3-2，具体计算如下：
Figure FDA00035032915700001213
Figure FDA00035032915700001214
Figure FDA00035032915700001215
其中，LN表示层标准化，mul表示交叉注意力网络的头数，即传递次数，
Figure FDA00035032915700001216
表示为将
Figure FDA00035032915700001217
传递给
Figure FDA00035032915700001218
的第i头交叉注意力网络层，
Figure FDA00035032915700001219
表示为将
Figure FDA00035032915700001220
通过第i头注意力网络传递给
Figure FDA00035032915700001221
后得到的i头交叉融合特征，
Figure FDA00035032915700001222
表示
Figure FDA00035032915700001223
传递给
Figure FDA00035032915700001224
的第i-1头交叉融合特征，
Figure FDA00035032915700001225
表示最终得到的
Figure FDA00035032915700001226
传递给
Figure FDA00035032915700001227
的第i头交叉融合特征，
Figure FDA00035032915700001228
Figure FDA00035032915700001229
表示由θ参数化的第i头交叉注意力网络的前馈层；
所述空间变换计算子单元，用于：输出配准所述2D图像与所述3D图像的空间变换，具体包括：
特征组合子单元1，用于：将所述2D图像到3D图像的交叉融合特征X2-3与所述3D图像到2D图像的交叉融合特征X3-2组合为特征X，X＝[X3-2；X2-3]，组合特征X的序列长度保持所述归一化后的序列长度S0不变，组合特征X的通道数d＝2dv,dv表示交叉注意力网络中值的通道数，具体取值依据模型需要自行设定；
特征解析子单元1，用于：解析所述组合特征X；采用组合特征X的自注意力对所述组合特征X进行解析，所述组合特征X的自注意力计算公式如下：
Figure FDA0003503291570000131
其中，
Figure FDA0003503291570000132
表示组合特征X经自注意力网络解析后得到的解析特征；WQ，WK和WV为待训练的自注意力网络参数，d表示组合特征X的通道数；
空间变换输出单元1，用于：输出配准空间变换；所述空间变换输出子单元1由一个卷积层和一个全连接网络构成；先通过一个卷积层，将解析特征的通道数调整为1；再通过一个由全连接层、激活层、标准化层组成的全连接网络，输出配准所述2D图像与所述3D图像的空间变换。
12.根据权利要求9或10所述的装置，其特征在于，所述配准单元依次包括：特征通道归一化子单元、特征组合子单元2、特征解析子单元2，和空间变换输出子单元2；
所述特征通道归一化子单元，用于：将所述包含2D空间信息的2D图像的1D特征通道和所述包含3D空间信息的3D图像的1D特征通道归一化为相同的通道数；归一化后的通道数d0取值为所述包含空间信息的2D图像的1D特征序列长度d2和所述包含空间信息的3D图像的1D特征序列长度d3的几何平均数；
所述特征组合子单元2，用于：将所述包含2D空间信息的2D图像1D特征X2和所述包含3D空间信息的3D图像1D特征X3组合起来，得到组合特征Y＝[X2；X3]；组合特征Y的通道数保持所述归一化后的通道数d0不变，组合特征Y的序列长度S＝S2+S3，S2和S3分别表示特征X2和X3的序列长度；
所述特征解析子单元2，用于：解析组合特征Y；采用组合特征Y的自注意力对Y进行解析，组合特征Y的自注意力计算公式如下：
Figure FDA0003503291570000141
其中，
Figure FDA0003503291570000142
表示组合特征Y经自注意力网络解析后得到的解析特征；WQ，WK和WV为待训练的自注意力网络参数，d0为所述组合特征Y的通道数；
所述空间变换输出子单元2，用于：输出配准空间变换；所述空间变换输出子单元2由一个卷积层和一个全连接网络构成；先通过一个卷积层，将解析特征的通道数调整为1；再通过一个由全连接层、激活层、标准化层组成的全连接网络，输出配准所述2D图像与所述3D图像的空间变换。
CN202111374305.5A 2021-11-19 2021-11-19 一种2d与3d图像配准方法及装置 Active CN113808182B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111374305.5A CN113808182B (zh) 2021-11-19 2021-11-19 一种2d与3d图像配准方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111374305.5A CN113808182B (zh) 2021-11-19 2021-11-19 一种2d与3d图像配准方法及装置

Publications (2)

Publication Number Publication Date
CN113808182A CN113808182A (zh) 2021-12-17
CN113808182B true CN113808182B (zh) 2022-04-15

Family

ID=78938409

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111374305.5A Active CN113808182B (zh) 2021-11-19 2021-11-19 一种2d与3d图像配准方法及装置

Country Status (1)

Country Link
CN (1) CN113808182B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114565815B (zh) * 2022-02-25 2023-11-03 包头市迪迦科技有限公司 一种基于三维模型的视频智能融合方法及系统
CN114998600B (zh) * 2022-06-17 2023-07-25 北京百度网讯科技有限公司 图像处理方法、模型的训练方法、装置、设备及介质
CN115359103B (zh) * 2022-08-24 2023-04-18 北京医智影科技有限公司 图像配准网络模型及其建立方法、设备及介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104090972B (zh) * 2014-07-18 2017-08-11 北京师范大学 用于三维城市模型检索的图像特征提取和相似性度量方法
KR102557820B1 (ko) * 2015-05-22 2023-07-21 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 영상 안내 수술에서의 상관 보상의 시스템 및 방법
CN110009669B (zh) * 2019-03-22 2021-12-10 电子科技大学 一种基于深度强化学习的3d/2d医学图像配准方法
CN111784755A (zh) * 2020-07-26 2020-10-16 河南工业大学 一种融合多尺度信息的脑部磁共振图像配准方法

Also Published As

Publication number Publication date
CN113808182A (zh) 2021-12-17

Similar Documents

Publication Publication Date Title
CN113808182B (zh) 一种2d与3d图像配准方法及装置
Han et al. A survey on vision transformer
Kang et al. Depth-adaptive deep neural network for semantic segmentation
KR20190121323A (ko) 콘텐츠 검출에 대한 이미지 프로세싱 방법
Wang et al. Geometric algebra in signal and image processing: A survey
WO2022151586A1 (zh) 一种对抗配准方法、装置、计算机设备及存储介质
CN113792641A (zh) 一种结合多谱注意力机制的高分辨率轻量级的人体姿态估计方法
CN107239827B (zh) 一种基于人工神经网络的空间信息学习方法
Qin et al. PointSkelCNN: Deep Learning‐Based 3D Human Skeleton Extraction from Point Clouds
Wang et al. UformPose: A U-shaped hierarchical multi-scale keypoint-aware framework for human pose estimation
CN108876837B (zh) 一种基于l1/2正则化的三维人体姿态重构方法
Ren et al. A weighted sparse neighbor representation based on Gaussian kernel function to face recognition
CN113255569A (zh) 一种基于图空洞卷积编码器解码器的3d姿态估计方法
Barthélemy et al. Decomposition and dictionary learning for 3D trajectories
CN116912296A (zh) 一种基于位置增强注意力机制的点云配准方法
Lee Geometric optimization for computer vision
CN115331301A (zh) 一种基于Transformer的6D姿态估计方法
Kong et al. Deep interpretable non-rigid structure from motion
CN114240999A (zh) 一种基于增强图注意力与时间卷积网络的运动预测方法
CN114842078A (zh) 一种基于深度学习的双通道卫星姿态估计网络
CN113936333A (zh) 一种基于人体骨架序列的动作识别算法
Xu et al. Kernel Two‐Dimensional Nonnegative Matrix Factorization: A New Method to Target Detection for UUV Vision System
CN112396089A (zh) 基于lfgc网络和压缩激励模块的图像匹配方法
Zhao et al. Adaptive Dual-Stream Sparse Transformer Network for Salient Object Detection in Optical Remote Sensing Images
Meng et al. Camera motion estimation and optimization approach

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant