CN113808182A - 一种2d与3d图像配准方法及装置 - Google Patents

一种2d与3d图像配准方法及装置 Download PDF

Info

Publication number
CN113808182A
CN113808182A CN202111374305.5A CN202111374305A CN113808182A CN 113808182 A CN113808182 A CN 113808182A CN 202111374305 A CN202111374305 A CN 202111374305A CN 113808182 A CN113808182 A CN 113808182A
Authority
CN
China
Prior art keywords
image
features
feature
network
spatial information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111374305.5A
Other languages
English (en)
Other versions
CN113808182B (zh
Inventor
舒丽霞
李萌
蔺嫦燕
陈彧
濮欣
许尚栋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BEIJING INSTITUTE OF HEART LUNG AND BLOOD VESSEL DISEASES
Beijing Anzhen Hospital
Original Assignee
BEIJING INSTITUTE OF HEART LUNG AND BLOOD VESSEL DISEASES
Beijing Anzhen Hospital
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BEIJING INSTITUTE OF HEART LUNG AND BLOOD VESSEL DISEASES, Beijing Anzhen Hospital filed Critical BEIJING INSTITUTE OF HEART LUNG AND BLOOD VESSEL DISEASES
Priority to CN202111374305.5A priority Critical patent/CN113808182B/zh
Publication of CN113808182A publication Critical patent/CN113808182A/zh
Application granted granted Critical
Publication of CN113808182B publication Critical patent/CN113808182B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/38—Registration of image sequences
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种2D与3D图像配准方法及装置，包括：获取待配准的一幅2D图像和一幅3D图像；将所述2D图像和3D图像输入预先训练的2D图像特征提取模型和3D图像特征提取模型中，获取同维度的包含空间信息的2D图像特征和3D图像特征；将所述包含空间信息的2D图像特征及所述包含空间信息的3D图像特征输入到预先训练的配准模型中，对所述包含空间信息的2D图像特征及所述包含空间信息的3D图像特征进行配准，得到配准所述2D图像与所述3D图像的空间变换；基于所述空间变换，将所述3D图像映射并叠加到所述2D图像对应空间位置上。本发明直接对图像对进行配准，无需配准前图像预处理，最大程度简化了2D和3D图像配准流程。

Description

一种2D与3D图像配准方法及装置
技术领域
本发明涉及图像配准领域，尤其涉及2D与3D图像配准方法及装置。
背景技术
2D图像和3D图像配准，即寻找一个空间变换，将2D图像和3D图像中相同的空间位置准确地叠加在一起的过程。2D和3D图像配准广泛应用于各种场景，比如在介入治疗、智能制造、机器人定位等领域，通常需要将预先已知的3D图像与实时获取的2D图像进行配准，以实现手术的精准导航、机械臂的安全自主交互、汽车的自主动态避障路径规划等功能。
现有2D与3D图像配准技术主要采用如下两种方案：1、将3D图像投影到2D空间生成2D投影图像，遍历所有可能的投影变换，构建一个投影图像库，然后从中寻找与待配准2D图像最为匹配的2D投影图像，从而实现2D与3D图像的配准。构建完整的投影图像库经常需要成百上千个小时，过程极为繁琐耗时。2、利用多张2D图像重建3D图像，通过匹配重建3D图像与待配准的3D图像，间接实现2D和3D图像的配准。现实中很难即时获得多张2D图像以重建3D图像，即使能获得少量2D图像，所重建的3D图像比较粗糙，进而影响2D与3D图像的最终配准精度。因此，亟需一种新的2D与3D图像配准技术，直接在2D与3D图像对上进行配准，以避开繁琐、耗时、难以满足条件等诸多配准前的预处理。
发明内容
为此，我们考虑将待配准的2D图像和3D图像分别拉伸为2D图像的1D特征序列和3D图像的1D特征序列，并将2D图像和3D图像的空间信息分别嵌入到各自的1D特征序列中，得到包含空间信息的2D图像1D特征序列和包含空间信息3D图像1D特征序列，然后配准包含空间信息的2D图像1D特征序列和包含空间信息3D图像1D特征序列，进而实现2D和3D图像的配准。如此便可以直接在2D和3D图像上进行配准，无需配准前的图像预处理过程。
有鉴于此，本发明提供了一种2D和3D图像配准方法，包括：
获取待配准的一幅2D图像和一幅3D图像；
将所述2D图像和3D图像分别输入预先训练的2D图像特征提取网络模型和3D图像特征提取网络模型中，获取包含空间信息的2D图像特征和3D图像特征，所述包含空间信息的2D图像特征与所述包含空间信息的3D图像特征具有相同的空间维度；
将所述包含空间信息的2D图像特征及所述包含空间信息的3D图像特征输入到预先训练的配准模型中，对所述包含空间信息的2D图像特征及所述包含空间信息的3D图像特征进行配准，得到配准所述2D图像与所述3D图像的空间变换；
基于所述空间变换，将所述3D图像映射并叠加到所述2D图像对应空间位置上。
基于上述配准方法，本发明还提供了一种2D和3D图像配准装置，包括：
数据获取单元，用于：获取待配准的一幅2D图像和一幅3D图像；
特征提取单元，用于：将所述2D图像和3D图像分别输入预先训练的2D图像特征提取网络模型和3D图像特征提取网络模型中，获取包含空间信息的2D图像特征和3D图像特征，所述包含空间信息的2D图像特征与所述包含空间信息的3D图像特征具有相同的空间维度；
图像配准单元，用于：将所述包含空间信息的2D图像特征及所述包含空间信息的3D图像特征输入到预先训练的配准模型中，对所述包含空间信息的2D图像特征及所述包含空间信息的3D图像特征进行配准，得到配准所述2D图像与所述3D图像的空间变换；
图像叠加单元，用于：基于所述空间变换，将所述3D图像映射并叠加到所述2D图像对应空间位置上。
相对于现有2D与3D图像配准技术，本发明直接在输入的待配准图像对上进行图像配准，没有在配准前对待配准的2D图像或3D图像做任何的图像预处理，避开了繁琐、耗时、难以满足条件等诸多配准前的预处理工作，最大程度简化了2D和3D图像配准的流程。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1是本发明实施例1、实施例2、实施例3和实施例4提供的一种2D和3D图像配准方法流程示意图；
图2是本发明实施例1和实施例2提供的特征提取模型示意图；
图3是本发明实施例1和实施例3提供的配准模型示意图；
图4是本发明实施例2和实施例4提供的配准模型示意图；
图5是本发明实施例3和实施例4提供的特征提取模型示意图；
图6是本发明实施例5、实施例6、实施例7和实施例8提供的一种2D和3D图像配准装置结构示意图；
图7是本发明实施例5和实施例6提供的特征提取单元示意图；
图8是本发明实施例5和实施例7提供的图像配准单元示意图；
图9是本发明实施例6和实施例8提供的图像配准单元示意图；
图10是本发明实施例7和实施例8提供的特征提取单元示意图。
具体实施方式
为使本发明的目的、技术手段和有益效果更加清楚完整，下面结合附图对本发明的具体实施方式进行描述。
实施例1
本发明实施例提供了一种2D和3D图像配准方法，其流程示意图如图1所示，包括以下步骤：
S1、获取待配准的一幅2D图像和一幅3D图像。
S2、将所述2D图像和3D图像分别输入预先训练的2D图像特征提取网络模型和3D图像特征提取网络模型中，获取包含空间信息的2D图像特征和3D图像特征，所述包含空间信息的2D图像特征与所述包含空间信息的3D图像特征具有相同的空间维度。
图2显示了S2中特征提取模型S21的网络结构：
S211、2D图像特征提取网络模型S211，从所述2D图像间接提取包含有空间信息的2D图像1D特征，2D图像特征提取网络模型S211依次具体包括：
S2111、2D图像2D特征提取模块，采用2D图像卷积神经网络提取2D图像2D特征，2D图像卷积神经网络由输入层、卷积层、激活函数、池化层、全连接层组成；
S2112、2D图像维度转换模块，用于将所述2D图像2D特征转换成1D特征，采用公式（1）进行转换：
Figure 898545DEST_PATH_IMAGE001
（1）
这里
Figure 561608DEST_PATH_IMAGE002
表示2D图像2D特征，
Figure 359972DEST_PATH_IMAGE003
*
Figure 501104DEST_PATH_IMAGE004
为2D图像2D特征大小，d 2 表示2D图像2D特征的 通道数；
Figure 812130DEST_PATH_IMAGE005
表示转换后的2D图像1D特征，
Figure 646094DEST_PATH_IMAGE006
=
Figure 377159DEST_PATH_IMAGE003
*
Figure 790823DEST_PATH_IMAGE004
表示转换后的2D图像1D特征序 列长度；
S2113、2D图像1D特征与通道转置模块，采用公式（2）对2D图像特征与通道进行转置：
Figure 674465DEST_PATH_IMAGE007
（2）
其中S2为转置前2D图像1D特征序列长度，d2为转置前2D图像1D特征的通道数,
Figure 413751DEST_PATH_IMAGE008
,
Figure 133576DEST_PATH_IMAGE009
；
Figure 85352DEST_PATH_IMAGE010
表示转置前的2D图像1D特征，
Figure 89080DEST_PATH_IMAGE011
表示 转置后的2D图像1D特征；
S2114、2D图像位置嵌入模块，用于对所述转置后的2D图像1D特征的位置信息进行编码，并将位置编码嵌入到所述转置后的2D图像1D特征中；
首先，采用如下公式进行位置编码：
Figure 733688DEST_PATH_IMAGE012
其中，PE表示位置编码函数；
Figure 439344DEST_PATH_IMAGE006
为转置后2D图像1D特征的通道数；i表示特征值在 2D图像1D特征序列中的位置，
Figure 460390DEST_PATH_IMAGE013
；j表示特征值在2D图像1D特征通道中的位置，
Figure 53045DEST_PATH_IMAGE014
；
然后，将位置编码嵌入到2D图像1D特征中，嵌入公式如下：
Figure 619287DEST_PATH_IMAGE015
（5）
其中，
Figure 562972DEST_PATH_IMAGE011
表示转置后的2D图像1D特征，
Figure 387709DEST_PATH_IMAGE016
2 表示嵌入位置编码后的2D图像1D 特征。
S212、3D图像特征提取网络模型S212，从所述3D图像间接提取包含有空间信息的3D图像1D特征，所述3D图像特征提取网络模型依次具体包括：
S2121、3D图像3D特征提取模块，采用3D图像卷积神经网络提取3D图像3D特征，3D图像卷积神经网络由输入层、卷积层、激活函数、池化层、全连接层组成；
S2122、3D图像维度转换模块，用于将所述3D图像3D特征转换成1D特征，采用公式（6）进行转换：
Figure 100450DEST_PATH_IMAGE017
（6）
这里
Figure 70549DEST_PATH_IMAGE002
表示3D图像3D特征，L 3 *W 3 *H 3 为3D图像3D特征大小，d 3 表示3D图像3D特征的 通道数；
Figure 235951DEST_PATH_IMAGE018
表示转换后的3D图像1D特征，
Figure 333220DEST_PATH_IMAGE019
=
Figure 431626DEST_PATH_IMAGE020
*
Figure 74091DEST_PATH_IMAGE021
*
Figure 992369DEST_PATH_IMAGE022
表示转换后的3D图像1D特 征长度；
S2123、3D图像1D特征与通道转置模块，采用公式（7）对3D图像特征与通道进行转置：
Figure 893328DEST_PATH_IMAGE023
（7）
其中S3为转置前3D图像1D特征序列长度，d3为转置前3D图像1D特征的通道数,
Figure 315082DEST_PATH_IMAGE024
,
Figure 158142DEST_PATH_IMAGE025
；
Figure 298137DEST_PATH_IMAGE026
表示转置前的3D图像1D特征，
Figure 2788DEST_PATH_IMAGE027
表示转 置后的3D图像1D特征；
S2124、3D图像位置嵌入模块，用于对所述转置后的3D图像1D特征的位置信息进行编码，并将位置编码嵌入到所述3D图像1D特征中；
首先，采用如下公式进行位置编码：
Figure 279048DEST_PATH_IMAGE028
（8）
Figure 528895DEST_PATH_IMAGE029
（9）
其中，PE表示位置编码函数；
Figure 156185DEST_PATH_IMAGE019
为转置后3D图像1D特征的通道数；i表示特征值在 3D图像1D特征序列中的位置，
Figure 398948DEST_PATH_IMAGE030
；j表示特征值在3D图像1D特征通道中的 位置，
Figure 795294DEST_PATH_IMAGE031
；
然后，将位置编码嵌入到2D图像1D特征中，嵌入公式如下：
Figure 714578DEST_PATH_IMAGE032
（10）
其中，
Figure 829164DEST_PATH_IMAGE033
表示转置后的3D图像1D特征，
Figure 875618DEST_PATH_IMAGE034
3 表示嵌入位置编码后的3D图像1D 特征。
S3、将所述包含空间信息的2D图像特征及所述包含空间信息的3D图像特征输入到预先训练的配准模型中，对所述包含空间信息的2D图像特征及所述包含空间信息的3D图像特征进行配准，得到配准所述2D图像与所述3D图像的空间变换；
图3显示了S3中配准模型S31的网络结构：
S31、所述配准模型依次包括：特征长度归一化网络、特征交叉融合网络和空间变换计算网络；
S311、特征长度归一化网络：
采用一维卷积网络，将所述包含空间信息的2D图像1D特征序列和所述包含空间信 息的3D图像1D特征序列分别归一化为相同的序列长度；归一化后的序列长度
Figure 126470DEST_PATH_IMAGE035
取值靠近所 述包含空间信息的2D图像1D特征序列长度和所述包含空间信息的3D图像1D特征序列长度 的几何平均数，同时能被后述多头交叉注意力网络中的头数所整除；
S312、特征交叉融合网络：
采用多头交叉注意力网络，学习从2D图像到3D图像的交叉融合特征和从3D图像到2D图像的交叉融合特征，具体包括：
S3121、2D图像到3D图像交叉融合特征计算网络，采用2D到3D图像的多头交叉注意 力网络，将长度归一化后的包含空间信息的2D图像1D特征
Figure 718120DEST_PATH_IMAGE036
传递给长度归一化后的包含 空间信息的3D图像1D特征
Figure 320002DEST_PATH_IMAGE037
，得到所述2D图像到所述3D图像的交叉融合特征
Figure 904567DEST_PATH_IMAGE038
，具体计 算如下：
Figure 275506DEST_PATH_IMAGE039
（11）
Figure 536592DEST_PATH_IMAGE040
（12）
Figure 360191DEST_PATH_IMAGE041
（13）
其中， LN表示层标准化，
Figure 748447DEST_PATH_IMAGE042
表示交叉注意力网络的头数，即传递次数，
Figure 990204DEST_PATH_IMAGE043
表 示为将
Figure 172924DEST_PATH_IMAGE044
传递给
Figure 749399DEST_PATH_IMAGE045
的第
Figure 675766DEST_PATH_IMAGE046
头交叉注意力网络层，
Figure 4985DEST_PATH_IMAGE047
表示为将
Figure 624185DEST_PATH_IMAGE048
通过第
Figure 422377DEST_PATH_IMAGE049
头注意力网 络传递给
Figure 418015DEST_PATH_IMAGE050
后得到的第
Figure 837626DEST_PATH_IMAGE049
头交叉融合特征，
Figure 627728DEST_PATH_IMAGE050
表示
Figure 913215DEST_PATH_IMAGE048
传递给
Figure 181386DEST_PATH_IMAGE051
的第
Figure 485197DEST_PATH_IMAGE052
头交叉融合 特征，
Figure 446200DEST_PATH_IMAGE053
表示最终得到的
Figure 953404DEST_PATH_IMAGE048
传递给
Figure 25266DEST_PATH_IMAGE050
的第
Figure 950628DEST_PATH_IMAGE049
头交叉融合特征，
Figure 816952DEST_PATH_IMAGE054
，
Figure 77032DEST_PATH_IMAGE055
表 示由θ参数化的第
Figure 687005DEST_PATH_IMAGE049
头交叉注意力网络的前馈层；
将特征
Figure 965409DEST_PATH_IMAGE056
传递给特征
Figure 2635DEST_PATH_IMAGE057
的交叉注意力
Figure 750011DEST_PATH_IMAGE058
的计算公式如下：
Figure 163675DEST_PATH_IMAGE059
（14）
其中，
Figure 63629DEST_PATH_IMAGE060
，
Figure 537336DEST_PATH_IMAGE061
和
Figure 240849DEST_PATH_IMAGE062
为待训练的交叉注意力网络参数；
Figure 192625DEST_PATH_IMAGE063
表示交叉注意力网络 中键的通道数，具体取值依据模型需要自行设定；
S3122、3D图像到2D图像交叉融合特征计算网络，采用3D到2D图像的多头交叉注意 力网络，将长度归一化后的包含空间信息的3D图像1D特征
Figure 445620DEST_PATH_IMAGE064
传递给长度归一化后的包含 空间信息的2D图像1D特征
Figure 824649DEST_PATH_IMAGE065
，得到所述3D图像到所述2D图像的交叉融合特征
Figure 281038DEST_PATH_IMAGE066
，具体计 算如下：
Figure 36505DEST_PATH_IMAGE067
（15）
Figure 645472DEST_PATH_IMAGE068
（16）
Figure 460981DEST_PATH_IMAGE069
（17）
其中，LN表示层标准化，
Figure 404666DEST_PATH_IMAGE070
表示交叉注意力网络的头数，即传递次数，
Figure 698244DEST_PATH_IMAGE071
表 示为将
Figure 660253DEST_PATH_IMAGE072
传递给
Figure 646664DEST_PATH_IMAGE065
的第
Figure 77645DEST_PATH_IMAGE073
头交叉注意力网络层，
Figure 174914DEST_PATH_IMAGE074
表示为将
Figure 492894DEST_PATH_IMAGE072
通过第
Figure 650206DEST_PATH_IMAGE075
头注意力网络 传递给
Figure 568483DEST_PATH_IMAGE076
后得到的第
Figure 203864DEST_PATH_IMAGE073
头交叉融合特征，
Figure 140465DEST_PATH_IMAGE076
表示
Figure 468678DEST_PATH_IMAGE077
传递给
Figure 608672DEST_PATH_IMAGE065
的第
Figure 313323DEST_PATH_IMAGE078
头交叉融合特 征，
Figure 605895DEST_PATH_IMAGE079
表示最终得到的
Figure 105010DEST_PATH_IMAGE077
传递给
Figure 732300DEST_PATH_IMAGE076
的第
Figure 709483DEST_PATH_IMAGE075
头交叉融合特征，
Figure 620676DEST_PATH_IMAGE080
，
Figure 556271DEST_PATH_IMAGE081
表示由θ 参数化的第
Figure 670858DEST_PATH_IMAGE075
头交叉注意力网络的前馈层；
S313、空间变换计算网络：
用于计算配准所述2D图像与所述3D图像的空间变换，具体如下：
S3131、特征组合模型，将所述2D图像到3D图像的交叉融合特征
Figure 451732DEST_PATH_IMAGE082
与所述3D图像 到2D图像的交叉融合特征
Figure 718897DEST_PATH_IMAGE083
组合为特征
Figure 559814DEST_PATH_IMAGE034
，
Figure 161696DEST_PATH_IMAGE084
，组合特征
Figure 261108DEST_PATH_IMAGE034
的序列长度保 持所述归一化后的序列长度S0不变，组合特征
Figure 632047DEST_PATH_IMAGE034
的通道数
Figure 643865DEST_PATH_IMAGE085
,
Figure 467465DEST_PATH_IMAGE086
表示交叉注意力网络 中值的通道数，具体取值依据模型需要自行设定;也可以如后述实施例2中S322一样进行特 征组合；
S3132、特征解析网络，采用自注意力网络对组合特征
Figure 606453DEST_PATH_IMAGE034
进行解析，组合特征
Figure 831898DEST_PATH_IMAGE034
的自 注意力计算公式如下：
Figure 14618DEST_PATH_IMAGE087
（18）
其中，
Figure 591092DEST_PATH_IMAGE088
表示组合特征
Figure 766728DEST_PATH_IMAGE034
经自注意力网络解析后得到的解析特征；
Figure 846679DEST_PATH_IMAGE089
，
Figure 465879DEST_PATH_IMAGE090
和
Figure 529650DEST_PATH_IMAGE091
为待训练的自注意力网络参数，d表示组合特征
Figure 744862DEST_PATH_IMAGE034
的通道数；
S3133、空间变换输出网络，先通过一个卷积层，将解析特征的通道数调整为1；再通过一个由全连接层、激活层、标准化层组成的全连接网络，输出配准所述2D图像与所述3D图像的空间变换。
S4、基于所述空间变换，将所述3D图像映射并叠加到所述2D图像对应空间位置上。
以上即为本发明实施例1提供的一种2D和3D图像配准方法的具体实施方式。相较于现有2D与3D图像配准技术，此方法直接在输入的待配准图像对上进行图像配准，没有在配准前对待配准的2D图像或3D图像做任何的图像预处理，避开了繁琐、耗时、难以满足条件等诸多配准前的预处理工作，最大程度简化了2D和3D图像配准的流程。
实施例2
本发明实施例提供了一种2D和3D图像配准方法，其流程示意图如图1所示，包括以下步骤：
S1、获取待配准的一幅2D图像和一幅3D图像。
S2、将所述2D图像和3D图像分别输入预先训练的2D图像特征提取网络模型和3D图像特征提取网络模型中，获取包含空间信息的2D图像特征和3D图像特征，所述包含空间信息的2D图像特征与所述包含空间信息的3D图像特征具有相同的空间维度。
图2显示了S2中特征提取模型S21的网络结构，包括S211即2D图像特征提取网络模型和S212即3D图像特征提取网络模型，其中：
S211、所述2D图像特征提取网络模型从所述2D图像间接提取包含有空间信息的2D图像1D特征，依次具体包括： S2111即2D图像2D特征提取模块，S2112即2D图像维度转换模块、S2113即2D图像1D特征与通道转置模块和S2114即2D图像位置嵌入模块；
S212、所述3D图像特征提取网络模型从所述3D图像间接提取包含有空间信息的3D图像1D特征，依次具体包括：S2121即3D图像3D特征提取模块、S2122即3D图像维度转换模块、S2123即3D图像1D特征与通道转置模块和S2124即3D图像位置嵌入模块；
所述特征提取模型S21与实施例1中所述特征提取模型S21完全相同。
S3、将所述包含空间信息的2D图像特征及所述包含空间信息的3D图像特征输入到预先训练的配准模型中，对所述包含空间信息的2D图像特征及所述包含空间信息的3D图像特征进行配准，得到配准所述2D图像与所述3D图像的空间变换。
图4显示了S3中配准模型S32的网络结构，具体包括：特征通道归一化网络、特征组合网络、特征解析网络和空间变换输出网络，其中：
S321、特征通道归一化网络，用于将所述包含空间信息的2D图像1D特征通道和所 述包含空间信息的3D图像1D特征通道归一化为相同的通道数；归一化后的通道数
Figure 679320DEST_PATH_IMAGE092
取值为 所述包含空间信息的2D图像1D特征序列长度
Figure 469422DEST_PATH_IMAGE093
和所述包含空间信息的3D图像1D特征序列 长度
Figure 489330DEST_PATH_IMAGE094
的几何平均数；
S322、特征组合网络，用于将所述包含空间信息的2D图像1D特征
Figure 295785DEST_PATH_IMAGE095
和所述包含空 间信息的3D图像1D特征
Figure 615908DEST_PATH_IMAGE096
组合起来，得到组合特征
Figure 45752DEST_PATH_IMAGE097
；组合特征
Figure 818536DEST_PATH_IMAGE098
的通道数保 持所述归一化后的通道数
Figure 641129DEST_PATH_IMAGE099
不变，组合特征
Figure 550180DEST_PATH_IMAGE098
的序列长度
Figure 682084DEST_PATH_IMAGE100
,S 2 和S 3 分别表示特征
Figure 96119DEST_PATH_IMAGE034
2 和
Figure 880722DEST_PATH_IMAGE034
3 的序列长度；也可以如前述实施例1中S3131一样进行特征组合；
S323、特征解析网络，用于解析组合特征
Figure 45118DEST_PATH_IMAGE098
；采用组合特征
Figure 505924DEST_PATH_IMAGE098
的自注意力对
Figure 714051DEST_PATH_IMAGE098
进行 解析，组合特征
Figure 683144DEST_PATH_IMAGE098
的自注意力计算公式如下：
Figure 900499DEST_PATH_IMAGE102
（19）
其中，
Figure 389380DEST_PATH_IMAGE103
表示组合特征
Figure 33988DEST_PATH_IMAGE098
经自注意力网络解析后得到的解析特征；
Figure 490377DEST_PATH_IMAGE104
，
Figure 245844DEST_PATH_IMAGE105
和
Figure 353346DEST_PATH_IMAGE106
为待训练的自注意力网络参数，
Figure 168855DEST_PATH_IMAGE092
为所述组合特征
Figure 846961DEST_PATH_IMAGE098
的通道数；
S324、空间变换输出网络，用于输出配准空间变换；所述空间变换输出网络由一个卷积层和一个全连接网络构成；先通过一个卷积层，将解析特征的通道数调整为1；再通过由全连接层、激活层、标准化层组成的全连接网络，输出配准所述2D图像与所述3D图像的空间变换。
以上即为本发明实施例2提供的一种2D和3D图像配准方法的具体实施方式。相较于现有2D与3D图像配准技术，此方法直接在输入的待配准图像对上进行图像配准，无需任何配准前的图像预处理工作，最大程度简化了2D和3D图像配准的流程。
实施例3
本发明实施例提供了一种2D和3D图像配准方法，其流程示意图如图1所示，包括以下步骤：
S1、获取待配准的一幅2D图像和一幅3D图像。
S2、将所述2D图像和3D图像分别输入预先训练的2D图像特征提取网络模型和3D图像特征提取网络模型中，获取包含空间信息的2D图像特征和3D图像特征，所述包含空间信息的2D图像特征与所述包含空间信息的3D图像特征具有相同的空间维度。
图5显示了步骤S2中特征提取模型S22的网络结构，包括2D图像特征提取网络模型和3D图像特征提取网络模型，其中：
S221、2D图像特征提取网络模型，从所述2D图像直接提取包含有空间信息的2D图像1D特征，具体包括：n1个2D图像处理单元和1个时间卷积单元；其中，每个2D图像处理单元由n2个卷积单元和1个最大池化单元组成；每个卷积单元又包括：一个卷积核大小为3*3和步长为1的卷积层、一个批标准化层和一个激活层；每个最大池化单元由一个卷积核大小为3*3、步长为2的最大池化层构成；每个时间卷积单元则由一个卷积核大小为n3*n3、步长为1的时间卷积层构成；n1、n2和n3的取值依据需要自行确定；
S222、3D图像特征提取网络模型，从所述3D图像直接提取包含有空间信息的3D图像1D特征，具体包括：n4个3D图像处理单元和1个时间卷积单元；其中，每个3D图像处理单元由n5个卷积单元和1个最大池化单元组成；每个卷积单元又包括：一个卷积核大小为3*3*3和步长为1的卷积层、一个批标准化层和一个激活层；每个池化单元由一个卷积核大小为3*3*3、步长为2的最大池化层构成；每个时间卷积单元则由一个卷积核大小为n6*n6*n6、步长为1的时间卷积层构成；n4、n5和n6的取值依据需要自行确定。
S3、将所述包含空间信息的2D图像特征及所述包含空间信息的3D图像特征输入到预先训练的配准模型中，对所述包含空间信息的2D图像特征及所述包含空间信息的3D图像特征进行配准，得到配准所述2D图像与所述3D图像的空间变换。
图3显示了S3中配准模型S31的网络结构，依次包括：S311即特征长度归一化网络、S312即特征交叉融合网络和S313即空间变换计算网络，其中：
S312、所述特征交叉融合网络包括：S3121即2D到3D图像交叉融合特征计算网络和S3122即3D到2D图像交叉融合特征计算网络；
S313、所述空间变换计算网络包括：S3131即特征组合模型、S3132即特征解析网络和S3133空间变换输出网络；
所述配准模型S31与实施例1中所述配准网络模型S31完全相同。
S4、基于所述空间变换，将所述3D图像映射并叠加到所述2D图像对应空间位置上。
以上即为本发明实施例3提供的一种2D和3D图像配准方法的具体实施方式。相较于现有2D与3D图像配准技术，此方法直接在输入的待配准图像对上进行图像配准，无需任何配准前的图像预处理工作，最大程度简化了2D和3D图像配准的流程。
实施例4
本发明实施例提供了一种2D和3D图像配准方法，其流程示意图如图1所示，包括以下步骤：
S1、获取待配准的一幅2D图像和一幅3D图像。
S2、将所述2D图像和3D图像分别输入预先训练的2D图像特征提取网络模型和3D图像特征提取网络模型中，获取包含空间信息的2D图像特征和3D图像特征，所述包含空间信息的2D图像特征与所述包含空间信息的3D图像特征具有相同的空间维度；
图5显示了步骤S2中特征提取模型S22的网络结构，包括2D图像特征提取网络模型S221和3D图像特征提取网络模型S222，其中：
S221、2D图像特征提取网络模型从所述2D图像直接提取包含有空间信息的2D图像1D特征；
S222、3D图像特征提取网络模型从所述3D图像直接提取包含有空间信息的3D图像1D特征；
所述特征提取模型S22与实施例3中所述特征提取模型S22完全相同。
S3、将所述包含空间信息的2D图像特征及所述包含空间信息的3D图像特征输入到预先训练的配准模型中，对所述包含空间信息的2D图像特征及所述包含空间信息的3D图像特征进行配准，得到配准所述2D图像与所述3D图像的空间变换；
图4显示了S3中配准模型S32的网络结构，依次包括：S321即特征通道归一化网络、S322即特征组合网络、S323即特征解析网络和S324即空间变换输出网络；
所述配准模型S32与实施例2中所述配准模型S32完全相同。
S4、基于所述空间变换，将所述3D图像映射并叠加到所述2D图像对应空间位置上。
以上即为本发明实施例4提供的一种2D和3D图像配准方法的具体实施方式。相较于现有2D与3D图像配准技术，此方法直接在输入的待配准图像对上进行图像配准，无需任何配准前的图像预处理工作，最大程度简化了2D和3D图像配准的流程。
实施例5
基于实施例1提供的一种2D和3D图像配准方法，本发明实施例提供了一种2D和3D图像配准装置，其结构示意图如图6所示，该装置包括以下单元：
图像获取单元D1，获取待配准的一幅2D图像和一幅3D图像。
特征提取单元D2，将所述2D图像和3D图像分别输入预先训练的2D图像特征提取子单元和3D图像特征提取子单元中，获取包含空间信息的2D图像特征和3D图像特征，所述包含空间信息的2D图像特征与所述包含空间信息的3D图像特征具有相同的空间维度；
图7显示了D2中特征提取单元D21的结构，包括2D图像特征提取子单元D211和3D图像特征提取子单元D212两个部分，其中：
2D图像特征提取子单元D211，用于：从所述2D图像间接提取包含有空间信息的2D图像1D特征，2D图像特征提取子单元D211依次具体包括：
2D图像2D特征提取子单元D2111，采用2D图像卷积神经网络提取2D图像2D特征，2D图像卷积神经网络由输入层、卷积层、激活函数、池化层、全连接层组成；
2D图像维度转换子单元D2112，用于将所述2D图像2D特征转换成1D特征，采用公式（20）进行转换：
Figure 406119DEST_PATH_IMAGE107
（20）
这里
Figure 869592DEST_PATH_IMAGE002
表示2D图像2D特征，
Figure 856003DEST_PATH_IMAGE003
*
Figure 286984DEST_PATH_IMAGE004
为2D图像2D特征大小，d 2 表示2D图像2D特征的通 道数；
Figure 384253DEST_PATH_IMAGE108
表示转换后的2D图像1D特征，
Figure 466347DEST_PATH_IMAGE006
=
Figure 623659DEST_PATH_IMAGE109
*
Figure 276357DEST_PATH_IMAGE110
表示转换后的2D图像1D特征序列长 度；
2D图像1D特征与通道转置子单元D2113，采用公式（21）对2D图像特征与通道进行转置：
Figure 177317DEST_PATH_IMAGE007
（21）
其中S2为转置前2D图像1D特征序列长度，d2为转置前2D图像1D特征的通道数,
Figure 880962DEST_PATH_IMAGE008
,
Figure 209175DEST_PATH_IMAGE009
；
Figure 349170DEST_PATH_IMAGE111
表示转置前的2D图像1D特征，
Figure 37509DEST_PATH_IMAGE011
表示 转置后的2D图像1D特征；
2D图像位置嵌入子单元D2114，用于对所述转置后的2D图像1D特征的位置信息进行编码，并将位置编码嵌入到所述转置后的2D图像1D特征中；
首先，采用如下公式进行位置编码：
Figure 579349DEST_PATH_IMAGE112
其中，PE表示位置编码函数；
Figure 78463DEST_PATH_IMAGE006
为转置后2D图像1D特征的通道数；i表示特征值在 2D图像1D特征序列中的位置，
Figure 971333DEST_PATH_IMAGE013
；j表示特征值在2D图像1D特征通道中的位置，
Figure 964828DEST_PATH_IMAGE014
；
然后，将位置编码嵌入到2D图像1D特征中，嵌入公式如下：
Figure 626753DEST_PATH_IMAGE113
（24）
其中，
Figure 296769DEST_PATH_IMAGE011
表示转置后的2D图像1D特征，
Figure 145776DEST_PATH_IMAGE034
2 表示嵌入位置编码后的2D图像1D 特征。
3D图像特征提取子单元D212，用于：从所述3D图像间接提取包含有空间信息的3D图像1D特征，所述3D图像特征提取子单元D212依次具体包括：
3D图像3D特征提取子单元D2121，采用3D图像卷积神经网络提取3D图像3D特征，3D图像卷积神经网络由输入层、卷积层、激活函数、池化层、全连接层组成；
3D图像维度转换子单元D2122，用于将所述3D图像3D特征转换成1D特征，采用公式（25）进行转换：
Figure 441497DEST_PATH_IMAGE114
（25）
这里
Figure 223509DEST_PATH_IMAGE002
表示3D图像3D特征，L 3 *W 3 *H 3 为3D图像3D特征大小，d 3 表示3D图像3D特征的 通道数；
Figure 798846DEST_PATH_IMAGE115
表示转换后的3D图像1D特征，
Figure 135150DEST_PATH_IMAGE116
表示转换后的3D图像1D特征长 度；
3D图像1D特征与通道转置子单元D2123，采用公式（26）对3D图像特征与通道进行转置：
Figure 470447DEST_PATH_IMAGE023
（26）
其中S3为转置前3D图像1D特征序列长度，d3为转置前3D图像1D特征的通道数,
Figure 841386DEST_PATH_IMAGE024
,
Figure 853204DEST_PATH_IMAGE025
；
Figure 942383DEST_PATH_IMAGE117
表示转置前的3D图像1D特征，
Figure 314327DEST_PATH_IMAGE027
表示转置 后的3D图像1D特征；
3D图像位置嵌入子单元D2124，用于对所述转置后的3D图像1D特征的位置信息进行编码，并将位置编码嵌入到所述3D图像1D特征中；
首先，采用如下公式进行位置编码：
Figure 805351DEST_PATH_IMAGE028
（27）
Figure 988071DEST_PATH_IMAGE118
（28）
其中，PE表示位置编码函数；
Figure 298967DEST_PATH_IMAGE119
为转置后3D图像1D特征的通道数；i表示特征值在 3D图像1D特征序列中的位置，
Figure 976067DEST_PATH_IMAGE030
；j表示特征值在3D图像1D特征通道中的位 置，
Figure 321598DEST_PATH_IMAGE031
；
然后，将位置编码嵌入到2D图像1D特征中，嵌入公式如下：
Figure 675218DEST_PATH_IMAGE120
（29）
其中，
Figure 473410DEST_PATH_IMAGE121
表示转置后的3D图像1D特征，
Figure 452736DEST_PATH_IMAGE034
3 表示嵌入位置编码后的3D图像1D特 征。
图像配准单元D3，将所述包含空间信息的2D图像特征及所述包含空间信息的3D图像特征输入到预先训练的配准单元中，对所述包含空间信息的2D图像特征及所述包含空间信息的3D图像特征进行配准，得到配准所述2D图像与所述3D图像的空间变换。
图8显示了D3中图像配准单元D31的网络结构，图像配准单元D31依次包括：特征长度归一化子单元D311、特征交叉融合子单元D312和空间变换计算子单元D313，其中：
特征长度归一化子单元D311：
采用一维卷积网络，将所述包含空间信息的2D图像1D特征序列和所述包含空间信 息的3D图像1D特征序列分别归一化为相同的序列长度；归一化后的序列长度
Figure 652774DEST_PATH_IMAGE122
取值靠近所 述包含空间信息的2D图像1D特征序列长度和所述包含空间信息的3D图像1D特征序列长度 的几何平均数，同时能被后述多头交叉注意力网络中的头数所整除。
特征交叉融合子单元D312：
采用多头交叉注意力网络，学习从2D图像到3D图像的交叉融合特征和从3D图像到2D图像的交叉融合特征，具体包括：
2D图像到3D图像交叉融合特征计算子单元D3121，采用2D到3D图像的多头交叉注 意力网络，将长度归一化后的包含空间信息的2D图像1D特征
Figure 177296DEST_PATH_IMAGE044
传递给长度归一化后的包 含空间信息的3D图像1D特征
Figure 462784DEST_PATH_IMAGE045
，得到所述2D图像到所述3D图像的交叉融合特征
Figure 747266DEST_PATH_IMAGE123
，具体 计算如下：
Figure 801809DEST_PATH_IMAGE124
（30）
Figure 497233DEST_PATH_IMAGE125
（31）
Figure 270017DEST_PATH_IMAGE126
（32）
其中，LN表示层标准化，
Figure 591146DEST_PATH_IMAGE042
表示交叉注意力网络的头数，即传递次数，
Figure 500196DEST_PATH_IMAGE043
表 示为将
Figure 632100DEST_PATH_IMAGE044
传递给
Figure 626601DEST_PATH_IMAGE045
的第
Figure 252885DEST_PATH_IMAGE046
头交叉注意力网络层，
Figure 282021DEST_PATH_IMAGE047
表示为将
Figure 584826DEST_PATH_IMAGE048
通过第
Figure 315891DEST_PATH_IMAGE049
头注意力网 络传递给
Figure 729555DEST_PATH_IMAGE050
后得到的第
Figure 613197DEST_PATH_IMAGE049
头交叉融合特征，
Figure 86904DEST_PATH_IMAGE050
表示
Figure 806729DEST_PATH_IMAGE048
传递给
Figure 24084DEST_PATH_IMAGE051
的第
Figure 27812DEST_PATH_IMAGE052
头交叉融合 特征，
Figure 672420DEST_PATH_IMAGE053
表示最终得到的
Figure 378077DEST_PATH_IMAGE048
传递给
Figure 133543DEST_PATH_IMAGE050
的第
Figure 991778DEST_PATH_IMAGE049
头交叉融合特征，
Figure 541708DEST_PATH_IMAGE054
，
Figure 236125DEST_PATH_IMAGE055
表 示由θ参数化的第
Figure 795283DEST_PATH_IMAGE049
头交叉注意力网络的前馈层；
将特征
Figure 508024DEST_PATH_IMAGE056
传递给特征
Figure 494434DEST_PATH_IMAGE057
的交叉注意力
Figure 909104DEST_PATH_IMAGE058
的计算公式如下：
Figure 6373DEST_PATH_IMAGE127
（33）
其中，
Figure 839200DEST_PATH_IMAGE060
，
Figure 996512DEST_PATH_IMAGE061
和
Figure 399942DEST_PATH_IMAGE062
为待训练的交叉注意力网络参数；
Figure 300902DEST_PATH_IMAGE063
表示交叉注意力网络 中键的通道数，具体取值依据模型需要自行设定；
3D图像到2D图像交叉融合特征计算子单元D3122，采用3D到2D图像的多头交叉注 意力网络，将长度归一化后的包含空间信息的3D图像1D特征
Figure 988235DEST_PATH_IMAGE128
传递给长度归一化后的包 含空间信息的2D图像1D特征
Figure 316449DEST_PATH_IMAGE065
，得到所述3D图像到所述2D图像的交叉融合特征
Figure 705710DEST_PATH_IMAGE129
，具体 计算如下：
Figure 144782DEST_PATH_IMAGE130
（34）
Figure 686622DEST_PATH_IMAGE131
（35）
Figure 202048DEST_PATH_IMAGE132
（36）
其中， LN表示层标准化，
Figure 829338DEST_PATH_IMAGE070
表示交叉注意力网络的头数，即传递次数，
Figure 72101DEST_PATH_IMAGE071
表 示为将
Figure 468447DEST_PATH_IMAGE072
传递给
Figure 387730DEST_PATH_IMAGE065
的第
Figure 767896DEST_PATH_IMAGE075
头交叉注意力网络层，
Figure 814350DEST_PATH_IMAGE074
表示为将
Figure 65202DEST_PATH_IMAGE072
通过第
Figure 656852DEST_PATH_IMAGE075
头注意力网络 传递给
Figure 258735DEST_PATH_IMAGE076
后得到的第
Figure 843300DEST_PATH_IMAGE075
头交叉融合特征，
Figure 214238DEST_PATH_IMAGE076
表示
Figure 740903DEST_PATH_IMAGE077
传递给
Figure 830082DEST_PATH_IMAGE065
的第
Figure 952759DEST_PATH_IMAGE078
头交叉融合特 征，
Figure 928936DEST_PATH_IMAGE079
表示最终得到的
Figure 377235DEST_PATH_IMAGE077
传递给
Figure 953710DEST_PATH_IMAGE076
的第
Figure 880078DEST_PATH_IMAGE075
头交叉融合特征，
Figure 498313DEST_PATH_IMAGE080
，
Figure 851934DEST_PATH_IMAGE081
表示由θ 参数化的第
Figure 650126DEST_PATH_IMAGE075
头交叉注意力网络的前馈层。
空间变换计算子单元D313：
用于计算配准所述2D图像与所述3D图像的空间变换，具体结构如下：
特征组合子单元D3131，将所述2D图像到3D图像的交叉融合特征
Figure 380185DEST_PATH_IMAGE082
与所述3D图 像到2D图像的交叉融合特征
Figure 330954DEST_PATH_IMAGE083
组合为特征
Figure 589897DEST_PATH_IMAGE034
，
Figure 140964DEST_PATH_IMAGE084
，组合特征
Figure 143555DEST_PATH_IMAGE034
的序列长度 保持所述归一化后的序列长度S0不变，组合特征
Figure 447367DEST_PATH_IMAGE034
的通道数
Figure 408369DEST_PATH_IMAGE085
,
Figure 446733DEST_PATH_IMAGE086
表示交叉注意力网 络中值的通道数，具体取值依据模型需要自行设定;也可以如后述实施例2中S322一样进行 特征组合；
特征解析子单元D3132，采用自注意力网络对组合特征
Figure 253015DEST_PATH_IMAGE034
进行解析，组合特征
Figure 912797DEST_PATH_IMAGE034
的 自注意力计算公式如下：
Figure 779122DEST_PATH_IMAGE133
（37）
其中，
Figure 39202DEST_PATH_IMAGE134
表示组合特征
Figure 649175DEST_PATH_IMAGE034
经自注意力网络解析后得到的解析特征；
Figure 927578DEST_PATH_IMAGE104
，
Figure 230384DEST_PATH_IMAGE135
和
Figure 712181DEST_PATH_IMAGE106
为 待训练的自注意力网络参数，d表示组合特征
Figure 125844DEST_PATH_IMAGE034
的通道数；
空间变换输出子单元D3133，先通过一个卷积层，将解析特征的通道数调整为1；再通过一个由全连接层、激活层、标准化层组成的全连接网络，输出配准所述2D图像与所述3D图像的空间变换。
图像叠加单元D4，基于所述空间变换，将所述3D图像映射并叠加到所述2D图像对应空间位置上。
以上即为本发明实施例5提供的一种2D和3D图像配准装置的具体结构。相较于现有2D与3D图像配准技术，此装置直接在输入的待配准图像对上进行图像配准，没有在配准前对待配准的2D图像或3D图像做任何的图像预处理，避开了繁琐、耗时、难以满足条件等诸多配准前的预处理工作，最大程度简化了2D和3D图像配准的流程。
实施例6
基于实施例2提供的一种2D和3D图像配准方法，本发明实施例提供了一种2D和3D图像配准装置，其结构示意图如图6所示，该装置包括以下单元：
图像获取单元D1，用于：获取待配准的一幅2D图像和一幅3D图像。
特征提取单元D2，用于：将所述2D图像和3D图像分别输入预先训练的2D图像特征提取子单元和3D图像特征提取子单元中，获取包含空间信息的2D图像特征和3D图像特征，所述包含空间信息的2D图像特征与所述包含空间信息的3D图像特征具有相同的空间维度。
图7显示了D2中特征提取单元D21的结构，包括有2D图像特征提取子单元D211和3D图像特征提取子单元D212，其中：
2D图像特征提取子单元D211，用于：从所述2D图像间接提取包含有空间信息的2D图像1D特征，依次具体包括：2D图像2D特征提取子单元D2111，2D图像维度转换子单元D2112、2D图像1D特征与通道转置子单元D2113和2D图像位置嵌入子单元D2114；
3D图像特征提取子单元D212，用于：从所述3D图像间接提取包含有空间信息的3D图像1D特征，依次具体包括：3D图像3D特征提取子单元D2121、3D图像维度转换子单元D2122、3D图像1D特征与通道转置子单元D2123和3D图像位置嵌入子单元D2124；
所述特征提取单元D21与实施例5中所述特征提取单元D21完全相同。
图像配准单元D3，用于：将所述包含空间信息的2D图像特征及所述包含空间信息的3D图像特征输入到预先训练的配准单元中，对所述包含空间信息的2D图像特征及所述包含空间信息的3D图像特征进行配准，得到配准所述2D图像与所述3D图像的空间变换。
图9显示了D3中图像配准单元D32的网络结构，具体包括：特征通道归一化子单元D321、特征组合子单元D322、特征解析子单元D323和空间变换输出子单元D324，其中：
特征通道归一化子单元D321，用于：将所述包含空间信息的2D图像1D特征通道和 所述包含空间信息的3D图像1D特征通道归一化为相同的通道数；归一化后的通道数
Figure 760219DEST_PATH_IMAGE092
取值 为所述包含空间信息的2D图像1D特征序列长度
Figure 233926DEST_PATH_IMAGE093
和所述包含空间信息的3D图像1D特征序 列长度
Figure 203019DEST_PATH_IMAGE094
的几何平均数；
特征组合子单元D322，用于：将所述包含空间信息的2D图像1D特征
Figure 154794DEST_PATH_IMAGE136
和所述包含 空间信息的3D图像1D特征
Figure 407790DEST_PATH_IMAGE137
组合起来，得到组合特征
Figure 52398DEST_PATH_IMAGE138
；组合特征
Figure 508787DEST_PATH_IMAGE098
的通道数 保持所述归一化后的通道数
Figure 264254DEST_PATH_IMAGE099
不变，组合特征
Figure 607641DEST_PATH_IMAGE098
的序列长度
Figure 423151DEST_PATH_IMAGE139
,S 2 和S 3 分别表示特 征
Figure 373155DEST_PATH_IMAGE034
2 和
Figure 774235DEST_PATH_IMAGE034
3 的序列长度；也可以如前述实施例5中D3131一样进行特征组合；
特征解析子单元D323，用于：解析组合特征
Figure 137084DEST_PATH_IMAGE140
；采用组合特征
Figure 720643DEST_PATH_IMAGE098
的自注意力对
Figure 612375DEST_PATH_IMAGE098
进 行解析，组合特征
Figure 530653DEST_PATH_IMAGE140
的自注意力计算公式如下：
Figure 431613DEST_PATH_IMAGE141
（38）
其中，
Figure 102634DEST_PATH_IMAGE103
表示组合特征
Figure 430848DEST_PATH_IMAGE098
经自注意力网络解析后得到的解析特征；
Figure 570842DEST_PATH_IMAGE089
，
Figure 541072DEST_PATH_IMAGE090
和
Figure 833644DEST_PATH_IMAGE091
为待训练的自注意力网络参数，
Figure 332759DEST_PATH_IMAGE142
为所述组合特征
Figure 960049DEST_PATH_IMAGE098
的通道数；
空间变换输出子单元D324，用于：输出配准空间变换；空间变换输出子单元D324由一个卷积层和一个全连接网络构成；先通过一个卷积层，将解析特征的通道数调整为1；再通过由全连接层、激活层、标准化层组成的全连接网络，输出配准所述2D图像与所述3D图像的空间变换。
图像叠加单元D4，用于：基于所述空间变换，将所述3D图像映射并叠加到所述2D图像对应空间位置上。
以上即为本发明实施例6提供的一种2D和3D图像配准装置的具体结构。相较于现有2D与3D图像配准技术，此装置直接在输入的待配准图像对上进行图像配准，无需任何配准前的图像预处理工作，最大程度简化了2D和3D图像配准的流程。
实施例7
基于实施例3提供的一种2D和3D图像配准方法，本发明实施例提供了一种2D和3D图像配准装置，其结构示意图如图6所示，该装置包括以下单元：
图像获取单元D1，用于：获取待配准的一幅2D图像和一幅3D图像。
特征提取单元D2，用于：将所述2D图像和3D图像分别输入预先训练的2D图像特征提取网络模型和3D图像特征提取网络模型中，获取包含空间信息的2D图像特征和3D图像特征，所述包含空间信息的2D图像特征与所述包含空间信息的3D图像特征具有相同的空间维度。
图10显示了D2中特征提取单元D22的结构，包括2D图像特征提取子单元D221和3D图像特征提取子单元D222，其中：
2D图像特征提取子单元D221，用于：从所述2D图像直接提取包含有空间信息的2D图像1D特征，具体包括：n1个2D图像处理单元和1个时间卷积单元；其中，每个2D图像处理单元由n2个卷积单元和1个最大池化单元组成；每个卷积单元又包括：一个卷积核大小为3*3和步长为1的卷积层、一个批标准化层和一个激活层；每个最大池化单元由一个卷积核大小为3*3、步长为2的最大池化层构成；每个时间卷积单元则由一个卷积核大小为n3*n3、步长为1的时间卷积层构成；n1、n2和n3的取值依据需要自行确定；
3D图像特征提取子单元D222，用于：从所述3D图像直接提取包含有空间信息的3D图像1D特征，具体包括：n4个3D图像处理单元和1个时间卷积单元；其中，每个3D图像处理单元由n5个卷积单元和1个最大池化单元组成；每个卷积单元又包括：一个卷积核大小为3*3*3和步长为1的卷积层、一个批标准化层和一个激活层；每个池化单元由一个卷积核大小为3*3*3、步长为2的最大池化层构成；每个时间卷积单元则由一个卷积核大小为n6*n6*n6、步长为1的时间卷积层构成；n4、n5和n6的取值依据需要自行确定。
图像配准单元D3，用于：将所述包含空间信息的2D图像特征及所述包含空间信息的3D图像特征输入到预先训练的配准单元中，对所述包含空间信息的2D图像特征及所述包含空间信息的3D图像特征进行配准，得到配准所述2D图像与所述3D图像的空间变换。
图8显示了D3中图像配准单元D31的结构，依次包括：特征长度归一化子单元D311、特征交叉融合子单元D312和空间变换计算子单元D313，其中：
特征交叉融合子单元D312包括：2D到3D图像交叉融合特征计算子单元D3121和3D到2D图像交叉融合特征计算子单元D3122；
空间变换计算子单元D313，包括：特征组合子单元D3131、特征解析子单元D3132 z和空间变换输出子单元D3133；
所述图像配准单元D31与实施例5中所述图像配准单元D31结构完全相同。
图像叠加单元D4，用于：基于所述空间变换，将所述3D图像映射并叠加到所述2D图像对应空间位置上。
以上即为本发明实施例7提供的一种2D和3D图像配准装置的具体结构。相较于现有2D与3D图像配准技术，此装置直接在输入的待配准图像对上进行图像配准，无需任何配准前的图像预处理工作，最大程度简化了2D和3D图像配准的流程。
实施例8
基于实施例4提供的一种2D和3D图像配准方法，本发明实施例提供了一种2D和3D图像配准装置，其结构示意图如图6所示，该装置包括以下单元：
图像获取单元D1，用于：获取待配准的一幅2D图像和一幅3D图像。
特征提取单元D2，用于：将所述2D图像和3D图像分别输入预先训练的2D图像特征提取子单元和3D图像特征提取子单元中，获取包含空间信息的2D图像特征和3D图像特征，所述包含空间信息的2D图像特征与所述包含空间信息的3D图像特征具有相同的空间维度；
图10显示了D2中特征提取单元D22的网络结构，包括：2D图像特征提取子单元D221和3D图像特征提取子单元D222，其中：
2D图像特征提取子单元D221，用于：从所述2D图像直接提取包含有空间信息的2D图像1D特征；
3D图像特征提取子单元D222，用于：从所述3D图像直接提取包含有空间信息的3D图像1D特征；
所述特征提取单元D22与实施例3中所述特征提取单元D22完全相同。
图像配准单元D3，用于：将所述包含空间信息的2D图像特征及所述包含空间信息的3D图像特征输入到预先训练的配准单元中，对所述包含空间信息的2D图像特征及所述包含空间信息的3D图像特征进行配准，得到配准所述2D图像与所述3D图像的空间变换；
图9显示了D3中配准模型D32的网络结构，依次包括：特征通道归一化子单元D321、特征组合子单元D322、特征解析子单元D323和空间变换输出子单元D324；
图像配准模型D32与实施例6中所述配准模型D32完全相同。
图像叠加单元D4，用于：基于所述空间变换，将所述3D图像映射并叠加到所述2D图像对应空间位置上。
以上即为本发明实施例8提供的一种2D和3D图像配准装置的具体结构。相较于现有2D与3D图像配准技术，此装置直接在输入的待配准图像对上进行图像配准，无需任何配准前的图像预处理工作，最大程度简化了2D和3D图像配准的流程。
上述实施例将2D和3D图像皆拉伸为1D特征后进行配准，也可以从2D图像中提取2D特征，从3D图像中提取2D特征，然后在2D图像2D特征和3D图像2D特征上进行配准，同样也可以避开配准前的图像预处理工作。
以上所述仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制。虽然本发明以较佳实施例揭露如上，然而并非用以限定本发明。任何熟悉本领域的技术人员，在不脱离本发明技术方案范围情况下，都可利用上述揭示的方法和技术内容对本发明技术方案做出许多可能的变动和修饰，或修改为等同变化的等效实施例。因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所做的任何简单修改、等同变化及修饰，均仍属于本发明技术方案保护的范围内。

Claims (12)

1.一种2D与3D图像配准方法，其特征在于，包括：
获取待配准的一幅2D图像和一幅3D图像；
将所述2D图像和3D图像分别输入预先训练的2D图像特征提取网络模型和3D图像特征提取网络模型中，获取包含空间信息的2D图像特征和3D图像特征，所述包含空间信息的2D图像特征与所述包含空间信息的3D图像特征具有相同的空间维度；
将所述包含空间信息的2D图像特征及所述包含空间信息的3D图像特征输入到预先训练的配准模型中，对所述包含空间信息的2D图像特征及所述包含空间信息的3D图像特征进行配准，得到配准所述2D图像与所述3D图像的空间变换；
基于所述空间变换，将所述3D图像映射并叠加到所述2D图像对应空间位置上。
2.根据权利要求1所述的方法，其特征在于，将所述2D图像和3D图像分别输入预先训练的2D图像特征提取网络模型和3D图像特征提取网络模型中，获取包含空间信息的2D图像特征和3D图像特征，所述包含空间信息的2D图像特征与所述包含空间信息的3D图像特征具有相同的空间维度，其中：
所述2D图像特征提取网络模型从所述2D图像间接提取包含有空间信息的2D图像1D特征，所述2D图像特征提取网络模型依次具体包括：2D图像2D特征提取模块、2D图像维度转换模块、和2D图像位置嵌入模块，其中：
所述2D图像2D特征提取模块，采用2D图像卷积神经网络提取2D图像2D特征，2D图像卷积神经网络由输入层、卷积层、激活函数、池化层、全连接层组成；
所述2D图像维度转换模块，用于将所述2D图像2D特征转换成1D特征，采用公式（1）进行转换：
Figure 477841DEST_PATH_IMAGE001
（1）
这里
Figure 926139DEST_PATH_IMAGE002
表示2D图像2D特征，
Figure 237035DEST_PATH_IMAGE003
*
Figure 163403DEST_PATH_IMAGE004
为2D图像2D特征大小，d 2 表示2D图像2D特征的通道 数；
Figure 525245DEST_PATH_IMAGE005
表示转换后的2D图像1D特征，
Figure 878866DEST_PATH_IMAGE006
=
Figure 677058DEST_PATH_IMAGE007
*
Figure 656384DEST_PATH_IMAGE008
表示转换后的2D图像1D特征序列长 度；
所述2D图像位置嵌入模块，用于对所述2D图像1D特征的位置信息进行编码，并将位置编码嵌入到所述2D图像的1D特征中；
首先，采用如下公式进行位置编码：
Figure 856421DEST_PATH_IMAGE009
（2）
Figure 380943DEST_PATH_IMAGE010
（3）
其中，PE表示位置编码函数；
Figure 666431DEST_PATH_IMAGE011
表示2D图像1D特征的通道数，即所述2D图像2D特征的通 道数；i表示特征值在2D图像1D特征序列中的位置，
Figure 685334DEST_PATH_IMAGE012
; j表示特征值在2D图像1D 特征通道中的位置，
Figure 739878DEST_PATH_IMAGE013
；
然后，将位置编码嵌入到2D图像1D特征中，嵌入公式如下：
Figure 700880DEST_PATH_IMAGE014
（4）
其中，
Figure 473664DEST_PATH_IMAGE015
表示2D图像1D特征，d 2 表示2D图像1D特征的通道数，X 2 表示嵌入位置编 码后的2D图像1D特征；
所述3D图像特征提取网络模型从所述3D图像间接提取包含有空间信息的3D图像1D特征，所述3D图像特征提取网络模型依次具体包括：3D图像3D特征提取模块、3D图像维度转换模块、和3D图像位置嵌入模块，其中：
所述3D图像3D特征提取模块，采用3D图像卷积神经网络提取3D图像3D特征，3D图像卷积神经网络由输入层、卷积层、激活函数、池化层、全连接层组成；
所述3D图像维度转换模块，用于将所述3D图像3D特征转换成1D特征，采用公式（5）进行转换：
Figure 529214DEST_PATH_IMAGE016
（5）
这里
Figure 703843DEST_PATH_IMAGE017
表示3D图像3D特征，L 3 *W 3 *H 3 为3D图像3D特征大小，d 3 表示3D图像3D特征的通道 数；
Figure 570168DEST_PATH_IMAGE018
表示转换后的3D图像1D特征，
Figure 830248DEST_PATH_IMAGE019
=
Figure 190953DEST_PATH_IMAGE020
*
Figure 220089DEST_PATH_IMAGE021
*
Figure 522895DEST_PATH_IMAGE022
表示转换后的3D图像1D特征长 度；
所述3D图像位置嵌入模块，用于对所述3D图像1D特征的位置信息进行编码，并将位置编码嵌入到所述3D图像1D特征中；
首先，采用如下公式进行位置编码：
Figure 739112DEST_PATH_IMAGE023
（6）
Figure 667623DEST_PATH_IMAGE024
（7）
其中，PE表示位置编码函数，
Figure 551265DEST_PATH_IMAGE025
表示3D图像1D特征的通道数，即所述3D图像3D特征的 通道数,i表示特征值在3D图像1D特征序列中的位置
Figure 24972DEST_PATH_IMAGE026
; j表示特征值在3D图像 1D特征通道中的位置，
Figure 994065DEST_PATH_IMAGE027
；
然后，将位置编码嵌入到3D图像1D特征中，嵌入公式如下：
Figure 696573DEST_PATH_IMAGE028
（8）
其中，
Figure 700301DEST_PATH_IMAGE029
表示3D图像1D特征，
Figure 344909DEST_PATH_IMAGE030
表示3D图像1D特征的通道数，
Figure 801298DEST_PATH_IMAGE031
表示嵌入位置 编码后的3D图像1D特征。
3.根据权利要求2所述的方法，其特征在于，在所述2D图像特征提取网络模型的维度转换模块和位置嵌入模块之间增加一个2D图像1D特征与通道转置模块，在所述3D图像特征提取网络模型的维度转换模块和位置嵌入模块之间增加一个3D图像1D特征与通道转置模块；
采用公式（9）分别对2D图像和3D图像的1D特征与通道进行转置：
Figure 806032DEST_PATH_IMAGE032
（9）
其中S为转置前1D特征序列长度，d为转置前1D特征的通道数，
Figure 398688DEST_PATH_IMAGE033
；
Figure 948618DEST_PATH_IMAGE034
,X表示转置前的1D特征，XT表示转置后的1D特征；
特征与通道转置之后，位置嵌入随之调整。
4.根据权利要求1所述的方法，其特征在于，将所述2D图像和3D图像分别输入预先训练的2D图像特征提取网络模型和3D图像特征提取网络模型中，获取包含空间信息的2D图像特征和3D图像特征，所述包含空间信息的2D图像特征与所述包含空间信息的3D图像特征具有相同的空间维度，其中：
所述2D图像特征提取网络模型从所述2D图像直接提取包含有空间信息的2D图像1D特征，所述2D图像特征提取网络模型具体包括：n1个2D图像处理单元和1个时间卷积单元；其中，每个2D图像处理单元由n2个卷积单元和1个最大池化单元组成；每个卷积单元又包括：一个卷积核大小为3*3和步长为1的卷积层、一个批标准化层和一个激活层；每个最大池化单元由一个卷积核大小为3*3、步长为2的最大池化层构成；每个时间卷积单元则由一个卷积核大小为n3*n3、步长为1的时间卷积层构成；n1、n2和n3的取值依据需要自行确定；
所述3D图像特征提取网络模型从所述3D图像直接提取包含有空间信息的3D图像1D特征，所述3D图像特征提取网络模型具体包括：n4个3D图像处理单元和1个时间卷积单元；其中，每个3D图像处理单元由n5个卷积单元和1个最大池化单元组成；每个卷积单元又包括：一个卷积核大小为3*3*3和步长为1的卷积层、一个批标准化层和一个激活层；每个池化单元由一个卷积核大小为3*3*3、步长为2的最大池化层构成；每个时间卷积单元则由一个卷积核大小为n6*n6*n6、步长为1的时间卷积层构成；n4、n5和n6的取值依据需要自行确定。
5.根据权利要求3或4所述的方法，其特征在于，将所述包含空间信息的2D图像特征及所述包含空间信息的3D图像特征输入到预先训练的配准模型中，对所述包含空间信息的2D图像特征及所述包含空间信息的3D图像特征进行配准，得到配准所述2D图像与所述3D图像的空间变换，其中，
所述配准模型依次包括：特征长度归一化网络、特征交叉融合网络和空间变换计算网络；
所述特征长度归一化网络；
采用一维卷积网络，将所述包含空间信息的2D图像1D特征序列和所述包含空间信息的 3D图像1D特征序列分别归一化为相同的序列长度；归一化后的序列长度
Figure 892303DEST_PATH_IMAGE035
取值靠近所述包 含空间信息的2D图像1D特征序列长度
Figure 451460DEST_PATH_IMAGE036
和所述包含空间信息的3D图像1D特征序列长度
Figure 914934DEST_PATH_IMAGE037
的几何平均数，同时能被后述多头交叉注意力网络中的头数所整除；
所述特征交叉融合网络；
采用多头交叉注意力网络，学习从2D图像到3D图像的交叉融合特征和从3D图像到2D图像的交叉融合特征，具体包括：2D图像到3D图像交叉融合特征计算网络和3D图像到2D图像交叉融合特征计算网络：
所述2D图像到3D图像交叉融合特征计算网络，采用2D到3D图像的多头交叉注意力网 络，将长度归一化后的包含空间信息的2D图像1D特征
Figure 901344DEST_PATH_IMAGE038
传递给长度归一化后的包含空间 信息的3D图像1D特征
Figure 332326DEST_PATH_IMAGE039
，得到所述2D图像到所述3D图像的交叉融合特征
Figure 678862DEST_PATH_IMAGE040
，具体计算如 下：
Figure 777268DEST_PATH_IMAGE041
（10）
Figure 669001DEST_PATH_IMAGE042
（11）
Figure 587278DEST_PATH_IMAGE043
（12）
其中， LN表示层标准化，
Figure 238971DEST_PATH_IMAGE044
表示交叉注意力网络的头数，即传递次数，
Figure 660725DEST_PATH_IMAGE045
表示为 将
Figure 988938DEST_PATH_IMAGE046
传递给
Figure 128932DEST_PATH_IMAGE047
的第
Figure 82850DEST_PATH_IMAGE048
头交叉注意力网络层，
Figure 890269DEST_PATH_IMAGE049
表示为将
Figure 389384DEST_PATH_IMAGE046
通过第
Figure 767407DEST_PATH_IMAGE048
头注意力网络传 递给
Figure 10169DEST_PATH_IMAGE050
后得到的第
Figure 406516DEST_PATH_IMAGE048
头交叉融合特征，
Figure 76531DEST_PATH_IMAGE050
表示
Figure 705965DEST_PATH_IMAGE046
传递给
Figure 486839DEST_PATH_IMAGE047
的第
Figure 3271DEST_PATH_IMAGE051
头交叉融合特 征，
Figure 844188DEST_PATH_IMAGE052
表示最终得到的
Figure 196803DEST_PATH_IMAGE046
传递给
Figure 781368DEST_PATH_IMAGE050
的第
Figure 152306DEST_PATH_IMAGE048
头交叉融合特征，
Figure 164125DEST_PATH_IMAGE053
，
Figure 236992DEST_PATH_IMAGE054
表示 由θ参数化的第
Figure 625248DEST_PATH_IMAGE048
头交叉注意力网络的前馈层；
将特征
Figure 850693DEST_PATH_IMAGE055
传递给特征
Figure 33413DEST_PATH_IMAGE056
的交叉注意力
Figure 360620DEST_PATH_IMAGE057
的计算公式如下：
Figure 286988DEST_PATH_IMAGE058
（13）
其中，
Figure 366939DEST_PATH_IMAGE059
，
Figure 986139DEST_PATH_IMAGE060
和
Figure 33598DEST_PATH_IMAGE061
为待训练的交叉注意力网络参数；
Figure 763657DEST_PATH_IMAGE062
表示交叉注意力网络中键 的通道数，具体取值依据模型需要自行设定；
所述3D图像到2D图像交叉融合特征计算网络，采用3D到2D图像的多头交叉注意力网 络，将长度归一化后的包含空间信息的3D图像1D特征
Figure 698115DEST_PATH_IMAGE063
传递给长度归一化后的包含空间 信息的2D图像1D特征
Figure 488217DEST_PATH_IMAGE064
，得到所述3D图像到所述2D图像的交叉融合特征
Figure 258858DEST_PATH_IMAGE065
，具体计算如 下：
Figure 527028DEST_PATH_IMAGE066
（14）
Figure 581572DEST_PATH_IMAGE067
（15）
Figure 542574DEST_PATH_IMAGE068
（16）
其中， LN表示层标准化，
Figure 299047DEST_PATH_IMAGE069
表示交叉注意力网络的头数，即传递次数，
Figure 370908DEST_PATH_IMAGE070
表示为 将
Figure 545537DEST_PATH_IMAGE063
传递给
Figure 677441DEST_PATH_IMAGE064
的第
Figure 688254DEST_PATH_IMAGE071
头交叉注意力网络层，
Figure 298227DEST_PATH_IMAGE072
表示为将
Figure 327362DEST_PATH_IMAGE063
通过第
Figure 364589DEST_PATH_IMAGE071
头注意力网络传递 给
Figure 361232DEST_PATH_IMAGE073
后得到的第
Figure 774896DEST_PATH_IMAGE074
头交叉融合特征，
Figure 658539DEST_PATH_IMAGE073
表示
Figure 132245DEST_PATH_IMAGE063
传递给
Figure 852071DEST_PATH_IMAGE064
的第
Figure 69425DEST_PATH_IMAGE075
头交叉融合特征，
Figure 73153DEST_PATH_IMAGE076
表示最终得到的
Figure 701450DEST_PATH_IMAGE063
传递给
Figure 157839DEST_PATH_IMAGE073
的第
Figure 913305DEST_PATH_IMAGE071
头交叉融合特征，
Figure 771540DEST_PATH_IMAGE077
，
Figure 337782DEST_PATH_IMAGE078
表示由θ参 数化的第
Figure 281467DEST_PATH_IMAGE071
头交叉注意力网络的前馈层；
所述空间变换计算网络，用于计算配准所述2D图像与所述3D图像的空间变换，具体如下：
步骤A、将所述2D图像到3D图像的交叉融合特征
Figure 575045DEST_PATH_IMAGE079
与所述3D图像到2D图像的交叉融 合特征
Figure 553365DEST_PATH_IMAGE080
组合为特征X，
Figure 789043DEST_PATH_IMAGE081
，组合特征X的序列长度保持所述归一化后的序 列长度S0不变，组合特征X的通道数
Figure 220025DEST_PATH_IMAGE082
；
Figure 51714DEST_PATH_IMAGE083
表示交叉注意力网络中值的通道数，具体取 值依据模型需要自行设定;
步骤B、采用自注意力网络对组合特征X进行解析，组合特征X的自注意力计算公式如下：
Figure 618962DEST_PATH_IMAGE084
（17）
其中，
Figure 527006DEST_PATH_IMAGE085
表示组合特征X经自注意力网络解析后得到的解析特征；
Figure 445284DEST_PATH_IMAGE086
，
Figure 80664DEST_PATH_IMAGE087
和
Figure 767998DEST_PATH_IMAGE088
为待训 练的自注意力网络参数，d表示组合特征X的通道数；
步骤C、先通过一个卷积层，将解析特征的通道数调整为1；再通过一个由全连接层、激活层、标准化层组成的全连接网络，输出配准所述2D图像与所述3D图像的空间变换。
6.根据权利要求3或4所述的方法，其特征在于，将所述包含空间信息的2D图像特征及所述包含空间信息的3D图像特征输入到预先训练的配准模型中，对所述包含空间信息的2D图像特征及所述包含空间信息的3D图像特征进行配准，得到配准所述2D图像与所述3D图像的空间变换，其中：
所述配准模型依次包括：特征通道归一化网络、特征组合网络、特征解析网络和空间变换输出网络，其中：
所述特征通道归一化网络，用于将所述包含空间信息的2D图像1D特征通道和所述包含 空间信息的3D图像1D特征通道归一化为相同的通道数；归一化后的通道数
Figure 345478DEST_PATH_IMAGE089
取值为所述包 含空间信息的2D图像1D特征序列长度
Figure 485473DEST_PATH_IMAGE090
和所述包含空间信息的3D图像1D特征序列长度
Figure 190124DEST_PATH_IMAGE091
的几何平均数；
所述特征组合网络，用于将所述包含空间信息的2D图像1D特征
Figure 731963DEST_PATH_IMAGE092
和所述包含空间信息 的3D图像1D特征
Figure 981810DEST_PATH_IMAGE093
组合起来，得到组合特征
Figure 609101DEST_PATH_IMAGE094
；组合特征
Figure 586284DEST_PATH_IMAGE095
的通道数保持所述归 一化后的通道数
Figure 248209DEST_PATH_IMAGE096
不变，组合特征
Figure 456509DEST_PATH_IMAGE095
的序列长度
Figure 571096DEST_PATH_IMAGE097
,S 2 和S 3 分别表示特征X 2 和X 3 的序 列长度；
所述特征解析网络，用于解析组合特征
Figure 61934DEST_PATH_IMAGE099
；采用组合特征
Figure 646499DEST_PATH_IMAGE099
的自注意力对
Figure 17438DEST_PATH_IMAGE099
进行解析，组 合特征
Figure 278524DEST_PATH_IMAGE099
的自注意力计算公式如下：
Figure 102123DEST_PATH_IMAGE100
（18）
其中，
Figure 490379DEST_PATH_IMAGE101
表示组合特征
Figure 715824DEST_PATH_IMAGE099
经自注意力网络解析后得到的解析特征；
Figure 649276DEST_PATH_IMAGE086
，
Figure 225751DEST_PATH_IMAGE087
和
Figure 152119DEST_PATH_IMAGE088
为待训 练的自注意力网络参数，
Figure 232070DEST_PATH_IMAGE089
为所述组合特征
Figure 100538DEST_PATH_IMAGE099
的通道数；
所述空间变换输出网络，用于输出配准空间变换；所述空间变换输出网络由一个卷积层和一个全连接网络构成；先通过一个卷积层，将解析特征的通道数调整为1；再通过由全连接层、激活层、标准化层组成的全连接网络，输出配准所述2D图像与所述3D图像的空间变换。
7.一种2D与3D图像配准装置，其特征在于，包括：
图像获取单元，用于：获取待配准的一幅2D图像和一幅3D图像；
特征提取单元，用于：将所述2D图像和3D图像分别输入预先训练的2D图像特征提取子单元和3D图像特征提取子单元中，获取包含空间信息的2D图像特征和3D图像特征，所述包含空间信息的2D图像特征与所述包含空间信息的3D图像特征具有相同的空间维度；
图像配准单元，用于：将所述包含空间信息的2D图像特征及所述包含空间信息的3D图像特征输入到预先训练的配准单元中，对所述包含空间信息的2D图像特征及所述包含空间信息的3D图像特征进行配准，得到配准所述2D图像与所述3D图像的空间变换；
图像叠加单元，用于：基于所述空间变换，将所述3D图像映射并叠加到所述2D图像对应空间位置上。
8.根据权利要求7所述的装置，其特征在于，所述特征提取单元包括：2D图像特征提取子单元1和3D图像特征提取子单元1，其中：
所述2D图像特征提取子单元1从所述2D图像间接提取包含有空间信息的2D图像1D特征，所述2D图像特征提取子单元1依次具体包括：2D图像2D特征提取子单元、2D图像维度转换子单元，和2D图像位置嵌入子单元，其中：
所述2D图像2D特征提取子单元，用于：提取2D图像2D特征；采用2D图像卷积神经网络提取2D图像2D特征，2D图像卷积神经网络由输入层、卷积层、激活函数、池化层、全连接层组成；
所述2D图像维度转换子单元，用于：将所述2D图像2D特征转换成1D特征，采用公式（19）进行转换：
Figure 898730DEST_PATH_IMAGE102
（19）
这里
Figure 363209DEST_PATH_IMAGE103
表示2D图像2D特征，
Figure 563246DEST_PATH_IMAGE104
为2D图像2D特征大小，d 2 表示2D图像2D特征的通道 数；
Figure 104080DEST_PATH_IMAGE105
表示转换后的2D图像1D特征，
Figure 123989DEST_PATH_IMAGE106
表示转换后的2D图像1D特征序列长度；
所述2D图像位置嵌入子单元，用于：对所述2D图像1D特征的位置信息进行编码，并将位置编码嵌入到所述2D图像的1D特征中；
首先采用如下公式进行位置编码：
Figure 657738DEST_PATH_IMAGE107
（20）
Figure 712282DEST_PATH_IMAGE108
（21）
其中，PE表示位置编码函数；
Figure 391394DEST_PATH_IMAGE109
表示2D图像1D特征的通道数，即所述2D图像2D特征的通 道数；
Figure 164178DEST_PATH_IMAGE110
表示特征值在2D图像1D特征序列中的位置，
Figure 236039DEST_PATH_IMAGE111
;
Figure 410669DEST_PATH_IMAGE112
表示特征值在2D图像 1D特征通道中的位置，
Figure 293305DEST_PATH_IMAGE113
；
然后，将位置编码嵌入到2D图像1D特征中，嵌入公式如下：
Figure 287806DEST_PATH_IMAGE114
（22）
其中，
Figure 897779DEST_PATH_IMAGE115
表示2D图像1D特征，d 2 表示2D图像1D特征的通道数，X 2 表示嵌入位置编码 后的2D图像1D特征；
所述3D图像特征提取子单元1从所述3D图像间接提取包含有空间信息的3D图像1D特征，所述3D图像特征提取子单元1依次具体包括：3D图像3D特征提取子单元、3D图像维度转换子单元，和3D图像位置嵌入子单元，其中：
所述3D图像3D特征提取子单元1，用于：提取3D图像3D特征；采用3D图像卷积神经网络提取3D图像3D特征，3D图像卷积神经网络由输入层、卷积层、激活函数、池化层、全连接层组成；
所述3D图像维度转换子单元，用于：将所述3D图像3D特征转换成1D特征，采用公式（23）进行转换：
Figure 926915DEST_PATH_IMAGE116
（23）
这里
Figure 213408DEST_PATH_IMAGE117
表示3D图像3D特征，L 3 *W 3 *H 3 为3D图像3D特征大小，d 3 表示3D图像3D特征的通道 数；
Figure 960784DEST_PATH_IMAGE118
表示转换后的3D图像1D特征，
Figure 374448DEST_PATH_IMAGE119
表示转换后的3D图像1D特征长度；
所述3D图像位置嵌入子单元，用于：对所述3D图像1D特征的位置信息进行编码，并将位置编码嵌入到所述3D图像1D特征中；
首先，采用如下公式进行位置编码：
Figure 258091DEST_PATH_IMAGE120
（24）
Figure 216951DEST_PATH_IMAGE121
（25）
其中，PE表示位置编码函数，
Figure 186044DEST_PATH_IMAGE122
表示3D图像1D特征的通道数，即所述3D图像3D特征的通 道数,
Figure 403398DEST_PATH_IMAGE123
表示特征值在3D图像1D特征序列中的位置，
Figure 141547DEST_PATH_IMAGE124
;
Figure 35423DEST_PATH_IMAGE125
表示特征值在 3D图像1D特征通道中的位置，
Figure 491812DEST_PATH_IMAGE126
；
然后，将位置编码嵌入到3D图像1D特征中，嵌入公式如下：
Figure 247278DEST_PATH_IMAGE127
（26）
其中，
Figure 105513DEST_PATH_IMAGE128
表示3D图像1D特征，
Figure 671754DEST_PATH_IMAGE129
表示3D图像1D特征的通道数，
Figure 349860DEST_PATH_IMAGE130
表示嵌入位置编 码后的3D图像1D特征。
9.根据权利要求8所述的装置，其特征在于，在所述2D图像维度转换子单元和所述2D图像位置嵌入子单元之间增加一个2D图像1D特征与通道转置子单元，在所述3D图像维度转换子单元和所述3D图像位置嵌入子单元之间增加一个3D图像1D特征与通道转置子单元；
采用公式（27）分别对2D图像和3D图像的1D特征与通道进行转置：
Figure 909018DEST_PATH_IMAGE131
（27）
其中S为转置前1D特征序列长度，d为转置前1D特征的通道数，
Figure 621759DEST_PATH_IMAGE132
；
Figure 342590DEST_PATH_IMAGE133
;
Figure 22839DEST_PATH_IMAGE134
表示转置前的1D特征，XT表示转置后的1D特征；
特征与通道转置之后，位置嵌入随之调整。
10.根据权利要求7所述的装置，其特征在于，所述特征提取单元包括：2D图像特征提取子单元2和3D图像特征提取子单元2，其中：
所述2D图像特征提取子单元2，用于：从所述2D图像直接提取包含有空间信息的2D图像1D特征；所述2D图像特征提取子单元2具体包括：n1个2D图像处理单元和1个时间卷积单元；其中，每个2D图像处理单元由n2个卷积单元和1个最大池化单元组成；每个卷积单元又包括：一个卷积核大小为3*3和步长为1的卷积层、一个批标准化层和一个激活层；每个最大池化单元由一个卷积核大小为3*3、步长为2的最大池化层构成；每个时间卷积单元则由一个卷积核大小为n3*n3、步长为1的时间卷积层构成；n1、n2和n3的取值依据需要自行确定；
所述3D图像特征提取子单元2，用于：从所述3D图像直接提取包含有空间信息的3D图像1D特征；所述3D图像特征提取子单元2具体包括：n4个3D图像处理单元和1个时间卷积单元；其中，每个3D图像处理单元由n5个卷积单元和1个最大池化单元组成；每个卷积单元又包括：一个卷积核大小为3*3*3和步长为1的卷积层、一个批标准化层和一个激活层；每个池化单元由一个卷积核大小为3*3*3、步长为2的最大池化层构成；每个时间卷积单元则由一个卷积核大小为n6*n6*n6、步长为1的时间卷积层构成；n4、n5和n6的取值依据需要自行确定。
11.根据权利要求9或10所述的装置，其特征在于，所述配准单元依次包括：特征长度归一化子单元、特征交叉融合子单元，和空间变换计算子单元；
所述特征长度归一化子单元，用于：采用一维卷积网络，将所述包含空间信息的2D图像 1D特征序列和所述包含空间信息的3D图像1D特征序列分别归一化为相同的序列长度；归一 化后的序列长度
Figure 385687DEST_PATH_IMAGE135
取值靠近所述包含空间信息的2D图像1D特征序列长度
Figure 952935DEST_PATH_IMAGE136
和所述包含空 间信息的3D图像1D特征序列长度
Figure 860979DEST_PATH_IMAGE037
的几何平均数，同时能被后述多头交叉注意力网络中的 头数所整除；
所述特征交叉融合子单元，用于：采用多头交叉注意力网络，学习从2D图像到3D图像的交叉融合特征和从3D图像到2D图像的交叉融合特征；所述特征交叉融合子单元具体又包括：2D图像到3D图像交叉融合特征计算子单元和3D图像到2D图像交叉融合特征计算子单元；
所述2D图像到3D图像交叉融合特征计算子单元，用于：学习从2D图像到3D图像的交叉 融合特征；采用2D到3D图像的多头交叉注意力网络，将长度归一化后的包含空间信息的2D 图像1D特征
Figure 513677DEST_PATH_IMAGE038
传递给长度归一化后的包含空间信息的3D图像1D特征
Figure 414637DEST_PATH_IMAGE039
，得到所述2D图像 到所述3D图像的交叉融合特征
Figure 101971DEST_PATH_IMAGE040
，具体计算如下：
Figure 164605DEST_PATH_IMAGE137
（28）
Figure 553866DEST_PATH_IMAGE042
（29）
Figure 992938DEST_PATH_IMAGE043
（30）
其中， LN表示层标准化，
Figure 534778DEST_PATH_IMAGE044
表示交叉注意力网络的头数，即传递次数，
Figure 33892DEST_PATH_IMAGE045
表示为 将
Figure 411915DEST_PATH_IMAGE046
传递给
Figure 654678DEST_PATH_IMAGE047
的第
Figure 316603DEST_PATH_IMAGE048
头交叉注意力网络层，
Figure 986619DEST_PATH_IMAGE049
表示为将
Figure 84894DEST_PATH_IMAGE046
通过第
Figure 131347DEST_PATH_IMAGE048
头注意力网络传 递给
Figure 647779DEST_PATH_IMAGE050
后得到的第
Figure 223117DEST_PATH_IMAGE048
头交叉融合特征，
Figure 310153DEST_PATH_IMAGE050
表示
Figure 894718DEST_PATH_IMAGE046
传递给
Figure 265656DEST_PATH_IMAGE047
的第
Figure 543054DEST_PATH_IMAGE051
头交叉融合特 征，
Figure 615921DEST_PATH_IMAGE052
表示最终得到的
Figure 738598DEST_PATH_IMAGE046
传递给
Figure 229622DEST_PATH_IMAGE050
的第
Figure 412342DEST_PATH_IMAGE048
头交叉融合特征，
Figure 473970DEST_PATH_IMAGE053
，
Figure 400337DEST_PATH_IMAGE054
表示 由θ参数化的第
Figure 745868DEST_PATH_IMAGE048
头交叉注意力网络的前馈层；
将特征
Figure 99489DEST_PATH_IMAGE055
传递给特征
Figure 146948DEST_PATH_IMAGE056
的交叉注意力
Figure 877007DEST_PATH_IMAGE057
的计算公式如下：
Figure 77044DEST_PATH_IMAGE138
（31）
其中，
Figure 335987DEST_PATH_IMAGE059
，
Figure 621475DEST_PATH_IMAGE060
和
Figure 905957DEST_PATH_IMAGE061
为待训练的交叉注意力网络参数；
Figure 226080DEST_PATH_IMAGE062
表示交叉注意力网络中键 的通道数，具体取值依据模型需要自行设定；
所述3D图像到2D图像交叉融合特征计算网络，采用3D到2D图像的多头交叉注意力网 络，将长度归一化后的包含空间信息的3D图像1D特征
Figure 655924DEST_PATH_IMAGE063
传递给长度归一化后的包含空间 信息的2D图像1D特征
Figure 428708DEST_PATH_IMAGE139
，得到所述3D图像到所述2D图像的交叉融合特征
Figure 749837DEST_PATH_IMAGE140
，具体计算如 下：
Figure 658887DEST_PATH_IMAGE141
（32）
Figure 790791DEST_PATH_IMAGE142
（33）
Figure 785292DEST_PATH_IMAGE143
（34）
其中， LN表示层标准化，
Figure 411577DEST_PATH_IMAGE069
表示交叉注意力网络的头数，即传递次数，
Figure 175133DEST_PATH_IMAGE070
表示为 将
Figure 477939DEST_PATH_IMAGE063
传递给
Figure 959735DEST_PATH_IMAGE064
的第
Figure 622667DEST_PATH_IMAGE071
头交叉注意力网络层，
Figure 506309DEST_PATH_IMAGE072
表示为将
Figure 714437DEST_PATH_IMAGE063
通过第
Figure 683530DEST_PATH_IMAGE071
头注意力网络传递 给
Figure 651617DEST_PATH_IMAGE073
后得到的
Figure 389766DEST_PATH_IMAGE071
头交叉融合特征，
Figure 34374DEST_PATH_IMAGE073
表示
Figure 490763DEST_PATH_IMAGE063
传递给
Figure 495497DEST_PATH_IMAGE064
的第
Figure 353731DEST_PATH_IMAGE075
头交叉融合特征，
Figure 903661DEST_PATH_IMAGE076
表示最终得到的
Figure 847347DEST_PATH_IMAGE063
传递给
Figure 157236DEST_PATH_IMAGE073
的第
Figure 604398DEST_PATH_IMAGE071
头交叉融合特征，
Figure 590809DEST_PATH_IMAGE077
，
Figure 756211DEST_PATH_IMAGE078
表示由θ参 数化的第
Figure 853480DEST_PATH_IMAGE071
头交叉注意力网络的前馈层；
所述空间变换计算子单元，用于：输出配准所述2D图像与所述3D图像的空间变换，具体包括：
特征组合子单元1，用于：将所述2D图像到3D图像的交叉融合特征
Figure 935574DEST_PATH_IMAGE079
与所述3D图像到 2D图像的交叉融合特征
Figure 92886DEST_PATH_IMAGE080
组合为特征
Figure 745584DEST_PATH_IMAGE144
，
Figure 646544DEST_PATH_IMAGE081
，组合特征
Figure 84610DEST_PATH_IMAGE144
的序列长度保持所 述归一化后的序列长度S0不变，组合特征X的通道数
Figure 412823DEST_PATH_IMAGE082
,
Figure 552817DEST_PATH_IMAGE083
表示交叉注意力网络中值 的通道数，具体取值依据模型需要自行设定;
特征解析子单元1，用于：解析所述组合特征
Figure 991889DEST_PATH_IMAGE144
；采用组合特征
Figure 517417DEST_PATH_IMAGE144
的自注意力对所述组合 特征
Figure 16532DEST_PATH_IMAGE144
进行解析，所述组合特征
Figure 643822DEST_PATH_IMAGE144
的自注意力计算公式如下：
Figure 886585DEST_PATH_IMAGE145
（35）
其中，
Figure 33663DEST_PATH_IMAGE146
表示组合特征
Figure 703679DEST_PATH_IMAGE144
经自注意力网络解析后得到的解析特征；
Figure 818265DEST_PATH_IMAGE086
，
Figure 864719DEST_PATH_IMAGE087
和
Figure 388277DEST_PATH_IMAGE088
为待训 练的自注意力网络参数，d表示组合特征
Figure 229194DEST_PATH_IMAGE144
的通道数；
空间变换输出单元1，用于：输出配准空间变换；所述空间变换输出子单元1由一个卷积层和一个全连接网络构成；先通过一个卷积层，将解析特征的通道数调整为1；再通过一个由全连接层、激活层、标准化层组成的全连接网络，输出配准所述2D图像与所述3D图像的空间变换。
12.根据权利要求9或10所述的装置，其特征在于，所述配准单元依次包括：特征通道归一化子单元、特征组合子单元2、特征解析子单元2，和空间变换输出子单元2；
所述特征通道归一化子单元，用于：将所述包含空间信息的2D图像1D特征通道和所述 包含空间信息的3D图像1D特征通道归一化为相同的通道数；归一化后的通道数
Figure 831076DEST_PATH_IMAGE089
取值为所 述包含空间信息的2D图像1D特征序列长度
Figure 150062DEST_PATH_IMAGE090
和所述包含空间信息的3D图像1D特征序列长 度
Figure 521001DEST_PATH_IMAGE091
的几何平均数；
所述特征组合子单元2，用于：将所述包含空间信息的2D图像1D特征
Figure 283552DEST_PATH_IMAGE092
和所述包含空间 信息的3D图像1D特征
Figure 372730DEST_PATH_IMAGE093
组合起来，得到组合特征
Figure 495407DEST_PATH_IMAGE094
；组合特征
Figure 720852DEST_PATH_IMAGE147
的通道数保持所 述归一化后的通道数
Figure 418419DEST_PATH_IMAGE096
不变，组合特征
Figure 729314DEST_PATH_IMAGE147
的序列长度
Figure 655682DEST_PATH_IMAGE097
，S 2 和S 3 分别表示特征
Figure 1213DEST_PATH_IMAGE144
2 和
Figure 105566DEST_PATH_IMAGE144
3 的序列长度；
所述特征解析子单元2，用于：解析组合特征
Figure 903758DEST_PATH_IMAGE147
；采用组合特征
Figure 633816DEST_PATH_IMAGE147
的自注意力对
Figure 833853DEST_PATH_IMAGE147
进行解 析，组合特征
Figure 607643DEST_PATH_IMAGE147
的自注意力计算公式如下：
Figure 893131DEST_PATH_IMAGE148
（36）
其中，
Figure 161301DEST_PATH_IMAGE101
表示组合特征Y经自注意力网络解析后得到的解析特征；
Figure 950266DEST_PATH_IMAGE086
，
Figure 662001DEST_PATH_IMAGE087
和
Figure 434785DEST_PATH_IMAGE088
为待训 练的自注意力网络参数，
Figure 241067DEST_PATH_IMAGE089
为所述组合特征Y的通道数；
所述空间变换输出子单元2，用于：输出配准空间变换；所述空间变换输出子单元2由一个卷积层和一个全连接网络构成；先通过一个卷积层，将解析特征的通道数调整为1；再通过一个由全连接层、激活层、标准化层组成的全连接网络，输出配准所述2D图像与所述3D图像的空间变换。
CN202111374305.5A 2021-11-19 2021-11-19 一种2d与3d图像配准方法及装置 Expired - Fee Related CN113808182B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111374305.5A CN113808182B (zh) 2021-11-19 2021-11-19 一种2d与3d图像配准方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111374305.5A CN113808182B (zh) 2021-11-19 2021-11-19 一种2d与3d图像配准方法及装置

Publications (2)

Publication Number Publication Date
CN113808182A true CN113808182A (zh) 2021-12-17
CN113808182B CN113808182B (zh) 2022-04-15

Family

ID=78938409

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111374305.5A Expired - Fee Related CN113808182B (zh) 2021-11-19 2021-11-19 一种2d与3d图像配准方法及装置

Country Status (1)

Country Link
CN (1) CN113808182B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114565815A (zh) * 2022-02-25 2022-05-31 包头市迪迦科技有限公司 一种基于三维模型的视频智能融合方法及系统
CN114998600A (zh) * 2022-06-17 2022-09-02 北京百度网讯科技有限公司 图像处理方法、模型的训练方法、装置、设备及介质
CN115359103A (zh) * 2022-08-24 2022-11-18 北京医智影科技有限公司 图像配准网络模型及其建立方法、设备及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104090972A (zh) * 2014-07-18 2014-10-08 北京师范大学 用于三维城市模型检索的图像特征提取和相似性度量方法
US20180153621A1 (en) * 2015-05-22 2018-06-07 Intuitive Surgical Operations, Inc. Systems and Methods of Registration for Image Guided Surgery
CN110009669A (zh) * 2019-03-22 2019-07-12 电子科技大学 一种基于深度强化学习的3d/2d医学图像配准方法
CN111784755A (zh) * 2020-07-26 2020-10-16 河南工业大学 一种融合多尺度信息的脑部磁共振图像配准方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104090972A (zh) * 2014-07-18 2014-10-08 北京师范大学 用于三维城市模型检索的图像特征提取和相似性度量方法
US20180153621A1 (en) * 2015-05-22 2018-06-07 Intuitive Surgical Operations, Inc. Systems and Methods of Registration for Image Guided Surgery
CN110009669A (zh) * 2019-03-22 2019-07-12 电子科技大学 一种基于深度强化学习的3d/2d医学图像配准方法
CN111784755A (zh) * 2020-07-26 2020-10-16 河南工业大学 一种融合多尺度信息的脑部磁共振图像配准方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114565815A (zh) * 2022-02-25 2022-05-31 包头市迪迦科技有限公司 一种基于三维模型的视频智能融合方法及系统
CN114565815B (zh) * 2022-02-25 2023-11-03 包头市迪迦科技有限公司 一种基于三维模型的视频智能融合方法及系统
CN114998600A (zh) * 2022-06-17 2022-09-02 北京百度网讯科技有限公司 图像处理方法、模型的训练方法、装置、设备及介质
CN114998600B (zh) * 2022-06-17 2023-07-25 北京百度网讯科技有限公司 图像处理方法、模型的训练方法、装置、设备及介质
CN115359103A (zh) * 2022-08-24 2022-11-18 北京医智影科技有限公司 图像配准网络模型及其建立方法、设备及介质

Also Published As

Publication number Publication date
CN113808182B (zh) 2022-04-15

Similar Documents

Publication Publication Date Title
CN113808182B (zh) 一种2d与3d图像配准方法及装置
Lu et al. 3DCTN: 3D convolution-transformer network for point cloud classification
CN113516693B (zh) 一种快速通用的图像配准方法
CN111127401B (zh) 一种基于深度学习的机器人立体视觉机械零件检测方法
WO2022151586A1 (zh) 一种对抗配准方法、装置、计算机设备及存储介质
CN117218343A (zh) 一种基于深度学习的语义部件姿态估计方法
Song et al. Fedbevt: Federated learning bird's eye view perception transformer in road traffic systems
CN107239827B (zh) 一种基于人工神经网络的空间信息学习方法
Qin et al. PointSkelCNN: Deep Learning‐Based 3D Human Skeleton Extraction from Point Clouds
CN117522990B (zh) 基于多头注意力机制和迭代细化的类别级位姿估计方法
Chen et al. Robustness improvement of using pre-trained network in visual odometry for on-road driving
Gao Hypoelliptic diffusion maps and their applications in automated geometric morphometrics
CN108876837B (zh) 一种基于l1/2正则化的三维人体姿态重构方法
Ren et al. A weighted sparse neighbor representation based on Gaussian kernel function to face recognition
CN113936333A (zh) 一种基于人体骨架序列的动作识别算法
CN114240999A (zh) 一种基于增强图注意力与时间卷积网络的运动预测方法
US20240135695A1 (en) Unsupervised pre-training of geometric vision models
CN117115855A (zh) 基于多尺度Transformer学习丰富视觉特征的人体姿态估计方法及系统
CN116912296A (zh) 一种基于位置增强注意力机制的点云配准方法
Barthélemy et al. Decomposition and dictionary learning for 3D trajectories
CN117058439A (zh) 一种基于位置适应模块与知识补足的点云分析方法及系统
CN116824689A (zh) 骨骼序列行为识别方法、装置、设备及存储介质
Lee Geometric optimization for computer vision
CN114842078A (zh) 一种基于深度学习的双通道卫星姿态估计网络
Zhu et al. 3D Reconstruction of deformable linear objects based on cylindrical fitting

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20220415