CN115619835B - 基于深度相位相关的异构三维观测配准方法、介质及设备 - Google Patents

基于深度相位相关的异构三维观测配准方法、介质及设备 Download PDF

Info

Publication number
CN115619835B
CN115619835B CN202211110592.3A CN202211110592A CN115619835B CN 115619835 B CN115619835 B CN 115619835B CN 202211110592 A CN202211110592 A CN 202211110592A CN 115619835 B CN115619835 B CN 115619835B
Authority
CN
China
Prior art keywords
observation
feature map
transformation
dimensional
phase correlation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211110592.3A
Other languages
English (en)
Other versions
CN115619835A (zh
Inventor
王越
陈泽希
杜浩哲
张浩东
熊蓉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Supcon Group Co Ltd
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN202211110592.3A priority Critical patent/CN115619835B/zh
Priority to PCT/CN2023/071661 priority patent/WO2024055493A1/zh
Publication of CN115619835A publication Critical patent/CN115619835A/zh
Application granted granted Critical
Publication of CN115619835B publication Critical patent/CN115619835B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于深度相位相关的异构三维观测配准方法、介质及设备。本发明将相位相关算法优化为全局收敛的可微分相位相关求解器，并将其与简单的特征提取网络相结合，从而构建了一个整体框架可微分且能够端到端训练的异构三维观测配准方法。本发明针对三维的物体、场景测量以及医疗图像数据均可以实现准确的三维观测配准，而且其配准表现高于现有基线模型。

Description

基于深度相位相关的异构三维观测配准方法、介质及设备
技术领域
本发明属于计算机视觉以及深度学习领域，具体涉及一种本发明属于计算机视觉以及深度学习领域，具体涉及一种基于深度相位相关的异构三维观测配准方法、介质及设备。
背景技术
异构观测配准是一种在视觉和机器人技术中至关重要的技术，其用于对存在角度、比例、视角等差异的两个观测对象进行配准。而且这种观测可以是图像、点云、网格模型等等。
在现有技术中，申请号为CN202110540496.1的发明专利公开了一种基于神经网络的异构图像位姿估计及配准方法、装置及介质。该方案将相位相关算法优化为为可微分，并将其嵌入到端到端学习网络框架中，构建了一种基于神经网络的异构图像位姿估计方法。该方法能够针对图像匹配的结果找到最优的特征提取器，从而准确实现异构图片的准确位姿估计和配准。但是该配准方法仅限用于二维图像中，无法实现三维观测对象的配准。
而对于三维观测的配准而言，特别是对同构和异构观测的无初值位姿配准任务，其自由度最高可达7个，远远高于二维图像的配准任务。虽然基于学习的方法证明了使用可微分求解器的较好前景，但它们要么依赖于启发式定义的对应关系，要么容易出现局部最优。因此，针对三维观测的配准，设计一套可以端到端训练的位姿配准方法，用以完成针对异构传感器的匹配，是现有技术中亟待解决的技术问题。
发明内容
本发明的目的在于解决现有技术中三维观测难以配准的问题，并提供一种基于深度相位相关的异构三维观测配准方法。
本发明所采用的具体技术方案如下：
第一方面，本发明提供了一种基于深度相位相关的异构三维观测配准方法，用于对三维且异构的第一目标观测和源观测进行配准，其包括：
S1、以预先经过训练的第一3D U-Net网络和第二3D U-Net网络作为两个特征提取器，分别以异构的第一目标观测和源观测作为两个特征提取器的输入，提取两个观测中的同构特征，得到同构的第一3D特征图和第二3D特征图；
S2、将S1中得到的第一3D特征图和第二3D特征图分别进行傅里叶变换后取各自的3D幅度谱；
S3、将S2中得到的两个3D幅度谱分别进行球坐标变换，使其从笛卡尔坐标系转换到球坐标系中成为球型表征；再将得到的两个球型表征分别沿其内半径由里向外进行积分，将每个球型表征中的所有表征信息映射到球面，从而得到两个球面表征；
S4：将S3中得到的两个球面表征进行相位相关求解，得到二者之间的旋转变换关系；
S5：将所述第一目标观测按照S4中得到的旋转变换关系进行旋转，从而得到与源观测之间仅保留平移变换和缩放变换的第二目标观测；
S6：以预先经过训练的第三3D U-Net网络和第四3D U-Net网络作为两个特征提取器，分别以S5中得到的第二目标观测和所述源观测作为两个特征提取器的输入，提取两个观测中的同构特征，得到同构的第三3D特征图和第四3D特征图；
S7：将S6中得到的S6中分别进行傅里叶变换后取各自的3D幅度谱；
S8：将S7得到的两个3D幅度谱各自沿Z轴累加，使得两个3D幅度谱分别被压缩成2D幅度谱；
S9：将S8得到的两个2D幅度谱进行对数极坐标变换，将二者从笛卡尔坐标系转换到对数极坐标系中，从而使两个2D幅度谱之间笛卡尔坐标系下的缩放变换被映射成对数极坐标系中x方向上的平移变换；
S10：将S9中两个坐标变换后的2D幅度谱进行相位相关求解，得到二者之间对数极坐标系下的平移变换关系，再按照S9中笛卡尔坐标系和对数极坐标系之间的映射关系重新转换，将对数极坐标系下的平移变换关系重新映射成笛卡尔坐标系下的缩放变换关系；
S11：将第一目标观测同时按照S4和S10中得到的旋转变换关系和缩放变换关系进行变换，进而得到与源观测之间仅保留平移变换的第三目标观测；
S12：以预先经过训练的第五3D U-Net网络和第六3D U-Net网络作为两个特征提取器，分别以S11中得到的第三目标观测和所述源观测作为两个特征提取器的输入，提取两个观测中的同构特征，得到同构的第五3D特征图和第六3D特征图；
S13：将S12得到的第五3D特征图和第六3D特征图进行相位相关求解，得到二者之间x方向上的平移变换关系；
S14：以预先经过训练的第七3D U-Net网络和第八3D U-Net网络作为两个特征提取器，分别以S11中得到的第三目标观测和所述源观测作为两个特征提取器的输入，提取两个观测中的同构特征，得到同构的第七3D特征图和第八3D特征图；
S15：将S14得到的第七3D特征图和第八3D特征图进行相位相关求解，得到二者之间y方向上的平移变换关系；
S16：以预先经过训练的第九3D U-Net网络和第十3D U-Net网络作为两个特征提取器，分别以S11中得到的第三目标观测和所述源观测作为两个特征提取器的输入，提取两个观测中的同构特征，得到同构的第九3D特征图和第十3D特征图；
S17：将S16得到的第七3D特征图和第八3D特征图进行相位相关求解，得到二者之间z方向上的平移变换关系；
S18、将第一目标观测同时按照S4得到的旋转变换关系、S10中得到的缩放变换关系以及S13、S15和S17中共同得到的平移变换关系进行变换，进而将第一目标观测配准至源观测。
作为上述第一方面的优选，所述配准方法中采用的10个3D U-Net网络预先进行训练，训练的总损失函数为所述第一目标观测和源观测之间的旋转变换关系损失、缩放变换关系损失、x方向上的平移变换关系损失、y方向上的平移变换关系损失和z方向上的平移变换关系损失的加权和。
作为上述第一方面的优选，所述总损失函数中的五种损失的加权权值均为1。
作为上述第一方面的优选，所述总损失函数中的五种损失均采用L1损失。
作为上述第一方面的优选，所述配准方法中采用的10个3D U-Net网络相互独立。
作为上述第一方面的优选，所述第一目标观测和源观测的观测类型为三维医学影像数据、三维场景测量数据或三维物体数据。
作为上述第一方面的优选，所述旋转变换关系包含三个自由度，分别为zyz欧拉角的三个旋转角度。
作为上述第一方面的优选，所述S13、S15和S17中，均通过相位相关求解同时得到xyz三个维度的平移变换关系，但仅保留各自步骤对应的维度。
第二方面，本发明提供了一种计算机可读存储介质，所述存储介质上存储有计算机程序，当所述计算机程序被处理器执行时，能实现如上述第一方面任一方案所述的基于深度相位相关的异构三维观测配准方法。
第三方面，本发明提供了一种计算机电子设备，其包括存储器和处理器；
所述存储器，用于存储计算机程序；
所述处理器，用于在执行所述计算机程序时，实现如上述第一方面任一方案所述的基于深度相位相关的异构三维观测配准方法。
本发明相对于现有技术而言，具有以下有益效果：
本发明将相位相关算法优化为全局收敛的可微分相位相关求解器，并将其与简单的特征提取网络相结合，从而构建了一种基于深度相位相关的异构三维观测配准方法，该方法能够对任意无初值三维观测对象进行位姿配准。本发明所提供的基于深度相位相关的异构三维观测配准方法，整个方法框架是可微分的，并且能够端到端训练，具有良好的可解释性和泛化能力。测试结果表明，本发明针对三维的物体、场景测量以及医疗图像数据均可以实现准确的三维观测配准，而且其配准表现高于现有基线模型。
附图说明
图1为本发明的异构三维观测配准方法中位姿估计流程示意图；
图2为三维物体数据的配准结果示例；
图3为核磁共振数据和三维CT医疗图像的配准结果示例；
图4为三维CT医疗图像、和3D超声波数据的配准结果示例。
具体实施方式
下面结合附图和具体实施方式对本发明做进一步阐述和说明。本发明中各个实施方式的技术特征在没有相互冲突的前提下，均可进行相应组合。
在本发明的描述中，需要理解的是，术语“第一”、“第二”仅用于区分描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。
在现实世界中，通过不同的传感器获取的三维观测数据，往往受限于传感器自身的特性会存在角度、比例、视角等差异，因此对于同一个三维对象得到的三维观测存在异构性。而且传感器在获取数据时还会受到不同形式的干扰，而这些干扰都会使两种异构观测的配准难度大大提高。
本发明将相位相关算法优化为全局收敛的可微分相位相关求解器，并将其与简单的特征提取网络相结合，从而构建了一种基于深度相位相关的异构三维观测配准方法。具体来说，该方法首先通过特征提取器从一对异构观测中学习稠密特征；然后，这些特征被转换为基于傅里叶变换和球面径向聚合的平移和尺度不变的频谱表征，将平移和尺度与旋转解耦；接下来，使用可微分相位相关求解器在频谱中逐步独立和有效地估计旋转、比例和平移，由此得到两个异构三维观测之间的位姿估计，根据该位姿估计即可进行配准。整个配准方法中位姿估计的方法框架是可微分的，并且能够端到端训练，具有良好的可解释性和泛化能力。
在本发明的一个较佳实施例中，提供了一种基于深度相位相关的异构三维观测配准方法的具体实现方式。如图1所示，为该较佳实施例中的位姿估计流程示意图，其中用于进行位姿估计和配准的原始输入是一对异构的三维观测数据，分别称为第一目标观测和源观测。其中第一目标观测和源观测都是三维观测，也称为三维表征，具体的观测类型可以根据实际情况调整，可以是三维医学影像数据(例如配准三维CT医疗图像、核磁共振数据和3D超声波数据中任意两种)、三维场景测量数据(例如配准机器人测得的三维激光点云)或三维物体数据(例如配准三维物体的点云、Mesh体和SDF中任意两种)。
本发明通过位姿估计可以得到原始输入的第一目标观测和源观测之间的位姿估计结果，该位姿估计结果包含了7个自由度的平移、旋转、缩放变换关系，从而将第一目标观测配准到源观测上。在位姿估计结果的7个自由度中，平移变换关系包含了xyz三个自由度，旋转变换关系可以是SO(3)旋转关系，也包含了三个自由度，缩放变换关系包含了一个自由度。
为了实现上述7个自由度的位姿估计，本发明中对第一目标观测和源观测在旋转、缩放和平移三个阶段分别构建了10个独立的可训练3D U-Net网络，这8个3D U-Net网络在平移、旋转和缩放三类损失的监督下预先经过训练后，能够从异构的三维观测中提取出两者之间的同构特征即共同特征，从而将两个异构三维观测转换为同构三维表征。3D U-Net网络是一种从稀疏注释的三维立体数据中学习三维分割的网络，其基本模型结构和原理与2D U-Net网络类似，包含了编码路径部分和解码路径部分，区别在于相对于2D U-Net网络进行了3D泛化，即将编码路径部分和解码路径部分中的卷积、反卷积、池化操作都由二维扩展到了三维。3D U-Net网络的具体模型结构和原理属于现有技术，可直接调用现有的网络模型来实现，对此不再赘述。
需要说明的是，本发明的7个自由度中，仅包含1个自由度的缩放变换关系通过一组两个3D U-Net网络进行预测，包含3个自由度的旋转变换关系也仅通过一组两个3D U-Net网络进行整体预测，但是平移变换关系中的x方向平移、y方向平移和z方向平移则被解耦，每个方向的平移变换需要分别训练各自的一组两个3D U-Net网络进行预测，以达到提升精度的效果。
下面对上述基于深度相位相关的异构三维观测配准方法的具体实现过程进行详细描述，其原始输入为作为模板的源观测和作为配准对象的第一目标观测，其配准步骤如下：
S1、以预先经过训练的第一3D U-Net网络和第二3D U-Net网络作为两个特征提取器，分别以异构的第一目标观测和源观测作为两个特征提取器的输入，提取两个观测中的同构特征，得到同构的第一3D特征图和第二3D特征图。此时第一3D特征图和第二3D特征图之间保留着原始输入之间的平移、旋转和缩放变换关系。
S2、将S1中得到的第一3D特征图和第二3D特征图分别进行傅里叶变换后取各自的3D幅度谱。此时得到的两个3D幅度谱之间保留了原始输入之间的旋转缩放变换关系，而平移变换关系已被滤掉。
S3、将S2中得到的两个3D幅度谱分别进行球坐标变换，使其从笛卡尔坐标系转换到球坐标系中成为球型表征；再将得到的两个球型表征分别沿其内半径由里向外进行积分(即由球心向球面进行半径方向的积分)，将每个球型表征中的所有表征信息映射到球面，从而得到两个球面表征。此时，两各球面表征之间的缩放关系被移除，而两个球面之间的SO(3)旋转关系即原输入之间的旋转关系。
S4：将S3中得到的两个球面表征进行相位相关求解，得到二者之间的旋转变换关系(记为R)。
需要说明的是，球面表征的相位相关求解属于现有技术，可通过球面傅里叶变换、元素点积计算和SO(3)逆傅里叶变换的组合方式来实现，对此不再赘述。求解得到的旋转变换关系为包含三个自由度的SO(3)旋转关系，在本实施例中可采用zyz欧拉角。由此，求解得到的R实际包含了zyz欧拉角的三个旋转角度，此时R是一个三维张量。当然，除了本实施例中采用的zyz欧拉角之外，亦可采用其他的欧拉角变换形式。
上述旋转变换关系R本质上是第一目标观测要实现与源观测的配准，需要被旋转的角度为R。
S5：将第一目标观测按照S4中得到的旋转变换关系R进行旋转，从而得到与源观测之间仅保留平移变换和缩放变换的第二目标观测。此时，第二目标观测与源观测之间依然异构，但仅包含平移与缩放变换关系，旋转变换关系已被移除。
S6：以预先经过训练的第三3D U-Net网络和第四3D U-Net网络作为两个特征提取器，分别以S5中得到的第二目标观测和源观测作为两个特征提取器的输入，提取两个观测中的同构特征，得到同构的第三3D特征图和第四3D特征图。此时，第三3D特征图和第四3D特征图之间保留着原始输入之间的平移、缩放变换关系，但不存在旋转变换关系。
S7：将S6中得到的S6中分别进行傅里叶变换(Fast Fourier Transform,FFT)后取各自的3D幅度谱。此时得到的两个3D幅度谱之间保留了原始输入之间的旋转缩放关系，而平移关系被滤掉。
需说明的是，傅里叶变换的作用是对3D U-Net网络提取的3D特征图进行傅里叶变换，去掉特征图之间的平移变换关系但保留旋转和缩放变换关系。因为根据傅里叶变换的特性，只有旋转和比例对频谱的幅度有影响，但对频谱的幅度对平移不敏感。因此引入FFT后就得到了对平移不敏感但对缩放和旋转尤其敏感的表示方法，因此在后续求解缩放和旋转时可以忽略平移。
S8：将S7得到的两个3D幅度谱各自沿Z轴累加，使得两个3D幅度谱分别被压缩成2D幅度谱。
S9：将S8得到的两个2D幅度谱进行对数极坐标变换(Log-Polar Transformation,LPT)，将二者从笛卡尔坐标系转换到对数极坐标系中，从而使两个2D幅度谱之间笛卡尔坐标系下的缩放变换被映射成对数极坐标系中x方向上的平移变换。
需说明的是，对数极性变换是对FFT变换及2D压缩后的幅度谱进行对数极坐标变换，将其从笛卡尔坐标系映射至对数极坐标系。在该映射过程中，笛卡尔坐标系下的缩放和旋转变换可以转换成对数极坐标系下的平移变换。
S10：将S9中两个坐标变换后的2D幅度谱进行相位相关求解，得到二者之间对数极坐标系下的平移变换关系，再按照S9中笛卡尔坐标系和对数极坐标系之间的映射关系重新转换，将对数极坐标系下的平移变换关系重新映射成笛卡尔坐标系下的缩放变换关系(记为Mu)。
需说明的是，相位相关求解即计算两个2D幅度谱之间的交叉相关性。根据求解得到的相关性，可以得到二者之间的平移变换关系。交叉相关性的具体计算过程属于现有技术，不再赘述。而相位相关求解得到的平移变换关系，需要重新转换到笛卡尔坐标系下，形成第一目标观测和源观测之间相对的缩放变换关系。由此可见，S9中和S10中的坐标系转换实际上是一个完全对应的过程，两者之间的映射关系相逆。
上述缩放变换关系Mu本质上是第一目标观测要实现与源观测的配准，需要被缩放的比例为Mu。
S11：将第一目标观测同时按照S4和S10中得到的旋转变换关系R和缩放变换关系Mu进行变换，进而得到与源观测之间仅保留平移变换的第三目标观测。此时，第三目标观测与输入的源观测之间依然异构，但此时仅包含平移变换关系，旋转变换关系和缩放变换关系均已被移除。
S12：以预先经过训练的第五3D U-Net网络和第六3D U-Net网络作为两个特征提取器，分别以S11中得到的第三目标观测和所述源观测作为两个特征提取器的输入，提取两个观测中的同构特征，得到同构的第五3D特征图和第六3D特征图。此时第五3D特征图和第六3D特征图之间仅包含平移变换关系，而不存在旋转变换关系和缩放变换关系。
S13：将S12得到的第五3D特征图和第六3D特征图进行相位相关求解，得到二者之间x方向上的平移变换关系(记为Tx)。
上述平移变换关系Tx本质上是第一目标观测要实现与源观测的配准，需要在x方向被平移的距离为Tx。
S14：以预先经过训练的第七3D U-Net网络和第八3D U-Net网络作为两个特征提取器，分别以S11中得到的第三目标观测和所述源观测作为两个特征提取器的输入，提取两个观测中的同构特征，得到同构的第七3D特征图和第八3D特征图。
S15：将S14得到的第七3D特征图和第八3D特征图进行相位相关求解，得到二者之间y方向上的平移变换关系(记为Ty)。
上述平移变换关系Ty本质上是第一目标观测要实现与源观测的配准，需要在y方向被平移的距离为Ty。
S16：以预先经过训练的第九3D U-Net网络和第十3D U-Net网络作为两个特征提取器，分别以S11中得到的第三目标观测和所述源观测作为两个特征提取器的输入，提取两个观测中的同构特征，得到同构的第九3D特征图和第十3D特征图。
S17：将S16得到的第七3D特征图和第八3D特征图进行相位相关求解，得到二者之间z方向上的平移变换关系(记为Tz)。
上述平移变换关系Tz本质上是第一目标观测要实现与源观测的配准，需要在z方向被平移的距离为Tz。
需要特别说明的是，上述S13、S15和S17中，虽然对xyz三个方向上的平移进行了解耦，各自仅得到其中一个方向上的平移变换关系。但在实际进行相位相关求解时，依然可通过相位相关求解同时得到xyz三个方向维度的平移变换关系，但仅保留各自步骤对应的方向维度。也就是说，在S13中，通过相位相关求解同时得到xyz三个方向维度的平移变换关系，但仅保留x方向上的平移变换Tx；在S15中，通过相位相关求解同时得到xyz三个方向维度的平移变换关系，但仅保留y方向上的平移变换Ty；在S17中，通过相位相关求解同时得到xyz三个方向维度的平移变换关系，但仅保留z方向上的平移变换Tz。最终三个方向上的平移进行组合即可得到整体的平移变换关系T＝(Tx,Ty,Tz)，第一目标观测要实现与源观测的配准，需要在三个方向上整体执行平移变换T。
由此可见，本发明的位姿估计是分为三个阶段来实现的，逐阶段进行了旋转、缩放和平移三种变换关系的位姿估计，最终一共得到了7个自由度(R、Mu、T，其中R和T都有三个自由度)的变换估计值。综合上述7个自由度的变换估计值结果，就可以对第一目标观测与源观测进行异构观测配准。
S18、将第一目标观测同时按照S4得到的旋转变换关系R、S10中得到的缩放变换关系Mu以及S13、S15和S17中共同得到的平移变换关系(Tx,Ty,Tz)进行变换，进而将第一目标观测配准至源观测。
需注意，上述配准过程中，用于估计R、Mu、T的10个3D U-Net网络相互独立且均需要预先进行训练。为了保证每一个3D U-Net网络均可以准确提取同构特征，需要设置合理的损失函数。10个3D U-Net网络是一并在同一个训练框架下进行训练的，训练的总损失函数应当为第一目标观测和源观测之间的旋转变换关系损失(即R的损失)、缩放变换关系损失(即Mu的损失)、x方向上的平移变换关系损失(即Tx的损失)、y方向上的平移变换关系损失(即Ty的损失)和z方向上的平移变换关系损失(即Tz的损失)的加权和，具体加权值可根据实际进行调整。
在本实施例中，总损失函数中五种损失的加权权值均为1，且五种损失均采用L1损失。为了便于描述，将S4中预测的旋转变换关系R记为rotation_predict，将S10中预测的缩放变换关系Mu记为scale_predict，将S13中预测的x方向上的平移变换关系Tx记为x_predict，将S15中预测的y方向上的平移变换关系Ty记为y_predict，将S17中预测的z方向上的平移变换关系Tz记为z_predict。因此，每一轮训练过程中均可基于模型当前参数，求得两个异构三维观测之间的R、Mu、(Tx,Ty,Tz)，然后按照下述流程计算总损失函数L并更新网络参数：
1)将所求得的rotation_predict与其真值rotation_gt计算1范数距离损失，L_rotation＝(rotation_gt-rotation_predict)，将L_rotation回传用以训练第一3DU-Net网络和第二3D U-Net网络,使其能够提取到更好的用于求rotation_predict的特征。
2)将所求得的scale_predict与其真值scale_gt计算1范数距离损失，L_scale＝(scale_gt-scale_predict)，将L_scale回传用以训练第三3D U-Net网络和第四3D U-Net网络,使其能够提取到更好的用于求scale_predict的特征。
3)将所求得的x_predict与其真值x_gt计算1范数距离损失，L_x＝(x_gt-x_predict)，将L_x回传用以训练第五3D U-Net网络和第六3D U-Net网络,使其能够提取到更好的用于求x_predict的特征。
4)将所求得的y_predict与其真值y_gt计算1范数距离损失，L_y＝(y_gt-y_predict)，将L_y回传用以训练第七3D U-Net网络和第八3D U-Net网络,使其能够提取到更好的用于求y_predict的特征。
5)将所求得的z_predict与其真值z_gt计算1范数距离损失，L_z＝(z_gt-z_predict)，将L_z回传用以训练第九3D U-Net网络和第十3D U-Net网络,使其能够提取到更好的用于求z_predict的特征。
6)计算总损失函数为L＝L_x+L_y+L_z+L_rotation+L_scale，在通过梯度下降算法以最小化L为目标更新10个3D U-Net网络的参数。
训练完毕后的10个3D U-Net网络即可用于在上述S1～S18的流程中进行两个异构三维观测之间的位姿估计，并根据估计结果进行图像配准。
为了进一步评估本发明上述S1～S18所述配准方法的技术效果，分别再不同的三维观测类型上进行了实际测试。
如图2所示，为以三维物体数据为三维观测类型，按照上述S1～S18所述配准方法进行配准的结果。图2中，左侧一列为三种不同的三维物体数据，从上到下分别为同一个三维动物的Mesh体、点云和SDF，而且点云存在残缺现象即仅有部分不完整的观测，右侧一列分别为按照本发明的方法配准后的残缺点云配准结果、点云和Mesh体的配准结果以及Mesh体和SDF的配准结果。从结果中可见，本发明可以对不同类型的三维物体数据实现准确地位姿配准，且在只有部分观测的配准和异构表征的配准上表现均达到了脚好效果。
如图3所示，为以三维医学影像数据为三维观测类型，按照上述S1～S18所述配准方法进行配准的结果。图3中左侧为两个异构输入，分别为人体大脑的三维核磁共振数据和三维CT医疗图像，右侧为两个异构三维观测之间的配准结果。如图4所示，也是以三维医学影像数据为三维观测类型，按照上述S1～S18所述配准方法进行配准的结果。图4中左侧为两个异构输入，分别为人体骨组织的三维CT医疗图像和骨组织附件的软组织3D超声波数据，右侧为两个异构三维观测之间的配准结果。从结果中可见，本发明可以对不同类型的三维医学影像数据实现准确地位姿配准。
另外，本发明还针对三维场景测量数据进行了点云配准的精度评价。三维场景测量数据来源于3DMatch数据集，其收集了来自于62个场景的数据，常用于3D点云的关键点，特征描述子，点云配准等任务。本发明上述S1～S18所述配准方法在3Dmatch数据集上测试时，以配准平移误差小于10cm，配准角度小于10度为成功标准，最终成功率如下表1所述：
表1
注：表中的低、中、高分别代表带宽为64、128、256的低精度、中等精度、以及高精度。
从结果中可见，本发明可以对点云形式的三维场景测量数据实现准确地位姿配准。
同样的，基于同一发明构思，本发明的另一较佳实施例中还提供了与上述实施例提供的基于深度相位相关的异构三维观测配准方法对应的一种计算机电子设备，其包括存储器和处理器；
所述存储器，用于存储计算机程序；
所述处理器，用于当执行所述计算机程序时，实现如前所述的基于深度相位相关的异构三维观测配准方法。
由此，基于同一发明构思，本发明的另一较佳实施例中还提供了与上述实施例提供的基于深度相位相关的异构三维观测配准方法对应的一种计算机可读存储介质，该所述存储介质上存储有计算机程序，当所述计算机程序被处理器执行时，能实现如前所述的基于深度相位相关的异构三维观测配准方法。
具体而言，在上述两个实施例的计算机可读存储介质或存储器中，存储的计算机程序被处理器执行，可执行前述S1～S18的步骤流程，各步骤流程可以以程序模块的形式来实现。也就是说，S1～S18的步骤流程可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。
可以理解的是，上述存储介质、存储器可以采用随机存取存储器(Random AccessMemory，RAM)，也可以采用非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。同时存储介质还可以是U盘、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
可以理解的是，上述的处理器可以是通用处理器，包括中央处理器(CentralProcessing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific IntegratedCircuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
以上所述的实施例只是本发明的一种较佳的方案，然其并非用以限制本发明。有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型。因此凡采取等同替换或等效变换的方式所获得的技术方案，均落在本发明的保护范围内。

Claims (10)

1.一种基于深度相位相关的异构三维观测配准方法，用于对三维且异构的第一目标观测和源观测进行配准，其特征在于，包括：
S1、以预先经过训练的第一3D U-Net网络和第二3D U-Net网络作为两个特征提取器，分别以异构的第一目标观测和源观测作为两个特征提取器的输入，提取两个观测中的同构特征，得到同构的第一3D特征图和第二3D特征图；
S2、将S1中得到的第一3D特征图和第二3D特征图分别进行傅里叶变换后取各自的3D幅度谱；
S3、将S2中得到的两个3D幅度谱分别进行球坐标变换，使其从笛卡尔坐标系转换到球坐标系中成为球型表征；再将得到的两个球型表征分别沿其内半径由里向外进行积分，将每个球型表征中的所有表征信息映射到球面，从而得到两个球面表征；
S4：将S3中得到的两个球面表征进行相位相关求解，得到二者之间的旋转变换关系；
S5：将所述第一目标观测按照S4中得到的旋转变换关系进行旋转，从而得到与源观测之间仅保留平移变换和缩放变换的第二目标观测；
S6：以预先经过训练的第三3D U-Net网络和第四3D U-Net网络作为两个特征提取器，分别以S5中得到的第二目标观测和所述源观测作为两个特征提取器的输入，提取两个观测中的同构特征，得到同构的第三3D特征图和第四3D特征图；
S7：将S6中得到的第三3D特征图和第四3D特征图分别进行傅里叶变换后取各自的3D幅度谱；
S8：将S7得到的两个3D幅度谱各自沿Z轴累加，使得两个3D幅度谱分别被压缩成2D幅度谱；
S9：将S8得到的两个2D幅度谱进行对数极坐标变换，将二者从笛卡尔坐标系转换到对数极坐标系中，从而使两个2D幅度谱之间笛卡尔坐标系下的缩放变换被映射成对数极坐标系中x方向上的平移变换；
S10：将S9中两个坐标变换后的2D幅度谱进行相位相关求解，得到二者之间对数极坐标系下的平移变换关系，再按照S9中笛卡尔坐标系和对数极坐标系之间的映射关系重新转换，将对数极坐标系下的平移变换关系重新映射成笛卡尔坐标系下的缩放变换关系；
S11：将第一目标观测同时按照S4和S10中得到的旋转变换关系和缩放变换关系进行变换，进而得到与源观测之间仅保留平移变换的第三目标观测；
S12：以预先经过训练的第五3D U-Net网络和第六3D U-Net网络作为两个特征提取器，分别以S11中得到的第三目标观测和所述源观测作为两个特征提取器的输入，提取两个观测中的同构特征，得到同构的第五3D特征图和第六3D特征图；
S13：将S12得到的第五3D特征图和第六3D特征图进行相位相关求解，得到二者之间x方向上的平移变换关系；
S14：以预先经过训练的第七3D U-Net网络和第八3D U-Net网络作为两个特征提取器，分别以S11中得到的第三目标观测和所述源观测作为两个特征提取器的输入，提取两个观测中的同构特征，得到同构的第七3D特征图和第八3D特征图；
S15：将S14得到的第七3D特征图和第八3D特征图进行相位相关求解，得到二者之间y方向上的平移变换关系；
S16：以预先经过训练的第九3D U-Net网络和第十3D U-Net网络作为两个特征提取器，分别以S11中得到的第三目标观测和所述源观测作为两个特征提取器的输入，提取两个观测中的同构特征，得到同构的第九3D特征图和第十3D特征图；
S17：将S16得到的第九3D特征图和第十3D特征图进行相位相关求解，得到二者之间z方向上的平移变换关系；
S18、将第一目标观测同时按照S4得到的旋转变换关系、S10中得到的缩放变换关系以及S13、S15和S17中共同得到的平移变换关系进行变换，进而将第一目标观测配准至源观测。
2. 如权利要求1所述的配准方法，其特征在于，所述配准方法中采用的10个3D U-Net网络预先进行训练，训练的总损失函数为所述第一目标观测和源观测之间的旋转变换关系损失、缩放变换关系损失、x方向上的平移变换关系损失、y方向上的平移变换关系损失和z方向上的平移变换关系损失的加权和。
3.如权利要求1所述的基于深度相位相关的异构三维观测配准方法，其特征在于，总损失函数中的五种损失的加权权值均为1。
4.如权利要求1所述的配准方法，其特征在于，总损失函数中的五种损失均采用L1损失。
5. 如权利要求1所述的配准方法，其特征在于，所述配准方法中采用的10个3D U-Net网络相互独立。
6.如权利要求1所述的配准方法，其特征在于，所述第一目标观测和源观测的观测类型为三维医学影像数据、三维场景测量数据或三维物体数据。
7.如权利要求1所述的配准方法，其特征在于，所述旋转变换关系包含三个自由度，分别为zyz欧拉角的三个旋转角度。
8.如权利要求1所述的配准方法，其特征在于，所述S13、S15和S17中，均通过相位相关求解同时得到xyz三个维度的平移变换关系，但仅保留各自步骤对应的维度。
9.一种计算机可读存储介质，其特征在于，所述存储介质上存储有计算机程序，当所述计算机程序被处理器执行时，能实现如权利要求1~8任一所述的基于深度相位相关的异构三维观测配准方法。
10.一种计算机电子设备，其特征在于，包括存储器和处理器；
所述存储器，用于存储计算机程序；
所述处理器，用于在执行所述计算机程序时，实现如权利要求1~8任一所述的基于深度相位相关的异构三维观测配准方法。
CN202211110592.3A 2022-09-13 2022-09-13 基于深度相位相关的异构三维观测配准方法、介质及设备 Active CN115619835B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202211110592.3A CN115619835B (zh) 2022-09-13 2022-09-13 基于深度相位相关的异构三维观测配准方法、介质及设备
PCT/CN2023/071661 WO2024055493A1 (zh) 2022-09-13 2023-01-10 基于深度相位相关的异构三维观测配准方法、介质及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211110592.3A CN115619835B (zh) 2022-09-13 2022-09-13 基于深度相位相关的异构三维观测配准方法、介质及设备

Publications (2)

Publication Number Publication Date
CN115619835A CN115619835A (zh) 2023-01-17
CN115619835B true CN115619835B (zh) 2023-09-01

Family

ID=84858709

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211110592.3A Active CN115619835B (zh) 2022-09-13 2022-09-13 基于深度相位相关的异构三维观测配准方法、介质及设备

Country Status (2)

Country Link
CN (1) CN115619835B (zh)
WO (1) WO2024055493A1 (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110852979A (zh) * 2019-11-12 2020-02-28 广东省智能机器人研究院 一种基于相位信息匹配的点云配准及融合方法
CN114037797A (zh) * 2021-10-22 2022-02-11 上海交通大学 一种电力设备异构数据三维空间自动更新方法
CN114627275A (zh) * 2022-03-29 2022-06-14 南京航空航天大学 一种基于多源异构数据的整机测量点云融合方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9185388B2 (en) * 2010-11-03 2015-11-10 3Dmedia Corporation Methods, systems, and computer program products for creating three-dimensional video sequences
US11080870B2 (en) * 2019-06-19 2021-08-03 Faro Technologies, Inc. Method and apparatus for registering three-dimensional point clouds
CN113112534B (zh) * 2021-04-20 2022-10-18 安徽大学 一种基于迭代式自监督的三维生物医学图像配准方法
CN113240743B (zh) * 2021-05-18 2022-03-25 浙江大学 基于神经网络的异构图像位姿估计及配准方法、装置及介质
CN113450396B (zh) * 2021-06-17 2023-05-30 北京理工大学 基于骨骼特征的三维/二维图像配准方法及装置
CN113538218B (zh) * 2021-07-14 2023-04-07 浙江大学 基于位姿自监督对抗生成网络的弱配对图像风格迁移方法
CN114638866A (zh) * 2022-03-25 2022-06-17 西安电子科技大学 一种基于局部特征学习的点云配准方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110852979A (zh) * 2019-11-12 2020-02-28 广东省智能机器人研究院 一种基于相位信息匹配的点云配准及融合方法
CN114037797A (zh) * 2021-10-22 2022-02-11 上海交通大学 一种电力设备异构数据三维空间自动更新方法
CN114627275A (zh) * 2022-03-29 2022-06-14 南京航空航天大学 一种基于多源异构数据的整机测量点云融合方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
人体膝胫股关节相对运动的三维图像配准分析;王建平 等;生物医学工程学杂志;第26卷(第6期);第1340-1344页 *

Also Published As

Publication number Publication date
WO2024055493A1 (zh) 2024-03-21
CN115619835A (zh) 2023-01-17

Similar Documents

Publication Publication Date Title
US9280825B2 (en) Image processing system with registration mechanism and method of operation thereof
CN112102294B (zh) 生成对抗网络的训练方法及装置、图像配准方法及装置
WO2006028841A1 (en) System and method for registration and modeling of deformable shapes by direct factorization
JP2002539870A (ja) 画像処理の方法と装置
JP2013033468A (ja) 画像処理方法およびシステム
CN112907569B (zh) 头部图像区域的分割方法、装置、电子设备和存储介质
CN114298997B (zh) 一种伪造图片检测方法、装置及存储介质
CN113936090A (zh) 三维人体重建的方法、装置、电子设备及存储介质
KR20140114303A (ko) 3차원 의료 영상들에서 2차원 뷰의 자동 플래닝을 위한 방법 및 시스템
CN110570394A (zh) 医学图像分割方法、装置、设备及存储介质
CN111488810A (zh) 人脸识别方法、装置、终端设备及计算机可读介质
Mohamed et al. A data and compute efficient design for limited-resources deep learning
CN113793370A (zh) 三维点云配准方法、装置、电子设备及可读介质
CN114119514B (zh) 一种红外弱小目标的检测方法、装置、电子设备和存储介质
Skibbe et al. Spherical tensor algebra: a toolkit for 3D image processing
Wang et al. Multi-modal medical image fusion based on GAN and the shift-invariant Shearlet transform
CN113592015A (zh) 定位以及训练特征匹配网络的方法和装置
CN117788686A (zh) 一种基于2d影像的三维场景重建方法、装置及电子设备
CN115619835B (zh) 基于深度相位相关的异构三维观测配准方法、介质及设备
Hu et al. OrbitGrasp: $ SE (3) $-Equivariant Grasp Learning
CN111476802A (zh) 一种基于稠密卷积模型的医学图像分割与肿瘤检测方法，设备及可读存储介质
CN116758212A (zh) 基于自适应去噪算法的3d重建方法、装置、设备及介质
CN113240743B (zh) 基于神经网络的异构图像位姿估计及配准方法、装置及介质
WO2014106747A1 (en) Methods and apparatus for image processing
CN113643328A (zh) 标定物的重建方法、装置、电子设备及计算机可读介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20240621

Address after: Building 5, 5th Floor, No. 309 Liuhe Road, Binjiang District, Hangzhou City, Zhejiang Province, 310000

Patentee after: Supcon Group Co.,Ltd.

Country or region after: China

Address before: 310058 Yuhang Tang Road, Xihu District, Hangzhou, Zhejiang 866

Patentee before: ZHEJIANG University

Country or region before: China

TR01 Transfer of patent right