CN117557601A - 一种基于数字孪生的骨骼配准方法及装置 - Google Patents
一种基于数字孪生的骨骼配准方法及装置 Download PDFInfo
- Publication number
- CN117557601A CN117557601A CN202311254134.1A CN202311254134A CN117557601A CN 117557601 A CN117557601 A CN 117557601A CN 202311254134 A CN202311254134 A CN 202311254134A CN 117557601 A CN117557601 A CN 117557601A
- Authority
- CN
- China
- Prior art keywords
- dimensional
- probe
- bone
- registration
- feature map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 95
- 210000000988 bone and bone Anatomy 0.000 claims abstract description 307
- 239000000523 sample Substances 0.000 claims abstract description 169
- 239000011159 matrix material Substances 0.000 claims abstract description 53
- 230000000007 visual effect Effects 0.000 claims description 82
- 239000003550 marker Substances 0.000 claims description 79
- 238000012545 processing Methods 0.000 claims description 66
- 238000013507 mapping Methods 0.000 claims description 42
- 238000010586 diagram Methods 0.000 claims description 27
- 238000012795 verification Methods 0.000 claims description 19
- 238000004590 computer program Methods 0.000 claims description 10
- 238000004422 calculation algorithm Methods 0.000 claims description 7
- 230000008859 change Effects 0.000 claims description 6
- 230000008569 process Effects 0.000 description 20
- 238000004364 calculation method Methods 0.000 description 10
- 238000001356 surgical procedure Methods 0.000 description 9
- 230000036544 posture Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 238000005070 sampling Methods 0.000 description 5
- 210000000689 upper leg Anatomy 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 3
- 230000033001 locomotion Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 210000001185 bone marrow Anatomy 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 238000011882 arthroplasty Methods 0.000 description 1
- 239000011324 bead Substances 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000004064 dysfunction Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000036632 reaction speed Effects 0.000 description 1
- 238000010845 search algorithm Methods 0.000 description 1
- 208000037974 severe injury Diseases 0.000 description 1
- 230000009528 severe injury Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/101—Computer-aided simulation of surgical operations
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/101—Computer-aided simulation of surgical operations
- A61B2034/102—Modelling of surgical devices, implants or prosthesis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30008—Bone
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Surgery (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Heart & Thoracic Surgery (AREA)
- Robotics (AREA)
- Biomedical Technology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Image Processing (AREA)
Abstract
本申请提供了一种基于数字孪生的骨骼配准方法及装置，所述方法包括：获取探针的三维参数以及关节骨骼的术前规划数据；根据三维骨骼模型的至少一个三维骨骼关键点以及所述三维参数，建立探针与三维骨骼模型的初始位姿关系；对所述三维骨骼模型和真实手术场景中的待截骨骨骼进行数字孪生配准；基于所述探针、所述粗配准矩阵以及所述红外相机的图像数据，对所述三维骨骼模型和真实手术场景中的待截骨骨骼进行二次配准。本申请中，通过先进行数字孪生配准再进行二次配准的方式，可以快速且高精度第进行粗配准，从而减少精配准时间和计算量，大大增加精配准的准确度。
Description
技术领域
本申请涉及图像处理技术领域，具体而言，涉及一种基于数字孪生的骨骼配准方法及装置。
背景技术
关节置换手术，也称为关节置换术或人工关节置换手术，是一种常见的外科手术，用于治疗关节严重损伤或疾病导致的疼痛和功能障碍。使用手术机器人进行关节置换手术的核心之一，是术前规划的三维骨骼模型与术中的待截骨骨骼的配准。
当前在手术机器人的配准中主要使用特征点配准，这种配准方式由于采集工具精度、相邻关节骨骼形态等影响，配准的精度相对较低。
发明内容
本申请解决的问题是当前特征点配准的精度较低。
为解决上述问题，本申请第一方面提供了一种基于数字孪生的骨骼配准方法，包括：
获取探针的三维参数以及关节骨骼的术前规划数据，所述三维参数至少包括该探针的视觉标记物与针尖的相对位置关系，所述关节骨骼的术前规划数据至少包括关节骨骼的三维骨骼模型；
根据三维骨骼模型的至少一个三维骨骼关键点以及所述三维参数，建立探针与三维骨骼模型的初始位姿关系，该初始位姿关系下，所述探针与所述三维骨骼模型的相对位置固定不变；
基于所述探针与所述三维骨骼模型的初始位姿关系以及双目相机、红外相机的图像数据，对所述三维骨骼模型和真实手术场景中的待截骨骨骼进行数字孪生配准；
基于所述探针、所述粗配准矩阵以及所述红外相机的图像数据，对所述三维骨骼模型和真实手术场景中的待截骨骨骼进行二次配准。
本申请第二方面提供了一种基于数字孪生的骨骼配准装置，其包括：
数据获取模块，其用于获取探针的三维参数以及关节骨骼的术前规划数据，所述三维参数至少包括该探针的视觉标记物与针尖的相对位置关系，所述关节骨骼的术前规划数据至少包括关节骨骼的三维骨骼模型；
位姿固定模块，其用于根据三维骨骼模型的至少一个三维骨骼关键点以及所述三维参数，建立探针与三维骨骼模型的初始位姿关系，该初始位姿关系下，所述探针与所述三维骨骼模型的相对位置固定不变；
孪生配准模块，其用于基于所述探针与所述三维骨骼模型的初始位姿关系以及双目相机、红外相机的图像数据，对所述三维骨骼模型和真实手术场景中的待截骨骨骼进行数字孪生配准；
二次配准模块，其用于基于所述探针、所述粗配准矩阵以及所述红外相机的图像数据，对所述三维骨骼模型和真实手术场景中的待截骨骨骼进行二次配准。
本申请第三方面提供了一种电子设备，其包括：存储器和处理器；
所述存储器，其用于存储程序；
所述处理器，耦合至所述存储器，用于执行所述程序，以用于：
获取探针的三维参数以及关节骨骼的术前规划数据，所述三维参数至少包括该探针的视觉标记物与针尖的相对位置关系，所述关节骨骼的术前规划数据至少包括关节骨骼的三维骨骼模型；
根据三维骨骼模型的至少一个三维骨骼关键点以及所述三维参数，建立探针与三维骨骼模型的初始位姿关系，该初始位姿关系下，所述探针与所述三维骨骼模型的相对位置固定不变；
基于所述探针与所述三维骨骼模型的初始位姿关系以及双目相机、红外相机的图像数据，对所述三维骨骼模型和真实手术场景中的待截骨骨骼进行数字孪生配准；
基于所述探针、所述粗配准矩阵以及所述红外相机的图像数据，对所述三维骨骼模型和真实手术场景中的待截骨骨骼进行二次配准。
本申请第四方面提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行实现上述所述的基于数字孪生的骨骼配准方法。
本申请中，通过先进行数字孪生配准再进行二次配准的方式，可以快速且高精度第进行粗配准，从而减少精配准时间和计算量，大大增加精配准的准确度。
本申请中，通过在粗配准阶段使用数字孪生配准方式，从而利用人眼配准快速且精度高的优势，大大增加配准速度和配准准确度。
附图说明
图1为根据本申请实施例的骨骼配准方法的流程图；
图2为根据本申请实施例的骨骼配准方法初始位姿关系建立的示意图；
图3为根据本申请实施例的骨骼配准方法孪生配准的流程图；
图4为探针、红外相机与标记定位架的转换关系示意图；
图5为根据本申请实施例的骨骼配准方法粗配准验证的流程图；
图6为验证点与骨骼模型、探针的相对位置关系的示意图；
图7为根据本申请实施例的骨骼配准方法模型投影的流程图；
图8为三维骨骼模型映射到二维图像的示意图；
图9为根据本申请实施例的骨骼配准方法视觉标记物追踪的流程图；
图10为根据本申请实施例的骨骼配准方法视觉标记物追踪的示意图；
图11为根据本申请实施例的骨骼配准方法多尺度空洞卷积网络模型处理的流程图；
图12为根据本申请实施例的骨骼配准方法多尺度空洞卷积网络模型的架构图；
图13为根据本申请实施例的骨骼配准方法FFM模块处理的流程图；
图14为根据本申请实施例的骨骼配准方法FFM模块的架构图；
图15为根据本申请实施例的骨骼配准方法二次配准的流程图；
图16为根据本申请实施例的骨骼配准装置的结构框图；
图17为根据本申请实施例的电子设备的结构框图。
具体实施方式
为使本申请的上述目的、特征和优点能够更为明显易懂，下面结合附图对本申请的具体实施例做详细的说明。虽然附图中显示了本申请的示例性实施方式，然而应当理解，可以以各种形式实现本申请而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了能够更透彻地理解本申请，并且能够将本申请的范围完整的传达给本领域的技术人员。
需要注意的是，除非另有说明，本申请使用的技术术语或者科学术语应当为本申请所属领域技术人员所理解的通常意义。
需要说明的是，在实际手术场景中，待截骨骨骼仅会暴漏出待截取的骨骼部分，其余部分依然包裹在人体组织内；基于此，若通过在待截取的骨骼部分上设置特征点，通过特征点对齐的方式进行配准的配准方式，由于特征点配准的计算量过大，因此在较少数量进行粗配准时，由于特征点过少，导致粗配准的误差过大；在后期通过较多数量进行精配准时，由于粗配准的误差过大，导致精配准迭代时无法及时收敛或仅局部收敛，从而导致最终配准结果的准确度不足。
针对上述问题，本申请提供一种新的基于数字孪生的骨骼配准方案，通过数字孪生的方式进行粗配准，解决当前特征点配准的精度较低的问题。
本申请实施例提供了一种基于数字孪生的骨骼配准方法，该方法的具体方案由图1-图15所示，该方法可以由基于数字孪生的骨骼配准装置来执行，该基于数字孪生的骨骼配准装置可以集成在电脑、服务器、计算机、服务器集群、数据中心等电子设备中。结合图1所示，其为根据本申请一个实施例的基于数字孪生的骨骼配准方法的流程图；其中，所述基于数字孪生的骨骼配准方法，包括：
S100，获取探针的三维参数以及关节骨骼的术前规划数据，所述三维参数至少包括该探针的视觉标记物与针尖的相对位置关系，所述关节骨骼的术前规划数据至少包括关节骨骼的三维骨骼模型；
本申请中，探针的三维参数包括探针的视觉标记物的数量、视觉标记物之间、视觉标记物与探针的针尖的相对位置关系。
其中，视觉标记物可以被识别出，基于识别出的视觉标记物可以确定探针的位姿数据；在通过探针进行定位时，可以将探针的针尖接触定位位置，记录此时的视觉标记物的坐标信息，基于视觉标记物与探针的针尖的相对位置关系即可以确定针尖位置/定位位置的具体坐标。
本申请中，关节骨骼的术前规划数据即为在进行关节置换手术之前对需要置换的关节的规划数据，该规划数据至少包括关节骨骼的三维骨骼模型以及规划的截骨信息/截骨平面位姿信息。
需要说明的是，关节骨骼的术前规划数据可以通过预先规划的方式获取，具体规划过程本申请中不再赘述。
S200，根据三维骨骼模型的至少一个三维骨骼关键点以及所述三维参数，建立探针与三维骨骼模型的初始位姿关系，该初始位姿关系下，所述探针与所述三维骨骼模型的相对位置固定不变；
本申请中，建立探针与三维骨骼模型的初始位姿关系，也即是固定探针与所述三维骨骼模型的相对位置；这样，在移动探针的情况下，三维骨骼模型也会同步移动，且移动的位姿相对应。同时，探针与所述三维骨骼模型的相对位置固定不变的情况下，意味着探针与所述三维骨骼模型处于相同坐标系，在探针映射到其他坐标系的情况下，可以通过相同的映射矩阵将三维骨骼模型映射到该坐标系。
本申请中，设置三维骨骼关键点，则仅需要固定探针与该骨骼关键点的相对位置关系(包括旋转角度也固定)，即可固定探针与所述三维骨骼模型的相对位置关系。
结合图2所示，根据三维骨骼模型的三个医学解剖点A、B、C建立三维骨骼模型的坐标系Os，如图中(a)部分所示；根据探针的4个标记小球建立探针的坐标系Ot，如图中(b)部分所示；在探针坐标系Ot中建立与三维骨骼模型坐标系Os相同的对应关系，对应的关节骨骼特征点(三个医学解剖点)为A’、B’、C’；当探针运动到与视频流中关节骨骼相重合的位置时，整个坐标的变化如图中(c)部分所示(该部分仅为示意图，并未示出视频流)。
S300，基于所述探针与所述三维骨骼模型的初始位姿关系以及双目相机、红外相机的图像数据，对所述三维骨骼模型和真实手术场景中的待截骨骨骼进行数字孪生配准；
本申请中，数字孪生配准为粗配准过程，通过数字孪生配准可以快速完成粗配准过程，且配准精度高。
S400，基于所述探针、所述粗配准矩阵以及所述红外相机的图像数据，对所述三维骨骼模型和真实手术场景中的待截骨骨骼进行二次配准。
本申请中，二次配准为精配准，在粗配准的配置精度高的情况下，可以大大降低二次配准需要迭代的次数，从而及时收敛且可以避免局部收敛。
本申请中，通过先进行数字孪生配准再进行二次配准的方式，可以快速且高精度第进行粗配准，从而减少精配准时间和计算量，大大增加精配准的准确度。
本申请中，通过在粗配准阶段使用数字孪生配准方式，从而利用人眼配准快速且精度高的优势，大大增加配准速度和配准准确度。
在一种实施方式中，结合图3所示，所述S300，基于所述探针与所述三维骨骼模型的初始位姿关系以及双目相机、红外相机的图像数据，对所述三维骨骼模型和真实手术场景中的待截骨骨骼进行数字孪生配准，包括：
S310，获取所述双目相机的图像数据，该图像数据为由连续的二维图像组成的视频流；
本申请中，双目相机的图像数据为双目相机输出的数据，该输出数据为视频流，视频流中的每帧图像均为二维图像。
在一种实施方式中，所述二维图像的中的像素点坐标为二维坐标。通过将双目相机的输出的图像数据由三维精简为二维的方式，大大提高二维图像的视频流的生成速度。
S320，基于所述初始位姿关系，将三维骨骼模型投影至所述视频流的二维图像中，所述二维图像中为双目相机坐标系下的真实手术场景图像；
需要说明的是，所述视频流为对术中的真实手术场景进行拍摄得到的，其中的每帧二维图像均为双目相机坐标系下的真实手术场景图像。
需要强调的是，在拍摄术中的真实手术场景时，所述双目相机的位置和拍摄姿态固定不动，基于该位置和拍摄姿态确定的外参矩阵也保持不变。基于此，本申请中，所述双目相机的外参矩阵是固定的。需要说明的是，若建立双目相机的多个预设位置(和拍摄姿态)以及每个预设位置(和拍摄姿态)对应的外参矩阵的对应关系，则在该对应关系的前提下，可以将双目相机移动至预设位置(和拍摄姿态)并同时更改外参矩阵，从而可以实现双目相机的在位置和拍摄姿态的可变性，增加使用范围。
S330，调节所述探针的位姿以更改所述三维骨骼模型的位姿，直至所述三维骨骼模型在所述二维图像上的投影与该二维图像上的待截骨骨骼重合为止；
本申请中，医护人员观看投影至所述视频流的二维图像中的三维骨骼模型，同时移动探针以使三维骨骼模型的投影也同步移动，直至三维骨骼模型的投影与所述待截骨骨骼重合后停止移动。这样，通过将具有三维骨骼模型投影的视频流进行显示的方式，使医护人员在操作探针时可以实时观察三维骨骼模型投影的位置关系，从而可以快速且准确地将三维骨骼模型投影移动到与二维图像上的待截骨骨骼重合的位置。
需要说明的是，该三维骨骼模型的投影与所述待截骨骨骼重合的位置，是由医护人员进行判断确定的，基于此可以利用医护人员的丰富经验，从而大大降低配准时间以及配准计算量。
需要说明的是，视频流中显示的为三维骨骼模型在二维图像上的投影，但是该投影会随着三维骨骼模型的位姿变化而变化。
S340，在三维骨骼模型的投影与所述待截骨骨骼重合状态下，获取探针的所述视觉标记物在所述红外相机坐标系下的定位数据；
本申请中，红外相机为深度相机，其图像数据中仅(通过高亮的方式)显示视觉标记物的具体形状和位置，基于此可以确定探针的所述视觉标记物在所述红外相机坐标系下的定位数据。具体确定方式，本申请中不再赘述。
S350，基于探针的所述视觉标记物在所述红外相机坐标系下的定位数据，以及待截骨骨骼的标记定位架的所述视觉标记物在所述红外相机坐标系下的定位数据，确定所述探针的局部坐标系与所述待截骨骨骼的标记定位架的局部坐标系的映射关系；
本申请中，待截骨骨骼上固定有标记定位架；通过类似的方式，可以根据标记定位架的所述视觉标记物在红外相机的图像数据中的显示，确定标记定位架的所述视觉标记物在所述红外相机坐标系下的定位数据。
本申请中，探针具有局部坐标系，标记定位架也具有局部坐标系；在已知探针和标记定位架在同一个坐标系下的定位数据的情况下，可以根据定位数据确定探针的局部坐标系和标记定位架的局部坐标系之间的映射关系。具体计算过程，本申请中不再赘述。
结合图4所示，图4中上部为红外相机的坐标系的示意，左部分为探针的局部坐标系的示意，右部分为标记定位架的局部坐标系的示意；基于探针的所述视觉标记物在所述红外相机坐标系下的定位数据可以确定探针的局部坐标系和红外相机坐标系的映射关系；基于待截骨骨骼的标记定位架的所述视觉标记物在所述红外相机坐标系下的定位数据可以确定标记定位架的局部坐标系和红外相机坐标系的映射关系；进而确定所述探针的局部坐标系与所述待截骨骨骼的标记定位架的局部坐标系的映射关系。
本申请中，由于配准结果需要保持唯一性，如果将坐标统一到红外相机下则要求红外相机在配准完成后不再移动，该操作很难实现，因此将坐标系转换到标记定位架中，定位架可以随关节骨骼运动并保持与关节骨骼的绝对位置关系。通过坐标系的转换，从而消除了红外相机无法移动的弊端。
S360，基于所述探针的局部坐标系与所述待截骨骨骼的标记定位架的局部坐标系的映射关系，将所述三维骨骼模型的坐标系转换至所述待截骨骨骼的标记定位架的局部坐标系下，得到粗配准矩阵。
本申请中，探针与三维骨骼模型的相对位置固定，则探针的局部坐标系和标记定位架的局部坐标系之间的映射关系即为三维骨骼模型的局部坐标系和标记定位架的局部坐标系之间的映射关系，也即是粗配准矩阵。
本申请中，所述三维骨骼模型在所述二维图像上的投影为实时显示的，从而避免延时显示导致的粗配准精度过低。
本申请中，通过双目相机的图像数据完成三维骨骼模型在所述二维图像上的投影，通过红外相机的图像数据实现在三维骨骼模型的投影与所述待截骨骨骼重合后的粗配准矩阵的确定，从而利用红外相机仅获取视觉标记物的数据的特性，在大大降低重合后的粗配准矩阵的计算量的同时进一步增加配准的准确度。
需要说明的是，红外相机虽然朝向真实手术场景，但是仅获取该真实手术场景下各个视觉标记物的位置数据，并不处理该真实手术场景下的其余数据(无论是否获取)，通过该种方式，可以大大降低红外相机所需处理的数据量。
本申请中，所述红外相机为NDI相机。
本申请中，所述双目相机为RGB相机。
本申请中，通过RGB相机完成粗配准，通过NDI相机完成精配准，从而在粗配准阶段计算量大的情况下，降低精度提高传输速率；在精配准阶段，降低获取的真实手术场景数据，以降级计算量，提高计算速度/反应速度。
本申请中，通过显示真实手术场景并投影三维骨骼模型，从而由人为参与完成粗配准，一方面可以无需大量计算即可快速完成粗配准；另一方面还可以大大增加粗配准的精度，提高后续精配准的速度，降低精配准的计算量。
在一种实施方式中，结合图5及图6所示，所述S300，基于所述探针与所述三维骨骼模型的初始位姿关系以及双目相机、红外相机的图像数据，对所述三维骨骼模型和真实手术场景中的待截骨骨骼进行数字孪生配准之后，还包括：
S351，基于三维骨骼模型确定髓腔中线，并在髓腔中线的延长线上选取至少一个验证点；
本申请中，髓腔中线仅是用于指代或描述三维骨骼模型的中心线，因此其计算时可以通过三维骨骼模型的外壁进行计算，也可以通过三维骨骼模型的髓腔内壁进行计算，具体计算过程及约束本申请中不作限制。
本申请中，髓腔中线的延长线，即是髓腔中线在三维骨骼模型内的部分为髓腔中线，在三维骨骼模型外的部分为延长线，通过在延长线上选取验证点，则可以通过验证点来判断是否偏差(或偏差是否较大)。
具体见图6所示。根据探针针尖/骨髓中线上的点(A点)与骨髓中线上的点(B点)的连线并延长到C点，形成延长线，确定验证点C。
在一种实施方式中，所述验证点与探针位于三维骨骼模型的两端。从而大幅度增加探针与验证点的距离，最大程度放大探针移动时的验证点移动的放大比例。
S352，基于所述初始位姿关系，将所述验证点投影至视频流的二维图像上；
本申请中，髓腔中线与三维骨骼模型的相对位置也固定不变，因此在将三维骨骼模型投影至二维图像的同时，也可以通过相似的方式将验证点也投影至二维图像。
S353，基于投影后的二维图像，判断数字孪生配准结果的偏差，并在数字孪生配准结果的偏差过大的情况下，重新进行数字孪生配准。
本申请中，判断数字孪生配准结果的偏差，可以是移动探针的医护人员进行判断。例如若股骨远端截骨时，验证点在大腿部分的位置明显不位于大腿部分的中点(在大腿边沿或大腿外侧)，则可以认为此时偏差过大。
本申请中，由于术中暴漏的待截骨骨骼的部分较少且较短，因此通过人为判断三维骨骼模型的投影的重合状态时，容易出现偏差。
本申请中，利用人体骨骼较为平直的特性，通过延长线上的验证点的投影来放大配准时的偏差，从而对粗配准结果进行验证。
在一种实施方式中，结合图7所示，所述S320，基于所述初始位姿关系，将三维骨骼模型投影至所述视频流的二维图像中，包括：
S321，追踪所述视频流中所述探针的视觉标记物的坐标信息；
本申请中，即为确定视觉标记物在视频流中的每帧二维图像中的坐标信息。该坐标信息为三维坐标信息。
S322，基于所述探针的三维参数、追踪到的所述视觉标记物的坐标信息，确定探针的局部坐标系与双目相机坐标系的映射关系；
所述探针的三维参数具有视觉标记物之间的相对位置关系，基于此可以确定探针的局部坐标系。追踪到的所述视觉标记物的坐标信息，为视觉标记物在的双目相机坐标系下的坐标信息，基于此可以确定探针的局部坐标系与双目相机坐标系的映射关系。
S323，根据探针的局部坐标系与双目相机坐标系的映射关系，将所述三维骨骼模型投影至双目相机坐标系下的所述视频流的二维图像中，所述二维图像中为双目相机坐标系下的真实手术场景图像；
本申请中，三维骨骼模型需要根据探针的旋转、平移等进行相应的改变，同时，将关节骨骼三维模型的运动过程实时进行二维映射，以便于添加到视频流中。
结合图8所示，其为三维骨骼模型映射到二维图像的示意图；图中左侧为三维骨骼模型，右侧为具有三维骨骼模型投影的二维图像显示。该二维图像为实时显示，医护人员可以基于该二维图像调整探针，以使三维骨骼模型的投影重合与待截骨骨骼。
本申请中，可以使用正交投影或是透视投影的方式将骨骼三维模型映射到视频流中的二维图像上。
在一种实施方式中，结合图9及图10所示，所述S321，追踪所述视频流中所述探针的视觉标记物的坐标信息，包括：
S301，获取所述双目相机至少一个相机的多帧采集图像；
本申请中，双目相机具有两个相机，分别为左侧相机和右侧相机。至少一个相机的多帧采集图像，即为左侧相机和/或右侧相机直接获取的图像，该图像为二维的图像。
S302，将所述采集图像输入训练完成的多尺度空洞卷积网络模型中，得到该采集图像中探针的视觉标记物的图像坐标；
如图10所示，图中方框圈住位置即为视觉标记物。
S303，获取所述双目相机的内参矩阵与外参矩阵；
本申请中，所述双目相机的内参矩阵与外参矩阵为预先标定的，具体标定方式本申请中不作限制。
S304，基于所述图像坐标、所述内参矩阵和所述外参矩阵，确定所述视觉标记物的坐标信息。
本申请中，通过多尺度空洞卷积网络模型对双目相机中的视觉标记物(探针的Mark)进行跟踪，并生成视觉标记物(探针的Mark)的三维坐标。
需要说明的是，双目相机的两个相机的二维图像间具有对应的映射关系，因此仅需要获取一个相机的二维图像中视觉标记物的图像坐标(图像坐标为二维坐标)，即可计算出该视觉标记物在另一个相机的二维图像中的图像坐标。基于此，仅需要获取一个相机的多帧采集图像，即可完成坐标信息的追踪，从而大大降低计算量。
需要说明的是，双目相机的两个相机之间具有误差，因此可以分别获取双目相机的两个相机的多帧采集图像，得到分别基于两个相机确定的视觉标记物的坐标信息后，进行合并，从而消除两个相机之间的误差对坐标信息的影响。
需要说明的是，由图中可以看出，视觉标记物(探针的Mark)在整个图像中占比非常小，即前景与背景出现严重的不均衡，这使视觉标记物(探针的Mark)很难实时跟踪并不丢失。
本申请中，通过多尺度空洞卷积网络模型对双目相机中的视觉标记物进行跟踪，利用空洞卷积不会丢失小物体信息的特性，避免了下采样造成的信息损失，且同时利用了多尺度信息。
在一种实施方式中，结合图11及图12所示，所述S302，将所述采集图像输入训练完成的多尺度空洞卷积网络模型中，得到该采集图像中探针的视觉标记物的图像坐标，包括：
S201，对所述采集图像依次进行多次下采样，分别得到第二下采样特征图、第三下采样特征图和第四下采样特征图；
其中，对采集图像进行下采样，得到第二下采样特征图；对第二下采样特征图进行下采样，得到第三下采样特征图；对第三下采样特征图进行下采样，得到第四下采样特征图。
结合图12所示，图中虚线表示下采样处理，点横线表示上采样处理，实线表示卷积处理。
图中A1为采集图像，A2为第二下采样特征图，A3为第三下采样特征图，A4为第四下采样特征图；B2为第二卷积特征图，B3为第三卷积特征图，B4为第四卷积特征图；C2为第二上采样特征图，C3为第三上采样特征图，C4为第四上采样特征图。
S202，分别对第二下采样特征图、第三下采样特征图和第四下采样特征图进行卷积处理，得到对应的第二卷积特征图、第三卷积特征图和第四卷积特征图；
其中，对第二下采样特征图进行卷积处理，得到第二卷积特征图；对第三下采样特征图进行卷积处理，得到第三卷积特征图；对第四下采样特征图进行卷积处理，得到第四卷积特征图。
S203，分别对第四下采样特征图和第四卷积特征图进行卷积处理后，相加并对相加结果卷积处理，得到第四上采样特征图；
其中，本步骤中对第四下采样特征图进行卷积处理，与步骤S202中对第四下采样特征图进行卷积处理，得到第四卷积特征图中的卷积处理为同类型的卷积处理，但并非同一个卷积处理。也即是卷积处理的架构相同，参数不同。
本步骤中，相加为Add处理，即特征图相加，通道数不变。
S204，分别对第三下采样特征图和第三卷积特征图进行卷积处理后，与上采样后的第四上采样特征图相加并对相加结果卷积处理，得到第三上采样特征图；
本申请中，对第三下采样特征图进行卷积处理，得到第三下采样特征图的卷积结果；对第三卷积特征图进行卷积处理，得到第三卷积特征图的卷积结果；对第四上采样特征图进行上采样，得到第四上采样特征图的上采样结果；将第三下采样特征图的卷积结果、第三卷积特征图的卷积结果、第四上采样特征图的上采样结果进行相加，得到相加结果；对相加结果进行卷积处理，得到第三上采样特征图。
类似地，本步骤中对第三下采样特征图进行卷积处理，也与步骤S202中为同类型的卷积处理，但并非同一个卷积处理。
本步骤中，相加为Add处理，即特征图相加，通道数不变。
本申请中，通过Add处理实现了信息之间的叠加。
本申请中，第三下采样特征图的卷积结果、第三卷积特征图的卷积结果、第四上采样特征图的上采样结果为不具备同类特征含义的特征图，通过将不具备同类特征含义的特征图进行信息之间的叠加，从而利用信息叠加导致的信息损失实现特征提取。
S205，分别对第二下采样特征图和第二卷积特征图进行卷积处理后，与上采样后的第三上采样特征图相加并对相加结果卷积处理，得到第二上采样特征图；
类似地，本步骤中对第二下采样特征图进行卷积处理，也与步骤S202中为同类型的卷积处理，但并非同一个卷积处理。
本步骤中，相加为Add处理，即特征图相加，通道数不变。
S206，分别对第二上采样特征图、第三上采样特征图和第四上采样特征图进行卷积处理后，输入FFM模块，得到该采集图像中所述视觉标记物的图像坐标。
其中，该采集图像中所述视觉标记物的图像坐标为二维坐标。
本申请中，下采样处理的具体架构为依次设置的下采样层、3x3卷积层、BN层和Relu层。
本申请中，卷积处理的具体架构为依次设置的3x3卷积层、BN层和Relu层。
本申请中，上采样处理的具体架构为依次设置的上采样层、3x3卷积层、BN层和Relu层。
在一种实施方式中，结合图13及图14所示，所述S206，分别对第二上采样特征图、第三上采样特征图和第四上采样特征图进行卷积处理后，输入FFM模块，得到该采集图像中所述视觉标记物的图像坐标，包括：
S601，对第二上采样特征图、第三上采样特征图和第四上采样特征图进行卷积处理；
S602，对卷积处理后的第二上采样特征图进行扩张率为5的空洞卷积处理，得到第二空洞特征图；
S603，对卷积处理后的第三上采样特征图进行扩张率为3的空洞卷积处理，得到第三空洞特征图；
S604，对卷积处理后的第四上采样特征图进行扩张率为1的空洞卷积处理，得到第四空洞特征图；
本申请中，通过扩张率不同的空洞卷积处理，使得第二空洞特征图、第三空洞特征图、第四空洞特征图的大小相同，从而进行后续的卷积及拼接处理。
S605，分别对第二空洞特征图、第三空洞特征图和第四空洞特征图进行卷积处理；
S606，对卷积处理后的进行第二空洞特征图、第三空洞特征图和第四空洞特征图拼接，并对拼接结果进行全连接处理，得到视觉标记物的图像坐标。
本步骤中，拼接为Concat处理(图14中“C”所示)，即为通道数增加，也即是描述图像本身的特征/维度增加了，但每一特征/维度下的信息没有增加。通过拼接，将卷积处理后的进行第二空洞特征图、第三空洞特征图和第四空洞特征图进行信息融合。
本申请中，使用不同扩张率的空洞卷积来获得不同感受野的上下文信息，从而有效增加识别小目标的概率。
在一种实施方式中，结合图15所示，所述S400，基于所述探针、所述粗配准矩阵以及所述红外相机的图像数据，对所述三维骨骼模型和真实手术场景中的待截骨骨骼进行二次配准，包括：
S401，使用所述探针点触待截骨骨骼表面，基于探针的形状数据以及点触时红外相机坐标系下的探针的视觉标记物定位数据，确定红外相机坐标系下的点触位置坐标；
S402，通过迭代最近点算法，将所述点触位置坐标与三维骨骼模型进行配准，确定所述三维骨骼模型与所述点触位置坐标的映射关系；
本申请中，通过迭代最近点算法对粗配准矩阵进行迭代，直至迭代收敛，得到的配准矩阵为三维骨骼模型与所述点触位置坐标的映射关系。
本申请中，使用点到面的ICP(Iterative Closest Point)配准算法，对粗配准矩阵进行迭代，具体过程为：
输入粗配准矩阵作为初始化矩阵；选择一个迭代停止条件，该迭代停止条件为最大迭代次数或变换矩阵的收敛阈值；对于每个点触位置坐标，寻找其在三维骨骼模型上的最近邻点；对于点触位置坐标及最近临点组成的点对，计算点对中的点触位置坐标及最近临点的误差；基于该误差计算权重及总误差(基于误差计算一个权重，通常为高斯权重，以加权求和来获得总误差)，使用最小二乘法、误差和权重计算一个新的变换矩阵作为迭代后的配准矩阵；将所有点触位置坐标映射到三维骨骼模型上并检查是否满足停止条件；如果满足条件，则停止迭代，否则继续迭代。
其中，使用最近点搜索算法(如KD-Tree或Octree)来加速寻找点触位置坐标在三维骨骼模型上的最近邻点。
其中，点对中的点触位置坐标及最近临点的误差，为点到面的距离，使用法向量来表示三维骨骼模型的表面。
S403，基于所述三维骨骼模型与所述点触位置坐标的映射关系，将所述三维骨骼模型中规划的截骨平面位姿信息映射至待截骨骨骼的标记定位架的局部坐标系中。
本步骤中，通过将截骨平面位姿信息进行映射，以确定待截骨骨骼的截骨平面位姿信息，从而便于后续的截骨。
本文将使用双目相机、红外相机、探针与三维骨骼模型通过坐标的建立与相互映射，构建数字孪生系统，并通过探针的运动在数字孪生系统中完成粗配准矩阵的计算；随后，在粗配准矩阵的基础上，使用探针采集较少的术中点，通过Point-Plant-ICP配准算法(即点到面ICP)进行精配准矩阵的求解。
本申请中，在待截骨骨骼为多个的情况下，分别对第一骨骼的三维骨骼模型和真实手术场景中的第一骨骼的待截骨骨骼进行配准，对第二骨骼的三维骨骼模型和真实手术场景中的第二骨骼的待截骨骨骼进行配准等。
优选地，三维骨骼模型为单个骨骼的三维模型，并非多个骨骼组合的三维模型。即使将三维骨骼模型设置为包含多个骨骼，在实际使用时仍然仅会使用多个骨骼中的一个，多余的骨骼在配准时仅会造成计算量的大大增加，并不具有益处，因此将其设置为单个骨骼的三维模型，从而大大降低计算量；且在进行第一骨骼配准时，仅需要获取第一骨骼的三维骨骼模型，大大降低了需要预设的三维骨骼模型数据。
本申请实施例提供了一种基于数字孪生的骨骼配准装置，用于执行本申请上述内容所述的基于数字孪生的骨骼配准方法，以下对所述基于数字孪生的骨骼配准装置进行详细描述。
如图16所示，所述基于数字孪生的骨骼配准装置，包括：
数据获取模块101，其用于获取探针的三维参数以及关节骨骼的术前规划数据，所述三维参数至少包括该探针的视觉标记物与针尖的相对位置关系，所述关节骨骼的术前规划数据至少包括关节骨骼的三维骨骼模型；
位姿固定模块102，其用于根据三维骨骼模型的至少一个三维骨骼关键点以及所述三维参数，建立探针与三维骨骼模型的初始位姿关系，该初始位姿关系下，所述探针与所述三维骨骼模型的相对位置固定不变；
孪生配准模块103，其用于基于所述探针与所述三维骨骼模型的初始位姿关系以及双目相机、红外相机的图像数据，对所述三维骨骼模型和真实手术场景中的待截骨骨骼进行数字孪生配准；
二次配准模块104，其用于基于所述探针、所述粗配准矩阵以及所述红外相机的图像数据，对所述三维骨骼模型和真实手术场景中的待截骨骨骼进行二次配准。
在一种实施方式中，孪生配准模块103还用于：
获取所述双目相机的图像数据，该图像数据为由连续的二维图像组成的视频流；基于所述初始位姿关系，将三维骨骼模型投影至所述视频流的二维图像中，所述二维图像中为双目相机坐标系下的真实手术场景图像；调节所述探针的位姿以更改所述三维骨骼模型的位姿，直至所述三维骨骼模型在所述二维图像上的投影与该二维图像上的待截骨骨骼重合为止；在三维骨骼模型的投影与所述待截骨骨骼重合状态下，获取探针的所述视觉标记物在所述红外相机坐标系下的定位数据；基于探针的所述视觉标记物在所述红外相机坐标系下的定位数据，以及待截骨骨骼的标记定位架的所述视觉标记物在所述红外相机坐标系下的定位数据，确定所述探针的局部坐标系与所述待截骨骨骼的标记定位架的局部坐标系的映射关系；基于所述探针的局部坐标系与所述待截骨骨骼的标记定位架的局部坐标系的映射关系，将所述三维骨骼模型的坐标系转换至所述待截骨骨骼的标记定位架的局部坐标系下，得到粗配准矩阵。
在一种实施方式中，孪生配准模块103还用于：
基于三维骨骼模型确定髓腔中线，并在髓腔中线的延长线上选取至少一个验证点；基于所述初始位姿关系，将所述验证点投影至视频流的二维图像上；基于投影后的二维图像，判断数字孪生配准结果的偏差，并在数字孪生配准结果的偏差过大的情况下，重新进行数字孪生配准。
在一种实施方式中，孪生配准模块103还用于：
追踪所述视频流中所述探针的视觉标记物的坐标信息；基于所述探针的三维参数、追踪到的所述视觉标记物的坐标信息，确定探针的局部坐标系与双目相机坐标系的映射关系；根据探针的局部坐标系与双目相机坐标系的映射关系，将所述三维骨骼模型投影至双目相机坐标系下的所述视频流的二维图像中，所述二维图像中为双目相机坐标系下的真实手术场景图像；
在一种实施方式中，孪生配准模块103还用于：
获取所述双目相机至少一个相机的多帧采集图像；将所述采集图像输入训练完成的多尺度空洞卷积网络模型中，得到该采集图像中探针的视觉标记物的图像坐标；获取所述双目相机的内参矩阵与外参矩阵；基于所述图像坐标、所述内参矩阵和所述外参矩阵，确定所述视觉标记物的坐标信息。
在一种实施方式中，孪生配准模块103还用于：
对所述采集图像依次进行多次下采样，分别得到第二下采样特征图、第三下采样特征图和第四下采样特征图；分别对第二下采样特征图、第三下采样特征图和第四下采样特征图进行卷积处理，得到对应的第二卷积特征图、第三卷积特征图和第四卷积特征图；分别对第四下采样特征图和第四卷积特征图进行卷积处理后，相加并对相加结果卷积处理，得到第四上采样特征图；分别对第三下采样特征图和第三卷积特征图进行卷积处理后，与上采样后的第四上采样特征图相加并对相加结果卷积处理，得到第三上采样特征图；分别对第二下采样特征图和第二卷积特征图进行卷积处理后，与上采样后的第三上采样特征图相加并对相加结果卷积处理，得到第二上采样特征图；分别对第二上采样特征图、第三上采样特征图和第四上采样特征图进行卷积处理后，输入FFM模块，得到该采集图像中所述视觉标记物的图像坐标。
在一种实施方式中，二次配准模块104还用于：
使用所述探针点触待截骨骨骼表面，基于探针的形状数据以及点触时红外相机坐标系下的探针的视觉标记物定位数据，确定红外相机坐标系下的点触位置坐标；通过迭代最近点算法，将所述点触位置坐标与三维骨骼模型进行配准，确定所述三维骨骼模型与所述点触位置坐标的映射关系；基于所述三维骨骼模型与所述点触位置坐标的映射关系，将所述三维骨骼模型中规划的截骨平面位姿信息映射至待截骨骨骼的标记定位架的局部坐标系中。
本申请的上述实施例提供的基于数字孪生的骨骼配准装置与本申请实施例提供的基于数字孪生的骨骼配准方法具有对应关系，因此该装置中的具体内容与骨骼配准方法具有对应关系，具体内容可以参照骨骼配准方法中的记录，本申请中对此不再赘述。
本申请的上述实施例提供的基于数字孪生的骨骼配准装置与本申请实施例提供的基于数字孪生的骨骼配准方法出于相同的发明构思，具有与其存储的应用程序所采用、运行或实现的方法相同的有益效果。
以上描述了基于数字孪生的骨骼配准装置的内部功能和结构，如图17所示，实际中，该基于数字孪生的骨骼配准装置可实现为电子设备，包括：存储器301及处理器303。
存储器301，可被配置为存储程序。
另外，存储器301，还可被配置为存储其它各种数据以支持在电子设备上的操作。这些数据的示例包括用于在电子设备上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。
存储器301可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
处理器303，耦合至存储器301，用于执行存储器301中的程序，以用于：
获取探针的三维参数以及关节骨骼的术前规划数据，所述三维参数至少包括该探针的视觉标记物与针尖的相对位置关系，所述关节骨骼的术前规划数据至少包括关节骨骼的三维骨骼模型；
根据三维骨骼模型的至少一个三维骨骼关键点以及所述三维参数，建立探针与三维骨骼模型的初始位姿关系，该初始位姿关系下，所述探针与所述三维骨骼模型的相对位置固定不变；
基于所述探针与所述三维骨骼模型的初始位姿关系以及双目相机、红外相机的图像数据，对所述三维骨骼模型和真实手术场景中的待截骨骨骼进行数字孪生配准；
基于所述探针、所述粗配准矩阵以及所述红外相机的图像数据，对所述三维骨骼模型和真实手术场景中的待截骨骨骼进行二次配准。
在一种实施方式中，处理器303还用于：
获取所述双目相机的图像数据，该图像数据为由连续的二维图像组成的视频流；基于所述初始位姿关系，将三维骨骼模型投影至所述视频流的二维图像中，所述二维图像中为双目相机坐标系下的真实手术场景图像；调节所述探针的位姿以更改所述三维骨骼模型的位姿，直至所述三维骨骼模型在所述二维图像上的投影与该二维图像上的待截骨骨骼重合为止；在三维骨骼模型的投影与所述待截骨骨骼重合状态下，获取探针的所述视觉标记物在所述红外相机坐标系下的定位数据；基于探针的所述视觉标记物在所述红外相机坐标系下的定位数据，以及待截骨骨骼的标记定位架的所述视觉标记物在所述红外相机坐标系下的定位数据，确定所述探针的局部坐标系与所述待截骨骨骼的标记定位架的局部坐标系的映射关系；基于所述探针的局部坐标系与所述待截骨骨骼的标记定位架的局部坐标系的映射关系，将所述三维骨骼模型的坐标系转换至所述待截骨骨骼的标记定位架的局部坐标系下，得到粗配准矩阵。
在一种实施方式中，处理器303还用于：
基于三维骨骼模型确定髓腔中线，并在髓腔中线的延长线上选取至少一个验证点；基于所述初始位姿关系，将所述验证点投影至视频流的二维图像上；基于投影后的二维图像，判断数字孪生配准结果的偏差，并在数字孪生配准结果的偏差过大的情况下，重新进行数字孪生配准。
在一种实施方式中，处理器303还用于：
追踪所述视频流中所述探针的视觉标记物的坐标信息；基于所述探针的三维参数、追踪到的所述视觉标记物的坐标信息，确定探针的局部坐标系与双目相机坐标系的映射关系；根据探针的局部坐标系与双目相机坐标系的映射关系，将所述三维骨骼模型投影至双目相机坐标系下的所述视频流的二维图像中，所述二维图像中为双目相机坐标系下的真实手术场景图像；
在一种实施方式中，处理器303还用于：
获取所述双目相机至少一个相机的多帧采集图像；将所述采集图像输入训练完成的多尺度空洞卷积网络模型中，得到该采集图像中探针的视觉标记物的图像坐标；获取所述双目相机的内参矩阵与外参矩阵；基于所述图像坐标、所述内参矩阵和所述外参矩阵，确定所述视觉标记物的坐标信息。
在一种实施方式中，处理器303还用于：
对所述采集图像依次进行多次下采样，分别得到第二下采样特征图、第三下采样特征图和第四下采样特征图；分别对第二下采样特征图、第三下采样特征图和第四下采样特征图进行卷积处理，得到对应的第二卷积特征图、第三卷积特征图和第四卷积特征图；分别对第四下采样特征图和第四卷积特征图进行卷积处理后，相加并对相加结果卷积处理，得到第四上采样特征图；分别对第三下采样特征图和第三卷积特征图进行卷积处理后，与上采样后的第四上采样特征图相加并对相加结果卷积处理，得到第三上采样特征图；分别对第二下采样特征图和第二卷积特征图进行卷积处理后，与上采样后的第三上采样特征图相加并对相加结果卷积处理，得到第二上采样特征图；分别对第二上采样特征图、第三上采样特征图和第四上采样特征图进行卷积处理后，输入FFM模块，得到该采集图像中所述视觉标记物的图像坐标。
在一种实施方式中，处理器303还用于：
使用所述探针点触待截骨骨骼表面，基于探针的形状数据以及点触时红外相机坐标系下的探针的视觉标记物定位数据，确定红外相机坐标系下的点触位置坐标；通过迭代最近点算法，将所述点触位置坐标与三维骨骼模型进行配准，确定所述三维骨骼模型与所述点触位置坐标的映射关系；基于所述三维骨骼模型与所述点触位置坐标的映射关系，将所述三维骨骼模型中规划的截骨平面位姿信息映射至待截骨骨骼的标记定位架的局部坐标系中。
本申请中，处理器还具体用于执行上述基于数字孪生的骨骼配准方法的所有流程及步骤，具体内容可参照骨骼配准方法中的记录，本申请中对此不再赘述。
本申请中，图17中仅示意性给出部分组件，并不意味着电子设备只包括图17所示组件。
本实施例提供的电子设备，与本申请实施例提供的基于数字孪生的骨骼配准方法出于相同的发明构思，具有与其存储的应用程序所采用、运行或实现的方法相同的有益效果。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可读存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(Flash RAM)。内存是计算机可读介质的示例。
本申请还提供一种与前述实施方式所提供的基于数字孪生的骨骼配准方法对应的计算机可读存储介质，其上存储有计算机程序(即程序产品)，所述计算机程序在被处理器运行时，会执行前述任意实施方式所提供的基于数字孪生的骨骼配准方法。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(Transitory Media)，如调制的数据信号和载波。
本申请的上述实施例提供的计算机可读存储介质与本申请实施例提供的基于数字孪生的骨骼配准方法出于相同的发明构思，具有与其存储的应用程序所采用、运行或实现的方法相同的有益效果。
需要说明的是，在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本申请的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的结构和技术，以便不模糊对本说明书的理解。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。
Claims (10)
1.一种基于数字孪生的骨骼配准方法，其特征在于，包括：
获取探针的三维参数以及关节骨骼的术前规划数据，所述三维参数至少包括该探针的视觉标记物与针尖的相对位置关系，所述关节骨骼的术前规划数据至少包括关节骨骼的三维骨骼模型；
根据三维骨骼模型的至少一个三维骨骼关键点以及所述三维参数，建立探针与三维骨骼模型的初始位姿关系，该初始位姿关系下，所述探针与所述三维骨骼模型的相对位置固定不变；
基于所述探针与所述三维骨骼模型的初始位姿关系以及双目相机、红外相机的图像数据，对所述三维骨骼模型和真实手术场景中的待截骨骨骼进行数字孪生配准；
基于所述探针、所述粗配准矩阵以及所述红外相机的图像数据，对所述三维骨骼模型和真实手术场景中的待截骨骨骼进行二次配准。
2.根据权利要求1所述的骨骼配准方法，其特征在于，所述基于所述探针与所述三维骨骼模型的初始位姿关系以及双目相机、红外相机的图像数据，对所述三维骨骼模型和真实手术场景中的待截骨骨骼进行数字孪生配准，包括：
获取所述双目相机的图像数据，该图像数据为由连续的二维图像组成的视频流；
基于所述初始位姿关系，将三维骨骼模型投影至所述视频流的二维图像中，所述二维图像中为双目相机坐标系下的真实手术场景图像；
调节所述探针的位姿以更改所述三维骨骼模型的位姿，直至所述三维骨骼模型在所述二维图像上的投影与该二维图像上的待截骨骨骼重合为止；
在三维骨骼模型的投影与所述待截骨骨骼重合状态下，获取探针的所述视觉标记物在所述红外相机坐标系下的定位数据；
基于探针的所述视觉标记物在所述红外相机坐标系下的定位数据，以及待截骨骨骼的标记定位架的所述视觉标记物在所述红外相机坐标系下的定位数据，确定所述探针的局部坐标系与所述待截骨骨骼的标记定位架的局部坐标系的映射关系；
基于所述探针的局部坐标系与所述待截骨骨骼的标记定位架的局部坐标系的映射关系，将所述三维骨骼模型的坐标系转换至所述待截骨骨骼的标记定位架的局部坐标系下，得到粗配准矩阵。
3.根据权利要求2所述的骨骼配准方法，其特征在于，所述基于所述探针与所述三维骨骼模型的初始位姿关系以及双目相机、红外相机的图像数据，对所述三维骨骼模型和真实手术场景中的待截骨骨骼进行数字孪生配准之后，还包括：
基于三维骨骼模型确定髓腔中线，并在髓腔中线的延长线上选取至少一个验证点；
基于所述初始位姿关系，将所述验证点投影至视频流的二维图像上；
基于投影后的二维图像，判断数字孪生配准结果的偏差，并在数字孪生配准结果的偏差过大的情况下，重新进行数字孪生配准。
4.根据权利要求2所述的骨骼配准方法，其特征在于，所述基于所述初始位姿关系，将三维骨骼模型投影至所述视频流的二维图像中，包括：
追踪所述视频流中所述探针的视觉标记物的坐标信息；
基于所述探针的三维参数、追踪到的所述视觉标记物的坐标信息，确定探针的局部坐标系与双目相机坐标系的映射关系；
根据探针的局部坐标系与双目相机坐标系的映射关系，将所述三维骨骼模型投影至双目相机坐标系下的所述视频流的二维图像中，所述二维图像中为双目相机坐标系下的真实手术场景图像。
5.根据权利要求4所述的骨骼配准方法，其特征在于，所述追踪所述视频流中所述探针的视觉标记物的坐标信息，包括：
获取所述双目相机至少一个相机的多帧采集图像；
将所述采集图像输入训练完成的多尺度空洞卷积网络模型中，得到该采集图像中探针的视觉标记物的图像坐标；
获取所述双目相机的内参矩阵与外参矩阵；
基于所述图像坐标、所述内参矩阵和所述外参矩阵，确定所述视觉标记物的坐标信息。
6.根据权利要求5所述的骨骼配准方法，其特征在于，所述将所述采集图像输入训练完成的多尺度空洞卷积网络模型中，得到该采集图像中探针的视觉标记物的图像坐标，包括：
对所述采集图像依次进行多次下采样，分别得到第二下采样特征图、第三下采样特征图和第四下采样特征图；
分别对第二下采样特征图、第三下采样特征图和第四下采样特征图进行卷积处理，得到对应的第二卷积特征图、第三卷积特征图和第四卷积特征图；
分别对第四下采样特征图和第四卷积特征图进行卷积处理后，相加并对相加结果卷积处理，得到第四上采样特征图；
分别对第三下采样特征图和第三卷积特征图进行卷积处理后，与上采样后的第四上采样特征图相加并对相加结果卷积处理，得到第三上采样特征图；
分别对第二下采样特征图和第二卷积特征图进行卷积处理后，与上采样后的第三上采样特征图相加并对相加结果卷积处理，得到第二上采样特征图；
分别对第二上采样特征图、第三上采样特征图和第四上采样特征图进行卷积处理后，输入FFM模块，得到该采集图像中所述视觉标记物的图像坐标。
7.根据权利要求1-6中任一项所述的骨骼配准方法，其特征在于，所述基于所述探针、所述粗配准矩阵以及所述红外相机的图像数据，对所述三维骨骼模型和真实手术场景中的待截骨骨骼进行二次配准，包括：
使用所述探针点触待截骨骨骼表面，基于探针的形状数据以及点触时红外相机坐标系下的探针的视觉标记物定位数据，确定红外相机坐标系下的点触位置坐标；
通过迭代最近点算法，将所述点触位置坐标与三维骨骼模型进行配准，确定所述三维骨骼模型与所述点触位置坐标的映射关系；
基于所述三维骨骼模型与所述点触位置坐标的映射关系，将所述三维骨骼模型中规划的截骨平面位姿信息映射至待截骨骨骼的标记定位架的局部坐标系中。
8.一种基于数字孪生的骨骼配准装置，其特征在于，包括：
数据获取模块，其用于获取探针的三维参数以及关节骨骼的术前规划数据，所述三维参数至少包括该探针的视觉标记物与针尖的相对位置关系，所述关节骨骼的术前规划数据至少包括关节骨骼的三维骨骼模型；
位姿固定模块，其用于根据三维骨骼模型的至少一个三维骨骼关键点以及所述三维参数，建立探针与三维骨骼模型的初始位姿关系，该初始位姿关系下，所述探针与所述三维骨骼模型的相对位置固定不变；
孪生配准模块，其用于基于所述探针与所述三维骨骼模型的初始位姿关系以及双目相机、红外相机的图像数据，对所述三维骨骼模型和真实手术场景中的待截骨骨骼进行数字孪生配准；
二次配准模块，其用于基于所述探针、所述粗配准矩阵以及所述红外相机的图像数据，对所述三维骨骼模型和真实手术场景中的待截骨骨骼进行二次配准。
9.一种电子设备，其特征在于，包括：存储器和处理器；
所述存储器，其用于存储程序；
所述处理器，耦合至所述存储器，用于执行所述程序，以用于：
获取探针的三维参数以及关节骨骼的术前规划数据，所述三维参数至少包括该探针的视觉标记物与针尖的相对位置关系，所述关节骨骼的术前规划数据至少包括关节骨骼的三维骨骼模型；
根据三维骨骼模型的至少一个三维骨骼关键点以及所述三维参数，建立探针与三维骨骼模型的初始位姿关系，该初始位姿关系下，所述探针与所述三维骨骼模型的相对位置固定不变；
基于所述探针与所述三维骨骼模型的初始位姿关系以及双目相机、红外相机的图像数据，对所述三维骨骼模型和真实手术场景中的待截骨骨骼进行数字孪生配准；
基于所述探针、所述粗配准矩阵以及所述红外相机的图像数据，对所述三维骨骼模型和真实手术场景中的待截骨骨骼进行二次配准。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行实现权利要求1-7任一项所述的基于数字孪生的骨骼配准方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311254134.1A CN117557601A (zh) | 2023-09-26 | 2023-09-26 | 一种基于数字孪生的骨骼配准方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311254134.1A CN117557601A (zh) | 2023-09-26 | 2023-09-26 | 一种基于数字孪生的骨骼配准方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117557601A true CN117557601A (zh) | 2024-02-13 |
Family
ID=89813532
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311254134.1A Pending CN117557601A (zh) | 2023-09-26 | 2023-09-26 | 一种基于数字孪生的骨骼配准方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117557601A (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105701788A (zh) * | 2014-11-24 | 2016-06-22 | 复旦大学 | 一种基于全局优化的神经导航自动空间配准方法 |
| CN107240129A (zh) * | 2017-05-10 | 2017-10-10 | 同济大学 | 基于rgb‑d相机数据的物体及室内小场景恢复与建模方法 |
| CN108694741A (zh) * | 2017-04-07 | 2018-10-23 | 杭州海康威视数字技术股份有限公司 | 一种三维重建方法及装置 |
| CN109215110A (zh) * | 2017-07-21 | 2019-01-15 | 湖南拓视觉信息技术有限公司 | 全场景扫描装置及三维扫描建模系统 |
| CN114119549A (zh) * | 2021-11-26 | 2022-03-01 | 卡本(深圳)医疗器械有限公司 | 一种多模态医学图像三维点云配准优化方法 |
| CN114463482A (zh) * | 2020-11-09 | 2022-05-10 | 北京理工大学 | 光学跟踪三维扫描仪的标定模型、方法及其手术导航系统 |
| CN116258752A (zh) * | 2023-03-07 | 2023-06-13 | 广州艾目易科技有限公司 | 配准方法、配准装置、电子设备和计算机可读存储介质 |
-
2023
- 2023-09-26 CN CN202311254134.1A patent/CN117557601A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105701788A (zh) * | 2014-11-24 | 2016-06-22 | 复旦大学 | 一种基于全局优化的神经导航自动空间配准方法 |
| CN108694741A (zh) * | 2017-04-07 | 2018-10-23 | 杭州海康威视数字技术股份有限公司 | 一种三维重建方法及装置 |
| CN107240129A (zh) * | 2017-05-10 | 2017-10-10 | 同济大学 | 基于rgb‑d相机数据的物体及室内小场景恢复与建模方法 |
| CN109215110A (zh) * | 2017-07-21 | 2019-01-15 | 湖南拓视觉信息技术有限公司 | 全场景扫描装置及三维扫描建模系统 |
| CN114463482A (zh) * | 2020-11-09 | 2022-05-10 | 北京理工大学 | 光学跟踪三维扫描仪的标定模型、方法及其手术导航系统 |
| CN114119549A (zh) * | 2021-11-26 | 2022-03-01 | 卡本(深圳)医疗器械有限公司 | 一种多模态医学图像三维点云配准优化方法 |
| CN116258752A (zh) * | 2023-03-07 | 2023-06-13 | 广州艾目易科技有限公司 | 配准方法、配准装置、电子设备和计算机可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10432913B2 (en) | Systems and methods for determining three dimensional measurements in telemedicine application | |
| US6999811B2 (en) | Method and device for the registration of two 3D image data sets | |
| CN112022355B (zh) | 基于计算机视觉的手眼标定方法及装置、存储介质 | |
| JP5355074B2 (ja) | ３次元形状データ処理装置、３次元形状データ処理方法及びプログラム | |
| US11257241B2 (en) | System and method for component positioning by registering a 3D patient model to an intra-operative image | |
| WO2016116946A9 (en) | A system and method for obtaining 3-dimensional images using conventional 2-dimensional x-ray images | |
| KR102450931B1 (ko) | 이미지 정합 방법 및 연관된 모델 훈련 방법, 기기, 장치 | |
| WO2019180745A1 (en) | Systems and methods for obtaining 3-d images from x-ray information for deformed elongate bones | |
| CN111494009A (zh) | 用于手术导航的图像配准方法、装置和手术导航系统 | |
| CN101467887A (zh) | 一种手术导航系统中x射线透视图像标定方法 | |
| WO2016178690A1 (en) | System and method for guidance of laparoscopic surgical procedures through anatomical model augmentation | |
| US10078906B2 (en) | Device and method for image registration, and non-transitory recording medium | |
| CN111862046A (zh) | 一种心脏冠脉剪影中导管位置判别系统和方法 | |
| JP2010074730A (ja) | 放送用バーチャルスタジオのズームレンズ搭載カメラのカメラキャリブレーション装置、その方法およびそのプログラム | |
| Li et al. | A vision-based navigation system with markerless image registration and position-sensing localization for oral and maxillofacial surgery | |
| CN117557601A (zh) | 一种基于数字孪生的骨骼配准方法及装置 | |
| CN116363093A (zh) | 一种用于寻找髋臼的旋转中心的方法与装置、手术规划系统及存储介质 | |
| JP4608152B2 (ja) | 三次元データ処理装置および三次元データ処理方法、並びにプログラム提供媒体 | |
| CN106580471A (zh) | 图像导航定位系统及方法 | |
| KR102577964B1 (ko) | 간 수술을 위한 정렬 시스템 | |
| Shin et al. | A single camera tracking system for 3D position, grasper angle, and rolling angle of laparoscopic instruments | |
| EP3655919A1 (en) | Systems and methods for determining three dimensional measurements in telemedicine application | |
| CN115690192A (zh) | 成像几何关系在线标定方法及相关产品 | |
| JP3548652B2 (ja) | 物体形状復元装置及びその方法 | |
| JP5904976B2 (ja) | ３次元データ処理装置、３次元データ処理方法及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |