CN116350346A - 基于空间扫描数字孪生的机器人空间运动轨迹规划方法 - Google Patents

基于空间扫描数字孪生的机器人空间运动轨迹规划方法 Download PDF

Info

Publication number
CN116350346A
CN116350346A CN202310333339.2A CN202310333339A CN116350346A CN 116350346 A CN116350346 A CN 116350346A CN 202310333339 A CN202310333339 A CN 202310333339A CN 116350346 A CN116350346 A CN 116350346A
Authority
CN
China
Prior art keywords
digital twin
soft tissue
model
facial
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310333339.2A
Other languages
English (en)
Inventor
柴岗
韩文卿
林力
张紫薇
赵志杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ninth Peoples Hospital Shanghai Jiaotong University School of Medicine
Original Assignee
Ninth Peoples Hospital Shanghai Jiaotong University School of Medicine
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ninth Peoples Hospital Shanghai Jiaotong University School of Medicine filed Critical Ninth Peoples Hospital Shanghai Jiaotong University School of Medicine
Priority to CN202310333339.2A priority Critical patent/CN116350346A/zh
Publication of CN116350346A publication Critical patent/CN116350346A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Abstract

本发明涉及一种基于空间扫描数字孪生的机器人空间运动轨迹规划方法，包括：获取患者术前多模态影像数据以及面部三维软组织扫描数据，将所述多模态影像数据和面部三维软组织扫描数据进行整合重建，得到整合模型；构建机器人系统模型，并将所述机器人系统模型融合到所述整合模型中；利用数字孪生技术将融合入所述机器人系统模型的整合模型转变为数字孪生训练平台；在所述数字孪生训练平台的基础上进行不同截骨方案的路径训练，计算软组织的碰撞概率和变形情况；根据不同路径的所述软组织的碰撞概率和变形情况选出机器人空间运动的最佳运动轨迹。本发明能够避免软组织碰撞带来的应用误差以及不稳定性。

Description

基于空间扫描数字孪生的机器人空间运动轨迹规划方法
技术领域
本发明涉及手术机器人控制技术领域，特别是涉及一种基于空间扫描数字孪生的机器人空间运动轨迹规划方法。
背景技术
在下颌骨手术中，合适的截骨面、保证手术效果与术前设计一致是手术成功的关键。在传统的下颌骨手术中，外科医生利用临床经验和医学影像对手术进行判断分析。口内切口是最常用的手术方法，但由于其视野狭窄，解剖关系复杂，手术难度大。手术机器人的应用为解决狭窄视野下的手术操作奠定基础。
然而，现有机器人运行过程中，仅依据术前影像资料难以对软组织变形进行模拟。因此，机器人术中应用时，常因软组织阻挡而应用失败甚至造成软组织挫伤、神经血管拉伤，增加了手术风险。
发明内容
本发明所要解决的技术问题是提供一种基于空间扫描数字孪生的机器人空间运动轨迹规划方法，能够避免软组织碰撞带来的应用误差以及不稳定性。
本发明解决其技术问题所采用的技术方案是：提供一种基于空间扫描数字孪生的机器人空间运动轨迹规划方法，包括以下步骤：
获取患者术前多模态影像数据以及面部三维软组织扫描数据，将所述多模态影像数据和面部三维软组织扫描数据进行整合重建，得到整合模型；
构建机器人系统模型，并将所述机器人系统模型融合到所述整合模型中；
利用数字孪生技术将融合入所述机器人系统模型的整合模型转变为数字孪生训练平台；
在所述数字孪生训练平台的基础上进行不同截骨方案的路径训练，计算软组织的碰撞概率和变形情况；
根据不同路径的所述软组织的碰撞概率和变形情况选出机器人空间运动的最佳运动轨迹。
所述获取患者术前多模态影像数据以及面部三维软组织扫描数据，将所述多模态影像数据和面部三维软组织扫描数据进行整合重建，具体包括：
在光学探针的光学识别标准坐标系中，利用所述光学探针的标记物进行患者位姿标定，通过所述光学探针进行所述标记物的识别，对面部三维软组织进行实时的三维建模，得到面部软组织的三维模型；
基于所述面部软组织的三维模型的数据进行提取，得到面部三维软组织扫描数据；
利用牙缝黏膜配准点测得的坐标，将面部三维软组织扫描数据和术前全头颅CT断层扫描数据进行整合重建，得到整合模型。
所述利用数字孪生技术将融合入所述机器人系统模型的整合模型转变为数字孪生训练平台时，使用数字孪生技术对所述机器人系统模型在术中的使用场景进行定义，并融合台车和机械臂的逆向测量数据，对所述机器人系统模型的数据进行数字化重构。
所述在所述数字孪生训练平台的基础上进行不同截骨方案的路径训练时，采用平滑差值算法进行路径优化，具体为：使用梯度下降法，移动和插入顶点使得离障碍物更远和离障碍物近的地方路径点更密集，并使用基于cost的short-cutting方法删除不必要的路径点。
有益效果
由于采用了上述的技术方案，本发明与现有技术相比，具有以下的优点和积极效果：本发明依据面部软组织扫描与空间建立数据，进行数字孪生模拟平台训练，完成机器人运动轨迹规划。其中，面部扫描数据由光学数字探针获得，与术前CT数据拟合，并结合计数器人模型建立数字孪生训练平台；在数字孪生训练平台的基础上，进行不同截骨方案的路径训练，计算软组织碰撞概率和变形情况，得到最佳运动轨迹，从而避免软组织碰撞带来的应用误差以及不稳定性。
附图说明
图1是本发明实施方式的流程图。
具体实施方式
下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。
本发明的实施方式涉及一种基于空间扫描数字孪生的机器人空间运动轨迹规划方法，如图1所示，包括以下步骤：
步骤1，获取患者术前多模态影像数据以及面部三维软组织扫描数据，将所述多模态影像数据和面部三维软组织扫描数据进行整合重建，得到整合模型。具体地说，本步骤包括：
使用注册光学追踪设备的光学探针，在该光学探针的光学识别标准坐标系中，利用所述光学探针的标记物进行患者位姿标定，通过所述光学探针进行所述标记物的识别，对面部三维软组织进行实时的三维建模，得到面部软组织的三维模型；
基于所述面部软组织的三维模型的数据进行提取，得到面部三维软组织扫描数据；
利用牙缝黏膜配准点测得的坐标，将面部三维软组织扫描数据和术前全头颅CT断层扫描数据共同导入术前三维设计软件(Mimics21.0，Materialisecompany，Belgium)中进行整合重建，得到整合模型。
步骤2，构建机器人系统模型，并将所述机器人系统模型融合到所述整合模型中，本步骤中将机器人系统进行建模，得到机器人系统模型，将得到的机器人系统模型融合到整合模型中。
步骤3，利用数字孪生技术将融合入所述机器人系统模型的整合模型转变为数字孪生训练平台。在本步骤中，使用数字孪生技术对所述机器人系统模型在术中的使用场景进行定义，并融合台车和机械臂的逆向测量数据，对所述机器人系统模型的数据进行数字化重构，从而使得机器人能够与机器人系统模型形成同步关系。
步骤4，在所述数字孪生训练平台的基础上进行不同截骨方案的路径训练，计算软组织的碰撞概率和变形情况。本步骤中，为避免急剧拐弯的曲率大路径，使用平滑差值算法实现路径优化，具体为：使用梯度下降法，移动和插入顶点使得离障碍物更远和离障碍物近的地方路径点更密集，并使用基于cost的short-cutting方法删除不必要的路径点。
步骤5，根据不同路径的所述软组织的碰撞概率和变形情况选出机器人空间运动的最佳运动轨迹。
不难发现，本发明依据面部软组织扫描与空间建立数据，进行数字孪生模拟平台训练，完成机器人运动轨迹规划。其中，面部扫描数据由光学数字探针获得，与术前CT数据拟合，并结合计数器人模型建立数字孪生训练平台；在数字孪生训练平台的基础上，进行不同截骨方案的路径训练，计算软组织碰撞概率和变形情况，得到最佳运动轨迹，从而避免软组织碰撞带来的应用误差以及不稳定性。

Claims (4)

1.一种基于空间扫描数字孪生的机器人空间运动轨迹规划方法，其特征在于，包括以下步骤：
获取患者术前多模态影像数据以及面部三维软组织扫描数据，将所述多模态影像数据和面部三维软组织扫描数据进行整合重建，得到整合模型；
构建机器人系统模型，并将所述机器人系统模型融合到所述整合模型中；
利用数字孪生技术将融合入所述机器人系统模型的整合模型转变为数字孪生训练平台；
在所述数字孪生训练平台的基础上进行不同截骨方案的路径训练，计算软组织的碰撞概率和变形情况；
根据不同路径的所述软组织的碰撞概率和变形情况选出机器人空间运动的最佳运动轨迹。
2.根据权利要求1所述的基于空间扫描数字孪生的机器人空间运动轨迹规划方法，其特征在于，所述获取患者术前多模态影像数据以及面部三维软组织扫描数据，将所述多模态影像数据和面部三维软组织扫描数据进行整合重建，具体包括：
在光学探针的光学识别标准坐标系中，利用所述光学探针的标记物进行患者位姿标定，
通过所述光学探针进行所述标记物的识别，对面部三维软组织进行实时的三维建模，得到面部软组织的三维模型；
基于所述面部软组织的三维模型的数据进行提取，得到面部三维软组织扫描数据；
利用牙缝黏膜配准点测得的坐标，将面部三维软组织扫描数据和术前全头颅CT断层扫描数据进行整合重建，得到整合模型。
3.根据权利要求1所述的基于空间扫描数字孪生的机器人空间运动轨迹规划方法，其特征在于，所述利用数字孪生技术将融合入所述机器人系统模型的整合模型转变为数字孪生训练平台时，使用数字孪生技术对所述机器人系统模型在术中的使用场景进行定义，并融合台车和机械臂的逆向测量数据，对所述机器人系统模型的数据进行数字化重构。
4.根据权利要求1所述的基于空间扫描数字孪生的机器人空间运动轨迹规划方法，其特征在于，所述在所述数字孪生训练平台的基础上进行不同截骨方案的路径训练时，采用平滑差值算法进行路径优化，具体为：使用梯度下降法，移动和插入顶点使得离障碍物更远和离障碍物近的地方路径点更密集，并使用基于cost的short-cutting方法删除不必要的路径点。
CN202310333339.2A 2023-03-31 2023-03-31 基于空间扫描数字孪生的机器人空间运动轨迹规划方法 Pending CN116350346A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310333339.2A CN116350346A (zh) 2023-03-31 2023-03-31 基于空间扫描数字孪生的机器人空间运动轨迹规划方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310333339.2A CN116350346A (zh) 2023-03-31 2023-03-31 基于空间扫描数字孪生的机器人空间运动轨迹规划方法

Publications (1)

Publication Number Publication Date
CN116350346A true CN116350346A (zh) 2023-06-30

Family

ID=86935931

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310333339.2A Pending CN116350346A (zh) 2023-03-31 2023-03-31 基于空间扫描数字孪生的机器人空间运动轨迹规划方法

Country Status (1)

Country Link
CN (1) CN116350346A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117159144A (zh) * 2023-09-06 2023-12-05 北京长木谷医疗科技股份有限公司 膝关节韧带重建手术机器人导航定位系统及方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117159144A (zh) * 2023-09-06 2023-12-05 北京长木谷医疗科技股份有限公司 膝关节韧带重建手术机器人导航定位系统及方法

Similar Documents

Publication Publication Date Title
CN109785374B (zh) 一种牙科增强现实手术导航的自动实时无标记图像配准方法
JP5702861B2 (ja) 解剖学的表面の支援型自動データ収集方法
CN111529063B (zh) 基于三维重建的多模态融合的手术导航系统及方法
CN112370163B (zh) 用于下颌骨重建的腓骨移植手术机器人
JP2966089B2 (ja) 不均質組織内部における局部手術用対話型装置
CN1998022B (zh) 用来驱动用于正颌手术的治疗计划的方法及其器械
CN107951538B (zh) 联合骨切除与钛板定位的3d打印腓骨重建颌骨手术工具的制造方法
TWI396523B (zh) 用以加速牙科診斷及手術規劃之系統及其方法
CN102784003B (zh) 一种基于结构光扫描的椎弓根内固定手术导航系统
EP1486900A1 (en) Method and system for manufacturing a surgical guide
US20230410453A1 (en) Readable storage medium, bone modeling registration system and orthopedic surgical system
WO2020133868A1 (zh) 一种牙科种植导航手术的标定、追踪方法和装置
CN108201470B (zh) 一种自主式种植牙机器人系统及其设备和方法
Jiang et al. Registration technology of augmented reality in oral medicine: A review
CN112641512B (zh) 一种应用于手术机器人前规划的空间配准方法
JP2016512973A (ja) 身体に対して対象を追跡するための追跡装置
CN107854177A (zh) 一种基于光学定位配准的超声与ct/mr图像融合手术导航系统及其方法
KR101831514B1 (ko) 환자의 악골의 움직임 추정이 반영된 증강현실 시스템 및 증강현실 제공방법
CN114668534B (zh) 一种用于口腔种植牙手术的术中种植精度检测系统和方法
CN115105207A (zh) 基于混合现实的手术全息导航方法及系统
CN116350346A (zh) 基于空间扫描数字孪生的机器人空间运动轨迹规划方法
CN112972027A (zh) 一种利用混合现实技术的正畸微种植体植入定位方法
CN115153835A (zh) 基于特征点配准与增强现实的髋臼假体放置引导系统及方法
Shao et al. Augmented reality navigation with real-time tracking for facial repair surgery
CN111658142A (zh) 一种基于mr的病灶全息导航方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination