CN117323004B - 一种脊柱手术机器人导航定位系统 - Google Patents
一种脊柱手术机器人导航定位系统 Download PDFInfo
- Publication number
- CN117323004B CN117323004B CN202311255934.5A CN202311255934A CN117323004B CN 117323004 B CN117323004 B CN 117323004B CN 202311255934 A CN202311255934 A CN 202311255934A CN 117323004 B CN117323004 B CN 117323004B
- Authority
- CN
- China
- Prior art keywords
- downsampling
- result
- spine
- placement
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001356 surgical procedure Methods 0.000 title description 38
- 238000000034 method Methods 0.000 claims abstract description 44
- 230000033001 locomotion Effects 0.000 claims abstract description 32
- 238000002513 implantation Methods 0.000 claims abstract description 28
- 238000003709 image segmentation Methods 0.000 claims abstract description 27
- 230000008569 process Effects 0.000 claims abstract description 25
- 230000002980 postoperative effect Effects 0.000 claims abstract description 24
- 238000011156 evaluation Methods 0.000 claims abstract description 21
- 238000012545 processing Methods 0.000 claims abstract description 18
- 230000009471 action Effects 0.000 claims abstract description 17
- 238000009434 installation Methods 0.000 claims abstract description 9
- 230000004927 fusion Effects 0.000 claims description 87
- 238000012549 training Methods 0.000 claims description 37
- 238000013135 deep learning Methods 0.000 claims description 29
- 238000005070 sampling Methods 0.000 claims description 29
- 230000002787 reinforcement Effects 0.000 claims description 27
- RTAQQCXQSZGOHL-UHFFFAOYSA-N Titanium Chemical compound [Ti] RTAQQCXQSZGOHL-UHFFFAOYSA-N 0.000 claims description 20
- 238000010586 diagram Methods 0.000 claims description 20
- 230000006870 function Effects 0.000 claims description 19
- 230000008707 rearrangement Effects 0.000 claims description 14
- 230000000007 visual effect Effects 0.000 claims description 9
- 238000005457 optimization Methods 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 238000003780 insertion Methods 0.000 claims 1
- 230000037431 insertion Effects 0.000 claims 1
- 239000003795 chemical substances by application Substances 0.000 description 42
- 238000013136 deep learning model Methods 0.000 description 19
- 210000000988 bone and bone Anatomy 0.000 description 14
- 230000000694 effects Effects 0.000 description 12
- 238000012937 correction Methods 0.000 description 11
- 238000004422 calculation algorithm Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 9
- 230000036544 posture Effects 0.000 description 9
- 210000004872 soft tissue Anatomy 0.000 description 5
- 230000006872 improvement Effects 0.000 description 4
- 210000001503 joint Anatomy 0.000 description 4
- 238000011084 recovery Methods 0.000 description 4
- 238000012795 verification Methods 0.000 description 4
- 210000003484 anatomy Anatomy 0.000 description 3
- 238000013459 approach Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 229910052719 titanium Inorganic materials 0.000 description 3
- 239000010936 titanium Substances 0.000 description 3
- 238000011282 treatment Methods 0.000 description 3
- 208000027418 Wounds and injury Diseases 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000006378 damage Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 208000014674 injury Diseases 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 210000003205 muscle Anatomy 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 206010010071 Coma Diseases 0.000 description 1
- 208000032843 Hemorrhage Diseases 0.000 description 1
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 208000028389 Nerve injury Diseases 0.000 description 1
- 208000035965 Postoperative Complications Diseases 0.000 description 1
- 206010058907 Spinal deformity Diseases 0.000 description 1
- 208000034158 bleeding Diseases 0.000 description 1
- 230000000740 bleeding effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000002591 computed tomography Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000007943 implant Substances 0.000 description 1
- 208000015181 infectious disease Diseases 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000008764 nerve damage Effects 0.000 description 1
- 231100000915 pathological change Toxicity 0.000 description 1
- 230000036285 pathological change Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000011158 quantitative evaluation Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 206010039722 scoliosis Diseases 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/70—Manipulators specially adapted for use in surgery
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2576/00—Medical imaging apparatus involving image processing or analysis
Landscapes
- Health & Medical Sciences (AREA)
- Surgery (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Robotics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Image Analysis (AREA)
Abstract
本申请提供了一种脊柱手术机器人导航定位系统，包括：图像分割单元，用于对脊柱图像进行处理，识别和分割出脊柱区域；放置规划单元，用于对植入式医疗器械的放置策略进行规划；术中配准单元，用于对术中脊柱图像和术前的脊柱图像进行点云配准；路径规划单元，用于规划机械臂的运动轨迹；器械植入单元，用于控制所述机械臂执行植入式医疗器械的安装动作；术后评估单元，用于对手术结果进行评估。本申请中，可以基于术前‑术中的高精度配准，控制机械臂完成自主植入式医疗器械安装操作，实现脊柱手术机器人在手术过程中的自动化操作，减少人为干预，进而减小由于人为干预所带来的误差，提高了手术的准确性、稳定性以及手术效率。
Description
技术领域
本申请涉及医疗器械技术领域，具体而言，涉及一种脊柱手术机器人导航定位系统。
背景技术
脊柱手术是一种常见且复杂的外科手术过程，用于治疗脊柱相关的疾病和损伤。传统的脊柱手术通常需要医生凭借丰富的经验和视觉判断来进行操作，但这种方式存在一定的局限性和风险。近年来，随着机器人技术和计算机辅助手术的发展，脊柱手术机器人逐渐成为一种新兴的技术，为脊柱手术带来了巨大的变革和进步。
当前，在引入脊柱手术机器人的情况下，脊柱手术机器人仅参与术前规划，对于术中的这些操作一般都是手动进行的，这种手术方式速度慢，且由于手术经验的差异造成医生的手术水平参差不齐，手术效果可能不及预期。
发明内容
本申请解决的问题是当前手动手术由于个体不同造成的手术水平参差不齐，手术效果不及预期问题。
为解决上述问题，本申请提供了一种脊柱手术机器人导航定位系统，其包括：
图像分割单元，用于对输入的脊柱图像进行处理，识别和分割出脊柱区域；
放置规划单元，用于基于强化学习对植入式医疗器械的放置策略进行规划，所述植入式医疗器械包括螺钉、融合器、钛棒和横连中的至少一种；
术中配准单元，用于基于深度学习对输入的术中脊柱图像和术前的脊柱图像进行点云配准；
路径规划单元，用于根据点云配准结果确定植入式医疗器械的目标位置，并规划机械臂的运动轨迹；
器械植入单元，用于根据所述运动轨迹控制所述机械臂执行植入式医疗器械的安装动作；
术后评估单元，用于基于术后图像与患者数据对手术结果进行评估。
进一步地，所述图像分割单元，在对输入的脊柱图像进行处理，识别和分割出脊柱区域时，具体用于：
获取输入的连续CT图像；
对输入的所述连续CT图像，进行多次下采样，得到下采样后的特征图；
将下采样后的特征图输入Transformer模块，得到特征融合后的特征图；
对特征融合后的特征图进行多次上采样，得到分割出的脊柱区域，所述上采样次数与所述下采样次数相同，所述脊柱区域中每个脊椎具有不同的标签。
进一步地，所述图像分割单元，在对特征融合后的特征图进行多次上采样，得到分割出的脊柱区域时，具体用于：
将每次下采样的下采样结果输入多注意力模块，得到多视角的下采样结果；
将每次下采样对应的多视角的下采样结果与每次上采样的上采样结果结合，并进行后一次上采样，直至得到所述分割出的脊柱区域。
进一步地，所述图像分割单元，在将每次下采样对应的多视角的下采样结果与每次上采样的上采样结果结合，并进行后一次上采样，直至得到所述分割出的脊柱区域时，具体用于：
对特征融合后的特征图进行第一次上采样，得到第一上采样结果；
将第一上采样结果与多视角的第三下采样结果结合，得到第一融合特征图；
对第一融合特征图进行第二次上采样，得到第二上采样结果；
将第二上采样结果与多视角的第二下采样结果结合，得到第二融合特征图；
对第二融合特征图进行第三次上采样，得到第三上采样结果；
将第三上采样结果与多视角的第一下采样结果结合，得到第三融合特征图；
对第三融合特征图进行第四次上采样，得到所述分割出的脊柱区域；所述多视角的第一下采样结果、第二下采样结果、第三下采样结果分别为将第一次下采样、第二次下采样、第三次下采样的下采样结果输入对应的多注意力模块得到的。
进一步地，所述图像分割单元，在将每次下采样的下采样结果输入多注意力模块，得到多视角的下采样结果时，具体用于：
将每次下采样的下采样结果进行冠状位转换，得到冠状位视图；
将所述冠状位视图输入Transformer模块，得到特征融合后的冠状位重排图；
将每次下采样的下采样结果进行矢状位转换，得到矢状位视图；
将所述矢状位视图输入Transformer模块，得到特征融合后的矢状位重排图；
将所述下采样结果、所述冠状位重排图和所述矢状位重排图进行融合，得到所述多视角的下采样结果。
进一步地，所述放置规划单元，在基于强化学习对植入式医疗器械的放置策略进行规划时，具体用于：
获取待放置植入式医疗器械的放置信息，所述放置信息包括类别、数量及放置位置；
基于所述放置信息选取与类别、数量及放置位置对应的放置策略；
基于选取的所述放置策略对设定类别、数量及放置位置的所述植入式医疗器械的放置过程进行规划。
进一步地，所述放置规划单元，在基于强化学习对植入式医疗器械的放置策略进行规划之前，还用于：
获取植入式医疗器械训练数据，所述植入式医疗器械训练数据包括术前的3D脊柱图像、每个螺钉、每个融合器、每个钛棒和每个横连的位置信息和姿态信息、每个植入式医疗器械的放置结果；
基于所述植入式医疗器械训练数据建立多智能体强化学习环境，确定智能体的状态空间、动作空间和奖励函数，每个螺钉、每个融合器、每个钛棒、每个横连均为一个智能体；
构建每个智能体的放置策略以及智能体之间的协作策略，相同类别且不同个体的智能体的策略网络结构相同；
基于所述放置策略和协作策略，对智能体进行训练，得到每个智能体优化后的放置策略。
进一步地，所述螺钉的状态空间包括入钉点、直径、长度、横断面倾角和矢状面倾角；所述螺钉的奖励函数由螺钉中心与椎弓根中轴线的偏移、螺钉是否突破椎体前缘、螺钉直径与椎弓根直径的相对关系、螺钉长度与椎体长度的相对关系确定。
进一步地，所述融合器的状态空间包括位置、长度、高度、宽度和倾角；所述融合器的奖励函数由添加融合器后脊柱的评测生理曲度以及脊柱的评测融合率确定。
进一步地，所述钛棒的状态空间包括位置、直径、长度和弯曲度；所述融合器的奖励函数由钛棒螺钉连接的稳定性确定。
进一步地，所述横连的状态空间包括位置和长度；所述融合器的奖励函数由评测结果稳定性、横连的结构刚性评估确定。
进一步地，所述术中配准单元，在基于深度学习对输入的术中脊柱图像和术前的脊柱图像进行点云配准时，具体用于：
获取术中X光图像，所述X光图像包括冠状位图像和矢状位图像；
基于已训练的第一深度学习网络对X光图像进行识别和分割，得到识别后的3D脊柱图像；
确定3D脊柱图像中的各个待手术脊椎；
基于已训练的第二深度学习网络将术前的3D脊柱图像分别与各个待手术脊椎配准。
本申请中，通过图像分割单元对脊柱区域进行识别和分割，通过放置规划单元对植入式医疗器械的放置进行术前规划，通过术中配准单元对术前的3D脊柱图像和术中的X光进行配准，以实现术前-术中的高精度对应，从而在此基础上完成脊柱植入式医疗器械的安装。
本申请中，可以基于术前-术中的高精度配准，控制机械臂完成自主植入式医疗器械安装操作，实现脊柱手术机器人在手术过程中的自动化操作，减少人为干预，进而减小由于人为干预所带来的误差，提高了手术的准确性、稳定性以及手术效率。
附图说明
图1为根据本申请实施例的脊柱手术机器人导航定位系统的架构图；
图2为根据本申请实施例的脊柱手术机器人导航定位系统图像识别与分割的模型架构图；
图3为根据本申请实施例的脊柱手术机器人导航定位系统多注意力模块的架构图；
图4为根据本申请实施例的脊柱手术机器人导航定位系统多智能体强化学习的架构图；
图5A为根据本申请实施例的脊柱手术机器人导航定位系统螺钉的放置示意图；
图5B为根据本申请实施例的脊柱手术机器人导航定位系统融合器的放置示意图；
图5C为根据本申请实施例的脊柱手术机器人导航定位系统钛棒的放置示意图；
图5D为根据本申请实施例的脊柱手术机器人导航定位系统横连的放置示意图；
图6为根据本申请实施例的脊柱手术机器人导航定位系统多智能体强化学习环境的示意图；
图7为根据本申请实施例的脊柱手术机器人导航定位系统术中配准单元的具体执行过程；
图8为根据本申请实施例的脊柱手术机器人导航定位系统路径规划单元的具体执行过程。
具体实施方式
为使本申请的上述目的、特征和优点能够更为明显易懂，下面结合附图对本申请的具体实施例做详细的说明。虽然附图中显示了本申请的示例性实施方式，然而应当理解，可以以各种形式实现本申请而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了能够更透彻地理解本申请，并且能够将本申请的范围完整的传达给本领域的技术人员。
需要注意的是，除非另有说明，本申请使用的技术术语或者科学术语应当为本申请所属领域技术人员所理解的通常意义。
脊柱手术是一种常见且复杂的外科手术过程，用于治疗脊柱相关的疾病和损伤。传统的脊柱手术通常需要医生凭借丰富的经验和视觉判断来进行操作，但这种方式存在一定的局限性和风险。近年来，随着机器人技术和计算机辅助手术的发展，脊柱手术机器人逐渐成为一种新兴的技术，为脊柱手术带来了巨大的变革和进步。
当前，在引入脊柱手术机器人的情况下，脊柱手术机器人仅参与术前规划，对于术中的这些操作一般都是手动进行的，这种系统速度慢，且由于手术经验的差异造成医生的手术水平参差不齐，手术效果可能不及预期。
针对上述问题，本申请提供一种新的脊柱手术机器人导航定位系统方案，能够通过术前规划，术中配准的方式控制机械臂完成脊柱植入式医疗器械的安装，解决当前手动手术由于个体不同造成的手术水平参差不齐，手术效果不及预期的问题。
为了便于理解，在此对下述可能使用的术语进行解释：
本申请实施例提供了一种脊柱手术机器人导航定位系统，该系统的具体方案由图1-图6所示。
结合图1所示，其为根据本申请一个实施例的脊柱手术机器人导航定位系统的架构图；其中，所述脊柱手术机器人导航定位系统，包括：
图像分割单元101，用于对输入的脊柱图像进行处理，识别和分割出脊柱区域；
本申请中，输入的脊柱图像为CT图像；识别和分割出脊柱区域，即是生成脊柱的三维图像，且脊柱中的每个脊椎均具有标识。
结合图6所示，其为生成的脊柱的三维图像，其中每个脊椎均通过不同颜色进行标记。
需要说明的是，将脊柱的三维图像生成图6所示的3D图像，通过不同颜色作为标识，是为了医护人员便于识别；本申请中还可以通过其他方式进行标识，如数字、符号等等；具体标识方式本申请中不再赘述。
在一中实施方式中，通过3D图像分割网络对输入的脊柱图像进行处理，识别和分割出脊柱区域。
本申请中，通过深度网络进行图像识别和分割，从而可以在后台对深度网络进行训练，训练完成后直接对输入的脊柱图像进行识别和分割，自动输出脊柱区域结果。
本单元中，使用3D图像分割网络，以自动识别和分割出脊柱区域。通过对CT图像进行处理和分析，该3D图像分割网络可以准确地提取出脊柱的结构和边界，为后续的手术规划和操作提供重要基础。
放置规划单元102，用于基于强化学习对植入式医疗器械的放置策略进行规划，所述植入式医疗器械包括螺钉、融合器、钛棒和横连中的至少一种；
本申请中，所述植入式医疗器械为植入人体的医疗器械。本申请中，用于植入脊柱的医疗器械包括螺钉、融合器、钛棒和横连。
其中，脊柱手术中，螺钉主要用于椎弓根、椎弓根峡部、椎板、侧块等固定以及支持、支撑等作用。
融合器，为假体的一种，主要用于脊柱融合手术，以取代受损的椎间盘，并为两个椎骨融合提供理想的环境。本申请中，脊椎间融合器为假体。
需要说明的是，融合器一般具有配件螺钉，以对融合器进行固定等；在进行植入式医疗器械的放置策略规划时，可以将融合器与配件螺钉视为一个融合器，并将植入状态的融合器的大小、形状等约束限定为融合器与配件螺钉结合后的大小、形状等；也可以将融合器与配件螺钉视为多个智能体，但是需要在融合器与对应的配件螺钉之间设置对应的约束，以对融合器与配件螺钉的相互位置关系、相对姿态或植入的顺序等进行限定。
本申请中，在脊柱手术中，钛棒主要用于脊柱矫形。
本申请中，横连为横向连接装置的简称，其主要用于在脊柱后路内固定系统中与纵向脊椎杆相连，形成框架结构。
本申请中，所述植入式医疗器械的放置策略，为所述植入式医疗器械的放置信息的生成过程，基于该放置策略，可以在输入需要放置的植入式医疗器械的放置目标的基础上，直接生成植入式医疗器械的放置信息。
例如，实际执行时需要在相邻的两个脊椎上放置四个螺钉和一个融合器，则将四个螺钉以及融合器的放置目标输入对应的放置策略后，执行该放置策略，生成四个螺钉以及融合器在相邻脊椎上的最终放置位置和放置姿态。
本申请中，在确定放置策略后，基于该放置策略直接确定植入的植入式医疗器械的放置信息。
在一种实施方式中，每个智能体的放置策略均不相同。
在一种实施方式中，相同类型的智能体的放置策略架构相同，具体放置参数不同。
其中，螺钉与螺钉为相同类型的智能体，螺钉与横连伟不同类型的智能体；在将融合器与配件螺钉视为一个融合器的情况下，具有配件螺钉的融合器与不具有配件螺钉的融合器则为不同类型的智能体。
本单元中，引入强化学习方法，以使脊柱手术机器人导航定位系统能够自动放置螺钉、融合器、钛棒和横连等植入式医疗器械，通过训练脊柱手术机器人导航定位系统进行决策和动作选择，可以实现自动化的手术操作，提高手术的准确性和效率。
术中配准单元103，用于基于深度学习对输入的术中脊柱图像和术前的脊柱图像进行点云配准；
本申请中，术中脊柱图像为X射线医学图像；对于基于术前的脊柱图像确定的植入式医疗器械的放置信息，只有与术中的脊柱图像进行对准之后，才具有可行性。
本单元中，利用深度学习技术实现了术前CT图像和术中患者身体的点云配准。通过分析和匹配术前和术中的点云数据，可以实现高精度的配准，确保手术操作在正确的解剖位置进行。
路径规划单元104，用于根据点云配准结果确定植入式医疗器械的目标位置，并规划机械臂的运动轨迹；
本单元中，可以利用强化学习算法或人工势场法来规划机器人机械臂的运动路径。通过学习和优化，机器人可以根据手术任务的要求和患者的解剖结构，自主决策并规划出最优的运动路径，从而实现高效、精确的手术操作。
需要说明的是，所述机械臂的运动轨迹，是在已确定由皮肤外进入脊柱部分的可用空间的基础上进行的；对于如何切开皮肤，打通进入对应脊椎的通道的过程(以及脊柱手术完成后的肌肉复位和缝合)，可以由手术医生人工进行，也可以由其他手术机器人完成，或者也可以在该脊柱手术机器人上加装额外的机械臂或机械臂的操作头来完成。
本单元中，植入式医疗器械的目标位置，即为植入式医疗器械的放置信息，包括植入式医疗器械的放置位置和放置姿态。
器械植入单元105，用于根据所述运动轨迹控制所述机械臂执行植入式医疗器械的安装动作；
本单元中，利用深度学习技术或运动学约束公式对机器人机械臂的力度、速度和角度进行智能调节，以实现准确的植入式医疗器械安放。通过学习和感知患者的解剖结构和手术环境，机器人可以根据实时反馈和情境变化进行自适应调整，确保植入式医疗器械的安全和准确性。
术后评估单元106，用于基于术后图像与患者数据对手术结果进行评估。
本单元中，利用深度学习技术实现了对术后效果的智能评估。通过分析术后图像和患者数据，我们可以利用深度学习算法对手术结果进行定量和定性的评估。这种智能评估系统可以提供及时的反馈和准确的结果，帮助医生评估手术的成功程度，并为患者的术后治疗和康复提供指导。
本申请中，通过图像分割单元对脊柱区域进行识别和分割，通过放置规划单元对植入式医疗器械的放置进行术前规划，通过术中配准单元对术前的3D脊柱图像和术中的X光进行配准，以实现术前-术中的高精度对应，从而在此基础上完成脊柱植入式医疗器械的安装。
本申请中，可以基于术前-术中的高精度配准，控制机械臂完成自主植入式医疗器械安装操作，实现脊柱手术机器人在手术过程中的自动化操作，减少人为干预，进而减小由于人为干预所带来的误差，提高了手术的准确性、稳定性以及手术效率。
结合图2所示，在一种实施方式中，所述图像分割单元，在对输入的脊柱图像进行处理，识别和分割出脊柱区域时，具体用于：
获取输入的连续CT图像；
对输入的所述连续CT图像，进行多次下采样，得到下采样后的特征图；
将下采样后的特征图输入Transformer模块，得到特征融合后的特征图；
对特征融合后的特征图进行多次上采样，得到分割出的脊柱区域，所述上采样次数与所述下采样次数相同，所述脊柱区域中每个脊椎具有不同的标签。
本申请中，输入的连续CT图像，为对同一对象(或该对象的脊柱部分)拍摄获取不同层的切片图像；基于该连续CT图像，可以获知该对象的脊柱数据。
本申请中，通过下采样进行编码，通过上采样进行解码，从而分割出脊柱区域。
本申请中，通过Transformer模块对下采样后的特征图进行全局特征提取，从而将特征进行融合提取。
如图2所示，其为图像分割单元的3D图像分割网络的架构图。整个3D图像分割网络的输入图像为CT图像，通过深度学习网络后，最终分割出脊柱，并对每个脊柱赋予不同的标签。
需要说明的是，图2为3D图像分割网络的架构图，但是图中并没有将全连接层、Relu层等全部绘制出，仅示出了主要架构，部分内容进行了省略处理。实际处理时，可以基于需求添加对应的处理层。
图2中右向(朝右)的箭头图标表示卷积处理，朝上的箭头图标表示上采样处理，虚线箭头(具有箭头的虚线)表示下采样处理，虚线方框圈住的部分表示内部的各个特征进行拼接，拼接后的拼接结果执行后续处理过程。图中CSA模块为多注意力模块。
本申请中，拼接处理为Concat处理，具体为通道数的合并，也即是描述图像本身的特征数(通道数)增加了，但每一个特征下的信息没有增加。基于该处理方式，可以避免在合并时的多个特征图的特征出现信息损失。
结合图2所示，在一种实施方式中，所述图像分割单元，在对特征融合后的特征图进行多次上采样，得到分割出的脊柱区域时，具体用于：
将每次下采样的下采样结果输入多注意力模块，得到多视角的下采样结果；
将每次下采样对应的多视角的下采样结果与每次上采样的上采样结果结合，并进行后一次上采样，直至得到所述分割出的脊柱区域。
本申请中，通过多注意力模块将下采样结果与上采样结果进行结合，从而保留下采样-上采样过程中的信息损失。
本申请中，通过多注意力模块通过对输入的下采样结果进行处理，通过调整下采样结果中各个特征的位置，得到不同视角下的视角转换图像后融合，进而得到多视角的下采样结果。基于此，在下采样结果转换为多个角度的注意力调整的图像，从而利用多视角的特征，对多个视角对特征的影响进行融合，提高整体模型的准确性。
结合图2所示，在一种实施方式中，所述图像分割单元，在将每次下采样对应的多视角的下采样结果与每次上采样的上采样结果结合，并进行后一次上采样，直至得到所述分割出的脊柱区域时，具体用于：
对特征融合后的特征图进行第一次上采样，得到第一上采样结果；
将第一上采样结果与多视角的第三下采样结果结合，得到第一融合特征图；
对第一融合特征图进行第二次上采样，得到第二上采样结果；
将第二上采样结果与多视角的第二下采样结果结合，得到第二融合特征图；
对第二融合特征图进行第三次上采样，得到第三上采样结果；
将第三上采样结果与多视角的第一下采样结果结合，得到第三融合特征图；
对第三融合特征图进行第四次上采样，得到所述分割出的脊柱区域；所述多视角的第一下采样结果、第二下采样结果、第三下采样结果分别为将第一次下采样、第二次下采样、第三次下采样的下采样结果输入对应的多注意力模块得到的。
本申请中，不同采样结果的结合为Concat处理，即是将不同的采样结果进行拼接。
结合图3所示，在一种实施方式中，所述图像分割单元，在将每次下采样的下采样结果输入多注意力模块，得到多视角的下采样结果时，具体用于：
将每次下采样的下采样结果进行冠状位转换，得到冠状位视图；
将所述冠状位视图输入Transformer模块，得到特征融合后的冠状位重排图；
将每次下采样的下采样结果进行矢状位转换，得到矢状位视图；
将所述矢状位视图输入Transformer模块，得到特征融合后的矢状位重排图；
将所述下采样结果、所述冠状位重排图和所述矢状位重排图进行融合，得到所述多视角的下采样结果。
如图3所示，其中的Coronal View Permute为冠状位视图排列，基于此排列得到冠状位视图；Sagittal View Permute为矢状位视图排列，基于此排列得到矢状位视图；Re-Permute为重排操作，基于此得到重排图。
需要说明的是，对于下采样结果中的特征图，其中的每个特征数据均包含通道*宽*高，通过调整通道、宽、高的顺序，即可得到不同形式的特征图，进而得到冠状位视图与矢状位视图。
本申请中，通过将下采样结果转换为冠状位视图与矢状位视图，从而在原来的下采样结果仅反映横断位视角的基础上，增加对冠状位与矢状位的对应描述，使得最终融合的多视角的下采样结果可以同时反映横断位视角、冠状位视角与矢状位视角的特征。
本申请中，通过视角转换，从而从不同于原始采集视角的方向来反映图像中的细节特征，从而更准确、全面第提取特征，进而得到更准确的图像分割结果。
在一种实施方式中，所述放置规划单元102，在基于强化学习对植入式医疗器械的放置策略进行规划时，具体用于：
获取待放置植入式医疗器械的放置信息，所述放置信息包括类别、数量及放置位置；
基于所述放置信息选取与类别、数量及放置位置对应的放置策略；
基于选取的所述放置策略对设定类别、数量及放置位置的所述植入式医疗器械的放置过程进行规划。
本申请中，放置信息包括类别、数量及放置位置中，类别为植入式医疗器械的类别、数量及放置位置。需要说明的是，该类别的判断取决于智能体之间的具体划分范围；相同型号的螺钉，若被划分为不同类型的智能体，则其在此的类别也属于不同类别。
需要说明的是，类别、数量及放置位置中任一不同，则放置策略不同。例如相同类别数量的螺钉，置钉在4号椎骨上的螺钉和置钉在5号椎骨上的螺钉的放置策略不同。
本申请中，选取放置策略后，执行/计算该放置策略，即可得到植入式医疗器械的规划的放置过程。
本申请中，所述植入式医疗器械的放置过程，包括植入式医疗器械的目标位置和植入顺序。
需要说明的是，基于放置策略可以确定植入式医疗器械的目标位置；基于植入式医疗器械的的类别、数量及放置位置，可以按照预设的顺序确定植入式医疗器械的植入顺序。
例如，螺钉植入时按照由上至下、由左至右的预设顺序，则两个螺钉的植入顺序由螺钉的植入位置确定。
结合图4所示，在一种实施方式中，所述放置规划单元102，在基于强化学习对植入式医疗器械的放置策略进行规划之前，还用于：
获取植入式医疗器械训练数据，所述植入式医疗器械训练数据包括术前的3D脊柱图像、每个螺钉、每个融合器、每个钛棒和每个横连的位置信息和姿态信息、每个植入式医疗器械的放置结果；
基于所述植入式医疗器械训练数据建立多智能体强化学习环境，确定智能体的状态空间、动作空间和奖励函数，每个螺钉、每个融合器、每个钛棒、每个横连均为一个智能体；
构建每个智能体的放置策略以及智能体之间的协作策略，相同类别且不同个体的智能体的策略网络结构相同；
基于所述放置策略和协作策略，对智能体进行训练，得到每个智能体优化后的放置策略。
结合图5A所示，在一种实施方式中，所述螺钉的状态空间包括入钉点、直径、长度、横断面倾角和矢状面倾角；所述螺钉的奖励函数由螺钉中心与椎弓根中轴线的偏移、螺钉是否突破椎体前缘、螺钉直径与椎弓根直径的相对关系、螺钉长度与椎体长度的相对关系确定。
结合图5B所示，在一种实施方式中，所述融合器的状态空间包括位置、长度、高度、宽度和倾角；所述融合器的奖励函数由添加融合器后脊柱的评测生理曲度以及脊柱的评测融合率确定。
结合图5C所示，在一种实施方式中，所述钛棒的状态空间包括位置、直径、长度和弯曲度；所述融合器的奖励函数由钛棒螺钉连接的稳定性确定。
结合图5D所示，在一种实施方式中，所述横连的状态空间包括位置和长度；所述融合器的奖励函数由评测结果稳定性、横连的结构刚性评估确定。
本申请中，基于多智能体强化学习(multi-agent reinforcement learning,MARL)是一种应用于多个智能体之间相互作用和协调的强化学习方法。在本申请的情况中，每个智能体负责自动放置螺钉、融合器、钛棒和横连中的一个。
实际执行过程中，可以具体为：
首先进行环境建模：需要将脊柱手术的环境建模为一个适合强化学习的环境。该环境包括定义状态空间、动作空间和奖励函数。状态空间可以包括术前CT图像、植入式医疗器械的当前位置和姿态信息等。动作空间为每个智能体可以采取的放置动作，例如选择放置位置和姿态。奖励函数则用于衡量每个智能体放置动作的好坏，以引导智能体学习正确的放置策略。
其次设置策略网络：每个智能体都有自己的策略网络，用于根据当前状态选择动作。策略网络可以基于深度学习模型，如卷积神经网络或者注意力机制模型。通过后续训练策略网络，智能体可以学习到在给定状态下选择最优动作的策略。优选地，使用强化学习算法，如深度强化学习算法(如DDPG、PPO等)或多智能体强化学习算法(如MADDPG、COMA等)来训练策略网络。
再次设置协作与通信：在多智能体系统中，智能体之间需要进行协作和通信，以实现整体的任务目标。协作和通信可以通过共享信息、传递消息或者采用协同策略的方式实现。智能体之间可以共享状态信息、动作建议或者奖励信号，以促进彼此之间的协作和学习。
最后选取训练算法：针对多智能体强化学习，可以采用多种算法进行训练，如独立训练、集中式训练和分布式训练等。通过这些算法在考虑智能体之间相互影响和协作的同时，也解决训练过程中的样本不平衡、非稳定性等问题。
本申请中，设置基于多智能体强化学习的方式，使得每个智能体能够自动放置对应的螺钉、融合器、钛棒和横连，实现脊柱手术中的自动化和智能化。通过不断的训练和优化，智能体可以学习到更准确和高效的放置策略，并在实际手术中发挥作用。
本申请中，通过以上步骤，可以实现脊柱手术机器人导航定位系统，使其能够自动放置螺钉、融合器、钛棒和横连，为脊柱手术提供智能化的辅助。该系统通过深度学习网络分割出脊柱区域，使用强化学习算法训练智能体来自动放置植入式医疗器械，并通过深度学习进行术前和术中的身体配准。
本申请中，采用了深度学习方法实现机器人的运动路径规划和力度、速度以及角度的调节，以实现精准的植入式医疗器械安放和术后效果评估。
在一种实施方式中，结合图7所示，所述术中配准单元103，在基于深度学习对输入的术中脊柱图像和术前的脊柱图像进行点云配准时，具体用于：
获取术中X光图像，所述X光图像包括冠状位图像和矢状位图像；
基于已训练的第一深度学习网络对X光图像进行识别和分割，得到识别后的3D脊柱图像；
确定3D脊柱图像中的各个待手术脊椎；
基于已训练的第二深度学习网络将术前的3D脊柱图像分别与各个待手术脊椎配准。
本申请中，通过深度学习进行CT图像和术中X光图像的配准是一种基于神经网络的配准方法。这种方法利用深度学习模型对CT图像和术中X光图像进行特征提取和匹配，从而实现二者之间的准确配准。
本申请中，第一深度学习网络是基于标注有识别后的3D脊柱图像的术中X光图像样本训练得到的。
本申请中，第二深度学习网络是基于标注配准结果的3D脊柱图像样本训练得到的。
需要说明的是，本申请中，由于术前术中的患者的姿态问题，术前的3D脊柱图像需要分别与术中X光图像对应的3D脊柱图像中的各个待手术脊椎分别配准。
例如，待手术脊椎为5号椎骨和4号椎骨；则先通过已训练的第二深度学习网络将术前的3D脊柱图像中的4号椎骨与术中的3D脊柱图像中的4号椎骨进行配准，得到配准矩阵；再通过已训练的第二深度学习网络将术前的3D脊柱图像中的5号椎骨与术中的3D脊柱图像中的5号椎骨进行配准，得到配准矩阵。
本申请中，通过独立配准，从而大大增加配准的准确度。
本申请中，通过深度学习进行CT图像和术中X光图像的配准具有许多优势。首先，深度学习可以学习到更丰富的特征表示，从而提高配准的准确性和稳定性。其次，深度学习模型能够自动学习特征表示，避免了手工设计特征的繁琐过程。此外，该方法可以适应不同的解剖结构和病变情况，具有较好的通用性和适应性。
本申请中，路径规划单元104，用于根据点云配准结果确定植入式医疗器械的目标位置，并规划机械臂的运动轨迹中，具体可以为：
通过深度学习实现机械臂的逆运动计算和自动移动可以提高手术的精确性和效率。深度学习模型能够学习复杂的运动规律和非线性映射关系，使得机械臂能够更准确地根据目标位置规划运动轨迹，实现精确的植入式医疗器械放置。同时，通过自动化的机械臂移动，可以减少人为操作的误差和疲劳，提高手术的稳定性和安全性。
结合图8所示，路径规划单元104中，具体训练步骤包括：
获取训练数据，设置深度学习模型；
对训练数据进行预处理，得到标准化的训练数据；
基于标准化的训练数据对深度学习模型进行训练，训练过程中通过最小化预测运动轨迹与实际运动轨迹之间的差异化对深度学习模型进行迭代；
通过训练数据中的验证集或交叉验证方式评估所述深度学习模型，确定逆运动学的性能指标。
路径规划单元104中，具体使用步骤还包括：
确定待放置植入式医疗器械的目标位置，将该目标位置输入训练好的深度学习模型，预测出机械臂的逆运动轨迹；
根据预测的逆运动轨迹，控制机械臂按照相应的路径和动作移动到目标位置。
其中，对具体执行过程进行如下说明：
数据准备：收集大量的训练数据，包括机械臂的运动轨迹和对应的目标位置。这些数据可以通过仿真或者真实的机械臂实验得到。
网络设计：设计一个深度学习模型，例如卷积神经网络(CNN)或递归神经网络(RNN)，用于学习机械臂的逆运动学映射，即根据目标位置预测机械臂的运动轨迹。
数据预处理：对收集的训练数据进行预处理，包括将机械臂的运动轨迹和目标位置进行归一化、标准化或者其他必要的处理，以提高模型的训练效果。
模型训练：使用准备好的训练数据对深度学习模型进行训练，通过最小化预测运动轨迹与实际运动轨迹之间的差异来优化模型的参数。
模型评估：使用验证集或者交叉验证方法对训练好的模型进行评估，计算逆运动学的准确性和性能指标。
机械臂控制：在实际操作中，根据术前规划和配准的结果确定需要放置假体的目标位置，将该位置输入训练好的深度学习模型，预测出机械臂的逆运动轨迹。
机械臂移动：根据预测的逆运动轨迹，控制机械臂按照相应的路径和动作移动到目标位置，实现自动放置假体的过程。
在一种实施方式中，路径规划单元104中，具体使用步骤可以包括：
根据点云配准结果确定植入式医疗器械的目标位置；
获取待植入医疗器械的脊椎/待手术脊椎及预设范围内的图像数据，该图像数据中皮肤外侧至待植入医疗器械的目标位置之间已开辟通道；
根据所述图像数据和待手术脊椎的三维模型，生成已开辟通道边界和软组织保护区域；
确定植入路径的计算公式，设置远端为目标位置，设置软组织保护区域为斥力场；
设置已开辟通道边界为强约束安全策略，基于所述强约束安全策略生成多个路点，所述路点的组合为规划的植入路径/机械臂运动轨迹。
本申请中，设置已开辟通道边界为强约束安全策略，从而将已开辟通道区域与软组织保护区域分割开，从而执行路径规划。
本申请中，基于待植入医疗器械的脊椎/待手术脊椎及预设范围内的图像数据，获取软组织保护区域，该软组织保护区域位于已开辟通道外侧。具体确定方式，本申请中对此不做限制。
本申请中，人工势场法(Artificial Potential Field)简称APF，基本思想是在障碍物周围构建障碍物斥力势场(Obstacle Potential Field)，在目标点周围构建引力势场(Goal Potential Field)；被控对象在这两种势场组成的复合场中同时受到斥力作用和引力作用，斥力和引力的合力方向(势场梯度)指引着被控对象的运动，生成无碰撞的路径。
本申请中，器械植入单元105，用于根据所述运动轨迹控制所述机械臂执行植入式医疗器械的安装动作，具体为：
通过深度学习调节机械臂的力度、速度和角度，可以使机械臂在安放植入式医疗器械过程中更加智能和精确，提高手术的成功率和患者的康复效果。
器械植入单元105的具体执行过程为：
植入式医疗器械安装时，基于已设置的机械臂运动轨迹调节机械臂的力度、速度和角度控制机械臂；
在机械臂执行时实时获取安装的植入式医疗器械的位置参数及姿态参数，基于该位置参数及姿态参数与预设的位置参数及姿态参数比对，并基于比对结果调整机械臂的力度、速度和角度。
其中，基于比对结果调整机械臂的力度、速度和角度可以基于已训练的调整策略进行调整。
在一种实施方式中，器械植入单元105的具体执行过程还可以为：
获取已标定的植入工具坐标系；
基于植入工具坐标系将规划的所述植入路径/运动轨迹映射为机械臂法兰坐标系下的植入路径；
基于运动学约束公式将机械臂法兰坐标系下的植入路径生成各个关节的关节角轨迹；
对各个关节的关节角轨迹进行插值；
通过前馈型PID控制器输出各个关节角的关节角速度，对机械臂进行控制；
实时获取植入工具定位架的定位数据和待植入骨骼的标记定位架的定位数据；
基于植入工具定位架的定位数据和待植入骨骼的标记定位架的定位数据更新目标关节角轨迹，并返回所述对各个关节的关节角轨迹进行插值流程。
本申请中，运动学约束公式为常规运动学公式，在此不再赘述。
本申请中，PID控制器(Proportion Integration Differentiation，比例-积分-微分控制器)，由比例单元(P)、积分单元(I)和微分单元(D)组成。
本申请中，基坐标系：机械臂的基座为原点的坐标系
本申请中，机械臂法兰坐标系，即为末端关节坐标系：一般机械臂末端关节会覆盖一层法兰，因此机械臂末端关节坐标系又为法兰末端坐标系。
具体执行时，末端关节坐标系在基坐标系下的位姿，即为机械臂位姿。
工具末端坐标系：机械臂在工作过程中，机械臂末端会搭载工具，实际执行时，工具移动到某个位置，而不是机械臂末端运动到某个位置，此时我们需要为工具建立一个坐标系，也即是工具末端坐标系。本申请中，所述植入工具坐标系即为工具末端坐标系。
本申请中，对各个关节的关节角轨迹进行插值时，每个关节的关节角的插值数量不同，具体插值数据基于该关节角的转动情况确定。
本申请中，机械臂法兰坐标系下的植入路径包含多个路点，每个路点在各个关节的关节角轨迹中具有对应的轨迹点。
本申请中，各个关节的关节角轨迹进行插值，即为对相邻轨迹点之间进行插值。
本申请中，通过实时获取植入工具定位架的定位数据和待植入骨骼的标记定位架的定位数据，从而确定植入工具和待植入骨骼的实时位置，从而基于该实时追踪的位置调整PID控制器，以达到及时反馈，准确执行的目的。
在一种实施方式中，所述PID控制器的表现形式为：
其中，为比例积分微分控制器输出的关节角速度，qr为目标关节角轨迹，Kp、Ki、Kd为控制器参数。
本申请中，根据配准结果与规划结果，结合红外双目获取的机械臂工具定位架形成动态调节的规划轨迹与当前机械臂关节角的误差模型即完成闭环控制。
本申请中，术后评估单元106，用于基于术后图像与患者数据对手术结果进行评估，具体为：
获取多个指标的数据，所述指标至少包括疼痛缓解指标、功能恢复指标、植骨融合指标、畸形矫正指标、并发症和复发率指标及患者满意度指标；
基于预设的指标判断策略和获取的多个指标，确定评估结果。
这样，采用多个指标来评估手术的成功程度和患者的康复情况，从而达到最佳判断效果。
多个指标的具体含义及获取方式可以为：
疼痛缓解：评估术后患者的疼痛程度和疼痛缓解情况，可以通过视觉模拟评分(Visual Analog Scale，VAS)和疼痛问卷调查获取。
功能恢复：评估患者的功能恢复情况，包括脊柱的活动范围、肌力和日常生活活动能力等。可以通过脊柱功能评分系统(Spinal Function Score)和脊柱病人结果研究问卷(Scoliosis Research Society-22，SRS-22)获取。
植骨融合：可以通过术后图像如X光片或者CT扫描来评估植骨的融合情况。
畸形矫正：对于脊柱畸形矫正手术，评估手术后脊柱的畸形矫正效果。可以通过X光片或者脊柱曲线测量来评估曲线的改善情况。
并发症和复发率：评估手术后的并发症发生率和复发率。常见的并发症包括感染、出血、神经损伤等。可以通过术后的患者数据统计得到并发症和复发率结果。
患者满意度：评估患者对手术结果的满意程度和生活质量的改善情况。可以通过患者满意度问卷调查来获取。
需要说明的是，上述指标中，疼痛缓解指标、功能恢复指标、并发症和复发率指标和患者满意度指标为调研统计进行获取；但是对于疼痛缓解指标、植骨融合指标、畸形矫正指标，获取术后图像与患者数据后无法直接确定结果，需要进一步通过计算等获取。优选地，通过深度学习方法确定疼痛缓解指标、植骨融合指标、畸形矫正指标的结果。
本申请中，通过深度学习智能评测脊柱手术的术后效果可以帮助医生和研究人员更准确地评估手术的成功程度和患者的康复情况。这种评估方法基于深度学习模型对术前和术后的影像数据进行分析和比较，从而提供定量的评估结果。
具体而言，通过深度学习方法确定植骨融合指标、畸形矫正指标的结果，包括：
获取患者的术前医学图像和术后医学图像；建立三维模型并对术前医学图像和术后医学图像的三维模型进行配准与分割，得到脊柱的结构数据；
基于脊柱的结构数据，对植骨融合指标的深度学习模型和畸形矫正指标的深度学习模型进行训练，得到训练后的植骨融合指标的深度学习模型和畸形矫正指标的深度学习模型；
基于训练后的植骨融合指标的深度学习模型和畸形矫正指标的深度学习模型，对当前患者的术后图像与患者数据进行处理，分别得到对应的植骨融合指标的结果和畸形矫正指标的结果。
本申请中，这种深度学习智能评测的方法能够提供更客观、定量的术后效果评估结果，相比传统的主观评估方法更准确和可靠。它可以帮助医生了解手术的效果，及时发现并处理可能的并发症，优化手术方案，并为后续的临床决策和治疗提供参考。此外，通过深度学习智能评测，还可以为脊柱手术的研究和发展提供数据支持，促进手术技术的不断改进和创新。
本申请中，通过深度学习智能评测脊柱手术的术后效果可以提高评估的客观性和准确性，为医生和研究人员提供更全面的信息和决策支持，进一步提升脊柱手术的质量和患者的康复效果。
本申请中，基于深度学习的图像分割和配准技术可以提高手术的准确性和安全性，减少手术过程中的风险；通过强化学习实现自动化的植入式医疗器械放置，可以降低手术时间和术者的工作负担，提高手术效率和精度；通过智能化的力度、速度和角度调节可以更好地适应不同患者的需求，提供个性化的治疗方案。
需要说明的是，在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本申请的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的结构和技术，以便不模糊对本说明书的理解。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、系统、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、系统、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、系统、商品或者设备中还存在另外的相同要素。
以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。
Claims (6)
1.一种脊柱手术机器人导航定位系统，其特征在于，包括：
图像分割单元，用于对输入的脊柱图像进行处理，识别和分割出脊柱区域；
放置规划单元，用于基于强化学习对植入式医疗器械的放置策略进行规划，所述植入式医疗器械包括螺钉、融合器、钛棒和横连中的至少一种；
术中配准单元，用于基于深度学习对输入的术中脊柱图像和术前的脊柱图像进行点云配准；
路径规划单元，用于根据点云配准结果确定植入式医疗器械的目标位置，并规划机械臂的运动轨迹；
器械植入单元，用于根据所述运动轨迹控制所述机械臂执行植入式医疗器械的安装动作；
术后评估单元，用于基于术后图像与患者数据对手术结果进行评估；
所述图像分割单元，在对输入的脊柱图像进行处理，识别和分割出脊柱区域时，具体用于：
获取输入的连续CT图像；
对输入的所述连续CT图像，进行多次下采样，得到下采样后的特征图；
将下采样后的特征图输入Transformer模块，得到特征融合后的特征图；
对特征融合后的特征图进行多次上采样，得到分割出的脊柱区域，所述上采样次数与所述下采样次数相同，所述脊柱区域中每个脊椎具有不同的标签；
所述图像分割单元，在对特征融合后的特征图进行多次上采样，得到分割出的脊柱区域时，具体用于：
将每次下采样的下采样结果输入多注意力模块，得到多视角的下采样结果；
将每次下采样对应的多视角的下采样结果与每次上采样的上采样结果结合，并进行后一次上采样，直至得到所述分割出的脊柱区域；
所述图像分割单元，在将每次下采样对应的多视角的下采样结果与每次上采样的上采样结果结合，并进行后一次上采样，直至得到所述分割出的脊柱区域时，具体用于：
对特征融合后的特征图进行第一次上采样，得到第一上采样结果；
将第一上采样结果与多视角的第三下采样结果结合，得到第一融合特征图；
对第一融合特征图进行第二次上采样，得到第二上采样结果；
将第二上采样结果与多视角的第二下采样结果结合，得到第二融合特征图；
对第二融合特征图进行第三次上采样，得到第三上采样结果；
将第三上采样结果与多视角的第一下采样结果结合，得到第三融合特征图；
对第三融合特征图进行第四次上采样，得到所述分割出的脊柱区域；所述多视角的第一下采样结果、第二下采样结果、第三下采样结果分别为将第一次下采样、第二次下采样、第三次下采样的下采样结果输入对应的多注意力模块得到的；
所述图像分割单元，在将每次下采样的下采样结果输入多注意力模块，得到多视角的下采样结果时，具体用于：
将每次下采样的下采样结果进行冠状位转换，得到冠状位视图；
将所述冠状位视图输入Transformer模块，得到特征融合后的冠状位重排图；
将每次下采样的下采样结果进行矢状位转换，得到矢状位视图；
将所述矢状位视图输入Transformer模块，得到特征融合后的矢状位重排图；
将所述下采样结果、所述冠状位重排图和所述矢状位重排图进行融合，得到所述多视角的下采样结果。
2.根据权利要求1所述的脊柱手术机器人导航定位系统，其特征在于，所述放置规划单元，在基于强化学习对植入式医疗器械的放置策略进行规划时，具体用于：
获取待放置植入式医疗器械的放置信息，所述放置信息包括类别、数量及放置位置；
基于所述放置信息选取与类别、数量及放置位置对应的放置策略；
基于选取的所述放置策略对设定类别、数量及放置位置的所述植入式医疗器械的放置过程进行规划。
3.根据权利要求2所述的脊柱手术机器人导航定位系统，其特征在于，所述放置规划单元，在基于强化学习对植入式医疗器械的放置策略进行规划之前，还用于：
获取植入式医疗器械训练数据，所述植入式医疗器械训练数据包括术前的3D脊柱图像、每个螺钉、每个融合器、每个钛棒和每个横连的位置信息和姿态信息、每个植入式医疗器械的放置结果；
基于所述植入式医疗器械训练数据建立多智能体强化学习环境，确定智能体的状态空间、动作空间和奖励函数，每个螺钉、每个融合器、每个钛棒、每个横连均为一个智能体；
构建每个智能体的放置策略以及智能体之间的协作策略，相同类别且不同个体的智能体的策略网络结构相同；
基于所述放置策略和协作策略，对智能体进行训练，得到每个智能体优化后的放置策略。
4.根据权利要求3所述的脊柱手术机器人导航定位系统，其特征在于，所述螺钉的状态空间包括入钉点、直径、长度、横断面倾角和矢状面倾角；所述螺钉的奖励函数由螺钉中心与椎弓根中轴线的偏移、螺钉是否突破椎体前缘、螺钉直径与椎弓根直径的相对关系、螺钉长度与椎体长度的相对关系确定。
5.根据权利要求3所述的脊柱手术机器人导航定位系统，其特征在于，所述融合器的状态空间包括位置、长度、高度、宽度和倾角；所述融合器的奖励函数由添加融合器后脊柱的评测生理曲度以及脊柱的评测融合率确定。
6.根据权利要求1所述的脊柱手术机器人导航定位系统，其特征在于，所述术中配准单元，在基于深度学习对输入的术中脊柱图像和术前的脊柱图像进行点云配准时，具体用于：
获取术中X光图像，所述X光图像包括冠状位图像和矢状位图像；
基于已训练的第一深度学习网络对X光图像进行识别和分割，得到识别后的3D脊柱图像；
确定3D脊柱图像中的各个待手术脊椎；
基于已训练的第二深度学习网络将术前的3D脊柱图像分别与各个待手术脊椎配准。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311255934.5A CN117323004B (zh) | 2023-09-26 | 2023-09-26 | 一种脊柱手术机器人导航定位系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311255934.5A CN117323004B (zh) | 2023-09-26 | 2023-09-26 | 一种脊柱手术机器人导航定位系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117323004A CN117323004A (zh) | 2024-01-02 |
| CN117323004B true CN117323004B (zh) | 2024-04-26 |
Family
ID=89278338
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311255934.5A Active CN117323004B (zh) | 2023-09-26 | 2023-09-26 | 一种脊柱手术机器人导航定位系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117323004B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117653332B (zh) * | 2024-02-01 | 2024-04-12 | 四川省肿瘤医院 | 一种影像导航策略的确定方法及系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114848143A (zh) * | 2022-03-10 | 2022-08-05 | 上海大学 | 一种基于脊柱手术辅助机器人的手术导航系统及方法 |
| CN116327356A (zh) * | 2023-02-27 | 2023-06-27 | 北京长木谷医疗科技有限公司 | 基于人工智能的脊柱手术术前规划方法、系统及存储介质 |
| CN219579025U (zh) * | 2022-09-28 | 2023-08-25 | 北京天智航医疗科技股份有限公司 | 全功能骨科手术控制系统 |
| CN116712227A (zh) * | 2021-08-30 | 2023-09-08 | 成都泽康智骨科技有限公司 | 一种脊柱智能规划试模方法及系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20220265352A1 (en) * | 2021-02-25 | 2022-08-25 | Mazor Robotics Ltd. | Cross-modality planning using feature detection |
-
2023
- 2023-09-26 CN CN202311255934.5A patent/CN117323004B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116712227A (zh) * | 2021-08-30 | 2023-09-08 | 成都泽康智骨科技有限公司 | 一种脊柱智能规划试模方法及系统 |
| CN114848143A (zh) * | 2022-03-10 | 2022-08-05 | 上海大学 | 一种基于脊柱手术辅助机器人的手术导航系统及方法 |
| CN219579025U (zh) * | 2022-09-28 | 2023-08-25 | 北京天智航医疗科技股份有限公司 | 全功能骨科手术控制系统 |
| CN116327356A (zh) * | 2023-02-27 | 2023-06-27 | 北京长木谷医疗科技有限公司 | 基于人工智能的脊柱手术术前规划方法、系统及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117323004A (zh) | 2024-01-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112641511B (zh) | 关节置换手术导航系统及方法 | |
| CN112641510B (zh) | 关节置换手术机器人导航定位系统及方法 | |
| CN109567942B (zh) | 采用人工智能技术的颅颌面外科手术机器人辅助系统 | |
| US20200330159A1 (en) | Path planning method with artificial potential field based on obstacle classification and medical system for steering flexible needle | |
| Howe et al. | Robotics for surgery | |
| CN117323004B (zh) | 一种脊柱手术机器人导航定位系统 | |
| EP0955882B1 (en) | System for positioning surgical robot | |
| US8126736B2 (en) | Methods and systems for diagnosing, treating, or tracking spinal disorders | |
| US8685093B2 (en) | Methods and systems for diagnosing, treating, or tracking spinal disorders | |
| US20100191100A1 (en) | Methods and systems for diagnosing, treating, or tracking spinal disorders | |
| US20220160518A1 (en) | Patient-specific vertebral implants with positioning features | |
| Fiorini et al. | Concepts and trends in autonomy for robot-assisted surgery | |
| JP7240519B2 (ja) | 骨盤骨折整復用スマート監視システム | |
| US20220142709A1 (en) | Surgical path planning using artificial intelligence for feature detection | |
| US20200029941A1 (en) | Articulating Arm for Analyzing Anatomical Objects Using Deep Learning Networks | |
| US20230014384A1 (en) | Patient-specific sacroiliac implant, and associated systems and methods | |
| US20220401150A1 (en) | Patient-specific anterior plate implants | |
| CN109806004A (zh) | 一种基于云数据技术的手术机器人系统及操作方法 | |
| CN113876430B (zh) | 用于置钉操作的脊柱手术机器人系统 | |
| CN116983086A (zh) | 一种自主关节置换手术机器人导航定位系统 | |
| US20230263541A1 (en) | Robotic spine surgery system | |
| CN115211966A (zh) | 一种骨科机器人定位方法、系统、设备及介质 | |
| US20230298728A1 (en) | Linking patient-specific medical devices with patient-specific data, and associated systems and methods | |
| WO2023161118A1 (de) | Endoprothesen-assistenzsystem und assistenzverfahren | |
| CN117597084A (zh) | 用于自动斜侧椎体间融合（olif）通道规划的系统和方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |