CN116895065A - 核团标注装置及方法、可穿戴的xr设备、相关装置 - Google Patents
核团标注装置及方法、可穿戴的xr设备、相关装置 Download PDFInfo
- Publication number
- CN116895065A CN116895065A CN202310618961.8A CN202310618961A CN116895065A CN 116895065 A CN116895065 A CN 116895065A CN 202310618961 A CN202310618961 A CN 202310618961A CN 116895065 A CN116895065 A CN 116895065A
- Authority
- CN
- China
- Prior art keywords
- stimulation
- nucleus
- electrode lead
- real
- patient
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000002372 labelling Methods 0.000 title claims abstract description 83
- 238000000034 method Methods 0.000 title claims abstract description 72
- 210000004556 brain Anatomy 0.000 claims abstract description 102
- 230000011218 segmentation Effects 0.000 claims abstract description 54
- 238000012545 processing Methods 0.000 claims abstract description 23
- 230000000638 stimulation Effects 0.000 claims description 388
- 238000004590 computer program Methods 0.000 claims description 50
- 238000002513 implantation Methods 0.000 claims description 39
- 230000008569 process Effects 0.000 claims description 36
- 239000011159 matrix material Substances 0.000 claims description 35
- 238000003860 storage Methods 0.000 claims description 22
- 230000006870 function Effects 0.000 claims description 20
- 239000007943 implant Substances 0.000 claims description 15
- 210000001009 nucleus accumben Anatomy 0.000 claims description 14
- 210000004281 subthalamic nucleus Anatomy 0.000 claims description 9
- 210000001905 globus pallidus Anatomy 0.000 claims description 6
- 210000004245 medial forebrain bundle Anatomy 0.000 claims description 6
- 210000001030 ventral striatum Anatomy 0.000 claims description 6
- 230000004936 stimulating effect Effects 0.000 claims description 5
- 238000011282 treatment Methods 0.000 description 54
- 238000012549 training Methods 0.000 description 49
- 230000000694 effects Effects 0.000 description 29
- 238000005516 engineering process Methods 0.000 description 22
- 230000009286 beneficial effect Effects 0.000 description 16
- 238000013136 deep learning model Methods 0.000 description 14
- 230000000007 visual effect Effects 0.000 description 13
- 230000003190 augmentative effect Effects 0.000 description 11
- 230000007383 nerve stimulation Effects 0.000 description 11
- 230000003993 interaction Effects 0.000 description 10
- 238000013473 artificial intelligence Methods 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 9
- 238000002591 computed tomography Methods 0.000 description 9
- 238000010801 machine learning Methods 0.000 description 8
- 239000002775 capsule Substances 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 6
- 238000011161 development Methods 0.000 description 6
- 230000018109 developmental process Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 6
- 238000002595 magnetic resonance imaging Methods 0.000 description 6
- 210000005036 nerve Anatomy 0.000 description 6
- 230000001537 neural effect Effects 0.000 description 6
- 239000011521 glass Substances 0.000 description 5
- 238000002600 positron emission tomography Methods 0.000 description 5
- 238000011160 research Methods 0.000 description 5
- 210000001103 thalamus Anatomy 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 238000003745 diagnosis Methods 0.000 description 4
- 201000010099 disease Diseases 0.000 description 4
- 210000003414 extremity Anatomy 0.000 description 4
- 230000002267 hypothalamic effect Effects 0.000 description 4
- WABPQHHGFIMREM-UHFFFAOYSA-N lead(0) Chemical compound [Pb] WABPQHHGFIMREM-UHFFFAOYSA-N 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 238000002560 therapeutic procedure Methods 0.000 description 4
- 238000012800 visualization Methods 0.000 description 4
- 238000013256 Gubra-Amylin NASH model Methods 0.000 description 3
- 208000012902 Nervous system disease Diseases 0.000 description 3
- 208000025966 Neurological disease Diseases 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 230000036541 health Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 210000000278 spinal cord Anatomy 0.000 description 3
- 238000001356 surgical procedure Methods 0.000 description 3
- 210000001364 upper extremity Anatomy 0.000 description 3
- 208000021384 Obsessive-Compulsive disease Diseases 0.000 description 2
- 208000002193 Pain Diseases 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 210000005013 brain tissue Anatomy 0.000 description 2
- 230000000747 cardiac effect Effects 0.000 description 2
- 230000019771 cognition Effects 0.000 description 2
- 238000011982 device technology Methods 0.000 description 2
- 238000002059 diagnostic imaging Methods 0.000 description 2
- 208000035475 disorder Diseases 0.000 description 2
- 230000009977 dual effect Effects 0.000 description 2
- 230000010482 emotional regulation Effects 0.000 description 2
- 206010015037 epilepsy Diseases 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 208000024714 major depressive disease Diseases 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000036407 pain Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 208000024891 symptom Diseases 0.000 description 2
- 239000003826 tablet Substances 0.000 description 2
- 208000024827 Alzheimer disease Diseases 0.000 description 1
- 208000019901 Anxiety disease Diseases 0.000 description 1
- 206010003805 Autism Diseases 0.000 description 1
- 208000020706 Autistic disease Diseases 0.000 description 1
- 208000020925 Bipolar disease Diseases 0.000 description 1
- 208000014644 Brain disease Diseases 0.000 description 1
- 208000023105 Huntington disease Diseases 0.000 description 1
- 208000026139 Memory disease Diseases 0.000 description 1
- 208000019695 Migraine disease Diseases 0.000 description 1
- 208000019022 Mood disease Diseases 0.000 description 1
- 208000016285 Movement disease Diseases 0.000 description 1
- 208000008238 Muscle Spasticity Diseases 0.000 description 1
- 208000018737 Parkinson disease Diseases 0.000 description 1
- 208000028017 Psychotic disease Diseases 0.000 description 1
- 206010042434 Sudden death Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 210000004727 amygdala Anatomy 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 230000036506 anxiety Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 210000003169 central nervous system Anatomy 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000001054 cortical effect Effects 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 230000006735 deficit Effects 0.000 description 1
- 235000019800 disodium phosphate Nutrition 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 238000012377 drug delivery Methods 0.000 description 1
- 206010013663 drug dependence Diseases 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 201000006517 essential tremor Diseases 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000002496 gastric effect Effects 0.000 description 1
- 238000003306 harvesting Methods 0.000 description 1
- 238000001727 in vivo Methods 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 238000001802 infusion Methods 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000006996 mental state Effects 0.000 description 1
- 206010027599 migraine Diseases 0.000 description 1
- 230000003278 mimic effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 210000000653 nervous system Anatomy 0.000 description 1
- 238000002610 neuroimaging Methods 0.000 description 1
- 230000000926 neurological effect Effects 0.000 description 1
- 238000009206 nuclear medicine Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 210000000578 peripheral nerve Anatomy 0.000 description 1
- 238000011338 personalized therapy Methods 0.000 description 1
- 208000028173 post-traumatic stress disease Diseases 0.000 description 1
- 208000020016 psychiatric disease Diseases 0.000 description 1
- 238000004549 pulsed laser deposition Methods 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 208000018198 spasticity Diseases 0.000 description 1
- 238000002672 stereotactic surgery Methods 0.000 description 1
- 208000011117 substance-related disease Diseases 0.000 description 1
- 230000001225 therapeutic effect Effects 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
- 238000011269 treatment regimen Methods 0.000 description 1
- 230000001515 vagal effect Effects 0.000 description 1
- 210000001186 vagus nerve Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/778—Active pattern-learning, e.g. online learning of image or video features
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
Abstract
本申请提供核团标注装置及方法、可穿戴的XR设备、相关装置，所述方法包括：获取患者大脑的医学影像数据，并根据所述医学影像数据，重建所述患者的大脑的三维模型；从所述医学影像数据中分割出一个或多个核团，以得到每个所述核团的分割结果；根据每个所述核团的分割结果和所述三维模型，获取第一显示图像，并使用可穿戴的XR设备显示所述第一显示图像，在所述第一显示图像中，每个所述核团区分显示，为穿戴所述XR设备的医生标注出每个所述核团的位置和大小。本申请旨在提供一种能够准确、快速和可视化地标注和定位核团的装置和可穿戴的XR设备，以解决医学影像处理的问题和辅助医生进行决策和操作。
Description
技术领域
本申请涉及脑深部电刺激、XR设备、计算机视觉、深度学习的技术领域，尤其涉及核团标注装置、可穿戴的XR设备、核团标注方法、计算机可读存储介质及计算机程序产品。
背景技术
随着科技发展和社会进步，在医学领域中，核团标注旨在帮助医生精确定位和标注大脑中的核团结构，核团是大脑中特定区域的集合，对于认知、运动控制、情绪调节等功能至关重要。准确地标注核团可以帮助医生在手术规划、神经疾病诊断和治疗中更好地了解患者的脑部结构。同时，随着虚拟现实(VR)和增强现实(AR)技术的发展，可穿戴的XR设备(如AR眼镜)已经成为医学图像可视化和导航的有力工具。通过将计算机生成的图像与现实世界的视觉场景叠加，XR设备能够提供医生与患者大脑之间的直观交互界面，使医疗操作更加精准和安全。
目前核团标注和XR设备应用是相对较新的技术，尚处于发展和改进阶段，在某些地区或医疗机构，这些技术可能尚未得到广泛采用，或者只限于特定的研究机构或高端医疗中心。基于此，本申请提供了核团标注装置、可穿戴的XR设备、核团标注方法、计算机可读存储介质及计算机程序产品，以改进现有技术。
发明内容
本申请旨在提供核团标注装置、可穿戴的XR设备、核团标注方法、计算机可读存储介质及计算机程序产品，以解决医学影像处理的问题和辅助医生进行决策和操作。
本申请的目的采用以下技术方案实现：
第一方面，本申请提供了一种核团标注装置，所述核团标注装置包括存储器和至少一个处理器，所述存储器存储有计算机程序，所述至少一个处理器被配置成执行所述计算机程序时实现以下步骤：
获取患者大脑的医学影像数据，并根据所述医学影像数据，重建所述患者的大脑的三维模型；
从所述医学影像数据中分割出一个或多个核团，以得到每个所述核团的分割结果；
根据每个所述核团的分割结果和所述三维模型，获取第一显示图像，并使用可穿戴的XR设备显示所述第一显示图像，在所述第一显示图像中，每个所述核团区分显示，为穿戴所述XR设备的医生标注出每个所述核团的位置和大小。
该技术方案的有益效果在于：通过获取患者大脑的医学影像数据，并进行三维模型重建和核团分割，能够准确地定位和分割出每个核团，为医生提供高精度的标注结果；通过使用可穿戴的XR设备，能够在第一显示图像中实时显示每个核团的位置和大小，为穿戴XR设备的医生提供直观的标注体验，医生可以直接观察和标注核团，提高操作的便捷性和准确性。综上所述，该核团标注装置通过结合三维模型重建、核团分割和可穿戴XR设备的使用，为医生提供了准确、实时、便捷的核团标注体验，有助于提高医疗工作的效率和精确性，促进医学研究和临床实践的进展。
在一些可能的实现方式中，多个所述核团包括以下一种或多种：伏隔核、内囊前肢、丘脑底核、丘脑腹中间核、苍白球内侧部、腹侧内囊、腹侧纹状体和内侧前脑束的上外侧支。
该技术方案的有益效果在于：通过使用核团标注装置，可以准确地标注和定位多个核团，有助于医生更精确地了解大脑结构和信息；通过分割和重建患者的大脑三维模型，结合核团的分割结果，可以提供更全面和准确的医学影像处理，有助于医生更好地理解患者的大脑情况，并提供更可靠的依据，使医生能够更准确地定位目标区域。综上所述，通过提供准确的核团标注和可视化工具，改善了医学影像处理和神经外科手术的精度和效率，有助于提高手术的成功率和患者的治疗效果。
在一些可能的实现方式中，所述XR设备采用AR设备，所述至少一个处理器被配置成执行所述计算机程序时采用以下方式获取所述第一显示图像：
通过所述AR设备的摄像头采集得到实时图像，所述实时图像包含所述患者的大脑和植入所述患者的大脑的一个或多个电极导线；
对所述实时图像和所述三维模型进行配准，以得到配准矩阵；
根据每个所述核团的分割结果、所述配准矩阵和所述实时图像，获取所述第一显示图像。
该技术方案的有益效果在于：通过AR设备的摄像头采集到患者大脑和植入电极导线的实时图像，并与事先重建的三维模型进行配准，可以实时获取患者大脑的准确图像，并将其与模型对齐，为后续处理和显示提供准确的基础数据；通过分割结果和配准矩阵，结合实时图像，可以生成第一显示图像，在该图像中，每个核团都能够清晰地显示，其位置和大小均被标注出，医生能够在实时图像上智能导航和定位核团，更好地了解患者大脑结构，提供精准的指导。综上所述，通过采用AR设备作为XR设备，并结合实时图像采集、配准和核团分割结果，为医生提供了智能导航和增强现实辅助显示的功能，有助于提高手术的精确性、个性化和效率。
在一些可能的实现方式中，所述至少一个处理器被配置成执行所述计算机程序时还实现以下步骤：
在植入电极导线的过程中，根据所述实时图像，获取当前植入的目标电极导线的实时位姿信息；
根据所述实时位姿信息，检测所述目标电极导线是否偏离自身对应的预设植入路径；
如果偏离，则根据所述目标电极导线对应的目标靶点的分割结果、所述配准矩阵、所述实时图像、所述目标电极导线的位置信息以及对应的预设植入路径，获取第二显示图像，并使用所述AR设备显示所述第二显示图像，以辅助所述医生按照所述预设植入路径植入所述目标电极导线，在所述第二显示图像中，所述目标电极导线及其对应的目标靶点、预设植入路径高亮显示，所述目标靶点是其中一个核团。
该技术方案的有益效果在于：通过使用实时图像，能够获取正在进行植入的电极导线的当前位置和姿态信息，使医生能够实时了解导线的位置和方向，从而进行准确的操作和调整；通过比较目标电极导线的实时位姿信息与预设植入路径，可以检测导线是否偏离了预期位置，有助于医生及时发现并纠正导线植入过程中可能出现的偏差或错误；根据目标导线对应的目标靶点的分割结果、配准矩阵、实时图像和导线位置信息，生成第二显示图像，可以提供更直观的导航信息，帮助医生按照预设植入路径准确地植入目标电极导线。综上所述，该技术方案提供了实时导航和辅助，使医生能够更准确地植入目标电极导线，提高植入精度，减少操作风险，并确保治疗效果的达成。
在一些可能的实现方式中，所述至少一个处理器被配置成执行所述计算机程序时还实现以下步骤：
在植入一个或多个电极导线后，获取所述患者对应的刺激策略，所述刺激策略包括每个所述电极导线对应的刺激参数集合；
根据每个所述电极导线对应的刺激参数集合，获取每个所述电极导线的刺激结果，所述刺激结果用于指示刺激区域以及所述刺激区域中的每个区域点的刺激强度；
根据每个所述核团的分割结果、所述配准矩阵、所述实时图像和每个所述电极导线的刺激结果，获取第三显示图像，并使用所述AR设备显示所述第三显示图像，在所述第三显示图像中，对每个所述核团以及每个所述电极导线的刺激结果进行可视化展示。
该技术方案的有益效果在于：通过获取患者对应的刺激策略，包括每个电极导线对应的刺激参数集合，可以了解患者个体化的刺激方案，有助于医生了解患者的治疗需求和目标，并根据其具体情况进行刺激参数的设定；根据每个电极导线对应的刺激参数集合，可以计算出每个电极导线的刺激结果，可以根据刺激结果来评估刺激的效果，为后续的治疗调整提供依据；在第三显示图像中，可以对每个核团以及每个电极导线的刺激结果进行可视化展示，帮助医生直观地了解刺激区域的分布情况，以及每个区域点的刺激强度，有助于评估治疗效果和调整刺激策略。综上所述，通过刺激策略的获取、刺激结果的计算和第三显示图像的可视化展示，为个体化治疗提供了支持，医生可以根据刺激结果来评估治疗效果，并根据可视化展示来调整刺激策略，从而优化神经刺激治疗的效果，提高患者的疗效和治疗满意度。
在一些可能的实现方式中，所述至少一个处理器被配置成执行所述计算机程序时采用以下方式获取每个所述区域点的刺激强度：
分别检测所述区域点是否处于每个电极导线的刺激区域内，以得到刺激区域包括所述区域点的电极导线集合；
将所述区域点的位置信息以及所述电极导线集合中的所有电极导线的位姿信息、刺激参数集合输入柔性刺激强度模型，以得到所述区域点对应的刺激强度。
该技术方案的有益效果在于：通过检测每个区域点是否处于每个电极导线的刺激区域内，可以确定包含该区域点的电极导线集合，为后续的刺激强度计算提供准确的输入数据；通过将区域点的位置信息、电极导线的位姿信息和刺激参数集合输入柔性刺激强度模型，可以计算出每个区域点的刺激强度；通过计算每个区域点的刺激强度，可以为患者定制刺激方案；根据区域点的刺激强度，医生可以调整刺激参数，以实现更精准、有效的神经刺激治疗，有助于提高治疗的针对性和疗效，更好地满足患者的治疗需求。综上所述，通过区域点的刺激区域检测和柔性刺激强度模型的计算，为个体化刺激方案提供了基础，能够更精准地计算每个区域点的刺激强度，有助于优化神经刺激治疗，为医生决策和患者治疗提供支持。
在一些可能的实现方式中，所述柔性刺激强度模型的训练过程包括：
获取训练集，所述训练集包括多个训练数据，每个所述训练数据包括一个样本位置信息和一个样本电极导线的位姿信息、刺激参数集合以及所述样本位置信息和所述样本电极导线的位姿信息、刺激参数集合对应的刺激强度的标注数据；
针对每个所述训练数据，执行以下处理：
将所述训练数据中的样本位置信息和样本电极导线的位姿信息、刺激参数集合输入预设的深度学习模型，以得到所述样本位置信息和所述样本电极导线的位姿信息、刺激参数集合对应的刺激强度的预测数据；
根据所述样本位置信息和所述样本电极导线的位姿信息、刺激参数集合对应的刺激强度的预测数据和标注数据，对所述深度学习模型的模型参数进行更新；
检测是否满足预设的训练结束条件；如果是，则将训练出的所述深度学习模型作为所述柔性刺激强度模型；如果否，则继续使用下一个所述训练数据训练所述深度学习模型。
该技术方案的有益效果在于：通过训练柔性刺激强度模型，可以对样本位置信息、电极导线的位姿信息和刺激参数集合与刺激强度之间的关系进行学习和建模，能够准确地预测刺激强度，帮助医生和技术人员更好地了解和控制刺激治疗过程；柔性刺激强度模型可以根据每个患者的情况和需求进行训练和优化，通过获取每个电极导线的刺激参数集合并进行预测，可以实现个性化的刺激策略，确保治疗的准确性和有效性；通过准确地预测刺激强度，可以更好地控制刺激区域和刺激强度的分布，从而提高治疗的准确性和精确性；通过不断迭代训练过程，可以提高模型的性能和准确度。综上所述，使用深度学习模型可以对模型参数进行更新，从而不断优化模型的预测能力的训练过程，提供准确的刺激强度预测、个性化的刺激策略以及优化的治疗效果，在核团装置技术中具有重要的应用价值。
在一些可能的实现方式中，所述至少一个处理器被配置成执行所述计算机程序时采用以下方式获取每个所述区域点的刺激强度：
分别检测每两个电极导线的刺激区域是否相交；
当存在刺激区域相交的电极导线时，针对刺激区域相交的每两个电极导线，执行以下处理：
获取两个电极导线的刺激区域的相交区域和两个电极导线各自对应的非相交区域；
针对所述相交区域中的每个区域点，将所述区域点的位置信息以及两个电极导线的位姿信息和刺激参数集合输入双刺激强度模型，以得到所述区域点的刺激强度；
针对所述非相交区域中的每个区域点，将所述区域点的位置信息以及自身对应的电极导线的位姿信息和刺激参数集合输入单刺激强度模型，以得到所述区域点的刺激强度。
该技术方案的有益效果在于：通过检测每两个电极导线的刺激区域是否相交，可以确定是否存在相交的电极导线，这有助于确定哪些电极导线需要进行进一步的处理，以获取区域点的刺激强度；针对相交区域中的每个区域点，通过将区域点的位置信息、两个电极导线的位姿信息和刺激参数集合输入双刺激强度模型，可以计算得到区域点的刺激强度，对于非相交区域中的每个区域点，可以将区域点的位置信息、自身对应的电极导线的位姿信息和刺激参数集合输入单刺激强度模型，以计算得到区域点的刺激强度；通过采用双刺激强度模型和单刺激强度模型，可以根据不同的情况对区域点的刺激强度进行计算，这样可以更准确地评估区域点的刺激强度，从而为神经刺激治疗提供更精细化的调整和优化。综上所述，通过刺激区域相交检测和区域点刺激强度计算，能够更精确地获取每个区域点的刺激强度，有助于实现个体化的治疗优化，并提高神经刺激治疗的效果和患者的治疗体验。
第二方面，本申请提供了一种核团标注方法，所述方法包括：
获取患者大脑的医学影像数据，并根据所述医学影像数据，重建所述患者的大脑的三维模型；
从所述医学影像数据中分割出一个或多个核团，以得到每个所述核团的分割结果；
根据每个所述核团的分割结果和所述三维模型，获取第一显示图像，并使用可穿戴的XR设备显示所述第一显示图像，在所述第一显示图像中，每个所述核团区分显示，为穿戴所述XR设备的医生标注出每个所述核团的位置和大小。
第三方面，本申请提供了一种可穿戴的XR设备，所述XR设备包括：
上述任一项所述的核团标注装置；
摄像头，用于采集得到实时图像并发送至所述核团标注装置；
显示屏，用于提供显示功能。
第四方面，本申请提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被至少一个处理器执行时实现上述任一项方法的步骤或者实现上述任一项电子设备的功能。
第五方面，本申请提供了一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被至少一个处理器执行时实现上述任一项方法的步骤或者实现上述任一项电子设备的功能。
附图说明
下面结合说明书附图和具体实施方式进一步说明本申请。
图1是本申请实施例提供的一种核团标注方法的流程示意图。
图2是本申请实施例提供的一种获取第一显示图像的流程示意图。
图3是本申请实施例提供的一种获取刺激策略的流程示意图。
图4是本申请实施例提供的一种获取刺激强度的流程示意图。
图5是本申请实施例提供的一种可穿戴的XR设备的结构框图。
图6是本申请实施例提供的一种电子设备的结构框图。
图7是本申请实施例提供的一种计算机程序产品的结构示意图。
具体实施方式
下面将结合本申请的说明书附图以及具体实施方式，对本申请中的技术方案进行描述，需要说明的是，在不相冲突的前提下，以下描述的各实施方式之间或各技术特征之间可以任意组合形成新的实施方式。
本申请实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性的”或者“例如”的任何实施方式或设计方案不应被解释为比其他实施方式或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
本申请实施例中出现的第一、第二等描述，仅作示意与区分描述对象之用，没有次序之分，也不表示本申请实施例中对数量的特别限定，不能构成对本申请实施例的任何限制。
下面对本申请实施例技术领域和相关术语进行简单说明。
植入式医疗系统包括植入式神经电刺激系统、植入式心脏电刺激系统(又称心脏起搏器)、植入式药物输注系统(Implantable Drug Delivery System，简称I DDS)和导线转接系统等。植入式神经电刺激系统例如是脑深部电刺激系统(Deep Brain Stimulation，简称DBS)、植入式脑皮层刺激系统(Cortical Nerve Stimulation，简称CNS)、植入式脊髓电刺激系统(Spinal Cord Stimulation，简称SCS)、植入式骶神经电刺激系统(SacralNerve Stimulation，简称SNS)、植入式迷走神经电刺激系统(Vagus Nerve Stimulation，简称VNS)等。
植入式神经电刺激系统包括植入患者体内的刺激器(即植入式神经刺激器，一种神经刺激装置)以及设置于患者体外的程控设备。也就是说，刺激器是一种植入物，或者说，植入物包括刺激器。相关的神经调控技术主要是通过立体定向手术在生物体的组织的特定部位(即靶点)植入电极(电极例如是电极导线的形式)，经电极向靶点发放电脉冲，调控相应神经结构和网络的电活动及其功能，从而改善症状、缓解病痛。其中，刺激器可以包括IPG、延伸导线和电极导线，IPG(implantable pulse generator，植入式脉冲发生器)设置于患者体内，响应于程控设备发送的程控指令，依靠密封电池和电路向体内组织提供可控制的电刺激能量。IPG通过延伸导线和电极导线，为体内组织的特定区域递送一路或多路可控制的特定电刺激。延伸导线配合IPG使用，作为电刺激信号的传递媒体，将IPG产生的电刺激信号，传递给电极导线。电极导线通过多个电极触点，向体内组织的特定区域递送电刺激。刺激器设置有单侧或双侧的一路或多路电极导线，电极导线上设置有多个电极触点，电极触点可以均匀排列或者非均匀排列在电极导线的周向上。作为一个示例，电极触点可以以4行3列的阵列(共计12个电极触点)排列在电极导线的周向上。电极触点可以包括刺激电极触点和/或采集电极触点。电极触点例如可以采用片状、环状、点状等形状。
在一些实施例中，受刺激的体内组织可以是患者的脑组织，受刺激的部位可以是脑组织的特定部位。当患者的疾病类型不同时，受刺激的部位一般来说是不同的，所使用的刺激触点(单源或多源)的数量、一路或多路(单通道或多通道)特定电刺激信号的运用以及刺激参数数据也是不同的。本申请实施例对适用的疾病类型不做限定，其可以是脑深部刺激(DBS)、脊髓刺激(SCS)、骨盆刺激、胃刺激、外周神经刺激、功能性电刺激所适用的疾病类型。其中，DBS可以用于治疗或管理的疾病类型包括但不限于：痉挛疾病(例如，癫痫)、疼痛、偏头痛、精神疾病(例如，重度抑郁症(MDD))、躁郁症、焦虑症、创伤后压力心理障碍症、轻郁症、强迫症(OCD)、行为障碍、情绪障碍、记忆障碍、心理状态障碍、移动障碍(例如，特发性震颤或帕金森氏病)、亨廷顿病、阿尔茨海默症、药物成瘾症、孤独症或其他神经学或精神科疾病和损害。
本申请实施例中，程控设备和刺激器建立程控连接时，可以利用程控设备调整刺激器的刺激参数(或者说脉冲发生器的刺激参数，不同的刺激参数所对应的电刺激信号不同)，也可以通过刺激器感测患者的电生理活动以采集得到电生理信号，并可以通过所采集到的电生理信号来继续调整刺激器的刺激参数。
刺激参数可以包括以下至少一种：用于递送电刺激的电极触点标识(例如可以是2#电极触点和3#电极触点)、频率(例如是单位时间1s内的电刺激脉冲信号个数，单位为Hz)、脉宽(每个脉冲的持续时间，单位为μs)、幅值(一般用电压表述，即每个脉冲的强度，单位为V)、时序(例如可以是连续或者簇发，簇发是指多个过程组成的不连续的时序行为)、刺激模式(包括电流模式、电压模式、定时刺激模式和循环刺激模式中的一种或多种)、医生控制上限及下限(医生可调节的范围)和患者控制上限及下限(患者可自主调节的范围)
本申请实施例中的刺激强度指的是对植入式神经电刺激系统施加的电刺激的强度，电刺激强度的度量方式可以是电流、电压、电荷量、脉冲宽度、脉冲频率等。刺激强度的调节可以对神经系统产生不同的效应和反应，如神经元的兴奋或抑制。当采用电流(以安培为单位)作为刺激强度的度量方式时，电流强度例如可以是0.5mA、1mA、2mA、4mA、5mA等。
在一个具体应用场景中，可以在电流模式或者电压模式下对刺激器的各刺激参数进行调节。
程控设备可以是医生程控设备(即医生使用的程控设备)或者患者程控设备(即患者使用的程控设备)。医生程控设备例如可以是搭载有程控软件的平板电脑、笔记本电脑、台式计算机、手机等智能终端设备。患者程控设备例如可以是搭载有程控软件的平板电脑、笔记本电脑、台式计算机、手机等智能终端设备，患者程控设备还可以是其他具有程控功能的电子设备(例如是具有程控功能的充电器、数据采集设备等)。
本申请实施例对医生程控设备和刺激器的数据交互不进行限制，当医生远程程控时，医生程控设备可以通过服务器、患者程控设备与刺激器进行数据交互。当医生线下和患者面对面进行程控时，医生程控设备可以通过患者程控设备与刺激器进行数据交互，医生程控设备还可以直接与刺激器进行数据交互。
在一些实施例中，患者程控设备可以包括(与服务器通信的)主机和(与刺激器通信的)子机，主机和子机可通信地连接。其中，医生程控设备可以通过3G/4G/5G网络与服务器进行数据交互，服务器可以通过3G/4G/5G网络与主机进行数据交互，主机可以通过蓝牙协议/WIFI协议/USB协议与子机进行数据交互，子机可以通过401MHz-406MHz工作频段/2.4GHz-2.48GHz工作频段与刺激器进行数据交互，医生程控设备可以通过401MHz-406MHz工作频段/2.4GHz-2.48GHz工作频段与刺激器直接进行数据交互。
人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习、自动驾驶、智慧交通等几大方向。
机器学习(Machine Learning,ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。计算机程序可以在给定某种类别的任务T和性能度量P下学习经验E，如果其在任务T中的性能恰好可以用P度量，则随着经验E而提高。机器学习专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。
深度学习是一种特殊的机器学习，通过学习将世界使用嵌套的概念层次来表示并实现巨大的功能和灵活性，其中每个概念都定义为与简单概念相关联，而更为抽象的表示则以较不抽象的方式来计算。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、示教学习等技术。
XR设备是指扩展现实(Extended Reality)设备，是一类综合了虚拟现实(VirtualReality，VR)、增强现实(Augmented Reality，AR)和混合现实(Mixed Reality，MR)技术的设备。XR技术旨在创造出与现实世界交互的全新数字体验。虚拟现实(VR)通过将用户完全沉浸到虚拟环境中，使其感觉好像身临其境。增强现实(AR)则将虚拟内容叠加到现实世界中，使用户能够与现实环境中的数字内容进行交互。混合现实(MR)结合了虚拟现实和增强现实的特点，将虚拟内容与真实世界进行实时交互和融合。XR设备通常包括头戴式显示器(Head-Mounted Display，HMD)、智能眼镜、手持设备等。这些设备通过传感器、摄像头、定位系统等技术，实时捕捉用户的头部、手势、位置等信息，并将虚拟内容或增强内容以逼真的方式呈现给用户。
核团标注是神经科学研究中的一项任务，旨在对脑图像或脑影像数据进行注释和识别，以确定和定位特定的神经核团或脑区。核团是神经元的群集，具有相似的形态、功能或连接特性，并在特定脑结构中紧密聚集。核团标注是通过准确勾画和标记核团的边界和区域，以提供对脑结构和功能的详细描述和解释。核团标注需要结合解剖学知识、脑图谱和脑模型等参考信息，以确保标注的准确性和一致性。标注过程通常涉及对脑图像进行可视化分析、结构边界识别和区域分割等步骤，这可以通过手动操作或辅助自动化工具来完成。
随着科技发展和社会进步，在医学领域中，核团标注旨在帮助医生精确定位和标注大脑中的核团结构，核团是大脑中特定区域的集合，对于认知、运动控制、情绪调节等功能至关重要。准确地标注核团可以帮助医生在手术规划、神经疾病诊断和治疗中更好地了解患者的脑部结构。同时，随着虚拟现实(VR)和增强现实(AR)技术的发展，可穿戴的XR设备(如AR眼镜)已经成为医学图像可视化和导航的有力工具。通过将计算机生成的图像与现实世界的视觉场景叠加，XR设备能够提供医生与患者大脑之间的直观交互界面，使医疗操作更加精准和安全。
目前核团标注和XR设备应用是相对较新的技术，尚处于发展和改进阶段，在某些地区或医疗机构，这些技术可能尚未得到广泛采用，或者只限于特定的研究机构或高端医疗中心。基于此，本申请提供了核团标注装置、可穿戴的XR设备、核团标注方法、计算机可读存储介质及计算机程序产品，以改进现有技术。
本申请实施例提供的方案涉及脑深部电刺激、XR设备、计算机视觉、深度学习的技术领域，尤其涉及核团标注装置、可穿戴的XR设备、核团标注方法、计算机可读存储介质及计算机程序产品，具体通过如下实施例进行说明。需要说明的是，以下实施例的描述顺序不作为对实施例优选顺序的限定。
(核团标注装置)
本申请实施例提供了一种核团标注装置，所述核团标注装置包括存储器和至少一个处理器，所述存储器存储有计算机程序，所述至少一个处理器被配置成执行所述计算机程序时实现以下步骤：
获取患者大脑的医学影像数据，并根据所述医学影像数据，重建所述患者的大脑的三维模型；
从所述医学影像数据中分割出一个或多个核团，以得到每个所述核团的分割结果；
根据每个所述核团的分割结果和所述三维模型，获取第一显示图像，并使用可穿戴的XR设备显示所述第一显示图像，在所述第一显示图像中，每个所述核团区分显示，为穿戴所述XR设备的医生标注出每个所述核团的位置和大小。
本申请实施例中，用于获取医学影像数据的医疗设备例如可以是CT设备、MR设备、PET设备、X光设备、PET-CT设备、PET-MR设备等，相应的，医学影像数据例如可以是CT数据、MR数据、PET数据、X光数据、PET-CT数据、PET-MR数据等。其中，CT(Computed Tomography)即电子计算机断层扫描，MR(Magnetic Resonance)即磁共振，PET(Positron EmissionTomography)即正电子发射断层扫描。
由此，通过获取患者大脑的医学影像数据，并进行三维模型重建和核团分割，能够准确地定位和分割出每个核团，为医生提供高精度的标注结果；通过使用可穿戴的XR设备，能够在第一显示图像中实时显示每个核团的位置和大小，为穿戴XR设备的医生提供直观的标注体验，医生可以直接观察和标注核团，提高操作的便捷性和准确性。综上所述，该核团标注装置通过结合三维模型重建、核团分割和可穿戴XR设备的使用，为医生提供了准确、实时、便捷的核团标注体验，有助于提高医疗工作的效率和精确性，促进医学研究和临床实践的进展。
举例说明现在有一名患者A，他正在接受大脑影像学检查。通过计算机断层扫描(CT)技术，获得了A的大脑医学影像数据，这些数据存储在核团标注装置的存储器中。
首先，核团标注装置从存储器中读取计算机程序，并启动至少一个处理器来执行这些程序，装置使用医学影像数据进行处理，并根据这些数据重建A的大脑的三维模型；
然后，核团标注装置对医学影像数据进行分割，以从大脑影像中分离出一个或多个核团的医学影像数据；
最后，根据每个核团的分割结果和三维模型，核团标注装置生成显示图像，这个图像被传输到可穿戴的XR设备，以供医生使用。在该显示图像中，每个核团被区分显示，并且使用特定的颜色或标记来标注其位置和大小，如丘脑以蓝色显示，杏仁核以红色显示，脑室以绿色显示。
通过穿戴XR设备，医生可以在实时视图中观察A的大脑影像，并直观地看到每个核团的位置和大小。
通过上述步骤，展示了核团标注装置的工作原理，通过获取医学影像数据、重建三维模型、分割核团并生成显示图像，提供了一种便捷而准确的工作方式，为医生提供了更准确的结构信息，帮助他们在手术或治疗过程中进行决策和操作。
在一些实施例中，多个所述核团包括以下一种或多种：伏隔核、内囊前肢、丘脑底核、丘脑腹中间核、苍白球内侧部、腹侧内囊、腹侧纹状体和内侧前脑束的上外侧支。
由此，通过使用核团标注装置，可以准确地标注和定位多个核团，有助于医生更精确地了解大脑结构和信息；通过分割和重建患者的大脑三维模型，结合核团的分割结果，可以提供更全面和准确的医学影像处理，有助于医生更好地理解患者的大脑情况，并提供更可靠的依据，使医生能够更准确地定位目标区域。综上所述，通过提供准确的核团标注和可视化工具，改善了医学影像处理和神经外科手术的精度和效率，有助于提高手术的成功率和患者的治疗效果。
举例说明当一名医生使用核团标注装置时，使用磁共振成像(MRI)设备对患者的大脑进行扫描，获取医学影像数据，患者的脑部MRI扫描可以产生高分辨率的三维图像。通过核团标注装置中的处理器和计算机程序，对医学影像数据进行分析和处理，分割出特定的核团，提取出丘脑底核和内囊前肢等核团的区域。
基于分割结果和患者大脑的三维模型，核团标注装置生成显示图像。医生可以穿戴增强现实(AR)眼镜，来查看这个图像，在AR眼镜的显示中，医生可以看到患者的大脑模型，并且核团被不同的颜色或标记区分显示。
通过上述步骤，核团标注装置可以准确地标注伏隔核、内囊前肢、丘脑底核、丘脑腹中间核、苍白球内侧部、腹侧内囊、腹侧纹状体和内侧前脑束的上外侧支等核团的位置和大小。通过AR眼镜的显示，医生可以直观地观察和分析患者的大脑结构，这对于神经外科手术规划、脑部疾病诊断和治疗等方面具有重要意义。
在一些实施例中，所述XR设备采用AR设备，所述至少一个处理器被配置成执行所述计算机程序时采用以下方式获取所述第一显示图像：
通过所述AR设备的摄像头采集得到实时图像，所述实时图像包含所述患者的大脑和植入所述患者的大脑的一个或多个电极导线；
对所述实时图像和所述三维模型进行配准，以得到配准矩阵；
根据每个所述核团的分割结果、所述配准矩阵和所述实时图像，获取所述第一显示图像。
由此，通过AR设备的摄像头采集到患者大脑和植入电极导线的实时图像，并与事先重建的三维模型进行配准，可以实时获取患者大脑的准确图像，并将其与模型对齐，为后续处理和显示提供准确的基础数据；通过分割结果和配准矩阵，结合实时图像，可以生成第一显示图像，在该图像中，每个核团都能够清晰地显示，其位置和大小均被标注出，医生能够在实时图像上智能导航和定位核团，更好地了解患者大脑结构，提供精准的指导。综上所述，通过采用AR设备作为XR设备，并结合实时图像采集、配准和核团分割结果，为医生提供了智能导航和增强现实辅助显示的功能，有助于提高手术的精确性、个性化和效率。
举例说明当一名医生使用核团标注装置时，首先利用磁共振成像(MRI)设备获得了患者的大脑医学影像数据，然后根据这些数据，重建并得到了患者的大脑的三维模型，然后自动分割提取出需要的核团；
然后再使用AR设备的摄像头来捕捉患者大脑的实时图像，这个实时图像包含了患者的大脑以及植入在患者大脑中的一个或多个电极导线，AR设备的摄像头可以拍摄到患者头部的实时图像，显示患者大脑的位置和电极导线的分布。
将实时图像与事先生成的三维大脑模型进行配准，以获得配准矩阵，配准的目的是将实时图像与三维模型进行对齐，使它们在同一个坐标系下表现一致，利用计算机视觉技术，将实时图像中的特征点与三维模型中相应的点进行匹配，以获得配准矩阵。
利用每个核团的分割结果、配准矩阵和实时图像，生成显示图像。在该显示图像中，核团被标注并与实时图像叠加显示。医生可以通过AR设备的显示屏观察这个图像，并获得关于核团位置的信息。例如，核团可以以不同的颜色或标记区分显示，并且医生可以看到核团在患者大脑中的准确位置和大小。
通过上述步骤，该核团装置采用了XR设备(例如是AR设备)，通过使用AR设备的摄像头采集实时图像，并与三维模型进行配准，获得了显示图像。核团装置用于标注核团的位置和大小，以辅助诊断和治疗过程中对患者大脑的研究和分析。
在一些实施例中，所述至少一个处理器被配置成执行所述计算机程序时还实现以下步骤：
在植入电极导线的过程中，根据所述实时图像，获取当前植入的目标电极导线的实时位姿信息；
根据所述实时位姿信息，检测所述目标电极导线是否偏离自身对应的预设植入路径；
如果偏离，则根据所述目标电极导线对应的目标靶点的分割结果、所述配准矩阵、所述实时图像、所述目标电极导线的位置信息以及对应的预设植入路径，获取第二显示图像，并使用所述AR设备显示所述第二显示图像，以辅助所述医生按照所述预设植入路径植入所述目标电极导线，在所述第二显示图像中，所述目标电极导线及其对应的目标靶点、预设植入路径高亮显示，所述目标靶点是其中一个核团。
由此，通过使用实时图像，能够获取正在进行植入的电极导线的当前位置和姿态信息，使医生能够实时了解导线的位置和方向，从而进行准确的操作和调整；通过比较目标电极导线的实时位姿信息与预设植入路径，可以检测导线是否偏离了预期位置，有助于医生及时发现并纠正导线植入过程中可能出现的偏差或错误；根据目标导线对应的目标靶点的分割结果、配准矩阵、实时图像和导线位置信息，生成第二显示图像，可以提供更直观的导航信息，帮助医生按照预设植入路径准确地植入目标电极导线；通过在XR设备上显示第二显示图像，医生可以获得增强现实的视觉反馈，导线、目标靶点和预设植入路径的高亮显示有助于医生在实际操作中准确定位目标位置，并确保导线的正确植入。综上所述，该技术方案提供了实时导航和辅助，使医生能够更准确地植入目标电极导线，提高植入精度，减少操作风险，并确保治疗效果的达成。
举例说明假设某患者要进行脑深部刺激治疗，需要植入电极导线到患者的大脑核团中，其中一个核团是目标核团；
首先，使用医学影像设备获取患者大脑的医学影像数据，例如CT扫描和MRI，在植入电极导线的过程中，使用实时摄像头或其他图像采集设备获取患者大脑的实时图像；
接下来，根据实时图像，获取当前植入的目标电极导线的实时位姿信息，通过计算机视觉技术来提取出目标电极导线的位置和姿态；
然后，根据实时位姿信息，检测目标电极导线是否偏离其预设的植入路径，如果目标电极导线偏离了预设植入路径，将根据目标电极导线对应的目标靶点的分割结果、配准矩阵、实时图像、目标电极导线的位置信息以及预设植入路径等信息来获取显示图像，这个显示图像将通过AR设备显示给医生，帮助医生按照预设的植入路径植入目标电极导线；
在该显示图像中，目标电极导线及其对应的目标靶点和预设植入路径可以被高亮显示。这样医生可以在AR设备上观察该显示图像，以辅助植入目标电极导线的过程。AR设备可以将图像叠加在患者实际大脑图像上，使医生能够直观地看到目标电极导线的位置和植入路径。
通过上述步骤，可以清楚地看到如何根据实时图像、实时位姿信息、目标靶点分割结果、配准矩阵、目标电极导线的位置信息和预设植入路径来获取显示图像，并使用AR设备辅助医生植入目标电极导线。这个过程可以提高手术的准确性和安全性，确保目标电极导线正确植入目标核团。
在一些实施例中，所述至少一个处理器被配置成执行所述计算机程序时还实现以下步骤：
在植入一个或多个电极导线后，获取所述患者对应的刺激策略，所述刺激策略包括每个所述电极导线对应的刺激参数集合；
根据每个所述电极导线对应的刺激参数集合，获取每个所述电极导线的刺激结果，所述刺激结果用于指示刺激区域以及所述刺激区域中的每个区域点的刺激强度；
根据每个所述核团的分割结果、所述配准矩阵、所述实时图像和每个所述电极导线的刺激结果，获取第三显示图像，并使用所述AR设备显示所述第三显示图像，在所述第三显示图像中，对每个所述核团以及每个所述电极导线的刺激结果进行可视化展示。
由此，通过获取患者对应的刺激策略，包括每个电极导线对应的刺激参数集合，可以了解患者个体化的刺激方案，有助于医生了解患者的治疗需求和目标，并根据其具体情况进行刺激参数的设定；根据每个电极导线对应的刺激参数集合，可以计算出每个电极导线的刺激结果，刺激结果用于指示刺激区域以及刺激区域中每个区域点的刺激强度，可以根据刺激结果来评估刺激的效果，为后续的治疗调整提供依据；根据核团的分割结果、配准矩阵、实时图像以及电极导线的刺激结果，获取第三显示图像，在该图像中，可以对每个核团以及每个电极导线的刺激结果进行可视化展示，帮助医生直观地了解刺激区域的分布情况，以及每个区域点的刺激强度，有助于评估治疗效果和调整刺激策略。综上所述，通过刺激策略的获取、刺激结果的计算和第三显示图像的可视化展示，为个体化治疗提供了支持，医生可以根据刺激结果来评估治疗效果，并根据可视化展示来调整刺激策略，从而优化神经刺激治疗的效果，提高患者的疗效和治疗满意度。
举例说明假设某患者正在使用核团装置进行脑深部刺激治疗，他已经植入了多个电极导线到其大脑核团中；
首先，需要获取与患者相应的刺激策略，对于每个电极导线，刺激策略包括刺激参数集合，如刺激频率、脉冲宽度和电流强度等，这些参数将用于控制电极导线的刺激过程；
接下来，根据每个电极导线对应的刺激参数集合，获取每个电极导线的刺激结果。刺激结果用于指示刺激区域以及刺激区域中每个区域点的刺激强度，对于每个电极导线，可以根据刺激参数集合计算出刺激区域，并确定每个区域点的刺激强度；
在获取刺激强度之后，可以利用核团的分割结果、配准矩阵、实时图像以及每个电极导线的刺激结果来获取显示图像。显示图像将用于可视化展示核团和电极导线的刺激结果，将核团的分割结果与实时图像进行配准，然后将每个电极导线的刺激结果叠加到图像上。使用AR设备显示显示图像，医生可以在实时图像上直观地观察每个核团以及每个电极导线的刺激结果。
通过上述步骤，可以清楚地看到如何根据患者刺激策略、电极导线的刺激参数集合、核团的分割结果、配准矩阵和实时图像来获取刺激强度，并使用AR设备进行可视化展示。这个过程可以帮助医生更好地了解刺激效果，以调整治疗方案并优化治疗效果。
在一些实施例中，所述至少一个处理器被配置成执行所述计算机程序时采用以下方式获取每个所述区域点的刺激强度：
分别检测所述区域点是否处于每个电极导线的刺激区域内，以得到刺激区域包括所述区域点的电极导线集合；
将所述区域点的位置信息以及所述电极导线集合中的所有电极导线的位姿信息、刺激参数集合输入柔性刺激强度模型，以得到所述区域点对应的刺激强度。
此外，当一个区域点不处于任意一个电极导线的刺激区域内时，可以将该区域点对应的刺激强度设置为缺省值，例如是0。
由此，通过检测每个区域点是否处于每个电极导线的刺激区域内，可以确定包含该区域点的电极导线集合，为后续的刺激强度计算提供准确的输入数据；通过将区域点的位置信息、电极导线的位姿信息和刺激参数集合输入柔性刺激强度模型，可以计算出每个区域点的刺激强度；通过计算每个区域点的刺激强度，可以为患者定制刺激方案；根据区域点的刺激强度，医生可以调整刺激参数，以实现更精准、有效的神经刺激治疗，有助于提高治疗的针对性和疗效，更好地满足患者的治疗需求；通过获取每个区域点的刺激强度，可以将其进行可视化展示。综上所述，通过区域点的刺激区域检测和柔性刺激强度模型的计算，为个体化刺激方案提供了基础，能够更精准地计算每个区域点的刺激强度，有助于优化神经刺激治疗，并通过可视化展示提供更直观的信息，为医生决策和患者治疗提供支持。
举例说明现有一个患有癫痫的患者，需要进行脑深部刺激治疗，在治疗过程中，医生将植入两个电极导线到患者大脑中的特定核团，即左侧丘脑底核和右侧伏隔核。
首先，通过医学影像设备获取患者大脑的医学影像数据，包括CT扫描和MRI，这些数据提供了关于患者大脑结构的详细信息。
接下来，使用计算机视觉技术重建了患者大脑的三维模型，得到一个具有两个核团的三维模型，其中一个是左侧丘脑底核，另一个是右侧伏隔核；
然后，从医学影像数据中分割出了左侧丘脑底核和右侧伏隔核，这些分割结果为核团的体积或表面表示形式；
在植入电极导线的过程中，使用实时图像和定位系统来获取当前植入的目标电极导线的实时位姿信息。该实时图像显示了患者大脑中的两个电极导线，它们分别与左侧丘脑底核和右侧伏隔核相连接。
接下来，分别检测每个区域点是否处于每个电极导线的刺激区域内。例如，选择一个位于左侧丘脑底核的区域点和一个位于右侧伏隔核的区域点，检查这些区域点是否位于相应的电极导线的刺激区域内。
然后，将区域点的位置信息以及包含左侧丘脑底核和右侧伏隔核电极导线位姿信息的电极导线集合，以及刺激参数集合输入柔性刺激强度模型，这个模型根据导线的位置、姿态以及刺激参数计算出区域点的刺激强度。
最后，分别得到了每个区域点即左侧丘脑底核的区域点和右侧伏隔核区域点对应的刺激强度值。
通过上述步骤，可以清楚地看到如何根据区域点的位置、电极导线集合的位姿信息和刺激参数输入柔性刺激强度模型来获取每个区域点的刺激强度，这个过程可以帮助医生精确地控制脑深部刺激治疗，以改善患者的症状。
在一些实施例中，所述柔性刺激强度模型的训练过程包括：
获取训练集，所述训练集包括多个训练数据，每个所述训练数据包括一个样本位置信息和一个样本电极导线的位姿信息、刺激参数集合以及所述样本位置信息和所述样本电极导线的位姿信息、刺激参数集合对应的刺激强度的标注数据；
针对每个所述训练数据，执行以下处理：
将所述训练数据中的样本位置信息和样本电极导线的位姿信息、刺激参数集合输入预设的深度学习模型，以得到所述样本位置信息和所述样本电极导线的位姿信息、刺激参数集合对应的刺激强度的预测数据；
根据所述样本位置信息和所述样本电极导线的位姿信息、刺激参数集合对应的刺激强度的预测数据和标注数据，对所述深度学习模型的模型参数进行更新；
检测是否满足预设的训练结束条件；如果是，则将训练出的所述深度学习模型作为所述柔性刺激强度模型；如果否，则继续使用下一个所述训练数据训练所述深度学习模型。
在一些实施例中，可以对历史数据进行数据挖掘，以获取训练集中的样本数据。也就是说，这些样本数据可以是在真实环境中多次采集实时图像得到的。另外，样本数据也可以是利用GAN模型的生成网络自动生成的。
其中，GAN模型即生成对抗网络(Generative Adversarial Network)，由一个生成网络与一个判别网络组成。生成网络从潜在空间(latent space)中随机采样作为输入，其输出结果需要尽量模仿训练集中的真实样本。判别网络的输入则为真实样本或生成网络的输出，其目的是将生成网络的输出从真实样本中尽可能分辨出来。而生成网络则要尽可能地欺骗判别网络。两个网络相互对抗、不断调整参数，最终目的是使判别网络无法判断生成网络的输出结果是否真实。使用GAN模型可以生成大量样本数据，用于上述柔性刺激强度模型的训练过程，能有效降低原始数据采集的数据量，大大降低数据采集和标注的成本。
本申请实施例对柔性刺激强度模型的训练过程不作限定，其例如可以采用监督学习的训练方式，或者可以采用半监督学习的训练方式，或者可以采用无监督学习的训练方式。
当采用监督学习或者半监督学习的训练方式时，本申请实施例对标注数据的获取方式不作限定，例如可以采用人工标注的方式，也可以采用自动标注或者半自动标注的方式。当样本数据是在真实环境中采集得到时，可以通过关键词提取的方式从历史数据中获取真实数据作为标注数据。
本申请实施例对柔性刺激强度模型的训练过程中的训练结束条件不作限定，其例如可以是训练次数达到预设次数(预设次数例如是1次、3次、10次、100次、1000次、10000次等)，或者可以是训练集中的训练数据都完成一次或多次训练，或者可以是本次训练得到的总损失值不大于预设损失值。
由此，通过训练柔性刺激强度模型，可以对样本位置信息、电极导线的位姿信息和刺激参数集合与刺激强度之间的关系进行学习和建模，能够准确地预测刺激强度，帮助医生和技术人员更好地了解和控制刺激治疗过程；柔性刺激强度模型可以根据每个患者的情况和需求进行训练和优化，通过获取每个电极导线的刺激参数集合并进行预测，可以实现个性化的刺激策略，确保治疗的准确性和有效性；通过准确地预测刺激强度，可以更好地控制刺激区域和刺激强度的分布，从而提高治疗的准确性和精确性，最大程度地发挥治疗的效果；通过不断迭代训练过程，可以提高模型的性能和准确度。综上所述，使用深度学习模型可以对模型参数进行更新，从而不断优化模型的预测能力的训练过程，提供准确的刺激强度预测、个性化的刺激策略以及优化的治疗效果，在核团装置技术中具有重要的应用价值。
在一些实施例中，所述至少一个处理器被配置成执行所述计算机程序时采用以下方式获取每个所述区域点的刺激强度：
分别检测每两个电极导线的刺激区域是否相交；
当存在刺激区域相交的电极导线时，针对刺激区域相交的每两个电极导线，执行以下处理：
获取两个电极导线的刺激区域的相交区域和两个电极导线各自对应的非相交区域；
针对所述相交区域中的每个区域点，将所述区域点的位置信息以及两个电极导线的位姿信息和刺激参数集合输入双刺激强度模型，以得到所述区域点的刺激强度；
针对所述非相交区域中的每个区域点，将所述区域点的位置信息以及自身对应的电极导线的位姿信息和刺激参数集合输入单刺激强度模型，以得到所述区域点的刺激强度。
双刺激强度模型、单刺激强度模型的训练过程与柔性刺激强度模型的训练过程相类似，此处不再赘述。需要注意的是，这些模型都是用于预测刺激强度的模型，也都可以采用基于深度学习或者机器学习的初始模型训练得到，使用不同名称的目的是为了区分不同的刺激强度模型。柔性刺激强度模型中的“柔性”是指对于模型的输入数据中电极导线的数量没有限定，可以是1个、2个或者多个，因此，针对任意一个处于电极导线刺激区域的区域点，不管其处于几个电极导线的刺激区域内，其所对应的输入数据中有几个电极导线的相关信息，该柔性刺激强度模型都能够预测出该区域点对应的刺激强度。而双刺激强度模型、单刺激强度模型则将处于电极导线的刺激区域的区域点划分为两种：处于两个电极导线的刺激区域的相交区域(即处于两个电极导线的刺激区域的相交区域)，或者，处于单个电极导线的刺激区域(即处于两个电极导线各自对应的非相交区域)。再针对这样两种情况，分别采用双刺激强度模型、单刺激强度模型这两种模型预测得到该区域点对应的刺激强度，模型结构更简单，模型参数量少，数据处理效率高。
由此，通过检测每两个电极导线的刺激区域是否相交，可以确定是否存在相交的电极导线。这有助于确定哪些电极导线需要进行进一步的处理，以获取区域点的刺激强度；针对相交区域中的每个区域点，通过将区域点的位置信息、两个电极导线的位姿信息和刺激参数集合输入双刺激强度模型，可以计算得到区域点的刺激强度。对于非相交区域中的每个区域点，可以将区域点的位置信息、自身对应的电极导线的位姿信息和刺激参数集合输入单刺激强度模型，以计算得到区域点的刺激强度；通过采用双刺激强度模型和单刺激强度模型，可以根据不同的情况对区域点的刺激强度进行计算。这样可以更准确地评估区域点的刺激强度，从而为神经刺激治疗提供更精细化的调整和优化；通过计算每个区域点的刺激强度，可以为个体化治疗提供支持。综上所述，通过刺激区域相交检测和区域点刺激强度计算，该技术方案能够更精确地获取每个区域点的刺激强度。这有助于实现个体化的治疗优化，并提高神经刺激治疗的效果和患者的治疗体验。
举例说明现有一个核团装置用于深部脑刺激治疗，其中包括两个电极导线：电极导线A和电极导线B。通过分析电极导线的形状和刺激参数，确定电极导线A和电极导线B的刺激区域是否相交。
假设电极导线A和电极导线B的刺激区域相交，获得相交区域，即电极导线A和电极导线B的刺激区域重叠的部分，并分别获取它们各自对应的非相交区域。
在相交区域中的一个区域点P，记录其位置信息，并将该区域点P的位置信息、电极导线A和电极导线B的位姿信息以及它们的刺激参数集合输入双刺激强度模型。双刺激强度模型会考虑电极导线A和电极导线B的刺激参数和位置关系，并计算出区域点P的刺激强度。
在非相交区域中的一个区域点Q，记录其位置信息，并将该区域点Q的位置信息、电极导线A的位姿信息和刺激参数集合输入单刺激强度模型。单刺激强度模型仅考虑电极导线A的刺激参数和位置信息，并计算出区域点Q的刺激强度。
通过上述步骤，可以获得相交区域中的区域点P的双刺激强度值以及非相交区域中的区域点Q的单刺激强度值。这些刺激强度值可以用于评估治疗效果，优化刺激参数，并辅助医生进行深部脑刺激治疗的精确定位和调整。
在一个具体应用场景中，本申请实施例还提供了一种核团标注装置，所述核团标注装置包括存储器和至少一个处理器，所述存储器存储有计算机程序，所述至少一个处理器被配置成执行所述计算机程序时实现以下步骤：
获取患者大脑的医学影像数据，并根据所述医学影像数据，重建所述患者的大脑的三维模型；
从所述医学影像数据中分割出一个或多个核团，多个所述核团包括以下一种或多种：伏隔核、内囊前肢、丘脑底核、丘脑腹中间核、苍白球内侧部、腹侧内囊、腹侧纹状体和内侧前脑束的上外侧支，以得到每个所述核团的分割结果；
通过所述AR设备的摄像头采集得到实时图像，所述实时图像包含所述患者的大脑和植入所述患者的大脑的一个或多个电极导线；
对所述实时图像和所述三维模型进行配准，以得到配准矩阵；
根据每个所述核团的分割结果、所述配准矩阵和所述实时图像，获取所述第一显示图像，并使用可穿戴的XR设备显示所述第一显示图像，在所述第一显示图像中，每个所述核团区分显示，为穿戴所述XR设备的医生标注出每个所述核团的位置和大小。
在植入电极导线的过程中，根据所述实时图像，获取当前植入的目标电极导线的实时位姿信息；
根据所述实时位姿信息，检测所述目标电极导线是否偏离自身对应的预设植入路径；
如果偏离，则根据所述目标电极导线对应的目标靶点的分割结果、所述配准矩阵、所述实时图像、所述目标电极导线的位置信息以及对应的预设植入路径，获取第二显示图像，并使用所述AR设备显示所述第二显示图像，以辅助所述医生按照所述预设植入路径植入所述目标电极导线，在所述第二显示图像中，所述目标电极导线及其对应的目标靶点、预设植入路径高亮显示，所述目标靶点是其中一个核团；
在植入一个或多个电极导线后，获取所述患者对应的刺激策略，所述刺激策略包括每个所述电极导线对应的刺激参数集合；根据每个所述电极导线对应的刺激参数集合，获取每个所述电极导线的刺激结果，所述刺激结果用于指示刺激区域以及所述刺激区域中的每个区域点的刺激强度；
根据每个所述核团的分割结果、所述配准矩阵、所述实时图像和每个所述电极导线的刺激结果，获取第三显示图像，并使用所述AR设备显示所述第三显示图像，在所述第三显示图像中，对每个所述核团以及每个所述电极导线的刺激结果进行可视化展示；
分别检测所述区域点是否处于每个电极导线的刺激区域内，以得到刺激区域包括所述区域点的电极导线集合；
将所述区域点的位置信息以及所述电极导线集合中的所有电极导线的位姿信息、刺激参数集合输入柔性刺激强度模型，以得到所述区域点对应的刺激强度；
分别检测每两个电极导线的刺激区域是否相交；
当存在刺激区域相交的电极导线时，针对刺激区域相交的每两个电极导线，执行以下处理：
获取两个电极导线的刺激区域的相交区域和两个电极导线各自对应的非相交区域；
针对所述相交区域中的每个区域点，将所述区域点的位置信息以及两个电极导线的位姿信息和刺激参数集合输入双刺激强度模型，以得到所述区域点的刺激强度；
针对所述非相交区域中的每个区域点，将所述区域点的位置信息以及自身对应的电极导线的位姿信息和刺激参数集合输入单刺激强度模型，以得到所述区域点的刺激强度。
其中，所述柔性刺激强度模型的训练过程包括：
获取训练集，所述训练集包括多个训练数据，每个所述训练数据包括一个样本位置信息和一个样本电极导线的位姿信息、刺激参数集合以及所述样本位置信息和所述样本电极导线的位姿信息、刺激参数集合对应的刺激强度的标注数据；
针对每个所述训练数据，执行以下处理：
将所述训练数据中的样本位置信息和样本电极导线的位姿信息、刺激参数集合输入预设的深度学习模型，以得到所述样本位置信息和所述样本电极导线的位姿信息、刺激参数集合对应的刺激强度的预测数据；
根据所述样本位置信息和所述样本电极导线的位姿信息、刺激参数集合对应的刺激强度的预测数据和标注数据，对所述深度学习模型的模型参数进行更新；
检测是否满足预设的训练结束条件；如果是，则将训练出的所述深度学习模型作为所述柔性刺激强度模型；如果否，则继续使用下一个所述训练数据训练所述深度学习模型。
举例说明，假设现有一核团标注装置，它被设计用于辅助医生在深部脑刺激治疗中定位和植入电极导线。
首先，医生使用核磁共振成像(MRI)或其他医学影像技术获取患者大脑的影像数据，包括其解剖结构和核团的分布情况，这些影像数据被用于后续处理和分析；
接下来，通过对医学影像数据进行处理和分析，重建了患者大脑的三维模型，这个三维模型用于后续的配准和定位，确保精确的匹配；
然后，从医学影像数据中自动分割出各个核团，例如伏隔核、内囊前肢、丘脑底核等。这些核团的分割结果将在后续的定位和标注过程中使用；
在手术过程中，使用增强现实(AR)设备的摄像头实时采集患者大脑和植入电极导线的图像，这些实时图像与先前获取的三维模型进行配准，生成配准矩阵，以确保实时图像和模型之间的准确对应；
基于核团的分割结果、配准矩阵和实时图像，生成显示图像，该显示图像通过可穿戴的AR设备呈现给医生。在显示图像中，每个核团被区分显示，并且医生可以将AR设备佩戴在头部，直观地观察被标注出的每个核团的位置和大小；
在电极导线植入过程中，根据实时图像获取当前植入的目标电极导线的实时位姿信息，通过比较实时位姿信息和预设植入路径，检测目标电极导线是否偏离预设路径，如果有偏离，再次生成显示图像，其中目标电极导线、目标靶点和预设植入路径被高亮显示，以辅助医生按照预设路径植入目标电极导线；
在植入一个或多个电极导线后，获取患者对应的刺激策略，包括每个电极导线对应的刺激参数集合，如刺激频率、强度等；
根据每个电极导线的刺激参数集合，计算每个电极导线的刺激结果，指示刺激区域和区域点的刺激强度，结合核团的分割结果、配准矩阵和实时图像，生成更新的显示图像，并在AR设备上显示，这个图像可视化展示每个核团以及每个电极导线的刺激结果；
针对每个区域点，检测其是否位于电极导线的刺激区域内，以确定刺激区域包括该区域点的电极导线集合。将区域点的位置信息以及涉及的电极导线的位姿信息和刺激参数集合输入柔性刺激强度模型，计算该区域点的刺激强度；
或者，检测每两个电极导线的刺激区域是否相交，如果存在相交的电极导线，针对相交区域和非相交区域中的每个区域点，分别计算双刺激强度和单刺激强度，相交区域中的区域点通过双刺激强度模型计算刺激强度，非相交区域中的区域点通过单刺激强度模型计算刺激强度。
通过以上步骤，核团标注装置能够帮助医生实现核团的定位和标注，辅助植入目标电极导线，并提供刺激区域和区域点的刺激强度计算，从而提高深部脑刺激治疗的准确性和个性化调整。
(核团标注方法)
本申请实施例还提供了一种核团标注方法，其具体实施例与上述装置实施例中记载的实施例、所达到的技术效果一致，部分内容不再赘述。
参见图1，图1是本申请实施例提供的一种核团标注方法的流程示意图。
本申请提供了一种核团标注方法，所述方法包括：
步骤S101：获取患者大脑的医学影像数据，并根据所述医学影像数据，重建所述患者的大脑的三维模型；
步骤S102：从所述医学影像数据中分割出一个或多个核团，以得到每个所述核团的分割结果；
步骤S103：根据每个所述核团的分割结果和所述三维模型，获取第一显示图像，并使用可穿戴的XR设备显示所述第一显示图像，在所述第一显示图像中，每个所述核团区分显示，为穿戴所述XR设备的医生标注出每个所述核团的位置和大小。
在一些实施例中，多个所述核团包括以下一种或多种：伏隔核、内囊前肢、丘脑底核、丘脑腹中间核、苍白球内侧部、腹侧内囊、腹侧纹状体和内侧前脑束的上外侧支。
参见图2，图2是本申请实施例提供的一种获取第一显示图像的流程示意图。
在一些实施例中，所述XR设备采用AR设备，获取所述第一显示图像的过程包括：
步骤S201：通过所述AR设备的摄像头采集得到实时图像，所述实时图像包含所述患者的大脑和植入所述患者的大脑的一个或多个电极导线；
步骤S202：对所述实时图像和所述三维模型进行配准，以得到配准矩阵；
根据每个所述核团的分割结果、所述配准矩阵和所述实时图像，获取所述第一显示图像。
在一些实施例中，所述方法还包括：
在植入电极导线的过程中，根据所述实时图像，获取当前植入的目标电极导线的实时位姿信息；
根据所述实时位姿信息，检测所述目标电极导线是否偏离自身对应的预设植入路径；
如果偏离，则根据所述目标电极导线对应的目标靶点的分割结果、所述配准矩阵、所述实时图像、所述目标电极导线的位置信息以及对应的预设植入路径，获取第二显示图像，并使用所述AR设备显示所述第二显示图像，以辅助所述医生按照所述预设植入路径植入所述目标电极导线，在所述第二显示图像中，所述目标电极导线及其对应的目标靶点、预设植入路径高亮显示，所述目标靶点是其中一个核团。
参见图3，图3是本申请实施例提供的一种获取刺激策略的流程示意图。
在一些实施例中，所述方法还包括：
步骤S301：在植入一个或多个电极导线后，获取所述患者对应的刺激策略，所述刺激策略包括每个所述电极导线对应的刺激参数集合；
步骤S302：根据每个所述电极导线对应的刺激参数集合，获取每个所述电极导线的刺激结果，所述刺激结果用于指示刺激区域以及所述刺激区域中的每个区域点的刺激强度；
步骤S303：根据每个所述核团的分割结果、所述配准矩阵、所述实时图像和每个所述电极导线的刺激结果，获取第三显示图像，并使用所述AR设备显示所述第三显示图像，在所述第三显示图像中，对每个所述核团以及每个所述电极导线的刺激结果进行可视化展示。
参见图4，图4是本申请实施例提供的一种获取刺激强度的流程示意图。
在一些实施例中，获取每个所述区域点的刺激强度的过程包括：
步骤S401：分别检测所述区域点是否处于每个电极导线的刺激区域内，以得到刺激区域包括所述区域点的电极导线集合；
步骤S402：将所述区域点的位置信息以及所述电极导线集合中的所有电极导线的位姿信息、刺激参数集合输入柔性刺激强度模型，以得到所述区域点对应的刺激强度。
在一些实施例中，获取每个所述区域点的刺激强度的过程包括：
分别检测每两个电极导线的刺激区域是否相交；
当存在刺激区域相交的电极导线时，针对刺激区域相交的每两个电极导线，执行以下处理：
获取两个电极导线的刺激区域的相交区域和两个电极导线各自对应的非相交区域；
针对所述相交区域中的每个区域点，将所述区域点的位置信息以及两个电极导线的位姿信息和刺激参数集合输入双刺激强度模型，以得到所述区域点的刺激强度；
针对所述非相交区域中的每个区域点，将所述区域点的位置信息以及自身对应的电极导线的位姿信息和刺激参数集合输入单刺激强度模型，以得到所述区域点的刺激强度。
(可穿戴的XR设备)
参见图5，图5是本申请实施例提供的一种可穿戴的XR设备的结构框图。
本申请提供了一种可穿戴的XR设备，所述XR设备包括：
上述任一项所述的核团标注装置；
摄像头，用于采集得到实时图像并发送至所述核团标注装置；
显示屏，用于提供显示功能。
本申请实施例中，所述XR设备例如可以具有眼镜、头盔或者帽子等形状。
此外，XR设备还可以包括一个或多个电极片，每个电极片用于接触医生的身体表面，用以检测医生的身体状态。具体而言，通过电极片检测得到医生的生理参数集合，所述生理参数集合包括脑电、心电、肌电、眼电中的一种或多种生理参数；当所述生理参数集合中的一个或多个生理参数不处于自身对应的预设数值范围时，提示医生和/或管理人员所述医生疑似处于不健康状态，需要管理人员或者其他人员查看医生情况，以避免医生突发疾病或者猝死。这样做的好处是，针对职业压力较大的医生群体来说，存在长时间在手术台上的可能性，当医生连续执行多台手术或者单台手术时间过长时，容易出现医生自身健康受损或者异常的情况，通过XR设备实时监测医生的健康状态，便于确保医生和患者双方的健康和安全。
参见图6，图6是本申请实施例提供的一种电子设备10的结构框图。
电子设备10例如可以包括至少一个存储器11、至少一个处理器12以及连接不同平台系统的总线13。
存储器11可以包括易失性存储器形式的(计算机)可读介质，例如随机存取存储器(RAM)111和/或高速缓存存储器112，还可以进一步包括只读存储器(ROM)113。
其中，存储器11还存储有计算机程序，计算机程序可以被处理器12执行，使得处理器12实现上述任一项方法的步骤。
存储器11还可以包括具有至少一个程序模块115的实用工具114，这样的程序模块115包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例的每一个或某种组合中可能包括网络环境的实现。
相应的，处理器12可以执行上述计算机程序，以及可以执行实用工具114。
处理器12可以采用一个或多个应用专用集成电路(ASIC，Application SpecificIntegrated Circuit)、DSP、可编程逻辑器件(PLD，Programmable Logic Device)、复杂可编程逻辑器件(CPLD，Complex Programmable Logic Device)、现场可编程门阵列(FPGA，Field-Programmable Gate Array)或其他电子元件。
总线13可以为表示几类总线结构的一种或多种，包括存储器总线或者存储器控制器、外围总线、图形加速端口、处理器或者使用多种总线结构的任意总线结构的局域总线。
电子设备10也可以与一个或多个外部设备例如键盘、指向设备、蓝牙设备等通信，还可与一个或者多个能够与该电子设备10交互的设备通信，和/或与使得该电子设备10能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等)通信。这种通信可以通过输入输出接口14进行。并且，电子设备10还可以通过网络适配器15与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。网络适配器15可以通过总线13与电子设备10的其它模块通信。应当明白，尽管图中未示出，但在实际应用中可以结合电子设备10使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储平台等。
(计算机可读存储介质)
本申请实施例还提供了一种计算机可读存储介质，其具体实施例与上述方法实施例中记载的实施例、所达到的技术效果一致，部分内容不再赘述。
所述计算机可读存储介质存储有计算机程序，所述计算机程序被至少一个处理器执行时实现上述任一项方法的步骤或者实现上述任一项电子设备的功能。
计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。在本申请实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。计算机可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读存储介质还可以是任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等，或者上述的任意合适的组合。可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，程序设计语言包括面向对象的程序设计语言诸如Java、C++等，还包括常规的过程式程序设计语言诸如C语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
(计算机程序产品)
本申请实施例还提供了一种计算机程序产品，其具体实施例与上述方法实施例中记载的实施例、所达到的技术效果一致，部分内容不再赘述。
所述计算机程序产品包括计算机程序，所述计算机程序被至少一个处理器执行时实现上述任一项方法的步骤或者实现上述任一项电子设备的功能。
参见图7，图7是本申请实施例提供的一种计算机程序产品的结构示意图。
所述计算机程序产品用于实现上述任一项方法的步骤或者实现上述任一项电子设备的功能。计算机程序产品可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的计算机程序产品不限于此，计算机程序产品可以采用一个或多个计算机可读介质的任意组合。
本申请从使用目的上，效能上，进步及新颖性等观点进行阐述，已符合专利法所强调的功能增进及使用要件，本申请以上的说明书及说明书附图，仅为本申请的较佳实施例而已，并非以此局限本申请，因此，凡一切与本申请构造，装置，特征等近似、雷同的，即凡依本申请专利申请范围所作的等同替换或修饰等，皆应属本申请的专利申请保护的范围之内。
Claims (11)
1.一种核团标注装置，其特征在于，所述核团标注装置包括存储器和至少一个处理器，所述存储器存储有计算机程序，所述至少一个处理器被配置成执行所述计算机程序时实现以下步骤：
获取患者大脑的医学影像数据，并根据所述医学影像数据，重建所述患者的大脑的三维模型；
从所述医学影像数据中分割出一个或多个核团，以得到每个所述核团的分割结果；
根据每个所述核团的分割结果和所述三维模型，获取第一显示图像，并使用可穿戴的XR设备显示所述第一显示图像，在所述第一显示图像中，每个所述核团区分显示，为穿戴所述XR设备的医生标注出每个所述核团的位置和大小。
2.根据权利要求1所述的核团标注装置，其特征在于，多个所述核团包括以下一种或多种：伏隔核、内囊前肢、丘脑底核、丘脑腹中间核、苍白球内侧部、腹侧内囊、腹侧纹状体和内侧前脑束的上外侧支。
3.根据权利要求1所述的核团标注装置，其特征在于，所述XR设备采用AR设备，所述至少一个处理器被配置成执行所述计算机程序时采用以下方式获取所述第一显示图像：
通过所述AR设备的摄像头采集得到实时图像，所述实时图像包含所述患者的大脑和植入所述患者的大脑的一个或多个电极导线；
对所述实时图像和所述三维模型进行配准，以得到配准矩阵；
根据每个所述核团的分割结果、所述配准矩阵和所述实时图像，获取所述第一显示图像。
4.根据权利要求3所述的核团标注装置，其特征在于，所述至少一个处理器被配置成执行所述计算机程序时还实现以下步骤：
在植入电极导线的过程中，根据所述实时图像，获取当前植入的目标电极导线的实时位姿信息；
根据所述实时位姿信息，检测所述目标电极导线是否偏离自身对应的预设植入路径；
如果偏离，则根据所述目标电极导线对应的目标靶点的分割结果、所述配准矩阵、所述实时图像、所述目标电极导线的位置信息以及对应的预设植入路径，获取第二显示图像，并使用所述AR设备显示所述第二显示图像，以辅助所述医生按照所述预设植入路径植入所述目标电极导线，在所述第二显示图像中，所述目标电极导线及其对应的目标靶点、预设植入路径高亮显示，所述目标靶点是其中一个核团。
5.根据权利要求3所述的核团标注装置，其特征在于，所述至少一个处理器被配置成执行所述计算机程序时还实现以下步骤：
在植入一个或多个电极导线后，获取所述患者对应的刺激策略，所述刺激策略包括每个所述电极导线对应的刺激参数集合；
根据每个所述电极导线对应的刺激参数集合，获取每个所述电极导线的刺激结果，所述刺激结果用于指示刺激区域以及所述刺激区域中的每个区域点的刺激强度；
根据每个所述核团的分割结果、所述配准矩阵、所述实时图像和每个所述电极导线的刺激结果，获取第三显示图像，并使用所述AR设备显示所述第三显示图像，在所述第三显示图像中，对每个所述核团以及每个所述电极导线的刺激结果进行可视化展示。
6.根据权利要求5所述的核团标注装置，其特征在于，所述至少一个处理器被配置成执行所述计算机程序时采用以下方式获取每个所述区域点的刺激强度：
分别检测所述区域点是否处于每个电极导线的刺激区域内，以得到刺激区域包括所述区域点的电极导线集合；
将所述区域点的位置信息以及所述电极导线集合中的所有电极导线的位姿信息、刺激参数集合输入柔性刺激强度模型，以得到所述区域点对应的刺激强度。
7.根据权利要求5所述的核团标注装置，其特征在于，所述至少一个处理器被配置成执行所述计算机程序时采用以下方式获取每个所述区域点的刺激强度：
分别检测每两个电极导线的刺激区域是否相交；
当存在刺激区域相交的电极导线时，针对刺激区域相交的每两个电极导线，执行以下处理：
获取两个电极导线的刺激区域的相交区域和两个电极导线各自对应的非相交区域；
针对所述相交区域中的每个区域点，将所述区域点的位置信息以及两个电极导线的位姿信息和刺激参数集合输入双刺激强度模型，以得到所述区域点的刺激强度；
针对所述非相交区域中的每个区域点，将所述区域点的位置信息以及自身对应的电极导线的位姿信息和刺激参数集合输入单刺激强度模型，以得到所述区域点的刺激强度。
8.一种可穿戴的XR设备，其特征在于，所述XR设备包括：
权利要求1-7任一项所述的核团标注装置；
摄像头，用于采集得到实时图像并发送至所述核团标注装置；
显示屏，用于提供显示功能。
9.一种核团标注方法，其特征在于，所述方法包括：
获取患者大脑的医学影像数据，并根据所述医学影像数据，重建所述患者的大脑的三维模型；
从所述医学影像数据中分割出一个或多个核团，以得到每个所述核团的分割结果；
根据每个所述核团的分割结果和所述三维模型，获取第一显示图像，并使用可穿戴的XR设备显示所述第一显示图像，在所述第一显示图像中，每个所述核团区分显示，为穿戴所述XR设备的医生标注出每个所述核团的位置和大小。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被至少一个处理器执行时实现权利要求1-7任一项所述核团标注装置的功能，或者实现权利要求8所述可穿戴的XR设备的功能，或者实现权利要求9所述方法的步骤。
11.一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机程序，所述计算机程序被至少一个处理器执行时实现权利要求1-7任一项所述核团标注装置的功能，或者实现权利要求8所述可穿戴的XR设备的功能，或者实现权利要求9所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310618961.8A CN116895065A (zh) | 2023-05-29 | 2023-05-29 | 核团标注装置及方法、可穿戴的xr设备、相关装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310618961.8A CN116895065A (zh) | 2023-05-29 | 2023-05-29 | 核团标注装置及方法、可穿戴的xr设备、相关装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116895065A true CN116895065A (zh) | 2023-10-17 |
Family
ID=88314004
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310618961.8A Pending CN116895065A (zh) | 2023-05-29 | 2023-05-29 | 核团标注装置及方法、可穿戴的xr设备、相关装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116895065A (zh) |
-
2023
- 2023-05-29 CN CN202310618961.8A patent/CN116895065A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11806534B2 (en) | Systems and methods for stimulation-related biological circuit element analysis and use | |
| US11602635B2 (en) | Systems and methods for stimulation-related volume analysis of therapeutic effects and other clinical indications | |
| JP5889282B2 (ja) | 刺激電極選択 | |
| US8761890B2 (en) | Electrical stimulation programming | |
| CN111148546B (zh) | 用于深部脑刺激的可视化系统 | |
| AU2012294368B2 (en) | Systems and methods for stimulation-related volume analysis, creation, and sharing | |
| EP3191177B1 (en) | Therapy program selection for electrical stimulation therapy based on a volume of tissue activation | |
| WO2012141817A2 (en) | Implantable medical devices storing graphics processing data | |
| AU2011245691A1 (en) | Stimulation electrode selection | |
| WO2024021960A1 (zh) | 脉冲发生器、医疗系统及计算机可读存储介质 | |
| CN114842956B (zh) | 控制设备、医疗系统及计算机可读存储介质 | |
| EP3174596B1 (en) | Computer implemented method for stimulation-related volume analysis, creation, and sharing with integrated surgical planning and stimulation programming | |
| CN110944710A (zh) | 估计电刺激的临床效果的系统和方法 | |
| CN116895065A (zh) | 核团标注装置及方法、可穿戴的xr设备、相关装置 | |
| CN114712712A (zh) | 刺激电极导线的成像识别方法及相关装置 | |
| US11400294B2 (en) | Method and apparatus for neurostimulation device therapy management | |
| CN117934726A (zh) | 三维可视化方法、装置和系统、可读存储介质 | |
| CN114862859B (zh) | 图像识别方法、装置、系统及计算机可读存储介质 | |
| US20230414286A1 (en) | Pathway planning apparatus, surgical system, and computer-readable storage medium | |
| CN115282477A (zh) | 远程医疗设备、医疗系统及计算机可读存储介质 | |
| CN117476186A (zh) | 刺激参数的可视化预测方法及其装置 | |
| CN116680571A (zh) | 参数配置装置、医疗系统、存储介质及程序产品 | |
| CN117936024A (zh) | 一种程控参数配置方法及相关装置 | |
| Baumgarten et al. | Image-guided preoperative prediction of pyramidal tract side effect in deep brain stimulation | |
| CN117577293A (zh) | 远程程控设备、方法、医疗系统及可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: 215000 building C16, bio nano Park, 218 Xinghu street, Suzhou Industrial Park, Jiangsu Province Applicant after: Jingyu Medical Technology (Suzhou) Co.,Ltd. Address before: 215000 building C16, bio nano Park, 218 Xinghu street, Suzhou Industrial Park, Jiangsu Province Applicant before: SCENERAY Co.,Ltd. |