CN114984450A - 控制器、植入式神经刺激系统及计算机可读存储介质 - Google Patents
控制器、植入式神经刺激系统及计算机可读存储介质 Download PDFInfo
- Publication number
- CN114984450A CN114984450A CN202210585177.7A CN202210585177A CN114984450A CN 114984450 A CN114984450 A CN 114984450A CN 202210585177 A CN202210585177 A CN 202210585177A CN 114984450 A CN114984450 A CN 114984450A
- Authority
- CN
- China
- Prior art keywords
- image
- controller
- patient
- training
- diagnosis result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003745 diagnosis Methods 0.000 claims abstract description 133
- 230000000638 stimulation Effects 0.000 claims abstract description 77
- 230000004044 response Effects 0.000 claims abstract description 20
- 238000001727 in vivo Methods 0.000 claims abstract description 8
- 238000012549 training Methods 0.000 claims description 106
- 238000000034 method Methods 0.000 claims description 64
- 230000009471 action Effects 0.000 claims description 60
- 238000013136 deep learning model Methods 0.000 claims description 30
- 230000006870 function Effects 0.000 claims description 25
- 230000008569 process Effects 0.000 claims description 25
- 230000003993 interaction Effects 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 9
- 239000013598 vector Substances 0.000 claims description 7
- 230000005906 menstruation Effects 0.000 claims 1
- 230000000007 visual effect Effects 0.000 abstract description 14
- 238000005457 optimization Methods 0.000 abstract description 2
- 210000002414 leg Anatomy 0.000 description 18
- 238000005516 engineering process Methods 0.000 description 16
- 230000000694 effects Effects 0.000 description 12
- 210000001519 tissue Anatomy 0.000 description 12
- 230000009286 beneficial effect Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 9
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 9
- 210000004556 brain Anatomy 0.000 description 8
- 230000033001 locomotion Effects 0.000 description 8
- 201000010099 disease Diseases 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 238000011282 treatment Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 5
- 238000013461 design Methods 0.000 description 5
- 206010044565 Tremor Diseases 0.000 description 4
- 210000000629 knee joint Anatomy 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000002159 abnormal effect Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 239000012141 concentrate Substances 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 210000005036 nerve Anatomy 0.000 description 3
- 230000007383 nerve stimulation Effects 0.000 description 3
- 210000002569 neuron Anatomy 0.000 description 3
- 208000021384 Obsessive-Compulsive disease Diseases 0.000 description 2
- 208000002193 Pain Diseases 0.000 description 2
- 208000018737 Parkinson disease Diseases 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 210000005013 brain tissue Anatomy 0.000 description 2
- 230000000747 cardiac effect Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 208000035475 disorder Diseases 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 208000024714 major depressive disease Diseases 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000036407 pain Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 208000020016 psychiatric disease Diseases 0.000 description 2
- 238000012797 qualification Methods 0.000 description 2
- 210000000278 spinal cord Anatomy 0.000 description 2
- 238000001356 surgical procedure Methods 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 230000007384 vagal nerve stimulation Effects 0.000 description 2
- 208000024827 Alzheimer disease Diseases 0.000 description 1
- 208000019901 Anxiety disease Diseases 0.000 description 1
- 206010003805 Autism Diseases 0.000 description 1
- 208000020706 Autistic disease Diseases 0.000 description 1
- 208000020925 Bipolar disease Diseases 0.000 description 1
- 208000023105 Huntington disease Diseases 0.000 description 1
- 208000026139 Memory disease Diseases 0.000 description 1
- 208000019695 Migraine disease Diseases 0.000 description 1
- 208000019022 Mood disease Diseases 0.000 description 1
- 208000016285 Movement disease Diseases 0.000 description 1
- 208000012902 Nervous system disease Diseases 0.000 description 1
- 208000025966 Neurological disease Diseases 0.000 description 1
- 208000027089 Parkinsonian disease Diseases 0.000 description 1
- 206010034010 Parkinsonism Diseases 0.000 description 1
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000036506 anxiety Effects 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 230000002920 convulsive effect Effects 0.000 description 1
- 230000001054 cortical effect Effects 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 239000010432 diamond Substances 0.000 description 1
- 235000019800 disodium phosphate Nutrition 0.000 description 1
- 238000012377 drug delivery Methods 0.000 description 1
- 206010013663 drug dependence Diseases 0.000 description 1
- 206010015037 epilepsy Diseases 0.000 description 1
- 201000006517 essential tremor Diseases 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000002496 gastric effect Effects 0.000 description 1
- 239000007943 implant Substances 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000006996 mental state Effects 0.000 description 1
- 206010027599 migraine Diseases 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000000926 neurological effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 210000000578 peripheral nerve Anatomy 0.000 description 1
- 208000028173 post-traumatic stress disease Diseases 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 208000011117 substance-related disease Diseases 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 239000003826 tablet Substances 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
- A61N1/00—Electrotherapy; Circuits therefor
- A61N1/18—Applying electric currents by contact electrodes
- A61N1/32—Applying electric currents by contact electrodes alternating or intermittent currents
- A61N1/36—Applying electric currents by contact electrodes alternating or intermittent currents for stimulation
- A61N1/3605—Implantable neurostimulators for stimulating central or peripheral nerve system
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
- A61N1/00—Electrotherapy; Circuits therefor
- A61N1/18—Applying electric currents by contact electrodes
- A61N1/32—Applying electric currents by contact electrodes alternating or intermittent currents
- A61N1/36—Applying electric currents by contact electrodes alternating or intermittent currents for stimulation
- A61N1/3605—Implantable neurostimulators for stimulating central or peripheral nerve system
- A61N1/36128—Control systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Public Health (AREA)
- Neurology (AREA)
- Neurosurgery (AREA)
- Biomedical Technology (AREA)
- Radiology & Medical Imaging (AREA)
- Life Sciences & Earth Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Surgery (AREA)
- Urology & Nephrology (AREA)
- Epidemiology (AREA)
- Medical Informatics (AREA)
- Primary Health Care (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
本申请提供了控制器、植入式神经刺激系统及计算机可读存储介质，控制器被配置成：利用程控设备接收刺激配置操作，响应于刺激配置操作，配置刺激器的刺激参数，以使刺激器向患者的体内组织释放刺激参数对应的电刺激能量；利用摄像头采集得到患者的全身视频数据，全身视频数据包括多帧全身图像；从每帧全身图像中截取得到一个或多个部位的部位图像；将每个部位的多帧部位图像输入对应的部位诊断模型，得到每个部位的诊断结果；将每个部位的诊断结果叠加至每个部位在人物图像中的对应区域，以合成得到显示图像，人物图像中设置有一个人物；利用程控设备显示显示图像。针对患者的部位进行自动诊断，针对程控设备的视觉呈现方式进行优化。
Description
技术领域
本申请涉及植入式器械、远程程控、物联网和深度学习的技术领域，尤其涉 及控制器、植入式神经刺激系统及计算机可读存储介质。
背景技术
随着科技发展和社会进步，患者渴望通过各种治疗手段来提高生命质量，其 中植入式器械的应用前景非常广阔。植入式器械是指借助手术全部或者部分进入 人体内或腔道(口)中，或者用于替代人体上皮表面或眼表面，并且在手术过程 结束后留在人体内30日(含)以上或者被人体吸收的医疗器械。包含程控设备 和植入式器械的植入式医疗系统，能够为患者提供参数可控的精细化治疗，在市 场上受到众多消费者的欢迎。
专利CN113362946A公开了一种视频处理装置、电子设备及计算机可读存储 介质，所述视频处理装置应用于电子设备，所述电子设备分别与显示屏、摄像头 和医生设备进行数据交互，所述电子设备用于对患有帕金森病的患者的视频进行 数据处理；所述装置包括：提示显示模块，用于利用所述显示屏显示至少一种指 定动作的提示信息；视频采集模块，用于利用所述摄像头采集所述患者的视频； 动作预测模块，用于将所述患者的视频输入帕金森检测模型，预测得到所述患者 的动作信息并发送至所述医生设备，所述动作信息至少包括其中一种指定动作的 幅度和/或频率；信息获取模块，用于获取所述患者的疾病信息；建议策略模块， 用于基于所述患者的疾病信息和动作信息，获取所述患者的建议程控策略并发送 至所述医生设备。该装置帮助医生定量地了解到患者在运动过程中的局部体态和 运动表现情况，但未提及针对患者的动作进行自动诊断，也未提及针对医生设备的视觉呈现方式进行优化。
基于此，本申请提供了控制器、植入式神经刺激系统及计算机可读存储介质， 以解决上述现有技术中存在的问题。
发明内容
本申请的目的在于提供控制器、植入式神经刺激系统及计算机可读存储介质， 针对患者的部位进行自动诊断，针对程控设备的视觉呈现方式进行优化。
本申请的目的采用以下技术方案实现：
第一方面，本申请提供了一种控制器，用于实现程控设备和刺激器之间的远 程程控功能，所述刺激器设置于患者的体内，所述控制器被配置成：
利用所述程控设备接收刺激配置操作，响应于所述刺激配置操作，配置所述 刺激器的刺激参数，以使所述刺激器向所述患者的体内组织释放所述刺激参数对 应的电刺激能量；
利用摄像头采集得到所述患者的全身视频数据，所述全身视频数据包括多帧 全身图像；
从每帧所述全身图像中截取得到一个或多个部位的部位图像；
将每个所述部位的多帧部位图像输入对应的部位诊断模型，得到每个所述部 位的诊断结果；
将每个所述部位的诊断结果叠加至每个所述部位在人物图像中的对应区域， 以合成得到显示图像，所述人物图像中设置有一个人物；
利用所述程控设备显示所述显示图像。
该技术方案的有益效果在于：通过控制器实现程控设备和刺激器之间的远程 程控功能，具体而言，程控设备和刺激器之间可以直接或者间接进行数据交互， 因此，在利用程控设备接收到刺激配置操作后，可以据此配置刺激器的刺激参数， 以使刺激器向患者的体内组织释放相应的电刺激能量。在远程程控过程中，程控 方(即程控设备的使用者，一般是具有程控资质或者相应能力的医生)无法直接 观察患者，因此可以利用设置于患者周围的摄像头采集得到患者的全身视频数据 (采集过程中患者可以处于预设状态或者做出预设动作)，从每帧全身图像中截 取得到一个或多个部位对应的部位图像，再针对每个部位，将该部位对应的(在 时间顺序上具有先后关系的)多帧部位图像输入该部位对应的部位诊断模型，利 用部位诊断模型(自动化地)输出该部位的诊断结果，诊断结果例如可以指示该部位处于正常状态或者异常状态，还可以采用分数或者等级来更精细化地指示该 部位的正常程度(例如分数、等级越高表示部位越正常，而采用较低的分数、等 级表示部位异常)。在合成显示图像时，针对每个部位，将该部位的诊断结果叠 加至该部位在人物图像中的对应区域，从而使程控方可以在人物图像中，直观、 清晰地看到每个部位及其诊断结果，相对于单调的、单独的、不能与人物图像一 起显示的文本格式的诊断结果，叠加于每个部位的对应区域的诊断结果，能够为 程控方提供更直观的视觉呈现方式，尤其是当人物图像贴近患者自身(或者人体 构造)、并且诊断结果采用与人物图像对比度较高的显示方式时，程控方可以在 短时间内高效地获得较多的信息量，而不需要对照着文本格式的诊断结果自行脑 内想象每个部位的位置(尤其当诊断的部位比较多时)，因此，这种高效率、大 信息量的呈现方式优化了程控设备原本的视觉呈现方式，能够使程控方快速了解 (在当前的刺激参数下)每个部位的诊断结果，从而辅助其继续进行刺激参数的 配置或者进行治疗方案的调整。事实上，在当前的远程程控技术中，程控方往往 需要用较多时间(比线下面对面程控更多的时间)来指导患者保持预设状态或者 做出预设动作，而当患者这样做了之后，又需要程控方肉眼观测或者利用机器视 觉技术计算得到患者的状态参数或者动作参数，根据计算得到的参数人工或者智 能化地判断患者的每个部位的正常程度从而获知每个部位的诊断结果，再对诊断 结果进行文本格式的呈现，由程控方阅读诊断结果，并进行下一步的处置；在上 述环节中，由于智能化程度不够高、网络质量不确定等因素，程控方和患者之间的远程程控效率受到网络传输速度、患者的表达能力等制约，不能有效发挥作用， 尚未被所有程控方和患者所接受，在这个前提下，无论对上述环节中的哪一者进 行改善，都将有助于从整体上改善双方的远程程控体验，从技术手段上使远程程 控技术赢得程控方和患者的信任，让更多患者足不出户即可享受到便利的程控体 验，而患者的高度认同会打消程控方应用新技术的顾虑，从而助力远程程控技术 实现更大范围的推广和应用，使远程程控技术拥有更广阔的应用前景和更高的商 业价值。
在一些可选的实施方式中，所述一个或多个部位的获取过程包括：
利用所述程控设备显示多个动作类型，多个所述动作类型包括对指、握拳、 举手、抬臂、走直线和走预设曲线中的多种；
利用所述程控设备接收针对其中一个所述动作类型的选择操作，响应于所述 选择操作，获取被选择的动作类型对应的一个或多个部位。
该技术方案的有益效果在于：从医学角度来说，程控方有时候会需要患者做 出预设动作类型的动作，对患者的动作过程进行人工观察或者利用机器视觉技术 进行图像处理，从而人工或者智能化地对患者的部位做出诊断；这种情况下，程 控方关心的是动作类型，因此，可以根据医学方面的使用偏好，预先建立动作类 型和部位之间的对应关系，这样程控方就可以直接选择所关心的动作类型，由该 动作类型自动对应得到一个或多个部位，而不需要程控方在脑内换算该动作类型 对应哪些部位并人工手动选择一个或多个部位。尤其当一个动作类型对应多个部 位时(例如对指这个动作类型一般对应左手和右手两个部位)，可以对多个部位 进行单独诊断，此时可以分次进行，每次对其中一个部位进行图像处理以得到诊 断结果，由此通过多次诊断，分别得到多个部位的诊断结果，在上述多次诊断过 程中，程控方只需要选择一次动作类型，就自动执行后续所有步骤并得到多个部 位的诊断结果，进一步提升了智能化程度，提高了程控方的使用体验，提升了远 程程控效果。
在一些可选的实施方式中，每个所述部位在所述人物图像中的对应区域包括 第一对应区域和第二对应区域，所述控制器被进一步配置成采用如下方式合成得 到所述显示图像：
将每个所述部位的诊断结果叠加至每个所述部位在所述人物图像中的第一 对应区域，将每个所述部位的诊断结果对应的图标叠加至每个所述部位在所述人 物图像中的第二对应区域，以合成得到所述显示图像，每个所述部位的诊断结果 对应的图标用于图形化地指示每个所述部位的诊断结果的严重程度。
该技术方案的有益效果在于：针对每个部位，一方面，将该部位的诊断结果 显示于该部位在人物图像中的第一对应区域，另一方面，将该部位的诊断结果对 应的图标显示于该部位在人物图像中的第二对应区域，也就是说，人物图像中会 同时显示人物、每个部位的诊断结果、各诊断结果对应的图标，并且图标采用图 形化的方式指示诊断结果的严重程度(例如使用不同颜色的图标来区分不同的严 重程度，或者使用不同图案的图标来区分不同的严重程度)，相对于枯燥的文本 信息，图标比文本格式的诊断结果更醒目、直观，观感上也活泼一些，这就从视 觉上进一步提升了诊断结果的呈现效果，有利于程控方集中注意力、更专注地为 患者提供远程程控服务，因此能够提升程控方使用远程程控功能的积极性，同时 使患者享受到更好的服务质量，进而从整体上提升了程控方和患者的使用体验。
在一些可选的实施方式中，每个所述部位在所述人物图像中的第一对应区域 位于所述人物的对应部位的周围，每个所述部位在所述人物图像中的第二对应区 域位于所述人物的对应部位所处的区域。
该技术方案的有益效果在于：将(每个部位在人物图像中的)第一对应区域 设置于人物的对应部位的周围，使得文本格式的诊断结果不会显示在每个部位的 上层(或者说顶层、前景)，避免人物的部位被诊断结果所遮挡(尤其当诊断结 果对应的文本信息较长时)；将第二对应区域设置于人物的对应部位所处的区域， 则可以将图形化的图标直接显示在每个部位所处的区域，从程控方的视角来看， 各部位上的图标直观地展示出该部位(病情)的严重程度，进一步优化了程控设 备的视觉呈现方式，提升了程控方的使用体验。
在一些可选的实施方式中，所述控制器还被配置成：
利用所述程控设备接收用于旋转所述人物图像的滑动操作，响应于所述滑动 操作，获取所述人物图像对应的旋转图像；
将每个所述部位的诊断结果叠加至每个所述部位在所述旋转图像中的对应 区域，以合成得到新的显示图像；
利用所述程控设备显示所述新的显示图像。
该技术方案的有益效果在于：允许程控方通过滑动方式旋转人物图像，并利 用人物图像对应的旋转(后的)图像合成新的显示图像，也就是说，虽然该新的 显示图像的观看视角发生了变化，但仍然能够在对应区域显示部位的诊断结果。 人体是三维立体的，二维平面图像无法呈现深度信息，也无法呈现人物图像的背 面效果，对于空间想象能力较弱的程控方而言，采用旋转图像提供人物旋转后的 观看视角，能够直观反映各个部位的空间特点，进一步提升程控设备的视觉呈现 效果。
在一些可选的实施方式中，所述控制器被进一步配置成采用如下方式获取所 述旋转图像：
响应于所述滑动操作，获取所述滑动操作的滑动路径，所述滑动路径采用矢 量表示；
基于所述滑动路径的路径方向，确定所述人物图像对应的旋转方向；
基于所述滑动路径的路径长度，确定所述人物图像对应的旋转角度；
基于所述旋转方向和所述旋转角度，获得所述旋转图像。
该技术方案的有益效果在于：采用矢量表示滑动路径，从而可以得到滑动路 径的路径方向和路径长度，再分别确定对应的旋转方向和旋转角度，这就使得程 控方能够通过差异化的滑动操作，精细化地控制人物图像的旋转方向和旋转角度， 据此得到所需求的旋转图像。
在一些可选的实施方式中，所述控制器被进一步配置成采用如下方式获得所 述人物图像对应的旋转图像：
将所述人物图像输入用于将2D图像转换为3D图像的三维重建模型，得到 所述人物图像对应的3D图像；
按照所述旋转方向和所述旋转角度对所述人物图像对应的3D图像进行旋转， 以得到所述人物图像对应的旋转图像；
其中，所述三维重建模型的训练过程包括：
获取第一训练集，所述第一训练集中的每个训练数据包括一个用于训练的 2D图像及其对应的3D图像的标注数据；
针对所述第一训练集中的每个训练数据，执行以下处理：
将所述训练数据中的2D图像输入预设的第一深度学习模型，得到所述2D 图像对应的3D图像的预测数据；
基于所述2D图像对应的3D图像的预测数据和标注数据，对所述第一深度 学习模型的模型参数进行更新；
检测是否满足预设的训练结束条件；如果是，则将训练得到的第一深度学习 模型作为所述三维重建模型；如果否，则利用下一个所述训练数据继续训练所述 第一深度学习模型。
该技术方案的有益效果在于：三维重建模型可以由大量的训练数据训练得到， 能够针对不同的输入数据预测得到相应的3D图像，适用范围广，智能化水平高。 通过设计，建立适量的神经元计算节点和多层运算层次结构，选择合适的输入层 和输出层，就可以得到预设的第一深度学习模型，通过该预设的第一深度学习模 型的学习和调优，建立起从输入到输出的函数关系，虽然不能100％找到输入与 输出的函数关系，但是可以尽可能地逼近现实的关联关系，由此训练得到的三维 重建模型，可以实现获取人物图像对应的3D图像的功能，且计算结果准确性高、 可靠性高。在得到3D图像后，按照旋转方向和旋转角度对其进行旋转，从而得 到程控方所需求的旋转图像。如果程控方希望得到其他旋转方向或者旋转角度的 旋转图像，该控制器可以利用程控设备接收新的滑动操作以获取新的旋转方向和旋转角度，再按照新的旋转方向和新的旋转角度对所述人物图像对应的3D图像 进行旋转，从而得到新的旋转图像。这样做的好处是，只要进行一次重建，所得 到的3D图像可以重复利用，用以生成多种旋转方向和/或旋转角度的旋转图像， 满足程控方多种视角的观看需求。
在一些可选的实施方式中，所述人物图像能够在人物彩色图像、人物骨骼图 像、人物经脉图像和人物卡通图像之间切换。
该技术方案的有益效果在于：为程控方提供多种风格的人物图像，便于程控 方选择符合自己偏好的风格，进一步提升程控方的视觉体验。
第二方面，本申请提供了一种控制方法，用于实现程控设备和刺激器之间的 远程程控功能，所述刺激器设置于患者的体内，所述控制方法包括：
利用所述程控设备接收刺激配置操作，响应于所述刺激配置操作，配置所述 刺激器的刺激参数，以使所述刺激器向所述患者的体内组织释放所述刺激参数对 应的电刺激能量；
利用摄像头采集得到所述患者的全身视频数据，所述全身视频数据包括多帧 全身图像；
从每帧所述全身图像中截取得到一个或多个部位的部位图像；
将每个所述部位的多帧部位图像输入对应的部位诊断模型，得到每个所述部 位的诊断结果；
将每个所述部位的诊断结果叠加至每个所述部位在人物图像中的对应区域， 以合成得到显示图像，所述人物图像中设置有一个人物；
利用所述程控设备显示所述显示图像。
在一些可选的实施方式中，所述一个或多个部位的获取过程包括：
利用所述程控设备显示多个动作类型，多个所述动作类型包括对指、握拳、 举手、抬臂、走直线和走预设曲线中的多种；
利用所述程控设备接收针对其中一个所述动作类型的选择操作，响应于所述 选择操作，获取被选择的动作类型对应的一个或多个部位。
在一些可选的实施方式中，每个所述部位在所述人物图像中的对应区域包括 第一对应区域和第二对应区域，所述将每个所述部位的诊断结果叠加至每个所述 部位在人物图像中的对应区域，以合成得到显示图像，包括：
将每个所述部位的诊断结果叠加至每个所述部位在所述人物图像中的第一 对应区域，将每个所述部位的诊断结果对应的图标叠加至每个所述部位在所述人 物图像中的第二对应区域，以合成得到所述显示图像，每个所述部位的诊断结果 对应的图标用于图形化地指示每个所述部位的诊断结果的严重程度。
在一些可选的实施方式中，每个所述部位在所述人物图像中的第一对应区域 位于所述人物的对应部位的周围，每个所述部位在所述人物图像中的第二对应区 域位于所述人物的对应部位所处的区域。
在一些可选的实施方式中，所述方法还包括：
利用所述程控设备接收用于旋转所述人物图像的滑动操作，响应于所述滑动 操作，获取所述人物图像对应的旋转图像；
将每个所述部位的诊断结果叠加至每个所述部位在所述旋转图像中的对应 区域，以合成得到新的显示图像；
利用所述程控设备显示所述新的显示图像。
在一些可选的实施方式中，所述响应于所述滑动操作，获取所述人物图像对 应的旋转图像，包括：
响应于所述滑动操作，获取所述滑动操作的滑动路径，所述滑动路径采用矢 量表示；
基于所述滑动路径的路径方向，确定所述人物图像对应的旋转方向；
基于所述滑动路径的路径长度，确定所述人物图像对应的旋转角度；
基于所述旋转方向和所述旋转角度，获得所述旋转图像。
在一些可选的实施方式中，所述基于所述旋转方向和所述旋转角度，获得所 述旋转图像，包括：
将所述人物图像输入用于将2D图像转换为3D图像的三维重建模型，得到 所述人物图像对应的3D图像；
按照所述旋转方向和所述旋转角度对所述人物图像对应的3D图像进行旋转， 以得到所述人物图像对应的旋转图像；
其中，所述三维重建模型的训练过程包括：
获取第一训练集，所述第一训练集中的每个训练数据包括一个用于训练的 2D图像及其对应的3D图像的标注数据；
针对所述第一训练集中的每个训练数据，执行以下处理：
将所述训练数据中的2D图像输入预设的第一深度学习模型，得到所述2D 图像对应的3D图像的预测数据；
基于所述2D图像对应的3D图像的预测数据和标注数据，对所述第一深度 学习模型的模型参数进行更新；
检测是否满足预设的训练结束条件；如果是，则将训练得到的第一深度学习 模型作为所述三维重建模型；如果否，则利用下一个所述训练数据继续训练所述 第一深度学习模型。
在一些可选的实施方式中，所述人物图像能够在人物彩色图像、人物骨骼图 像、人物经脉图像和人物卡通图像之间切换。
第三方面，本申请提供了一种植入式神经刺激系统，所述植入式神经刺激系 统包括：
程控设备，所述程控设备设置于患者的体外，所述程控设备用于提供交互功 能和显示功能；
刺激器，所述刺激器设置于所述患者的体内，所述刺激器用于向所述患者的 体内组织释放电刺激能量；
上述任一项控制器。
第四方面，本申请提供了一种计算机可读存储介质，所述计算机可读存储介 质存储有计算机程序，所述计算机程序被处理器执行时实现权利要求上述任一项 控制器的功能或者实现上述任一项控制方法的步骤。
附图说明
下面结合附图和实施方式对本申请进一步说明。
图1示出了本申请提供的一种植入式神经刺激系统的结构框图。
图2示出了本申请提供的一种控制方法的流程示意图。
图3示出了本申请提供的一种显示图像的示意图。
图4示出了本申请提供的一种部位获取过程的流程示意图。
图5示出了本申请提供的另一种控制方法的流程示意图。
图6示出了本申请提供的一种获得旋转图像的流程示意图。
图7示出了本申请提供的另一种获得旋转图像的流程示意图。。
图8示出了本申请提供的一种控制器的结构框图。
图9示出了本申请提供的一种用于实现控制方法的程序产品的结构示意图。
具体实施方式
下面将结合本申请的说明书附图以及具体实施方式，对本申请中的技术方案 进行描述，需要说明的是，在不相冲突的前提下，以下描述的各实施方式之间或 各技术特征之间可以任意组合形成新的实施方式。
在本申请中，“至少一个”是指一个或者多个，“多个”是指两个或两个以 上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A 和/或B，可以表示：单独存在A，同时存在A和B，单独存在B的情况，其中 A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关 系。“以下至少一项(个)”或其类似表达，是指的这些项中的任意组合，包括单 项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示： a，b，c，a和b，a和c，b和c，a和b和c，其中a、b和c可以是单个，也可 以是多个。值得注意的是，“至少一项(个)”还可以解释成“一项(个)或多项(个)”。
还需说明的是，本申请中，“示例性的”或者“例如”等词用于表示作例子、 例证或说明。本申请中被描述为“示例性的”或者“例如”的任何实施方式或设 计方案不应被解释为比其他实施方式或设计方案更优选或更具优势。确切而言， 使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
下面，首先对本申请的应用领域进行简单说明。
植入式神经刺激系统主要包括植入体内的刺激器以及体外的程控设备。现有 的神经调控技术主要是通过立体定向手术在体内特定结构(即靶点)植入电极， 并由植入患者体内的刺激器经电极向靶点发放电脉冲，调控相应神经结构和网络 的电活动及其功能，从而改善症状、缓解病痛。其中，刺激器可以是植入式神经 电刺激装置、植入式心脏电刺激系统(又称心脏起搏器)、植入式药物输注装置 (Implantable Drug Delivery System，简称I DDS)和导线转接装置中的任意一种。 植入式神经电刺激装置例如是脑深部电刺激系统(Deep Brain Stimulation，简称 DBS)、植入式脑皮层刺激系统(Cortical NerveStimulation，简称CNS)、植入 式脊髓电刺激系统(Spinal Cord Stimulation，简称SCS)、植入式骶神经电刺激 系统(Sacral Nerve Stimulation，简称SNS)、植入式迷走神经电刺激系统(Vagus Nerve Stimulation，简称VNS)等。
刺激器可以包括IPG、延伸导线和电极导线，IPG(implantable pulse generator，植入式脉冲发生器)设置于患者体内，依靠密封电池和电路向体内组织提供可控 制的电刺激能量，通过植入的延伸导线和电极导线，为体内组织的特定区域提供 一路或两路可控制的特定电刺激能量。延伸导线配合IPG使用，作为电刺激信号 的传递媒体，将IPG产生的电刺激信号，传递给电极导线。电极导线将IPG产 生的电刺激信号，通过多个电极触点，向体内组织的特定区域释放电刺激能量； 所述植入式医疗设备具有单侧或双侧的一路或多路电极导线，所述电极导线上设 置有多个电极触点，所述电极触点可以均匀排列或者非均匀排列在电极导线的周 向上。作为一个示例，所述电极触点以4行3列的阵列(共计12个电极触点) 排列在电极导线的周向上。电极触点可以包括刺激电极触点和/或采集电极触点。电极触点例如可以采用片状、环状、点状等形状。
在一些可能的实现方式中，受刺激的体内组织可以是患者的脑组织，受刺激 的部位可以是脑组织的特定部位。当患者的疾病类型不同时，受刺激的部位一般 来说是不同的，所使用的刺激触点(单源或多源)的数量、一路或多路(单通道 或多通道)特定电刺激信号的运用以及刺激参数数据也是不同的。本申请对适用 的疾病类型不做限定，其可以是脑深部刺激(DBS)、脊髓刺激(SCS)、骨盆刺激、 胃刺激、外周神经刺激、功能性电刺激所适用的疾病类型。其中，DBS可以用 于治疗或管理的疾病类型包括但不限于：痉挛疾病(例如，癫痫)、疼痛、偏头痛、 精神疾病(例如，重度抑郁症(MDD))、躁郁症、焦虑症、创伤后压力心理障碍症、 轻郁症、强迫症(OCD)、行为障碍、情绪障碍、记忆障碍、心理状态障碍、移动 障碍(例如，特发性震颤或帕金森氏病)、亨廷顿病、阿尔茨海默症、药物成瘾症、 自闭症或其他神经学或精神科疾病和损害。
本申请中，程控设备和刺激器建立程控连接时，可以利用程控设备调整刺激 器的电刺激信号的刺激参数，也可以通过刺激器感测患者脑深部的生物电活动， 并可以通过所感测到的生物电活动来继续调节刺激器的电刺激信号的刺激参数。
程控设备可以是医生程控器或者患者程控器。
本申请对医生程控器和刺激器的数据交互不进行限制，当医生远程程控时， 医生程控器可以通过服务器、患者程控器与刺激器进行数据交互。当医生线下和 患者面对面进行程控时，医生程控器可以通过患者程控器与刺激器进行数据交互， 医生程控器还可以直接与刺激器进行数据交互。
患者程控器可以包括(与服务器通信的)主机和(与刺激器通信的)子机， 主机和子机可通信的连接。其中，医生程控器可以通过3G/4G/5G网络与服务器 进行数据交互，服务器可以通过3G/4G/5G网络与主机进行数据交互，主机可以 通过蓝牙协议/WIFI协议/USB协议与子机进行数据交互，子机可以通过 401MHz-406MHz工作频段/2.4GHz-2.48GHz工作频段与刺激器进行数据交互， 医生程控器可以通过401MHz-406MHz工作频段/2.4GHz-2.48GHz工作频段与刺 激器直接进行数据交互。
参见图1，图1示出了本申请提供的一种植入式神经刺激系统的结构框图。
所述植入式神经刺激系统包括：
程控设备10，所述程控设备10设置于患者的体外，所述程控设备10用于 提供交互功能和显示功能；
刺激器20，所述刺激器20设置于所述患者的体内，所述刺激器20用于向 所述患者的体内组织释放电刺激能量；
控制器30，所述控制器30被配置成实现控制方法的步骤。
程控设备10例如可以包括平板电脑、笔记本电脑、台式机、手机和智能穿 戴设备中的一种或多种。
在一些可选的实施方式中，所述控制器30可以与所述程控设备结合为一体。
在另一些可选的实施方式中，所述控制器30可以与所述刺激器结合为一体。
下文将先对控制方法进行说明。
参见图2和图3，图2示出了本申请提供的一种控制方法的流程示意图，图 3示出了本申请提供的一种显示图像的示意图。所述控制方法用于实现程控设备 和刺激器之间的远程程控功能，所述刺激器设置于患者的体内，所述控制方法包 括：
步骤S101：利用所述程控设备接收刺激配置操作，响应于所述刺激配置操 作，配置所述刺激器的刺激参数，以使所述刺激器向所述患者的体内组织释放所 述刺激参数对应的电刺激能量；
步骤S102：利用摄像头采集得到所述患者的全身视频数据，所述全身视频 数据包括多帧全身图像；
步骤S103：从每帧所述全身图像中截取得到一个或多个部位的部位图像；
步骤S104：将每个所述部位的多帧部位图像输入对应的部位诊断模型，得 到每个所述部位的诊断结果；
步骤S105：将每个所述部位的诊断结果叠加至每个所述部位在人物图像中 的对应区域，以合成得到显示图像，所述人物图像中设置有一个人物；
步骤S106：利用所述程控设备显示所述显示图像。
由此，通过控制器实现程控设备和刺激器之间的远程程控功能，具体而言， 程控设备和刺激器之间可以直接或者间接进行数据交互，因此，在利用程控设备 接收到刺激配置操作后，可以据此配置刺激器的刺激参数，以使刺激器向患者的 体内组织释放相应的电刺激能量。
在远程程控过程中，程控方(即程控设备的使用者，一般是具有程控资质或 者相应能力的医生)无法直接观察患者，因此可以利用设置于患者周围的摄像头 采集得到患者的全身视频数据(采集过程中患者可以处于预设状态或者做出预设 动作)，从每帧全身图像中截取得到一个或多个部位对应的部位图像，再针对每 个部位，将该部位对应的(在时间顺序上具有先后关系的)多帧部位图像输入该 部位对应的部位诊断模型，利用部位诊断模型(自动化地)输出该部位的诊断结 果，诊断结果例如可以指示该部位处于正常状态或者异常状态，还可以采用分数 或者等级来更精细化地指示该部位的正常程度(例如分数、等级越高表示部位越 正常，而采用较低的分数、等级表示部位异常)。
在合成显示图像时，针对每个部位，将该部位的诊断结果叠加至该部位在人 物图像中的对应区域，从而使程控方可以在人物图像中，直观、清晰地看到每个 部位及其诊断结果，相对于单调的、单独的、不能与人物图像一起显示的文本格 式的诊断结果，叠加于每个部位的对应区域的诊断结果，能够为程控方提供更直 观的视觉呈现方式，尤其是当人物图像贴近患者自身(或者人体构造)、并且诊 断结果采用与人物图像对比度较高的显示方式时，程控方可以在短时间内高效地 获得较多的信息量，而不需要对照着文本格式的诊断结果自行脑内想象每个部位 的位置(尤其当诊断的部位比较多时)，因此，这种高效率、大信息量的呈现方 式优化了程控设备原本的视觉呈现方式，能够使程控方快速了解(在当前的刺激 参数下)每个部位的诊断结果，从而辅助其继续进行刺激参数的配置或者进行治疗方案的调整。
事实上，在当前的远程程控技术中，程控方往往需要用较多时间(比线下面 对面程控更多的时间)来指导患者保持预设状态或者做出预设动作，而当患者这 样做了之后，又需要程控方肉眼观测或者利用机器视觉技术计算得到患者的状态 参数或者动作参数，根据计算得到的参数人工或者智能化地判断患者的每个部位 的正常程度从而获知每个部位的诊断结果，再对诊断结果进行文本格式的呈现， 由程控方阅读诊断结果，并进行下一步的处置；在上述环节中，由于智能化程度 不够高、网络质量不确定等因素，程控方和患者之间的远程程控效率受到网络传 输速度、患者的表达能力等制约，不能有效发挥作用，尚未被所有程控方和患者 所接受，在这个前提下，无论对上述环节中的哪一者进行改善，都将有助于从整 体上改善双方的远程程控体验，从技术手段上使远程程控技术赢得程控方和患者 的信任，让更多患者足不出户即可享受到便利的程控体验，而患者的高度认同会打消程控方应用新技术的顾虑，从而助力远程程控技术实现更大范围的推广和应 用，使远程程控技术拥有更广阔的应用前景和更高的商业价值。
刺激器的刺激参数可以包括以下至少一种：频率(例如是单位时间1s内的电 刺激脉冲信号个数，单位为Hz)、脉宽(每个脉冲的持续时间，单位为μs)、幅值 (一般用电压表述，即每个脉冲的强度，单位为V)、刺激模式(包括电流模式、 电压模式、定时刺激模式和循环刺激模式中的一种或多种)、医生控制上限及下 限(医生可调节的范围)和患者控制上限及下限(患者可自主调节的范围)。
在一具体应用中，可以在电流模式或者电压模式下对刺激器的各刺激参数进 行调节。
其中，刺激参数标识可以使用中文、字母、数字、符号和特殊符号中的至少 一种来表示。例如“A01”、“幅值”或者“#01”。
在一具体应用中，刺激器的配置参数包括：刺激模式为电压模式、频率为 130Hz、脉宽为60μs和幅值为3V。
本申请中的刺激配置操作例如可以是对当前刺激参数进行步进调节的操作， 例如可以在电压模式下，点击幅值对应的增加按钮“+”，将幅值从3.3V调节为 3.4V(以0.1V作为步长)；或者可以点击频率对应的增加按钮“+”，将频率从 120Hz调节为130Hz(以10Hz作为步长)。本申请中的刺激配置操作还可以是 录入数值的操作。
本申请中的摄像头例如是光学摄像头和/或红外摄像头。
本申请中的全身视频数据是指能够拍摄到患者全身的视频数据。类似的，全 身图像是指患者全身出镜的图像。
本申请中的部位例如可以包括手部、臂部、腿部、躯干部等。采集过程中， 医生所关心的患者的预设状态例如可以是保持站立、坐态等状态。预设动作例如 可以是对指、握拳、举手、抬臂(使手臂与躯干相垂直)、走直线、走曲线等动 作类型。具体而言，对指这一动作类型可以包括左手对指、右手对指，握拳这一 动作类型可以包括左手握拳、右手握拳，举手这一动作类型可以包括举左手、举 右手，抬臂这一动作类型可以包括抬左臂、抬右臂，走直线可以包括走直线30 步、走直线10步等，走曲线可以包括走圆形、走半圆形、走S形等。
本申请对从全身图像中截取得到部位图像的方式不作限定，例如可以利用图 像分割模型对全身图像进行图像分割，得到每个部位的部位图像。又例如可以按 照人体部位分布信息，从全身图像中对应截取每个部位的部位图像。
从全身图像中截取得到部位图像，利用多帧部位图像对相应的部位进行诊断， 相比于全身图像来说，部位图像的图像大小较小，因此可以减少部位诊断模型的 计算量。例如可以从患者的全身图像中截取得到左手图像，将多帧左手图像输入 手部对应的部位诊断模型，得到患者左手的诊断结果，例如是：严重抖动或者重 度帕金森症状。
本申请的步骤S104中，“将每个所述部位的多帧部位图像输入对应的部位 诊断模型”中的“对应的部位诊断模型”是指与每个部位相对应的部位诊断模型。 例如，将手部的多帧部位图像输入手部对应的部位诊断模型，将臂部的多帧部位 图像输入臂部对应的部位诊断模型，将腿部的多帧部位图像输入腿部对应的部位 诊断模型，将躯干部的多帧部位图像输入躯干部对应的部位诊断模型。
本申请对部位诊断模型的获取方式不作限定，在一些实施方式中，本申请可 以训练得到部位诊断模型，在另一些实施方式中，本申请可以采用预先训练好的 部位诊断模型。
本申请中，针对每个部位设置对应的部位诊断模型，例如，针对手部设置手 部对应的部位诊断模型(又称手部诊断模型)，针对臂部设置臂部对应的部位诊 断模型(又称臂部诊断模型)，针对腿部设置腿部对应的部位诊断模型(又称腿 部诊断模型)，针对躯干部设置躯干部对应的部位诊断模型(又称躯干部诊断模 型)。
在一些可选的实施方式中，每个部位对应的部位诊断模型可以采用如下训练 过程训练得到：
获取第二训练集，所述第二训练集中的每个训练数据包括用于训练的所述部 位的多帧部位图像以及所述训练数据对应的所述部位的诊断结果的标注数据；
针对所述第二训练集中的每个训练数据，执行以下处理：
将所述训练数据中的多帧部位图像输入预设的第二深度学习模型，得到所述 训练数据对应的所述部位的诊断结果的预测数据；
基于所述训练数据对应的所述部位的诊断结果的预测数据和标注数据，对所 述第二深度学习模型的模型参数进行更新；
检测是否满足预设的训练结束条件；如果是，则将训练得到的第二深度学习 模型作为所述部位诊断模型；如果否，则利用下一个所述训练数据继续训练所述 第二深度学习模型。
部位诊断模型可以由大量的训练数据训练得到，能够针对不同的输入数据预 测得到各部位的诊断结果，适用范围广，智能化水平高。
通过设计，建立适量的神经元计算节点和多层运算层次结构，选择合适的输 入层和输出层，就可以得到预设的第二深度学习模型，通过该预设的第二深度学 习模型的学习和调优，建立起从输入到输出的函数关系，虽然不能100％找到输 入与输出的函数关系，但是可以尽可能地逼近现实的关联关系，由此训练得到的 部位诊断模型，可以实现获取部位诊断结果的功能，且计算结果准确性高、可靠 性高。
在一些实施方式中，本申请可以采用上述训练过程训练得到部位诊断模型， 在另一些实施方式中，本申请可以采用预先训练好的部位诊断模型。
本申请对标注数据的获取方式不作限定，例如可以采用人工标注的方式，也 可以采用自动标注或者半自动标注的方式。
本申请对部位诊断模型的训练过程不作限定，其例如可以采用上述监督学习 的训练方式，或者可以采用半监督学习的训练方式，或者可以采用无监督学习的 训练方式。
本申请对预设的训练结束条件不作限定，其例如可以是训练次数达到预设次 数(预设次数例如是1次、3次、10次、100次、1000次、10000次等)，或者 可以是第二训练集中的训练数据都完成一次或多次训练，或者可以是本次训练得 到的总损失值不大于预设损失值。
本申请的步骤S105中的“叠加”例如可以采用置顶显示方式或者图层混合 方式实现。图层混合方式例如可以采用以下混合模式中的任意一种：正常、溶解、 变暗、正片叠底、颜色加深、线性加深、深色、变亮、滤色、颜色减淡、线性减 淡(添加)、浅色、叠加、柔光、强光、亮光、线性光、点光、实色混合、差值、 排除、减去、划分、色相、饱和度、颜色和明度。当采用置顶显示方式时，诊断 结果将会浮于人物图像的上方(或者说顶层)。
本申请中，每个所述部位在人物图像中的对应区域例如可以包括所述人物图 像中人物的对应部位的周围和/或人物的对应部位所处的区域。
参见图4，图4示出了本申请提供的一种部位获取过程的流程示意图。在一 些可选的实施方式中，所述一个或多个部位的获取过程可以包括：
步骤S201：利用所述程控设备显示多个动作类型，多个所述动作类型包括 对指、握拳、举手、抬臂、走直线和走预设曲线中的多种；
步骤S202：利用所述程控设备接收针对其中一个所述动作类型的选择操作， 响应于所述选择操作，获取被选择的动作类型对应的一个或多个部位。
由此，从医学角度来说，程控方有时候会需要患者做出预设动作类型的动作， 对患者的动作过程进行人工观察或者利用机器视觉技术进行图像处理，从而人工 或者智能化地对患者的部位做出诊断；这种情况下，程控方关心的是动作类型， 因此，可以根据医学方面的使用偏好，预先建立动作类型和部位之间的对应关系， 这样程控方就可以直接选择所关心的动作类型，由该动作类型自动对应得到一个 或多个部位，而不需要程控方在脑内换算该动作类型对应哪些部位并人工手动选 择一个或多个部位。
尤其当一个动作类型对应多个部位时(例如对指这个动作类型一般对应左手 和右手两个部位)，可以对多个部位进行单独诊断，此时可以分次进行，每次对 其中一个部位进行图像处理以得到诊断结果，由此通过多次诊断，分别得到多个 部位的诊断结果，在上述多次诊断过程中，程控方只需要选择一次动作类型，就 自动执行后续所有步骤并得到多个部位的诊断结果，进一步提升了智能化程度， 提高了程控方的使用体验，提升了远程程控效果。
本申请中，对指这一动作类型可以对应左手和右手两个部位，握拳这一动作 类型可以对应左手和右手两个部位，举手这一动作类型可以对应左臂和右臂两个 部位，抬臂这一动作类型可以对应左臂和右臂两个部位，走直线这一动作类型可 以对应左腿和右腿两个部位，走预设曲线这一动作类型可以对应左腿和右腿两个 部位。
在一些可选的实施方式中，每个所述部位在所述人物图像中的对应区域包括 第一对应区域和第二对应区域，所述步骤S105可以包括：
将每个所述部位的诊断结果叠加至每个所述部位在所述人物图像中的第一 对应区域，将每个所述部位的诊断结果对应的图标叠加至每个所述部位在所述人 物图像中的第二对应区域，以合成得到所述显示图像，每个所述部位的诊断结果 对应的图标用于图形化地指示每个所述部位的诊断结果的严重程度。
由此，针对每个部位，一方面，将该部位的诊断结果显示于该部位在人物图 像中的第一对应区域，另一方面，将该部位的诊断结果对应的图标显示于该部位 在人物图像中的第二对应区域，也就是说，人物图像中会同时显示人物、每个部 位的诊断结果、各诊断结果对应的图标，并且图标采用图形化的方式指示诊断结 果的严重程度(例如使用不同颜色的图标来区分不同的严重程度，或者使用不同 图案的图标来区分不同的严重程度)，相对于枯燥的文本信息，图标比文本格式 的诊断结果更醒目、直观，观感上也活泼一些，这就从视觉上进一步提升了诊断 结果的呈现效果，有利于程控方集中注意力、更专注地为患者提供远程程控服务， 因此能够提升程控方使用远程程控功能的积极性，同时使患者享受到更好的服务 质量，进而从整体上提升了程控方和患者的使用体验。
在一些可选的实施方式中，每个所述部位在所述人物图像中的第一对应区域 可以位于所述人物的对应部位的周围，每个所述部位在所述人物图像中的第二对 应区域可以位于所述人物的对应部位所处的区域。
由此，将(每个部位在人物图像中的)第一对应区域设置于人物的对应部位 的周围，使得文本格式的诊断结果不会显示在每个部位的上层(或者说顶层、前 景)，避免人物的部位被诊断结果所遮挡(尤其当诊断结果对应的文本信息较长 时)；将第二对应区域设置于人物的对应部位所处的区域，则可以将图形化的图 标直接显示在每个部位所处的区域，从程控方的视角来看，各部位上的图标直观 地展示出该部位(病情)的严重程度，进一步优化了程控设备的视觉呈现方式， 提升了程控方的使用体验。
具体而言，可以将手部的诊断结果显示在人物图像中的手部的周围，将手部 的诊断结果对应的图标显示在人物图像中的手部所处的区域。
继续参见图3，在一个可选的实施方式中，将左手的诊断结果【正常】显示 在人物图像中的人物左手周围，将左手的诊断结果对应的图标【绿色对号】(对 号例如是“√”)显示在人物图像中的人物左手的中心位置。
在另一可选的实施方式中，将右手的诊断结果【重度震颤】显示在人物图像 中的人物右手周围，将右手的诊断结果对应的图标【红色错号】(错号例如是“×”) 显示在人物图像中的人物右手的中心位置。
在又一可选的实施方式中，将左腿的诊断结果【轻度震颤】显示在人物图像 中的人物左腿的膝关节周围，将左腿的诊断结果对应的图标【蓝色矩形】显示在 人物图像中的人物左腿的膝关节的中心位置。
在又一可选的实施方式中，将右腿的诊断结果【中度震颤】显示在人物图像 中的人物右腿的膝关节周围，将右腿的诊断结果对应的图标【紫色菱形】显示在 人物图像中的人物右腿的膝关节的中心位置。
在另一些可选的实施方式中，每个所述部位在所述人物图像中的第一对应区 域可以位于所述人物的对应部位所处的区域，每个所述部位在所述人物图像中的 第二对应区域可以位于所述人物的对应部位的周围。
在又一些可选的实施方式中，每个所述部位在所述人物图像中的第一对应区 域和第二对应区域可以都位于所述人物的对应部位的周围。
在又一些可选的实施方式中，每个所述部位在所述人物图像中的第一对应区 域和第二对应区域可以都位于所述人物的对应部位所处的区域。
参见图5，图5示出了本申请提供的另一种控制方法的流程示意图。在一些 可选的实施方式中，所述方法还可以包括：
步骤S107：利用所述程控设备接收用于旋转所述人物图像的滑动操作，响 应于所述滑动操作，获取所述人物图像对应的旋转图像；
步骤S108：将每个所述部位的诊断结果叠加至每个所述部位在所述旋转图 像中的对应区域，以合成得到新的显示图像；
步骤S109：利用所述程控设备显示所述新的显示图像。
由此，允许程控方通过滑动方式旋转人物图像，并利用人物图像对应的旋转 (后的)图像合成新的显示图像，也就是说，虽然该新的显示图像的观看视角发 生了变化，但仍然能够在对应区域显示部位的诊断结果。
人体是三维立体的，二维平面图像无法呈现深度信息，也无法呈现人物图像 的背面效果，对于空间想象能力较弱的程控方而言，采用旋转图像提供人物旋转 后的观看视角，能够直观反映各个部位的空间特点，进一步提升程控设备的视觉 呈现效果。
在一些可选的实施方式中，所述步骤S107中，所述响应于所述滑动操作， 获取所述人物图像对应的旋转图像的步骤，可以包括：响应于所述滑动操作，当 检测到所述滑动操作是向左滑动或者向右滑动时，将所述人物图像对应的后视图 作为所述人物图像对应的旋转图像。
在另一些可选的实施方式中，所述步骤S107中，所述响应于所述滑动操作， 获取所述人物图像对应的旋转图像的步骤，可以包括：
响应于所述滑动操作，当检测到所述滑动操作是向左滑动时，将所述人物图 像对应的右视图作为所述人物图像对应的旋转图像；
当检测到所述滑动操作是向右滑动时，将所述人物图像对应的左视图作为所 述人物图像对应的旋转图像；
当检测到所述滑动操作是向上滑动或者向下滑动时，将所述人物图像对应的 后视图作为所述人物图像对应的旋转图像。
参见图6，图6示出了本申请提供的一种获得旋转图像的流程示意图。在又 一些可选的实施方式中，所述步骤S107中，所述响应于所述滑动操作，获取所 述人物图像对应的旋转图像的步骤，可以包括：
步骤S301：响应于所述滑动操作，获取所述滑动操作的滑动路径，所述滑 动路径采用矢量表示；
步骤S302：基于所述滑动路径的路径方向，确定所述人物图像对应的旋转 方向；
步骤S303：基于所述滑动路径的路径长度，确定所述人物图像对应的旋转 角度；
步骤S304：基于所述旋转方向和所述旋转角度，获得所述旋转图像。
由此，采用矢量表示滑动路径，从而可以得到滑动路径的路径方向和路径长 度，再分别确定对应的旋转方向和旋转角度，这就使得程控方能够通过差异化的 滑动操作，精细化地控制人物图像的旋转方向和旋转角度，据此得到所需求的旋 转图像。
本申请中，配置路径方向和旋转方向之间的对应关系，由此可以针对每个路 径方向获取其所对应的旋转方向。路径方向例如可以分类为向左、向右、向上、 向下四个方向类型，也可以分类为六类、八类乃至更多数量的方向类型。当路径 方向是向左时，所对应的旋转方向例如是以人物躯干为轴线、向左旋转。
另外，配置路径长度和旋转角度之间的对应关系，由此可以针对每个路径长 度获取其所对应的旋转角度。旋转角度例如可以是30度、45度、60度、90度、 135度、180度、270度等。
参见图7，图7示出了本申请提供的另一种获得旋转图像的流程示意图。在 一些可选的实施方式中，所述步骤S304可以包括：
步骤S401：将所述人物图像输入用于将2D图像转换为3D图像的三维重建 模型，得到所述人物图像对应的3D图像；
步骤S402：按照所述旋转方向和所述旋转角度对所述人物图像对应的3D图 像进行旋转，以得到所述人物图像对应的旋转图像；
其中，所述三维重建模型的训练过程包括：
获取第一训练集，所述第一训练集中的每个训练数据包括一个用于训练的2D图像及其对应的3D图像的标注数据；
针对所述第一训练集中的每个训练数据，执行以下处理：
将所述训练数据中的2D图像输入预设的第一深度学习模型，得到所述2D 图像对应的3D图像的预测数据；
基于所述2D图像对应的3D图像的预测数据和标注数据，对所述第一深度 学习模型的模型参数进行更新；
检测是否满足预设的训练结束条件；如果是，则将训练得到的第一深度学习 模型作为所述三维重建模型；如果否，则利用下一个所述训练数据继续训练所述 第一深度学习模型。
由此，三维重建模型可以由大量的训练数据训练得到，能够针对不同的输入 数据预测得到相应的3D图像，适用范围广，智能化水平高。
通过设计，建立适量的神经元计算节点和多层运算层次结构，选择合适的输 入层和输出层，就可以得到预设的第一深度学习模型，通过该预设的第一深度学 习模型的学习和调优，建立起从输入到输出的函数关系，虽然不能100％找到输 入与输出的函数关系，但是可以尽可能地逼近现实的关联关系，由此训练得到的 三维重建模型，可以实现获取人物图像对应的3D图像的功能，且计算结果准确 性高、可靠性高。
在得到3D图像后，按照旋转方向和旋转角度对其进行旋转，从而得到程控 方所需求的旋转图像。
如果程控方希望得到其他旋转方向或者旋转角度的旋转图像，该控制器可以 利用程控设备接收新的滑动操作以获取新的旋转方向和旋转角度，再按照新的旋 转方向和新的旋转角度对所述人物图像对应的3D图像进行旋转，从而得到新的 旋转图像。
这样做的好处是，只要进行一次重建，所得到的3D图像可以重复利用，用 以生成多种旋转方向和/或旋转角度的旋转图像，满足程控方多种视角的观看需 求。
在一些实施方式中，本申请可以采用上述训练过程训练得到三维重建模型， 在另一些实施方式中，本申请可以采用预先训练好的三维重建模型，例如可以是 专利《CN111243085B-图像重建网络模型的训练方法、装置和电子设备》中训练 得到的图像重建网络模型，或者可以是专利《CN114399424A-模型训练方法及相 关设备》中训练得到的三维重建网络模型。
本申请对标注数据的获取方式不作限定，例如可以采用人工标注的方式，也 可以采用自动标注或者半自动标注的方式。
本申请对三维重建模型的训练过程不作限定，其例如可以采用上述监督学习 的训练方式，或者可以采用半监督学习的训练方式，或者可以采用无监督学习的 训练方式。
本申请对预设的训练结束条件不作限定，其例如可以是训练次数达到预设次 数(预设次数例如是1次、3次、10次、100次、1000次、10000次等)，或者 可以是第一训练集中的训练数据都完成一次或多次训练，或者可以是本次训练得 到的总损失值不大于预设损失值。
在一些可选的实施方式中，所述人物图像能够在人物彩色图像、人物骨骼图 像、人物经脉图像和人物卡通图像之间切换。
由此，为程控方提供多种风格的人物图像，便于程控方选择符合自己偏好的 风格，进一步提升程控方的视觉体验。
切换人物图像的过程例如可以包括：利用所述程控设备在人物图像的周围显 示与人物彩色图像、人物骨骼图像、人物经脉图像和人物卡通图像相对应的操作 按钮，利用所述程控设备接收其中一个所述操作按钮的点击操作，响应于所述点 击操作，利用所述程控设备显示所点击的操作按钮对应的人物图像。操作按钮可 以显示为每一种人物图像的缩略图，或者可以采用文本格式显示为“彩色”、“骨 骼”、“经脉”、“卡通”的说明文字。
本申请还提供了一种控制器，其具体实现方式与上述方法实施方式中记载的 实施方式、所达到的技术效果一致，部分内容不再赘述。
所述控制器用于实现程控设备和刺激器之间的远程程控功能，所述刺激器设 置于患者的体内，所述控制器被配置成：
利用所述程控设备接收刺激配置操作，响应于所述刺激配置操作，配置所述 刺激器的刺激参数，以使所述刺激器向所述患者的体内组织释放所述刺激参数对 应的电刺激能量；
利用摄像头采集得到所述患者的全身视频数据，所述全身视频数据包括多帧 全身图像；
从每帧所述全身图像中截取得到一个或多个部位的部位图像；
将每个所述部位的多帧部位图像输入对应的部位诊断模型，得到每个所述部 位的诊断结果；
将每个所述部位的诊断结果叠加至每个所述部位在人物图像中的对应区域， 以合成得到显示图像，所述人物图像中设置有一个人物；
利用所述程控设备显示所述显示图像。
在一些可选的实施方式中，所述一个或多个部位的获取过程包括：
利用所述程控设备显示多个动作类型，多个所述动作类型包括对指、握拳、 举手、抬臂、走直线和走预设曲线中的多种；
利用所述程控设备接收针对其中一个所述动作类型的选择操作，响应于所述 选择操作，获取被选择的动作类型对应的一个或多个部位。
在一些可选的实施方式中，每个所述部位在所述人物图像中的对应区域包括 第一对应区域和第二对应区域，所述控制器被进一步配置成采用如下方式合成得 到所述显示图像：
将每个所述部位的诊断结果叠加至每个所述部位在所述人物图像中的第一 对应区域，将每个所述部位的诊断结果对应的图标叠加至每个所述部位在所述人 物图像中的第二对应区域，以合成得到所述显示图像，每个所述部位的诊断结果 对应的图标用于图形化地指示每个所述部位的诊断结果的严重程度。
在一些可选的实施方式中，每个所述部位在所述人物图像中的第一对应区域 位于所述人物的对应部位的周围，每个所述部位在所述人物图像中的第二对应区 域位于所述人物的对应部位所处的区域。
在一些可选的实施方式中，所述控制器还被配置成：
利用所述程控设备接收用于旋转所述人物图像的滑动操作，响应于所述滑动 操作，获取所述人物图像对应的旋转图像；
将每个所述部位的诊断结果叠加至每个所述部位在所述旋转图像中的对应 区域，以合成得到新的显示图像；
利用所述程控设备显示所述新的显示图像。
在一些可选的实施方式中，所述控制器被进一步配置成采用如下方式获取所 述旋转图像：
响应于所述滑动操作，获取所述滑动操作的滑动路径，所述滑动路径采用矢 量表示；
基于所述滑动路径的路径方向，确定所述人物图像对应的旋转方向；
基于所述滑动路径的路径长度，确定所述人物图像对应的旋转角度；
基于所述旋转方向和所述旋转角度，获得所述旋转图像。
在一些可选的实施方式中，所述控制器被进一步配置成采用如下方式获得所 述人物图像对应的旋转图像：
将所述人物图像输入用于将2D图像转换为3D图像的三维重建模型，得到 所述人物图像对应的3D图像；
按照所述旋转方向和所述旋转角度对所述人物图像对应的3D图像进行旋转， 以得到所述人物图像对应的旋转图像；
其中，所述三维重建模型的训练过程包括：
获取第一训练集，所述第一训练集中的每个训练数据包括一个用于训练的 2D图像及其对应的3D图像的标注数据；
针对所述第一训练集中的每个训练数据，执行以下处理：
将所述训练数据中的2D图像输入预设的第一深度学习模型，得到所述2D 图像对应的3D图像的预测数据；
基于所述2D图像对应的3D图像的预测数据和标注数据，对所述第一深度 学习模型的模型参数进行更新；
检测是否满足预设的训练结束条件；如果是，则将训练得到的第一深度学习 模型作为所述三维重建模型；如果否，则利用下一个所述训练数据继续训练所述 第一深度学习模型。
在一些可选的实施方式中，所述人物图像能够在人物彩色图像、人物骨骼图 像、人物经脉图像和人物卡通图像之间切换。
参见图8，图8示出了本申请提供的一种控制器200的结构框图。控制器200 例如可以包括至少一个存储器210、至少一个处理器220以及连接不同平台系统 的总线230。
存储器210可以包括易失性存储器形式的可读介质，例如随机存取存储器 (RAM)211和/或高速缓存存储器212，还可以进一步包括只读存储器(ROM)213。
其中，存储器210还存储有计算机程序，计算机程序可以被处理器220执行， 使得处理器220实现上述任一项控制器的功能，其具体实现方式与上述方法实施 方式中记载的实施方式、所达到的技术效果一致，部分内容不再赘述。
存储器210还可以包括具有至少一个程序模块215的实用工具214，这样的 程序模块215包括但不限于：操作系统、一个或者多个应用程序、其它程序模块 以及程序数据，这些示例的每一个或某种组合中可能包括网络环境的实现。
相应的，处理器220可以执行上述计算机程序，以及可以执行实用工具214。
处理器220可以采用一个或多个应用专用集成电路(ASIC，Application SpecificIntegrated Circuit)、DSP、可编程逻辑器件(PLD，ProgrammableLogic Device)、复杂可编程逻辑器件(CPLD，Complex Programmable Logic Device)、 现场可编程门阵列(FPGA，Field-Programmable Gate Array)或其他电子元件。
总线230可以为表示几类总线结构的一种或多种，包括存储器总线或者存储 器控制器、外围总线、图形加速端口、处理器或者使用多种总线结构的任意总线 结构的局域总线。
控制器200也可以与一个或多个外部设备240例如键盘、指向设备、蓝牙设 备等通信，还可与一个或者多个能够与该控制器200交互的设备通信，和/或与 使得该控制器200能与一个或多个其它计算设备进行通信的任何设备(例如路由 器、调制解调器等)通信。这种通信可以通过输入输出接口250进行。并且，控 制器200还可以通过网络适配器260与一个或者多个网络(例如局域网(LAN)，广 域网(WAN)和/或公共网络，例如因特网)通信。网络适配器260可以通过总线230 与控制器200的其它模块通信。应当明白，尽管图中未示出，可以结合控制器 200使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处 理器、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储平台等。
本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有 计算机程序，所述计算机程序被处理器执行时实现上述任一项控制器的功能或者 实现上述控制方法的步骤，其具体实现方式与上述控制器的实施方式中记载的实 施方式、所达到的技术效果一致，部分内容不再赘述。
参见图9，图9示出了本申请提供的一种用于实现控制方法的程序产品的结 构示意图。程序产品可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代 码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于 此，在本申请中，可读存储介质可以是任何包含或存储程序的有形介质，该程序 可以被指令执行系统、装置或者器件使用或者与其结合使用。程序产品可以采用 一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介 质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的 系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷 举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、 光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上 述的任意合适的组合。
计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信 号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但 不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是任何 可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者 器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何 适当的介质传输，包括但不限于无线、有线、光缆、RF等，或者上述的任意合 适的组合。可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操 作的程序代码，程序设计语言包括面向对象的程序设计语言诸如Java、C++等， 还包括常规的过程式程序设计语言诸如C语言或类似的程序设计语言。程序代 码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立 的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在 远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可 以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设 备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网 连接)。
本申请从使用目的上，效能上，进步及新颖性等观点进行阐述，已符合专利 法所强调的功能增进及使用要件，本申请以上的说明书及说明书附图，仅为本申 请的较佳实施例而已，并非以此局限本申请，因此，凡一切与本申请构造，装置， 特征等近似、雷同的，即凡依本申请专利申请范围所作的等同替换或修饰等，皆 应属本申请的专利申请保护的范围之内。
Claims (10)
1.一种控制器，其特征在于，用于实现程控设备和刺激器之间的远程程控功能，所述刺激器设置于患者的体内，所述控制器被配置成：
利用所述程控设备接收刺激配置操作，响应于所述刺激配置操作，配置所述刺激器的刺激参数，以使所述刺激器向所述患者的体内组织释放所述刺激参数对应的电刺激能量；
利用摄像头采集得到所述患者的全身视频数据，所述全身视频数据包括多帧全身图像；
从每帧所述全身图像中截取得到一个或多个部位的部位图像；
将每个所述部位的多帧部位图像输入对应的部位诊断模型，得到每个所述部位的诊断结果；
将每个所述部位的诊断结果叠加至每个所述部位在人物图像中的对应区域，以合成得到显示图像，所述人物图像中设置有一个人物；
利用所述程控设备显示所述显示图像。
2.根据权利要求1所述的控制器，其特征在于，所述一个或多个部位的获取过程包括：
利用所述程控设备显示多个动作类型，多个所述动作类型包括对指、握拳、举手、抬臂、走直线和走预设曲线中的多种；
利用所述程控设备接收针对其中一个所述动作类型的选择操作，响应于所述选择操作，获取被选择的动作类型对应的一个或多个部位。
3.根据权利要求1所述的控制器，其特征在于，每个所述部位在所述人物图像中的对应区域包括第一对应区域和第二对应区域，所述控制器被进一步配置成采用如下方式合成得到所述显示图像：
将每个所述部位的诊断结果叠加至每个所述部位在所述人物图像中的第一对应区域，将每个所述部位的诊断结果对应的图标叠加至每个所述部位在所述人物图像中的第二对应区域，以合成得到所述显示图像，每个所述部位的诊断结果对应的图标用于图形化地指示每个所述部位的诊断结果的严重程度。
4.根据权利要求3所述的控制器，其特征在于，每个所述部位在所述人物图像中的第一对应区域位于所述人物的对应部位的周围，每个所述部位在所述人物图像中的第二对应区域位于所述人物的对应部位所处的区域。
5.根据权利要求1所述的控制器，其特征在于，所述控制器还被配置成：
利用所述程控设备接收用于旋转所述人物图像的滑动操作，响应于所述滑动操作，获取所述人物图像对应的旋转图像；
将每个所述部位的诊断结果叠加至每个所述部位在所述旋转图像中的对应区域，以合成得到新的显示图像；
利用所述程控设备显示所述新的显示图像。
6.根据权利要求5所述的控制器，其特征在于，所述控制器被进一步配置成采用如下方式获取所述旋转图像：
响应于所述滑动操作，获取所述滑动操作的滑动路径，所述滑动路径采用矢量表示；
基于所述滑动路径的路径方向，确定所述人物图像对应的旋转方向；
基于所述滑动路径的路径长度，确定所述人物图像对应的旋转角度；
基于所述旋转方向和所述旋转角度，获得所述旋转图像。
7.根据权利要求6所述的控制器，其特征在于，所述控制器被进一步配置成采用如下方式获得所述人物图像对应的旋转图像：
将所述人物图像输入用于将2D图像转换为3D图像的三维重建模型，得到所述人物图像对应的3D图像；
按照所述旋转方向和所述旋转角度对所述人物图像对应的3D图像进行旋转，以得到所述人物图像对应的旋转图像；
其中，所述三维重建模型的训练过程包括：
获取第一训练集，所述第一训练集中的每个训练数据包括一个用于训练的2D图像及其对应的3D图像的标注数据；
针对所述第一训练集中的每个训练数据，执行以下处理：
将所述训练数据中的2D图像输入预设的第一深度学习模型，得到所述2D图像对应的3D图像的预测数据；
基于所述2D图像对应的3D图像的预测数据和标注数据，对所述第一深度学习模型的模型参数进行更新；
检测是否满足预设的训练结束条件；如果是，则将训练得到的第一深度学习模型作为所述三维重建模型；如果否，则利用下一个所述训练数据继续训练所述第一深度学习模型。
8.根据权利要求1所述的控制器，其特征在于，所述人物图像能够在人物彩色图像、人物骨骼图像、人物经脉图像和人物卡通图像之间切换。
9.一种植入式神经刺激系统，其特征在于，所述植入式神经刺激系统包括：
程控设备，所述程控设备设置于患者的体外，所述程控设备用于提供交互功能和显示功能；
刺激器，所述刺激器设置于所述患者的体内，所述刺激器用于向所述患者的体内组织释放电刺激能量；
权利要求1-8任一项所述的控制器。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-8任一项所述控制器的功能。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210585177.7A CN114984450A (zh) | 2022-05-26 | 2022-05-26 | 控制器、植入式神经刺激系统及计算机可读存储介质 |
| PCT/CN2023/089492 WO2023226636A1 (zh) | 2022-05-26 | 2023-04-20 | 控制器、植入式神经刺激系统及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210585177.7A CN114984450A (zh) | 2022-05-26 | 2022-05-26 | 控制器、植入式神经刺激系统及计算机可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114984450A true CN114984450A (zh) | 2022-09-02 |
Family
ID=83028410
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210585177.7A Pending CN114984450A (zh) | 2022-05-26 | 2022-05-26 | 控制器、植入式神经刺激系统及计算机可读存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN114984450A (zh) |
| WO (1) | WO2023226636A1 (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023226636A1 (zh) * | 2022-05-26 | 2023-11-30 | 苏州景昱医疗器械有限公司 | 控制器、植入式神经刺激系统及计算机可读存储介质 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002078772A (ja) * | 2000-09-06 | 2002-03-19 | Sukeyuki Kawaguchi | 筋トーヌス或いは筋電位センサーによる遠隔的コンピュータ画像診断及びレーザー鍼治療器 |
| US20090149721A1 (en) * | 2004-10-29 | 2009-06-11 | Chang-Ming Yang | System for Monitoring, Analyzing and Auto-feedback of Health Conditions |
| CN102573635A (zh) * | 2010-10-14 | 2012-07-11 | 株式会社东芝 | 医用图像诊断装置以及医用图像处理方法 |
| KR20150051618A (ko) * | 2013-11-05 | 2015-05-13 | 한국디지털병원수출사업협동조합 | 3차원 초음파 스캔 이미지의 합성을 포함한 3차원 초음파 진단 장치 및 방법 |
| WO2018087853A1 (ja) * | 2016-11-09 | 2018-05-17 | 株式会社システムフレンド | 立体画像生成システム、立体画像生成方法及び立体画像生成プログラム |
| CN108324246A (zh) * | 2018-01-19 | 2018-07-27 | 上海联影医疗科技有限公司 | 医疗诊断辅助系统及方法 |
| US10803608B1 (en) * | 2019-10-30 | 2020-10-13 | Skia | Medical procedure using augmented reality |
| CN113362946A (zh) * | 2021-07-20 | 2021-09-07 | 景昱医疗器械(长沙)有限公司 | 视频处理装置、电子设备及计算机可读存储介质 |
| CN114272515A (zh) * | 2021-12-27 | 2022-04-05 | 苏州景昱医疗器械有限公司 | 程控设备和植入式神经刺激系统 |
| CN114306936A (zh) * | 2022-01-25 | 2022-04-12 | 苏州景昱医疗器械有限公司 | 程控设备和植入式神经刺激系统 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9327069B2 (en) * | 2004-12-21 | 2016-05-03 | Boston Scientific Neuromodulation Corporation | Methods and systems for treating a medical condition by promoting neural remodeling within the brain |
| JP7027046B2 (ja) * | 2016-05-09 | 2022-03-01 | キヤノンメディカルシステムズ株式会社 | 医用画像撮像装置及び方法 |
| CN106861037A (zh) * | 2017-01-03 | 2017-06-20 | 江苏德长医疗科技有限公司 | 无线可穿戴功能性电刺激系统辅助下的神经网络重建训练方法 |
| CN114984450A (zh) * | 2022-05-26 | 2022-09-02 | 苏州景昱医疗器械有限公司 | 控制器、植入式神经刺激系统及计算机可读存储介质 |
-
2022
- 2022-05-26 CN CN202210585177.7A patent/CN114984450A/zh active Pending
-
2023
- 2023-04-20 WO PCT/CN2023/089492 patent/WO2023226636A1/zh unknown
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002078772A (ja) * | 2000-09-06 | 2002-03-19 | Sukeyuki Kawaguchi | 筋トーヌス或いは筋電位センサーによる遠隔的コンピュータ画像診断及びレーザー鍼治療器 |
| US20090149721A1 (en) * | 2004-10-29 | 2009-06-11 | Chang-Ming Yang | System for Monitoring, Analyzing and Auto-feedback of Health Conditions |
| CN102573635A (zh) * | 2010-10-14 | 2012-07-11 | 株式会社东芝 | 医用图像诊断装置以及医用图像处理方法 |
| KR20150051618A (ko) * | 2013-11-05 | 2015-05-13 | 한국디지털병원수출사업협동조합 | 3차원 초음파 스캔 이미지의 합성을 포함한 3차원 초음파 진단 장치 및 방법 |
| WO2018087853A1 (ja) * | 2016-11-09 | 2018-05-17 | 株式会社システムフレンド | 立体画像生成システム、立体画像生成方法及び立体画像生成プログラム |
| CN108324246A (zh) * | 2018-01-19 | 2018-07-27 | 上海联影医疗科技有限公司 | 医疗诊断辅助系统及方法 |
| US10803608B1 (en) * | 2019-10-30 | 2020-10-13 | Skia | Medical procedure using augmented reality |
| CN113362946A (zh) * | 2021-07-20 | 2021-09-07 | 景昱医疗器械(长沙)有限公司 | 视频处理装置、电子设备及计算机可读存储介质 |
| CN114272515A (zh) * | 2021-12-27 | 2022-04-05 | 苏州景昱医疗器械有限公司 | 程控设备和植入式神经刺激系统 |
| CN114306936A (zh) * | 2022-01-25 | 2022-04-12 | 苏州景昱医疗器械有限公司 | 程控设备和植入式神经刺激系统 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023226636A1 (zh) * | 2022-05-26 | 2023-11-30 | 苏州景昱医疗器械有限公司 | 控制器、植入式神经刺激系统及计算机可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2023226636A1 (zh) | 2023-11-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| AU2018322437B2 (en) | Visualization system for deep brain stimulation | |
| US20150360038A1 (en) | Heads-Up Display and Control of an Implantable Medical Device | |
| CN105682734B (zh) | 用于并入来自图像的引线信息的系统 | |
| US20170252570A1 (en) | Systems and methods for communication during remote programming | |
| CN114842956B (zh) | 控制设备、医疗系统及计算机可读存储介质 | |
| CN201929941U (zh) | 半球面刺激的视功能诊疗仪 | |
| US20220323766A1 (en) | Systems and methods for providing neurostimulation therapy according to machine learning operations | |
| WO2023005353A1 (zh) | 基于多模态数据的配置信息获取装置及相关设备 | |
| WO2023226636A1 (zh) | 控制器、植入式神经刺激系统及计算机可读存储介质 | |
| CN115554093A (zh) | 一种基于专注度水平的手腕康复控制装置 | |
| WO2023000787A1 (zh) | 视频处理方法、装置、电子设备及计算机可读存储介质 | |
| CN115463347A (zh) | 参数调节装置、程控设备、医疗系统及计算机存储介质 | |
| EP4387514A1 (en) | Systems and methods for providing digital health services | |
| Scherer et al. | Non-manual Control Devices: Direct Brain-Computer Interaction | |
| CN115063505B (zh) | 局部图形更新装置、医疗系统及计算机可读存储介质 | |
| AU2021374656B2 (en) | Computer-assisted pain mapping and neuromodulation system | |
| CN116825315A (zh) | 程控交互方法、电子设备、存储介质及程序产品 | |
| Luo et al. | The VEP Booster: A Closed-Loop AI System for Visual EEG Biomarker Auto-generation | |
| CN115282477A (zh) | 远程医疗设备、医疗系统及计算机可读存储介质 | |
| Gebrehiwot | Developing Computer-Brain Interfaces to Target Cortical Areas of the Human Brain to Augment Sensory Information | |
| CN117714739A (zh) | 程控视频的分享方法、分享设备及可读存储介质 | |
| CN118800409A (zh) | 一种可视化程控设备、方法及相关装置 | |
| WO2023069940A1 (en) | Systems and methods for providing neurostimulation therapy using multi-dimensional patient features | |
| Migliorini | A real-time, GPU-based VR solution for simulating the POLYRETINA retinal neuroprosthesis | |
| CN118001588A (zh) | 可视化程控调节方法、程控设备及医疗系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: 215000 building C16, bio nano Park, 218 Xinghu street, Suzhou Industrial Park, Jiangsu Province Applicant after: Jingyu Medical Technology (Suzhou) Co.,Ltd. Address before: 215000 building C16, bio nano Park, 218 Xinghu street, Suzhou Industrial Park, Jiangsu Province Applicant before: SCENERAY Co.,Ltd. |