CN111524588A - 一种基于虚拟现实的外科手术方法、系统及可读存储介质 - Google Patents

一种基于虚拟现实的外科手术方法、系统及可读存储介质 Download PDF

Info

Publication number
CN111524588A
CN111524588A CN202010351834.2A CN202010351834A CN111524588A CN 111524588 A CN111524588 A CN 111524588A CN 202010351834 A CN202010351834 A CN 202010351834A CN 111524588 A CN111524588 A CN 111524588A
Authority
CN
China
Prior art keywords
information
surgical
virtual reality
patient
reality based
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202010351834.2A
Other languages
English (en)
Inventor
张希兰
刘珊珊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Liwei Xinpu Biotechnology Co ltd
Original Assignee
Suzhou Liwei Xinpu Biotechnology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Liwei Xinpu Biotechnology Co ltd filed Critical Suzhou Liwei Xinpu Biotechnology Co ltd
Priority to CN202010351834.2A priority Critical patent/CN111524588A/zh
Publication of CN111524588A publication Critical patent/CN111524588A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/35—Surgical robots for telesurgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Veterinary Medicine (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Robotics (AREA)
  • Epidemiology (AREA)
  • Software Systems (AREA)
  • Primary Health Care (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Social Psychology (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Business, Economics & Management (AREA)
  • Computing Systems (AREA)
  • Psychiatry (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Manipulator (AREA)

Abstract

本发明涉及一种基于虚拟现实的外科手术方法、系统及可读存储介质，包括：采集图像信息，获取病例信号，得到病例信息，建立预设模型；分析预设模型，计算手术处理方式，得到手术信息；通过VR构建三维图像，对三维图像扫描，选取手术工具进行手术操作；手术操作过程中，通过传感节点监测医务人员手臂关节参数变化信息，得到结果信息，将结果信息上传至外科手术机器人控制器；外科手术机器人控制器获取手术信息，对手术信息进行优化处理，控制器控制外科手术机器人进行关节适配性操作。

Description

一种基于虚拟现实的外科手术方法、系统及可读存储介质
技术领域
本发明涉及一种虚拟现实领域或智能控制领域或医学领域或教育教学领域，尤其涉及一种基于虚拟现实的外科手术方法、系统及可读存储介质。
背景技术
虚拟现实技术是一种能够创建和体验虚拟世界的计算机仿真技术，通过与计算机生成一种交互式的三维动态视景，使用户沉浸到虚拟的环境中，实现听觉和触觉的双重体验，虚拟现实技术应用到医疗领域不仅能够清晰展现人体不同层次、皮肤、肌肉、血管等，还能够在虚拟现实系统中进行手术操作训练，此外还能够借助触觉反馈功能让医务人员感受到手术中人体的真实反应。
传统的外科手术都是需要医务人员在旁边指挥，难以做到智能化手术，且遇到疑难杂症，会诊时，都是通过网络视频会诊，医务人员看不到病人具体情况，影响医务人员手术的准确判断，并不能在远端进行操作，影响手术的成功率。
为了能够对外科手术操作实现精准的控制，及手术过程的安全性，需要开发一款与其相匹配的系统进行控制，通过采集图像信息，自动计算手术部位，提高手术精度，通过VR眼镜配合手术系统，VR眼镜检测到医务人员的手术动作信息，通过手部动作信息控制机械臂产生对应的控制操作,但是在进行控制过程中，如何实现精准控制的同时，实现对手术的精准控制、安全性都是亟不可待要解决的问题。
发明内容
本发明克服了现有技术的不足，提供一种基于虚拟现实的外科手术方法、系统及可读存储介质。
为达到上述目的，本发明采用的技术方案为：一种基于虚拟现实的外科手术方法，包括：
采集图像信息，获取病例信号，得到病例信息，建立预设模型；
分析预设模型，计算手术处理方式，得到手术信息；
通过VR构建三维图像，对三维图像扫描，选取手术工具进行手术操作；
手术操作过程中，通过传感节点监测医务人员手臂关节参数变化信息，得到结果信息，将结果信息上传至外科手术机器人控制器；
外科手术机器人控制器获取手术信息，对手术信息进行优化处理，控制器控制外科手术机器人进行关节适配性操作。
优选的，医务人员的手臂关节两侧设置有第一标记点，在进行手术操作过程中，通过传感节点监测追踪第一标记点的位置变化信息，外科手术机器人的对应位置处安装有对应的第二标记点，对应位置处的第一标记点与第二标记点之间进行信号交互。
优选的，所述预设模型包括卷积神经网络模型，具体为：
采集病人图像信息，通过云计算得到病人数据；
将数据输入卷积神经网络模型，通过大数据训练卷积神经网络模型，得到反馈信号，获取反馈信息；
根据反馈信息定位手术部位，控制机械手预定方式动作进行手术。
优选的，手臂关节参数变化信息包括：手臂弯折信息、手臂动作信息、手臂作用力信息、手臂抬降过程信息中的一种或两种以上的组合。
优选的，VR场景构建三维图像，获取虚拟病人姿态信息；
虚拟病人姿态信息与实际病人姿态建立同一坐标系，使三维图像中虚拟病人的姿态信息与实际病人姿态信息相匹配。
优选的，外科手术机器人控制器获取手术信息，对手术信息进行优化处理，具体包括：
通过VR进行过手术操作，生成手术信息，得到结果信息，结果信息匹配至外科手术机器人，对手术信息中的偏差信息进行校正，以适配手术机器人的动作。
本发明第二方面还提供了一种基于虚拟现实的外科手术系统，该系统包括：存储器、处理器，所述存储器中包括基于虚拟现实的外科手术方法程序，所述基于虚拟现实的外科手术方法程序被所述处理器执行时实现如下步骤：
采集图像信息，获取病例信号，得到病例信息，建立预设模型；
分析预设模型，计算手术处理方式，得到手术信息；
通过VR构建三维图像，对三维图像扫描，选取手术工具进行手术操作；
手术操作过程中，通过传感节点监测医务人员手臂关节参数变化信息，得到结果信息，将结果信息上传至外科手术机器人控制器；
外科手术机器人控制器获取手术信息，对手术信息进行优化处理，控制器控制外科手术机器人进行关节适配性操作。
优选的，医务人员的手臂关节两侧设置有第一标记点，在进行手术操作过程中，通过传感节点监测追踪第一标记点的位置变化信息，外科手术机器人的对应位置处安装有对应的第二标记点，对应位置处的第一标记点与第二标记点之间进行信号交互。
优选的，VR场景构建三维图像，获取虚拟病人姿态信息；
虚拟病人姿态信息与实际病人姿态建立同一坐标系，使三维图像中虚拟病人的姿态信息与实际病人姿态信息相匹配。
本发明第三方面提供了一种计算机可读存储介质，所述计算机可读存储介质中包括基于虚拟现实的外科手术方法程序，所述基于虚拟现实的外科手术方法程序被处理器执行时，实现上述任一项所述的基于虚拟现实的外科手术方法的步骤。
本发明解决了背景技术中存在的缺陷，本发明具备以下有益效果：
(1)通过对历史病人大数据采集、分析，生成模型，模型可以通过神经网络的方式生成，新的患者进行手术时，采集患者信息和图像信息，输入神经网络模型中，模型自动计算手术部位，提高手术精确度。
(2)手术系统通过匹配VR眼镜，医务人员佩戴VR眼镜，构建虚拟病人信息，构建的虚拟病人信息与实际病人的姿态及信息相匹配，实现虚拟病人信息与实际病人信息在同一参考坐标系下，通过医务人员的远程操作传输至手术机器人进行对应操作时，不会产生误差。
(3)医务人员手臂关节的两侧设置第一标志点，手术机器人对应位置设置有第二标志点，通过检测第一标志点的变化信息，传输至第二标志点，通过医务人员手臂关节变化信息，控制机械臂产生对应的控制操作，能够实现远程手术操作。
(4)通过大数据进行训练神经网络模型，使得神经网络模型越来越精准，通过神经网络模型控制机械手状态变化，使机械手动作信息与医务人员动作信息相匹配。
(5)医务人员手指关节处设置有第三标志点，通过第三标志点实时检测医务人员手指关节状态参数信息，并将医务人员手指关节处状态参数信息传输至手术机器人，手术机器人产生对应的操作，实现远程控制操作手术。
附图说明
下面结合附图和实施例对本发明进一步说明。
图1示出了本发明一种基于虚拟现实的外科手术方法的流程图；
图2示出了神经网络模型方法流程图；
图3示出了一种基于虚拟现实的外科手术系统的框图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
图1示出了本发明一种基于虚拟现实的外科手术方法的流程图。
如图1所示，本发明第一方面提供了一种基于虚拟现实的外科手术方法，包括：
S102，采集图像信息，获取病例信号，得到病例信息，建立预设模型；
S104，分析预设模型，计算手术处理方式，得到手术信息；
S106，通过VR构建三维图像，对三维图像扫描，选取手术工具进行手术操作；
S108，手术操作过程中，通过传感节点监测医务人员手臂关节参数变化信息，得到结果信息，将结果信息上传至外科手术机器人控制器；
S110，外科手术机器人控制器获取手术信息，对手术信息进行优化处理，控制器控制外科手术机器人进行关节适配性操作。
根据本发明实施例，医务人员的手臂关节两侧设置有第一标记点，在进行手术操作过程中，通过传感节点监测追踪第一标记点的位置变化信息，外科手术机器人的对应位置处安装有对应的第二标记点，对应位置处的第一标记点与第二标记点之间进行信号交互。
需要说明的是，医务人员手指关节处设置有第三标志点，通过第三标志点实时检测医务人员手指关节状态参数信息，并将医务人员手指关节处状态参数信息传输至手术机器人，手术机器人对应位置处设置有第四标志点，第三标志点与第四标志点实现信息交互，第三标志点检测的信息，传输至控制器，控制器控制手术机器人产生对应的操作，使医务人员的手指操作状态与手术机器人的操作状态相同，实现远程控制操作手术。
如图2所示，本发明公开了一种神经网络模型方法流程图；
根据本发明实施例，所述预设模型包括卷积神经网络模型，具体为：
S202，采集病人图像信息，通过云计算得到病人数据；
S204，将数据输入卷积神经网络模型，通过大数据训练卷积神经网络模型，得到反馈信号，获取反馈信息；
S206，根据反馈信息定位手术部位，控制机械手预定方式动作进行手术。
需要说明的是，通过大数据进行训练神经网络模型，使得神经网络模型越来越精准，通过神经网络模型控制机械手状态变化，使机械手动作信息与医务人员动作信息相匹配。
根据本发明实施例，手臂关节参数变化信息包括：手臂弯折信息、手臂动作信息、手臂作用力信息、手臂抬降过程信息中的一种或两种以上的组合。
需要说明的是，通过多角度分析手臂关节变化，手臂弯折信息包括手臂蜷曲、手臂关节之间的角度信息；手臂作用力信息包括手臂压力信息，手臂抬降过程包括手臂倾斜角度，病人平躺时，手臂与水平面的夹角信息。
根据本发明实施例，VR场景构建三维图像，获取虚拟病人姿态信息；
虚拟病人姿态信息与实际病人姿态建立同一坐标系，使三维图像中虚拟病人的姿态信息与实际病人姿态信息相匹配。
需要说明的是，在进行远程手术操作之前，需要将模拟病人姿态信息进行调整，使模拟病人姿态信息与实际病人姿态信息完全相同，这样保证检测到的医务人员的手臂动作信息，传输至手术机器人时，可以根据统一参考进行匹配性动作，不会产生偏差。
根据本发明实施例，外科手术机器人控制器获取手术信息，对手术信息进行优化处理，具体包括：
通过VR进行过手术操作，生成手术信息，得到结果信息，结果信息匹配至外科手术机器人，对手术信息中的偏差信息进行校正，以适配手术机器人的动作。
需要说明的是，对比偏差信息与预设偏差信息，得到偏差率，当偏差率大于预设偏差率时，通过控制器调整外科手术机器人的动作精度，或调整VR虚拟图像中病人姿态信息，以匹配现实中病人姿态信息。
如图3所示，本发明公开了一种外科手术系统框图；
本发明第二方面还提供了一种基于虚拟现实的外科手术系统3，该系统3包括：存储器31、处理器32，所述存储器31中包括基于虚拟现实的外科手术方法程序，所述基于虚拟现实的外科手术方法程序被所述处理器执行时实现如下步骤：
采集图像信息，获取病例信号，得到病例信息，建立预设模型；
分析预设模型，计算手术处理方式，得到手术信息；
通过VR构建三维图像，对三维图像扫描，选取手术工具进行手术操作；
手术操作过程中，通过传感节点监测医务人员手臂关节参数变化信息，得到结果信息，将结果信息上传至外科手术机器人控制器；
外科手术机器人控制器获取手术信息，对手术信息进行优化处理，控制器控制外科手术机器人进行关节适配性操作。
需要说明的是，手术系统通过匹配VR眼镜，医务人员佩戴VR眼镜，构建虚拟病人信息，构建的虚拟病人信息与实际病人的姿态及信息相匹配，实现虚拟病人信息与实际病人信息在同一参考坐标系下，通过医务人员的远程操作传输至手术机器人进行对应操作时，不会产生误差。
根据本发明实施例，医务人员的手臂关节两侧设置有第一标记点，在进行手术操作过程中，通过传感节点监测追踪第一标记点的位置变化信息，外科手术机器人的对应位置处安装有对应的第二标记点，对应位置处的第一标记点与第二标记点之间进行信号交互。
需要说明的是，医务人员手指关节处设置有第三标志点，通过第三标志点实时检测医务人员手指关节状态参数信息，并将医务人员手指关节处状态参数信息传输至手术机器人，手术机器人对应位置处设置有第四标志点，第三标志点与第四标志点实现信息交互，第三标志点检测的信息，传输至控制器，控制器控制手术机器人产生对应的操作，使医务人员的手指操作状态与手术机器人的操作状态相同，实现远程控制操作手术。
根据本发明实施例，VR场景构建三维图像，获取虚拟病人姿态信息；
虚拟病人姿态信息与实际病人姿态建立同一坐标系，使三维图像中虚拟病人的姿态信息与实际病人姿态信息相匹配。
需要说明的是，在进行远程手术操作之前，需要将模拟病人姿态信息进行调整，使模拟病人姿态信息与实际病人姿态信息完全相同，这样保证检测到的医务人员的手臂动作信息，传输至手术机器人时，可以根据同一参考进行匹配性动作，不会产生偏差。
外科手术机器人控制器获取手术信息，对手术信息进行优化处理，具体包括：
通过VR进行过手术操作，生成手术信息，得到结果信息，结果信息匹配至外科手术机器人，对手术信息中的偏差信息进行校正，以适配手术机器人的动作。
手臂关节参数变化信息包括：手臂弯折信息、手臂动作信息、手臂作用力信息、手臂抬降过程信息中的一种或两种以上的组合。
需要说明的是，通过多角度分析手臂关节变化，手臂弯折信息包括手臂蜷曲、手臂关节之间的角度信息；手臂作用力信息包括手臂压力信息，手臂抬降过程包括手臂倾斜角度，病人平躺时，手臂与水平面的夹角信息。
本发明第三方面提供了一种计算机可读存储介质，所述计算机可读存储介质中包括基于虚拟现实的外科手术方法程序，所述基于虚拟现实的外科手术方法程序被处理器执行时，实现上述任一项所述的基于虚拟现实的外科手术方法的步骤。
通过对历史病人大数据采集、分析，生成模型，模型可以通过神经网络的方式生成，新的患者进行手术时，采集患者信息和图像信息，输入神经网络模型中，模型自动计算手术部位，提高手术精确度。
手术系统通过匹配VR眼镜，医务人员佩戴VR眼镜，构建虚拟病人信息，构建的虚拟病人信息与实际病人的姿态及信息相匹配，实现虚拟病人信息与实际病人信息在同一参考坐标系下，通过医务人员的远程操作传输至手术机器人进行对应操作时，不会产生误差。
医务人员手臂关节的两侧设置第一标志点，手术机器人对应位置设置有第二标志点，通过检测第一标志点的变化信息，传输至第二标志点，通过医务人员手臂关节变化信息，控制机械臂产生对应的控制操作，能够实现远程手术操作。
通过大数据进行训练神经网络模型，使得神经网络模型越来越精准，通过神经网络模型控制机械手状态变化，使机械手动作信息与医务人员动作信息相匹配。
本外科手术系统还能够应用于教育教学领域，实习医生能够根据虚拟现实系统进行外科手术练习，能够使实习医生从视觉、触觉、感知多方面得到锻炼，且虚拟现实系统模拟的病人能够根据不同练习项目进行调整病人病情信息，以配合不同的手术操作，加快实习医生的成长。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本发明各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种基于虚拟现实的外科手术方法，其特征在于，包括：
采集图像信息，获取病例信号，得到病例信息，建立预设模型；
分析预设模型，计算手术处理方式，得到手术信息；
通过VR构建三维图像，对三维图像扫描，选取手术工具进行手术操作；
手术操作过程中，通过传感节点监测医务人员手臂关节参数变化信息，得到结果信息，将结果信息上传至外科手术机器人控制器；
外科手术机器人控制器获取手术信息，对手术信息进行优化处理，控制器控制外科手术机器人进行关节适配性操作。
2.根据权利要求1所述的一种基于虚拟现实的外科手术方法，其特征在于：
医务人员的手臂关节两侧设置有第一标记点，在进行手术操作过程中，通过传感节点监测追踪第一标记点的位置变化信息，外科手术机器人的对应位置处安装有对应的第二标记点，对应位置处的第一标记点与第二标记点之间进行信号交互。
3.根据权利要求1所述的一种基于虚拟现实的外科手术方法，其特征在于：
所述预设模型包括卷积神经网络模型，具体为：
采集病人图像信息，通过云计算得到病人数据；
将数据输入卷积神经网络模型，通过大数据训练卷积神经网络模型，得到反馈信号，获取反馈信息；
根据反馈信息定位手术部位，控制主机械手与辅助机械手预定方式动作进行手术。
4.根据权利要求1所述的一种基于虚拟现实的外科手术方法，其特征在于：手臂关节参数变化信息包括：手臂弯折信息、手臂动作信息、手臂作用力信息、手臂抬降过程信息中的一种或两种以上的组合。
5.根据权利要求1所述的一种基于虚拟现实的外科手术方法，其特征在于：
VR场景构建三维图像，获取虚拟病人姿态信息；
虚拟病人姿态信息与实际病人姿态建立同一坐标系，使三维图像中虚拟病人的姿态信息与实际病人姿态信息相匹配。
6.根据权利要求5所述的一种基于虚拟现实的外科手术方法，其特征在于：外科手术机器人控制器获取手术信息，对手术信息进行优化处理，具体包括：
通过VR进行过手术操作，生成手术信息，得到结果信息，结果信息匹配至外科手术机器人，对手术信息中的偏差信息进行校正，以适配手术机器人的动作。
7.一种基于虚拟现实的外科手术系统，其特征在于，该系统包括：存储器、处理器，所述存储器中包括基于虚拟现实的外科手术方法程序，所述基于虚拟现实的外科手术方法程序被所述处理器执行时实现如下步骤：
采集图像信息，获取病例信号，得到病例信息，建立预设模型；
分析预设模型，计算手术处理方式，得到手术信息；
通过VR构建三维图像，对三维图像扫描，选取手术工具进行手术操作；
手术操作过程中，通过传感节点监测医务人员手臂关节参数变化信息，得到结果信息，将结果信息上传至外科手术机器人控制器；
外科手术机器人控制器获取手术信息，对手术信息进行优化处理，控制器控制外科手术机器人进行关节适配性操作。
8.根据权利要求7所述的一种基于虚拟现实的外科手术系统，其特征在于：医务人员的手臂关节两侧设置有第一标记点，在进行手术操作过程中，通过传感节点监测追踪第一标记点的位置变化信息，外科手术机器人的对应位置处安装有对应的第二标记点，对应位置处的第一标记点与第二标记点之间进行信号交互。
9.根据权利要求7所述的一种基于虚拟现实的外科手术系统，其特征在于：VR场景构建三维图像，获取虚拟病人姿态信息；
虚拟病人姿态信息与实际病人姿态建立同一坐标系，使三维图像中虚拟病人的姿态信息与实际病人姿态信息相匹配。
10.一种计算机可读存储介质，其特征在于：所述计算机可读存储介质中包括基于虚拟现实的外科手术方法程序，所述基于虚拟现实的外科手术方法程序被处理器执行时，实现如权利要求1至6中任一项所述的基于虚拟现实的外科手术方法的步骤。
CN202010351834.2A 2020-04-28 2020-04-28 一种基于虚拟现实的外科手术方法、系统及可读存储介质 Withdrawn CN111524588A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010351834.2A CN111524588A (zh) 2020-04-28 2020-04-28 一种基于虚拟现实的外科手术方法、系统及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010351834.2A CN111524588A (zh) 2020-04-28 2020-04-28 一种基于虚拟现实的外科手术方法、系统及可读存储介质

Publications (1)

Publication Number Publication Date
CN111524588A true CN111524588A (zh) 2020-08-11

Family

ID=71904920

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010351834.2A Withdrawn CN111524588A (zh) 2020-04-28 2020-04-28 一种基于虚拟现实的外科手术方法、系统及可读存储介质

Country Status (1)

Country Link
CN (1) CN111524588A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112037898A (zh) * 2020-09-01 2020-12-04 孙茂旭 基于5g的数字化医用高压氧舱系统
CN112365966A (zh) * 2020-09-27 2021-02-12 青岛大学附属医院 结合vr技术的数字化手术系统
CN112869787A (zh) * 2020-12-31 2021-06-01 深圳市世格赛思医疗科技有限公司 一种微创医疗系统
CN113761796A (zh) * 2021-08-24 2021-12-07 中国人民解放军总医院第一医学中心 基于虚拟现实的心脏出血与止血模型的仿真系统和方法
CN114145850A (zh) * 2021-12-03 2022-03-08 张继军 一种智能ercp辅助装置及自动控制方法
CN115359896A (zh) * 2022-10-20 2022-11-18 山东曲阜康尔健医疗科技有限公司 基于数据分析与远程控制的手术操作与监控分析系统

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112037898A (zh) * 2020-09-01 2020-12-04 孙茂旭 基于5g的数字化医用高压氧舱系统
CN112365966A (zh) * 2020-09-27 2021-02-12 青岛大学附属医院 结合vr技术的数字化手术系统
CN112365966B (zh) * 2020-09-27 2024-04-09 青岛大学附属医院 结合vr技术的数字化手术系统
CN112869787A (zh) * 2020-12-31 2021-06-01 深圳市世格赛思医疗科技有限公司 一种微创医疗系统
CN113761796A (zh) * 2021-08-24 2021-12-07 中国人民解放军总医院第一医学中心 基于虚拟现实的心脏出血与止血模型的仿真系统和方法
CN113761796B (zh) * 2021-08-24 2023-04-18 中国人民解放军总医院第一医学中心 基于虚拟现实的心脏出血与止血模型的仿真系统和方法
CN114145850A (zh) * 2021-12-03 2022-03-08 张继军 一种智能ercp辅助装置及自动控制方法
CN115359896A (zh) * 2022-10-20 2022-11-18 山东曲阜康尔健医疗科技有限公司 基于数据分析与远程控制的手术操作与监控分析系统
CN115359896B (zh) * 2022-10-20 2023-01-24 山东曲阜康尔健医疗科技有限公司 基于数据分析与远程控制的手术操作与监控分析系统

Similar Documents

Publication Publication Date Title
CN111524588A (zh) 一种基于虚拟现实的外科手术方法、系统及可读存储介质
CN110162163B (zh) 一种基于体感和vr技术的虚拟消防演练方法及系统
KR20180068336A (ko) 훈련 또는 보조 기능들을 갖는 수술 시스템
Essig et al. Automatic analysis of 3D gaze coordinates on scene objects using data from eye-tracking and motion-capture systems
CN114082158B (zh) 一种脑卒中患者上肢康复训练系统
US20220351824A1 (en) Systems for dynamic assessment of upper extremity impairments in virtual/augmented reality
Hu et al. StereoPilot: A wearable target location system for blind and visually impaired using spatial audio rendering
CN113103230A (zh) 一种基于处置机器人遥操作的人机交互系统及方法
CN111840920A (zh) 一种基于虚拟现实的上肢智能康复系统
CN113611388A (zh) 一种基于外骨骼的智能运动康复治疗与训练系统
Yi et al. Home interactive elderly care two-way video healthcare system design
WO2023019376A1 (zh) 一种触觉感知系统及其使用方法
Placidi et al. Data integration by two-sensors in a LEAP-based Virtual Glove for human-system interaction
CN111134974B (zh) 一种基于增强现实和多模态生物信号的轮椅机器人系统
Szücs et al. Improved algorithms for movement pattern recognition and classification in physical rehabilitation
Du et al. An intelligent interaction framework for teleoperation based on human-machine cooperation
CN115714000B (zh) 一种康复训练评估方法及装置
CN111554394A (zh) 一种基于区块链技术的外科手术控制方法、系统及可读存储介质
WO2023078249A1 (zh) 一种手术机器人避障方法、系统、装置和存储介质
Guo et al. Force feedback-based robotic catheter training system for the vascular interventional surgery
Ma et al. A framework for interactive work design based on digital work analysis and simulation
Petreska et al. Movement curvature planning through force field internal models
CN114431961B (zh) 医生控制台的控制方法及医生控制台
US20240108415A1 (en) Automatic patient positioning for medical equipment
CN115602032B (zh) 基于虚拟现实的消化内镜手术培训系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20200811