CN115462907A - 基于虚拟现实技术的远程开放性手术机器人系统 - Google Patents
基于虚拟现实技术的远程开放性手术机器人系统 Download PDFInfo
- Publication number
- CN115462907A CN115462907A CN202211119868.4A CN202211119868A CN115462907A CN 115462907 A CN115462907 A CN 115462907A CN 202211119868 A CN202211119868 A CN 202211119868A CN 115462907 A CN115462907 A CN 115462907A
- Authority
- CN
- China
- Prior art keywords
- virtual reality
- development board
- system based
- robot system
- surgery
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000005516 engineering process Methods 0.000 title claims abstract description 22
- 238000011161 development Methods 0.000 claims abstract description 45
- 238000001356 surgical procedure Methods 0.000 claims abstract description 36
- 238000004891 communication Methods 0.000 claims abstract description 5
- 240000007651 Rubus glaucus Species 0.000 claims description 21
- 235000011034 Rubus glaucus Nutrition 0.000 claims description 21
- 235000009122 Rubus idaeus Nutrition 0.000 claims description 21
- 238000000034 method Methods 0.000 claims description 8
- 239000012636 effector Substances 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 230000010365 information processing Effects 0.000 claims description 3
- 230000002452 interceptive effect Effects 0.000 claims description 3
- 230000003993 interaction Effects 0.000 abstract description 4
- 230000005540 biological transmission Effects 0.000 abstract description 3
- 230000007704 transition Effects 0.000 abstract description 2
- 230000008569 process Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 208000014674 injury Diseases 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 230000002980 postoperative effect Effects 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 230000008733 trauma Effects 0.000 description 2
- 206010044565 Tremor Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000012797 qualification Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000004659 sterilization and disinfection Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
- A61B34/35—Surgical robots for telesurgery
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/25—User interfaces for surgical systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/70—Manipulators specially adapted for use in surgery
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B2090/364—Correlation of different images or relation of image positions in respect to the body
- A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
Landscapes
- Health & Medical Sciences (AREA)
- Surgery (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Robotics (AREA)
- Human Computer Interaction (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Pathology (AREA)
- Manipulator (AREA)
Abstract
基于虚拟现实技术的远程开放性手术机器人系统，属于计算机辅助外科技术领域，本发明广泛融合了虚拟现实、局域网通信、机器人运动学等多个领域的相关技术，保证手术机器人的精确性与稳定性，数据传输的低延迟，VR设备的显示清晰度与易交互。本发明系统可以部分或完全替代传统开放性手术，作为传统开放性手术和微创机器人手术之间的跳板，填补当下二者之间技术和产品的空白，为现代手术完全发展至微创机器人手术提供一个过渡阶段。远程手术的引入可以缓解地区之间医疗资源分布不均的问题，使医疗资源再分配，也可以极大降低远程会诊难度。且本发明系统成本较低，可以在欠发达地区的医院得到推广普及。
Description
技术领域
本发明属于计算机辅助外科技术领域，特别是涉及到基于虚拟现实技术的远程开放性手术机器人系统。
背景技术
与传统开放性手术相比，机器人手术创伤小、术后患者恢复较快、手术风险小。部分手术机器人包含三维成像系统，可减少术者对手术中距离把握的失误；其内置算法可以滤除术者手部震颤，增强操作的精确性。手术机器人的手术效果明显优于传统开放性手术。而传统开放性手术创伤大、术后患者恢复较慢、手术风险大，在长时间手术中手术效率可能因术者疲劳而下降。
然而，现有的手术机器人也存在一些问题。首先，手术机器人存在自身缺陷，其触觉反馈相较于传统手术较弱，在大部分情况下术者只能通过视觉获得反馈；多数手术机器人设备体积庞大，安装与调试过程复杂，需要专用手术室进行手术，术者与患者需处于同一间手术室；手术机器人操作难度大，学习曲线长，在执行临床手术前术者需要一定时间进行培训；手术机器人配件的更换与消毒过程复杂、耗时较长。其次，手术机器人成本昂贵，目前无法在医院得到普及；部分器械只能一次性利用，每例手术平均耗材费用昂贵，相较于传统开放性手术成本过高，普通患者难以承担手术费用；需要定期维护和更换配件，每年的维修保养支出也较高。另外，机器人手术培训存在不规范现象，各个相关标准不统一；术者资格的认证与管理存在缺失，可能会出现不规范手术或违规操作仪器的现象，提升患者的手术风险；因术者操作不当导致的手术事故会使手术结果远差于开放性手术。
因此，现有技术亟需一种新的技术方案来解决上述问题。
发明内容
本发明所要解决的技术问题是：提供基于虚拟现实技术的远程开放性手术机器人系统，将虚拟现实技术与手术机器人结合起来，将VR友好的用户交互方式与手术机器人卓越的精确性相融合，提供一种低成本、高效益的远距离实施开放性手术的解决方案；与现有技术相比，风险比传统开放性手术小、精度比传统开放性手术高，成本比当前手术机器人低、操作比当前手术机器人简易。
基于虚拟现实技术的远程开放性手术机器人系统，其特征是：包括VR设备、局域网关、移动平台、摄像头组件以及机械臂，所述VR设备通过局域网关与移动平台连接，所述移动平台内部设置有树莓派开发板以及Arduino开发板；所述摄像头组件通过USB串口与移动平台内部树莓派开发板连接；所述机械臂设置在移动平台的上部，机械臂内部设置有舵机；所述Arduino开发板通过I/O接口与手术机械臂连接。
所述VR设备包括虚拟现实显示器和虚拟现实控制器。
所述树莓派开发板软件功能包括视频采集模块、运动学求解模块、图像处理模块、操作接收模块、视频发送模块、传感器信息发送模块。
所述Arduino开发板软件功能包括舵机控制模块、传感器信息处理模块、I/O通信模块。
所述虚拟现实设备软件功能包括UI交互界面、视频显示模块、视频接收模块、传感器信息接收模块以及操作发送模块。
所述局域网关设置在移动平台内部。
所述手术机械臂上设置有手术机械臂末端执行器。
所述摄像头组件采集视频通过USB串口传输至树莓派开发板；通过树莓派开发板编码后发送至VR设备；通过虚拟现实控制器处理视频数据并在虚拟现实显示器中显示。
所述VR设备的虚拟现实控制器采集控制信息通过局域网关发送至树莓派4B开发板及Arduino开发板，通过Arduino开发板输出PWM波形控制手术机械臂。
通过上述设计方案，本发明可以带来如下有益效果：基于虚拟现实技术的远程开放性手术机器人系统，广泛融合了虚拟现实、局域网通信、机器人运动学等多个领域的相关技术，保证手术机器人的精确性与稳定性，数据传输的低延迟，VR设备的显示清晰度与易交互。本发明系统可以部分或完全替代传统开放性手术，作为传统开放性手术和微创机器人手术之间的跳板，填补当下二者之间技术和产品的空白，为现代手术完全发展至微创机器人手术提供一个过渡阶段。远程手术的引入可以缓解地区之间医疗资源分布不均的问题，使医疗资源再分配，也可以极大降低远程会诊难度。且本发明系统成本较低，可以在欠发达地区的医院得到推广普及。
附图说明
以下结合附图和具体实施方式对本发明作进一步的说明：
图1为本发明基于虚拟现实技术的远程开放性手术机器人系统外部结构示意图。
图2为本发明基于虚拟现实技术的远程开放性手术机器人系统工作流程示意框图。
图中1-树莓派开发板、2-Arduino开发板、5-虚拟现实显示器、6-虚拟现实控制器、7-机械臂末端执行器、11-VR设备、12-局域网关、13-移动平台、14-摄像头组件、16-手术机械臂。
具体实施方式
基于虚拟现实技术的远程开放性手术机器人系统，如图1所示，其外部结构为，移动平台13上表面安装3个具有6自由度的手术机械臂16。两侧的手术机械臂16末端装有进行手术操作的机械臂末端执行器7，中间的手术机械臂16末端安装摄像头组件14。摄像头组件14实时采集图像并处理，通过无线网络传输至虚拟现实显示器5并显示。虚拟现实控制器6采集控制信息并通过无线网络传输至移动平台13内部的控制系统以控制手术机械臂16。
所述的移动平台13内部开发板，包括树莓派开发板1及Arduino开发板2，具体的，树莓派开发板1采用Linux开发环境，包括视频采集模块、运动学求解模块、图像处理模块、操作接收模块、视频发送模块、传感器信息发送模块。Arduino开发板2包括舵机控制模块、传感器信息处理模块、I/O通信模块。
所述虚拟现实显示器5和虚拟现实控制器6为控制端，采用Unity-VR开发环境，包括UI交互界面、视频显示模块、视频接收模块、传感器信息接收模块以及操作发送模块。
在具体实施例中，树莓派开发板1可选择树莓派4B开发板，Arduino开发板2可选择Arduino Nano开发板，虚拟现实显示器5可选择Meta Quest 2虚拟现实显示器，虚拟现实控制器6可选择Oculus Touch虚拟现实控制器。
如图2所示，本发明各模块/组件之间的交互与信息传输如下，摄像头组件14将捕捉到的视频通过USB串口传递至树莓派开发板1，树莓派开发板1进行畸变处理、压缩与编码并通过UDP协议进行局域网广播。VR设备11接收并处理视频数据，最终显示在虚拟现实显示器5中。同时，VR设备11的操作信息通过局域网关12传递至树莓派开发板1，由树莓派开发板1进行操作数据的处理。根据位置和角度相关信息，树莓派开发板1通过逆向运动学算法求解出机械臂各舵机旋转角度，并结合其他操作信息对求解结果进行灵敏度调整，从USB串口发送信息至Arduino开发板2。Arduino开发板2处理信息并从I/O接口输出相应PWM波形以控制手术机械臂16各个舵机。传感器信息经过Arduino开发板2处理，传递至VR设备，显示在虚拟现实显示器5的UI图层。
Claims (9)
1.基于虚拟现实技术的远程开放性手术机器人系统，其特征是：包括VR设备(11)、局域网关(12)、移动平台(13)、摄像头组件(14)以及机械臂(16)，所述VR设备(11)通过局域网关(12)与移动平台(13)连接，所述移动平台(13)内部设置有树莓派开发板(1)和Arduino开发板(2)；所述摄像头组件(14)通过USB串口与移动平台(13)内部树莓派开发板(1)连接；所述机械臂(16)设置在移动平台(13)的上部，机械臂(16)内部设置有舵机；所述Arduino开发板(2)通过I/O接口与手术机械臂(16)连接。
2.根据权利要求1所述的基于虚拟现实技术的远程开放性手术机器人系统，其特征是：所述VR设备(11)包括虚拟现实显示器(5)和虚拟现实控制器(6)。
3.根据权利要求1所述的基于虚拟现实技术的远程开放性手术机器人系统，其特征是：所述树莓派开发板(1)包括视频采集模块、运动学求解模块、图像处理模块、操作接收模块、视频发送模块、传感器信息发送模块。
4.根据权利要求1所述的基于虚拟现实技术的远程开放性手术机器人系统，其特征是：所述Arduino开发板(2)包括舵机控制模块、传感器信息处理模块、I/O通信模块。
5.根据权利要求1所述的基于虚拟现实技术的远程开放性手术机器人系统，其特征是：所述VR设备(11)包括UI交互界面、视频显示模块、视频接收模块、传感器信息接收模块以及操作发送模块。
6.根据权利要求1所述的基于虚拟现实技术的远程开放性手术机器人系统，其特征是：所述局域网关(12)设置在移动平台(13)内部。
7.根据权利要求1所述的基于虚拟现实技术的远程开放性手术机器人系统，其特征是：所述手术机械臂(16)上设置有机械臂末端执行器(7)。
8.根据权利要求1所述的基于虚拟现实技术的远程开放性手术机器人系统，其特征是：所述摄像头组件(14)采集视频通过USB串口传输至树莓派开发板(1)；通过树莓派开发板(1)编码后发送至VR设备(11)；通过虚拟现实控制器(6)处理视频数据并在虚拟现实显示器(5)中显示。
9.根据权利要求1所述的基于虚拟现实技术的远程开放性手术机器人系统，其特征是：所述VR设备(11)的虚拟现实控制器(6)采集控制信息通过局域网关(12)发送至树莓派开发板(1)及Arduino开发板(2)，通过Arduino开发板(2)输出PWM波形控制手术机械臂(16)。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211119868.4A CN115462907A (zh) | 2022-09-15 | 2022-09-15 | 基于虚拟现实技术的远程开放性手术机器人系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211119868.4A CN115462907A (zh) | 2022-09-15 | 2022-09-15 | 基于虚拟现实技术的远程开放性手术机器人系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115462907A true CN115462907A (zh) | 2022-12-13 |
Family
ID=84333884
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211119868.4A Withdrawn CN115462907A (zh) | 2022-09-15 | 2022-09-15 | 基于虚拟现实技术的远程开放性手术机器人系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115462907A (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20100106834A (ko) * | 2009-03-24 | 2010-10-04 | 주식회사 이턴 | 증강현실을 이용한 수술 로봇 시스템 및 그 제어 방법 |
| CN109875505A (zh) * | 2019-01-23 | 2019-06-14 | 南京巨鲨显示科技有限公司 | 一种基于虚拟现实技术的一体化手术室远程会诊方法 |
| CN212887596U (zh) * | 2020-05-28 | 2021-04-06 | 武汉工程大学 | 一种带机械臂的移动机器人 |
| US11166765B1 (en) * | 2020-05-08 | 2021-11-09 | Verb Surgical Inc. | Feedback for surgical robotic system with virtual reality |
| CN114098962A (zh) * | 2021-11-05 | 2022-03-01 | 和田地区人民医院 | 一种脑出血穿刺手术导航系统 |
| CN114310905A (zh) * | 2022-01-22 | 2022-04-12 | 长沙宏达威爱信息科技有限公司 | 一种基于vr技术的工业机器人控制系统 |
| CN114375689A (zh) * | 2022-02-08 | 2022-04-22 | 辽宁科技大学 | 一种农业采摘机器人目标成熟判定和分类收纳方法 |
-
2022
- 2022-09-15 CN CN202211119868.4A patent/CN115462907A/zh not_active Withdrawn
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20100106834A (ko) * | 2009-03-24 | 2010-10-04 | 주식회사 이턴 | 증강현실을 이용한 수술 로봇 시스템 및 그 제어 방법 |
| CN109875505A (zh) * | 2019-01-23 | 2019-06-14 | 南京巨鲨显示科技有限公司 | 一种基于虚拟现实技术的一体化手术室远程会诊方法 |
| US11166765B1 (en) * | 2020-05-08 | 2021-11-09 | Verb Surgical Inc. | Feedback for surgical robotic system with virtual reality |
| CN212887596U (zh) * | 2020-05-28 | 2021-04-06 | 武汉工程大学 | 一种带机械臂的移动机器人 |
| CN114098962A (zh) * | 2021-11-05 | 2022-03-01 | 和田地区人民医院 | 一种脑出血穿刺手术导航系统 |
| CN114310905A (zh) * | 2022-01-22 | 2022-04-12 | 长沙宏达威爱信息科技有限公司 | 一种基于vr技术的工业机器人控制系统 |
| CN114375689A (zh) * | 2022-02-08 | 2022-04-22 | 辽宁科技大学 | 一种农业采摘机器人目标成熟判定和分类收纳方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Qian et al. | ARssist: augmented reality on a head‐mounted display for the first assistant in robotic surgery | |
| CN111438673B (zh) | 基于立体视觉和手势控制的高空作业遥操作方法及系统 | |
| CN105411681A (zh) | 分体式微创手术机器人的手眼协调控制系统及方法 | |
| WO2022134967A1 (zh) | 一种基于腹腔镜手术机器人的远程手术系统及控制方法 | |
| CN109262609A (zh) | 基于虚拟现实技术的机械臂远程控制系统及方法 | |
| CN105395254B (zh) | 一种分体式微创手术机器人的控制系统 | |
| CN111300384B (zh) | 一种基于标识卡运动的机器人增强现实示教的注册系统及方法 | |
| CN110355750A (zh) | 面向遥操作手眼协调的交互控制方法 | |
| CN113499094B (zh) | 一种依靠视觉及力反馈引导的心脏彩超检查装置和方法 | |
| CN111216109A (zh) | 一种用于临床治疗与检测的视觉跟随装置及其方法 | |
| CN115797519A (zh) | 虚拟角色ik实时重定向方法及相关设备 | |
| CN116160440A (zh) | 基于mr远程控制的双臂智能机器人遥操作系统 | |
| CN115699198A (zh) | 手术室的数字化 | |
| Song et al. | Autonomous and stable tracking of endoscope instrument tools with monocular camera | |
| CN107242906B (zh) | 一种手术机器人远端执行机构 | |
| CN110900600A (zh) | 一种带电作业机器人的远程遥控控制系统及其控制方法 | |
| CN209392094U (zh) | 一种增强现实的手术系统 | |
| CN115462907A (zh) | 基于虚拟现实技术的远程开放性手术机器人系统 | |
| CN106078747B (zh) | 一种基于虚拟现实的延时工业操作控制系统 | |
| CN106903665A (zh) | 一种基于立体视觉的主从式遥操作手术机器人控制系统 | |
| CN116252298A (zh) | 基于力反馈技术的机器人遥操作方法及系统 | |
| CN112828895B (zh) | 机器人仿真系统 | |
| RU2721461C1 (ru) | Способ управления камерой в роботохирургическом комплексе | |
| CN113282173B (zh) | 一种基于虚拟现实的双臂机器人远程实时控制系统及方法 | |
| CN113325733A (zh) | 一种基于协作机器人的ar可视化互动仿真系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20221213 |
|
| WW01 | Invention patent application withdrawn after publication |