CN115602032B - 基于虚拟现实的消化内镜手术培训系统 - Google Patents

基于虚拟现实的消化内镜手术培训系统 Download PDF

Info

Publication number
CN115602032B
CN115602032B CN202211592727.4A CN202211592727A CN115602032B CN 115602032 B CN115602032 B CN 115602032B CN 202211592727 A CN202211592727 A CN 202211592727A CN 115602032 B CN115602032 B CN 115602032B
Authority
CN
China
Prior art keywords
data
unit
virtual
module
interaction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211592727.4A
Other languages
English (en)
Other versions
CN115602032A (zh
Inventor
唐宙明
邓衢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhongguancun Technology Leasing Co ltd
Original Assignee
Shenzhen Zhitouch Computer System Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Zhitouch Computer System Co ltd filed Critical Shenzhen Zhitouch Computer System Co ltd
Priority to CN202211592727.4A priority Critical patent/CN115602032B/zh
Publication of CN115602032A publication Critical patent/CN115602032A/zh
Application granted granted Critical
Publication of CN115602032B publication Critical patent/CN115602032B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B23/00Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes
    • G09B23/28Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Analysis (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computational Mathematics (AREA)
  • Medicinal Chemistry (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Physics (AREA)
  • Algebra (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明涉及人工智能领域,公开了一种基于虚拟现实的消化内镜手术培训系统,用于实现通过视觉仿真使相关人体器官以及手术环境更加真实并提高手术训练的质量。所述基于虚拟现实的消化内镜手术培训系统包括:智能手术机器人、人机交互模块、虚拟现实模块以及远程指导模块;所述智能手术机器人与所述人机交互模块连接;所述人机交互模块与所述虚拟现实模块连接;所述远程指导模块与所述虚拟现实模块连接。

Description

基于虚拟现实的消化内镜手术培训系统
技术领域
本发明涉及人工智能领域,尤其涉及一种基于虚拟现实的消化内镜手术培训系统。
背景技术
随着计算机技术的高速发展,计算机技术被广泛应用于医疗行业。医疗行业随之诞生了很多人机交互的智能医疗设备。智能医疗设备的使用可以有效的提高医疗的准确率和效率。
目前,传统的消化内镜手术培训模式多为讲课、见习或者一对一教学。而且教学过程中多在塑料、硅胶模型或在动物上进行,真实性差,可重复性差,不可标准化且效率低下,无法高质高效地培育市场急需的消化内镜临床医生人才。
发明内容
本发明提供了一种基于虚拟现实的消化内镜手术培训系统,用于实现通过视觉仿真使相关人体器官以及手术环境更加真实并提高手术训练的质量。
本发明第一方面提供了一种基于虚拟现实的消化内镜手术培训系统,所述基于虚拟现实的消化内镜手术培训系统包括:
智能手术机器人、人机交互模块、虚拟现实模块以及远程指导模块;所述智能手术机器人与所述人机交互模块连接;所述人机交互模块与所述虚拟现实模块连接;所述远程指导模块与所述虚拟现实模块连接;
所述智能手术机器人用于:接收目标用户发送的交互操作指令,并根据所述交互操作指令对所述智能手术机器人进行运动检测,得到运动检测结果;以及将所述运动检测结果传输至所述人机交互模块;
所述人机交互模块用于:接收所述运动检测结果,并对所述运动检测结果进行数据解析,得到目标检测数据,其中,所述目标检测数据包括:位移、方向以及速度;以及将所述目标检测数据传输至所述虚拟现实模块;
所述虚拟现实模块用于:接收所述目标检测数据,并对所述目标检测数据进行虚拟操作工具成像和虚拟人体器官成像,生成目标操作数据;以及将所述目标操作数据传输至所述远程指导模块;以及根据所述目标检测数据计算力反馈数据,并将所述力反馈数据传输至所述人机交互模块;
所述远程指导模块用于:接收所述目标操作数据,并根据所述目标操作数据生成三维模型力学数据;以及根据所述三维模型力学数据生成远程指导方案,并根据所述远程指导方案对所述目标用户进行远程指导。
可选的,在本发明第一方面的第一种实现方式中,所述智能手术机器人包括:
智能感应单元、数据处理单元、触觉显示单元;所述智能感应单元与所述数据处理单元连接;所述数据处理单元与所述触觉显示单元连接;
所述智能感应单元用于:对所述智能手术机器人进行运动交互感应,并实时采集运动交互感应过程所产生的运动交互数据;以及将所述运动交互数据传输至所述数据处理单元;
所述数据处理单元用于:接收所述运动交互数据,并对所述运动交互数据进行数据处理和图像生成,得到目标图像数据;以及将所述目标图像数据传输至所述触觉显示单元;
所述触觉显示单元用于:接收所述目标图像数据,并对所述目标图像数据进行图像展示。
可选的,在本发明第一方面的第二种实现方式中,所述智能手术机器人还包括:阀门控制单元、图像控制单元;
所述阀门控制单元用于:控制预置气阀门的进气参数;以及控制预置水阀门的进水参数;以及控制预置吸引阀门的吸引参数;
所述图像控制单元用于:接收图像控制指令,并根据所述图像控制指令进行截屏操作或录像操作。
可选的,在本发明第一方面的第三种实现方式中,所述智能感应单元包括:运动交互子单元、运动感应子单元;
所述运动交互子单元用于:根据预置的运动交互策略进行运动交互;
所述运动感应子单元用于:对所述运动交互子单元的运动交互过程进行智能感应。
可选的,在本发明第一方面的第四种实现方式中,所述人机交互模块包括:人机触觉传感单元、人机传感交互单元;
所述人机触觉传感单元用于:根据预置的触觉传感采集策略,对所述智能手术机器人进行触觉传感采集,得到触觉传感数据;以及将所述触觉传感数据传输至所述人机传感交互单元;
所述人机传感交互单元用于:接收所述触觉传感数据,并根据所述触觉传感数据进行虚拟现实交互,生成虚拟现实交互数据。
可选的,在本发明第一方面的第五种实现方式中,所述人机触觉传感单元还包括:
内镜终端触觉传感、内镜手柄触觉传感、内镜活检触觉传感、内镜插入端运动传感、内镜活检运动传感以及内镜活检激活传感。
可选的,在本发明第一方面的第六种实现方式中,所述虚拟现实模块包括:虚拟器官仿真单元、虚拟工具仿真单元以及虚拟环境仿真单元;
所述虚拟器官仿真单元用于:接收所述智能手术机器人采集的器官图像数据,并对所述器官图像数据进行虚拟器官重建,得到虚拟器官仿真数据;
所述虚拟工具仿真单元用于:获取所述智能手术机器人的操作工具参数数据,并对所述操作工具参数数据进行虚拟操作工具重建,得到虚拟操作工具仿真数据;
所述虚拟环境仿真单元用于:接收所述智能手术机器人采集的环境图像数据,并对所述环境图像数据进行虚拟环境重建,得到虚拟环境仿真数据。
可选的,在本发明第一方面的第七种实现方式中,所述虚拟现实模块还包括:增强现实单元、虚拟现实碰撞检测单元;
所述增强现实单元用于:建立虚拟现实模块和远程指导模块之间的通信连接;以及根据预置的环境增强现实策略增强现实手术环境成像;以及根据预置的器官增强现实策略增强现实人体器官成像;
所述虚拟现实碰撞检测单元用于:通过预置的有限空间检测策略,对三维物体间的碰撞进行检测,得到碰撞检测结果。
可选的,在本发明第一方面的第八种实现方式中,所述虚拟器官仿真单元具体用于:
对医学影像数据进行图像分类,得到图像分类结果;以及对所述图像分类结果进行图像分割和图像平滑处理,得到标准图像数据;以及对所述标准图像数据进行纹理重建和三维模型重建,得到虚拟器官数据。
可选的,在本发明第一方面的第九种实现方式中,所述远程指导模块包括:数据库、数据管理单元、智能分析单元以及远程指导云平台;
所述数据库用于:存储所述目标操作数据;以及对历史操作数据进行更新;
所述数据管理单元用于:接收数据查询请求,并根据所述数据查询请求获取待分析数据;以及将所述待分析数据传输至所述智能分析单元;
所述智能分析单元用于:接收所述待分析数据,并通过预置的人工智能分析模型对所述待分析数据进行智能分析,得到智能分析结果;以及将所述智能分析结果传输至所述远程指导云平台;
所述远程指导云平台用于:建立远程指导人员和目标用户之间的交互连接,并根据所述智能分析结果进行远程指导。
本发明提供的技术方案中,提高构建智能手术机器人、人机交互模块、虚拟现实模块以及远程指导模块为一体的基于虚拟现实的消化内镜手术培训系统,并且引入智能数据分析技术,借助大数据、云平台,为目标用户提供最高效和准确的实验反馈,进而通过远程指导模块接收所述目标操作数据,并根据所述目标操作数据生成三维模型力学数据;以及根据所述三维模型力学数据生成远程指导方案,并根据所述远程指导方案对所述目标用户进行远程指导,实现了操作过程中的远程指导,进而实现通过视觉仿真使相关人体器官以及手术环境更加真实并提高手术训练的质量。
附图说明
图1为本发明实施例中基于虚拟现实的消化内镜手术培训系统的一个实施例示意图。
具体实施方式
本发明实施例提供了一种基于虚拟现实的消化内镜手术培训系统,用于实现通过视觉仿真使相关人体器官以及手术环境更加真实并提高手术训练的质量。本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外,术语“包括”或“具有”及其任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为便于理解,下面对本发明实施例的具体流程进行描述,请参阅图1,本发明实施例中基于虚拟现实的消化内镜手术培训系统的一个实施例包括:
所述基于虚拟现实的消化内镜手术培训系统包括:
智能手术机器人101、人机交互模块102、虚拟现实模块103以及远程指导模块104;所述智能手术机器人101与所述人机交互模块102连接;所述人机交互模块102与所述虚拟现实模块103连接;所述远程指导模块104与所述虚拟现实模块103连接;
所述智能手术机器人101用于:接收目标用户发送的交互操作指令,并根据所述交互操作指令对所述智能手术机器人101进行运动检测,得到运动检测结果;以及将所述运动检测结果传输至所述人机交互模块102;
其中,获取终端下达的操作指令,判断人机交互界面是否处于繁忙状态,若人机交互界面处于繁忙状态,则判断用户新下达的操作指令与预先建立的操作指令队列中位于最末端的操作指令是否相同,若不相同,则将用户新下达的操作指令存储至操作指令队列中,以供智能手术机器人调用并执行,通过上述方式,本发明能够在人机交互界面繁忙期间仍然保持对操作指令的接收,并对无效操作指令进行过滤以避免积压,从而有效的降低人机交互界面的运行负担,缩短对操作指令响应的延时时长,提高用户的体验度。
所述人机交互模块102用于:接收所述运动检测结果,并对所述运动检测结果进行数据解析,得到目标检测数据,其中,所述目标检测数据包括:位移、方向以及速度;以及将所述目标检测数据传输至所述虚拟现实模块103;
其中,在预设移动区域内,控制智能手术机器人的驱动设备按照规划的路径信息、初始速度参数进行移动,实时获取移动过程中智能手术机器人的轮间参数、位移参数、速度参数,基于已训练的性质处理模型对与弄懂参数、位移参数、速度参数进行解析处理,根据解析处理得到的解析处理结果得到目标检测数据,其中,目标检测数据包括:位移、方向以及速度。
所述虚拟现实模块103用于:接收所述目标检测数据,并对所述目标检测数据进行虚拟操作工具成像和虚拟人体器官成像,生成目标操作数据;以及将所述目标操作数据传输至所述远程指导模块104;以及根据所述目标检测数据计算力反馈数据,并将所述力反馈数据传输至所述人机交互模块102;
其中,设置基于智能手术机器人的人体器官评估模型,其包括远红外镜头、红外热成像设备、人体体表分区模块、图像处理模块、器官温度排列模块,人体体表分区模块将人体体表分为各个区域,并计算得到用户各器官区域的温度,器官温度排列模块将各器官区域的温度从高到低排列,将器官区域温度的排列结果与中医经典理论中关于器官能量的排列结果进行比对,评估分析模块得到用户器官的异常情况,并生成目标操作数据。
所述远程指导模块104用于:接收所述目标操作数据,并根据所述目标操作数据生成三维模型力学数据;以及根据所述三维模型力学数据生成远程指导方案,并根据所述远程指导方案对所述目标用户进行远程指导。
其中,接收所述目标操作数据,并根据目标操作数据生成三维模型力学数据,并确定目标区域,获取目标区域的三维力学叠前道集数据,采用三维力学叠前道集数据进行弹性参数反演,获得目标区域的三维空间弹性参数数据体,根据三维模型力学数据生成远程指导方案,并根据远程指导方案对目标用户进行远程指导。
可选的,所述智能手术机器人101包括:
智能感应单元、数据处理单元、触觉显示单元;所述智能感应单元与所述数据处理单元连接;所述数据处理单元与所述触觉显示单元连接;
所述智能感应单元用于:对所述智能手术机器人101进行运动交互感应,并实时采集运动交互感应过程所产生的运动交互数据;以及将所述运动交互数据传输至所述数据处理单元;
所述数据处理单元用于:接收所述运动交互数据,并对所述运动交互数据进行数据处理和图像生成,得到目标图像数据;以及将所述目标图像数据传输至所述触觉显示单元;
所述触觉显示单元用于:接收所述目标图像数据,并对所述目标图像数据进行图像展示。
可选的,所述智能手术机器人101还包括:阀门控制单元、图像控制单元;
所述阀门控制单元用于:控制预置气阀门的进气参数;以及控制预置水阀门的进水参数;以及控制预置吸引阀门的吸引参数;
所述图像控制单元用于:接收图像控制指令,并根据所述图像控制指令进行截屏操作或录像操作。
可选的,所述智能感应单元包括:运动交互子单元、运动感应子单元;
所述运动交互子单元用于:根据预置的运动交互策略进行运动交互;
所述运动感应子单元用于:对所述运动交互子单元的运动交互过程进行智能感应。
具体的,响应运动场景的触发操作,显示运动场景对应的预设交互策略的交互首页,预设交互策略为预先根据交互对象的基础信息确定交互对象在运动场景下的交互策略,响应交互首页的交互选项的选择,显示选择的交互选项跳转的页面,页面包括预设交互策略确定的多个交互选项,在跳转的页面为预设交互策略的最终页面的情况下,基于对最终页面的交互选项的选择,显示选择的交互选项的对应的运动推荐,对运动交互子单元的运动交互过程进行智能感应。
可选的,所述人机交互模块102包括:人机触觉传感单元、人机传感交互单元;
所述人机触觉传感单元用于:根据预置的触觉传感采集策略,对所述智能手术机器人101进行触觉传感采集,得到触觉传感数据;以及将所述触觉传感数据传输至所述人机传感交互单元;
所述人机传感交互单元用于:接收所述触觉传感数据,并根据所述触觉传感数据进行虚拟现实交互,生成虚拟现实交互数据。
可选的,所述人机触觉传感单元还包括:
内镜终端触觉传感、内镜手柄触觉传感、内镜活检触觉传感、内镜插入端运动传感、内镜活检运动传感以及内镜活检激活传感。
可选的,所述虚拟现实模块103包括:虚拟器官仿真单元、虚拟工具仿真单元以及虚拟环境仿真单元;
所述虚拟器官仿真单元用于:接收所述智能手术机器人101采集的器官图像数据,并对所述器官图像数据进行虚拟器官重建,得到虚拟器官仿真数据;
所述虚拟工具仿真单元用于:获取所述智能手术机器人101的操作工具参数数据,并对所述操作工具参数数据进行虚拟操作工具重建,得到虚拟操作工具仿真数据;
所述虚拟环境仿真单元用于:接收所述智能手术机器人101采集的环境图像数据,并对所述环境图像数据进行虚拟环境重建,得到虚拟环境仿真数据。
其中,首先将智能手术机器人与初始场景导入虚拟仿真交互平台中,在平台中对当前场景生成导航网格,根据探测智能手术机器人的三维坐标与目的地的三维坐标,得到探测智能手术机器人在初始虚拟场景中的行走路径,并生成操控命令同时驱动智能手术机器人与真实机器人同步运动,机器人不断采集环境信息,并对发生变化的场景进行局部更新重建,生成新的场景,在新的场景下重复之前步骤,并对环境图像数据进行虚拟环境重建,得到虚拟环境仿真数据。本发明的方法具有良好的交互性,设计合理,实用性强。
可选的,所述虚拟现实模块103还包括:增强现实单元、虚拟现实碰撞检测单元;
所述增强现实单元用于:建立虚拟现实模块103和远程指导模块104之间的通信连接;以及根据预置的环境增强现实策略增强现实手术环境成像;以及根据预置的器官增强现实策略增强现实人体器官成像;
所述虚拟现实碰撞检测单元用于:通过预置的有限空间检测策略,对三维物体间的碰撞进行检测,得到碰撞检测结果。
具体的,利用基于信号分布的信号降噪方法进行环境信号的降噪处理,利用基于直方图对比度的算法进行显著信号的增强处理,基于分布式协同传输策略将环境信号传输到智能手术机器人中,智能手术机器人通过结合领域场景虚拟信息以及环境信号,利用基于领域语义的三维场景重建方法在智能手术机器人内重建结合领域场景的增强现实场景,利用基于Hessian矩阵的结构增强算法进行领域场景虚拟信息的结构增强,增强用户在不同虚拟领域下的真实体验感和操作感,通过预置的有限空间检测策略,对三维物体间的碰撞进行检测,得到碰撞检测结果。
可选的,所述虚拟器官仿真单元具体用于:
对医学影像数据进行图像分类,得到图像分类结果;以及对所述图像分类结果进行图像分割和图像平滑处理,得到标准图像数据;以及对所述标准图像数据进行纹理重建和三维模型重建,得到虚拟器官数据。
可选的,所述远程指导模块104包括:数据库、数据管理单元、智能分析单元以及远程指导云平台;
所述数据库用于:存储所述目标操作数据;以及对历史操作数据进行更新;
所述数据管理单元用于:接收数据查询请求,并根据所述数据查询请求获取待分析数据;以及将所述待分析数据传输至所述智能分析单元;
所述智能分析单元用于:接收所述待分析数据,并通过预置的人工智能分析模型对所述待分析数据进行智能分析,得到智能分析结果;以及将所述智能分析结果传输至所述远程指导云平台;
所述远程指导云平台用于:建立远程指导人员和目标用户之间的交互连接,并根据所述智能分析结果进行远程指导。
本发明实施例中,提高构建智能手术机器人、人机交互模块、虚拟现实模块以及远程指导模块为一体的基于虚拟现实的消化内镜手术培训系统,并且引入智能数据分析技术,借助大数据、云平台,为目标用户提供最高效和准确的实验反馈,进而通过远程指导模块接收所述目标操作数据,并根据所述目标操作数据生成三维模型力学数据;以及根据所述三维模型力学数据生成远程指导方案,并根据所述远程指导方案对所述目标用户进行远程指导,实现了操作过程中的远程指导,进而实现通过视觉仿真使相关人体器官以及手术环境更加真实并提高手术训练的质量。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(read-only memory,ROM)、随机存取存储器(random access memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (5)

1.一种基于虚拟现实的消化内镜手术培训系统,其特征在于,所述基于虚拟现实的消化内镜手术培训系统包括:
智能手术机器人、人机交互模块、虚拟现实模块以及远程指导模块;所述智能手术机器人与所述人机交互模块连接;所述人机交互模块与所述虚拟现实模块连接;所述远程指导模块与所述虚拟现实模块连接;
所述智能手术机器人用于:接收目标用户发送的交互操作指令,并根据所述交互操作指令对所述智能手术机器人进行运动检测,得到运动检测结果;以及将所述运动检测结果传输至所述人机交互模块;其中,所述智能手术机器人包括:智能感应单元、数据处理单元、触觉显示单元;所述智能感应单元与所述数据处理单元连接;所述数据处理单元与所述触觉显示单元连接;所述智能感应单元用于:对所述智能手术机器人进行运动交互感应,并实时采集运动交互感应过程所产生的运动交互数据;以及将所述运动交互数据传输至所述数据处理单元;所述数据处理单元用于:接收所述运动交互数据,并对所述运动交互数据进行数据处理和图像生成,得到目标图像数据;以及将所述目标图像数据传输至所述触觉显示单元;所述触觉显示单元用于:接收所述目标图像数据,并对所述目标图像数据进行图像展示;所述智能感应单元包括:运动交互子单元、运动感应子单元;所述运动交互子单元用于:根据预置的运动交互策略进行运动交互;所述运动感应子单元用于:对所述运动交互子单元的运动交互过程进行智能感应;所述智能手术机器人还包括:阀门控制单元、图像控制单元;所述阀门控制单元用于:控制预置气阀门的进气参数;以及控制预置水阀门的进水参数;以及控制预置吸引阀门的吸引参数;所述图像控制单元用于:接收图像控制指令,并根据所述图像控制指令进行截屏操作或录像操作;
所述人机交互模块用于:接收所述运动检测结果,并对所述运动检测结果进行数据解析,得到目标检测数据,其中,所述目标检测数据包括:位移、方向以及速度;以及将所述目标检测数据传输至所述虚拟现实模块;
所述虚拟现实模块用于:接收所述目标检测数据,并对所述目标检测数据进行虚拟操作工具成像和虚拟人体器官成像,生成目标操作数据;以及将所述目标操作数据传输至所述远程指导模块;以及根据所述目标检测数据计算力反馈数据,并将所述力反馈数据传输至所述人机交互模块;其中,所述虚拟现实模块包括:虚拟器官仿真单元、虚拟工具仿真单元以及虚拟环境仿真单元;所述虚拟器官仿真单元用于:接收所述智能手术机器人采集的器官图像数据,并对所述器官图像数据进行虚拟器官重建,得到虚拟器官仿真数据;所述虚拟工具仿真单元用于:获取所述智能手术机器人的操作工具参数数据,并对所述操作工具参数数据进行虚拟操作工具重建,得到虚拟操作工具仿真数据;所述虚拟环境仿真单元用于:接收所述智能手术机器人采集的环境图像数据,并对所述环境图像数据进行虚拟环境重建,得到虚拟环境仿真数据;
所述远程指导模块用于:接收所述目标操作数据,并根据所述目标操作数据生成三维模型力学数据;以及根据所述三维模型力学数据生成远程指导方案,并根据所述远程指导方案对所述目标用户进行远程指导;其中,所述远程指导模块包括:数据库、数据管理单元、智能分析单元以及远程指导云平台;所述数据库用于:存储所述目标操作数据;以及对历史操作数据进行更新;所述数据管理单元用于:接收数据查询请求,并根据所述数据查询请求获取待分析数据;以及将所述待分析数据传输至所述智能分析单元;所述智能分析单元用于:接收所述待分析数据,并通过预置的人工智能分析模型对所述待分析数据进行智能分析,得到智能分析结果;以及将所述智能分析结果传输至所述远程指导云平台;所述远程指导云平台用于:建立远程指导人员和目标用户之间的交互连接,并根据所述智能分析结果进行远程指导。
2.根据权利要求1所述的基于虚拟现实的消化内镜手术培训系统,其特征在于,所述人机交互模块包括:人机触觉传感单元、人机传感交互单元;
所述人机触觉传感单元用于:根据预置的触觉传感采集策略,对所述智能手术机器人进行触觉传感采集,得到触觉传感数据;以及将所述触觉传感数据传输至所述人机传感交互单元;
所述人机传感交互单元用于:接收所述触觉传感数据,并根据所述触觉传感数据进行虚拟现实交互,生成虚拟现实交互数据。
3.根据权利要求2所述的基于虚拟现实的消化内镜手术培训系统,其特征在于,所述人机触觉传感单元还包括:
内镜终端触觉传感、内镜手柄触觉传感、内镜活检触觉传感、内镜插入端运动传感、内镜活检运动传感以及内镜活检激活传感。
4.根据权利要求1所述的基于虚拟现实的消化内镜手术培训系统,其特征在于,所述虚拟现实模块还包括:增强现实单元、虚拟现实碰撞检测单元;
所述增强现实单元用于:建立虚拟现实模块和远程指导模块之间的通信连接;以及根据预置的环境增强现实策略增强现实手术环境成像;以及根据预置的器官增强现实策略增强现实人体器官成像;
所述虚拟现实碰撞检测单元用于:通过预置的有限空间检测策略,对三维物体间的碰撞进行检测,得到碰撞检测结果。
5.根据权利要求1所述的基于虚拟现实的消化内镜手术培训系统,其特征在于,所述虚拟器官仿真单元具体用于:
对医学影像数据进行图像分类,得到图像分类结果;以及对所述图像分类结果进行图像分割和图像平滑处理,得到标准图像数据;以及对所述标准图像数据进行纹理重建和三维模型重建,得到虚拟器官数据。
CN202211592727.4A 2022-12-13 2022-12-13 基于虚拟现实的消化内镜手术培训系统 Active CN115602032B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211592727.4A CN115602032B (zh) 2022-12-13 2022-12-13 基于虚拟现实的消化内镜手术培训系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211592727.4A CN115602032B (zh) 2022-12-13 2022-12-13 基于虚拟现实的消化内镜手术培训系统

Publications (2)

Publication Number Publication Date
CN115602032A CN115602032A (zh) 2023-01-13
CN115602032B true CN115602032B (zh) 2023-02-28

Family

ID=84854166

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211592727.4A Active CN115602032B (zh) 2022-12-13 2022-12-13 基于虚拟现实的消化内镜手术培训系统

Country Status (1)

Country Link
CN (1) CN115602032B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110800033A (zh) * 2017-06-29 2020-02-14 威博外科公司 虚拟现实腹腔镜式工具
CN111670018A (zh) * 2018-01-10 2020-09-15 柯惠Lp公司 用于定位患者和手术机器人的引导
WO2021158306A1 (en) * 2020-02-05 2021-08-12 Covidien Lp System and method for training simulation of a surgical robotic system
CN114842704A (zh) * 2022-05-10 2022-08-02 上海微创医疗机器人(集团)股份有限公司 培训系统及培训方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11272985B2 (en) * 2017-11-14 2022-03-15 Stryker Corporation Patient-specific preoperative planning simulation techniques
US11574561B2 (en) * 2018-05-18 2023-02-07 Marion Surgical Virtual reality surgical system including a surgical tool assembly with haptic feedback
CN114503211A (zh) * 2019-08-16 2022-05-13 直观外科手术操作公司 可自动配置的模拟系统和方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110800033A (zh) * 2017-06-29 2020-02-14 威博外科公司 虚拟现实腹腔镜式工具
CN111670018A (zh) * 2018-01-10 2020-09-15 柯惠Lp公司 用于定位患者和手术机器人的引导
WO2021158306A1 (en) * 2020-02-05 2021-08-12 Covidien Lp System and method for training simulation of a surgical robotic system
CN114842704A (zh) * 2022-05-10 2022-08-02 上海微创医疗机器人(集团)股份有限公司 培训系统及培训方法

Also Published As

Publication number Publication date
CN115602032A (zh) 2023-01-13

Similar Documents

Publication Publication Date Title
CN107067856B (zh) 一种医学模拟训练系统和方法
CN112215843B (zh) 超声智能成像导航方法、装置、超声设备及存储介质
US10832039B2 (en) Facial expression detection method, device and system, facial expression driving method, device and system, and storage medium
US10179407B2 (en) Dynamic multi-sensor and multi-robot interface system
CN104838337B (zh) 用于用户界面的无触摸输入
Ueda et al. A hand-pose estimation for vision-based human interfaces
Ren et al. Depth camera based hand gesture recognition and its applications in human-computer-interaction
US7236618B1 (en) Virtual surgery system with force feedback
Lu et al. Immersive manipulation of virtual objects through glove-based hand gesture interaction
JP2011511652A (ja) トラックされた超音波の自動較正のためのシステム及び方法
CN111222486B (zh) 手部姿态识别模型的训练方法、装置、设备及存储介质
CN109243575B (zh) 一种基于移动交互和增强现实的虚拟针灸方法及系统
CN106548675A (zh) 虚拟军事训练方法及装置
US11322048B2 (en) Ultrasound-guided medical tool insertion simulators
WO2017048931A1 (en) Ultrasound-guided medical tool insertion simulators
WO2017048929A1 (en) Ultrasound-guided medical tool insertion simulators
Cabras et al. Haptic-based navigation for the virtual bronchoscopy
CN113449570A (zh) 图像处理方法和装置
Hernoux et al. A seamless solution for 3D real-time interaction: design and evaluation
US20160299565A1 (en) Eye tracking for registration of a haptic device with a holograph
LIU et al. A preliminary study of kinect-based real-time hand gesture interaction systems for touchless visualizations of hepatic structures in surgery
CN114155940A (zh) 机器人自主超声扫查技能策略生成方法、装置及存储介质
CN115602032B (zh) 基于虚拟现实的消化内镜手术培训系统
Liu et al. An Improved Kinect-Based Real-Time Gesture Recognition Using Deep Convolutional Neural Networks for Touchless Visualization of Hepatic Anatomical Mode
CN103680279A (zh) 膀胱镜手术模拟训练方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20230912

Address after: 610, 6th Floor, Building A, No. 2 Lize Zhong'er Road, Chaoyang District, Beijing, 100000

Patentee after: Zhongguancun Technology Leasing Co.,Ltd.

Address before: 518000 902, phase I, international student entrepreneurship building, No. 3170, Keyuan South Road, high tech community, Yuehai street, Nanshan District, Shenzhen, Guangdong

Patentee before: Shenzhen Zhitouch Computer System Co.,Ltd.

TR01 Transfer of patent right