CN107714006A - 一种基于虚拟现实头戴式显示装置的远程互动系统及方法 - Google Patents
一种基于虚拟现实头戴式显示装置的远程互动系统及方法 Download PDFInfo
- Publication number
- CN107714006A CN107714006A CN201610664575.2A CN201610664575A CN107714006A CN 107714006 A CN107714006 A CN 107714006A CN 201610664575 A CN201610664575 A CN 201610664575A CN 107714006 A CN107714006 A CN 107714006A
- Authority
- CN
- China
- Prior art keywords
- virtual reality
- display apparatus
- mounted display
- reality head
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/01—Measuring temperature of body parts ; Diagnostic temperature sensing, e.g. for malignant or inflamed tissue
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/021—Measuring pressure in heart or blood vessels
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B7/00—Instruments for auscultation
- A61B7/003—Detecting lung or respiration noise
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B7/00—Instruments for auscultation
- A61B7/02—Stethoscopes
- A61B7/04—Electric stethoscopes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Molecular Biology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Cardiology (AREA)
- Physiology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Optics & Photonics (AREA)
- Acoustics & Sound (AREA)
- Pulmonology (AREA)
- Software Systems (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Vascular Medicine (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Radiology & Medical Imaging (AREA)
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
本发明公开了一种基于虚拟现实头戴式显示装置的远程互动系统及方法，该系统包括临床系统和支持系统，所述临床系统包括数据采集设备、数据传输通道、云端数据库以及数据交换中枢，所述支持系统包括虚拟现实头戴式显示装置。所述虚拟现实头戴式显示装置为支持系统的医疗人员提供病患者病患部位的事实动态三维模型，且可生成各种手术所需的医疗器械的三维模型，由此，支持系统的医疗人员可制定对应的治疗方案并进行虚拟手术，所述虚拟现实头戴式显示装置记录支持系统制定的治疗方案并将虚拟手术的相关数据传输到云端数据库，以供临床系统参考。
Description
技术领域
本发明涉及医疗领域，具体涉及远程医疗领域，更具体而言，涉及一种基于虚拟现实头戴式显示装置的远程互动系统及方法。
背景技术
远程医疗是近年来医院治疗患者的一种特殊方式，有利于缓解医疗资源紧张，提高诊断治疗效率。特别是针对一些重症疾病治疗一般都集中在各大城市的各大医院。不同区域的各医院与医院中各个科室中不同资历的各个医生对患有重症疾病患者所实施的诊断治疗方式均会受到以上外界因素影响，潜在导致病患不能享受到最佳的诊断治疗结果。现有的远程医疗系统可整合各医院优势专科医疗资源对各类病患者进行稳妥地治疗，排除距离位置与病患诊疗资讯不对称等现实因素的限制。
但是，如何为外科手术现场提供更精准权威实时的治疗方案，是目前远程医疗发展中亟待解决的问题。为此，有必要设计一种新的基于虚拟现实头戴式显示装置的远程互动医疗系统及方法，以解决上述问题。
发明内容
本发明要解决的技术问题在于，针对现有远程医疗互动技术中支持系统难以为外科手术现场提供准确权威实时的手术指导及有效的解决方案的缺陷，提供一种基于虚拟现实头戴式显示装置的远程互动系统及方法，其可为外科手术现场提供权威实时的手术指导及有效的解决方案。
本发明就上述技术问题而提出的技术方案如下：
本发明提供一种基于虚拟现实头戴式显示装置的远程互动系统，包括临床系统和支持系统，所述临床系统包括数据采集设备、数据传输通道、云端数据库以及数据交换中枢，所述支持系统包括虚拟现实头戴式显示装置；
所述数据采集设备，连接所述数据传输通道，用于采集人体生理数据；
所述数据传输通道，包括以太网、WiFi、无线专网、电话PSTN网络、卫星或移动互联网中的至少一种，用于传输数据；
所述云端数据库，连接所述数据传输通道，包括云计算平台和云存储平台，用于提供统一的数据访问接口及安排相应的数据访问权限；
所述数据交换中枢，连接所述数据传输通道，用于完成所述临床系统与所述支持系统之间的数据的交换；
所述虚拟现实头戴式显示装置，网络连接所述数据交换中枢，用于根据所述生理数据生成相应的影像。
在本发明提供的基于虚拟现实头戴式显示装置的远程互动医疗系统中，所述系统具有用于生成病患部位的三维模型的人体仿真处理器，用于生成手术器械的三维模型的工具仿真处理器，所述虚拟现实头戴式显示装置具有用于动态实时展示所述病患部位的三维模型和手术器械的三维模型的屏显。
在本发明提供的基于虚拟现实头戴式显示装置的远程互动医疗系统中，所述显屏具有一图形用户界面，用于选择性地显示所述生理数据。
在本发明提供的基于虚拟现实头戴式显示装置的远程互动医疗系统中，所述虚拟现实头戴式显示装置具有运动位移感应模块，所述支持系统还具有与所述运动位移感应模块电性连接的穿戴配件。
在本发明提供的基于虚拟现实头戴式显示装置的远程互动医疗系统中，所述系统具有用于存储人体组织器官三维模型的虚拟人体模型库。
在本发明提供的基于虚拟现实头戴式显示装置的远程互动医疗系统中，所述支持系统与所述临床系统分布在地域上相互远离。
在本发明提供的基于虚拟现实头戴式显示装置的远程互动医疗系统中，所述云计算平台包括第一硬件系统和第一软件系统，所述第一硬件系统包括第一服务器和第一存贮系统，所述第一软件系统包括第一操作系统和第一数据库系统；
所述云存储平台包括第二硬件系统和第二软件系统，所述第二硬件系统包括第二服务器和第二存贮系统，所述第二软件系统包括第二操作系统和第二数据库系统。
本发明还提供一种基于虚拟现实头戴式显示装置的远程互动医疗方法，所述方法包括以下步骤：
临床系统的医疗人员利用数据采集设备采集病患者的生理数据，并通过数据传输通道发送至云端数据库；
所述云端数据库中的生理数据通过数据交换中枢传输至虚拟现实头戴式显示装置；
所述虚拟现实头戴式显示装置根据所述生理数据建立并动态实时展示病患者病患部位的三维模型；
所述虚拟现实头戴式显示装置建立并动态实时展示用于治疗所述病患者病患部位的手术器械的三维模型；
支持系统的医疗人员操控所述手术器械的三维模型对所述病患者病患部位的三维模型进行虚拟手术处理，所述虚拟现实头戴式显示装置记录所述支持系统进行手术时的手势操作步骤，并结合所述病患者病患部位的三维模型和手术器械的三维模型一起通过数据交换中枢传输至云端数据库，以供临床系统参考。
在本发明提供的基于虚拟现实头戴式显示装置的远程互动医疗方法中，所述方法包括以下步骤：
从虚拟人体模型库中提取与病患部位对应的人体组织器官的三维模型；
根据所述病患部位的生理数据对所述与病患部位对应的人体组织器官的三维模型进行三维重建得到所述病患部位的三维模型；
屏显获取并实时动态展示病患部位的三维模型。
在本发明提供的基于虚拟现实头戴式显示装置的远程互动医疗方法中，所述方法包括以下步骤：支持系统中虚拟手术的实施者佩戴与所述虚拟现实头戴式显示装置电性连接的穿戴配件。
实施本发明提供的基于虚拟现实头戴式显示装置的远程互动医疗系统及方法具有以下有益效果：
1、虚拟现实头戴式显示装置为支持系统的医疗人员提供病患者病患部位的实时生理数据以及实时动态三维模型，且可生成各种手术所需的医疗器械的三维模型，由此，支持系统的医疗人员可根据病患部位的时实动态三维模型制定对应的治疗方案，并利用医疗器械的三维模型进行虚拟手术，所述虚拟现实头戴式显示装置记录支持系统制定的治疗方案并将虚拟手术的相关数据传输到云端数据库，以供临床系统参考。
2、所述数据采集设备可以包括接入多参数监护仪、心电、高清窥镜、电子听诊器、摄像头等多种专业级的医疗信息采集设备，也可根据工作需要，接入更多的其他医疗信息采集设备。实现多种生理指标的实时检查，如心电图、体温、脉搏、血压、血氧、心音、肺音、眼耳喉鼻图像等，以便医疗人员获取更多的综合诊断数据进行分析判断。上述采集的医疗信息可通过有线网络、WiFi无线网络、卫星网络、3G/4G无线宽带网络实现专网连接，保障数据传输的安全性。
3、所述云端数据库实现了多个医疗诊断终端之间的实时互动或离线互动。所述云端数据库实现多个医疗诊断终端的多类型数据的网络存储以及控制交互。支持系统的医疗人员通过虚拟现实头盔显示装置，可以实时了解到病患的生理数据，临床系统的医疗人员通过访问所述云端数据库也可获取支持系统提供的治疗方案，实现了创新的远程医疗诊断应用模式。
4、病患者的海量数据和资料存储在云端数据库中，可方便各级授权机构通过多种设备进行访问、调阅，实现疾病诊断、医疗质量追踪、进行各种业务的统计分析等，还可以大数据为基础，实现医疗知识库、面向人的健康跟踪以及区域性的疾病监控等。
附图说明
图1为本发明实施例一提供的基于虚拟现实头戴式显示装置的远程互动医疗系统的结构示意图；
图2为本发明实施例一提供的虚拟现实头戴式显示装置的结构示意图；
图3为本发明实施例二提供的基于虚拟现实头戴式显示装置的远程互动医疗方法的步骤流程图；
图4为本发明实施例二提供的基于虚拟现实头戴式显示装置的远程互动医疗方法中步骤S3的具体流程图。
具体实施方式的附图标号说明：：
| 临床系统 | 100 | 支持系统 | 200 |
| 数据采集设备 | 101 | 数据传输通道 | 102 |
| 云端数据库 | 103 | 数据交换中枢 | 104 |
| 虚拟现实头戴式显示装置 | 201 | 穿戴配件 | 202 |
| 虚拟人体模型库 | 211 | 人体仿真处理器 | 221 |
| 工具仿真处理器 | 231 | 屏显 | 241 |
| 运动位移感应模块 | 251 |
具体实施方式
为了解决现有技术中远程医疗互动技术中支持系统难以为外科手术现场提供权威实时的手术指导及有效的解决方案的技术问题，本发明旨在提供一种基于虚拟现实头戴式显示装置的远程互动系统和方法，其核心思想是：利用虚拟现实头戴式显示装置获取临床医疗结构采集的生理数据，然后生成相应的三维模型影像以供支持系统的医疗人员制定并虚拟实时相应的治疗方案，并将所述治疗方案传输至云端数据库以供临床系统参考。从而解决了现有技术中支持系统难以为外科手术现场提供权威实时的手术指导及有效的解决方案的的缺陷。
为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图详细说明本发明的具体实施方式。
实施例一
本发明提供的基于虚拟现实头戴式显示装置201的远程互动医疗系统，参见图1，该系统包括临床系统100和支持系统200，临床系统100和支持系统200在地域上相互隔离，所述临床系统100包括数据采集设备101、数据传输通道102、云端数据库103、数据交换中枢104以及虚拟现实头戴式显示装置201，所述支持系统200包括虚拟现实头戴式显示装置201和穿戴配件202；
所述数据采集设备101，连接所述数据传输通道102，用于采集人体生理数据；
所述数据传输通道102，包括以太网、WiFi、无线专网、电话PSTN网络、卫星或移动互联网中的至少一种，用于传输数据；
所述云端数据库103，连接所述数据传输通道102，包括云计算平台和云存储平台，用于提供统一的数据访问接口及安排相应的数据访问权限；
所述数据交换中枢104，连接所述数据传输通道102，用于完成所述临床系统100与所述支持系统200之间的数据的交换；
所述虚拟现实头戴式显示装置201，网络连接所述数据交换中枢104，用于根据所述生理数据生成相应的影像。
所述穿戴配件202，与所述虚拟现实头戴式显示装置201网络连接。
具体地，所述数据采集设备101包括便携的检测血压、血氧、脉搏、体温、心电的多参生命体征监护仪，十二导联的网络心电图机，检测耳鼻喉的光学窥镜，检测皮肤的光学窥镜、专业心肺音高保真电子听诊器以及网络摄像头等，用于采集病患者的各项生命指标及生理特征。所述数据采集设备101未来还可以包括其他检测设备。
具体地，所述数据传输通道102为整个临床系统100提供了数据在采集、存储、处理、发送环节之间的传输，所述数据传输通道102通过VPN进行传输链路加密。所述临床系统100支持有线、无线、卫星等多种网络传输手段，可将生理数据通过网络上传到云端数据库103。
具体地，所述云端数据库103的云计算平台包括第一硬件系统和第一软件系统，所述第一硬件系统包括第一服务器和第一存贮系统，所述第一软件系统包括第一操作系统和第一数据库系统；云端数据库103的云存储平台包括第二硬件系统和第二软件系统，所述第二硬件系统包括第二服务器和第二存贮系统，所述第二软件系统包括第二操作系统和第二数据库系统。该部分采用云计算技术，实现云计算平台和云存储平台，实现安全的、可伸缩的计算环境。云端数据库103可部署在医院的机房内，也可部署到第三方提供的专属私有云上。支持系统200的医疗人员和临床系统100的医疗人员可通过云端数据库103实现医疗信息的交互，如果在断网的情况下，支持系统200和临床系统100也可以单独操作，在网络恢复连接的时候，再将数据上传到云端数据库103。
具体地，参见图2，所述虚拟现实头戴式显示装置201具有人体仿真处理器221、工具仿真处理器231、屏显241、虚拟人体模型库211以及运动位移感应模块251。
人体仿真处理器221用于生成病患部位的三维模型。在虚拟手术同步环境下，人体仿真处理器221首先采集手术前对病患者的病患部位进行CT扫描得到的数据，需要说明的是，本实施例中人体仿真处理器221通过DICOM3.0数据格式进行数据的采集，其中，DICOM(digital imaging and communication in medicine)即医学数字成像与通讯数据标准格式能促进医学影像设备之间的互操作性，提供一种用于医学信息的开放性的数据交换标准。针对病患者的病患部位在虚拟人体模型库211中取出事先生成的对应部位的三维模型，将该病患者的真实病患部位身体部位的CT扫描数据进行三维重建的B样曲线，bbox算法，傅里叶算法，小值二分法等算法的处理，完成生理数据的几何建模、计算建模、变形计算。通过3DMAX10对病患者生理特征的三维模型重建、贴图及赋予器官组织生理特征，并进行骨骼皮肤组织碰撞检测和图形绘制，同时生成病患者病患部位的三维模型。
工具仿真处理器231用于生成手术器械的三维模型。所述工具仿真处理器231通过虚拟现实造型语言(Virtual Reality Modeling Language，VRML)编写虚拟手术使用的各种手术器械的三维模型，例如，手钻、常规消毒铺巾、手术刀、电刀、棉片、纱布的三维模型，并作为后续虚拟现实头戴式显示装置201的显示内容输出。其中VRML是虚拟现实造型语言的缩写形式，它是描述虚拟场景的一种标准，定义了三维应用系统中常用的语言描述，如层次变换、光源、试点、几何、动画、雾、材料特性和纹理映射等，并具有简单的行为特征描述功能。设计VRML的一个主要目标就是保证它成为多个虚拟现实系统或其组成部分间有效的三维文件交换格式。
屏显241可动态实时展示所述病患部位的三维模型和手术器械的三维模型。屏显241具有一个图形用户界面用于选择性地动态实时展示所述生理数据，例如，对于实时的动态心电图数据而言，虚拟现实头戴式显示装置201显示区域中的部分局部区域预先设定了的用于展示病患者动态心电图的图形用户界面的展现区域。上述对实时动态心电图数据的举例仅是对诸多体现人体生理动态数据的举例说明，并非是对本发明的限制，鉴于综合医疗诊断生理数据是实施远程互动的基础，未来还有更多的新的生理数据需要得到图形用户界面的支持，可通过虚拟现实头戴式显示装置201中设定的图形用户界面(GUI)给予实时动态展示。
虚拟人体模型库211用于存储事先生成的人体组织器官的三维模型。
运动位移感应模块251用于感应并记录所述穿戴配件202的运动轨迹信息数据。
具体地，所述穿戴配件202用于佩戴在所述支持系统200的实施虚拟手术的专家身上，所述穿戴配件202与所述运动位移感应模块251电性连接。
实施例二
本发明实施提供了一种基于虚拟现实头戴式显示装置201的远程互动医疗方法，适用于实施例一所示的基于虚拟现实头戴式显示装置201的远程互动医疗系统，参见图3，该方法包括：
S1、采集并传输生理数据。
在本实施例中，临床系统100的医疗人员利用数据采集设备101采集病患者的生理数据，并通过数据传输通道102发送至云端数据库103。临床系统100的医疗人员通过检测血压、血氧、脉搏、体温、心电的多参生命体征监护仪，十二导联的网络心电图机，检测耳鼻喉的光学窥镜，检测皮肤的光学窥镜，专业心肺音高保真电子听诊器，CT扫描以及网络摄像头获取病患者的各项生理数据。
S2、虚拟现实头戴式显示装置201接收生理数据。
在本实施例中，所述云端数据库103中的生理数据通过数据交换中枢104传输至虚拟现实头戴式显示装置201。所述虚拟现实头戴式显示装置201获取病患部位的生理数据。在虚拟手术同步环境下，所述虚拟现实头戴式显示装置201采集手术前临床系统100的医疗人员对病患者的病患部位进行真实CT扫描得到的数据(通过DICOM3.0数据格式的采集)。
S3、建立并动态实时展示病患者病患部位的三维模型。
在本实施例中，所述虚拟现实头戴式显示装置201根据所述生理数据建立并动态实时展示病患者病患部位的三维模型，参见图4，具体包括以下步骤：
SA、从虚拟人体模型库211中提取与病患部位对应的人体组织器官的三维模型。在虚拟人体模型库211中取出事先生成的对应于病患者的病患部位的人体组织器官的三维模型。
SB、跟据所述病患部位的生理数据对所述与病患部位对应的人体组织器官的三维模型进行三维重建得到所述病患部位的三维模型。将该病患者的真实病患部位身体部位的CT扫描数据进行三维重建的B样曲线，bbox算法，傅里叶算法，小值二分法等算法的处理，完成生理数据的几何建模、计算建模、变形计算。通过3DMAX10对病患者的病患部位的生理特征的三维模型重建、贴图及赋予器官组织生理特征，并进行骨骼皮肤组织碰撞检测和图形绘制，生成病患者病患部位的三维模型。
SC、屏显241获取并实时动态展示病患部位的三维模型。
S4、建立并动态实时展示手术器械的三维模型。
在本实施例中，所述虚拟现实头戴式显示装置201建立并动态实时展示用于治疗所述病患者病患部位的手术器械的三维模型。所述工具仿真处理器231通过虚拟现实造型语言(Virtual Reality Modeling Language，VRML)编写虚拟手术使用的各种手术器械的三维模型，例如，手钻、常规消毒铺巾、手术刀、电刀、棉片、纱布的三维模型，并作为虚拟现实头戴式显示装置201的屏显241的显示内容输出。其中VRML是虚拟现实造型语言的缩写形式，它是描述虚拟场景的一种标准，定义了三维应用系统中常用的语言描述，如层次变换、光源、试点、几何、动画、雾、材料特性和纹理映射等，并具有简单的行为特征描述功能。设计VRML的一个主要目标就是保证它成为多个虚拟现实系统或其组成部分间有效的三维文件交换格式。
S5、手术方案的形成及传输。
支持系统200的虚拟手术实施者操控所述手术器械的三维模型对所述病患者病患部位的三维模型进行虚拟手术，所述虚拟现实头戴式显示装置201记录所述支持系统200进行手术时的手势操作步骤，并结合所述病患者病患部位的三维模型和手术器械的三维模型形成完整的手术方案一起通过数据交换中枢104传输至云端数据库103，以供临床系统100参考。
具体地，所述基于虚拟现实头戴式显示装置201的远程互动医疗方法还包括以下步骤：
SD、佩戴穿戴配件202。
本实施例中，支持系统200中虚拟手术的实施者佩戴与所述虚拟现实头戴式显示装置201网络连接的穿戴配件202。虚拟手术的实施者佩戴的穿戴配件202包括十个手指的指套，所述位移感应模块通过与所述指套网络感应连接可感知并记录所述指套的运动轨迹，以此记录虚拟手术的实施者进行虚拟手术时的手势动作。
SE、临床系统100的医疗人员获取手术方案。
本实施例中，临床系统100的医疗人员可通过访问所述云端数据库103获取支持系统200提供的手术方案。
需要说明的是，上述步骤SD在步骤S5之前和步骤S4之后完成，步骤SE在步骤S5之后完成。
实施本发明提供的基于虚拟现实头戴式显示装置201的远程互动医疗系统及方法具有以下有益效果：
1、虚拟现实头戴式显示装置201为支持系统200的医疗人员提供病患者病患部位的实时生理数据以及实时动态三维模型，且可生成各种手术所需的医疗器械的三维模型，由此，支持系统200的医疗人员可根据病患部位的时实动态三维模型制定对应的治疗方案，并利用医疗器械的三维模型进行虚拟手术，所述虚拟现实头戴式显示装置201记录支持系统200制定的治疗方案并将虚拟手术的相关数据传输到云端数据库103，以供临床系统100参考。
2、所述数据采集设备101可以包括接入多参数监护仪、心电、高清窥镜、电子听诊器、摄像头等多种专业级的医疗信息采集设备，也可根据工作需要，接入更多的其他医疗信息采集设备。实现多种生理指标的实时检查，如心电图、体温、脉搏、血压、血氧、心音、肺音、眼耳喉鼻图像等，以便医疗人员获取更多的综合诊断数据进行分析判断。上述采集的医疗信息可通过有线网络、WiFi无线网络、卫星网络、3G/4G无线宽带网络实现专网连接，保障数据传输的安全性。
3、所述云端数据库103实现了多个医疗诊断终端之间的实时互动或离线互动。所述云端数据库103实现多个医疗诊断终端的多类型数据的网络存储以及控制交互。支持系统200的医疗人员通过虚拟现实头盔显示装置，可以实时了解到病患的生理数据，临床系统100的医疗人员通过访问所述云端数据库103也可获取支持系统200提供的治疗方案，实现了创新的远程医疗诊断应用模式。
4、病患者的海量数据和资料存储在云端数据库103中，可方便各级授权机构通过多种设备进行访问、调阅，实现疾病诊断、医疗质量追踪、进行各种业务的统计分析等，还可以大数据为基础，实现医疗知识库、面向人的健康跟踪以及区域性的疾病监控等。
上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护范围之内。
Claims (10)
1.一种基于虚拟现实头戴式显示装置的远程互动系统，其特征在于，包括临床系统和支持系统，所述临床系统包括数据采集设备、数据传输通道、云端数据库以及数据交换中枢，所述支持系统包括虚拟现实头戴式显示装置；
所述数据采集设备，连接所述数据传输通道，用于采集人体生理数据；
所述数据传输通道，包括以太网、WiFi、无线专网、电话PSTN网络、卫星或移动互联网中的至少一种，用于传输数据；
所述云端数据库，连接所述数据传输通道，包括云计算平台和云存储平台，用于提供统一的数据访问接口及安排相应的数据访问权限；
所述数据交换中枢，连接所述数据传输通道，用于完成所述临床系统与所述支持系统之间的数据的交换；
所述虚拟现实头戴式显示装置，网络连接所述数据交换中枢，用于根据所述生理数据生成相应的影像。
2.根据权利要求1所述的基于虚拟现实头戴式显示装置的远程互动医疗系统，其特征在于，所述系统具有用于生成病患部位的三维模型的人体仿真处理器，用于生成手术器械的三维模型的工具仿真处理器，所述虚拟现实头戴式显示装置具有用于动态实时展示所述病患部位的三维模型和手术器械的三维模型的屏显。
3.根据权利要求2所述的基于虚拟现实头戴式显示装置的远程互动医疗系统，其特征在于，所述显屏具有一图形用户界面，用于选择性地显示所述生理数据。
4.根据权利要求1所述的基于虚拟现实头戴式显示装置的远程互动医疗系统，其特征在于，所述虚拟现实头戴式显示装置具有运动位移感应模块，所述支持系统还具有与所述运动位移感应模块电性连接的穿戴配件。
5.根据权利要求1所述的基于虚拟现实头戴式显示装置的远程互动医疗系统，其特征在于，所述系统具有用于存储人体组织器官三维模型的虚拟人体模型库。
6.根据权利要求1所述的基于虚拟现实头戴式显示装置的远程互动医疗系统，其特征在于，所述支持系统与所述临床系统分布在地域上相互远离。
7.根据权利要求1所述的基于虚拟现实头戴式显示装置的远程互动医疗系统，其特征在于，
所述云计算平台包括第一硬件系统和第一软件系统，所述第一硬件系统包括第一服务器和第一存贮系统，所述第一软件系统包括第一操作系统和第一数据库系统；
所述云存储平台包括第二硬件系统和第二软件系统，所述第二硬件系统包括第二服务器和第二存贮系统，所述第二软件系统包括第二操作系统和第二数据库系统。
8.一种基于虚拟现实头戴式显示装置的远程互动医疗方法，其特征在于，所述方法包括以下步骤：
临床系统的医疗人员利用数据采集设备采集病患者的生理数据，并通过数据传输通道发送至云端数据库；
所述云端数据库中的生理数据通过数据交换中枢传输至虚拟现实头戴式显示装置；
所述虚拟现实头戴式显示装置根据所述生理数据建立并动态实时展示病患者病患部位的三维模型；
所述虚拟现实头戴式显示装置建立并动态实时展示用于治疗所述病患者病患部位的手术器械的三维模型；
支持系统的医疗人员操控所述手术器械的三维模型对所述病患者病患部位的三维模型进行虚拟手术处理，所述虚拟现实头戴式显示装置记录所述支持系统进行手术时的手势操作步骤，并结合所述病患者病患部位的三维模型和手术器械的三维模型一起通过数据交换中枢传输至云端数据库，以供临床系统参考。
9.根据权利要求8所述的基于虚拟现实头戴式显示装置的远程互动医疗方法，其特征在于，所述方法包括以下步骤：
从虚拟人体模型库中提取与病患部位对应的人体组织器官的三维模型；
根据所述病患部位的生理数据对所述与病患部位对应的人体组织器官的三维模型进行三维重建得到所述病患部位的三维模型；
屏显获取并实时动态展示病患部位的三维模型。
10.根据权利要求8所述的基于虚拟现实头戴式显示装置的远程互动医疗方法，其特征在于，所述方法包括以下步骤：支持系统中虚拟手术的实施者佩戴与所述虚拟现实头戴式显示装置电性连接的穿戴配件。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610664575.2A CN107714006A (zh) | 2016-08-12 | 2016-08-12 | 一种基于虚拟现实头戴式显示装置的远程互动系统及方法 |
| PCT/CN2017/073978 WO2018028166A1 (zh) | 2016-08-12 | 2017-02-17 | 一种基于虚拟现实头戴式显示装置的远程互动系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610664575.2A CN107714006A (zh) | 2016-08-12 | 2016-08-12 | 一种基于虚拟现实头戴式显示装置的远程互动系统及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107714006A true CN107714006A (zh) | 2018-02-23 |
Family
ID=61161655
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610664575.2A Pending CN107714006A (zh) | 2016-08-12 | 2016-08-12 | 一种基于虚拟现实头戴式显示装置的远程互动系统及方法 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN107714006A (zh) |
| WO (1) | WO2018028166A1 (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108389488A (zh) * | 2018-03-05 | 2018-08-10 | 泉州医学高等专科学校 | 一种互动式口腔模拟系统 |
| CN108563199A (zh) * | 2018-03-27 | 2018-09-21 | 北京科技大学 | 一种热连轧生产实时监控系统 |
| CN111834021A (zh) * | 2020-07-20 | 2020-10-27 | 北京百度网讯科技有限公司 | 数据交互方法、装置、设备以及存储介质 |
| CN112691357A (zh) * | 2020-12-29 | 2021-04-23 | 深圳市艾利特医疗科技有限公司 | 一种心肺功能锻炼系统以及方法 |
| CN113705836A (zh) * | 2021-08-31 | 2021-11-26 | 国网山东省电力公司微山县供电公司 | 一种用于电网现场作业指导的系统及装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101393654A (zh) * | 2008-10-07 | 2009-03-25 | 华南师范大学 | 一种计算机辅助脏器手术仿真系统 |
| CN104771892A (zh) * | 2015-04-02 | 2015-07-15 | 深圳市虚拟现实科技有限公司 | 基于虚拟现实的同步显示方法和系统 |
| CN105184720A (zh) * | 2015-09-01 | 2015-12-23 | 北京昌盛医学技术有限公司 | 一种基于物联网的一体化远程医疗诊断系统 |
| CN105615831A (zh) * | 2015-12-18 | 2016-06-01 | 李占和 | 医学影像全息ar显示系统 |
| CN105787941A (zh) * | 2016-03-01 | 2016-07-20 | 天津天堰科技股份有限公司 | 一种混合现实仿真系统的快速配准方法 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN100536770C (zh) * | 2007-03-29 | 2009-09-09 | 新奥博为技术有限公司 | 一种磁共振图像引导下的手术系统及手术导航方法 |
| CN101904770B (zh) * | 2009-06-05 | 2012-11-14 | 复旦大学 | 一种基于光学增强现实技术的手术导航系统及方法 |
| CN102868755B (zh) * | 2012-09-27 | 2015-11-25 | 中国科学院深圳先进技术研究院 | 远程医疗通信系统及其工作方法 |
| CN103077633A (zh) * | 2013-01-11 | 2013-05-01 | 深圳超多维光电子有限公司 | 一种立体虚拟培训系统和方法 |
| CN104706422A (zh) * | 2013-12-13 | 2015-06-17 | Ge医疗系统环球技术有限公司 | 一种头戴式医疗装置、医疗系统及其操作方法 |
| WO2015126466A1 (en) * | 2014-02-21 | 2015-08-27 | The University Of Akron | Imaging and display system for guiding medical interventions |
| US9723300B2 (en) * | 2014-03-17 | 2017-08-01 | Spatial Intelligence Llc | Stereoscopic display |
-
2016
- 2016-08-12 CN CN201610664575.2A patent/CN107714006A/zh active Pending
-
2017
- 2017-02-17 WO PCT/CN2017/073978 patent/WO2018028166A1/zh active Application Filing
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101393654A (zh) * | 2008-10-07 | 2009-03-25 | 华南师范大学 | 一种计算机辅助脏器手术仿真系统 |
| CN104771892A (zh) * | 2015-04-02 | 2015-07-15 | 深圳市虚拟现实科技有限公司 | 基于虚拟现实的同步显示方法和系统 |
| CN105184720A (zh) * | 2015-09-01 | 2015-12-23 | 北京昌盛医学技术有限公司 | 一种基于物联网的一体化远程医疗诊断系统 |
| CN105615831A (zh) * | 2015-12-18 | 2016-06-01 | 李占和 | 医学影像全息ar显示系统 |
| CN105787941A (zh) * | 2016-03-01 | 2016-07-20 | 天津天堰科技股份有限公司 | 一种混合现实仿真系统的快速配准方法 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108389488A (zh) * | 2018-03-05 | 2018-08-10 | 泉州医学高等专科学校 | 一种互动式口腔模拟系统 |
| CN108563199A (zh) * | 2018-03-27 | 2018-09-21 | 北京科技大学 | 一种热连轧生产实时监控系统 |
| CN111834021A (zh) * | 2020-07-20 | 2020-10-27 | 北京百度网讯科技有限公司 | 数据交互方法、装置、设备以及存储介质 |
| CN112691357A (zh) * | 2020-12-29 | 2021-04-23 | 深圳市艾利特医疗科技有限公司 | 一种心肺功能锻炼系统以及方法 |
| CN113705836A (zh) * | 2021-08-31 | 2021-11-26 | 国网山东省电力公司微山县供电公司 | 一种用于电网现场作业指导的系统及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2018028166A1 (zh) | 2018-02-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107714006A (zh) | 一种基于虚拟现实头戴式显示装置的远程互动系统及方法 | |
| CN106909771A (zh) | 用于输出增强现实信息的方法和系统 | |
| CN106999053A (zh) | 用于经皮冠状动脉介入治疗的患者教育 | |
| US11389248B1 (en) | Surgical robot evolution and handoff | |
| US11497436B1 (en) | Systems, methods, and bone mapper devices for real-time mapping and analysis of bone tissue | |
| Ayo-Farai et al. | Engineering innovations in healthcare: a review of developments in the USA | |
| US11357582B1 (en) | System for transcribing and performing analysis on patient data | |
| CN110021445A (zh) | 一种基于vr模型的医疗系统 | |
| US20230404682A1 (en) | Robotic surgical systems with multi-modality imaging for performing surgical steps | |
| US11776697B2 (en) | System for administering a qualitative assessment using an automated verbal interface | |
| CN109044656B (zh) | 医用护理设备 | |
| CN110706825A (zh) | 一种基于三维建模和3d打印的骨科医疗平台系统和方法 | |
| Arpaia et al. | A Health 4.0 integrated system for monitoring and predicting patient’s health during surgical procedures | |
| CN105096227A (zh) | 一种健康数据的可视化处理方法 | |
| Dinya et al. | Health informatics: eHealth and Telemedicine | |
| US11844575B1 (en) | Digital image analysis for robotic installation of surgical implants | |
| Shakhmametova et al. | Clinical decision support system for the respiratory diseases diagnosis | |
| US11801104B2 (en) | Robotic system and method for performing latency managed telesurgery | |
| CN109378075A (zh) | 一种基于云数据叠加的创伤智能评估系统 | |
| CN109559833A (zh) | 一种远程诊疗系统和方法 | |
| Kumar et al. | AI-based robotics in E-healthcare applications | |
| CN114566275A (zh) | 一种基于混合现实的院前急救辅助系统 | |
| CN112447297A (zh) | 一种3d打印结合vr虚拟现实成像的手术预演操作系统 | |
| CN109686451A (zh) | 一种患者急救信息管理方法 | |
| US11918296B1 (en) | Digital image analysis for in vivo robotic assembly of multi-component implants |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180223 |