CN110021445A - 一种基于vr模型的医疗系统 - Google Patents

一种基于vr模型的医疗系统 Download PDF

Info

Publication number
CN110021445A
CN110021445A CN201710697164.8A CN201710697164A CN110021445A CN 110021445 A CN110021445 A CN 110021445A CN 201710697164 A CN201710697164 A CN 201710697164A CN 110021445 A CN110021445 A CN 110021445A
Authority
CN
China
Prior art keywords
unit
medical
image
imaging
storage element
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710697164.8A
Other languages
English (en)
Inventor
宋航
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Hummingbird Interactive Technology Co Ltd
Original Assignee
Beijing Hummingbird Interactive Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Hummingbird Interactive Technology Co Ltd filed Critical Beijing Hummingbird Interactive Technology Co Ltd
Priority to CN201710697164.8A priority Critical patent/CN110021445A/zh
Publication of CN110021445A publication Critical patent/CN110021445A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders

Landscapes

  • Medical Informatics (AREA)
  • Engineering & Computer Science (AREA)
  • Public Health (AREA)
  • Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Epidemiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Processing Or Creating Images (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明公开了一种基于VR模型的医疗系统,包括:医学影像单元、3D扫描成像单元、虚拟场景构建单元、虚拟现实成像单元以及数据储存单元,所述虚拟现实成像单元包括:VR成像单元、数据手套以及伪彩处理单元。本发明中的系统通过将影像数据转化为先进的临床诊断、治疗及评估资料的实用工具,直接给临床带来经济效益。基于VR模型的医疗系统适用于多交互控制、具有多种功能、浸没感较强。通过本发明的系统,可供远程影像会诊、远程教学演示、远程会议等场景的应用。

Description

一种基于VR模型的医疗系统
技术领域
本发明涉VR虚拟现实领域、智能医疗领域,特别涉及一种基于VR模型的医疗系统。
背景技术
VR是一项综合集成技术,涉及计算机图形学,人机交互技术,传感技术,人工智能等领域,它用计算机生成逼真的三维视、听、嗅觉等感觉,使人作为参与者通过适当装置,自然地对虚拟世界进行体验和交互作用。使用者进行位置移动时,电脑可以立即进行复杂的运算,将精确的3D世界影像传回产生临场感。该技术集成了计算机图形(CG)技术、计算机仿真技术、人工智能、传感技术、显示技术、网络并行处理等技术的最新发展成果,是一种由计算机技术辅助生成的高技术模拟系统。虚拟现实系统的特征:多感知性,是指除了一般计算机技术所具有的视觉感知之外,还有听觉感知、力觉感知、触觉感知、运动感知,甚至包括味觉感知、嗅觉感知等。理想的虚拟现实技术应该具有一切人所具有的感知功能。由于相关技术,特别是传感技术的限制,虚拟现实技术所具有的感知功能仅限于视觉,听觉,力觉,触觉,运动等几种。浸没感,是指用户感到作为主角存在于模拟环境中的真实程度。理想的模拟环境应该使用户难以分辨真假,使用户全身心地投入到计算机创建的三维虚拟环境中,该环境中的一切看上去是真的,听上去是真的,动起来是真的,甚至闻起来、尝起来等一切感觉都是真的,如同在现实世界中的感觉一样。交互性,是指用户对模拟环境内物体的可操作程度和从环境得到反馈的自然程度(包括实时性)。例如,用户可以用手去直接抓取模拟环境中虚拟的物体,这时手有握着东西的感觉,并可以感觉物体的重量,视野中被抓的物体也能立刻随着手的移动而移动。构想性,是强调虚拟现实技术应具有广阔的可想像空间,可拓宽人类认知范围,不仅可再现真实存在的环境,也可以随意构想客观不存在的甚至是不可能发生的环境。
VR医疗构建虚拟的人体模型器官以及手术提高虚拟实境的真实感,借助于虚拟外设可以使人们更逼真的学习医疗知识以及治病救人的虚拟现实应用。VR在医学方面的应用具有十分重要的现实意义。在虚拟环境中,可以建立虚拟的人体模型,借助于跟踪球、HMD、感觉手套,学生可以很容易了解人体内部各器官结构,这比现有的采用教科书的方式要有效得多。Pieper及Satara等研究者在90年代初基于两个SGI工作站建立了一个虚拟外科手术训练器,用于腿部及腹部外科手术模拟。这个虚拟的环境包括虚拟的手术台与手术灯,虚拟的外科工具(如手术刀、注射器、手术钳等),虚拟的人体模型与器官等。借助于HMD及感觉手套,使用者可以对虚拟的人体模型进行手术。但该系统有待进一步改进,如需提高环境的真实感,增加网络功能,使其能同时培训多个使用者,或可在外地专家的指导下工作等。手术后果预测及改善残疾人生恬状况,乃至新型药物的研制等方面,VR技术都有十分重要的意义。外科医生在真正动手术之前,通过虚拟现实技术的帮助,能在显示器上重复地模拟手术,移动人体内的器官,寻找最佳手术方案并提高熟练度。在远距离遥控外科手术,复杂手术的计划安排,手术过程的信息指导,手术后果预测及改善残疾人生活状况,乃至新药研制等方面,虚拟现实技术都能发挥十分重要的作用。
中国医学设备协会秘书长李志荣表示:“大型中和医院在在日常诊疗和临床科研方面的常规设备配置齐全,采购CT设备倾向于中高端进口品牌,预计今后其设备需求以更新换代为主。”目前购买国外进口产品费用较高,相比较于绝大部分的普通医院采购能力较弱。
现有技术中的缺陷如下:
1)CT设备购买价格较高,无法根据需求进行更新换代,且无法适应中国医生的使用习惯;
2)医学影像的VR系统与CT产品的匹配程度较低;
3)VR系统功能不完善,浸没感以及交互感较差。
发明内容
本发明要解决的技术问题是,提供一种适用于多交互控制的、具有多种功能、浸没感较强的基于VR模型的医疗系统。
解决上述技术问题,本发明提供了一种基于VR模型的医疗系统,包括:医学影像单元、3D扫描成像单元、虚拟场景构建单元、虚拟现实成像单元以及数据储存单元,
所述医学影像单元与所述3D扫描成像单元连接,用以将医疗影像文件输入所述3D扫描成像单元,
所述医学影像单元与所述数据储存单元连接,用以将医疗影像文件同步至所述数据储存单元,
所述虚拟场景构建单元与所述3D扫描成像单元连接,用以接收从所述3D扫描成像单元完成扫描的图像信息并重建影像空间,经过体绘制后生成3D曲面模型,
所述虚拟场景构建单元与所述数据储存单元连接,用以将已构建的虚拟场景和/或医学图像重建的图像储存至所述数据储存单元,
所述虚拟场景构建单元,用以在虚拟环境区域调取数据储存单元内的数据信息并将每个医疗手术对应的过程操作过程进行图像视频编辑,所述虚拟现实成像单元与所述数据储存单元连接,用以回传用户反馈数据,以及接收所述数据储存单元中的医疗器械的特征数据,
所述虚拟现实成像单元与所述虚拟场景构建单元连接,用以接收图像视频输入,
所述虚拟现实成像单元包括:VR成像单元、数据手套以及伪彩处理单元,
所述VR成像单元,用以通过VR设备进行虚拟现实成像,
所述数据手套,用以在虚拟场景下进行多模式操作,
所述伪彩处理单元,用以将3D曲面模型伪彩上色。
更进一步,所述医学影像单元包括:CT影像单元和MR影像单元,
CT影像单元,用以提供CT医疗影像接口,
MR影像单元,用以提供MR医疗影像接口。
更进一步,所述3D扫描成像单元包括:立体显示、互动输入设备、数据服务器、Nobilee处理单元,
所述立体显示,用以作为虚拟现实的显示接口,
所述互动输入设备,用以接收用户的互动输入操作,
所述数据服务器,用以储存上述显示和互动的数据。
所述Nobilee处理单元,用以将医疗影像文件进行医学图像重建。
更进一步,所述虚拟场景构建单元包括:重建单元、体绘制单元以及曲面模型单元,
所述重建单元,用以按照医学影像文件重建出影像空间,
所述体绘制单元,用以按照体绘制算法绘制出图像数据,
所述曲面模型单元,用以根据图像数据模拟出曲面模型。
更进一步,所述数据储存单元包括:第一储存单元、第二储存单元、第三储存单元,
所述第一储存单元,用以组织和储存医疗器械名称,
所述第二储存单元,用以组织和储存医疗器械的数量,
所述第三储存单元,用以组织和储存在实际操作过程中医生的操作姿势。
更进一步,所述VR成像单元包括:VR眼镜、VR追踪器控制、摄像头、红外发射器、立体耳机,
所述VR眼镜,用以三维立体图像成像,
所述摄像头与所述红外发射器配合,用以实时高精度定位,
所述VR追踪器控制,用以实现动作的捕捉,
所述立体耳机,用以提供三维立体音效。
更进一步,所述数据手套包括:可第一动作单元、第二动作单元以及第三动作单元,
所述第一动作单元,用以虚拟场景中的医疗影像模型完成抓取操作,
所述第二动作单元,用以虚拟场景中的医疗影像模型完成移动操作,
所述第三动作单元,用以虚拟场景中的医疗影像模型完成旋转操作。
更进一步,所述伪彩处理单元包括:第一处理单元、第二处理单元以及第三处理单元,
所述第一处理单元,用以采用强度分层进行伪彩处理,
所述第二处理单元,用以灰度级-彩色变换进行伪彩处理,
所述第三处理单元,用以颜色映射进行伪彩处理。
更进一步,基于B/S架构的瘦客户端运行模式,用以将该医疗系统集中到服务器上,并可接入多客户终端。
更进一步,系统还包括:临床科室单元、远程交互单元、影像科室单元,
所述临床科室单元、所述远程交互单元、所述影像科室单元用以通过PC端接入所述医疗系统,
所述远程交互单元,用以提供远程医疗交互接口,
所述临床科室单元,用以临床科室的用户访问接口,
所述影像科室单元,用以影像科室的用户访问接口。
本发明的有益效果:
1)本发明的基于VR模型的医疗系统,由于所述虚拟场景构建单元,用以在虚拟环境区域调取数据储存单元内的数据信息并将每个医疗手术对应的过程操作过程进行图像视频编辑,所述虚拟现实成像单元与所述数据储存单元连接,用以回传用户反馈数据,以及接收所述数据储存单元中的医疗器械的特征数据,本发明的系统是基于3D医疗影像的医疗应用,通过将影像数据转化为先进的临床诊断、治疗及评估资料的实用工具,直接给临床带来经济效益。系统可涵盖各科室的影像应用处理软件,满足全院的临床应用,并通过网络形式全院共享应用平台。由于所述医学影像单元与所述3D扫描成像单元连接,用以将医疗影像文件输入所述3D扫描成像单元,所述医学影像单元与所述数据储存单元连接,用以将医疗影像文件同步至所述数据储存单元,所述虚拟场景构建单元与3D扫描成像单元,用以接收从所述3D扫描成像单元完成扫描的图像信息并重建影像空间,经过体绘制后生成3D曲面模型,所述虚拟场景构建单元与数据储存单元连接,用以将已构建的虚拟场景和/或医学图像重建的图像储存至所述数据储存单元,所述虚拟现实成像单元与所述虚拟场景构建单元连接,用以接收图像视频输入的数据储存单元独特3D工作状态存储功能,随时存储和恢复工作,实现持续工作流,避免重复工作,大大地节省时间,提高效率。由于所述虚拟现实成像单元包括:VR成像单元、数据手套以及伪彩处理单元,所述VR成像单元,用以通过VR设备进行虚拟现实成像,所述数据手套,用以在虚拟场景下进行多模式操作,所述伪彩处理单元,用以将3D曲面模型伪彩上色。可供远程影像会诊、远程教学演示、远程会议等场景的应用。
2)更进一步,基于VR模型的医疗系统支持平板电脑、智能手机等移动设备,且提供了IOS,Android显示解决方案。
3)更进一步,基于VR模型的医疗系统还能够,提供3D打印建模功能,把CT/MR等影像数据直接转化为3D打印数据。
4)此外,基于VR模型的医疗系统,支持虚拟化设备,充分利用硬件资源,高效、低耗、快速维护。
5)更进一步,本发明中的系统还能够应用到VR整形手术方向,由于本发明能够技术3D扫描、模型重建过程,并基于3D扫描技术的患者面部模型重建;最后采用三维图形技术对模型进行编辑,变形、切割、在模型之上展示术后效果。所以,本发明的系统进行面部模型重建过程十分简单,从开始扫描到模型成型不足1分钟,可以100%还原患者面部特征和皮肤质感,对模型各部位自由编辑。此外,可基于骨骼、肌肉与皮肤信息关联;基于3D模型进行面部整形手术(削骨、垫鼻)手术全程模拟。
本系统应用范围较广,比如可以是整形医院为客户定制手术效果预览,客户可以从整形大数据中挑选不同手术方案,在虚拟的面部进行试验。
附图说明
图1是本发明一实施例中的系统结构示意图;
图2是图1中医学影像单元的结构示意图;
图3是图1中的3D扫描成像单元结构示意图;
图4是图1中的虚拟场景构建单元结构示意图;
图5是图1中的数据储存单元结构示意图;
图6是图1中的VR成像单元结构示意图;
图7是图1中的数据手套结构示意图;
图8是图中的伪彩处理单元结构示意图;
图9是系统优选实施方式示意图。
具体实施方式
现在将参考一些示例实施例描述本公开的原理。可以理解,这些实施例仅出于说明并且帮助本领域的技术人员理解和实施例本公开的目的而描述,而非建议对本公开的范围的任何限制。在此描述的本公开的内容可以以下文描述的方式之外的各种方式实施。
如本文中所述,术语“包括”及其各种变体可以被理解为开放式术语,其意味着“包括但不限于”。术语“基于”可以被理解为“至少部分地基于”。术语“一个实施例”可以被理解为“至少一个实施例”。术语“另一实施例”可以被理解为“至少一个其它实施例”。
图1是本发明一实施例中的系统结构示意图,本实施例中的一种基于VR模型的医疗系统,包括:医学影像单元1、3D扫描成像单元2、虚拟场景构建单元3、虚拟现实成像单元5以及数据储存单元4,所述医学影像单元1与所述3D扫描成像单元2连接,用以将医疗影像文件输入所述3D扫描成像单元,所述医学影像单元1与所述数据储存单元4连接,用以将医疗影像文件同步至所述数据储存单元4,所述虚拟场景构建单元3与3D扫描成像单元2连接,用以接收从所述3D扫描成像单元2完成扫描的图像信息并重建影像空间,经过体绘制后生成3D曲面模型,所述虚拟场景构建单元3与所述数据储存单元4连接,用以将已构建的虚拟场景和/或医学图像重建的图像储存至所述数据储存单元4,所述虚拟场景构建单元3,用以在虚拟环境区域调取数据储存单元内的数据信息并将每个医疗手术对应的过程操作过程进行图像视频编辑,所述虚拟现实成像单元5与所述数据储存单元4连接,用以回传用户反馈数据,以及接收所述数据储存单元4中的医疗器械的特征数据,所述虚拟现实成像单元5与所述虚拟场景构建单元3连接,用以接收图像视频输入,所述虚拟现实成像单元5包括:VR成像单元51、数据手套52以及伪彩处理单元53,所述VR成像单元51,用以通过VR设备进行虚拟现实成像,所述数据手套52,用以在虚拟场景下进行多模式操作,所述伪彩处理单元53,用以将3D曲面模型伪彩上色。
所述医学影像单元1包括但不限于,医院里面CT、MRI影像文件。DICOM(DigitalImaging and Communications in Medicine)即医学数字成像和通信,是医学图像和相关信息的国际标准(ISO 12052),用以定义了质量能满足临床需要的可用于数据交换的医学图像格式。
所述3D扫描成像单元2包括但不限于,3D成像仪,3D成像仪,采用双全景摄像机立体3D 360度扫描成像。
所述虚拟场景构建单元3包括但不限于,具体应用包括:诊前的疾病预防、健康管理;诊中的辅助诊断,医学图像处理、诊后额虚拟医护助手,慢病管理。
所述数据储存单元4包括但不限于,多种医疗器械的特征数据包括但不限于:模型元素信息、对应该医疗器械的性能信息和涉及到该医疗器械的手术类型信息。具体包括很多医疗器械小到手术刀大到大型医疗器械的结构包括但不限于:外伤处置车、手术床、手术灯、监护仪、呼吸机、超声仪等等的使用说明和性能说明,以及每个医疗器械适合的手术名称等。医疗器械的模型元素信息包括视频信息和图像信息。
所述虚拟现实成像单元5包括但不限于,利用电脑模拟产生一个三度空间的虚拟世界,提供使用者关于视觉、听觉、触觉等感官的模拟,让使用者如同身历其境一般,可以及时、没有限制地观察三度空间内的事物。所述虚拟现实成像单元5集成计算机图形(CG)技术、计算机仿真技术、人工智能、传感技术、显示技术、网络并行处理等技术的最新发展成果,是一种由计算机技术辅助生成的高技术模拟系统。
作为本实施例中的优选,如图2所示是图1中医学影像单元的结构示意图,所述医学影像单元1包括:CT影像单元11和MR影像单元12,CT影像单元11,用以提供CT医疗影像接口,MR影像单元12,用以提供MR医疗影像接口。
作为本实施例中的优选,如图3所示是图1中的3D扫描成像单元结构示意图;所述3D扫描成像单元2包括:立体显示21、互动输入设备22、数据服务器23、Nobilee处理单元24,
所述立体显示21,用以作为虚拟现实的显示接口,
所述互动输入设备22,用以接收用户的互动输入操作,
所述数据服务器23,用以储存上述显示和互动的数据。
所述Nobilee处理单元24,用以将医疗影像文件进行医学图像重建。
所述Nobilee处理单元24中被配置有,专业定制的医学图像重建分析软件Nobilee,Nobilee可以直接使用(MRI,CT)影像,并把这些单个图片重建为三维和四维(三维+时间)图像,用户只需带上3D眼镜就可以在全三维的环境中观察和分析这些三维数据。渲染方式包括但不限于,景深渲染、光源控制、亮度对比度控制、透明度控制。
作为本实施例中的优选,如图4所示是图1中的虚拟场景构建单元结构示意图;所述虚拟场景构建单元3包括:重建单元31、体绘制单元32以及曲面模型单元33,
所述重建单元31,用以按照医学影像文件重建出影像空间,
所述体绘制单元32,用以按照体绘制算法绘制出图像数据,
所述曲面模型单元33,用以根据图像数据模拟出曲面模型。
所述的重建单元31,是通过物体外部测量的数据,经数字处理获得三维物体的形状信息的技术。图像重建技术开始是在放射医疗设备中应用,显示人体各部分的图像,即计算机断层摄影技术,简称CT技术,后逐渐在许多领域获得应用。主要有投影重建、明暗恢复形状、立体视觉重建和激光测距重建。
所述的体绘制单元32基于科学可视化技术,主要是运用计算机图形学、图像处理、计算机视觉等方法,将科学、工程学、医学等计算、测量过程中的符号、数字信息转换为直观的图形图像,并在屏幕上显示的理论、技术和方法。
具体而言,体绘制单元33中的目标是在一副图片上展示空间体细节,实现体绘制所要达到的效果。体绘制技术以物体对光的吸收原理为理论基础,在实现方式上,最后基于透明度合成计算模型。在体绘制单元23中通过经典的光照模型,例如phong模型,cook-torrance模型都做为体绘制技术的补充,完善体绘制效果,增强真实感。体绘制单元23中扫描数据的来源方式是仪器测量数据,包括但不限于:CT或MRI。体绘制单元23中的体纹理即是三维纹理,是传统2D纹理在逻辑上的扩展。按照一定规则将三维数据存放在XY像素平面所得到的纹理,称之为体纹理volume texture。一般而言,二维纹理是一张简单的位图图片,用于为三维模型提供表面点的颜色值;而一个三维纹理,可以被认为由很多张2D纹理组成的,用于描述三维空间数据的图片。三维纹理通过三维纹理坐标进行访问。上述体绘制单元23中体数据通常是由CT仪器进行扫描得到的,然后保存在图片的像素点上。较为常用的体纹理格式包括但不限于,基于DirectX的.dds格式和.raw格式。
所述的体绘制单元32中采用的体绘制算法,包括但不限于:光线投射算法(Ray-casting)、错切-形算法(Shear-warp)、频域体绘制算法(Frequency Domain)或者抛雪球算法(Splatting)。
优选地,可采用光线投射算法,该算法在解决方案上基于射线扫描过程,符合人类生活常识,容易理解;其次,该算法可以达到较好的绘制效果;最后该算法可以较为轻松的移植到GPU上进行实现,可以达到在终端上实时绘制的要求。
所述的曲面模型单元33中的曲面模型用以描述由点、线、曲面组成物体表面的计算机模型。上述曲面模型单元24中的一种实施例中,需要依赖图像数据的每个区域内的中轴平面集,即根据当前输入的所有截面线所在的平面将3D空间划分成若干区域,计算每个区域的中轴平面集,将区域的每个面上的截面线投影到该区域的中轴平面集上,将截面线与中轴平面集上的投影相连,构成一个几何体,接着提取所有几何体的表面并拼接在一起,形成该区域的子曲面,将所有区域的子曲面连接起来,构成最终的曲面模型。
作为本实施例中的优选,如图5所示是图1中的数据储存单元结构示意图,所述数据储存单元4包括:第一储存单元41、第二储存单元42、第三储存单元43,
所述第一储存单元41,用以组织和储存医疗器械名称,
所述第二储存单元42,用以组织和储存医疗器械的数量,
所述第三储存单元43,用以组织和储存在实际操作过程中医生的操作姿势。
在一些实施例中,所述数据储存单元4还包括,视觉、听觉、触觉或嗅觉。
在一些实施例中,所述数据储存单元4还包括,包括语音、动作、眼动或按键信息。
在一些实施例中,所述数据储存单元4还包括,采集被测对象的生理体征数据,包括脑电波、脑血流、心电图、肌电或心律。
在一些实施例中,所述数据储存单元4还与后台服务器的通信方式包括但不限于:WLAN、LTE/4G、蓝牙、有线传输。
作为本实施例中的优选,如图6所示是图1中的VR成像单元结构示意图,所述VR成像单元51包括:VR眼镜511、VR追踪器控制512、摄像头514、红外发射器513、立体耳机515,
所述VR眼镜511,用以三维立体图像成像,
所述摄像头514与所述红外发射器513配合,用以实时高精度定位,
所述VR追踪器控制512,用以实现动作的捕捉,
所述立体耳机515,用以提供三维立体音效。
作为本实施例中的优选,如图7所示是图1中的数据手套结构示意图,所述数据手套52包括:可第一动作单元521、第二动作单元522以及第三动作单元523,
所述第一动作单元521,用以虚拟场景中的医疗影像模型完成抓取操作,
所述第二动作单元522,用以虚拟场景中的医疗影像模型完成移动操作,
所述第三动作单元523,用以虚拟场景中的医疗影像模型完成旋转操作。
在一些实施例中,所述数据手套52,实时检测医护人员的每个手指的动作信息、手指握医疗器械的力度信息、手腕的力度信息,同时采用摄像头对医护人员在虚拟环境下的实际手法动作即手术过程进行实时拍摄。在虚拟环境下,医护人员体验医疗手术过程中,由于手上佩戴上数据信息检测手套,它可以检测医护人员在模拟演练过程的手法信息,包括手握手术刀的手法信息、用力信息,同时在将手术刀在人体器官进行切割时候的刀法和如何解剖信息等等都可以采集到。
作为本实施例中的优选,如图8所示是图中的伪彩处理单元结构示意图,所述伪彩处理单元53包括:第一处理单元531、第二处理单元532以及第三处理单元533,
所述第一处理单元531,用以采用强度分层进行伪彩处理,
所述第二处理单元532,用以灰度级-彩色变换进行伪彩处理,
所述第三处理单元533,用以颜色映射进行伪彩处理。
在一些实施例中,所述第一处理单元531采用强度分层法,是伪彩色处理技术中最简单的一种。在某个灰度级Li上设置一个平行于x-y平面的切割平面,切割平面下面的,即灰度级小于Li的像素分配给一种颜色,相应的切割平面上大于灰度级Li的像素分配给另一种颜色。这样切割结果可以分成两层的伪彩色。可以使用M个平面去切割,就会得到M个不同灰度级的区域,这样就是具有M种颜色的为彩色图像。
在一些实施例中,所述第二处理单元532采用灰度级-彩色变换法可以将灰度图像变为具有多种颜色渐变的连续彩色图像。通过将图像通过不同变换特性的红、绿、蓝3个变换器,然后将三个颜色通道的输出合成某种颜色。由于三种颜色变换的不同,使得不同大小灰度级可以合成不同的颜色。
在一些实施例中,所述第三处理单元533采用颜色映射法,采用颜色映射的方法需要做一个颜色映射表,不同灰度级都会有对应的颜色。这个跟强度分层法相似,可以分成不同的层次,对应的颜色可以根据实际情况做映射。在实际应用中,热成像测温系统所产生的红外图像为黑白灰度级图像,灰度值动态范围不大,人眼很难从这些灰度级中获得丰富的信息。为了更直观地增强显示图像的层次,提高人眼分辨能力,对系统所摄取的图像进行伪彩色处理,从而达到图像增强的效果,使图像信息更加丰富。例如对受热物体所成的像进行伪彩色时,将灰度低的区域设置在蓝色附近(或蓝灰、黑等),而灰度级高的区域设置在红色附近(或棕红、白等),以方便医生或患者对物体的观察。
作为本实施例中的优选,如图9所示是系统优选实施方式示意图,本实施例中的系统基于B/S架构的瘦客户端运行模式,用以将该医疗系统集中到服务器上,并可接入多客户终端。B/S是Browser/Server的缩写,客户机上只要安装一个浏览器(Browser),如NetscapeNavigator或Internet Explorer,服务器安装Oracle、Sybase、Informix或SQL Server等数据库。在这种结构下,用户界面完全通过WWW浏览器实现,一部分事务逻辑在前端实现,但是主要事务逻辑在服务器端实现。浏览器通过Web Server同数据库进行数据交互。客户终端包括但不限于:瘦客户端、移动PC、平板电脑或者智能手机。此外,还包括:临床科室单元、远程交互单元、影像科室单元,
所述临床科室单元、所述远程交互单元、所述影像科室单元用以通过PC端接入所述医疗系统,
所述远程交互单元,用以提供远程医疗交互接口,
所述临床科室单元,用以临床科室的用户访问接口,
所述影像科室单元,用以影像科室的用户访问接口。
本实施例中,还提供了一种基于VR模型的医疗系统,包括:医学影像单元1、3D扫描成像单元2、虚拟场景构建单元3、虚拟现实成像单元5以及数据储存单元4,
所述医学影像单元1与所述3D扫描成像单元2连接,用以将医疗影像文件输入所述3D扫描成像单元,
所述医学影像单元1与所述数据储存单元连接,用以将医疗影像文件同步至所述数据储存单元,
所述虚拟场景构建单元3与所述3D扫描成像单元2连接,用以接收从所述3D扫描成像单元完成扫描的图像信息并重建影像空间,经过体绘制后生成3D曲面模型,
所述虚拟场景构建单元3与所述数据储存单元4连接,用以将已构建的虚拟场景和/或医学图像重建的图像储存至所述数据储存单元,
所述虚拟场景构建单元3,用以在虚拟环境区域调取数据储存单元内的数据信息并将每个医疗手术对应的过程操作过程进行图像视频编辑,所述虚拟现实成像单元5与所述数据储存单元连接,用以回传用户反馈数据,以及接收所述数据储存单元中的医疗器械的特征数据,
所述虚拟现实成像单元5与所述虚拟场景构建单元3连接,用以接收图像视频输入,
所述虚拟现实成像单元5包括:VR成像单元51、数据手套52以及伪彩处理单元53,
所述VR成像单元,用以通过VR设备进行虚拟现实成像,
所述数据手套,用以在虚拟场景下进行多模式操作,
所述伪彩处理单元,用以将3D曲面模型伪彩上色。
所述VR成像单元51包括:VR眼镜511、VR追踪器控制512、摄像头513、红外发射器514、立体耳机515,
所述VR眼镜,用以三维立体图像成像,
所述摄像头与所述红外发射器配合,用以实时高精度定位,
所述VR追踪器控制,用以实现动作的捕捉,
所述立体耳机,用以提供三维立体音效。
所述数据手套52包括:第一动作单元521、第二动作单元522以及第三动作单元523,
所述第一动作单元,用以虚拟场景中的医疗影像模型完成抓取操作,
所述第二动作单元,用以虚拟场景中的医疗影像模型完成移动操作,
所述第三动作单元,用以虚拟场景中的医疗影像模型完成旋转操作。
所述伪彩处理单元53包括:第一处理单元531、第二处理单元532以及第三处理单元533,
所述第一处理单元,用以采用强度分层进行伪彩处理,
所述第二处理单元,用以灰度级-彩色变换进行伪彩处理,
所述第三处理单元,用以颜色映射进行伪彩处理。
医学影像单元1包括:CT影像单元11和MR影像单元12,
CT影像单元,用以提供CT医疗影像接口,
MR影像单元,用以提供MR医疗影像接口。
所述Nobilee处理单元,用以将医疗影像文件进行医学图像重建。
所述虚拟场景构建单元3包括:重建单元31、体绘制单元32以及曲面模型单元33,
所述重建单元31,用以按照医学影像文件重建出影像空间,
所述体绘制单元32,用以按照体绘制算法绘制出图像数据,
所述曲面模型单元33,用以根据图像数据模拟出曲面模型。
所述数据储存单元包括:第一储存单元41、第二储存单元42、第三储存单元43,
所述第一储存单元41,用以组织和储存医疗器械名称,
所述第二储存单元42,用以组织和储存医疗器械的数量,
所述第三储存单元43,用以组织和储存在实际操作过程中医生的操作姿势。
所述3D扫描成像单元2包括:立体显示21、互动输入设备22、数据服务器23、Nobilee处理单元34,
所述立体显示,用以作为虚拟现实的显示接口,
所述互动输入设备,用以接收用户的互动输入操作,
所述数据服务器,用以储存上述显示和互动的数据。
本实施例中的的基于VR模型的医疗系统,由于所述虚拟场景构建单元3,用以在虚拟环境区域调取数据储存单元内的数据信息并将每个医疗手术对应的过程操作过程进行图像视频编辑,所述虚拟现实成像单元5与所述数据储存单元4连接,用以回传用户反馈数据,以及接收所述数据储存单元中的医疗器械的特征数据,本实施例的系统是基于3D医疗影像的医疗应用,通过将影像数据转化为先进的临床诊断、治疗及评估资料的实用工具,直接给临床带来经济效益。系统可涵盖各科室的影像应用处理软件,满足全院的临床应用,并通过网络形式全院共享应用平台。由于所述医学影像单元1与所述3D扫描成像单元2连接,用以将医疗影像文件输入所述3D扫描成像单元,所述医学影像单元1与所述数据储存单元4连接,用以将医疗影像文件同步至所述数据储存单元,所述虚拟场景构建单元3与3D扫描成像单元2,用以接收从所述3D扫描成像单元完成扫描的图像信息并重建影像空间,经过体绘制后生成3D曲面模型,所述虚拟场景构建单元3与数据储存单元4连接,用以将已构建的虚拟场景和/或医学图像重建的图像储存至所述数据储存单元,所述虚拟现实成像单元与所述虚拟场景构建单元连接,用以接收图像视频输入的数据储存单元独特3D工作状态存储功能,随时存储和恢复工作,实现持续工作流,避免重复工作,大大地节省时间,提高效率。由于所述虚拟现实成像单元5包括:VR成像单元51、数据手套52以及伪彩处理单元53,所述VR成像单元,用以通过VR设备进行虚拟现实成像,所述数据手套,用以在虚拟场景下进行多模式操作,所述伪彩处理单元,用以将3D曲面模型伪彩上色。可供远程影像会诊、远程教学演示、远程会议等场景的应用。
VR与心理治疗的结合也可以让患者更易于接受,有心理疾病或障碍的人群不愿去面对的现实体验。虚拟现实则能够在心理治疗上为心理医生和患者搭建一个桥梁,使心理治疗能够在虚拟现实的帮助下更好地进行。采用本实施例中的VR模型的医疗系统,当病人被诊断出患有心理焦虑的病症之后,就会被带到一个装有虚拟现实设备的房间里,让患者坐在一个很舒服的椅子上,打开设备,让患者进入到一个崭新的、安详的环境中去,比如森林或海边。如果患者焦虑程度比较深,光融入到景色当中还不能释怀,就需要心理医生的引导,运用心理医生的专业知识,通过虚拟现实设备传导给患者语音信息,配和着身临其景的环境,使得心理焦虑能有一个更好的治疗效果。
在一些实施例中,把患者置于焦虑的来源中,使得他们能够面对以后现实世界中的恐惧。如恐高、飞行、动物(如蜘蛛)、驾驶、幽闭、公开演讲恐惧症等。
在一些实施例中,针对压力过大引起的心理失衡、抑郁,人在日常生活和工作中特别容易有压力,尤其是在创伤后或重大灾难后。通过VR帮助患者解决心理压力问题。诸如惧公开演讲、工作面试、参加入学考试等恐惧心理,也可以通过VR来训练。通过VR的环境,利用“暴露性治疗”的方法,让他们了解、熟悉,怎么应对这些场景带来的压力。
应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
总体而言,本公开的各种实施例可以以硬件或专用电路、软件、逻辑或其任意组合实施。一些方面可以以硬件实施,而其它一些方面可以以固件或软件实施,该固件或软件可以由控制器、微处理器或其它计算设备执行。虽然本公开的各种方面被示出和描述为框图、流程图或使用其它一些绘图表示,但是可以理解本文描述的框、设备、系统、技术或方法可以以非限制性的方式以硬件、软件、固件、专用电路或逻辑、通用硬件或控制器或其它计算设备或其一些组合实施。
此外,虽然操作以特定顺序描述,但是这不应被理解为要求这类操作以所示的顺序执行或是以顺序序列执行,或是要求所有所示的操作被执行以实现期望结果。在一些情形下,多任务或并行处理可以是有利的。类似地,虽然若干具体实现方式的细节在上面的讨论中被包含,但是这些不应被解释为对本公开的范围的任何限制,而是特征的描述仅是针对具体实施例。在分离的一些实施例中描述的某些特征也可以在单个实施例中组合地执行。相反对,在单个实施例中描述的各种特征也可以在多个实施例中分离地实施或是以任何合适的子组合的方式实施。

Claims (10)

1.一种基于VR模型的医疗系统,其特征在于,包括:医学影像单元、3D扫描成像单元、虚拟场景构建单元、虚拟现实成像单元以及数据储存单元,
所述医学影像单元与所述3D扫描成像单元连接,用以将医疗影像文件输入所述3D扫描成像单元,
所述医学影像单元与所述数据储存单元连接,用以将医疗影像文件同步至所述数据储存单元,
所述虚拟场景构建单元与所述3D扫描成像单元连接,用以接收从所述3D扫描成像单元完成扫描的图像信息并重建影像空间,经过体绘制后生成3D曲面模型,
所述虚拟场景构建单元与所述数据储存单元连接,用以将已构建的虚拟场景和/或医学图像重建的图像储存至所述数据储存单元,
所述虚拟场景构建单元,用以在虚拟环境区域调取数据储存单元内的数据信息并将每个医疗手术对应的过程操作过程进行图像视频编辑,所述虚拟现实成像单元与所述数据储存单元连接,用以回传用户反馈数据,以及接收所述数据储存单元中的医疗器械的特征数据,
所述虚拟现实成像单元与所述虚拟场景构建单元连接,用以接收图像视频输入,
所述虚拟现实成像单元包括:VR成像单元、数据手套以及伪彩处理单元,
所述VR成像单元,用以通过VR设备进行虚拟现实成像,
所述数据手套,用以在虚拟场景下进行多模式操作,
所述伪彩处理单元,用以将3D曲面模型伪彩上色。
2.根据权利要求1所述的医疗系统,其特征在于,所述医学影像单元包括:CT影像单元和MR影像单元,
CT影像单元,用以提供CT医疗影像接口,
MR影像单元,用以提供MR医疗影像接口。
3.根据权利要求1所述的医疗系统,其特征在于,所述3D扫描成像单元包括:立体显示、互动输入设备、数据服务器、Nobilee处理单元,
所述立体显示,用以作为虚拟现实的显示接口,
所述互动输入设备,用以接收用户的互动输入操作,
所述数据服务器,用以储存上述显示和互动的数据,
所述Nobilee处理单元,用以将医疗影像文件进行医学图像重建。
4.根据权利要求1所述的医疗系统,其特征在于,所述虚拟场景构建单元包括:重建单元、体绘制单元以及曲面模型单元,
所述重建单元,用以按照医学影像文件重建出影像空间,
所述体绘制单元,用以按照体绘制算法绘制出图像数据,
所述曲面模型单元,用以根据图像数据模拟出曲面模型。
5.根据权利要求1所述的医疗系统,其特征在于,所述数据储存单元包括:第一储存单元、第二储存单元、第三储存单元,
所述第一储存单元,用以组织和储存医疗器械名称,
所述第二储存单元,用以组织和储存医疗器械的数量,
所述第三储存单元,用以组织和储存在实际操作过程中医生的操作姿势。
6.根据权利要求1所述的医疗系统,其特征在于,所述VR成像单元包括:VR眼镜、VR追踪器控制、摄像头、红外发射器、立体耳机,
所述VR眼镜,用以三维立体图像成像,
所述摄像头与所述红外发射器配合,用以实时高精度定位,
所述VR追踪器控制,用以实现动作的捕捉,
所述立体耳机,用以提供三维立体音效。
7.根据权利要求1所述的医疗系统,其特征在于,所述数据手套包括:可第一动作单元、第二动作单元以及第三动作单元,
所述第一动作单元,用以虚拟场景中的医疗影像模型完成抓取操作,
所述第二动作单元,用以虚拟场景中的医疗影像模型完成移动操作,
所述第三动作单元,用以虚拟场景中的医疗影像模型完成旋转操作。
8.根据权利要求1所述的医疗系统,其特征在于,所述伪彩处理单元包括:第一处理单元、第二处理单元以及第三处理单元,
所述第一处理单元,用以采用强度分层进行伪彩处理,
所述第二处理单元,用以灰度级-彩色变换进行伪彩处理,
所述第三处理单元,用以颜色映射进行伪彩处理。
9.根据权利要求1所述的医疗系统,其特征在于,基于B/S架构的瘦客户端运行模式,用以将该医疗系统集中到服务器上,并可接入多客户终端。
10.根据权利要求1所述的医疗系统,其特征在于,还包括:临床科室单元、远程交互单元、影像科室单元,
所述临床科室单元、所述远程交互单元、所述影像科室单元用以通过PC端接入所述医疗系统,
所述远程交互单元,用以提供远程医疗交互接口,
所述临床科室单元,用以临床科室的用户访问接口,
所述影像科室单元,用以影像科室的用户访问接口。
CN201710697164.8A 2017-08-15 2017-08-15 一种基于vr模型的医疗系统 Pending CN110021445A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710697164.8A CN110021445A (zh) 2017-08-15 2017-08-15 一种基于vr模型的医疗系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710697164.8A CN110021445A (zh) 2017-08-15 2017-08-15 一种基于vr模型的医疗系统

Publications (1)

Publication Number Publication Date
CN110021445A true CN110021445A (zh) 2019-07-16

Family

ID=67186077

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710697164.8A Pending CN110021445A (zh) 2017-08-15 2017-08-15 一种基于vr模型的医疗系统

Country Status (1)

Country Link
CN (1) CN110021445A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110556031A (zh) * 2019-09-06 2019-12-10 重庆大学附属肿瘤医院 造口患者用医疗指导系统
CN110580101A (zh) * 2019-09-19 2019-12-17 中国医学科学院北京协和医院 一种基于虚拟现实的互动医疗系统
CN111223576A (zh) * 2020-01-14 2020-06-02 于金明 基于虚拟智能医疗平台的患者宣教系统
CN111447415A (zh) * 2020-04-02 2020-07-24 吴敏 一种基于远程手术的语音和视频清晰度调整的系统和方法
CN112669468A (zh) * 2020-12-31 2021-04-16 天津市农业科学院 基于vr技术的母牛直肠检查和人工授精仿真模拟系统
CN112802372A (zh) * 2021-01-11 2021-05-14 中国人民解放军联勤保障部队第九〇〇医院 一种vr手术示教投影设备
WO2021135557A1 (zh) * 2019-12-30 2021-07-08 清华大学 一种人工智能多模成像分析装置
WO2022036484A1 (zh) * 2020-08-17 2022-02-24 南京智导智能科技有限公司 一种基于数字孪生的医院科室ar引导系统
CN114678096A (zh) * 2022-04-22 2022-06-28 人民卫生电子音像出版社有限公司 一种基于vr的3d可视化病例系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005015448A1 (ja) * 2003-08-07 2005-02-17 Setoguchi Laboratory Ltd. 協調設計指向データベースの構築、管理・統御の方法と関連プログラム
CN103106348A (zh) * 2013-03-08 2013-05-15 上海交通大学医学院附属第九人民医院 虚拟外科手术模拟方法及其装置
CN106897564A (zh) * 2017-02-28 2017-06-27 成都金盘电子科大多媒体技术有限公司 一种基于医学影像的病案图像建模系统
CN106934841A (zh) * 2017-03-07 2017-07-07 上海联影医疗科技有限公司 生成彩色医学影像的方法及医学系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005015448A1 (ja) * 2003-08-07 2005-02-17 Setoguchi Laboratory Ltd. 協調設計指向データベースの構築、管理・統御の方法と関連プログラム
CN103106348A (zh) * 2013-03-08 2013-05-15 上海交通大学医学院附属第九人民医院 虚拟外科手术模拟方法及其装置
CN106897564A (zh) * 2017-02-28 2017-06-27 成都金盘电子科大多媒体技术有限公司 一种基于医学影像的病案图像建模系统
CN106934841A (zh) * 2017-03-07 2017-07-07 上海联影医疗科技有限公司 生成彩色医学影像的方法及医学系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张萍: "《教育信息技术应用教程》", 30 September 2016, 陕西师范大学出版社 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110556031A (zh) * 2019-09-06 2019-12-10 重庆大学附属肿瘤医院 造口患者用医疗指导系统
CN110580101A (zh) * 2019-09-19 2019-12-17 中国医学科学院北京协和医院 一种基于虚拟现实的互动医疗系统
WO2021135557A1 (zh) * 2019-12-30 2021-07-08 清华大学 一种人工智能多模成像分析装置
CN111223576A (zh) * 2020-01-14 2020-06-02 于金明 基于虚拟智能医疗平台的患者宣教系统
CN111447415A (zh) * 2020-04-02 2020-07-24 吴敏 一种基于远程手术的语音和视频清晰度调整的系统和方法
WO2022036484A1 (zh) * 2020-08-17 2022-02-24 南京智导智能科技有限公司 一种基于数字孪生的医院科室ar引导系统
CN112669468A (zh) * 2020-12-31 2021-04-16 天津市农业科学院 基于vr技术的母牛直肠检查和人工授精仿真模拟系统
CN112669468B (zh) * 2020-12-31 2022-10-11 天津市农业科学院 基于vr技术的母牛直肠检查和人工授精仿真模拟系统
CN112802372A (zh) * 2021-01-11 2021-05-14 中国人民解放军联勤保障部队第九〇〇医院 一种vr手术示教投影设备
CN114678096A (zh) * 2022-04-22 2022-06-28 人民卫生电子音像出版社有限公司 一种基于vr的3d可视化病例系统

Similar Documents

Publication Publication Date Title
CN110021445A (zh) 一种基于vr模型的医疗系统
CN104271066B (zh) 具有不用手的控制的混合图像/场景再现器
CN106874700A (zh) 基于Web的手术模拟方法、手术模拟装置及电子设备
CN109410337A (zh) 一种基于vr模型的人工智能医疗系统实现方法、系统
JP2020506452A (ja) Hmdsに基づく医学画像形成装置
CN110522516A (zh) 一种用于手术导航的多层次交互可视化方法
CN101996507A (zh) 构建外科虚拟手术教学及训练系统的方法
CN107862912A (zh) 基于vr技术的医疗教学系统
Gao et al. Application of mixed reality technology in visualization of medical operations
US11776123B2 (en) Systems and methods for displaying augmented anatomical features
CN107491661A (zh) 一种病历管理方法、装置、设备及系统
Zhou et al. VR/AR technology in human anatomy teaching and operation training
Abou El-Seoud et al. An interactive mixed reality ray tracing rendering mobile application of medical data in minimally invasive surgeries
WO2018028166A1 (zh) 一种基于虚拟现实头戴式显示装置的远程互动系统及方法
Satava et al. Interactive technology and the new paradigm for healthcare
CN111276022A (zh) 一种基于vr技术的胃镜模拟操作系统
Castelan et al. Augmented reality anatomy visualization for surgery assistance with hololens: Ar surgery assistance with hololens
Dewitz et al. Real-time 3D scans of cardiac surgery using a single optical-see-through head-mounted display in a mobile setup
CN109427103A (zh) 一种可演示治疗方案和实时检查患处的vr系统
Xu et al. The research of medical metaverse application under the background of the normalization of the new crown epidemic
Satava et al. Medical applications of virtual environments
Satava et al. Laparoscopic surgery: Transition to the future
Proniewska et al. Holography as a progressive revolution in medicine
CN108234986B (zh) 用于治疗近视或弱视的3d图像管理方法及管理系统和装置
Beolchi et al. Virtual reality for health care

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190716

RJ01 Rejection of invention patent application after publication