CN109710073A - 一种vr医用手术教学头盔 - Google Patents

一种vr医用手术教学头盔 Download PDF

Info

Publication number
CN109710073A
CN109710073A CN201811617391.6A CN201811617391A CN109710073A CN 109710073 A CN109710073 A CN 109710073A CN 201811617391 A CN201811617391 A CN 201811617391A CN 109710073 A CN109710073 A CN 109710073A
Authority
CN
China
Prior art keywords
helmet
image
medical operation
processing module
students
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811617391.6A
Other languages
English (en)
Inventor
张弟龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing College of Electronic Engineering
Original Assignee
Chongqing College of Electronic Engineering
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing College of Electronic Engineering filed Critical Chongqing College of Electronic Engineering
Priority to CN201811617391.6A priority Critical patent/CN109710073A/zh
Publication of CN109710073A publication Critical patent/CN109710073A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Studio Devices (AREA)

Abstract

本发明提出一种VR医用手术教学头盔，包括摄像头，用于实时采集画面；传输装置，用于将所述实时采集的画面传输至处理模块；处理模块，用于将所述的实时采集的画面拼接成完整的全景画面；所述处理模块对完整的全景画面进行实时编码以生成全景预览视频；VR头盔本体，用于观看所述全景视频。本发明提供一种VR医用手术教学头盔，使得医生手术全过程可以立体拍摄下来，学生可以通过头盔身临其境的观察医生手术的全过程，替代文字和PPT的传统教学演示方式，使得观看视频更佳直观。

Description

一种VR医用手术教学头盔
技术领域
本发明涉及虚拟现实领域，具体涉及一种VR医用手术教学头盔。
背景技术
医生作为一个特殊的职业，需要有专业的医学技能，而这技能的掌握需要一个不断学习的过程，而近两年，手术示教系统成为了医院的重要乡设项目，用来临床教学、学术交流亦或是远程指导，手术录制的视频也是珍贵的学习资料，更是日后发生医疗事故时重要的证据。但现有的手术示教系统不能使学生身临其境，不够直观。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供一种VR医用手术教学头盔，以解决现有学生不能直观感受手术过程缺点。
为实现上述目的及其他相关目的，本发明提供一种VR医用手术教学头盔，包括：
摄像头，用于实时采集画面；
传输装置，用于将所述实时采集的画面传输至处理模块；
处理模块，用于将所述的实时采集的画面拼接成完整的全景画面；
所述处理模块对完整的全景画面进行实时编码以生成全景预览视频；
VR头盔本体，用于观看所述全景视频；
所述处理模块根据所述全景视频构建虚拟训练场景；
所述处理模块还用于记录施术者的手部力度和施术者对应于手术过程的讲解；
所述处理模块包括基础数据存储单元，用于存储在手术过程当中所使用的全部医疗器械的模型，以及对应的器械功能信息；
练习者利用相应的医疗器械模型按照手术过程的讲解以及所述手部力度在虚拟训练场景中完成训练。
可选地，所述手部力度通过具有力反馈的手术器械采集。
可选地，所述摄像头包括正多面体支架，所述正多面体支架的各个面上设置有一个图像传感器。
可选地，所述图像传感器设置于所述正多面体支架的各个面的中心处。
可选地，所述图像传感器具有相同的视场且每个图像传感器的视场角大于两相邻图像传感器轴线之间的夹角。
可选地，所述正多面体每个面上的图像传感器的光轴与该图像传感器所在面到正多面体中心的连线重合。
可选地，所述全景相机将采集到的画面实时拼接成完整的全景画面，具体包括：
获取用于拼接全景图像的多幅图像；
将所述多幅图像分别展开成经纬度图像；
分别提取多幅经纬度图像之间的拼接区域，得到多个拼接区域，将所述多个拼接区域投影到单位球上；
提取单位球面上待拼接区域对应的柱面区域，分别计算待拼接区域的左、右图像之间的光流场；
根据待拼接区域的左、右图像之间的光流场，分别对每个拼接区域的图像进行融合，直至所有拼接区域的图像融合后，得到无缝拼接后的全景图像。
可选地，所述VR头盔本体包括第一眼镜片、第二眼镜片和用于调节第一眼镜片与第二眼镜片的间隔距离的调节模块。
可选地，所述传输装置为无线传输装置。
如上所述，本发明的一种VR医用手术教学头盔，具有以下有益效果：
本发明提供一种VR医用手术教学头盔，使得医生手术全过程可以立体拍摄下来，学生可以通过头盔身临其境的观察医生手术的全过程，替代文字和PPT的传统教学演示方式，使得观看视频更佳直观。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
本发明提供一种VR医用手术教学头盔，包括：
摄像头，用于实时采集画面；
传输装置，用于将所述实时采集的画面传输至处理模块；
处理模块，用于将所述的实时采集的画面拼接成完整的全景画面；
所述处理模块对完整的全景画面进行实时编码以生成全景预览视频；
VR头盔本体，用于观看所述全景视频；
所述处理模块根据所述全景视频构建虚拟训练场景；
所述处理模块还用于记录施术者的手部力度和施术者对应于手术过程的讲解；
所述处理模块包括基础数据存储单元，用于存储在手术过程当中所使用的全部医疗器械的虚拟模型，以及对应的器械功能信息；
练习者利用相应的医疗器械模型按照手术过程的讲解以及所述手部力度在虚拟训练场景中完成训练。特别地，在练习者进行手术训练过程中，手术器械模型的力度也会被显示出来，该力度会与被记录的力度进比较，练习者根据显示的力度与记录的力度进行调节，使显示的力度靠近记录的力度。
可选地，所述手部力度通过具有力反馈的手术器械采集。
所述摄像头包括正多面体支架，所述正多面体支架的各个面上设置有一个图像传感器。
于一实施例中，所述图像传感器设置于所述正多面体支架的各个面的中心处。
于一实施例中，所述图像传感器具有相同的视场且每个图像传感器的视场角大于两相邻图像传感器轴线之间的夹角。
于一实施例中，所述正多面体每个面上的图像传感器的光轴与该图像传感器所在面到正多面体中心的连线重合。
于一实施例中，所述全景相机将采集到的画面实时拼接成完整的全景画面，具体包括：
获取用于拼接全景图像的多幅图像；
将所述多幅图像分别展开成经纬度图像；
分别提取多幅经纬度图像之间的拼接区域，得到多个拼接区域，将所述多个拼接区域投影到单位球上；
提取单位球面上待拼接区域对应的柱面区域，分别计算待拼接区域的左、右图像之间的光流场；
根据待拼接区域的左、右图像之间的光流场，分别对每个拼接区域的图像进行融合，直至所有拼接区域的图像融合后，得到无缝拼接后的全景图像。
所述将多幅图像分别展开成经纬度图像具体包括：
获取将拍摄图像展开到经纬度图像的模型；
根据所述模型，分别展开所述多幅图像，得到与所述多幅图像分别对应的多幅经纬度图像。
所述分别提取多幅经纬度图像之间的拼接区域，得到多个拼接区域，将多个拼接区域投影到单位球上具体包括：
分别提取N幅经纬度图像I1一In之间的拼接区域，得到N个拼接区域Sl-Sn；
对提取的N个拼接区域Sl-Sn进行球面投影，得到单位球面上的N个待拼接区域J1-Jn，其中N为大于或等于2的自然数；
所述提取单位球面上待拼接区域对应的柱面区域，分别计算待拼接区域的左、右图像之间的光流场具体包括：
提取单位球面上N个待拼接区域J1-Jn，将待拼接区域J1-Jn分别映射到对应的柱面区域T1-Tn；
分别计算N个柱面区域T1-Tn的左、右图像之间的光流场，针对每个柱面区域，具体为：
计算左图像到右图像的光流场fL→R(x,y)和右图像到左图像的光流场fR→L(x,y)；
根据拼接区域像素点和左、右两个拼缝之间的距离自适应调整左图像到右图像的光流场fL→R(x,y)的权重值a和右图像到左图像的光流场fR→L(x,y)的权重值b，得到调整后的光流场。
所述根据待拼接区域的左、右图像之间的光流场，分别对每个拼接区域的图像进行融合具体包括：
根据拼接区域像素点和左、右两个拼缝之间的距离自适应调整左、右图像融合的权重值λ和μ；
根据以下公式对待拼接的区域TL和TR进行图像融合，获取融合后的区域TB；
TB(x,y)＝λgTL(x+fx(L→R)(x,y),y)+fy(L→R)(x,y))+μgTR(x+fx(R→L)(x,y),y+fy(R→L)(x,y))
其中，TB(x,y)表示融合后像素点(x,y)的值，TL(x,y)表示表示融合区域左图像中像素点的值，TR(x,y)表示融合区域右图像中像素点的值，λ和μ为权重值，λ∈[0,1],μ∈[0,1]。
于一实施例中，所述VR头盔本体包括第一眼镜片、第二眼镜片和用于调节第一眼镜片与第二眼镜片的间隔距离的调节模块。
所述调节模块通过以下方式对第一眼镜片和第二眼镜片之间的距离进行调节：
通过图像采集装置获取所述使用者的眼部图像信息；
根据所述眼部图像信息，计算所述使用者的两个瞳孔间的距离；
根据所述使用者的两个瞳孔间的距离，获取所述使用者的瞳距信息；
所述根据所述眼部信息，若确定所述眼部信息不满足所述VR眼镜的视觉条件，则根据所述眼部信息，确定调整模式，包括：
若确定所述瞳距信息不满足所述视觉条件中的瞳距配置信息，则根据所述瞳距信息和所述瞳距配置信息，确定所述调整模式为瞳距调整模式。
所述根据所述调整模式，调整所述VR眼镜，包括：
根据所述使用者的瞳距信息，调整所述VR眼镜的第一眼镜片和第二眼镜片的位置。
根据所述使用者的瞳距信息，比较所述使用者的瞳距与所述VR眼镜当前瞳距的大小；
若所述使用者的瞳距大于所述VR眼镜当前瞳距，则控制第一马达和第二马达，以驱动所述第一马达对应的第一眼镜片和所述第二马达对应的第二眼镜片同步地向远离中心参照点的方向移动，以使所述VR眼镜的瞳距与所述使用者的瞳距相匹配；
若所述使用者的瞳距小于所述VR眼镜当前瞳距，则控制第一马达和第二马达，以驱动所述第一马达对应的第一眼镜片和所述第二马达对应的第二眼镜片同步地向靠近中心参照点的方向移动，以使所述VR眼镜的瞳距与所述使用者的瞳距相匹配。
在本实施例中，通过采集获取VR眼镜使用者的眼部信息，若确定使用者的眼部信息不满足VR眼镜的视觉条件，根据使用者的眼部信息，确定调整模式，自动对VR眼镜进行不同调整模式的调整，可以使VR眼镜的视觉条件与使用者的眼部信息匹配，实现了自动采集使用者的眼部信息，并根据使用者的眼部信息自动调整VR眼镜的视觉条件，提高了VR眼镜的视觉效果，改善了用户视觉体验。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (9)

1.一种VR医用手术教学头盔，其特征在于，包括：
摄像头，用于实时采集画面；
传输装置，用于将所述实时采集的画面传输至处理模块；
处理模块，用于将所述的实时采集的画面拼接成完整的全景画面；
所述处理模块对完整的全景画面进行实时编码以生成全景预览视频；
VR头盔本体，用于观看所述全景视频；
所述处理模块根据所述全景视频构建虚拟训练场景；
所述处理模块还用于记录施术者的手部力度和施术者对应于手术过程的讲解；
所述处理模块包括基础数据存储单元，用于存储在手术过程当中所使用的全部医疗器械的模型，以及对应的器械功能信息；
练习者根据利用相应的医疗器械模型按照手术过程的讲解以及所述手部力度在虚拟训练场景中完成训练。
2.根据权利要求1所述的一种VR医用手术教学头盔，其特征在于，所述手部力度通过具有力反馈的手术器械采集。
3.根据权利要求1所述的一种VR医用手术教学头盔，其特征在于，所述摄像头包括正多面体支架，所述正多面体支架的各个面上设置有一个图像传感器。
4.根据权利要求3所述的一种VR医用手术教学头盔，其特征在于，所述图像传感器设置于所述正多面体支架的各个面的中心处。
5.根据权利要求3所述的一种VR医用手术教学头盔，其特征在于，所述图像传感器具有相同的视场且每个图像传感器的视场角大于两相邻图像传感器轴线之间的夹角。
6.根据权利要求4所述的一种VR医用手术教学头盔，其特征在于，所述正多面体每个面上的图像传感器的光轴与该图像传感器所在面到正多面体中心的连线重合。
7.根据权利要求1所述的一种VR医用手术教学头盔，其特征在于，所述全景相机将采集到的画面实时拼接成完整的全景画面，具体包括：
获取用于拼接全景图像的多幅图像；
将所述多幅图像分别展开成经纬度图像；
分别提取多幅经纬度图像之间的拼接区域，得到多个拼接区域，将所述多个拼接区域投影到单位球上；
提取单位球面上待拼接区域对应的柱面区域，分别计算待拼接区域的左、右图像之间的光流场；
根据待拼接区域的左、右图像之间的光流场，分别对每个拼接区域的图像进行融合，直至所有拼接区域的图像融合后，得到无缝拼接后的全景图像。
8.根据权利要求1所述的一种VR医用手术教学头盔，其特征在于，所述VR头盔本体包括第一眼镜片、第二眼镜片和用于调节第一眼镜片与第二眼镜片的间隔距离的调节模块。
9.根据权利要求8所述的一种VR医用手术教学头盔，其特征在于，所述传输装置为无线传输装置。
CN201811617391.6A 2018-12-28 2018-12-28 一种vr医用手术教学头盔 Pending CN109710073A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811617391.6A CN109710073A (zh) 2018-12-28 2018-12-28 一种vr医用手术教学头盔

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811617391.6A CN109710073A (zh) 2018-12-28 2018-12-28 一种vr医用手术教学头盔

Publications (1)

Publication Number Publication Date
CN109710073A true CN109710073A (zh) 2019-05-03

Family

ID=66258808

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811617391.6A Pending CN109710073A (zh) 2018-12-28 2018-12-28 一种vr医用手术教学头盔

Country Status (1)

Country Link
CN (1) CN109710073A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110689968A (zh) * 2019-09-26 2020-01-14 山东浪潮人工智能研究院有限公司 一种基于5g和vr技术的大数据医疗学习方法及系统
CN111933269A (zh) * 2020-08-18 2020-11-13 云南省第一人民医院 一种基于混合现实的手术辅助头盔及辅助系统
CN112085979A (zh) * 2020-09-30 2020-12-15 中国科学技术大学 一种远程手术指导和教学装置及其方法与医疗设备
CN113963609A (zh) * 2021-09-23 2022-01-21 四川大学 一种基于vr技术的神经外科手术模拟操作模型

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103325400A (zh) * 2013-05-17 2013-09-25 北京中科大洋信息技术有限公司 一种手术影像录播示教系统和方法
CN106251751A (zh) * 2016-10-12 2016-12-21 大连文森特软件科技有限公司 一种基于vr技术的医疗手术模拟仿真系统
CN107369129A (zh) * 2017-06-26 2017-11-21 深圳岚锋创视网络科技有限公司 一种全景图像的拼接方法、装置及便携式终端
CN207429174U (zh) * 2017-02-23 2018-06-01 医影联合（北京）科技有限公司 无影灯和获取手术影像的系统
US20180211563A1 (en) * 2017-01-26 2018-07-26 Sonosim, Inc System and Method for Multisensory Psychomotor Skill Training

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103325400A (zh) * 2013-05-17 2013-09-25 北京中科大洋信息技术有限公司 一种手术影像录播示教系统和方法
CN106251751A (zh) * 2016-10-12 2016-12-21 大连文森特软件科技有限公司 一种基于vr技术的医疗手术模拟仿真系统
US20180211563A1 (en) * 2017-01-26 2018-07-26 Sonosim, Inc System and Method for Multisensory Psychomotor Skill Training
CN207429174U (zh) * 2017-02-23 2018-06-01 医影联合（北京）科技有限公司 无影灯和获取手术影像的系统
CN107369129A (zh) * 2017-06-26 2017-11-21 深圳岚锋创视网络科技有限公司 一种全景图像的拼接方法、装置及便携式终端

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110689968A (zh) * 2019-09-26 2020-01-14 山东浪潮人工智能研究院有限公司 一种基于5g和vr技术的大数据医疗学习方法及系统
CN111933269A (zh) * 2020-08-18 2020-11-13 云南省第一人民医院 一种基于混合现实的手术辅助头盔及辅助系统
CN112085979A (zh) * 2020-09-30 2020-12-15 中国科学技术大学 一种远程手术指导和教学装置及其方法与医疗设备
CN113963609A (zh) * 2021-09-23 2022-01-21 四川大学 一种基于vr技术的神经外科手术模拟操作模型
CN113963609B (zh) * 2021-09-23 2022-11-15 四川大学 一种基于vr技术的神经外科手术模拟操作模型

Similar Documents

Publication Publication Date Title
US12062430B2 (en) Surgery visualization theatre
Durrani et al. Three-dimensional video imaging for endoscopic surgery
CN104918572B (zh) 用于外科手术的视频捕获和显示的数字系统
US7428001B2 (en) Materials and methods for simulating focal shifts in viewers using large depth of focus displays
CN109710073A (zh) 一种vr医用手术教学头盔
US12142367B2 (en) Surgery visualization theatre
CN106251752A (zh) Ar和vr相结合的医学培训系统
CN104777620B (zh) 虚拟现实3d场景用的景深识别光学装置及其成像方法
CN108154778B (zh) 基于运动捕捉和混合现实的眼科手术培训系统及方法
CN106388762A (zh) 基于虚拟现实的视力检查及训练系统
JP7471572B2 (ja) キャリブレーションシステム、及び、キャリブレーション方法
CN103238339A (zh) 查看和跟踪立体视频图像的系统和方法
CN111297501B (zh) 一种口腔种植手术增强现实导航方法和系统
US20110261166A1 (en) Real vision 3D, video and photo graphic system
CN105943327B (zh) 具有防眩晕设备的视力锻炼保健系统
CN108446011A (zh) 一种基于增强现实的医疗辅助方法及设备
Kawanishi et al. Evaluation of two-and three-dimensional visualization for endoscopic endonasal surgery using a novel stereoendoscopic system in a novice: a comparison on a dry laboratory model
CN107307981A (zh) 基于眼动的视觉训练方法
CN112926523B (zh) 基于虚拟现实的眼球追踪方法、系统
JP2007527249A (ja) リアルタイム画像又は静止画像の立体視システム
Hanna et al. Image display technology and image processing
TW202017368A (zh) 智慧眼鏡、系統及其使用方法
Mueller-Richter et al. Possibilities and limitations of current stereo-endoscopy
CN104216126A (zh) 一种变焦3d显示技术
CN111193830B (zh) 一种基于智能手机的便携式增强现实医学图像观察辅助设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190503