CN110838373A - 一种应用于会诊的虚拟现实仿真方法及系统 - Google Patents
一种应用于会诊的虚拟现实仿真方法及系统 Download PDFInfo
- Publication number
- CN110838373A CN110838373A CN201910939267.XA CN201910939267A CN110838373A CN 110838373 A CN110838373 A CN 110838373A CN 201910939267 A CN201910939267 A CN 201910939267A CN 110838373 A CN110838373 A CN 110838373A
- Authority
- CN
- China
- Prior art keywords
- consultation
- audio
- simulation
- patient
- virtual reality
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004088 simulation Methods 0.000 title claims abstract description 154
- 238000000034 method Methods 0.000 title claims abstract description 98
- 230000000007 visual effect Effects 0.000 claims abstract description 33
- 238000001356 surgical procedure Methods 0.000 claims description 49
- 238000003745 diagnosis Methods 0.000 claims description 16
- 238000003325 tomography Methods 0.000 claims description 12
- 238000000605 extraction Methods 0.000 claims description 7
- 230000000694 effects Effects 0.000 abstract description 9
- 230000003902 lesion Effects 0.000 description 11
- 238000004891 communication Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 230000006399 behavior Effects 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 230000003238 somatosensory effect Effects 0.000 description 4
- 201000010099 disease Diseases 0.000 description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 230000000903 blocking effect Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000002980 postoperative effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H80/00—ICT specially adapted for facilitating communication between medical practitioners or patients, e.g. for collaborative diagnosis, therapy or health monitoring
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Primary Health Care (AREA)
- Public Health (AREA)
- Epidemiology (AREA)
- General Health & Medical Sciences (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明实施例涉及虚拟现实技术领域，公开了一种应用于会诊的虚拟现实仿真方法及系统，该方法包括：拍摄手术过程的手术全景影像；根据手术全景影像构造手术仿真场景；获取会诊人员输入的用于调整手术仿真场景的视角的视角调整指令；根据视角调整指令调整手术仿真场景，得到手术会诊仿真场景；向会诊人员输出手术会诊仿真场景；采集手术过程中手术人员及会诊人员的手术会诊音频；存储手术全景影像及手术会诊音频作为手术会诊记录。可见，通过构造虚拟现实的会诊仿真场景，会诊人员可通过虚拟现实设备实时且直观地从多个视角观察到仿真的手术场景，与身处手术现场的手术人员进行沟通，对手术进行实时指导，增强会诊效果。
Description
技术领域
本发明涉及虚拟现实技术领域，具体涉及一种应用于会诊的虚拟现实仿真方法及系统。
背景技术
医疗机构在遇到疑难病例时，通常会邀请相关专业人士进行会诊，协助对疑难病例进行诊断并制定针对性的治疗方案。然而，会诊存在着诸多局限性，当会诊需要邀请外院专家参与时，会诊时间将根据外院专家的行程来做安排，而时间的耽搁可能错过患者的手术最佳窗口期。近年来，基于互联网的、采用音视频技术的远程会诊应用广泛，虽然远程会诊克服了时间与行程安排等问题，但外院专家仅能借助患者的病历资料、视频影像以及与主治医师的沟通来做出诊断、进行手术指导，由于无法实际接触到患者，会诊效果不够理想。
发明内容
本发明实施例公开了一种应用于会诊的虚拟现实仿真方法及系统，会诊人员可通过虚拟现实设备实时且直观地从多个视角观察到仿真的手术场景，与身处手术现场的手术人员进行沟通，对手术进行实时指导，增强会诊效果。
本发明实施例第一方面公开了一种应用于会诊的虚拟现实仿真方法，包括：
拍摄手术过程的手术全景影像；
根据所述手术全景影像构造手术仿真场景；
获取会诊人员输入的用于调整所述手术仿真场景的视角的视角调整指令；
根据所述视角调整指令调整所述手术仿真场景，得到手术会诊仿真场景；
向所述会诊人员输出所述手术会诊仿真场景；
采集手术过程中手术人员及所述会诊人员的手术会诊音频；
存储所述手术全景影像及所述手术会诊音频作为手术会诊记录。
作为一种可选的实施方式，在本发明实施例的第一方面中，在所述存储所述手术全景影像及所述手术会诊音频作为手术会诊记录之后，所述方法还包括：
提取所述手术会诊音频中发言时长超过预设时长的有效音频片段；
提取所述手术全景影像中与所述有效音频片段对应的有效影像片段；
基于所述有效音频片段及所述有效影像片段生成手术教学案例，用于辅助医学生学习手术技能。
作为一种可选的实施方式，在本发明实施例的第一方面中，在所述拍摄手术过程的手术全景影像之前，所述方法还包括：
获取针对患者病灶的断层扫描图像，根据所述断层扫描图像构造对应于所述患者病灶的病灶三维仿真模型；
在虚拟现实场景下向所述会诊人员输出所述病灶三维仿真模型；
采集术前会诊过程中所述会诊人员的术前会诊音频、所述会诊人员针对所述患者做出的诊断报告及手术方案作为术前会诊记录。
作为一种可选的实施方式，在本发明实施例的第一方面中，在所述采集术前会诊过程中所述会诊人员的术前会诊音频、所述会诊人员针对所述患者做出的诊断报告及手术方案作为术前会诊记录之后，以及在所述拍摄手术过程的手术全景影像之前，所述方法还包括：
根据所述术前会诊记录生成手术演示视频；
向所述患者的家属演示所述手术演示视频，以使所述患者的家属了解手术过程与手术风险。
本发明实施例第一方面公开了一种应用于会诊的虚拟现实仿真系统，包括：
拍摄单元，用于拍摄手术过程的手术全景影像；
手术仿真单元，用于根据所述手术全景影像构造手术仿真场景；
指令获取单元，用于获取会诊人员输入的用于调整所述手术仿真场景的视角的视角调整指令；
会诊仿真单元，用于根据所述视角调整指令调整所述手术仿真场景，得到手术会诊仿真场景；
第一输出单元，用于向所述会诊人员输出所述手术会诊仿真场景；
音频采集单元，用于采集手术过程中手术人员及所述会诊人员的手术会诊音频；
第一记录单元，用于存储所述手术全景影像及所述手术会诊音频作为手术会诊记录。
作为一种可选的实施方式，在本发明实施例的第二方面中，所述系统还包括：
音频提取单元，用于在所述第一记录单元存储所述手术全景影像及所述手术会诊音频作为手术会诊记录之后，提取所述手术会诊音频中发言时长超过预设时长的有效音频片段；
影像提取单元，用于提取所述手术全景影像中与所述有效音频片段对应的有效影像片段；
教案生成单元，用于基于所述有效音频片段及所述有效影像片段生成手术教学案例，用于辅助医学生学习手术技能。
作为一种可选的实施方式，在本发明实施例的第二方面中，所述系统还包括：
病灶仿真单元，用于在所述拍摄单元拍摄手术过程的手术全景影像之前，
获取针对患者病灶的断层扫描图像，根据所述断层扫描图像构造对应于所述患者病灶的病灶三维仿真模型；
第二输出单元，用于在虚拟现实场景下向所述会诊人员输出所述病灶三维仿真模型；
第二记录单元，用于采集术前会诊过程中所述会诊人员的术前会诊音频、所述会诊人员针对所述患者做出的诊断报告及手术方案作为术前会诊记录。
作为一种可选的实施方式，在本发明实施例的第二方面中，所述系统还包括：
视频生成单元，用于在所述第二记录单元采集术前会诊过程中所述会诊人员的术前会诊音频、所述会诊人员针对所述患者做出的诊断报告及手术方案作为术前会诊记录之后，以及在所述拍摄单元拍摄手术过程的手术全景影像之前，根据所述术前会诊记录生成手术演示视频；
视频演示单元，用于向所述患者的家属演示所述手术演示视频，以使所述患者的家属了解手术过程与手术风险。
本发明实施例第三方面公开了一种虚拟现实设备，包括本发明实施例第一方面所述的应用于会诊的虚拟现实仿真方法。
本发明实施例第四方面公开了一种虚拟现实设备，包括本发明实施例第二方面所述的应用于会诊的虚拟现实仿真系统。
本发明实施例第五方面公开了一种应用于会诊的虚拟现实仿真系统，包括：
存储有可执行程序代码的存储器；
与所述存储器耦合的处理器；
所述处理器调用所述存储器中存储的所述可执行程序代码，执行本发明实施例第一方面公开的一种应用于会诊的虚拟现实仿真方法的部分步骤。
本发明实施例第六方面公开一种计算机可读存储介质，其存储计算机程序，其中，所述计算机程序使得计算机执行本发明实施例第一方面公开的一种应用于会诊的虚拟现实仿真方法的全部或部分步骤。
与现有技术相比，本发明实施例具有以下有益效果：
本发明实施例中，通过拍摄手术过程的手术全景影像；根据手术全景影像构造手术仿真场景；获取会诊人员输入的用于调整手术仿真场景的视角的视角调整指令；根据视角调整指令调整手术仿真场景，得到手术会诊仿真场景；向会诊人员输出手术会诊仿真场景；采集手术过程中手术人员及会诊人员的手术会诊音频；存储手术全景影像及手术会诊音频作为手术会诊记录。可见，通过在虚拟现实场景下构造会诊仿真场景，身处异地的会诊人员可通过虚拟现实设备实时且直观地观察到仿真的手术场景，并可自由地从多个视角观察手术过程，与身处手术现场的手术人员进行沟通，对手术进行实时指导，增强会诊效果。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例公开的一种应用于会诊的虚拟现实仿真方法的流程示意图；
图2是本发明实施例公开的另一种应用于会诊的虚拟现实仿真方法的流程示意图；
图3是本发明实施例公开的一种应用于会诊的虚拟现实仿真系统的结构示意图；
图4是本发明实施例公开的另一种应用于会诊的虚拟现实仿真系统的结构示意图；
图5是本发明实施例公开的又一种应用于会诊的虚拟现实仿真系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书中的术语“第一”、“ 第二”、“ 第三”和“第四”等是用于区别不同的对象，而不是用于描述特定顺序。本发明实施例的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
本发明实施例公开了一种应用于会诊的虚拟现实仿真方法及系统，能够在虚拟现实场景下构造会诊仿真场景，使身处异地的会诊人员通过虚拟现实设备实时且直观地接触到仿真的手术场景，并自由地从多个视角观察手术过程，与身处手术现场的手术人员进行沟通，对手术进行实时指导，增强会诊效果。
实施例一
请参阅图1，如图1所示，本发明实施例公开的一种应用于会诊的虚拟现实仿真方法可以包括以下步骤。
101、拍摄手术过程的手术全景影像。
本发明实施例中，患者在手术台接受手术的过程，将由布置在手术台周围的多台摄影设备进行拍摄，并合成得到手术过程的手术全景影像，从而通过手术全景影像可从各个视角观察得到手术台上的场景。
作为一种可选的实施方式，在拍摄手术全景影像时，还将识别各摄影设备所拍摄到的影像中的人体轮廓，当识别到某一摄像设备所拍摄的影像中存在部分区域被人体等物体所遮挡时，将采用其它摄像设备所拍摄到的不存在遮挡的影像来填补被遮挡的区域，从而最大程度减少全景影像中无关物体的存在，使拍摄出来的全景影像只存在患者及必要的手术器械的影像。
102、根据手术全景影像构造手术仿真场景。
本发明实施例中，在使用了足够数量的全景影像对用于构造虚拟现实仿真场景的深度学习算法进行训练后，该深度学习算法可构造出还原度准确的手术仿真场景，从而手术仿真场景可在虚拟现实场景下实时地同步，并由佩戴虚拟现实设备的人员进行观察，达到将手术仿真场景进行实时仿真的效果。
103、获取会诊人员输入的用于调整手术仿真场景的视角的视角调整指令。
本发明实施例中，会诊人员在佩戴虚拟现实设备观察手术仿真场景时，可对手术仿真场景的视角进行调整。
作为一种可选的实施方式，会诊人员可通过输入视角调整指令来调整手术仿真场景的视角，从而实现从不同角度对手术仿真场景进行观察，会诊人员可通过鼠标、体感手套等设备来输入视角调整指令，例如当佩戴了体感手套的会诊人员做出向右挥手的动作时，则触发对手术仿真场景进行逆时针旋转的视角调整指令；可以理解的是，视角调整指令的触发方式可根据会诊人员所使用的设备及具体使用场景来进行设定，以契合会诊人员的使用习惯。
104、根据视角调整指令调整手术仿真场景，得到手术会诊仿真场景。
本发明实施例中，手术会诊仿真场景是在手术仿真场景的基础上进行视角调整得到的。
作为一种可选的实施方式，将根据会诊人员在步骤103中输入的诸如旋转、放大等视角调整指令，对手术仿真场景进行调整，例如在检测到会诊人员输入的进行逆时针旋转的视角调整指令时，获取该视角调整指令所指示的旋转角度，将手术仿真场景按照该旋转角度进行调整，构造得到的虚拟现实仿真场景则为会诊人员所要观察的手术会诊仿真场景，从而可便利地为会诊人员构造出手术过程中各个视角的手术仿真场景。
作为另一种可选的实施方式，当会诊人员所使用的虚拟现实设备包括动作捕捉设备时，手术会诊仿真场景可直接采用未经调整的手术仿真场景，并通过动作捕捉设备捕捉会诊人员自身的行为数据，通过行为数据实时调整会诊人员的观察视角，从而会诊人员可在虚拟现实场景下围绕着手术会诊仿真场景中的“手术台”及“患者”进行走动观察，使会诊人员获得身临其境的浸入式体验。
105、向会诊人员输出手术会诊仿真场景。
本发明实施例中，会诊人员将通过佩戴的虚拟现实眼镜等虚拟现实设备对会诊手术仿真场景进行观察，直观地观察到手术全过程，从而获得普通远程会诊所无法达到的浸入式会诊体验。
106、采集手术过程中手术人员及会诊人员的手术会诊音频。
本发明实施例中，将对手术及手术会诊过程中手术人员及会诊人员所进行的讨论、指导等手术会诊音频进行采集，作为该次手术及手术会诊的档案进行留存。
107、存储手术全景影像及手术会诊音频作为手术会诊记录。
本发明实施例中，手术全景影像及手术会诊音频将作为手术会诊记录进行留存，以实现手术及会诊流程的规范化。
作为一种可选的实施方式，在存储手术全景影像及手术会诊音频作为手术会诊记录之后，提取手术会诊音频中发言时长超过预设时长的有效音频片段；提取手术全景影像中与有效音频片段对应的有效影像片段；基于有效音频片段及有效影像片段生成手术教学案例，用于辅助医学生学习手术技能。具体地，需要进行手术会诊的病例，通常是手术难度大，或者存在特殊情况的病例，对此类病例所进行的手术与会诊具有较高的参考与教学价值，因此，在完成手术并采集得到手术会诊记录之后，还将根据手术会诊记录生成手术教学案例；先提取出手术会诊音频中的有效音频片段，有效音频片段是指手术人员与会诊人员进行沟通交流产生的音频片段，为了避免手术过程中手术人员简短的操作交流被误识别，在此设定一个预设时长，唯有音频时长超过预设时长的音频片段才会被识别为有效音频片段；在采集得到有效音频片段之后，将根据有效音频片段在手术过程中的时刻信息采集对应的时刻的而有效影像片段，假设在手术会诊音频的第十分钟起到第十一分钟期间存在一段有效音频片段，则采集手术全景影像中第十分钟起到第十一分钟期间的影像片段作为该有效音频片段对应的有效影像片段，在采集到的若干有效音频片段及对应的有效影像片段中，选取具有代表性及教学意义的部分片段作为手术教学案例，从而医学生在学习过程中可参考手术教学案例，学习手术技能，实际了解到手术实操中的情况。
可见，实施图1所描述的应用于会诊的虚拟现实仿真方法，身处异地的会诊人员可通过虚拟现实设备实时且直观地接触到仿真的手术场景，并可自由地从多个视角观察手术过程，与身处手术现场的手术人员进行沟通，对手术进行实时指导，增强会诊效果。
实施例二
请参阅图2，图2是本发明实施公开的另一种应用于会诊的虚拟现实仿真方法，该方法可以包括以下步骤。
201、获取针对患者病灶的断层扫描图像，根据断层扫描图像构造对应于患者病灶的病灶三维仿真模型。
本发明实施例中，远程会诊除了可应用于手术过程中进行手术会诊，还可应用于传统的术前远程会诊，而会诊前将获取针对患者病灶的断层扫描图像，根据断层扫描图像构造出对应于患者病灶的病灶三维仿真模型，通过病灶三维仿真模型，会诊人员可立体直观地观察病灶，达到良好的会诊效果。
202、在虚拟现实场景下向会诊人员输出病灶三维仿真模型。
本发明实施例中，会诊人员将佩戴虚拟现实设备对病灶三维仿真模型进行观察，并进行语音沟通，对患者的病情进行评估，出具手术方案。
203、采集术前会诊过程中会诊人员的术前会诊音频、会诊人员针对患者做出的诊断报告及手术方案作为术前会诊记录。
本发明实施例中，会诊过程中的会诊音频、会诊所出具的诊断报告及手术方案将被记录留存，并应用于接下来的手术过程。
作为一种可选的实施方式，在采集术前会诊过程中会诊人员的术前会诊音频、会诊人员针对患者做出的诊断报告及手术方案作为术前会诊记录之后，以及在拍摄手术过程的手术全景影像之前，根据术前会诊记录生成手术演示视频；向患者的家属演示手术演示视频，以使患者的家属了解手术过程与手术风险。具体地，患者或者患者家属通常不具备医学领域的相关知识，因此在手术前有必要与患者或者患者家属进行沟通交流，在此，根据术前会诊记录生成手术演示视频，手术演示视频中将以病灶三维仿真模型为基础，向患者或患者家属介绍会诊人员在会诊后对患者病情所做出的评估及诊断结果，以及大致的手术方案和手术流程，并向患者家属交待手术的成功率及术后康复评估，并在与患者或患者家属达成共识后，再进行后续的手术安排。通过上述方式，可使患者与患者家属对病情有足够清楚的认识，避免由于患者或者患者家属误解而产生医疗纠纷，促进医患关系和谐发展。
204、拍摄手术过程的手术全景影像。
205、根据手术全景影像构造手术仿真场景。
206、获取会诊人员输入的用于调整手术仿真场景的视角的视角调整指令。
207、根据视角调整指令调整手术仿真场景，得到手术会诊仿真场景。
208、向会诊人员输出手术会诊仿真场景。
209、采集手术过程中手术人员及会诊人员的手术会诊音频。
210、存储手术全景影像及手术会诊音频作为手术会诊记录。
可见，实施图2所描述的应用于会诊的虚拟现实仿真方法，可在术前为会诊人员构造虚拟现实场景下的会诊场景，在传统的远程会诊的基础上提供更真实的浸入式的术前会诊体验；而通过手术演示视频，则可帮助患者及患者家属了解病情与手术方案，促进医患关系和谐发展。
实施例三
请参阅图3，图3是本发明实施例公开的一种应用于会诊的虚拟现实仿真系统（以下简称为“系统”）的结构示意图。该系统可以包括：
拍摄单元301，用于拍摄手术过程的手术全景影像；
手术仿真单元302，用于根据手术全景影像构造手术仿真场景；
指令获取单元303，用于获取会诊人员输入的用于调整手术仿真场景的视角的视角调整指令；
会诊仿真单元304，用于根据视角调整指令调整手术仿真场景，得到手术会诊仿真场景；
第一输出单元305，用于向会诊人员输出手术会诊仿真场景；
音频采集单元306，用于采集手术过程中手术人员及会诊人员的手术会诊音频；
第一记录单元307，用于存储手术全景影像及手术会诊音频作为手术会诊记录；
音频提取单元308，用于在第一记录单元存储手术全景影像及手术会诊音频作为手术会诊记录之后，提取手术会诊音频中发言时长超过预设时长的有效音频片段；
影像提取单元309，用于提取手术全景影像中与有效音频片段对应的有效影像片段；
教案生成单元310，用于基于有效音频片段及有效影像片段生成手术教学案例，用于辅助医学生学习手术技能。
本发明实施例中，手术仿真单元302基于拍摄单元301所拍摄到的手术全景影像构造手术仿真场景，会诊仿真单元304根据指令获取单元303所获取到的视角调整指令调整手术仿真场景，得到手术会诊仿真场景，第一输出单元305向会诊人员输出手术会诊仿真场景，在手术会诊过程中，音频采集单元306采集手术会诊音频，并由第一记录单元307存储手术全景影像及手术会诊音频作为手术会诊记录，教案生成单元310根据音频提取单元308及影像提取单元309所提取的有效音频片段及有效影像片段，生成手术教学案例。
作为一种可选的实施方式，拍摄单元301在拍摄手术全景影像时，还将识别各摄影设备所拍摄到的影像中的人体轮廓，当拍摄单元301识别到某一摄像设备所拍摄的影像中存在部分区域被人体等物体所遮挡时，将采用其它摄像设备所拍摄到的不存在遮挡的影像来填补被遮挡的区域，从而最大程度减少全景影像中无关物体的存在，使拍摄出来的全景影像只存在患者及必要的手术器械的影像。
作为一种可选的实施方式，会诊人员可通过输入视角调整指令来调整手术仿真场景的视角，从而实现从不同角度对手术仿真场景进行观察，会诊人员可通过鼠标、体感手套等设备来输入视角调整指令，指令获取单元303检测并获取会诊人员输入的视角调整指令，例如当佩戴了体感手套的会诊人员做出向右挥手的动作时，则触发对手术仿真场景进行逆时针旋转的视角调整指令；可以理解的是，视角调整指令的触发方式可根据会诊人员所使用的设备及具体使用场景来进行设定，以契合会诊人员的使用习惯。
作为一种可选的实施方式，会诊仿真单元304将根据指令获取单元303获取到的会诊人员输入的诸如旋转、放大等视角调整指令，对手术仿真场景进行调整，例如在指令获取单元303检测到会诊人员输入的进行逆时针旋转的视角调整指令时，会诊仿真单元304获取该视角调整指令所指示的旋转角度，将手术仿真场景按照该旋转角度进行调整，构造得到的虚拟现实仿真场景则为会诊人员所要观察的手术会诊仿真场景，从而可便利地为会诊人员构造出手术过程中各个视角的手术仿真场景。
作为另一种可选的实施方式，当会诊人员所使用的虚拟现实设备包括动作捕捉设备时，手术会诊仿真场景可直接采用未经调整的手术仿真场景，指令获取单元303通过动作捕捉设备捕捉会诊人员自身的行为数据，通过行为数据实时调整会诊人员的观察视角，从而会诊人员可在虚拟现实场景下围绕着手术会诊仿真场景中的“手术台”及“患者”进行走动观察，使会诊人员获得身临其境的浸入式体验。
作为一种可选的实施方式，在第一记录单元307存储手术全景影像及手术会诊音频作为手术会诊记录之后，音频提取单元308提取手术会诊音频中发言时长超过预设时长的有效音频片段；影像提取单元309提取手术全景影像中与有效音频片段对应的有效影像片段；教案生成单元310基于有效音频片段及有效影像片段生成手术教学案例，用于辅助医学生学习手术技能。具体地，需要进行手术会诊的病例，通常是手术难度大，或者存在特殊情况的病例，对此类病例所进行的手术与会诊具有较高的参考与教学价值，因此，在完成手术并采集得到手术会诊记录之后，教案生成单元310还将根据手术会诊记录生成手术教学案例；音频提取单元308先提取出手术会诊音频中的有效音频片段，有效音频片段是指手术人员与会诊人员进行沟通交流产生的音频片段，为了避免手术过程中手术人员简短的操作交流被误识别，在此设定一个预设时长，唯有音频时长超过预设时长的音频片段才会被识别为有效音频片段；在采集得到有效音频片段之后，影像提取单元309将根据有效音频片段在手术过程中的时刻信息采集对应的时刻的而有效影像片段，假设在手术会诊音频的第十分钟起到第十一分钟期间存在一段有效音频片段，则采集手术全景影像中第十分钟起到第十一分钟期间的影像片段作为该有效音频片段对应的有效影像片段，在音频提取单元308及影像提取单元309采集到的若干有效音频片段及对应的有效影像片段中，教案生成单元310选取具有代表性及教学意义的部分片段作为手术教学案例，从而医学生在学习过程中可参考手术教学案例，学习手术技能，实际了解到手术实操中的情况。
可见，实施图3所描述的应用于会诊的虚拟现实仿真系统，身处异地的会诊人员可通过虚拟现实设备实时且直观地接触到仿真的手术场景，并可自由地从多个视角观察手术过程，与身处手术现场的手术人员进行沟通，对手术进行实时指导，增强会诊效果。
实施例四
请参阅图4，图4是本发明实施例公开的另一种应用于会诊的虚拟现实仿真系统（以下简称为“系统”）的结构示意图。该系统还包括：
病灶仿真单元311，用于在拍摄单元301拍摄手术过程的手术全景影像之前，获取针对患者病灶的断层扫描图像，根据断层扫描图像构造对应于患者病灶的病灶三维仿真模型；
第二输出单元312，用于在虚拟现实场景下向会诊人员输出病灶三维仿真模型；
第二记录单元313，用于采集术前会诊过程中会诊人员的术前会诊音频、会诊人员针对患者做出的诊断报告及手术方案作为术前会诊记录；
视频生成单元314，用于在第二记录单元313采集术前会诊过程中会诊人员的术前会诊音频、会诊人员针对患者做出的诊断报告及手术方案作为术前会诊记录之后，以及在拍摄单元301拍摄手术过程的手术全景影像之前，根据术前会诊记录生成手术演示视频；
视频演示单元315，用于向患者的家属演示手术演示视频，以使患者的家属了解手术过程与手术风险。
本发明实施例中，病灶仿真单元311用于根据患者病灶的断层扫描图像构造病灶三维仿真模型，第二输出单元312在虚拟现实场景下向会诊人员输出病灶三维仿真模型，第二记录单元313则将采集术前会诊过程所产生的术前会诊记录，视频生成单元314生成用于与患者或患者家属沟通的手术演示视频，并由视频演示单元315进行演示。
作为一种可选的实施方式，在第二记录单元313采集术前会诊过程中会诊人员的术前会诊音频、会诊人员针对患者做出的诊断报告及手术方案作为术前会诊记录之后，以及在拍摄单元301拍摄手术过程的手术全景影像之前，视频生成单元314根据术前会诊记录生成手术演示视频；视频演示单元315向患者的家属演示手术演示视频，以使患者的家属了解手术过程与手术风险。具体地，患者或者患者家属通常不具备医学领域的相关知识，因此在手术前有必要与患者或者患者家属进行沟通交流，在此，视频生成单元314根据术前会诊记录生成手术演示视频，手术演示视频中将以病灶三维仿真模型为基础，由视频演示单元315向患者或患者家属介绍会诊人员在会诊后对患者病情所做出的评估及诊断结果，以及大致的手术方案和手术流程，并向患者家属交待手术的成功率及术后康复评估，并在与患者或患者家属达成共识后，再进行后续的手术安排。通过上述方式，可使患者与患者家属对病情有足够清楚的认识，避免由于患者或者患者家属误解而产生医疗纠纷，促进医患关系和谐发展。
可见，实施图4所描述的应用于会诊的虚拟现实仿真系统，可在术前为会诊人员构造虚拟现实场景下的会诊场景，在传统的远程会诊的基础上提供更真实的浸入式的术前会诊体验；而通过手术演示视频，则可帮助患者及患者家属了解病情与手术方案，促进医患关系和谐发展。
实施例五
请参阅图5，图5是本发明实施例公开的另一种应用于会诊的虚拟现实仿真系统的结构示意图。如图5所示，该应用于会诊的虚拟现实仿真系统可以包括：
存储有可执行程序代码的存储器501；
与存储器501耦合的处理器502；
其中，处理器502调用存储器501中存储的可执行程序代码，执行图1~图2所示的任意一种应用于会诊的虚拟现实仿真方法的部分步骤。
本发明实施例公开一种计算机可读存储介质，其存储计算机程序，其中，该计算机程序使得计算机执行图1~图2所示的任意一种应用于会诊的虚拟现实仿真方法的全部或部分步骤。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质包括只读存储器（Read-Only Memory，ROM）、随机存储器（Random Access Memory，RAM）、可编程只读存储器（Programmable Read-only Memory，PROM）、可擦除可编程只读存储器（Erasable Programmable Read Only Memory，EPROM）、一次可编程只读存储器（One-time Programmable Read-Only Memory，OTPROM）、电子抹除式可复写只读存储器（Electrically-Erasable Programmable Read-Only Memory，EEPROM）、只读光盘（CompactDisc Read-Only Memory，CD-ROM）或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。
以上对本发明实施例公开的一种应用于会诊的虚拟现实仿真方法及系统进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种应用于会诊的虚拟现实仿真方法，其特征在于，包括：
拍摄手术过程的手术全景影像；
根据所述手术全景影像构造手术仿真场景；
获取会诊人员输入的用于调整所述手术仿真场景的视角的视角调整指令；
根据所述视角调整指令调整所述手术仿真场景，得到手术会诊仿真场景；
向所述会诊人员输出所述手术会诊仿真场景；
采集手术过程中手术人员及所述会诊人员的手术会诊音频；
存储所述手术全景影像及所述手术会诊音频作为手术会诊记录。
2.根据权利要求1所述的方法，其特征在于，在所述存储所述手术全景影像及所述手术会诊音频作为手术会诊记录之后，所述方法还包括：
提取所述手术会诊音频中发言时长超过预设时长的有效音频片段；
提取所述手术全景影像中与所述有效音频片段对应的有效影像片段；
基于所述有效音频片段及所述有效影像片段生成手术教学案例，用于辅助医学生学习手术技能。
3.根据权利要求1所述的方法，其特征在于，在所述拍摄手术过程的手术全景影像之前，所述方法还包括：
获取针对患者病灶的断层扫描图像，根据所述断层扫描图像构造对应于所述患者病灶的病灶三维仿真模型；
在虚拟现实场景下向所述会诊人员输出所述病灶三维仿真模型；
采集术前会诊过程中所述会诊人员的术前会诊音频、所述会诊人员针对所述患者做出的诊断报告及手术方案作为术前会诊记录。
4.根据权利要求3所述的方法，其特征在于，在所述采集术前会诊过程中所述会诊人员的术前会诊音频、所述会诊人员针对所述患者做出的诊断报告及手术方案作为术前会诊记录之后，以及在所述拍摄手术过程的手术全景影像之前，所述方法还包括：
根据所述术前会诊记录生成手术演示视频；
向所述患者的家属演示所述手术演示视频，以使所述患者的家属了解手术过程与手术风险。
5.一种应用于会诊的虚拟现实仿真系统，其特征在于，包括：
拍摄单元，用于拍摄手术过程的手术全景影像；
手术仿真单元，用于根据所述手术全景影像构造手术仿真场景；
指令获取单元，用于获取会诊人员输入的用于调整所述手术仿真场景的视角的视角调整指令；
会诊仿真单元，用于根据所述视角调整指令调整所述手术仿真场景，得到手术会诊仿真场景；
第一输出单元，用于向所述会诊人员输出所述手术会诊仿真场景；
音频采集单元，用于采集手术过程中手术人员及所述会诊人员的手术会诊音频；
第一记录单元，用于存储所述手术全景影像及所述手术会诊音频作为手术会诊记录。
6.根据权利要求5所述的系统，其特征在于，所述系统还包括：
音频提取单元，用于在所述第一记录单元存储所述手术全景影像及所述手术会诊音频作为手术会诊记录之后，提取所述手术会诊音频中发言时长超过预设时长的有效音频片段；
影像提取单元，用于提取所述手术全景影像中与所述有效音频片段对应的有效影像片段；
教案生成单元，用于基于所述有效音频片段及所述有效影像片段生成手术教学案例，用于辅助医学生学习手术技能。
7.根据权利要求5所述的系统，其特征在于，所述系统还包括：
病灶仿真单元，用于在所述拍摄单元拍摄手术过程的手术全景影像之前，
获取针对患者病灶的断层扫描图像，根据所述断层扫描图像构造对应于所述患者病灶的病灶三维仿真模型；
第二输出单元，用于在虚拟现实场景下向所述会诊人员输出所述病灶三维仿真模型；
第二记录单元，用于采集术前会诊过程中所述会诊人员的术前会诊音频、所述会诊人员针对所述患者做出的诊断报告及手术方案作为术前会诊记录。
8.根据权利要求7所述的系统，其特征在于，所述系统还包括：
视频生成单元，用于在所述第二记录单元采集术前会诊过程中所述会诊人员的术前会诊音频、所述会诊人员针对所述患者做出的诊断报告及手术方案作为术前会诊记录之后，以及在所述拍摄单元拍摄手术过程的手术全景影像之前，根据所述术前会诊记录生成手术演示视频；
视频演示单元，用于向所述患者的家属演示所述手术演示视频，以使所述患者的家属了解手术过程与手术风险。
9.一种虚拟现实设备，其特征在于，包括权利要求1~4任一项所述的应用于会诊的虚拟现实仿真方法。
10.一种虚拟现实设备，其特征在于，包括权利要求5~8任一项所述的应用于会诊的虚拟现实仿真系统。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910939267.XA CN110838373A (zh) | 2019-09-30 | 2019-09-30 | 一种应用于会诊的虚拟现实仿真方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910939267.XA CN110838373A (zh) | 2019-09-30 | 2019-09-30 | 一种应用于会诊的虚拟现实仿真方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110838373A true CN110838373A (zh) | 2020-02-25 |
Family
ID=69574679
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910939267.XA Pending CN110838373A (zh) | 2019-09-30 | 2019-09-30 | 一种应用于会诊的虚拟现实仿真方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110838373A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111834021A (zh) * | 2020-07-20 | 2020-10-27 | 北京百度网讯科技有限公司 | 数据交互方法、装置、设备以及存储介质 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105872575A (zh) * | 2016-04-12 | 2016-08-17 | 乐视控股（北京）有限公司 | 基于虚拟现实的直播方法及装置 |
| CN106097215A (zh) * | 2016-06-06 | 2016-11-09 | 惠州Tcl移动通信有限公司 | 一种基于虚拟现实的医患换位体验方法及系统 |
| CN106534672A (zh) * | 2016-11-02 | 2017-03-22 | 深圳亿维锐创科技股份有限公司 | 一种医疗手术直播系统 |
| CN109247985A (zh) * | 2018-09-05 | 2019-01-22 | 北京数医科技有限公司 | 一种基于3d人体的手术辅助系统及方法 |
| US10277813B1 (en) * | 2015-06-25 | 2019-04-30 | Amazon Technologies, Inc. | Remote immersive user experience from panoramic video |
| CN208808665U (zh) * | 2018-02-11 | 2019-05-03 | 深圳市汇健医疗工程有限公司 | 一种人工智能手术室 |
| CN109875505A (zh) * | 2019-01-23 | 2019-06-14 | 南京巨鲨显示科技有限公司 | 一种基于虚拟现实技术的一体化手术室远程会诊方法 |
| CN109949887A (zh) * | 2019-03-18 | 2019-06-28 | 深圳安泰创新科技股份有限公司 | 会诊记录方法、装置及计算机可读存储介质 |
-
2019
- 2019-09-30 CN CN201910939267.XA patent/CN110838373A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10277813B1 (en) * | 2015-06-25 | 2019-04-30 | Amazon Technologies, Inc. | Remote immersive user experience from panoramic video |
| CN105872575A (zh) * | 2016-04-12 | 2016-08-17 | 乐视控股（北京）有限公司 | 基于虚拟现实的直播方法及装置 |
| CN106097215A (zh) * | 2016-06-06 | 2016-11-09 | 惠州Tcl移动通信有限公司 | 一种基于虚拟现实的医患换位体验方法及系统 |
| CN106534672A (zh) * | 2016-11-02 | 2017-03-22 | 深圳亿维锐创科技股份有限公司 | 一种医疗手术直播系统 |
| CN208808665U (zh) * | 2018-02-11 | 2019-05-03 | 深圳市汇健医疗工程有限公司 | 一种人工智能手术室 |
| CN109247985A (zh) * | 2018-09-05 | 2019-01-22 | 北京数医科技有限公司 | 一种基于3d人体的手术辅助系统及方法 |
| CN109875505A (zh) * | 2019-01-23 | 2019-06-14 | 南京巨鲨显示科技有限公司 | 一种基于虚拟现实技术的一体化手术室远程会诊方法 |
| CN109949887A (zh) * | 2019-03-18 | 2019-06-28 | 深圳安泰创新科技股份有限公司 | 会诊记录方法、装置及计算机可读存储介质 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111834021A (zh) * | 2020-07-20 | 2020-10-27 | 北京百度网讯科技有限公司 | 数据交互方法、装置、设备以及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6878628B2 (ja) | 生理学的モニタのためのシステム、方法、及びコンピュータプログラム製品 | |
| Desselle et al. | Augmented and virtual reality in surgery | |
| JP2022103224A (ja) | 医療処置のための拡張現実表示とタグ付け | |
| JP2019046481A (ja) | 動作情報処理装置 | |
| KR20190100009A (ko) | 수술영상 제공 방법 및 장치 | |
| KR20180058656A (ko) | 현실-증강된 형태학적 방법 | |
| CN110366758A (zh) | 医疗信息管理设备、医疗信息管理方法和医疗信息管理系统 | |
| US11672603B2 (en) | System for patient-specific intervention planning | |
| CN111771244B (zh) | 针对手术结果的反馈提供方法 | |
| US11139070B2 (en) | Medical information virtual reality server system, medical information virtual reality program, medical information virtual reality system, method of creating medical information virtual reality data, and medical information virtual reality data | |
| US11925418B2 (en) | Methods for multi-modal bioimaging data integration and visualization | |
| KR20200068992A (ko) | 전자 차트 관리 장치, 전자 차트 관리 방법 및 기록 매체 | |
| CN111770735A (zh) | 手术仿真信息生成方法及程序 | |
| CN110796064A (zh) | 人体肌肉图像的建立方法、装置、存储介质及电子设备 | |
| CN110838373A (zh) | 一种应用于会诊的虚拟现实仿真方法及系统 | |
| US20100150405A1 (en) | System and method for diagnosis of human behavior based on external body markers | |
| Castelan et al. | Augmented reality anatomy visualization for surgery assistance with HoloLens: AR surgery assistance with HoloLens | |
| KR20160115269A (ko) | 건강검진 정보 제공 애플리케이션 및 시스템 | |
| CN116916813A (zh) | 用于生理信号数据与位置信息收集及呈现的方法以及实现该方法的服务器及系统 | |
| KR101940706B1 (ko) | 수술 시뮬레이션 정보 생성방법 및 프로그램 | |
| CN112422901A (zh) | 一种手术虚拟现实视频的生成方法和装置 | |
| KR20130128783A (ko) | 보철물 매칭 시스템 및 방법, 그 기록 매체 | |
| JP2017016347A (ja) | 情報処理装置、情報処理方法及びプログラム | |
| KR102658995B1 (ko) | 인공지능 기술기반 수부 동작 학습 시스템 및 방법, 그리고 인공지능 모델을 이용한 질병 예측 시스템 및 방법 | |
| US20210298871A1 (en) | Cleaning support system, processing apparatus, and cleaning support method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20200225 |