CN110111875A

CN110111875A - 一种mr远程医疗系统

Info

Publication number: CN110111875A
Application number: CN201910208874.9A
Authority: CN
Inventors: 郭宸芸; 董家鸿
Original assignee: Beijing Jinrong Medical Technology Co Ltd
Current assignee: Beijing Jinrong Medical Technology Co Ltd
Priority date: 2019-03-19
Filing date: 2019-03-19
Publication date: 2019-08-09

Abstract

本发明公开了一种MR远程医疗系统，包括术前远程规划子系统、术中远程协作子系统和术后远程随访子系统；所述术前远程规划子系统包括MR3D重建模块、医疗云服务器和多个MR终端显示设备；所述术中远程协作子系统包括MR手术视频输出设备、麦克风、头戴式MR终端显示设备、MR视频处理器和MR手持移动设备；所述术后远程随访子系统包括头戴式MR终端显示设备、MR远程协作平台和MR手持智能设备；本发明能够为基层医院与远程专家建立覆盖基础远程会诊、自动影像重建、术前远程规划、术中远程协作和术后远程随访的整体交互体验。

Description

一种MR远程医疗系统

技术领域

本发明属于远程协作医疗技术领域，具体涉及一种MR远程医疗系统。

背景技术

远程会诊的概念由美国于1998年提出，原旨在运用计算机技术、通讯技术及多媒体技术与医疗技术相结合，从而均衡分配宝贵的医疗资源，并降低医疗开支。目前，远程医疗和简单的互联网医疗服务之间的界限并不明确，造成权责的分配不均和客观存在的模糊地带，这会在一定程度上阻碍行业的长期健康发展。同时，如何切实保障患者的利益(例如隐私权)将对各方是个挑战。新的针对远程医疗的制度尚未被充实和完善，同既有的传统规章制度和医疗项目也存在一些矛盾。目前的现有方案为视频会诊，即为院内医生和院外医生或院内医生和院外患者提供音视频交互，基层医院的医生与远程专家并不存在除了语言以外的交互，更无法接受远程专家手把手的指导去一步一步完成手术。其中一些优秀的方案可将患者数据分屏显示给对方，作为讨论材料。在术中远程会诊的现有方案则在手术室内以大屏幕显示远程专家的画面以及各种数据画面，手术主刀医生仍需要将注意力从术野中转移至大屏幕才可进行远程交互。术后远程会诊则出现远程医生遥控佩戴摄像头和麦克风的移动机器人开展病房的远程会诊。混合现实技术(MR)是增强现实技术AR的进一步发展，该技术通过在虚拟环境中引入现实场景信息(例如空间轴)，在虚拟世界、现实世界和用户之间(利用根据现实场景创建的空间轴)搭起一个交互反馈的信息回路，在新的可视化环境里物理和数字对象共存，并实时互动，让虚拟物体和真实物体之间产生交互以增强用户体验的真实感。

发明内容

有鉴于此，本发明提供了一种MR远程医疗系统，能够为基层医院与远程专家建立覆盖基础远程会诊、自动影像重建、术前远程规划、术中远程协作和术后远程随访的整体交互体验。

实现本发明的技术方案如下：

一种MR远程医疗系统，包括术前远程规划子系统、术中远程协作子系统和术后远程随访子系统；

所述术前远程规划子系统包括MR3D重建模块、医疗云服务器和多个MR终端显示设备；

所述术中远程协作子系统包括MR手术视频输出设备、麦克风、头戴式MR终端显示设备、MR视频处理器和MR手持移动设备；

所述术后远程随访子系统包括头戴式MR终端显示设备、MR远程协作平台和MR手持智能设备；

MR3D重建模块利用DICOM断层数字医学影像生成多模态的MR三维图像并上传至医疗云服务器；医疗云服务器将所述MR三维图像发送至多个MR终端显示设备上，并建立多个MR终端显示设备之间的远程交互；MR终端显示设备为MR三维图像的观察终端和远程交互终端；

MR手术视频输出设备获取手术仪器摄取的术野画面，麦克风捕捉手术现场的声音信息，头戴式MR终端显示设备用于采集手术医生前方视野画面，并显示术野画面和远程人员输入的标注信息；MR视频处理器收集术野画面、手术现场的声音信息和手术医生前方视野画面并传输给MR手持移动设备，MR手持移动设备播放所接收的画面信息和声音信息，并记录远程人员输入的标注信息；

头戴式MR终端显示设备还用于与MR手持智能设备视频通话、访问MR远程协作平台和显示MR手持智能设备输入的标注信息；MR远程协作平台用于记录患者的病情信息；MR手持智能设备用于与头戴式MR终端显示设备视频通话，并输入标注信息。

进一步地，MR3D重建模块利用DICOM断层数字医学影像生成多模态的MR三维图像具体为：MR3D重建模块读取DICOM断层数字医学影像，在相邻两断层图像间进行内插预处理，对预处理后的影像进行分析，由预存的医学影像大数据分析预估影像中的有效结构和无效结构，自动分割患者的骨骼、组织和病灶，并允许手动分割微调；将分割后的多模态的MR三维图像打包文件并上传医疗云服务器。

进一步地，所述远程交互包括语音信息的交互、各交互方对MR三维图像进行的角度、距离、体积的调整以及各交互方对MR三维图像进行移动、旋转、缩放、标注的操作，MR三维模型在各自对应标定空间实时同步显示。

进一步地，所述术中远程协作子系统还包括场景摄像头，场景摄像头用于拍摄手术室的场景图像并传输至MR视频处理器，MR视频处理器接收该场景图像并传输给手持移动终端，手持移动终端播放该场景图像。

进一步地，所述麦克风为全向降噪麦克风。

进一步地，所述MR视频处理器还用于访问医疗云服务器，获取影像信息。

有益效果：

1、MR3D重建模块通过对断层数字图像进行处理对快速编辑立体显示，可以对显示的效果进行任意方向(X\Y\Z)的刨面显示，可以通过推拉控制轴来控制刨面的尺寸，引入MR设备还可以直接在现实环境显示并交互。这无疑极大地提高了远程医疗诊断的直观性和准确性。

2、用多台MR终端显示设备建立远程交互，允许多台MR终端显示设备访问医疗云服务器以抓取同一个MR三维影像，并建立实时远程交互以及交互过程中输入远程交互指令的传输。解决了以往智能在屏幕上远程观看平面图像的问题，虽然通过引入远程控制机制也可以让远程的医生对本地的患者影像进行翻转调整等操作，但双方始终是在看屏幕，而屏幕显示的始终是2D画面，不论屏幕里的图像是不是3D。多台MR终端交互确保参与各方的真实环境中都产生一个与其真实环境有交互关系的3D影像，称为全息图。

3、术中MR视频处理器为远程医生提供了手术室画面、手术器械的操作画面和语音传输，首先解决了远程医生无法参与手术的问题，其次解决了即便远程医生参与了手术，如何为手术室医生提供有效指导的问题。通过远程手术平台将任意手术室画面和远程医生MR手持移动设备的输入标注进行叠合，让双方看到同一个有标注信息的画面。因此手术室医生能明确理解远程医生希望他/她在什么器官的什么位置用什么器械往什么方向去操作。由此为双方提供了相比视频指导时全靠口述解剖部位更简洁更直观的远程交互体验。

4、术前远程规划时重建的患者3D病灶图可用于术中视频处理浏览，帮助医生远程重新确定手术进度，同时解决了医生手术做一半需要移步去旁边参考CT/核磁片子的麻烦。

5、术中MR视频处理器可以记录包含远程指导标注的手术画面，由此解决了手术过程记录和指导回看的问题。医生可以将录制的视频用于学术材料指导他人，从而进一步延伸远程医疗的意义。

6、术后远程随访可以从MR远程协作平台调取术前的患者MR3D病灶图和术中手术画面，首先提供了本地医生和远程医生一种提醒，当天那场手术是怎么制定的方案和如何实施的，为术后随访提供重要的参考信息。进而也可以让非学医的家属对手术原理有清晰的认知，从而更配合术后疗养的各种细节。

附图说明

图1为本发明系统的结构示意图。

图2为本发明术前远程规划子系统流程图。

图3为本发明术中远程协作子系统结构图。

具体实施方式

下面结合附图并举实施例，对本发明进行详细描述。

如图1所示，本发明提供了一种MR远程医疗系统，包括术前远程规划子系统、术中远程协作子系统和术后远程随访子系统；

所述术中远程协作子系统包括MR手术视频输出设备、场景摄像头、全向降噪麦克风、头戴式MR终端显示设备、MR视频处理器和MR手持移动设备；

1、术前

如图2所示，MR3D重建软件用于读取DICOM断层数字医学影像，在相邻两断层图像间进行内插预处理；用于对单层2D视图的图像内容进行角度、距离、半径、周长、面积进行测量，以及划线标记。对3D视图模型进行角度、距离、体积测量；用于对预处理后的影像进行分析，由预存医学影像的大数据分析预估影像中的有效结构(病灶部位、血管、骨骼和软组织等)和无效结构(空腔、间隙等)，自动分割患者的骨骼、组织、病灶，并允许手动分割微调；将分割后的多模态的三维图像打包文件并上传医疗云服务器。

医疗云服务器对经过3D重建软件处理后的三维影像资料提供数据传输、处理与存储；用于为多台终端显示设备建立远程交互。允许多台终端显示设备访问医疗云服务器以抓取同一个三维影像，并建立实时远程交互以及交互过程中输入远程交互指令的传输，交互指令包括语音信息以及对模型进行的角度、距离、体积的调整，移动、旋转、缩放、标注等操作。允许术前远程规划的重建软件和终端显示设备访问，并调取影像资料；允许术中远程协作的视频处理器访问，并调取影像资料；允许术后远程随访的远程协作平台访问，并调取影像资料。

MR终端显示设备用于观察3D重建软件的实时分割图，便于微调；用于最终远程协作的观察和交互终端，作为发起交互的发起端和参与交互的参与端；用于访问医疗云服务器抓取模型，并与其他访问医疗云服务器的终端显示设备进行远程交互；用于接收用户输入的远程交互指令，交互指令包括语音信息以及对模型进行的角度、距离、体积的调整，移动、旋转、缩放、标注等操作，并通过医疗云服务器传输给其他终端显示设备；用于接收用户输入的语音信息，并通过医疗云服务器传输给其他终端显示设备。

2、术中

如图3所示，场景摄像头用于捕捉现场画面。

MR手术视频输出设备(医院的手术仪器，如内窥镜、显微镜等设备)；用于捕捉手术仪器摄取的术野画面。

全向降噪麦克风用于捕捉现场的声音信息，降噪是为了减少其他手术仪器的声音干扰

头戴式MR终端显示设备用于让手术医生佩戴直接观看手术视频输出设备的画面；用于让手术医生佩戴观看远程手持移动设备或个人电脑的画面；用于显示手术医生输入的标注信息；上述三种信号流可由佩戴者分别选择开关，如无需后两种，则仅仅观看手术视频设备输出的画面；用于采集手术医生前方视野画面；用于采集手术医生的语音信息；用于播放手持移动设备或个人电脑的声音信息。

MR视频处理器用于收集手术室中手术视频输出设备的画面信号、手术室场景画面信号、头戴式终端显示器输出的画面信号、现场的声音信息，通过互联网传输给手持移动设备或个人电脑。让远程人员可以看到手术室环境、手术设备中的术野、医生的前方视野，以及听到手术室的声音。用于收集手持移动设备或个人电脑的画面信息、摄像头图像信息、声音信息、人工输入的标注信息，通过互联网传输给头戴式终端显示设备和视频显示设备。让佩戴头戴式终端显示设备的医生直接看到远程人员的设备画面、标注信息、和摄像头捕捉的场景画面并且听到远程人员的声音。手术室其他人则通过另一视频显示设备观看。接收手持移动设备或个人电脑的标注信息，与原画面叠合并同步投放到头戴式终端显示设备和视频显示设备。访问术前规划系统的医疗云服务器，获取影像信息。

MR手持移动设备或个人电脑，用于接收并显示视频处理器收集的手术室中手术视频输出设备的画面信号、手术室场景画面信号、头戴式终端显示器输出的画面信号、现场的声音信息；用于投放其他音视频供手术室人员观看，例如患者影像资料和解剖模型；用于输入标注信息并发送给视频处理器，让手术室人员可以看到被标注后到画面。

3、术后

头戴式MR终端显示设备用于与手持智能设备视频通话；用于接受和发起视频通话呼叫；用于摄取佩戴者眼前的第一人称画面；用于采集佩戴者的语音和附近的声音；用于访问远程协作平台；用于观看手持智能设备的画面；用于观看手持智能设备的摄像头画面；用于观看手持智能设备输入的标注信息

MR远程协作平台软件用于记录使用信息的平台软件；用于建立远程视频通话；用于登陆用户进行呼叫；用于登陆用户记录姓名、单位、科室或部门等信息；用于登陆用户记录该次随访的患者姓名、性别、年龄、诊断、病情简述、药物情况、诊断报告等信息；用于在接收到呼叫时提供铃声和信息提醒；用于访问术前规划的医疗云服务器和术中协作的视频处理器，调取术前影像信息和术中影像信息。

MR手持智能设备用于与头戴式终端显示设备视频通话；用于接受和发起视频通话呼叫；用于共享屏幕画面；用于映射头戴式终端显示设备的第一人称画面；用于对画面输入叠合标注信息并同步到头戴式终端显示设备的画面。

整个系统的工作过程

a.术前

1.将患者扫描的D ICO M断层影像数据上传导入到3D重建软件。

2. 3D重建软件将断层影像快速重建成3D模型。

3. 3D重建软件根据大数据智能分析影像判断组织血管骨骼等结构分割模型。

4.用户根据智能分割模型的结果进行微调。此时可在平面显示器上以2D的方式观察和微调的3D重建模型，或以AR/VR/MR等立体终端显示设备观察和微调3D重建模型。

5.重建模型调整完毕后由终端显示设备上传服务器，不具备处理能力的终端显示设备则由3D重建软件代替上传服务器。

6.其他终端显示设备访问服务器抓取该重建模型，同时建立实时交互。不具备处理能力的终端显示设备则由3D重建软件代替抓取重建模型。

7.建立实时交互后，所有参与者的设备通过语音交流。

8.建立实时交互后，可通过交互方式可由语音、手势、键鼠、摇杆、手柄、触摸板和触摸屏等方式对模型进行操作。

9.建立实时交互后，当一方在模型上做出操作，在其他参与方的模型中会产生同样的操作。以此实现异地针对同一事物的讨论与方案规划。

b.术中

1.手术室现场医生佩戴头戴式终端显示设备。

2.手术室现场医生打开手术设备、视频处理器、视频显示设备。

3.手术室现场医生可填写本次手术的患者的姓名、性别、年龄、诊断、病情描述、药物情况、诊断报告等信息。

4.手术室现场医生选择远程协作平台上合适为本次手术做指导的医生。

5.手术室现场医生向异地专家发起实时音视频的请求。

6.异地专家接收本地医生实时音视频的请求开始视频通话。

7.手术室现场医生默认观看手术设备画面，可选择观看异地专家的手持移动设备或个人电脑的画面和摄像头画面。

8.异地专家获得本地医生前方视野画面、手术设备画面、手术室场景画面，并建立语音会议。

9.异地专家对本地医生填写本次手术的患者的姓名、性别、年龄、诊断、病情描述、药物情况、诊断报告等信息进行评估。

10.异地专家语音指导本地医生对患者进行手术。

11.异地专家可以对画面做出标注，被标注后的画面实时传输到手术室头戴式终端显示设备和视频显示设备。

12.异地专家可在手持移动设备或个人电脑上调取资料，并传输到手术室头戴式终端显示设备和视频显示设备；也可标注后传输到手术室头戴式终端显示设备和视频显示设备。

13.标注信息实时同步给本地医生的头戴式显示设备与视频显示设备。

14.至此建立远距离与手术室医生的即时沟通与视野共享，实现远距离与手术室医生的场景实时交互。

c.术后

1.本地医生佩戴头戴式终端显示设备。

2.本地医生注册并登陆远程协作平台软件。

3.本地医生选择平台上合适为本次随访做指导的医生。

4.本地医生填写本次手术的患者的姓名、性别、年龄、诊断、病情描述、药物情况、诊断报告等信息。

5.本地医生向异地专家发起实时音视频的请求。

6.异地专家接收本地医生实时音视频的请求开始视频通话。

7.异地专家获得本地医生前方视野。

8.异地专家对本地医生填写本次随访的患者的姓名、性别、年龄、诊断、病情描述、药物情况、诊断报告等信息进行评估。

9.异地专家语音指导本地医生对患者进行随访评估。

10.异地专家可以远程指导患者做一些康复性动作以评估手术结果。

11.针对显性病症，异地专家可在冻结画面上标注给本地医生看该病灶特征。

12.标注信息实时同步给本地医生的头戴式显示设备。

13.实现远距离与患者的即时沟通与随访。

14.实现远距离与本地医生的场景实时指导。

综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种MR远程医疗系统，其特征在于，包括术前远程规划子系统、术中远程协作子系统和术后远程随访子系统；

MR手术视频输出设备获取手术仪器摄取的手术视野画面，麦克风捕捉手术现场的声音信息，头戴式MR终端显示设备用于采集手术医生前方视野画面，并显示术野画面和远程人员输入的标注信息；MR视频处理器收集术野画面、手术现场的声音信息和手术医生前方视野画面并传输给MR手持移动设备，MR手持移动设备播放所接收的画面信息和声音信息，并记录远程人员输入的标注信息；

2.如权利要求1所述的一种MR远程医疗系统，其特征在于，MR3D重建模块利用DICOM断层数字医学影像生成多模态的MR三维图像具体为：MR3D重建模块读取DICOM断层数字医学影像，在相邻两断层图像间进行内插预处理，对预处理后的影像进行分析，由预存的医学影像大数据分析预估影像中的有效结构和无效结构，自动分割患者的组织和病灶，并允许手动分割微调；将分割后的多模态的MR三维图像打包文件并上传医疗云服务器。

3.如权利要求1所述的一种MR远程医疗系统，其特征在于，所述远程交互包括语音信息的交互、各交互方对MR三维图像进行的角度、距离、体积的调整以及各交互方对MR三维图像进行移动、旋转、缩放、标注的操作，MR三维模型在各自对应标定空间实时同步显示。

4.如权利要求1所述的一种MR远程医疗系统，其特征在于，所述术中远程协作子系统还包括场景摄像头，场景摄像头用于拍摄手术室的场景图像并传输至MR视频处理器，MR视频处理器接收该场景图像并传输给手持移动终端，手持移动终端播放该场景图像。

5.如权利要求1所述的一种MR远程医疗系统，其特征在于，所述麦克风为全向降噪麦克风。

6.如权利要求1所述的一种MR远程医疗系统，其特征在于，所述MR视频处理器还用于访问医疗云服务器，获取影像信息。