CN102164273A - 手术室医学信息重构与交互系统 - Google Patents

Abstract

一种面向手术室的手术室医学信息重构与交互系统，包括：信息采集模块、信息处理模块、服务器端模块和客户端模块，客户端模块通过局域网和/或因特网与服务器端模块相连，传输手术过程中医学影像及视音频信息。本发明通过对系统采集的视音频信息及医学影像信息的重构组合以及基于H.264和RTP标准的视音频编解码传输，建立手术室与外界的网络连接，实现手术室与示教室、主任室以及远程会议室之间高清且丰富的视音频交互，具有以软件方式实时组合传输高清医学影像的优点。

Description

手术室医学信息重构与交互系统

技术领域

本发明涉及的是一种通信和医学信息处理技术领域的系统，具体是一种手术室医学信息重构与交互系统。

背景技术

随着社会信息化和数字化程度的与日俱增，医院信息化建设已在全国各地医院普遍推广，许多医院成立了信息科，建立了基于传统视频传输技术的手术示教及远程会诊系统。现代化手术室装备了各种数字化医疗设备，如腔镜、C型臂X光机、术中导航系统等。传统手术室信息系统不完善的设计以及对各设备信息的独立操作，已无法满足更现代化的手术需求。另外，为了手术过程可以提供给学员观看以及实现远程会诊，视频传输的清晰度和速度也是信息系统的重要指标。为了集成手术室内各种信息，丰富手术过程中的示教内容，实现高效和准确的远程医疗会诊已成为现代临床医生的迫切需求。

近几年高清视频压缩和实时传输技术的发展为这类需求提供了技术可能性。视音频传输技术正不断在手术室中得到应用。2003年，武汉大学将第二临床学院的手术室与教室和病房连接起来，在多个图像采集点之间进行实时的语音和图像交互，系统仅供教学使用，且采集图像局限于手术局部；2006年，广州南方医院采用深圳迪威视讯(DVISION)公司的MPEG-2视讯系统将其神经外科手术图像传到观摩室进行手术观摩指导。但是这些应用仍就无法解决手术室内广泛的视音频需求。

经对现有文献检索发现，孙碧海、张晓祥等人于2007年发表在《中国数字医学》上的论文“医院手术室数字转播的设计与实现”，设计了用于手术示教的数字化转播系统，但该系统没有对手术室内丰富的医学信息进行整合，也无法处理和传输高清晰度的视频信息。陈欢、李劲松等人于2010年在《中国数字医学》上发表论文“全高清1080P手术示教系统的设计与实现”，该文向人们展示了全高清1080P技术在手术示教系统中的应用，但是该文设计的系统同样无法对手术室内丰富的医学信息进行整合，也很难在网络条件复杂的远程会诊中使用。

发明内容

本发明的目的在于克服现有技术中存在的不足，提供一种手术室医学信息重构与交互系统，通过对系统采集的视音频信息及医学影像信息的重构组合以及基于H.264和RTP标准的视音频编解码传输，建立手术室与外界的网络连接，实现手术室与示教室、主任室以及远程会议室之间高清且丰富的视音频交互，具有以软件方式实时组合传输高清医学影像的优点。

本发明是通过以下技术方案实现的，本发明包括：信息采集模块、信息处理模块、服务器端模块和客户端模块，其中：客户端模块通过局域网和/或因特网与服务器端模块相连，传输手术过程中医学影像及视音频信息。

所述的信息采集模块包括：音频采集子模块、全景视频采集子模块、术野视频采集子模块和医学设备影像采集子模块，其中：音频采集子模块采集环境音频。全景视频采集子模块采集全景摄像头图像，术野视频采集子模块采集手术术野视频。医学设备影像采集子模块采集腔镜、C型臂X光机设备影像。

所述的信息处理模块包括：信息重构子模块、编解码子模块和信息交互子模块，其中：信息重构子模块实现对采集的视频信息和医学信息的重构。该模块使用画中画和分屏的方式对术野摄像头视频、全景摄像头视频以及腔镜设备影像进行组合，经组合的视频作为重构后的信息经由系统压缩后传输至服务器端和客户端。编解码子模块实现高清视音频的编解码和实时远程传输。视频编解码基于H.264的标准，使用纯软件实现，提供高清编解码和实时的网络传输功能，通过线程优化，提高视频编解码在多核计算机上的性能和可靠性。视音频传输基于RTP协议，实现传输过程中的视音频同步，并保证各种网络条件下的多媒体通信质量。信息交互子模块使用画中画方式组合远端全景视频和重构后的视频信息，提供视频对话功能。该模块对音频信息和视频信息独立管理，以实现在交互过程中音频的点对点通信和广播通信。

所述的服务器端模块包括：触摸控制子模块和多屏显示子模块，其中：触摸控制子模块通过触摸屏统一控制手术室内医学设备和手术室内外视音频交互。多屏显示子模块将重构的医学影像信息以及交互视频通过手术室内多块医学专用屏和医学展示屏进行显示。

所述的客户端模块包括：示教室子模块、远程会议室子模块和主任室子模块，其中：示教室子模块用于现场教学，使得手术室内医师和示教室内学员可以通过系统软件面对面交流，共享在手术过程中丰富的主体医疗设备信息。远程会议室子模块用于远程会诊和手术展示，会诊专家可以在远程会场通过系统软件观看手术过程并查看实时的手术信息，以对手术医师提供帮助。主任室子模块用于医院内部管理和手术过程监控，手术过程中，医院管理层可以通过系统软件监视手术全过程，同时可以对手术医师下达指示或进行手术情况的咨询。

与现有技术相比，本发明的有益效果是：基于高分辨率视音频信息的高质量低带宽编码与传输，实现了针对手术室内异构医学信息的重构与交互。本发明完成了手术室术野高分辨率视频信息、全景视频信息、各种医疗设备图像信息以及各种来源的音频信息的分析与组合；实现了不同储存格式、不同分辨率的视频信息的分析、处理与重构，实施手术室、示教室、主任办公室、以及远程会议室之间视音频实时交互。

附图说明

图1为本发明结构示意图。

具体实施方式

以下结合附图和实施例对本发明的技术方案作进一步详细说明。以下实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和过程，但本发明的保护范围不限于下述的实施例。

为了更好地理解本发明提出的方法，本实施例搭建了模拟的手术室及会议室，软件部分使用VS2008开发平台实现，具体实施如下：

1)本实施例包括如下一些设备：

手术室内：无影灯下的术野摄像头、吊臂上的全景摄像头、一个42寸液晶屏及两个医用显示屏、音频处理设备和视音频服务器(处理器Intel Xeon E5450＊2，16GB DDR2内存，操作系统为windows XP Professional SP3)、触摸屏、PACS服务器、腔镜机。

示教室/远程会议室内：全景摄像头、音频处理设备、PC机(处理器Intel Quad 6600，4GB DDR2内存，操作系统为windows XP Professional SP3)、42寸液晶屏。

主任室内：一台PC机(处理器Intel Quad 6600，4GB DDR2内存，操作系统为windows XPProfessional SP3)、音频处理设备。

2)本实施例包括如下模块：

信息采集模块、信息处理模块、服务器端模块和客户端模块，其中：手术室服务器位于上海，客户端模块的示教室子模块和主任室子模块通过局域网与服务器端模块相连传输手术过程中医学影像及视音频信息。远程会议室子模块位于武汉，通过因特网与服务器端模块相连传输手术过程中医学影像及视音频信息。

所述的信息采集模块包括：音频采集子模块、全景视频采集子模块、术野视频采集子模块和医学设备影像采集子模块，其中：音频采集子模块采集环境音频，音频由话筒输入。全景视频采集子模块采集全景摄像头图像，全景摄像头通过高清图像采集卡与服务器相连。术野视频采集子模块采集手术术野视频，术野相机通过1394B卡与服务器相连。医学设备影像采集子模块采集腔镜和PACS医学设备影像。

所述的信息处理模块包括：信息重构子模块、编解码子模块和信息交互子模块，其中：信息重构子模块实现对采集的视频信息和医学信息的重构。该模块使用画中画和分屏的方式对术野摄像头视频、全景摄像头视频以及腔镜设备影像进行组合，组合过程通过软件实现，可灵活变动，经组合的视频作为重构后的信息经由系统压缩后传输至服务器端和客户端。编解码子模块实现高清视音频的编解码和实时远程传输。视频编解码基于H.264标准，音频编码基于MP3标准，使用OpenMP进行线程优化，提供高性能和高可靠性的视频编解码处理能力，尤其在多核计算机上的性能优化。应用该模块，可对视频和音频进行单独编码传输，或分别编码然后作为整体传输，以实现视音频同步。针对Internet应用遵循RTP协议，实现穿透NAT/防火墙的P2P网络传输，应用自适应比特率控制、前向纠错等技术以保证各种网络条件下的多媒体通信质量。视音频传输基于RTP协议，实现传输过程中的视音频同步，并保证各种网络条件下的多媒体通信质量。信息交互子模块使用画中画方式组合远端全景视频和重构后的视频信息，提供视频对话功能。该模块对音频信息和视频信息独立管理，实现在交互过程中音频的点对点通信和广播通信。

通过对多路采集的视频图像分屏组合和画中画处理，可以将手术室内多个设备信息同时向远端传送，并可以针对不同客户端定制不同的画面显示。手术室内医师和示教室内学员可通过画中画显示的图像互看全景，学员在观看手术过程和相关信息的同时可以与医师面对面交流。

所述的服务器端模块包括：触摸控制子模块和多屏显示子模块，其中：触摸控制子模块通过触摸屏统一控制手术室内医学设备和手术室内外视音频交互。触摸屏连接服务器电脑，直接控制服务器端程序。多屏显示子模块将重构的医学影像信息以及交互视频通过手术室内多块医学专用屏和医学展示屏进行显示。手术室内42寸液晶屏及两个医用显示屏用于显示重构的医学影像信息以及交互视频，医用屏挂在手术床边，显示医学影像信息和术野摄像头的组合信息，42寸液晶屏挂在墙上，显示组合的影像和远端视频，用于示教和远程会议。

所述的客户端模块包括：示教室子模块、远程会议室子模块和主任室子模块，其中：示教室子模块用于现场教学，使得手术室内医师和示教室内学员可以通过系统软件面对面交流，共享在手术过程中丰富的主体医疗设备信息。手术室内医师在手术过程中可以向示教室内学员展示术野视频以及各种主体医疗设备信息如内窥镜屏幕信息、PACS图像信息等，进行现场教学；示教室内学员可以随时提问并通过互看全景的方式实现与医师进行面对面交流；远程会议室子模块用于远程会诊和手术展示，会诊专家可以在远程会场通过系统软件观看手术过程，并根据实时的手术信息提供可能的帮助。主任室子模块用于医院内部管理和手术过程监控，通过独立的数据库系统进行账户管理。医院领导可以通过管理端连接手术室，查看和咨询手术进行状况。在通过画中画处理之后，管理端的显示可以独立于示教室和远程会议室，使得在管理层查看手术的过程中不影响示教和远程会议。在医院管理者登录系统时，在屏幕右上角显示管理者头像，作人性化提示。

3)本实施例的工作过程如下：

手术室内开启视音频服务器以及各种医学设备，示教室客户端和主任室管理端通过局域网连接至手术室，远程会议室客户端通过因特网连接至手术室。在手术室内医师的手术过程中，手术室内护士使用触摸屏控制手术室内外信息组合和连接逻辑，使用分屏和画中画方式组合各种影像信息，在手术室内多个显示屏上显示不同的实时信息，为手术医师提供服务，同时经重构的影像在网络传输后向示教室内学员展示术野视频以及各种主体医疗设备信息如内窥镜屏幕信息、PACS图像信息等，进行现场教学；示教室内学员可以随时提问并通过互看全景的方式实现与医师进行面对面交流；会诊专家在远程会场观看手术过程，并根据实时的手术信息提供可能的帮助；医院领导通过管理端软件查看和咨询手术进行状况；在医院管理者登录系统时，在屏幕右上角显示管理者头像；对示教室、远程会议上和主任室的音频管理使得这些地方可与手术室内单独交流或共同讨论。

本实施例实现了对多种医疗设备图像信息以及视音频信息的重构与实时传输，实现了高分辨率视音频信息的高质量低带宽编码与传输，在实现高清编码的传输过程中系统平均带宽占用为2Mbps，局域网平均网络延时为200ms，因特网平均网络延时为2000ms。

Claims (3)

1.一种手术室医学信息重构与交互系统，其特征在于，包括：信息采集模块、信息处理模块、服务器端模块和客户端模块，其中：客户端模块通过局域网和/或因特网与服务器端模块相连，传输手术过程中医学影像及视音频信息：

所述的信息处理模块包括：信息重构子模块、编解码子模块和信息交互子模块，其中：信息重构子模块使用画中画和分屏的方式对术野摄像头视频、全景摄像头视频以及腔镜设备影像进行组合实现对采集的视频信息和医学信息的重构，经组合的视频作为重构后的信息经由系统压缩后传输至服务器端和客户端，编解码子模块采用基于H.264的标准视频编解码并采用基于RTP协议进行视音频传输，通过线程优化实现高清视音频的编解码和实时远程传输，实现传输过程中的视音频同步，信息交互子模块对音频信息和视频信息独立管理并使用画中画方式组合远端全景视频和重构后的视频信息以实现在交互过程中音频的点对点通信和广播通信。

2.根据权利要求1所述的手术室医学信息重构与交互系统，其特征是，所述的信息采集模块包括：音频采集子模块、全景视频采集子模块、术野视频采集子模块和医学设备影像采集子模块，其中：音频采集子模块采集环境音频，全景视频采集子模块采集全景摄像头图像，术野视频采集子模块采集手术术野视频，医学设备影像采集子模块采集腔镜、C型臂X光机设备影像。

3.根据权利要求1所述的手术室医学信息重构与交互系统，其特征是，所述的服务器端模块包括：触摸控制子模块和多屏显示子模块，其中：触摸控制子模块通过触摸屏统一控制手术室内医学设备和手术室内外视音频交互，多屏显示子模块将重构的医学影像信息以及交互视频通过手术室内多块医学专用屏和医学展示屏进行显示。