CN106534672A - 一种医疗手术直播系统 - Google Patents

Abstract

本发明公开了一种医疗手术直播系统，手术室前端采用双全景摄像机立体3D 360度扫描成像，形成全景立体格式视频，所述视频和手术室医疗设备影像及手术室双向对讲音频一起送入到音视频接入和特殊编码处理系统主机内部，音视频接入和编码处理主机对收到的核心信号进行超媒体记录存储并通过网络传输音视频资料给后端的手术显示端。本发明利用最新的3D立体图像扫描技术，音视频处理技术，特殊编解码技术，在保证合理带宽的情况下，高质量的同步传输立体音视频资料，使受众如身处手术室实景一般，具有沉浸感，立体感，画面感。

Description

一种医疗手术直播系统

技术领域

本发明涉及一种直播系统，具体是一种医疗手术直播系统。

背景技术

手术示教(示范教学)、远程专家会诊、手术指导、手术观摩、医疗器械操作演示培训等领域。普遍存在技术落后，成本高，教学视频图像不清晰、视频片面、不全面、不系统、不客观、网络延时大，不支持交互，不支持3D立体图像等缺点。现有技术画面感太差，没有立体感，不支持VR虚拟现实技术。

发明内容

本发明的目的在于提供一种医疗手术直播系统，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：

一种医疗手术直播系统，手术室前端采用双全景摄像机立体3D 360度扫描成像，形成全景立体格式视频，所述视频和手术室医疗设备影像及手术室双向对讲音频一起送入到音视频接入和特殊编码处理系统主机内部，音视频接入和编码处理主机对收到的核心信号进行超媒体记录存储并通过网络传输音视频资料给后端的手术显示端，此外，音视频接入和编码处理主机对收到的示教反馈控制系统信号进行处理，优化传输可视视角内的图像，手术显示端的音视频解码处理系统对前端送来的立体视频流进行解码，图像部分由高清VR显示终端显示，音频部分由音频处理系统和对讲部分处理；视角反馈控制系统接收来自VR显示终端内部陀螺仪的信号和手柄控制系统的信号，能够根据受众的观影爱好和兴趣智能的进行视角、视场调整；视角反馈控制系统通过网络将控制反馈信号发送给前端编码处理系统，由前端智能安排视角、视场发送到后端。

作为本发明进一步的方案：所述双全景摄像机中每个摄像机由8个镜头组成，采用周边7个镜头和底部一个镜头的结构，组成一个360度全覆盖的图像；两个摄像机共设计16个镜头，模拟人类的双眼，形成360度无死角的全景双目摄像。双目摄像采用左眼码流和右眼码流独立传输。

作为本发明再进一步的方案：摄像机镜头采集到的图像通过图像传感器进行A/D转换，然后进行图像的正畸、拼合、多余重叠区的裁切边缘的融合技术处理，处理完的视频进行高清编码和传输，高清编码板利用H.264压缩方式，将每个视频帧分离成由像素组成的块，采用空间冗余的方法，对视频帧的一些原始块进行空间预测、转换、优化和熵编码，对连续帧的不同块采用临时存放，采用剩余空间冗余技术，对视频帧里的残留块进行编码。

与现有技术相比，本发明的有益效果是：本发明利用最新的3D立体图像扫描技术，音视频处理技术，特殊编解码技术，在保证合理带宽的情况下，高质量的同步传输立体音视频资料，使受众如身处手术室实景一般，具有沉浸感，立体感，画面感。具有多媒体性，人机交互性，仿真性和构想性的特点。可系统、客观、全面的将整个系统以360度立体成像方式录像存储。日后可重复回放。并支持回放交互和回放时漫游，和直播时的操控性无异。系统利用网络传输交互技术可实现音视频交流和视频场景切换管理本发明采用网络音视频编解码直播技术，设备集成技术，运行监测技术，整合最新的360度3D立体全景拼接技术，VR虚拟现实技术，AR增强现实，结合医疗行业特点设计开发。通过本发明，可将过去“封闭式”独立的单元过渡到开放的信息枢纽，可广泛用于手术示教、学术交流、医患交流、远程会诊、重症监护、移动救护等。

附图说明

图1为医疗手术直播系统的结构示意图。

图2为医疗手术直播系统中音视频接入转换和特殊编码处理系统工作流程图。

图3为医疗手术直播系统中音频处理及对讲输入输出流程图。

图4为医疗手术直播系统中全景立体超媒体录像系统流程图。

图5为医疗手术直播系统中后端音视频解码系统及视角反馈控制系统控制流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1～5，本发明实施例中，一种医疗手术直播系统，手术室前端采用双全景摄像机立体3D 360度扫描成像，形成全景立体格式视频，所述视频和手术室医疗设备影像及手术室双向对讲音频一起送入到音视频接入和特殊编码处理系统主机内部，音视频接入和编码处理主机对收到的核心信号进行超媒体记录存储并通过网络传输音视频资料给后端的手术显示端，此外，音视频接入和编码处理主机对收到的示教反馈控制系统信号进行处理，优化传输可视视角内的图像，手术显示端的音视频解码处理系统对前端送来的立体视频流进行解码，图像部分由高清VR显示终端显示，音频部分由音频处理系统和对讲部分处理；视角反馈控制系统接收来自VR显示终端内部陀螺仪的信号和手柄控制系统的信号，能够根据受众的观影爱好和兴趣智能的进行视角、视场调整；视角反馈控制系统通过网络将控制反馈信号发送给前端编码处理系统，由前端智能安排视角、视场发送到后端。所述双全景摄像机中每个摄像机由8个镜头组成，采用周边7个镜头和底部一个镜头的结构，组成一个360度全覆盖的图像；两个摄像机共设计16个镜头，模拟人类的双眼，形成360度无死角的全景双目摄像。双目摄像采用左眼码流和右眼码流独立传输。所述双全景摄像机中每个摄像机由8个镜头组成，采用周边7个镜头和底部一个镜头的结构，组成一个360度全覆盖的图像；另外，本发明把双摄像系统集成到一台摄像机外壳里面，安装简单。摄像机镜头采集到的图像通过图像传感器进行A/D转换，然后进行图像的正畸、拼合、多余重叠区的裁切边缘的融合技术处理，处理完的视频进行高清编码和传输，高清编码板利用H.264压缩方式，将每个视频帧分离成由像素组成的块，采用空间冗余的方法，对视频帧的一些原始块进行空间预测、转换、优化和熵编码，对连续帧的不同块采用临时存放，采用剩余空间冗余技术，对视频帧里的残留块进行编码。

双全景立体3D摄像机采用共用一个外壳设计，内部2套全景摄像机设计，分别对应左眼摄像和右眼摄像，在水平方设计左眼和右眼摄像机分别设计7个镜头，每个镜头捕捉约51.5度的视角，左右眼摄像机相互垂直分布，结构美观。相机底部设计左右眼摄像机各1个镜头，相互水平分部。

摄像机核心电路采用高性能数字处理电路，在电路板上完成了视频模数转换、图像正畸、裁切、拼合和边缘融合等处理。处理后的视频通过简单的编码压缩后通过网络传送至后端。

音视频接入转换：主要目的是统一的接入不同的信号而设计的。本系统视频接入既要保证3D全景视频的接入也要兼容常规高清视频信号的接入和音频信号的接入。从接口上来看既要能接入网络数字信号也要能接入HDMI/DVI/SDI/VGA色差和AV等接口的信号。通过本系统的处理，将来自不同用途和不同类型的信号通过处理，形成一种统一的格式，方便程序统一处理、方便统一管理、调度及整体的录像和后端的观看。

特殊编码处理系统：特殊编码处理系统的主要目的是为了减少传输带宽、减少后端处理任务量、优化系统传输的实时性。使整个系统稳定高效。通俗的讲就是VR在视频观看时前端虽然是全景图，但是为节省带宽，优化方式处理，前端会根据后端观看角度仅仅传输正在观看视角内的视频，视角外的图像不进行没意义的传输，节约带宽和数据处理量。

工作流程为接收来自后端的反馈信号，通过立体建模系统，定位当前的镜头视角(可视范围)，然后进行视角扫描和视角运动预测。对视角内容从整体视频中切割出来，作为一个当前视角输出送到二次编码传输模块进行二次编码传输。

系统通过后端的控制手柄进行视场切换，视场切换可以切换不同的前端信号源，实现虚拟漫游定位功能。可以更清晰的观看具体医疗设备的视频。软件系统通过对当前视角定位，若视角内有显示器视频显示则可以通过视场切换的方式把显示器内容切到当前视角内，实现最清晰直接的显示。

视频漫游定位技术：视频观看者在虚拟空间中漫游时可以做定位，并且前端可以监测后端所处的视角坐标，当用户浏览到医疗显示器位置时可以提示视频切换，自动将医疗影像切换到当前视角，以便可以更清晰的观看设备显示内容。

二次编码传输模块主要目的是根据网络状况和带宽的占用情况进行智能的编码重组、弹性帧率采样率控制和码流优化。

音频处理和音频对讲系统主要为了解决前端和后端的语音交流问题。

语音通话支持三种方式：第一种为免提会议型。工作原理和视频会议一样，采用大音量的音箱和高灵敏度的麦克风实现会议级别免提对讲。可以多人同时参与沟通。第二种为无线耳麦对讲型。这种方式采用耳挂式无线对讲通信方式，类似于蓝牙连接，耳麦上含有耳机和麦克风话筒。此方式比较安静，不影响其他人，具有良好的私密性。第三种为标准耳机接口，方便有线通话，减少辐射和干扰。

三种音频方式通过对应的接口连接到音频处理功能模块。音频处理功能模块包含音频均衡、自动混音、回音消除、音质优化、背景降噪防啸叫处理等功能。

处理器还集成了音频矩阵切换装置，可对三种音频接入方式进行切换。音频功放的作用是把音频信号放大驱动音箱输出声音。

本发明根据医疗行业特点特别设计多通道，多视频，整合多数据信息统一的高标准可交互的特殊录像文件。它既可以多画面显示，每个画面也可以独立进行剪辑、合并、录制旁白、图像渲染、加字幕等多种制作功能，每一路视频文件可以单独放大、缩小，可以任意拖拽，画面显示可以任意组合，可以任意调整其在多画面中显示的位置。支持后期智能回放查询服务，并且录制文件可以快速刻录成盘。这里的超媒体指的是不仅可以记录全部的2D/3D音视频文件，回放时支持3D重建，还支持病人相关信息附加存储，一个录像文档包含了所有需要的病人资料。方便整体存档和回放。一个录像文件可包含病人从入院到出院全过程，可从术前、术中、术后3个方面进行全方位管理。录像服务器支持弹性多路码流灵活接入，可接入单路或同时接入多路媒体流，支持音频和视频同步传输。录像服务器还支持大容量数据库功能和磁盘阵列功能。

后端视频解码系统主要作用是接收前端送来的码流进行解码输出，解码输出按左右眼的格式分别显示在VR显示终端的左右显示区。同时音频编解码处理VR终端的语音对讲部分。对来自麦克风的音频进行优化处理或者把来自前端的音频处理后送往耳机。反馈控制系统分为基于内置陀螺仪的控制反馈系统和基于手柄操作的控制系统。陀螺仪可以根据受众的体位进行运动方向、运动角度和当前位置进行计算，自动的对视角进行调整。手柄操控终端提供手动的切换视角，调整视角和切换视场等功能，可以让受众更方便便捷的选择观看兴趣点。

视频漫游定位技术：主述视频观看者在虚拟空间中漫游时可以做定位，并且前端可以监测后端所处的视角坐标，当用户浏览到医疗显示器位置时可以提示视频切换，自动将医疗影像切换到当前视角，以便可以更清晰的观看设备显示内容。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (3)

1.一种医疗手术直播系统，其特征在于，手术室前端采用双全景摄像机立体3D 360度扫描成像，形成全景立体格式视频，所述视频和手术室医疗设备影像及手术室双向对讲音频一起送入到音视频接入和特殊编码处理系统主机内部，音视频接入和编码处理主机对收到的核心信号进行超媒体记录存储并通过网络传输音视频资料给后端的手术显示端，此外，音视频接入和编码处理主机对收到的示教反馈控制系统信号进行处理，优化传输可视视角内的图像，手术显示端的音视频解码处理系统对前端送来的立体视频流进行解码，图像部分由高清VR显示终端显示，音频部分由音频处理系统和对讲部分处理；视角反馈控制系统接收来自VR显示终端内部陀螺仪的信号和手柄控制系统的信号，能够根据受众的观影爱好和兴趣智能的进行视角、视场调整；视角反馈控制系统通过网络将控制反馈信号发送给前端编码处理系统，由前端智能安排视角、视场发送到后端。

2.根据权利要求1所述的医疗手术直播系统，其特征在于，所述双全景摄像机中每个摄像机由8个镜头组成，采用周边7个镜头和底部一个镜头的结构，组成一个360度全覆盖的图像；两个摄像机共设计16个镜头，模拟人类的双眼，形成360度无死角的全景双目摄像。双目摄像采用左眼码流和右眼码流独立传输。

3.根据权利要求1所述的医疗手术直播系统，其特征在于，摄像机镜头采集到的图像通过图像传感器进行A/D转换，然后进行图像的正畸、拼合、多余重叠区的裁切边缘的融合技术处理，处理完的视频进行高清编码和传输，高清编码板利用H.264压缩方式，将每个视频帧分离成由像素组成的块，采用空间冗余的方法，对视频帧的一些原始块进行空间预测、转换、优化和熵编码，对连续帧的不同块采用临时存放，采用剩余空间冗余技术，对视频帧里的残留块进行编码。