CN106157213B - 一种医疗视频影像直播方法 - Google Patents

Abstract

本发明涉及一种医疗视频影像直播方法，包括以下步骤：步骤一，从各种医疗设备的视频输出端采集多路即时原始视频信号；步骤二，将多路即时原始视频信号在经视频分辨率、视频帧率和视频码率调整后转制成HD‑SDI格式；步骤三，对HD‑SDI格式的多路即时原始视频信号进行压缩编码，使其成为多路适于网络传播的流式媒体；步骤四，将流式媒体通过流媒体服务器和通信网络传输到直播解码终端。通过应用本发明中方法可以首先解决如何将医院中各种医疗设备输出的各种标准或非标准视频进行采集并进行处理后用于直播的技术问题。使得用户在一个终端即可收看到多路具有不同内容的视频画面。用户可以通过4G网络在手机端进行随时地“移动”观看，改善了用户体验。

Description

一种医疗视频影像直播方法

技术领域

本发明涉及用于远程医疗的视频图像传输技术领域，具体涉及一种医疗视频影像直播方法。

背景技术

在中国，各类视频采集卡、硬盘录像机等视频采集设备的应用使得远程医疗效率大大提高。许多医疗研发团队不失时机的寻求各种技术手段。为实现医用图像、视频等各种医用信号高效率传输，各类视频采集设备的兼容、高效也因此成为了关注的焦点。

在实践应用当中，我们会发现，各类医疗设备的视频输出格式五花八门，常规视频采集设备更多趋于非标格式。当面对医院各类繁多，品牌各异的医疗设备时，以往的做法是询问该厂家的工程师，了解该设备的视频输出接口以及信号格式、参数等。针对该设备需要配备专门的采集设备。而当医院需要接收其它设备的信号时，此前的设备很可能无法匹配。这样就需要再次重复之前的工作，重新购入新的设备。这样的结果一是资金的浪费，二是由于这些设备由于并未定制化生产，只能零散的摆放在对接设备旁，无法固定安装，不仅占用了空间，而且造成损坏的可能性也大大提高。

另外，在实践应用中，我们也发现远程医疗中用到的视频图像具有场（背）景固定、画面动态小的特点，还具有清晰度高、稳定性高和低延迟的要求。目前面向消费级市场的直播系统和其编码、解码方法不能很好地适应远程医疗的需求特点。在传输以及转换格式中存在着清晰度差、不兼容、易衰减等诸多因素，使得在信号在经过远距离传输后的图像、视频质量变的模糊、抖动等，极大的影响了使用。尤其是在无线网络等较恶劣通信环境下传输时，经常因为丢包等原因造成画面卡死或模糊，不能达到远程医疗所需要的水准。

发明内容

本发明要解决的技术问题（一）是：提出一种基于高清视频信号处理的解决各类视频采集设备兼容问题的医疗视频影像直播方法。

本发明要解决的技术问题（二）是：如何在恶劣通信环境下提供较稳定和较高清晰度视频传输问题。

本发明为解决上述技术问题（一）提出的技术方案是：一种医疗视频影像直播方法，包括以下步骤：

步骤一，从各种医疗设备的视频输出端采集多路即时原始视频信号；

步骤二，将所述多路即时原始视频信号在经视频分辨率、视频帧率和视频码率调整后转制成HD-SDI格式；

步骤三，对所述HD-SDI格式的多路即时原始视频信号进行压缩编码，使其成为多路适于网络传播的流式媒体；

步骤四，将所述流式媒体通过流媒体服务器和通信网络传输到直播解码终端。

进一步的，在步骤一中，所述采集多路即时原始视频信号是通过视频采集单元进行采集的，所述视频采集单元包括采集模块和输出模块。

进一步的，在步骤二中，所述视频分辨率、视频帧率和视频码率的调整分别是由视频分辨率调整模块、视频帧率调整模块和码率调整模块进行的，所述视频分辨率调整模块、视频帧率调整模块和码率调整模块的调整参数分别为1280像素乘720像素、50HZ-60HZ和1Mps-2Mps。

本发明为解决上述技术问题（二）提出的技术方案是：进一步的，在步骤三中，所述压缩编码是由视频压缩编码单元进行的，所述视频压缩编码单元包括原始帧存储模块、参考帧抓取模块、参考帧缓存模块、团块扣取模块、团块缓存模块、团块帧间运动趋势缓存模块、当前帧重构模块、第二当前帧重构模块、团块运动补偿计算模块、团块帧间形变预测模块、团块形变补偿计算模块、编码模块和缓冲区模块；

所述原始帧存储模块中预存储有纯背景场景下的原始帧图像；

参考帧抓取模块用于每个间隔N帧后抓取一帧图像当作参考帧，N的取值范围为0-60；

团块扣取模块用于在参考帧图像中扣取出具有实际内容的团块图像并将该团块图案的信息输入到团块缓存模块中暂存；

团块帧间运动预测模块用于采集位于参考帧之后的图像并在其中寻找符合参考帧中团块图案特征的团块图案，进而计算出该团块图案相对在参考帧中时的运动向量，并将该运动向量发送到当前帧重构模块中当作团块运动预测向量；

当前帧重构模块用于构建出虚拟当前帧图像，虚拟当前帧图像中含有虚拟团块图案；

团块运动补偿计算模块用于采集实际当前帧图像，并将实际当前帧图像与虚拟当前帧进行比对检验，计算出虚拟团块图案与实际当前帧图像中团块图案之间的位置差并结合团块运动预测向量计算出团块运动补偿差值；

团块帧间形变预测模块用于采集位于参考帧之后的图像并在其中寻找符合参考帧中团块图案特征的团块图案，进而计算出该团块图案相对在参考帧中时的团块形变趋势参数，并将所述团块形变趋势参数输出到第二当前帧重构模块，所述第二当前帧重构模块用于构建出虚拟当前帧图像，虚拟当前帧图像中含有虚拟团块图案，团块形变补偿计算模块采集实际当前帧图像并与前述虚拟当前帧图像中团块图案进行比对，计算出关于团块图案的团块形变补偿残值；

缓冲区模块用于存放原始帧图像和经编码模块编码的所述团块图案信息、团块运动补偿差值和团块形变补偿残值。

进一步的，所述直播解码终端具有缓冲区单元和解码单元，解码单元包括解码模块、第二原始帧存储模块、第二团块缓存模块、团块运动补偿反馈模块、团块形变补偿反馈模块、第二团块帧间运动预测模块、团块帧间运动趋势缓存模块、第二团块帧间形变预测模块、团块帧间形变趋势缓存模块和第三当前帧重构模块。

进一步的，第二原始帧存储模块从缓冲区单元中读取到原始帧图像，并以此作为视频播放时的首帧图像；

解码模块用于从缓冲区单元中读取团块图案信息、团块运动补偿差值和团块形变补偿残值并在解码后分别发送到第二团块缓存模块、团块运动补偿反馈模块和团块形变补偿反馈模块；

第二团块缓存模块、团块运动补偿反馈模块和团块形变补偿反馈模块分别将接收到的团块图案信息、团块运动补偿差值和团块形变补偿残值加载到第三当前帧重构模块；

第二团块帧间运动预测模块和第二团块帧间形变预测模块的团块运动预测向量和团块形变趋势参数计算结果也分别加载给第三当前帧重构模块，第二团块帧间运动预测模块和第二团块帧间形变预测模块还将团块运动预测向量和团块形变趋势参数分别输入到团块帧间运动趋势缓存模块和团块帧间形变趋势缓存模块；

第三当前帧重构模块适于在重构当前帧时，先读取第二原始帧存储模块中的原始帧图像，再读取第二团块缓存模块中的团块图案信息，通过结合团块运动预测向量和团块形变趋势以及团块运动补偿差值和团块形变补偿残值进行当前帧的画面重构并输出。

进一步的，所述团块扣取模块在参考帧图像中扣取团块时，首先将参考帧图像和原始帧图像均根据图像的色度及亮度分解成不同层级的若干宏块和若干微块，然后将参考帧图像和原始帧图像重叠对比去除重复块，保留差异块，所保留的差异块的集合定义为团块，团块图案信息中包括前述差异块在参考帧中的坐标、色度、亮度参数。

进一步的，所述团块帧间形变预测模块和第二团块帧间形变预测模块在计算团块形变趋势参数时考察团块图案边缘轮廓的形变参数和团块图案中各微块的色度亮度参数。

进一步的，所述流媒体服务器上具有用户接入端口、用户ID信息数据库模块、用户权限验证模块、流式媒体分发模块和网络通信模块。

本发明的有益效果是：

本发明通过

本发明中提出了一种医疗视频影像直播方法，通过应用本方法可以首先解决如何将医院中各种医疗设备输出的各种标准或非标准视频进行采集并进行处理后用于直播的技术问题。使得用户在一个终端即可收看到多路具有不同内容的视频画面。用户可以通过4G网络在手机端进行随时地“移动”观看，改善了用户体验。

另外，为了满足医疗视频传输稳定性要求和在较恶劣网络通信环境下仍能进行高质量视频的传输，本发明中独创开发了一种压缩编码单元，该压缩编码单元利用医疗视频具有场景固定和动态较小的特点，通过先截取运动的“团块”，然后在干净的背景帧上叠加上团块图案的手段，达到了减小视频传输数据量。

另值得一提的是：在本地端和解码端采用相同的运动预测及形变预测模块，在本地端对预测结果进行符合实际图像的调整后将调整参数传输到解码端。解码端通过该调整参数对其预测结果进行调整，使其最终显示的图像与本地端的采集到的图像相同。在保证了视频质量的前提下进一步减小了视频传输数据量（仅需传输调整参数）。

附图说明

下面结合附图对本发明的医疗视频影像直播方法作进一步说明。

图1是本发明中医疗视频影像直播方法的流程步骤图；

图2是为实现本发明中医疗视频影像直播方法所采用的直播系统的结构框图；

图3是本发明中视频压缩编码单元的结构及工作原理示意图；

图4是团块扣取模块对参考帧图像的分解示意图；

图5是直播解码终端的结构及工作原理示意图。

具体实施方式

实施例

根据图1、图2和图3所示，本发明中医疗视频影像直播方法，包括以下步骤：

步骤一，从各种医疗设备的视频输出端采集多路即时原始视频信号。

可以作为优选的是：采集时通过视频采集单元进行采集。视频采集单元包括采集模块和输出模块。在本实施例中采集模块为采购的硬件采集卡，硬件采集卡上设置有多路输入接口，硬件采集卡通过同轴缆线、光纤线或其他有线线缆连接到各种医疗设备的视频输出端上，用于进行多路的即时视频信号采集。输出模块为加设在硬件采集卡上的处理芯片和与该处理芯片相连的输出端口，用于将由采集模块即时采集到的每路原始视频信号经时序整理后传输给视频处理单元，传输时每路原始视频信号为连续的帧。

步骤二，将多路即时原始视频信号在经视频分辨率、视频帧率和视频码率调整后转制成HD-SDI格式。

可以作为优选的是：在对视频分辨率、视频帧率和视频码率进行调整及转制时是通过视频处理单元进行的。视频处理单元包括依次形成信号连接的视频分辨率调整模块、视频帧率调整模块、码率调整模块和HD-SDI转码模块。

可作为进一步优选的是：视频分辨率调整模块将每路原始视频信号的每帧图像的分辨率均调整成1280像素乘720像素。当原始信号的帧图像的分辨率小于该分辨率时，进行插值计算，使其扩展到1280像素乘720像素，当原始信号的帧图像的分辨率大于该分辨率时，进行分辨率压缩，使其降低到1280像素乘720像素。视频帧率调整模块用于对经过分辨率调整后的原始视频信号的帧率进行调整，使其具有50HZ-60HZ的帧率，码率调整模块对整个原始视频信号的码率参数进行调整到1Mps-2Mps的预设值。

HD-SDI转码模块用于对全部的原始视频信号进行转码，使其成为HD-SDI格式的视频数据。

步骤三，对HD-SDI格式的多路即时原始视频信号进行压缩编码，使其成为多路适于网络传播的流式媒体。

步骤四，将流式媒体通过流媒体服务器和通信网络传输到直播解码终端。

可以作为优选的是：流媒体服务器上具有用户接入端口、用户ID信息数据库模块、用户权限验证模块、流式媒体分发模块和网络通信模块。

其中，用户接入端口通过网络通信模块与用户建立通信联系，用户发出点播需求，用户权限验证模块在用户ID信息数据库中调取关于用户的ID信息并进行权限验证。在权限验证无误后通过流式媒体分发模块将发送到用户的直播解码终端。前述通信网络可为WIFI或4G无线通信网络。

本发明中医疗视频影像直播方法可通过如图3所示的医疗视频信号采集转码系统来进行。医疗视频信号采集转码系统依次包括通过I/O总线相连的视频采集单元、视频处理单元、视频压缩编码单元和流媒体服务单元。

由于视频序列在空间上存在一定的冗余，特别是同一个视频对象的相邻像素之间相关性极强。其次，对于视频序列而言，除非发生场景切换，否则时间上后续的帧往往包含与前面紧邻帧相同的背景和对象，这就是视频序列的时间冗余。在保持一定视频质量的前提下，可使原本数据量庞大的原始视频经压缩编码后，尽可能的减少，使其更适于网络有限带宽的传输，在发生丢包时也更有利于快速重发。

由于医疗视频有场景几乎不发生变化的特点，尤其是医疗仪器的采集视频更是如此，因此可以利用该特点进行最大限度地视频压缩。在步骤三中，压缩编码是通过视频压缩编码单元进行的，视频压缩编码单元包括原始帧存储模块、参考帧抓取模块、参考帧缓存模块、团块扣取模块、团块缓存模块、团块帧间运动趋势缓存模块、当前帧重构模块、团块运动补偿计算模块、团块帧间形变预测模块、团块形变补偿计算模块、编码模块和缓冲区模块。

其中，原始帧存储模块中预存储有纯背景场景下的原始帧图像。

参考帧抓取模块用于抓取第二帧图像（“第二帧”仅为方便结合附图进行说明，在具体应用中，“第二帧”实际为X+1帧，下同）当作参考帧，本实施例中预设所抓取的参考帧内含有背景以外的实质图像（如心电图指示仪中的参数曲线或手术室内的实际场景），参考帧抓取模块可以被预设成间隔N帧后抓取，也可以被预设成连续抓取，视网络传输环境和对视频质量的需求而定，当网络环境较好或对视频质量需求较高时可以设置成边缘抓取或N值趋小，N的取值范围为0-60。抓取后的参考帧存放于参考帧缓存模块中备用。

团块扣取模块通过将参考帧缓存模块中的参考帧图像与原始帧存储模块中的原始帧图像进行重叠对比，进而扣取出具有实际内容的团块图像。在扣取时如图4所示，首先将参考帧图像和原始帧图像根据图像的色度及亮度分解成不同层级的若干宏块和若干微块，然后重叠对比去除重复块，保留差异块，所保留的差异块的集合定义为团块，团块信息中包括前述差异块在参考帧中的坐标、色度、亮度等相关参数。将团块信息暂存于团块缓存模块中供调用。如图4中所示的，本实施例中团块即为五角星案。

团块帧间运动预测模块采集第三帧图像并在其中寻找符合前述团块图案信息特征的团块图案，进而计算出团块在第三帧中相对在第二帧时的运动向量，并将该运动向量发送到当前帧重构模块中当作团块运动预测向量，用于构建出虚拟当前帧图像（第四帧），虚拟当前帧图像中含有虚拟团块。

团块运动补偿计算模块采集实际当前帧图像，并将实际当前帧图像与虚拟当前帧进行比对检验，计算出虚拟团块与实际当前帧图像中团块之间的位置差并结合团块运动预测向量计算出团块运动补偿差值。

团块帧间形变预测模块采集第三帧图像并在其中寻找符合前述团块图案信息特征的团块图案，计算出第三帧中团块图案相对团块缓存模块中的团块图案信息的团块形变趋势参数，计算团块形变趋势参数时考察团块图案边缘轮廓的形变参数和团块图案中各微块的色度亮度参数。团块帧间形变预测模块将团块形变趋势参数输出到第二当前帧重构模块，由第二当前帧重构模块根据形变趋势参数预测重构当前帧中团块图案的形状、色度和亮度。

团块形变补偿计算模块采集实际当前帧图像并与预测的当前帧中团块图案进行比对，计算出关于团块图案的团块形变补偿残值。

原始帧存储模块将原始帧图像信息发送到缓冲区模块，团块缓存模块将团块图案信息即时地发送到编码模块，团块运动补偿计算模块和团块形变补偿计算模块分别将团块运动补偿差值和团块形变补偿残值即时地发送到编码模块。编码模块将团块图案信息、团块运动补偿差值和团块形变补偿残值进行编码后输出到缓冲区模块。

当终端有直播需求时，流媒体服务器通过流式媒体分发模块将原始帧图像信息和经编码的团块图案信息、团块运动补偿差值和团块形变补偿残值从缓冲区模块经网络发送到直播解码终端。

为与前述视频压缩编码单元相配套，如图5所示，直播解码终端包括缓冲区单元和解码单元，解码单元包括解码模块、第二原始帧存储模块、第二团块缓存模块、团块运动补偿反馈模块、团块形变补偿反馈模块、第二团块帧间运动预测模块、团块帧间运动趋势缓存模块、第二团块帧间形变预测模块、团块帧间形变趋势缓存模块和第三当前帧重构模块。

第二原始帧存储模块从缓冲区单元中读取到原始帧图像，并以此作为视频播放时的首帧图像，解码模块从缓冲区单元中读取团块图案信息、团块运动补偿差值和团块形变补偿残值并在解码后分别发送到团块缓存模块、团块运动补偿反馈模块和团块形变补偿反馈模块。

第二团块缓存模块、团块运动补偿反馈模块和团块形变补偿反馈模块分别将接收到的团块图案信息、团块运动补偿差值和团块形变补偿残值加载到当前帧重构模块用于重构当前帧图像。

第二团块帧间运动预测模块和第二团块帧间形变预测模块的团块运动预测向量和团块形变趋势参数计算结果也分别加载给第三当前帧重构模块用于重构当前帧图像。第二团块帧间运动预测模块和第二团块帧间形变预测模块还将团块运动预测向量和团块形变趋势参数分别输入到团块帧间运动趋势缓存模块和团块帧间形变趋势缓存模块，以备在发生丢包、丢帧时可以之前帧的趋势继续重构图像。

第二团块帧间运动预测模块和第二团块帧间形变预测模块还不断地采集重构出来的帧图像，在最初光凭采集原始帧图像和第二帧图像后无法计算出运动或形变趋势时输出为空。

解码单元中的第三当前帧重构模块在重构时先读取第二原始帧存储模块中的原始帧图像，再读取第二团块缓存模块中的团块图案信息，通过结合团块运动预测向量和团块形变趋势以及团块运动补偿差值和团块形变补偿残值进行当前帧的画面重构并输出。

本发明的不局限于上述实施例，本发明的上述各个实施例的技术方案彼此可以交叉组合形成新的技术方案，另外凡采用等同替换形成的技术方案，均落在本发明要求的保护范围内。

Claims (3)

1.一种医疗视频影像直播方法，包括以下特征步骤：

步骤一，从各种医疗设备的视频输出端采集多路即时原始视频信号；

步骤二，将所述多路即时原始视频信号在经视频分辨率、视频帧率和视频码率调整后转制成HD-SDI格式；

步骤三，对所述HD-SDI格式的多路即时原始视频信号进行压缩编码，使其成为多路适于网络传播的流式媒体；

步骤四，将所述流式媒体通过流媒体服务器和通信网络传输到直播解码终端；

在步骤一中，所述采集多路即时原始视频信号是通过视频采集单元进行采集的，所述视频采集单元包括采集模块和输出模块；

在步骤二中，所述视频分辨率、视频帧率和视频码率的调整分别是由视频分辨率调整模块、视频帧率调整模块和码率调整模块进行的，所述视频分辨率调整模块、视频帧率调整模块和码率调整模块的调整参数分别为1280像素乘720像素、50HZ-60HZ和1Mps-2Mps；

在步骤三中，所述压缩编码是由视频压缩编码单元进行的，所述视频压缩编码单元包括原始帧存储模块、参考帧抓取模块、参考帧缓存模块、团块扣取模块、团块缓存模块、团块帧间运动预测模块、当前帧重构模块、第二当前帧重构模块、团块运动补偿计算模块、团块帧间形变预测模块、团块形变补偿计算模块、编码模块和缓冲区模块；

所述原始帧存储模块中预存储有纯背景场景下的原始帧图像；

参考帧抓取模块用于每个间隔N帧后抓取一帧图像当作参考帧，N的取值范围为0-60；

团块扣取模块用于在参考帧图像中扣取出具有实际内容的团块图像并将该团块图案的信息输入到团块缓存模块中暂存；

团块帧间运动预测模块用于采集位于参考帧之后的图像并在其中寻找符合参考帧中团块图案特征的团块图案，进而计算出该团块图案相对在参考帧中时的运动向量，并将该运动向量发送到当前帧重构模块中当作团块运动预测向量；

当前帧重构模块用于构建出虚拟当前帧图像，虚拟当前帧图像中含有虚拟团块图案；

团块运动补偿计算模块用于采集实际当前帧图像，并将实际当前帧图像与虚拟当前帧进行比对检验，计算出虚拟团块图案与实际当前帧图像中团块图案之间的位置差并结合团块运动预测向量计算出团块运动补偿差值；

团块帧间形变预测模块用于采集位于参考帧之后的图像并在其中寻找符合参考帧中团块图案特征的团块图案，进而计算出该团块图案相对在参考帧中时的团块形变趋势参数，并将所述团块形变趋势参数输出到第二当前帧重构模块，所述第二当前帧重构模块用于构建出虚拟当前帧图像，虚拟当前帧图像中含有虚拟团块图案，团块形变补偿计算模块采集实际当前帧图像并与前述虚拟当前帧图像中团块图案进行比对，计算出关于团块图案的团块形变补偿残值；

编码模块用于将团块图案信息、团块运动补偿差值和团块形变补偿残值进行编码后输出到缓冲区模块；

缓冲区模块用于存放原始帧图像和经编码模块编码的所述团块图案信息、团块运动补偿差值和团块形变补偿残值；

所述直播解码终端具有缓冲区单元和解码单元，解码单元包括解码模块、第二原始帧存储模块、第二团块缓存模块、团块运动补偿反馈模块、团块形变补偿反馈模块、第二团块帧间运动预测模块、团块帧间运动趋势缓存模块、第二团块帧间形变预测模块、团块帧间形变趋势缓存模块和第三当前帧重构模块；

第二原始帧存储模块从缓冲区单元中读取到原始帧图像，并以此作为视频播放时的首帧图像；

解码模块用于从缓冲区单元中读取团块图案信息、团块运动补偿差值和团块形变补偿残值并在解码后分别发送到第二团块缓存模块、团块运动补偿反馈模块和团块形变补偿反馈模块；

第二团块缓存模块、团块运动补偿反馈模块和团块形变补偿反馈模块分别将接收到的团块图案信息、团块运动补偿差值和团块形变补偿残值加载到第三当前帧重构模块；

第二团块帧间运动预测模块和第二团块帧间形变预测模块的团块运动预测向量和团块形变趋势参数计算结果也分别加载给第三当前帧重构模块，第二团块帧间运动预测模块和第二团块帧间形变预测模块还将团块运动预测向量和团块形变趋势参数分别输入到团块帧间运动趋势缓存模块和团块帧间形变趋势缓存模块；

第三当前帧重构模块适于在重构当前帧时，先读取第二原始帧存储模块中的原始帧图像，再读取第二团块缓存模块中的团块图案信息，通过结合团块运动预测向量和团块形变趋势以及团块运动补偿差值和团块形变补偿残值进行当前帧的画面重构并输出；

所述团块扣取模块在参考帧图像中扣取团块时，首先将参考帧图像和原始帧图像均根据图像的色度及亮度分解成不同层级的若干宏块和若干微块，然后将参考帧图像和原始帧图像重叠对比去除重复块，保留差异块，所保留的差异块的集合定义为团块，团块图案信息中包括前述差异块在参考帧中的坐标、色度、亮度参数。

2.根据权利要求1所述医疗视频影像直播方法，其特征在于：所述团块帧间形变预测模块和第二团块帧间形变预测模块在计算团块形变趋势参数时考察团块图案边缘轮廓的形变参数和团块图案中各微块的色度亮度参数。

3.根据权利要求1所述医疗视频影像直播方法，其特征在于：所述流媒体服务器上具有用户接入端口、用户ID信息数据库模块、用户权限验证模块、流式媒体分发模块和网络通信模块。