CN108810468B - 一种优化显示效果的视频传输装置及方法 - Google Patents

Abstract

本发明提供一种优化显示效果的视频传输装置及方法，可以使用户在异地实时观察到相关装置的情况，其中该系统主要包含有网络摄像头、录像机、显示屏、电源和路由器及PC机。摄像头将现场采集视频信息持续不断的经由路由器发送到远端PC机，也同时将其存储到录像机中。在PC机中运行一种基于监控视频质量的优化传输算法，使视频信息在不是特别理想网络环境传输时，也能大幅度避免抖动、卡顿等现象的发生，提高视频播放的稳定性。

Description

一种优化显示效果的视频传输装置及方法

技术领域

本发明涉及一种对远程工业装置进行远程视频监控的装置，尤其涉及一种优化显示效果的视频传输装置及方法，属于远程监控领域。

背景技术

通常远程监控系统中的视频监控一般采用单一码率视频进行传输，这样容易造成宽带浪费或传输的延迟过大，尤其是超清视频不断增多的情况下，单一码率视频传输由于客户端的处理能力有限，导致视频无法播放，同时在MPEG-DASH成为国际标准以来，对其研究不断深入，由于MPEG-DASH并没有对码率自适应算法的实现给予规定，而且码率自适应算法完全是在客户端实现的，一方面给应用开发者留下了很大的空间，一方面针对不同的应用场景使用特定的自适应算法大大增大了灵活性，使得对自适应算法成为了视频传输的优化方向。

目前来说，自适算法都从多码率的自适应和HTTP协议特点，考虑了带宽、缓冲对自适应流切换过程的影响，但却没有综合考虑客户端因素和视频本身质量的问题。首先，客户端不应该仅仅考虑接受缓存的使用情况，还应该对客户端的解码速度予以考虑；其次，自适应算法也应该考虑终端类型；再者对于多码率的视频在某些范围内的码率就用户的主观体验而言是没有太多变化的，但是超过这个范围主观体验就可能不一样。基本于以上考虑，本专利提出一种基于显示效果的视频优化传输方法。

发明内容

本发明的目的是为了提供一种优化显示效果的视频传输装置及方法。

本发明的目的是这样实现的：一种优化显示效果的视频传输装置，包括n个具有独立IP 地址且采集视频信息的网络摄像头、在现场存储视频的交换机、实现局域网与互联网间互联的路由器、摄像机、负责视频画面呈现的显示器、硬盘和运行相关算法同时作为服务器的PC，调用网络摄像头图像时访问其IP地址，视频信息由网络摄像头采集到视频图像后经过交换机，分别传输到录像机与路由器处，录像机分别与硬盘和显示器连接，视频信息经路由器进入互联网传入PC，在PC处进行实时的基于视频质量的传输优化算法对图像信息传输进行优化，并将优化后的图像进行显示，n大于等于2。

一种优化显示效果的视频传输方法，包括所述的优化显示效果的视频传输装置，步骤如下：

步骤一：筛选出视频段，其执行如下子步骤：

(1)客户端缓存接收容量筛选

设最大容量设为Buff_max，实时缓存使用量为Buff(t)，将缓存容量划分为

三个区间；当Buff(t)位于

区间时，表明这时的缓冲区的容量充足，不足为算法考虑因素；当Buff(t)位于

区间时，表明缓冲区容量有一定的剩余且缓冲区有充足的影片，这种情况既可以使用户顺畅观看相关的视频，也能保留一定空间进行视后续视频的接收；当位Buff(t)于区间

时，表明这时的缓冲区容量即将耗尽，需要根据网络带宽与缓存变化率对视频传输的码率进行调整；

(2)缓存变化率ρ筛选

ρ即单位时间内的变化情况，且有ρ＝Buff(t₁)-Buff(t₂)

其中：t₁＞t₂，buff(t₁)、buff(t₂)为t₁、t₂时刻的缓存使用量，当ρ＞0时，使用量增加；当ρ＝0时，使用量保持稳定；当ρ＜0时，表示使用量正在下降；

(3)网络传输带宽筛选

设单个媒体段数据量为c，单位为bit，接受时间为t，单位为s，从而设带宽B，单位为bps：

另设b_r、b_r+1分别为当前视频段的编码码率与该视频段对应的下一个编码码率，当B＞b_r时，即表示当前网络带宽资源充足，设μ表示网络带宽充足程度，则

当μ＞1时，此时网络带宽资源非常充足，可以向比当前码率更高的码率切换；当μ＜1时，表明这时网络带宽尽管充足，但是却不支持向更高码率的转换；

步骤二：将经过筛选出的需要转换码率的视频段，基于流媒体质量的自适应码率转换流程图，包括三种情况，用于判断码率转换的高低方向：

给出服务器端视频质量分为q₁、q₂…q_n等n个级别，q₁代表视频质量最差，q_n代表最好，同时在每一级将视频分为b_i1、b_i2…b_ir等r个码率，当前的视频段的质量等级为q_c，编码码率为b_c，需要转换到的目标质量等级为q_o，编码码率为b_o；

第一种情况：当q_c＝q_o时，目标视频的 等级与原来的视频等级相同，因此直接把当前码率进行转换；

第二种情况：当q_c<q_o时，表明当前视频编码码率b_c低于目标视频段编码码率b_o，即需要完成低码率向高码率的转换，若当前码率为视频等级q_c的最大码率则需要将码率转换为更高一级的视频质量等级q_c+1中最低的编码码率上；若当前的码率不是视频等级的最大码率，就将当前的编码码率b_c直接切换到视频级别q_c最高码率上；

第三种情况：当q_c>q_o时，表明当前视频编码码率b_c高于目标视频段编码码率b_o，即需要完成高码率向低码率的转换，若当前的码率b_c为当前视频等级的最小码率，则需要将码率b_c转换为更低一级的视频的质量等级q_c-1中最低的编码码率上，若当前的码率不是视频等级的最低码率，就将目前的编码码率直接切换到视频级别q_c最低的码率上；

步骤三：计算出需要转换至的目标码率

当前编码码率为b_c，预计网络传输带宽为B，与带宽B相匹配的目标码率为b_o，则 b_o≤B≤b_o-1,其中BitrateSet[i]为人为设定的带宽；

判断网络传输带宽，将与视频传输码率进行比较时：

(1)当B＜b_min时，则直接将目标码率定为最低码率进行转换，即b_o＝b_min；

(2)当B＞b_max时，则直接将目标码率定为最高码率进行转换，即b_o＝b_max；

(3)除(1)、(2)的情况外，目标码率定采用人为设置，即b_o＝BitrateSet[i]；

步骤四：码率切换

在进行编码码率切换时，先判断b_o和b_c是否处于一个级别，若是则直接切换，即b_c＝b_o，若不是进行下一步判断：当b_o低于b_c时，将b_o切换到b_c所在视频等级的最小码率上；当b_o高于b_c时，将b_o切换到b_c所在视频等级的最大码率上。

与现有技术相比，本发明的有益效果是：本发明可以使用户在异地实时观察到相关装置的情况，其中该系统主要包含有网络摄像头、录像机、显示屏、交换机、电源、硬盘和路由器及PC机。摄像头将现场采集视频信息持续不断的经由路由器发送到远端PC机，也同时将其存储到录像机中。在PC机中运行一种基于监控视频质量的优化传输算法，使视频信息在不是特别理想网络环境传输时，也能大幅度避免抖动、卡顿等现象的发生，提高视频播放的稳定性。

在现场布置相应数量的摄像头，同时将视频存储部分放置于视频采集部分。对一组设备布置两个摄像头，一台录像机组成一组基本的视频信息采集存储节点。摄像头采用HIKVISION(海康威视)旗下型号DS-2CD3T25-I3的网络摄像机，网络摄像机除了拥有传统摄像机的图像捕捉功能外，还能够通过对其设置独立IP地址的方式，访问IP地址的方式，实现远程监控目标。同时网络摄像头具备A/D转换功能，将采集到的图像的模拟信号转换为数字信号，便于对于图像进行编码压缩，提高信息传输的效果。摄像头支持TCP/IP等主流网络通信协议，采集的视频图像清晰度为1080p。经实验验证，对于该款摄像头采集的静态视频所需上传带宽约为0.42M/s,剧烈变化的动态视频的上传带宽约为0.7M/s。

录像机的型号为HIKVISION DS-7608N，并配备西部数据WD10PURX 1TB监控专用硬盘。该型号的录像机支持最多8路网络视频的输入和以太网口的输出。通过实验，对于单个200w像素的摄像头采集的视频所占的存储空间进行记录，并对1TB硬盘记录天数进行计算。对摄像头采集的视频信息采取访问时进行视频回传，闲置时只本地存储的调用策略。

摄像头将编码后的文件切割成适合网络传输的媒体段，当发起数据请求时，负责视频采集的摄像头就会把相应的媒体段打包成HTTP数据分组，并通过TCP协议发送给客户端，客户端在接受到HTTP数据分组后，从其中提取出媒体数据放入接受缓冲区，解码器根据对缓冲区的数据进行解码，接着就可以进行播放，同时自适应处理模块根据缓冲区的使用情况和接受的数据速率,对接收码率进行调整。

优化算法在远端服务器实现，算法首先对远程监控系统中调用视频监控功能的客户端的缓存使用量、缓存变化率及网络传输带宽进行相应的评估来判断是否需要进行码率切换，当判定需要切换时，依据相应算法来决定最终的目标码率。

附图说明

图1码率调整的优化视频传输流程图；

图2基于流媒体质量的自适应码率转换流程图；

图3目标码率的求解流程图；

图4是本发明的装置的结构图。

具体实施方式

下面结合附图与具体实施方式对本发明作进一步详细描述。

结合图4，本发明的一种基于显示效果的视频传输优化装置，包括用于具有独立IP地址且采集视频信息的网路摄像头(可并联)、在现场存储视频的交换机、录像机、硬盘、实现局域网与互联网间互联的路由器、双绞线、负责视频画面呈现的显示器、运行相关算法同时作为服务器的PC机等。

系统调用某个摄像头图像时访问其IP地址，装置设备的视频信息由网络摄像头采集到视频图像清晰度为1080p后基于H.265标准进行压缩，而后经过交换机，分别传输到录像机与路由器处，录像机与硬盘(容量为1TB)和显示器连接。视频信息经路由器进入互联网传入客户端PC机处，即视频观看处。在PC处进行实时的基于视频质量的传输优化算法对图像信息传输进行优化，并将优化后的图像进行显示。

运行网际组态软件的PC机为整个系统的核心部分，承担着服务器与客户端的双重功能，具备多核CPU并行计算，计算速度快、系统稳定可靠。设备对采集传输来的图像信息根据网络状况进行帧数和码率进行调整，使图像信息能够在显示器上流畅播放。

服务器处运行了基于视频播放效果的优化传输方法。算法采用了结构相似性标准(SSIM)、平均主观意见分标准(MOS)结合的视频播放效果评价方法，SSIM方法的优化加入，能够改善 MOS标准的随机性，提高了原有评估标准的可信度。在原有算法考虑网络传输带宽、缓冲对自适应切换过程的基础上，本算法在视频优化方面引入流媒体的概念，采用量化指标对客户端缓存容量、解码速率进行评估的同时，依据服务器端视频质量等级对传输码率进行调整。算法具体实施：首先，对远程监控系统中调用视频监控功能的客户端的缓存容量、解码速率及网络传输带宽进行相应的评估来判断是否需要进行码率切换；然后，当判定需要切换时，依据相应算法来决定最终的目标码率。通过视频质量的评估来进行调整能够有效的缓解抖动、卡顿的情况，合理的利用网络带宽。

结合图1，结合硬件装置进行码率调整，优化视频传输效果的流程如下：

1、网络摄像头将视频信息以MP4的格式进行封装，将其切割为便于进行网络传输段；

2、当客户端发起视频信息的请求信号时，Web服务器会把相应的视频段打包成HTTP数据包，通过交换机、路由器，将数据包以TCP协议发送给互联网，互联网客户在接受到HTTP 数据包后，从其中提取出媒体信息的数据放入接收缓冲区；

3、在录像机、PC中，经H.265解码器在通过对缓冲区的数据进行解码后，就可以在显示屏上进行播放，并存入硬盘中；

4、最后在PC中实现算法，即自适应处理模块对缓冲区容量的使用情况和接收到的数据速率进行评估，对接收媒体的码率进行调整。

本发明的方法操作步骤如下：

步骤一：筛选出适用于本方法的视频段，其执行如下子步骤：

1.客户端缓存接收容量筛选。设最大容量设为Buff_max，实时缓存使用量为Buff(t)，将缓存容量划分为

三个区间。当Buff(t)位于

区间时，表明这时的缓冲区的容量充足，不足为算法考虑因素；当Buff(t)位于

区间时，表明缓冲区容量有一定的剩余且缓冲区有充足的影片，这种情况既可以使用户顺畅观看相关的视频，也能保留一定空间进行视后续视频的接收；当位Buff(t)于区间

时，表明这时的缓冲区容量即将耗尽，需要根据网络带宽与缓存变化率对视频传输的码率进行调整。因此当Buff(t)处于

属于是最佳状态，算法的目的也应该是使Buff(t)尽量处于这个区间内。

2.缓存变化率ρ筛选。ρ即单位时间内的变化情况，通常用来描述解码速度与接收速度彼此的关系：ρ＝Buff(t₁)-Buff(t₂)

其中t₁＞t₂，buff(t₁)、buff(t₂)为t₁、t₂时刻的缓存使用量。当ρ＞0时，使用量增加；当ρ＝0时，使用量保持稳定；当ρ＜0时，表示使用量正在下降。

3.网络传输带宽筛选。带宽直接反映了网络状况的优劣，影响到流媒体的接收速度。设单个媒体段数据量为c(单位为bit)，接受时间为t(单位为s)，从而设带宽B(单位为bps)：

另设b_r、b_r+1分别为当前视频段的编码码率与该视频段对应的下一个编码码率，当 B＞b_r时，即表示当前网络带宽资源充足，设μ表示网络带宽充足程度，则

当μ＞1 时，此时网络带宽资源非常充足，可以向比当前码率更高的码率切换；当μ＜1时，表明这时网络带宽尽管充足，但是却不支持向更高码率的转换。

通过上述三子步分析，筛选出需要进行调整码率的视频段。

步骤二：将经过筛选出的需要转换码率的视频段，结合图2，基于流媒体质量的自适应码率转换流程图，本步由三种情况组成，用于判断码率转换的高低方向：

前提设：服务器端视频质量分为q₁、q₂…q_n等n个级别，q₁代表视频质量最差，q_n代表最好，同时在每一级将视频分为b_i1、b_i2…b_ir等r个码率。再设当前的视频段的质量等级为q_c，编码码率为b_c，需要转换到的目标质量等级为q_o，编码码率为b_o。

1.当q_c＝q_o时，目标视频的 等级与原来的视频等级相同，因此直接把当前码率进行转换；

2.当q_c<q_o时，表明当前视频编码码率b_c低于目标视频段编码码率b_o，即需要完成低码率向高码率的转换，若当前码率为视频等级q_c的最大码率则需要将码率转换为更高一级的视频质量等级q_c+1中最低的编码码率上。若当前的码率不是视频等级的最大码率，就将当前的编码码率b_c直接切换到视频级别q_c最高码率上；

3.当q_c>q_o时，表明当前视频编码码率b_c高于目标视频段编码码率b_o，即需要完成高码率向低码率的转换，若当前的码率b_c为当前视频等级的最小码率，则需要将码率b_c转换为更低一级的视频的质量等级q_c-1中最低的编码码率上，若当前的码率不是视频等级的最低码率，就将目前的编码码率直接切换到视频级别q_c最低的码率上。

由此码率转换的高低方向可以确定。

结合图2分析可知，如果当缓存使用量Buff(t)位于区间

网络传输带宽B 大于当前编码码率b_c，并且缓存变化率ρ≤0时，就把当前码率b_c降级后结束本算法，否则的话需要进行后续处理；当Buff(t)位于

区间时，也需要进行进一步处理；而当 Buff(t)位于区间

时，如果网络的带宽B大于目前的编码码率b_c且缓存变化率ρ＞0，就把当,前码率降低一个级别后结束自适应算法。

步骤三：结合图3计算出需要转换至的目标码率，分为三种情况。设当前编码码率为b_c，预计网络传输带宽为B，与带宽B相匹配的目标码率为b_o，则b_o≤B≤b_o-1,其中BitrateSet[i]为人为设定的带宽。

在这个阶段首先需要判断网络传输带宽，将与视频传输码率进行比较时：

1.当B＜b_min时，则直接将目标码率定为最低码率进行转换，即b_o＝b_min；

2.当B＞b_max时，则直接将目标码率定为最高码率进行转换，即b_o＝b_max；

3.除1,2情况外，目标码率定采用人为设置，即b_o＝BitrateSet[i]。

其他情况就依据上式进行判断，找出需要转换的目标码率。

步骤四：码率切换。在进行编码码率切换时，先判断b_o和b_c是否处于一个级别，若是则直接切换，即b_c＝b_o，若不是进行下一步判断：当b_o低于b_c时，将b_o切换到b_c所在视频等级的最小码率上；当b_o高于b_c时，将b_o切换到b_c所在视频等级的最大码率上。

Claims (1)

1.一种优化显示效果的视频传输方法，其特征在于：包括n个具有独立IP地址且采集视频信息的网络摄像头、在现场存储视频的交换机、实现局域网与互联网间互联的路由器、摄像机、负责视频画面呈现的显示器、硬盘和运行相关算法同时作为服务器的PC，调用网络摄像头图像时访问其IP地址，视频信息由网络摄像头采集到视频图像后经过交换机，分别传输到录像机与路由器处，录像机分别与硬盘和显示器连接，视频信息经路由器进入互联网传入PC，在PC处进行实时的基于视频质量的传输优化算法对图像信息传输进行优化，并将优化后的图像进行显示，n大于等于2，步骤如下：

步骤一：筛选出视频段，其执行如下子步骤：

(1)客户端缓存接收容量筛选

设最大容量设为Buff_max，实时缓存使用量为Buff(t)，将缓存容量划分为

三个区间；当Buff(t)位于

区间时，表明这时的缓冲区的容量充足，不足为算法考虑因素；当Buff(t)位于

区间时，表明缓冲区容量有一定的剩余且缓冲区有充足的影片，这种情况既可以使用户顺畅观看相关的视频，也能保留一定空间进行视后续视频的接收；当位Buff(t)于区间

时，表明这时的缓冲区容量即将耗尽，需要根据网络带宽与缓存变化率对视频传输的码率进行调整；

(2)缓存变化率ρ筛选

ρ即单位时间内的变化情况，且有ρ＝Buff(t₁)-Buff(t₂)

其中：t₁＞t₂，buff(t₁)、buff(t₂)为t₁、t₂时刻的缓存使用量，当ρ＞0时，使用量增加；当ρ＝0时，使用量保持稳定；当ρ＜0时，表示使用量正在下降；

(3)网络传输带宽筛选

设单个媒体段数据量为c，单位为bit，接受时间为t，单位为s，从而设带宽B，单位为bps：

另设b_r、b_r+1分别为当前视频段的编码码率与该视频段对应的下一个编码码率，当B＞b_r时，即表示当前网络带宽资源充足，设μ表示网络带宽充足程度，则

当μ＞1时，此时网络带宽资源非常充足，可以向比当前码率更高的码率切换；当μ＜1时，表明这时网络带宽尽管充足，但是却不支持向更高码率的转换；

步骤二：将经过筛选出的需要转换码率的视频段，包括三种情况，用于判断码率转换的高低方向：

给出服务器端视频质量分为q₁、q₂…q_n等n个级别，q₁代表视频质量最差，q_n代表最好，同时在每一级将视频分为b_i1、b_i2…b_ir等r个码率，当前的视频段的质量等级为q_c，编码码率为b_c，需要转换到的目标质量等级为q_o，编码码率为b_o；

第一种情况：当q_c＝q_o时，目标视频的等级与原来的视频等级相同，因此直接把当前码率进行转换；

第二种情况：当q_c<q_o时，表明当前视频编码码率b_c低于目标视频段编码码率b_o，即需要完成低码率向高码率的转换，若当前码率为视频等级q_c的最大码率则需要将码率转换为更高一级的视频质量等级q_c+1中最低的编码码率上；若当前的码率不是视频等级的最大码率，就将当前的编码码率b_c直接切换到视频级别q_c最高码率上；

第三种情况：当q_c>q_o时，表明当前视频编码码率b_c高于目标视频段编码码率b_o，即需要完成高码率向低码率的转换，若当前的码率b_c为当前视频等级的最小码率，则需要将码率b_c转换为更低一级的视频的质量等级q_c-1中最低的编码码率上，若当前的码率不是视频等级的最低码率，就将目前的编码码率直接切换到视频级别q_c最低的码率上；

步骤三：计算出需要转换至的目标码率

当前编码码率为b_c，预计网络传输带宽为B，与带宽B相匹配的目标码率为b_o，则b_o≤B≤b_o-1,其中BitrateSet[i]为人为设定的带宽；

判断网络传输带宽，将与视频传输码率进行比较时：

(1)当B＜b_min时，则直接将目标码率定为最低码率进行转换，即b_o＝b_min；

(2)当B＞b_max时，则直接将目标码率定为最高码率进行转换，即b_o＝b_max；

(3)除(1)、(2)的情况外，目标码率定采用人为设置，即b_o＝BitrateSet[i]；

步骤四：码率切换

在进行编码码率切换时，先判断b_o和b_c是否处于一个级别，若是则直接切换，即b_c＝b_o，若不是进行下一步判断：当b_o低于b_c时，将b_o切换到b_c所在视频等级的最小码率上；当b_o高于b_c时，将b_o切换到b_c所在视频等级的最大码率上。

Images