发明内容
鉴于以上内容,有必要提供一种视频会议带宽管理方法,可以实现高清视频会议,同时节约网络带宽。
鉴于以上内容,还有必要提供一种视频会议带宽管理系统,可以实现高清视频会议,同时节约网络带宽。
本案实施方式提供的视频会议数据处理方法包括:从至少一个客户端发送的视频中获取预定数目的连续原始视频帧;依据预设的视频压缩参数对所述客户端发送的视频进行压缩,并获取所述原始视频帧对应的压缩后视频帧;侦测当前网络带宽并将当前网络带宽与压缩后视频的数据带宽进行比较;当所述当前网络带宽大于所述压缩后视频的数据带宽,依据获取的所述原始视频帧和压缩后视频帧计算所述压缩后视频的影像品质评估值;判断所述压缩后视频的影像品质评估值是否在预设品质要求范围内;当所述压缩后视频的影像品质评估值不在所述预设品质要求范围内,调整所述视频压缩参数并再次压缩所述视频直至所述压缩后视频的影像品质评估值在所述预设品质要求范围内。
优选地,当所述压缩后视频的影像品质评估值大于所述预设品质要求范围时,降低所述视频压缩参数,当所述压缩后视频的影像品质评估值小于所述预设品质要求范围时,调高所述视频压缩参数。
优选地,所述预设品质要求范围包括高品质要求范围和低品质要求范围。
优选地,所述判断所述压缩后视频的影像评估值是否在所述预设品质要求范围内的步骤包括:判断当前视频画面是否为视频会议主讲者画面,若当前视频画面为所述视频会议主讲者画面,判断所述压缩后视频的影像品质评估值是否在所述高品质要求范围内。
优选地,所述调整所述视频压缩参数包括:在所述压缩后视频的影像品质评估值大于所述高品质要求范围时,降低所述视频压缩参数,在所述压缩后视频的影像品质评估值小于所述高品质要求范围时,调高所述视频压缩参数。
优选地,所述判断所述压缩后视频的影像评估值是否在所述预设品质要求范围内的步骤进一步包括:若所述当前视频画面非所述视频会议主讲者画面,判断所述压缩后视频的影像品质评估值是否在所述低品质要求范围内。
优选地,所述调整所述视频压缩参数还包括:在所述压缩后视频的影像品质评估值大于所述低品质要求范围时,降低所述视频压缩参数,在所述压缩后视频的影像品质评估值小于所述低品质要求范围时,调高所述视频压缩参数。
优选地,所述压缩后视频的影像品质评估值为预定数目所述压缩后视频帧的图片品质评估值的平均值,所述压缩后视频帧的图片品质评估值是通过与所述原始视频帧对比得出。
本案实施方式提供的视频会议数据处理系统包括:压缩模块、第一判断模块、计算模块、第二判断模块、调整模块。压缩模块用于从至少一个客户端发送的视频中获取预定数目的连续原始视频帧,并依据预设的视频压缩参数对所述客户端发送的视频进行压缩,同时获取所述原始视频帧对应的压缩后视频帧;第一判断模块用于侦测当前网络带宽并将当前网络带宽与压缩后视频的数据带宽进行比较;计算模块用于在所述当前网络带宽大于所述压缩后视频的数据带宽时,依据获取的所述原始视频帧和压缩后视频帧计算所述压缩后视频的影像品质评估值;第二判断模块用于判断所述压缩后视频的影像品质评估值是否在预设品质要求范围内;调整模块用于在所述压缩后视频的影像品质评估值不在所述预设品质要求范围内时,调整所述视频压缩参数再次压缩所述视频直至所述压缩后视频的影像品质评估值在所述预设品质要求范围内。
优选地,所述调整模块用于:当所述压缩后视频的影像品质评估值大于所述预设品质要求范围时,降低所述视频压缩参数,当所述压缩后视频的影像品质评估值小于所述预设品质要求范围时,调高所述视频压缩参数。
优选地,所述预设品质要求范围包括高品质要求范围和低品质要求范围。
优选地,所述第二判断模块还用于:判断当前视频画面是否为视频会议主讲者画面,若当前视频画面为所述视频会议主讲者画面,判断所述压缩后视频的影像品质评估值是否在所述高品质要求范围内。
优选地,所述调整模块还用于:在所述压缩后视频的影像品质评估值大于所述高品质要求范围时,降低所述视频压缩参数,在所述压缩后视频的影像品质评估值小于所述高品质要求范围时,调高所述视频压缩参数。
优选地,所述判断模块进一步用于:若所述当前视频画面非所述视频会议主讲者画面,判断所述压缩后视频的影像品质评估值是否在所述低品质要求范围内。
优选地,所述调整模块进一步用于:在所述压缩后视频的影像品质评估值大于所述低品质要求范围时,降低所述视频压缩参数,在所述压缩后视频的影像品质评估值小于所述低品质要求范围时,调高所述视频压缩参数。
优选地,所述压缩后视频的影像品质评估值为预定数目压缩后视频帧的图片品质评估值的平均值,所述压缩后视频帧的图片品质评估值是通过与所述原始视频帧对比得出。
相较于现有技术,所述的视频会议带宽管理方法及系统,能够实时的调整视频影像的数据带宽,保证了在网络带宽不够的情况实现视频数据的传输,同时在网络带宽充足的情况下,既能够确保视频数据的高质量传输,又能避免宝贵的网络带宽资源的浪费。
具体实施方式
参阅图1所示,是本发明视频会议带宽管理系统较佳实施例的运行环境图。视频会议带宽管理系统10运行于服务器1中。服务器1中还包括通过数据线或信号线相连的视频转送单元(VideoForwarder)20、多点控制单元(MultipointControlUnit,MCU)30、信令服务单元40、存储器50和处理器60等。
服务器1通过网络连接于至少一个客户端2(图1中示出两个作为代表),用于实现所述多个客户端2之间的视频会议。视频转送单元20用于接收各个客户端2发送的视频数据以及向多点控制单元30或各个客户端2转送视频数据。多点控制单元30用于对所述视频转送单元20转送过来的多路视频数据进行合成。信令服务单元40用于对各个客户端2进行连接管理,在进行视频会议时,每个客户端2均需先向信令服务单元40进行登录,并由信令服务单元40进行沟通处理,建立连线。存储器50用于存储视频会议带宽管理系统10的程序代码等资料。处理器60用于执行视频会议带宽管理系统10的各功能模块,以完成本发明。
参阅图2所示,是本发明视频会议带宽管理系统较佳实施例的功能模块图。
所述视频会议带宽管理系统10包括压缩模块101、第一判断模块102、计算模块103、第二判断模块104和调整模块105。
压缩模块101从客户端2传送的视频中获取预定数目的连续原始视频帧,并对所述视频进行压缩。在数字通信领域,视频信号数字化后数据带宽很高,通常在700MB/秒以上,因此计算机很难对之进行保存和处理。采用压缩技术通常可使数据带宽降到1-10MB/秒,这样就可以将视频信号保存在计算机中并作相应的处理。在本实施方式中,视频压缩方法并不受限制,可以是本领域中的任何一种视频压缩方法,另外,上述获取的原始视频帧的预定数目为人为设定。在本实施方式中,优选的视频压缩方法为H.264,优选的原始视频帧的预定数目为15帧。
第一判断模块102侦测当前网络带宽并判断当前网络带宽是否大于压缩后视频的数据带宽(即压缩后视频的比特率)。由于获悉当前网络带宽的方法乃本领域的一种习知技术,本文将不做详细的说明。在本实施方式中,视频的数据带宽与当前网络带宽的相对大小,会影响到数据的传送效果。一旦所需传输视频的数据带宽比当前网络带宽大,则必定会导致数据封包的丢失,以至于接收的视频出现失真的情况。
计算模块103在当前网络带宽大于压缩后视频数据带宽的情况下,计算压缩后视频的影像品质,进而得到一个影像品质评估值,所述影像品质评估值是视频中多个视频帧图片品质评估值的一个平均值,其反映了一个视频压缩后的一个品质,其值越大越好,最大为1。其中,图片品质评估值的计算可以依据现有的图像质量评估算法进行计算,比如SSIM(structuralsimilarity,结构相似性)以及MS-SSIM(multi-scalestructuralsimilarity,多尺度结构相似度)。在本实施方式中,图片品质评估值的优选算法依据的是一种结合人眼视觉特性的图像品质演算法,在本文中,我们称之为JND-SSIM算法。其中JND(Just-NoticeableDifference)为即最小可觉差,是差别阈限值(differencethreshold)的别称。SSIM(structuralsimilarity)为一种结构相似性衡量理论。针对本文中的JND-SSIM算法,后文将做更进一步的详细说明,在此便不多做阐述。
第二判断模块104判断计算模块103计算的影像品质评估值是否在当前视频的预设品质要求范围内。在本实施方式中,第二判断模块104还会侦测当前视频画面是否为视频会议主讲者画面。在客户端2上,主讲者一般以清晰的画质加以显示,而非主讲者则对画质要求较低。如图3所示,左上角的画面大而清晰,则为会议主讲者,而其周围小而不清晰的画面则为会议非主讲者。在本实施方式中,会议主讲者的画面会预设一个高品质要求范围,而会议非主讲者的画面则会预设一个低品质要求范围。在本实施方式中,高品质要求范围为0.92~0.98,低品质要求范围为0.70~0.80,当然,在其他实施方式中,高品质要求范围或者低品质要求范围也可以根据实际需要设为其他数值范围。
调整模块105在压缩后视频的影像品质评估值不在当前视频的预设品质要求范围内时,调整视频的压缩参数并把调整的压缩参数传递给压缩模块101,以至于压缩后视频的影像品质评估值处于预设品质要求范围内。在本实施方式中,当第二判断模块104判断压缩后视频的影像品质评估值不在预设的高品质要求范围时,调整视频的压缩参数,即调整视频压缩后的目标比特率。具体表现为:当压缩后视频的影像品质评估值大于高品质要求范围的上限时,降低所述视频压缩参数,进而降低视频压缩后的影像品质评估值,以及当压缩后视频的影像品质评估值小于高品质要求范围的下限时,提高所述视频压缩参数,进而提升视频压缩后的影像品质评估值。在本实施方式中,当第二判断模块104判断压缩后的影像的影像品质评估值不在低品质要求范围时,调整视频的压缩参数。具体表现为:当压缩后视频的影像品质评估值大于低品质要求范围的上限时,降低所述视频压缩参数,进而降低视频压缩后的影像品质评估值,以及当压缩后视频的影像品质评估值小于低品质要求范围的下限时,提高所述视频压缩参数,进而提升视频压缩后的影像品质评估值。在本实施方式中,调整视频的压缩参数均以一定幅度调整,如100Kbps。
参阅图4所示,是本发明视频会议带宽管理系统10实现其功能所采用JND-SSIM算法的说明图。下文将结合图4对JND-SSIM算法进行一个简单的说明。
SSIM(structuralsimilarity,结构相似性)是一种常见的图像品质评价算法,此演算法从图片的亮度、对比度及结构性来判别图像压缩后的品质。JND(Just-NoticeableDifference,最小可觉差)实质是心理物理学研究中的一种统计模型,可反映出人眼在接收图像信息时,所能察觉到的最小差异。而在HVS(HumanVisualSystem,人体视觉系统)的研究中,人眼对图像边界部分和纹理部分的变化感知能力较强,即人眼对图像从边界部分或纹理部分转变为平滑部分时,敏感度最高。故针对JND和SSIM的特点,结合JND和SSIM的特点并进行区块分类转换(BlockClassification),对压缩后各帧图像做出一个符合人眼生理特性的评价。
如图4所示,上述JND-SSIM算法包括图中阿拉伯数字表示的六个步骤:第1,上述视频会议带宽管理系统10中的计算模块103获取原始视频帧和压缩后视频帧;第2,视频会议带宽管理系统10依据如下公式计算压缩后视频帧的NPD值:
,
其中 代表原始视频帧与压缩后视频帧的像素数的绝对差值,为原始视频帧的JND数值,所述数值可依据现有的JND算法得出;第3,对于图片而言,一般具有三个区域,即平滑区域、纹理区域以及边缘区域,故视频会议带宽管理系统10便将原始视频帧和压缩后视频帧分为平滑区域、纹理区域以及边缘区域;第4,视频会议带宽管理系统10计算压缩后视频帧的SSIM数值分布,其中SSIM数值分布对应压缩后视频帧的每一个像素点;第5,根据第3步中两个视频帧的对比以及第4步的SSIM数值分布,找出从原始视频帧的平滑区域经压缩后变成压缩后视频帧的纹理区域的SSIM分布(P2T区域)、从原始视频帧的边缘区域经压缩后变成压缩后视频帧的平滑区域的SSIM分布(E2P区域)、从原始视频帧的边缘区域经压缩后变成压缩后视频帧的边缘区域的SSIM分布(E2E区域)、从原始视频帧的纹理区域经压缩后变成压缩后视频帧的平滑区域的SSIM分布(T2P区域)以及其他变动区域(restregion)的SSIM分布;第6,依据下列公式对P2T区域、E2P区域、E2E区域以及T2P区域的SSIM进行调整,并依据各个区域调整后的SSIM分布计算出每个压缩后视频帧的图片品质评估值,即JND-SSIM数值,具体如以下公式所示:
(=10,=30,,,);
;
;
;
;
;
;;
在上述公式中,代表P2T区域的像素数,、、和同样代表着对应区域的像素数,、、、以及分别代表对应区域的SSIM数值分布,M和N分别代表着每帧图像的维度,而S和W均为对应区域的调节参数,其中、、、、的值均为人为设定。根据以上公式的运算,视频会议带宽管理系统10可以很快计算出一个符合人眼生理特性的图片品质评估值,然后对所有压缩后视频帧的图片品质评估值求平均数即得压缩后视频的影像品质评估值。
参阅图5所示,是本发明视频会议带宽管理方法较佳实施例的流程图。所述视频会议带宽管理方法可通过所述处理器60执行图2所示的模块101~105而实现。
步骤S500,压缩模块101从客户端2传送的视频中获取预定数目的连续原始视频帧,并对所述视频进行压缩。在数字通信领域,视频信号数字化后数据带宽很高,通常在700MB/秒以上,因此计算机很难对之进行保存和处理。采用压缩技术通常可使数据带宽降到1-10MB/秒,这样就可以将视频信号保存在计算机中并作相应的处理。在本实施方式中,视频压缩方法并不受限制,可以是本领域中的任何一种视频压缩方法,另外,上述获取的原始视频帧的预定数目为人为设定。在本实施方式中,优选的视频压缩方法为H.264,优选的原始视频帧的预定数目为15帧。
步骤S502,第一判断模块102侦测当前网络带宽并判断当前网络带宽是否大于压缩后视频的数据带宽(即压缩后视频影像的比特率)。由于获悉当前网络带宽的方法乃本领域的一种习知技术,本文将不做详细的说明。在本实施方式中,视频影像的数据带宽与当前网络带宽的相对大小,会影响到数据的传送效果。一旦所需传输的视频数据带宽比当前网络带宽大,则肯定会导致数据封包的丢失,以至于接收的视频影像出现失真的情况。
步骤S504,计算模块103在当前网络带宽大于压缩后视频数据带宽的情况下,计算所述压缩后视频的影像品质评估值,所述影像品质评估值是视频中多个视频帧图片品质评估值的一个平均值,反映了一个视频影像压缩后的一个品质。在本实施方式中,图片品质评估值的算法依据的是一种结合人眼视觉特性的图像品质演算法,在本文中,我们称之为JND-SSIM算法,其具体内容上文已作解释,此处便不再做出说明。
步骤S506,第二判断模块104判断计算模块103计算的影像评估数值是否不在当前视频的预设品质要求范围内。在本实施方式中,一旦计算的影像品质评估值不在当前视频的预设品质要求范围内,则说明压缩后的视频画质不符合预定要求。
步骤S508,调整模块105在压缩后视频的影像品质评估值不在当前视频的预设品质要求范围内时,调整视频的压缩参数,进而使压缩模块101依据新的压缩参数对所需传送视频进行压缩,以至于视频数据带宽得到调整,进而使压缩后视频的影像品质评估值处于预设品质要求范围内。另外,若在步骤S502中判断当前网络带宽小于压缩后视频的数据带宽时,调整模块105也调整视频的压缩参数,进而使压缩模块101依据新的压缩参数对所述视频进行压缩。
参阅图6所示,是针对图5中S506和S508的细节流程图。
步骤S600,第二判断模块104通过判断当前视频画面是否为视频会议主讲者画面。在本实施方式中,会议主讲者的画面会有预设一个高品质要求范围,而会议非主讲者的画面则会预设一个低品质要求范围。在本实施方式中,高品质要求范围为0.92~0.98,低品质要求范围为0.7~0.8,当然,在其他实施方式中,高品质要求范围或者低品质要求范围也可以根据实际需要设为其他数值范围。
步骤S602,在当前视频画面为主讲者画面时,第二判断模块104判断计算的影像品质评估值是否不在当前视频预设的高品质要求范围内。在本实施方式中,高品质要求范围代表用户对当前视频影像画质的要求很高,如图3中视频终端显示的画面较大的主画面。
步骤S606,在当前画面非主讲者画面时,第二判断模块104判断计算的影像品质评估值是否不在当前视频预设的低品质要求范围内。在本实施方式中,低品质要求范围代表用户对当前视频影像画质的要求不高,如图3中视频终端显示的画面较小的分画面。
步骤S604,当计算的影像品质评估值不在当前视频预设的高品质要求范围或当前视频预设的低品质要求范围时,调整模块105调整视频的压缩参数,进而使压缩模块101依据新的压缩参数对所需传送视频进行压缩,以至于压缩后的视频带宽得到调整,进而使压缩后视频的影像品质评估值处于预设品质要求范围内。在本实施方式中,在影像品质评估值超过了高品质要求范围或低品质要求范围的上限时,调整模块105降低视频压缩参数,进而降低视频压缩后的影像品质评估值,在影像品质评估值低于了最高品质要求范围或最低品质要求范围的下限时,调整模块105提高视频压缩参数,进而提升视频压缩后的影像品质评估值。在本实施方式中,对压缩参数的调整都是依据一定幅度进行调整,如100Kbps。
通过将上述方法应用于上述装置,不仅可以使视频会议的视频画面满足用户的预设需求,同时也能最大限度的避免网络带宽的浪费,进而实现网络带宽的最大利用率。
值得注意的是,以上实施例仅用以说明本发明的技术方案而非限制,尽管参照较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或等同替换,而不脱离本发明技术方案的精神和范围。