CN101951331A - 数字家庭网络多媒体共享系统及其共享方法 - Google Patents

数字家庭网络多媒体共享系统及其共享方法 Download PDF

Info

Publication number
CN101951331A
CN101951331A CN 201010242234 CN201010242234A CN101951331A CN 101951331 A CN101951331 A CN 101951331A CN 201010242234 CN201010242234 CN 201010242234 CN 201010242234 A CN201010242234 A CN 201010242234A CN 101951331 A CN101951331 A CN 101951331A
Authority
CN
China
Prior art keywords
video
terminal equipment
multimedia
network
client
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN 201010242234
Other languages
English (en)
Other versions
CN101951331B (zh
Inventor
吴宗泽
谢胜利
伍明彰
吴润凯
张克新
林光华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN 201010242234 priority Critical patent/CN101951331B/zh
Publication of CN101951331A publication Critical patent/CN101951331A/zh
Application granted granted Critical
Publication of CN101951331B publication Critical patent/CN101951331B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明提供数字家庭网络多媒体共享系统及其共享方法,该系统包括智能家庭网关和终端设备,所述终端设备采用可伸缩视频编码方法对视频进行视频编码,生成具有时间、空间和质量可伸缩特性的视频码流块,并生成视频轨迹文件,对编码产生的视频码流块划分传输优先级,根据网络状况,自适应的调整多媒体信息流的传输码率。所述共享方法中,当网络可用带宽变小时,在客户端看到流畅的视频,虽然视频的清晰度会下降,但能够保持视频的流畅性。当网络可用带宽变大时,客户端在保持视频的流畅性的前提下,逐渐提高视频的清晰度。本系统适用于带宽受限的数字家庭网络,适用于在异构网络上的不同终端之间的互联互通。

Description

数字家庭网络多媒体共享系统及其共享方法
技术领域
本发明涉及多媒体信息的共享技术,具体涉及数字家庭网络多媒体共享系统及其共享方法。
背景技术
随着计算机、通信和各种娱乐媒体的交互、融合,如今各种数字媒体应用通过通信网络连为一体。在网络环境里,比如互联网,各种终端设备可能具有不同的再现能力和应用需求。所以为了某种特定的应用而一次压缩的码流并不是令人满意和有效的,对一些特定的用户或设备而言,甚至是没有意义的。解决这个问题的一个有效的方法就是可伸缩编码。在可伸缩编码里,为低端应用而产生的低码率码流作为子集嵌入在为高端应用而产生的高码率码流中。这样,对于一次性压缩的高码率码流,通过选择性地传输和解码其中的部分码流,就能够得到适用于多种应用和多种设备的解码结果。
可伸缩视频编码能够根据不同的需求合理选择编码码流,实现可伸缩传输。它能满足数字家庭中对视频码流在不同网络、不同设备、不同业务之间实时流畅的互连互通。可伸缩性是通过将单一码流分为若干层实现的。前提是单一码流,从编码器出来的单一码流内嵌有若干层。如果视频编码器经过一次性压缩后所产生的码流能被解码端以不同的码率、帧率、空间分辨率和视频质量解码,则称该编解码系统具有“可伸缩性”。支持伸缩性的编码器只需编码一次,就可以满足不同的要求。因为编码产生的码流是嵌入式分层的,对其中一部分解码可以得到具有特定质量和时空分辨率的视频。这种编码方式与目前使用的编码方式相比,满足各种不同需要的能力更强,编码效率也大大提高。这些层包括一个基本层、一个或多个增强层。对基本层解码得到可以接受的最低分辨率的视频,而增强层包含所有重构高分辨率视频所需要的额外信息。每个相继增强层视频的分辨率等级和/或质量是依次递增的。
随着面向网络应用的视频服务日益广泛,由于网络的异构性和缺乏服务质量(Qos)保证,带宽往往在一个较大范围内变化,因此对视频压缩的要求不仅是保证高压缩率,同时还要求压缩后的视频能够适应一定的网络可用带宽的变化,并具有一定的容错性和多方面的可伸缩性。
发明内容
本发明的目的在于克服现有技术存在的上述不足,提供数字家庭网络多媒体共享系统及其共享方法。发明的目的通过如下技术方案实现:
数字家庭网络多媒体共享系统,包括智能家庭网关和终端设备,所述智能家庭网关是系统的控制中心,终端设备在系统中用作客户端或服务端;所述终端设备采用可伸缩视频编码方法对视频进行视频编码,生成具有时间、空间和质量可伸缩特性的视频码流块,并生成视频轨迹文件,对编码产生的视频码流块划分传输优先级,根据网络状况,自适应的调整多媒体信息流的传输码率;同时根据划分的优先级发送视频码流块。
上述的数字家庭网络多媒体共享系统中,所述视频轨迹文件描述视频码流块的可伸缩性,视频轨迹文件是服务端选取码流块的依据之一,视频轨迹文件包括视频码流块的时间、空间和质量特性和地址信息。
上述的数字家庭网络多媒体共享系统中,智能家庭网关包含的终端设备列表,显示当前在线的终端设备;终端设备列表包含智能家庭网关通过网络端口监测到的设备;智能家庭网实时刷新终端设备列表。
上述的数字家庭网络多媒体共享系统中,智能家庭网关具有终端设备上线和下线发现功能,根据终端设备发出的登录请求刷新终端设备列表,根据终端设备发出的离线消息刷新终端设备列表。
上述的数字家庭网络多媒体共享系统中,智能家庭网关和终端设备都包含多媒体信息列表;多媒体信息列表的内容是由终端设备共同享用的多媒体资源信息,包括多媒体资源的简介和多媒体资源的访问权限;对于同一个多媒体资源,不同终端设备具有不同的访问权限。
上述的数字家庭网络多媒体共享系统中,不同的终端设备具有不同的多媒体资源访问权限;多媒体资源的访问权限包含在多媒体信息列表中。
上述的数字家庭网络多媒体共享系统中,客户端具有网络可用带宽测量功能,并向服务端反馈网络可用带宽信息;客户端采用被动的带宽测量方法,统计出接收到的视频码流块的数据总量和耗费的时间,用视频码流块的数据总量除以耗费的时间,得出网络的可用带宽;服务端具有码流块选取功能,码流块选取的依据是网络可用带宽信息和视频轨迹文件。
上述的数字家庭网络多媒体共享系统中,服务端包括SVC控制器、变码率器和视频发送器,服务端的SVC控制器结合视频轨迹文件和网络可用带宽,分析得出码流块的地址信息,变码率器根据码流块的地址信息选取并组织视频码流块,再传递给视频发送器,视频发送器传输视频码流块;客户端包括视频接收器、码率检测器、带宽估计器和视频解码器,视频接收器接收服务端发送过来的视频码流块,码率监测器实时监测视频码率的变化,带宽估计器根据检测到得视频码率和耗费的时间估计出当前的网络可用带宽;带宽估计器估计出的网络带宽,并向服务端反馈网络可用带宽信息,然后视频解码器对视频码流块进行解码。
上述的数字家庭网络多媒体共享系统的共享方法,包括如下步骤:
在发现终端设备上线时,智能家庭网关根据终端设备发来的登录请求,在终端设备列表上添加一个终端设备标识;在发现终端设备下线时,智能家庭网关根据终端设备发来的离线消息,在终端设备列表上删除相应的终端设备标识;
终端设备登录后把自身的多媒体信息列表发送到智能家庭网关;智能家庭网关在刷新终端设备列表时,还刷新多媒体信息列表,然后终端设备获取智能家庭网关的终端设备列表和多媒体信息列表;
终端设备的客户端查看智能家庭网关传递来的终端设备列表和多媒体信息列表,向拥有某个多媒体信息的终端设备的服务端发送连接请求,该请求包括媒体信息、网络状况、自身显示能力和计算能力信息;服务端收到请求信息之后,根据权限和网络状况,发送一个应答消息给客户端,如果客户端同意,则在服务端和客户端之间建立连接;
服务端根据客户端发送的请求信息,提取相应的多媒体信息流,发送给客户端;
客端接收来自服务端的多媒体信息流,并根据接收到的多媒体信息流的情况估计网络可用带宽;在接收多媒体信息流中的视频码流块的同时,客户端记录下接收到的多媒体信息流中的视频码流块的数据总量和耗费的时间,用视频码流块的数据总量除以耗费的时间,估计出当前网络的可用带宽,生成网络可用带宽信息,并向服务端发送该消息;
根据客户端反馈的网络可用带宽信息,服务端结合视频轨迹文件,选取视频码流块;
当网络可用带宽变小时,在客户端看到流畅的清晰度较低的视频;当网络可用带宽变大时,客户端在保持视频的流畅性的前提下,逐渐提高视频的清晰度。
与现有技术相比,本发明具有如下优点和效果:
该系统采用一个智能家庭网关作为控制中心,家庭内部的各种终端设备,向智能家庭网关请求进入系统,一个终端设备(客户端)和另一个终端设备(服务端)建立连接,传输具有可伸缩特性的视频码流块。当网络可用带宽变小时,在客户端看到流畅的视频,虽然视频的清晰度会下降,但能够保持视频的流畅性。当网络可用带宽变大时,客户端在保持视频的流畅性的前提下,逐渐提高视频的清晰度。本系统适用于带宽受限的数字家庭网络,适用于在异构网络上的不同终端之间的互联互通,适用于电脑、上网本、PDA和电视等性能特点各异的终端。
附图说明
图1是实施例中服务端和客户端的构成示意图;
图2是实施例中服务端部分的状态机图;
图3是实施例中客户端部分的状态机图。
具体实施方式
以下结合附图对本发明的具体实施作进一步说明,但本发明的实施和保护范围不限于此。
本系统包括智能家庭网关和终端设备,所述智能家庭网关是系统的控制中心,终端设备在系统中用作客户端或服务端,智能家庭网关主要作用是监测各种终端设备的上线状态和离线状态,在一个终端设备(客户端)和另一个终端设备(服务端)之间建立连接,控制客户端和服务端之间的多媒体信息流的传输。
智能家庭网关包含了客户端和服务端的相关信息,控制客户端和服务端之间的通信。服务端根据网络可用带宽和视频轨迹文件调整传输码率,根据视频轨迹文件划分的优先级和终端设备的需求,选取合适的视频码流块传输到客户端。优先级越高视频码流块越重要,因而客户端先发送优先级较高的视频码流块。智能家庭网关和终端设备上都有多媒体信息列表功能。列表的内容是由终端设备共同享用的多媒体资源信息,包括多媒体资源的简介和多媒体资源的访问权限。对于同一个多媒体资源,不同终端设备具有不同的访问权限。多媒体资源的访问权限包含在多媒体信息列表中,由智能家庭网关统一管理。
如图1服务端的SVC控制器(Scalable Video Coding即可伸缩视频编码,简称SVC)的作用是结合视频轨迹文件和网络可用带宽,分析得出码流块的地址信息,变码率器根据码流块的地址信息选取、组织视频码流块,再传递给视频发送器。然后,视频发送器传输视频码流块。客户端上的视频接收器接收服务端发送过来的视频码流块,码率监测器实时监测视频码率的变化,带宽估计器根据检测到得视频码率和耗费的时间估计出当前的网络可用带宽。带宽估计器估计出的网络带宽,并向服务端反馈网络可用带宽信息。然后视频解码器对视频码流块进行解码。
智能家庭网关上的终端设备列表,反映了各种终端设备的上线状态,显示出可以充当客户端或服务端的终端设备。智能家庭网关上的多媒体信息列表,反映了由终端设备共同享用的多媒体资源信息,包括多媒体资源的简介和多媒体资源的访问权限。处于上线状态的终端设备,获取智能家庭网关上的多媒体信息列表后,可以访问各种多媒体资源。
当传输多媒体信息流的时候,家庭智能网关是服务端和客户端之间的转发装置。服务端的多媒体信息流传输到智能家庭网关,然后智能家庭网关把该多媒体信息流传输到客户端。
家庭多媒体共享系统的工作过程如下:
(1)终端设备登录。在家庭内部上线之后,任意终端设备向智能家庭网关发起连接。在验证通过之后,终端设备把多媒体信息列表发送到给智能家庭网关。
(2)智能家庭网关刷新列表。智能家庭网关刷新自己的终端设备列表、多媒体信息列表。
(3)终端设备刷新列表。终端设备获取在智能家庭网关上的终端设备列表、多媒体信息列表。
(4)终端设备请求连接。在获取智能家庭网关的列表信息之后,终端设备(客户端)为自己感兴趣的媒体信息,向拥有该媒体信息的终端设备(服务端)发送一个请求,该请求包括媒体信息、网络状况、自身显示能力和计算能力等信息。
(5)服务端应答客户端。在服务端收到请求信息之后,根据权限和网络状况,发送一个应答消息给客户端。如果应答消息表示同意,则在服务端和客户端之间建立一条连接;如果应答消息表示不同意,则在服务端和客户端之间暂时不建立连接。
(6)服务端发送多媒体信息流。服务端根据客户端发送的请求信息,提取相应多媒体信息流,发送给客户端。
(7)客户端接收多媒体信息流。客户端接收到服务端的同意消息之后,接收来自服务端的多媒体信息流,并根据接收接收媒体流的情况预测下一次传输多媒体信息流的网络可用带宽。该预测过程采用被动的带宽测量技术。
(8)终端设备下线。在终端设备离开家庭网络或者关闭之后,发送一个离线消息给智能家庭网关。智能家庭网关再刷新当前的列表信息。
服务端对视频进行可伸缩视频编码,得到由码流块组成的视频文件,同时生成包含视频轨迹信息的视频轨迹文件。每个码流块对应一个信息集合layer_information,记录了视频轨迹信息,信息集合包括如下成员:
T_index:时间维序号;
L_index:空间维序号;
Q_index:质量维序号;
layer_index:码流块在一帧中的序号;
layer_length:码流块的数据量大小;
layer_distortion:丢失该码流块造成的失真度;
layer_important:码流块的重要性参数;
data_important:较重要的码流块的数据总量。
视频轨迹文件产生于可伸缩视频编码过程中。生成步骤如下:
(1)编码器先从视频源中读取16帧,构成一个视频组。
(2)进行可伸缩视频编码,生成可以任意截断的码流块。
(3)计算丢失某个码流块造成的失真度。layer_distortion是DCT变换域的视频数据的失真度。丢失某个码流块造成的失真度是视频组的所有系数的失真度的累加和。计算方法如下:
layer _ distortion = &Sigma; 0 < i < g ( &Sigma; 0 < j &le; h ( &Sigma; 0 < k &le; w ( a ijk - a ijk &prime; ) ) )
g:一个视频组包含的帧的数量,在本方法中g=16;
h:在DCT变换域的一个帧高度;
w:在DCT变换域的一个帧宽度;
aijk:在保留该码流块时,第i帧中,高度为j宽度为k的位置上的系数;
a′ijk:在丢弃该码流块时,第i帧中,高度为j宽度为k的位置上的系数;
(4)对DCT变换域的的视频数据进行量化,再对量化后的码流块进行熵编码。本实施例采用CAVLC(基于上下文自适应的可变长编码)。CAVLC充分利用残差经过变换、量化后数据的特性进行压缩,进一步减少数据中的冗余信息。在熵编码后,记录每个码流块的数据量大小layer_length。
(5)计算码流块的重要性参数layer_important。计算方法如下:
layer _ impor tan t i = layer _ dist ortion i layer _ length i ;
layer_distortioni:丢失视频组的第i个码流块造成的失真度;
layer_lengthi:视频组的第i个码流块的数据量大小;
layer_important表示了码流块在单位数据量上的失真度。当码流块的数据量大小layer_length固定时,丢失某个码流块造成的失真度layer_distortion越大,则layer_important越大,该码流块越重要;反之,layer_distortion越小,则layer_important越小,该码流块越不重要。当丢失某个码流块造成的失真度layer_distortion固定时,码流块的数据量大小layer_length越大,则layer_important越小,该码流块越不重要;反之,layer_length越小,则layer_important越大,该码流块越重要。
然后,依据码流块的重要性参数layer_important,对视频组中的码流块的信息集合layer_information进行排序。包含layer_important的值大的layer_information的序号小,该码流块对应较高的传输优先级;包含layer_important的值小的layer_information的序号大,该码流块对应较低的传输优先级。
(6)计算较重要的码流块的数据总量data_important。data_important,表示在视频组中某个码流块的数据量大小和比该码流块的重要性参数大的码流块的数据量大小的和。计算方法如下:
data _ impor tan t j = &Sigma; 1 &le; k &le; j layer _ length k
其中,j和k,表示在对码流块的信息集合layer_information进行排序后,各个layer_information的序号。data_important对应着在网络上传输的视频组的数据总量的大小。
客户端上的视频接收器接收服务端发送过来的视频码流块,码率监测器实时监测视频码率的变化,带宽估计器根据检测到得视频码率和耗费的时间估计出当前的网络可用带宽。带宽估计器估计出的网络带宽,并向服务端反馈网络可用带宽信息。然后视频解码器对视频码流块进行解码。
网络可用带宽的估计步骤如下:
(1)客户端连续接收一个视频组包含的码流块;
(2)在接收视频码流时,客户端用计数器统计出一个视频组的数据总量data_receive;
(3)在接收视频码流时,客户端用计时器测量出接收一个视频组耗费的时间time_receive;
(4)网络可用带宽band_width,是接收到的视频组的数据总量除以耗费的时间,计算方法如下:
band _ width = data _ receive time _ receive
(5)客户端计算出请求发送的视频组数据总量data_request。data_request,是对band_width和time_group的乘积取整的结果,计算方法如下:
data_request=[band_width×time_group]
最后客户端向服务端反馈包含data_request的消息。
服务端的SVC控制器结合视频轨迹文件和网络可用带宽,分析得出码流块的地址信息,变码率器根据码流块的地址信息选取、组织视频码流块,再传递给视频发送器。然后,视频发送器传输视频码流块。
服务端记录客户端请求发送的视频组数据总量data_request。服务端以data_request为约束因素,查找码流块的信息集合layer_information中的data_important。查找方法如下:
data _ impor tan t x
= data _ impor tan t i _ first , ( data _ request < data _ impor tan t i _ first ) data _ impor tan t i , data _ impor tan t i - 1 < data _ request &le; data _ impor tan t i , data _ impor tan t 0 = 0 , i _ first &le; i &le; i _ last data _ impor tan t i _ last , ( data _ request > data _ impor tan t i _ last )
x:查找到的较重要的码流块的数据总量data_important所在的layer_information的序号;
i_first:最重要的码流块的layer_information的序号,在这里i_first=1;
i_last:最不重要的码流块的layer_information的序号,在这里i_last=64;
data_important0:为查找data_important而设定的变量,在这里data_important0=0;
data_importanti_first:最重要的码流块对应的data_important,在这里data_importanti_first=data_important1=layer_length1
data_importanti_last:最不重要的码流块对应的data_important;
在第一种情况下,网络可用带宽允许的数据量过小。data_important的最小值不满足约束条件——data_important小于或等于data_request。因而,data_importantx=data_important1,以data_important1作为被发送的视频组数据总量data_send,即:
data_send=data_important1
在第二种情况下,网络可用带宽允许的数据量适中。服务端查找较重要的码流块的数据总量data_important。约束条件是data_important小于或等于data_request,而且data_important接近data_request。以查找结果data_importantx作为被发送的视频组数据总量data_send,即:
data_send=data_importantx,(1≤x≤64)
在第三种情况下,网络可用带宽允许的数据量过大。data_important的最大值大于请求发送的视频组数据总量data_request。因而,data_importantx=data_important64,以data_important64作为被发送的视频组数据总量data_send,即:
data_send=data_important64
确定data_send后,服务端在视频组的码流块对应的layer_information中分析序号小于或等于x的layer_information,得出码流块的地址信息(时间维序号T_index、空间维序号L_index、质量维序号Q_index和码流块在一帧中的序号layer_index)。然后服务端的变码率器根据码流块的地址信息选取、组织视频码流块。
服务端向客户端发送码流块。发送视频数据结束后,服务端等待下一个包含data_request的消息。
当测量到当前的网络可用带宽不适合传输高质量视频的时候,在下一个视频组中丢弃一部分重要性参数较小的码流块;当测量到当前的网络可用带宽能够传输更高质量视频的时候,就在下一个要被传输的视频组中增加一部分重要性参数较小的码流块。但所传输的视频至少包含基本码流块。当前网络可用带宽决定了所传输的视频组的数据总量,视频组的数据总量决定了组内包含具有何种重要性参数的码流块,由视频组的数据总量测量出网络可用带宽,网络可用带宽决定下一个视频组的数据总量。由此可见,视频的传输能自适应网络可用带宽状况。
图2所示的是服务端的状态流程图:
(1)服务端在启动时,运行端口监督程序。服务端处理初始化监听套接字,并等待客户端与其连接。客户端的连接可以被接受或限制,这样其他客户端也可以连接到主监听套接字。
(2)服务端等待来自客户端的视频播放请求。若收到播放请求,就进入下一步,向客户端传输视频;否则一直处于等待状态。
(3)服务端向客户端传输视频码流块,同时接收客户端反馈的网络可用带宽消息和其他消息,并向客户端发送相应的消息。
(4)在传输视频的过程中,判断视频是否播放完毕,若已经播放完毕,就结束视频传输,并且告知视频已经播放完毕,使得服务端和相应的客户端都进入结束状态;否则继续传输视频码流块。
(5)根据客户端反馈回来的网络可用带宽消息,判断网络带宽状况。如果网络可用带宽出现了变化,则调整下一个视频码流块的码率,否则调整视频的其他参数。
(6)在网络可用带宽出现了变化的情况下,对视频码率进行调整。调整视频码率的另一个依据是视频轨迹文件。
(7)监测客户端传递过来的视频控制消息,如果没接收到客户端的任何视频控制消息,就继续无间断的传输视频;如果接收到视频控制消息,就进行相应的处理。
(8)检查客户端传递过来的控制消息,判断这个消息是不是停止消息。如果客户端在请求停止,则结束传输视频,清空缓冲区,断开连接,进入结束状态。
(9)在接收到的控制消息不是停止消息的情况下,进行与其他控制消息相对应的处理,处理完毕后,再回到传输视频的状态。
(10)结束状态,这个状态出现在视频已经传输完毕或客户端请求停止视频传输的时候。图3所示的是客户端的状态流程图:
(1)客户端向服务端发送连接请求。如果服务端接受连接请求,则与客户端建立连接。
(2)客户端选择一个视频文件,向服务端发送视频播放请求。
(3)在服务端收到了客户端的视频播放消息的之后,服务端向客户端传输视频码流块。同时,客户端向服务端反馈网络可用带宽消息和其他消息,并接收服务端发送来的相应消息。
(4)根据服务端发送过来的消息,判断视频是否已经播放完毕,如果已经播放完毕,就结束视频传输,并且进入结束状态;否则继续传输视频码流块。
(5)在播放视频的时候,客户端监测接收到的视频码流块的数据总量和所耗费的时间,估计网络可用带宽,再向服务端发送带宽消息。
(6)在网络可用带宽发生变化的情况下,客户端向服务端发送消息,请求调整视频传输码率。
(7)客户端判断是否改变视频的分辨率。如果需要改变视频分辨率,就根据所需的分辨率对应的空间因子进行调整。
(8)客户端根据空间因子对分辨率进行调整。
(9)在必要的时候,客户端向服务端发送视频控制消息。如果没有任何视频控制消息要被发送,就继续进行视频传输。
(10)客户端判断是否停止视频的传输。如果要停止视频的传输,就向服务端发送控制消息请求停止传输视频。客户端和服务端都结束传输视频,清空缓冲区,断开连接,进入结束状态。
(11)在客户端要发送的消息不是停止消息的情况下,客户端进行与其他控制消息相对应的处理,处理完毕后,再回到传输视频的状态。
(12)结束状态。与这个状态相应的情况是视频已经传输完毕或客户端请求停止视频传输。
如上即可实现本发明,本系统适用于带宽受限的数字家庭网络,适用于在异构网络上的不同终端之间的互联互通,适用于电脑、上网本、PDA和电视等性能特点各异的终端。

Claims (10)

1.数字家庭网络多媒体共享系统,其特征在于包括智能家庭网关和终端设备,所述智能家庭网关是系统的控制中心,终端设备在系统中用作客户端或服务端;所述终端设备采用可伸缩视频编码方法对视频进行视频编码,生成具有时间、空间和质量可伸缩特性的视频码流块,并生成视频轨迹文件,对编码产生的视频码流块划分传输优先级,根据网络状况,自适应的调整多媒体信息流的传输码率,同时根据划分的优先级发送视频码流块。
2.根据权利要求1所述的数字家庭网络多媒体共享系统,其特征在于所述视频轨迹文件描述视频码流块的可伸缩性,视频轨迹文件是服务端选取码流块的依据之一,视频轨迹文件包括视频码流块的时间、空间和质量特性和地址信息。
3.根据权利要求1所述数字家庭网络多媒体共享系统,其特征在于,智能家庭网关包含的终端设备列表,显示当前在线的终端设备;终端设备列表包含智能家庭网关通过网络端口监测到的设备;智能家庭网实时刷新终端设备列表。
4.根据权利要求1所述数字家庭网络多媒体共享系统,其特征在于,智能家庭网关具有终端设备上线和下线发现功能,根据终端设备发出的登录请求刷新终端设备列表,根据终端设备发出的离线消息刷新终端设备列表。
5.根据权利要求1所述数字家庭网络多媒体共享系统,其特征在于,智能家庭网关和终端设备都包含多媒体信息列表;多媒体信息列表的内容是由终端设备共同享用的多媒体资源信息,包括多媒体资源的简介和多媒体资源的访问权限;对于同一个多媒体资源,不同终端设备具有不同的访问权限。
6.根据权利要求5所述数字家庭网络多媒体共享系统,其特征在于,不同的终端设备具有不同的多媒体资源访问权限;多媒体资源的访问权限包含在多媒体信息列表中。
7.根据权利要求1述数字家庭网络多媒体共享系统,其特征在于,客户端具有网络可用带宽测量功能,并向服务端反馈网络可用带宽信息;客户端采用被动的带宽测量方法,统计出接收到的视频码流块的数据总量和耗费的时间,用视频码流块的数据总量除以耗费的时间,得出网络的可用带宽;服务端具有码流块选取功能,码流块选取的依据是网络可用带宽信息和视频轨迹文件。
8.根据权利要求1~7任一项所述的数字家庭网络多媒体共享系统,其特征在于,服务端包括SVC控制器、变码率器和视频发送器,服务端的SVC控制器结合视频轨迹文件和网络可用带宽,分析得出码流块的地址信息,变码率器根据码流块的地址信息选取并组织视频码流块,再传递给视频发送器,视频发送器传输视频码流块;客户端包括视频接收器、码率检测器、带宽估计器和视频解码器,视频接收器接收服务端发送过来的视频码流块,码率监测器实时监测视频码率的变化,带宽估计器根据检测到得视频码率和耗费的时间估计出当前的网络可用带宽;带宽估计器估计出的网络带宽,并向服务端反馈网络可用带宽信息,然后视频解码器对视频码流块进行解码。
9.权利要求1~7任一项所述数字家庭网络多媒体共享系统的共享方法,其特征在于包括:
在发现终端设备上线时,智能家庭网关根据终端设备发来的登录请求,在终端设备列表上添加一个终端设备标识;在发现终端设备下线时,智能家庭网关根据终端设备发来的离线消息,在终端设备列表上删除相应的终端设备标识;
终端设备登录后把自身的多媒体信息列表发送到智能家庭网关;智能家庭网关在刷新终端设备列表时,还刷新多媒体信息列表,然后终端设备获取智能家庭网关的终端设备列表和多媒体信息列表;
终端设备的客户端查看智能家庭网关传递来的终端设备列表和多媒体信息列表,向拥有某个多媒体信息的终端设备的服务端发送连接请求,该请求包括媒体信息、网络状况、自身显示能力和计算能力信息;服务端收到请求信息之后,根据权限和网络状况,发送一个应答消息给客户端,如果客户端同意,则在服务端和客户端之间建立连接;
服务端根据客户端发送的请求信息,提取相应的多媒体信息流,发送给客户端;
客端接收来自服务端的多媒体信息流,并根据接收到的多媒体信息流的情况估计网络可用带宽;在接收多媒体信息流中的视频码流块的同时,客户端记录下接收到的多媒体信息流中的视频码流块的数据总量和耗费的时间,用视频码流块的数据总量除以耗费的时间,估计出当前网络的可用带宽,生成网络可用带宽信息,并向服务端发送该消息;
根据客户端反馈的网络可用带宽信息,服务端结合视频轨迹文件,选取视频码流块;
当网络可用带宽变小时,在客户端看到流畅的清晰度较低的视频;当网络可用带宽变大时,客户端在保持视频的流畅性的前提下,逐渐提高视频的清晰度。
10.权利要求9所述的共享方法,其特征在于服务端根据网络可用带宽和视频轨迹文件调整传输码率,根据视频轨迹文件划分的优先级和终端设备的需求,选取合适的视频码流块传输到客户端;优先级越高视频码流块越重要,服务端先发送优先级较高的视频码流块。
CN 201010242234 2010-07-30 2010-07-30 数字家庭网络多媒体共享系统及其共享方法 Expired - Fee Related CN101951331B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN 201010242234 CN101951331B (zh) 2010-07-30 2010-07-30 数字家庭网络多媒体共享系统及其共享方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN 201010242234 CN101951331B (zh) 2010-07-30 2010-07-30 数字家庭网络多媒体共享系统及其共享方法

Publications (2)

Publication Number Publication Date
CN101951331A true CN101951331A (zh) 2011-01-19
CN101951331B CN101951331B (zh) 2013-04-17

Family

ID=43454694

Family Applications (1)

Application Number Title Priority Date Filing Date
CN 201010242234 Expired - Fee Related CN101951331B (zh) 2010-07-30 2010-07-30 数字家庭网络多媒体共享系统及其共享方法

Country Status (1)

Country Link
CN (1) CN101951331B (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102710963A (zh) * 2011-02-22 2012-10-03 仁宝电脑工业股份有限公司 调整视频串流影音质量的方法以及系统
CN103108160A (zh) * 2013-01-24 2013-05-15 中国联合网络通信集团有限公司 监控视频数据获取方法、服务器和终端
CN103227975A (zh) * 2012-01-30 2013-07-31 中兴通讯股份有限公司 基于异构网的服务提供方法及系统、媒体服务器
CN103631872A (zh) * 2013-11-06 2014-03-12 乐视网信息技术(北京)股份有限公司 一种多媒体文件播放方法及电子终端
CN103684992A (zh) * 2013-12-16 2014-03-26 深圳中兴网信科技有限公司 家庭网关、终端和数据共享方法
CN103905820A (zh) * 2012-12-28 2014-07-02 中国科学院声学研究所 一种基于svc的客户端视频质量自适应方法及系统
CN103974135A (zh) * 2014-05-07 2014-08-06 广州骏视信息科技有限公司 一种视频分享方法及系统
CN105847895A (zh) * 2016-03-28 2016-08-10 乐视控股(北京)有限公司 视频文件的分发方法及系统
CN106302462A (zh) * 2016-08-16 2017-01-04 合肥东上多媒体科技有限公司 数字家庭多媒体播放系统
CN106716939A (zh) * 2014-07-29 2017-05-24 皇家Kpn公司 数据流递送中改进的qos
CN109922318A (zh) * 2019-03-22 2019-06-21 重庆紫光华山智安科技有限公司 一种多路视频传输调度方法、装置、存储介质及电子终端
CN109981545A (zh) * 2017-12-28 2019-07-05 北京松果电子有限公司 编码码率调整装置、方法及电子设备

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2540571A (en) * 2015-07-21 2017-01-25 Univ Guangdong Technology Digital home network multimedia share system and share method thereof

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002035773A1 (fr) * 2000-10-24 2002-05-02 Sony Corporation Procede de traitement d"informations et appareil correspondant dote d"une fonction de communication
CN1474540A (zh) * 2003-05-08 2004-02-11 上海交通大学 远程教学多模式实时多媒体交互系统
CN1691653A (zh) * 2004-04-16 2005-11-02 美国博通公司 经由宽带接入网关登记接入设备多媒体内容的系统及方法
CN101547356A (zh) * 2008-03-24 2009-09-30 展讯通信(上海)有限公司 视频码流收发、转发方法及设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002035773A1 (fr) * 2000-10-24 2002-05-02 Sony Corporation Procede de traitement d"informations et appareil correspondant dote d"une fonction de communication
CN1474540A (zh) * 2003-05-08 2004-02-11 上海交通大学 远程教学多模式实时多媒体交互系统
CN1691653A (zh) * 2004-04-16 2005-11-02 美国博通公司 经由宽带接入网关登记接入设备多媒体内容的系统及方法
CN101547356A (zh) * 2008-03-24 2009-09-30 展讯通信(上海)有限公司 视频码流收发、转发方法及设备

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102710963A (zh) * 2011-02-22 2012-10-03 仁宝电脑工业股份有限公司 调整视频串流影音质量的方法以及系统
CN103227975A (zh) * 2012-01-30 2013-07-31 中兴通讯股份有限公司 基于异构网的服务提供方法及系统、媒体服务器
WO2013113203A1 (zh) * 2012-01-30 2013-08-08 中兴通讯股份有限公司 基于异构网的服务提供方法及系统、媒体服务器
CN103227975B (zh) * 2012-01-30 2018-08-21 中兴通讯股份有限公司 基于异构网的服务提供方法及系统、媒体服务器
CN103905820A (zh) * 2012-12-28 2014-07-02 中国科学院声学研究所 一种基于svc的客户端视频质量自适应方法及系统
CN103108160B (zh) * 2013-01-24 2016-08-03 中国联合网络通信集团有限公司 监控视频数据获取方法、服务器和终端
CN103108160A (zh) * 2013-01-24 2013-05-15 中国联合网络通信集团有限公司 监控视频数据获取方法、服务器和终端
CN103631872A (zh) * 2013-11-06 2014-03-12 乐视网信息技术(北京)股份有限公司 一种多媒体文件播放方法及电子终端
CN103684992B (zh) * 2013-12-16 2017-04-26 深圳中兴网信科技有限公司 家庭网关、终端和数据共享方法
CN103684992A (zh) * 2013-12-16 2014-03-26 深圳中兴网信科技有限公司 家庭网关、终端和数据共享方法
CN103974135B (zh) * 2014-05-07 2016-02-24 广州骏视信息科技有限公司 一种视频分享方法及系统
CN103974135A (zh) * 2014-05-07 2014-08-06 广州骏视信息科技有限公司 一种视频分享方法及系统
CN106716939A (zh) * 2014-07-29 2017-05-24 皇家Kpn公司 数据流递送中改进的qos
CN105847895A (zh) * 2016-03-28 2016-08-10 乐视控股(北京)有限公司 视频文件的分发方法及系统
CN106302462A (zh) * 2016-08-16 2017-01-04 合肥东上多媒体科技有限公司 数字家庭多媒体播放系统
CN109981545A (zh) * 2017-12-28 2019-07-05 北京松果电子有限公司 编码码率调整装置、方法及电子设备
CN109922318A (zh) * 2019-03-22 2019-06-21 重庆紫光华山智安科技有限公司 一种多路视频传输调度方法、装置、存储介质及电子终端

Also Published As

Publication number Publication date
CN101951331B (zh) 2013-04-17

Similar Documents

Publication Publication Date Title
CN101951331B (zh) 数字家庭网络多媒体共享系统及其共享方法
CN102868666B (zh) 基于用户体验交互的流媒体质量监测报告的实现方法
CN100463520C (zh) 用于考虑终端能力来提供多媒体服务的方法和装置
CN101686383B (zh) 通过网络传输媒体的方法及系统
CN100542275C (zh) 内容递送系统、通信装置和通信方法
US7573877B2 (en) Terminal apparatus, data transmitting apparatus, data transmitting and receiving system, and data transmitting and receiving method
CN101399980B (zh) 流媒体服务实现方法、系统和策略与控制服务器
US7809830B2 (en) Optimization of quality of service in the distribution of bitstreams
CN103210642B (zh) 在http流送期间发生表达切换时传送用于自然再现的可缩放http流的方法
CN103957389A (zh) 基于压缩感知的3g视频传输方法及系统
Taha et al. Smart algorithm in wireless networks for video streaming based on adaptive quantization
GB2540571A (en) Digital home network multimedia share system and share method thereof
WO2023134524A1 (zh) 一种视频编码配置方法、系统、设备及存储介质
CN102665116A (zh) 一种基于互联网的视音频传输系统及其视音频流分发方法
Kim et al. A network-aware quality adaptation scheme for device collaboration service in home networks
Lienhart et al. Challenges in Distributed Video Management and Delivery
Alaya et al. Multilayer video encoding for QoS managing of video streaming in VANET environment
Devaux et al. A flexible video transmission system based on JPEG 2000 conditional replenishment with multiple references
CN107592555A (zh) 一种动态获取视频数据的方法、装置及系统
CN101917608B (zh) 视频轨迹的可伸缩传输方法
CN116980392A (zh) 媒体流处理方法、装置、计算机设备和存储介质
CN102014300B (zh) 视频点播中实现快速浏览功能的装置
KR100896688B1 (ko) 단말의 성능을 고려한 멀티미디어 서비스 제공방법 및 그에사용되는 단말기
Zhou et al. A new QoE-driven video cache allocation scheme for mobile cloud server
Sanchez-Hernandez et al. Interactive streaming of sequences of high resolution JPEG2000 images

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20130417

Termination date: 20180730

CF01 Termination of patent right due to non-payment of annual fee