CN106412620A - 一种码流发送方法及设备 - Google Patents
一种码流发送方法及设备 Download PDFInfo
- Publication number
- CN106412620A CN106412620A CN201510466493.2A CN201510466493A CN106412620A CN 106412620 A CN106412620 A CN 106412620A CN 201510466493 A CN201510466493 A CN 201510466493A CN 106412620 A CN106412620 A CN 106412620A
- Authority
- CN
- China
- Prior art keywords
- code stream
- information
- layer
- media
- wmg
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 230000005540 biological transmission Effects 0.000 title abstract description 26
- 238000006243 chemical reaction Methods 0.000 claims abstract description 160
- 239000010410 layer Substances 0.000 claims description 299
- 230000008859 change Effects 0.000 claims description 68
- 238000012546 transfer Methods 0.000 claims description 58
- 239000002356 single layer Substances 0.000 claims description 34
- 238000013519 translation Methods 0.000 claims description 5
- 238000003825 pressing Methods 0.000 claims description 4
- 230000004044 response Effects 0.000 description 18
- 230000008569 process Effects 0.000 description 15
- 230000006870 function Effects 0.000 description 12
- 238000003860 storage Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 9
- 238000012545 processing Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 208000019901 Anxiety disease Diseases 0.000 description 3
- 230000036506 anxiety Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 241000331006 Euchaeta media Species 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 239000000306 component Substances 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 239000008358 core component Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000008713 feedback mechanism Effects 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/234309—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4 or from Quicktime to Realvideo
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Communication Control (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开了一种码流发送方法及设备,用于解决终端在接收对端发送的码流时会丢失较多码流的技术问题。所述方法包括:媒体网关接收媒体接收端发送的码流的属性信息,并根据所述码流的属性信息确定第一码流转换信息;所述媒体网关根据所述按层转换的模式的信息,将媒体发送端发送的码流的属性信息修改为所述媒体接收端发送的属性信息,并将修改后的属性信息发送给媒体发送端;所述媒体网关接收所述媒体发送端发送的第一格式的码流,并将所述第一格式的码流转换为第二格式的码流;所述媒体网关将所述第二格式的码流发送给所述媒体接收端。
Description
技术领域
本发明涉及通信技术领域,特别涉及一种码流发送方法及设备。
背景技术
在H.264(一种数字视频压缩格式)/AVC(Advanced Video Coding,高级视频编码)的基础上引入了SVC(Scalable Video Coding,可伸缩视频编码)技术,即H.264/SVC,SVC技术利用了AVC编解码器的各种高效算法工具,在编码产生的视频的时间上(帧率)、及空间上(分辨率)都可扩展,同时可以产生不同帧率、分辨率或质量等级的解码视频,效果更好。
原始视频序列经SVC编码后产生的码流具有一个基本层和多个增强层。其中,基本层包含最基本的视频重建信息,接收到基本层就可恢复出低质量的视频序列,而增强层则包含重建视频的细节信息,随着接收的增强层的数据的增加,就可以结合基本层逐渐恢复出质量越来越高的视频序列,从而显示出视频的可分级特性。
然而,现有技术中,H.264/SVC终端与H.264/AVC终端仅局限在基本层的互通,也就是说,不论AVC终端本身能支持的分辨率、帧率或者码率等有多高,都只能接收SVC终端发送的基本层的码流,会丢失较多的码流,导致重建的视频质量不高。
发明内容
本发明实施例提供一种码流发送方法及设备,用于解决终端在接收对端发送的码流时会丢失较多码流的技术问题。
第一方面,提供一种码流发送方法,包括:
媒体网关接收媒体接收端发送的码流的属性信息,并根据所述码流的属性信息确定第一码流转换信息;所述第一码流转换信息中包括转换类型信息和按层转换的模式的信息,所述转换类型信息包括由多层编码格式的码流转换为单层编码格式的码流的信息;
所述媒体网关根据所述按层转换的模式的信息,将媒体发送端发送的码流的属性信息修改为所述媒体接收端发送的属性信息,并将修改后的属性信息发送给媒体发送端;
所述媒体网关接收所述媒体发送端发送的第一格式的码流,并将所述第一格式的码流转换为第二格式的码流;所述第一格式的码流为所述媒体发送端根据修改后的属性信息发送的,所述第一格式为多层编码格式,所述第二格式为单层编码格式;
所述媒体网关将所述第二格式的码流发送给所述媒体接收端。
结合第一方面,在第一方面的第一种可能的实现方式中,由多层编码格式的码流转换为单层编码格式的码流的信息包括:由SVC格式转换为AVC格式的信息、由SHVC格式转换为AVC格式的信息、及由SHVC格式转换为HEVC格式的信息中的至少一种。
结合第一方面或第一方面的第一种可能的实现方式,在第一方面的第二种可能的实现方式中,所述按层转换的模式的信息包括按照预设层级转换的信息;
所述媒体网关接收所述媒体发送端发送的第一格式的码流,包括:
所述媒体网关接收所述媒体发送端发送的所述预设层级的码流,所述预设层级的码流的格式为所述第一格式。
结合第一方面的第二种可能的实现方式,在第一方面的第三种可能的实现方式中,将所述第一格式的码流转换为第二格式的码流,包括:
将所述预设层级的码流转换为所述第二格式的码流。
结合第一方面的第二种可能的实现方式,在第一方面的第四种可能的实现方式中,所述第一码流转换信息还包括转换级别信息,为:抽取与帧率相关的数据包的信息;
将所述第一格式的码流转换为第二格式的码流,包括:
按照所述转换级别信息,从所述预设层级的码流中抽取与帧率相关的数据包;
将抽取的与帧率相关的数据包转换为所述第二格式的码流。
结合第一方面的第二种可能的实现方式,在第一方面的第五种可能的实现方式中,所述第一码流转换信息还包括转换级别信息,为:抽取与分辨率相关的数据包的信息;
将所述第一格式的码流转换为第二格式的码流,包括:
按照所述转换级别信息,从所述预设层级的码流中抽取与分辨率相关的数据包;
将抽取的与分辨率相关的数据包转换为所述第二格式的码流。
结合第一方面或第一方面的第一种可能的实现方式至第五种可能的实现方式中的任一种可能的实现方式,在第一方面的第六种可能的实现方式中,根据所述码流的属性信息确定第一码流转换信息,包括:
根据所述码流的属性信息以及转换能力信息确定所述第一码流转换信息;
其中,所述码流的属性信息用于指示所述媒体接收端支持的码流的属性信息;或
所述码流的属性信息用于指示所述第一码流转换信息;
其中,所述转换能力信息包括所述转换类型信息及所述按层转换的模式的信息,其中,所述按层转换的模式的信息包括按照预设层级转换的信息。
结合第一方面的第六种可能的实现方式,在第一方面的第七种可能的实现方式中,所述转换能力信息还包括转换级别信息;其中:
所述转换级别信息包括:抽取与帧率相关的数据包的信息,或,抽取与分辨率相关的数据包的信息。
第二方面,提供一种媒体网关,包括:
确定模块,用于接收媒体接收端发送的码流的属性信息,并根据所述码流的属性信息确定第一码流转换信息;所述第一码流转换信息中包括转换类型信息和按层转换的模式的信息,所述转换类型信息包括由多层编码格式的码流转换为单层编码格式的码流的信息;
更改模块,用于根据所述按层转换的模式的信息,将媒体发送端发送的码流的属性信息修改为所述媒体接收端发送的属性信息,并将修改后的属性信息发送给媒体发送端;
转换模块,用于接收所述媒体发送端发送的第一格式的码流,并将所述第一格式的码流转换为第二格式的码流;所述第一格式的码流为所述媒体发送端根据修改后的属性信息发送的,所述第一格式为多层编码格式,所述第二格式为单层编码格式;
发送模块,用于将所述第二格式的码流发送给所述媒体接收端。
第三方面,提供一种媒体接收端,包括:
发送模块,用于向媒体网关发送码流的属性信息,所述码流的属性信息用于确定第一码流转换信息;所述第一码流转换信息中包括转换类型信息和按层转换的模式的信息,所述转换类型信息包括由多层编码格式的码流转换为单层编码格式的码流的信息;
接收模块,用于接收所述媒体网关发送的第二格式的码流;所述第二格式的码流为所述媒体网关对根据所述第一码流转换信息接收的第一格式的码流转换得到的。
本发明实施例中提供了码流转换信息(即第一码流转换信息),媒体网关在确定第一码流转换信息后,可以根据第一码流转换信息中的按层转换的模式信息修改媒体发送端发送的码流的属性信息,并将修改后的属性信息通知媒体发送端,这样媒体发送端会根据修改后的码流的属性信息向媒体网关发送第一格式的码流,媒体发送端发送的码流也就是媒体网关所请求的码流,符合媒体接收端的需求,媒体网关可以直接将第一格式的码流转换为第二格式的码流,第二格式的码流是媒体接收端所支持的,因此媒体接收端能够接收第二格式的码流。
这样,媒体接收端具体接收码流中的哪些部分,可以通过码流的属性信息来通知媒体网关,可以接收尽量多的码流,尽量避免码流的丢失,增加媒体接收端的信息接收能力和信息接收量,此外,因为接收的码流较多,也就是接收的视频信息较多,根据接收的码流重建的视频质量也就较好。
附图说明
图1为本发明实施例中码流发送方法的流程图;
图2为本发明实施例中码流接收方法的流程图;
图3为本发明实施例中码流转换方法的第一个示例的交互图;
图4为本发明实施例中码流转换方法的第二个示例的交互图;
图5为本发明实施例中码流转换方法的第三个示例的交互图;
图6为本发明实施例中媒体网关的结构框图;
图7为本发明实施例中媒体接收端的结构框图;
图8为本发明实施例中媒体网关的结构示意图;
图9为本发明实施例中媒体接收端的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
首先介绍本发明实施例中用到的一些概念。
1、媒体网关(Media Gateway,MGW),为用于连接不同类型的网络的功能单元。在相关标准(如H.248(一种媒体网关控制协议)、MGCP(Media GatewayControl Protocol,媒体网关控制协议)等)中,媒体网关被定义为将一种网络中的媒体格式转换成另一种网络所要求的媒体格式的设备。媒体网关将各种媒体(如语音、数据、传真、视频等)在电路交换网络(如PSTN(Public SwitchedTelephone Network,公共交换电话网络))与分组网络(如IP(Internet Protocol,网际协议)网络)之间转送,它在不同网络的相关实体之间提供相互通信的双向接口。比如,媒体网关能够在电路交换网的承载通道和分组网的媒体流之间进行转换,可以处理音频、视频或T.120(用于多点数据会议和实时通信的协议),也具备处理这三者任意组合的能力,并且能够进行全双工的媒体翻译。根据媒体网关在网络中的位置和所处理媒体流的不同,可以将媒体网关分为中继网关(Trunking Gateway)、接入网关(Access Gateway)、多媒体服务接入网关(Multimedia Service Access Gateway)、无线接入网关(Wireless AccessGateway)等。
2、会议中心(Conference Focus),能够与多个终端进行媒体通信,在与终端进行媒体通信时,可以通过媒体网关进行中转。例如,会议中心可以包括AS(Application Server,应用服务器)和MRF(Multimedia Resource Function,多媒体资源功能),AS和MRF可以位于同一物理实体中,或者也可以位于不同的物理实体中。其中,AS可以由MediaX3600(融合会议系统中的核心组件)充当,MRF可以包括MRFC(Multimedia Resource Function Controller,多媒体资源控制器)和MRFP(Multimedia Resource Function Processor,多媒体资源处理器)。
3、终端,是指向用户提供语音和/或数据连通性的设备,例如可以包括具有无线连接功能的手持式设备、或连接到无线调制解调器的处理设备。该终端可以经RAN与核心网进行通信,与RAN交换语音和/或数据。该终端可以为UE(User Equipment,用户设备)、无线终端、移动终端、订户单元(SubscriberUnit)、订户站(Subscriber Station),移动站(Mobile Station)、移动台(Mobile)、远程站(Remote Station)、AP(Access Point,接入点)、远程终端(RemoteTerminal)、接入终端(Access Terminal)、用户终端(User Terminal)、用户代理(User Agent)、或用户装备(User Device)等。例如,可以是移动电话(或称为“蜂窝”电话),具有移动终端的计算机,便携式、袖珍式、手持式、计算机内置的或者车载的移动装置。例如,PCS(Personal Communication Service,个人通信业务)电话、无绳电话、SIP(会话发起协议)话机、WLL(WirelessLocal Loop,无线本地环路)站、PDA(Personal Digital Assistant,个人数字助理)等设备。
媒体发送端,可以是会议中心,或者可以是任一终端。同样的,媒体接收端,可以是会议中心,或者可以是任一终端。
本发明实施例中提供转换能力信息,可以根据转换能力信息来确定码流转换信息,从而进行码流转换。转换能力信息可以包括转换类型信息和转换模式信息,可选的,还可以包括转换级别信息。以下分别介绍。
一、转换类型信息。
可选的,因H.264/SVC以H.264/AVC为基本层,H.265/SHVC(Scalable HighVideo Coding,可伸缩的高效视频编码)分别以H.264/AVC和H.265/HEVC(HighEfficiency Video Coding,高效视频编码)为基本层,因此,转换类型信息可以包括由多层编码格式的码流转换为单层编码格式的码流的信息,还可以包括由单层编码格式的码流转换为多层编码格式的码流的信息,另外,还可以包括不进行转换的信息。
例如,由多层编码格式的码流转换为单层编码格式的码流的信息可以包括:由SVC格式转换为AVC格式的信息、由SHVC格式转换为AVC格式的信息、以及由SHVC格式转换为HEVC格式的信息中的至少一种;由单层编码格式的码流转换为多层编码格式的码流的信息可以包括:由AVC格式转换为SVC格式的信息、由AVC格式转换为SHVC格式的信息、以及由HEVC格式转换为SHVC格式的信息中的至少一种;不进行转换的信息例如可以表示为NONE。另外,本领域技术人员自然知晓,如果SHVC有下一代的分层编码格式,也可适用于本发明。
二、转换模式信息。
本发明实施例中,基于SVC分层的特点,转换模式信息中可以包括按层转换的模式的信息,即按照层级关系逐层转换。
本发明实施例中,按层转换的模式的信息可以包括按照预设层级转换的信息,即,可以将指定的预设层级进行转换。本发明实施例中,按照预设层级转换的信息可以有不同的表述方式。
1、例如,一种可能的按照预设层级转换的信息可以为,指定一个层级,其含义为:将该层以及该层以下的层进行转换。此时,指定的层及指定的层以下的层就可以视为预设层级。例如,按照预设层级转换的信息可以包括“最高策略”、“平均策略”和“最低策略”,分别表示按照最高增强层转换、按照平均增强层转换和按照最低增强层转换。如果按照最高增强层转换,则表明要通知媒体发送端,将码流的所有层都发送过来,并将媒体发送端发送的码流进行转换;如果按照平均增强层转换,则表明要通知媒体发送端,只发送从平均增强层开始向下的每层(包括平均增强层),平均增强层之上的其他增强层无需发送,并将媒体发送端发送的码流进行转换;如果按照最低增强层转换,则表明要通知媒体发送端,只发送从最低增强层开始向下的每层(包括最低增强层),最低增强层之上的其他增强层无需发送,并将媒体发送端发送的码流进行转换。
例如,媒体发送端待发送的码流包括一个基本层(或者也可以称为基础层)和多个增强层,则序号位于中间的增强层可以是指平均增强层,例如媒体发送端待发送的码流共包括8层,其中包括一个基本层和7个增强层,序号分别为0-8,0为基本层,其他均为增强层,则平均增强层可以是指中间的第四个增强层,即序号为4的增强层。再例如,媒体发送端待发送的码流包括一个基本层和多个增强层,则最靠近基本层的增强层即可以认为是最低增强层,例如序号0对应的层为基本层,则可以认为序号1对应的层为最低增强层。当然,这里只是举例,平均增强层也可以是指其他的增强层,以及,最低增强层也可以是指其他的增强层。
2、例如,另一种可能的按照预设层级转换的信息可以为,指定一个或多个层级,其含义为:将指定的每层进行转换。此时,指定的层就可以视为预设层级。其中,在指定一个层级时,其所依赖的层级也需要在指定的范围之内。
例如,媒体发送端待发送的码流共包括8层,其中包括一个基本层和7个增强层,序号分别为0-8,0为基本层,其他均为增强层。则按照预设层级转换的策略,例如可以为按照基本层转换的策略(即指定层级为第0层),或例如可以为按照基本层和第一增强层转换的策略(即指定层级为第0层和第1层,其中第1层是依赖于第0层的),或例如可以为按照基本层、第一增强层、第二增强层、第三增强层和第四增强层(即指定层级为第0层、第1层、第2层、第3层和4层,其中,第1层对第0层有依赖关系,即依赖于第0层,第2层对第1层有依赖关系,第3层对第2层有依赖关系,第4层对第3层有依赖关系,即总体来看,第4层对第0层、第1层、第2层和第3层都有依赖关系,因此,例如要指定第4层为预设层级,则需将第0层、第1层、第2层和第3层均指定为预设层级,而例如要指定第3层为预设层级,则需将第0层、第1层和第2层均指定为预设层级,等等),等等。
因为基本层包含最基本的视频重建信息,因此,无论按层转换的模式信息按照哪种方式进行指示,在预设层级中都应该包含基本层。
三、转换级别信息。
在本发明另一实施例中,转换能力信息还可以包括转换级别信息。
转换级别信息可以包括:抽取与帧率相关的数据包的信息,或,抽取与分辨率相关的数据包的信息,分别表示按照空域抽包和按照时域抽包。例如,若转换级别信息包括抽取与帧率相关的数据包的信息,则表明从媒体发送端发送的预设层级的码流中抽取与帧率相关的数据包进行转换;若转换级别信息包括抽取与分辨率相关的数据包的信息,则表明从媒体发送端发送的预设层级的码流中抽取与分辨率相关的数据包进行转换。
例如,媒体发送端发送的预设层级的码流共包括4层,其中包括1个基本层和3个增强层,若转换级别信息包括抽取与帧率相关的数据包,则可以从这4层码流中抽取与帧率相关的数据包,并将抽取的数据包进行转换。
另外,本文中术语“系统”和“网络”在本文中常被可互换使用。本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,如无特殊说明,一般表示前后关联对象是一种“或”的关系。
下面结合说明书附图对本发明实施例作进一步详细描述。
请参见图1,本发明实施例提供一种码流发送方法,所述方法的流程描述如下。
步骤101:媒体网关接收媒体接收端发送的码流的属性信息,并根据码流的属性信息确定第一码流转换信息;其中,第一码流转换信息中包括转换类型信息和按层转换的模式的信息,转换类型信息包括由多层编码格式的码流转换为单层编码格式的码流的信息。
步骤102:媒体网关根据按层转换的模式的信息,将媒体发送端发送的码流的属性信息修改为媒体接收端发送的属性信息,并将修改后的属性信息发送给媒体发送端。
步骤103:媒体网关接收媒体发送端发送的第一格式的码流,并将第一格式的码流转换为第二格式的码流;其中,第一格式的码流为媒体发送端根据修改后的属性信息发送的,第一格式为多层编码格式,第二格式为单层编码格式。
步骤104:媒体网关将第二格式的码流发送给媒体接收端。
可选的,在本发明另一实施例中,媒体网关可以根据码流的属性信息,以及转换能力信息,确定第一码流转换信息。确定方式例如为:
根据码流的属性信息确定第一码流转换信息,包括:
根据码流的属性信息以及转换能力信息确定第一码流转换信息;
其中,码流的属性信息用于指示媒体接收端支持的码流的属性信息;或,码流的属性信息用于指示所述第一码流转换信息。
以上确定方式涵盖了如下几种情况:
1、媒体接收端可以存储转换能力信息(例如媒体接收端可以为会议中心),或者,媒体网关可以将转换能力信息发送给媒体接收端,媒体接收端可以根据自身的能力,或,可以根据自身的能力和当前的网络状态等信息,从转换能力信息中确定第一码流转换信息。
例如媒体接收端是会议中心,则媒体接收端具有一定的智能性。媒体网关可以将转换能力信息发送给会议中心,会议中心可以根据自身的能力,或,可以根据自身的能力和当前的网络状态等信息,从转换能力信息中选择适合自身的码流转换信息,例如将其称为第一码流转换信息,并将第一码流转换信息发送给媒体网关。这样,媒体网关就可以确定用第一码流转换信息进行码流转换。
在这种情况下,由于会议中心具有一定的智能性,其作为媒体接收端时可以根据自身的能力,或,可以根据自身的能力和当前的网络状态等信息选择码流转换信息(即第一码流转换信息),这样选择的第一码流转换信息可以较为充分地反映出媒体接收端的需求,从而使得码流转换过程能够尽量按照媒体接收端的需求完成,提高媒体接收端的码流接收成功率。
2、媒体网关存储转换能力信息,媒体网关可以根据媒体接收端的能力,或,可以根据媒体接收端的能力和当前的网络状态等信息,从转换能力信息中确定第一码流转换信息。
例如媒体接收端是普通终端,可以认为普通终端不具有很好的智能性。则媒体网关可以根据媒体接收端的能力,或,可以根据媒体接收端的能力和当前的网络状态等信息,确定适合媒体接收端的第一码流转换信息,无需媒体接收端确定。
在这种情况下,由于认为有些普通终端不具有很好的智能性,可能不具备自己选择码流转换信息的能力,因此媒体网关可以根据这些终端所反馈的其自身的能力,或,可以根据这些终端所反馈的其自身的能力和当前的网络状态等信息,从存储的转换能力信息中选择适合这些终端的码流转换信息,对终端的智能性要求较低,适用范围更为广泛。且媒体网关也可以是根据媒体接收端反馈的码流的属性信息来选择适合媒体接收端的码流转换信息,这样选择的第一码流转换信息可以尽量反映媒体接收端的需求,从而使得码流转换过程能够尽量按照媒体接收端的需求完成,提高媒体接收端的码流接收成功率。
当然,媒体网关确定第一码流转换信息,除了以上列举的方式外,还可以有其他的确定方式,本发明不作限制。
在确定第一码流转换信息后,媒体网关与媒体接收端建立传输通道,媒体网关执行码流转换功能,并将转换后的码流发送给媒体接收端。
如前已有描述,无论媒体网关还是媒体接收端,在选择码流转换信息时,可以将媒体接收端的能力作为参考条件,或,可以将媒体接收端的能力和当前的网络状态作为参考条件。
在本发明另一实施例中,网络状态可以通过网络资源(Network Resources,NR)来表示,网络资源建议可以从流量占用情况和丢包率两个维度进行评估,当然也可以通过其他可能的指标进行评估,本发明不作限制。若从流量占用情况和丢包率两个维度进行评估,则举例如下:
a)流量占用率(The rate of flow,Rf)=实际流量/硬件带宽总额。
例如可以设定多个区间,例如,设定[0,X1%]区间表明流量充足,设定[X1%,X2%]表明流量持平,设定[X2%,X3%]区间表明流量紧张。具体的区间数量、区间的端点值等信息都可以根据不同情况进行不同的设定。
b)丢包率(The rate of lost packets,Rp)。
例如可以根据RTCP反馈机制来计算丢包率(即,可以根据RTCP(Real-timeTransport Control Protocol,实时传输控制协议)消息中的SR(Sender Report,发送报告)中的发送的数据包的数量和相应的RR(Receiver Report,接收报告)中的接收的数据包的数量来统计丢包率)。
例如可以设定多个区间,例如可以设定[0,Y1%]、[Y1%,Y2%]和[Y2%,Y3%]等多个丢包率区间。具体的,Y1、Y2和Y3的值可根据不同情况设定。以及,具体的区间数量、区间的端点值等信息都可以根据不同情况进行不同的设定。
例如,一种根据流量占用情况和丢包率评估网络资源的方式如下:
Rf<X1%并且Rp<Y1%时,判定NR为充足;
X1%<Rf<X2%或者Y1%<p<Y2%时,判定NR为持平;
X2%<Rf<X3%或者Y2%<p<Y3%时,判定NR为紧张;
Rf>X3%或者Rp>Y3%时,判定NR为极端紧张。
例如,如果NR判定为充足,则可以选择将预设层级设定为媒体发送端待发送的码流的所有层;如果NR判定为极端紧张,则转换类型信息可以选择为NONE,即不进行转换,等等。
另外,在本发明另一实施例中,在评估网络状态时,除了可以考虑网络资源外,还可以考虑网络中其他终端的能力。例如,如果媒体网关需要评估网络状态,则媒体网关除了可以评估网络资源外,还可以考虑对端(例如可以包括媒体接收端和/或媒体发送端)的能力。如果会议中心需要评估网络状态,则会议中心除了可以评估网络资源外,还可以考虑对端(如果会议中心作为媒体接收端,则对端可以是指媒体发送端,如果会议中心作为媒体发送端,则对端可以是指媒体接收端)的能力,和/或,还可以考虑网络中多个终端的能力,例如可以考虑与会议中心进行通信的一个或多个终端的能力,等等。
终端的能力,建议可以从分辨率的维度进行评估,当然也可以从其他维度进行评估。例如,若从分辨率的维度进行评估,可以设定相应的区间,例如设定分辨率大于等于720P的终端为高能力终端,设定分辨率为[360P,180P]的终端为低能力终端,设定分辨率小于等于180P的终端为低能力终端,等等。对于评估终端的能力的方式本发明不作限制。
因媒体网关已经根据按层转换的模式的信息修改了媒体发送端发送的码流的属性信息,并将修改后的属性信息发送给了媒体发送端,因此,本发明另一实施例中,若按层转换的模式的信息包括按照预设层级转换的信息,则步骤103中,媒体网关接收媒体发送端发送的第一格式的码流,包括:
媒体网关接收媒体发送端发送的预设层级的码流,预设层级的码流的格式为第一格式。
在该实施例中,媒体发送端可以将按层转换的模式的信息所指示的层发送给媒体网关,而按层转换的模式的信息未指示的层,媒体发送端可以不发送给媒体网关,这样,媒体网关接收的就是所需要的层,无需接收其他不需要的层,减少需传输的数据量,节省系统资源。
例如,媒体发送端待发送的码流本身包括8层,其中包括1个基本层和7个增强层,序号分别为0-7,基本层的序号为0,最高增强层的序号为7。按层转换的模式的信息中包括按照预设层级转换的信息,预设层级例如为第3层及以下的层级,即,预设层级为第0层、第1层、第2层和第3层。则媒体发送端可以将待发送的码流的第0层、第1层、第2层和第3层发送给媒体网关,而待发送的码流的第4层、第5层、第6层和第7层可以不发送,减少媒体网关需接收的数据量,且减少的是媒体网关所不需要接收的数据,因此也相当于减少了媒体网关接收的冗余数据。
在本发明另一实施例中,媒体发送端发送的码流需要通过媒体网关中转后到达媒体接收端,则步骤103中,媒体网关接收媒体发送端发送的第一格式的码流后,可以将其转换为第二格式的码流,其中,本发明实施例中将媒体发送端发送的码流格式称为第一格式,将媒体接收端所支持的码流格式称为第二格式。本发明的各个实施例主要保护的是由多层格式的码流转换为单层格式的码流的方式,因此,第一格式为多层编码格式,第二格式为单层编码格式。
例如,第一格式为SVC格式,第二格式为AVC格式,则媒体网关就将接收的预设层级的SVC格式的码流转换为AVC格式的码流。
可选的,在本发明另一实施例中,若第一码流转换信息中包括由多层编码格式的码流转换为单层编码格式的码流的信息,以及,包括按照预设层级转换的模式的信息,则将第一格式的码流转换为第二格式的码流,包括:将预设层级的码流转换为第二格式的码流。
即,媒体网关接收的是预设层级的码流,则媒体网关可以将接收的码流转换为第二格式的码流。具体的码流的格式的转换方式,可参考现有技术,本发明不作限制。
在本发明另一实施例中,若第一码流转换信息中除了包括由多层编码格式的码流转换为单层编码格式的码流的信息以及按照预设层级转换的模式的信息之外,还包括转换级别信息,则分情况介绍如下:
1、转换级别信息包括抽取与帧率相关的数据包的信息。
则,将第一格式的码流转换为第二格式的码流,包括:按照转换级别信息,从预设层级的码流中抽取与帧率相关的数据包;将抽取的与帧率相关的数据包转换为第二格式的码流。
例如,媒体发送端待发送的码流本身包括8层,其中包括1个基本层和7个增强层,序号分别为0-7,基本层的序号为0,最高增强层的序号为7。按层转换的模式的信息中包括按照预设层级转换的信息,预设层级例如为第3层及以下的层级,即,预设层级为第0层、第1层、第2层和第3层。则媒体发送端可以将待发送的码流的第0层、第1层、第2层和第3层发送给媒体网关。媒体网关接收后,可以从接收的预设层级的码流中抽取与帧率相关的数据包,并将抽取的与帧率相关的数据包转换为第二格式的码流,而预设层级中与帧率不相关的数据包,媒体网关可以不进行转换,这样,尽量保证转换得到的码流是媒体接收端所需要的码流。
例如,如果媒体接收端对码流的帧率要求比较高,那么媒体网关可以采用这种方式进行码流转换,以尽量得到媒体接收端所需的码流。
2、转换级别信息包括抽取与分辨率相关的数据包的信息。
则,将第一格式的码流转换为第二格式的码流,包括:按照转换级别信息,从预设层级的码流中抽取与分辨率相关的数据包;将抽取的与分辨率相关的数据包转换为第二格式的码流。
例如,媒体发送端待发送的码流本身包括8层,其中包括1个基本层和7个增强层,序号分别为0-7,基本层的序号为0,最高增强层的序号为7。按层转换的模式的信息中包括按照预设层级转换的信息,预设层级例如为第3层及以下的层级,即,预设层级为第0层、第1层、第2层和第3层。则媒体发送端可以将待发送的码流的第0层、第1层、第2层和第3层发送给媒体网关。媒体网关接收后,可以从接收的预设层级的码流中抽取与分辨率相关的数据包,并将抽取的与分辨率相关的数据包转换为第二格式的码流,而预设层级中与分辨率不相关的数据包,媒体网关可以不进行转换,这样,尽量保证转换得到的码流是媒体接收端所需要的码流。
例如,如果媒体接收端对码流的分辨率要求比较高,那么媒体网关可以采用这种方式进行码流转换,以尽量得到媒体接收端所需的码流。
媒体网关在将第一格式的码流转换为第二格式的码流后,可以按照步骤104,将第二格式的码流发送给媒体接收端,这样媒体接收端就接收到了媒体发送端发送的码流,接收的码流的格式也是媒体接收端能够支持的格式,接收的内容也是与媒体接收端相适应的内容。
媒体网关是根据第一码流转换信息告知媒体发送端,发送哪些码流,以及,还可以根据第一码流转换信息(例如转换级别信息)对预设层级码流进行转换,第一码流转换信息是考虑了媒体接收端的能力后确定的码流转换信息,那么,以媒体发送端发送的是SVC格式的码流,媒体接收端支持的是AVC格式的码流为例,根据媒体接收端的能力所确定的码流转换信息,可能除了转换SVC的基本层的码流之外,还可以转换SVC的其他层(例如增强层)的码流,则相当于AVC终端除了能接收SVC终端发送的基本层的码流之外,还能够接收SVC终端发送的其他层(例如增强层)的码流,一般来说,增强层是对基本层的细化,若只有基本层,那整个画面可能是完整的,但是可能存在局部的不清晰,若不仅有基本层还有增强层,则画面相较于基本层来说会清晰很多,细节逼真,能够得到更好的图像质量,同时,尽量接收较多的码流,也是尽量避免码流的丢失,增加媒体接收端的信息接收能力和信息接收量,此外,因为接收的码流较多,也就是接收的视频信息较多,根据接收的码流重建的视频质量也就较好。
在本发明另一实施例中,在媒体网关与媒体接收端建立传输通道后,媒体网关还可以实时、定时或受触发时重新评估网络状态,具体评估网络状态的方式如前已有介绍。如果评估确定码流转换信息需要调整,则媒体网关可以调整码流转换信息,例如从第一码流转换信息调整为第二码流转换信息。例如,之前评估网络资源为“充足”,因此第一码流转换信息对应的转换策略信息为“最高策略”,而后来再进行评估时,评估网络资源为“紧张”,则媒体网关可能会调整转换策略信息,例如调整为“最低策略”,从而得到新的码流转换信息(即第二码流转换信息),在调整后,媒体网关重新通知媒体发送端,从而媒体发送端发送与第二码流转换信息相适应的码流。
其中,第二码流转换信息中可以包括由多层编码格式的码流转换为单层编码格式的码流的信息和按层转换的模式的信息,可选的,第二码流转换信息中还可以包括转换级别信息。
例如,媒体发送端待发送的码流本身包括8层,其中包括1个基本层和7个增强层,序号分别为0-7,基本层的序号为0,最高增强层的序号为7。与第一码流转换信息相对应的按层转换的模式的信息中包括按照预设层级转换的信息,预设层级例如为第3层及以下的层级,即,预设层级为第0层、第1层、第2层和第3层。则媒体发送端可以将待发送的码流的第0层、第1层、第2层和第3层发送给媒体网关。当码流转换信息更新为第二码流转换信息后,与第一码流转换信息相对应的按层转换的模式的信息中包括按照预设层级转换的信息,预设层级例如为第4层及以下的层级,即,预设层级为第0层、第1层、第2层、第3层和第4层。则媒体发送端可以将待发送的码流的第0层、第1层、第2层、第3层和第4层发送给媒体网关。
在该实施例中,媒体网关可以根据网络状态等信息调整码流转换信息,使得码流转换尽量符合媒体接收端的需求,提高网络资源利用率,也提高码流发送的成功率。
本发明实施例中提供了码流转换信息(即第一码流转换信息),媒体网关在确定第一码流转换信息后,可以根据第一码流转换信息进行码流转换,即将媒体发送端发送的第一格式的码流转换为第二格式的码流,第二格式的码流是媒体接收端所支持的,因此媒体接收端能够接收第二格式的码流。媒体网关在将媒体发送端发送的码流再发送给媒体接收端之前,首先将接收的码流的格式进行转换,例如媒体发送端发送的是SVC格式的码流,媒体接收端支持的是AVC格式的码流,则媒体网关可以将SVC格式的码流转换为AVC格式的码流,之后再将AVC格式的码流发送给媒体接收端。
继续以媒体发送端发送的是SVC格式的码流,媒体接收端支持的是AVC格式的码流为例,相当于AVC终端除了能接收SVC终端发送的基础层的码流之外,还能够接收SVC终端发送的其他层(例如增强层)的码流,尽量避免码流的丢失,增加媒体接收端的信息接收能力和信息接收量,此外,因为接收的码流较多,也就是接收的视频信息较多,根据接收的码流重建的视频质量也就较好。
请参见图2,基于同一发明构思,本发明实施例提供一种码流接收方法,所述方法是与图1流程所介绍的方法相对应的、由媒体接收端执行的方法,所述方法的流程描述如下。
步骤201:媒体接收端向媒体网关发送码流的属性信息,码流的属性信息用于确定第一码流转换信息;其中,第一码流转换信息中包括转换类型信息和按层转换的模式的信息,转换类型信息包括由多层编码格式的码流转换为单层编码格式的码流的信息。
步骤202:媒体接收端接收媒体网关发送的第二格式的码流;其中,第二格式的码流为媒体网关对根据第一码流转换信息接收的第一格式的码流转换得到的。
本发明实施例中,媒体接收端可以是具有一定智能性的设备,例如会议中心,或者可以是智能性较弱的设备,例如终端。
可选的,在本发明另一实施例中,在媒体接收端向媒体网关发送码流的属性信息之前,还包括:媒体接收端接收媒体网关发送的转换能力信息;媒体接收端根据转换能力信息确定码流的属性信息,码流的属性信息用于指示第一码流转换信息;其中,转换能力信息包括转换类型信息及按层转换的模式的信息,按层转换的模式的信息包括按照预设层级转换的信息。
即,如果媒体接收端为具有一定智能性的设备,例如为会议中心,则媒体接收端可以存储转换能力信息,或者媒体网关可以将转换能力信息发送给媒体接收端,媒体接收端可以根据自身的能力,或根据自身的能力和当前的网络状态等信息,从转换能力信息中确定第一码流转换信息,并可以将与第一码流转换信息对应的码流的属性信息发送给媒体网关。或者可以理解为,媒体接收端可以根据第一码流转换信息修改媒体网关发送的码流的属性信息,并将修改后的码流的属性信息发送给媒体网关。
或者,如果媒体接收端为智能性较弱的设备,例如终端,可能不具备自己选择码流转换信息的能力,因此媒体网关可以根据媒体接收端所反馈的其自身的能力,或,可以根据媒体接收端所反馈的其自身的能力和当前的网络状态等信息,从存储的转换能力信息中选择适合媒体接收端的码流转换信息,对媒体接收端的智能性要求较低,适用范围更为广泛。且媒体网关也可以是根据媒体接收端反馈的码流的属性信息来选择适合媒体接收端的码流转换信息,这样选择的第一码流转换信息可以尽量反映媒体接收端的需求,从而使得码流转换过程能够尽量按照媒体接收端的需求完成,提高媒体接收端的码流接收成功率。
在本发明另一实施例中,转换能力信息还包括转换级别信息;其中:转换级别信息包括:抽取与帧率相关的数据包的信息,或,抽取与分辨率相关的数据包的信息。
在本发明另一实施例中,媒体接收端,例如会议中心,还可以实时、定时或受触发时重新评估网络状态,具体评估网络状态的方式在图1流程中已有介绍。如果评估确定码流转换信息需要调整,则媒体接收端可以调整码流转换信息,例如从第一码流转换信息调整为第二码流转换信息,例如,之前评估网络资源为“充足”,因此第一码流转换信息对应的转换策略信息为“最高策略”,而后来再进行评估时,评估网络资源为“紧张”,则媒体接收端可能会调整转换策略信息,例如调整为“最低策略”,从而得到新的码流转换信息(即第二码流转换信息),在调整后,媒体接收端将调整后的码流转换信息通知媒体网关。
媒体网关接收第二码流转换信息后的处理方式,在图1流程中已有介绍。本发明实施例中,媒体接收端可以根据网络状态等信息调整码流转换信息,使得码流转换尽量符合媒体接收端的需求,提高网络资源利用率,也提高码流发送的成功率。
另外,媒体接收端接收第二格式的码流后,也可以再将第二格式的码流发送给其他媒体接收端。即,媒体接收端也可以再作为媒体发送端。
本发明实施例中,媒体接收端可以向媒体网关发送码流的属性信息,媒体网关可以根据码流的属性信息确定第一码流转换信息,然后媒体网关可以根据第一码流转换信息进行码流转换,即将媒体发送端发送的第一格式的码流转换为第二格式的码流,第二格式的码流是媒体接收端所支持的,因此媒体接收端能够接收第二格式的码流。相当于,媒体网关是在考虑了媒体接收端的情况之后确定的第一码流转换信息,则最后得到的码流也就是媒体接收端所需要的码流,能够尽量符合媒体接收端的需求。
例如,媒体发送端发送的是SVC格式的码流,媒体接收端支持的是AVC格式的码流,则媒体网关可以将SVC格式的码流转换为AVC格式的码流,并且具体转换SVC格式的码流中的哪些部分,也是根据第一码流转换信息确定的,之后再将AVC格式的码流发送给媒体接收端。
继续以媒体发送端发送的是SVC格式的码流,媒体接收端支持的是AVC格式的码流为例,相当于AVC终端除了能接收SVC终端发送的基础层的码流之外,在第一码流转换信息的支持下,还能够接收SVC终端发送的其他层(例如增强层)的码流,尽量避免码流的丢失,增加媒体接收端的信息接收能力和信息接收量,此外,因为接收的码流较多,也就是接收的视频信息较多,根据接收的码流重建的视频质量也就较好。
因为图1与图2是相对应的流程,内容可相互参考,因此重复内容不多赘述。
以下,针对图1流程和图2流程进行举例。
请参见图3,终端作为媒体发送端,会议中心作为媒体接收端,媒体网关用于在媒体发送端和媒体接收端之间进行转发。图3中的终端例如可以是UE,媒体网关例如可以是SBC(Session Border Controller,会话边界控制器),会议中心例如可以是MRF(图3中,AS和MRF可以位于同一实体中)。例如终端发送的是SVC格式的码流,会议中心支持的是AVC格式的码流。
1、终端发起会话。即终端向媒体网关发送第一会话请求消息,用于请求向会议中心发送码流。
2、媒体网关收到第一会话请求消息后,向会议中心发送携带转换能力信息的第二会话请求消息。
转换能力信息例如包括:
{
{转换类型信息:SVC-AVC;SHVC-AVC;SHVC-HEVC;AVC-SVC;AVC-SHVC;HEVC-SHVC;NONE};
{按照预设层级转换的信息:最高策略,或平均策略,或最低策略};
{转换级别信息:抽取与分辨率相关的数据包,或抽取与帧率相关的数据包}
}
3、会议中心接收第二会话请求消息。由于此时终端与会议中心之间的会话没有完全建立,因此会议中心可以根据会议中心的能力和当前的网络状态来作为选择码流转换信息的依据,例如会议中心可以根据会议中心的能力和当前的流量统计情况来作为依据。会议中心根据会议中心的能力和当前的网络状态,从转换能力信息中选择第一码流转换信息,向媒体网关发送携带第一码流转换信息的第二会话响应消息。
例如,第一码流转换信息包括:
{
{转换类型信息:SVC-AVC};
{按照预设层级转换的信息:最高策略};
}
4、媒体网关接收第二会话响应消息后,向会议中心发送携带第一码流转换信息的第三会话请求信息。
5、会议中心接收第三会话请求消息后,向媒体网关发送第三会话响应消息,第三会话响应消息表明会议中心接受第一码流转换信息。
6、媒体网关接收第三会话响应消息后,向终端发送第一会话响应消息,第一会话响应消息携带的码流的属性信息中,对SVC码流的相关SDP(SessionDescription Protocol,会话描述协议)属性以第一码流转换信息为准,对相应其他编解码相关的SDP属性以从会议中心收到的对应的编解码的属性协商为准。
7、媒体网关收到终端针对第一会话响应消息的响应后,与终端之间的会话通道建立,终端可以发送码流。
一旦媒体通道建立,码流正常发送,终端1就会向媒体网关2发送码流,媒体网关2接收SVC格式的码流后,按照转换级别信息将其转换为AVC格式的码流,再将AVC格式的码流发送给终端2。此时终端在发送码流的同时,也可以发送RTCP消息(其中携带SR)来指示一定时间周期内发送的数据包的数量。同时,作为媒体接收端的会议中心可以发送RTCP消息(其中携带RR)给终端,该RR会携带会议中心在相应周期内从终端收到的数据包的数量。
8-9、会议中心根据网络状态(例如根据RTCP消息)来调整码流转换信息。
RTCP消息包含SR和RR,SR包含发送的数据包的数量,RR包含接收的数据包的数量。会议中心可根据SR和RR计算丢包率,然后再结合流量统计和对端能力等信息,确定是否要调整码流转换信息。如果要调整码流转换信息,则将调整后的码流转换信息通知媒体网关。
10-11、若媒体网关接收到新的码流转换信息,则根据新的码流转换信息,向会议中心发起会话重协商。最终会话更新。如图3所示,图3中的AVC码流1表明是按照第一码流转换信息转换后得到的AVC码流,AVC码流2表明是按照第二码流转换信息(即调整后的码流转换信息)转换后得到的AVC码流。
在该实施例中,媒体接收端可以向媒体网关发送码流的属性信息,媒体网关可以根据码流的属性信息确定第一码流转换信息,然后媒体网关可以根据第一码流转换信息进行码流转换,即将媒体发送端发送的第一格式的码流转换为第二格式的码流,第二格式的码流是媒体接收端所支持的,因此媒体接收端能够接收第二格式的码流。相当于,媒体网关是在考虑了媒体接收端的情况之后确定的第一码流转换信息,则最后得到的码流也就是媒体接收端所需要的码流,能够尽量符合媒体接收端的需求。
例如,媒体发送端发送的是SVC格式的码流,媒体接收端支持的是AVC格式的码流,则媒体接收端可以确定第一码流转换信息,并将第一码流转换信息发送给媒体网关,则媒体网关可以根据第一码流转换信息,通知媒体发送端发送与第一码流转换信息相适应的SVC格式的码流,并将接收的SVC格式的码流转换为AVC格式的码流,之后再将AVC格式的码流发送给媒体接收端。这样,第一码流转换信息是媒体接收端确定的,基本能够较为真实地反映媒体接收端的需求,从而尽量保证媒体接收端能够接收自己所需要的码流。例如,如果媒体接收端的能力较强,或者如果媒体接收端的能力较强以及当前的网络状态也比较好,则第一码流转换信息中所指示的SVC格式的码流的层数可能会比较多,这样媒体接收端就能接收比较多的码流,有助于重建质量较好的视频。
请参见图4,在图3的基础上,会议中心还要将按照第二码流转换信息转换后得到的AVC码流发送给其他媒体接收端(即图4中的终端2)。图4中,媒体发送端称为终端1,终端1与会议中心之间的媒体网关称为媒体网关1,会议中心与终端2之间也要经过媒体网关的转发,该媒体网关称为媒体网关2,媒体网关2例如也是SBC。
步骤1-11,可参考针对图3的描述,不多赘述。
12、会议中心向终端2发起重协商请求消息。
13、会议中心将按照第二码流转换信息转换得到的码流(即AVC码流2)转发给终端2。
其中,步骤12中可以包括多个步骤,而会议中心向终端发起重协商请求消息、以请求向终端发送码流,可参考现有的实现过程,此处不多赘述。
在该实施例中,媒体接收端在接收AVC格式的码流后,还可以将接收的码流再转发给其他的终端,这样,媒体网关无需再专门把码流发送给这些终端,减少了终端与媒体网关之间的信息交互过程,减轻媒体网关的负担。
其中,在会议中心作为媒体接收端和/或媒体发送端时(例如图3为会议中心作为媒体接收端的例子,图4为会议中心同时作为媒体接收端和媒体发送端的例子),为点对多点通信的示例,因为会议中心可以完成多点通信。
请参见图5,终端1作为媒体发送端,终端2作为媒体接收端,媒体网关1和媒体网关2用于在媒体发送端和媒体接收端之间进行转发,以及,图5中还包括应用服务器。图5中的终端例如可以是UE,媒体网关例如可以是SBC(Session Border Controller,会话边界控制器)。例如终端1发送的是SVC格式的码流,终端2支持的是AVC格式的码流。图5为终端-终端的例子,即点对点通信的示例。
1、终端1向媒体网关2发送第一会话请求消息,请求向终端2发送码流。
2、媒体网关2收到第一会话请求消息后,向终端2发送第二会话请求消息。例如,媒体网关2收到第一会话请求消息后,可以直接将第一会话请求消息转发给终端2,在这种情况下,第二会话请求消息与第一会话请求消息是同一消息。
3、终端2收到第二会话请求消息后,结合自身的能力,生成第二会话响应消息。例如,终端2因不支持SVC而无法识别第二会话请求消息中携带的SVC码流属性,所以在第二会话响应消息中去掉SVC码流属性,并把第二会话响应消息发送给媒体网关2。
4、媒体网关2根据第二会话响应消息识别出终端2不支持SVC能力,则媒体网关根据存储的转换能力信息确定第一码流转换信息,且向终端2发送第三会话请求消息,第三会话请求消息中携带第一码流转换信息。例如,媒体网关2可以在第三会话请求消息中,将SVC码流的媒体属性修改为AVC码流的媒体属性。
例如,转换能力信息包括:
{
{转换类型信息:SVC-AVC;SHVC-AVC;SHVC-HEVC;AVC-SVC;AVC-SHVC;HEVC-SHVC;NONE};
{按照预设层级转换的信息:最高策略,或平均策略,或最低策略};
{转换级别信息:抽取与分辨率相关的数据包,或抽取与帧率相关的数据包}
}
例如,第一码流转换信息包括:
{
{转换类型信息:SVC-AVC};
{按照预设层级转换的信息:平均策略};
{转换级别信息:抽取与分辨率相关的数据包};
}
5、终端2重新响应媒体网关2发送的第三会话请求消息,向媒体网关2回复第三会话响应消息。
6、媒体网关2接收第三会话响应消息后,若第三会话响应消息表明终端2接受第一码流转换信息,则媒体网关2向终端发送第一会话响应消息。第一会话响应消息携带的码流的属性信息中,对SVC码流相关的SDP属性以第一码流转换信息为准,对其他编解码相关的SDP属性以从媒体网关2收到的对应的编解码的属性协商为准。
7、一旦媒体通道建立,码流正常发送,终端1就会向媒体网关2发送码流,媒体网关2接收SVC格式的码流后,按照转换级别信息将其转换为AVC格式的码流,再将AVC格式的码流发送给终端2。且,终端1在向媒体网关2发送码流的同时,也可以发送RTCP消息(其中携带SR)来指示一定时间周期内发送的数据包的数量,同时作为媒体接收端的媒体网关2将RTCP消息(其中携带RR)发送给终端1,该RR会携带媒体网关2在相应周期从终端1收到的数据包的数量。
8-9、媒体网关2根据当前的网络状态(例如根据RTCP消息)来调整码流转换信息。
RTCP消息包含SR和RR,SR包含发送的数据包的数量,RR包含接收的数据包的数量。会议中心可根据SR和RR计算丢包率,然后再结合流量统计和对端能力等信息,确定是否要调整码流转换信息。
若媒体网关2调整了码流转换信息,则根据新的码流转换信息,向终端2发起会话重协商。最终会话更新。如图5所示,图5中的AVC码流1表明是按照第一码流转换信息转换后得到的AVC码流,AVC码流2表明是按照第二码流转换信息(即调整后的码流转换信息)转换后得到的AVC码流。
在该实施例中,媒体接收端(即终端2)为普通终端,例如媒体接收端的智能性较弱,不具备自己选择码流转换信息的能力,因此媒体网关可以根据媒体接收端所反馈的其自身的能力,从存储的转换能力信息中选择适合媒体接收端的码流转换信息,对媒体接收端的智能性要求较低,适用范围更为广泛。且媒体网关也是根据媒体接收端反馈的码流的属性信息来选择适合媒体接收端的码流转换信息,这样选择的第一码流转换信息可以尽量反映媒体接收端的需求,从而使得码流转换过程能够尽量按照媒体接收端的需求完成,提高媒体接收端的码流接收成功率。
以下结合附图介绍本发明实施例中的设备。
请参见图6,基于同一发明构思,本发明一个实施例提供一种媒体网关,该媒体网关可以包括确定模块601、更改模块602、转换模块603和发送模块604。
确定模块601,用于接收媒体接收端发送的码流的属性信息,并根据码流的属性信息确定第一码流转换信息;第一码流转换信息中包括转换类型信息和按层转换的模式的信息,转换类型信息包括由多层编码格式的码流转换为单层编码格式的码流的信息;
更改模块602,用于根据按层转换的模式的信息,将媒体发送端发送的码流的属性信息修改为媒体接收端发送的属性信息,并将修改后的属性信息发送给媒体发送端;
转换模块603,用于接收媒体发送端发送的第一格式的码流,并将第一格式的码流转换为第二格式的码流;第一格式的码流为媒体发送端根据修改后的属性信息发送的,第一格式为多层编码格式,第二格式为单层编码格式;
发送模块604,用于将第二格式的码流发送给媒体接收端。
在本发明另一实施例中,由多层编码格式的码流转换为单层编码格式的码流的信息包括:由SVC格式转换为AVC格式的信息、由SHVC格式转换为AVC格式的信息、及由SHVC格式转换为HEVC格式的信息中的至少一种。
在本发明另一实施例中,按层转换的模式的信息包括按照预设层级转换的信息;
转换模块603用于接收媒体发送端发送的第一格式的码流,具体包括:
接收媒体发送端发送的预设层级的码流,预设层级的码流的格式为第一格式。
在本发明另一实施例中,转换模块603用于将第一格式的码流转换为第二格式的码流,具体包括:
将预设层级的码流转换为第二格式的码流。
在本发明另一实施例中,第一码流转换信息还包括转换级别信息,为:抽取与帧率相关的数据包的信息;
转换模块603用于将第一格式的码流转换为第二格式的码流,具体包括:
按照转换级别信息,从预设层级的码流中抽取与帧率相关的数据包;
将抽取的与帧率相关的数据包转换为第二格式的码流。
在本发明另一实施例中,第一码流转换信息还包括转换级别信息,为:抽取与分辨率相关的数据包的信息;
转换模块603用于将第一格式的码流转换为第二格式的码流,具体包括:
按照转换级别信息,从预设层级的码流中抽取与分辨率相关的数据包;
将抽取的与分辨率相关的数据包转换为第二格式的码流。
在本发明另一实施例中,确定模块601用于根据码流的属性信息确定第一码流转换信息,具体包括:
根据码流的属性信息以及转换能力信息确定第一码流转换信息;
其中,码流的属性信息用于指示媒体接收端支持的码流的属性信息;或
码流的属性信息用于指示第一码流转换信息;
其中,转换能力信息包括转换类型信息及按层转换的模式的信息,其中,按层转换的模式的信息包括按照预设层级转换的信息。
在本发明另一实施例中,转换能力信息还包括转换级别信息;其中:
转换级别信息包括:抽取与帧率相关的数据包的信息,或,抽取与分辨率相关的数据包的信息。
本发明实施例中的设备是与如前描述的方法相应的设备。例如媒体网关可以是图1-图5中介绍的媒体网关,因此,媒体网关中每个模块所实现的功能,以及一些实施细节等,可参考方法部分的描述。
在该实施例中,媒体网关在确定第一码流转换信息后,可以根据第一码流转换信息进行码流转换,再将转换后的码流发送给媒体接收端,使得媒体接收端可以接收自身能够识别的码流,且第一码流转换信息是媒体网关通过媒体接收端发送的码流的属性信息确定的,因此转换后的码流能够尽量符合媒体接收端的需求。
媒体网关可以根据媒体接收端的需求来进行码流的转换,媒体网关的智能性较强。
请参见图7,基于同一发明构思,本发明一个实施例提供一种媒体接收端,该媒体接收端例如可以是会议中心,或者也可以是其他普通终端。媒体接收端可以包括发送模块701和接收模块702。
发送模块701,用于向媒体网关发送码流的属性信息,码流的属性信息用于确定第一码流转换信息;第一码流转换信息中包括转换类型信息和按层转换的模式的信息,转换类型信息包括由多层编码格式的码流转换为单层编码格式的码流的信息;
接收模块702,用于接收媒体网关发送的第二格式的码流;第二格式的码流为媒体网关对根据第一码流转换信息接收的第一格式的码流转换得到的。
在本发明另一实施例中,由多层编码格式的码流转换为单层编码格式的码流的信息包括:由SVC格式转换为AVC格式的信息、由SHVC格式转换为AVC格式的信息、及由SHVC格式转换为HEVC格式的信息中的至少一种。
在本发明另一实施例中,媒体接收端还包括确定模块;
接收模块702还用于:在发送模块701向媒体网关发送码流的属性信息之前,接收媒体网关发送的转换能力信息;
确定模块用于:根据转换能力信息确定码流的属性信息,码流的属性信息用于指示第一码流转换信息;
其中,转换能力信息包括转换类型信息及按层转换的模式的信息,按层转换的模式的信息包括按照预设层级转换的信息。
在本发明另一实施例中,转换能力信息还包括转换级别信息;其中:
转换级别信息包括:抽取与帧率相关的数据包的信息,或,抽取与分辨率相关的数据包的信息。
本发明实施例中的媒体接收端可以是图1-图5中介绍的媒体接收端,因此,媒体接收端中每个模块所实现的功能,以及一些实施细节等,可参考方法部分的描述。
在该实施例中,媒体接收端可以向媒体网关发送码流的属性信息,从而媒体网关可以根据码流的属性信息确定第一码流转换信息,再将根据第一码流转换信息进行码流转换后得到的码流发送给媒体接收端,使得媒体接收端可以接收自身能够识别的码流,因为第一码流转换信息是媒体网关通过媒体接收端发送的码流的属性信息确定的,因此转换后的码流能够尽量符合媒体接收端的需求。
媒体接收端可以通过向媒体网关发送码流的属性信息来告知媒体网关自己需要什么样的码流,媒体接收端的主动性较强,接收的码流的利用率也较高。
请参见图8,基于同一发明构思以及上述各实施例,本发明一个实施例还提供一种媒体网关,该媒体网关可以包括存储器801、处理器802、接收器803和发送器804。
处理器802具体可以是中央处理器或ASIC(Application Specific IntegratedCircuit,特定应用集成电路),可以是一个或多个用于控制程序执行的集成电路,可以是使用FPGA(Field Programmable Gate Array,现场可编程门阵列)开发的硬件电路,可以是基带芯片。存储器801的数量可以是一个或多个。存储器801可以包括ROM(Read Only Memory,只读存储器)、RAM(Random AccessMemory,随机存取存储器)和磁盘存储器。接收器803和发送器804可以属于射频系统,接收器803和发送器804用于与外部设备进行网络通信,具体可以通过以太网、无线接入网、无线局域网等网络与外部设备进行通信。接收器803和发送器804可以是物理上相互独立的两个元件,也可以是物理上的同一个元件。
这些存储器801、接收器803和发送器804可以通过总线与处理器802相连接,或者也可以通过专门的连接线分别与处理器802连接。
通过对处理器802进行设计编程,将前述所示的方法所对应的代码固化到芯片内,从而使芯片在运行时能够执行前述实施例中的所示的方法。如何对处理器802进行设计编程为本领域技术人员所公知的技术,这里不再赘述。
在本发明实施例中,
存储器801,用于存储处理器802执行任务所需的指令;
接收器803,用于接收媒体接收端发送的码流的属性信息;
处理器802,用于执行存储器801存储的指令,根据码流的属性信息确定第一码流转换信息;根据按层转换的模式的信息,将媒体发送端发送的码流的属性信息修改为媒体接收端发送的属性信息,并通过发送器804将修改后的属性信息发送给媒体发送端;第一码流转换信息中包括转换类型信息和按层转换的模式的信息,转换类型信息包括由多层编码格式的码流转换为单层编码格式的码流的信息;
接收器803,还用于接收媒体发送端发送的第一格式的码流;
处理器802,还用于将第一格式的码流转换为第二格式的码流,并通过发送器804将第二格式的码流发送给媒体接收端;第一格式的码流为媒体发送端根据修改后的属性信息发送的,第一格式为多层编码格式,第二格式为单层编码格式。
可选的,在本发明另一实施例中,由多层编码格式的码流转换为单层编码格式的码流的信息包括:由SVC格式转换为AVC格式的信息、由SHVC格式转换为AVC格式的信息、及由SHVC格式转换为HEVC格式的信息中的至少一种。
可选的,在本发明另一实施例中,按层转换的模式的信息包括按照预设层级转换的信息;
接收器803用于接收媒体发送端发送的第一格式的码流,具体包括:
接收媒体发送端发送的预设层级的码流,预设层级的码流的格式为第一格式。
可选的,在本发明另一实施例中,处理器802还用于将第一格式的码流转换为第二格式的码流,具体包括:
将预设层级的码流转换为第二格式的码流。
可选的,在本发明另一实施例中,第一码流转换信息还包括转换级别信息,为:抽取与帧率相关的数据包的信息;
处理器802还用于将第一格式的码流转换为第二格式的码流,具体包括:
按照转换级别信息,从预设层级的码流中抽取与帧率相关的数据包;
将抽取的与帧率相关的数据包转换为第二格式的码流。
可选的,在本发明另一实施例中,第一码流转换信息还包括转换级别信息,为:抽取与分辨率相关的数据包的信息;
处理器802还用于将第一格式的码流转换为第二格式的码流,具体包括:
按照转换级别信息,从预设层级的码流中抽取与分辨率相关的数据包;
将抽取的与分辨率相关的数据包转换为第二格式的码流。
可选的,在本发明另一实施例中,处理器802用于根据码流的属性信息确定第一码流转换信息,具体包括:
根据码流的属性信息以及转换能力信息确定第一码流转换信息;
其中,码流的属性信息用于指示媒体接收端支持的码流的属性信息;或
码流的属性信息用于指示所述第一码流转换信息;
其中,转换能力信息包括转换类型信息及按层转换的模式的信息,其中,按层转换的模式的信息包括按照预设层级转换的信息。
可选的,在本发明另一实施例中,转换能力信息还包括转换级别信息;其中:
转换级别信息包括:抽取与帧率相关的数据包的信息,或,抽取与分辨率相关的数据包的信息。
请参见图9,基于同一发明构思以及上述各实施例,本发明一个实施例还提供一种媒体接收端,该媒体接收端可以包括存储器901、处理器902、接收器903和发送器904。
处理器902具体可以是中央处理器或ASIC,可以是一个或多个用于控制程序执行的集成电路,可以是使用FPGA开发的硬件电路,可以是基带芯片。存储器901的数量可以是一个或多个。存储器901可以包括ROM、RAM和磁盘存储器。接收器903和发送器904可以属于射频系统,接收器903和发送器904用于与外部设备进行网络通信,具体可以通过以太网、无线接入网、无线局域网等网络与外部设备进行通信。接收器903和发送器904可以是物理上相互独立的两个元件,也可以是物理上的同一个元件。
这些存储器901、接收器903和发送器904可以通过总线与处理器902相连接,或者也可以通过专门的连接线分别与处理器902连接。
通过对处理器902进行设计编程,将前述所示的方法所对应的代码固化到芯片内,从而使芯片在运行时能够执行前述实施例中的所示的方法。如何对处理器902进行设计编程为本领域技术人员所公知的技术,这里不再赘述。
在本发明实施例中,
存储器901,用于存储处理器902执行任务所需的指令;
处理器902,用于执行存储器901存储的指令,通过发送器904向媒体网关发送码流的属性信息,码流的属性信息用于确定第一码流转换信息;第一码流转换信息中包括转换类型信息和按层转换的模式的信息,转换类型信息包括由多层编码格式的码流转换为单层编码格式的码流的信息;
接收器903,用于接收媒体网关发送的第二格式的码流;第二格式的码流为媒体网关对根据第一码流转换信息接收的第一格式的码流转换得到的。
可选的,在本发明另一实施例中,由多层编码格式的码流转换为单层编码格式的码流的信息包括:由SVC格式转换为AVC格式的信息、由SHVC格式转换为AVC格式的信息、及由SHVC格式转换为HEVC格式的信息中的至少一种。
可选的,在本发明另一实施例中,
接收器903还用于:在处理器902通过发送器904向媒体网关发送码流的属性信息之前,接收媒体网关发送的转换能力信息;
处理器902还用于:根据转换能力信息确定码流的属性信息,码流的属性信息用于指示第一码流转换信息;
其中,转换能力信息包括转换类型信息及按层转换的模式的信息,按层转换的模式的信息包括按照预设层级转换的信息。
可选的,在本发明另一实施例中,转换能力信息还包括转换级别信息;其中:
转换级别信息包括:抽取与帧率相关的数据包的信息,或,抽取与分辨率相关的数据包的信息。
基于同一发明构思以及上述各实施例,本发明一个实施例提供一种媒体系统,该媒体系统包括前述实施例中介绍的媒体网关以及会议中心。
在媒体系统中,媒体网关实现码流转换,会议中心可以作为媒体发送端,在作为媒体发送端时,会议中心将码流发送给媒体网关,媒体网关按照如前实施例提供的方法对码流进行转换后,将转换后的码流发送给媒体接收端。在会议中心作为媒体接收端时,媒体网关按照如前实施例提供的方法将媒体发送端发送的码流进行转换后,将转换后的码流发送给会议中心。
在应用时,媒体系统中的会议中心可以只作为媒体发送端,或者可以只作为媒体接收端,或者也可以同时作为媒体发送端和媒体接收端,本发明对此不作限制。
关于媒体系统的工作过程,在如前实施例中已有介绍。
在媒体系统中,媒体接收端可以向媒体网关发送码流的属性信息,从而媒体网关可以根据码流的属性信息确定第一码流转换信息,再将根据第一码流转换信息进行码流转换后得到的码流发送给媒体接收端,使得媒体接收端可以接收自身能够识别的码流,因为第一码流转换信息是媒体网关通过媒体接收端发送的码流的属性信息确定的,因此转换后的码流能够尽量符合媒体接收端的需求。
媒体接收端可以通过向媒体网关发送码流的属性信息来告知媒体网关自己需要什么样的码流,媒体接收端的主动性较强,接收的码流的利用率也较高。媒体网关可以在考虑媒体接收端的情况后进行码流转换,能够尽量得到媒体接收端所需要的码流,媒体网关对信息的处理能力较强,智能性较高。
通过提供媒体系统,能够完成码流的转换,使得转换后的码流尽量符合媒体接收端的需求。同时,媒体系统的工作方式较为简单,在实际应用中,应用范围可以比较广泛。
本发明实施例中提供了码流转换信息(即第一码流转换信息),媒体网关在确定第一码流转换信息后,可以根据第一码流转换信息中的按层转换的模式信息修改媒体发送端发送的码流的属性信息,并将修改后的属性信息通知媒体发送端,这样媒体发送端会根据修改后的码流的属性信息向媒体网关发送第一格式的码流,媒体发送端发送的码流也就是媒体网关所请求的码流,符合媒体接收端的需求,媒体网关可以直接将第一格式的码流转换为第二格式的码流,第二格式的码流是媒体接收端所支持的,因此媒体接收端能够接收第二格式的码流。
这样,媒体接收端具体接收码流中的哪些部分,可以通过码流的属性信息来通知媒体网关,可以接收尽量多的码流,尽量避免码流的丢失,增加媒体接收端的信息接收能力和信息接收量,此外,因为接收的码流较多,也就是接收的视频信息较多,根据接收的码流重建的视频质量也就较好。
例如媒体发送端发送的是SVC格式的码流,媒体接收端支持的是AVC格式的码流,则媒体网关可以将SVC格式的码流转换为AVC格式的码流,之后再将AVC格式的码流发送给媒体接收端。
继续以媒体发送端发送的是SVC格式的码流,媒体接收端支持的是AVC格式的码流为例,相当于AVC终端除了能接收SVC终端发送的基础层的码流之外,还能够接收SVC终端发送的其他层(例如增强层)的码流,尽量避免码流的丢失,增加媒体接收端的信息接收能力和信息接收量,此外,因为接收的码流较多,也就是接收的视频信息较多,根据接收的码流重建的视频质量也就较好。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,仅以上述各功能单元的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元完成,即将装置的内部结构划分成不同的功能单元,以完成以上描述的全部或者部分功能。上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或processor(处理器)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,以上实施例仅用以对本申请的技术方案进行了详细介绍,但以上实施例的说明只是用于帮助理解本发明的方法及其核心思想,不应理解为对本发明的限制。本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。
Claims (20)
1.一种码流发送方法,其特征在于,包括:
媒体网关接收媒体接收端发送的码流的属性信息,并根据所述码流的属性信息确定第一码流转换信息;所述第一码流转换信息中包括转换类型信息和按层转换的模式的信息,所述转换类型信息包括由多层编码格式的码流转换为单层编码格式的码流的信息;
所述媒体网关根据所述按层转换的模式的信息,将媒体发送端发送的码流的属性信息修改为所述媒体接收端发送的属性信息,并将修改后的属性信息发送给媒体发送端;
所述媒体网关接收所述媒体发送端发送的第一格式的码流,并将所述第一格式的码流转换为第二格式的码流;所述第一格式的码流为所述媒体发送端根据修改后的属性信息发送的,所述第一格式为多层编码格式,所述第二格式为单层编码格式;
所述媒体网关将所述第二格式的码流发送给所述媒体接收端。
2.如权利要求1所述的方法,其特征在于,由多层编码格式的码流转换为单层编码格式的码流的信息包括:由可伸缩视频编码SVC格式转换为高级视频编码AVC格式的信息、由可伸缩的高效视频编码SHVC格式转换为AVC格式的信息、及由可伸缩的高效视频编码SHVC格式转换为高效视频编码HEVC格式的信息中的至少一种。
3.如权利要求1或2所述的方法,其特征在于,所述按层转换的模式的信息包括按照预设层级转换的信息;
所述媒体网关接收所述媒体发送端发送的第一格式的码流,包括:
所述媒体网关接收所述媒体发送端发送的所述预设层级的码流,所述预设层级的码流的格式为所述第一格式。
4.如权利要求3所述的方法,其特征在于,将所述第一格式的码流转换为第二格式的码流,包括:
将所述预设层级的码流转换为所述第二格式的码流。
5.如权利要求3所述的方法,其特征在于,所述第一码流转换信息还包括转换级别信息,为:抽取与帧率相关的数据包的信息;
将所述第一格式的码流转换为第二格式的码流,包括:
按照所述转换级别信息,从所述预设层级的码流中抽取与帧率相关的数据包;
将抽取的与帧率相关的数据包转换为所述第二格式的码流。
6.如权利要求3所述的方法,其特征在于,所述第一码流转换信息还包括转换级别信息,为:抽取与分辨率相关的数据包的信息;
将所述第一格式的码流转换为第二格式的码流,包括:
按照所述转换级别信息,从所述预设层级的码流中抽取与分辨率相关的数据包;
将抽取的与分辨率相关的数据包转换为所述第二格式的码流。
7.如权利要求1-6任一所述的方法,其特征在于,根据所述码流的属性信息确定第一码流转换信息,包括:
根据所述码流的属性信息以及转换能力信息确定所述第一码流转换信息;
其中,所述码流的属性信息用于指示所述媒体接收端支持的码流的属性信息;或所述码流的属性信息用于指示所述第一码流转换信息;
其中,所述转换能力信息包括所述转换类型信息及所述按层转换的模式的信息,所述按层转换的模式的信息包括按照预设层级转换的信息。
8.如权利要求7所述的方法,其特征在于,所述转换能力信息还包括转换级别信息;其中:
所述转换级别信息包括:抽取与帧率相关的数据包的信息,或,抽取与分辨率相关的数据包的信息。
9.一种媒体网关,其特征在于,包括:
确定模块,用于接收媒体接收端发送的码流的属性信息,并根据所述码流的属性信息确定第一码流转换信息;所述第一码流转换信息中包括转换类型信息和按层转换的模式的信息,所述转换类型信息包括由多层编码格式的码流转换为单层编码格式的码流的信息;
更改模块,用于根据所述按层转换的模式的信息,将媒体发送端发送的码流的属性信息修改为所述媒体接收端发送的属性信息,并将修改后的属性信息发送给媒体发送端;
转换模块,用于接收所述媒体发送端发送的第一格式的码流,并将所述第一格式的码流转换为第二格式的码流;所述第一格式的码流为所述媒体发送端根据修改后的属性信息发送的,所述第一格式为多层编码格式,所述第二格式为单层编码格式;
发送模块,用于将所述第二格式的码流发送给所述媒体接收端。
10.如权利要求9所述的媒体网关,其特征在于,由多层编码格式的码流转换为单层编码格式的码流的信息包括:由可伸缩视频编码SVC格式转换为高级视频编码AVC格式的信息、由可伸缩的高效视频编码SHVC格式转换为AVC格式的信息、及由可伸缩的高效视频编码SHVC格式转换为高效视频编码HEVC格式的信息中的至少一种。
11.如权利要求9或10所述的媒体网关,其特征在于,所述按层转换的模式的信息包括按照预设层级转换的信息;
所述转换模块用于接收所述媒体发送端发送的第一格式的码流,具体包括:
接收所述媒体发送端发送的所述预设层级的码流,所述预设层级的码流的格式为所述第一格式。
12.如权利要求11所述的媒体网关,其特征在于,所述转换模块用于将所述第一格式的码流转换为第二格式的码流,具体包括:
将所述预设层级的码流转换为所述第二格式的码流。
13.如权利要求11所述的媒体网关,其特征在于,所述第一码流转换信息还包括转换级别信息,为:抽取与帧率相关的数据包的信息;
所述转换模块用于将所述第一格式的码流转换为第二格式的码流,具体包括:
按照所述转换级别信息,从所述预设层级的码流中抽取与帧率相关的数据包;
将抽取的与帧率相关的数据包转换为所述第二格式的码流。
14.如权利要求11所述的媒体网关,其特征在于,所述第一码流转换信息还包括转换级别信息,为:抽取与分辨率相关的数据包的信息;
所述转换模块用于将所述第一格式的码流转换为第二格式的码流,具体包括:
按照所述转换级别信息,从所述预设层级的码流中抽取与分辨率相关的数据包;
将抽取的与分辨率相关的数据包转换为所述第二格式的码流。
15.如权利要求9-14任一所述的媒体网关,其特征在于,所述确定模块用于根据所述码流的属性信息确定第一码流转换信息,具体包括:
根据所述码流的属性信息以及转换能力信息确定所述第一码流转换信息;
其中,所述码流的属性信息用于指示所述媒体接收端支持的码流的属性信息;或所述码流的属性信息用于指示所述第一码流转换信息;
其中,所述转换能力信息包括所述转换类型信息及所述按层转换的模式的信息,所述按层转换的模式的信息包括按照预设层级转换的信息。
16.如权利要求15所述的媒体网关,其特征在于,所述转换能力信息还包括转换级别信息;其中:
所述转换级别信息包括:抽取与帧率相关的数据包的信息,或,抽取与分辨率相关的数据包的信息。
17.一种媒体接收端,其特征在于,包括:
发送模块,用于向媒体网关发送码流的属性信息,所述码流的属性信息用于确定第一码流转换信息;所述第一码流转换信息中包括转换类型信息和按层转换的模式的信息,所述转换类型信息包括由多层编码格式的码流转换为单层编码格式的码流的信息;
接收模块,用于接收所述媒体网关发送的第二格式的码流;所述第二格式的码流为所述媒体网关对根据所述第一码流转换信息接收的第一格式的码流转换得到的。
18.如权利要求17所述的媒体接收端,其特征在于,由多层编码格式的码流转换为单层编码格式的码流的信息包括:由可伸缩视频编码SVC格式转换为高级视频编码AVC格式的信息、由可伸缩的高效视频编码SHVC格式转换为AVC格式的信息、及由可伸缩的高效视频编码SHVC格式转换为高效视频编码HEVC格式的信息中的至少一种。
19.如权利要求17或18所述的媒体接收端,其特征在于,所述媒体接收端还包括确定模块;
所述接收模块还用于:在所述发送模块向媒体网关发送码流的属性信息之前,接收所述媒体网关发送的转换能力信息;
所述确定模块用于:根据所述转换能力信息确定所述码流的属性信息,所述码流的属性信息用于指示所述第一码流转换信息;
其中,所述转换能力信息包括所述转换类型信息及所述按层转换的模式的信息,所述按层转换的模式的信息包括按照预设层级转换的信息。
20.如权利要求19所述的媒体接收端,其特征在于,所述转换能力信息还包括转换级别信息;其中:
所述转换级别信息包括:抽取与帧率相关的数据包的信息,或,抽取与分辨率相关的数据包的信息。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510466493.2A CN106412620A (zh) | 2015-07-31 | 2015-07-31 | 一种码流发送方法及设备 |
PCT/CN2016/086381 WO2017020661A1 (zh) | 2015-07-31 | 2016-06-20 | 一种码流发送方法及设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510466493.2A CN106412620A (zh) | 2015-07-31 | 2015-07-31 | 一种码流发送方法及设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN106412620A true CN106412620A (zh) | 2017-02-15 |
Family
ID=57942394
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510466493.2A Pending CN106412620A (zh) | 2015-07-31 | 2015-07-31 | 一种码流发送方法及设备 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN106412620A (zh) |
WO (1) | WO2017020661A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113055631A (zh) * | 2019-12-26 | 2021-06-29 | 中兴通讯股份有限公司 | 视频会议的控制方法、系统、电子设备以及存储介质 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106412620A (zh) * | 2015-07-31 | 2017-02-15 | 华为技术有限公司 | 一种码流发送方法及设备 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101015191A (zh) * | 2004-07-09 | 2007-08-08 | 高通股份有限公司 | 用于对内容进行分层以在数据网络中进行调度传送的系统 |
CN102790905A (zh) * | 2012-08-03 | 2012-11-21 | 重庆大学 | 基于P2PVoD视频点播系统的H.264/SVC到H.264/AVC的转码方法 |
CN103283248A (zh) * | 2010-12-20 | 2013-09-04 | 通用仪表公司 | 具有开环统计复用器的svc至avc重写器 |
CN105874804A (zh) * | 2014-01-02 | 2016-08-17 | Vid拓展公司 | 针对hevc扩展的子比特流提取过程 |
WO2017020661A1 (zh) * | 2015-07-31 | 2017-02-09 | 华为技术有限公司 | 一种码流发送方法及设备 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8391482B2 (en) * | 2001-05-04 | 2013-03-05 | Hewlett-Packard Development Company, L.P. | Signal format that facilitates easy scalability of data streams |
JP2005347786A (ja) * | 2004-05-31 | 2005-12-15 | Toshiba Corp | デジタル機器、トランスコーダ、及びデータ送信方法 |
-
2015
- 2015-07-31 CN CN201510466493.2A patent/CN106412620A/zh active Pending
-
2016
- 2016-06-20 WO PCT/CN2016/086381 patent/WO2017020661A1/zh active Application Filing
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101015191A (zh) * | 2004-07-09 | 2007-08-08 | 高通股份有限公司 | 用于对内容进行分层以在数据网络中进行调度传送的系统 |
CN103283248A (zh) * | 2010-12-20 | 2013-09-04 | 通用仪表公司 | 具有开环统计复用器的svc至avc重写器 |
CN102790905A (zh) * | 2012-08-03 | 2012-11-21 | 重庆大学 | 基于P2PVoD视频点播系统的H.264/SVC到H.264/AVC的转码方法 |
CN105874804A (zh) * | 2014-01-02 | 2016-08-17 | Vid拓展公司 | 针对hevc扩展的子比特流提取过程 |
WO2017020661A1 (zh) * | 2015-07-31 | 2017-02-09 | 华为技术有限公司 | 一种码流发送方法及设备 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113055631A (zh) * | 2019-12-26 | 2021-06-29 | 中兴通讯股份有限公司 | 视频会议的控制方法、系统、电子设备以及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
WO2017020661A1 (zh) | 2017-02-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP2656579B1 (en) | Signaling techniques for a multimedia-aware radio and network adaptation | |
CN100496018C (zh) | 通信控制装置、通信终端装置、服务器装置和通信控制方法 | |
CN101473616B (zh) | 用于可靠地传递多播数据的方法和装置 | |
JP2021052415A (ja) | 対話型ビデオ会議 | |
US10638351B2 (en) | Service rate adjustment method and apparatus | |
EP1924025B1 (en) | Connection establishment method for multi part communication service | |
US11711550B2 (en) | Method and apparatus for supporting teleconferencing and telepresence containing multiple 360 degree videos | |
CN206323408U (zh) | 一种基于ims的融合视频通信系统 | |
US20160308919A1 (en) | Speech communication terminal, intermediate node, processing device, connection method, and non-transitory computer-readable recording medium | |
CN110417753A (zh) | 多媒体电话服务接收器和发送器的装置 | |
JP2019530996A (ja) | マルチメディア通信におけるコンパクト並列コーデックの使用のための方法および装置 | |
WO2017147959A1 (zh) | 一种业务承载方法、通信终端、控制网元s-cscf以及系统 | |
CN103873812B (zh) | 宽带多媒体集群系统调度台的自适应分辨率h.264视频编码方法 | |
CN109600617A (zh) | 视频数据的编码、转发方法、装置、设备及存储介质 | |
KR102158733B1 (ko) | 자원 제어 장치 및 방법 | |
US11805156B2 (en) | Method and apparatus for processing immersive media | |
WO2010133148A1 (zh) | 软交换架构下的编解码转换控制方法、媒体网关及系统 | |
CN101114985B (zh) | 编解码转换系统及方法 | |
CN106412620A (zh) | 一种码流发送方法及设备 | |
CN103081530A (zh) | 多媒体传送系统中的跨层优化方法及其抽象层组件 | |
CN101616157A (zh) | 一种基于媒体网关设备的编解码转换系统及方法 | |
CN101415249B (zh) | 会话初始化协议数据业务信令协商的方法、系统及装置 | |
CN101499999B (zh) | 一种实现实时传输协议多路复用的方法 | |
KR20240065355A (ko) | 미디어 콜 서비스를 수행하기 위한 방법 및 장치 | |
CN101399810B (zh) | 媒体流实时控制的方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20170215 |