CN109600617B - 视频数据的编码、转发方法、装置、设备及存储介质 - Google Patents

视频数据的编码、转发方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN109600617B
CN109600617B CN201811558755.8A CN201811558755A CN109600617B CN 109600617 B CN109600617 B CN 109600617B CN 201811558755 A CN201811558755 A CN 201811558755A CN 109600617 B CN109600617 B CN 109600617B
Authority
CN
China
Prior art keywords
data
video
bandwidth
terminal
media server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811558755.8A
Other languages
English (en)
Other versions
CN109600617A (zh
Inventor
莫俊辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Feixun Digital Technology Co ltd
Kyland Technology Co Ltd
Original Assignee
Beijing Feixun Digital Technology Co ltd
Kyland Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Feixun Digital Technology Co ltd, Kyland Technology Co Ltd filed Critical Beijing Feixun Digital Technology Co ltd
Priority to CN201811558755.8A priority Critical patent/CN109600617B/zh
Publication of CN109600617A publication Critical patent/CN109600617A/zh
Application granted granted Critical
Publication of CN109600617B publication Critical patent/CN109600617B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/75Media network packet handling
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164Feedback from the receiver or from the transmission channel

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明实施例公开了一种视频数据的编码、转发方法、装置、设备及存储介质。该视频数据的编码方法包括:编码终端实时生成视频分层数据;编码终端将视频分层数据转发至流媒体服务器;编码终端如果接收到流媒体服务器针对视频分层数据反馈的需求带宽,则实时生成与需求带宽匹配的新的视频分层数据。通过本发明实施例的技术方案,编码终端可以根据解码终端实际的信道环境,适配性的生成多个解码终端均能接收,且能发挥解码终端最优显示性能的视频数据,优化了现有的视频编码技术,兼顾了编码性能以及对解码终端带宽的覆盖,实现灵活性强,带宽覆盖范围广。

Description

视频数据的编码、转发方法、装置、设备及存储介质
技术领域
本发明实施例涉及视频编码技术,例如,涉及一种视频数据的编码、转发 方法、装置、设备及存储介质。
背景技术
在音视频系统中,网络质量往往是影响音视频体验的核心要素,特别在大 型音视频会议系统中,会议中的组网模式多种多样,各会议终端之间的网络信 道及网络带宽可能有很大不同,以往的AVC(Advanced Video Coding)高级视 频编码)模式,在编码终端只产生一条固定码率值的码流,那么对网络带宽比 较好的会议终端(也即,解码终端或者成员终端),音视频体效果会比较好,但 是对网络带宽差的会议终端,音视频效果就会比较差。例如,在一个音视频会 议中,如果有两个成员终端观看主席终端编码生成的视频,成员终端A的带宽 是4M,而成员终端B的带宽是1M,那么这时主席终端产生的4M、1080P的 码流,对成员终端A来说视频效果会很好而对于成员终端B来说视频效果就会 很差,因为码流的带宽值已经大大超出成员B的网络带宽值。
针对上述问题,相关技术通常有两种解决思路:一种是在编码端编码生成 多条码流,比如在上面的例子中,主席终端再多产生一条1M的视频码流来满 足成员终端B的带宽;另一种是使用SVC(Scalable Video Coding,可伸缩视频 编码)技术进行分层编码,即对码流在时域(帧率),空间域(分辨率)以及质量域 (视频)上分别进行分级,对不同带宽的解码终端分发不同的分层码流数据。
发明人在实现本发明的过程中,发现:针对多码流的解决方案,需要在编 码端产生多条码流,如果大部分成员的带宽有很大差别,很难确定需要产生几 路码流来覆盖所有带宽的差别,并且如果编码端编码多条码流,无疑会对主机 性能有很高的要求;针对SVC分层的解决方案,最多也只能产生6个分层,对 解码终端的带宽情况也无法做到全面覆盖。
发明内容
本发明实施例提供一种视频数据的编码、转发方法、装置、设备及存储介 质,以优化现有的视频编码技术,兼顾编码性能以及对解码终端带宽的覆盖。
第一方面,本发明实施例提供了一种视频编码方法,包括:
编码终端实时生成视频分层数据,所述视频分层数据中包括至少一条数据 流,一条数据流中包括至少一个视频数据,不同视频数据对应的激活带宽不同;
所述编码终端将所述视频分层数据转发至流媒体服务器;
其中,所述视频分层数据用于所述流媒体服务器根据与至少两个解码终端 之间的网络带宽,在所述视频分层数据中选择匹配的视频数据向对应的所述解 码终端进行转发;
所述编码终端如果接收到所述流媒体服务器针对所述视频分层数据反馈的 需求带宽,则实时生成与所述需求带宽匹配的新的视频分层数据。
第二方面,本发明实施例提供了一种视频数据的转发方法,包括:
流媒体服务器接收编码终端实时发送的视频分层数据;
其中,所述视频分层数据中包括至少一条数据流,一条数据流中包括至少 一个视频数据,不同视频数据对应的激活带宽不同;
所述流媒体服务器根据与至少两个解码终端之间的网络带宽,在所述视频 分层数据中选择匹配的视频数据向对应的所述解码终端进行转发;
所述流媒体服务器如果确定所述视频分层数据中的全部视频数据均不能转 发到至少一个目标解码终端,则根据所述至少一个目标解码终端生成需求带宽 反馈至所述编码终端,以使所述编码终端实时生成与所述需求带宽匹配的新的 视频分层数据。
第三方面,本发明实施例提供了一种视频数据的编码装置,应用与编码终 端中,包括:
视频分层数据生成模块,用于实时生成视频分层数据,所述视频分层数据 中包括至少一条数据流,一条数据流中包括至少一个视频数据,不同视频数据 对应的激活带宽不同;
视频分层数据转发模块,用于将所述视频分层数据转发至流媒体服务器;
其中,所述视频分层数据用于所述流媒体服务器根据与至少两个解码终端 之间的网络带宽,在所述视频分层数据中选择匹配的视频数据向对应的所述解 码终端进行转发;
视频分层数据再生成模块,用于如果接收到所述流媒体服务器针对所述视 频分层数据反馈的需求带宽,则实时生成与所述需求带宽匹配的新的视频分层 数据。
第四方面,本发明实施例提供了一种视频数据的转发装置,应用于流媒体 服务器中,包括:
分层数据接收模块,用于接收编码终端发送的视频分层数据;
其中,所述视频分层数据中包括至少一条数据流,一条数据流中包括至少 一个视频数据,不同视频数据对应的激活带宽不同;
视频数据转发模块,用于根据与至少两个解码终端之间的网络带宽,在所 述视频分层数据中选择匹配的视频数据向对应的所述解码终端进行转发;
需求带宽反馈模块,用于如果确定所述视频分层数据中的全部视频数据均 不能转发到至少一个目标解码终端,则根据所述至少一个目标解码终端生成需 求带宽反馈至所述编码终端,以使所述编码终端实时生成与所述需求带宽匹配 的新的视频分层数据。
第五方面,本发明实施例还提供了一种计算机设备,所述计算机设备包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多 个处理器实现如本发明任一实施例所述的视频数据的编码方法,或者,实现如 本发明任一实施例所述的视频数据的转发方法。
第六方面,本发明实施例还提供了一种计算机可读存储介质,其上存储有 计算机程序,该程序被处理器执行时实现如本发明任一实施例所述的视频数据 的编码方法,或者,实现如本发明任一实施例所述的视频数据的转发方法。
本发明实施例的技术方案通过编码终端实时生成视频分层数据,并将所述 视频分层数据转发至流媒体服务器;之后流媒体服务器接收该视频分层数据, 并根据与至少两个解码终端之间的网络带宽,在所述视频分层数据中选择匹配 的视频数据向对应的所述解码终端进行转发,所述流媒体服务器如果确定所述 视频分层数据中的全部视频数据均不能转发到至少一个目标解码终端,则根据 所述至少一个目标解码终端生成需求带宽反馈至所述编码终端,以使所述编码 终端实时生成与所述需求带宽匹配的新的视频分层数据。在本发明实施例的方 案中编码终端可以根据解码终端实际的信道环境,适配性的生成多个解码终端 均能接收,且能发挥解码终端最优显示性能的视频数据,优化了现有的视频编 码技术,兼顾了编码性能以及对解码终端带宽的覆盖,实现灵活性强,带宽覆 盖范围广。
附图说明
图1是本发明实施例一中的一种视频数据的编码方法的流程图;
图2a是本发明实施例二中的一种视频数据的编码方法的流程图;
图2b是本发明实施例一中的一种数据分层方式中包括的各项设置参数的 示意图;
图3a是本发明实施例三中的一种视频数据的转发方法的流程图;
图3b是本发明实施例的一种具体应用场景的结构图示意图;
图4是本发明实施例四中的一种视频数据的编码装置的结构图;
图5是本发明实施例五中的一种视频数据的转发装置的结构图;
图6是本发明实施例六中的一种计算机设备的结构图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此 处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需 要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结 构。
实施例一
图1为本发明实施例一提供的一种视频数据的编码方法的流程图,本实施 例可适用于编码终端自适应编码生成与多个解码终端的实际带宽环境匹配的视 频分层数据的情况,该方法可以由视频数据的编码装置来执行,该装置可以通 过软件和/或硬件的方式实现,并一般可以集成在内置有视频编码器的编码终端 中,本实施例的方法具体包括如下步骤:
S110、编码终端实时生成视频分层数据,所述视频分层数据中包括至少一 条数据流,一条数据流中包括至少一个视频数据,不同视频数据对应的激活带 宽不同。
其中,所述编码终端(也可称为编码源)主要是指内置有视频编码器的计 算机设备。视频编码器按照预设的视频压缩标准(例如,H.264-HP),将多个 视频文件分别编码生成独立的视频数据包以及音频数据包,并将上述视频数据 包以及音频数据包通过一个流媒体服务器最终传输至多个解码终端进行解码播 放。一般来说,编码终端可以和流媒体服务器直接相连,也可以通过一个或者 多个接入交换机,和/或一个或者多个路由器间接相连。
在本实施例中,使用一个视频分层数据代替了相关技术中的一个视频数据 包。相应的,编码终端根据预设的参数或者各个解码终端的实际情况,选择在 该视频分层数据中包括一条或者多条数据流,每一条数据流中也可以包括有一 个或者多个视频数据,以达到向不同信道环境的不同解码终端转发不同激活带 宽的视频数据的效果。
激活带宽具体对应一个带宽范围,其主要用于指导流媒体服务器根据不同 的信道带宽条件,选择转发不同的视频数据到对应的解码终端。
一般来说,不同数据流之间一般具有不同的图像质量参数,而一条数据流 中包括的多个视频数据中则具有完全相同的图像质量参数。所述图像质量参数 可以包括图像分辨率(宽度分辨率以及高度分辨率)、图像帧率、图像I帧间 隔以及图像格式(YUV420或者YUV400)等参数。一般来说,考虑到用户的 实际图像质量需求,可以在保证相同的图像质量参数时,进一步降低码率(也 即,激活带宽),因此,在一条数据流中设置的多个视频数据,可以保证在图 像质量参数相同的基础上,上述多个视频数据可以适配不同的激活带宽。
可选的,在所述视频分层数据的一条数据流中,可以包括:增强层视频数 据、标准层数据以及基础层视频数据;所述基础层视频数据的激活带宽为同一 数据流中的增强层视频数据的激活带宽与第一设定百分数的乘积,所述标准层 视频数据的激活带宽为同一数据流中的增强层视频数据的激活带宽与第二设定 百分数的乘积,所述第二设定百分数大于所述第一设定百分数。
在本实施例中,可以根据实际情况对上述第一设定百分数以及第二设定百 分数进行预设,本实施例对此并不进行限制。发明人通过实践发现,将该第一 设定百分数设置为80%,将该第二设定百分数设置为60%时,标准层数据以及 基础层视频数据可以在进一步降低激活带宽的前提下,同时具有较优的图像显 示效果。
在一个具体例子中,可以预先规定在视频分层数据中可以最多包括三条数 据流,例如,主数据流、辅数据流以及灰度数据流;其中,每一条数据流中都 包括三个视频数据,例如,增强层视频数据、标准层数据以及基础层视频数据 等。相应的,在编码端生成的一个视频分层数据中,最多可以包括有9个视频 数据,不同视频数据对应不同的激活带宽,以使得一个视频分层数据可以最多 适配9个不同带宽环境的解码终端。
可选的,可以预先配置多种不同的数据分层方式,每种数据分层方式中预 先规定视频分层数据中包括的数据流的数量,或者每个数据流中包括的视频数 据的数量,以及各个不同数据流对应的视频质量参数等,并在该数据分层方式 中预先规定各个视频数据的激活带宽。相应的,编码终端可以通过选定的一个 数据分层方式,实时生成视频分层数据。
可选的,编码终端可以选择最优的一个分层方式(各个数据流的激活带宽 均最大,也即,各个视频数据的图像质量均最好),实时生成视频分层数据。
S120、所述编码终端将所述视频分层数据转发至流媒体服务器。
其中,所述视频分层数据用于所述流媒体服务器根据与至少两个解码终端 之间的网络带宽,在所述视频分层数据中选择匹配的视频数据向对应的所述解 码终端进行转发。
在本实施例中,编码终端通过一个专门用于分发码流的流媒体服务器将实 时生成的所述视频分层数据转发(或者可以先复制,后转发)至多个解码终端 进行播放。相应的,该流媒体服务器可以根据与各个解码终端之间的网络带宽, 在所述视频分层数据中选择匹配的视频数据进行转发。
S130、所述编码终端如果接收到所述流媒体服务器针对所述视频分层数据 反馈的需求带宽,则实时生成与所述需求带宽匹配的新的视频分层数据。
如前所示,所述编码终端可以根据预设的参数(例如,编码终端与流媒体 服务器之间的网络带宽)或者各个解码终端的带宽环境,确定该视频分层数据 中包括的各个视频数据所能适配的带宽环境。考虑到各个解码终端带宽环境的 实时变化,或者说预设的参数与各个解码终端的带宽环境的不匹配性,编码终 端实时生成的视频分层数据中虽然可以包括多个视频数据,但是有可能上述多 个视频数据均无法适配多个解码终端中的一个或者多个。
例如,一个解码终端A的网络带宽为200K,而所述视频分层数据中视频数 据对应的最小的激活带宽为256K,因此,该最小激活带宽对应的视频数据也无 法成功转发至该解码终端A,此时,为了使得视频分层数据对该解码终端A的 适配,流媒体服务器可以根据该解码终端A的网络带宽生成需求带宽反馈给视 频分层数据,以使所述编码终端在后续的视频编码过程中,根据所述需求带宽 实时生成包括一个该解码终端A能够接收的视频数据的视频分层数据,以进一 步适配该解码终端A。
典型的,所述流媒体服务器可以将所述需求带宽可以添加于TMMBR (TemporaryMaximum Media Stream Bit Rate Notification,临时最大媒体流比特 率通知)消息中反馈至编码终端。其中,TMMBR用于流控,请求发送端按指 定的最大比特率传输数据流,通常用于网络抖动情况下保证VOIP(Voice Over Internet Protocol,基于IP的语音传输)通信的流畅性(临时降低质量),相应 的,可以将所述需求带宽作为所述TMMBR消息中的最大比特率传输数据流参 数,反馈至编码终端。
本发明实施例的技术方案通过编码终端实时生成视频分层数据,并将所述 视频分层数据转发至流媒体服务器;之后流媒体服务器接收该视频分层数据, 并根据与至少两个解码终端之间的网络带宽,在所述视频分层数据中选择匹配 的视频数据向对应的所述解码终端进行转发,所述流媒体服务器如果确定所述 视频分层数据中的全部视频数据均不能转发到至少一个目标解码终端,则根据 所述至少一个目标解码终端生成需求带宽反馈至所述编码终端,以使所述编码 终端实时生成与所述需求带宽匹配的新的视频分层数据。在本发明实施例的方 案中编码终端可以根据解码终端实际的信道环境,适配性的生成多个解码终端 均能接收,且能发挥解码终端最优显示性能的视频数据,优化了现有的视频编 码技术,兼顾了编码性能以及对解码终端带宽的覆盖,实现灵活性强,带宽覆 盖范围广。
实施例二
图2a是本发明实施例二提供的一种视频数据的编码方法的流程图,本实施 例以上述实施例为基础,在本实施例中,编码终端实时生成视频分层数据,可 以为:编码终端选取设定的带宽档位值,并根据所述带宽档位值、以及预设的 带宽档位值与数据分层方式之间的映射关系,实时生成所述视频分层数据;以 及,所述编码终端实时生成与所述需求带宽匹配的新的视频分层数据,可以为: 所述编码终端根据所述需求带宽,在多个数据分层方式中选取目标数据分层方 式;根据所述目标数据分层方式实时生成所述视频分层数据。
相应的,本实施例的方法包括如下步骤:
S210、编码终端选取设定的带宽档位值,并根据所述带宽档位值、以及预 设的带宽档位值与数据分层方式之间的映射关系,实时生成所述视频分层数据。
在本实施例中,所述编码终端可以根据其与流媒体服务器之间的带宽,动 态选取设定的带宽档位值,也可以根据选取一个预先设定的固定的带宽档位值, 还可以根据与多个解码终端分别对应的理论带宽,按照设定的算法,选取所述 设定带宽档位值。
其中,根据实际的网络环境,可以将带宽档位值设置为4Mbps、2.5Mbps、1.5Mbps、1.2Mbps、920Kbps、700Kbps、512Kbps、384Kbps、256Kbps、128Kbps、 96Kbps、72Kbps以及64kbps等档位。其中,一个带宽档位值对应一个带宽范 围,例如:4Mbps的带宽档位值对应的带宽范围为[4Mbps,+∞),2.5Mbps的 带宽档位值对应的带宽范围为[2.5Mbps,4Mbps)等。
其中,所述视频分层数据中包括至少一条数据流,一条数据流中包括至少 一个视频数据,不同视频数据对应的激活带宽不同。
典型的,可以预先规定带宽档位值与不同数据分层方式之间的对应关系。 在数据分层方式中定义需要对一段视频内容编码生成几条数据流,此外,还可 以在该数据分层方式中进一步规定与不同数据流对应的图像质量参数。
在上述各实施例的基础上,所述编码终端根据所述带宽档位值、以及预设 的带宽档位值与数据分层方式之间的映射关系,实时生成所述视频分层数据, 可以包括:
所述编码终端如果确定所述带宽档位值与第一类数据分层方式满足映射关 系,则生成主数据流、辅数据流以及灰度数据流共三条数据流;所述编码终端 如果确定所述带宽档位值与第二类数据分层方式满足映射关系,则生成主数据 流以及辅数据流共两条数据流;所述编码终端如果确定所述带宽档位值与第三 类数据分层方式满足映射关系,则仅生成一条主数据流;
其中,在一个视频分层数据中,主数据流的激活带宽大于辅数据流的激活 带宽,辅数据流的激活带宽大于灰度数据流的激活带宽。换句话说,主数据流 中包括的各个视频数据的激活带宽均大于辅数据流中包括的各个视频数据的激 活带宽;辅数据流中包括的各个视频数据的激活带宽均大于灰度数据流中包括 的各个视频数据的激活带宽。
进一步的,在所述视频分层数据的一条数据流中,可以包括:增强层视频 数据、标准层数据以及基础层视频数据;所述基础层视频数据的激活带宽为同 一数据流中的增强层视频数据的激活带宽与第一设定百分数的乘积,所述标准 层视频数据的激活带宽为同一数据流中的增强层视频数据的激活带宽与第二设 定百分数的乘积,所述第二设定百分数大于所述第一设定百分数。
在本实施例中,可以制定带宽档位值与数据分层方式之间的映射关系。每 个带宽档位值可以相应配置对应的数据分层方式,其中,在一个数据分层方式 中可以具体配置有主数据流、辅数据流和灰度数据流的激活带宽(码率)、图 像分辨率、图像格式以及图像帧率等信息。典型的,主数据流的激活带宽可以 直接与对应的带宽档位值相匹配,以直接建立带宽档位值与数据分层方式之间 的映射关系。
其中,在图2b中示出了一种数据分层方式中包括的各项设置参数的示意图。 其中,图2b中的各项设置参数的定义如下:Rate:表示主数据流增强层码率(激 活带宽);w:主数据流图像分辨率宽度像素;h:主数据流图像分辨率高度像 素;frame:主数据流图像帧率;iinterval:主数据流图像I帧间隔;raw:主数 据流图像格式,其中yuv420,表示彩色图像,yuv400表示黑白图像;slave_rate: 辅数据流码率;slave_w:辅数据流图像分辨率宽度像素;slave_h:辅数据流图 像分辨率高度像素;slave_fr:辅数据流图像帧率;slave_iinterval:辅数据流图 像I帧间隔;slave_gray_bitrate:灰度数据流码率;gray_w:灰度数据流图像分 辨率宽度像素;gray_h:灰度数据流图像分辨率高度像素;通过以上的参数配 置,可以约定每个带宽档位值对应的三条数据流应该显示的图像质量、对应的 信道带宽和图像相关参数等。
需要说明的是,在上述数据分层方式定义表中并未定义标准层视频数据以 及基础层视频数据的激活带宽以及图像质量参数,原因是标准层视频数据以及 基础层视频数据的激活带宽为增强层视频数据的激活带宽与不同设定百分数的 乘积,且图像质量参数相同,因此无需重复定义。
典型的,需要在编码终端和流媒体服务器转发处理模块中均配置多种带宽 档位值与数据分层方式之间的映射关系,并且编码终端和流媒体服务器中配置 的映射关系的内容需要相一致,这样就可以确保当服务器发现到某个解码终端 的带宽处于某个激活带宽的范围内时则取相应的视频数据进行转发。
S220、所述编码终端将所述视频分层数据转发至流媒体服务器。
其中,所述视频分层数据用于所述流媒体服务器根据与至少两个解码终端 之间的网络带宽,在所述视频分层数据中选择匹配的视频数据向对应的所述解 码终端进行转发。
S230、所述编码终端判断是否接收到所述流媒体服务器针对所述视频分层 数据反馈的需求带宽:若是,执行S240;否则,执行S250。
在本实施例中,如果流媒体服务器确定任一解码终端对视频分层数据中包 括的全部视频数据均无法正常接收,例如,对应最小激活带宽的一个视频数据 (典型的,灰度数据流中的基础层数据)的激活带宽也大于该解码终端与流媒 体服务器之间的带宽,则该流媒体服务器会根据与该解码终端之间的带宽生成 需求带宽,例如,直接将上述与该解码终端之间的带宽作为所述需求带宽。
S240、所述编码终端根据所述需求带宽,在多个数据分层方式中选取目标 数据分层方式,执行S260。
具体的,所述编码终端根据所述需求带宽,在多个数据分层方式中选取目 标数据分层方式,可以包括:
所述编码终端按照从高层到底层的顺序,在多个数据分层方式中,查找包 括与需求带宽对应的视频数据的第一个数据分层方式,作为所述目标数据分层 方式;其中,预先按照数据流的视频数据的激活带宽从高到低的顺序,将各所 述数据分层方式进行从高层到底层的排序。
如前所述,不同数据分层方式可以对应不同的带宽档位值,不同带宽档位 值中包括的各个数据流的视频数据的激活带宽也不尽相同,带宽档位值越大, 对应的各个数据流的视频数据的激活带宽也就越大。因此,可以按照数据流的 视频数据的激活带宽从高到低的顺序,将各所述数据分层方式进行从高层到底 层的排序。
相应的,在按照从高层到底层的顺序,在多个数据分层方式中,查找包括 与需求带宽对应的视频数据的第一个数据分层方式,一定能够满足该需求带宽 要求,且各个视频流的视频质量最优的一个数据分层方式。因此,使用该数据 分层方式实时生成视频分层数据,既能满足与该需求带宽对应的解码终端所需 的视频数据,也能兼顾其他解码终端接收到的视频数据的视频质量。
S250、按照当前使用的数据分层方式,实时生成所述视频分层数据,并返 回执行S220。
S260、根据所述目标数据分层方式实时生成所述视频分层数据,执行S220。
本发明实施例的技术方案给出了两种确定数据分层方式的实现形式,编码 终端可以首先按照预定的参数首先选取一种数据分层方式实时生成视频分层数 据,该视频分层数据中最多可以包括9层适配不同带宽环境的解码终端,以满 足不同带宽环境的解码终端的需求。在流媒体服务器确定有一个或者多个解码 终端不能对视频分层数据中包括的任一视频数据进行正常接收时,则会基于上 述解码终端的带宽生成需求带宽反馈至编码终端,以使编码终端重新确定新的 数据分层方式,达到既能满足与该需求带宽对应的解码终端所需的视频数据, 也能兼顾其他解码终端接收到的视频数据的视频质量的技术效果,进一步提高 了本发明实施例的动态适应性,以及实现的灵活性。
实施例三
图3a为本发明实施例三提供的一种视频数据的转发方法的流程图,本实施 例可适用于流媒体服务器将视频分层数据中的视频数据自适应转发至对应的解 码终端的情况,该方法可以由视频数据的转发装置来执行,该装置可以通过软 件和/或硬件的方式实现,并一般可以集成在流媒体服务器中,本实施例的方法 具体包括如下步骤:
S310、流媒体服务器接收编码终端实时发送的视频分层数据。
其中,所述视频分层数据中包括至少一条数据流,一条数据流中包括至少 一个视频数据,不同视频数据对应的激活带宽不同。
其中,在所述视频分层数据的一条数据流中,可以包括:增强层视频数据、 标准层视频数据以及基础层视频数据;
所述基础层视频数据的激活带宽为同一数据流中的增强层视频数据的激活 带宽与第一设定百分数的乘积,所述标准层视频数据的激活带宽为同一数据流 中的增强层视频数据的激活带宽与第二设定百分数的乘积,所述第二设定百分 数大于所述第一设定百分数。
S320、所述流媒体服务器根据与至少两个解码终端之间的网络带宽,在所 述视频分层数据中选择匹配的视频数据向对应的所述解码终端进行转发。
具体的,所述流媒体服务器根据与至少两个解码终端之间的网络带宽,在 所述视频分层数据中选择匹配的视频数据向对应的所述解码终端进行转发可以 包括:
所述流媒体服务器获取一个解码终端作为当前操作终端;所述流媒体服务 器获取与所述当前操作终端之间的网络带宽作为比对带宽;所述流媒体服务器 按照激活带宽从高到底的顺序,将所述视频分层数据中包括的与数据流对应的 视频数据的激活带宽与所述比对带宽进行匹配;所述流媒体服务器如果确定目 标数据流对应的目标视频数据的激活带宽与所述比对带宽相匹配,则在所述视 频分层数据中获取所述目标视频数据向所述当前操作终端进行转发;所述流媒 体服务器如果确定所述数据流中不包括与所述比对带宽相匹配的任一视频数据, 则将所述当前操作终端作为一个目标解码终端;所述流媒体服务器返回执行所 述流媒体服务器获取一个解码终端作为当前操作终端的操作,直至完成对全部 解码终端的处理。
具体的,所述流媒体服务器按照激活带宽从高到底的顺序依次在所述视频 分层数据中获取一个数据流,并在该数据流中按照从增强层视频数据到基础层 视频数据的顺序,分别获取对应的激活带宽与所述比对带宽进行匹配,若当前 获取的视频数据的激活带宽与该比对带宽相匹配(激活带宽小于等于所述第二 比对带宽),则说明该视频数据是能够通过适配该比对带宽的最好质量的一个 视频数据,因此,可以直接将该视频数据转发至解码终端。
另外,需要说明的是,所述流媒体服务器在确定与至少两个解码终端之间 的网络带宽时,可以通过协商的方式确定,协商的带宽可以是根据SIP(Session InitiationProtocol,会话初始协议)标准中的带宽协商方式进行。
S330、所述流媒体服务器如果确定所述视频分层数据中的全部视频数据均 不能转发到至少一个目标解码终端,则根据所述至少一个目标解码终端生成需 求带宽反馈至所述编码终端,以使所述编码终端实时生成与所述需求带宽匹配 的新的视频分层数据。
如前所述,如果一个解码终端的比对带宽与视频分层数据中的全部视频数 据均不适配,则会将该解码终端确定为一个目标解码终端。
在本实施例中,所述流媒体服务器根据所述至少一个目标解码终端生成需 求带宽反馈至所述编码终端,可以包括:
所述流媒体服务器获取与所述至少一个目标解码终端之间的网络带宽;所 述流媒体服务器根据所述至少一个网络带宽,生成所述需求带宽反馈至所述编 码终端。
相应的,如果与所述至少一个目标解码终端之间的网络带宽为多个时,可 以将上述多个网络带宽均作为所述需求带宽反馈至所述编码终端,还可以在多 个网络带宽中选择一个最小带宽作为所述需求带宽反馈至所述编码终端,或者 将上述多个网络带宽的均值作为所述需求带宽反馈至所述编码终端,本实施例 对此并不进行限制。
典型的,所述流媒体服务器可以将所述需求带宽可以添加于TMMBR消息 中反馈至编码终端。
本发明实施例由于编码终端根据实际的信道环境选择编码生成适配于不同 激活带宽的多个视频数据,使得接收到多个视频数据的流媒体服务器能够根据 实际的转发需求,在多个视频数据中选择匹配的视频数据转发至对应的解码终 端,在本发明实施例的方案中编码终端可以根据解码终端实际的信道环境,适 配性的生成多个解码终端均能接收,且能发挥解码终端最优显示性能的视频数 据,优化了现有的视频编码技术,兼顾了编码性能以及对解码终端带宽的覆盖, 实现灵活性强,带宽覆盖范围广。
具体应用场景
为了将本发明各实施例的技术方案阐述的更加清楚,现将本发明各实施例 的方案应用到具体的应用场景中进行简要说明。其中,在图3b中示出了本发明 实施例的一种具体应用场景的结构图示意图。如图3b所示,编码终端发送了三 条码流,每条码流分三层数据,媒体服务器分别与解码终端A、解码终端B以 及解码终端C相连,并且分别与上述三个解码终端协商带宽。流媒体服务器根 据与三个解码终端分别协商的带宽,从视频分层数据的9层数据中选择对应的 视频数据分别发送至上述三个解码终端,如图3b所示,上述三个解码终端由于 带宽环境不同,收到不同的视频数据,因此实际看到的图像质量是不同的,是根据解码终端的实际的带宽环境选择的最优效果。
通过本发明实施例的技术方案,兼顾了编码的性能和分层数据的覆盖,通 过预设的数据分层方式将可以灵活的将覆盖范围扩大或缩小。相比传统的SVC 分层,该方案灵活性更强,带宽覆盖范围更广,相比多码流的方案,该方案的 性能能够达到最优。
实施例四
图4是本发明实施例四提供的一种视频数据的编码装置的结构图,所述装 置应用于编码终端中,如图4所示,所述装置包括:视频分层数据生成模块410、 视频分层数据转发模块420以及视频分层数据再生成模块430。其中:
视频分层数据生成模块410,用于实时生成视频分层数据,所述视频分层 数据中包括至少一条数据流,一条数据流中包括至少一个视频数据,不同视频 数据对应的激活带宽不同;
视频分层数据转发模块420,用于将所述视频分层数据转发至流媒体服务 器,所述视频分层数据用于所述流媒体服务器根据与至少两个解码终端之间的 网络带宽,在所述视频分层数据中选择匹配的视频数据向对应的所述解码终端 进行转发;
视频分层数据再生成模块430,用于如果接收到所述流媒体服务器针对所 述视频分层数据反馈的需求带宽,则实时生成与所述需求带宽匹配的新的视频 分层数据。
本发明实施例的技术方案通过编码终端实时生成视频分层数据,并将所述 视频分层数据转发至流媒体服务器;之后流媒体服务器接收该视频分层数据, 并根据与至少两个解码终端之间的网络带宽,在所述视频分层数据中选择匹配 的视频数据向对应的所述解码终端进行转发,所述流媒体服务器如果确定所述 视频分层数据中的全部视频数据均不能转发到至少一个目标解码终端,则根据 所述至少一个目标解码终端生成需求带宽反馈至所述编码终端,以使所述编码 终端实时生成与所述需求带宽匹配的新的视频分层数据。在本发明实施例的方 案中编码终端可以根据解码终端实际的信道环境,适配性的生成多个解码终端 均能接收,且能发挥解码终端最优显示性能的视频数据,优化了现有的视频编 码技术,兼顾了编码性能以及对解码终端带宽的覆盖,实现灵活性强,带宽覆 盖范围广。
在上述各实施例的基础上,视频分层数据生成模块410,具体用于:
选取设定的带宽档位值,并根据所述带宽档位值、以及预设的带宽档位值 与数据分层方式之间的映射关系,实时生成所述视频分层数据;和/或
视频分层数据再生成模块430,具体用于:
根据所述需求带宽,在多个数据分层方式中选取目标数据分层方式;根据 所述目标数据分层方式实时生成所述视频分层数据。
在上述各实施例的基础上,视频分层数据生成模块410,进一步用于:如 果确定所述带宽档位值与第一类数据分层方式满足映射关系,则生成主数据流、 辅数据流以及灰度数据流共三条数据流;
所述编码终端如果确定所述带宽档位值与第二类数据分层方式满足映射关 系,则生成主数据流以及辅数据流共两条数据流;
所述编码终端如果确定所述带宽档位值与第三类数据分层方式满足映射关 系,则生成一条主数据流;
其中,在一个视频分层数据中,主数据流的激活带宽大于辅数据流的激活 带宽,辅数据流的激活带宽大于灰度数据流的激活带宽;和/或
视频分层数据再生成模块430,进一步用于:
所述编码终端按照从高层到底层的顺序,在多个数据分层方式中,查找包 括与需求带宽对应的视频数据的第一个数据分层方式,作为所述目标数据分层 方式;
其中,预先按照视频数据的激活带宽从高到低的顺序,将各所述数据分层 方式进行从高层到底层的排序。
在上述各实施例的基础上,在所述视频分层数据的一条数据流中,包括: 增强层视频数据、标准层视频数据以及基础层视频数据;
所述基础层视频数据的激活带宽为同一数据流中的增强层视频数据的激活 带宽与第一设定百分数的乘积,所述标准层视频数据的激活带宽为同一数据流 中的增强层视频数据的激活带宽与第二设定百分数的乘积,所述第二设定百分 数大于所述第一设定百分数。
本发明实施例所提供的视频数据的编码装置可执行本发明任意实施例所提 供的视频数据的编码方法,具备执行方法相应的功能模块和有益效果。
实施例五
图5是本发明实施例五提供的一种视频数据的转发装置的结构图,所述装 置应用于流媒体服务器中,如图5所示,所述装置包括:分层数据接收模块510、 视频数据转发模块520以及需求带宽反馈模块530。其中:
分层数据接收模块510,用于接收编码终端发送的视频分层数据;
其中,所述视频分层数据中包括至少一条数据流,一条数据流中包括至少 一个视频数据,不同视频数据对应的激活带宽不同;
视频数据转发模块520,用于根据与至少两个解码终端之间的网络带宽, 在所述视频分层数据中选择匹配的视频数据向对应的所述解码终端进行转发;
需求带宽反馈模块530,用于如果确定所述视频分层数据中的全部视频数 据均不能转发到至少一个目标解码终端,则根据所述至少一个目标解码终端生 成需求带宽反馈至所述编码终端,以使所述编码终端实时生成与所述需求带宽 匹配的新的视频分层数据。
本发明实施例由于编码终端根据实际的信道环境选择编码生成适配于不同 激活带宽的多个视频数据,使得接收到多个视频数据的流媒体服务器能够根据 实际的转发需求,在多个视频数据中选择匹配的视频数据转发至对应的解码终 端,在本发明实施例的方案中编码终端可以根据解码终端实际的信道环境,适 配性的生成多个解码终端均能接收,且能发挥解码终端最优显示性能的视频数 据,优化了现有的视频编码技术,兼顾了编码性能以及对解码终端带宽的覆盖, 实现灵活性强,带宽覆盖范围广。
在上述各实施例的基础上,在所述视频分层数据的一条数据流中,包括: 增强层视频数据、标准层视频数据以及基础层视频数据;
所述基础层视频数据的激活带宽为同一数据流中的增强层视频数据的激活 带宽与第一设定百分数的乘积,所述标准层视频数据的激活带宽为同一数据流 中的增强层视频数据的激活带宽与第二设定百分数的乘积,所述第二设定百分 数大于所述第一设定百分数。
在上述各实施例的基础上,视频数据转发模块520,具体用于:
所述流媒体服务器获取一个解码终端作为当前操作终端;
所述流媒体服务器获取与所述当前操作终端之间的网络带宽作为比对带宽;
所述流媒体服务器按照激活带宽从高到底的顺序,将所述视频分层数据中 包括的与数据流对应的视频数据的激活带宽与所述比对带宽进行匹配;
所述流媒体服务器如果确定目标数据流对应的目标视频数据的激活带宽与 所述比对带宽相匹配,则在所述视频分层数据中获取所述目标视频数据向所述 当前操作终端进行转发;
所述流媒体服务器如果确定所述数据流中不包括与所述比对带宽相匹配的 任一视频数据,则将所述当前操作终端作为一个目标解码终端;
所述流媒体服务器返回执行所述流媒体服务器获取一个解码终端作为当前 操作终端的操作,直至完成对全部解码终端的处理。
在上述各实施例的基础上,需求带宽反馈模块530,具体用于:
所述流媒体服务器获取与所述至少一个目标解码终端之间的网络带宽;
所述流媒体服务器根据所述至少一个网络带宽,生成所述需求带宽反馈至 所述编码终端。
本发明实施例所提供的视频数据的转发装置可执行本发明任意实施例所提 供的视频数据的转发方法,具备执行方法相应的功能模块和有益效果。
实施例六
图6为本发明实施例六提供的一种计算机设备的结构示意图。图6示出了 适于用来实现本发明实施方式的示例性计算机设备12的框图。图6显示的计算 机设备12仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限 制。
如图6所示,计算机设备12以通用计算设备的形式表现。计算机设备12 的组件可以包括但不限于:一个或者多个处理器或者处理单元16,系统存储器 28,连接不同系统组件(包括系统存储器28和处理单元16)的总线18。
总线18表示几类总线结构中的一种或多种,包括存储器总线或者存储器控 制器,外围总线,图形加速端口,处理器或者使用多种总线结构中的任意总线 结构的局域总线。举例来说,这些体系结构包括但不限于工业标准体系结构(ISA) 总线,微通道体系结构(MAC)总线,增强型ISA总线、视频电子标准协会(VESA) 局域总线以及外围组件互连(PCI)总线。
计算机设备12典型地包括多种计算机系统可读介质。这些介质可以是任何 能够被计算机设备12访问的可用介质,包括易失性和非易失性介质,可移动的 和不可移动的介质。
系统存储器28可以包括易失性存储器形式的计算机系统可读介质,例如随 机存取存储器(RAM)30和/或高速缓存存储器32。计算机设备12可以进一步 包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举 例,存储系统34可以用于读写不可移动的、非易失性磁介质(图6未显示,通 常称为“硬盘驱动器”)。尽管图6中未示出,可以提供用于对可移动非易失性 磁盘(例如“软盘”)读写的磁盘驱动器,以及对可移动非易失性光盘(例如 CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下, 每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可 以包括至少一个程序产品,该程序产品具有一组(例如至少一个)程序模块, 这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40,可以存储在例如 存储器28中,这样的程序模块42包括——但不限于——操作系统、一个或者 多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合 中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的 功能和/或方法。
计算机设备12也可以与一个或多个外部设备14(例如键盘、指向设备、 显示器24等)通信,还可与一个或者多个使得用户能与该计算机设备12交互 的设备通信,和/或与使得该计算机设备12能与一个或多个其它计算设备进行 通信的任何设备(例如网卡,调制解调器等等)通信。这种通信可以通过输入/ 输出(I/O)接口22进行。并且,计算机设备12还可以通过网络适配器20与 一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例 如因特网)通信。如图所示,网络适配器20通过总线18与计算机设备12的其 它模块通信。应当明白,尽管图6中未示出,可以结合计算机设备12使用其它 硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外 部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元16通过运行存储在系统存储器28中的程序,从而执行各种功能 应用以及数据处理,例如:在所述计算机设备为编码终端时,所述处理单元16 可以实现本发明实施例所提供的一种视频数据的编码方法。
也即,所述处理单元16执行所述程序时实现:编码终端实时生成视频分层 数据,所述视频分层数据中包括至少一条数据流,一条数据流中包括至少一个 视频数据,不同视频数据对应的激活带宽不同;
所述编码终端将所述视频分层数据转发至流媒体服务器,所述视频分层数 据用于所述流媒体服务器根据与至少两个解码终端之间的网络带宽,在所述视 频分层数据中选择匹配的视频数据向对应的所述解码终端进行转发;
所述编码终端如果接收到所述流媒体服务器针对所述视频分层数据反馈的 需求带宽,则实时生成与所述需求带宽匹配的新的视频分层数据。
又例如:在所述计算机设备为流媒体服务器时,所述处理单元16可以实现 本发明实施例所提供的一种视频数据的转发方法。
也即,所述处理单元16执行所述程序时实现:流媒体服务器接收编码终端 实时发送的视频分层数据;
其中,所述视频分层数据中包括至少一条数据流,一条数据流中包括至少 一个视频数据,不同视频数据对应的激活带宽不同;
所述流媒体服务器根据与至少两个解码终端之间的网络带宽,在所述视频 分层数据中选择匹配的视频数据向对应的所述解码终端进行转发;
所述流媒体服务器如果确定所述视频分层数据中的全部视频数据均不能转 发到至少一个目标解码终端,则根据所述至少一个目标解码终端生成需求带宽 反馈至所述编码终端,以使所述编码终端实时生成与所述需求带宽匹配的新的 视频分层数据。
实施例七
本发明实施例七还提供一种存储计算机程序的计算机存储介质,所述计算 机程序在由计算机处理器执行时用于执行本发明上述实施例任一所述的视频数 据的编码方法。
也即,所述处理单元执行所述程序时实现:编码终端实时生成视频分层数 据,所述视频分层数据中包括至少一条数据流,一条数据流中包括至少一个视 频数据,不同视频数据对应的激活带宽不同;
所述编码终端将所述视频分层数据转发至流媒体服务器,所述视频分层数 据用于所述流媒体服务器根据与至少两个解码终端之间的网络带宽,在所述视 频分层数据中选择匹配的视频数据向对应的所述解码终端进行转发;
所述编码终端如果接收到所述流媒体服务器针对所述视频分层数据反馈的 需求带宽,则实时生成与所述需求带宽匹配的新的视频分层数据。
或者,所述计算机程序在由计算机处理器执行时用于执行本发明上述实施 例任一所述的视频数据的转发方法。
也即,所述处理单元执行所述程序时实现:流媒体服务器接收编码终端实 时发送的视频分层数据;
其中,所述视频分层数据中包括至少一条数据流,一条数据流中包括至少 一个视频数据,不同视频数据对应的激活带宽不同;
所述流媒体服务器根据与至少两个解码终端之间的网络带宽,在所述视频 分层数据中选择匹配的视频数据向对应的所述解码终端进行转发;
所述流媒体服务器如果确定所述视频分层数据中的全部视频数据均不能转 发到至少一个目标解码终端,则根据所述至少一个目标解码终端生成需求带宽 反馈至所述编码终端,以使所述编码终端实时生成与所述需求带宽匹配的新的 视频分层数据。
本发明实施例的计算机存储介质,可以采用一个或多个计算机可读的介质 的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储 介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、 红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存 储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、 便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(Read Only Memory,ROM)、可擦式可编程只读存储器((Erasable ProgrammableRead Only Memory,EPROM)或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、 光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中,计算机 可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行 系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据 信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种 形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读 的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算 机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用 或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括—— 但不限于无线、电线、光缆、射频(Radio Frequency,RF)等等,或者上述的 任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计 算机程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、 Smalltalk、C++,还包括常规的过程式程序设计语言——诸如“C”语言或类似的 程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算 机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算 机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形 中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网 (WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员 会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进 行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽 然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以 上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例, 而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种视频数据的编码方法,其特征在于,包括:
编码终端实时生成视频分层数据,所述视频分层数据中包括至少一条数据流,一条数据流中包括至少一个视频数据,不同视频数据对应的激活带宽不同;
所述编码终端将所述视频分层数据转发至流媒体服务器,所述视频分层数据用于所述流媒体服务器根据与至少两个解码终端之间的网络带宽,在所述视频分层数据中选择匹配的视频数据向对应的所述解码终端进行转发;
所述编码终端如果接收到所述流媒体服务器针对所述视频分层数据反馈的需求带宽,则实时生成与所述需求带宽匹配的新的视频分层数据。
2.根据权利要求1所述的方法,其特征在于,编码终端实时生成视频分层数据,包括:
编码终端选取设定的带宽档位值,并根据所述带宽档位值、以及预设的带宽档位值与数据分层方式之间的映射关系,实时生成所述视频分层数据;和/或
所述编码终端实时生成与所述需求带宽匹配的新的视频分层数据,包括:
所述编码终端根据所述需求带宽,在多个数据分层方式中选取目标数据分层方式;
根据所述目标数据分层方式实时生成所述视频分层数据。
3.根据权利要求2所述的方法,其特征在于,所述编码终端根据所述带宽档位值、以及预设的带宽档位值与数据分层方式之间的映射关系,实时生成所述视频分层数据,包括:
所述编码终端如果确定所述带宽档位值与第一类数据分层方式满足映射关系,则生成主数据流、辅数据流以及灰度数据流共三条数据流;
所述编码终端如果确定所述带宽档位值与第二类数据分层方式满足映射关系,则生成主数据流以及辅数据流共两条数据流;
所述编码终端如果确定所述带宽档位值与第三类数据分层方式满足映射关系,则生成一条主数据流;
其中,在一个视频分层数据中,主数据流的激活带宽大于辅数据流的激活带宽,辅数据流的激活带宽大于灰度数据流的激活带宽;和/或
所述编码终端根据所述需求带宽,在多个数据分层方式中选取目标数据分层方式,包括:
所述编码终端按照从高层到底层的顺序,在多个数据分层方式中,查找包括与需求带宽对应的视频数据的第一个数据分层方式,作为所述目标数据分层方式;
其中,预先按照视频数据的激活带宽从高到低的顺序,将各所述数据分层方式进行从高层到底层的排序。
4.一种视频数据的转发方法,其特征在于,包括:
流媒体服务器接收编码终端实时发送的视频分层数据;
其中,所述视频分层数据中包括至少一条数据流,一条数据流中包括至少一个视频数据,不同视频数据对应的激活带宽不同;
所述流媒体服务器根据与至少两个解码终端之间的网络带宽,在所述视频分层数据中选择匹配的视频数据向对应的所述解码终端进行转发;
所述流媒体服务器如果确定所述视频分层数据中的全部视频数据均不能转发到至少一个目标解码终端,则根据所述至少一个目标解码终端生成需求带宽反馈至所述编码终端,以使所述编码终端实时生成与所述需求带宽匹配的新的视频分层数据。
5.根据权利要求4所述的方法,其特征在于,在所述视频分层数据的一条数据流中,包括:增强层视频数据、标准层视频数据以及基础层视频数据;
所述基础层视频数据的激活带宽为同一数据流中的增强层视频数据的激活带宽与第一设定百分数的乘积,所述标准层视频数据的激活带宽为同一数据流中的增强层视频数据的激活带宽与第二设定百分数的乘积,所述第二设定百分数大于所述第一设定百分数。
6.根据权利要求5所述的方法,其特征在于,所述流媒体服务器根据与至少两个解码终端之间的网络带宽,在所述视频分层数据中选择匹配的视频数据向对应的所述解码终端进行转发,包括:
所述流媒体服务器获取一个解码终端作为当前操作终端;
所述流媒体服务器获取与所述当前操作终端之间的网络带宽作为比对带宽;
所述流媒体服务器按照数据流的视频数据的激活带宽从高到低的顺序,将所述视频分层数据中包括的与数据流对应的视频数据的激活带宽与所述比对带宽进行匹配;
所述流媒体服务器如果确定目标数据流对应的目标视频数据的激活带宽与所述比对带宽相匹配,则在所述视频分层数据中获取所述目标视频数据向所述当前操作终端进行转发;
所述流媒体服务器如果确定所述数据流中不包括与所述比对带宽相匹配的任一视频数据,则将所述当前操作终端作为一个目标解码终端;
所述流媒体服务器返回执行所述流媒体服务器获取一个解码终端作为当前操作终端的操作,直至完成对全部解码终端的处理。
7.根据权利要求6所述的方法,其特征在于,所述流媒体服务器根据所述至少一个目标解码终端生成需求带宽反馈至所述编码终端,包括:
所述流媒体服务器获取与所述至少一个目标解码终端之间的网络带宽;
所述流媒体服务器根据所述至少一个网络带宽,生成所述需求带宽反馈至所述编码终端。
8.一种视频数据的编码装置,应用于编码终端中,其特征在于,包括:
视频分层数据生成模块,用于实时生成视频分层数据,所述视频分层数据中包括至少一条数据流,一条数据流中包括至少一个视频数据,不同视频数据对应的激活带宽不同;
视频分层数据转发模块,用于将所述视频分层数据转发至流媒体服务器,所述视频分层数据用于所述流媒体服务器根据与至少两个解码终端之间的网络带宽,在所述视频分层数据中选择匹配的视频数据向对应的所述解码终端进行转发;
视频分层数据再生成模块,用于如果接收到所述流媒体服务器针对所述视频分层数据反馈的需求带宽,则实时生成与所述需求带宽匹配的新的视频分层数据。
9.一种视频数据的转发装置,应用于流媒体服务器中,其特征在于,包括:
分层数据接收模块,用于接收编码终端发送的视频分层数据;
其中,所述视频分层数据中包括至少一条数据流,一条数据流中包括至少一个视频数据,不同视频数据对应的激活带宽不同;
视频数据转发模块,用于根据与至少两个解码终端之间的网络带宽,在所述视频分层数据中选择匹配的视频数据向对应的所述解码终端进行转发;
需求带宽反馈模块,用于如果确定所述视频分层数据中的全部视频数据均不能转发到至少一个目标解码终端,则根据所述至少一个目标解码终端生成需求带宽反馈至所述编码终端,以使所述编码终端实时生成与所述需求带宽匹配的新的视频分层数据。
10.一种计算机设备,其特征在于,所述计算机设备包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-3中任一所述的视频数据的编码方法,或者,实现如权利要求4-7中任一所述的视频数据的转发方法。
CN201811558755.8A 2018-12-19 2018-12-19 视频数据的编码、转发方法、装置、设备及存储介质 Active CN109600617B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811558755.8A CN109600617B (zh) 2018-12-19 2018-12-19 视频数据的编码、转发方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811558755.8A CN109600617B (zh) 2018-12-19 2018-12-19 视频数据的编码、转发方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN109600617A CN109600617A (zh) 2019-04-09
CN109600617B true CN109600617B (zh) 2020-07-21

Family

ID=65964227

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811558755.8A Active CN109600617B (zh) 2018-12-19 2018-12-19 视频数据的编码、转发方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN109600617B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109618188B (zh) * 2018-12-19 2021-03-30 北京东土科技股份有限公司 视频数据的编码、转发方法、装置、设备及存储介质
CN110708604B (zh) * 2019-09-03 2021-09-28 中国联合网络通信集团有限公司 一种视频转发服务器的ip信道带宽的适配方法及装置
CN111064960B (zh) * 2019-12-31 2023-06-02 广州市百果园网络科技有限公司 一种视频编码的方法、装置、服务器和存储介质
CN112153322B (zh) * 2020-09-23 2023-03-24 北京字跳网络技术有限公司 数据分发方法、装置、设备及存储介质
CN112866752A (zh) * 2021-01-06 2021-05-28 深圳市信义科技有限公司 一种视频码流自适应网络带宽方法、装置、设备及介质
CN113038062B (zh) * 2021-03-12 2022-09-09 随锐科技集团股份有限公司 视频通信方法及系统
CN115733987A (zh) * 2021-08-30 2023-03-03 华为技术有限公司 编解码方法、编码器、解码器及电子设备
CN116764188A (zh) * 2022-03-07 2023-09-19 华为技术有限公司 渲染方法及电子设备
CN118158418A (zh) * 2022-11-29 2024-06-07 华为云计算技术有限公司 视频编码方法及相关装置
CN116828231B (zh) * 2023-08-02 2024-05-24 纽扣数字智能科技(深圳)集团有限公司 一种视频传输优化方法、系统、电子设备及介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102256314A (zh) * 2011-07-20 2011-11-23 上海华为技术有限公司 业务编码速率调整方法及通信节点

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2928807B1 (fr) * 2008-03-11 2017-04-07 Canon Kk Procede de transmission sur un reseau de communication d'un signal video pre-encode
CN101340321A (zh) * 2008-08-28 2009-01-07 北京中星微电子有限公司 一种实时监控系统中自适应带宽的解决方案
CN102364962A (zh) * 2011-09-28 2012-02-29 南京邮电大学 一种基于可扩展分层编码的多径传输方案
JP6463041B2 (ja) * 2014-08-28 2019-01-30 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
CN104270646A (zh) * 2014-09-22 2015-01-07 何震宇 一种基于移动流媒体的自适应传输方法和系统
CN104349142B (zh) * 2014-11-03 2018-07-06 南京航空航天大学 一种基于分层表达的无人机视频自适应传输方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102256314A (zh) * 2011-07-20 2011-11-23 上海华为技术有限公司 业务编码速率调整方法及通信节点

Also Published As

Publication number Publication date
CN109600617A (zh) 2019-04-09

Similar Documents

Publication Publication Date Title
CN109600617B (zh) 视频数据的编码、转发方法、装置、设备及存储介质
US9602772B2 (en) Framework to support a hybrid of meshed endpoints with non-meshed endpoints
CN109618188B (zh) 视频数据的编码、转发方法、装置、设备及存储介质
US9532002B2 (en) System for enabling meshed conferences to be seamlessly promoted to full MCU based conferences
US11006134B2 (en) Picture decoding and encoding methods and apparatuses, decoder, and encoder
US11509860B2 (en) Video adaptation method, related device, and storage medium
US8966095B2 (en) Negotiate multi-stream continuous presence
US20130034146A1 (en) Selection of encoder and decoder for a video communications session
US8842159B2 (en) Encoding processing for conferencing systems
US10225305B2 (en) Adaptive data segment delivery arbitration for bandwidth optimization
US9232244B2 (en) Efficient frame forwarding in large scale real-time screen content sharing meetings
US9270937B2 (en) Real time stream provisioning infrastructure
KR20130123156A (ko) 다수의 서버를 이용한 분산 트랜스코딩 장치 및 방법
US9001701B1 (en) Priority assignment and signaling of scalable video in a switch based system
CN111787026A (zh) 一种媒体数据的传输方法、装置、设备及存储介质
CN113141352B (zh) 多媒体数据的传输方法、装置、计算机设备和存储介质
US8169904B1 (en) Feedback for downlink sensitivity
CN115209189B (zh) 一种视频流传输方法、系统、服务器及存储介质
US10270832B1 (en) Method and system for modifying a media stream having a variable data rate
WO2024120009A1 (zh) 一种多媒体处理系统、多媒体处理方法及相关设备
Shwetha Multimedia Transmission Mechanism for Streaming Over Wireless Communication Channel
WO2023062180A1 (en) Signaling for green metadata
JP6922267B2 (ja) 端末、プログラム、データ送信方法
WO2022214364A1 (en) Fine tuning of video data in a streaming application
KR20180041785A (ko) 클라우드 컴퓨팅 기반 멀티미디어 스트리밍 방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant