CN101502112A - 基于分组的视频广播系统中的图像复杂性计算 - Google Patents

基于分组的视频广播系统中的图像复杂性计算 Download PDF

Info

Publication number
CN101502112A
CN101502112A CNA2006800332852A CN200680033285A CN101502112A CN 101502112 A CN101502112 A CN 101502112A CN A2006800332852 A CNA2006800332852 A CN A2006800332852A CN 200680033285 A CN200680033285 A CN 200680033285A CN 101502112 A CN101502112 A CN 101502112A
Authority
CN
China
Prior art keywords
video
video flowing
unitary part
complexity
bandwidth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA2006800332852A
Other languages
English (en)
Inventor
普拉文·A·莫汉达斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsemi Frequency and Time Corp
Original Assignee
Symmetricom Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US11/456,505 external-priority patent/US8107540B2/en
Application filed by Symmetricom Inc filed Critical Symmetricom Inc
Publication of CN101502112A publication Critical patent/CN101502112A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4347—Demultiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365—Multiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365—Multiplexing of several video streams
    • H04N21/23655—Statistical multiplexing, e.g. by controlling the encoder to alter its bitrate to optimize the bandwidth utilization
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2402—Monitoring of the downstream path of the transmission network, e.g. bandwidth available
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

公开了使用表示信道带宽变化和图像复杂性的统计模型确定视频流、IPTV和播放应用程序中的实时图像复杂性的方法，该方法考虑了场景内容变化。与带宽变化和播放的视频流的图像复杂性成比例地在多个视频流之间分配可用信道带宽。基于每一个视频流的图像复杂性因素确定可用信道带宽的分布，所述图像复杂性因素是根据考虑了带宽变化和图像复杂性的概率矩阵确定的。

Description

基于分组的视频广播系统中的图像复杂性计算
技术领域
一般而言，本发明涉及广播系统。具体来说，本发明涉及估计使用MPEG兼容的编码的压缩视频节目中的一系列图像的复杂性的方法。
背景技术
在典型的广播系统中，如在IPTV(网络电视)和直接广播卫星(DBS)应用中，多个视频节目被并行地编码，并且以数字方式压缩的比特流被多路复用到单个恒定或可变比特率的信道上。可用的信道带宽可以与每一个视频源的信息内容/复杂性成比例地不均匀地在节目之间分配。通过测量缺陷来计算视频质量的监视系统将视频流的图像复杂性因素考虑在内，以计算缺陷对不太复杂或比较复杂的图像的不同影响。
以MPEG编码的可变比特率(VBR)视频业务预期支配宽带网络的带宽。这可能会以流的方式按需在IPTV或DBS类型的环境中提供。需要VBR或CBR视频复杂性的精确模型，以使监视系统能在其操作过程中预测任何提议的网络的性能。图1显示了在典型的IPTV环境中参与提供视频内容的组件。使用编码器，对作为模拟信号始发的视频源进行编码，并使用IP网络分组并发送。它可以作为多播或单播发送到网络。核心包含各种元件，以提供和管理用户和通信流量。内容存储在内容服务器中，并应用户请求，按需要提供。在网络中的各个点，可以由服务保证管理系统进行测量，以发现缺陷。
MPEG编码标准定义了三个图像类型(I、B和P)，并利用固定布局对图像进行编码。图像类型会由于场景转换而发生变化。在突然发生转换的情况下，新的场景的第一帧是内部编码的(I-帧)，以便避免严重的编码错误。在平缓的场景转换过程中，两个参考帧(I或P)之间的距离可以改变，以改善图像质量。在大部分这些渐变转换过程中，时间关联容易降低。此情况需要更加频繁地放置预测的参考帧(P帧)，以支持所需的图像质量。当视频序列包含迅速的运动时，这还可能需要频繁的P帧，以便改善图像质量。这会提高比特率。另一方面，如果场景不包含任何迅速的运动或平缓的场景转换，则可以增大帧间的(I-帧)参考距离，而不会影响图像质量。这是因为帧之间有强相关。
相应地，需要这样的过程，通过分析VCL参数，包括，但不仅限于切片、宏模块、量化、INTER/INTRA编码引用和非引用宏模块/切片/图像类型，分析视频流中视频编码层(VCL)复杂性指标变化和比特率变化，得出统计模型，以动态地计算图像复杂性，以便缺陷监视器可以使用此值来确定它们对复杂的图像的序列的影响。
发明内容
本发明提供了通过对视频节目流中VCL参数和带宽变化进行统计分析，实时估计图像复杂性的方法。此值可以被监视过程及其他应用程序用来估计损失状态下的视频质量，对人类视觉系统感觉到的质量进行更好的估计。
通过分析多个视频流中每一个视频流的视频编码层中的复杂性指标变化和比特率变化，开始在单个信道上播放多个视频流的过程。接下来，创建统计模型，以动态地计算多个视频流中每一个视频流的图像复杂性。然后，确定多个视频流中每一个视频流的图像复杂性对播放的影响。基于所述多个视频流中每一个视频流的所述图像复杂性的所述确定的影响，在所述多个视频流之间分配可用信道带宽。
该过程进一步涉及估计某些损失状态下的视频质量。
分析复杂性指标变化的过程涉及分析视频流的单独部分的参数的变化。视频流的单独部分包括切片、宏模块、量化、帧间编码(inter-coded)参考块、帧内编码(intra-coded)参考块，以及非引用宏模块/切片/图像类型。
创建统计模型的过程涉及创建每一个视频流的单独部分的视频编码层复杂性指标变化的第一统计模型。此外，还创建每一个视频流的相同单独部分的视频编码层比特率变化或带宽变化的第二统计模型。然后，组合每一个视频流的单独部分的第一和第二统计模型。基于所述组合的第一和第二统计模型，计算每一个视频流的所述单独部分的所述图像复杂性。
通过确定每一个视频流中量化变化，计数图像/切片/宏模块类型的高量化转换、切片/宏模块和帧间/帧内预测类型。通过确定每一个视频流中视频编码层数据的带宽，计数带宽变化。计数是这样完成的：包括对于每一个量化变化增大第一计数器，对于每一个宏模块增大第二计数器，对于每一个切片增大第三计数器，对于每一个低、平均和高带宽状态转换增大第四计数器。
使用所述第一、第二、第三和第四计数器，计算每一个视频流的单独部分的视频编码层复杂性的概率。此外，还使用所述第一、第二、第三和第四计数器，计算每一个视频流的所述单独部分的低、平均以及高带宽状态的概率。为每一个视频流的所述单独部分的视频编码层复杂性转换创建第一转换概率矩阵，以及为每一个视频流的所述单独部分的带宽状态转换，构建第二转换概率矩阵。使用从每一个转换概率矩阵获得的极限状态概率，计算每一个视频流的单独部分的图像复杂性值。
该方法可以被编辑机(collector)用来从分布的远程探针获得图像复杂性值；使用图像复杂性作为获得关于感觉到的视频质量的更高的准确性的变量，有助于分组视频流中缺陷的计算；为分组视频应用程序，每隔一定间隔提供图像复杂性；如人类视觉系统感觉到的，提供对视频复杂性的估计；为典型的工业范围内的视频质量评价模型，提供图像复杂性测量，包括但不仅限于峰值信噪比(PSNR)、MPQM、MQUANT和均方根误差(RMSE)；提供可以被视频编码器、复用器、路由器、VOD服务器(视频点播)、播放服务器和视频质量测量设备使用或包括的离线和实时图像复杂性测量；提供对图像复杂性有影响的带宽变化的统计模型；提供对场景转换有影响的视频编码层复杂性的统计模型；以及确定低复杂性状态和高复杂性状态下的图像系列的统计分布。
根据下面的与附图一起进行的比较详细的描述，本发明的其他特点和优点将变得显而易见，附图作为示例，说明了本发明的原理。
附图说明
附图说明了本发明。在这样的图形中：
图1显示了具有可以对其进行图像复杂性测量的潜在的点的IPTV(IP电视)分布式网络的示例；
图2显示了其中MPEG帧被封装在IP(因特网协议)和其中在VCL级别提取测量值的典型的协议堆栈；
图3显示了用于利用最终曲线拟合公式来计算图像复杂性的统计模型；
图4显示了带宽模型的马尔可夫转换过程；
图5显示了视频编码层复杂性模型的马尔可夫转换过程；
图6显示了带宽模型的计数器和转换矩阵关系；
图7显示了视频编码层复杂性模型的计数器和转换矩阵关系；
图8带宽变化模型的转换概率矩阵；
图9显示了视频编码层复杂性模型的转换概率矩阵；
图10显示了概率值和计算图像复杂性的曲线拟合公式关系；以及
图11显示了用于带宽和视频编码层模型计算的流程图。
具体实施方式
图2-10显示了本发明的优选实施例。本发明的实施例可以用于诸如图1中所显示的IPTV投射系统中。
本发明涉及估计支持MPEG型图像编码的视频流中一系列图像的图像复杂性的方法。该方法包括在编码的视频流的流动过程中，创建代表VCL参数的统计模型，所述VCL参数如量化，宏模块/切片计数、宏模块大小16 x 16、16 x 8、8 x 8、4 x 4、8 x 16、诸如帧间、帧内、I/B/P帧/宏模块类型变化的图像类型变化，该统计模型确定发生场景转换的概率。在编码的视频流的同一个流动过程中，还创建代表带宽变化的统计模型，该统计模型确定高和低带宽状态的概率。然后，根据从编码的视频流的同一个相同创建的两个统计模型，确定图像复杂性。该方法可用于提供估计感觉到的视频复杂性的分布式系统。
该方法还包括：确定量化变化，以计数高量化转换、监视时间间隔内的切片/宏模块计数、图像/切片/宏模块类型(I，B，P)的帧间/帧内预测类型，并确定VCL数据的带宽，以计数带宽变化；增大量化变化的计数器，增大宏模块和切片类型和大小的计数器，以及增大带宽低、平均和高状态转换的计数器；根据状态转换的计数器，计算视频编码层复杂性的概率，根据状态转换的计数器，计算低、平均和高带宽状态的概率；以及计算视频编码层复杂性转换的转换概率矩阵，并计算带宽状态转换的转换概率矩阵。
如上文所概述的，图1显示了典型的IPTV分布式网络21，包括视频内容获取系统12、IPTV管理系统14、IPTV内容分布16和IPTV消费者18。通常以模拟形式获取视频源20，由视频编码器22以MPEG 1/2/4格式进行编码，并发送到视频点播(VOD)服务器24或播放服务器26。VOD服务器24将内容封装到节目流中，以便传输到网络核心28。网络核心28是相对来说更高的带宽管道。IPTV网络21还包括各种管理、提供和服务保证元件。通常，它包括操作支持系统(OSS)30、用户管理系统32和应用程序服务器34，以创建新的增值服务。在管理、提供和服务保证之后，内容可以存储在可被消费者访问的VOD服务器36或播放服务器38中。它通常位于网络21的边缘40。消费者可以访问他们的宽带接入线42，该线可以是电缆/DSL线44。电视机通常连接到机顶盒46，该机顶盒46将视频流解码到组件输出端。
图2显示了分组视频流的协议堆栈。媒体相关的连接48可以是以太网、Sonet、DS3、电缆或DSL接口。PHY 50进行媒体相关的分组处理。IP(因特网协议)52是主要提供IPTV网络21中的分组路由的寻址的网络层部分。UDP/RTP 54是为端口提供应用程序级别的寻址的传输层。视频流可以封装在UDP/RTP中，或只封装在UDP层54中。编码视频可以以MPEG 1/2/4进行压缩，并作为传输流或在视频56的RTP封装中进行发送。和H.264/AVC情况一样，可以有可选的网络抽象层58。对视频编码层分组输入60进行解码，提取所需的参数，以获取图像复杂性模型的测量62的值，如下面所描述的。
图3提供了本发明的实施例中的统计模型的高电平逻辑。向VCL复杂性(I-帧)模型66和带宽模型68两者提供MPEG VCL输入64，以计算统计模型所需的计数器。曲线拟合公式70获取模型输出参数，并计算图像复杂性72。
图4显示了带宽模型68的离散马尔可夫过程状态转换。视频序列中的带宽变化被模型化为三态马尔可夫过程，以确定低带宽和高带宽状态转换的概率。状态1(S1)74、状态2(S2)76和状态3(S3)78分别模型68在低、恒定和高带宽状态下的状态。
图5显示了VCL层复杂性量化模型66的离散马尔可夫过程状态转换。从宏模块层获得的量化转换被模型化为两态马尔可夫过程。K1 80和K2 82显示了VCL层复杂性模型66的状态-量化高和量化低状态。
图6显示了用于计算带宽模型68的转换概率90的计数器86。VCL带宽监视器84监视VCL流中带宽变化，并更新计数器cXY 86，其中，X代表初始状态，Y代表结果状态。初始和结果状态可以是分别表示为1、2或3的低、恒定或高带宽状态。例如，C11代表从低带宽状态74到低带宽状态74的状态转换事件，而C23代表从恒定带宽状态76到高带宽状态78的状态转换事件。
计算状态转换概率90，以获取转换矩阵88。状态转换概率90通过pXY表示，其中，X代表初始状态，Y代表结果状态。初始和结果状态可以是分别表示为1、2或3的低、恒定或高带宽状态。例如，p12是从低带宽状态(S1)74到恒定带宽状态(S2)76的转换概率。从转换概率90，形成转换矩阵88。从转换矩阵88，计算极限状态概率，没有获取BP101 92和BP103 94的初始条件。这些值分别代表停留在低带宽状态和高带宽状态的概率。
图7显示了用于计算VCL层复杂性量化模型的转换概率的计数器98。VCL切片和宏模块监视器96监视宏模块中的量化参数，并更新计数器dXY，其中，X代表初始状态，Y代表结果状态。初始和结果状态可以是分别表示为1或2的量化高或量化低接收到的状态。例如，d12代表从量化高接收到的状态到量化低接收到的状态的状态转换事件计数。计算状态转换概率，以获取VCL层量化模型66的转换矩阵100。从转换矩阵100，计算图像序列中的高量化发生的概率，并设置于变量IP 100 102中。
图8显示了带宽模型68的转换概率矩阵88。状态S1 74、S276和S3 78代表低、平均和高带宽状态，如上文所概述的，矩阵88中的每一个单元都代表从一种状态到另一种状态的状态转换概率。
图9显示了VCL层量化模型66的转换概率矩阵100。状态K1 104和K2 106代表高量化和低量化发生状态，矩阵100中的每一个单元都代表从一种状态到另一种状态的状态转换概率。
图10显示了在图3的曲线拟合公式73中所使用的VCL层复杂性模型66和带宽模型68输出参数BP101 92、BP103 94和IP100 102，以获取值的范围从2到3的图像复杂性
Figure A200680033285D0013100604QIETU
。
图11显示了本发明的过程的主要功能块的流程图。带宽模型初始化108是运行带宽68和VCL层复杂性66模型需要执行的第一步骤。初始化用于计算平均带宽的变量110。从NAL(网络抽象层)/传输流中读取VCL输入112。计算114并设置116VCL分组的平均带宽。在此操作过程中，并行地运行(118)带宽模型68和VCL层复杂性模型66。对于转换计数器，初始化带宽模型68(120)。从NAL/传输层流中读取VCL分组大小(122)。计算VCL的带宽(124)。更新转换计数器(126)，更新转换概率矩阵(128)。下一个步骤是使用公式(1)和(2)计算高和状态极限状态概率(130)，如下面所详细描述的。设置变量BP101和BP103(132)。对于每个宏模块，同时运行VCL复杂性模型66(118)。初始化(136)计数器，通过对来自VCL的切片数据进行解码，从NAL/传输流138中读取宏模块和切片量化参数。计算VCL复杂性量化转换概率矩阵(140)，计算极限状态概率(142)。然后设置IP100变量(144)。使用变量BP101、BP103和IP100，计算最后的曲线拟合公式(146)。
现在将比较详细地说明实施例的操作。使用图4中的马尔可夫模型构建带宽模型68。状态S1 74、S2 76和S3 78涉及在处理一定数量的VCL分组或单独部分之后任何实例下VCL包速率的状态。在创建MPEG视频流之后，初始化带宽模型68。在此阶段，带宽模型68确定每一个单独部分(即，每个采样实例)的视频流的平均带宽。确定平均带宽的过程如下：
o 将计数器A100、A101、A102、A103、A104初始化为零；
o 从MPEG层读取接收到的每个NAL/传输层分组的VCL分组大小，并为接收到的累积的大小，设置A100；
o 为每个INTRA宏模块/图像类型，增大A103；
o 为每个切片类型，增大A104；
o 将A101设置为以毫秒描述的第一VCL接收到的时间；
o 为以毫秒表示的每个VCL接收到的时间，设置A102；以及
o 在每一个采样实例中，计算平均带宽。
该计算遵循此过程：
A100＝A100+VCL_size_rcvd from MPEG layer
If(A101＝0)thenA101＝current time
A102＝current time
C100＝A100＊8/(A102-A101)/1000(in kbps)
平均带宽(C100)范围将是C100±10kbps。
只有在接收到A103的最小预先定义的计数的情况下，该模型才运行。此计数器表示需要场景转换和多个场景转换才能有效地计算模型。如果当前视频流带宽低于C100-10kbps，则该模型将处于带宽低状态(S1)；对于高于C100+10kbps的带宽，该模型将处于带宽高状态(S3)。如果带宽在平均带宽值范围内，则该模型处于带宽恒定状态(S2)。
对于VCL分组，连续地确定平均带宽(C100)，可以使用图4中所显示的单独的转换马尔可夫过程，模型化带宽变化。通过监视视频流带宽变化，计算三种状态(S1，S2和S3)的转换。获取转换矩阵88(图8)，其中，每一个单元都代表从特定状态到下一状态的状态转换的概率。由于此过程的马尔可夫模型没有周期性的状态，其循环状态形成了单个的链，极限状态概率独立于初始条件。可以应用此条件，以获取P1(处于S1状态的概率)，P2(处于S2状态的概率)和P3(处于S3状态的概率)。对于极限状态概率，下列公式成立：
0 = Σ j Pipij - Pj       j＝1，2，3  公式(1)
1 = Σ j Pj                       公式(2)
由于有三个变量(P1，P2，P3)需要求解，因此，需要三个联立方程式，每一个都可以从转换矩阵88创建(图8)。根据MPEG视频流带宽变化统计信息，构建转换矩阵88。通过计算从特定状态到任何其他可能的状态的转换的概率，获取转换矩阵88，如图8所示。例如，停留在状态S1的概率通过p11来表示。
这些转换概率被输入到公式(1)和(2)中，以获取三个可以求解的联立方程式，以获取P1、P2和P3，其中，它们代表下列各项：P1(模型停留在低带宽状态下的概率)；P2(模型停留在平均/恒定带宽状态的概率)；以及P3(模型停留在高带宽状态的概率)。
低和高转换的概率代入最终曲线拟合公式70，以获取图像复杂性值72。获取P1、P2和P3的算法被描述为如下：
o 将计数器c11、c12、c13、c21、c22、c23、c31、c32，以及c33初始化为0；
o 状态＝S2；以及
o 对于MPEG视频基本流中的多个VCL(可配置的计数)
If(A103>5000(configurable count)||A104>100(configurable count))
         current_bandwidth＝(vcl_size＊8)/(current_time-previous_time)/1000
If(current_bandwidth>(C100+10))
      If(state＝S1)
            ++c13.
      else if(state＝S2)
            ++c23.
      else
            ++c33
elseif(current_bandwidth<(c100-10))
      if(state＝S1)
            ++c11
      else if(state＝S2)
            ++c21
      else
            ++c31
else
 if(state＝S1)
        ++c12
 else if(state＝S2)
        ++c22
 else
        ++c32
 update state to current state
在每个采样实例中(例如，10秒)，根据上述过程计算转换矩阵88。根据状态转换的相对频率计算转换概率。
p11＝c11/(c11+c12+c13)
p12＝c12/(c11+c12+c13)
p13＝c13/(c11+c12+c13)
p21＝c21/(c21+c22+c23)
p22＝c22/(c21+c22+c23)
p23＝c23/(c21+c22+c23)
p31＝c31/(c31+c32+c33)
p32＝c32/(c31+c32+c33)
p33＝c33/(c31+c32+c33)
根据转换矩阵，使用利用公式(1)和(2)形成的三个联立方程式，计算概率P1(低速率概率)，P2(恒定/平均速率概率)和P3(高速率概率)。
将转换概率代入公式(1)，获得下列等式：
0＝P1＊(p11-1)+P2＊p21+P3＊p31  --------------公式(3)
0＝P1＊p12+P2＊(p22-1)+P3＊p32  ---------------公式(4)
根据公式(2)，获得下列等式：
1＝P1+P2+P3                    ----------------公式(5)
在对这些公式进行求解之后，将概率赋值到这些变量中：
BP1 01＝P1
BP1 03＝P3
在对上述三个公式进行求解之后，计算P1和P3，以用于曲线拟合公式70中，获得最后的图像复杂性72。
对于每个VCL输入，VCL层复杂性模型66需要并行运行。对VCL参数进行监视，以了解场景转换和图像质量。分析INTER/INTRA宏模块类型，以确定场景转换，读取宏模块内部的量化参数，以确定图像质量对图像复杂性的影响。在运行VCL复杂性模型66之后，可以对图像复杂性的曲线拟合公式70进行求解，以获得最后的图像复杂性值72。
计算VCL复杂性概率的过程类似于上文所描述的过程，但是马尔可夫状态只限于两个状态。图10显示了VCL复杂性模型的状态转换过程。这些状态代表：
K1(接收量化高宏模块的状态)；以及
K2(接收量化低宏模块的状态)。
计算包含转换概率的转换矩阵100(图9)。每一个单元都代表状态转换，例如，p12代表在接收到的量化高状态(K1)下具有量化低(K2)的概率。
计算转换概率的过程如下：
对于每个VCL输入，在MPEG视频基本流中，
o 将所有计数器d11、d12、d21、d22初始化为零。设置状态＝K1。
o 为确定量化阈值以设置高/低量化状态，从图像参数集(如在MPEG4中)或从预先配置的值(如果它不可用)，读取初始量化值。将C101设置为此值。
o 对于宏模块计数，将C102设置为零
o 对于INTRA宏模块类型，将C103设置为零
o 对于切片类型，将C105设置为零
o 对于处理的每个宏模块，增大C102
o 对于每个INTRA宏模块类型，增大C103
o 对于每个切片类型，增大C105
o 对于量化可用的每个宏模块，读取C104中的量化值
If(state＝K1)
If(C104>C101 &&C105>100(configurable)&&C103>3000(configurable))
        ++d11；
else
        ++d12；
        else if(state＝K2)
   If(C104>C101 &&C105>100(configurable)&&C103>3000(configurable))
                 ++d21
            else
                 ++d22
         update state to current state
在每个采样实例(例如，10秒)，从上面的计数器，计算转换概率，以获得上面的转换矩阵100
p11＝d11/(d11+d12)
p12＝d12/(d11+d12)
p21＝d21/(d21+d22)
p22＝d22/(d21+d22)
根据转换概率，可以计算量化高发生的概率(P1)和量化低发生(P2)的概率。量化高发生的概率将用于曲线拟合函数70中，以获得最后的图像复杂性值72。
由于极限状态概率独立于初始条件，可以对极限状态概率的联立方程式进行求解，如下所示：
0 = &Sigma;Pipij - Pj i   j＝1，2      ---------------公式(6)
1 = &Sigma; j Pj      j＝　1，2    --------公式(7)
替代和展开上面的公式(6)和(7)中的转换概率，
0＝P1＊(p11-1)+P2＊p21 -------公式(8)
1＝P1+P2               ---------公式(9)
对上述两个公式进行求解，以获得P1和P2。赋值IP100＝P1(宏模块中的VCL层复杂性高发生的概率)用于图像复杂性公式中。
BP101、BP103和IP100用于曲线拟合公式70(图10)，以获得介于2和3之间的范围内的图像复杂性72。
图像复杂性
Figure A200680033285D0019100843QIETU
Figure A200680033285D0019100859QIETU
     公式(10)
对于
Figure A200680033285D0019100930QIETU
虽然为了说明详细描述了多个实施例，但是，在不偏离本发明的范围和精神的情况下，可以对每一个实施例进行各种修改。

Claims (25)

1.一个用于在单个信道上播放多个视频流的过程，包括下列步骤：
分析所述多个视频流中每一个视频流的视频编码层中的复杂性指标变化和比特率变化；
创建统计模型，以动态地计算所述多个视频流中每一个视频流的图像复杂性；
确定所述多个视频流的所述图像复杂性对所述播放的影响；以及
基于所述多个视频流中每一个视频流的所述图像复杂性的所述确定的影响，在所述多个视频流之间分配可用信道带宽。
2.根据权利要求1所述的过程，其中，所述分析步骤包括分析所述视频流的单独部分的参数中的视频编码层复杂性指标变化的步骤。
3.根据权利要求2所述的过程，其中，所述视频流的所述单独部分包括切片、宏模块、量化、帧间编码参考块、帧内编码参考块以及非引用宏模块/切片/图像类型。
4.根据权利要求1所述的过程，进一步包括估计在损失状态下的视频质量的步骤。
5.根据权利要求1所述的过程，其中，所述创建步骤包括下列步骤：
创建每一个视频流的单独部分的视频编码层复杂性指标变化的第一统计模型；
创建每一个视频流的相同单独部分的视频编码层比特率变化或带宽变化的第二统计模型；
组合每一个视频流的所述单独部分的所述第一和第二统计模型；以及
基于所述组合的第一和第二统计模型，计算每一个视频流的所述单独部分的所述图像复杂性。
6.根据权利要求5所述的过程，进一步包括下列步骤：
通过确定每一个视频流的所述单独部分中的量化变化，计数图像/切片/宏模块类型的高量化转换、切片/宏模块和帧间/帧内预测类型；以及
通过确定每一个视频流的所述单独部分中的视频编码层数据的带宽，计数带宽变化。
7.根据权利要求6所述的过程，其中，所述计数步骤包括对于每一个量化变化增大第一计数器，对于每一个宏模块增大第二计数器，对于每一个切片增大第三计数器，对于每一个低、平均和高带宽状态转换增大第四计数器。
8.根据权利要求7所述的过程，进一步包括下列步骤：
使用所述第一、第二、第三和第四计数器，计算每一个视频流的所述单独部分的视频编码层复杂性的概率；以及
使用所述第一、第二、第三和第四计数器，计算每一个视频流的所述单独部分的低、平均以及高带宽状态的概率。
9.根据权利要求8所述的过程，进一步包括下列步骤：
构建用于每一个视频流的所述单独部分的视频编码层复杂性转换的第一转换概率矩阵；以及
构建用于每一个视频流的所述单独部分的带宽状态转换的第二转换概率矩阵。
10.根据权利要求9所述的过程，进一步包括使用从每一个转换概率矩阵获得的极限状态概率来计算每一个视频流的所述单独部分的图像复杂性的步骤。
11.一个用于在单个信道上播放多个视频流的过程，包括下列步骤：
分析所述多个视频流中每一个视频流的单独部分的参数中的视频编码层中的复杂性指标变化和比特率变化；
创建统计模型，以动态地计算所述多个视频流中每一个视频流的图像复杂性；
确定所述多个视频流的所述图像复杂性对所述播放的影响；
基于所述多个视频流中每一个视频流的所述图像复杂性的所述确定的影响，在所述多个视频流之间分配可用信道带宽；以及
估计在损失状态下的视频质量。
12.根据权利要求11所述的过程，其中，所述视频流的所述单独部分包括切片、宏模块、量化、帧间编码参考块、内部编码参考块，以及非引用宏模块/切片/图像类型。
13.根据权利要求11所述的过程，其中，所述创建步骤包括下列步骤：
创建每一个视频流的所述单独部分的视频编码层复杂性指标变化的第一统计模型；
创建每一个视频流的相同单独部分的视频编码层比特率变化或带宽变化的第二统计模型；
组合每一个视频流的所述单独部分的所述第一和第二统计模型；以及
基于所述组合的第一和第二统计模型，计算每一个视频流的所述单独部分的所述图像复杂性。
14.根据权利要求13所述的过程，进一步包括下列步骤：
通过确定每一个视频流的所述单独部分中的量化变化，计数图像/切片/宏模块类型的高量化转换、切片/宏模块和帧间/帧内预测类型；以及
通过确定每一个视频流的所述单独部分中的视频编码层数据的带宽，计数带宽变化。
15.根据权利要求14所述的过程，其中，所述计数步骤包括对于每一个量化变化增大第一计数器，对于每一个宏模块增大第二计数器，对于每一个切片增大第三计数器，对于每一个低、平均和高带宽状态转换增大第四计数器。
16.根据权利要求15所述的过程，进一步包括下列步骤：
使用所述第一、第二、第三和第四计数器，计算每一个视频流的所述单独部分的视频编码层复杂性的概率；以及
使用所述第一、第二、第三和第四计数器，计算每一个视频流的所述单独部分的低、平均以及高带宽状态的概率。
17.根据权利要求16所述的过程，进一步包括下列步骤：
构建用于每一个视频流的所述单独部分的视频编码层复杂性转换的第一转换概率矩阵；以及
构建用于每一个视频流的所述单独部分的带宽状态转换的第二转换概率矩阵。
18.根据权利要求17所述的过程，进一步包括使用从每一个转换概率矩阵获得的极限状态概率来计算每一个视频流的所述单独部分的图像复杂性的步骤。
19.一个用于在单个信道上播放多个视频流的过程，包括下列步骤：
分析所述多个视频流中每一个视频流的视频编码层中的复杂性指标变化和比特率变化；
创建每一个视频流的单独部分的视频编码层复杂性指标变化的第一统计模型；
创建每一个视频流的相同单独部分的视频编码层比特率变化或带宽变化的第二统计模型；
组合每一个视频流的所述单独部分的所述第一和第二统计模型，以动态地计算所述多个视频流中每一个视频流的图像复杂性；
确定所述多个视频流的所述图像复杂性对所述播放的影响；
基于所述多个视频流中每一个视频流的所述图像复杂性的所述确定的影响，在所述多个视频流之间分配可用信道带宽；
基于所述组合的第一和第二统计模型，计算每一个视频流的所述单独部分的所述图像复杂性；以及
估计在损失状态下的视频质量。
20.根据权利要求19所述的过程，进一步包括下列步骤：
通过确定每一个视频流中量化变化，计数图像/切片/宏模块类型的高量化转换、切片/宏模块和帧间/帧内预测类型；以及
通过确定每一个视频流中视频编码层数据的带宽，计数带宽变化。
21.根据权利要求20所述的过程，其中，所述计数步骤包括对于每一个量化变化增大第一计数器，对于每一个宏模块增大第二计数器，对于每一个切片增大第三计数器，对于每一个低、平均和高带宽状态转换增大第四计数器。
22.根据权利要求21所述的过程，进一步包括下列步骤：
使用所述第一、第二、第三和第四计数器，计算每一个视频流的所述单独部分的视频编码层复杂性的概率；以及
使用所述第一、第二、第三和第四计数器，计算每一个视频流的所述单独部分的低、平均以及高带宽状态的概率。
23.根据权利要求22所述的过程，进一步包括下列步骤：
构建用于每一个视频流的所述单独部分的视频编码层复杂性转换的第一转换概率矩阵；以及
构建用于每一个视频流的所述单独部分的带宽状态转换的第二转换概率矩阵。
24.根据权利要求23所述的过程，进一步包括使用从每一个转换概率矩阵获得的极限状态概率来计算每一个视频流的所述单独部分的图像复杂性的步骤。
25.根据权利要求19所述的过程，其中，所述分析步骤包括分析所述视频流的所述单独部分的参数中的视频编码层复杂性指标变化，其中，所述视频流的所述单独部分包括切片、宏模块、量化、帧间编码参考块、帧内编码参考块，以及非引用宏模块/切片/图像类型。
CNA2006800332852A 2006-07-10 2006-07-12 基于分组的视频广播系统中的图像复杂性计算 Pending CN101502112A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11/456,505 US8107540B2 (en) 2005-07-11 2006-07-10 Image complexity computation in packet based video broadcast systems
US11/456,505 2006-07-10

Publications (1)

Publication Number Publication Date
CN101502112A true CN101502112A (zh) 2009-08-05

Family

ID=39521222

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA2006800332852A Pending CN101502112A (zh) 2006-07-10 2006-07-12 基于分组的视频广播系统中的图像复杂性计算

Country Status (8)

Country Link
EP (1) EP2039172A4 (zh)
JP (1) JP2009543513A (zh)
KR (1) KR20090045882A (zh)
CN (1) CN101502112A (zh)
BR (1) BRPI0614591A2 (zh)
CA (1) CA2622548A1 (zh)
MX (1) MX2008014372A (zh)
WO (1) WO2008127217A2 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102238433A (zh) * 2010-04-29 2011-11-09 爱迪德有限责任公司 控制数字内容的自适应流传输
CN111988560A (zh) * 2019-05-22 2020-11-24 安讯士有限公司 编码和通过多个网络连接流传输视频序列的方法和设备

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8997160B2 (en) * 2010-12-06 2015-03-31 Netflix, Inc. Variable bit video streams for adaptive streaming
US9125073B2 (en) * 2012-08-03 2015-09-01 Intel Corporation Quality-aware adaptive streaming over hypertext transfer protocol using quality attributes in manifest file
CN113360094B (zh) * 2021-06-04 2022-11-01 重庆紫光华山智安科技有限公司 数据预测方法和装置、电子设备及存储介质
WO2023233631A1 (ja) * 2022-06-02 2023-12-07 日本電信電話株式会社 映像品質推定装置、映像品質推定方法及びプログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5018215A (en) * 1990-03-23 1991-05-21 Honeywell Inc. Knowledge and model based adaptive signal processor
US6310915B1 (en) * 1998-11-20 2001-10-30 Harmonic Inc. Video transcoder with bitstream look ahead for rate control and statistical multiplexing

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102238433A (zh) * 2010-04-29 2011-11-09 爱迪德有限责任公司 控制数字内容的自适应流传输
CN111988560A (zh) * 2019-05-22 2020-11-24 安讯士有限公司 编码和通过多个网络连接流传输视频序列的方法和设备
CN111988560B (zh) * 2019-05-22 2021-09-14 安讯士有限公司 编码和通过多个网络连接流传输视频序列的方法和设备

Also Published As

Publication number Publication date
JP2009543513A (ja) 2009-12-03
CA2622548A1 (en) 2008-01-10
EP2039172A2 (en) 2009-03-25
MX2008014372A (es) 2008-11-24
BRPI0614591A2 (pt) 2012-01-24
WO2008127217A2 (en) 2008-10-23
KR20090045882A (ko) 2009-05-08
WO2008127217A3 (en) 2009-04-16
EP2039172A4 (en) 2011-04-13

Similar Documents

Publication Publication Date Title
US7609769B2 (en) Image complexity computation in packet based video broadcast systems
KR101064220B1 (ko) 영상품질 추정장치, 방법 및 프로그램
CN101164344B (zh) 感兴趣区域视频编码的内容自适应背景跳过
Verscheure et al. User-oriented QoS analysis in MPEG-2 video delivery
CN101502112A (zh) 基于分组的视频广播系统中的图像复杂性计算
EP2781101B1 (en) Method and apparatus for detecting quality defects in a video bitstream
EP2413604B1 (en) Assessing the quality of a video signal during encoding or compressing of the video signal
JP5513532B2 (ja) 符号化ビット・ストリームの処理方法及び装置
Lazaris et al. Modeling multiplexed traffic from H. 264/AVC videoconference streams
Srinivasan et al. The effects of priority levels and buffering on the statistical multiplexing of single-layer H. 264/AVC and SVC encoded video streams
Tang et al. Impact of random and burst packet losses on H. 264 scalable video coding
JP4802200B2 (ja) 映像品質推定装置、方法、およびプログラム
Kim et al. Statistical traffic modeling of MPEG frame size: experiments and analysis
Skupin et al. Packet level video quality evaluation of extensive H. 264/AVC and SVC transmission simulation
JP5405915B2 (ja) 映像品質推定装置、映像品質推定方法および映像品質推定装置の制御プログラム
Verscheure et al. Perceptual video quality and activity metrics: Optimization of video service based on MPEG-2 encoding
Hameed et al. Predicting the perceptual quality of networked video through light-weight bitstream analysis
Liu et al. Consistent-degradation macroblock grouping for parallel video streams over DiffServ networks
Tanwir Analysis and modeling of variable bitrate video traffic
Jung Traffic management for VBR video transport over ATM networks
Song et al. Real-time quality monitoring for networked H. 264/AVC video streaming
Haddd Feed-Forward Bandwidth Indication: An Accurate Approach to Multimedia Bandwidth Forecasting and its Application in Ethernet Passive Optical Networks
Chin Video Quality Evaluation in IP Networks
Yang et al. A no-reference quality assessment system for video streaming over RTP
Sabry et al. Implementation of Video Codecs Over IPTV Using Opnet

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned

Effective date of abandoning: 20090805

C20 Patent right or utility model deemed to be abandoned or is abandoned